LA EVALUATION DE LOS SISTEMAS DE AUTOMATIZACION DEL DISEÑO INSTRUCTIVO
Begoña Gros Salvat
Departamento de Teoria e Historia de la Educación
Universidad de Barcelona
España

Introducción

En los últimos años se han estado produciéndo diversas herramientas para facilitar el desarrollo del software educativo. Los lenguajes y sistemas de autor se han modificado notablemente permitiéndo, en la actualidad, la producción de programas con alto nivel de sofisticación. La calidad de estos productos también va unida a una cierta complejidad de uso. Efectivamente, el usuario puede realizar programas multimedia utilizando sistemas de autor como Hypercard o Toolbook pero para ello precisa de un buen dominio de la herramienta y del conocimiento de los lenguajes de programación que éstas llevan asociadas.

A finales de la década de los ochenta surge en EEUU la idea de producir sistemas de autor para diseñadores instructivos con la idea de que éstos no tengan que utilizar ningún lenguaje de programación. Para ello, se precisa que el sistema automatice algunas de las decisiones que hasta el momento son efectuadas por el diseñador del programa. Esta es pues la idea que preside la automatización del diseño instructivo. Nuestra comunicación se centrará en los métodos para evaluar este tipo de herramientas.

El desarrollo de estos sistemas requiere un gran esfuerzo debido a la complejidad del diseño tanto desde el punto de vista técnico como pedagógico. En este sentido, y a pesar de que muchos autores a principios de los 80 apuntaban un gran desarrollo de esta área de trabajo, todavía son pocos los productos comercializados. No obstante, comenzamos a encontrar grupos en diferentes países trabajando en esta línea, desarrollando prototipos y productos cuyo objetivo fundamental estriba en automatizar algunas de las tomas de decisiones que deben efectuarse al diseñar materiales instructivos. Se trata pues de productos dirigidos a formadores en el ámbito educativo, profesional, empresarial, etc.

Creemos que es el momento de comenzar a pensar en la evaluación de los resultados de estos esfuerzos para reflexionar sobre los límites y posibilidades de estos sistemas no sólo en su estado actual sino también pensando en futuros desarrollos. Esta es pues nuestra principal aportación en este trabajo. Nuestro objetivo fundamental es discutir el problema de la evaluación de los sistemas de automatización del diseño instructivo (DI) y proponer algunos métodos para llevar a cabo dicha evaluación. Para ello, comenzaremos con una breve revisión de lo que supone la automatización del diseño instructivo y las teorías psicopedagógicas que lo fundamentan. Posteriormente, propondremos tres niveles de evaluación posibles y sugeriremos algunos métodos para llevarlas a cabo.

Nuestra principal preocupación es la pedagógica. En este sentido, las propuestas en torno a la valoración de estos sistemas no se centran en aspectos de carácter técnico o económico sino en criterios pedagógicos. Se trata de analizar la contribución de estos sistemas desde el punto de vista de la efectividad del aprendizaje.

La automatización del diseño instructivo

El objetivo del proceso de diseño instructivo es estructurar las estrategias apropiadas para favorecer el proceso de aprendizaje. La meta principal de cualquier actividad de diseño es mejorar los medios para lograr las metas deseadas.

El diseño instructivo es una tarea compleja y por consiguiente, su automatización no es un problema trivial. El primer problema que encontramos en la literatura sobre el tema es la falta de consenso en cuanto a definir lo que se entiende por automatización del diseño instructivo. Peter Goodyear ha intentado clarificar este campo haciendo una distinción entre la automatización en sentido fuerte y en sentido débil. "La definición en sentido fuerte considera la automatización como el reemplazamiento de una actividad humana. La definición en sentido débil considera la automatización como soporte de un agente humano que es quien lleva el control." (1994, p.11)

Siguiendo la sugerencia realizada por P. Goodyear consideraremos un sistema automatizado a cualquier tipo de programa en el cual se pueden encontrar algunas subtareas del proceso que funcionan automáticamente, sin la intervención del diseñador o del usuario. Siguiendo esta idea, no incluiremos programas tradicionales de enseñanza asistida por ordenador o sistemas hipertexto, únicamente incluiremos aquéllas herramientas que realizan toma de decisiones de forma automática. Distinguiremos tres tipos de automatización:

a) La automatización del diseño y/o producción del software educativo que tiene como objeto la creación de sistemas que permitan al diseñador elaborar programas informáticos sin necesidad de tener que conocer un lenguaje de programación específico. Se trata de automatizar algunas de las decisiones relativas al diseño, la producción del programa, las estrategias de enseñanza, etc. Algunos programas se centran únicamente en la automatización del diseño sin entrar en la producción del programa. Este es el caso de IDE (instructional design environment) producido por Russell et al. (1989) que sólo asesora sobre la ordenación y organización del conocimiento. Otros, incluyen no sólo el diseño sino también la producción. Por ejemplo, ID-Expert diseñado por D.Merrill et al.(1991) no sólo permite la organización del conocimiento sino también las estrategias de transmisión del mismo.

b) La automatización de sistemas de transmisión del conocimiento. Nos estamos refiriendo a los tutores inteligentes. Estos tienen por objeto transmitir un determinado conocimiento adaptando dicha transmisión a las características individuales del sujeto. La automatización se situa en las estrategias de enseñanza y la toma de decisiones referente al tipo de contenido a transmitir en cada momento en función de los aprendizajes efectuados por el usuario.

c) La automatización de sistemas de ayuda al aprendizaje. A estos programas se les denomina herramientas cognitivas. Si bien los tutores inteligentes centran la automatización en los conocimientos a transmitir, las herramientas cognitivas tienen por objeto ayudar en la adquisición de estrategias de aprendizaje independientes al contenido del aprendizaje. Así pues, estos programas actúan como sistemas de apoyo para el alumno cuando éste está utilizando un programa de aprendizaje. Un ejemplo de este tipo de software es el realizado por G. Salomon (1993) denominado Writing-Partner. Basado en las teorías cognitivas sobre el aprendizaje de la escritura, este programa tiene por objeto ayudar a los alumnos a mejorar la escritura. El programa no enseña un contenido directamente sino que incorporado a un procesador de texto, ayuda a desarrollar las estrategias de escritura más apropiadas según el tipo de texto que se vaya a escribir; literario, cienfífico, un ensayo, una redacción, etc.

De entre estos tres tipos de automatización, nos centraremos aquí en el primer caso. Es decir, en los sistemas que persiguen la automatización del diseño y/o producción del software educativo.

Fundamentos teóricos de las herramientas para la automatización de la producción del software educativo

El origen de la idea de automatizar el diseño instructivo surge en Norteamérica y responde a la necesidad de cubrir una importante demanda social: el desarrollo de programas de formación de adultos (a distancia, formación en la empresa, etc). La mayor parte de los programas de formación utilizan tecnología informática, sin embargo, el tipo de material generado no resultaba ser de muy buena calidad. El problema fundamental de este tipo de software es la falta de un diseño instructivo adecuado. En este sentido, el diseñador del producto suele ser un especialista en la materia o contenido que ha de enseñarse pero no tiene ningún conocimiento sobre la forma de enseñanza. La automatización del DI intenta facilitar esta tarea.

Los primeros prototipos aparecieron a mediados de los años 80 pero, de hecho esta primera generación (DI1) presenta numerosas limitaciones. Estos primeros programas se fundamentaron en el método de producción basado en las teoría del aprendizaje de Gagné denominado sistema de desarrollo instructivo . Este modelo parte de la idea de que antes de emprender un diseño instructivo las metas instructivas y los resultados de aprendizaje deben quedar perfectamente definidos en base a cambios observables. El proceso de diseño se divide en cinco etapas: análisis, diseño, producción, implementación y mantenimiento.

En la fase de análisis, el diseñador ha de estudiar los requisitos para la instrucción: contenido, características de los alumnos, niveles de ejecución, etc.

En la fase de diseño, las especificaciones instruccionales y el test de enseñanza debe ser desarrollado. Mientras que estas fases están dominadas por conceptos abstractos, las dos fases siguientes, producción e implementación, requieren acciones más prácticas. Es necesario crear los materiales de enseñanza y utilizarlos. La fase de mantenimiento permite la evaluación y puesta al día del producto.

El problema de este tipo de diseño es que cada fase se efectua de forma independiente y hasta que no está acabado todo el programa no es posible evaluar su funcionamiento. En este sentido, los prototipos diseñados presentaban imporantes limitaciones (Merrill et al, (1989.a)):

a) En cuanto a la coherencia del programa. El análisis del conocimiento y el diseño instructivo del mismo se efectúan de forma aislada sin ningún tipo de interrelación como si fueran dos componentes asilados.

b) En cuanto a su utilidad. Las prescripciones pedagógicas dadas por el programa resultan muy superficiales y de una gran simplicidad.

Por este motivo, a partir de la evaluación de estos primeros prototipos se surge la idea de que para poder realizar un sistema complejo que pueda ser aplicado a cualquier tipo de conocimiento es preciso no sólo diseñar un sistema experto que asesore durante el diseño instructivo sino, además, crear un conjunto de ayudas específicas para cada etapa del diseño. Este pasa a considerarse como un proceso cíclico y no lineal como en el caso de los sistemas de desarrollo instructivo.

La segunda generación del diseño instructivo (DI2) se fundamenta en las teorías de David Merrill (1989.b). Este autor considera que un sistema de automatización del DI debe comprender, al menos, los siguientes aspectos:

Merrill cree que las estrategias instructivas son independientes al conocimiento que ha de ser enseñado, por ello es posible que una misma estrategia pueda ser utilizada para diferentes temáticas.

La influencia de las ideas de Merrill en los programas de esta segunda generación es muy clara. De hecho, el propio Merrill y su equipo de la Universidad de Utah ha estado trabajando en esta línea y han desarrollado el programa ID-Expert. Este tiene por objeto ayudar a crear programas educativos a diseñadores instructivos noveles. La programación no es requerida y el sistema se fundamenta en la idea del diseño de prototipos rápidos (Jones et al. 1993).

Si los sistemas de desarrollo instructivo no permiten evaluar el producto hasta que éste ya ha sido acabado, la idea de los prototipos rápidos es facilitar la evaluación continua del producto que se está diseñando. En nuestra opinión, este aspecto es muy interesante pues se proporciona al diseñador un feedback constante y éste puede ir introduciéndo modificaciones sin tener esperar que este totalmente finalizado. Esta idea es mantenida por M. Jones y su equipo quienes afirman que "los diseñadores son más eficaces cuando se les permite pensar sobre sus diseños directamente en términos de las aplicaciones realizadas, sin necesidad de hacer traducciones mentales" (1993, p.97).

Esta es una diferencia fundamental entre los sistemas o lenguajes de autor tales como Hypercard o Toolbook e ID-Expert. Evidentemente, el tipo de programas que pueden realizarse con estos sistemas de autor son mucho más amplios ya que ID-Expert únicamente esta sirve para programas instructivos tutoriales o de práctica y ejercitación y no resultaría útil para la programación de otro tipo de software.

Sugerencias sobre la evaluación de sistemas de automatización del diseño instructivo

Evaluar los sistemas de automatización del DI no es una tarea fácil. De hecho, muy pocas evaluaciones se han realizado hasta el momento. La mayoría de discusiones se han situado a un nivel teórico. En este sentido, creemos que la evaluación de estos programas es una tarea por resolver. Nuestro propósito es intentar identificar los criterios y modelos en los que dicha evaluación ha de fundamentarse.

Partimos del supuesto de que la evaluación es una actividad que debe enfocarse en la identificación y descripción de los valores de las metas, el diseño y desarrollo metodológico y el análisis del impacto del producto. Por esta razón, mantendremos la idea de que es necesario adoptar un modelo para evaluar el impacto tecnológico en educación basado en diferentes niveles. En concreto, estableceremos tres niveles de evaluación: orientada al producto, orientada al usuario y orientada al contexto.

Evaluación orientada al producto

Por evaluación orientada al producto entendemos aquélla evaluación que tiene como principal objetivo el análisis de la calidad del producto en sí mismo. Se trata de valorar su diseño, la calidad técnica y pedagógica del propio sistema sin entrar en un análisis de la eficacia real de su utilización.

A través de este tipo de evaluación lo que se pone de relieve es la calidad del diseño. Por ello, las evaluaciones se centran en aspectos tales como el diseño del producto, el interfaz de usuario, la calidad de los gráficos, imagenes, etc.

Este tipo de evaluación se halla presente también cuando se evaluan los programas educativos tradicionales. De hecho, existen numerosas guías para la evaluación del software educativo (ver, Gros-Rodríguez, 1987; VVAA (1989)) en las cuáles se orienta sobre los aspectos que deben tenerse en cuenta en el momento de elegir un determinado software. Sin embargo, este tipo de evaluación es algo diferente si nos referimos a los sistemas de automatización del DI pues en este caso no existe un sólo producto sino dos; el sistema de ayuda al diseño y producción del programa y el programa producido con dicho sistema. Es preciso pues establecer la distinción entre estos dos productos (ver figura.1): denominaremos producto.1 al sistema de automatización y producto.2 al programa elaborado.

Creemos que es muy importante efectuar esta distinción porque no podemos evaluar la calidad del sistema si sólo atendemos a uno de estos productos. También es cierto que ambas evaluaciones no son totalmente independientes ya que la calidad del sistema de automatización afectará al producto que puede ser diseñado. Sin embargo, conviene establecer esta distinción.


Figura 1

Como ya hemos mencionado, el objeto fundamental de este nivel de evaluación es juzgar el valor educativo del producto. Para evaluar el sistema es necesario conocer su principal propósito. En este sentido, es posible desarrollar sistemas de automatización con diferentes objetivos: para diseñadores expertos o novatos, para ayudar parcial o totalmente al desarrollo del software, etc. Por este motivo, este nivel de evaluación debe ser efectuado por expertos en diseño instructivo los cuales puedan establece el valor del sistema trás considerar su propósito principal.

La evaluación del producto.2, es decir, del programa desarrollado con el sistema debe ser similar a la del software tradicional. Se trata pues de analizar el producto teniendo en cuenta la calidad de su contenido, las formas de presentar la información, el feedback, las ayudas ofrecidas, etc.

El valor del producto.2 dependerá también del trabajo realizado por el diseñador. Por esta razón, el resultado final de esta evaluación no puede ser basado sólo en el análisis del programa. Es necesario comparar el resultado obtenido con el trabajo efectuado por diferentes diseñadores.

Evaluación centrada en el usuario

En la evaluación centrada en el usuario debemos también considerar dos tipos de usuario: el diseñador y el alumno. El diseñador utilizará el producto.1 directamente mientras que el alumno utilizará el producto.2.

La evaluación del alumno no presenta diferencias de la descrita previamente cuando nos referiamos a la evaluación del software educativo. Por este motivo, centraremos nuestra atención en el primer caso: el diseñador instructivo.

En los sistemas de automatización del DI, este tipo de evaluación es muy importante y necesaria para juzgar el valor del sistema. El problema estriba en establecer la metodología apropiada. Podemos encontrar algunos ejemplos de este nivel de evaluación tales como las realizadas para evaluar el programa ID-Expert mencionado previamente (M.Spector&D.Muraida, 1991; B.Gros (en prensa)). Estas evaluaciones se centran en el uso del sistema por expertos en la materia (en el primer caso) y por diseñadores noveles (en el segundo caso). Después de un período de instrucción, los diseñadores realizaron lecciones-ejemplo y analizaron su propio proceso de aprendizaje de la herramienta y las ventajas e inconvenientes de la misma.

Este tipo de evaluación es todavía algo escasa y aislada. Sin embargo, es importante realizar más evaluaciones de la utilización real de los productos por los diseñadores ya que a veces se perciben diferencias substanciales entre lo que la herramienta ofrece y lo que los diseñadores realmente precisan. Por ejemplo, un aspecto poco valorado por los diseñadores en el estudio de ID-Expert que realizamos (ver, B.Gros (en prensa)) era las variables referentes a la audiencia. Este sistema permite definir variables de la audiencia tales como el grado de motivación, los conocimientos previos, la profundidad del aprendizaje, etc. Sin embargo, estas variables fueron consideradas por los diseñadores muy generales y no se vieron diferencias substanciales en las estrategias de enseñanza cuando se seleccionaba una u otra. Por ello, no se consideraba especialmente interesante incluir estos aspectos en el diseño.

Pensamos que a veces existe un cierto desfase entre lo que los diseñadores instructivos realmente precisan y lo que los investigadores en esta área creen que éstos necesitan. Hay una cierta falta de diálogo entre ambos que debería remediarse con investigaciones mucho más centradas en la realidad y en las demandas de estos profesionales.

La evaluación centrada en el usuario final del producto tiene como objeto valorar los efectos del programa sobre el aprendizaje del alumno. Esta evaluación puede tomar direcciones muy diversas según el objetivo del software. En cualquier caso, es preciso analizar la interacción entre el programa y el alumno, su nivel de adaptación, el grado de motivación, los efectos de la instrucción ,etc. En definitiva, el objetivo principal de este tipo de evaluación es analizar la eficacia del apredizaje.

La metodología utilizada para este nivel de evaluación debe ser diseñada de acuerdo al contenido y tipo de programa. Por ejemplo, hay una gran diferencia entre estudiar el proceso de aprendizaje utilizando programas de práctica y ejercitación y programas tutoriales o de simulación. El grado de apertura del programa determina un gran número de variables que deben ser consideradas en el momento de evaluar la efectividad de su uso.

La mayoría de estudios han adoptado una metodología experimental comparándo los resultados del aprendizaje obtenidos utilizándo la metodología habitual y el software diseñado. Este tipo de metodología se centra en los resultados finales del aprendizaje. Por ello, creemos que también debería ser evaluado otros aspectos del proceso de aprendizaje tales como las formas de interacción con el programa, el nivel de motivación, ansiedad, etc. En otras palabras, evaluar el proceso completo y no sólo el conocimiento obtenido por los alumnos como resultado de la interacción.

Evaluación orientada al contexto

Por último, consideramos que todo producto cuando es utilizado de forma sistemática tiene una repercusión no sólo sobre el usuario sino también en el contexto en el que se utiliza. La evaluación orientada al contexto pretende valorar las indicencias ambientales del uso del producto.

Creemos que hasta el momento, la mayoría de las investigaciones se han basado en estudios analíticos centrados en el estudio de cómo los individuos cambian y no sobre cómo cambia todo el sistema. Por este motivo, proponemos un análisis sistémico que permita estudiar no sólo el software producido sino también su incidencia en el contexto en el que éste es utilizado.

Si bien la mayor parte de programas de enseñanza asistida por ordenador son usados en las escuelas y, por tanto, el contexto de utilización es claro. El uso de herramientas de diseño instructivo es mucho más heterogeneo. Pueden ser utilizadas para el aprendizaje a distancia, la formación continuada en empresas, la eduación de adultos, etc. En nuestra opinión, el aspecto más interesante de este tipo de evaluación es el estudio del impacto de dichos sistemas en el desarrollo de programas de instrucción y el análisis de cómo estos sistemas pueden introducir modificaciones en la formación de los diseñadores instructivos.

G. Salomon (1992) ha propuesto una línea de investigación en esta dirección y ha sugerido algunas métodos estadísticos para poder efectuar análisis sistémicos tales como el análisis espacial de Guttman y las escalas multidimensionales.

Pensamos que también otras metodologías no cualitativas tales como las observaciones etnográficas, pueden resultar muy interesantes para este tipo de evaluación.

Los tres niveles de evaluación son necesarios y de hecho, existe una clara interelación entre ellos. No obstante, nos gustaría acabar este trabajo enfatizándo la necesidad de un enfoque evaluativo más sistémico. No únicamente en el caso de la evaluación de los sistemas de automatización del DI sino, en todas las evaluaciones de recursos tecnológicos. Pensamos que éstas se han centrado en aspectos muy parciales y analíticos. Ha existido una preocupación muy generalizada por averiguar la influencia de la tecnología en los resultados del aprendizaje individual pero se ha dado muy poco énfasis en cómo el uso de la tecnología cambia no sólo la forma o calidad del aprendizaje sino también las formas metodológicas y los valores culturales.

Referencias

[1] GOODYEAR,P (1994): "Foundations for courseware engineering", R.D.Tennyson(Ed): Automatic Instructional Design, Development and Delivery, Berlin, Springer-Verlag, NATO series.
[2] GROS,B& RODRIGUEZ ILERA ,J.L (1987).: La evaluación del software educativo, Barcelona, Universidad de Barcelona.

[3] GROS,B& RODRIGUEZ ILERA ,J.L (1991).: "Inteligencia artificial y diseño de programas educativos", Revista Española de Pedagogia, 188, Enero-abril, 39-57.

[4] GROS,B & RODRIGUEZ ILERA ,J.L (1994): "Pedagogical criteria in order to evaluate the automation of instructional design", in R.D. Tennyson(Ed) (in press) : Automatic Instructional Design, Development and Delivery, Berlin, Springer-Verlag, NATO series.

[5] GROS,B-SPECTOR,M (1994).: "Evaluating Automated Instructional Design Systems: A Complex Problem", Educational Technology, May-June, 37-46.

[6] GROS,B (in press): "Toward a model for evaluating automated instructional design systems", TENNYSON,R.D (Ed): Automating instructional Design: Computer-based Development and Delivery Tools, Berlin, Springer-Verlag, NATO series.
[7] JONES,M-LI,Z-MERRILL,D (1993): "Rapid Prototyping in Automated Instructional Design", Educational Technology Research and Development, 4, 95-100.
[8] MERRILL,M.D et al (1989.a).: "Limitations of First Generation Instructional Design", Educational Technology, 3, 7-11.
[9] MERRILL,M.D et al (1989.b).: Second Generation Instructional Design", Educational Technology, 7-14.
[10] MERRILL,M.D et al (1990).: "The Second Generation Instructional Research Program ", Educational Technology, March, 26-31.

[11] MERRILL, M.D. (1991).: "Construtivism and instructional design". Educational Technology, May, 45-52.

[12] SALOMON,G (1993): "On the Nature of Pedagogic Computer Tools: The Case of Writing Partner", LAJOIE,S-DERRY,S (Ed): Computers as Cognitive Tools, Hillsdale, LEA, 179-195.

[13] SALOMON,G (1992): "New Challenges for Educational Research: Studing the Individual within Learning Environtments", Scandinavian Journal of Educational Research, vol 36, 3, 167-182.

[14] VV.AA (1989).: Information Technologies in education, Paris, OCDE.