Una metodología de evaluación de sistemas de educación interactiva a distancia basados en Web


Gladys Myriam Mansilla Gómez
Universidad Austral de Chile
Facultad de Ciencias de la Ingeniería
Chile
gmansilla@inf.uach.cl
Ignacio Antonio Casas Raposo
Pontifica Universidad Católica de Chile
Escuela de Ingeniería - Departamento de Ciencias de la Computación
Chile
icasas@puc.cl

 

Resumen

Hoy en día el Web y las redes presentan nuevos desafíos a los servicios de apoyo de los usuarios en instituciones educacionales y en particular en las universidades. Los cursos con páginas Web se hacen cada vez más comunes. El advenimiento de los cursos con sitio Web y programas académicos virtuales a distancia sugieren nuevos paradigmas educacionales y de servicio[McCo97]. Por lo tanto es necesario preguntarse ¿Cómo el Web afecta las estrategias pedagógicas de servicio y de apoyo?. ¿Qué nuevos modelos de servicio se han desarrollado y usan con efectividad la tecnología Web?. ¿Qué nuevas oportunidades genera el Web a los estudiantes para hacer más activa su participación?. ¿Qué nuevos desafíos propone el Web a los educadores?. ¿Cuál es el rol de las instituciones en estandarización de software y hardware necesarios para el ambiente en red?.

Mirando las características de los sistemas de Educación Interactiva Virtual se ve que existen múltiples criterios a la hora de desarrollar o seleccionar e instalar sistemas de este tipo, por lo cual son imprescindibles y muy útiles, métodos que permitan al decisor seleccionar de entre variadas alternativas con múltiples criterios.

En este trabajo se presenta el desarrollo de una metodología de evaluación de sistemas de Educación Interactiva Virtual basados en Web. Para ello se desarrolla un modelo de evaluación donde se identifican plenamente los atributos, indicadores y criterios a considerar en la evaluación de estos sistemas, se utilizan los métodos multicriterio discretos, los han sido aplicados con éxito en algunos sistemas, como por ejemplo en evaluación de impacto ambiental [Mays94]. En el modelo anteriormente citado, el evaluador puede configurar los parámetros mediante articulación de sus preferencias incorporando sus propias prioridades a los criterios de decisión/evaluación.

Los dimensiones a consideradas en esta evaluación son: usabilidad, costo de software e infraestructura, herramientas para el aprendizaje y para el instructor, herramientas de administración, e impacto en el proceso de enseñanza-aprendizaje. Estos parámetros serán configurables, pudiendo un evaluador asignar una ponderación o prioridad a cada criterio, o en su defecto dejar fuera de de la evaluación a algún criterio que no interese evaluar. Los componentes de usabilidad e impacto se evaluarán a través de preguntas dirigidas tipo encuestas, los funcionales en cuanto a presencia y ausencia o grado de satisfacción, y los cuantitativos respecto a su valor ordenándolos en forma ascendente o descendente.

Consideramos que un estudio profundo y evaluación de las herramientas integradas existentes permitirá decidir la mejor plataforma para una organización educacional en particular. Producto de este estudio y comparación de herramientas se podra orientar el desarrollo de una plataforma, para el caso de la PUC se podra sugerir e incorporar mejoras en el sistema en desarrollo: plataforma "curso Web PUC" y continuar con el ciclo: Diseño èImplementaciónèEvaluacionèDiseño... Es así que se pretende evaluar y comparar algunas de estas herramientas en particular WebCT, Virtual -U, Web Course in a Box (WCB), Learning Space, TopClass y CourseInfo además del prototipo de plataforma "Curso Web PUC" y con ello contribuir a una mejora de éste sistema desarrollado localmente.

El modelo de evaluación que utiliza el método multicriterio discreto se implementa en un programa Visual Basic, cuyos resultados son posibles de comparar con los del software multicriterio Electra del Instituto Lamsade de la Universidad de Paris Dauphine.
 

1.- Introducción

El pasado reciente se ha caracterizado por un crecimiento explosivo del WEB-INTERNET[Casa98a]. En agosto de 1991 habían aproximadamente 200 computadores servidores Web; en enero de 1998 habían sobre 30 millones de estos servidores, hoy en día existen sobre 150 millones de personas que usan el En el pasado, el Web fue usado para despliegue de documentos e imágenes, hoy es usado para educación, investigación, distribución de software, conferencias de audio y video y comercio electrónico [Stra98]

Como en toda innovación se hace necesario investigar que tan efectiva es, es decir hacer mediciones, nada pasa si no se mide, podemos hacer grandes esfuerzos en mejorar los sistemas, pero si no tenemos un patrón de comparación no podemos efectivamente afirmar que hubo una mejora.

Actualmente se tiende a proveer a los estudiantes acceso a los materiales educacionales desde el lugar donde viven pues el aprendizaje no sólo se realiza en las aulas en los campus, gran parte se realiza fuera de ellas.( ver proyecto IMS Instructional Management Systems de EDUCAUSEen [IMS98]. Paralelo a ello existen diversas iniciativas de Educación Interactiva Virtual (EIV) utilizando tecnología computacional y de comunicaciones en universidades, empresas y proyectos en conjunto. En general, se ha comenzado a integrar Internet e Intranet como medio de interacción con los alumnos, distribución de material pedagógico, coordinación y administración de los cursos.

Si pretendemos efectuar estos grandes cambios debemos estar al tanto de las nuevas tecnologías y experimentar con ellas, podemos afirmar que un estudio acabado de las tecnologías tanto de hardware como de software y métodos para Educación Interactiva Virtual, permitirá definir un modelo de sistema que permita reflejar sus componentes más relevantes para posteriormente evaluarlo y contribuir a la mejora de tales sistemas.

El desarrollo de sitios Web altamente interactivos según el Instituto de Interacción Humano Computador (HCII) de la universidad de Carnegie Mellon es un proceso cíclico e iterativo que contempla al menos tres etapas [HCII98]

 


 
 

Figura1: Etapas en el desarrrollo de un sistema computacional





La etapa de diseño involucra principios de diseño y comportamiento humano, la etapa de implementación principios de ciencias de la computación y la etapa de evalaución métodos de evaluación comunes a varias disciplinas entre ellas estadistica, ayuda a la decisión e ingeniería de usabilidad en interacción humano computador

La evaluación es una etapa en el desarrollo de sistemas computacionales que generalmente no se realiza, dejando los sistemas sin posibilidad de retralimentación que facilite su mejora.

Por otro lado, mirando las características de los sistemas de Educación Interactiva Virtual se ve que existen múltiples criterios a la hora de desarrollar o seleccionar e instalar sistemas de este tipo, por lo cual sistemas que permitan al decisor seleccionar de entre variadas alternativas con múltiples criterios son imprescindibles y muy útiles.

Existen hoy en día muchas herramientas integradas para crear sitios Web de cursos, pero no todos apuntan a los objetivos de alumnos y profesores de un entorno en particular por ello el estudio y comparación de estas herramientas con un sistema desarrollado localmente lo consideramos de utilidad , es así que se pretende comparar algunas de estas herramientas en particular WebCT, Virtual -U, Web Course in a Box (WCB), WebMentor, TopClass y CourseInfo con el sitio Web desarrollado localmente.

Para llevar a cabo este proyecto se procedió en varia etapas las cuales se listan a continuación.

1. Estudio de metodologías de EIV.
2. Estudio de tecnologías en EIV.
3. Determinación de un modelo de evaluación.
4. Desarrollo de un prototipo de sistema de EIV.
5. Implementación del prototipo en un ambiente en particular.
6. Aplicación del modelo de evaluación al prototipo.
7. Actualización del prototipo.
 

2.- Formulación y metodología

Los sistemas en general pasan por seis etapas (modelo de Nolan): Iniciación, Expansión, Control, Integración, Administración de Datos y Madurez [Turb96]. Para llegar con éxito a la etapa de madurez, es necesario que la evaluación se aplique desde la primera etapa, de lo contrario podría ocurrir que el sistema no pase la tercera etapa o etapa de control. Con la idea de la calidad total para el mejoramiento continuo postulamos que es necesario hacer una evaluación permanente de los logros de tres maneras:
 

  • Encuesta a alumnos y profesores sobre el sistema (técnica basada en preguntas).
  • Evaluación del sistema contrastándolo con sistemas existentes.
  • Evaluación de uso de los recursos Internet (técnica observacional).

  •    

    Para el segundo caso se propone una técnica nueva basada en métodos multicriterios que creemos se ajusta bien a sistemas como el que está en estudio, pues se aplica a problemas con variables cualitativas y cuantitativas y aun cuando no ha sido aplicada a este tipo de sistemas, ha sido aplicada con éxito en el caso de evaluación de impacto ambiental.

    Para mejorar la actividad de evaluación proponemos desarrollar un modelo de evaluación considerando múltiples criterios, e incorporándo las preferencias del usuario y/o evaluador. Cuando se modela el mundo real usando como ayuda la decisión multicriterio, existen varias problemáticas a ser consideradas. Roy distingue tres formulaciones básicas: elección, ordenamiento y ranking [Roy91].

    Dado un conjunto de alternativas (o acciones), el problema de elección (o selección) consiste en la elección de un subconjunto, tan pequeño como sea posible, del total de alternativas que se consideran como las más adecuadas. Problemas de optimización son casos particulares de problemas de elección donde el subconjunto se reduce a sólo una alternativa.

    El problema de ordenamiento consiste en la formulación de un problema de decisión sobre la base de una clasificación, asignando a cada alternativa una categoría predefinida. El problema de asignar a una alternativa la categoría apropiada debería ser intrínseco a la alternativa y no sobre la base de una comparación con alguna otra alternativa.

    El problema de ranking consiste en establecer un pre-orden de preferencia (ya sea parcial o completo) de un conjunto de alternativas,como se muestra en la siguiente figura , extractada de Mousseau, [Mous98]:

     


     
     

    Figura 2



    En esta investigación utilizamos el problema de ranking además de técnicas que incorporan preferencias (técnicas de preferencias orientadas). estas técnicas analizan el problema multicriterio sin explicitar las consideraciones de las políticas dinámicas del problema. Se requiere que el decisor incorpore sus preferencias y pase la información al analista Es el decisor quien juega el papel preponderante, y el tiempo en resolver el problema, dependerá de que tan clara tenga el decisor la dinámica del sistema a considerar.
     

    3.- Técnicas de Evaluación

    La evaluación es una etapa en el desarrollo de sistemas computacionales que generalmente no se realiza, dejando los sistemas sin posibilidad de retroalimentación que facilite su mejora.

    Existen las siguientes técnicas de evaluación [Baec95].

  • Técnicas experimentales.
  • Técnicas observacionales.
  • Técnicas basadas en preguntas.
  • Evaluación cooperativa.
  • GOMS (Goals Operators Methods and Sequences).
  • Inspecciones cognocitivas.
  • Evaluación heurística.

  •  
     

    Para técnicas experimentales se diseñan experimentos con la formulación de una hipótesis e hipótesis alternativas y se evalúa cómo el usuario percibe, por ejemplo, una interfaz en particular. Requiere que tanto desarrolladores como usuarios estén en permanente contacto, se prueban aspectos específicos del software por ejemplo "uso de iconos" y los cambios se producen muy dinámicamente lo cual no permite que el sistema lo utilicen usuarios reales hasta que esté maduro.

    En las técnicas observacionales el evaluador observa el comportamiento del usuario mientras utiliza el sistema. En general estas técnicas son complementarias y deberían ser usadas en conjunto con otras técnicas.

    Las técnicas basadas en preguntas están basadas en preguntas informales y/o estructuradas que permiten al evaluador formarse una idea de la percepción del usuario sobre el sistema en evaluación. Aquí se aplican cuestionarios o encuestas, también se usan las páginas de preguntas más frecuentes (FAQ) y de sugerencias de los usuarios. Este es un método muy usado por Microsoft Product Support Services, quienes por ejemplo para Word 6.0 respondieron sobre 8641 consultas y recibieron mas de 5000 sugerencias. Estas técnicas son muy útiles pero por si solas son insuficientes.

    Evaluación cooperativa: es una validación empírica que tiene dos puntos importantes:

    1. No es necesario ser un especialista en factores humanos para usarlo.
    2. Los diseñadores lo pueden usar para encontrar problemas inesperados en sus propios diseños. Esta técnica requiere de usuarios representativos de los usuarios finales, y que exista un prototipo. Además puede ser usada para aumentar el nivel de comunicación entre el equipo de diseño y los usuarios.

    Una desventaja de este modelo es que el evaluador y desarrollador son los mismos, y que lo que se prueba depende mucho del evaluador, por lo cual podría haber una resistencia de éste a aceptar las críticas e incorporar las modificaciones.

    GOMS es una familia de técnicas analíticas.Existen cuatro niveles de los cuales dos principales son NGOMS y CPM-GOMS. GOMS se define como "El análisis del "know how", es decir, el saber como hacer una tarea en término de metas, operadores, métodos y reglas de selección" GOMS hace uso de un modelo del proceso cognocitivo humano. A este sistema se le llama Model Human Processor (MHP). GOMS tiene una utilidad limitada, debido a que está restringida a describir habilidades y rendimiento sin error. Además los diseñadores están en la necesidad de especificar un modelo de su sistema.

    Inspecciones cognocitivas: un grupo de especialistas en software examinan el código en una búsqueda metódica de problemas. En el caso de diseño de intefaz se selecciona un conjunto de tareas representativas y se prueba comando a comando, menú por menú, se formulan preguntas que están basadas en la teoría cognocitiva de las relaciones entre metas, acciones y el estado visible de la interfaz . Se basa en parte en GOMS.

    La evaluación heurística es esencialmente un proceso de aplicar reglas o principios de diseño de interfaz a un sistema o a un prototipo de sistema. Es de bajo costo, fácil y rápida de usar e identifica la mayoría de los problemas de usabilidad, pero no existe una metodología asociada y diferentes evaluadores pueden llegar a distintos resultados. En general se evalua la consistencia, mensajes de error, el lenguaje, la existencia de ayuda en línea, elementos como iconos y otros de percepción, etc.

    Actualmente las técnicas más utilizadas son las técnicas heurísticas de usabilidad e inspección cognocitiva [Bonn97]. Estas técnicas son las mismas utilizadas para diseño de interfaz pero no necesariamente para ambientes Web. Por ello creemos que éstas no son suficientes, y se requiere tener un modelo que incorpore todas las características de los sistemas de Educación Interactiva Virtual basados en Web.
     

    4.- Modelo multicriterio de evaluación

    Creemos que una de las potencialidades de los cursos con sitios Web es que éstos favorecen la comunicación alumno-profesor, alumno-alumno y alumno-ayudante, por lo tanto uno de los factores importantes a considerar es la comunicación, ademas de la facilidad de distribución de materiales, la calificación de los alumnos y la evaluación del curso por parte de los alumnos.

    El modelo que se presenta a continuación representa los parámetros a introducir en un software multicriterio/multiatributo que nos permita obtener una comparación entre algunos sistemas integrados existentes y el desarrollado localmente.

     


     
     

    Figura 3 :Modelo multicriterio de Evaluación



    De los criterios mencionados en el modelo, herramientas para el instructor, herramientas de administración y herramientas para el aprendizaje son funcionales y se pueden evaluar en cuanto a presencia o ausencia. Los criterios de costos son cuantitativos y la usabilidad e impacto real en el proceso de enseñanza aprendizaje son evaluados principalmente en base a encuestas tanto a estudiantes como a instructores. El modelo anterior es configurable en le sentido que a cada criterio se asocia una ponderacion, si un decisor no le interesa evaluar una característica en particular, simplemente le asigna ponderación cero y saca el criterio de la evaluación , si por el contrario considera muy inportante un criterio le asigna la mayor ponderación.

    A continuación se describen algunos criterios. Herramientas para el instructor:
     

  • Planificación del curso: comprende la posibilidad de organizar los capítulos de acuerdo a los objetivos.
  • Administración del curso: comprende el ingreso y eliminación de información.
  • Monitoreo del curso: comprende el poder ver quines accesaron una página y qué páginas fueron accesadas por un alumno en particular.
  • Diseño instruccional: permite organizar la información de modo de favorecer la enseñanza centrada en el alumno.
  • Administración de notas: permite actualizar y publicar las notas de los alumnos a medida que se van generando.
  • Análisis y seguimiento: permite determinar qué páginas fueron las más accesadas, cuantas visitas tuvo el sitio, etc.

  •  

    Herramientas para el aprendizaje: comprende herramientas síncronas y asíncronas , además de facilidades otorgadas a los alumnos.
     

  • Accesiblidad: comprende el que el URL del curso sea permanente o al menos no cambie muy a menudo, además de la velocidad de acceso de la página completa.
  • Multimedia: que incorpore elementos como gráficos, imágenes y sonido.
  • E-mail: correo electrónico.
  • Intercambio de archivos: permite el intercambio de archivos entre los diferentes actores del sistema de educación basada en Web.
  • Grupos de discusión: un espacio en el que los alumnos, instructores y ayudantes pueden exponer ideas y comentarlas.
  • Chat: una herramienta sincrónica que permite la comunicación vía texto entre dos alumnos o entre ayudante y alumnos.
  • Diario mural electrónico: es un espacio para la publicación de noticias.
  • Auto-evaluación: permite que el alumno responda preguntas sobre lo visto de modo que obtenga retroalimentación de lo aprendido.
  • Percepción de avance: es el "awareness" que recibe el alumno que le indica qué partes ya exploró y cuál es el grado de avance en el contenido total del curso que ha logrado.
  • Medios bajo demanda: son medios que permiten bajar audio o sonido previamente almacenados en el servidor.

  •  

    Herramientas administrativas
     

  • Herramientas de administración: permiten tanto al instructor como al alumno instalar en su equipo los componentes necesarios para el acceso al sistema.
  • Herramientas de seguridad : evitan que un usuario no autorizado accese información en forma indebida. (Por ejemplo con el uso de archivos de texto en formato PDF; configurado para no copia, se evita el uso de copy-paste)
  • Herramientas de acceso remoto: permiten que un usuario externo al campus accese el sistema.
  • Herramientas de recuperación de fallas: permiten que el sistema entregue mensajes de error y presente una salida posible en caso de falla.
  • Herramientas de ayuda : permiten a instructores y alumnos recibir información on-line sobre el uso del sistema, además facilitan el uso de la interfaz.
  • Herramientas de autentificación: permiten identificar a los usuarios mediante nombre y contraseña.

  •  

    Costos de software: Se consideran todos los costos involucrados en las etapas del ciclo de vida de un proceso de desarrollo de software. Se ha diferenciado el costo de software del de infraestructura pues en general para infraestructura existe una inversión previa.

    Costo de infraestructura: costo de hardware, comunicaciones y espacio físico.

    Usabililidad: permite evaluar consistencia, buenos mensajes de error, lenguaje simple y natural, buenos iconos, una interfaz clara, letra legible, si queda claro cómo navegar a otras partes del sitio o es fácil saber en que parte del sitio se está, etc.

    Impacto real en el proceso de enseñanza aprendizaje.
     

  • Mejora del aprendizaje: si la existencia del sitio Web ha permitido mejorar el aprendizaje, reflejándose por ejemplo en el nivel de las notas.
  • Eficiencia en la enseñanza: si el sitio Web permite al instructor usar en mejor forma los recursos y el reuso de información.
  • Mejor acceso a materiales: permite validar si a los alumnos se les ha facilitado obtener información.
  • Mejor acceso a instructores: si la inclusión de más espacios de comunicación permite más rápidas y expeditas respuestas a las inquietudes de los alumnos.

  •  

     

    5.-El Web en Educación; clasificación de herramientas: Las herramientas para educación en Web se clasifican de acuerdo a lo siguiente [DOB98]
     

  • Lenguajes: HTML,XML, Java, JavaScript, VBScript, EcmaScript, CGI-bin
  • Herramientas de creación: Authorware, Toolbok II, Quest, Director, GLPro, IconAuthor, CBTExpress
  • Courses in a Box: WebCT, TopClass, LearningSpace
  • Herramientas de aprendizaje síncrono: LearnLine, Symposium
  • Conferencia electrónica: Firstclass, Lotus Notes, Microsoft Exchange

  •  

     

    Esta investigación se centra en courses in a box o herramientas integradas.

    Algunas de las herramientas para la creacion de sitios de cursos Web más conocidas existentes hoy en día son:

    - WCB (Web Course in a Box): Software para Construcción y Publicación de Cursos, de Virginia Commonwealth University, U.S.A. http://www.madduck.com/wcbinfo/wcb.html. WCB es una herramienta Cliente/Servidor, y está disponible para Unix y WNT.

    -TopClass: Herramienta de la empresa WBT Systems (anteriormente llamada WEST), usada para la construcción y publicación de cursos :http://www.wbtsystems.com/. Esta herramienta (Top Class Server) trabaja sobre una arquitectura Cliente/Servidor, y puede correr en los siguientes sistemas operativos: Windows NT 4.0, Windows 95, MacOs 7.1, SPARC Solaris 2.5, Intel ELF Linux 2.0.2

    -WebCT: Herramienta para construir y publicar cursos en la Web, fue dasarrollado en la University of British Columbia, Canada: http://homebrew1.cs.ubc.ca/webct Su arquitectura es Cliente/Servidor, y toda la funcionalidad reside en el Servidor (15 Mb de Código), el Cliente (browser) sólo se utiliza para interactuar.

    -Lotus Learning Space: Software para la construcción de Cursos de la empresa IBM Lotus Corp.: http://www.lotus.com/home.nsf/tabs/learnspace. Este producto es Cliente/Servidor y debe ser instalado sobre un Servidor Lotus Domino, y los clientes sólo necesitan un Browser para interactuar.

    -Virtual-U: Ambiente virtual de estudio, desarrollado por la Simon Fraser University, British Columbia, Canada : http://virtual-u.cs.sfu.ca/vuweb/

    - NiceNet: Ambiente Integrado de apoyo a la educación, desarrollado en el proyecto Internet Classroom Assistant (ICA) : http://www.nicenet.org/

    - CyberProf: Framework desarrollado en la University of Illinois, U.S.A.: http://cyber.ccsr.uiuc.edu/cyberprof/

    6.- Desarrollo de un prototipo de sistema con evaluación en mente.

    Se ha desarrollado un prototipo de sitio para cursos Web denominado "Curso Web-PUC" cuya interfaz de presentación y acceso está dada en la Figura 4

     


     
     

    Figura 4: Interfaz de presentación y acceso al sitio Web del curso





    Este prototipo de sistema se ha puesto en marcha y se han generado cursos de Ingeniería, Teología, Geografía, Biología y Economía y está en permanente evaluación y actualización, los componentes de este sistema son:

    Apuntes : corresponde al material multimedial del curso (texto, presentación, imágenes, diagramas, sonidos, etc.)
    Proyecto: corresponde a información respecto a proyectos, salidas a terreno, laboratorios, etc.
    Preguntas: corresponde a preguntas mas frecuentes (FAQ)
    Repositorio : comprende guías de ejercicios para complementar estudios
    Programa del curso: descripción, objetivos y contenidos programáticos del curso más bibliografía.
    Calificaciones: presenta las notas parciales y finales del curso.
    Asistencia: contempla el registro de la asistencia a clases
    Calendario: fechas importantes como fechas de pruebas o exámenes, vencimiento de trabajos, exposiciones, etc.
    Correo electrónico: permite comunicación privada y asincrónica del alumno con el profesor o el ayudante.
    Foro de discusión: permite al alumno presentar inquietudes que pueden ser respondidos por el profesor, los ayudantes o los mismos compañeros.
    Noticias: es un pizarrón virtual donde se registra informativos de eventos, cambios de fechas, últimas páginas del sitio modificadas, etc.
    Chat: una opción que permite la comunicación sincrónica entre los diversos actores del modelo.

    Este modelo de evaluación citado en punto 5, se usa para comparar algunas de las herramientas integradas en particular WebCT, Virtual -U, Web Course in a Box (WCB), LearningSpace, TopClass y CourseInfo con la plataforma "Curso Web-PUC" y contribuir asi a la mejora del sistema.

    Una primera evaluación dio por resultado que comparado con algunas herramientas integradas existentes , el prototipo "Curso Web-PUC" desarrollado hasta ahora queda en una segunda categoría especialmente por su falta de elementos tales como percepción de avance por parte del alumno y monitoreo del curso.

    Siendo este un proceso iterativo, se incorporarán al prototipo algunas mejoras y se continuará con el ciclo.

    Cabe destacar que la aplicación del modelo de evaluación al prototipo contribuye realmente a conocer de mejor forma el sistema y mejorar no sólo el prototipo de sitio de curso Web , sino tambien en ocasiones el modelo de evaluación.

    El uso de metodos multicriterio discretos, es realmente util pues permite incorporar características tanto cualitativas como cuantitativas a la evaluación, lo cual es dificil de conseguir en muchos métodos de evaluación
     

    7.-Referencias