Evaluación de ambientes de aprendizaje


Miguel Ángel González Castañón
Universidad EAFIT
Línea I+D Informática Educativa
Departamento de Ingeniería de Sistemas
Colombia
mgonza@conexred.eafit.edu.co

Resumen

Este trabajo describe el modelo de evaluación construido y aplicado por el Proyecto Conexiones http://www.conexiones.eafit.edu.co/, dando cuenta de los referentes teóricos que sustentan las prácticas evaluativas llevadas a cabo; de las intenciones que guían la evaluación y a qué audiencias servirán los resultados; cómo conceptualizamos el ambiente de aprendizaje y cuáles son los objetos de evaluación; qué métodos y técnicas se utilizan para recabar información y para analizarla. El modelo muestra la necesidad de superar un enfoque de evaluación sumativa y externa, centrada en buscar relaciones causales entre el tratamiento y los resultados, mediante modelos experimentales (pretest-postest, grupos control, etc.), e incorporar modelos más holísticos y cualitativos, que puedan dar cuenta de la complejidad de un ambiente de aprendizaje.

1. Antecedentes

CONEXIONES es un proyecto de investigación y de aplicación piloto que busca diseñar y poner en operación ambientes de aprendizaje con uso de tecnologías informáticas y de comunicaciones ?TIC. Su objetivo general es aportar al mejoramiento de la calidad y equidad de la educación colombiana.

Los objetivos específicos se concentran en las cuatro áreas de desarrollo del proyecto:

Informáticos:

Desarrollo y validación de interfaces gráficas para el aprendizaje escolar.

Desarrollo de software multimedia Telemáticos:

Instalar una red piloto de comunicaciones que integre instituciones de educación básica. Crear un centro de gestión para la administración de la red interescolar

Pedagógicos:

Establecer planes de sensibilización y capacitación en la utilización de herramientas informáticas para el desarrollo de proyectos curriculares.

Lograr efectos en el aprendizaje de los estudiantes:

habilidades generales de pensamiento; percepción del medio; autoconcepto; relaciones sociales.

Mejorar las competencias docentes del profesorado y el uso pedagógico de las nuevas tecnologías.

Evaluativos:

Desarrollar estrategias y formas de evaluar ambientes de aprendizaje con TIC, que permitan “elevar su utilidad para promover la mejora y para facilitar la comprensión de los procesos que suceden en ...” tales ambientes de aprendizaje (Ruiz 1996).

El presente trabajo da cuenta de este último objetivo: qué referentes teóricos sustentan las prácticas evaluativas llevadas a cabo; qué intenciones guían la evaluación y a qué audiencias servirán los resultados; cómo conceptualizamos el ambiente de aprendizaje y cuáles son los objetos de evaluación; qué métodos y técnicas se utilizan para recabar información y para analizarla.

2. Fundamentos

Concebimos la evaluación como la acción mental de asignar valores a los objetos, fenómenos o situaciones (González, 1986). Todo juicio evaluativo es un juicio de valor. Cabe, pues, caracterizarlo como tal. Los juicios de valor son comparativos, exigen conocimiento del objeto que se evalúa y se orientan a un fin (González, 1994).

La pretensión de ofrecer un “Modelo” de evaluación de ambientes de aprendizaje con TIC, como reza el título, pasa entonces por la definición de los tres elementos esenciales:

qué base de comparación usaremos para juzgar el valor, es decir, cuáles son los criterios valorativos que servirán de patrón para contrastar con ellos la situación conocida qué es necesario conocer de un ambiente de aprendizaje con TIC, lo cual supone claridad conceptual sobre las dimensiones que encierra la situación a la que damos ese nombre, y desglosar esas dimensiones en aspectos concretos, que nos sirvan para definir un conjunto de indicadores que se puedan observar, describir o medir. La garantía para la validez de ese conocimiento sobre lo que se pretende evaluar incluye definir cómo vamos a obtenerlo, es decir, qué métodos y técnicas se utilizarán, con una fundamentación teórica que garantice esa validez.

para qué evaluamos: qué se pretende hacer con los resultados de la evaluación y quién está interesado en hacerlo.

En el documento inicial del proyecto (1994) se planteaba una estrategia evaluativa centrada por una parte en el monitoreo del uso de la red (tráfico de correo electrónico, conectividad, uso de herramientas de productividad, uso de software, etc.) y en la recolección de información “cuantificable” por medio de pruebas formales o cuestionarios. Por otra parte, se proponía un modelo de investigación experimental, para dar cuenta de los logros cognitivos y actitudinales obtenidos por los alumnos; con un esquema de pretest-postest, se proponía analizar las diferencias medibles entre grupos experimentales y grupos control. Interesaba comprobar logros frente a objetivos propuestos (eficacia); costos frente a beneficios (eficiencia)

Una vez iniciada la fase de operación piloto en las instituciones educativas, se hizo claro que la estrategia diseñada no podría dar cuenta de muchos de los aspectos de interés. La naturaleza multivariada del fenómeno pedagógico y la dificultad de aislarlo con claridad de su contexto, hizo aconsejable ampliar la estrategia hacia modelos que permitieran comprender todos los aspectos críticos que salen a la luz cuando en una institución escolar se inicia una innovación como la propuesta por CONEXIONES. La intención general del proyecto de “contribuir a mejorar la calidad y la equidad de la educación colombiana” demanda de la evaluación una visión holística, abierta a diversas fuentes de información y flexible incluso ante lo inesperado, en una experiencia de incorporación de nuevas tecnologías en la escuela que no tiene precedentes en el país.

La evolución hasta la propuesta actual añade la visión de que la investigación y desarrollo de ambientes de aprendizaje no es posible más que en una escuela, en un medio escolar concreto (McGilly 1996). La aplicación en un medio escolar concreto saca al proyecto del ámbito experimental de laboratorio y lo ubica en un tipo particular de organización, la organización escolar. Por ello, la evaluación de un ambiente de aprendizaje no es una tarea fácil, ya que es un entorno muy complejo, que se resiste a procesos analíticos y que requiere ser abordado desde planteamientos contextuales en los que se contemplen todos los factores que condicionan su actividad y resultados.

Partiendo de estos supuestos nuestro modelo de evaluación trata de comprender el Ambiente de Aprendizaje propuesto por CONEXIONES, juzgando no solamente los resultados obtenidos en relación con los recursos con los que se cuenta, sino también los fines que se propone, su organización y su funcionamiento interno.

Durante los últimos años, la mayoría de las propuestas de evaluación educativa (Madaus, Scriven y Stufflebeam 1983; De Miguel et al. 1994; Ruiz 1996; Pérez Juste 1995; Santos Guerra 1990; Fernández 1991; Medina 1991; Stufflebeam y Shinkfield 1989; Woods 1995) consideran que, frente a la visión clásica centrada en la eficacia, la evaluación de un ambiente de aprendizaje (o de un centro escolar) debe incidir sobre la mejora de dicho ambiente. Esto equivale a proponer como fin importante para la evaluación, además del desarrollo y perfeccionamiento del ambiente y la organización que lo soporta, la mejora de las personas que intervienen en él. Así lo expresa De Miguel : “Frente a la evaluación burocrática y jerárquica de las instituciones educativas hoy nadie duda que es necesario introducir un enfoque abierto y dinámico, donde el proceso evaluador sea el principal elemento que incida en el desarrollo de la propia organización.” (De Miguel et al. 1994). Añadir este objetivo a la evaluación le confiere un carácter formativo y la desplaza de la evaluación de productos, a la de procesos. También exige, como es sabido, la participación de los múltiples actores que intervienen de una u otra forma en el ambiente de aprendizaje.

Nuestro enfoque de evaluación se aproxima a lo expresado por Santos Guerra (1988) en los siguientes términos:

“Se evalúa para comprender la naturaleza de los programas, para mejorar a través del análisis y de los resultados de lo que se hace y lo que se pretende hacer y para generar y reforzar teorías interpretativas de la realidad. La evaluación que se propone no tiene solamente la pretensión de etiquetar un programa como bueno/malo, ni siquiera la de facilitar la toma racional de las decisiones sobre otros programas o la continuidad o mejora del que se ha evaluado, sino que se convierte en un instrumento, en un proceso permanente entre la racionalidad teórica y la racionalidad práctica” (citado por Ruiz, 1996).

Por otra parte, el considerar que la estimación de la eficacia de un ambiente de aprendizaje, es decir, de los cambios entre las entradas y las salidas, no puede prescindir de los aspectos contextuales y procesuales, ha llevado a muchos autores a considerar el modelo CIPP (Madaus y Stuflebeam 1987) como muy apropiado para sistematizar los distintos aspectos de la realidad de un ambiente de aprendizaje que debemos considerar en función de su evaluación. Como es sabido, esta forma de ver permite describir los componentes del ambiente de aprendizaje en una forma integral e interrelacionada, superando esquemas más recduccionistas y permitiendo poner los énfasis del análisis evaluativo tanto en los productos frente a las condiciones de entrada y los recursos, como en lo que más nos interesa: los procesos y el contexto en que el ambiente de aprendizaje se da.

Iniciaremos la descripción de nuestro modelo respondiendo primero la pregunta ¿qué evaluar?, pues el carácter innovador de nuestro objeto de evaluación exige clarificarlo antes. La escasa evidencia empírica sobre el uso de TIC en educación exige cautela al establecer los criterios con que se va a juzgar su calidad, de modo que una vez claro el objeto de evaluación y los fines que se persiguen con ella, estableceremos criterios provisionales, pues una de las intenciones de nuestra evaluación es precisamente ganar conocimiento sobre este tipo de ambientes de aprendizaje para aportar a la construcción de criterios que permitan juzgarlos.

3. Qué evaluamos

3.1. El ambiente de aprendizaje: campos semánticos y dimensiones de evaluación.

Antes de exponer cualquier modelo de evaluación debemos determinar qué aspectos serán objeto de evaluación y los indicadores a utilizar en relación con cada uno de esos aspectos.

Llamamos aquí campo semántico a una forma de describir un objeto, fenómeno, o situación, en nuestro caso un ambiente de aprendizaje, situando los distintos elementos conceptuales que describen su significado, y las relaciones que se dan entre esos conceptos. Una primera división del campo deberá contener los términos más genéricos, que serán los conceptos inclusores; por tanto serán el mínimo número posible.

Siguiendo el análisis que hace Mario De Miguel (De Miguel et al. 1994) para un centro escolar, en un análisis semántico- relacional de un ambiente de aprendizaje hallamos cuatro conceptos que lo definen.
 

  • Infraestructura
  • Estructura
  • Función
  • Relación

  •  

     
     
     

    Un ambiente de aprendizaje se genera siempre desde una situación inicial, contando con unos medios y recursos que ofrecen unas condiciones de entrada. Este elemento se identifica con lo denominado en el enfoque de sistemas Input (Stufflebeam y Shinkfield 1989). Los elementos personales de esta infraestructura se organizan en una estructura determinada que define la función que cada elemento cumple, usualmente por medio de propuestas de acción en forma de proyectos y programas. La operación de estos proyectos, mediante planes de acción, sucede en un ambiente de aprendizaje; el insistir en el término “ambiente” significa para nosotros que ponemos un acento fuerte en la calidad de este ambiente, es decir, en la calidad de las relaciones que suceden entre sus actores y con el medio que los rodea. Para describir esta dimensión adoptamos el concepto de clima (Fraser 1991; Villar y García 1994; Ruiz 1996; De Miguel et al. 1994). Las dimensiones estructura, función y clima completan el componente proceso del enfoque de sistemas.

    Ahora bien, cada ambiente de aprendizaje tiene lugar en un centro educativo concreto, del que obtiene recursos materiales y humanos para su funcionamiento. Las características específicas de este entorno, así como del entorno del centro mismo, aportan al ambiente de aprendizaje unos rasgos especiales, que condicionan toda la actividad educativa que se desarrolla internamente. Añadimos la dimensión contextual a las cuatro anotadas, señalando que es uno de los elementos a los que damos gran importancia. Esta dimensión se corresponde literalmente con el elemento contexto del enfoque de sistemas.

    Por último, las actividades realizadas en un ambiente de aprendizaje producen unos resultados. Evaluar un ambiente de aprendizaje supone evaluar sus resultados. Los resultados de un ambiente de aprendizaje pueden analizarse desde diversos puntos de vista, dependiendo de la idea que se adopte sobre la eficacia y la calidad de ese ambiente. Nosotros diferenciaremos dos tipos de resultados: logros e impactos. Tenemos así el último elemento de una concepción sistémica: el producto.
     

    Contexto  -  Infraestructura  -  Estructura  -  Función  - 
    Clima  - Resultados


    Mediante estas dimensiones, y sus correspondientes subdimensiones, podemos tener una visión global, descriptiva y comprensiva de un ambiente de aprendizaje, tanto en su estructura y funcionamientos como en sus resultados o logros. Toda decisión o recomendación sobre mejoras o cambios en el ambiente de aprendizaje quedará enmarcada en estas dimensiones, ya que ellas barren el campo de observación que denominamos ambiente de aprendizaje.

    3.1.1. Contexto

    Entendemos por “contexto” el conjunto de características del entorno en las que se inscribe el ambiente de aprendizaje. Consideramos la siguientes subdimensiones:

  • Características de la institución
  • Entorno socio-económico
  • Entorno familiar

  •  
     
     

    3.1.2. Infraestructura

    La infraestructura está constituida por las condiciones de partida con las que se cuenta para desarrollar la actividad de enseñanza-aprendizaje. En un ambiente de aprendizaje con TIC las subdimensiones de infraestructura son esencialmente:

    Instalaciones y medios, en particular el equipamiento tecnológico y su funcionamiento Condiciones de entrada de alumnos y profesor

    En un ambiente de aprendizaje en que buena parte de la innovación procede de la incorporación de nuevas tecnologías, la existencia de los equipos necesarios y su disponibilidad son condiciones indispensables de partida.

    Las condiciones con que profesor y alumnos enfrentan la innovación son también determinantes como punto de partida, pues dependiendo de su preparación, expectativas y motivaciones iniciales, la innovación tomará desde un inicio rumbos y ritmos de evolución diferentes.

    3.1.3. Estructura

    Llamamos estructura al conjunto de personas que tienen una función en el ambiente de aprendizaje y mantienen entre sí diversos tipos de relaciones, es decir, juegan su papel en el modelo de organización vigente.
     

  • Profesores
  • alumnos
  • padres
  • directivos

  •   

    3.1.4. Función

    Cada una de las estructuras anteriores desempeña una función; este conjunto de funciones se configuran en proyectos y programas que abarcan toda la actividad propia del ambiente de aprendizaje. Visto así, podemos decir que toda función se plasma en un ciclo de actividades que parte de un proyecto y culmina en un producto. Los proyectos, en cuanto intenciones formuladas como propuestas, se describen y sistematizan mediante planes y programas. Un ambiente de aprendizaje, desde el punto de vista de la función, es una unidad de diseño, aplicación y evaluación de programas. Nos interesan concretamente los programas que se generan en el aula de clase a partir de la propuesta Conexiones y la forma en que se articulan con los programas de trabajo escolar existentes, es decir, la formulación concreta del plan de trabajo y la inserción del programa “Conexiones” en el curriculum y en el proyecto pedagógico institucional. Y nos interesa, naturalmente, la forma en que se llevan a cabo estos planes en el acontecer cotidiano del aula, en la actividad escolar con nuevas tecnologías. Tenemos así las siguientes subdimensiones:
     

  • Proyecto curricular
  • Proyecto Conexiones
  • Planes específicos (Unidades de Aprendizaje Integrado,
  • Proyectos Colaborativos)
  • Actividad escolar de aula

  •  

     

    3.1.5. Clima

    Entendemos por “clima” la calidad del entorno global del ambiente de aprendizaje. Al ubicar el ambiente de aprendizaje en el aula, entendida ésta más como colectivo de personas que como espacio físico, debemos ampliar las subdimensiones que conforman el clima a aspectos que provienen del contexto institucional, particularmente los que determinados por:
     

  • las normas existentes
  • la forma en que se relacionan los miembros de la comunidad educativa
  • el liderazgo y apoyo de las directivas
  • la participación de los padres
  • la existencia de una cultura organizativa
  • la satisfacción general del profesorado y alumnado

  •  

     

    3.1.6. Resultados

    La estructura, función y clima se enmarcan en la dinámica de los procesos, condicionados por la infraestructura previa, que conducen a unos resultados que pueden observarse a través de distintos aspectos e indicadores. Diferenciamos entre los resultados que dicen una relación directa a lo propuesto por el proyecto Conexiones, como objetivos de calidad del ambiente de aprendizaje, y los resultados que se generan como consecuencia no prevista y que afectan un ámbito más amplio que el ambiente de aprendizaje mismo. A los primeros los denominamos “logros”; a los segundos “impactos”.
     

  • Logros de los estudiantes
  • Logros de los profesores
  • Impacto pedagógico
  • Impacto en el uso de TIC
  • Impacto en el medio

  •    
     

    La tabla 1 siguiente resume las seis dimensiones y las subdimensiones principales del nuestro análisis semántico relacional:
     
      Tabla 1: Ambiente de aprendizaje, dimensiones y subdimensiones



    AMBIENTES DE APRENDIZAJE: DIMENSIONES Y SUBDIMENSIONES
    I. Contexto
    • Características de la institución: Tipo (privado-público, mixto, femeníno, masculino, confensional, civil, rural, urbano)

    Tamaño

    Ubicación

    • Entorno socio-económico 
    • Entorno familiar
    ENTRADA
    PROCESO
    PRODUCTO
    II. 

    INFRAESTRUCTURA

    Instalaciones y medios, en particular, el equipamiento tecnológico y su funcionamiento 

    Condiciones de entrada de alumnos y profesor.
     
     

     

    III.

    ESTRUCTURA

    Organización y funcines de:

    Profesores

    Alumnos

    Padres

    Directivos

    IV.

    FUNCIÓN

    Proyecto curricular

    Proyecto conexiones

    Planes específicos (Unidades de Aprendizaje Integrado, Proyectos Colaborativos)

    Actividad escolar de aula.

    V. 

    CLIMA

    Normas existentes Forma en que se relacionan los miembros de la comunidad educativa.

    Liderazgo y apoyo de las directivas.

    Participación de los padres

    Existencia de una cultura organizativa

    Satisfacción general del profesorado y alumnado.

    VI.

    RESULTADOS

    Logros de los estudiantes

    Logros de los profesores

    Impacto pedagógico

    Impacto en el uso de TIC

    Impacto en el medio.


     
     

    4. Criterios, estándares e indicadores

    Un criterio es un “medio para juzgar”. En nuestro caso, serían los medios que nos permitan juzgar el ambiente de aprendizaje, en los sentidos que establecen los objetivos del proyecto. De manera que se puede aceptar la definición de De Miguel et al.(1994): “criterio es un objetivo de calidad respecto al cual puede ser valorado un fenómeno o un aspecto concreto de la realidad”. Se trata, pues, de un término genérico y poco específico.

    El término estándar es más específico, pues hace referencia a algo que se establece como regla o base de comparación al evaluar capacidades, contenidos, valores, etc. De alguna forma, un estándar es un modelo o una norma comúnmente aceptada en determinadas prácticas. Pero también se le puede aplicar la definición anterior de criterio, con el añadido de expresar un nivel de excelencia o de logro, que se considera como una medida de “adecuación”. Si el fenómeno alcanza ese nivel de logro, se considera adecuado. En nuestro caso, si el ambiente de aprendizaje o uno de sus componentes (por ejemplo uso del correo electrónico en proyectos colaborativos) alcanza cierto nivel (número, destino, contenido...) se considera que el uso que se hace de este recurso es adecuado. Como vemos en la frase anterior, la necesidad de explicitar entre paréntesis a qué nos referimos con “cierto nivel”, expresa la importancia de pasar del mundo de lo opinable al mundo de lo objetivo. El estándar, particularmente en nuestro ámbito, se mueve en el terreno de lo convenido como adecuado en una determinada práctica; de lo “comúnmente aceptado”. Por ello los estándares educativos varían de cultura a cultura, de país a país, en las distintas épocas y, en general, dependiendo de los presupuestos educativos que se consideren. El paréntesis anterior apunta a encontrar el apoyo de hechos que avalen el estándar. Esta es la función de los indicadores: un indicador señala, advierte de la presencia o ausencia de un hecho. Sustentar un estándar equivale a determinar un conjunto de indicadores que garanticen la presencia y carácter de los hechos que en conjunto realizan lo que el estándar expresa.

    En nuestro caso existe una dificultad evidente en la definición de criterios y estándares, en razón de que la propuesta Conexiones es una innovación educativa. Su carácter de innovación hace que “lo comúnmente aceptado” en esta práctica no exista aún, sencillamente porque el proceso de crear ambientes de aprendizaje con TIC es nuevo. Consideraremos la distinción de estándares abiertos y cerrados. Un estándar cerrado suele denominares norma; sea ésta impuesta por una autoridad (ley, decreto reglamentario, etc.), por unas exigencias técnicas (normas de fabricación) o decidida por el propio colectivo (reglamentos, manuales de funciones). Cuando se cuenta con normas, los estándares y los indicadores son una misma cosa. Los estándares abiertos ofrecen una graduación ajustable a los distintos contextos en que se aplican; de manera que el evaluador tiene la posibilidad de graduar el estándar en su aplicación concreta.

    Nuestro proyecto tiene las dos características que suelen hacer aconsejable el uso de estándares abiertos:

    duda razonable de haber superado o no un estándar, por problemas de novedad pretensión de lograr objetivos de calidad y mejora de la educación, es decir, aspiración de lograr estándares en grado óptimo.

    En nuestro caso, se impone un sistema de indicadores, que derivamos de los campos semánticos y dimensiones definidas en el apartado 3.1 ; y un esfuerzo particular por ir acotando el grado deseable en que cabe esperar el cumplimiento de estándares. Esto le da a nuestro trabajo el carácter que propone: investigación evaluativa.

    Las tablas siguientes
     
     

    Tabla 2

    Configuración de la dimensión Contexto de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUBDIMENSION
    INDICADORES
    C

    O

    O

    • Características de la institución. 
    • Entorno socio-económico.
    • Entorno familiar
    Tipo: privado- público 

    mixto,femenino, masculino

    cofesional, civil;

    rural, urbano

    nivel y modalidad

    Tamaño

    Ubicación

    Origen y poblamiento de la zona

    Recursos culturales

    Nivel económico familiar

    Nivel cultural


     
     
     

    Tabla 3

    Configuración de la dimensión Infraestructura de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUBDIMENSION
    INDICADORES

     
     

    I

    N

    F

    R

    A

    E

    S

    T

    R

    U

    C

    T

    U

    R

    A


     
     
    • Instalaciones y medios 
    • Equipamento tecnológico 
    • Funcionamiento 
    • condiciones de entrada de alumnos y profesor
    Adecuación de la planta física

    Instalaciones dedicadas al proyecto

    Equipos disponibles

    Funcionamiento de los equipos y de la red

    Acceso a los recursos Tecnológicos por alumnos y profesores

    Existencia de cultura informática previa

    Participación en programas de Capacitación

    Edades y numero de alumnos

    Expectativas hacia el uso de la Tecnologías


     
     
     

    Tabla 4

    Configuración de la dimensión Estructura de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUBDIMENSION
    INDICADORES

     
     

    E

    S

    T

    R

    U

    C

    T

    U

    R

    A

    • Gestión y gobierno 
    • Equipos de profesores 
    • Organización del alumnado 
    • Participación de la comunidad 

    •  

       
       
       
       
       
       
       

     
    Relaciones jerárquicas

    Funcionamiento de los grupos de trabajo

    Agrupamientos formales de los alumnos

    Agrupamientos informales de los alumnos

    Presencia de los padres en la vida y actividades escolares


     
     
     

    Tabla 5

    Configuración de la dimensión Función de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUBDIMENSION
    INDICADORES

     
     
     
     
     
     
     
     
     
     
     
     

    F
     
     

    U
     
     

    N
     
     

    C
     
     

    I
     
     

    O
     
     

    N

    • Proyecto curricular 
    • Proyecto conexiones
    • Planes específicos (unidades de aprendizaje integrado, proyectos colaborativos)
    • Actividad escolar de aula 

       

       
       
       
       
       
       
       

     
    Formas de planificación del curriculum

    Nivel de inserción del Proyecto Conexiones en el plan curricular Integración de áreas de contenidos Congruencia de contenidos y objetivos.

    Grado de coherencia entre los elementos constitutivos de los planes

    Adecuación al nivel y necesidades educativas de los alumnos

    Integración del recurso informático en los planes

    Capacidad del profesor para concretar las propuesta en actividades de aula.

    Capacidad del profesor para manejar innovaciones metodológicas(trabajo por proyectos, aprendizaje colaborativo)

    Capacidad del profesor para manejar las TIC

    capacidad del profesor para usar las TIC

    como recurso didáctico.

    Cambios e innovaciones producidos en el trabajo de aula.

    Cumplimiento del plan de trabajo

    Capacidad para institucionalizar la innovación.

    Modalidades de acceso al computador

    Tasa de uso por los estudiantes

    Monitoreo del uso de la interfaz, red y uso de servicios y herramientas.


     

    Tabla 6

    Configuración de la dimensión Clima de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUDBIMENSION
    INDICADORES

     
     
     
     
     
     
     
     
     
     
     
     
     
     

    C
     
     
     
     
     
     

    L
     
     
     
     
     
     

    I
     
     
     
     
     
     

    M
     
     
     
     
     
     

    A 

    • Normas existentes
    • Forma en que se relacionan los miembros de la comunidad educativa.
    • Liderazgo y apoyo de las directivas
    • Participación de los padres
    Existencia de una cultura organizativa.

    Satisfacción general del profesorado y alumnado.

    Existencia, aceptación y aplicación de normas do convivencia.

    Cultura de colaboración

    Corresponsabilidad en logros y fracasos

    Respeto

    Apoyo y responsabilidad mutua

    Nivel de información y compromiso de las directivas con el desarrollo del proyecto

    Grado de participación de la comunidad en el curriculo extraescolar

    Grado de participación de los profesores en la vida del centro.

    Participación de la toma de decisiones

    Percepción de los profesores de las ventajas e inconvenientes de la propuesta de conexiones

    Grado de satisfacción con el tipo de interacción con el equipo directivo, con las familias, con los compañeros.

    Grado de satisfacción con el nivel de participación, el trabajo colaborativo, reparto de responsabilidades, los programas de capacitación, el apoyo y soporte al desarrollo del proyecto.


     
     
     
     
     

    Tabla 7

    Configuración de la dimensión Resultados de un ambiente de aprendizaje: subdimensiones e indicadores

    DIMENSION
    SUBDIMENSION
    INDICADORES

     
     
     
     
     
     

    R
     
     

    E
     
     

    S
     
     

    U
     
     

    L
     
     

    T
     
     

    A
     
     

    D
     
     

    O
     
     

    S

    • Logros de los estudiantes
    • Logros de los profesores
    • Impacto pedagógico
    • Impacto en el uso de TIC
    • Impacto en el medio
    Logros de aprendizaje, referidos a habilidades cognitivas y sociales, agrupadas bajo el constructo Inteligencia Practica Para La Escuela:

    - Capacidades para manejarse con los demás

    - Capacidad de colaborar

    - Capacidad de usar el computador como recurso para el aprendizaje

    Logros de aprendizaje, referidos a cambios actitudinales y valorativos, en los ámbitos del autoconcepto, de los valores culturales propios y de otras culturas, y de valores ecológicos. 

    Mejoras en la capacidad del docente:

    aplicación de la metodología de aprendizaje colaborativo,

    forma de planificar e integrar el curriculum y el conocimiento sobre las nuevas tecnologías, manejo y su incorporación con sentido al trabajo de aula.

    Cambios de actitud hacia su rol docente y hacia la innovación y modernización de la enseñanza mediante el uso de nuevas tecnologías.

    Institucionalización de practicas propuesta por el proyecto,

    creación de ambientes de construcción curricular conjunta;

    introducción al uso de nuevas tecnologías, como política institucional

    implicación de todo el equipo de profesores

    conciencia de necesidades de innovación con nuevas tecnologías

    implicación de miembros de la comunidad en el uso de TIC

    Constitución de grupos informales de padres

    Mejora en la calidad y cantidad de interacción de los padres con las labores escolares de sus hijos.


     

    muestran el desglose de indicadores que utilizaremos para cada una de las dimensiones y subdimensiones de un ambiente de aprendizaje con TIC.

    5. Para qué evaluamos

    Los propósitos de la evaluación de nuestro proyecto responden a preguntas como:
     

  • ¿Cuáles son las condiciones críticas para que un ambiente pedagógico incorpore los medios informáticos con éxito?
  • ¿Por qué es - no es exitosa la incorporación de tecnologías informáticas en esta institución concreta de educación básica?
  • ¿Cuáles son los comportamientos frente al nuevo ambiente y los usos pedagógicos que se dan a los nuevos medios?
  • ¿Cuáles son los resultados positivos esperables en los agentes educativos (profesores, estudiantes, comunidad, directivas, entorno institucional) al introducir tecnologías de información y telecomunicaciones?
  • ¿Cuáles son los posibles efectos no deseables?
  • ¿Es posible replicar estas experiencias, garantizando resultados similares?

  •  

    Las respuestas a estas preguntas buscan:
     

  • Describir los contextos reales en que se da la intervención del proyecto, ofreciendo una visión global de los factores que favorecen o inhiben el éxito de esa intervención
  • Explicar alguno de los nexos causales, centrando la atención en aquellos que permitan generalizaciones, no de tipo muestra/población, sino de tipo replicativo y teorético.

  •    
     

    De manera específica nuestra evaluación tendrá en cuenta los siguientes propósitos:
     

  • Determinar en qué medida el contexto del ambiente de aprendizaje produce diferencias en la incorporación de TIC a un ambiente de aprendizaje.

  •  
  • Determinar la funcionalidad y adecuación de la infraestructura instalada.
  • Determinar la conveniencia de los cambios que la incorporación de TIC causa en la organización interna del ambiente de aprendizaje y en las funciones que desempeñan en él sus actores (estructura).
  • Juzgar valorativamente el uso pedagógico que se da a las TIC y su incorporación al curriculum (función).
  • Determinar los cambios en el clima del ambiente de aprendizaje atribuibles la introducción de TIC y juzgar si son deseables.
  • Determinar si existen logros de aprendizaje cognitivos, metacognitivos y actitudinales en los estudiantes atribuibles a la incorporación de TIC (resultados-logros)
  • Determinar si existen cambios en la forma de concebir el profesor su labor docente y cambios de actitud frente al uso de TIC (resultados-logros)
  • Determinar qué impactos está causando el desarrollo del proyecto, en la institución y en su entorno (resultados- impactos).
  • Explorar y juzgar el valor de métodos y procedimientos para la evaluación investigativa de ambientes de aprendizaje con TIC.

  •    
     

    6. Cómo evaluamos

    6.1. Caracterización del objeto de evaluación.

    Evaluar la tecnología informática en educación significa dar cuenta del valor que tiene su uso en el proceso intencional e institucionalizado de formación; equivale a dar cuenta del valor que tenga el uso de TIC para el cumplimiento de nuestros deseos de llegar a ser hombres educados de tal o cual manera. Se han debatido suficientemente las diversas formas en que la tecnología informática puede integrarse en este proceso (Galvis, 1993). En general, se habla de las tecnologías en educación como recurso para optimizar procesos de administración educativa, como objeto de conocimiento y como recurso o medio que favorece la adquisición de otros conocimientos, actitudes o habilidades.

    Nos ubicamos en esta última forma de incorporación: la tecnología informática como recurso o medio pedagógico; no respondiendo a la pregunta por el qué de la enseñanza, sino por el cómo. Vamos a diferenciar dos modos de considerar la pregunta sobre cómo utilizar la tecnología informática en educación: un modo singular y un modo global.
     

  • llamamos modo singular a las inclusiones de tecnología en el proceso pedagógico que apuntan a acciones pedagógicas singulares. Por ejemplo ¿sirven (tiene valor, conviene) las TIC para enseñar...matemáticas, historia, literatura, arte asirio-babilónico? Usualmente las preguntas evaluativas acerca de las TIC se centran en este tipo de acciones singulares, abarcando por separado un sinnúmero de prácticas educativas específicas de la mayor relevancia: formación de conceptos, capacidades de pensamiento, valores, habilidades de manejo de información, habilidades colaborativas, visiones globales de la cultura, etc.

  •  
  • el modo global, en cambio, hace referencia al fenómeno de la introducción de las TIC en la institución educativa y a los efectos globales que ello produce, o bien que se desea o se espera que produzca. Las preguntas evaluativas cobran un sentido más general: se intenta juzgar si los efectos o impactos que produce la incorporación de TIC en la praxis educativa valen la pena, aportan algo valioso para lograr la formación del hombre que queremos.

  •  
     
     

    Mientras más singular sea la acción educativa en la que se juzga el valor de TIC, es claro que habrá un mayor control de lo que se evalúa. Ya sabemos que control en nuestro modelo se refiere a la confluencia de los tres elementos centrales de la evaluación: una finalidad muy concreta, conocimiento del objeto de evaluación, criterios valorativos y su unión en el juicio evaluativo. Si alguien desea evaluar si sirven para aprender a transformar un número decimal en binario, se pueden establecer criterios más o menos claros de logro; se pueden establecer comparaciones entre los resultados y los que se logran en otras experiencias diferentes; incluso se puede “manipular” la experiencia, tratando de purificar la relación tratamiento-resultado.

    La evaluación de los efectos globales de incorporar tecnología educativa en una institución escolar son mucho más complejos de comprender; los criterios son más numerosos e inciertos, y las comparaciones no nos sirven de mucho; se puede pensar que aprender conversiones numéricas es un deseo formativo igual para cualquier aprendiz o grupo social. Pero los efectos globales difieren, al diferir los deseos formativos globales de grupo humano a grupo humano (la Ley 115 denomina a esto el Proyecto Educativo Institucional). Tampoco nos es dado “manipular” la experiencia; ni es conveniente, ni suele soportarlo la institución educativa.

    En esencia, más que el conocimiento en sí o los problemas específicos de la pedagogía, nos interesa la educación, es decir, los maestros, los niños, la escuela. Y nos interesa ir a la escuela a aprender cuanto podamos de las situaciones y procesos que en ella suceden; en nuestro caso, con motivo de una circunstancia cultural nueva, la generada por la presencia de las TIC. No estamos interesados primordialmente en un problema concreto educativo o del desarrollo del niño; tampoco en un efecto específico de estos nuevos medios. Estudiamos a los niños en la escuela porque nos gustan y nos conciernen. Y de camino utilizamos nuestra variada información para explorar algún aspecto que se muestra de interés o importancia.

    Así entendido, nuestro objeto de evaluación se puede caracterizar como sigue:
     

  • se aborda un fenómeno real, en toda su complejidad
  • se trata de un fenómeno contemporáneo, pero siempre inacabado
  • las relaciones del fenómeno con su contexto no son claras
  • el evaluador tiene escaso control o ninguno sobre el fenómeno
  • los factores (variables) que influyen en el fenómeno no se pueden aislar, la mayor parte de ellas son incluso insospechables de antemano

  •    
     

    En este ámbito, como vimos, los criterios o estándares no son construibles a priori en forma definitiva; porque no nacen de deseos formativos ya asentados y consensuados socialmente. Se busca precisamente juzgar si lo que sucede conviene o no. Se parte naturalmente de unos resultados esperados, que se consideran deseables; pero no hay seguridad ni de que se den tales resultados, ni de que sean todo lo deseables que parecen, ni, desde luego, que aparezcan otros nuevos aún más interesantes que los previstos.

    Parece evidente que los modelos de tipo experimental o cuasi- experimental no serían capaces de dar cuenta de este objeto de evaluación. A lo sumo, podrían servirnos para evaluar algún resultado parcial. Hemos optado por un modelo que pueda abarcar la complejidad del cambio que sucede en la institución escolar, atribuible a la inserción de tecnologías informáticas.

    6.2. Estudio de Caso

    El enfoque general de nuestro modelo puede identificarse como Estudio de Caso. Una de sus características conocidas es el empleo de numerosas fuentes paralelas de información. Sus métodos incorporan prácticas como la observación participante o no participante, la entrevista de tipo etnográfico o el análisis de narraciones y protocolos verbales. La triangulación de la información es otro recurso utilizado. Su finalidad apunta más a la comprensión del fenómeno y, a partir de ahí, a la revisión o creación de la escala de valores educativos que nos sirvan para juzgar como deseables ciertas aplicaciones o usos de TIC en educación. Los criterios, más que los postulados apriorísticos sobre las bondades de la TIC, son los deseos de la comunidad educativa (PEI) y la forma en que las TIC colabora a cumplirlos. En este intento, se considera aceptable toda información que ayude a esclarecer el fenómeno, siempre y cuando se garantice su validez. Esto quiere decir que no se descuidan los análisis cuantitativos de aquellos aspectos que sean numerables, pero su validez última no se sustenta en lógicas poblacionales, en las cuales el concepto de muestra y representatividad son la clave, sino en la medida en que colaboran a la comprensión global de la interacción tecnología-educación, y por ello, en la medida en que permiten confirmar una teoría previa al respecto, revisarla o añadir elementos teóricos a su construcción..

    Conscientes de las críticas que ha recibido esta metodología, seguimos las recomendaciones de algunos autores conocidos, en especial Robert E. Stake (1998) y Robert K. Yin (1987). Enfrentamos los problemas de:

    Validez de constructo, mediante la utilización de múltiples fuentes de inferencia, que permitan establecer cadenas de evidencia; también seguiremos la práctica de revisión de los borradores de informes por informantes clave, para detectar sesgos o subjetividades.

    Validez interna (sólo en el caso en que se pretende establecer algún tipo de nexos causales, es decir, explicar en qué manera ciertas condiciones o eventos conducen a otras condiciones o eventos), mediante la estrategia denominada pattern matching : "esta estrategia un patrón que tiene base empírica con un patrón predicho. Si los patrones coinciden, los resultados pueden ser de gran ayuda para fortalecer la validez interna del estudio”. (Yin, 1984). Igualmente, se abordará la explicación global de los casos mediante la construcción previa de “explicaciones”, es decir, un conjunto de nexos causales sobre él (“explanation-building”), con el fin de aproximarnos a proposiciones teoréticas.

    Validez externa. Es preciso reconocer este aspecto como uno de los puntos más débiles de los estudios de caso: la dificultad de generalizar los resultados. Sin embargo, coincidimos con diversos autores en considerar esta como una acusación hecha desde una lógica inferencial diferente; un estudio de caso no se mueve, en absoluto, en una lógica que trata de generalizar sus inferencias hacia una población, apoyándose en la representatividad de una muestra. Las generalizaciones posibles de un estudio de caso son, en cambio, de tipo analítico. Ninguna muestra de casos, por principio, satisface los requerimientos de representatividad de una “población” de casos similares (los científicos experimentales tampoco buscan experimentos representativos de una población). Nuestros casos serán casos de Medellín y municipios aledaños; pero los tópicos tratados comprenden una gama amplia de proposiciones teóricas (probadas o no) acerca de la inserción de ambientes tecnológicos colaborativos, como son: la necesidad de capacitación de maestros, el desarrollo de mecanismos de autoaprendizaje o de actitudes de tolerancia, la inducción de cambios pedagógicos, etc. Estos tópicos, sumados, llegan a tener un carácter de teoría sobre ambientes de aprendizaje con nuevas tecnologías.

    Confiabilidad. ¿Cómo minimizar errores y sesgos? En general, describiendo el mayor número de etapas en la forma más operacional posible; y también realizando la investigación "como si alguien estuviera permanentemente mirándonos por encima de nuestros hombros -as if someone were always looking over your soulders-" (Yin 1984). El instrumento para acercarse a la confiabilidad deseada es la documentación cuidada de toda la experiencia, de manera que un supuesto auditor pueda replicarla y obtener los mismos resultados. El protocolo del caso especificará el plan detallado de tópicos, acciones e instrumentos, permitiendo crear una base de datos organizada. Siendo nuestro diseño de casos múltiples, será esencial para garantizar un nivel aceptable de confiabilidad que el protocolo contenga no sólo los instrumentos, sino las reglas generales que deben seguirse al usarlos.

    6.3. Estrategias metodológicas.

    Las metodologías y técnicas de recolección de información ensayadas en el Estudio de Caso Piloto tuvieron diversos comportamientos. La selección de las más válidas y funcionales exigió una revisión teórica, con el fin de justificar tanto la conveniencia de uso, como la validez de su aplicación para los fines propuestos. Realizamos una justificación metodológica de la técnica conocida como “historia de vida” (Santamaría y Marinas, 1995; Duverger, 1996; Goetz y LeCompte 1988; Hammersley y Atkinson 1994; Woods, 1995), que en nuestro caso asemejamos también a la denominada por Briones “testimonios focalizados” (Briones 1998). Se trata de análisis de textos escritos de tipo personal y narrativo. Combinamos también, sobre todo en el análisis de documentos de otra índole, algunos elementos de la técnica análisis de contenidos, tal como la definen Navarro y Díaz (1995).

    Así mismo, se describe y justifica la técnica de grabación en video, poco utilizada como técnica formal de investigación, enmarcándola en las técnicas de observación no participante (Goetz y LeCompte, 1988).

    Se mantienen las demás técnicas de recolección de información:
     

  • observación participante
  • análisis de documentos
  • ? cuestionarios

  •    
     

    Bajo este esquema genérico, se adelantan subprocesos evaluativos con finalidades propias, las más de las veces formativas. Se mantienen igualmente los procesos evaluativos siguientes:
     

  • Monitoreo de la red : tráfico de correo electrónico, uso de herramientas informáticas, uso de software educativo.
  • Autorregulación de las acciones del equipo investigador central: mecanismos de autoevaluación sistemática que permiten regular las acciones de las áreas funcionales del proyecto: gestión, ingeniería, diseño, educación y operación.
  • Evaluación de software educativo, no para calificar el software o sus componentes como mejores o peores, o para sugerir mejoras en su diseño, sino con el fin de elaborar guías de uso que ayuden al profesor a incorporarlo como recurso educativo.

  •    
     

    La aplicación de esta estrategia en un estudio piloto, durante el segundo semestre de 1997, permitió consolidar conceptos, revisar otros y someter a prueba diversas técnicas y métodos de recolección y análisis de información. La réplica del estudio piloto en otros seis colegios, durante el primer semestre de 1998, compone el cuerpo principal del informe de resultados del proyecto. Este proceso mostró la conveniencia del modelo para lograr una finalidad adicional que le señalan muchos autores (Cook y Campbell 1979) : identificar tópicos específicos que puedan ser objeto de una indagación en profundidad, incluso de tipo experimental (hypothesis- generating process, Glaser y Strauss, 1967). Así, el caso piloto mostró la escasa definición de los resultados esperados en el ámbito de los aprendizajes y desarrollo de habilidades cognitivas y metacognitivas del estudiante, cuyo desarrollo se espera favorecer mediante las acciones del proyecto. La revisión de este aspecto llevó a la escogencia de una teoría que permita definir con precisión lo esperado, y de un esquema investigativo en profundidad. Se eligió seguir la línea teórica propuesta por Howard Gardner y de Robert Sternberg, adecuando el constructo que ambos autores denominan “Inteligencia Práctica para la Escuela” (Practical Intelligence for School - PIFS). Los resultados de esta investigación son una fuente mas de inferencia dentro del Estudio de Caso Múltiple, y refuerzan notablemente el análisis transversal de los seis casos.

    Como resultado de los estudios del presente semestre, se identificaron dos tópicos más que ameritan estudios en profundidad:

    El tema de los valores propios del entorno escolar concreto, es decir, los valores de la cotidianeidad, del entorno cultural que rodea a la escuela: el hogar y la calle. Los resultados de esta investigación han sido reveladores, sobre todo para corregir ciertas euforias sobre los cambios valorativos que solemos atribuir al uso de TIC en la escuela.

    El segundo tema dice relación a un aspecto contextual que en nuestro medio presenta desigualdades y desequilibrios importantes, y que parece ser factor determinante en el funcionamiento de un ambiente de aprendizaje: la familia y sus relaciones con la escuela.

    Un último comentario: El modelo de evaluación que se presenta ha sido desarrollado en el marco de un proyecto específico, que apunta al modo global de incorporar la TIC en el proceso escolar, el proyecto CONEXIONES. Muchos de sus elementos corresponden al enfoque y estrategias concretas que este proyecto propone. No obstante, pensamos que la forma de entender los criterios, los fines generales y muchos de los procedimientos son bastante generalizables.
     

    Bibliografía general