Ambientes virtuales interactivos para niños ciegos: computación

 

Jaime Sánchez & Mauricio Lumbreras

jsanchez@dcc.uchile.cl

www.c5.cl/hhblind

Departamento de Ciencias de la Computación

Universidad de Chile

Chile

 

Resumen

La mayoría de los software interactivos se utilizan para propósitos de aprendizaje y entretenimiento. Este tipo de software no es muy común entre niños ciegos, ya que la mayor parte de los juegos para computador y de los juguetes electrónicos carecen de interfaces apropiadas que les permitan ser utilizados sin usar pistas visuales. Este estudio presenta la idea de ambientes interactivos para niños ciegos en forma de historias hipermediales, hiperhistorias, que se desarrollan en un mundo virtual acústico 3D. Hemos conceptualizado un modelo para diseñar hiperhistorias. Para ilustrar este diseño, implementamos AudioDoom , una aplicación que permite probar tareas cognitivas con niños ciegos, presentando experiencias en primera persona a través de la exploración de entornos virtuales interactivos utilizando exclusivamente representaciones auditivas 3D del espacio. La interrogante central de esta investigación y que permea el estudio, explora el problema de cómo actividades de entretenimiento basado en audio y experiencias navegables con sonido espacial a través del computador en conjunto con tareas concretas de representación cognitiva, pueden ayudar a que los niños ciegos construyan estructuras espaciales cognitivas.

Introducción

Los juegos interactivos para computador han sido utilizados para fines de entretenimiento desde hace bastante tiempo. Sin embargo, sólo en estos últimos años se han puesto al alcance de una mayor cantidad de niños. Hoy, la mayoría de los jóvenes en el mundo han tenido algún tipo de experiencia con juegos para computador, principalmente a través de dispositivos basados en imágenes de video (Druin & Solomon, 1996). La situación no es igual en el caso de niños con discapacidades (Blind Children Center, 1993), quienes no disponen de software interactivo de entretenimiento en cantidad ni en variedad. La situación se torna más crítica en niños ciegos, ya que no pueden aprovechar los juegos que utilizan interfaces visuales. Este estudio responde a una creciente necesidad a través de una doble aproximación: proponer una forma de introducir educación y entretención, edutainment, interactivo e inmersivo para niños ciegos y demostrar que las experiencias auditivas 3D pueden generar imágenes espaciales del ambiente. Una imagen es una representación bidimensional de un referente n-dimensional; no es visual por naturaleza. Puesto que la visión juega un papel preponderante en nuestro conocimiento del mundo, la mayoría de las representaciones de imágenes se crea a partir de la percepción visual. Esto parece excluir a las personas que carecen del sentido de la vista. Un reducido número de psicólogos hace investigación en el campo de los esquemas y representación de imágenes espaciales para ciegos. Kennedy (1993) hizo que individuos ciegos dibujaran escenas espaciales y concluyó que no representaban imágenes con perspectiva, manteniendo una proyección bidimensional plana en sus dibujos. Burton desarrolló un sistema llamado Rose (1995) que imita los dibujos de los niños basados en modelos espaciales. Sin embargo, hasta este momento no se ha desarrollado ninguna aproximación sistemática en el diseño de mapas de imágenes perceptuales de objetos tridimensionales y escenas sin pistas visuales. Nuestro enfoque intenta ampliar estos conceptos poniendo a prueba la hipótesis de que un ambiente navegable de sonido 3D puede crear algunas imágenes mentales y servir como representación auditiva del espacio y de entidades circundantes tales como las exploradas en estudios anteriores (Lumbreras et al., 1996; Lumbreras & Rossi, 1996; Mereu & Kazman; Sabidin et al., 1996)). Kobayashi (1997) explora la idea de la asociación espacio-sonido para permitir escuchar simultáneamente por altavoces, pero no incluye la navegación espacial. Para ocuparse de este asunto hemos creado un marco que describe e implementa ambientes acústicos virtuales navegables . La aplicación presentada aquí tiene su origen en un modelo de diseño genérico de ambientes interativos con narrativa, hiperhistorias. Una hiperhistoria se define como la combinación de un mundo virtual navegable, un personaje manejado por el usuario, un conjunto de objetos y personajes dinámicos, y señales de interacción entre estas entidades a partir de la trama de la historia (Lumbreras & Sánchez, 1997). La pregunta central de esta investigación y permea este trabajo explora el problema de cómo entretenimiento basado en audio y experiencias navegables con sonido espacial pueden crear estructuras cognitivas espaciales en la mente de niños ciegos. También proponemos un modelo para describir ambientes navegables acústicos. Además, nos preguntamos si una modalidad acústica espacial combinada con la manipulación háptica del ambiente, permitiría que niños ciegos construyan estructuras mentales asociadas, tales como correlación háptica/acustica, navegación espacial sin pistas visuales o permanencia del objeto en el tiempo a través de la metáfora de la hiperhistoria. Junto a esto, examinamos temas relacionados con la interfaz y usabilidad del software interactivo para niños ciegos.

¿Qué es una Hiperhistoria?

Una hiperhistoria es una historia interactiva que ocurre en un ambiente hipermedial. Es la versión hipermedial de las historias literarias. El concepto de hiperhistoria se deriva de los MUDs (multi-User Dungeons), de sus variaciones (MOO, MOOSE, etc.) y de los juegos de aventura. Nuestro modelo amplía estas ideas al incluir elementos de una historia como la trama, los roles, y los personajes. La idea principal es capturar estos elementos en la representación de la hiperhistoria (Hayes-Roth, 1996). La trama es una secuencia temporal de acciones que involucran a un conjunto de individuos. Una trama y las acciones que la constituyen pueden ser bastante abstractas, por ejemplo: A conoce a B, A ama a B, A pierde a B, A gana a B. El rol corresponde a la clase de individuos cuyos comportamientos, relaciones e interacciones prototípicas son conocidas tanto por los actores como por la audiencia. Esta trama generalmente se ejemplifica a través de roles alternativos, por ejemplo: el joven enamorado y la joven que él ama. El personaje tiene una personalidad, la cual se define como una configuración de rasgos psicológicos coherentes, por ejemplo, cualquiera de los personajes en el actual escenario puede ser tímido y sensible, tonto y cariñoso. Primero introducimos la definición de un ambiente virtual de historia (AVH):

AVH = Mundo navegable + objetos dinámicos + personajes Eq. (1)

El mundo navegable se compone de varios ambientes (nodos) conectados por vínculos físicos. Cada nodo del mundo virtual representa un contenedor de objetos y un escenario potencial de la hiperhistoria (Dieberger, 1996). Las puertas físicas, los portales y las puertas representadas como vínculos generan la conectividad. Los objetos dinámicos se encargan de representar objetos dentro del mundo virtual. Son entidades que tienen un comportamiento en el tiempo y reaccionan a los acontecimientos producidos por el usuario u otros objetos virtuales. Los personajes son contenedores especiales de objetos dinámicos, los cuales son críticos para la trama principal y explicitan el contenido de la historia. Los personajes son entidades que llevan a cabo el curso central de eventos presentes en un comportamiento complejo. Por ejemplo, en una película los acontecimientos interesantes le suceden a los personajes y gatillan las acciones que impactan emocionalmente a la audiencia. Así también, existe un personaje principal llamado el protagonista, el cual es manejado por el niño y representa la conexión usuario-sistema. Debido a la representación acústica, el protagonista es representado en primera persona.

Hasta aquí, un juego de aventura para computador podría ser, de alguna forma, similar a la definición anterior. Por ello, agregamos un componente narrativo al AVH. Esta es una condición necesaria para una hiperhistoria, HS, lo cual no es el caso para juegos de aventuras. Luego, una hiperhistoria (HS) es una extensión de un AVH y puede definirse estructuralmente como:

HS = AVH + narrativa Eq. (2)

Según lo expuesto, nuestro modelo amplía la idea de un AVH, introduciendo la idea de la narrativa. Las diferencias entre hiperhistorias y MUDs estándar radican en una secuencia de eventos intencionales basados en la trama, roles y personajes. Además, una HS se diferencia de un MUD porque el diseño incluye un cierre o final explícito, descrito como buena característica en una narración (Landow, 1992).

El valor agregado de las hiperhistorias

Una hiperhistoria es una historia interactiva guiada por una estructura argumental intencional más que por un escenario casual. La trama en una hiperhistoria no es lineal, es una hipertrama. Aquí, la acción, la activación de objetos y el diálogo pueden gatillar un cambio en el flujo de la historia. De esta forma, tomamos ideas de la tecnología de hipertexto/hipermedia, mediante la integración de la narrativa en un contexto de ambiente virtual (Bernstein, 1996). Las hiperhistorias mejoran las historias literarias convencionales al permitir la generación de un "enlazamiento dinámico" entre los personajes, el mundo virtual en el cual se mueven, y los objetos sobre los que actúan (Sánchez & Lumbreras, 1997). El niño desarrolla este enlazamiento a través de una gran flexibilidad en el proceso de conocimiento/exploración. En otras palabras, una hiperhistoria es la combinación de un mundo virtual navegable, de un conjunto de objetos interactivos, y de un patrón de interacción entre las entidades (Lumbreras & Sánchez, 1997).

En la ejecución de una hiperhistoria determinada, dos niños pueden experimentar visiones completamente diversas del mismo mundo virtual, ampliando las ideas de Joiner (1994). Así, cambios leves introducidos por un niño en el comportamiento de un objeto, pueden producir diferentes hiperhistorias en el mismo mundo virtual. Los niños al manipular un personaje pueden también interactuar con otros personajes para solucionar un problema dado. Ambientes familiares tales como la escuela, el barrio, plazas, parques, y supermercados pueden ser metáforas interesantes para construir mundos virtuales. Es importante hacer notar que las herramientas de autoría computacionales convencionales no proporcionan un conjunto adecuado de recursos para construir hiperhistorias acústica tal como las hemos definido aquí.

El Modelo Computacional

Nuestro modelo es un modelo de diseño basado en conceptos de orientación a objetos, proporcionando un marco para describir los diversos bloques de construcción de la hiperhistoria. El modelo provee una estructura compuesta por cuatro clases fundacionales según lo descrito en las técnicas del diseño orientado a objetos (DOO) (Rumbaugh et al., 1991). Estas clases son: contexto, vínculos, entidad y canal. El contexto modela el mundo estático y los vínculos modelan la conectividad entre contextos. Las entidades son clases abstractas que capturan cualquier definición de objetos y personajes, y los canales trabajan como medio de difusión de eventos mediante un proceso de recibir y esparcir hacia las entidades suscritas. La definición de estas clases permite tener un esquema para diseñar mundos virtuales. Los ambientes tales como el lenguaje para modelar realidad virtual, VRML, no incluyen por defecto estos conceptos de alto nivel. Cada clase fundamental tiene un comportamiento predefinido y un conjunto de atributos que los hace diferentes unos de otros (e.g. un vínculo sabe acerca del transporte de entidades entre contextos). Otro ejemplo de comportamiento especializado surge de los contextos: si una entidad envía un evento a un contexto, lo hace a todos los objetos contenidos en éste. Así, un contexto trabaja como difusor de eventos. Todas estas clases fundamentales tienen un comportamiento, basado en programación modal. Utilizamos en el modelo, ObjectCharts como herramienta para especificar comportamientos (Coleman, Hayes & Bear, 1992). Los ObjectCharts son herramientas que se ajustan bien a la tarea de describir los ambientes basados en acontecimientos y acciones como ocurre en las hiperhistorias.

La Estructura del Mundo Virtual

Las Hiperhistorias que cuentan con varios escenarios los ordenan según su vinculación física o conectividad. Para ello, podemos describir el mundo virtual como un modelo de contexto anidado. Un mundo virtual se define como conjunto de contextos que representan diversos ambientes. Cada contexto contiene un estado interno, un conjunto de contextos contenidos dentro de él, un conjunto de objetos, vínculos a otros contextos, y un comportamiento específico. Diversos tipos de relaciones se pueden dar entre diversos contextos, por ejemplo:

Diversas metáforas del "mundo real", tales como una ciudad, una casa, casas dentro de una ciudad, y cuartos dentro de una casa, pueden describirse fácilmente con este simple modelo. Todas estas metáforas están construidas de tal forma que pueden navegarse libremente. Otro concepto importante sobre el contexto es la percepción: un contexto es un envase espacial que se puede percibir como un todo y que al nivel de interfaz se traduce como una unidad. En el caso de una HS acústica, el contexto presenta algunos atributos como ecos, música del sonido atmosférico. En este punto del diseño, estamos trabajando sobre el mundo navegable, el primer término de la Ecuación 1.

La actividad en el mundo virtual

Para dar vida a la hiperhistoria, poblamos los ambientes con objetos, algunos activos y otros pasivos. Esta es la dimensión del comportamiento. Otra dimensión es la navegacional. Para evitar confusiones definimos brevemente algunos términos relacionados con los objetos en un mundo virtual.

Cualquier objeto o personaje (incluso el protagonista) es una subclase de una entidad. Por lo tanto, necesitamos extender los atributos y el comportamiento básico de la entidad clase. Básicamente, una entidad puede entenderse como un objeto con un conjunto de atributos que definen un estado interno y un comportamiento. Usando scripts basados en estados podemos describir el comportamiento del objeto. En cada estado hay un conjunto de reglas que contienen un evento gatillador, una condición previa, y una lista de las acciones que deben ser realizadas cuando el acontecimiento se produce y se cumple la condición previa. Cada regla desempeña el papel de un método en DOO. Pero, si intentamos capturar la naturaleza de la narrativa y las diversas ramificaciones de una hiperhistoria, el modelo debe considerar la siguiente condición: ciertas entidades en una historia pueden responder al mismo evento (mensaje en DOO) de forma diferente de acuerdo a la etapa de la historia. Por ejemplo, según la etapa de la hiperhistoria un personaje puede responder " Bien " o " Cansado" en relación con la pregunta "¿Cómo está usted?". En resumen, un objeto puede comportarse de forma diferente frente al mismo mensaje recibido dependiendo del momento en el que se encuentre en la historia. Este concepto se llama programación modal Taivalsalsaari, (1993) o programación basada en estados. No hay reglas estándares definidas para capturar esta característica. En lugar de esto, se agrupan en bloques de acuerdo a la etapa de vida en que está la entidad. En Breve, utilizamos scripts basados en estados para tratar con respuestas variables frente al mismo evento. Al integrar la narrativa en el comportamiento de las entidades estamos satisfaciendo los requerimientos de una HS, según lo representado en el Ecuación (2).

AudioDoom: Una hiperhistoria para niños visualmente impedidos

La imagen visual puede ser definida en forma muy general como procesamiento visual mental semejante al procesamiento mental perceptivo, inducido normalmente a través de los ojos. Nuestro ambiente virtual, AudioDoom, intenta probar la hipótesis que postula que un ambiente interactivo auditivo navegable con sonido 3D puede crear estas imágenes mentales en ausencia de estímulos sensoriales directos a través de los ojos. El sonido sirve como medio de salida del sistema. Sin embargo, la naturaleza transitoria del sonido impone restricciones en el diseño de la interfaz, dejándola vinculada estrechamente a limitaciones de tiempo. Por esta razón, la idea conceptual de una narrativa interactiva combinada con las características desafiantes del juego y de la historia, debe organizarse y originar una forma muy simple de definir a nuestro usuario final, niños ciegos entre 8 y 12 años de edad. AudioDoom es el prototipo diseñado para probar nuestras ideas acerca de hiperhistorias interactivas para niños visualmente impedidos. Con AudioDoom el niño puede navegar en un conjunto de pasillos donde obtiene objetos virtuales e interactúa con ellos, asemejándose en cierta forma a los clásicos juegos Doom. AudioDoom se basa en una historia fantástica sobre una invasión extraterrestre a la tierra, desarrollando la acción dentro de una nave extraterrestre. El niño debe salvar el planeta para dar un final exitoso a la historia. Mientras juega AudioDoom, el niño encuentra personajes, objetos y desafíos que pueden cambiar la trama de la historia. La estructura de la nave se presenta como conjunto de pasillos perpendiculares de diversas longitudes (véase la fig. 1). Estos pasillos están conectados por puertas que pueden aparecer al final o a un lado como salida opcional hacia otros pasillos. En cada caso el usuario puede activar la puerta deseada para tener acceso a un pasillo específico. En relación con la navegación física dentro de un pasillo, el usuario puede moverse hacia adelante gradualmente, paso a paso. Ciertas entidades pueden aparecer repentinamente después de que se ha terminado de dar un paso. Si esto sucede, el usuario antes de continuar debe solucionar un desafío dependiendo del tipo de entidad que encontró. Por ejemplo, el monstruo es fácil destruir - tres tiros - pero el mutante se mueve en el espacio saltando entre voxels vecino. Un voxel es una unidad discretas mínima de volumen. Este tipo de comportamiento obliga al niño a localizar la entidad tan rápido como pueda para dispararle inmediatamente. Debe quedar claro que cada acción del usuario o aspecto de la entidad está generada con sonido espacializado.

 

 

Figura 1. Representación gráfica del ambiente espacial rendido generado por AudioDoom

Las acciones típicas en AudioDoom se relacionan con conseguir objetos (cajas de balas), disparar a una entidad (monstruo y mutante), o localizar e interactuar con un determinado personaje (el atrapador) en una posición del espacio. La trama de la historia presenta múltiples ramificaciones, pero algunas de ellas no están predeterminadas, debido a que ciertas entidades de la historia pueden o no pueden aparecer dependiendo del encuentro ocasional entre usuario-entidad. Este escenario permite nuevas alternativas en cada sesión con AudioDoom. El ordenamiento espacial del espacio permite al usuario involucrarse en la historia, resolviendo desafíos in crescendo, aumentando el nivel de la complejidad. El valor agregado de AudioDoom reside en el hecho que hemos utilizado la metáfora de la hiperhistoria para evaluar cómo una representación acústica virtual puede construir una representación mental del espacio en niños ciegos. Por esta razón, hemos diseñado algunas tareas donde el niño interactúa varias veces con el ambiente virtual y después intenta describir, usando bloques LEGO la taxonomía, la organización, la ubicación de las entidades y la organización espacial de los ambientes. En resumen, AudioDoom sirve como argumento para probar nuestra hipótesis. Interactuando con AudioDoom Para interactuar con AudioDoom el niño opera a través del espacio circundante, actuando sobre voxels. El concepto de voxel determina un espacio discreto, simplificando las posiciones circundantes de la interacción y creando una ubicación concreta para una entidad (véase la figura 2). Por ejemplo, en un momento dado un voxel puede estar vacío o contener una entidad. La entidad es generalmente un objeto virtual representado acústicamente: una puerta, una caja, un personaje, etc. Esta entidad puede recibir algunos eventos del niño dependiendo de la entidad: la toma, la activa, la abre, etcétera. AudioDoom presenta una interfaz modal donde el mismo acontecimiento físico puede interpretarse de acuerdo al contexto, al modo, y a la entidad situada en el voxel activo. Debemos tener en cuenta que una entidad puede tener un comportamiento cinético, un movimiento en el espacio a través del tiempo. Esta actividad involucra varios voxels, ya que un voxel es un envase atomizado del espacio. Este enfoque puede aparecer levemente restrictivo, pero podemos dividir los ambientes en la cantidad que deseemos de voxels hasta obtener la textura deseada.

Figura. 2. El niño explora AudioDoom obrando recíprocamente a través de la interacción con las entidades

situadas en los voxels virtuales (trazados artificialmente sobre la fotografía).

 

En un estudio exploratorio con AudioDoom, el niño construyó primero una representación mental basada en encuentros casuales con objetos. Luego, a medida que el uso del software continúa, el niño intentó localizar ítemes especiales usando un marco mental de navegación orientado por metas.

Desde el punto de vista del niño, AudioDoom es manipulado usando un joystick ultrasónico inalámbrico llamado el Buho (Pegasus, 1997). A través de este dispositivo, el niño puede interactuar y moverse en el ambiente haciendo clic en diversos voxels del espacio circundante.

De acuerdo a la posición del sonido, el niño debe coordinar el dispositivo háptico/kinestésico con la posición percibida del sonido. Este esquema de acción-reacción es fuertemente estimulado en el niño, debido a la fuerte correlación háptico-acústica presente en el sistema. Para tratar con este asunto diseñamos AudioDoom de forma que pueda ser usado tanto con un joystick inalámbrico ultrasónico con 3 grados de libertad (X, Y, Z) y con sonido espacializado. El niño puede también jugar AudioDoom interactuando a través de un teclado estándar o de un ratón.

¿Cómo trabaja AudioDoom?

La idea básica de AudioDoom es dividir el espacio navegable en pequeños ambientes atomizados. Éste es el escenario mínimo de la acción en un momento dado. En este ambiente el niño puede interactuar con las entidades en diversos voxels. La conexión lineal de los ambientes atomizados genera los pasillos. Esta estructura ordena el espacio en varios pasillos, creando una conexión semántica y argumental entre la hiperstoria y el espacio. Estos pasillos se modelan como contextos y las puertas como vínculos.

El niño puede realizar diversos tipos de actividades en un ambiente atomizado por ejemplo:

Cuando nos referimos al tipo de medio de presentación y de la interacción con una metáfora física robusta, destacamos tres puntos claves que deberían estar en la interfaz de AudioDoom: 1. la estructuración de los elementos en un momento dado, 2. la ubicación de los objetos, y 3. la dinámica de selección e interacción. En general, el sistema presenta una o varias entidades en un momento dado, cada una ubicada en un voxel. El niño entonces, después de realizar la localización acústica, intenta ubicar la entidad y efectúa una acción. Según sea el tipo de entidad, la interacción se puede reducir a un acontecimiento discreto como tomar una caja de balas o golpear una puerta para que se abra. También puede sintetizarse en una cadena de eventos con un propósito determinado, por ejemplo: disparar tres veces para destruir a un alien, disparar varias veces para destruir un mutante que se mueve aleatoriamente entre voxels contiguos.

Al interior de AudioDoom

AudioDoom fue concebido con las siguientes restricciones. El ambiente virtual debe:

 

Nuestra implementación se funda en la idea que si alguna entidad puede moverse entre n voxels posibles, entonces podemos tomar el sonido monofónico de esa entidad. Combinando diversos conjuntos de Funciones de Transferencias Relacionadas con la Cabeza o HRTF - un par desde cada posición - en el sonido monofónico, obtenemos n clips de sonido 3D. Este procesamiento se hace off-line. El resultado es un amplio conjunto de sonidos 3D que requieren una tarjeta de sonido de bajo costo para poder oírse. Para tratar con la mezcla de sonido en tiempo real como música de fondo, efectos sonoros, sonidos de las entidades, etc., utilizamos la biblioteca de vínculos dinámicos wavemix.dll, incluida en MS Windows. Así, la plataforma de hardware que requiere la ejecución del software se reduce solamente a un PC, Windows 3.1, y una tarjeta de sonido estéreo. En esta versión de AudioDoom, los sonidos se presentan solamente a nivel del oído. Esto significa que no incluimos pistas de elevación.

La evaluación de AudioDoom

La evaluación de AudioDoom fue predominantemente cualitativa debido a que tratamos de establecer elementos relevantes de usabilidad en aplicaciones usadas por niños que no pueden ocupar pistas visuales. Estos elementos nos proporcionaron información relevante para determinar si nuestra hipótesis estaba bien fundada.

El escenario de prueba

AudioDoom fue probado con siete niños chilenos de entre 8 a 11 años de edad en una escuela para ciegos. El rango de ceguera de los niños iba desde ceguera de nacimiento a niños que podían discriminar luz y oscuridad (ver tabla 1).

Sujeto

Sexo

Edad

Ciego desde

(años)

Grado de perdida de visión actual

Nivel que cursa en el colegio

FAF

M

11

0

Total

3

JOH

M

8

0

Luz/sombra

2

MAR

M

8

0

Total

2

FRA

M

8

3

Total

2

ROC

F

11

6

Total

5

EDS

M

7

0

Luz/sombra

2

JOM

M

9

0

Luz/sombra

2

 

VectorTabla 1. Perfil de cada niño implicado en la prueba.

Después de una explicación verbal breve sobre cómo trabaja el software, el niño exploró la interfaz y comenzó a trabajar con la hiperhistoria. En la primera sesión interactuó con AudioDoom a través del proceso de adquirir confianza con el joystick y desarrollar acciones simples en el primer pasillo. En esta etapa utilizamos altavoces externos para hablar con el niño. La ubicación es percibida principalmente por la intensidad del sonido que sale de cada altavoz. El niño interactuó con AudioDoom varias veces y luego fijamos la primera evaluación. Después de este entrenamiento, el niño utilizó auriculares para obtener sonido 3D completo.

Asimismo, usando bloques LEGO el niño intentó representar la estructura del ambiente de AudioDoom como la imaginó y percibió. Para lograr esta tarea, cada tipo de bloque LEGO tenía un significado asignado: los bloques largos representaban parte de un pasillo, los cubos representaban mutantes, los cubos pequeños representaban cajas de balas, etc. Las puertas plásticas pequeñas representaron las puertas percibidas (véase figura 3).

Segmento de Pasillo

Puerta
Mostruo
Caja de balas

 

Figura. 3. Cada bloque de LEGO tenía un significado especialmente asignado para poder

evaluar e interpretar la estructura construida por el niño.

 

La prueba consistió en dos sesiones en las cuales se trabajó de la siguiente manera:

1. Lograr confianza con la interfaz de AudioDoom a través de la ejecución frecuente del software

2. Explorar el pasillo principal y algunas ramificaciones de la hiperhistoria.

3. Construir la estructura percibida con los bloques de LEGO siguiendo estos pasos:

4. Describir verbalmente las decisiones y testear los errores.

5. Reexplorar AudioDoom mediante la navegación del mismo camino o explorando nuevas ramificaciones.

6. Recomenzar el ciclo desde el paso 3.

El experimento con AudioDoom, realizado en una escuela chilena para niños ciegos, consistió en dos sesiones de dos horas cada una. En cada sesión el niño jugó por lo menos cinco veces con el software. Hubo un intervalo de una o dos semanas entre ambas sesiones.

Como resultado, los niños hicieron un modelo del ambiente y de las posiciones de las entidades (véase figura 4). Es interesante hacer notar que cuando los niños interactuaron con AudioDoom en la segunda sesión, recordaron en forma notablemente clara la estructura construida en la primera sesión.

Un aspecto muy motivante de esta experiencia está dado por el hecho que los niños expresaron una gran satisfacción al poder descubrir en forma independiente el ambiente. Comunicaron verbalmente sus sentimientos acerca de esta experiencia como un rendimiento con auto-eficacia y auto-eficiencia. Esta clase de sensación obtenida de los niños tiene pocas comparaciones con experiencias anteriores. Los padres y los profesores de la escuela en donde AudioDoom fue probado confirmaron esta opinión.

 

 

1. Después de varios intentos con AudioDoom, el niño comienza la representación navegacional del espacio.

 

2. Después de jugar con AudioDoom por lo menos cinco veces, el niño amplió el pasillo principal, localizando puertas y entidades singulares.

 

3. Éste es el último modelo con LEGO del niño.

 

4.  Compare esta versión ideal del espacio de AudioDoom con el modelo LEGO del niño (3.)

 

Fig. 4. Después de una construcción con ensayo y error, el niño puede "trazar" el ambiente experimentado. Es increíble, pero el niño nunca vio la última imagen.

Discusión

Después de que una evaluación preliminar de AudioDoom con niños ciegos, hemos demostrado que es posible generar una estructura espacial navegable utilizando solamente sonido espacializado. Este mecanismo de representación acústica del ambiente preserva con una precisión notable la estructura, topología, orientación, navegación y movilidad. El resultado es preliminar porque no hemos incluido la navegación libre en lugares abiertos dentro del ambiente virtual. Esto se debe a las restricciones que impone navegar en pasillos rectos con ramificaciones divergentes conectadas en ángulos de 90 grados. Algunos niños mostraron algunas dificultades, especialmente en mapear pasillos transversales. Este problema surge al parecer del hecho que los giros desorientan al usuario, porque el espacio real circundante está fijo, como por ejemplo la silla, la mesa, etc. Por esta razón, enfrentamos como una cuestión clave la representación de marcas distinguibles en el ambiente para facilitar la orientación del jugador. El uso de algunos faros auditivos rotatorios puede ayudar a mejorar este problema.

Una observación importante recogida en la evaluación surge del posible impacto de las experiencias anteriores del niño con los materiales de prueba en la fidelidad del modelo LEGO. Inferimos que con el entrenamiento apropiado podemos controlar las variables independientes tales como la confianza en el uso de bloques LEGO y la experiencia previa con el computador, dejando la habilidad/capacidad intelectual de los niños como la variable dependiente sin ninguna contaminación (ver tabla 2).

 

Tabla 2. correlación de las experiencias anteriores del niño con los materiales usados en

la intervención y la fidelidad del ultimo modelo LEGO.

 

El proceso de construir los modelos LEGO muestra que los niños representan primero las estructuras navegables conservando la taxonomía. Luego intentan ubicar cada entidad. Este proceso se asemeja al dibujo de un mapa hecho por una persona sin problemas visuales: primero bosqueja la estructura y luego describe los detalles particulares. Podemos inferir de estos modelos que los ambientes acústicos navegables recrean estructuras espaciales similares a aquellas adquiridas a través de la navegación en primera persona y del reconocimiento visual del ambiente.

Aunque utilizamos el sonido 3D con varias limitaciones tales como ningún seguimiento de pista y cantidad limitada de voxels, los niños generalmente prefirieron altavoces externos. Ellos no pudieron explicar muy bien las razones de esta preferencia pero una razón podría ser que los auriculares generan aislamiento, limitando la interacción verbal con el evaluador. Otra razón para esta incomodidad parece ser el auricular usado (un Sony MDR CD30). Detectamos este patrón de preferencia al principio, así que adaptamos el HRTF's para que pudiera usarse con altavoces externos, procesando de nuevo la amplitud de la señal en cada canal. Este resultado gatilló el uso y el estudio de audio transaural, el cual nos permitió espacializar el sonido con los altavoces externos (Gardner, 1997).

Además, observamos cuidadosamente el mecanismo de interacción en AudioDoom. Probamos AudioDoom usando el teclado como dispositivo de entrada. Los niños sienten mayor confianza porque no hay ambigüedad en el voxel seleccionado. El uso del joystick ultrasónico presentó algunas dificultades debido a la selección errónea del voxel y la ausencia de percepción del click por parte del sistema, debido al desalineamiento del joystick con respecto a los sensores ultrasónicos. Pero los niños señalaron un nivel más alto de la satisfacción con el joystick. Al parecer el movimiento del brazo del niño aumenta el nivel de inmersión. Además, la correlación háptica-acústica es un excelente mecanismo para estimular las habilidades disponibles en niños visualmente discapacitados. Este resultado origina decisiones de diseño opuestas entre sí.

 

Niños interactuando con joystick

Niños interactuando con teclado

 

Un elemento clave en la posterior mejora de AudioDoom es la construcción de un editor, porque AudioDoom tiene actualmente una solución hardwired. El editor ayudará a los profesores y los padres a adaptar tareas de acuerdo a sus propias necesidades. Finalmente, proponemos la posibilidad de ir más allá de la construcción concreta con bloques LEGO y la representación mental del ambiente espacial. Proponemos el uso de las habilidades motoras para representar el modelo LEGO construido por los niños ciegos a través de un juego interactivo de habilidades motoras.

Comentarios Finales

Uno de los beneficios más prometedores de AudioDoom proviene del hecho que los ambientes acústicos virtuales no solamente pueden servir como mundos de entretenimiento, sino que también se pueden utilizar para construir una amplia variedad de materiales educativos. Es bien sabido que los niños ciegos necesitan ayuda para conocer y mapear su barrio, escuela, centro, etc. Desde esta perspectiva estamos explorando la posibilidad de ir más allá de la representación de ambientes fantásticos, mediante la inclusión de representaciones virtuales de lugares reales y familiares. Estas representaciones se pueden modelar con el modelo de hiperhistoria a través de la integración de elementos motivadores para capturar la atención de los niños. Los resultados obtenidos hasta a este punto no son totalmente categóricos, pero sirven para probar conceptos acerca de que los ambientes de sonidos espacializados generados sin pistas visuales pueden originar estructuras espaciales en las mentes de niños ciegos. Hemos presentado un modelo conceptual para construir historias altamente interactivas para niños ciegos. Nuestras experiencias previas con hiperhistorias nos indican que los aprendices tienden a tener control sobre estas historias y disfrutan el hecho de tener acceso libre a herramientas y materiales para construir, con el fin de desarrollar estrategias y probar hipótesis. Las Hiperhistorias fueron usadas con la idea implícita de fomentar el desarrollo y uso de habilidades cognitivas tales como relaciones espaciales y lateralidad. Nuestros resultados preliminares con hiperhistorias auditivas 3D apoyan nuestra creencia que pueden contribuir a hacer la interacción con los computadores mucho más agradable y aprendible. Los niños disfrutan con las historias y las recuerdan fácilmente. Cuando los niños enganchan con una historia, pueden identificar, extraer y utilizar datos relevantes para resolver un desafío si cuentan con un acceso rápido y flexible a la secuencia de la historia. De nuestra experiencia con AudioDoom hemos aprendido que las hiperhistorias son altamente motivadoras para los aprendices, facilitan la navegación libre, y promueven el aprendizaje constructivista activo, proveyendo a los niños ciegos del poder para construir ambientes virtuales a través de materiales de aprendizaje dinámicos con pistas de audio.

Referencias