FALAS:

Ferramenta ALternativa de Aquisição Simbólica

Milene Selbach Silveira
C.P.G.C.C. / Instituto de Informática / Universidade Federal do Rio Grande do Sul
Instituto de Informática / Pontifícia Universidade Católica do Rio Grande do Sul
Av. Ipiranga, 6681 - Caixa Postal 1429
Fone: 339-15-11 - FAX: 339-15-64
90619-900 - Porto Alegre - RS
BRASIL
E-mail: milene@music.pucrs.br



Resumo

A maior parte da população mundial se comunica de forma multi-modal (falas, gestos, expressões faciais, etc.). Na medida em que algum destes modos falta, a pessoa afetada encontra dificuldades para manifestar suas idéias e pensamentos.

Este trabalho é destinado a pessoas com dificuldades severas de fala e graves danos, também, na parte motora, o que as impede de se comunicarem por formas alternativas usuais, como a linguagem de sinais dos surdos, por exemplo.

O protótipo desenvolvido visa auxiliar estas pessoas na sua busca por autonomia pessoal, provendo-lhes sistemas alternativos ou aumentativos de comunicação, auxiliados por recursos de Multimídia e técnicas de Inteligência Artificial, com o intuito de auxiliá-las no aprendizado da forma de comunicação a ser utilizada e de proporcionar-lhes uma interação mais amigável e eficaz com o sistema.

Introdução

Este trabalho aborda a fatia da população que não fala e não tem capacidade motora suficiente para movimentar suas mãos/corpo a fim de gesticular e expressar-se. Esta situação é decorrente, muitas vezes, de casos de pessoas com paralisia cerebral onde, segundo pesquisas relatadas em [SAN94], acusa-se um índice de 75% de incidência de distúrbio da fala.

Para estas pessoas que não podem realizar a comunicação dentro dos parâmetros normais (fala + gestos), há uma área de estudos denominada Comunicação Alternativa e Aumentativa (comumente chamada de AAC, do inglês: Augmentative and Alternative Communication), na qual são pesquisadas formas distintas à comunicação normal e que possam levar a um resultado aceitável de comunicação efetiva.

Uma destas formas alternativas de comunicação é a utilização de sistemas simbólicos, como o PIC, SPC ou Bliss, onde, com o uso de símbolos representativos do vocabulário (Figura 1) dispostos em cartões, cartazes ou cadernos de comunicação, as pessoas comunicam-se através da criação de frases.
 


Figura 1 - Exemplos de Símbolos: PIC, SPC e Bliss

Contudo, a estas formas alternativas podem ser incorporadas as tecnologias da informação que, segundo [ROS94], podem ser usadas para aumentar a qualidade de vida das pessoas, principalmente daquelas com dificuldades graves, que são isoladas da sociedade.

A vários destes sistemas já vem sendo incorporados recursos de informática, que facilitam o armazenamento dos símbolos (sempre em uma enorme quantidade) e a forma de acesso a eles pelas pessoas (uso de sistemas de varredura, telas sensíveis ao toque, acionadores, síntese de voz, etc.).

O intuito deste trabalho foi o de incorporar, a estes sistemas informatizados, técnicas de Inteligência Artificial e recursos de Multimídia, no sentido de facilitar ainda mais esta comunicação e, também, possibilitar uma maior autonomia a estas pessoas.

Nas aplicações usuais de Inteligência Artificial, como modelagem de usuário e interfaces inteligentes e auto-adaptativas, o intuito é conhecer o usuário do sistema, individualmente, na tentativa de detectar suas necessidades e desejos. Com isso, pode-se auxiliar melhor o usuário, tornando estes sistemas mais amigáveis e eficazes.

A utilização destas técnicas ajudaria muito, pois na medida em que um sistema pode se adaptar ao comportamento de seu usuário, mais fácil será para este utilizá-lo sozinho, sem necessidade de ter sempre, durante todo o processo de comunicação, uma pessoa a seu lado que lhe ofereça os símbolos, lhe sane alguma dúvida a respeito dos mesmos, faça troca de opções, etc.

Além da utilização de técnicas de Inteligência Artificial, este estudo inclui a incorporação da Multimídia. Em sistemas de Comunicação Alternativa e Aumentativa, estes recursos podem ser utilizados visando uma melhor interação com o computador, na medida que os sistemas, podem, de forma animada, por exemplo, melhor demonstrar seu próprio funcionamento.

Estes sistemas também podem explicitar suas mensagens de forma audível, não sendo necessário saber ler para compreender o que o sistema deseja em determinada situação. Além disso, há a possibilidade dos significados de um símbolo que são, muitas vezes, abstratos demais para serem compreendidos apenas por sua representação, poderem ser demonstrados através de várias formas, como a utilização de imagens estáticas (desenhos, fotos), dinâmicas (animações, vídeos) e sons (não só a fala como os sons representativos/reais do símbolo em questão), levando a seu melhor entendimento.

A Ferramenta FALAS

Esta ferramenta (Ferramenta ALternativa de Aquisição Simbólica) objetiva empregar recursos de Multimídia e técnicas de Inteligência Artificial com o objetivo de aprimorar os sistemas de AAC existentes, principalmente, nos seguintes aspectos, a fim de proporcionar uma maior autonomia a seus usuários:

  • adaptação do sistema às preferências do usuário (como sua velocidade de varredura, símbolos mais utilizados) e seu nível de conhecimento do sistema simbólico em questão e do próprio sistema computadorizado sendo utilizado;
  • prestação de auxílio individualizado no aprendizado dos símbolos utilizados, através do acesso ao significado viso-auditivo real ou aproximado dos mesmos, possibilitando o uso de tabuleiros de comunicação "normais" (não computadorizados) de forma mais eficaz.
  • Arquitetura da Ferramenta

    Nesta arquitetura (Figura 2) encontram-se os seguintes elementos: Interface, Controle, Conselheiro, Banco de Símbolos, Banco de AAC e Modelo do Usuário, que serão descritos a seguir.
     


    Figura 2 - Arquitetura do Ferramenta

    Modelo do Usuário

    Este componente é dividido em três módulos distintos: Histórico Pessoal, Histórico de Símbolos e Histórico de Exemplos. As informações contidas nestes módulos servirão de base para a verificação do comportamento do usuário, possibilitando, assim, o provimento, pelo sistema, de ajudas e conselhos, inferência de suas intenções e interpretação de seus atos:

    Estes módulos do sistema estão em constante atualização, de acordo com as ações do usuário e seu comportamento no decorrer da interação.

    Banco de Símbolos

    Este componente contém os símbolos da linguagem a ser trabalhada (podendo variar de acordo com a linguagem escolhida para comunicação, sem alterar o mecanismo de controle e aconselhamento) e seus devidos acessórios. Estes acessórios,associados a cada símbolo, são: nome do símbolo (escrito e falado); seu som característico (se existente) e uma representação visual do mesmo (real ou abstrata), com animação quando possível (no caso de uma ação, por exemplo, que é difícil de representar pictoricamente).

    Assim como no Modelo do Usuário há o seu Histórico de Exemplos pessoais, este componente também tem acesso a um Banco de Exemplos. Estes são gerados pelo sistema e não pelo usuário.

    Banco de Informações sobre AAC

    Este componente contém informações relativas a AAC, que serão buscadas pelo Conselheiro para que possa aconselhar o usuário de forma ideal.

    Os itens dispostos neste banco são os fatos e as estratégias que serão utilizadas pelo Conselheiro.

    Como exemplo de estratégias contidas neste Banco tem-se: mostrar explicação do funcionamento do sistema; treinar uso da varredura; reduzir velocidade de varredura; aumentar velocidade de varredura; visualizar animação do símbolo e ver exemplos de frases.

    Controle

    Este módulo faz a comunicação com a interface, controlando os sistemas de varredura, trocas de telas e escolhas (símbolos/opções). Conta com o auxílio do Conselheiro a fim de determinar variações como velocidade de varredura e disposição de símbolos e, conforme ações do usuário e Conselheiro, faz as devidas alterações no modelo do usuário.

    Conselheiro

    O Conselheiro explica ao usuário sobre o funcionamento do sistema, vê suas dúvidas/enganos e tenta auxiliá-lo a entender melhor o sistema e os símbolos que está utilizando.

    O Conselheiro permite uma forma mista de iniciativa: tanto o usuário pode requisitar ajuda quanto o próprio Conselheiro pode oferecer-lhe ajuda.

    O usuário pode requisitar ajuda através da seleção do ícone do Conselheiro, pelo qual lhe serão oferecidas opções de auxílio (selecionáveis por meio de um processo de varredura).

    Dentre estas opções, estão a visualização de animações de símbolos, a recusa a algum símbolo selecionado, a alteração da frase que estiver sendo elaborada, a alteração da velocidade de varredura e a conclusão da frase, com sua expressão oral e armazenamento.

    Já o oferecimento de ajuda por parte do Conselheiro é efetuado através da inferência que este faz sobre as necessidades ou não de ajuda por parte do usuário. Esta inferência da necessidade de auxílio é feita através de um monitoramento contínuo, por parte do Conselheiro, das ações do usuário. Além deste monitoramento, há uma busca em seu histórico pessoal e histórico de símbolos (a fim de verificar seu estado atual na utilização do sistema), levando-se em consideração também o conhecimento especialista contido no Banco de Informações sobre AAC.

    A partir desta inferência, o Conselheiro busca, no Banco de AAC, a melhor estratégia (Conselho) dentre as disponíveis no sistema, utilizando uma espécie de encadeamento progressivo, partindo dos fatos existentes para chegar ao objetivo proposto.

    Interface

    A Interface consta de dispositivos que possibilitam uma comunicação agradável entre o sistema e o usuário, através de desenhos e frases faladas, que têm o propósito de facilitar a interação, tornando-a mais próxima da realidade.

    É importante ressaltar que sempre que o usuário necessitar interagir com o sistema, seja para escolher o símbolo desejado ou pedir algum conselho, por exemplo, isto será feito através de um processo de varredura de opções, onde as mesmas são ressaltadas uma a uma, de forma seqüencial, até que o usuário informe (ao pressionar alguma tecla ou algum tipo de acionador) a opção desejada.

    Funcionamento do Sistema

    O foco central deste trabalho é a adaptação do sistema a seu usuário, a fim de dar-lhe uma maior autonomia. Para esta individualização poder ser concretizada, é necessário que sejam conhecidos, principalmente, o nível de conhecimento do usuário (o que ele sabe ou não) e seu propósito (o que deseja fazer ou não) na utilização do sistema.

    Assim como os usuários são distintos, distintas são suas intenções e seus propósitos na utilização do sistema. Suas intenções - de acordo com seus propósitos finais - podem ser: comunicar-se; treinar o uso dos símbolos ou ver símbolos.

    Interação com o Sistema

    A princípio, após identificar-se, o usuário pode informar com que finalidade inicial ele pretende utilizar o sistema (comunicação, treinamento ou visualização).

    A partir desta interação inicial e com as informações contidas no modelo do usuário, o mesmo passa a interagir com o sistema.

    A diferença básica, de acordo com a intenção do usuário, é que, se ele deseja a comunicação, ele utilizará a interface de Comunicação, sem varredura no Conselheiro (opções de som, animação, etc.). Isto agilizará o processo de comunicação. Não há a possibilidade de requisição do Conselheiro, mas este segue monitorando as ações do usuário e, sempre que necessário, oferece-lhe ajuda.

    Em relação ao treinamento, ele tem disponível a possibilidade de requisitar o Conselheiro, o que diminui a velocidade do sistema mas aumenta a interação com os símbolos e seus significados.

    Finalmente, se a escolha for de visualização, somente é possível visualizar os símbolos e suas animações/sons, sem a possibilidade de criação de frases.

    Após a tela inicial com informações gerais sobre o sistema, seguem-se várias tarefas que o usuário deve executar até iniciar a comunicação propriamente dita:

    Escolha do Usuário


    Esta tarefa pode ser realizada sem auxílio, pois desde o início todas as ações do sistema que necessitem uma resposta do usuário podem ser efetuadas por meio de seleção através de varreduras. Como os usuários, focalizados por este trabalho, ainda não são alfabetizados, a cada nome que é mostrado na varredura, aparece a respectiva foto.
     


    Escolha do Modo de Interação


    O usuário pode escolher se quer trabalhar com a ajuda do interlocutor ou de forma autônoma. Se o usuário escolhe, através do processo de varredura, a utilização com o interlocutor, isto indica que é este quem vai escolher os símbolos a serem dispostos na interface de comunicação. Esta escolha é feita através de campos de scroll onde o interlocutor as seleciona (com o auxílio do mouse) na ordem em que elas vão ser dispostas no tabuleiro (das mais as menos utilizadas). Caso o usuário tenha escolhido o modo de interação sem auxílio do interlocutor (modo autônomo), o sistema - de acordo com o Modelo do Usuário - escolherá os símbolos mais usados por ele e os disporá na tela de acordo com este grau de utilização.

    Tanto no modo de auxílio do interlocutor quanto no autônomo, é enfatizada a ordem da disposição dos símbolos na tela. Isto é extremamente importante, na medida em que o usuário acessa de maneira mais ágil (fácil e rápida) os símbolos que estão dispostos em primeiro lugar na tela, devido ao fato da varredura ser feita símbolo a símbolo - onde os símbolos que estão em primeiro lugar levam menos tempo para serem acessados do que os que estão em último.

    É por este motivo que, quando é realizada pelo sistema a tarefa de dispor os símbolos, este o faz de acordo com a utilização dos mesmos pelo usuário, sendo os mais freqüentemente utilizados, dispostos em primeiro lugar.

    Comunicando-se


    Após a escolha pelo interlocutor ou sistema dos símbolos a serem utilizados, terá início, de fato, a comunicação com a visualização da interface de comunicação. Esta interface pode ser dividida em três regiões básicas: Símbolos, Frase e Conselheiro, como pode ser visto na figura abaixo (Figura 3).