O Painel de Especialistas no Processo de Apreciação Analítica de
Sistemas Hipermídia para o Ensino DE GRADUAÇÃO
 

Miriam Struchiner
Regina Maria Vieira Ricciardi
Vanise Paraíso Vetromille
mchiner@nutes.ufrj.br
fax: (021) 270-3944
Laboratório de Tecnologias Cognitivas - NUTES/UFRJ



Este trabalho apresenta a metodologia e discute uma experiência de avaliação de um software hipermídia a partir de um painel de especialistas. Este procedimento é parte do "Modelo de Apreciação Analítica" de materiais educativos informatizados e foi aplicado ao sistema hipermídia sobre Conservação de Alimentos, dirigido a alunos de graduação em Nutrição. Cinco especialistas, dois na área de tecnologia educacional e três do campo da nutrição, interagiram com o sistema individualmente, responderam um questionário semi-aberto e formaram um painel de discussão que foi registrado através de audio. Combinando os dois instrumentos para efeito de análise, os resultados obtidos indicaram a validade do material. O modelo, por sua vez, mostrou-se extremamente eficaz para a análise de materiais educativos informatizados.

Introdução
 

A construção de sistemas interativos para o ensino pressupõe a avaliação dos materiais em diversas etapas, do desenvolvimento à utilização. Como sugere Reeves (1992), por ser uma tecnologia nova, e também por suas características estruturais, a natureza dos sistemas baseados em hiperdocumentos impõe a investigação de novos enfoques para os estudos destes materiais, tanto do ponto de vista da metodologia a ser empregada, como do conteúdo da investigação. Essa perspectiva justifica-se na medida em que hiperdocumentos são sistemas abertos, expansíveis e incompletos para usuários e autores. Isto é, o usuário pode sempre "navegar" através das informações por caminhos (trilhas) diferentes, e o autor, e em alguns casos os próprios alunos, podem acrescentar informações (nós), novos elementos-chave (botões) e/ou novas ligações (Staninger, 1994). A hipermídia pressupõe liberdade e controle do aluno para que, de acordo com seus interesses e experiências, "navegue" pela base de informações descobrindo relações entre conceitos e construindo seu próprio conhecimento. Essa liberdade de percorrer diferentes trilhas faz com que os alunos entrem em contato com diferentes partes do conteúdo, construindo, assim, conhecimentos diversos em torno do mesmo tópico.

A proposta de "Apreciação Analítica" para materiais educativos informatizados (Leveridge, 1986) adaptada às características de linguagem e estrutura de sistemas hipermídia oferece um modelo flexível de análise do material informatizado. Este modelo não se baseia em apenas um método de avaliação, mas em vários procedimentos e leva em conta a experiência e as representações dos sujeitos envolvidos no processo educacional, fundamentais para a compreensão da aplicação e do uso destas novas tecnologias educacionais. Um dos componentes desse modelo é o painel de especialistas, onde profissionais de áreas relacionadas ao conteúdo e aos processos técnico-pedagógicos envolvidos no sistema analisam e validam o material educativo em diversos aspectos relevantes.

O presente trabalho tem como finalidade apresentar as bases conceituais do modelo de Apreciação Analítica de sistemas hipermídia, situando, relatando e discutindo a experiência de um painel de especialistas realizada com um programa desenvolvido para o ensino de graduação em Nutrição.
 
 

Avaliação de Software Educacional - modelos tradicionais
 

Em geral, a tradição de pesquisas sobre tecnologias educacionais e sistemas interativos no ensino (Computer-Assisted Instruction, Computer-Based Instruction etc) adotou metodologias que baseiam-se, principalmente, na comparação entre o uso da informática e outros métodos/meios (Guthrie & McPherson, 1992). Esses estudos utilizam como indicação do "efeito" do meio na aprendizagem as diferenças produzidas entre o pré e/ou o pós-teste dos grupos de alunos de acordo com o "tratamento" a que foram submetidos. Estudos experimentais e quasi-experimentais produziram poucos resultados significativos, tanto do ponto de vista estatístico (que apontassem a superioridade de um meio sobre outro), como do ponto de vista educacional (Reeves, 1986; Reeves, 1992; Plowman & Chambers, 1994).

Os principais problemas dessas metodologias residem no fato de o modelo de "comparação entre meios" não dar conta das inúmeras variáveis do contexto educacional, que inclui aspectos sociais da escola (organização, cultura institucional, filosofia pedagógica etc), interpessoais (relação professor-aluno, aluno-aluno etc) e individuais (interesse/motivação, experiência, estilo de aprendizagem, aptidão etc). Trata, assim, os meios como "fins em si mesmos" e não como ferramentas que possam auxiliar o desenvolvimento de uma atividade extremamente complexa como o processo de aprendizagem. Por outro lado, o tipo de avaliação por testes objetivos a que os alunos são submetidos, de um modo geral, é traduzido em medidas de retenção/memorização de informações. Isso confere à aprendizagem uma dimensão muito restrita, a partir de uma abordagem tradicional da educação, que entende o ensino como transmissão de conhecimento, distanciado-se, assim, de uma abordagem construtivista da aprendizagem. (Novak & Gowin, 1984; Jonassen, 1996)

Uma outra linha de trabalho difundida na literatura da área de informática na educação, principalmente na década de 1980, é a construção de indicadores e instrumentos para avaliação de software educacional (Jones & Vaughan, 1983; Roblyer, 1983). Essas publicações são de grande interesse por incluírem uma rica discussão sobre os fatores a serem considerados na avaliação de programas por computador, tais como projeto pedagógico, conteúdo, interface, uso pelo aluno, uso pelo professor, apresentação das informações e aspectos técnicos (Roblyer, 1983). No entanto, apresentam algumas limitações por basearem-se muito mais em estratégias educacionais do tipo tutorial ou exercício e prática do que em modelos mais abertos de ensino, o que em muito difere dos sistemas de hiperdocumentos. Portanto, muitos destes fatores e standards não são aplicáveis ao contexto da hipermídia educativa. Além disso, esses instrumentos são orientados principalmente para servirem como suporte para a decisão sobre a adoção ou para a seleção de programas disponíveis no mercado e, embora levantem alguns aspectos relevantes a serem considerados no processo de desenvolvimento, seu referencial é descontextualizado dos ambientes de ensino-aprendizagem e do cotidiano escolar. No entanto, a construção de conhecimento é situada no contexto em que emerge. (Relan & Smith, 1996; Boyle, 1997).
 
 

Modelo de Apreciação Analítica de Sistemas Hipermídia
 

O enfoque da "Apreciação Analítica" baseia-se em observação, análise e julgamento em processos de avaliação estruturados como estratégia não só para o planejamento (design) e a produção, como também para a seleção de materiais educacionais (Leveridge, 1986). Essa metodologia é, portanto, aplicável tanto na construção de programas, como na seleção de softwares existentes no mercado para utilização no processo de ensino-aprendizagem.

A abordagem desse modelo permite combinar diferentes metodologias de coleta e de análise das informações. Consiste numa série de procedimentos que inclui a utilização do material pelos diversos sujeitos que, de alguma forma, possuem uma vinculação com o seu conteúdo, a avaliação dos materiais através de entrevistas/questionários e a formação de painéis de discussão sobre questões e critérios considerados prioritários para definir a qualidade do material. Participam desse processo (1) representantes dos grupos de alunos para os quais se dirige o programa e (2) especialistas e professores no tópico do programa.

Um grupo representativo da população alvo é observado ao interagir com o programa. Após essa etapa, uma série de indicadores é discutida, levantada e avaliada. O enfoque de Wallace, Slichter e Bolwell (1985) sobre avaliação de sistemas interativos no ensino e a contribuição de Kristof & Satran (1995) sobre design para interatividade oferecem um quadro teórico adequado para este fim. Os aspectos levantados para apreciação dos materiais interativos pelos alunos são: processos educacionais (relevância do conteúdo, lógica das relações entre conceitos, envolvimento cognitivo e afetivo do aluno); instruções para uso do programa (clareza e facilidade de aprendizagem); interface (transição amena e lógica entre contextos e/ou telas e compatibilidade do equipamento para entrada de dados/interação com a forma de comunicação do programa, orientação precisa); apresentação do programa e utilização de recursos como gráficos, animações e imagens fotográficas (motivação, coerência com os objetivos, função pedagógica); e interatividade (liberdade e controle de ações dos usuários, assim como às características dos alunos).

Os especialistas e professores, após interagirem com o programa, são responsáveis por avaliarem os aspectos relacionados acima e, também, pela validação do conteúdo (precisão científica das informações, consistência, abrangência etc) e da apresentação no que diz respeito à linguagem e ao enfoque pedagógico (estratégias de ensino, tipos de meios utilizados e adequação às características dos alunos). Além disso, uma série de discussões são estimuladas, de forma a aprimorar o material e construir recomendações de estratégias para sua utilização em atividades de ensino.

Este modelo é aplicável nas últimas etapas de desenvolvimento quando, a partir dos resultados obtidos, é iniciado um processo de decisão sobre as revisões necessárias ao programa, anteriormente à sua implementação final. Pode ser utilizado como base para a tomada de decisão sobre a adoção deste material no currículo e sobre as estratégias pedagógicas para sua utilização. Este modelo multifacetado combina uma série de metodologias de avaliação e, portanto, procedimentos para análise do material. Seu enfoque enfatiza a experiência e as representações de todos os sujeitos envolvidos no processo educativo. Estas características são coerentes com as recomendações de Reeves (1992) para a avaliação de sistemas hipermídia. Outros elementos apontados por este autor foram incorporados ao modelo da Apreciação Analítica para fins do presente estudo, de forma a adequá-lo à complexidade dos materiais baseados em hipertextos.

Reeves (1992) enfatiza a importância de um modelo multifacetado para avaliação formativa de hipermídia (primeira versão) que inclui: revisão por especialistas, observação individual da utilização dos programas pelos alunos, estudos piloto e de campo. Para a coleta de informações, sugere vários métodos, porém enfatiza os etnográficos (entrevistas, questionários abertos, observações e análise de registros), na medida em que a "utilização de protocolos flexíveis possibilita a exploração de temas que não tenham sido antecipados" (Reeves, 1992, p.52).

No que diz respeito ao conteúdo das informações a serem levantadas, o autor recomenda que se utilizem procedimentos embutidos no próprio sistema para o registro dos "passos" (conteúdos visitados e caminhos) escolhidos pelo usuário durante a seção no ambiente hipermídia. Além disso, propõe o levantamento de características individuais que possam ser relevantes para explicar as diferenças encontradas nas formas de utilização do sistema pelos usuários.

No modelo de apreciação analítica, não há uma ordem definda para as diferentes etapas da avaliação. A ênfase, no entanto, é dada aos elementos a serem avaliados tanto do ponto de vista da funcionalidade do sistema, da comunicabilidade da interface e das potencialidades do modelo pedagógico.
 
 

Painel de Especialistas

A realização do painel de especialistas em estágio avançado do desenvolvimento de um material educativo, especialmente de sistemas informatizados, permite a interação entre os diferentes conhecimentos envolvidos neste processo. Isto porque trata-se de um método onde profissionais experientes em diferentes aspectos relevantes ao programa (conteúdo, funcionamento, enfoque pedagógico/linguagem) colocam-se na posição de usuários, interagindo, analisando e julgando a sua qualidade e validade. Para Aedo, Catenazzi e Diaz (1996), o método é de baixo custo e eficiente, já que um pequeno número de especialistas pode detectar problemas significantes em diferentes aspectos do sistema, desde que sejam selecionados com cautela para evitar "bias" (parcialidade).

Leveridge (1986) recomenda que, para julgar a relevância dos materiais informatizados, o grupo de especialistas tenha de três a seis membros e que sejam feitos tantos painéis quantos forem necessários para que todas as questões sejam respondidas. Aponta, também, algumas características fundamentais em termos dos perfis que devem fazer parte do painel no âmbito do ensino médico, porém tratado mais amplamente no contexto da presente pesquisa: ter experiência na construção de materiais educativos, conhecer aplicações da informática na educação e já ter desenvolvido programas do mesmo gênero, ter experiência prática na área de aplicação dos conhecimentos contidos no programa, ter conhecimento do conteúdo do sistema e ter experiência prática de ensino no conteúdo abordado no programa.
 
 
 

A Experiência do Painel de Especialistas

com o Sistema Hipermídia sobre Conservação da Alimentos
 

Apreciação Analítica do Sistema

O sistema hipermídia sobre Conservação de Alimentos é um projeto conjunto do Laboratório de Tecnologias Cognitivas - NUTES/UFRJ e do Laboratório de Alimentos do Instituto de Nutrição/UFRJ. O programa foi desenvolvido para apoiar o ensino da disciplina Tecnologia de Alimentos, oferecida no sexto período do curso de graduação (Struchiner, González, Ricciardi, Cordoba & Diogo, 1996). O conteúdo do programa está organizado em três tópicos principais: Conceitos Básicos, Equipamentos e Práticas. Além disso, os alunos podem acessar a Bibliografia e o módulo de Ajuda a qualquer instante. A informação é apresentada em mais de 100 telas (40 nós) com textos, gráficos (ilustrações, diagramas e animação) e fotografias.

O processo de apreciação analítica do sistema contou com duas principais etapas. A primeira consistiu no estudo da utilização e na avaliação do sistema hipermídia por um grupo representativo da população alvo (Struchiner, Ricciardi, Diogo & Correia, 1996; Struchiner & Ricciardi, 1997). A segunda etapa consistiu no processo de realização do painel de especialistas para análise e avaliação do sistema, que será detalhado a seguir. Com base na consolidação dos resultados obtidos nas duas etapas, optou-se por uma série de ajustes no sistema e pelo planejamento de sua implantação nas atividades curriculares da disciplina.
 
 

Seleção dos Especialistas e Participação no Painel

Pela natureza do sistema hipermídia sendo apreciado, foi decidido que o painel deveria contemplar a presença de especialistas tanto da área de tecnologia educacional e desenvolvimento de sistemas interativos, como de tecnologia de alimentos com conhecimentos práticos, teórico-práticos e pedagógicos sobre conservação de alimentos. O painel foi realizado em duas etapas, com a participação de cinco profissionais. O primeiro dia contou com a presença de um profissional da área de tecnologia educacional, que trabalha no campo da educação à distância (produção e elaboração de materiais educativos), um profissional atuante na indústria alimentícia (conhecimento prático do conteúdo) e uma professora/pesquisadora na área em tecnologia de alimentos. No segundo encontro, estiveram presentes uma analista de sistemas especialista em informática na educação e uma professora da área de planejamento em serviços de nutrição.
 
 

Instrumentos e Procedimentos
 

No primeiro momento do encontro, os especialistas interagiram com o programa individualmente, respondendo, em seguida, os instrumentos desenvolvidos para a avaliação do sistema hipermídia. No segundo momento, reuniram-se para uma discussão do grupo, que contou com a participação da coordenadora da pesquisa e de outros membros da equipe.

Os instrumentos para avaliação individual dos painelistas seguiram basicamente a mesma estrutura e continham questões que enfocavam os seguintes aspectos: interatividade (potencialidade de trilhar caminhos e acessar informações de acordo com o interesse e ritmo dos alunos), comunicabilidade da interface (facilidade de aprendizagem, legibilidade, funcionalidade dos botões e ícones, adequação da linguagem, orientação no uso) e aspectos relativos à comunicação visual (clareza e pertinência conceitual das ilustrações, motivação possibilitada pelos elementos visuais, adequação do tamanho dos textos e da tipografia, harmonia entre elementos visuais).

Além destas, foram elaboradas questões específicas para cada especialidade. Profissionais da área de nutrição avaliaram aspectos gerais relativos ao conteúdo do sistema (abrangência do conteúdo, adequação da terminologia e da estrutura/organização do conteúdo) e específicos para cada um dos módulos do sistema: "Conceitos Básicos" (nível de profundidade, clareza conceitual e suficiência de palavras de glossário), "Práticas" (relação entre conteúdo e processamento das práticas) e "Equipamentos" (funcionalidade dos esquemas e clareza do funcionamento).

Os especialistas em tecnologia educacional responderam perguntas específicas sobre o meio computador e sua adequação ao conteúdo e estratégias de utilização (integração de diferentes meios, formas de representação do conhecimento e abordagens do conteúdo, uso das potencialidades do meio, relação do sistema com o universo cultural dos alunos a nivel das formas de busca e consulta de informações).

O formato das perguntas dos instrumentos desenvolvidos para os dois perfis de profissionais que integraram o painel foi o mesmo e apresentou questões de formato misto: as perguntas foram apresentadas em formato aberto para permitir que os avaliadores pudessem manifestar suas opiniões livremente; no entanto, para cada ítem, eles foram também solicitados a pontuarem cada atributo em questão numa escala de 0 a 10 (zero para ruim/fraco e dez para excelente) de acordo com seus julgamentos.

Após a interação e avaliação individual, instituiu-se o debate do grupo, e não houve mais diferenciação de perguntas ou questões por especialidades, isto é, o debate foi aberto de modo que todos pudessem expressar suas opiniões. As discussões foram registradas através de gravação em audio. Os participantes foram primeiramente convidados a apresentarem-se; este procedimento teve duas finalidades: entrosar o grupo e registrar as vozes relacionadas aos nomes para facilitar a posterior transcrição da fita gravada. Como motivação para iniciar o debate, a coordenadora da pesquisa explicou o objetivo daquela atividade e propôs as seguintes questões gerais: (1) Como vocês entendem que esta tecnologia educacional pode contribuir para o ensino? Que grupos de alunos podem se beneficiar na aprendizagem utilizando este tipo de organização do conteúdo? (2) Se acreditamos na aprendizagem como construção de conhecimento, tendo o aluno como sujeito ativo deste processo, de que forma a organização de sistemas baseados em hipertextos são aplicáveis neste processo, tendo em vista a dicotomia entre os paradigmas informação-formação e transmissão-construção? e (3) Opiniões sobre a abordagem metodológica da pesquisa, considerando o painel de especialistas como um dos segmentos do processo de apreciação analítica de um software educativo. Os especialistas foram solicitados a desenvolverem seus argumentos para as repostas dadas a estas questões gerais com exemplos do sistema hipermídia sobre Conservação de Alimentos.
 
 

Análise e Resultados

Para efeito de análise, os dados das duas sessões, sendo a primeira com três e a segunda com dois participantes, foram tratados conjuntamente. O tempo dispendido entre visitar o sistema individualmente, responder o instrumento de avaliação e participar do debate foi em torno de três horas. A média de tempo utilizada pelos especialistas ao "navegarem" pelo sistema foi de 53 minutos, sendo o tempo maior de 71 minutos utilizado por um especialista de conteúdo (ETA) e o menor tempo, de 42 minutos, por um especialista em informátca na educação (ETE). Em relação à abrangência do conteúdo, os especialistas visitaram em média 23 diferentes nós, que correspondem a 58% do conteúdo total do sistema (N=40), sendo a maior abrangência de conteúdo feita por um especialista em alimentos que visitou 28 tópicos e a menor por um profissional em tecnologia educacional, que percorreu 11 tópicos. Esta relação com a navegação parece coerente com os propósitos de cada especialidade. Aparentemente, os profissionais da área de alimentos detiveram-se mais na leitura e na abrangência do conteúdo, enquanto os tecnólogos educacionais concentraram-se no exame de aspectos como interface e funcionamento geral do sistema. Esta constatação pôde ser verificada quando o índice de visitas repetidas aos mesmos tópicos (nós) foi calculado. Após a padronização dos dados (total de nós e número de diferentes nós navegados) pelo tempo total de uso do sistema de cada especialista, contatou-se que os tecnólogos educacionais ficaram menos tempo navegando, visitaram menos tópicos, porém repetiram mais suas visitas.

O material do debate foi transcrito e o depoimento de cada participante foi analisado de acordo com os mesmos indicadores definidos para o questionário individual, inclusive, incluindo os comentários escritos no instrumento. Este procedimento possibilitou checar a consistência e a contextualização das apreciações críticas dos painelistas. Todos os aspectos não contemplados no estudo, mas que foram revelados pelos avaliadores durante o debate, também foram registrados, analisados e, posteriormente, incorporados ao sistema.

Para proceder a análise das respostas ao instrumento individual, os dados de cada avaliador foram tratados da seguinte forma: primeiro, foram organizados e analisados por cada participante, obtendo, assim, uma visão da avaliação por especialista. Posteriormente, os dados foram agregados por especialidade, tecnologia educacional (ETE) e tecnologia de alimentos (ETA), e depois de forma global, para traçar uma avaliação do grupo de especialistas como um todo.

As avaliações serão apresentadas tanto por área de especialização, como global, para, então, serem tecidas as conclusões sobre os resultados obtidos e sobre esta abordagem metodológica.
 
 

Tabela 1: Média dos Pontos dados aos Itens de Cada Fator Analisado no Sistema


Indicadores
Número de Itens
ETE (média)
ETA (média)
TOTAL
Interatividade
3
8,5
9,4
9,0
Interface
7
8,3
8,8
8,6
Programação Visual
6
8,5
9,7
9,2
Uso de Meios
5
6,9
somente ETE
6,9
Conteúdo
9
somente ETA
9,7
9,7

Os três primeiros indicadores, interatividade, interface e programação visual, foram avaliados pelos dois grupos. Estes estão intimamente ligados à concepção do sistema, tanto no que diz respeito à estruturação do conteúdo, como aos contextos de utilização para os seus usuários. Apesar de terem sido bem avaliados, indicando a qualidade do material, os especialistas em tecnologia educacional (ETE) foram mais críticos e rigorosos em suas pontuações e comentários que os especialistas de conteúdo (ETA), tanto na média de pontos como nos comentários do painel. Por exemplo, os ETEs apontaram inconsistências encontradas em algumas funções do programa (nas setas de retorno), que poderiam levar o aluno a sentir-se desorientado ou "perdido no hiperespaço", um problema que vem sendo exaustivamente relatado na literatura (Cimino, Elkin & Barnett, 1992) e que não fora detectado no estudo piloto com alunos de Nutrição (Struchiner et al., 1996). Uma outra questão levantada dizia respeito à linguagem, e considerada muito interessante, foi a sugestão de incluir algumas perguntas críticas sobre o conteúdo em meio ao hipertexto, para estimular a consulta/busca de informações pelo aluno, dando ao texto uma formatação de diálogo.

O indicador Utilização do Meio, respondido apenas pelos ETEs, com perguntas sobre o aproveitamento potencial do meio e o uso de diferentes formas de representação do conhecimento, reuniu a pontuação mais baixa (média = 6,9) e foi o aspecto mais criticado no sistema. Realmente, o programa não explora todas as potencialidades do meio, já que não possui nenhuma sequência de vídeo ou áudio e apresenta poucas animações. Um dos especialistas enfocou o conteúdo propriamente dito, indicando que os alunos poderiam se beneficiar com o uso de vídeo na apresentação de procedimentos na prática de desidratação do abacaxi. Outra crítica disse respeito ao pequeno uso de imagens e outros meios como estratégias de motivação para o aluno. O aspecto relativo à utilização do meio quanto à sua potencial flexibilidade (possibilitar diferentes formas de acesso e perspectivas do conteúdo) foi altamente conceituado, inclusive pelos ETAs durante o painel, tendo sido ressaltada a possibilidade de o sistema hipermídia adaptar-se a diferentes estilos e níveis de conhecimento.
 
 

Quadro 1: Depoimentos Representativos da Opinião dos Especialistas no Painel


Indicadores
Depoimentos
Interatividade "... Esse potencial, essa rapidez de se aprofundar o assunto. Lá você tem toda a noção da complexidade. E do incentivo... você não está vendo só um assunto, você tem sempre a possibilidade de estar descobrindo". (ETA)
Interface "... Até mesmo para quem não possui familiaridade ou nunca entrou em contato com um programa de computador, é fácil percorrer os caminhos desejados". (ETA) 
Programação Visual "Os ícones são de fácil compreensão, levando até mesmo um usuário leigo a deduzir sua função". (ETE)
Uso de Meios "Os recursos visuais foram pouco explorados e os sonoros não foram utilizados. Houve pouca integração entre os diferentes meios disponibilizados". (ETE) 
Conteúdo "O Conteúdo é bastante abrangente e a terminologia está adequada ao público alvo". (ETA)

O indicador Conteúdo, respondido apenas pelos ETAs, foi avaliado separadamente para cada módulo do programa, de forma a contemplar perguntas contextualizadas na natureza e especificidade das informações contidas em Conceitos Básicos, Equipamentos e Práticas. Suas pontuações variaram de 9,6 a 10,0, sendo a média global deste indicador 9,7. Os especialistas de conteúdo consideraram que as informações e a terminologia eram precisas e adequadas à proposta do sistema, que havia clareza conceitual, que as palavras de glossário eram apropriadas, e que os desenhos e esquemas apresentados eram de grande utilidade na apresentação das informações. No debate, foram ressaltados aspectos como a oportunidade de trabalhar de forma integrada os aspectos interdisciplinares do conteúdo e a abrangência do mesmo, dando a oportunidade ao aluno de descobrir conexões e estabelecer a contribuição de diferentes campos do conhecimento na área de conservação de alimentos. Um dos especialistas sugeriu que o conteúdo poderia ser mais aprofundado para a população alvo. Finalmente, foi recomendado que o material fosse utilizado, também, para treinamento de pessoal de indústria alimentícia.
 
 

Conclusões e Recomendações

Do ponto de vista da apreciação do sistema hipermídia sobre conservação de alimentos, pode-se concluir que este foi considerado de boa qualidade e com potencial para contribuir na aprendizagem de alunos de graduação em nutrição. Estas considerações são compatíveis com a opinião de um grupo da população alvo que participou do estudo (em outra fase), utilizando e avaliando o sistema. Este grupo relatou ter experimentado a sensação de desvendar um domínio do conhecimento como o da conservação ao navegar por este programa (Struchiner & Ricciardi, 1997). Tanto as considerações dos especialistas como as dos alunos foram analisadas, gerando um plano de alterações/atualizações que encontra-se em fase de implementação (inclusive contando com a inclusão de video e apresentações do tipo slide-som).

Apesar das recomendações de Leveridge (1986), para que o pessoal de conteúdo (ETA) esteja familiarizado, também, com o uso do computador, não foi possível conciliar todas as características propostas. Foi priorizada, neste caso, a especialidade de cada um no campo da conservação de alimentos, de forma a obter uma apreciação em diferentes aspectos do programa (teóricos e práticos). Essa diversidade contribuiu para a riqueza de informações coletadas no painel e serviu, também, para avaliar a facilidade de aprendizagem do uso do sistema, uma vez que esses especialistas declararam que a interface é simples e rapidamente assimilável, até para aqueles não familiarizados com o uso da máquina.

De uma maneira geral, os diferentes profissionais contribuíram em muito com seus comentários, cada qual analisando o material sob seu ponto de vista e suas áreas específicas, apesar de que a integração no painel de discussão possibilitou que todos acabassem trocando suas apreciações a respeito dos mais diferentes aspectos. A sugestão de incluir um programador visual ao grupo de especialistas, dada por um dos ETEs, foi considerada de extrema pertinência e será incorporada nas próximas apreciações analíticas.

Essa diversidade de experiências influencia o processo de apreciação analítica e, também, coloca algumas questões e desafios para aqueles que conceberam o sistema hipermídia. Isto, porque, muitas vezes, não há consenso nas análises e julgamentos dos especialistas. É necessário refletir sobre a natureza das opiniões emitidas, e compreender os valores envolvidos nas considerações. Assim como na construção de sistemas hipermídia ou outros materiais educativos, por mais que se tente dar objetividade ao processo, a avaliação dos especialistas não é neutra (Henderson, 1996). Quando solicitados a analisarem o material ou a se colocarem no papel dos alunos, fazem isto a partir de suas experiências individuais, predominando, portanto, suas visões e valores sobre o aluno, sobre ensino-aprendizagem, sobre o domínio do conhecimento, e sobre o papel do material didático e o uso de novas tecnologias da informação. É nesse contexto que reside a maior riqueza desta proposta de apreciação analítica, que inclui o painel de especialistas como uma de suas atividades, pois coloca os investigadores/construtores do sistema no papel de "tomadores de decisão" em relação à diversidade de questões levantadas, refinando e revisando seus próprios propósitos e optando pelas modificações julgadas mais pertinentes.

Esta experiência mostrou-se extremamente importante no processo de construção de sistemas hipermídia para o ensino da graduação e sua validade estende-se ao desenvolvimento de materiais educativos em outros formatos. Trata-se de um trabalho exaustivo de análise e síntese da grande quantidade de informações geradas a partir da experiência dos participantes e na interação entre eles.
 

Apoio

Este trabalho contou com o apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Fundação Universitária José Bonifácio (FUJB).
 
 
 

Referências
 

Aedo, I., Catenazzi, N. e Díaz, P. (1996). The Evaluation of a Hypermedia Learning Environment: The CESAR Experience Journal of Educational Multimedia and Hypermedia, 5(1): 49-72.

Boyle, T. (1997). Design forz MultimediaLearning. NY: Prentice Hall.

Cimino, J.J., Elkin, P.L. e Barnett, G.O. (1992). As we may think: The Concept Space and medical hypertext. Computers and Biomedical Research, 25:238-263.

Guthrie, B.M. e McPherson, M. (1992). The Efficacy of a Customized Approach to Computer Assisted Instruction. Journal of Computer-Based Instruction, 19(3):100-104.

Henderson, L. (1996). Instructional Design of Interactive Multimedia: A Cultural Critique. Educational Tecnology Research and Development, 44(4): 85-104.

Jonassen, D. H. (1996). Computers in the Classroom: Mindtools for Critical Thinking. Englewood Cliffs, NJ: Prentice-Hall Inc.

Jones, N.B. e Vaughan, L., editors (1983). Evaluation of Educational Software: a guide to guides. Chelmsford, MA: Northeast Regional Exchange, Inc.

Kristof, R. e Satran, A. (1995). "Interactivity by Design: Creating and Communicating with New Media". Mountain View, CA: Adobe Press.

Leveridge, L. (1986) Evaluation of Computer - Assisted Systems. Computers in Medicine, 12 (4):90-96.

Novak, J. D. e Gowin, D. B. (1984). Learning How to Learn. Cambridge: Cambridge University Press.

Plowman, L. e Chambers, P. (1994). Working with the New Generation of Interactive Media Technologies in Schools: CD-I and CDTV. British Journal of Educational Technology, 25(2):125-134.

Reeves, T.C. (1986). Research and Evaluation Models for the Study of Interactive Video. Journal of Computer-Based Instruction, 13(4):102-106.

Reeves, T.C. (1992). Evaluating Interactive Multimedia. Educational Technology, 32(5):47-53.

Relan, A. e Smith, W. C. (1996). Learning from Hypermedia: A Study of Situated Versus Endemic Learning Strategies. Journal of Educational Multimedia and Hypermedia, 5(1): 3-21.

Roblyer, M.D. (1983). What you should Know about Computer Software Evaluations. The Executive Educator, September/83, 34-39.

Staninger, S.W. (1994). Hypertext Technology: Educational Consequences. Educational Technology, 34(7):51-53.

Struchiner, M., González, M.P., Ricciardi, R.M.V., Cordoba, G.I.T. e Diogo, A.C.M. (1996) "Aspectos Metodológicos no Desenvolvimento de Hiperdocumentos para o Ensino de Graduação: Um sistema para o curso de Nutrição". Anais do III Congresso Iberoamericano de Informática Educativa. Barranquilla, Colombia, 8-11 de julho de 1996, 7 págs.

Struchiner, M. e Ricciardi, R.M.V. (1997) Principal Components of Student Use of "Navigation Tools" to Access Information in Hypermedia Systems". (submetido a publicação - mímeo).

Wallace, D, Slitcher, M, e Bolwell, C. (1985) Evaluation criteria for microcai: A psychometric approach. The Physiologist, 28(6):558-584.