O PROGRAMA ZERO: CONCEPÇÃO E CORRECÇÃO
ÓPTICA DE TESTES DE MÚLTIPLA ESCOLHA

João Carlos Paiva
Carlos Paredes
jcpaiva@nautilus.fis.uc.pt
Fax: 351 – 39 – 402782

Apresenta-se um programa de computador intitulado ZERO, que corrige e concebe testes de múltipla escolha.

A oportunidade de um programa desta natureza é contextualizada na problemática da avaliação.

É feita uma descrição do modo de funcionamento do programa, enfatizando as suas potencialidades.

Dá-se conta de algumas estratégias relacionadas com testes de múltipla escolha e aborda-se o impacto do programa junto dos professores.

Finalmente apresentam-se algumas das novas ideias a implementar na versão 3.0, que está a ser desenvolvida.
 
 

1) Porquê o Projecto ZERO?

Adiantamos, desde já, a razão do nome «zero». Trata-se do tempo que se gasta na correcção de testes, se forem aproveitados recursos informáticos relativamente comuns. As novas tecnologias poderão, mais uma vez, alterar os hábitos em diversos domínios e promover a qualidade no e do trabalho.

Quem se movimenta em «terrenos pedagógicos» sabe o peso que os professores suportam por terem, tantas vezes, de corrigir massivamente um grande número de testes. As consequências desta sobrecarga para o professor, prendem-se com alguma falta de tempo e de frescura psicológica para relações pedagógicas fundamentais. Os alunos, por seu turno, não nutrem grande simpatia por testes entregues muito tardiamente.

Por outro lado, é a dificuldade na correcção de testes que muitas vezes inibe o professor de detectar concepções prévias nos alunos, de fazer testes-diagnóstico, de elaborar sociometrias de turma ou de escola ou de avaliar formativamente os alunos em sucessivos momentos.

As correntes modernas de ensino apontam para o conhecimento por parte do professor do património cognitivo do aluno antes da aprendizagem formal. Também a avaliação formativa se tem evidenciando como fundamental. A maioria dos professores, porém, não consegue impregnar a sua prática pedagógica com estas tendências. Não será tanto falta de convicção mas falta de condições reais (por exemplo, falta de tempo).

A «ferramenta informática» que apresentamos pode minimizar muitas destas dificuldades e facilitar a implantação de tendências pedagógicas imprescindíveis.

Mas é talvez nos momentos de avaliação sumativa, ao nível dos ensinos básico, secundário e universitário, que este apoio técnico pode verdadeiramente aliviar o professor e libertá-lo para outras frentes pedagógicas (e tem-se aqui uma evidência para o paradoxal reforço dos aspectos mais humanos à custa de novas tecnologias!). Não podendo ser exclusiva (e não comprometendo, por isso, a avaliação diferenciada), a avaliação por testes de múltipla escolha (adiante ME), intercalada e/ou combinada com esquemas de avaliação tradicional, pode ser factor de promoção real da qualidade pedagógica.

Foi recolhido um conjunto vasto de bibliografia que apoia a validade dos testes de múltipla escolha na avaliação dos alunos, e fornece algumas técnicas para a concepção destes testes, tanto específicas de cada disciplina como globais. Atenda-se, por exemplo, a Hancock 1994, Killoran 1992 e Scouller 1994.

Em certas áreas disciplinares mais do que noutras, e sem carácter de exclusividade, os testes de múltipla escolha são, de facto, uma mais valia pedagógica.

Finalmente, o programa pode também ser uma grande ajuda para a leitura de inquéritos em grande número e ao respectivo tratamento, desde que tais inquéritos possam ser elaborados com esquemas simples de múltipla escolha.

A eficácia da avaliação depende dos objectivos que ela compreende. Há que não ser dogmático nem céptico em relação à metodologia de testes ME. Esta ferramenta informática pode trazer alguns trunfos a favor da utilização destes testes, sempre recomendada com moderação.
 
 

2) Modo de funcionamento do programa
 

O programa funciona em estreita ligação com o processador de texto Word da Microsoft. Os testes são elaborados normalmente, sujeitos a algumas regras de estruturação que apresentamos seguidamente.

A correcção dos testes é potenciada com o uso de um scanner com alimentador automático, sendo possível, porém, desfrutar do programa sem esta peça de hardware.

O programa é distribuído com o respectivo manual, que apresenta todas as indicações necessárias ao seu bom funcionamento.
 

a) Lista de comandos e seu significado

O acesso às várias opções é possível com o rato ou, alternativamente, premindo a letra que se encontra sublinhada em cada uma das opções.

Os comandos principais encontram-se na opção FERRAMENTAS (TOOLS) do menu principal do processador de texto Word. (ver Figura 1)

Os comandos são os seguintes:

• Inserir pergunta ME (Múltipla ESCOLHA) - Insere um campo indicativo de que se segue uma pergunta de ME (normalmente não é usado pois sugere-se a concepção do teste no seu todo e a inserção global de campos de ME no final, com a opção AUTO INSERIR PERGUNTA ME)
• Gerar testes - Gera testes aleatorizados num novo documento a partir de um teste base com perguntas de ME. Gera igualmente as folhas de respostas personalizadas - com base no número de perguntas e número de alternativas - a distribuir pelos alunos.
• Auto inserir perguntas ME - Insere os campos indicativos de pergunta de ME antes de todas as tabelas que constarem do documento (terão de ser posteriormente removidos os campos que antecederem tabelas com outros efeitos que não alternativas a perguntas de ME).
• Ver campos - Permite a visualização e manipulação dos campos indicativos de testes de ME.
• Esconder campos - Esconde os campos indicativos de testes de ME (convém que esta opção esteja activa na formatação final da folha de enunciado do teste).
• Corrigir testes - Abre o programa ZERO a partir do qual podem ser corrigidos os testes, que devem ser preenchidos a preto pelos alunos.

- Geral:
 
 

• Impressora - Selecciona e/ou configura a impressora a utilizar.
• Scanner - Selecciona o scanner a utilizar.
• Ler teste - Lê os ficheiros respeitantes a cada teste que se pretende corrigir.
• SALVAR teste - Guarda toda a informação relativa à correcção do teste.
• FIM - Terminar.

• IMPRIMIR Chaves - Imprime nos testes já feitos pelos alunos as respectivas chaves de resposta.
• CORRIGIR TESTES - Corrige os testes no modo de scanner (para quem tem scanner).
• COTAÇÕES - Cotações das perguntas, nas quais se podem incluir resultados de outras perguntas que não são de múltipla escolha. De entre as opções disponíveis desta janela destaca-se a opção IMPRIMIR RESULTADOS (imprime numa folha os resultados do teste de ME e/ou da parte que não seja de escolha múltipla; nota por aluno, e a percentagem de sucesso da turma por pergunta).
• IMPRIMIR CORRECÇÃO - Imprime a nota, a rubrica do professor, a chave de respostas respectiva e o número do aluno, que deverá coincidir com o número constante da Folha de Respostas. Esta impressão pode ser feita por ordem de entrada no scanner, ou por número de alunos.
• EXPORTAR - Exporta informação sobre o teste, nomeadamente em formato legível pelo programa Excel.

• Antes de mais… - Informações sobre cópias de versões e «piratarias informáticas».
• TÓPICOS - Basicamente, inclui o conteúdo deste manual e pode ser uma ajuda a qualquer momento.
• Projecto ZERO - Informações sobre a versão do programa e respectivos autores.

• Para fazer um teste de múltipla escolha, gerando os respectivos ficheiros de correcção (óptica ou na impressora) deve entrar no processador de texto Word. Na opção NOVO (NEW) deverá partir não de um documento virgem, mas de um MODELO (TEMPLATE) com o nome ZERO. Este MODELO (TEMPLATE) ZERO foi criado durante a instalação do programa. Alternativamente poderá partir de um teste de ME já elaborado e, apagando o que não lhe interessa, fazer GUARDAR COMO (SAVE AS), atribuindo um novo nome ao documento que quer gerar, não danificando, assim, aquele de que partiu.
• Sugere-se que, desde logo, guarde o teste na opção GUARDAR (SAVE) do menu FICHEIRO (FILE) (ver capítulo "Sugestões para gerir e atribuir nomes aos ficheiros dos testes").
• Na segunda linha deve começar a escrever o cabeçalho do teste (que pode igualmente importar de outros testes anteriores).
• Introduzir a primeira pergunta (recomendamos que o faça a letra tipo negrito (bold)). Mudar de linha e introduzir uma tabela com o número de células correspondentes ao número de opções que quer incluir em cada pergunta. Pode usar o comando TABELA (TABLE) e escolher INSERIR TABELA (INSERT TABLE), seleccionando o número de linhas e colunas que desejar. Alternativamente poderá usar o ícone de inserção de tabelas se o tiver instalado.
• Escrever a resposta correcta na primeira célula à esquerda e em cima . Para mais do que uma resposta certa colocar na segunda célula e assim sucessivamente, seguindo o critério de leitura comum (esquerda-direita, cima-baixo, conforme o cursor se desloca com a tecla "Tab"). Ver adiante o capítulo "Como dar ao computador a instrução de que se pretende mais do que uma alternativa correcta?").
• Escrever as restantes alternativas nas outras células, tendo o cuidado de não deixar células vazias. Se escolher uma tabela de duas linhas por três colunas, por exemplo, e quiser apenas cinco opções, deverá eliminar a última célula (seleccionar a respectiva célula e seleccionar ELIMINAR CÉLULA (DELETE CELL) no menu TABELA (TABLE)).
• Repetir os procedimentos 3,4 e 5 para as restantes perguntas (poderá com benefício usar os comandos COPIAR(COPY) e COLAR(PASTE) para perguntas e tabelas de respostas, em vez de inserir sistematicamente tabelas).
• Depois do teste concluído deverá inserir antes de cada tabela a informação de que essa tabela constitui uma série de opções para pergunta de ME. Para não ter que repetir esse procedimento para cada tabela poderá correr a opção AUTO-INSERIR PERGUNTAS ME que está disponível no menu FERRAMENTAS (TOOLS). Neste caso terá de ter o cuidado de eliminar posteriormente os campos que antecedam eventuais tabelas descritivas que fazem parte do teste e não constituem alternativas de resposta.

• Para fazer a remoção dos campos em tabelas que não são de respostas de ME, ou, genericamente, para visualizar onde estão inseridos tais campos, pode activar a opção VER CAMPO, disponível no menu FERRAMENTAS (TOOLS). Seleccionar com o rato a expressão {seq Choices \h \r 1} e apagar.
• Para elaborar perguntas com duas ou mais respostas certas, tem de activar a visualização dos campos e substituir o número 1 na expressão {seq Choices \h \r 1} pelo número de respostas correctas a inserir (as respostas correctas serão introduzidas nas primeiras células, seguindo o critério direita-esquerda e cima-baixo).
• Antes ou depois das perguntas de ME poderá elaborar perguntas tradicionais e incluí-las no enunciado do teste (as respostas, porém, podem ser dadas na própria folha de respostas, cujo verso, pelo menos, está disponível para o aluno responder). Alternativamente, poderá colocar as questões tradicionais que entender e respectivos espaços para resposta, na folha de respostas que será automaticamente criada quando gerar os testes aleatorizados.
• O passo seguinte é formatar o texto dos testes. Há sempre ligeiros ajustes de tipo e tamanho de letra, parágrafos, etc., com vista a uma melhor estética e economia de folhas.
• Aconselha-se que GUARDE (SAVE) o documento em causa.
• Finalmente deverá gerar os testes aleatorizados. Para tal, escolher a opção GERAR TESTES no menu FERRAMENTAS (TOOLS) e escolher o número de testes que quer gerar. Os ficheiros para corrigir estes testes serão gravados na directoria C:\ZERO (criada automaticamente na instalação do programa) com a extensão .zer. Se já tiver um documento com o mesmo nome, a respectiva chave de correcção será apagada e substituída por aquela que está a criar (daí o interesse em gravar os seus testes com nomes sempre diferentes). Os testes gerados serão gravados num novo documento que, na maioria dos casos, será prescindível e poderá nem ser guardado. É igualmente criada uma Folha de Respostas personalizada a distribuir pelos alunos, com o número de questões e o número de opções de resposta adequados ao teste em causa. As folhas de resposta devem ser preenchidas pelo aluno com caneta preta, ainda que primeiramente devam ser preenchidas a lápis para facilitar qualquer alteração de resposta.
• Para corrigir os testes escolher a opção CORRIGIR TESTES no menu FERRAMENTAS (TOOLS) (pode também aceder ao programa de correcção de testes sem entrar no programa Word. Basta um clique no ícone do programa ZERO, que se encontra no grupo ZERO, previamente criado no disco C)

Figura 2: Janela do programa de corrigir testes.

• Deverá, como primeiro passo, seleccionar a opção LER TESTE, disponível no menu GERAL.
• Seguidamente deverá escolher o ficheiro que corresponde ao teste que quer corrigir (escrevendo ou clicando no nome do ficheiro respectivo). Ver Figura 3.

• A seguir há que seleccionar as folhas dos testes já feitos pelos alunos por versões (A, B, C, etc.) e colocá-los na impressora de forma correcta. Escolher a opção IMPRIMIR CHAVES. Sugere-se uma primeira experiência num teste "virgem", já que ligeiros ajustes podem ser necessários na orientação de página em virtude de oscilações da página, quando se fotocopiam as folhas de respostas para distribuir pelos alunos. Deverá escolher igualmente se a impressão de chaves se faz a vermelho (por defeito) ou a preto (ver Figura 4).

Figura 4: Janela para impressão de respostas nos testes já feitos pelos alunos.

• Basta agora seleccionar o número de testes de cada versão e escolher a opção IMPRIMIR.
• Repetir este procedimento para os lotes de testes seguintes.

c) Se tem um scanner, tudo é mais simples!

• Para corrigir os testes, basta seleccionar a opção CORRIGIR TESTES (opção FUNÇÕES) na janela do programa ZERO.
• A janela para esta opção dá-lhe a possibilidade de escolher o alimentador automático ou não, de suspender a correcção, de ler a rubrica do professor ou optar por uma rubrica pré-existente ou de terminar a correcção. Inserir os testes no alimentador do scanner, tendo o cuidado de rubricar o primeiro no rectângulo destinado para esse efeito, se não tiver já uma rubrica pré-existente. Esta rubrica deve ser feita a caneta preta, se possível de filtro. Não tem de se preocupar com a ordenação nem com a orientação da folha. Carregar no botão CORRIGIR (o tempo de execução deste comando depende do número de testes e da rapidez do scanner. Normalmente, porém, trata-se de uma execução lenta que se aconselha a fazer em altura de pouco «tráfego informático» no seu computador, mas que não requer qualquer vigilância).
• É muito importante guardar as informações relativas às correcções feitas em scanner. Seleccionar a opção SALVAR TESTE no menu GERAL. O mais prático é atribuir o mesmo nome ao ficheiro do teste que o gerou (por defeito é-lhe dada esta sugestão). A extensão deste ficheiro é .zex; ele contém todas as informações do ficheiro de extensão .zer mas foi enriquecido com toda a informação obtida pelo scanner. Uma das grandes utilidades deste ficheiro é tornar portátil a correcção dos testes. Significa que pode corrigir os testes com o scanner da sua escola, por exemplo, e imprimir em casa os resultados e as correcções através do ficheiro .zex entretanto criado.
• É conveniente, antes de imprimir resultados ou correcções, configurar as cotações a atribuir a cada pergunta ME, o que poderá fazer na opção COTAÇÕES. Nesta opção pode inserir as cotações de outras perguntas que não de ME, e os resultados dos alunos obtidos nessas perguntas. Escolherá igualmente o formato de resultados que pretende imprimir (percentagem, 0-20, escala reduzido-médio-elevado, escala insuficiente-suficiente-bom-muito bom, etc).
• Para imprimir os resultados basta um simples clique no botão IMPRIMIR RESULTADOS, dentro da janela de COTAÇÕES. Será impressa a folha conforme consta na opção COTAÇÕES.
• A opção IMPRIMIR CORRECÇÃO serve para imprimir nos testes dos alunos a correcção propriamente dita. Pode optar por introduzir na impressora os testes por ordem de entrada no scanner ou por número de aluno de cada turma. É livre a selecção dos campos a imprimir (por defeito todos): rubrica, nota, chave de correcção, número de ordem, número do aluno e turma.
• No caso de querer tratar os resultados numéricos obtidos, sugere-se a selecção da opção EXPORTAR, dentro do menu FUNÇÕES. Seleccione a informação que quer exportar e o formato pretendido. Deverá correr o ficheiro entretanto criado dentro de um programa específico para tal, como o Excel da Microsoft, por exemplo.

3) Fazendo um teste de ME: um exemplo simples

• A título de exemplo, acompanhemos a execução de um testes de ME de Físico-Químicas, dirigido a alunos do 9º ano do Ensino Básico. O professor que fez o teste conta-nos como fez…
• Abri um novo documento na opção NOVO (NEW) que se encontra no menu FICHEIRO (FILE) do processador de texto Word. Seleccionei um documento pré-existente que se chama ZERO.
• Como primeiro passo, fiz a opção GUARDAR (SAVE) e chamei a este documento que comecei a criar TS010996.doc, já que era o primeiro teste sumativo do 9º ano que concebia no ano lectivo de 1995/96. Gravei o meu documento na directoria c:\9\TS, previamente criada.
• Não escrevi na primeira linha, como me sugeria o programa, e comecei por elaborar um cabeçalho, explicando com rigor a – para alguns alunos nova – metodologia do teste.
• Esbocei então uma primeira pergunta. Pensei em fazer algo simples, respeitando o princípio da complexidade crescente. Talvez uma simples leitura de gráficos para os estimular e os "embalar" para um teste bem sucedido, sem deixar de incluir perguntas de selecção.
• Inseri uma figura e um grupo de questões. Para inserir a tabela usei o comando INSERIR TABELA (INSERT TABLE) acessível na opção TABELA (TABLE) do menu principal.
• Seleccionei uma tabela de 2 linhas por três colunas já que pensei em 6 opções de resposta.
• Na primeira célula coloquei a resposta correcta .

Atende na figura seguinte à qual se referem as perguntas 1 a 5. Esta figura dá conta da contribuição de várias centrais de produção energética para a poluição. A poluição pode ser de três tipos: térmica (aumento da temperatura do planeta), química (produção de substâncias químicas poluentes) e radioactiva (produção de radiações perigosas para o meio).
 

Qual das centrais contribui mais significativamente para a poluição química do planeta?
 

A carvão	Biomassa	Nenhuma das opções é correcta
A gás natural	Nuclear	A petróleo

 

• Na pergunta de cálculo achei que devia haver apenas 5 opções. Como tal, removi uma célula (APAGAR CÉLULA (DELETE CELLS)), a última, numa tabela de respostas de 6 células:

• Resolvi fazer uma pergunta de selecção colocando 6 frases subtilmente falsas, para que o aluno indicasse qual era verdadeira, obrigando-o, com alguma ironia, a escolher um elogio da Física (…). Pela sua extensão, optei por uma tabela de 1 coluna por sete linhas:

24. Qual das afirmações seguintes é verdadeira?
 

A Física é uma ciência interessante.

O equilíbrio térmico, de facto, nunca se atinge.

Calor é o mesmo que trabalho.

Calor é o mesmo que temperatura.

A temperatura é uma medida da energia interna dum corpo.

Calor é uma substância.

Um corpo que esteja muito quente tem as suas partículas pouco agitadas.

• Escrevi a pergunta de desenvolvimento que depois resolvi copiar para a Folha de Respostas (conservei esta pergunta de desenvolvimento na Folha de Enunciado pois será este o documento que vou conservar no meu disco duro).
• Usei o comando AUTO INSERIR PERGUNTAS ME (disponível no menu FERRAMENTAS (TOOLS) para "informar" o computador das perguntas de ME.
• Activei a opção VER CAMPOS para remover as instruções que antecediam tabelas que não eram respostas a perguntas ME.
• Activei a opção ESCONDER CAMPOS para formatar da melhor forma a Folha de Enunciado. Ajustei a estética e a economia de folhas, burilei em definitivo o teste, resolvi-o, corrigi um ou outro aspecto, usei a opção GUARDAR (SALVAR) (que seleccionei de quando em vez) e só então…
• Fiz um clique na opção GERAR TESTES (disponível no menu FERRAMENTAS (TOOLS)).
• Escolhi a geração de 4 testes aleatorizados e obtive 4 testes em tudo equivalentes mas com 4 cabeçalhos precedidos das expressões TESTE A, TESTE B, TESTE C e TESTE D, respectivamente. As mesmas perguntas mas as respostas trocadas. Obtive ainda a Folha de Respostas que deve ser preenchida pelos alunos a preto e à qual anexei a pergunta de desenvolvimento. Esta folha tomou um aspecto conforme a Figura 6:

PARTE II (Usa o espaço desta página e o verso desta folha para responderes à PARTE II do teste)

Desenvolve, em não menos de 10 e em não mais do que 20 linhas, o seguinte tema: "Utilização racional de energia. A urgência de promover um uso equilibrado de energia"

NOTA: Podes usar rimas, diálogos, histórias e tudo o mais que a tua imaginação sugira.
 
 

• Sem ter em casa ou na escola um scanner, corrigi os testes na impressora. Trouxe os testes para casa, já preenchidos pelos alunos, e separei-os em lotes consoante eram testes A, B, C ou D. Introduzi as Folhas de Resposta do teste A na impressora precedidas de uma Folha de Resposta virgem.
• Entrei no programa ZERO (fi-lo no sem estar com o programa Word aberto mas podia ter aberto este mesmo programa a partir da opção CORRIGIR TESTES (menu FERRAMENTAS (TOOLS)) do Word.
• Activei a opção LER TESTE no menu GERAL. Escolhi o ficheiro C:\ZERO\TS010996.zer.
• Seleccionei a opção IMPRIMIR CHAVES, escolhi a cor a imprimir e a versão do teste (A, por exemplo). Fiz uma experiência com a folha virgem. Ajustei 2 mm para cima e 3 mm para o lado esquerdo, defini o número de testes para imprimir a chave e fui descansar. Passados alguns minutos repeti o procedimento para os testes B, C e D.
• Quando adquiri o scanner com alimentador tudo se tornou mais fácil: rubriquei o primeiro teste, coloquei os testes todos misturados e até invertidos no scanner. Abri igualmente o ficheiro TS010996.zer mas activei a opção CORRIGIR TESTES no menu funções.
• Fiz as selecções adequadas e activei a correcção. No final escolhi a opção SALVAR TESTE e guardei o ficheiro TS010996.zex que contém toda a informação sobre o teste (podia ter feito este procedimento noutro computador e ter transportado o ficheiro TS010996.zex para minha casa).
• Seleccionei COTAÇÕES para inserir as cotações das perguntas ME e os resultados de três perguntas clássicas - não de ME - que constavam do teste. Escolhi o formato de nota na escala reduzido-…-elevado e o computador fez as suas contas…
• Activei a opção IMPRIMIR RESULTADOS, num botão do menu COTAÇÕES, e uma folha foi-me devolvida pela impressora, com a nota por aluno e a percentagem de sucesso por pergunta.
• Finalmente, coloquei os testes na impressora, na mesma ordem com que os colocara no scanner (podia, se pretendesse, colocá-los por ordem de alunos) e seleccionei a opção IMPRIMIR CORRECÇÃO no modo A MESMA ORDEM DE ENTRADA NO SCANNER. Deixei imprimir todos os campos de resultados. No final, obtive os testes corrigidos com a nota respectiva, a minha rubrica (tinha rubricado o primeiro teste com caneta de filtro preta), o número do aluno e turma, e a chave de correcção respectiva, consoante se tratasse do teste A, B, C, etc. Felizmente correu tudo bem. Se, por azar, um teste tivesse sido trocado por má inserção na impressora, eu (ou o aluno) detectaria o erro pois o número registado pela impressora não coincidiria com o número escrito na Folha de Respostas. A folha de resultados impressa previamente, porém, esclarecia todas as dúvidas.
• O primeiro teste de ME foi mobilizador, para mim e para os alunos. Mas, lentamente, a poupança de tempo tornou-se impressionante. Com ela, aumentou a rendibilidade pedagógica, que resulta de ter mais tempo para os alunos e de fazer mais testes formativos, mais testes-diagnóstico e mais testes de detecção prévia com este formato.
• Fui fazendo algumas experiências de investigação em métodos de avaliação. Fiz o tratamento de dados, lendo os ficheiros gerados pelo scanner na Folha de Cálculo do programa Excel, que estavam na directoria C:\ZERO. Consegui estes ficheiros na opção EXPORTAR do menu FUNÇÕES. Aprendi, por exemplo, que havia perguntas típicas que eram mais acertadas por alunos do sexo feminino. Pude observar também quais as opções erradas mais seleccionadas pelos alunos, etc.

Nota PRELIMINAR: há toda uma investigação moderna e uma metodologia específica para a concepção de perguntas ME. Recolheram-se cerca de 1500 referências bibliográficas sobre o assunto, nas mais variadas áreas disciplinares. Apresentamos aqui, a título de exemplo, referências de Hoepfl 1994 e Powell 1992. As sugestões seguintes são pois resumidas e claramente simplistas, mas talvez práticas e úteis. Os "testes-exemplo" que acompanham este programa têm também esta componente prática: já foram testadas pedagogicamente com sucesso embora não tenham sido alvo de uma investigação sistemática e aprofundada. Alguns apontamentos:

• A experiência tem revelado que um teste de ME para 50 - 60 minutos não deve ter mais de 30-40 perguntas, dependendo da extensão das perguntas e das alternativas (o tempo que o aluno demora a ler as perguntas e as respectivas alternativas é um aspecto importante).
• Um teste misto para o nível secundário pode ter, por exemplo, 20 perguntas de ME e uma pergunta com 4 ou 5 alíneas mais clássicas (em línguas, por exemplo, admitem-se 10 perguntas de ME para interpretação, outras 10 para gramática e uma composição no final, por exemplo).

• Os mais acreditados nesta metodologia dizem qualquer coisa do género "dêem-me uma pergunta tradicional que eu a transformarei numa pergunta de múltipla escolha" (isto sem discutir os parâmetros que então se avaliam e a eficácia pedagógica de tal pergunta de ME - que pode tornar-se mais fácil ou difícil para o aluno, que pode testar mais ou menos este ou aquele aspecto, etc).

• Recomendam-se perguntas com 4 a 6 hipóteses de respostas das quais apenas uma é correcta (o programa permite, todavia, a hipótese de variar o número de alternativas ou de admitir mais do que uma resposta certa).

• Fazer um teste de ME dá um certo «gozo» pois o professor elabora uma pergunta e tem que pensar o que poderão os alunos responder, prevendo assim eventuais erros, que podem ser incluídos como alternativas incorrectas.
• Fazer um teste desta natureza demora mais tempo do que um teste tradicional. Mas torna-se um excelente investimento do ponto de vista de tempo pelo que se poupa na correcção e concepções de novos testes, a partir da base de dados de perguntas entretanto criada (para não falar da possibilidade de troca de perguntas entre colegas ou do fornecimento de bases de dados de perguntas, por quem as produza comercialmente com qualidade. A Internet será, com toda a certeza, um espaço propício a intercâmbio de informação digitalizada para testes de ME).

5) Receptividade do programa junto dos professores

Os professores têm reagido muito positivamente a este programa. O suporte de distribuição do programa é o Projecto Softciências. Trata-se de uma acção comum das Sociedades Portuguesas de Física, Química e Matemática para a produção e divulgação de software educativo. Esta instituição não tem objectivos comerciais o que facilita a distribuição de programas em maior escala. Até ao momento já foram distribuídas cerca de 2000 unidades do programa ZERO, individualmente ou incluído no CD-ROM de software educacional intitulado «Omniciência».

Registam-se algumas posturas mais cépticas, não tanto em relação à eficácia e utilidade do programa, mas à própria validade pedagógica dos testes de ME.

Por ocasião de sessões de divulgação do programa, têm-se gerado debates interessantes sobre o enquadramento pedagógico deste tipo de testes, assim precipitados pelo aparecimento deste programa de computador.

Existem algumas experiências de dificuldade técnica no modo de funcionamento do programa, nomeadamente em relação à correcção óptica por scanner. Matéria insuficiente, porém, para desencorajar os utilizadores do ZERO.

Está em curso um levantamento sistemático sobre a reacção da comunidade escolar ao programa bem como uma avaliação objectiva dos seus resultados. As impressões do momento são globalmente positivas e francamente encorajadoras. Motivaram, por isso, a concepção de nova versão do programa.
 
 

6) Consequências que pode ter a dinamização e expansão deste Projecto

A utilização deste programa por um número significativo de docentes promoverá, como referimos no início deste manual, o incremento de testes formativos, de testes de detecção de concepções prévias dos alunos, de testes-diagnóstico, de sociometrias de grupos. Poderá ainda facilitar o tratamento de inquéritos em larga escala.

Para aqueles que reconhecem, sem qualquer absolutismo, a validade desta ferramenta, será interessante expandir o número de dinamizadores e utilizadores de testes de ME.

Está em perspectiva a criação de "Clubes de Professores" nas diversas áreas disciplinares, no sentido de facilitar o intercâmbio de experiências e de ficheiros informáticos para se aumentar a base-de-dados de perguntas de cada professor. Na Internet, entretanto, há já um endereço para permuta de perguntas de escolha múltipla por áreas disciplinares (http://nautilus.fis.uc.pt/~spf/soft_c/zero2/permuta.htm). Serão igualmente lançados, dentro em breve, conjuntos de testes-diagnóstico, testes formativos, testes de detecção de conceitos alternativos e testes sumativos nas diversas áreas disciplinares, criados por um grupo de professores. Se os últimos exigem algum tempo de concepção pelo sigilo e especificidade que devem encerrar, os três primeiros podem ser do domínio público. No caso, não serão só ZERO segundos a corrigir, mas também ZERO segundos a "conceber"…

Na área das Ciências Físico-Químicas já há bases de dados bastante vastas, com bancos de perguntas de ME de cerca de 3000 perguntas. Algumas estão já disponíveis em:

http://nautilus.fis.uc.pt/~spf/soft_c/zero2/assuntos/testafq/8ano/fisica/8anof.htm

Não podemos deixar de referir que o grande trunfo do programa é a optimização da gestão do tempo do professor. E este argumento, para quem – como muitos – tem muitos testes para ver (e perde oportunidades pedagógicas por isso) é tudo menos um argumento secundário!
 
 
 

7) Alterações para a nova versão do programa ZERO

A versão 3.0, cujo desenvolvimento está em curso apresenta bastantes melhorias, que se sistematizam seguidamente:

• Interface mais amigável e optimizado para ambiente Windows.
• Geração dos testes mais eficaz (exterior ao processador de texto, contrariamente ao que acontece actualmente).
• Melhoria no que toca à compatibilidade universal com scanner.
• Mais ferramentas de tratamento estatístico de resultados.

• Ligação com uma eficaz BASE DE DADOS DE PERGUNTAS, compatível com o processador de texto Word, e de fácil manipulação.

8) Como obter o programa e/ou mais informações sobre ele
 

Para adquirir o programa sugerimos o recurso ao endereço:

http://nautilus.fis.uc.pt/~spf/soft_c/soft_c.html

A página específica do programa encontra-se em:

http://nautilus.fis.uc.pt/~spf/soft_c/soft15.htm. Desta página é caso particular o manual do programa (http://nautilus.fis.uc.pt/~spf/soft_c/zero2/indice.htm).

A área de permuta (só desenvolvida, por enquanto, em Ciências Físico-Químicas) está disponível em:

http://nautilus.fis.uc.pt/~spf/soft_c/zero2/permuta.htm

• Hancock, Gregory-R., Cognitive Complexity and the Comparability of Multiple-Choice and Constructed-Response Test Formats., Journal-of-Experimental-Education; 1994, 62, 143-57.
• Hoepfl, Marie-C., Developing and Evaluating Multiple Choice Tests., Technology-Teacher; 1994, 53, 25-26.
• Killoran, James, In Defense of the Multiple-Choice Question., Social-Education; 1992, 56, 106.
• Powell, J.-C.; Shklov, N.,Obtaining Information about Learners' Thinking Strategies from Wrong Answers on Multiple-Choice Tests., Educational-and-Psychological-Measurement; 1992, 52, 847.
• Scouller, Karen-M.; Prosser, Michael, Students' Experiences in Studying for Multiple Choice Question Examinations., Studies-in-Higher-Education; 1994, 19, 267-79.