Taller Internacional de Software Educativo

TISE97

Trabajo :

SAEL: Um Sistema de Avaliação Eletrônico como Ferramenta para a Atividade Didático - Pedagógica de Professor


UFC - DEPARTAMENTO DE COMPUTAÇÃO
Campos Do Pici, Bloco 910 Cep: 60.455-760 - Fortaleza, Ce - Brasil e-mail: elasa@baydenet.com.br  

Autores :

Andréa Soares Rocha Dos Santos
Mestranda em Ciências da Computação da UFC
Prof. Dr. Mauro Cavalcante Pequeno
Orientador (Computação - UFC)
Prof. Msc. Raimundo Hélio Leite
Co-Orientador (Educação - UFC)    


No Brasil, a formação de pessoal para a área de magistério se faz nas Escolas Normais, nas Faculdades de Educação, nos Cursos de Licenciatura, e nos Cursos de Especialização, Mestrado e Doutorado. No caso das Escolas Normais e das Faculdades de Educação, os futuros professores cursam disciplinas e recebem informações sobre uma área específica que trata do problema de elaboração de provas e testes de rendimento escolar. Essa área é denominada de Medidas Educacionais. Fora disso, as informações sobre esse assunto são escassas, quando, não raro, inexistentes.

Tendo em vista os dados sobre professores que atuam no sistema educacional, sem ter formação pedagógica adequada, não é dificil constatar a quantas anda o processo ensino-aprendizagem, bem como as formas de avaliá-lo. Para tais profissionais, essa atividade se processa, geralmente, através do efeito demonstração. Isto é, o futuro professor passa a desenvolver o mesmo método de elaboração de provas a que foi submetido quando estudante. É o método do aprender fazendo. As distorções são evidentes.

Algumas exceções, entretanto, podem ser encontradas. É o caso de professores que, individualmente, utilizam informações de medidas educacionais para melhorarem seus exames e para criarem seus bancos de questões.

O objetivo deste trabalho é desenvolver um sistema computadorizado que coloque à disposição do professor as informações mínimas necessárias para elaborar, de forma adequada, seus testes de rendimento escolar, utilizando, para isto, elementos como: Tabela de Específicação, Análise de Item, Índice de Dificuldade e Índice de Homogeneidade, Índice do Poder Discriminante, Estatísticas Descritivas, além de um banco de dados e de uma ferramenta gráfica como componentes de apoio para elaboração de provas e de questões.

A originalidade do SAEL está no fato de que ele engloba três fases importantes para a atividade didático - pedagógica do professor: o planejamento da avaliação, o ciclo de análise da avaliação e a criação de um banco de dados para auxiliar o docente na sua atividade. Além disso, as informações contidas no SAEL configuram um curso prático de medidas educacionais, gerando um verdadeiro treinamento para o docente.

1. INTRODUÇÃO

No Brasil, a formação de pessoal para a área de magisterio se faz nas Escolas Normais, nas Faculdades de Educação, nos Cursos de Licenciatura, e nos Cursos de Especialização, Mestrado e Doutorado. No caso das Escolas Normais e das Faculdades de Educação, os futuros professores cursam disciplinas e recebem informações sobre uma área específica que trata do problema de elaboração de provas e testes de rendimento escolar. Essa área é denominada de Medidas Educacionais. Fora disso, as informações sobre esse assunto são escassas, quando, não raro, inexistentes.

Os que militam na área educacional conhecem muito bem os dados sobre professores leigos, isto é, que não tem formação pedagógica adequada, que atuam no sistema educacional nos seus vários níveis. Deduz-se, facilmente, a quantas anda não só o

processo ensino-aprendizagem, mas as formas de avaliá-lo. Essa atividade se processa, geralmente, através do efeito demonstração. Isto é, o futuro professor passa a desenvolver o mesmo método de elaboração de provas a que foi submetido quando estudante. É o método do aprender fazendo. As distorções são evidentes.

Apesar dessa situação ser generalizada, é possível se encontrar em nível de vestibular e em sala de aula, algumas boas exceções. Talvez premidas pela pressão da opinião pública, muitas Comissões Coordenadoras de Vestibular (Leite[ 1974])
desenvolveram verdadeiros sistemas de avaliação de suas provas (Farias [1974]), utilizandoos para melhorarem seus exames e para criarem Bancos de Itens (Normando [1974]). Há casos, também, de professores que, individualmente, utilizam informações de medidas educacionais com o mesmo propósito.

O sistema denominado SAEL (Sistema de Avaliação Eletrônico), cujo objetivo é oferecer um sistema computadorizado que coloque à disposição do professor as informações mínimas necessárias para elaborar, de forma adequada, seus testes de
rendimento escolar, é composto pelas seguintes funções: Matrícula de Alunos, Cadastro de Professores, Cadastro de Disciplinas, Gerador de Provas e de Questões, Relatórios de Análise Técnica das Provas e do Mapa de Notas das Disciplinas, Gráficos Estatísticos e uma INFO, explicando e exemplificando a Análise Técnica da Prova e exibindo o Fluxo de Execução do Modelo, que mostra, gráficamente, a seqüência de funcionamento e a utilização do sistema.

O SAEL será pré-testado em diferentes situações, onde se pretende avaliar a utilização do sistema por professores em nível de IQ, 2í e 3í Graus, e por professores de cursos de formação técnica. Após esse pré-teste, o SAEL será documentado e posto a disposição dos possíveis usuários.

2. OBJETIVO

O objetivo deste trabalho é desenvolver um sistema computadorizado que coloque à disposição do professor as informações mínimas necessárias para elaborar, de forma adequada , seus testes de rendimento escolar, e que ajude o professor a melhorar seu processo de avaliação e a construir um BANCO DE DADOS que (re)alimente a sua atividade didatico-pedagógica. Para tanto, o SAEL utiliza os seguintes elementos: Tabela de Específicação, Análise das Opções, Análise de Item, Índice de Dificuldade e Índice de Homogeneidade, Índice do Poder Discriminante, Estatísticas Descritivas, além de um banco de dados e de uma ferramenta gráfica como componentes de apoio para elaboração de provas e de questões.

3. DEFINIÇÕES BÁSICAS

Uma primeira distinção deve ser feita entre três termos que s~o usados, não raro, sem a devida compreensão dos seus significados. Esses termos são medir, testar e avaliar.

Testar refere-se à atividade de aplicar testes. Esse conceito é muito útil quando se pretende padronizar um teste, isto é, estabelecer normas e padrões de rendimento do teste. Neste caso, a padronização exige a existência de procedimentos rígidos de aplicação a fim de que os tomadores do teste sejam submetidos às mesmas condições.

Medir é associar números ou conceitos para representar atributos de objetos.

Avaliar é comparar varias medidas sobre um mesmo atributo, com o objetivo de identificar semelhanc,as ou diferenças desse atributo. A partir dessas conceituações, observa-se, claramente, que as duas últimas características são muito importantes para o estudo de variáveis associadas ao processo educacional. Por essa razão elas serão discutidas de forma mais acurada.

4. A MEDIDA EDUCACIONAL

A medida educacional, para ser levada em conta de forma correta, deve satisfazer às exigências vistas anteriormente. Supondo que essas exigências sejam satisfeitas o proximo passo e tratar da forma como se realiza a medida em educação, isto é, tratar da elaboração de testes.

Como se pode deduzir da definição do objetivo desse artigo, o SAEL trabalhará com a teoria clássica de medida, específicamente, no que se refere à análise de itens. Não que se desconheça uma alternativa para esse tipo de análise, no caso a IRT (Item Response Theory) já conhecida de longa data através dos trabalhos de Lord [1952][1953] nos Estados Unidos e Rasch [1960] na Holanda. Segundo alguns autores (Hambleton et al [1991]), a teoria clássica possui as seguintes limitações teóricas:

1) Os parâmetros clássicos dos itens (dificuldade e discriminação) dependem diretamente da amostra de sujeitos utilizada para estabelecê-los (group-dependent). Daí, se a amostra não for rigorosamente representativa da população, aqueles parâmetros dos itens não podem ser considerados válidos para esta população. Como conseguir amostras representativas é um problema prático grave para os construtores de testes; a dependência dos parâmetros dos itens na amostra obtida se torna um empecilho de grandes proporções para a elaboração de instrumentos psicométricos não enviesados.

2) A avaliação de aptidões dos testandos também depende do teste utilizado (test-dependent). Assim, testes diferentes que medem a mesma aptidão irão produzir escores diferentes da mesma aptidão para sujeitos idênticos. Testes com índices de dificuldade diferentes evidentemente produzirão escores diferentes. Mesmo no caso das formas paralelas, há sempre a dificuldade de que o montante de erros nas duas formas dificilmente seja o mesmo, o que produzirá novamente escores diferentes.

3) A definição do conceito de fidedignidade ou precisão na teoria clássica dos testes constitui também uma fonte de dificuldades. Ela é concebida como a correlação entre escores obtidos de formas paralelas de um teste ou, mais genericamente, como o oposto do erro de medida. Ambos os conceitos apresentam dificuldades. Primeiramente, é praticamente impossível satisfazer as condições de definição de formas paralelas e, no caso do erro de medida, é postulado que este seja idêntico em todos os examinados- improvavel (Lord [1984]).

4) Outro problema da teoria clássica dos testes consiste em que ela é orientada para o teste total e não para o teste individual. Toda a informação do item deriva de considerações do teste geral, não se podendo assim determinar como o examinado se comportaria diante de cada item individual.

De forma resumida, como afirma Fernandez [1990]1, «En la teoria clássica, el resultado de la medición de uma variable depende del test utilizado, lo que plantea serios problemas para tratar de establecer la equivalencia entre las puntuaciones de los tests distintos que midam uma mesma variable». Essa restrição se faz presente muito freqüentemente no uso de medidas psicológicas. No que toca a medidas de rendimento escolar, especialmente em sala de aula, a situação é bem diferente. É sempre possível, adotando certos critérios e cuidados indicados pela teoria clássica, se elaborar testes de rendimento que cumprem sua finalidade pedagógica.

Por esse turno, a ITR por se basear em modelos teóricos para gerarem Curvas Características de Itens, exigem grandes amostras para se fazerem os testes de adequação do modelo à realidade empírica. Veja-se o que afirma Fernadez2 a esse respeito:

«Siguiendo las recomendaciones de Lord [1975], los valores de los parámetros se eligieron de modo que suelen tomar, para facilitar la generalización de los resultados a situaciones reales. 50 ítems y 500 sujetos, además de ser cifras habituales entre los usuários de los modelos de TRI permiten obtener estimaciones ajustadas y estables de los parâmetros. Parece poco aconsejable utilizar menos de 50 items cuando son de elección múltiple, especialmente si se utilizan fórmulas de corrección para controlar los efectos del azar».

Forçoso é reconhecer que os indicadores clássicos continuam válidos em situações em que a ITR também sofre restrições teóricas. As exigências apontadas acima por Fernandez [1990] tem como base o fato de uma condição essencial para a aplicação do ITR ser a unidimensionalidade do teste. Para a comprovação dessa condição, necessário se faz a utilização de técnicas multidimensionais, das quais a mais usada para esta finalidade é a Análise Fatorial (Holley & Guilford [1964]). Sem se satisfazer essa condição, a ITR não pode ser aplicada. Fernandez [1990]3 resume estudos feitos por diversos autores na seguinte frase:

«Em general, como era de se esperar, la importancia da violación disminuye a medida que aumenta la varianza explicada por el primer fator.»
No caso da ITR, já existem programas de computador (BICAL (Wright & Panchapakesan [1969] e Wright & Mead [1976]), BILOG (Mislevy & Bock [1982]) e LOGIST (Wingersky [1983]) para calcular os indicadores do modelo IRT.



1 Fernandez [1990], pagina 14.
   As citações desse autor são apresentadas aqui no original em espanhol, por não haver uma tradução oficial em portugues.
2 Fernandez [1990], pagina 65.
3 Fernandez [1990], pagina 2~.

5. O DOMÍNIO COGNITIVO

Há, em educaçao, três catégorias de objetivos, a saber: o dominio cognitivo, o dominio afetivo e o psicomotor. A primeira diz respeito à aprendizagem de conteúdos, a segunda se refere aos sentimentos, à emoção ou ao grau de aceitação ou de rejeição. Os objetivos psicomotores tem como foco central as habilidades muscular ou motora.

O SAEL por ter como foco principal o rendimento escolar trabalhará tão somente com elementos do domínio cognitivo, o que significa dizer que apenas essa área será objeto de análise aqui.

Uma das grandes preocupações de psicólogos e educadores até a década de 40 era a inexistência de um sistema de referência comum que pudesse servir de apoio às suas comunicações científicas e às suas pesquisas. Doutra parte, havia muita ansiedade em se obter resposta em relação à seguinte questão colocada por Bloom [1976]4: quais os fins ou objetivos educacionais que a escola ou um curso quer alcançar? Para responder de forma adequada à essa questão se fazia necessário definir o que são objetivos educacionais e se utilizar um sistema de referência para classificá-los.

A soluçao desse problema comecou a ser encontrada durante a «Convençao da Associação Americana de Psicologia» realizada em Boston no ano de 1948. Surgiu a partir daí, a ideia de se criar uma Taxonomia que servisse para classificar os objetivos educacionais.

Um primeiro problema enfrentado pelos pesquisadores e, que perdura até hoje, é a natureza do fenômeno educacional. Isto é, mede-se a aprendizagem a partir de fenômenos que não são observados ou manipulados de forma correta como nas ciências básicas. Como relata Bloom [1976], seus colegas, mesmo reconhecendo essa dificuldade entenderam que5:

«... os objetivos educacionais tinham equivalência no comportamento dos indivíduos, e formulações descritivas destes comportamentos observáveis seriam passíveis de classificação.»

Surgiu, então, a Taxonomia dos Objetivos Educacionais que, ao longo do tempo, tem servido para as finalidades para as quais Bloom e seus Associados a construiram. É esta taxonomia que o SAEL utiliza para facilitar a tarefa de elaboraçao de suas avaliações.

O SAEL propõe que os professores utilizem a Taxonomia no contexto de uma Tabela de Específicação que reúne, ao mesmo tempo, os objetivos visados e o seu nível de avaliação. Encontra-se, em apêndice, uma versão condensada da Taxonomia de Bloom.

6. PRECISÃO

Todo instrumento de medida contém erro. Com testes de rendimento escolar não é diferente. O erro dos testes de rendimento escolar têm origem em três fontes: o aluno, o teste ou as condições de aplicação do teste.

O aluno pode contribuir para a introdução de erro no teste através de fatores como cansaço, desinteresse, etc. Já o teste em si pode ser responsável por erro na medida, se suas questões estiverem mal elaboradas, forem ambíguas ou favorecerem o «chute» dos alunos nas escolhas das respostas corretas. As condições de aplicação do teste também podem influir nos resultados de um teste. Pesquisas mostram que o horario de aplicação de um teste pode influenciar nos resultados.

Vê-se, pois, ser necessário se conhecer o erro envolvido num teste de rendimento escolar a fim de se aferir a consistência e a confiabilidade de seus resultados (Wesman [1952]). Em decorrência, varios métodos práticos foram deduzidos para calcular a precisão.



4 Bloom [1976], pagina 23.
5 Bloom [1976], pagina 4.
 

6.1. MÉTODOS PRÁTICOS

Existem vários métodos para o cálculo da precisão. O SAEL optou pelo método de Kuder-Richardson (Coeficiente de Consistência Interna) por razões de praticidade.

O método de Kuder-Richardson (Coeficiente de Consistência Interna), com as fórmulas KR20 e KR21, é extremamente útil quando se quer determinar a precisão através dos escores de uma Cnica aplicação do teste.

A fórmula KR20, descrita abaixo, se baseia na análise de itens e é aplicável quando a correção dos itens é binaria, ou seja, 1 para o item certo e 0 para o item errado.

A fórmula KR20, entretanto, pressupoe que a dificuldade dos itens é aproximadamente a mesma. Se houver corre~ao para o acerto casual, a fórmula KR21, que é uma transformaçao da KR2o, deve ser usada.

A fórmula KR21 baseia-se na média (X) do grupo:

7. INDICADORES DE ITENS.

Além de possuir a precisão como indicador de ordem geral, um teste possui indicadores relacionados com seus componentes, isto é, as questões ou itens. Apresenta-se, a seguir, esses indicadores.

7.1. ÍNDICE DE DIFICULDADE

O índice de dificuldade representa o grau de acerto dos alunos que tentaram o item. Ele é dado por:

Vê-se, facilmente, que 0 < Id < 1.
I = 0 quando nenhum dos alunos, dos que tentaram a questão, a acertam.
I = 1 quando todos os alunos que tentaram a questão, a acertam.

 
7.2. ÍNDICE DE PODER DISCRIMINANTE

O índice de poder discriminante (IPD) representa o nível de discriminaçao entre os alunos fracos e os alunos bons. O SAEL utiliza os 27% superiores e os 27% inferiores, adotando com isso os resultados obtidos por Kelley [1939] que mostrou que essa percentagem apresenta a melhor sensibilidade no cálculo desse indicador. Os melhores 27% dos alunos são denominados Massa Superior, e os 27% dos alunos mais fracos, Massa Inferior.

Portanto,
IPD = Id (Massa Superior) - Id (Massa Inferior)

7.3. ÍNDICE DE HOMOGENEIDADE

O índice de homogeneidade (IH) representa a contribuiçao que o item (questão) dá para a nota total do aluno no teste. O uso adequado do IH possibilita se construir um teste, eliminando-se os itens que pouca ou nenhuma contribuiçao oferecem à nota que o aluno obtém.

Ele é calculado por:

Vê-se que o IH é uma correlação entre o item e a nota total.

8. METODOLOGIA

Neste tópico, far-se-á uma exposição das ferramentas escolhidas para desenvolvimento do SAEL, nas etapas de Análise e de Programação, além de uma descrição dos principais componentes do sistema.

8.1. ANÁLISE E PROJETO DO SISTEMA.

A análise e o projeto do sistema estão sendo feitos utilizando-se o Dr. CASE, que é
uma ferramenta para modelagem de sistemas e projeto conceitual, lógico e físico de Banco de Dados. O Dr. CASE foi escolhido por ser uma ferramenta que utiliza as mais recentes técnicas de engenharia de software, além de gerar a documentação completa de todas as etapas do projeto e exportar as definições para a geração dos programas, agilizando bastante o processo de conceituação e documentação do sistema (Gane & Sarson[1989], Navathe & Elmasri [1994]).

8.2. DESENVOLVIMENTO DO SISTEMA

Os módulos do SAEL estão sendo desenvolvidos utilizando-se a Linguagem de Programação Visual Delphi versão Developer 2. 01. 0 Delphi foi escolhido como linguagem de programação por ser uma linguagem visual, orientada a objetos, que nos permite criar e adicionar ao seu repositório de objetos, os nossos próprios componentes. Esta liberdade é extremamente conveniente, pois em determinadas situações no desenvolvimento de um software aplicativo, o programador fica limitado aos recursos e funções fornecidos pela linguagem; o que não ocorre com o Delphi (Cornell & Strain [1995], Pacheco & Teixeira [1996]).

8.3. PRINCIPAIS COMPONENTES DO SISTEMA

Será, inicialmente, construido um protótipo cujos componentes e funções são descritos a seguir:

· Matricula de Alunos: Cadastrar os alunos e matriculá-los nas disciplinas. Aqui é cadastrada a senha de acesso que o aluno
  utilizará para fazer as provas.
· Cadastro de Professores: Cadastrar dados dos professores.
· Cadastro de Cursos: Cadastrar os cursos oferecidos pela instituição.
· Cadastro de Disciplinas: Cadastrar as disciplinas oferecidas pelo curso.
· Cadastro de Assuntos: Cadastrar os assuntos abordados nas disciplinas.
· Elaboração de Provas: Consiste de três etapas:

1 ) A elaboração da Tabela de Especificação.
2) A inclusão de dados especificos sobre a prova que está sendo elaborada, tais como:
    tempo de duração da prova, número de questões da prova, tipo da prova (objetiva, subjetiva ou mista), etc.
3) A seleção e/ou elaboração das questões, onde o professor poderá selecionar uma questão, de acordo com os parâmetros
    definidos na etapa 1, ou elaborar uma questão «inédita», utilizando, para isso, recursos de edição de textos e de
    editoração gráfica, que serão disponibilizados pelo SAEL.
· Cadastro de Resultados para a Análise: Esta função consiste de uma tela de entrada de dados, onde o professor fornece os
  resultados da aplicação da prova (para cada aluno, as questões acertadas e as questões erradas, além da nota obtida), para
  serem utilizados nOo procedimento de Análise Técnica da Prova.
· Mapa de Notas: Esta função, que será utilizada pela secretaria, processa, exibe e imprime o mapa de notas dos alunos de
  uma detern~inada disciplina.
· Análise Técnica da Prova: Esta é a principal função do SAEL. Aqui são aplicados os testes que avaliarão alunos e provas.
· Graficos Estatisticos: Oferece uma descrição visual, através de graficos, de alguns
  cálculos estatísticos feitos sobre as notas dos alunos.
· Calculadora: Exibe a calculadora do Windows para que o usuario possa fazer cálculos eventuais.
· INFO:
- Análise Técnica da Prova: Exibe um ‘Help’ explicando e exemplificando todos os cálculos e funções efetuados e exibidos na
  análise técnica da prova.
- Fluxo de Execução do Modelo: Mostra gráficamente a seqüência de funcionamento e utilização do sistema

 9. CONCLUSÃO

Alguns sistemas têm sido idealizados e implementados para trabalhar com Medidas Educacionais, apresentando, entretanto, enfoques diferentes do projeto aqui proposto. O BILOG, por exemplo, foi implementado para trabalhar com avaliac~o de grandes amostras de alunos. Já o Visual Class 6(so~ware que nasceu a partir de um projeto de Doutorado na Escola Politécnica da USP, em 1995), além de apresentar uma interface amigável, fornece algumas funções de avaliação, correçao de provas e emissão de boletim, apresentando, todavia, um enfoque completamente diferente do SAEL, pois foi projetado para elaboração de aulas e apresentações no computador.

A originalidade do SAEL reside no fato de que ele é um sistema que engloba três fases: o planejamento da avaliação, o ciclo de análise da avaliação e a criação de um banco de dados que (re)alimenta a atividade do docente. Além disso, as informações contidas no SAEL configuram, na realidade, um curso completo de medidas educacionais, o que gera um verdadeiro treinamento em serviJco para o docente.

A versão atual do SAEL pode ser classificada como uma versão que aplica uma avaliação somativa, isto é, uma avaliação do aluno puramente baseada em sua nota. Como projetos futuros, pretende-se desenvolver o SAEL em outras três versões. A primeira destas versões, que será semelhante a apresentada nesta proposta, será adaptada para utilização em rede, onde o aluno fará a prova utilizando o computador. O computador corrigirá automaticamente as questões objetivas e o professor as questões subjetivas, e os resultados da correção serão armazenados e automaticamente utilizados para a Análise Técnica da Prova. Uma versão mais simples, será direcionada a simuladões para concursos, aplicando uma avaliação formativa, onde o aluno aprende à medida que se autoavalia; e outra, mais complexa, aplicando Técnicas Multivariadas de Análise, onde a nota do aluno será analisada como resultado de uma função que levará em conta, não só o teste em si, mas todo um conjunto de variáveis relacionadas ao próprio aluno, ao professor que desenvolveu a avaliação e à escola onde a avaliação foi aplicada.



 6 0 software Visual Class e registrado no SEPIN sob o ní 06730/96-5,cadastro ní 49157-8.

10. BIBLIOGRAFIA
 
1. Bloom (1976) - BLOOM, B.S. et al. Taxonomia dos objetivos educacionais - domínio cognitivo. Tradução: Flávia Maria
    Sant’Anna. Globo, Porto Alegre, págs. 4 e 23, 1976.

2. Cornell & Strain (1995) - CORNELL, G.; STRAIN, T. Delphi Segredos e Soluções. MAKRON Books, São Paulo -
    SP,1995.

3. Farias (1974)- FARIAS, O.T. Relatório Final - Seminario de Português para Análise da Prova Aplicada no 1í Vestibular/73 - Simposio sobre Concurso Vestibular, Fevereiro de 1974.

4. Fernandez (1990) - FERNANDEZ, J.M. Teoría de Respuesta a los Ítems. Edições
    Pirámide, S.A. Madrid, 1990.

5. Gane & Sarson (1989) - GANE, C.; SARSON, T. Análise Estruturada de Sistemas. la Edição. Livros Técnicos e Científicos Editora, Rio de Janeiro, 1989.

6. Hambleton et al (1991) - HAMBLETON, R.K., SWA~NATHAN, H., ROGERS,
    H.J.FundarnentalsofItemResponseTheory.London: Sage, 1991.

7. Holley & Guilford (1964) - HOLLEY, J.W. and GUILFORD, J.P. A Noto on the G Index of Agreement, Educational and Psychological Measuremenf, 24, pags. 749-753, 1964.

8. Kelley (1939) - KELLEY, T.L. The selection of upper and lower groups for the validation oftest items. Journal of Educational Psychology, pags. 17-24, 1939.

9. Leite (1974) - LEITE, R.H. «A Precisão dos Exames Vestibulares na UFC» - Estudo Preliminar. Conselho de Reitores das Universidades BrasileirasNacional - Simpoósio sobre Concurso Vestibular, págs. 1-23, Fevereiro de 1974.

10. Lord (1975) - LORD, F.M. Evaluation with artificial data of procedure for estimating ability and item characteristic curve parameters, Research Bulletin, 75-133, Princeton, New Jersey, ETS, 1975.

11. Lord (1953) - LORD, F.M. On the statistical treatment of football numbers. American psychologist, VIII, págs. 750-51, 1953.

12. Lord (1952) - LORD, F.M. The relation of reability of mutiple-choice tests to the distribution of item difficulties. Psychometrika, pags. 181-194, 1952.

13. Lord (1984) - LORD, F.M. Standard error of measurement at different ability levels. Journal of EducationalMeasurement, Washington, D.C., v.21, págs. 239-243, 1984.

14. Mislevy & Bock (1982) - MISLEVY, R.J., BOCK, R.D. BILOG: Maximum likehood item analysis and test scoring with logistic models for binary items. Chicago; Intemational Educational Services, 1982.

15. Navathe & Elmasri (1994) - NAVATHE, S.B.; ELMASRI, R. Fundamentals of Database Systems - Second Edition. The Benjamin / Cummings Publishing Company, Inc., 1994.

16. Normando (1974) - NORMANDO, R.A. Análise da Prova de Fisica do 2í Vestibular - 73 da UFC. Simpósio Sobre Concurso Vestibular, pags. 1-35, 1974.

17. Pacheco & Teixeira (1996) - PACHECO, X.; TEIXEIRA, S. Delphi 2 Developer’s Guide. Second Edition. SAMS Publishing, Indianapolis, Indiana, 1996.

18. Wesman (1952) - WESMAN, A.G. Reliability and confidence. Test service bulletin, 44. Nova Iorque: The Psychological Corporation, 1952.

19. Wingersky (1983) - WINGERSKY, M.S. LOGIST: A program for comuting maximum likehood procedures for logistic test models. En Hambleton Ed. Applications of item response theory. Vancouver B. C. Educational Research Institute of British Columbia, 1983.

20. Wright & Mead (1976) - WRITH, B.D., MEAD, R.J. BICAL: Calibrating rating scales with the Rash model. Research Memorandum num. 23. Chicago Statistical Laboratory Department of Education University of Chicago, 1976.

21. Wright & Panchapakesan (1969) - WRITH, B.D., PANCHAPAKESAN, N. A procedure for sample-free item analysis. Educational and Psychological Measurement, 29;23-48,1969.