|
Proposta de uma Metodologia Interativa de Identificação de Perfis de Usuários e Problemas de Usabilidade na WWW |
Autores: Marco Antônio Alba Winckler, José Valdeni de Lima, Carla Dal Sasso Freitas
Institución: Universidade Federal do Rio Grande do Sul - Instituto de Informática. Av. Bento Gonçalves, 9500 - Bloco IV Agronomia. Porto Alegre - RS, Brasil Caixa Postal: 15064 CEP 91501-970
E-Mail: winckler@inf.ufrgs.br, valdeni@inf.ufrgs.br, carla@inf.ufrgs.br
Resumo
Este trabalho apresenta a proposta de uma metodologia interativa de avaliação de usabilidade na World Wide Web (WWW). Nos últimos anos houve um crescimento exponencial de aplicações, com as mais diferentes finalidades, que se utilizam da WWW como meio de interação com seus usários. Entretanto, estas interfaces nem sempre apresentam a melhor forma de interação, apresentando problemas de usabilidade. Tais problemas somente são identificados quando se conhece o público-alvo da aplicação. Embora importante, a identificação do perfil do usuário é uma tarefa árdua e cheia de restrições como, por exemplo, a complexidade de modelagem do perfil, difícil integração entre os modelos e aquisição de informações para o compor o perfil. Este artigo revisa a importância de conhecer o usuário para identificar problemas de usabilidade nas interfaces WWW ao mesmo tempo que discute a inviabilidade da personalização na WWW para resolver tais problemas. Como tentativa de conhecer interativamente e os usuários os problemas de usabilidade da interface, é proposto uma metodologia de avaliação.
Palavras chave: usabilidade, perfis de usuários, avaliação de interfaces na WWW.
1. Introducao
Entre as características de qualidade que o software deve apresentar está a usabilidade, que para a ISO/IEC 9126 [INT91] é "o esforço necessário para utilizar o software e para o julgamento individual deste uso por um determinado conjunto de usuários". Alguns autores associam a usabilidade aos seguintes princípios: a) facilidade de aprendizado; b) rapidez no desenvolvimento de tarefas; c) baixa taxa de erros; e d) satisfação subjetiva do usuário. A usabilidade, portanto, está intimamente relacionada com o perfil dos usuários e suas tarefas com a interface.
A personalização das interfaces tem sido um importante foco de pesquisas, que tem como objetivos identificar usuários e satisfazer suas necessidades individuais. Neste contexto, um modelo de perfil do usuário é utilizado para especificar variações entre os indivíduos e as regras para definir a interface, havendo pelo menos dois tipos de modelos: os estáticos onde os perfis não se alteram com o tempo, e os evolucionários que descrevem o perfil como um processo da evolução do usuário. Uma das maiores dificuldades, porém, é encontrar um modelo adequado de usuário que atenda os requisitos e necessidades da personalização desejada. Os indivíduos, geralmente, são muito mais complexos que os modelos conhecidos e uma integração entre os modelos ainda é algo distante. Além disso, pode ocorrer a falsa associação de que personalizando a interface se resolveriam os problemas de usabilidade. Certamente alguns problemas podem ser eliminados, mas existem poucos trabalhos neste sentido sobre os quais se possa inferir tal raciocínio. Contudo, se forem consideradas interfaces no ambiente WWW, pode-se desenvolver a hipótese de que a personalização não é o caminho mais adequado para resolver problemas de usabilidade. Mais ainda, mesmo interfaces personalizáveis devem receber tratamento para eliminar possíveis problemas de usabilidade.
Se a definição do público de usuários é motivo de discussão, na WWW é tarefa ainda mais complexa. Isto se deve a dois fatores principais: o grande público potencial - mais de 57 milhões em abril deste ano só nos Estados Unidos [BRO98] - e a diversidade de propósito de interfaces WWW. Devido ao fato de que os usuários são diferentes entre si, obriga-se à avaliação de um número significativo de indivíduos para conhecer o grupo que pode ser muito variável. Há pelo menos quatro grandes grupos de aplicações na WWW: fonte de informação; comércio eletrônico; meio de comunicação; e forma de entretenimento [BOR97]. Para cada um destes grupos existem necessidades específicas de interação e perfis de usuários com objetivos diferentes sobre a interface, sendo que em alguns casos existem sobreposições.
Embora de suma importância, a tarefa de conhecer os usuários tem sido apenas parcialmente contemplada pelas técnicas tradicionais de avaliação de usabilidade. Em algumas destas técnicas não participam usuários, como nos métodos de inspeção [NIE92, NIE94]. Algum esforço têm sido feito no sentido de desenvolver técnicas de avaliação remota da usabilidade, o que garantiria condições mais reais de uso das interfaces WWW, quando comparadas com as técnicas convencionais de avaliação [CAS98]. Embora conhecer o perfil para propósitos de personalização não pareça uma alternativa muito viável na WWW, isto é fundamental para entender porque determinados problemas de usabilidade ocorrem na interface e como solucioná-los adequadamente. Para tanto é necessário utilizar mecanismos que permitam acompanhar a evolução do usuário no ambiente de modo que seja possível diagnosticar problemas e compreender porque estes estão ocorrendo.
Este trabalho apresenta uma revisão sobre alguns modelos de perfis de usuários, uma discussão sobre personalização de interfaces WWW e a proposta de uma metodologia que pretende reunir informações durante testes de usabilidade para identificar problemas com a interface e delinear perfis de usuários.
Na seção 2, será apresentado um estudo sobre alguns modelos de usuários, úteis na compreensão da complexidade da elaboração de um perfil. A seção 3 traz uma discussão sobre alguns aspectos que inviabilizam a personalização na WWW. Na seção 4 é apresentado o esboço de uma metodologia que está sendo desenvolvida para avaliar usabilidade de interfaces WWW, considerando o perfil de usuário reais. Ainda na seção 5 são apresentadas as conclusões e os trabalhos futuros.
2. Modelos de usuários
Modelos sobre perfis dos usuários ajudam a compreender as diferenças individuais a nível de micro-perfil do usuário e a definir interfaces com usabilidade adequada para grupos de indivíduos com características semelhantes. Devido a complexidade de representação das características do ser humano existem inúmeros perfis, que refletem características diferentes dos usuários. Nos últimos anos, vários modelos de usuários têm sido propostos. Alguns destes, certamente aplicáveis a projetos de interfaces, mas a utilização de um único modelo limita outros aspectos igualmente importantes do usuário. A integração, porém, ainda é bastante complexa e de pouca utilização prática.
Atributos como experiência de trabalho, usuários assíduos ou eventuais, experiência com computadores, entre outros, descrevem o macro-perfil do usuário e são fáceis de observar com técnicas simples, tais como grupos de interesse, "surveys", investigação de contexto, observação de campo e questionários [WIN97]. Porém, outros como a memória espacial e estilos de aprendizado, que formam o micro-perfil do usuário, não são tão óbvios e exigem técnicas mais apuradas como o monitoramento da interação [ORT93].
Dois grupos de modelos são apresentados: estáticos – que classificam os indivíduos em um único instante de tempo e não mais se altera dentro do sistema; e evolucionários – que prevêm a evolução das necessidades dos usuários baseados no uso da interface e aprendizado. São modelos ditos estáticos os Tipos Psicológicos e Canal Preferencial de Comunicação, enquanto o Grau de Experiência dos Usuários pode ser considerado um exemplo de modelo dinâmico.
2.1 Tipos Psicológicos
Este modelo é basedo nas teorias de Carl Jung (1875-1961), segundo o qual, as pessoas expressam suas preferências por alguns comportamentos mais do que por outros e podem ser classificadas em tipos psicológicos por suas preferências, características individuais, hábitos e iniciativas [INS98]. Pela classificação de Jung, existem 16 tipos psicológicos representados pela combinação de 4 pares opostos (E,I; S,N; F,T; P,J), conforme as relações de cada atitude listadas na tabela 1 [FLY98].
|
Atitude |
Reação 1 |
Reação 2 |
|
Energia |
Extrovertivo ( E ) |
Introvertido ( I ) |
|
Atenção |
Sensitivo ( S ) |
Intuitivo ( N ) |
|
Decisão |
Emotivo – Sentimental ( F ) |
Racional – Pensador ( T ) |
|
Vivência |
Perceptivo ( P ) |
Filosófico – Julgador ( J ) |
TABELA 1 - Grupos opostos de atitudes segundo Jung.
O teste MBTI (Myer-Briggs Type Indicator) [INS98], classifica as pessoas em um dos 16 tipos psicológicos analisando apenas respostas de um questionário específico. Alguns sites na WWW apresentam o teste na forma de um questionário on-line onde o usuário recebe informações sobre o seu tipo psicológico após responder algumas perguntas.
Estudos recentes demonstraram a relação entre a preferência por cores e os tipos psicológicos, e sugerem relações sobre estratégias de navegação e padrões de aprendizado [INS98]. As pesquisas de D’Amico et. Al [DAM98], utilizam este modelo para construir sistemas multiagentes para fins de ensino.
2.2 Canal Preferencial de Comunicação
O trabalho de Orth [ORT93], propõe técnicas oriundas da Programação Neurolingüística (PNL) para personalizar a interface. A PNL enfatiza que todo o aprendizado humano está baseado em experiências realizadas através dos sentidos: visão, audição e cinestesia (tato, olfato e paladar), e que as diferenças individuais correspondem ao canal preferencial de comunicação de cada indivíduo. Dessa forma, pode-se utilizar o mesmo canal de comunicação preferencial do interlocutor para estabelecer um contato mais cordial.
A identificação pode ser feita através da observação dos tipos de palavras processuais (verbos, advérbios e adjetivos), que a pessoa emprega para descrever sua experiência. A tabela 2 apresenta alguns exemplos de palavras processuais.
|
Visual |
Auditivo |
Cinestésico |
Inespecífico |
|
Ver |
Ouvir |
Sentir |
Achar |
|
Imagem |
Tom |
Toque |
Saber |
|
Brilhante |
Ruidoso |
Quente |
Entender |
|
Claro |
Acorde |
Macio |
Aprender |
|
Impreciso |
Amplificar |
Suave |
Bom |
TABELA 2 - Termos processuais
Orth [ORT93], constatou que há uma correlação entre elementos gráficos (cores, formas, texturas, tipos e tamanhos de letreiros, movimento, etc.), e os canais neurolingüísticos, sendo possível exibir objetos gráficos de acordo com as preferências do usuário para obter uma maior eficiência na interação. Testes com usuários revelaram que houve um ganho de 20% no tempo de realização de atividades, e queda de 50% de erros cometidos pelo usuário quando a interface foi ajustada para o seu canal preferencial.
2.3 Grau de Experiência dos Usuários
O grau de experiência é um modelo de usuário bastante difundido, que representa a experiência em relação a três dimensões: a) sistema e interface; b) uso de computadores em geral; e c) domínio da tarefa [NIE93]. Neste universo tridimensional encontra-se o usuário posicionado entre um dos extremos: novato ou experiente.
Este é um modelo evolucionário que acompanha o aprendizado do usuário e que, independente do estágio ou grau de experiência em que se encontre, todo usuário já foi algum dia - em maior ou menor grau - um novato. Contudo, a velocidade de aprendizado é uma característica individual que também se modifica entre os usuários e que, com o passar do tempo, diminui as diferenças entre eles [COO95, NIE93]. Um usuário mais experiente não desejará executar as mesmas tarefas de um novato e a interface deve oferecer recursos mais poderosos de interação, como atalhos para as tarefas por exemplo. Usuários experientes com diversos computadores e aplicações, geralmente, têm desempenho melhor em tarefas novas que novatos. A experiência no domínio de conhecimento do sistema também conta. Com usuários especialistas, pode-se utilizar terminologia especializada e maior densidade de informações na tela.
Este modelo de perfil de usuário é bastante útil para compreender o processo de aprendizado de um interface e, dessa forma, auxilia o projetista a considerar a complexidade da interface. Porém, é difícil classificar grupos bem definidos de usuários para projetar uma interface personalizada para um único grupo.
3. Perfil dos Usuários na WWW
Por permitir a troca de informações com independência de localização, surge na WWW o fenômeno de internacionalização das interfaces de aplicações. Isto implica em ter uma língua oficial e um padrão de comunicação. Mesmo estabelecendo a língua, não se resolvem todos os problemas de comunicação, porque certos países têm sua própria interpretação sobre o uso de símbolos gráficos, cores, metáforas e mesmo não utilizam convenções internacionais para pesos ou medidas [NIE98, GAL96]. Conhecer o perfil dos usuários por este ângulo acrescenta uma dimensão cultural que é a forma de representação e visualização da informação, no que diz respeito tanto ao perfil dos usuários quanto das aplicações WWW.
A tecnologia WWW está continuamente sendo inovada, o que dificulta o estudo sobre o impacto causado pela interface sobre os seus usuários. Por outro lado, os usuários também vêm evoluindo para adaptar-se. Em estudos realizados desde 1994 sobre a usabilidade de interfaces WWW, Nielsen [NIE97] descobriu que a percepção dos usuários sobre alguns recursos das interfaces WWW mudou nos últimos anos, como por exemplo, o uso de imagens clicáveis não representa mais um problema para os usuários em 1997, como era em 1994; enquanto outros se mantêm, com baixa tolerância ao tempo de descarga de páginas na WWW. Pela avaliação destas características que permanecem estáveis por longos períodos de tempo, é possível traçar um macro perfil dos usuários baseados nas suas estratégias preferenciais de interação.
Porém, com a constante evolução tecnológica das interfaces WWW, a definição de um perfil de aplicação que possa basear a personalização para diferentes tipos de usuários tem sido comprometida. Como solução preliminar para este problema, resta apenas conhecer a complexidade de modelagem de usuários para tratá-los em um nível de macro-aplicações, ou seja, especificações genéricas para o bom atendimento de todos os tipos de usuários.
A personalização de interfaces WWW, à nível de micro perfil do usuário, ainda precisa responder algumas questões:
Sem respostas para estas questões, portanto, torna-se inviável sequer a discussão sobre a personalização de interfaces WWW. Isto, entretanto, não reduz a necessidade de conhecer os usuários para entender suas necessidade e identificar os problemas de usabilidade.
4. Proposta de uma metodologia
Em face a necessidade de resolver problemas de usabilidade em interfaces WWW e conhecer seus usuários, sugere-se a adoção de uma metodologia que prevê a monitoração da interação dos usuários que chegam até a interface como forma de descobrir informações sobre a usabilidade. Esta metodologia prevê, portanto, um modelo evolucionário do usuário com base em atributos que podem ser coletados durante a interação. Esta proposta está ainda em desenvolvimento, mas a descrição geral das fases basta para a sua compreensão.
A metodologia é composta de três grandes etapas: definição de recursos, testes com usuários e análise, apresentada na figura 2.

FIGURA 4.1 - Etapas da metodologia
A primeira etapa, definição de recursos, inicia com a identificação dos recursos no protótipo que está sendo avaliado. O produto gerado nesta fase descreve os componentes das interfaces associados à domínios de tarefas do usuário, que serão base para determinar as tarefas do teste.
A etapa seguinte, testes com usuários reais, descreve em quatro fases como serão realizados os testes. Estas fases são: definição de parâmetros, definição de tarefas, monitoração de interações e execução do teste. O objetivo nesta etapa é adquirir um conjunto de dados sobre os quais será feita a avaliação da usabilidade.
A etapa de análise, por sua vez, é formada por três fases: seleção de dados, análise de dados e classificação dos problemas. Como resultado desta etapa obtém-se um conjunto de problemas de usabilidade que deverão ser solucionados no reprojeto da interface e, eventualmente, a identificação de novos padrões ou heurísticas que serão utilizados em futuros protótipos.
4.1 Identificação de Recursos
Cada interface WWW é composta de um ou vários agregados, que podem ser do tipo recurso, componente ou a própria interface. O agregado do tipo interface é distinguido por ter característica do próprio browser de visualização dos recursos. Componentes são os blocos de mais baixo nível, ou seja, a menor granularidade da interface como título, parágrafo, imagem, nota de rodapé, etc. Quando seus componentes suportam tarefas de um mesmo domínio através de diferentes cenários identifica-se um recurso. Embora, possa ocorrer de um recurso ser identificado sem que nenhum cenário seja formalmente descrito.
Com base na identificação dos recursos deverão ser elaborados os testes. Por isso, esta deve ser a primeira fase da avaliação.
4.2 Definição de Parâmetros
Esta fase pretende definir o escopo do teste resolvendo três grandes problemas com relação à participação de usuários reais: o número de testes; os critérios para a escolha de participantes e a motivação para participar dos testes. Devido ao grande número de usuários que acessam uma interface WWW não é possível, ou viável, realizarem-se testes com todos eles. Por isso, devem ser definidos critérios de amostragem para a execução do teste. Como o objetivo principal da metodologia é identificar problemas de usabilidade encontrados em uma média geral dos usuários, a identificação de todos os usuários é feita como uma estimativa daqueles que participam dos testes.
4.3 Definição de Tarefas
É necessário saber exatamente quem são os usuários da interface. Todo usuário que, de alguma forma, chega até a interface será considerado um usuário real da aplicação. A tarefa de conhecer o usuário nesta abordagem envolve basicamente descobrir suas expectativas, qual o sucesso que estão alcançando com a interface e sua opinião sobre ela. Estas informações podem ser obtidas de 2 formas:
a) monitorando as ações dos usuários sobre a interface captando a atuação física (através de mouse, teclado ou outros dispositivos de interação); Com este procedimento é possível descobrir os trajetos percorridos na interface, estimar o tipo de informação que um usuário está procurando, qual o modelo mental da organização da informação no site e calcular a performance aproximada do usuário ao realizar tarefas;
b) comentários e reações dos usuários. Neste caso, deseja-se captar mensagens não materializadas fisicamente como pensamentos, expectativas, anseios, temores e necessidades do usuário. Ao estabelecer um diálogo com o usuário é possível descobrir o que ele está tentando realizar, motivá-lo a realizar tarefas específicas, enquanto são monitoradas suas ações e coletadas informações subjetivas sobre a qualidade da interface. Além disso, comentários de usuários podem descrever problemas de usabilidade encontrados por eles e fora do alcance da monitoração física.
Em ambos os casos, as informações coletadas são úteis quando é possível identificar as tarefas que os usuários estão tentando realizar. Definir tarefas, portanto, é essencial para medir o sucesso do usuário.
Vários tipos de tarefas têm sido reportados na literatura para conduzir testes com usuários. As tarefas utilizadas dentro da metodologia são: encontrar informações, completar transações, efetuar avaliações por questionários e descrever cenários. As tarefas devem ser definidas endereçando os recursos previamente identificados nas interfaces, sobre os quais se deseja investigar possíveis problemas de usabilidade.
4.4 Monitorar interações
Esta fase consiste em coletar o máximo possível de interações do usuário com a interface. Dependendo da sofisticação do software monitor podem ser capturados dados tão precisos como a posição do cursor do mouse durante os clicks. No entanto, a execução de tarefas com a interface está sujeita a inúmeros tipos de interferência. São exemplos de interferência externa: atender ao telefone, responder a um chamado de outra pessoa, interromper uma tarefa para realizar outra, etc.
Interferências são parte do trabalho real dos usuários e, portanto, a equipe deve procurar assegurar usabilidade mesmo nestas condições. Contudo, durante os testes, elas podem mascarar problemas em tarefas complexas criando, por exemplo, trajetórias de difícil acompanhamento. Porém, esta abordagem traz alguns inconvenientes na avaliação de interfaces WWW, conforme apresentado nos capítulos anteriores, e não será considerada aqui. De fato, a maioria das interferências são de difícil análise mesmo com observadores, de modo que uma certa margem de erro sempre deve ser considerada.
A monitoração pode fornecer dados úteis como o tempo entre interações, o caminho percorrido na interface, palavras chave utilizadas em ferramentas de busca, páginas ou funções mais visitadas, entre outros. O objetivo principal do monitor é descobrir exatamente como o usuário está agindo.
A análise isolada de logs de interações além de ser uma tarefa complexa, geralmente, não indica sozinha muitos problemas de usabilidade. Contudo, com a associação da monitoração à realização de tarefas específicas é possível determinar com maior precisão os problemas de usabilidade. Esta realização de tarefas pode ser obtida através de solicitação durante o diálogo com o usuário.
4.5 Execução do Teste
Uma vez definidos os parâmetros do teste e definidas as tarefas dos usuários podem-se iniciar os testes. Esta fase consiste basicamente em disparar as ferramentas de coleta de informações, quer por log, quer por questionários.
4.6 Seleção de Dados
Esta fase consiste em selecionar na massa de informações coletadas, os dados que serão analisados para identificar os problemas de usabilidade e o perfil. Pelo fato de que o volume de dados obtido certamente é grande, seria interessante que o avaliador informe que tipo de características ele está procurando para formar o perfil. Também nesta fase deve ser efetuada a ligação entre dados da interação e comentários dos usuários.
4.7 Análise dos Dados
A análise dos dados pode ser efetuada de inúmeras formas. Cita-se 4: manualmente; ferramentas de inferência; ferramentas de extração de conhecimento em bases de dados ("data mining"); e ferramentas de visualização. Destas, consideram-se as ferramentas de visualização as mais valiosas, por permitir que o avaliador interaja visual e dinâmicamente com o volume de dados.
4.8 Classificação dos problemas
Classificar o problema é uma fase importante para entender porque os usuários tem problemas de usabilidade. Também é nesta fase que é possível realizar inferências sobre tipos de problemas por tipos de usuários, traçando desta forma um perfil.
Há pelos menos cinco grandes categorias de problemas de usabilidade com relação aos recursos: existência do recurso, apresentação, relacionamento com recursos, conteúdo e qualidade subjetiva. Estas categorias apresentam subdivisões que incluem descrições de padrões básicos de problemas. A categoria apresentação, por exemplo, apresenta um divisão ergonômica que contempla problemas como uso inadequado de cores ou resolução de um recurso, entre outros.
5. Conclusões
Interfaces com usabilidade são essenciais em quaisquer tipos de interfaces mas especialmente importantes em software educacional. Isto porque interfaces complexas e que apresentam problemas de usabilidade, poderiam sobrecarregar o aluno com o aprendizado de manipulação de interface, ao invés do objetivo principal do software, que é ensinar um conteúdo. Ainda, a WWW tem crescido como um ambiente ideal para o desenvolvimento de aplicações de ensino/aprendizagem à distância, de modo que é vital avaliar tais aplicações do ponto de vista da facilidade de interação.
Neste trabalho, tentou-se discutir porque os aspectos de conhecer os usuários são tão importantes para eliminar os problemas de usabilidade e, ao mesmo tempo, elucidar porque a personalização não é um caminho viável. Reforça-se aqui o fato de que conhecer o usuário é um processo evolucionário que precisar ser acompanhado continuamente. Para tanto, propõe-se uma metodologia que tem por objetivo coletar informações dos usuários através de mecanismos de logs e de diálogos para descobrir perfis e identificar problemas de usabilidade.
A definição desta metodologia ainda encontra-se em fase de desenvolvimento mas deverá contar em breve com o auxílio de ferramentas de software para facilitar a análise dos resultados obtidos. Ainda, como trabalhos futuros, pretende-se implementar um protótipo que auxilie na análise de dados obtidos com o uso da metodologia e efetuar testes reais para comprovar a sua viabilidade prática.
Agradecimentos
Ao CNPq pela bolsa concedida. À Carina Dorneles por suas valiosas sugestões.
Referências
[BOR97] Borges, R. C. Interface pars Sistemas de Navegação em Hiperdocumentos. Dissertação de mestrado: CPGCC - POA- RS 1997.
[BRO98] Broersma, M. Web growth slows but gains in usage. Disponível por http em: http://www5.zdnet.com/zdnn/content/zdnn/0504/312890.htm (4/5/98)
[CAS98] Castilho, J.; Hartson, H. R.; Hix, D. Remote usability evaluation at a glance. 1998. Disponível por WWW em hci.ise.vt.edu/~josec/remote_eval/docs/TR_remote_evaluation.pdf (Mar. 1998).
[COO95] Cooper, A. About Face: the essentials of user interface design. IDG Books WorldWide, INC. Foster City - CA. 1995. 580 p.
[DAM98] D’Amico, C. B.; Pereira, A. S.; Geyer, C. F. R.; Viccari, R. M. Adapting Teaching Strategies in a Learning Enviroment on WWW. In: Proceedings of the WebNet World Conference of the WWW, Internet & Intranet. Florida, USA. 1998.
[FLY98] FLYNT, S. Personality. Disponível por http em 152.1.96.5/~convigton/pers.htm (30/03/1998).
[GAL96] Galdo, E. del; Nielsen, J. International User Interfaces. John Wiley. New York. 1996. 276 p.
[INS98] Insight Learning Systems, Inc. Personality Styles Research Disponível por http em (30/03/1998).
[INT91] International Standard. ISO /IEC 9126 Information technology - Software product evaluation - Quality characteristics and guidelines for their use. Primeira edição 1991. 13 p.
[NIE92] Nielsen, J. The Usability Engineering Life Cycle. Computer março 1992. Vol25 nº. 3 Los Alamitos - CA.
[NIE93] Nielsen, J. Usability Engineering. Academic Press, INC. 1993. Boston - EUA 362p.
[NIE94] Nielsen, J.; Mack, R. L.; Usability inspection methods. John Wiley & Sons Inc. New York, 1994.
[NIE97] Nielsen, J. Report from a 1994 Web Usability Study. Disponível por WWW em http://www.useit.com/papers/1994_web_usability_report.htm (Out. 97)
[NIE98] Nielsen, J. Internacional Web Usability. Disponível por http em www.useit.com/alertbox/9608.htm (Ago. 96).
[ORT93] ORTH, A. I. Interface Homem-máquina: a personalização do atendimento ao usuário. Tese de doutorado: COPPE/UFRJ Rio de Janeiro - RJ 1993.
[WIN97] Winckler, M.A.A Um Estudo de Técnicas para Avaliação de Usabilidade. CPGCC - UFRGS, Porto Alegre, 1997. (Trabalho Individual I nº 688).