Resumo As avaliações em larga escala, dependendo da área na qual estão sendo aplicadas, são responsáveis por orientar decisões importantes. Nos exames educacionais, os objetivos podem estar direcionados para as diferenças individuais, monitorando o desempenho dos estudantes em diversas situações, como também para a apreciação de programas ou de projetos educacionais, subsidiando ou justificando alguma ação na esfera política. A validade das medidas e suas interpretações são de suma importância, com consequências que podem afetar a população envolvida e até mesmo a sociedade. As questões consideradas fundamentais para uma avaliação em larga escala eficiente consistem em validade, confiabilidade, comparabilidade e justiça. Esses termos devem ser considerados sempre que decisões de valores são tomadas com base nas avaliações. São feitas considerações sobre os conceitos de validade e de confiabilidade e a relação existente entre eles. A comparação entre avaliações com itens abertos consiste atualmente em uma das questões de maior preocupação para os especialistas, fato esse provocado pela intensificação da utilização de matrizes comuns de referência desenvolvidas para orientar os currículos em todos os níveis de ensino em diversas nações. Discute-se também a justiça nas avaliações, que está relacionada com a igualdade de condições a todos os seus participantes. Uma avaliação de qualidade deve permitir às pessoas oportunidades de respostas que assegurem inferências corretas sobre seu desempenho em relação ao construto medido. O objetivo deste trabalho é descrever as principais teorias presentes nas avaliações em larga escala, fornecendo subsídios para uma correta interpretação dos conceitos envolvidos em seus processos.

No abstract

Resumo O Exame Nacional do Ensino Médio (Enem) é uma avaliação em larga escala que exerce forte influência nas políticas educacionais, nos currículos nos diversos níveis de ensino e também no futuro dos indivíduos que estão sendo avaliados. Esses fatos evidenciam a importância de examinar as diversas variáveis envolvidas na construção, aplicação e pontuação da avaliação. Pode-se, por meio de estudos, identificar etapas do processo que não estão funcionando como esperado e também validar as etapas cujos resultados são adequados. Em ambos os casos, busca-se a melhoria dos processos a cada edição do exame. Neste estudo, foram realizadas análises dos itens da prova de matemática do Enem 2015, por meio de dois modelos da Teoria de Resposta ao Item (TRI), o logístico de três parâmetros com estudos sobre a discriminação, a dificuldade e a probabilidade de acerto casual e o modelo de resposta nominal, com estudos da dificuldade e do comportamento de cada uma das opções de resposta dos itens. Aproximadamente um terço dos itens obteve parâmetros dentro dos padrões de qualidade. Quanto à dificuldade, o item considerado o mais fácil obteve apenas 64,1% de acertos. Além disso, apenas dois itens obtiveram o parâmetro de dificuldade situado abaixo do ponto médio da escala e aproximadamente 23,4% dos participantes tiveram suas habilidades estimadas abaixo do valor correspondente ao item mais fácil na escala, indicando que essas pessoas não souberam responder a nenhum dos 45 itens. Por meio dos diversos métodos utilizados, constatou-se que a prova de matemática do Enem 2015 possui qualidade muito aquém do desejável.

Evaluation is important in every education system bringing on required changes and control of teaching and learning. The proposal of MRP entrance exams unification, besides offering high quality exams to institutions participants, could be as an extra source to rate medical school and cause improvements, provide studies with a database and allow a regional mobility.