Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio

Abstract

Resumo O Exame Nacional do Ensino Médio (Enem) é uma avaliação em larga escala que exerce forte influência nas políticas educacionais, nos currículos nos diversos níveis de ensino e também no futuro dos indivíduos que estão sendo avaliados. Esses fatos evidenciam a importância de examinar as diversas variáveis envolvidas na construção, aplicação e pontuação da avaliação. Pode-se, por meio de estudos, identificar etapas do processo que não estão funcionando como esperado e também validar as etapas cujos resultados são adequados. Em ambos os casos, busca-se a melhoria dos processos a cada edição do exame. Neste estudo, foram realizadas análises dos itens da prova de matemática do Enem 2015, por meio de dois modelos da Teoria de Resposta ao Item (TRI), o logístico de três parâmetros com estudos sobre a discriminação, a dificuldade e a probabilidade de acerto casual e o modelo de resposta nominal, com estudos da dificuldade e do comportamento de cada uma das opções de resposta dos itens. Aproximadamente um terço dos itens obteve parâmetros dentro dos padrões de qualidade. Quanto à dificuldade, o item considerado o mais fácil obteve apenas 64,1% de acertos. Além disso, apenas dois itens obtiveram o parâmetro de dificuldade situado abaixo do ponto médio da escala e aproximadamente 23,4% dos participantes tiveram suas habilidades estimadas abaixo do valor correspondente ao item mais fácil na escala, indicando que essas pessoas não souberam responder a nenhum dos 45 itens. Por meio dos diversos métodos utilizados, constatou-se que a prova de matemática do Enem 2015 possui qualidade muito aquém do desejável.

A formatação da prova afeta o desempenho dos estudantes? Evidências do Enem (2016)

“…O trabalho apresentado por Toffoli (2019), publicado posteriormente à revisão de Lima et al (2019), se aproxima do nosso em termos do potencial de contribuir para a melhoria do Enem como um exame de seleção. Segundo a autora, Estudos sobre as avaliações em larga escala são importantes para identificar etapas do processo que não estão funcionando como esperado e também para validar as etapas cujos resultados são adequados.…”

“…(TOFFOLI, 2019, p. 4). Toffoli (2019) analisa as qualidades psicométricas de cada questão e da prova como um todo, e suas conclusões são bastante preocupantes, dado que os resultados do Enem são mais do que simples medidas e possuem consequências sociais muito relevantes (TOFFOLI et al, 2016). Seus resultados podem ser sintetizados na seguinte constatação:…”

“…As ressalvas em relação ao Enem colocadas por Toffoli (2019), aliada à grande relevância social da avaliação (TOFFOLI et al, 2016), indicam a importância de que o exame seja colocado sob escrutínio. Embora não tenha sido o foco principal de sua análise, as explicações sugeridas por Travitzki (2017) já destacam a relevância de considerar a posição das questões na prova do Enem ao analisar a qualidade psicométrica da prova.…”

Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018

“…Dessa forma, de acordo com as análises empreendidas, 22.7% dos 44 itens da prova de analisada apresentaram comportamento empírico fora dos padrões de qualidade considerados, porcentagem bem abaixo dos 49% encontrados por Travitzki (2017), para a prova de Matemática do ENEM 2009, e dos 57.8% encontrados por Toffoli (2019), para a prova de Matemática do ENEM 2015, porém acima dos 18% encontrados por Travitzki (2017), para a prova de Matemática do ENEM 2011.…”

As provas do Exame Nacional do Ensino Médio são unidimensionais?

“…Para a prova de MT, chegou a 49% em 2009 e 18% com essa classificação. Da mesma forma, estudo aponta qualidade desejável da prova de MT do Enem 2015 quando se considera parâmetros de TCT e TRI (TOFFOLI, 2019). Nesse estudo, a prova possuía muitos itens com índices de discriminação muito baixos (< 0,3), ou seja, não apresentam a capacidade de diferenciar candidatos de baixa e alta habilidade, e não apresentavam itens considerados fáceis, quando analisados pela TCT.…”