Avaliação da qualidade do Enem 2009 e 2011 com técnicas psicométricas

Abstract

ARTIGOS AVALIAÇÃO DA QUALIDADE DO ENEM 2009 E 2011 COM TÉCNICAS PSICOMÉTRICAS RODRIGO TRAVITZKI RESUMO Foi realizada uma meta-avaliação do Exame Nacional do Ensino Médio (Enem) de 2009 e 2011, aplicando-se técnicas psicométricas em 2.025.268 provas. Algumas técnicas foram exemplificadas com a apresentação da análise do conteúdo de itens, mostrando sua utilidade aos educadores. Comparou-se indicadores relacionados à prova (coeficiente e correlação interitem média), mas principalmente relativos aos itens (correlação item-total, coeficiente bisserial -CB -, discriminação e ajuste do modelo logístico de dois parâmetros). A prova de Matemática de 2009 apresentou confiabilidade insuficiente ( < 0,6). As provas de Linguagens e Códigos e Ciências Humanas apresentaram, nos dois anos, melhores indicadores de qualidade. Ao todo, foram encontrados 25% de itens com comportamento empírico fora do esperado em 2009, e 17% em 2011. PALAVRAS-CHAVE * Este trabalho foi realizado com apoio do Conselho Nacional deDesenvolvimento Científico e Tecnológico (CNPq) -Brasil.Est. Aval. Educ., São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017 PALABRAS CLAVE EVALUATION OF ENEM (2009 AND 2011)QUALITY WITH PSYCHOMETRIC TECHNIQUES ABSTRACT This study is a meta evaluation of the Exame Nacional do Ensino Médio [National Secondary Education Examination] (Enem) of 2009 and 2011, applying psychometric techniques to 2.025.268 tests. Some techniques were illustrated by analysis of item content, showing their usefulness to educators. We compared indicators related to the tests ( coefficient and average inter-item correlation), but mainly related to the items (item-whole correlation, biserial coefficient, discrimination and fit of two-parameter logistic model). The 2009 Mathematics test showed insufficient reliability ( <0.6). The Language and Human Sciences tests showed better quality indicators in both years. In total, we found 25% of items with anomalous empirical behavior in 2009 and 17% in 2011. KEYWORDSENEM. 258Est. Aval. Educ., São Paulo, v. 28, n. 67, p. 256-288, jan./abr. 2017 INTRODUÇÃOO Exame Nacional do Ensino Médio (Enem) encontra-se hoje, juntamente com o exame chinês para admissão na universidade (gao kao), entre os maiores testes do mundo quanto ao número de candidatos, contando oito milhões de inscritos em 2015. Sendo um exame voluntário, sua alta atratividade decorre das diversas recompensas a ele atreladas, tais como: admissão na maioria das faculdades públicas do país; obtenção de bolsa ou financiamento para cursar uma faculdade privada; obtenção de certificação de ensino médio (EM), mesmo sem ter frequentado a escola (BRASIL, 2010). Por tais recompensas, pode-se considerar o Enem o exame de maior valor econômico do Brasil, visto que um resultado positivo traz grandes benefícios ao candidato. Segundo Gomes (2010), o Enem tem gerado efeitos gradativos no trabalho docente e forte impacto mercadológico. O alto valor, por sua vez, acaba criando dificuldades adicionais, como o desenvolvimento de um sistema capaz de garantir segur...

Análise da qualidade de uma prova de matemática do Exame Nacional do Ensino Médio

“…Não existe uma regra única relacionando os valores desse índice e a eficiência do item para discriminar os indivíduos quanto às habilidades as quais o item foi desenvolvido para medir, mas alguns intervalos de valores para a excelência da qualidade dos itens são constantemente sugeridos nas pesquisas. O item é considerado pobre em relação a discriminação se a CB for menor do que 0,15, se a CB estiver entre 0,15 e 0,3, o item é considerado razoável, e se a CB for maior do que 0,3, ele possui um bom poder de discriminação (SOARES, 2005;TRAVITZKI, 2017).…”

“…Existem outros trabalhos que abordam a qualidade das provas do Enem em anos anteriores, como o do pesquisador Travitzki (2017), que realizou uma avaliação do Enem dos anos de 2009 e 2011 utilizando técnicas da TCT e também do modelo logístico de dois parâmetros da TRI. Constatou-se que a prova de matemática de 2009 apresentou 49% dos itens com correlação bisserial menor do que 0,3 indicando que esses itens podem ser considerados regulares ou ruins.…”

The evaluation of deaf people fluent in Brazilian Sign Language in the National High School Exam

“…There are adversities in the evaluation of reading and text interpretation skills in both PL and foreign languages regarding deaf individuals who are fluent in Libras. The use of standardized methods to measure the mastery of the language (Travitzki, 2017) should include variations of both spoken and written language.…”

“…The concepts used in the preparation of the exam come from the High School (HS) curriculum and the exam itself is a construct (Travitzki, 2017), an instrument created to reach intrapsychic instances. As attested in the Inep (2015), the Item Response Theory allows for the collection of information and the comparison of results, with this being the only metric scale, while the qualitative and quantitative standards are predisposed in it.…”

“…From a statistical point of view, what is remarkable is the association of proficiency that increases according to the achievement of a higher position on this scale with the greater probability of getting the question right and the cumulative latent trait. This trait or aptitude corresponds to the psychosocial variables, elements that influence the subject during his or her response to the exam (Travitzki, 2017).…”