Uma proposta de análise de itens da prova preparatória para o Enade aplicada aos discentes de engenharia civil do IFMG – Campus Avançado Piumhi

Abstract

<jats:p>Considerando a necessidade cada vez maior de se produzir avaliações consistentes, capazes de fornecer informações válidas sobre seus respondentes, este artigo tem o objetivo de analisar dois provões aplicados aos discentes do curso de Bacharelado em Engenharia Civil do Instituto Federal de Minas Gerais – Campus Avançado Piumhi e comparar seus resultados. Trata-se de uma avaliação aplicada semestralmente aos estudantes, visando a oferecer-lhes um preparo para o Exame Nacional de Desempenho de Estudantes (ENADE). Para isto, foram considerados três índices psicométricos provenientes da Teoria Clássica dos Testes: dificuldade, discriminação e confiabilidade. Também foram realizados Testes de hipóteses para verificar se estes provões apresentaram resultados equiparáveis. Estas análises foram realizadas com o auxílio do software estatístico R. Os resultados demonstram que os valores de referência, dispostos na literatura, não foram, em sua maioria, atingidos, apontando para a necessidade de uma revisão sistemática no processo de elaboração dessas provas e de um debate sobre os diferentes resultados obtidos por estudantes matriculados em períodos distintos no curso. Palavras-chave: Teoria Clássica dos Testes (TCT). Engenharia Civil. Software R. A proposal for analysing the items of the Enade preparatory assessment applied to civil engineering students of Instituto Federal Minas Gerais - IFMG - Campus Avançado Piumhi Abstract Considering the increasing need to produce consistent assessments able to provide valid information about your respondents, this article has the objective of analyzing two tests applied to students of the Bachelor’s Degree in Civil Engineering course of the IFMG – Campus Avançado Piumhi (Federal Institute of Minas Gerais - Piumhi Advanced Campus) and compare your results.This is an evaluation applied to the students every semester, aiming to offer them a preparation for The National Assessment of Students Performance (ENADE). For this, it were considered three psychometric indexes from the Classical Theory of Tests: difficulty, discrimination and reliability. Statistical hypothesis testing were also performed to verify whether these tests had comparable results. These analyzes were carried out with the aid of statistical software R.The results show that the reference values, presented in the literature, were mostly not reached, pointing toward the need for a systematic review in the elaboration of these tests, besides a debate on the different results obtained by students enrolled in different periods of the course. Keywords: Classical Theory of Tests (CTT). Civil Engineering. Software R.</jats:p>

Medidas de Tendência Central: Análise da Qualidade das Questões do ENEM de 2016 a 2018

“…Entretanto, apesar de sua praticidade e fácil aplicabilidade em diferentes contextos, a TCT possui limitações que corroboraram para a expansão do uso da TRI como metodologia de análise psicométrica de itens em avaliações estandardizadas. Entre essas limitações, destacam-se as dificuldades para se comparar o desempenho de respondentes submetidos a provas distintas, o que pode comprometer a sua isonomia, ou a edições distintas de um mesmo exame, dificultando estudos longitudinais que podem ser úteis na avaliação da eficiência de uma política pública adotada, por exemplo (Pasquali, 2009, Rabelo, 2013, Moreira et al, 2020, Costa, Lima & Soares, 2020.…”

Análise da qualidade psicométrica da prova de matemática do Exame Nacional do Ensino Médio brasileiro de 2018

“…Neste caso, quanto maior este percentual, mais fácil ele é. Entretanto, sob esta ótica, a classificação de um item quanto ao índice de dificuldade vai de acordo com o grupo de indivíduos em que o item foi examinado. Assim, um mesmo item pode ser classificado como fácil para um certo grupo com altas habilidades e difícil para um outro grupo com habilidades menores(Costa, Lima e Soares, 2020;Soares, 2018).Na TRI, por sua vez, "o cálculo dos parâmetros dos itens independe da amostra de sujeitos utilizada durante o processo de calibração dos itens"(Hambleton e Zaal, 2013, p. 8, [tradução nossa]), constituindo uma das vantagens da adoção desta metodologia em avaliações. Sob a ótica da TRI, o índice de dificuldade (bem como a habilidade do respondente) segue uma distribuição normal padronizada.…”