Improving Graduation Rate Estimates Using Regularly Updating Multi-Level Absorbing Markov Chains

Abstract

American universities use a procedure based on a rolling six-year graduation rate to calculate statistics regarding their students’ final educational outcomes (graduating or not graduating). As an alternative to the six-year graduation rate method, many studies have applied absorbing Markov chains for estimating graduation rates. In both cases, a frequentist approach is used. For the standard six-year graduation rate method, the frequentist approach corresponds to counting the number of students who finished their program within six years and dividing by the number of students who entered that year. In the case of absorbing Markov chains, the frequentist approach is used to compute the underlying transition matrix, which is then used to estimate the graduation rate. In this paper, we apply a sensitivity analysis to compare the performance of the standard six-year graduation rate method with that of absorbing Markov chains. Through the analysis, we highlight significant limitations with regards to the estimation accuracy of both approaches when applied to small sample sizes or cohorts at a university. Additionally, we note that the Absorbing Markov chain method introduces a significant bias, which leads to an underestimation of the true graduation rate. To overcome both these challenges, we propose and evaluate the use of a regularly updating multi-level absorbing Markov chain (RUML-AMC) in which the transition matrix is updated year to year. We empirically demonstrate that the proposed RUML-AMC approach nearly eliminates estimation bias while reducing the estimation variation by more than 40%, especially for populations with small sample sizes.

Quantifying the Impact of Student Enrollment Patterns on Academic Success Using a Hidden Markov Model

“…Moreover, it makes it possible to consider transfer students by inserting them into the Markov chain model, taking into account their academic level when they join the new program. This approach is explained in detail by [47].…”

Um Modelo para Análise do Impacto da Retenção e Evasão no Ensino Superior Utilizando Cadeias de Markov Absorventes

“…O uso de técnicas de modelagem [Araújo 2019, Boumi and Vela 2020, Brezavšček et al 2017, análise de sobrevivência [Campos 2016, Saccaro et al 2019, Costa et al 2018, minerac ¸ão de dados [Carrano et al 2019, Rigo et al 2014, Manhães et al 2012, aprendizagem de máquina [Ramos et al 2017, Queiroga et al 2017, De Jesus et al 2021] e pesquisas quantitativas e qualitativas [Lima andCoutinho 2019, Rodrigues et al 2015], permitem analisar fatores que influenciam na retenc ¸ão, evasão, conclusão e vínculo estudantil.…”

“…Em [Brezavšček et al 2017], [Boumi and Vela 2020] e [Araújo 2019], o objetivo foi o de se desenvolver um modelo estocástico para estimar e monitorar continuamente vários indicadores de qualidade e eficácia no ensino superior. Os modelos de Cadeia de Markov foram aplicados para simular o progresso acadêmico em instituic ¸ões de ensino superior, onde o progresso dos alunos foi estimado considerando a durac ¸ão prevista do estudo, os créditos acadêmicos ou a quantidade de reprovac ¸ões para representar os estados.…”

“…Apesar de [Brezavšček et al 2017], [Araújo 2019] e [Boumi and Vela 2020] representarem o progresso acadêmico com Cadeia de Markov, eles não demonstram a criac ¸ão de estados específicos para o progresso dos alunos retidos. Dessa forma, todos os estudantes têm o progresso acadêmico representado pelos mesmos estados e a retenc ¸ão é representada por self-loop.…”

“…Trabalhos quantitativos e qualitativos realizados anteriormente, mostram que a evasão é um problema multifatorial [Da Silva and Santos 2017, Saccaro et al 2019, Campos 2016, que possui causas emocionais, financeiras ou mesmo problemas relacionados ao curso, como a sua estrutura curricular. Do ponto de vista quantitativo, muitos trabalhos mostram que a retenc ¸ão e a evasão ocorrem de forma mais intensa nos primeiros períodos dos cursos Meneses 2020, Boumi andVela 2020]. Este trabalho foca a análise quantitativa do problema de evasão, não sendo seu objetivo investigar as suas causas.…”