Minority split and gain ratio for a class imbalance

Abstract

A decision tree is one of most popular classifiers that classifies a balanced data set effectively. For an imbalanced data set, a standard decision tree tends to misclassify instances of a class having tiny number of samples. In this paper, we modify the decision tree induction algorithm by performing a ternary split on continuous-valued attributes focusing on distribution of minority class instances. The algorithm uses the minority variance to rank candidates of the high gain ratio, then it chooses the candidate with the minimum minority entropy. From our experiments with data sets from UCI and Statlog repository, this method achieves the better performance comparing with C4.5 using only gain ratio for imbalanced data sets.

Árbol de decisión C4.5 basado en entropía minoritaria para clasificación de conjuntos de datos no balanceados

“…Uno de los algoritmos propuestos recientemente, y que utiliza unárbol de decisión es el presentado en [3]. En ese artículo, se propone usar tres particiones en la construcción delárbol.…”

“…De esta manera, el método le brinda mayor oportunidad a las instancias de clase minoritaria, de ser incluídas en nodos más puros. El la sección 4, se realiza una observación al algoritmo en [3], y se presenta una corrección del mismo.…”

“…La idea subyacente en el algoritmo presentado en [3], es concentrar la mayor cantidad de instancias de clase minoritaria en una sola partición durante la construcción de unárbol de decisión. Lo anterior es logrado mediante el uso del concepto de entropía minoritaria, explicado en la sección 3.…”

“…De esta manera, la mayor parte de los objetos de clase minoritaria son concentrados al centro o en los extremos de las tres particiones que se realiza en cada iteración del algoritmo. La propuesta está basada en una observación que realizamos al artículo en [3]. Notamos que en dicho artículo existen contradicciones y un error en el cálculo de la entropía minoritaria propuesta, por lo que hicimos la corrección correspondiente, y proponemos algunas otras mejoras como trabajo futuro.…”

“…También se incluye una revisión breve sobre Weka, que es el framework utilizado para implementar la modificación propuesta. En la sección 4, se presenta el algoritmo original que se propuso en el artículo [3]. En esa sección mostramos la observación que realizamos, y un contra-ejemplo para demostrar un error en el cálculo de la entropía minoritaria.…”