Using Transformer Based Ensemble Learning to Classify Scientific Articles

Semi-supervised learning models for document classification: A systematic review and meta-analysis

“…Varias técnicas permiten la aplicación de este tipo de aprendizaje, entre las primarias tenemos a Bagging, Boosting y entre las secundarias AdaBoost, generalización de apilados, combinación de expertos, basados en voto [5]. En el Algoritmo 3 se presenta la estructura del modelo: 2) ..E (M n) Instancias de entrenamiento no etiquetadas: nE (M 1) , nE (M 2) ..nE (M n) repeat Entrena cada clasificador C (1) ..C (n) para documentos etiquetados E (M 1) ..E (M n) ; Clasifica nE (M 1) ..nE (M n) con los diferentes clasificadores C 1 ..C n ; Documentos con mejor predicción por C 1 ..C n se añaden al conjunto de etiquetados 1) ..E (M n) ; Se retira de nE (M 1) ..nE (M n) los documentos clasificados con mejor grado de confianza; until {nE} = 0 ; Se Elige el E (M 1) ..E (M n) que ha registrado el mejor grado de confianza; Salida: Documentos etiquetados {E} En la Tabla 4 se presentan investigaciones con modelos ensamblados, se identifican estructuras que pueden disponer por cada clasificador débil un proceso diferente de clasificación de documentos con distintas técnicas [37] [38] [39], al final se realiza un consenso para la selección de la mejor predicción. Estos modelos brindan apertura al reforzamiento de su entrenamiento a través de la incorporación de conjuntos de documentos externos ya pre-entrenados [38], así como también el entrenamiento multilingüe que aprovecha el etiquetado de documentos en otros lenguajes para incorporarlo al lenguaje del documento en estudio [40] [41].…”

“…Las métricas de rendimiento de clasificación de estos modelos determinan una vez más que el número de documentos etiquetados es importante para su precisión, los modelos ensamblados más eficientes son [43] 97.25 %, [39] 92.9 %, [44] 88.69 % y efectivamente son los modelos que mayor número de etiquetados disponen, con 30 %, 47 % y 65 % respectivamente del total de documentos. Otros factores que influyen en la eficiencia de estos modelos son su cantidad (5) de clasificadores débiles [42] [43] [39], su entrenamiento por capas (cross-validation) [42], la apertura a documentos pre-entrenados [39] y su eficiencia en el manejo del consenso para la predicción [42] [43]. Mientras que las características de los menos eficientes [40] y [41] recaen en menor cantidad de clasificadores débiles (2), menor cantidad de etiquetados y modelos que en su estructura consideran conjuntos de documentos con diversos lenguajes para su entrenamiento que deterioran la precisión.…”

“…Así tenemos también a las particularidades de multivista y crowdsourcing descritas en el apartado 3.1 y 3.3 respectivamente, estas propiedades de los modelos semi-supervisados más allá de la demanda de costos de recursos, mejoran las métricas de rendimiento en la predicción de etiquetas como es el caso de [34] [43] [47]. Con respecto a las técnicas de mayor singularidad que se han identificado en la estructura de ambientes de aprendizaje semi-supervisados están, los algoritmos genéticos [50] , la lógica difusa [35] y las redes neuronales con arquitectura transformer [37] [34] [39].…”

Semi-supervised learning models for document classification: A systematic review and meta-analysis

“…Varias técnicas permiten la aplicación de este tipo de aprendizaje, entre las primarias tenemos a Bagging, Boosting y entre las secundarias AdaBoost, generalización de apilados, combinación de expertos, basados en voto [5]. En el Algoritmo 3 se presenta la estructura del modelo: 2) ..E (M n) Instancias de entrenamiento no etiquetadas: nE (M 1) , nE (M 2) ..nE (M n) repeat Entrena cada clasificador C (1) ..C (n) para documentos etiquetados E (M 1) ..E (M n) ; Clasifica nE (M 1) ..nE (M n) con los diferentes clasificadores C 1 ..C n ; Documentos con mejor predicción por C 1 ..C n se añaden al conjunto de etiquetados 1) ..E (M n) ; Se retira de nE (M 1) ..nE (M n) los documentos clasificados con mejor grado de confianza; until {nE} = 0 ; Se Elige el E (M 1) ..E (M n) que ha registrado el mejor grado de confianza; Salida: Documentos etiquetados {E} En la Tabla 4 se presentan investigaciones con modelos ensamblados, se identifican estructuras que pueden disponer por cada clasificador débil un proceso diferente de clasificación de documentos con distintas técnicas [37] [38] [39], al final se realiza un consenso para la selección de la mejor predicción. Estos modelos brindan apertura al reforzamiento de su entrenamiento a través de la incorporación de conjuntos de documentos externos ya pre-entrenados [38], así como también el entrenamiento multilingüe que aprovecha el etiquetado de documentos en otros lenguajes para incorporarlo al lenguaje del documento en estudio [40] [41].…”

“…Las métricas de rendimiento de clasificación de estos modelos determinan una vez más que el número de documentos etiquetados es importante para su precisión, los modelos ensamblados más eficientes son [43] 97.25 %, [39] 92.9 %, [44] 88.69 % y efectivamente son los modelos que mayor número de etiquetados disponen, con 30 %, 47 % y 65 % respectivamente del total de documentos. Otros factores que influyen en la eficiencia de estos modelos son su cantidad (5) de clasificadores débiles [42] [43] [39], su entrenamiento por capas (cross-validation) [42], la apertura a documentos pre-entrenados [39] y su eficiencia en el manejo del consenso para la predicción [42] [43]. Mientras que las características de los menos eficientes [40] y [41] recaen en menor cantidad de clasificadores débiles (2), menor cantidad de etiquetados y modelos que en su estructura consideran conjuntos de documentos con diversos lenguajes para su entrenamiento que deterioran la precisión.…”