PREAnoTe: Uma abordagem de anotação de corpus para o ajuste fino de Large Language Model pré-treinado

Abstract

O ajuste fino de um Modelo de Linguagem (ML) necessita de corpus volumoso, categorizado e anotado. Contudo, corpora são escassos e a anotação manual é custosa. Como alternativa, surgiu a abordagem Distant Supervision que pode usar Recursos Semânticos (RS). Entretanto, há lacunas na utilização de RS para minimizar o custo da anotação. Este artigo propõe PREAnoTe, uma abordagem capaz de apoiar a anotação, utilizando regras de expressão regular, orientado por um metamodelo e RS. Os experimentos mostraram resultados promissores, alcançando uma precisão de 95% nas entidades e 76% nas relações, culminando em um ML ajustado com 86% de precisão e cobertura.