Textual Datasets For Portuguese-Brazilian Language Models

Abstract

Advances in Natural Language Processing have generated new models that push forward the state of the art. This reached new heights in complex tasks in handling unstructured texts. Most of the new architectures and models focus on the English language. There is a lack of available datasets that can be used during the training of new models. This investigation presents four new textual datasets for language modeling in Brazilian Portuguese. Our datasets were generated from several specific methodologies that aimed to obtain data of different natures. Two of our sets were originally built from data in online web forums. We also distribute a translated version of MultiWOZ, and a clean version of BrWaC. The original datasets are made available in a structured way to facilitate their use during the training of NLP models, with questions, answers and conversations already identified.

LHTR.br: em Busca de um Conjunto Anotado de Textos Manuscritos em Português

“…Como baseline, foi utilizado o trabalho de [Souibgui et al 2021] 4 , no intuito de, a posteriori, aplicar o presente conjunto de dados no Fine-Tuning do modelo fornecido no baseline. Tal aplicac ¸ão foi escolhida dada a precariedade de dados anotados em português, como uma alternativa ao treinamento do zero de modelos que demandam alto custo de processamento, fazendo uso, portanto, de uma quantidade reduzida de dados para o aprendizado e considerando que a maior parte dos componentes já foram aprendidos no desenvolvimento do modelo [Sanches et al 2022].…”

“…A anotac ¸ão deve conter os dois aspectos principais do processo, ou seja, onde estão os símbolos textuais na imagem e a transcric ¸ão léxica de tais símbolos. Por conta disso, o processo de HTR demanda uma grande quantidade de dados e processamentos custosos em valor e tempo [Sanches et al 2022] para alcanc ¸ar o desempenho esperado nos mecanismos utilizados.…”