Evaluating the impact of corpora used to train distributed text representation models for noisy and short texts

Lochter, Johannes V.; Pires, Pedro R.; Bossolani, Carlos; Yamakami, Akebo; Almeida, Tiago A.

doi:10.1109/ijcnn.2018.8489355

Cited by 7 publications

(4 citation statements)

References 10 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The most classical text representation is bag-of-words. In this distributive representation, a vocabulary is collected in the training corpus and each sample 2 is represented by a vector where each element represents the occurrence or absence (1/0) of vocabulary terms in the document [16].…”

Section: Introductionmentioning

confidence: 99%

Deep learning models for representing out-of-vocabulary words

Lochter¹,

Silva²,

Almeida³

2020

Preprint

Self Cite

View full text Add to dashboard Cite

Communication has become increasingly dynamic with the popularization of social networks and applications that allow people to express themselves and communicate instantly. In this scenario, distributed representation models have their quality impacted by new words that appear frequently or that are derived from spelling errors. These words that are unknown by the models, known as outof-vocabulary (OOV) words, need to be properly handled to not degrade the quality of the natural language processing (NLP) applications, which depend on the appropriate vector representation of the texts. To better understand this problem and finding the best techniques to handle OOV words, in this study, we present a comprehensive performance evaluation of deep learning models for representing OOV words. We performed an intrinsic evaluation using a benchmark dataset and an extrinsic evaluation using different NLP tasks: text categorization, named entity recognition, and part-of-speech tagging. Although the results indicated that the best technique for handling OOV words is different for each task, Comick, a deep learning method that infers the embedding based on the context and the morphological structure of the OOV word, obtained promising results. * We gratefully acknowledge the support provided by the São Paulo Research Foundation (FAPESP; grants #2017/09387-6, #2018/02146-6), CAPES, and CNPq.2 In this study, we use the word sample to denote instance or text document.

show abstract

Section: Introductionmentioning

confidence: 99%

Deep learning models for representing out-of-vocabulary words

Lochter¹,

Silva²,

Almeida³

2020

Preprint

Self Cite

View full text Add to dashboard Cite

show abstract

“…Por isso, geralmente são empregados grandes corpos de textos bem escritos e generalistas para treinar os modelos usados na representação textual das amostras, tais como corpos de notícias (e.g., Google News) e enciclopédias (e.g., Wikipedia). Porém, [Lochter et al 2018] recomendam que o corpo de texto usado para treinar o modelo de representação distribuída seja composto por dados com características semelhantesàs amostras da aplicação. Os autores mostraram que em problemas de classificação de textos curtos e ruidosos, os métodos de classificação obtiveram melhor desempenho quando os vetores de atributos foram obtidos por um modelo de representação distribuída treinado com uma base de dados também composta por textos curtos e ruidosos ao invés de textos formais.…”

Section: Introductionunclassified

“…Neste sentido, alguns trabalhos recentes na literatura propõem realizar a combinação dos vetores de atributos gerados por diferentes modelos [Goikoetxea et al 2016, Ghannay et al 2016. Com base nas conclusões reportadas por [Lochter et al 2018],é razoável presumir que, em tarefas de processamento de textos, os próprios documentos da aplicação são aqueles que oferecem a melhor relação sintática e semântica dos dados. Portanto, combinar modelos genéricos de representação com um modelo específico, treinado com os próprios documentos da aplicação, poderá resultar em uma representação generalista e ao mesmo tempo capaz de capturar as particularidades específicas do domínio do problema.…”

Section: Introductionunclassified

Improving distributed vector representation of short and noisy texts in the context of online classification

Silva¹,

Lochter²,

Almeida³

2019

Anais Do Encontro Nacional De Inteligência Artificial E Computacional (ENIAC 2019)

View full text Add to dashboard Cite

The classification of messages generated by users on social networks and other Internet platforms is challenging because they are often short and full of slang, abbreviations, and idioms, which hinders the feature extraction. To address this problem, this study proposes a data augmentation technique to increase the number of data in order to improve the quality of the textual representation model and, consequently, the performance in the classification. The proposed technique is evaluated in the online classification of sentiments in Twitter messages. The experiments were carefully performed and a statistical analysis of the results indicated that the data augmentation is effective in online classification of short and noisy text messages.

show abstract

“…Portanto, é possível considerar que esses modelos não geram vetores representativos para notícias falsas. Provavelmente, se os modelos de representação distribucional (word embeddings) tivessem sido treinados com documentos com conteúdo ruidoso, os resultados teriam sido melhores, pois alguns estudos recomendam treinar modelos de representação distribuída com um córpus composto por texto com as mesmas características do domínio de aplicação (LOCHTER et al, 2018).…”

Section: Pistas Linguísticas: Experimentos Robustosunclassified

Detecção automática de notícias falsas em português

Santos¹

View full text Add to dashboard Cite

É, querido leitor, mais uma das partes que eu mais gosto dos trabalhos que eu venho fazendo cientificamente: agradecer as pessoas que me ajudaram a chegar nessa conquista. Apesar do momento que foi terminado o trabalho, em tempos de pandemia, foram os melhores 2 anos e meio da minha vida. O ano de 2019 foi (até agora), o ano mais maravilhoso da minha vida. Aliás, prometo que dessa vez vai ser mais curto (essa é para quem lembra dos agradecimentos da minha dissertação de mestrado!).Bom, primeiramente, agradeço imensamente a minha mãe, Maria de Fátima, a Fafá, por me dar a força necessária para passar por todo esse processo, por mais que a vontade dela fosse de não estar a mais de 3 mil quilômetros (e chegou a ser mais de 7 mil quilômetros!!!), mas sempre quis e quer o meu bem. Ao meu pai, Raimundo Nonato, por sempre estar apoiando minhas decisões e me dando conselhos de vida essenciais (e por segurar a barra com a mamãe aqui com saudade dos filhos longe). Ao meu irmão, Anderson Santos, por compartilhar as experiências, alegrias, medos, fofocas, jogos... enfim, tudo que o melhor irmão do mundo poderia fazer. Amo muito vocês! Agradeço imensamente a minha família por sempre me dar a força necessária através do amor, carinho, união e acolhida. Meus avós Alexandrina, Raimundo, Maria Lira e Aldenor (in memoriam); minhas tias Corrinha,

show abstract

Evaluating the impact of corpora used to train distributed text representation models for noisy and short texts

Cited by 7 publications

References 10 publications

Deep learning models for representing out-of-vocabulary words

Deep learning models for representing out-of-vocabulary words

Improving distributed vector representation of short and noisy texts in the context of online classification

Detecção automática de notícias falsas em português

Contact Info

Product

Resources

About