A Word Embedding Analysis towards Ontology Enrichment

Abstract

Word Embedding is a set of language modeling and feature learning techniques in Natural Language Processing where words or phrases are mapped to vectors of real numbers. This approach could be used in many tasks of Natural Language Processing, such as Text Classification, Part-Of-Speech Tagging, Named Entity Recognition, Sentiment Analysis, and others. In this paper we created different Word Embedding models, using TripAdvisor's hotel reviews. The corpus was pre-processed, in order to reduce noise, and then submitted to four Word Embedding algorithms: Word2Vec, FastText, Wang2Vec, and GloVe. Finally, HOntology concepts and relations are compared with the outputs of models created aiming to improve it, enriching this domain ontology.

Impacto do Pré-processamento e Representação Textual na Classificação de Documentos de Licitações

“…Tais modelos objetivam gerar representações vetoriais de palavras que capturem suas relações semânticas e sintáticas. O GloVe [Pennington et al 2014] é um modelo que utiliza matrizes de coocorrência de palavras para gerar representações vetoriais, enquanto o Word2Vec e o Wang2Vec são modelos que utilizam abordagens baseadas em redes neurais para gerar representações vetoriais. Em particular, o modelo Word2Vec [Church 2017] é baseado em uma rede neural que aprende a prever o contexto em que uma palavra aparece e gera embeddings de palavras com base nos pesos aprendidos.…”