Keyword Extraction from Short Documents Using Three Levels of Word Evaluation

Timonen, Mika; Toivanen, Timo; Kasari, Melissa; Teng, Yue; Cheng, Chao; He, Liang

doi:10.1007/978-3-642-54105-6_9

Cited by 5 publications

(3 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…The main advantage of these methods is that they are simple and do not require an external corpus or knowledge of the language. [2] proposed a method for selecting keywords based on the informativeness value of each word. This score was calculated at the corpus, cluster, and document levels.…”

Section: Statistical Ke Techniquesmentioning

confidence: 99%

“…The imperative to condense vast information repositories has given rise to the pivotal role of keyword extraction (KE) within the domain of natural language processing (NLP). The goal of KE is to identify the most informative and relevant words or topics within a given document [2]. Keywords serve as a useful tool for users, allowing them to quickly understand the overall content of the texts.…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Using citation networks to evaluate the impact of text length on keyword extraction

Tohalino,

Silva,

Amancio

2023

PLoS ONE

View full text Add to dashboard Cite

The identification of key concepts within unstructured data is of paramount importance in practical applications. Despite the abundance of proposed methods for extracting primary topics, only a few works investigated the influence of text length on the performance of keyword extraction (KE) methods. Specifically, many studies lean on abstracts and titles for content extraction from papers, leaving it uncertain whether leveraging the complete content of papers can yield consistent results. Hence, in this study, we employ a network-based approach to evaluate the concordance between keywords extracted from abstracts and those from the entire papers. Community detection methods are utilized to identify interconnected papers in citation networks. Subsequently, paper clusters are formed to identify salient terms within each cluster, employing a methodology akin to the term frequency-inverse document frequency (tf-idf) approach. Once each cluster has been endowed with its distinctive set of key terms, these selected terms are employed to serve as representative keywords at the paper level. The top-ranked words at the cluster level, which also appear in the abstract, are chosen as keywords for the paper. Our findings indicate that although various community detection methods used in KE yield similar levels of accuracy. Notably, text clustering approaches outperform all citation-based methods, while all approaches yield relatively low accuracy values. We also identified a lack of concordance between keywords extracted from the abstracts and those extracted from the corresponding full-text source. Considering that citations and text clustering yield distinct outcomes, combining them in hybrid approaches could offer improved performance.

show abstract

Section: Statistical Ke Techniquesmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

Using citation networks to evaluate the impact of text length on keyword extraction

Tohalino,

Silva,

Amancio

2023

PLoS ONE

View full text Add to dashboard Cite

show abstract

“…Text classification and keyword extraction are two key tasks in natural language processing (NLP) that have been extensively studied by the research community to help manage large text datasets. While text classification involves extracting features from texts and categorizing them using machine learning algorithms (KOWSARI et al, 2019), keyword extraction focuses on identifying the most relevant words or topics that best describe the content of a document or set of documents (TIMONEN et al, 2012). Although a wide range of methods have been proposed in the literature for addressing these tasks in larger texts, analyzing shorter texts remains a significant challenge.…”

Section: Introductionmentioning

confidence: 99%

Usando redes complexas e processamento de línguas naturais para caracterizar e classificar itens científicos

Tohalino¹

View full text Add to dashboard Cite

Processamento de Linguagem Natural (PLN) surgiu como uma área crítica de estudo para analisar grandes quantidades de dados textuais. No entanto, com o crescimento exponencial de big data, a análise de textos de diferentes tipos e tamanhos tornou-se mais desafiadora. Métodos existentes podem funcionar bem para conjuntos de dados específicos, mas podem não funcionar de maneira ideal para outras aplicações de texto. Por exemplo, analisar textos curtos, como títulos ou resumos de artigos científicos, pode ser desafiador porque esses textos podem conter uma quantidade limitada de informações, tornando difícil extrair insights valiosos usando abordagens de PLN tradicionais. Nesta tese, propomos uma nova metodologia que integra PLN, Redes Complexas (RC) e cienciometria/bibliometria para classificar e extrair tópicos importantes em textos científicos. Combinamos os conceitos de cada área de diversas maneiras para as tarefas de classificação de propostas de projetos de pesquisa e extração de palavras-chave. As abordagens de PLN forneceram diferentes maneiras de obter representações matemáticas de palavras e textos. Por exemplo, as representações vetoriais de palavras foram úteis para encontrar relações semânticas e contextuais para extração de palavras-chave, enquanto a representação vetorial de textos completos foi usada para tarefas de classificação. Também usamos abordagens baseadas em redes complexas para modelar relacionamentos entre textos como redes. Isso nos permite extrair informações relevantes por meio de propriedades estruturais e topológicas de redes. Em seguida, as métricas de centralidade de rede ajudaram a encontrar as palavras mais importantes em resumos e artigos de pesquisa, enquanto os métodos de detecção de comunidades foram eficientes em encontrar grupos de resumos de artigos com conteúdo semelhante. Também usamos conceitos de cienciometria e bibliometria para dois propósitos. Primeiro, extraímos características bibliométricas de pesquisadores brasileiros para a tarefa de classificação de propostas de projetos de pesquisa. Também usamos os padrões de citação de artigos científicos como fonte importante de informação para auxiliar nossa abordagem de extração de palavras-chave. Nossa pesquisa demonstra a importância de usar várias metodologias de diferentes áreas para extrair informações valiosas de textos curtos. A metodologia proposta nesta pesquisa pode ser usada posteriormente para outras aplicações de PLN e mineração de textos, como classificação de textos, agrupamento de textos e sumarização de documentos, especialmente quando os textos-alvo são pequenos e limitados em conteúdo.

show abstract

Monitoring Media Scrutiny of EU Official Information and Documentation. A Content Analysis of the European Online News Coverage (January–May 2017)

Georgescu

Olimid

et al. 2017

Communications in Computer and Information Science

View full text Add to dashboard Cite

Keyword Extraction from Short Documents Using Three Levels of Word Evaluation

Cited by 5 publications

References 13 publications

Using citation networks to evaluate the impact of text length on keyword extraction

Using citation networks to evaluate the impact of text length on keyword extraction

Usando redes complexas e processamento de línguas naturais para caracterizar e classificar itens científicos

Monitoring Media Scrutiny of EU Official Information and Documentation. A Content Analysis of the European Online News Coverage (January–May 2017)

Contact Info

Product

Resources

About