Using the Levenshtein Edit Distance for Automatic Lemmatization: A Case Study for Modern Greek and English

Peng, Chun‐Cheng; Magoulas, George D.

doi:10.1109/ictai.2007.41

Cited by 14 publications

(9 citation statements)

References 48 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…This can be decided with the help of the Levenshtein distance. 89 This method from computational linguistics measures the similarity between two words and is often used in dialectology to study phonetic, and thus dialectal, variation. 90 It basically counts the number of deletions, insertions or substitutions needed to transform one string into another: e.g.…”

Section: The Future Of Onomastic Researchmentioning

confidence: 99%

Things Can Only Get Better for Socrates and His Crocodile: How Onomastics Can Benefit From Digital Humanities

Broux

2019

The Class. Q.

View full text Add to dashboard Cite

show abstract

Section: The Future Of Onomastic Researchmentioning

confidence: 99%

Things Can Only Get Better for Socrates and His Crocodile: How Onomastics Can Benefit From Digital Humanities

Broux

2019

The Class. Q.

View full text Add to dashboard Cite

show abstract

“…The textual analysis phase consisted of three activities: (a) removal of stop words (i.e. articles, special characters, etc), (b) lemmatization of words using a Levenshtein distance based Greek lemmatizer [14], (c) removal of terms appearing less than 30 times within the complete article corpus and taking the 150 most frequent of them. Upon completion of the aforementioned phases, we kindly asked a domain expert (financial journalist) to annotate terms according to their genre.…”

Section: Experimental Design and Evaluationmentioning

confidence: 99%

Towards Stock Market Data Mining Using Enriched Random Forests from Textual Resources and Technical Indicators

Μaragoudakis

Serpanos

2010

IFIP Advances in Information and Communication Technology

View full text Add to dashboard Cite

The present paper deals with a special Random Forest Data Mining technique, designed to alleviate the significant issue of high dimensionality in volatile and complex domains, such as stock market prediction. Since it has been widely acceptable that media affect the behavior of investors, information from both technical analysis as well as textual data from various on-line financial news resources are considered. Different experiments are carried out to evaluate different aspects of the problem, returning satisfactory results. The results show that the trading strategies guided by the proposed data mining approach generate higher profits than the buy-and-hold strategy, as well as those guided by the level-estimation based forecasts of standard linear regression models and other machine learning classifiers such as Support Vector Machines, ordinary Random Forests and Neural Networks.

show abstract

“…En [21] y [22] el lector puede hallar un estado del arte muy completo al respecto. Ejemplos de este tipo de análisis son la comparación de grafos [20], la utilización de n-gramas [16,34], la búsqueda de analogías [32], los modelos superficiales a base de reglas [38,31], los modelos probabilísticos [12], la segmentación por optimización [11,19], el aprendizaje no supervisado de las familias morfológicas por clasificación jerárquica ascendente [7], la lematización usando distancias de Levenshtein [14] o la identificación de sufijos por medio de la entropía [42]. Estos métodos se distinguen por el tipo de resultados obtenidos, ya sea la identificación de lemas, stems o sufijos.…”

Section: Algoritmos De Stemming Y De Lematizaciónunclassified

“…Nuestro algoritmo, capaz de procesar listas independientemente del idioma, está mejor posicionado (95,8 y 96,8 respectivamente en francés e inglés), comparable al algoritmo de la distancia de Levenshtein presentado en [14] (que logra un 96 % de precisión en inglés). Estudios como el de [35] muestran que el regrupamiento de variantes morfológicas, similar al nuestro en el sentido de no necesitar ni conocimientos a priori de la lengua ni recursos externos, presenta un interés superior al del stemming o al de la lematización, en tareas específicas de RI como el query expansion.…”

Section: Evaluaciónunclassified

“…Esto merece una reflexión sobre la eficiencia de la tabla de n-gramas de nuestro método vectorial aplicado alárabe, porque en las lenguas evaluadas en este artículo, esta tabla se basaúnicamente en los n-gramas de prefijos. Un trabajo actualmente en curso 13 incluye la lexematización de la lengua somalí 14 . Esta lengua aglutinante, y con pocos recursos computacionales [1], usa prefijos y sufijos, pero de una manera mucho más rígida y dentro de la misma palabra (temporalidad independiente de la flexión).…”

Section: Discusión Conclusión Y Perspectivasunclassified

See 1 more Smart Citation

Reagrupamiento en familias y lexematización automática independientes del idioma

Torres‐Moreno¹

2010

Int. Artif.

View full text Add to dashboard Cite

Este artículo presenta un sistema basado en métodos de regrupamiento no supervisado que detecta algorítmicamente las raíces o lexemas de familias morfológicas. La idea principal es la constitución de familias morfológicas a través de reagrupamientos iterativos. Los criterios de este reagrupamiento se basan en la similitud gráfica de las palabras, en su representación vectorial y en la correcta utilización de pares de sufijos (o firma de la familia) extraídos automáticamente. Las pruebas sobre corpora en francés, inglés y español muestran resultados muy interesantes en los tres idiomas, con una gran robustez e independencia del idioma. IntroducciónLas palabras están compuestas por lexemas y morfemas. El lexema o raíz es la parte que no varía y que contiene su significado. El morfema es la parte variable, que se añade al lexema para completar su significado y formar nuevas palabras. De manera simplificada, una familia morfológica es un grupo de palabras relacionadas entre sí por un enlace morfológico de afijación. En la afijación se combinan una raíz y un afijo (prefijo o sufijo), ya sea para crear una nueva palabra (derivación) o bien para construir variantes de la misma (flexión). El análisis morfológico de las palabras es una fase muy importante en la construcción de sistemas de Procesamiento de Lenguaje Natural (PLN), porque tiene muchas aplicaciones en tareas como el resúmen automático de textos, la indexación de documentos, la clasificación textual y en sistemas de pregunta-respuesta a base de queries, entre otros [4]. Sin embargo, la realización de este análisis puede requerir el uso de recursos externos (como diccionarios, analizadores, reglas, etc.) que pueden ser caros, difíciles de construir y demasiado dependientes de un idioma o de un dominio específico [34]. Un ejemplo de este análisis es la lematización de palabras, que permite reducir la dimensión del espacio vectorial de representación (es decir, el léxico) en los sistemas de búsqueda y extracción de información [4,34].Este artículo ofrece un nuevo algoritmo de adquisición estadística de familias morfológicas, capaz de obtener su lexema, evitando el uso de recursos externos o el conocimiento a priori de una lengua. Para ello se formula la adquisición de familias morfológicas como un problema de clasificación no supervisada. Es decir, el objetivo es organizar un conjunto de datos en grupos homogéneos y contrastados: en nuestro caso, los grupos son familias de palabras morfológicamente relacionadas. El método propuesto tiene

show abstract

Using the Levenshtein Edit Distance for Automatic Lemmatization: A Case Study for Modern Greek and English

Cited by 14 publications

References 48 publications

Things Can Only Get Better for Socrates and His Crocodile: How Onomastics Can Benefit From Digital Humanities

Things Can Only Get Better for Socrates and His Crocodile: How Onomastics Can Benefit From Digital Humanities

Towards Stock Market Data Mining Using Enriched Random Forests from Textual Resources and Technical Indicators

Reagrupamiento en familias y lexematización automática independientes del idioma

Contact Info

Product

Resources

About