Segmentation Strategies to Face Morphology Challenges in Brazilian-Portuguese/English Statistical Machine Translation and Its Integration in Cross-Language Information Retrieval

Abstract

Abstract.The use of morphology is particularly interesting in the context of statistical machine translation in order to reduce data sparseness and compensate any lack of training corpus. In this work, we propose several approaches to introduce morphology knowledge into a standard phrase-based machine translation system. We provide word segmentation using two different tools (COGROO and MORFESSOR) which allow to reduce the vocabulary and data sparseness. Then, we add to these segmentations the morphological information of a POS language model. We combine all these approaches using a Minimum Bayes Risk strategy. Experiments show significant improvements from the enhanced system over the baseline system on Brazilian Portuguese/English language pair. Finally, we report a case study about the impact of enhancing the statistical machine translation system with morphology in a cross-language application system such as ONAIR which allows users to look for information in video fragments through queries in natural language. Keywords.Morphology, Factored-based Machine Translation, Cross-language Information Retrieval Estrategias de segmentación para afrontar los retos morfológicos en un sistema de traducción automática estadística y su integración en un sistema de búsqueda de información crosslingüe.Resumen. La segmentación basada en morfología es particularmente interesante en el contexto de la traducción automática estadística para reducir la dispersión de los datos y compensar la falta de los mismos. En este trabajo, proponemos diferentes aproximaciones para incorporar conocimiento morfológico en un sistema estándard de traducción automática estadística basado en segmentos. Propocionamos una segmentación en palabras usando dos herramientas diferentes (COGROO y MORFESSOR) que permiten precisamente reducir la dispersión de los datos. Después, añadimos información morfológica al modelo de lenguaje. Combinamos estas aproximaciones usando una estrategia para minimizar el riesgo de Bayes. Los experimentos demuestran mejoras significativas del sistema mejorado respecto al sistema de referencia en el par Brasileño/Inglés. Finalmente, reportamos un caso de estudio sobre el impacto de mejorar el sistema de traducción estadística con morfología en una aplicación como ONAIR que permite a los usuarios buscar información en fragmentos audiovisuales usando consultas en lenguaje natural.

Automatic Authorship Detection Using Textual Patterns Extracted from Integrated Syntactic Graphs

“…The vector space model [ 4 ] is employed in many text processing problems, such as information retrieval [ 5 ], text categorization, authorship attribution, recognizing textual entailment [ 6 , 7 , 8 ], sentiment analysis [ 9 ], etc.…”