Improving Cuneiform Language Identification with

Bernier-Colborne, Gabriel; Goutte, Cyril; Léger, Serge

doi:10.18653/v1/w19-1402

Cited by 15 publications

(9 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…We used the same LM adaptation scheme as presented in this paper with the HeLI 2.0 method as well as with a custom NB implementation (Jauhiainen, Jauhiainen, and Lindén 2019), two teams used such a scheme with SVMs (Benites, von Däniken, and Cieliebak 2019; Wu et al . 2019) and one learned new information from the test set with deep neural networks (Bernier-Colborne, Goutte, and Léger 2019). All three shared tasks e concentrating on language, dialect, or variety identification were won using one of these systems.…”

Section: Discussionmentioning

confidence: 99%

Language model adaptation for language and dialect identification of text

2019

View full text Add to dashboard Cite

This article describes an unsupervised language model adaptation approach that can be used to enhance the performance of language identification methods. The approach is applied to a current version of the HeLI language identification method, which is now called HeLI 2.0. We describe the HeLI 2.0 method in detail. The resulting system is evaluated using the datasets from the German dialect identification and Indo-Aryan language identification shared tasks of the VarDial workshops 2017 and 2018. The new approach with language identification provides considerably higher F1scores than the previous HeLI method or the other systems which participated in the shared tasks. The results indicate that unsupervised language model adaptation should be considered as an option in all language identification tasks, especially in those where encountering out-of-domain data is likely.

show abstract

Section: Discussionmentioning

confidence: 99%

Language model adaptation for language and dialect identification of text

2019

View full text Add to dashboard Cite

show abstract

“…The results by Bernier-Colborne et al . (2019) in the CLI shared task seem to indicate that recent developments in contextual embedding representations may also yield performance improvement in language identification applied to similar languages, varieties, and dialects.…”

Section: Applicationsmentioning

confidence: 99%

“…In terms of computational methods, the bulk of research on this topic and the systems submitted to the DSL shared tasks at VarDial have shown that traditional machine learning classifiers such as support vector machines (Cortes and Vapnik 1995) tend to outperform dense neural network approaches for similar languages and language varieties (Bestgen 2017; Medvedeva, Kroon, and Plank 2017). The best system (Bernier-Colborne, Goutte, and Léger 2019) submitted to the VarDial 2019 Cuneiform Language Identification (CLI) shared task (Zampieri et al . 2019), however, has outperformed traditional machine learning methods using a BERT-based (Devlin et al .…”

Section: Applicationsmentioning

confidence: 99%

Natural language processing for similar languages, varieties, and dialects: A survey

Zampieri

Nakov²,

Scherrer

2020

Nat. Lang. Eng.

View full text Add to dashboard Cite

There has been a lot of recent interest in the natural language processing (NLP) community in the computational processing of language varieties and dialects, with the aim to improve the performance of applications such as machine translation, speech recognition, and dialogue systems. Here, we attempt to survey this growing field of research, with focus on computational methods for processing similar languages, varieties, and dialects. In particular, we discuss the most important challenges when dealing with diatopic language variation, and we present some of the available datasets, the process of data collection, and the most common data collection strategies used to compile datasets for similar languages, varieties, and dialects. We further present a number of studies on computational methods developed and/or adapted for preprocessing, normalization, part-of-speech tagging, and parsing similar languages, language varieties, and dialects. Finally, we discuss relevant applications such as language and dialect identification and machine translation for closely related languages, language varieties, and dialects.

show abstract

“…Hän oli kirjoittanut tutkimustyönsä pohjalta pro gradu -tutkielman "Tekstin kielen automaattinen tunnistaminen" [15]. Tutkielma oli syntynyt osana Suomen Kansalliskirjaston verkkojulkaisujen keräämisen, eli verkkoharavoinnin, 5 kehitystyötä. Tutkielman ohella hän oli rakentanut kielentunnistimen, joka kykeni erottelemaan tekstin kielen 103 kielen joukosta.…”

Section: Projektin Suunnitteluunclassified

“…Kilpailu osoittautui erittäin haastavaksi, toisaalta epätavallisen testiasetelman ja toisaalta suurten harjoituskorpusten osalta. Ainoastaan Kanadan kansallisen tutkimuskeskuksen tutkimusryhmä onnistui tuottamaan tuloksia kilpailuun käyttäen BERT pohjaisia syväoppivia menetelmiä [9], joilla sama tutkimusryhmä oli voittanut 2019 järjestetyn CLI kilpailun [5,43]. Heidän tuloksensa jäivät kuitenkin merkittävästi SUKI-projektin tuottamista vertailutuloksista [4].…”

Section: Uudempia Tutkimuksia Ja Tuotoksiaunclassified

Suomalais-ugrilaiset kielet ja internet -projekti 2013-2019

Jauhiainen¹,

Jauhiainen²,

Lindén³

2021

Multilingual Facilitation

View full text Add to dashboard Cite

Tässä artikkelissa esittelemme vuonna 2013 aloittaneen ja 2019 päättyneen Koneen säätiön rahoittaman Suomalais-ugrilaiset kielet ja internet projektin suunnittelua sekä toteutusta ja kokoamme yhteen saavutettuja tuloksia. Aikaisemmin julkaistujen valmiiden tulosten lisäksi esittelemme myös joitakin keskeneräisiksi jääneitä tuotoksia. Projektissa kerättiin verkkoharavoinnin ja automaattisen kielentunnistuksen avulla harvinaisilla uralilaisilla kielillä kirjoitettujen sivujen tekstiä avoimilta verkkosivuilta. Projektissa kehitetty Wanca-portaalisivusto toimii kokoelmana linkkejä haravoinnin yhteydessä löydetyille näitä kieliä käyttäen kirjoitetuille sivuille. Projektissa kehitettiin prosessi, jota käyttäen verkkoharavan avulla löydetyistä teksteistä muodostetaan virkekorpuksia halutuille kielille. Muodostetut virkekorpukset ovat avoimesti saatavilla FIN-CLARIN konsortion ylläpitämän Kielipankin Korp-palvelussa. Verkkoharavoinnin ja korpusten kokoamisen ohella projekti keskittyi erityisesti kielentunnistuksen menetelmien kehittämiseen, jossa saavutettiin kansainvälisesti erittäin merkittäviä tuloksia. Projektin tutkijat ovat osallistuneet kansainvälisiin tekstin kielentunnistukseen keskittyneisiin kilpailuihin ja voittaneet niistä useita.

show abstract

Improving Cuneiform Language Identification with

Cited by 15 publications

References 19 publications

Language model adaptation for language and dialect identification of text

Language model adaptation for language and dialect identification of text

Natural language processing for similar languages, varieties, and dialects: A survey

Suomalais-ugrilaiset kielet ja internet -projekti 2013-2019

Contact Info

Product

Resources

About