Language and Dialect Identification of Cuneiform Texts

Jauhiainen, Tommi; Jauhiainen, Heidi; Alstola, Tero; Lindén, Krister

doi:10.18653/v1/w19-1409

Cited by 25 publications

(26 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…2019) system to discriminating between Sumerian and Akkadian historical dialects in Cuneiform script (Jauhiainen et al . 2019a). BERT and other Transformer-based contextual representations have been recently applied to various NLP tasks achieving state-of-the-art results.…”

Section: Applicationsmentioning

confidence: 99%

“…In terms of computational methods, the bulk of research on this topic and the systems submitted to the DSL shared tasks at VarDial have shown that traditional machine learning classifiers such as support vector machines (Cortes and Vapnik 1995) tend to outperform dense neural network approaches for similar languages and language varieties (Bestgen 2017; Medvedeva, Kroon, and Plank 2017). The best system (Bernier-Colborne, Goutte, and Léger 2019) submitted to the VarDial 2019 Cuneiform Language Identification (CLI) shared task (Zampieri et al 2019), however, has outperformed traditional machine learning methods using a BERT-based (Devlin et al 2019) system to discriminating between Sumerian and Akkadian historical dialects in Cuneiform script (Jauhiainen et al 2019a). BERT and other Transformer-based contextual representations have been recently applied to various NLP tasks achieving state-of-the-art results.…”

Section: Language and Dialect Identificationmentioning

confidence: 99%

See 1 more Smart Citation

Natural language processing for similar languages, varieties, and dialects: A survey

Zampieri

Nakov²,

Scherrer

2020

Nat. Lang. Eng.

View full text Add to dashboard Cite

There has been a lot of recent interest in the natural language processing (NLP) community in the computational processing of language varieties and dialects, with the aim to improve the performance of applications such as machine translation, speech recognition, and dialogue systems. Here, we attempt to survey this growing field of research, with focus on computational methods for processing similar languages, varieties, and dialects. In particular, we discuss the most important challenges when dealing with diatopic language variation, and we present some of the available datasets, the process of data collection, and the most common data collection strategies used to compile datasets for similar languages, varieties, and dialects. We further present a number of studies on computational methods developed and/or adapted for preprocessing, normalization, part-of-speech tagging, and parsing similar languages, language varieties, and dialects. Finally, we discuss relevant applications such as language and dialect identification and machine translation for closely related languages, language varieties, and dialects.

show abstract

Section: Applicationsmentioning

confidence: 99%

Section: Language and Dialect Identificationmentioning

confidence: 99%

Natural language processing for similar languages, varieties, and dialects: A survey

Zampieri

Nakov²,

Scherrer

2020

Nat. Lang. Eng.

View full text Add to dashboard Cite

show abstract

“…Työpajan ohessa luotiin yhteyksiä Tromssan yliopiston Giellatekno -tutkimusryhmään ja tutustuttiin heidän toimintaansa. 17 Myöhemmin samana vuonna T. Jauhiainen kutsuttiin esittelemään projektia Viron kansalliskirjastossa järjestettyyn "Web Archiving: Preserving the History of Data-Driven Society" -tapahtumaan, 18 Tallinnaan.…”

Section: Verkkoharavointiaunclassified

“…Vuonna 2019 he olivat myös itse järjestäneet yhden kilpailuista. Kilpailu, "Cuneiform Language Identification" (CLI), keskittyi nuolenpäillä kirjoitettujen akkadin-ja sumerinkielisten tekstien murteiden tunnistamiseen [17]. Vuoden 2020 kilpailu nimettiin "Uralic Language Identification" (ULI) ja se keskittyi erityisesti harvinaisten uralilaisten kielten tekstipätkien tunnistamiseen isosta määrästä tekstiä, joka oli kirjoitettu enimmäkseen muilla kuin uralilaisilla kielillä [25].…”

Section: Uudempia Tutkimuksia Ja Tuotoksiaunclassified

Suomalais-ugrilaiset kielet ja internet -projekti 2013-2019

Jauhiainen¹,

Jauhiainen²,

Lindén³

2021

Multilingual Facilitation

Self Cite

View full text Add to dashboard Cite

Tässä artikkelissa esittelemme vuonna 2013 aloittaneen ja 2019 päättyneen Koneen säätiön rahoittaman Suomalais-ugrilaiset kielet ja internet projektin suunnittelua sekä toteutusta ja kokoamme yhteen saavutettuja tuloksia. Aikaisemmin julkaistujen valmiiden tulosten lisäksi esittelemme myös joitakin keskeneräisiksi jääneitä tuotoksia. Projektissa kerättiin verkkoharavoinnin ja automaattisen kielentunnistuksen avulla harvinaisilla uralilaisilla kielillä kirjoitettujen sivujen tekstiä avoimilta verkkosivuilta. Projektissa kehitetty Wanca-portaalisivusto toimii kokoelmana linkkejä haravoinnin yhteydessä löydetyille näitä kieliä käyttäen kirjoitetuille sivuille. Projektissa kehitettiin prosessi, jota käyttäen verkkoharavan avulla löydetyistä teksteistä muodostetaan virkekorpuksia halutuille kielille. Muodostetut virkekorpukset ovat avoimesti saatavilla FIN-CLARIN konsortion ylläpitämän Kielipankin Korp-palvelussa. Verkkoharavoinnin ja korpusten kokoamisen ohella projekti keskittyi erityisesti kielentunnistuksen menetelmien kehittämiseen, jossa saavutettiin kansainvälisesti erittäin merkittäviä tuloksia. Projektin tutkijat ovat osallistuneet kansainvälisiin tekstin kielentunnistukseen keskittyneisiin kilpailuihin ja voittaneet niistä useita.

show abstract

“…The baseline methods and their results included in the table are described by Jauhiainen et al (2019a). The NRC-CNRC team submitted three runs.…”

Section: Participants and Approachesmentioning

confidence: 99%

A Report on the Third

Zampieri

Malmasi²,

Scherrer³

et al. 2019

Proceedings of the Sixth Workshop On

Self Cite

View full text Add to dashboard Cite

In this paper, we present the findings of the Third VarDial Evaluation Campaign organized as part of the sixth edition of the workshop on Natural Language Processing (NLP) for Similar Languages, Varieties and Dialects (VarDial), co-located with NAACL 2019. This year, the campaign included five shared tasks, including one task rerun -German Dialect Identification (GDI)-and four new tasks-Cross-lingual Morphological Analysis (CMA), Discriminating between Mainland and Taiwan variation of Mandarin Chinese (DMT), Moldavian vs. Romanian Cross-dialect Topic identification (MRC), and Cuneiform Language Identification (CLI). A total of 22 teams submitted runs across the five shared tasks. After the end of the competition, we received 14 system description papers, which are published in the VarDial workshop proceedings and referred to in this report.

show abstract

Language and Dialect Identification of Cuneiform Texts

Cited by 25 publications

References 13 publications

Natural language processing for similar languages, varieties, and dialects: A survey

Natural language processing for similar languages, varieties, and dialects: A survey

Suomalais-ugrilaiset kielet ja internet -projekti 2013-2019

A Report on the Third

Contact Info

Product

Resources

About