C ommon LID : Re-evaluating State-of-the-Art Language Identification Performance on Web Data
Pedro Ortiz Suarez · Laurie Burchell · Catherine Arnett · Rafael Mosquera · Sara Hincapié Monsalve · Thom Vaughan · Damian Stewart · Malte Ostendorff · Idris Abdulmumin · Vukosi Marivate · Shamsuddeen Hassan Muhammad · Atnafu Lambebo Tonja · Hend Al-Khalifa · Nadia Ghezaiel Hammouda · Verrah Akinyi Otiende · Tack Hwa Wong · Jakhongir Saydaliev · Melika Nobakhtian · Muhammad Ravi Shulthan Habibi · Chalamalasetti Kranti · Carol Muchemi · Khang Nguyen · Faisal Muhammad Adam · Luis Frentzen Salim · Reem Alqifari · Cynthia Jayne Amol · Joseph Marvin Imperial · Ilker Kesen · Ahmad Mustafid · Pavel Stepachev · Leshem Choshen · David Anugraha · Hamada Nayel · Seid Muhie Yimam · Vallerie Alexandra Putra · My Chiffon Nguyen · Azmine Toushik Wasi · Gouthami Vadithya · Rob van der Goot · Lanwenn ar C’horr · Karan Dua · Andrew Yates · Mithil Bangera · Yeshil Bangera · Hitesh Laxmichand Patel · Shu Okabe · Fenal Ashokbhai Ilasariya · Dmitry Gaynullin · Genta Indra Winata · Yiyuan Li · Juan Pablo Martínez · Amit Agarwal · Ikhlasul Akmal Hanif · Raia Abu Ahmad · Esther Adenuga · Filbert Aurelian Tjiaranata · Weerayut Buaphet · Michael Anugraha · Sowmya Vajjala · Benjamin L Rice · Azril Hafizi Amirudin · Jesujoba Oluwadara Alabi · Srikant Panda · Yassine Toughrai · Bruhan Kyomuhendo · Daniel Ruffinelli · Akshata · Manuel Goulão · Ej Zhou · Ingrid Gabriela Franco Ramirez · Cristina Aggazzotti · Konstantin Dobler · Jun Kevin · Quentin Pagès · Nicholas Andrews · Nuhu Ibrahim · Mattes Ruckdeschel · Amr Keleg · Mike Zhang · Casper Rufaro Muziri · Saron Samuel · Sotaro Takeshita · Kun Kerdthaisong · Luca Foppiano · Rasul Dent · Tommaso Green · Ahmad Mustapha Wali · Kamohelo Makaaka · Vicky Feliren · Inshirah Idris · Hande Celikkanat · Abdulhamid Abubakar · Jean Maillard · Benoît Sagot · Thibault Clérice · Kenton Murray · Sarah K. K. Luger
摘要
Language identification (LID) is a fundamental step in curating multilingual corpora. However, LID models still perform poorly for many languages, especially on the noisy and heterogeneous web data often used to train multilingual language models. In this paper, we introduce CommonLID, a communit...