目前，全球存在著超過6900種語言，這是自然語言處理研究者們的巨大噩夢(mèng)。因?yàn)榇蠖鄶?shù)語言都是數(shù)據(jù)稀疏的，研究者找不到足夠多的數(shù)據(jù)來單獨(dú)訓(xùn)練成熟模型。

　　但幸運(yùn)的是，許多語言共享大量的基礎(chǔ)結(jié)構(gòu)。比如在詞匯層面上，語言通常具有源自同一來源的單詞，例如，英語中的“desk”和德語中的“Tisch”都來自拉丁語“disus”。同樣，許多語言也以相似的方式標(biāo)記語義角色，例如使用后置位置標(biāo)記中文和土耳其語的時(shí)空關(guān)系。

　　谷歌今天發(fā)布了一個(gè)自然語言處理系統(tǒng)基準(zhǔn)測(cè)試Xtreme，其中包括對(duì)12種語言家族和40種語言進(jìn)行的9項(xiàng)推理任務(wù)。這家科技巨頭的研究人員斷言，它能夠評(píng)估人工智能模型是否能夠?qū)W習(xí)跨語言的知識(shí)，這對(duì)于越來越多的自然語言應(yīng)用程序是有用的。

　　谷歌也在官博上介紹了Xtreme：

　　https://ai.googleblog.com/2020/04/xtreme-massively-multilingual-multi.html

　　這一基準(zhǔn)測(cè)試的目標(biāo)是促進(jìn)人工智能多語言學(xué)習(xí)領(lǐng)域的研究，在這個(gè)領(lǐng)域，已經(jīng)有大量工作研究了是否可以利用數(shù)據(jù)稀疏的語言結(jié)構(gòu)來訓(xùn)練可靠的機(jī)器學(xué)習(xí)模型。

　　選擇Xtreme作為基準(zhǔn)測(cè)試是為了最大限度地?cái)U(kuò)大多樣性，擴(kuò)大現(xiàn)有任務(wù)的覆蓋面，以及提供訓(xùn)練數(shù)據(jù)。其中包括一些未被充分研究的語言，例如在印度南部、斯里蘭卡和新加坡使用的達(dá)羅毗荼語系語言泰米爾語，主要在印度南部使用的泰盧固語和馬拉雅拉姆語，以及在非洲使用的尼日爾-剛果語系斯瓦希里語和約魯巴語。

　　Xtreme的9項(xiàng)任務(wù)涵蓋了一系列基本范式，包括句子分類(即將一個(gè)句子分配給一個(gè)或多個(gè)類)和結(jié)構(gòu)化預(yù)測(cè)(預(yù)測(cè)實(shí)體和詞類等對(duì)象) ，以及句子檢索(對(duì)一組記錄進(jìn)行查詢匹配)和高效的問答。

　　▲ Google的Xtreme基準(zhǔn)支持的任務(wù)

　　模型要先在跨語言學(xué)習(xí)的文本上進(jìn)行預(yù)訓(xùn)練后，才能在Xtreme上進(jìn)行測(cè)試。然后，考慮到英語是最有可能具有標(biāo)記數(shù)據(jù)的語言，他們必須針對(duì)特定任務(wù)的英語數(shù)據(jù)進(jìn)行微調(diào)。Xtreme評(píng)估了這些模型的零點(diǎn)跨語言轉(zhuǎn)移性能(zero-shot cross-lingual transfer performance)，也就是在其他語言中沒有看到任務(wù)特定的數(shù)據(jù)。對(duì)于在其他語言中可以使用標(biāo)記數(shù)據(jù)的任務(wù)，Xtreme還比較了對(duì)語言內(nèi)數(shù)據(jù)的微調(diào)，并通過獲得所有任務(wù)的零概率得分最終得出一個(gè)綜合分?jǐn)?shù)。

　　在Xtreme初步實(shí)驗(yàn)中，谷歌的一個(gè)研究團(tuán)隊(duì)發(fā)現(xiàn)，即使是最先進(jìn)的多語言模型，如BERT、XLM、XLM-r和M4，也都沒有達(dá)到預(yù)期水平。其中，BERT對(duì)西班牙語的準(zhǔn)確率為86.9/100，日語則只有49.2/100，要轉(zhuǎn)換成非拉丁文字也十分困難，而所有的模型都很難預(yù)測(cè)到在英語訓(xùn)練數(shù)據(jù)中沒有看到的遠(yuǎn)方語言的實(shí)體，比如，在印度尼西亞語和斯瓦希里語上的準(zhǔn)確率分別為58.0和66.6，而在葡萄牙語和法語上的準(zhǔn)確率為82.3和80.1。

　　Google Research高級(jí)軟件工程師Melvin Johnson和DeepMind科學(xué)家Sebastian Ruder在一篇博客文章中寫道：“我們發(fā)現(xiàn)，盡管模型在大多數(shù)現(xiàn)有的英語任務(wù)中，表現(xiàn)已接近人類，但在許多其他語言中表現(xiàn)尚不足預(yù)期。總的來說，在模型和模擬環(huán)境中，英語和其它語言的表現(xiàn)之間仍然存在巨大差距，這也表明，跨語言遷移的研究潛力很大。”

　　Xtreme基準(zhǔn)測(cè)試的代碼和數(shù)據(jù)已經(jīng)在GitHub上開源，還有運(yùn)行各種基線的示例。

　　GitHub鏈接：https://github.com/google-research/xtreme

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。