調(diào)戲微軟文言文AI翻譯：“永不舍汝”、“其母之”是什么鬼？？？

夢晨 2021-08-31 13:54:35 來源：量子位

微軟亞洲研究院出品

夢晨蕭簫發(fā)自凹非寺
量子位報道 | 公眾號 QbitAI

聽說微軟搞了個AI翻譯文言文？

趕緊來試試，先來一段《曹劌論戰(zhàn)》的開頭：

我震驚了，居然能把“我”翻譯成“魯國”，“公”翻譯成“魯莊公”。

難道AI除了學習文言文詞匯和語法，還熟讀了《左傳》？

換成詩表現(xiàn)又將如何？

雖然翻譯出來不是很有文學性，但AI正確理解到了“望著同一個月亮”這層意思。

嚯，這個翻譯極大地引起了我的興趣。

如果百度和微軟一起上考場

既然翻譯出正確詞意不是太難，那文言文中的特殊語法AI能否掌握？

為了更好地評估微軟翻譯的能力，這里請出老牌選手百度翻譯，讓它們比試一下。

第一題：秦時明月漢時關(guān)

這里考點是互文的修辭方法，應(yīng)該理解成秦漢時期的明月、秦漢時期的關(guān)口。

百度的答案是：

看來百度沒理解到位，再看看微軟的答案：

微軟正確理解了互文，率先拿下1分。

第二題：春風又綠江南岸

這句的考點是詞類活用，綠本來是個形容詞，在這里用作動詞。

還是百度先來：

沒問題，接下來是微軟：

等一下，雖然綠用作動詞翻譯對了，可是后面怎么多了一個“可是”？

難道……把后半句詩也輸進去試試：

果然如此，看來微軟翻譯在用整句進行訓(xùn)練的時候掌握了句與句之間的轉(zhuǎn)折關(guān)系，后來不知怎么又算到前半句里了。

這次百度扳回一局，1:1平。

最后一題考驗一下文言文中的另一個常見語法現(xiàn)象——倒裝

比如《鄒忌諷齊王納諫》中的“我孰與城北徐公美？”

按慣例百度先：

然后是微軟：

看來兩個AI都學會了倒裝句的用法，最終結(jié)果2:2平，各有千秋。

微軟翻譯雖然多學會了一個互文，但畢竟還是年輕選手，對句子之間關(guān)系的處理需要再練習。

接下來挑戰(zhàn)一下微軟文言文翻譯的極限。

比如維基百科其實就有個文言文版叫維基大典，里面剛好有微軟的詞條。

來試試讓微軟AI翻譯一下自己公司的介紹：

看起來現(xiàn)代的偽文言文對于這個剛出生的小AI來說還是太苛刻了。

雖然也特別訓(xùn)練了“微軟”和“電腦”這種現(xiàn)代才出現(xiàn)的名詞，但遇到“一九七五年”這種古代不用的表達就不行了，前老板比爾蓋茨的名字也沒認出來。

“立之者”這里還按古文的語境腦補出一個“國君”，可能這就是過擬合吧。

說到現(xiàn)代的表達方式，其實這個翻譯工具還可以倒過來用，把白話文譯成文言文。

比如諸葛丞相那句“我從未見過有如此厚顏無恥之人！”要是用文言文說出來是不是就更對味了？

那么，這樣的模型是怎么“煉成”的呢？

Transformer加成，專攻訓(xùn)練數(shù)據(jù)

用AI搞文言文翻譯，確實不是頭一回見。

百度是最早用機器學習做文言文翻譯的，還申請過相關(guān)專利：「一種在白話文與文言文之間進行文體轉(zhuǎn)換的方法和設(shè)備」。

相關(guān)文言文翻譯的模型也不少，從機器學習、RNN到Transformer都有，像微軟這次采用的，就是Transformer模型：

△圖源：微軟研究院AI頭條

不過，文言文翻譯中的訓(xùn)練數(shù)據(jù)，卻一直是個難點。

相比于其他主流語言（中文現(xiàn)代文、英文等），文言文可以說是訓(xùn)練數(shù)據(jù)極少，同時還存在句式變換、繁簡混合等問題，造成翻譯的生硬。

這次微軟的文言文翻譯，主要就解決了四個方面的數(shù)據(jù)問題：

其一，針對數(shù)據(jù)量不足，利用相同字詞進行數(shù)據(jù)合成和增強。文言文和現(xiàn)代文有一些相同含義的字詞，如果對這些詞語進行召回、對齊，再擴展到短詞短句，就能合成大量可用的訓(xùn)練數(shù)據(jù)。
其二，針對句式變換不靈活，對數(shù)據(jù)格式進行變形，提升魯棒性。文言文斷句和現(xiàn)代文不太一樣，為此研究人員通過數(shù)據(jù)格式變形，來擴大訓(xùn)練數(shù)據(jù)量，讓模型也學會翻譯類似語句。
其三，針對字體識別不力，用簡繁混合數(shù)據(jù)訓(xùn)練，提升模型識別能力。為了讓機器學習能同時識別簡繁混合的文言文，研究人員在訓(xùn)練模型時會將簡體中文和繁體中文數(shù)據(jù)混合在一起進行訓(xùn)練，確保翻譯模型不出錯。
其四，針對現(xiàn)代文的“新詞”，專門建立相關(guān)數(shù)據(jù)集和識別模型，確保不“亂翻譯”。為了避免模型在遇到現(xiàn)代文中的“高鐵、電腦、互聯(lián)網(wǎng)”這種詞時出現(xiàn)混亂（例如將高鐵翻譯成高處的鐵塊），研究人員建了一個模型，專門用來識別這些新詞。除了新詞，也針對博客、論壇、微博等新文體進行訓(xùn)練。