中文預訓練模型ZEN開源，效果領域內最佳，創新工場港科大出品

允中 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

改進策略簡單有效、收斂速度快，同時小數據效果出色。

這就是中文預訓練模型ZEN。

在中文任務中，ZEN不僅性能優于BERT，也比之前中文預訓練模型更好。

可以說是目前全球中文領域最佳預訓練模型。

而且現在，ZEN開源了。源代碼和訓練好的模型均已發布，未來還承諾會有更大數據和其他語言版本迭代上新。

詳情我們展開往下說。

ZEN因何而生

隨著BERT（Devlin et al., 2018）等一系列預訓練模型的出現，該類型上下文相關表征方法受到了自然語言處理領域持續大范圍的關注。

這些預訓練模型帶來的好處是顯而易見：

一方面，它們可以利用大規模無標注純文本語料進行學習；

另一方面，它們是對于文本的有效表征，并且大量實驗表明，基于預訓練模型的各類NLP模型相比于以前的方法能帶來巨大的性能提升。

一般來說，預訓練模型研究通常分為兩個步驟：第一步是預訓練 (pre-training)，第二步是微調整 (fine-tune)。

其中，預訓練是指通過在大規模無標注的語料上進行無監督訓練，來學習通用的語言表達和上下文行文特點。

微調整指在特定的任務上，再次利用任務數據訓練和調整預訓練模型參數的過程。

目前，大多數中文預訓練模型基本上沿用了英文模型的做法，聚焦于小顆粒度文本單元（字）的輸入。

然而，與英文相比，中文沒有空格等明確的詞語邊界。

這個特點使得很多文本表達中存在的交叉歧義也被帶入了以字為序列的文本編碼中，使得模型更難從單字的序列中學習到大顆粒度文本蘊含的語義信息，例如雙字或者多字詞的整體含義等。

雖然通過大規模文本建?？梢砸欢ǔ潭壬蠀^分不同上下文環境的語義，但是依然沒有充分并顯式地利用預訓練和微調整語料中經常出現的詞、短語、實體等更大顆粒度的信息。

目前很多模型的解決方法依然是遵循傳統BERT模型的遮蓋（masking）策略，例如采用多層（詞，短語等）遮蓋策略來彌補這一缺陷。

然而遮蓋策略依然只是一種弱監督學習方法，用于學習詞邊界信息含有諸多問題：

• 第一，信息的質量無法得到保證，例如BERT-wwm（Cui et al., 2019）的效果依賴于外部中文分詞的質量；
• 第二，因為基于遮蓋方式訓練存在一個基礎難題，即遮蓋過程在訓練中存在，但是在測試過程中并不存在，因此直接利用遮蓋方式學習的詞和短語信息會導致訓練和測試過程的不匹配。

因此，如果能夠有效集成大顆粒度文本的信息，并且在訓練和測試過程中顯式地加入這樣的信息將有助于提升模型的表征能力。

于是，基于BERT的n-gram增強中文文本編碼器ZEN，由此而生。

它可以顯式地結合潛在詞語的邊界信息來幫助模型更好地對文本進行表征。ZEN有兩大優勢：

簡單有效。從數據上看，與其他模型引入更多數據不同，ZEN僅僅基于中文維基百科進行訓練。

ZEN不需要更多的數據集，但是卻顯示出了與其他模型相當的效果。從模型上看，引入n-gram編碼器的方式簡單靈活，不需要其他繁雜的預訓練優化方式。

收斂迅速。因為模型結構簡單，實驗表明相比于原生BERT,ZEN模型收斂速度明顯提高，在更短的時間內取得了更好的效果。這對于資源緊張的研究人員來講，無疑是一個好消息。

另外，在涵蓋詞匯級和句子級兩個層級的七大經典中文語言處理任務中——包括中文分詞（CWS），詞性標注（POS），命名實體識別（NER），文本分類（DC），情感分類（SA），語義匹配（SPM），自然語言推理（NLI），ZEN在七個下游任務上都帶來了顯著的提升。同時本文還在小規模數據集上進行了實驗，模擬了只有少量預訓練數據語料的場景。

而且ZEN如此效果，也展示了未來應用到其他文本受限領域的潛力，比如醫療。

同時，該研究中加入大顆粒度文本的方式是一種通用的增強方式，未來可在中文之外的其他語言上也得到應用。

具體模型

ZEN的模型架構如圖所示：

N-gram 抽取

首先，利用已有的預訓練語料，基于頻率來抽取n-gram，構造n-gram 詞匯表(lexicon)。

其次，模型在將單字的序列作為輸入的同時，也將出現的n-gram作為輸入標記。利用已有的詞匯表，對預訓練數據中的每一個輸入，抽取句中出現的n-gram。

N-gram 編碼

給定一個輸入句子相應的多個n-gram，本文利用了一個6層的transformer結構作為n-gram encoder，來對輸入的n-gram提取特征進行編碼。n-gram的嵌入向量經過n-gram encoder，得到n-gram的表示。

有了n-gram的表示之后，ZEN將字（Character）的表示與每個字對應的n-gram向量表示結合起來，在輸出端相加，并一起被輸入至后續結構之中。

結合n-gram和字編碼的預訓練

如圖1所示，輸入的帶n-gram標記的句子首先會經過嵌入層 (Embedding Layer)。在這一層里，每個輸入的單字和n-gram會被替換成嵌入矩陣中對應位置的向量。

與此同時，每個向量會被加上一個Positional Encoding，用來表示其在句子之中出現的位置。

之后，字的嵌入向量會被輸入Character Encoder，進行計算并得到每個字在這一層的向量表達。

與此同時，n-gram的嵌入向量會被輸入n-gram encoder。兩部分輸出會被同時輸入attention encoder。

模型的最末端會被接入全連接層和Softmax層結構來幫助完成預訓練。

實驗結果

如上圖，ZEN的總體性能及其與現有模型在七項NLP任務上的比較情況。

文章對BERT和ZEN兩個模型分別實現了兩組設置：R（隨機初始化） 和 P（基于谷歌開源的BERT中文模型進行初始化）。

實驗結果表明，在兩組設置上，ZEN都取得了比BERT更好的性能。

同時，ZEN與現有的其他模型在七個任務上進行了比較，ZEN取得了包括CWS、POS、NER、DC、SPM在內的五個任務上最好的結果。

在僅僅利用中文維基百科，沒有其他語料的前提下，在情感分類和自然語言推理任務上也達到了相當不錯的表現。

分析討論

小數據集潛力

除了以上實驗，該研究還探究了模型在小數據集上的潛力。

考慮到目前的預訓練模型使用了大型的訓練語料，但是對于很多特殊的領域，大型數據集很難獲取。

因此本文抽出1/10的中文維基百科語料，來模擬了一種語料有限的場景，目的是探究ZEN在小數據集上的潛力。

實驗結果如下圖所示，在全部七個任務上，ZEN都明顯優于BERT。這表明ZEN在數據有限的場景下，具有更大的潛力。

收斂速度

中文分詞和情感分類兩個任務被用于該分析的探測任務，來探究BERT與ZEN的收斂速度造成在這些任務上性能的差異。

兩個任務上的實驗都表明，ZEN可以在更少的迭代次數情況下達到更高的性能。

如上圖，BERT與ZEN在中文分詞任務（左圖）和情感分類任務（右圖）收斂速度的比較情況。

熱圖分析

通過熱度圖，還通過實驗分析了兩個案例，將n-gram encoder的注意力機制可視化出來。

通過熱度圖可以清晰地看到，注意力會更多的關注在有效的n-gram。比如“波士頓”的權重明顯高于“士頓”。對于有劃分歧義的句子，n-gram encoder可以正確的關注到“速度”而不是“高速”。

更加有趣的是，在不同層次的encoder關注的n-gram也不同。更高層的encoder對于“提高速度”和“波士頓咨詢”這樣更長的有效n-gram分配了更多的權重。

這表明，結合n-gram的方法的預訓練，不僅僅提供給文本編碼器更強大的文本表征能力，甚至還間接產生了一種文本分析的有效方法。這個案例分析暗示我們，或許將來可以用類似地方法提供無指導的文本抽取和挖掘

結語

所以通過研究解析，也可以看出，ZEN對高概率成詞的n-gram添加了獨有的編碼和向量表示，此模型可以提供更強的文本的編碼能力和理解能力。

在多個中文自然語言任務之上都有比基于單字的語言模型有更好的表現效果。

與之前的中文預訓練模型相比，ZEN的優勢在于提出的改進策略簡單有效并且收斂速度快，同時在有限語料的基礎上可以達到更大規模語料的訓練效果。

相比于大多數已有研究對預訓練策略的改進，ZEN是為數不多的對預訓練模型架構進行了改進的工作。

這也帶來更進一步的啟示，可以深度探索已有模型的內部機制，進一步分析文本及其表征模型中蘊含的Zen——禪意。

作者

最后，簡單介紹下ZEN模型背后的團隊。

這是創新工場AI工程院和香港科技大學的聯合研究。

或許對于VC身份的創新工場你已熟悉，但如此深入開展科研和前沿技術開源的創新工場旗下組織，你可能還不那么熟悉。

創新工場AI工程院成立于2016年9月，以“科研+工程實驗室”模式，規劃研發方向發展。

而且這也不是創新工場AI工程院首次成果展示，光2019年，其聯合國內外科研高校，就有過8篇頂會論文研究披露。

包含NeurIPS 2019、ICCV、IROS、EMNLP、IEEE TVCG等在內的頂會和頂級期刊，均有創新工場AI工程院的身影。

此外值得一體的是，今年創新工場AI工程院還有一篇區塊鏈技術論文入選計算機網絡頂級學術會議NSDI，這是國際主流學術界首次認可區塊鏈擴容方案的相關研究，是該會議今年錄取的唯一一篇與區塊鏈相關的論文。

創新工場也積極參與了國際相關的技術標準制定工作。例如，今年8月，第28屆國際人工智能聯合會議（IJCAI）在中國澳門隆重舉辦，期間召開了IEEE P3652.1（聯邦學習基礎架構與應用）標準工作組第三次會議。

領軍人才方面，香港科技大學教授、前騰訊AI Lab主任張潼目前是創新工場科研合伙人、創新工場大灣區AI研究院名譽院長。

香港科技大學也是創新工場的重要合作機構之一，今年3月20日，香港科技大學和創新工場還聯合宣布成立計算機感知與智能控制聯合實驗室（Computer Perception and Intelligent Control Lab）。

按照官方披露，目前創新工場AI工程院設有醫療AI、機器人、機器學習理論、計算金融、計算機感知等面向前沿科技與應用方向的研發實驗室，還先后設立了創新工場南京國際人工智能研究院、創新工場大灣區人工智能研究院。

目標是培養人工智能高端科研與工程人才，研發以機器學習為核心的前沿人工智能技術，并同各行業領域相結合，為行業場景提供一流的產品和解決方案。

所以怎么說呢？在新技術周期時代，創新工場可能是全世界最硬核、最愿意為技術研發投入的投資機構了。

此次開源的中文預訓練模型ZEN，就是一個更好的開始。

對于學術科研領域來說，有錢有心的投資機構們愿意參與推動這樣的技術進步，再好不過啦。

傳送門

ZEN開源地址：

https://github.com/sinovation/zen

論文地址：

http://arxiv.org/abs/1911.00720