意念打字登Nature封面！每分鐘寫90個字符，準(zhǔn)確率超99%

夢晨 2021-05-13 13:32:15 來源：量子位

楊凈 夢晨 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

萬萬沒想到，腦機(jī)接口這么快就有了重大突破！

甚至還登上了Nature封面。

一位截癱患者，正在用“意念”打出一段話，0.5秒左右就能輸出一個字母。

準(zhǔn)確率也十分驚人，高達(dá)99.1%。

他所需要做的，只是在腦中將字母“手寫”出來，然后系統(tǒng)就會自動識別生成字母，一分鐘可寫90個字符。

這幅字雖然寫的不咋地，但起碼受到了Nature的“青睞”。

值得一提的是，在此之前，這位患者在另一個測試項目中，嘗試過“意念”移動光標(biāo)來打字，不過一分鐘只能打出13.4個正確字符 。

此研究一出，就引發(fā)學(xué)界、網(wǎng)友的巨大關(guān)注。

祝賀之余，一位華盛頓大學(xué)教授甚至直呼：我打的都比它慢！

RNN立功了

這位代號為T5的老爺子腦中植入的，是兩個來自Braingate的電極陣列，各含有96個電極。

實(shí)驗(yàn)剛開始就遇到第一個困難：如何識別用戶什么時候開始嘗試書寫字母。

最后發(fā)現(xiàn)原本用于語音識別的模型可以完成這個任務(wù)。

解決這個問題之后，研究人員發(fā)現(xiàn)書寫單個字符時觀察到的腦部活動相對固定，并且總是集中在一起。

并且書寫形狀類似的字母比如“b”和“p”時用到的區(qū)域是接近的。

看來即使癱瘓多年，運(yùn)動皮層中筆跡的神經(jīng)表征也沒有消退。

經(jīng)過人工標(biāo)注后，這些數(shù)據(jù)就可以作為原始數(shù)據(jù)集了。

接下來是算法，研究人員選擇了循環(huán)神經(jīng)網(wǎng)絡(luò)?(Recurrent Neural Network，以下簡稱RNN)。

與常見的前饋神經(jīng)網(wǎng)絡(luò)相比，RNN對數(shù)據(jù)序列中的每個元素執(zhí)行相同的任務(wù)，計算結(jié)果取決于之前的所有結(jié)果，所以用循環(huán)命名。

RNN更擅長預(yù)測連續(xù)數(shù)據(jù)，正適合這次研究的連續(xù)書寫一個句子。

RNN雖強(qiáng)大但有一個缺點(diǎn)，就是需要大量的數(shù)據(jù)，否則容易出現(xiàn)過擬合。

這次參與研究的被試就只有老爺子一人，他也不愿意每天花好幾個小時大量的進(jìn)行重復(fù)書寫提供數(shù)據(jù)。

不過沒關(guān)系，還有數(shù)據(jù)增強(qiáng)?(Data Augmentation)。就是對每個圖像數(shù)據(jù)進(jìn)行一些微小的改變，旋轉(zhuǎn)一下、縮放一點(diǎn)、或者鏡像翻轉(zhuǎn)之類的操作，增加數(shù)據(jù)的多樣性。

除了26個字母以外，輸入英文還得有一些必要的標(biāo)點(diǎn)符號。比如空格，研究人員就要求老爺子用>代替，英文句號只有一個點(diǎn)也不好分辨，用～代替。此外還有逗號、頓號和問號。

不過這次研究沒加入數(shù)字，可能是研究人員覺得區(qū)分z和2有點(diǎn)難，就留待下次解決了。

開始訓(xùn)練時使用的數(shù)據(jù)只有242個句子，隨后每天都增加一些，最終共有572個句子，31,472個字符。

最后，為了解決有的英文字母之間過于相似，研究人員還設(shè)計了一套專用于腦機(jī)接口的字母表進(jìn)行測試，準(zhǔn)確率會高不少，但有學(xué)習(xí)成本。

字符準(zhǔn)確率最高達(dá)99.1%

接著，就到了志愿者測試階段。

根據(jù)屏幕提示，志愿在大腦中一個字母一個字母地復(fù)制書寫，字符經(jīng)過識別生成在屏幕上。

結(jié)果測試顯示，從大腦“手寫”字符，到字符在屏幕中出現(xiàn)，中間會有一個延遲，大概在0.4-0.7秒之間。

整體來看，志愿者平均每分鐘可以打出18個單詞、90個字符，字符錯誤率僅為5.9%。

經(jīng)過類似手機(jī)自動糾正的預(yù)測語言模型之后，他們進(jìn)一步將字符的準(zhǔn)確率提高到99.1%。

單詞的錯誤率也從25.1%降低到3.4%。

此外，志愿者還進(jìn)行了一番自我創(chuàng)作——不用復(fù)制、自己“書寫”句子，結(jié)果每分鐘也可以打出73.8 個字符，經(jīng)過預(yù)測語言模型糾正后，準(zhǔn)確率超過了97%。

最后，為了挑戰(zhàn)極限，研究人員還訓(xùn)練了一個新的RNN，用戶寫完整個句子之后再集中處理，這種方法的正確率高達(dá)99.83%，不過用戶就得不到實(shí)時的反饋了。

實(shí)際上，這其實(shí)是BrainGate項目的一部分。這是一個多機(jī)構(gòu)聯(lián)盟的項目，包括布朗大學(xué)、美國生物技術(shù)公司Cyberkinetics，專注于腦機(jī)接口技術(shù)，致力于恢復(fù)神經(jīng)系統(tǒng)疾病、損傷或喪失肢體的人的交流、行動和獨(dú)立性。

此前，這個項目實(shí)現(xiàn)了腦機(jī)接口信號的無線傳輸，讓患者可以離開實(shí)驗(yàn)室環(huán)境，在家輕松上網(wǎng)看視頻。

斯坦福大學(xué)霍華德?休斯醫(yī)學(xué)研究所（HHMI）研究員、論文作者之一Krishna Shenoy表示，此次研究最大的創(chuàng)新在于，破譯了與手寫筆記相關(guān)的大腦信號，讓截癱患者快速準(zhǔn)確的打字。

論文一作，同樣是來自斯坦福大學(xué)的Frank Willett博士，他表示會將整個研究的代碼和神經(jīng)數(shù)據(jù)開源。

目前，它還不是一個完整的、臨床的商業(yè)系統(tǒng)，畢竟也只在一個人身上進(jìn)行了測試。

接下來將在更多測試群體、打字功能的拓展（編輯、刪除）、擴(kuò)展字符集（比如大寫字母，以及其他語言）等方面進(jìn)行提升。

是不是可以dream一個漢語？

除此之外，還有一些因素值得討論，比如成本和風(fēng)險。

華盛頓大學(xué)生物工程系學(xué)者Pavithra Rajeswaran、電氣和計算機(jī)工程系學(xué)者Amy Orsborn表示，這項研究仍需要經(jīng)過試驗(yàn)論證，將電極植入大腦的費(fèi)用和風(fēng)險是否合理。

受益的不止癱瘓者

除了癱瘓患者外，也有因其他傷病導(dǎo)致打字困難的人表示很激動！

比如閉鎖綜合癥，因部分神經(jīng)的損壞導(dǎo)致身體部分機(jī)能的退化或消失，雖然意識清醒，但無法通過語言交流。

還有重復(fù)性壓迫損傷?(RSI)，包括因使用鼠標(biāo)或打字不當(dāng)產(chǎn)生的鼠標(biāo)手、腱鞘炎等。

有一位RSI患者說，我還需要一個能夠模仿鼠標(biāo)滾輪的功能，不過網(wǎng)友回復(fù)他說你用一個腳踩的踏板或者眼球追蹤要比侵入型腦機(jī)接口簡單多了。

看到這個消息，網(wǎng)友也腦洞大開。

有人發(fā)現(xiàn)，想象自己用手寫字和直接想象腦海中的軌跡是不一樣的感覺，不知道哪個更容易識別。

要不， 你也試試在腦中寫字？（手動狗頭）

論文鏈接：
[1]https://www.nature.com/articles/s41586-021-03506-2

參考鏈接：
[1]https://www.nature.com/articles/d41586-021-00776-8
[2]https://news.ycombinator.com/item?id=27134049
[3]https://twitter.com/WillettNeuro
[4]http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/