MSRA王晉東：大模型時代，普通人的科研何去何從

衡宇 2023-05-05 13:55:43 來源：量子位

王晉東 投稿

量子位 | 公眾號 QbitAI

最近，電子工業出版社送了我一本《一本書讀懂AIGC：ChatGPT、AI繪畫、智能文明與生產力變革》，不禁感嘆：現在連寫書都這么卷了！

要知道，ChatGPT 于去年11月30日剛剛發布、距今僅4月有余。

借用《百年孤獨》的開頭，我想寫這樣的句子：

許多年后，面對AI對人類的全面奴役，曾經的AI科研工作者將會想起他們第一次登錄ChatGPT的那個遙遠的下午。

也曾無數次想借用電影《終結者》的故事：

回到過去，回到2022年11月29日，將保存有ChatGPT模型參數的服務器引爆，于是得以繼續之前的科研和生活。

恰逢世界讀書日前后，故寫些讀后感。

何為AIGC？

AIGC是AI-generated content的縮寫，翻譯成中文可以叫做人工智能內容生成，或者叫AI內容生成。

通俗地講，即是計算機自動生成一些人想要的內容，如圖片、視頻、音頻、文本、網頁、代碼等。

不難看出，AIGC可以輔助用戶做很多之前做不到的事情、提高工作效率（對應著更多人下崗）：

AI繪畫，可以以極快的速度生成插畫（取代部分插畫師和設計師）；

AI代碼生成，可以提高程序員的工作效率（取代部分低端程序員：自己寫代碼訓練AI最后把自己給取代了）；

AI聊天+文字生成，可以取代部分線上客服、低端文秘、新聞報道、文案寫作策劃、活動布置等很多需要與文字打交道的崗位……

而ChatGPT則是其中“最靚的仔”，發布后2個月之內就在全球范圍內收獲了1億用戶，是歷史上用戶增長最快的產品，我們在此無需對其火爆程度進行過多介紹。

今年3月12日，其升級版、GPT-4也正式發布了。

放眼2023年，所有人、特別是AI科研人，都經歷了從未有過的連續震撼，幾乎每天醒來都有一個大新聞：

△內容出處：https://mp.weixin.qq.com/s/Wn7HzqfkDbRuFb-HCegitg

《莊子·養生主》里寫道：“吾生也有涯、而知也無涯。以有涯隨無涯，殆而已矣！”

AIGC對AI科研人的影響和顛覆

上述的震撼顯然只是個前菜，震撼過后便是更大、更直接的影響。

原因其實說來也簡單——療效好唄。

（注：本文僅分析科研崗位。）

高校和研究所

此時的你，如果是個AI方向的高校教師或研究員，那么你可能發現，一夜之間大部分的教師群、項目群、學術群都在討論所謂的大模型。

更悲慘的是：

你發現學生在質疑自己的研究方向：老師，這個方向還有什么意義？ChatGPT做得這么好了，我們打不過它的。

你打不過、想加入，但是發現你沒錢買顯卡：是的，一塊計算顯卡A100的售價在10萬人民幣左右，而自然語言處理大模型動輒需要幾塊、幾十塊的卡來開發和試錯。試問有多少高校教師可以負擔得起？

你想申請國家項目來買顯卡：申請過項目的都懂，哪里會允許你用幾百萬來買顯卡？噢，不好意思，青年基金只有30萬、面上基金也就幾十萬……

你跟學生說，沒有卡我們就做后處理、做fine-tune、做prompt tuning。但是你發現：其實這些操作也是要卡的，普通教師還是買不起。

你想躺平了、讓學生還是沿著之前的方向水文章：學生說，老師，審稿人問我們說我們這個方法能不能用在大模型上、如果用不上去的話有啥意義？我之后怎么找工作？

你想站出來反對大模型、要找它的漏洞，卻發現：好的東西都是不開源的；你僅能從人家的輸出結果上進行分析、并且人家的模型在快速迭代、可能今天有的問題、明天就莫名其妙被修復了……

工業界

此時的你，如果是個工業界的研究員、像筆者一樣的大頭兵，你同樣發現，一夜之間，昨天剛和老板說要做的事情突然變得不再重要：

• 你：我要做更簡單更基礎的學習理論，對現有的學習范式進行顛覆。
• 老板：能用在大模型上嗎？
• 你：我覺得self-attention的魯棒性需要研究一下，它對對抗攻擊也沒那么魯棒，只是比CNN好點。
• 老板：能用在大模型上嗎？
• 你：我最近搞了個厲害的解耦算法，簡單有效。
• 老板：大模型時代還需要做解耦嗎？
• 你：我想再探索一下圖神經網絡做蛋白質分子結構預測。
• 老板：大模型能做嗎？
• 你：Causality還是挺重要的，你看Bengio都一直在研究。
• 老板：大模型還需要causality嗎？
• 你：那我看看大模型？
• 老板：這是個不錯的方向。
• 你：那我需要64張A100來fine-tune一下LLaMA。
• 老板：這個真沒有。
• 你：。。。。。。

是挑戰、更是普通人的機遇

筆者也是無數普通人中的一員、同樣經歷了上述關于大模型的”靈魂拷問“。

所謂痛定思痛、知恥而后勇，經歷過無數失眠的夜、寫壞了幾支劣質的筆、也摸完了十條無聊的魚，筆者現在則認為：

大模型時代雖然是挑戰，但更是普通人的機遇。

為何這么說？

因為ChatGPT等大模型，第一次把普通人和MIT、Stanford、CMU、國內清北等一眾牛校大佬拉到了一個水平線上。你發現：原來大家都沒搞出來ChatGPT呀；之前那些東西搞得再好，也沒用了。甚至于，普通人的損失還少點。

那么，大模型時代，普通人如何做科研？

以下僅為個人觀點，如不同意，就是你對。

新的分析和評測

大模型時代顯然需要新的分析和評測方法。不同于以往以公開測試集為準的機器學習，大模型現在可以將所有的公開數據集全部吃下（即overfit）。因此，不宜采用傳統方式進行評測。

可以思考：

• 更有難度、更符合人類標準的評測集是什么樣的？
• 大模型的邊界在哪里、什么樣的數據可以測出來？
• 小模型和大模型到底有什么區別、僅僅是benchmark得分不同嗎？
• 如何公平地評測不同大模型的能力？
• 到底何為”AGI“?如今的評測是否是AGI評測？

新的理論和方法

大模型對于做理論和基礎研究的科研人員是個毀滅性的打擊。

原因很簡單，深度學習理論在目前也無法很好地分析多層神經網絡、更不必說更大、更不開源的黑盒大模型了。

因此，理論研究人員可能會出現”巧婦難為無米之炊“的情形、不知道自己還能做什么。

但筆者認為，基礎理論、數學、統計、概率等基礎學科的重要性仍然無需多言，但需要結合大模型進行一些探索和突破。

例如：

• 為什么CLIP僅采用image-text pair進行對比學習、泛化能力就很好？
• 如果是訓練數據重要，那為何400M數據的CLIP和2B數據的Laion-CLIP在長尾數據上并沒差太多？
• 數據、模型、算法、優化，哪個更重要？
• 如何加速大模型的訓練，如從數據篩選、優化器更新的角度？

更好的人與AI協同

既然打不過，那索性就加入。我們可以將大模型看作一次大的技術革命、一種新的人機交互方式。

那么，此刻的你我就處于這種新的人機交互、人與AI協同的革命前夜，應該多去思考如何利用大模型的能力來做出更多變革：

• 如何提高寫Prompt的能力、最好是自動寫好的Prompt？
• CV、NLP、Audio都有大模型，如何利用這些模型進行更好的多模態信息融合？
• 如何設計下一代人-AI協同交互的用戶界面？
• 如何將大模型快速輕量地部署于端側設備？
• 如何更輕量地微調大模型以服務于下游小數據領域？

找大模型的短板

不得不說目前的大模型并不完美、其問題多多。

筆者也在年初”卷“了一周、搞出了第一個ChatGPT的魯棒性評測。我們發現大部分大模型其實對于對抗攻擊并不魯棒、其抗干擾能全力亟待提升。

因此，一個自然的研究方向便是”找茬“：

• 大模型的OOD能力是不是夠了？有大模型不需要OOD了？
• 大模型的長尾是不是做得很好了？這個筆者探索過了，顯然不太行。
• 如何使大模型免受prompt injection、prompt leakage等攻擊？
• 大模型生成內容如何判別是hallucination還是真的？

更負責任、社會化的AI技術

新的技術革命需要新的社會變革，而變革的過程可能是充滿荊棘的。

好的研究視野應該放眼全社會、做出更負責任和更社會化的AI研究（Responsible AI, or societal AI），方可確保技術不被濫用、更好地服務人類：

• 如何進行有效的value alignment使AI準確地滿足人的價值觀？
• 如何對AI生成的內容進行有效監管使其實不被濫用？
• 如何分析生成式AI對教育、生產力、社會、心理學等諸多層面的影響？
• 新技術應該是”有溫度“的：如何引導”前人“更加無痛地完成新技術的更迭？

此類問題的每一個都值得深入探討。

值得一提的是，筆者所在的研究組——微軟亞洲研究院（MSRA）社會計算組的大部分研究人員均在做相關研究，也期待未來有更多的合作者加入進來一起合作。

社會化問題任重而道遠，需要跨學科、全社會的長期密切交流合作。

好了，讀到這里，你還覺得自己的研究一片灰暗嗎？面對所有的挑戰、只要你快速轉變以調整方向，你也可以成為未來的“大佬”。

讓我們乘著大模型的東風、繼續乘風破浪吧！

視頻版：

https://www.bilibili.com/video/BV1hM41157ZF/