Claude團隊喜提清華物理學霸姚順宇！兩個Yao Shunyu都投身大模型了

夢晨 2024-10-28 16:23:48 來源：量子位

金磊 夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

清華物理系傳奇特獎得主Yao Shunyu，正式投身大模型，加入Anthropic的Claude團隊。

有意思的是，另一位Yao Shunyu，今年剛剛加入隔壁OpenAI。

注意別搞混哦，前者是學物理的姚順宇，后者是學計算機的姚順雨。（手動狗頭）

這次加入Anthropic的姚順宇，此前就可謂是名聲大噪，本科期間就在凝聚態物理領域做出突破性貢獻。

具體而言，他首次在國際上給出了關于非厄米系統的拓撲能帶理論，并準確預測了相關現象。

此外，他還定義了兩個新的物理概念，這些工作都發表在了世界物理頂級期刊Phys. Rev. Lett.上。

其研究的含金量之高，甚至有位211大學副教授給出過這樣的評價：

我們這邊即使是教授，也沒有能超過姚順宇同學目前本科期間的物理水平的。

在清華本科畢業之后，姚順宇便去斯坦福攻讀博士。

從領英的履歷來看，他在今年畢業之后有2個動態的變化，一個是到加州伯克利做了幾個月博士后，再之后就正式加入了Anthropic。

而在今年8月加入OpenAI的姚順雨，同樣也是來自清華，是姚班學霸+聯席會主席（還是個Rapper）。

和搞物理的姚順宇一樣，姚班的姚順雨在科研上的成就也是具備不小的影響力：

• 思維樹（Tree of Thoughts）：讓LLM反復思考，大幅提高推理能力。
• SWE-bench：一個大模型能力評估數據集。
• SWE-agent：一個開源AI程序員。

毫不夸張的說，幾乎每項研究都在圈里產生了不小的漣漪；并且非常明顯的一點是，它們都是深深圍繞著大模型而展開。

而現如今，兩位同為清華出身，同叫Yao Shunyu的人，在AI大模型上相匯了。

那么除了這兩位Yao Shunyu，清華青年一代還有哪些人才投身大模型？

清華搞大模型的還有誰？

說到這個話題，不得不提的還有馬騰宇和陳丹琦。

倆人當年是同班同學，清華姚班2008級校友，并且之后都拿了具有“諾獎風向標”之稱的斯隆獎。

馬騰宇博士就讀于普林斯頓大學，導師是理論計算機科學家、兩屆哥德爾獎得主Sanjeev Arora教授。

博士畢業后，MIT、哈佛、斯坦福等頂尖高校都給了他助理教授的Offer，馬騰宇最終選擇了斯坦福。

去年年底，馬騰宇還正式宣布大模型創業了——創立Voyage AI，透露將帶隊打造目前最好的嵌入模型，還會提供專注于某個領域或企業的定制化模型。

斯坦福人工智能實驗室主任Christopher Manning、AI領域著名華人學者李飛飛等三名教授擔任Voyage AI的學術顧問。

陳丹琦這邊，清華姚班完成本科學業后，2018年又在斯坦福大學拿下博士學位，主攻NLP，最終成為普林斯頓大學計算機科學系助理教授、普林斯頓語言與智能項目副主任，共同領導普林斯頓NLP小組。

其個人主頁顯示，“這些天主要被開發大模型吸引”，正在研究主題包括：

• 檢索如何在下一代模型中發揮重要作用，提高真實性、適應性、可解釋性和可信度。
• 大模型的低成本訓練和部署，改進訓練方法、數據管理、模型壓縮和下游任務適應優化。
• 還對真正增進對當前大模型功能和局限性理解的工作感興趣，無論在經驗上還是理論上。

除了這兩位，業界、學術界姚班校友在搞大模型的還有很多。

之前火爆全網的大模型原生應用《完蛋！我被大模型包圍了》及其續作《我把大模型玩壞了》，就是由姚班學霸帶隊開發的。

游戲作者范浩強，曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。如今他已是曠視科技研究總經理，谷歌學術h-index 32的行業大佬。

馬斯克xAI首個研究成果——Tensor Programs VI，共同一作中也有姚班校友的身影。

Tensor Programs VI是xAI創始成員、丘成桐弟子楊格（Greg Yang）之前Tensor Programs系列工作的延續，論文重點探討了“如何訓練無限深度網絡”。

據說Tensor Programs相關成果，在GPT-4中已有應用。為解讀論文，楊格本人當時還專門在X上進行了一場直播分享。

共同一作Dingli Yu，本科畢業于清華姚班，目前Dingli Yu也快要在普林斯頓計算機科學系博士畢業了。

還有很多很多…………

那么回到這次搞物理的姚順宇加入Anthropic，還有一個話題值得說道說道——Why change。

Anthropic創始人：物理學家學AI就是快

學物理轉行AI，其實已經是學術界的一個“傳統藝能”。

畢竟被譽為“人工智能教母”的李飛飛，就是從物理轉向研究計算機視覺的一個鮮明例子。

她在普林斯都研究物理的過程中意識到，宇宙的根本問題不只是物理，還可以是關于生命與智能的。

這次姚順宇加入的Anthrophic AI，里面物理出身的研究員尤其不少。

創始人Dario Amodei自己就是物理學家，本科斯坦福物理專業，博士普林斯頓生物物理專業，可以算是李飛飛的師弟。

轉折點在博士畢業第三年，Dario Amodei加入百度，曾與吳恩達一起工作，解決語音識別和自然語言處理中的問題，后來就在AI這條路上一路走到今天了。

Anthrophic AI招人也對物理背景的人才確實也有偏好，創始人去年8月還在一檔節目中解釋過理由：

……部分原因是物理學家學東西非常快。如果我們雇一個擁有物理博士學位的人，他們中的大部分可以快速學習機器學習并做出貢獻。

我們的幾位創始人，Jared Kaplan、Sam McCandlish，包括我自己，都是物理學家。現在團隊里可能有30-40個物理學家。

機器學習仍然不是一個非常有深度的領域（a field that has an enourmous amount of depth），所以他們能夠很快上手。

隔壁OpenAI也不乏物理專業出身的人才，如Sora團隊中就有北大物理系校友靖禮。

Sora這類視頻生成模型，也被定義為“物理世界的模擬器”。其背后的擴散模型，靈感更是從物理中的熱力學借鑒而來。

……

不過要說今年“物理”和“人工智能”兩個詞聯系最緊密的一次，莫過于剛剛頒發的諾貝爾物理獎了。

在頒獎活動中，諾獎組委會特別提到：

物理學為機器學習的發展貢獻了工具，相應的，現在機器學習也惠及了物理研究。

例如，機器學習長期應用于希格斯粒子發現等諾獎領域，用于處理海量數據;它還可用于減少引力波測量中的噪聲，或搜尋系外行星。

近年來，這項技術還開始被用于計算和預測分子及材料的性質，如計算決定蛋白質功能的分子結構，或設計性能更佳、可用于高效太陽能電池的新型材料。

只能說以后，科學發展到今天，學科之間的融合趨勢會越來越明顯了。

往好了想，只要有能力，學什么都不耽誤跟上時代的潮流。

往壞了想，其他學科的人才可以隨時跨界來卷你。

最后，附上英偉達科學家Jim Fan總結的“AI技術與相關物理原理對應表”。

參考鏈接：
[1]https://www.linkedin.com/in/shunyu-yao-204158285/
[2]https://www.youtube.com/watch?v=Nlkk3glap_U