OpenAI神秘狠人，花名Bob
一人搞定OpenAI CUDA內核
Jay 發自 凹非寺
量子位 | 公眾號 QbitAI
在OpenAI，有一個神秘人專門負責推理用的CUDA內核。
同事們管他叫Bob，人們會把他寫的注意力內核親切地稱為Bob內核。
這個內核每天可能在數十萬張GPU上被執行萬億次。
要知道，這個環節對精度的要求非常高，如果出bug，需要回滾checkpoint重訓，會浪費大量的算力資源。
有網友感嘆：
全世界能寫出高性能訓練用CUDA內核的人，活著的不超過100個。
就是這么一個“地獄級難度”的東西，在OpenAI居然只靠Bob一個人。
Bob內核能力者
OpenAI前員工感嘆，Bob輕輕松松在幾分鐘內修好了自己一周都沒搞定的問題。
其他前員工也附議，表示OpenAI對Bob的依賴極高。
公司內部的Slack上專門有一個“Bob magic”表情包，用來來膜拜Bob——無人能不折服于他那“巫師”般的能力。
還有些員工打趣道：如果Bob心血來潮想出去度假一周，那整個公司可就要準備好面臨生死存亡的終極階段了。
既然是這么重磅級的人物，怎么能逃過小扎的法眼呢？
坊間傳言，小扎已經知道了這個消息，已經火急火燎地安排上了，Meta明天招聘會議的Top 1事項就是：“Bob到底是誰！”
聽說扎總甚至還為此大動肝火（笑死）。
“小扎買買買”換新季居然能錯過這么一個大寶貝，不禁懷疑自己每年給亞歷山大王開的1400萬美金是不是打了水漂。
Bob啊Bob，隱姓埋名這么多年，看來此次還是難逃小扎的魔爪。
像CUDA內核這種基礎工程對AI公司來說實在太重要了，因此這類技術人員在硅谷往往被視為核心機密，Bob本人大概率是不會親口承認的。
但在帖子評論區，反復地在出現一個名字——Scott Gray。
是他，就是他：Scott Gray
Scott Gray畢業于美國伊利諾伊大學香檳分校，修讀物理和計算機科學。
Scott是OpenAI相當資深的技術人員，他早在2016年就加入了團隊，主要工作是負責GPU內核優化。
至今，Scott一共參與寫作了51篇機器學習論文，總引用超過 80000 次。其中不乏像《GPT-4 Technical Report》《Scaling Laws for Neural Language Models》這樣的重磅研究。
為什么說Scott的神秘人Bob的第一候選人呢？從Scott的技術背景和社交媒體上或許可以發現一些蛛絲馬跡。
2017 年，Scott作為一作發布了《Block-sparse GPU kernels》，這是OpenAI官方博客上的一篇核心論文，由他與Alec Radford和Durk Kingma合著。
這是一種針對塊稀疏權重（block-sparse weights）設計的高性能GPU內核。相比傳統的cuBLAS或cuSPARSE，這種內核優化了全連接和卷積層，在某些稀疏度設置下可提速數倍。
這與“Bob內核”描述的核心——高效注意力機制和海量GPU推理——高度吻合。
如果這還不夠，讓我們來看看Scott本人在“口供”里是怎么交代的。
2017年，Scott在Reddit上事無巨細地全盤托出了自己是怎么在OpenAI搭建的CUDA內核，包括FP16/FP32計算優化和針對P100/P102 GPU的適配。
Scott提到：“這些內核是我兩個月前完成的，現在悄悄發布了。”
硅谷人才爭奪暗流涌動
有人說，AI的未來取決于誰囤得下更多顯卡。
但在硅谷，圍繞人才的競爭才是如今臺前最受關注、熱議的焦點。
狙擊戰發展現在，只要有厲害的大佬出現在聚光燈之下，幾乎是露頭就秒，以至于各大實驗室恨不得把手上的王牌全部挖個洞藏起來。
OpenAI這位GPU蒙面超人面紗被揭，亦是硅谷人才市場暗流涌動的一處具象化。
不知道小扎的超級智能實驗室，是否又蓄勢待發了呢？
此前，OpenAI的核心研究員幾乎被小扎挖個半空，先后已有趙晟佳、Lucas Beyer、Alexander Kolesnikov等人紛紛跳槽加入Meta，可謂是連續給了奧特曼幾記重拳。
圖片由AI生成
那么奧特曼，這一次，你能夠守得住Bob嗎？
參考鏈接：
[1]https://x.com/khoomeik/status/1968136500807340291
[2]https://openai.com/index/block-sparse-gpu-kernels/
[3]https://www.linkedin.com/in/scott-gray-569704/
[4]https://www.reddit.com/r/MachineLearning/comments/5izkux/comment/dbctqo3/?context=3
- 快手進軍AI編程！“模型+工具+平臺”一口氣放三個大招2025-10-24
- 匯報一下ICCV全部獎項，恭喜朱俊彥團隊獲最佳論文2025-10-22
- OpenAI以為GPT-5搞出了數學大新聞，結果…哈薩比斯都覺得尷尬2025-10-20
- 首創“AI+真人”雙保障模式！剛剛，百度健康推出7×24小時「能聊、有料、會管」AI管家2025-10-18
相關閱讀
