在OpenAI的技術團隊中,有位被稱為“Bob”的神秘工程師,因其編寫的CUDA注意力內核性能卓越,成為公司內部公認的“關鍵先生”。據知情人士透露,這款內核每日在數十萬張GPU上運行萬億次,對模型推理效率的提升至關重要。一旦出現故障,不僅需要回滾訓練checkpoint,還會造成巨大的算力浪費,因此團隊對其穩定性要求極高。
前OpenAI員工在社交平臺分享了一個細節:某次團隊花費一周時間未能解決的性能問題,Bob僅用幾分鐘便完成修復。這種“巫師級”的技術能力,讓同事們自發在公司內部Slack頻道創建了“Bob magic”表情包,用以表達對他的敬意。甚至有員工調侃,若Bob突然休假一周,整個公司的研發進度可能陷入停滯。
這款被戲稱為“Bob內核”的技術,其核心在于對GPU注意力機制的深度優化。業內人士指出,全球能編寫高性能訓練用CUDA內核的專家不足百人,而OpenAI僅靠Bob一人便支撐起如此龐大的計算需求。這種技術壁壘,讓Bob成為硅谷科技公司競相爭奪的對象。
近期,meta首席執行官扎克伯格被傳已將“挖角Bob”列為招聘會議的首要議題。有消息稱,扎克伯格對OpenAI此前多位核心研究員跳槽meta仍不滿足,此次甚至因未提前獲知Bob的存在而“大動肝火”。知情人士透露,meta每年為某些技術專家開出的薪資高達1400萬美元,但像Bob這樣能直接影響模型推理效率的人才,其價值已難以用金錢衡量。
隨著討論的深入,一個名為Scott Gray的技術專家逐漸進入公眾視野。公開資料顯示,Scott畢業于美國伊利諾伊大學香檳分校,主修物理與計算機科學,2016年加入OpenAI后專注GPU內核優化。他參與撰寫的51篇機器學習論文被引用超過8萬次,其中不乏《GPT-4 Technical Report》等重量級研究。
Scott的技術背景與“Bob內核”高度契合。2017年,他作為第一作者在OpenAI官方博客發布《Block-sparse GPU kernels》,提出一種針對塊稀疏權重設計的高性能GPU內核。該技術通過優化全連接和卷積層,在特定稀疏度設置下可實現數倍加速,遠超傳統cuBLAS或cuSPARSE方案。這與“Bob內核”在海量GPU推理場景中的表現如出一轍。
更耐人尋味的是,Scott曾在Reddit上詳細披露自己在OpenAI的CUDA內核開發過程。他提到,這些內核是“兩個月前悄悄完成并發布”的,涉及FP16/FP32計算優化和P100/P102 GPU適配等核心技術。這種時間節點與技術特征的吻合,讓Scott成為“Bob”身份的最有力候選人。
硅谷的人才爭奪戰從未停歇。此前,meta已從OpenAI挖走趙晟佳、Lucas Beyer、Alexander Kolesnikov等多位核心研究員,對OpenAI造成不小沖擊。此次Bob身份的曝光,再次凸顯了頂尖技術人才在AI領域的戰略價值。有分析認為,隨著模型規模不斷擴大,底層計算優化的重要性將愈發突出,類似Bob這樣的專家將成為決定公司競爭力的關鍵因素。
目前,OpenAI尚未對Bob的真實身份作出回應,而meta的招聘動作也未得到官方證實。但可以確定的是,在這場沒有硝煙的人才戰爭中,任何一位“Bob”級別的技術專家,都可能改變AI行業的競爭格局。
參考鏈接: [1] https://x.com/khoomeik/status/1968136500807340291 [2] https://openai.com/index/block-sparse-gpu-kernels/ [3] https://www.linkedin.com/in/scott-gray-569704/ [4] https://www.reddit.com/r/MachineLearning/comments/5izkux/comment/dbctqo3/?context=3