即將告別效力近十二年的meta,圖靈獎得主楊立昆(Yann LeCun)在近期播客訪談中直言不諱地批評大語言模型技術(shù)路線,并宣布將創(chuàng)辦專注于世界模型研究的新公司Advanced Machine Intelligence(AMI)。這位深度學(xué)習(xí)先驅(qū)認為,僅靠擴展語言模型無法實現(xiàn)通用人工智能(AGI),而構(gòu)建具備預(yù)測和規(guī)劃能力的世界模型才是突破智能瓶頸的關(guān)鍵路徑。
在長達兩小時的對話中,楊立昆系統(tǒng)性闡述了其技術(shù)路線分歧。他指出當前硅谷盛行的"擴展法則"存在根本性缺陷:語言模型依賴的文本數(shù)據(jù)僅占人類感知信息的極小部分,30萬億token的訓(xùn)練量遠不及4歲兒童通過視覺接收的1.5萬小時視頻信息。這種結(jié)構(gòu)化數(shù)據(jù)的匱乏,使得LLM在處理現(xiàn)實世界復(fù)雜場景時暴露出本質(zhì)性局限。
針對meta近年轉(zhuǎn)向封閉研究的戰(zhàn)略轉(zhuǎn)向,楊立昆表達強烈不滿。他透露原屬FAIR(人工智能研究實驗室)的長期研究項目正被壓縮,資源向短期商業(yè)應(yīng)用傾斜。這種轉(zhuǎn)變與其科學(xué)理念嚴重沖突:"真正的進步需要開放協(xié)作,當研究成果無法公開發(fā)表驗證,就可能淪為自欺欺人的妄想。"新公司AMI將延續(xù)開源傳統(tǒng),在抽象表示空間構(gòu)建預(yù)測模型,而非直接生成像素級內(nèi)容。
世界模型的核心優(yōu)勢在于處理高維連續(xù)數(shù)據(jù)的能力。楊立昆以流體力學(xué)模擬為例,說明抽象表示如何通過忽略分子級細節(jié)實現(xiàn)更可靠的長期預(yù)測。其團隊研發(fā)的聯(lián)合嵌入預(yù)測架構(gòu)(JEPA)通過引入各向同性高斯嵌入和SIGReg正則化技術(shù),成功解決了傳統(tǒng)自監(jiān)督學(xué)習(xí)中的表示崩潰問題。這種在抽象空間進行預(yù)測的方法,被視為突破現(xiàn)有技術(shù)瓶頸的關(guān)鍵突破。
對于AGI的實現(xiàn)路徑,楊立昆提出顛覆性觀點:達到類狗智能的難度遠超人類水平。他解釋稱,哺乳動物感知系統(tǒng)的進化歷時數(shù)億年,而人類語言能力僅在最近百萬年才出現(xiàn)。當前LLM雖能模擬語言中樞功能,但要實現(xiàn)真正智能還需世界模型承擔(dān)前額葉皮層的規(guī)劃決策角色。這種雙模型架構(gòu)需要突破多項基礎(chǔ)理論,預(yù)計需要數(shù)十年持續(xù)研究。
現(xiàn)年65歲的楊立昆將此次創(chuàng)業(yè)視為科學(xué)使命的延續(xù)。他坦言妻子希望其退休安享晚年,但提升人類智能的終極目標驅(qū)使他繼續(xù)奮斗。回顧職業(yè)生涯,這位紐約大學(xué)教授最遺憾的是反向傳播算法等重要發(fā)現(xiàn)被他人搶先發(fā)表,但他強調(diào)科學(xué)進步本質(zhì)上是集體智慧的結(jié)晶。這種開放共享的理念,與其新公司堅持的開源路線形成完美呼應(yīng)。







