在人工智能領(lǐng)域，一場(chǎng)關(guān)于通用人工智能（AGI）的討論正如火如荼地進(jìn)行。近日，OpenAI前研究主管Bob McGrew的一番言論，為這場(chǎng)討論增添了新的燃料。他宣稱(chēng)，AGI所需的關(guān)鍵突破已經(jīng)實(shí)現(xiàn)，關(guān)鍵在于如何將推理能力落地，并重塑價(jià)值創(chuàng)造路徑。

Bob McGrew作為OpenAI的研究主管，見(jiàn)證了AI技術(shù)的飛速發(fā)展，從GPT-3的橫空出世，到如今推理模型的遍地開(kāi)花。他認(rèn)為，實(shí)現(xiàn)AGI的三大支柱是Transformer、規(guī)模化預(yù)訓(xùn)練和推理。在過(guò)去的五年里，AI能力持續(xù)增強(qiáng)，技術(shù)發(fā)展的迅猛態(tài)勢(shì)令人興奮，且這一趨勢(shì)仍在延續(xù)。

在紅杉的“訓(xùn)練數(shù)據(jù)”系列播客中，Bob McGrew分享了他對(duì)AI的深刻洞見(jiàn)。他指出，除了預(yù)訓(xùn)練、后訓(xùn)練、推理這三部分外，未來(lái)可能不會(huì)再出現(xiàn)根本性的技術(shù)突破。這一觀點(diǎn)雖然頗具爭(zhēng)議，但他認(rèn)為，如果穿越到2030年，回顧實(shí)現(xiàn)更高智能所需的關(guān)鍵概念，最終會(huì)得出全部關(guān)鍵點(diǎn)：基于Transformer的語(yǔ)言模型、大規(guī)模預(yù)訓(xùn)練、推理能力的引入與不斷提升，以及越來(lái)越多的多模態(tài)能力。

Bob進(jìn)一步強(qiáng)調(diào)，推理是AGI拼圖中的重要一環(huán)。從2023年9月的o1-preview到2024年4月發(fā)布的o3，僅用了六個(gè)月時(shí)間，推理技術(shù)就取得了迅猛進(jìn)展。同時(shí)，OpenAI多年開(kāi)發(fā)的推理能力正在向其他公司擴(kuò)散，如Google、DeepSeek、Anthropic等，這足以說(shuō)明推理是各大實(shí)驗(yàn)室今年的重點(diǎn)研究方向。

然而，Bob也承認(rèn)，隨著推理能力趨于成熟，技術(shù)潛力將逐漸被“消耗殆盡”，進(jìn)展速度可能會(huì)放緩。但他堅(jiān)信，預(yù)訓(xùn)練仍然重要，只是其角色已經(jīng)發(fā)生了變化。現(xiàn)在的預(yù)訓(xùn)練更多依賴(lài)于架構(gòu)的改進(jìn)，以提高推理時(shí)的效率、支持更長(zhǎng)的上下文或更好地利用上下文。

在談及后訓(xùn)練時(shí)，Bob表示，后訓(xùn)練不提升智能，而是塑造模型的“人格”。這是一個(gè)與智能完全不同的“厚問(wèn)題”，需要思考的是希望智能體表現(xiàn)出什么樣的個(gè)性和行動(dòng)方式。這更像是人類(lèi)多年與他人互動(dòng)的成長(zhǎng)過(guò)程，需要深刻理解人性，才能將人類(lèi)對(duì)“好人格”的定義轉(zhuǎn)化為真實(shí)、吸引人的AI人格。

最后，Bob談到了推理為何如此關(guān)鍵。他認(rèn)為，推理是AGI缺失的關(guān)鍵拼圖。預(yù)訓(xùn)練可以讓模型對(duì)問(wèn)題有一種“直覺(jué)式的理解”，但人類(lèi)天生就需要“在回答前思考”，這是早期模型所不具備的能力。OpenAI意識(shí)到模型可以自己引導(dǎo)推理過(guò)程，這種能力非常強(qiáng)大且可以被訓(xùn)練出來(lái)。因此，OpenAI堅(jiān)定地押注在推理范式上，并取得了顯著的進(jìn)展。

盡管Bob認(rèn)為行業(yè)一線依舊能看到大量新想法和細(xì)節(jié)上的改進(jìn)，但局外人已經(jīng)看不懂了。很多進(jìn)展已經(jīng)不會(huì)公開(kāi)出現(xiàn)在論文中，而是成為了各大公司和實(shí)驗(yàn)室的核心競(jìng)爭(zhēng)力。因此，AGI的實(shí)現(xiàn)之路仍然充滿挑戰(zhàn)和未知，但Bob的言論無(wú)疑為這場(chǎng)討論注入了新的活力和方向。