在NeurIPS 2025的一場備受矚目的爐邊談話中，AI領域的兩位標志性人物——Geoffrey Hinton與Jeff Dean，展開了一場關于人工智能發展歷程與未來展望的深度對話。這場訪談不僅回顧了AI從早期突破到如今引領技術潮流的輝煌歷程，還揭秘了諸多鮮為人知的幕后故事。

訪談一開始，Hinton便拋出了一個引人深思的問題：谷歌是否后悔發表了奠定現代AI基石的Transformer論文？Jeff Dean毫不猶豫地回應：“不后悔，因為它對世界產生了深遠的影響。”這一回答不僅彰顯了谷歌對技術共享的開放態度，也凸顯了Transformer在推動AI技術普及與應用中的關鍵作用。

Hinton在對話中透露，自己對模型規模擴展（Scaling）重要性的深刻認識，源自于Ilya Sutskever的一次演講。他坦言，自己本應在更早的時候意識到算力與模型規模之間的緊密聯系，但直到2014年，聽完Ilya的報告后，才徹底醒悟Scaling的至關重要性，并堅信這一趨勢將持續下去。

回顧AI發展史上的重要時刻，2012年AlexNet的誕生無疑是一個里程碑。Hinton分享了這段經歷中的趣事：當時，他們申請項目資助續期時遭遇了挫折，被評審認為項目缺乏工業應用價值。然而，正是這一不被看好的項目，在糾正了權重衰減參數的錯誤后，憑借在ImageNet上的出色表現，引發了AI領域的革命性變革。Hinton幽默地提到，訓練AlexNet的兩塊英偉達GTX 580 GPU，不僅為多倫多大學節省了成本，還讓Alex在自家臥室里完成了這一歷史性的訓練。

Jeff Dean則回憶了谷歌大腦（Google Brain）的誕生過程。他提到，這一項目的靈感源自于一次在谷歌茶水間的偶遇閑聊。當時，Andrew Ng提到他的學生用神經網絡取得了不錯成果，這句話激發了Jeff Dean的靈感：既然谷歌擁有海量的CPU資源，為何不嘗試訓練超大規模的神經網絡呢？于是，谷歌大腦應運而生，通過模型并行與數據并行的技術，成功訓練出了參數達20億的龐大模型，驗證了Scaling Laws的可行性。

在談到谷歌與Hinton團隊的合作時，Jeff Dean透露了一段鮮為人知的拍賣故事。為了吸引更多資源支持，Hinton團隊決定將自己包裝成一家“公司”，并在南太浩湖的賭場舉辦了一場拍賣會。盡管樓下老虎機的聲音不絕于耳，但樓上的競價卻異常激烈。最終，谷歌在這場拍賣中脫穎而出，成功將Hinton及其團隊納入麾下。Hinton坦言，這一決定背后，是他對谷歌實習生經歷的深刻認同。

在訪談的后半部分，兩位嘉賓還就AI的未來發展方向進行了探討。Jeff Dean對Scaling注意力機制的觸達范圍表示興奮，他設想未來模型將能夠直接訪問所有科學論文和視頻資源，而非將海量信息壓縮進有限的模型參數中。同時，他也指出了當前模型缺乏持續學習能力的局限性，并透露谷歌正在探索更動態、腦啟發的架構設計。Hinton則對AI在醫療與教育領域的變革潛力表示樂觀，他認為大模型將能夠壓縮巨量知識，發現人類未見的共通性，從而展現出非凡的創造力。