谷歌在大模型領(lǐng)域即將迎來(lái)一場(chǎng)重大變革。Google DeepMind的Gemini預(yù)訓(xùn)練負(fù)責(zé)人Sebastian Borgeaud在接受采訪時(shí)透露，未來(lái)一年，大模型預(yù)訓(xùn)練將在長(zhǎng)上下文處理效率和上下文長(zhǎng)度擴(kuò)展兩大方向?qū)崿F(xiàn)突破。這一消息引發(fā)了業(yè)界對(duì)谷歌技術(shù)實(shí)力的再次關(guān)注。

Sebastian指出，團(tuán)隊(duì)在注意力機(jī)制方面取得了令人興奮的發(fā)現(xiàn)，這些發(fā)現(xiàn)可能在未來(lái)幾個(gè)月內(nèi)重塑研究方向。他強(qiáng)調(diào)，Scaling Law并未失效，而是正在經(jīng)歷演變。這一觀點(diǎn)打破了此前關(guān)于大模型發(fā)展瓶頸的猜測(cè)，為行業(yè)注入了新的信心。

在Gemini 3的研發(fā)過(guò)程中，谷歌團(tuán)隊(duì)實(shí)現(xiàn)了從單純構(gòu)建模型到構(gòu)建完整系統(tǒng)的轉(zhuǎn)變。Sebastian解釋?zhuān)@種轉(zhuǎn)變?cè)从趯?duì)AI發(fā)展范式的重新認(rèn)識(shí)——數(shù)據(jù)資源正從無(wú)限供給轉(zhuǎn)向有限供給，迫使行業(yè)從粗放式發(fā)展轉(zhuǎn)向精細(xì)化運(yùn)營(yíng)。他透露，Gemini 3采用的混合專(zhuān)家模型（MoE）架構(gòu)，正是這種轉(zhuǎn)變的典型代表，它追求的不僅是規(guī)模，更是效率與智能的平衡。

對(duì)于未來(lái)技術(shù)發(fā)展，Sebastian預(yù)測(cè)長(zhǎng)上下文處理能力將持續(xù)進(jìn)化。他設(shè)想，未來(lái)的模型將能夠同時(shí)處理整個(gè)代碼庫(kù)、多篇科研論文或長(zhǎng)時(shí)間對(duì)話歷史，成為真正的數(shù)字工作臺(tái)。這種能力將為復(fù)雜任務(wù)處理、深度研究和創(chuàng)造性工作提供前所未有的支持。

在注意力機(jī)制方面，Sebastian的團(tuán)隊(duì)正在探索更高效的實(shí)現(xiàn)方式。他暗示，現(xiàn)有機(jī)制仍有巨大改進(jìn)空間，新的發(fā)現(xiàn)可能從底層提升模型的理解、推理和計(jì)算效率。這種改進(jìn)不追求單一指標(biāo)的突破，而是注重整體性能的提升。

谷歌三位頂級(jí)科學(xué)家Jeff Dean、Noam Shazeer和Oriol Vinyals的對(duì)談進(jìn)一步印證了這些觀點(diǎn)。他們強(qiáng)調(diào)，AI發(fā)展已進(jìn)入新階段，單純追求規(guī)模擴(kuò)張的時(shí)代正在結(jié)束。Noam Shazeer特別指出，當(dāng)前模型缺乏的是持續(xù)思考和自我修正的能力，而非簡(jiǎn)單的智能水平。

這場(chǎng)討論中，"系統(tǒng)"成為核心關(guān)鍵詞?？茖W(xué)家們反復(fù)強(qiáng)調(diào)，Gemini不應(yīng)被視為一個(gè)孤立模型，而是一個(gè)可長(zhǎng)期運(yùn)行、持續(xù)迭代的智能系統(tǒng)。這種定位反映了谷歌對(duì)AI發(fā)展的深層思考——穩(wěn)定性、可擴(kuò)展性和錯(cuò)誤修復(fù)能力比單次性能表現(xiàn)更為重要。

當(dāng)被問(wèn)及AI發(fā)展是否已觸及天花板時(shí)，Sebastian表現(xiàn)出樂(lè)觀態(tài)度。他認(rèn)為，大量細(xì)微但確定的改進(jìn)空間和行業(yè)未枯竭的創(chuàng)造力，將支撐AI在未來(lái)幾年保持進(jìn)步勢(shì)頭。這種信心源于他作為一線研究者親眼見(jiàn)證的技術(shù)積累和突破潛力。