近期,中國信息通信研究院公布了一項關于大模型推理能力的評估結果,百度文心X1 Turbo在眾多競爭者中脫穎而出,憑借卓越的表現贏得了最高評級“4+級”。在此次評估的24項能力中,文心X1 Turbo取得了16項5分、7項4分和1項3分的優(yōu)異成績,成為首個通過該測評的大模型。特別是在邏輯推理、代碼推理以及推理效果優(yōu)化等方面,文心X1 Turbo更是獲得了滿分評價。
那么,是什么讓百度文心X1 Turbo能夠在這次評估中大放異彩呢?在百度AI Day上,百度集團副總裁吳甜為我們揭開了謎底。
吳甜詳細介紹了文心大模型最新版本的技術創(chuàng)新。她提到,文心4.5 Turbo是文心4.5的升級版,不僅在效果上更勝一籌,成本也更為低廉?;谖男?.5 Turbo,文心X1升級為X1 Turbo,性能大幅提升,同時擁有了更先進的思維鏈,使得問答、創(chuàng)作、邏輯推理、工具調用和多模態(tài)能力得到了進一步增強。
文心4.5及4.5 Turbo在多模態(tài)學習方面取得了顯著進展,實現了文本、圖像和視頻的混合訓練。針對模態(tài)數據間的差異,百度通過一系列創(chuàng)新技術,如多模態(tài)異構專家建模、自適應分辨率視覺編碼等,使得跨模態(tài)學習效率和多模態(tài)融合效果大幅提升,學習效率提高近兩倍,多模態(tài)理解效果提升超過30%。
在后訓練階段,百度研發(fā)了自反饋增強的技術框架,通過“訓練-生成-反饋-增強”的閉環(huán)迭代,讓大模型具備了自我優(yōu)化的能力。這一技術不僅解決了數據生產難度大、成本高的問題,還顯著降低了模型幻覺,提升了模型理解和處理復雜任務的能力。
在訓練過程中,百度融合了偏好學習的強化學習技術,通過統(tǒng)一的獎勵機制,提高了對結果質量判別的準確率。這一技術不僅提升了數據利用效率和訓練穩(wěn)定性,還增強了模型對高質量結果的感知能力,使模型的理解、生成、邏輯和記憶等能力得到了全面提升。
在深度思考方面,百度突破了傳統(tǒng)思維鏈優(yōu)化的范式,構建了融合思考和行動的復合思維鏈。這一創(chuàng)新使得模型在解決問題時思路更加清晰、邏輯更加嚴密,表達能力也得到了顯著提升。同時,結合多元統(tǒng)一的獎勵機制,實現了思考和行動鏈的端到端優(yōu)化,大幅提升了模型的跨領域問題解決能力。
在數據建設方面,百度打造了“數據挖掘與合成-數據分析與評估-模型能力反饋”的閉環(huán)流程,為模型訓練提供了源源不斷的高質量數據。這一流程不僅具備良好的可擴展性,還能夠輕松遷移到全新的數據類型,實現高效的數據生產。
吳甜還指出,隨著大模型能力的拓展和效率的提升,百度正在探索更多具有前瞻性和想象力的創(chuàng)新應用。例如,在數字人領域,百度研制了“劇本”驅動多模協(xié)同的超擬真數字人技術,實現了語言、聲音、形象的協(xié)調一致。目前,這項技術已經支持了超過10萬數字人主播,直播轉化率高達31%,大大降低了直播開播成本。在代碼場景上,百度基于文心大模型的語言和代碼能力,研制了代碼智能體和智能代碼助手——文心快碼。目前,文心快碼已經向全社會開放,累計服務了760萬開發(fā)者。
吳甜還強調了飛槳文心聯(lián)合優(yōu)化的重要性。通過訓練和推理的技術創(chuàng)新,文心4.5 Turbo的訓練吞吐達到了文心4.5的5.4倍,推理吞吐更是達到了8倍。目前,飛槳文心已經吸引了超過2185萬的開發(fā)者,服務了67萬家企業(yè),創(chuàng)建了110萬個模型。
基于飛槳深度學習平臺和文心大模型,百度在全國范圍內落地了多個產業(yè)賦能中心、數據生態(tài)中心和教育創(chuàng)新中心。這些中心以科技+人才+創(chuàng)新的模式,打造區(qū)域人工智能公共技術服務平臺,匯聚行業(yè)高價值數據集、培養(yǎng)新型復合型人才、賦能本地AI產品研發(fā),為區(qū)域產業(yè)的智能化升級注入了新的活力。