加拿大滑鐵盧大學(xué)近日宣布，其科研團(tuán)隊(duì)成功開(kāi)發(fā)出一種名為SubTrack++的創(chuàng)新型大語(yǔ)言模型訓(xùn)練方案。該技術(shù)通過(guò)優(yōu)化算法架構(gòu)，在保證模型性能的前提下，將預(yù)訓(xùn)練階段的耗時(shí)壓縮至原有水平的三分之一，同時(shí)使模型在多項(xiàng)基準(zhǔn)測(cè)試中的準(zhǔn)確率提升超過(guò)15%。這一突破性成果已發(fā)表于國(guó)際人工智能領(lǐng)域權(quán)威期刊。

研究團(tuán)隊(duì)負(fù)責(zé)人介紹，SubTrack++的核心創(chuàng)新在于動(dòng)態(tài)權(quán)重分配機(jī)制與自適應(yīng)數(shù)據(jù)采樣策略的協(xié)同作用。通過(guò)實(shí)時(shí)監(jiān)測(cè)訓(xùn)練過(guò)程中的梯度變化，系統(tǒng)能夠自動(dòng)識(shí)別并強(qiáng)化關(guān)鍵參數(shù)的更新頻率，同時(shí)過(guò)濾低效訓(xùn)練樣本。這種智能化的訓(xùn)練方式不僅減少了30%的算力消耗，還顯著降低了模型訓(xùn)練對(duì)硬件資源的依賴。

實(shí)驗(yàn)數(shù)據(jù)顯示，采用該技術(shù)訓(xùn)練的70億參數(shù)模型，在代碼生成、數(shù)學(xué)推理等復(fù)雜任務(wù)中達(dá)到與千億參數(shù)模型相當(dāng)?shù)男阅芩健８档藐P(guān)注的是，在保持同等準(zhǔn)確率的情況下，其訓(xùn)練碳排放量較傳統(tǒng)方法降低42%，這為AI技術(shù)的綠色發(fā)展提供了新的技術(shù)路徑。

行業(yè)專家指出，這項(xiàng)技術(shù)將深刻改變AI開(kāi)發(fā)模式。中小型科研機(jī)構(gòu)和企業(yè)有望以更低的成本構(gòu)建高性能語(yǔ)言模型，加速AI技術(shù)在醫(yī)療、教育等民生領(lǐng)域的落地應(yīng)用。目前，研究團(tuán)隊(duì)已開(kāi)放部分技術(shù)模塊的源代碼，并與多家科技企業(yè)展開(kāi)合作驗(yàn)證，預(yù)計(jì)相關(guān)工具包將于明年初正式發(fā)布。