近日，香港科技大學(xué)（廣州）的研究團(tuán)隊在計算機(jī)體系結(jié)構(gòu)領(lǐng)域取得了突破性進(jìn)展，為提升大規(guī)模語言模型的傳輸速度提出了創(chuàng)新方案。該方案由微電子學(xué)域的博士生秦樂、崔峻偉、蔡瑋林以及教授黃嘉逸共同研發(fā)，相關(guān)研究成果以論文形式在ISCA 2025國際會議上發(fā)布，并榮獲Best Artifact Award。

ISCA（國際計算機(jī)體系結(jié)構(gòu)研討會）作為該領(lǐng)域的旗艦會議，匯聚了眾多前沿研究成果，涵蓋處理器設(shè)計、內(nèi)存架構(gòu)、互連網(wǎng)絡(luò)等多個方面。此次獲獎的論文題為“Chimera：大型語言模型中混合并行性的通信融合”，為解決大規(guī)模語言模型分布式訓(xùn)練和推理中的通信瓶頸問題提供了新的視角。

在大規(guī)模語言模型的運(yùn)算過程中，混合并行模式被廣泛應(yīng)用以提高計算效率。然而，隨著集群規(guī)模的擴(kuò)大，設(shè)備間的數(shù)據(jù)同步通信開銷逐漸成為制約系統(tǒng)性能的關(guān)鍵因素。研究團(tuán)隊提出的Chimera機(jī)制，通過深入分析和定義混合并行中的通信冗余，實現(xiàn)了相鄰?fù)ㄐ潘阕拥娜诤希瑥亩行p少了冗余通信量。

黃嘉逸教授形象地比喻道：“就像快遞分揀中心一樣，以往不同區(qū)域各自為政，導(dǎo)致包裹反復(fù)中轉(zhuǎn)，增加了不必要的流轉(zhuǎn)環(huán)節(jié)。而Chimera則是對這些‘分揀中心’進(jìn)行了統(tǒng)一規(guī)劃，大幅減少了包裹的周轉(zhuǎn)次數(shù)，提升了配送效率。”實驗結(jié)果顯示，Chimera機(jī)制能夠顯著提升通信速度，最高可達(dá)7倍，同時整體訓(xùn)練效率也提高了1.2到1.6倍。

這一創(chuàng)新成果不僅為AI大模型的快速訓(xùn)練和推理提供了新思路，也展示了香港科技大學(xué)（廣州）在計算機(jī)體系結(jié)構(gòu)研究領(lǐng)域的深厚實力和創(chuàng)新能力。未來，該團(tuán)隊將繼續(xù)探索更高效的數(shù)據(jù)傳輸和同步機(jī)制，為人工智能領(lǐng)域的發(fā)展貢獻(xiàn)更多智慧與力量。