4月25日至26日，東南大學(xué)鯤鵬昇騰科教創(chuàng)新孵化中心特訓(xùn)營(第一期)在九龍湖校區(qū)成功舉辦。本次活動(dòng)由東南大學(xué)鯤鵬昇騰科教創(chuàng)新孵化中心主辦，江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心、東南大學(xué)網(wǎng)絡(luò)與信息中心承辦，圍繞昇騰AI基礎(chǔ)軟硬件解決方案、大模型訓(xùn)練與推理技術(shù)、DeepSeek架構(gòu)解析及邊緣部署等核心議題，通過課程培訓(xùn)和實(shí)戰(zhàn)演練共2天的培訓(xùn)營，為東南大學(xué)計(jì)算機(jī)及相關(guān)專業(yè)本碩博生提供了一個(gè)深度技術(shù)交流平臺(tái)。活動(dòng)旨在推動(dòng)基于鯤鵬昇騰底座的人才生態(tài)建設(shè)，加速國產(chǎn)化AI技術(shù)在高校科研與產(chǎn)業(yè)應(yīng)用中的落地。

昇騰AI全棧技術(shù)：軟硬協(xié)同賦能大模型落地

昇騰產(chǎn)品線專家楊越洋在首日課程中，系統(tǒng)性地介紹了針對(duì)大模型訓(xùn)推場(chǎng)景的昇騰AI基礎(chǔ)軟硬件解決方案。他提出大模型從預(yù)訓(xùn)練走向了預(yù)訓(xùn)練+后訓(xùn)練，推理部署從單機(jī)走向集群，創(chuàng)新迭代速度加快，其中昇騰AI軟硬件技術(shù)提供全場(chǎng)景技術(shù)支撐。硬件層面，昇騰Atlas全系服務(wù)器支持高帶寬點(diǎn)對(duì)點(diǎn)通信、液冷一體化設(shè)計(jì)與盲插運(yùn)維，可覆蓋中心訓(xùn)練、邊緣推理及大規(guī)模專家并行(EP)部署場(chǎng)景，同時(shí)異構(gòu)計(jì)算架構(gòu)CANN提供算子、通信等底層技術(shù);軟件層面， MindSpore框架、MindSpeed訓(xùn)練加速庫、MindIE推理引擎及MindStudio全流程工具鏈，顯著提升模型開發(fā)效率。楊越洋強(qiáng)調(diào)，昇騰通過軟硬協(xié)同設(shè)計(jì)，已為企業(yè)級(jí)大模型訓(xùn)練、微調(diào)及行業(yè)應(yīng)用提供了高性能、高可用的技術(shù)底座。

(昇騰產(chǎn)品線專家楊越洋)

MindSpeed加速庫：突破大模型訓(xùn)練瓶頸

MindSpeed研發(fā)專家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢(shì)與挑戰(zhàn)，并強(qiáng)調(diào)加速套件是算力需求激增下的重點(diǎn)研究課題。期間他介紹了業(yè)界加速套件的現(xiàn)狀并重點(diǎn)解析了MindSpeed的技術(shù)架構(gòu)：底層依托昇騰NPU算力，通過通信優(yōu)化、內(nèi)存優(yōu)化(參數(shù)副本壓縮、激活重計(jì)算)、計(jì)算優(yōu)化(親和改寫，計(jì)算融合)、并行優(yōu)化(Swap、融合長(zhǎng)序列、NoopLayer負(fù)載均衡)等技術(shù)，實(shí)現(xiàn)訓(xùn)練效率躍升。最后介紹了MindSpeed LLM、MM、RL共三大套件。其中，LLM針對(duì)大語言模型，支持多預(yù)制模型并提供全流程工具;MM聚焦動(dòng)模態(tài)模型，模塊化組件，主打高性能與模塊化;RL可支持強(qiáng)化學(xué)習(xí)部署，提供全流程強(qiáng)化學(xué)習(xí)能力。

(MindSpeed研發(fā)專家劉哲續(xù))

國產(chǎn)化實(shí)踐：從模型對(duì)齊到多模態(tài)開發(fā)

昇騰計(jì)算工程師雷珍珍和程麟勝，分享了MindSpeed在大模型領(lǐng)域成果。雷珍珍介紹，MindSpeed基于昇騰生態(tài)打造分布式訓(xùn)練框架，能對(duì)主流大模型高效訓(xùn)練與微調(diào)。她還解析模型開發(fā)七大步驟，強(qiáng)調(diào)確保與開源框架訓(xùn)練結(jié)果一致的關(guān)鍵要點(diǎn)，并分享性能優(yōu)化策略。程麟勝提到，MindSpeed MM是面向大規(guī)模分布式訓(xùn)練的昇騰多模態(tài)大模型套件，同時(shí)支持多模態(tài)生成及多模態(tài)理解，旨在為昇騰芯片提供端到端的多模態(tài)訓(xùn)練解決方案， 包含預(yù)置業(yè)界主流模型，數(shù)據(jù)工程，分布式訓(xùn)練及加速，預(yù)訓(xùn)練、微調(diào)、在線推理任務(wù)等特性。

MindSpeed MM具備統(tǒng)一架構(gòu)、任務(wù)流完備、支持靈活組裝二次開發(fā)、數(shù)據(jù)工程豐富、主流模型開箱即用、原生支持MindSpeed-Core加速算法等特點(diǎn)，可實(shí)現(xiàn)多模態(tài)訓(xùn)練全流程加速。MM套件模型遷移開發(fā)鏈路完備，從模型前期摸底到最后性能調(diào)優(yōu)有序推進(jìn)，實(shí)際模型遷移操作便捷，并預(yù)置相關(guān)易用工具輔助進(jìn)行精度對(duì)齊和性能優(yōu)化。MindSpeed MM的成果有力推動(dòng)國產(chǎn)AI生態(tài)及多模態(tài)大模型技術(shù)進(jìn)步，為產(chǎn)業(yè)應(yīng)用開拓新的可能性。

(昇騰計(jì)算工程師雷珍珍)

(昇騰計(jì)算工程師程麟勝)

推理技術(shù)縱深：MindIE引擎與DeepSeek架構(gòu)創(chuàng)新

昇騰生態(tài)技術(shù)專家焦?jié)申磐ㄟ^三場(chǎng)專題報(bào)告，全面解析基于MindIE的大模型推理和DeepSeek技術(shù)原理與架構(gòu)解析。專家介紹MindIE推理引擎的分層開放架構(gòu)，包括ATB加速框架(優(yōu)化Transformer并行策略與內(nèi)存管理)、LLM組件(降低部署門檻)及服務(wù)化支持(運(yùn)維監(jiān)控工具)。在實(shí)戰(zhàn)環(huán)節(jié)，專家演示了從鏡像拉取、模型權(quán)重配置到服務(wù)化部署的全流程，并針對(duì)Int8量化精度、大模型蒸餾等熱點(diǎn)問題展開研討。

針對(duì)DeepSeek技術(shù)原理與架構(gòu)解析，專家逐一剖析了DeepSeek的核心創(chuàng)新技術(shù)，包括DualPipe雙向流水、MoE負(fù)載均衡、FP8混合精度訓(xùn)練兼顧效率與精度等。他特別提到，DeepSeek的開源策略“重塑行業(yè)格局”，推動(dòng)行業(yè)從“百模大戰(zhàn)”向集約化發(fā)展，其后續(xù)版本與迭代值得期待。

(昇騰生態(tài)技術(shù)專家焦?jié)申?

部署實(shí)戰(zhàn)：從云端到邊緣的模型落地

江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級(jí)工程師韓升原現(xiàn)場(chǎng)演示了DeepSeek模型部署全流程，通過權(quán)重量化、多機(jī)網(wǎng)絡(luò)拓?fù)鋬?yōu)化及服務(wù)化配置，團(tuán)隊(duì)在昇騰服務(wù)器上實(shí)現(xiàn)模型的高效推理。強(qiáng)調(diào)“部署需關(guān)注版本差異，強(qiáng)化學(xué)習(xí)對(duì)齊的模型更適配實(shí)際交互場(chǎng)景。”其分享的報(bào)錯(cuò)排查經(jīng)驗(yàn)與顯存計(jì)算公式，為學(xué)員提供了實(shí)用參考。

(江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級(jí)工程師韓升原)

邊緣智能：香橙派開發(fā)板上的輕量化創(chuàng)新

昇思MindSpore布道師崔花婷帶領(lǐng)學(xué)員在昇騰開發(fā)板 OrangePi Alpro(20T)上完成Janus-Pro模型部署實(shí)戰(zhàn)。該開發(fā)板內(nèi)置昇騰AI處理器，結(jié)合MindSpore框架的動(dòng)態(tài)圖調(diào)試與靜態(tài)圖優(yōu)化能力，支持CV/NLP/生成式領(lǐng)域典型模型及4B以下大模型的邊緣端推理。布道師詳解接口轉(zhuǎn)換(PyTorch至MindSpore)、網(wǎng)絡(luò)驗(yàn)證及性能調(diào)優(yōu)步驟，并展示如何通過三行代碼調(diào)用JIT編譯，實(shí)現(xiàn)“訓(xùn)推一體”的輕量化開發(fā)。學(xué)員們通過實(shí)操，切身體驗(yàn)了在終端設(shè)備進(jìn)行模型部署運(yùn)行的全流程。

(MindSpore布道師崔花婷)

特訓(xùn)營為學(xué)員們舉辦了成果展示與結(jié)營儀式，為學(xué)員們頒發(fā)了結(jié)課證書。東南大學(xué)網(wǎng)絡(luò)與信息中心副主任胡軼寧總結(jié)道：“孵化中心將持續(xù)推進(jìn)‘科研-教學(xué)-產(chǎn)業(yè)’閉環(huán)，培養(yǎng)具備鯤鵬昇騰原生開發(fā)能力的復(fù)合型人才。”昇騰計(jì)算技術(shù)開發(fā)團(tuán)隊(duì)負(fù)責(zé)人則鼓勵(lì)學(xué)員投身國產(chǎn)AI生態(tài)建設(shè)：“從算子開發(fā)到全棧優(yōu)化，每個(gè)環(huán)節(jié)都是技術(shù)攻堅(jiān)的戰(zhàn)場(chǎng)。”

本次特訓(xùn)營作為孵化中心在人才培養(yǎng)方面的重要實(shí)踐，將持續(xù)開展。該中心自2024年11月成立以來，圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等開展合作。此次特訓(xùn)營的成功舉辦，進(jìn)一步推動(dòng)了校企協(xié)同育人，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰原生人才，助力孵化世界級(jí)原生科研創(chuàng)新成果。未來，中心將繼續(xù)開展相關(guān)活動(dòng)，推動(dòng)人工智能技術(shù)進(jìn)步與產(chǎn)業(yè)發(fā)展。