4月25日至26日，東南大學鯤鵬昇騰科教創(chuàng)新孵化中心特訓營(第一期)在九龍湖校區(qū)成功舉辦。本次活動由東南大學鯤鵬昇騰科教創(chuàng)新孵化中心主辦，江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心、東南大學網(wǎng)絡與信息中心承辦，圍繞昇騰AI基礎軟硬件解決方案、大模型訓練與推理技術、DeepSeek架構解析及邊緣部署等核心議題，通過課程培訓和實戰(zhàn)演練共2天的培訓營，為東南大學計算機及相關專業(yè)本碩博生提供了一個深度技術交流平臺。活動旨在推動基于鯤鵬昇騰底座的人才生態(tài)建設，加速國產(chǎn)化AI技術在高校科研與產(chǎn)業(yè)應用中的落地。

昇騰AI全棧技術：軟硬協(xié)同賦能大模型落地

昇騰產(chǎn)品線專家楊越洋在首日課程中，系統(tǒng)性地介紹了針對大模型訓推場景的昇騰AI基礎軟硬件解決方案。他提出大模型從預訓練走向了預訓練+后訓練，推理部署從單機走向集群，創(chuàng)新迭代速度加快，其中昇騰AI軟硬件技術提供全場景技術支撐。硬件層面，昇騰Atlas全系服務器支持高帶寬點對點通信、液冷一體化設計與盲插運維，可覆蓋中心訓練、邊緣推理及大規(guī)模專家并行(EP)部署場景，同時異構計算架構CANN提供算子、通信等底層技術;軟件層面， MindSpore框架、MindSpeed訓練加速庫、MindIE推理引擎及MindStudio全流程工具鏈，顯著提升模型開發(fā)效率。楊越洋強調，昇騰通過軟硬協(xié)同設計，已為企業(yè)級大模型訓練、微調及行業(yè)應用提供了高性能、高可用的技術底座。

(昇騰產(chǎn)品線專家楊越洋)

MindSpeed加速庫：突破大模型訓練瓶頸

MindSpeed研發(fā)專家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢與挑戰(zhàn)，并強調加速套件是算力需求激增下的重點研究課題。期間他介紹了業(yè)界加速套件的現(xiàn)狀并重點解析了MindSpeed的技術架構：底層依托昇騰NPU算力，通過通信優(yōu)化、內存優(yōu)化(參數(shù)副本壓縮、激活重計算)、計算優(yōu)化(親和改寫，計算融合)、并行優(yōu)化(Swap、融合長序列、NoopLayer負載均衡)等技術，實現(xiàn)訓練效率躍升。最后介紹了MindSpeed LLM、MM、RL共三大套件。其中，LLM針對大語言模型，支持多預制模型并提供全流程工具;MM聚焦動模態(tài)模型，模塊化組件，主打高性能與模塊化;RL可支持強化學習部署，提供全流程強化學習能力。

(MindSpeed研發(fā)專家劉哲續(xù))

國產(chǎn)化實踐：從模型對齊到多模態(tài)開發(fā)

昇騰計算工程師雷珍珍和程麟勝，分享了MindSpeed在大模型領域成果。雷珍珍介紹，MindSpeed基于昇騰生態(tài)打造分布式訓練框架，能對主流大模型高效訓練與微調。她還解析模型開發(fā)七大步驟，強調確保與開源框架訓練結果一致的關鍵要點，并分享性能優(yōu)化策略。程麟勝提到，MindSpeed MM是面向大規(guī)模分布式訓練的昇騰多模態(tài)大模型套件，同時支持多模態(tài)生成及多模態(tài)理解，旨在為昇騰芯片提供端到端的多模態(tài)訓練解決方案， 包含預置業(yè)界主流模型，數(shù)據(jù)工程，分布式訓練及加速，預訓練、微調、在線推理任務等特性。

MindSpeed MM具備統(tǒng)一架構、任務流完備、支持靈活組裝二次開發(fā)、數(shù)據(jù)工程豐富、主流模型開箱即用、原生支持MindSpeed-Core加速算法等特點，可實現(xiàn)多模態(tài)訓練全流程加速。MM套件模型遷移開發(fā)鏈路完備，從模型前期摸底到最后性能調優(yōu)有序推進，實際模型遷移操作便捷，并預置相關易用工具輔助進行精度對齊和性能優(yōu)化。MindSpeed MM的成果有力推動國產(chǎn)AI生態(tài)及多模態(tài)大模型技術進步，為產(chǎn)業(yè)應用開拓新的可能性。

(昇騰計算工程師雷珍珍)

(昇騰計算工程師程麟勝)

推理技術縱深：MindIE引擎與DeepSeek架構創(chuàng)新

昇騰生態(tài)技術專家焦?jié)申磐ㄟ^三場專題報告，全面解析基于MindIE的大模型推理和DeepSeek技術原理與架構解析。專家介紹MindIE推理引擎的分層開放架構，包括ATB加速框架(優(yōu)化Transformer并行策略與內存管理)、LLM組件(降低部署門檻)及服務化支持(運維監(jiān)控工具)。在實戰(zhàn)環(huán)節(jié)，專家演示了從鏡像拉取、模型權重配置到服務化部署的全流程，并針對Int8量化精度、大模型蒸餾等熱點問題展開研討。

針對DeepSeek技術原理與架構解析，專家逐一剖析了DeepSeek的核心創(chuàng)新技術，包括DualPipe雙向流水、MoE負載均衡、FP8混合精度訓練兼顧效率與精度等。他特別提到，DeepSeek的開源策略“重塑行業(yè)格局”，推動行業(yè)從“百模大戰(zhàn)”向集約化發(fā)展，其后續(xù)版本與迭代值得期待。

(昇騰生態(tài)技術專家焦?jié)申?

部署實戰(zhàn)：從云端到邊緣的模型落地

江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級工程師韓升原現(xiàn)場演示了DeepSeek模型部署全流程，通過權重量化、多機網(wǎng)絡拓撲優(yōu)化及服務化配置，團隊在昇騰服務器上實現(xiàn)模型的高效推理。強調“部署需關注版本差異，強化學習對齊的模型更適配實際交互場景。”其分享的報錯排查經(jīng)驗與顯存計算公式，為學員提供了實用參考。

(江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級工程師韓升原)

邊緣智能：香橙派開發(fā)板上的輕量化創(chuàng)新

昇思MindSpore布道師崔花婷帶領學員在昇騰開發(fā)板 OrangePi Alpro(20T)上完成Janus-Pro模型部署實戰(zhàn)。該開發(fā)板內置昇騰AI處理器，結合MindSpore框架的動態(tài)圖調試與靜態(tài)圖優(yōu)化能力，支持CV/NLP/生成式領域典型模型及4B以下大模型的邊緣端推理。布道師詳解接口轉換(PyTorch至MindSpore)、網(wǎng)絡驗證及性能調優(yōu)步驟，并展示如何通過三行代碼調用JIT編譯，實現(xiàn)“訓推一體”的輕量化開發(fā)。學員們通過實操，切身體驗了在終端設備進行模型部署運行的全流程。

(MindSpore布道師崔花婷)

特訓營為學員們舉辦了成果展示與結營儀式，為學員們頒發(fā)了結課證書。東南大學網(wǎng)絡與信息中心副主任胡軼寧總結道：“孵化中心將持續(xù)推進‘科研-教學-產(chǎn)業(yè)’閉環(huán)，培養(yǎng)具備鯤鵬昇騰原生開發(fā)能力的復合型人才。”昇騰計算技術開發(fā)團隊負責人則鼓勵學員投身國產(chǎn)AI生態(tài)建設：“從算子開發(fā)到全棧優(yōu)化，每個環(huán)節(jié)都是技術攻堅的戰(zhàn)場。”

本次特訓營作為孵化中心在人才培養(yǎng)方面的重要實踐，將持續(xù)開展。該中心自2024年11月成立以來，圍繞大學計算產(chǎn)業(yè)前沿課題研究、課程體系建設、研究人才培養(yǎng)等開展合作。此次特訓營的成功舉辦，進一步推動了校企協(xié)同育人，為產(chǎn)業(yè)輸出高質量鯤鵬昇騰原生人才，助力孵化世界級原生科研創(chuàng)新成果。未來，中心將繼續(xù)開展相關活動，推動人工智能技術進步與產(chǎn)業(yè)發(fā)展。