近期，東南大學(xué)九龍湖校區(qū)迎來(lái)了一場(chǎng)聚焦于人工智能技術(shù)的盛會(huì)——東南大學(xué)鯤鵬昇騰科教創(chuàng)新孵化中心特訓(xùn)營(yíng)（第一期）成功舉辦。本次活動(dòng)由東南大學(xué)鯤鵬昇騰科教創(chuàng)新孵化中心攜手江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心及東南大學(xué)網(wǎng)絡(luò)與信息中心聯(lián)合呈現(xiàn)，為期兩天，吸引了眾多計(jì)算機(jī)及相關(guān)專(zhuān)業(yè)的本碩博生前來(lái)參與。

特訓(xùn)營(yíng)以昇騰AI基礎(chǔ)軟硬件解決方案、大模型訓(xùn)練與推理技術(shù)、DeepSeek架構(gòu)解析及邊緣部署等為核心議題，為學(xué)員們搭建了一個(gè)深度技術(shù)交流的寶貴平臺(tái)。活動(dòng)旨在通過(guò)課程培訓(xùn)和實(shí)戰(zhàn)演練，推動(dòng)基于鯤鵬昇騰底座的人才生態(tài)建設(shè)，加速?lài)?guó)產(chǎn)化AI技術(shù)在高校科研與產(chǎn)業(yè)應(yīng)用中的落地步伐。

在首日課程中，昇騰產(chǎn)品線專(zhuān)家楊越洋系統(tǒng)介紹了昇騰AI針對(duì)大模型訓(xùn)推場(chǎng)景的軟硬件解決方案。他指出，大模型正由預(yù)訓(xùn)練向預(yù)訓(xùn)練+后訓(xùn)練轉(zhuǎn)變，推理部署也由單機(jī)走向集群，創(chuàng)新迭代速度日益加快。昇騰AI軟硬件技術(shù)為此提供了全場(chǎng)景技術(shù)支撐，硬件層面涵蓋高帶寬點(diǎn)對(duì)點(diǎn)通信、液冷一體化設(shè)計(jì)等，軟件層面則包括MindSpore框架、MindSpeed訓(xùn)練加速庫(kù)等，顯著提升模型開(kāi)發(fā)效率。

緊接著，MindSpeed研發(fā)專(zhuān)家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢(shì)與挑戰(zhàn)，并著重介紹了MindSpeed的技術(shù)架構(gòu)。該架構(gòu)依托昇騰NPU算力，通過(guò)通信優(yōu)化、內(nèi)存優(yōu)化等技術(shù)，實(shí)現(xiàn)訓(xùn)練效率的顯著提升。同時(shí)，MindSpeed還提供了LLM、MM、RL三大套件，分別針對(duì)大語(yǔ)言模型、動(dòng)模態(tài)模型和強(qiáng)化學(xué)習(xí)部署。

昇騰計(jì)算工程師雷珍珍和程麟勝則分享了MindSpeed在大模型領(lǐng)域的成果。雷珍珍介紹了MindSpeed基于昇騰生態(tài)打造的分布式訓(xùn)練框架，能對(duì)主流大模型進(jìn)行高效訓(xùn)練與微調(diào)。程麟勝則提到了MindSpeed MM，這是一款面向大規(guī)模分布式訓(xùn)練的昇騰多模態(tài)大模型套件，支持多模態(tài)生成及理解，旨在為昇騰芯片提供端到端的多模態(tài)訓(xùn)練解決方案。

昇騰生態(tài)技術(shù)專(zhuān)家焦?jié)申艅t通過(guò)專(zhuān)題報(bào)告，全面解析了基于MindIE的大模型推理和DeepSeek技術(shù)原理與架構(gòu)。他介紹了MindIE推理引擎的分層開(kāi)放架構(gòu)，并演示了從鏡像拉取到服務(wù)化部署的全流程。針對(duì)DeepSeek技術(shù)，他逐一剖析了其核心創(chuàng)新技術(shù)，包括DualPipe雙向流水、MoE負(fù)載均衡等，并特別提到了DeepSeek的開(kāi)源策略對(duì)行業(yè)格局的影響。

在實(shí)戰(zhàn)環(huán)節(jié)，江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級(jí)工程師韓升原現(xiàn)場(chǎng)演示了DeepSeek模型部署全流程，并分享了報(bào)錯(cuò)排查經(jīng)驗(yàn)與顯存計(jì)算公式，為學(xué)員們提供了實(shí)用參考。昇思MindSpore布道師崔花婷還帶領(lǐng)學(xué)員在昇騰開(kāi)發(fā)板OrangePi Alpro（20T）上完成了Janus-Pro模型部署實(shí)戰(zhàn)，讓學(xué)員們切身體驗(yàn)了在終端設(shè)備進(jìn)行模型部署運(yùn)行的全流程。

活動(dòng)最后，特訓(xùn)營(yíng)為學(xué)員們舉辦了成果展示與結(jié)營(yíng)儀式，并頒發(fā)了結(jié)課證書(shū)。東南大學(xué)網(wǎng)絡(luò)與信息中心副主任胡軼寧表示，孵化中心將持續(xù)推進(jìn)“科研-教學(xué)-產(chǎn)業(yè)”閉環(huán)，培養(yǎng)具備鯤鵬昇騰原生開(kāi)發(fā)能力的復(fù)合型人才。昇騰計(jì)算技術(shù)開(kāi)發(fā)團(tuán)隊(duì)負(fù)責(zé)人也鼓勵(lì)學(xué)員們積極投身國(guó)產(chǎn)AI生態(tài)建設(shè)，為技術(shù)攻堅(jiān)貢獻(xiàn)力量。