日本精品一区二区三区高清 久久

ITBear旗下自媒體矩陣:

聯想AI服務器新突破:本地部署DeepSeek大模型,性能滿載支持百并發

   時間:2025-03-03 12:31:34 來源:ITBEAR編輯:快訊團隊 發表評論無障礙通道

聯想集團近日宣布了一項重大技術突破,成功在聯想問天WA7780 G3服務器上單機部署了DeepSeek-R1/V3 671B大模型。這一成就不僅刷新了企業級大模型部署的基準,還以遠低于行業公認的1TGB顯存要求(實際僅使用768GB),實現了流暢支持100并發用戶的能力,充分滿足千人以上規模企業的使用需求。

在DeepSeek大模型本地化部署逐漸成為企業關注焦點的背景下,聯想的這次技術革新為企業提供了寶貴的選型參考。面對行業普遍存在的關鍵問題,如單機能否部署完整版的DeepSeek R1、最低配置需求、高并發與吞吐量下的用戶體驗保障以及如何避免采購陷阱,聯想給出了明確的答案。

聯想的研發團隊通過一系列創新技術,包括專家并行優化、智能訪存架構升級以及PCIe 5.0全互聯架構的應用,顯著提升了顯存利用率,從而實現了性能的大幅提升。在512 token標準測試環境下,系統能夠支持100個并發用戶以每秒10 token的速度穩定輸出,首token響應時間更是被壓縮至30秒以內。即使在面對4K長序列的復雜場景時,系統也能保持25個并發用戶的同等性能。

聯想問天WA7780 G3服務器僅配置了8張96GB顯存的GPU卡,而DeepSeek-R1大模型的模型參數就占據了約700GB顯存,剩余顯存空間有限。如果不進行專門優化,系統僅能支持2至3個用戶接入。然而,在聯想萬全異構智算平臺的加持下,通過精心優化,聯想成功實現了用戶體驗的三項關鍵指標:首token延遲小于30秒、單token延遲小于100毫秒、支持2K以上長序列問題處理。同時,這一方案還實現了20%以上的成本節約,充分展示了聯想在服務器技術領域的深厚積累和創新實力。

聯想的這一創新成果不僅為企業提供了設備選型的新思路,還提醒企業在評估測試數據時,應審慎看待總吞吐量和總并發數等指標,而應更加關注用戶體驗和數據精度等隱藏信息。例如,將數據精度從FP8轉為int8或int4(即量化)雖然可以顯著提升性能表現,但會犧牲結果的準確性,這顯然不是用戶所期望的。高吞吐量和高并發量也并不等同于用戶體驗好。如果服務器GPU卡配置不高,局部通信瓶頸可能會引發響應延遲,導致用戶體驗降級。

聯想的這一技術突破將有效破除大模型在企業落地過程中的瓶頸,加速大模型在企業的應用進程。未來,聯想基礎設施業務群與聯想研究院先進計算實驗室將繼續深化合作,依托聯想萬全異構智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續優化,為客戶提供性能更佳、性價比更高的產品和解決方案,推動DeepSeek大模型的廣泛落地,引領新一輪的生產力革命。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯系方式  |  版權聲明  |  RSS訂閱  |  開放轉載  |  滾動資訊  |  爭議稿件處理  |  English Version
 
主站蜘蛛池模板: 叙永县| 醴陵市| 玛沁县| 张家川| 介休市| 金华市| 江源县| 兰考县| 宣汉县| 五常市| 乌海市| 孝感市| 娱乐| 旺苍县| 德格县| 永济市| 高阳县| 南京市| 金乡县| 响水县| 临猗县| 图们市| 台北县| 巴塘县| 山丹县| 麟游县| 师宗县| 共和县| 阳朔县| 南丹县| 沙雅县| 乐平市| 林甸县| 双牌县| 读书| 南京市| 紫阳县| 通城县| 大石桥市| 酉阳| 阜新|