近日,一款名為“褐蟻”的一體機產品在科技圈內引起了廣泛關注。這款由行云集成電路推出的產品,憑借其僅需10萬元即可運行滿血版DeepSeek R1/V3大模型的特性,成為了市場上的熱門話題。
據悉,“褐蟻”一體機共有三款配置,其中主打極致性能的褐蟻HY90備受矚目。它搭載了雙路AMD EPYC 9355服務器、24條48G 6400M頻率內存以及5090D計算卡,支持FP8、INT4兩種數據精度。在FP8精度下,褐蟻HY90能夠以21token/s的速度運行滿血版DeepSeek大模型,而在INT4精度下,速度更是達到了28token/s,最高支持128K的上下文。
在當前一體機市場,高性能產品往往價格高昂,動輒百萬元以上,而市場上大部分企業的預算集中在10-50萬元區間。褐蟻一體機的推出,打破了這一僵局,使得中型企業能夠以家用轎車的成本,部署接近實驗室級的大模型生產力工具。這一舉措不僅降低了大模型的應用門檻,更為企業數字化轉型提供了有力支持。
不僅如此,褐蟻一體機在用戶體驗上也下足了功夫。許多企業在購買低價一體機后發現,產品只能運行INT4精度的數據,且DeepSeek運行速度極慢。而褐蟻一體機在保證滿血版DeepSeek模型在FP8精度下達到20token/s體驗的前提下,進一步壓縮了硬件成本,使得企業能夠以更實惠的價格獲得更好的使用體驗。
在實際測試中,褐蟻一體機也展現出了不俗的性能。將問題同時輸入運行在褐蟻HY90上的DeepSeek和DeepSeek官網,可以發現褐蟻一體機的運行速度更快,且能夠更早地得出答案。在創作場景下,褐蟻一體機同樣表現出色,能夠更快地回答用戶的問題。
那么,行云集成電路是如何將運行頂級大模型的成本從百萬元級別拉到十萬元級的呢?這背后離不開對技術趨勢的深刻洞察和極致的軟硬件協同優化。在DeepSeek大模型的部署中,內存是決定模型能否“滿血運行”的核心瓶頸。而行云集成電路發現,現在DDR5的頻率逐漸達到了6400MHz,服務器CPU的內存通道數不斷增加,雙路24通道DDR5-6400內存的帶寬已經達到了1.2TB/s,遠超DeepSeek的需求。
基于這一發現,行云集成電路采用了CPU內存作為主要載體承載大模型權重,搭載了雙路AMD EPYC 9355服務器CPU和英偉達的消費級5090D顯卡,不僅滿足了滿血全精度R1、V3模型的運行需求,還使得理論上主參數1.5T以內的模型都可以得到支持。行云集成電路還通過自研推理引擎對軟件和算法進行了優化,將MoE層的token延遲從超過30ms降低到了18ms(INT4精度下),進一步提升了用戶體驗。
褐蟻一體機的推出,是行云集成電路“技術平權”愿景的第一步。未來,他們計劃推出自研的GPU/AI加速卡,搭載到即將面世的褐蟻HY70和褐蟻HY50上,提供性價比更高的一體機解決方案。同時,行云集成電路還將進一步提升單機的并發處理能力,并推出由多臺褐蟻一體機組成的“蟻群”方案,以支持更多的有效并發數。
隨著褐蟻一體機的推出,行云集成電路有望打破一體機市場的算力壟斷,推動技術平權的嶄新浪潮。他們希望一體機能像宇宙中的“褐蟻”一樣,撬動被高成本束縛的大模型落地應用市場,讓前沿AI技術成為真正賦能千行百業的普惠工具。