在中國信息通信研究院（中國信通院）近期組織的“可信AI大模型一體機評估體系1.0”評估活動中，一家黃浦區重點扶持的創新企業——問道以芯，憑借其自主研發的“異構存力推理機”，成功通過了推理性能專項評估，躋身國內首批完成該體系評估的企業行列。
問道以芯，這家成立于2021年的新興企業，致力于構建國產自主的AI及高性能計算開放集群，專注于研發解決核心技術難題的產品。2024年，問道以芯在第四屆“海聚英才”全球創新創業大賽中榮獲銀聚獎，并隨后落戶黃浦區。今年3月，該公司攜手黃浦科創集團和江蘇未來網絡集團，共同發布了基于全自主知識產權新存力運力架構的AI大模型云邊端協同一體機原理機。經過數月的努力，問道以芯于6月正式推出了工程化產品——“異構存力推理機V1”，為中央科創區的“硬科技”產業生態注入了新活力。
隨著人工智能領域的蓬勃發展，特別是大模型時代的到來，企業對于如何高效支撐多場景人工智能模型的應用需求愈發迫切。大模型一體機應運而生，它集成了硬件資源、軟件平臺和大模型的軟硬一體化能力，提供了便捷的使用體驗，助力企業快速、穩定地落地大模型技術。為推動產業健康發展，中國信通院人工智能研究所聯合業界單位制定了可信AI大模型一體機行業標準。
“可信AI大模型一體機評估體系1.0”涵蓋了通用大模型一體機、專用大模型一體機和場景大模型一體機三大評估類別。其中，通用大模型一體機評估包括訓推一體機、推理一體機、MoE模型專項和推理性能專項等；專用大模型一體機評估則針對基礎模型一體機、智能體一體機、代碼大模型一體機、金融一體機、政務一體機、教育一體機、工業一體機等；場景大模型一體機評估則聚焦于智能客服一體機、智能風控一體機、智能決策一體機、BI一體機、智能編碼工具一體機等。
問道以芯的“異構存力推理機”采用了創新的CXL硬件設備與消費級GPU、CPU配置相結合，通過優化CXL無序IO和BIOS，有效解決了大模型推理場景中因內存墻和數據墻導致的硬件性能下降問題。該產品支持DeepSeek、Qwen等通用大模型及定制化大模型，并在llama.cpp框架下展現出高效率，顯著降低了推理側對GPU性能的需求，從而減少了硬件成本。
該推理機還具備靈活的IO配置能力，支持異步IO和分散-聚集IO，實現了IO優先級調度。這一方案有效緩解了傳統IO操作因資源競爭導致的阻塞問題，使算力設備在更高效區間運行。在實際應用中，當運行DeepSeek-R1 70B模型時，推理機會將大部分內存資源和IO資源傾斜向GPU，以確保其高效運行；而當運行更大規模的DeepSeek-R1 671B模型時，由于GPU顯存和帶寬不足，推理機會通過CXL IO支持GPU計算，同時利用主內存IO支持CPU計算，將推理任務卸載至多設備，以保證更好的輸出結果。
“問道以芯異構存力推理機”產品實物圖
展望未來，問道以芯將繼續秉承“先進芯片技術國產化、IP自主化、產品本地化”的理念，依托黃浦區的人才、產業和資本優勢，以全自主知識產權重塑AI基礎設施。在“一帶一區硬科技”的戰場上，問道以芯將持續沖鋒前行，與合作伙伴強強聯合，共同構建AI服務器異構計算互聯的生態體系。
