商湯科技與南洋理工大學S-Lab聯合宣布，正式推出并開源全新多模態架構NEO，為日日新SenseNova多模態模型提供新一代技術支撐。這一突破性架構通過底層創新實現視覺與語言的深度融合，在性能、效率及通用性方面取得顯著提升，標志著多模態技術從“模塊化拼接”向“原生融合”的范式轉變。
傳統多模態模型多采用“視覺編碼器+投影器+語言模型”的模塊化設計，以語言模型為核心擴展圖像處理能力。然而，這種架構本質仍以文本為主導，圖像與語言的融合僅停留在數據層面，導致模型在復雜場景中（如精細圖像分析或空間結構理解）表現受限。商湯科技指出，此類“拼湊式”設計不僅學習效率低下，更難以滿足真實場景對多模態協同的需求。
針對上述痛點，NEO架構從底層機制重構多模態處理邏輯，通過三大核心創新實現原生融合：其一，原生圖塊嵌入（Native Patch Embedding）摒棄離散圖像分塊方式，采用自底向上的連續映射技術，直接從像素生成語義詞元，顯著提升圖像細節捕捉能力；其二，原生三維旋轉位置編碼（Native-RoPE）解耦時空頻率分配，為視覺與文本模態分配差異化頻率參數，使模型同時具備圖像空間結構解析與視頻跨幀建模潛力；其三，原生多頭注意力（Native Multi-Head Attention）在統一框架下實現文本自回歸注意力與視覺雙向注意力的協同，強化空間關聯推理能力。
在訓練策略上，NEO采用Pre-Buffer & Post-LLM雙階段融合機制，既保留原始語言模型的完整推理能力，又從零構建視覺感知模塊，有效解決跨模態訓練中語言能力退化問題。測試數據顯示，該架構僅需3.9億圖像文本樣本（約為行業同等性能模型的十分之一），即可在視覺理解任務中比肩Qwen2-VL、InternVL3等旗艦模型。在MMMU、MMB等權威評測中，NEO架構多項指標位居前列，尤其在0.6B至8B參數規模的邊緣部署場景中，展現出顯著的成本與效率優勢。
目前，商湯已開源基于NEO架構的2B與9B參數模型，開發者可通過開源社區獲取技術文檔與模型權重。此次開源不僅為學術界提供前沿研究基準，更為工業界部署高效多模態應用提供新選擇。隨著原生融合架構的普及，多模態技術有望在智能終端、自動駕駛、醫療影像等領域實現更廣泛的應用突破。
