人工智能領域迎來新突破，DeepSeek公司近日在GitHub平臺開源了一款創新的OCR模型，并同步發表了技術論文《DeepSeek OCR：上下文光學壓縮》。該模型通過視覺模態實現文本信息的高效壓縮，為解決大語言模型處理長文本時的計算瓶頸提供了新思路。
研究團隊發現，現有大語言模型在處理超長文本時面臨顯著的計算壓力。為此，他們創新性地將文本信息轉化為視覺模態，利用"一圖勝千言"的原理大幅減少Token消耗。實驗數據顯示，這種光學壓縮技術可實現近10倍的無損上下文壓縮，同時保持97%以上的OCR準確率。在A100-40G顯卡環境下，單日可生成超過20萬頁的模型訓練數據。
該模型采用雙組件架構設計：DeepEncoder編碼器負責圖像特征提取與壓縮，DeepSeek3B-MoE解碼器則從壓縮后的視覺Token中重建文本。解碼器采用混合專家（MoE）架構，在30億參數規模中僅激活約5.7億有效參數，兼顧了模型表達能力與推理效率。當壓縮率控制在10倍以內時，OCR精度穩定在97%；即使壓縮率提升至20倍，準確率仍維持在60%左右。
研究團隊提出了更具前瞻性的設想——模擬人類記憶衰退機制。通過逐步縮小歷史上下文的圖像渲染尺寸，實現Token消耗的遞減式壓縮。隨著圖像尺寸縮小，內容清晰度相應降低，最終達到類似人類記憶的漸進式遺忘效果。這種設計為處理無限上下文信息提供了理論可能，目前該方向仍處于早期探索階段。
項目核心成員包括Haoran Wei、Yaofeng Sun和Yukun Li三位研究員。其中Haoran Wei曾主導開發第二代OCR系統GOT-OCR2.0，具備深厚的技術積累。該模型開源后迅速獲得業界關注，GitHub平臺累計獲得超過1400個星標。
盡管市場對DeepSeek未發布R2新模型存在爭議，但此次技術突破顯示公司正專注于底層技術創新。光學壓縮技術不僅優化了現有模型性能，更為下一代大語言模型的發展開辟了新路徑。這種將文本與視覺信息深度融合的研究方向，可能成為通向通用人工智能的重要突破口。
