無需大規模預訓練，僅憑76K參數的神經網絡模型，就能在通用人工智能（AGI）基準測試中解決20%的難題——這一突破性成果來自最新研究CompressARC。該研究由卡內基梅隆大學（CMU）博士生Isaac Liao主導，其團隊通過引入最小描述長度（MDL）理論，顛覆了傳統智能依賴海量數據訓練的認知。在ARC-AGI-1基準測試中，CompressARC成為首個僅依賴單個樣本推理的深度學習方法，并憑借此成果斬獲2025年ARC Prize第三名，更令人驚訝的是，整個研究僅使用單張GPU完成。

傳統神經網絡通過學習輸入到輸出的映射規則實現泛化，而CompressARC的核心邏輯截然不同：它試圖用最短的計算機程序“描述”給定的謎題。這一思路源于MDL理論——現象的最簡程序表達往往蘊含其本質規律。在ARC-AGI場景中，模型需將謎題的輸入輸出對及測試輸入編碼為最短程序，程序長度越短，意味著找到的規則越簡潔本質。研究團隊遵循奧卡姆剃刀原理，假設最短程序具備最強泛化能力，因此完全摒棄外部訓練集，僅依賴謎題本身的少量示例進行推理。

ARC-AGI-1基準測試要求模型通過少量示例（通常2-3對輸入輸出）推斷隱藏規則，并生成正確輸出網格，其設計初衷正是檢驗AI的類人抽象推理能力。此前表現最優的預訓練大語言模型o3在該測試中得分88%，而未預訓練的神經網絡最高分僅40.3%。CompressARC則另辟蹊徑：它不追求學習通用規則，而是針對每個謎題“定制”最短程序。實驗顯示，在2000個推理訓練步驟（約20分鐘/謎題）的預算下，模型成功解決20%的評估集謎題和34.75%的訓練集謎題，盡管得分低于預訓練模型，但其零數據依賴的特性為AGI研究開辟了新路徑。

技術實現層面，研究團隊設計了固定程序模板，將尋找最短程序的問題轉化為優化種子（硬編碼數值）和神經網絡權重的問題。為解決組合搜索空間爆炸的難題，他們借鑒變分自編碼器（VAE）原理，通過KL散度懲罰隨機噪聲z的信息量，并用交叉熵衡量輸出與真實謎題的匹配度，從而將問題轉化為可微分的優化任務。這一創新使梯度下降等深度學習標準方法得以應用，避免了窮舉所有可能程序的計算不可行性。

模型架構方面，CompressARC采用四大關鍵設計：其一，內置等變性處理，使網絡默認賦予旋轉、翻轉等變換后的謎題相同概率，避免用冗長代碼描述對稱性；其二，引入多張量數據結構，用不同形狀的張量存儲不同粒度信息，強化抽象推理能力；其三，核心骨干采用類Transformer結構，通過4層殘差連接和線性投影實現信息交互，但參數僅76K——大部分參數用于通道維度投影，核心操作本身無參數；其四，定制無參數操作集，包括信息匯總傳播、單像素幾何平移、累積最大值拓撲操作等，直接體現對謎題規則的先驗知識。這些設計共同確保了程序描述的極致壓縮。

該研究挑戰了“智能必源于大規模預訓練”的共識，證明MDL與壓縮原理的結合可激發模型驚人的泛化能力。作者Isaac Liao目前專注于MDL、變分推斷及超網絡等領域，其本科與碩士均畢業于麻省理工學院（MIT），師從Mamba架構提出者Albert Gu教授。而ARC-AGI基準的創立者Fran?ois Chollet（Keras深度學習庫創始人、Google AI研究員）于2019年設計該測試時，正是為了彌補傳統基準在評估類人抽象推理能力上的不足——如今，CompressARC的突破為這一目標提供了全新解決方案。