如何讓針對靜態場景訓練的3D基礎模型（3D Foundation Models），在不增加訓練成本的前提下，具備處理動態4D場景的能力？

來自香港科技大學（廣州）與地平線（Horizon Robotics）的研究團隊提出了VGGT4D。該工作通過深入分析Visual Geometry Transformer（VGGT）的內部機制，發現并利用了隱藏在注意力層中的運動線索。

作為一種無需訓練（Training-free）的框架，VGGT4D在動態物體分割、相機位姿估計及長序列4D重建等任務上均取得了優異性能。

從3D邁向4D的挑戰

近年來，以VGGT、DUSt3R為代表的3D基礎模型在靜態場景重建中表現出色。然而，面對包含移動物體（如行人、車輛）的動態4D場景時，這些模型的性能往往顯著下降。動態物體的運動不僅干擾背景幾何建模，還會導致嚴重的相機位姿漂移。

現有的解決方案通常面臨兩類挑戰：

計算或訓練成本高：

依賴繁重的測試時優化（Test-time Optimization）或需要在大規模4D數據集上進行微調。

依賴外部先驗：

通常需要引入光流、深度估計或語義分割等額外模塊，增加了系統的復雜性。

VGGT4D的核心設想：能否在不進行額外訓練的前提下，直接從預訓練的3D基礎模型中挖掘出4D感知能力？

VGGT內部的潛在運動線索

研究人員對VGGT的注意力機制進行了可視化分析，觀察到一個關鍵現象：VGGT的不同網絡層對動態區域表現出截然不同的響應模式。

淺層網絡：

傾向于捕捉語義上顯著的動態物體。

深層網絡：

則逐漸抑制幾何不一致的區域。

這一發現表明，VGGT雖然是基于靜態假設訓練的，但其內部實際上已經隱式編碼了豐富的動態線索。

然而，直接利用標準的注意力圖(QK^{T)效果并不理想，因為它混合了紋理、語義和運動信息，導致信噪比低，使得Easi3R等基于Epipolar假設的方法在VGGT架構上失效。}

如何從靜態模型中提取運動線索？

VGGT4D提出了一套無需訓練的注意力特征挖掘與掩膜精修機制。該方法深入特征流形內部，利用Gram矩陣和梯度流實現了高精度的動靜分離。

跨越投影間隙：基于Gram相似度的特征挖掘

研究團隊首先分析了標準注意力圖A^{QK=QKT/√C的局限性。由于Q（Query）和K（Key）向量來自異構的投影頭，其特征分布存在天然的分布間隙（Distributional Gap），導致Cross-Attention主要響應語義對齊，而運動引起的微小特征擾動容易被掩蓋。}

為解決此問題，VGGT4D引入了自相似性Gram矩陣來替代。通過在同構潛在分布內計算相似度，運動引起的方差成為了主導信號。模型通過在時間窗口W(t)內聚合不同層級的統計矩（均值S與方差V），構建了動態顯著性場：

基于投影雅可比矩陣的梯度流精修

為了解決Attention Map分辨率不足導致的邊界模糊問題，VGGT4D引入了投影梯度感知精修（Projection Gradient-aware Refinement）。

定義3D點在視點i下的幾何投影殘差r_{d,i，該殘差關于3D坐標的梯度?rd,i包含了極強的邊界信息。由于該梯度依賴于投影雅可比矩陣（Projection Jacobians）和深度圖的空間梯度，在動態物體邊緣處會呈現顯著的高頻響應。聚合后的梯度能量函數如下所示，結合光度殘差項，實現了對動態掩膜的亞像素級銳化：}

分布內早期掩膜策略（In-Distribution Early-Stage Masking）

在推理階段，直接的全層掩膜（Full Masking）會將模型推向分布外（OOD）狀態，導致性能下降。

VGGT4D提出了一種早期階段干預策略：僅在淺層抑制動態Token的Key向量。這種設計既在早期切斷了動態信息對深層幾何推理的影響，又保證了深層Transformer Block依然在其預訓練的特征流形上運行，從而保證了位姿估計的魯棒性。

表現如何？

研究團隊針對動態物體分割、相機位姿估計和4D點云重建三大核心任務，在六個基準數據集上進行了詳盡的定量和定性評估：

核心組件評估：動態物體分割性能

實驗首先評估了該方法的核心組件：動態物體分割。

定量分析：VGGT4D顯著優于其他所有變體，在DAVIS-2016和DAVIS-2017數據集上均達到了最優性能。值得強調的是，即使沒有經過任何4D特定的訓練，該方法僅基于預訓練的VGGT模型即可取得優異結果。雖然Easi3R^{monst3r在DAVIS-all數據集上表現出具有競爭力的召回率，但這主要得益于MonST3R在光流上的后訓練，而VGGT4D無需訓練。}

定性分析：定性結果清晰地展示了基線方法的不足：Easi3R的掩碼較為粗糙且遺漏細節；DAS3R傾向于過度分割并滲入靜態背景；MonST3R則常常分割不足。相比之下，VGGT4D生成的掩碼更加準確，且邊界更加清晰。這些結果有力地驗證了研究團隊的假設：VGGT的Gram相似度統計信息中嵌入了豐富的、可提取的運動線索。

魯棒性驗證：相機位姿估計

強大的基線與持續改進：數據表明，原始VGGT已經是一個非常強大的基線，其自身就優于MonST3R、DAS3R等許多專門的4D重建方法。這表明VGGT的預訓練隱式地使其對動態物體具有一定的魯棒性。然而，這種魯棒性并不完美。VGGT4D在所有數據集上均持續改進了這一強大的VGGT基線。例如在VKITTI數據集上，VGGT4D的ATE僅為0.164，而MonST3R高達2.272。

長序列魯棒性突破：在極具挑戰性的長序列Point Odyssey基準測試中，VGGT4D在所有指標上均取得了最佳結果，同時保持了高度效率。許多其他4D方法由于內存不足（OOM）錯誤甚至無法在該500幀序列上運行。這表明VGGT4D提出的顯式、無需訓練的動態-靜態分離方法成功地識別并消除了由運動引起的殘余位姿不一致性，從而實現了更穩定、更準確的相機軌跡，尤其是在長且復雜的序列上。

最終目標：4D點云重建質量實驗

在DyCheck數據集上的評估顯示，VGGT4D在所有重建指標（準確度、完整度和距離）上均取得了最佳性能。與VGGT基線相比，中位準確度誤差從0.009降低到0.004，平均距離從0.150降低到0.123。這證明了該方法不僅實現了精準的動靜分離，更能實質性提升幾何重建質量。

低成本解決大問題

VGGT4D提出了一種無需訓練的新范式，成功將3D基礎模型的能力擴展至4D動態場景。該工作證明了通過合理挖掘模型內部的Gram相似度統計特性，可以有效解耦動態與靜態信息。這不僅為低成本的4D重建提供了新思路，也展示了基礎模型在零樣本遷移任務中的潛力。