近日,生數科技與清華大學的 TSAIL 實驗室共同發布了一個名為 TurboDiffusion 的視頻生成加速框架,并將其開源。這個新框架的發布引起了廣泛關注,許多人期待它能為視頻生成技術帶來突破性進展。根據官方介紹,TurboDiffusion 在幾乎不影響生成質量的情況下,能夠實現最高達200倍的視頻生成推理加速。
TurboDiffusion 的核心技術優勢在于針對視頻生成領域的一個關鍵瓶頸進行突破。以往的視頻擴散模型雖然具有強大的創造能力,但由于計算復雜度高,效率受到限制,因此難以廣泛應用。TurboDiffusion 并不是單純的優化方案,而是通過多項前沿技術的系統組合,從模型計算、注意力機制到推理流程等多個方面實現整體提速。
該框架采用了多項創新技術來實現加速。例如,低比特注意力加速技術 SageAttention,可以在低比特的 Tensor Core 上無損加速注意力計算。稀疏 - 線性注意力加速則使用可訓練的稀疏注意力 Sparse-Linear Attention (SLA),最高可以在 SageAttention 的基礎上實現17-20倍的注意力稀疏加速。TurboDiffusion 還引入了最新的蒸餾方法 rCM,使得模型僅需3-4步即可生成高質量視頻,顯著提升了生成速度。
在保持高質量輸出的前提下,TurboDiffusion 實現了視頻生成速度的大幅提升,使高質量視頻生成逐漸逼近實時交互的可行范圍。這標志著 AI 視頻創作進入 “實時生成” 時代,推動行業從技術探索期向規模化和商業化落地階段加速邁進。
TurboDiffusion:https://github.com/thu-ml/TurboDiffusion
劃重點:











