這款由DecartAI推出的MirageLSD,被譽為世界上首個支持直播推流的實時擴散AI視頻模型。它實現了0延遲與無限時長的視頻生成,每秒24幀流暢不卡頓,為AI視頻交互帶來了顛覆性的變革。
與傳統的濾鏡效果不同,MirageLSD并非簡單地對視頻進行重新著色或樣式設置,而是能夠深入理解視頻內容,并同步生成充滿無限想象力的AI視頻。這意味著,用戶可以將自己的寵物變成超級英雄,或將打斗場面瞬間轉換為星球大戰的場景,而且這一切都是實時的。
MirageLSD的實時性能得益于Decart自研的Live Stream Diffusion(LSD)模型。該模型能夠在保持時間連貫性的同時,逐幀生成視頻,并支持完全交互式的視頻合成。用戶可以在視頻生成的同時,進行持續提示、變換和編輯,實現了真正的實時交互。
為了實現實時生成,LSD模型采用了多種創新技術。首先,它設計了自定義的CUDA超大內核,以最大限度地減少開銷并提高吞吐量。其次,在快捷蒸餾和模型剪枝的基礎上,減少了每幀所需的計算量。最后,優化模型架構以與GPU硬件對齊,實現了最高效率。這些技術的共同作用,使得MirageLSD的響應速度比之前的模型提高了16倍,實現了每秒24幀的實時視頻生成。
MirageLSD還解決了以往視頻模型在生成長視頻時容易出現的誤差累積問題。它引入了歷史增強技術,使模型能夠預測并修正輸入中的偽影,從而增強了對自回歸生成中常見漂移的魯棒性。這使得MirageLSD成為首個能夠無限生成視頻的視頻生成模型。
隨著MirageLSD的推出,未來的視頻娛樂和直播互動將擁有更多的可能性。用戶不再受限于直播設備的性能,即使設備再差,也能通過MirageLSD將直播畫面轉化為全新場景,實現“完美直播”。同時,MirageLSD也為科幻電影制作、游戲開發等領域帶來了前所未有的創新機遇。