想象一下,曾經只能通過后期制作的特效,如今卻能實時呈現在觀眾眼前。無論是將“馬斯克AI女友”瞬間轉換為哥特或卡哇伊風格,還是讓家中的寵物狗穿上蜘蛛俠戰衣,在MirageLSD的魔力下,一切皆有可能。這一技術不僅限于簡單的濾鏡效果,而是能夠深刻理解視頻內容,并據此生成無限想象力的AI視頻。
MirageLSD之所以能夠實現實時生成,得益于Decart自研的Live Stream Diffusion(LSD)模型。該模型能夠在保持時間連貫性的同時,逐幀生成視頻,并支持完全交互式的視頻合成。用戶可以在視頻生成的過程中,持續進行提示、變換和編輯,從而創造出獨一無二的個性化視頻內容。
與傳統的視頻生成模型相比,MirageLSD不僅解決了誤差累積導致的質量下降問題,還實現了無限長度的視頻生成。這得益于其采用的DiffusionForcing技術和歷史增強技術,使得模型能夠在經過損壞的歷史幀輸入上進行微調,預測并修正輸入中的偽影,從而增強了對自回歸生成中常見漂移的魯棒性。
為了實現實時性能,MirageLSD在模型設計和系統執行方面都進行了重大優化。通過設計自定義的CUDA超大內核、減少每幀所需的計算量以及優化模型架構與GPU硬件的對齊,MirageLSD成功地將響應速度提高了16倍,實現了每秒24幀的實時視頻生成。這一突破性的成就,無疑為未來的視頻娛樂、直播互動等領域帶來了無限的想象空間。