通義萬相正式發布全新Wan2.2-Animate模型,該模型通過"上傳單張人物圖像+指定視頻片段"的創新方式,實現動作精準遷移與角色無縫替換功能。在影視制作與創意內容領域,這項技術可完成從靜態人物動態化到影視級角色置換的完整流程,特別適用于劇情魔改、虛擬演員替換等前沿應用場景。
技術實現層面,模型采用四項突破性設計:首先構建統一架構體系,通過符號化輸入范式將"圖像生成動作"與"視頻角色替換"兩大功能整合為同一模型框架,開發效率較傳統雙模型方案提升近一倍。在動作控制維度,系統創新性地將人體運動與面部表情解耦處理——身體動作依托VitPose提取的2D骨骼數據進行潛在向量注入,確保動作遷移的幾何準確性;面部表情則通過幀級隱式特征編碼與時序對齊機制,完整保留眼神、嘴角等微表情變化。
針對角色替換后的視覺融合難題,研發團隊引入Relighting LoRA光影重塑模塊。該模塊基于IC-Light合成數據訓練,可實時分析目標視頻的環境光照參數與色彩特征,使新角色在復雜運鏡(包括推拉搖移及鏡頭抖動)場景中實現自然光影過渡,徹底解決傳統替換技術"浮于畫面"的視覺缺陷。在開發支持方面,平臺同步開源完整技術棧,包含視頻預處理模板、模型推理引擎等核心組件,為姿態驅動類模型研發提供標準化工具鏈。
目前該技術已實現多平臺部署:普通用戶可通過通義萬相國內外官網在線體驗,僅需上傳基礎素材即可獲取動態結果;專業開發者可通過阿里云百煉平臺調用API接口;模型代碼與訓練框架已全面開放至ModelScope、Hugging Face及GitHub三大開源社區,支持二次開發與定制化改造。這項技術突破正在重塑數字內容生產流程,為影視后期、虛擬制作、創意廣告等領域開辟新的技術路徑。