百度商業(yè)研發(fā)團(tuán)隊(duì)近期宣布了兩項(xiàng)創(chuàng)新成果:自研視頻生成模型“MuseSteamer”及配套的創(chuàng)作平臺“繪想”。這一突破性技術(shù)標(biāo)志著全球首個中文音視頻一體化生成視頻模型的誕生,它顛覆了傳統(tǒng)AIGC視頻制作中畫面與音效、人聲臺詞分步進(jìn)行的舊模式,實(shí)現(xiàn)了兩者的協(xié)同創(chuàng)作。
“MuseSteamer”在技術(shù)上取得了顯著成就,于權(quán)威評測VBench I2V中榮獲全球榜首,總分高達(dá)89.38%。該模型不僅能夠根據(jù)一張圖片生成長達(dá)10秒、分辨率為1080p的電影級畫質(zhì)視頻,而且在人物微表情和運(yùn)鏡效果方面達(dá)到了專業(yè)影視制作的標(biāo)準(zhǔn)。這些卓越表現(xiàn)得益于其背后的強(qiáng)大技術(shù)支撐,包括億級中文多模態(tài)數(shù)據(jù)的精細(xì)處理、創(chuàng)新的視頻結(jié)構(gòu)化描述語言,以及多目標(biāo)強(qiáng)化學(xué)習(xí)算法的不斷優(yōu)化。
“MuseSteamer”模型家族涵蓋了Turbo、Lite、Pro及全系列有聲版,旨在滿足不同創(chuàng)作者的需求,從普通用戶到專業(yè)影視機(jī)構(gòu)均可找到適合自己的版本。目前,Turbo版已在“繪想”平臺上開放限時免費(fèi)公測,吸引了大批創(chuàng)作者體驗(yàn)。其余版本也計(jì)劃在8月陸續(xù)與用戶見面。為進(jìn)一步激發(fā)創(chuàng)作熱情,“繪想”平臺還啟動了“跨次元捏合”AI視頻創(chuàng)作大賽,用戶只需上傳一張圖片,即可生成富有創(chuàng)意的動態(tài)視頻作品參與競賽。