阿里巴巴通義大模型團(tuán)隊(duì)近日宣布，其自主研發(fā)的“百聆”系列語(yǔ)音模型完成重大技術(shù)迭代并正式開源。此次升級(jí)聚焦多語(yǔ)言處理與實(shí)時(shí)交互能力，推出兩款核心模型——Fun-CosyVoice3與Fun-ASR，在語(yǔ)音轉(zhuǎn)換、識(shí)別效率及開發(fā)靈活性方面實(shí)現(xiàn)突破性進(jìn)展。

Fun-CosyVoice3模型通過優(yōu)化算法架構(gòu)，將中英混說場(chǎng)景下的識(shí)別準(zhǔn)確率提升至行業(yè)領(lǐng)先水平，同時(shí)將首包響應(yīng)延遲壓縮50%。其獨(dú)創(chuàng)的“三秒音色克隆”技術(shù)成為亮點(diǎn)：用戶僅需提供短至三秒的音頻樣本，系統(tǒng)即可精準(zhǔn)復(fù)刻聲紋特征，并支持生成包含開心、憤怒等八種情緒的個(gè)性化語(yǔ)音。這項(xiàng)技術(shù)已應(yīng)用于實(shí)時(shí)翻譯助手、在線教育配音及視障人士無障礙閱讀等場(chǎng)景，顯著降低內(nèi)容生產(chǎn)門檻。

另一款Fun-ASR模型則專注語(yǔ)音識(shí)別精度與速度的雙重提升。在復(fù)雜聲學(xué)環(huán)境下，該模型仍保持93%的準(zhǔn)確率，并突破性支持歌詞、說唱等特殊語(yǔ)料的識(shí)別。其多語(yǔ)言混說功能覆蓋普通話、粵語(yǔ)等18種中文方言及9種外語(yǔ)，流式識(shí)別的首字延遲降至160毫秒，較前代產(chǎn)品縮短40%。某直播平臺(tái)測(cè)試顯示，應(yīng)用該模型后，主播與觀眾的實(shí)時(shí)互動(dòng)延遲減少60%，彈幕文字轉(zhuǎn)語(yǔ)音的流暢度提升顯著。

技術(shù)開放層面，兩款模型均提供完整的本地化部署方案與二次開發(fā)接口。開發(fā)者可通過GitHub開源社區(qū)獲取預(yù)訓(xùn)練模型及調(diào)優(yōu)工具包，根據(jù)醫(yī)療、金融、娛樂等垂直領(lǐng)域需求定制專屬語(yǔ)音系統(tǒng)。項(xiàng)目負(fù)責(zé)人透露，已有超過200家企業(yè)及研究機(jī)構(gòu)參與早期測(cè)試，累計(jì)下載量突破5萬(wàn)次。

開源地址：https://github.com/FunAudioLLM/CosyVoice

核心亮點(diǎn)速覽：