阿里云旗下的通義大模型近日正式推出新一代語音交互模型Fun-Audio-Chat，這是通義百聆語音模型系列中首個(gè)專注于“語音對(duì)語音”交互能力的創(chuàng)新成果。該模型支持用戶直接通過語音進(jìn)行多輪對(duì)話，無需依賴文本輸入或轉(zhuǎn)換，為語音交互領(lǐng)域帶來了新的技術(shù)突破。

在性能表現(xiàn)方面，F(xiàn)un-Audio-Chat在多項(xiàng)國際權(quán)威評(píng)測中展現(xiàn)出顯著優(yōu)勢。根據(jù)OpenAudioBench、VoiceBench、Ultraeval-Audio等語音與多模態(tài)評(píng)測數(shù)據(jù)顯示，該模型在語音理解、生成質(zhì)量以及對(duì)話協(xié)同能力上均達(dá)到開源模型領(lǐng)先水平，整體性能超越同參數(shù)規(guī)模的多款主流模型。這一成果驗(yàn)證了其在復(fù)雜語音場景下的技術(shù)實(shí)力。

作為通義百聆語音模型家族的最新成員，F(xiàn)un-Audio-Chat-8B與系列中已有的語音轉(zhuǎn)文字模型Fun-ASR、文字轉(zhuǎn)語音模型Fun-CosyVoice3形成互補(bǔ)。其核心亮點(diǎn)在于端到端的語音交互能力，可直接應(yīng)用于語音聊天、情感陪伴、智能終端交互及語音客服等場景。目前，該模型已在魔搭社區(qū)、Hugging Face及GitHub等平臺(tái)全面開源，供全球開發(fā)者使用。

在技術(shù)架構(gòu)上，阿里云團(tuán)隊(duì)采用了兩項(xiàng)創(chuàng)新策略。首先是Core-Cocktail兩階段訓(xùn)練方法，通過分階段引入語音與多模態(tài)能力，并與原有文本大模型參數(shù)進(jìn)行融合微調(diào)，有效降低了新增能力對(duì)語言理解基礎(chǔ)的干擾，解決了“災(zāi)難性遺忘”這一技術(shù)難題。其次是多階段、多任務(wù)的偏好對(duì)齊訓(xùn)練機(jī)制，使模型能夠更精準(zhǔn)地捕捉語音對(duì)話中的語義與情緒線索，顯著提升了對(duì)話的自然流暢度。

算力效率優(yōu)化是該模型的另一大突破。通過采用壓縮—自回歸—解壓縮的雙分辨率端到端架構(gòu)，F(xiàn)un-Audio-Chat-8B將音頻處理幀率降至約5Hz，在保持語音質(zhì)量的同時(shí)，將GPU計(jì)算開銷降低近50%。這一設(shè)計(jì)在當(dāng)前語音大模型普遍面臨高算力成本的背景下，展現(xiàn)了重要的工程應(yīng)用價(jià)值。

此次開源的Fun-Audio-Chat-8B不僅推動(dòng)了語音交互技術(shù)向低算力、強(qiáng)對(duì)話的實(shí)用化方向發(fā)展，也為開源社區(qū)提供了可部署于真實(shí)場景的語音大模型技術(shù)方案。其創(chuàng)新架構(gòu)與訓(xùn)練策略為行業(yè)開發(fā)者提供了新的技術(shù)參考，有望加速語音交互技術(shù)在更多領(lǐng)域的落地應(yīng)用。