當(dāng)前，各大科技公司的大模型競(jìng)爭(zhēng)進(jìn)入白熱化階段，OpenAI的GPT、Anthropic的Claude、谷歌的Gemini以及中國(guó)的DeepSeek等模型不斷推陳出新。然而，隨著AI模型排行榜頻繁出現(xiàn)刷分作弊現(xiàn)象，如何客觀評(píng)估大模型性能成為業(yè)界關(guān)注的焦點(diǎn)。在此背景下，一個(gè)名為L(zhǎng)MArena的線上評(píng)測(cè)平臺(tái)應(yīng)運(yùn)而生，通過(guò)實(shí)時(shí)對(duì)戰(zhàn)和用戶投票的方式，為大模型性能評(píng)估提供了新的思路。

在LMArena平臺(tái)上，文字、視覺、搜索、文生圖、文生視頻等多個(gè)細(xì)分領(lǐng)域的AI大模型每天進(jìn)行上千場(chǎng)實(shí)時(shí)對(duì)戰(zhàn)。普通用戶通過(guò)匿名投票的方式，選出自己認(rèn)為表現(xiàn)更好的模型。這種評(píng)測(cè)方式得到了許多AI研究者的認(rèn)可，他們認(rèn)為大模型競(jìng)賽的下半場(chǎng)需要重新思考模型評(píng)估標(biāo)準(zhǔn)。當(dāng)技術(shù)創(chuàng)新趨于飽和時(shí)，準(zhǔn)確衡量和理解模型的智能邊界將成為拉開差距的關(guān)鍵。

傳統(tǒng)的大模型評(píng)估主要依賴固定的題庫(kù)，如MMLU、BIG-Bench、HellaSwag等。這些題庫(kù)涵蓋學(xué)科、語(yǔ)言、常識(shí)推理等多個(gè)維度，通過(guò)比較模型的答對(duì)率或得分來(lái)評(píng)估性能。然而，隨著模型能力的增強(qiáng)和訓(xùn)練數(shù)據(jù)的擴(kuò)大，傳統(tǒng)Benchmark的局限性逐漸顯現(xiàn)。題庫(kù)泄露導(dǎo)致模型可能只是“記住”答案而非真正理解問(wèn)題，且靜態(tài)Benchmark無(wú)法反映模型在真實(shí)交互中的表現(xiàn)。

LMArena的競(jìng)技場(chǎng)模式被視為應(yīng)對(duì)傳統(tǒng)Benchmark失靈的新方案。其核心機(jī)制源于伯克利實(shí)驗(yàn)室的研究，2023年5月由全球頂尖學(xué)府組成的非營(yíng)利性開放研究組織LMSYS推出了Chatbot Arena（LMArena的前身）。當(dāng)時(shí)，LMSYS團(tuán)隊(duì)為了比較自己發(fā)布的開源模型Vicuna和斯坦福大學(xué)推出的Alpaca的性能，嘗試了多種評(píng)測(cè)方法，最終發(fā)現(xiàn)人類比較（Pairwise Comparison）的方式更為可靠。

在Chatbot Arena上，用戶輸入問(wèn)題后，系統(tǒng)會(huì)隨機(jī)分配兩個(gè)模型生成回答，用戶通過(guò)投票選擇更好的回答。投票結(jié)束后，系統(tǒng)基于Bradley–Terry模型實(shí)現(xiàn)Elo式評(píng)分機(jī)制，形成動(dòng)態(tài)排行榜。這種機(jī)制讓評(píng)測(cè)成為一場(chǎng)“真實(shí)世界的動(dòng)態(tài)實(shí)驗(yàn)”，而非一次性的閉卷考試。平臺(tái)通過(guò)“人機(jī)協(xié)同評(píng)估框架”確保評(píng)測(cè)的開放性和可控性，所有數(shù)據(jù)和算法均開源，任何人都可以復(fù)現(xiàn)或分析結(jié)果。

2024年底，LMArena的功能和評(píng)測(cè)任務(wù)擴(kuò)展至代碼生成、搜索評(píng)估、多模態(tài)圖像理解等細(xì)分領(lǐng)域，并更名為L(zhǎng)MArena。谷歌最新文生圖模型Nano Banana最早通過(guò)LMArena以神秘代號(hào)引發(fā)關(guān)注，Gemini 3.0也被發(fā)現(xiàn)在該平臺(tái)上進(jìn)行測(cè)試。如今，幾乎所有頭部模型都在LMArena上“打擂臺(tái)”，將其作為測(cè)試普通用戶反饋的“常規(guī)賽場(chǎng)”。

然而，隨著LMArena的火爆，其公平性也受到質(zhì)疑。用戶的語(yǔ)言背景、文化偏好和使用習(xí)慣可能影響投票結(jié)果，導(dǎo)致模型因“討人喜歡”而非真正智能而獲勝。研究發(fā)現(xiàn)，LMArena的結(jié)果與傳統(tǒng)Benchmark分?jǐn)?shù)之間并非強(qiáng)相關(guān)，存在“話題偏差”與“地區(qū)偏差”。一些公司為“上榜”優(yōu)化模型回答風(fēng)格，甚至提供“專供版”模型，導(dǎo)致評(píng)測(cè)公正性受到爭(zhēng)議。

2025年5月，LMArena背后的團(tuán)隊(duì)注冊(cè)公司“Arena Intelligence Inc.”，并完成1億美元種子輪融資。公司化后，平臺(tái)可能探索數(shù)據(jù)分析、定制化評(píng)測(cè)和企業(yè)級(jí)報(bào)告等商業(yè)服務(wù)。這引發(fā)了業(yè)界對(duì)其中立性的擔(dān)憂，當(dāng)資本介入后，LMArena是否還能保持“開放”與“中立”成為焦點(diǎn)問(wèn)題。

盡管LMArena暴露出新矛盾，但傳統(tǒng)Benchmark仍在持續(xù)演化。近年來(lái)，研究者推出了難度更高的版本，如MMLU Pro、BIG-Bench-Hard，以及聚焦細(xì)分領(lǐng)域的Benchmark，如AIME 2025、SWE-Bench、AgentBench等。這些新Benchmark模擬模型在真實(shí)世界中的工作方式，從單一考試題集演化為多層次體系。

與此同時(shí)，評(píng)測(cè)進(jìn)一步走向“真實(shí)世界”。例如，Alpha Arena平臺(tái)讓六大模型在加密貨幣交易市場(chǎng)中進(jìn)行對(duì)戰(zhàn)，以實(shí)際收益和策略穩(wěn)定性作為評(píng)測(cè)依據(jù)。雖然這種“實(shí)戰(zhàn)式評(píng)測(cè)”更多是“噱頭”，但為大模型在動(dòng)態(tài)、對(duì)抗環(huán)境中的檢驗(yàn)提供了新思路。

未來(lái)的模型評(píng)估可能是一種融合式框架，靜態(tài)Benchmark提供可復(fù)現(xiàn)、可量化的標(biāo)準(zhǔn)，Arena提供動(dòng)態(tài)、開放、面向真實(shí)交互的驗(yàn)證。隨著大模型能力提升，原有測(cè)試集“太簡(jiǎn)單”的問(wèn)題愈發(fā)突出，Arena的自動(dòng)難度過(guò)濾提出了階段性解決方案，但真正的方向是由人類專家與強(qiáng)化學(xué)習(xí)環(huán)境共同推動(dòng)的高難度數(shù)據(jù)建設(shè)。

朱邦華認(rèn)為，大模型評(píng)估的未來(lái)是螺旋式共演。模型的突破迫使評(píng)測(cè)體系升級(jí)，新的評(píng)測(cè)又反過(guò)來(lái)定義模型的能力邊界。高質(zhì)量的數(shù)據(jù)成為連接兩者的中軸，研究者需要篩選、組合與聚合成百上千個(gè)數(shù)據(jù)集，建立兼顧統(tǒng)計(jì)有效性與人類偏好的聚合框架。這將是一場(chǎng)持續(xù)進(jìn)行的實(shí)驗(yàn)，最終構(gòu)建一個(gè)動(dòng)態(tài)、開放、可信的智能測(cè)量體系。