近日，科大訊飛股份有限公司在技術(shù)創(chuàng)新領(lǐng)域再次邁出重要一步，一項(xiàng)名為“大模型評(píng)估方法、裝置、設(shè)備、系統(tǒng)及程序產(chǎn)品”的全新專利被正式公布。這一專利的公布，標(biāo)志著科大訊飛在大模型評(píng)估技術(shù)上取得了新的突破。

據(jù)悉，該專利的核心在于提出了一種多維度的大模型評(píng)估方法。該方法首先通過(guò)目標(biāo)大模型進(jìn)行問(wèn)答，獲取對(duì)話數(shù)據(jù)。隨后，利用問(wèn)答對(duì)話之間的邏輯關(guān)系，系統(tǒng)能夠自動(dòng)抽取對(duì)話指令，并對(duì)這些指令進(jìn)行打分，得到第一得分。同時(shí)，系統(tǒng)還會(huì)提取問(wèn)答對(duì)話中的答案信息，并與前序答案信息進(jìn)行對(duì)比，以評(píng)估答案的一致性和連貫性，從而得到第二得分。該方法還引入了答案信息的回復(fù)質(zhì)量評(píng)價(jià)，進(jìn)一步得到第三得分。

最終，這三個(gè)得分將被綜合起來(lái)，形成一個(gè)目標(biāo)得分，用于全面評(píng)估目標(biāo)大模型的性能。這一評(píng)估過(guò)程不僅實(shí)現(xiàn)了自動(dòng)化，還針對(duì)多輪次對(duì)話的特點(diǎn)進(jìn)行了多維度的指標(biāo)配置，從而能夠更準(zhǔn)確地反映大模型的實(shí)際表現(xiàn)。相較于傳統(tǒng)的人工評(píng)估方式，這一方法能夠大幅降低人工參與度，減少因個(gè)人主觀判斷帶來(lái)的偏差，提高評(píng)估的準(zhǔn)確性和客觀性。

科大訊飛作為人工智能領(lǐng)域的領(lǐng)軍企業(yè)，一直致力于推動(dòng)技術(shù)創(chuàng)新和應(yīng)用落地。此次公布的專利，不僅展現(xiàn)了科大訊飛在大模型評(píng)估技術(shù)上的深厚積累，也為其在未來(lái)的人工智能競(jìng)爭(zhēng)中增添了新的籌碼。隨著技術(shù)的不斷發(fā)展和完善，相信科大訊飛將繼續(xù)在人工智能領(lǐng)域發(fā)揮引領(lǐng)作用，為行業(yè)帶來(lái)更多創(chuàng)新和突破。