天眼查財產線索信息顯示，6月6日，科大訊飛股份有限公司申請的“大模型評估方法、裝置、設備、系統及程序產品”專利公布。

摘要顯示，該方法通過獲取通過目標大模型問答所得的對話數據；然后基于問答對話之間的跟隨關系依次對問答對話進行指令抽取得到對話指令，并對對話指令進行打分得到第一得分；并提取問答對話對應的答案信息，并將答案信息與前序答案信息進行比對得到第二得分；且對答案信息進行回復質量評價，以得到第三得分；進而結合第一得分、第二得分以及第三得分得到目標得分，以通過目標得分對目標大模型進行評估。從而實現多維度的評估過程，由于針對多輪次對話的特點進行多維度的指標配置，實現了自動化評估，可以大幅降低人工的參與度，減少因個人主觀看法造成的偏差，提高大模型評估的準確性。