科大訊飛在人工智能領域再獲新進展,據天眼查最新財產線索信息透露,該公司已于6月6日成功公布了一項名為“大模型評估的創新方法、相關裝置、設備、系統及程序產品”的專利。
該專利的核心在于提出了一種全面且高效的大模型評估體系。具體而言,該體系首先會收集目標大模型在問答環節產生的對話數據。隨后,系統會依據對話之間的邏輯連貫性,自動抽取出指令,并對這些指令進行評分,得出初步評估分數——第一得分。同時,系統還會提取對話中的答案信息,與前一個答案進行對比,以評估答案的一致性和連貫性,得出第二得分。答案的質量也會經過專門的評價,獲得第三得分。
最終,這三個得分將被綜合起來,形成一個綜合性的目標得分,以此作為對目標大模型性能的全面評估。這一方法不僅實現了評估過程的多維度覆蓋,還特別針對多輪對話的特性進行了優化,確保了評估的準確性和全面性。尤為重要的是,該體系通過自動化手段大幅降低了人工參與度,有效避免了因個人主觀判斷可能帶來的偏差,從而提高了評估的客觀性。
科大訊飛的這一創新,無疑為其在人工智能領域的持續深耕增添了新的動力。隨著技術的不斷進步和應用場景的不斷拓展,科大訊飛正以其強大的技術實力和創新能力,引領著人工智能行業的發展潮流。