近期,人工智能(AI)技術(shù)在企業(yè)界的應(yīng)用呈現(xiàn)出爆炸性增長(zhǎng),然而,AI生成的“幻覺”信息——即那些不真實(shí)或缺乏根據(jù)的內(nèi)容——一直是制約其廣泛應(yīng)用的關(guān)鍵因素。盡管業(yè)界已經(jīng)提出了多種旨在減輕這一問題的技術(shù)和策略,例如檢索增強(qiáng)生成(RAG)、數(shù)據(jù)質(zhì)量?jī)?yōu)化、防護(hù)機(jī)制以及邏輯推理驗(yàn)證等,但它們的實(shí)際成效并不盡如人意。在此背景下,Vectara公司推出了一項(xiàng)名為“Vectara 幻覺矯正器”的全新解決方案,為企業(yè)級(jí)AI應(yīng)用的安全性和可靠性帶來了新的曙光。
Vectara公司早期便積極倡導(dǎo)RAG技術(shù)的應(yīng)用,該技術(shù)通過從給定內(nèi)容中提取準(zhǔn)確信息來減少AI幻覺的產(chǎn)生。然而,RAG技術(shù)也并非無懈可擊。與現(xiàn)有的側(cè)重于檢測(cè)或預(yù)防幻覺的方案不同,Vectara的幻覺矯正器采用了一種創(chuàng)新的主動(dòng)糾正策略。這一矯正器實(shí)質(zhì)上是一個(gè)監(jiān)控AI工作流程并實(shí)施保護(hù)措施的軟件組件,它以代理式AI的形式工作,能夠在保留整體內(nèi)容的同時(shí),對(duì)AI生成的錯(cuò)誤信息進(jìn)行精準(zhǔn)修改,并為用戶提供詳細(xì)的修改原因說明。
Vectara的首席產(chǎn)品官Eva Nahari指出,隨著企業(yè)越來越多地采用代理式工作流程,AI幻覺可能帶來的負(fù)面影響將成倍增加。這正是Vectara推出這一創(chuàng)新矯正器的原因,旨在構(gòu)建一個(gè)更加可靠和值得信賴的企業(yè)級(jí)AI系統(tǒng)。據(jù)Vectara聲稱,該系統(tǒng)已經(jīng)成功將小型語言模型(參數(shù)少于70億)的幻覺率降低到了1%以下,這無疑是AI技術(shù)發(fā)展的一大突破。
為了推動(dòng)幻覺矯正技術(shù)的進(jìn)一步發(fā)展,Vectara還發(fā)布了一個(gè)開源的評(píng)估工具包——HCMBench。這一基準(zhǔn)工具提供了一個(gè)標(biāo)準(zhǔn)化的方法來評(píng)估不同幻覺矯正模型的效果,支持多種評(píng)估指標(biāo),旨在幫助整個(gè)社區(qū)驗(yàn)證幻覺矯正聲明的準(zhǔn)確性,包括Vectara自身的解決方案。HCMBench的發(fā)布,無疑為AI幻覺矯正技術(shù)的發(fā)展注入了新的活力。
Vectara的創(chuàng)新方法為企業(yè)應(yīng)對(duì)AI幻覺風(fēng)險(xiǎn)提供了一個(gè)全新的視角。與僅僅檢測(cè)幻覺或在高風(fēng)險(xiǎn)場(chǎng)景中避免使用AI的做法相比,企業(yè)現(xiàn)在可以考慮部署能夠主動(dòng)糾正錯(cuò)誤的AI方案。這一方法尤其適用于那些對(duì)準(zhǔn)確性要求極高的高價(jià)值工作流程。當(dāng)然,企業(yè)在引入此類自動(dòng)糾正機(jī)制的同時(shí),也需要保持一定的人工監(jiān)督能力,并利用HCMBench等基準(zhǔn)工具進(jìn)行充分的評(píng)估,以確保AI系統(tǒng)的準(zhǔn)確性和可靠性。