【ITBEAR科技資訊】4月26日消息，英偉達近日推出了一款名為 NeMo Guardrails 的軟件，該軟件旨在幫助軟件開發者為 AI 模型設置“護欄”，以防止它們產生不良輸出。據悉，該軟件可以在模型輸出不良內容之前進行攔截和修改，從而限制模型的輸出范圍，并防止模型產生錯誤或有害的輸出。此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，從而提高模型的準確性和可靠性。
英偉達表示，NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內容之前進行攔截和修改。例如，如果開發者想要創建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談論相關的產品，而不能談論競爭對手的產品或其他不相關的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發者希望的話題上。
此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。據ITBEAR科技資訊了解，谷歌和微軟支持的 OpenAI 等其他 AI 公司也采用了強化學習方法來防止 LLM 應用產生有害的輸出，這種方法使用人類測試者來創建關于哪些答案是可接受或不可接受的數據，然后使用這些數據來訓練 AI 模型。
英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。NeMo Guardrails 是開源的，并通過英偉達服務提供，可以用于商業應用，開發者將使用 Colang 編程語言來為 AI 模型編寫自定義規則。英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創建這項技術所需芯片的市場主導地位，其股價在迄今為止上漲了 85%，成為標準普爾 500 指數中漲幅最大的股票。
