【ITBEAR科技資訊】4月26日消息，人工智能(AI)的發展日新月異，但也存在一些難題，比如 AI 模型有時會出現“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟件開發者給 AI 模型設置“護欄”，防止它們產生不良的輸出。
據ITBEAR科技資訊了解，NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內容之前進行攔截和修改。例如，如果開發者想要創建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談論相關的產品，而不能談論競爭對手的產品或其他不相關的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發者希望的話題上。
此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。
英偉達還提供了另一個例子，一個用于回答內部企業人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關于公司財務狀況的問題或訪問其他員工的私人數據。
據英偉達表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。NeMo Guardrails 是開源的，并通過英偉達服務提供，可以用于商業應用，開發者將使用 Golang 編程語言來為 AI 模型編寫自定義規則。
英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創建這項技術所需芯片的市場主導地位，其股價在今年迄今為止上漲了 85%，成為標準普爾 500 指數中漲幅最大的股票。NeMo Guardrails 軟件將有助于推動 AI 技術的發展和應用，并有望成為其他公司的榜樣。
