亞馬遜云科技（AWS）近期在拉斯維加斯舉行的re:Invent 2024大會上，推出了一款旨在解決AI模型產生幻覺問題的新工具，引發了業界的廣泛關注。
這款名為“自動推理檢查”的工具，通過交叉驗證客戶提供的信息，來確保AI模型輸出的準確性。AWS宣稱，這是業界首個也是唯一一個專門針對AI幻覺問題的防護措施。然而，也有聲音指出，微軟在今年早些時候推出的“校正”功能與“自動推理檢查”在功能上頗為相似，都能標記出AI生成文本中可能存在的事實錯誤。同樣，谷歌的Vertex AI平臺也提供了一個工具，允許客戶通過引入第三方數據、自有數據集或谷歌搜索，來提升模型回答的可信度。
“自動推理檢查”工具是AWS Bedrock模型托管服務的一部分，特別是與Guardrails工具相結合，它試圖深入探究模型得出結論的過程，并驗證答案的正確性。客戶可以上傳信息以構建一個事實基礎，然后“自動推理檢查”會根據這些信息創建規則，這些規則經過優化后可以應用于模型。
當AI模型生成回答時，“自動推理檢查”會對其進行驗證。如果模型出現了幻覺，即給出了錯誤的答案，該工具會利用之前建立的事實基礎來得出正確答案，并將這個正確答案與模型的錯誤答案一同呈現給客戶，以便客戶了解模型偏離正確答案的程度。
AWS透露，普華永道已經開始使用“自動推理檢查”來為其客戶設計AI助手。AWS的AI和數據副總裁Swami Sivasubramanian表示，這種類型的工具正是吸引客戶選擇Bedrock的關鍵因素之一。
然而，有專家對此持謹慎態度。據Techcrunch報道，有專家指出，試圖完全消除生成式AI的幻覺是非常困難的，就像試圖從水中去除氫一樣。AI模型之所以會產生幻覺，是因為它們本質上并不具備“知識”。它們是基于統計的系統，通過識別數據中的模式，并根據之前的經驗來預測下一個數據點。因此，AI模型的輸出并不是真正的答案，而是對問題應該如何回答的預測，這種預測存在一定的誤差范圍。
盡管AWS聲稱“自動推理檢查”使用“邏輯準確”和“可驗證的推理”來得出結論，但該公司并未提供具體的數據來證明該工具的可靠性。這一聲明引發了業界對于該工具實際效果的進一步關注和討論。
