【ITBEAR】9月25日消息，近日，微軟在Azure AI Content Safety中推出了一項名為“Groundedness Detection”的預覽版功能，旨在“糾正”AI產生的幻覺內容。
所謂AI幻覺，指的是人工智能生成的一種回應，其中包含了看似事實但實則虛假或誤導性的信息。這一術語源自心理學中的幻覺概念，兩者具有相似的特征。AI幻覺的危險之一在于，模型的輸出看似正確，而實際上卻是錯誤的。
據ITBEAR了解，微軟的Groundedness Detection功能與谷歌在Vertex AI中推出的Google Search Grounding頗為相似，它們都通過對比AI的輸出內容和源文件，來識別出那些沒有證據支持或屬于幻覺的內容。
微軟強調，盡管這一工具能夠提高人工智能輸出的可靠性，但它并不能保證輸出的完全準確性，只是能夠增強生成內容與源材料之間的一致性。當系統檢測到一個支持不足的句子時，會觸發一個新的請求，要求一個較小的人工智能模型進行修正。該模型會根據基礎文檔對句子進行評估。
如果一個句子不包含基礎文檔中的相關信息，它就會被完全過濾掉。而對于那些包含一些相關內容的句子，模型則會對其進行改寫，以確保與源材料相匹配。
關鍵詞：#微軟# #Azure AI Content Safety# #Groundedness Detection# #AI幻覺# #內容一致性#
