【ITBEAR科技資訊】6月24日消息，隨著人工智能技術(shù)的迅猛發(fā)展，聊天機(jī)器人等應(yīng)用已逐漸融入人們的日常生活，通過簡單的指令即可從聊天機(jī)器人(如ChatGPT)中快速獲取信息。然而，這些機(jī)器人有時(shí)會出現(xiàn)“幻覺”現(xiàn)象，即給出錯(cuò)誤甚至危險(xiǎn)的回答，引發(fā)了人們對信息可靠性的關(guān)注。
牛津大學(xué)的研究人員近期在《自然》雜志上發(fā)表了一項(xiàng)新研究，他們提出了一種獨(dú)特的方法來檢測大型語言模型(LLMs)中的“捏造”問題。這一問題指的是LLMs在生成回答時(shí)可能產(chǎn)生的錯(cuò)誤或虛假信息。
據(jù)ITBEAR科技資訊了解，LLMs通過識別訓(xùn)練數(shù)據(jù)中的模式來生成回答。然而，這種基于模式匹配的方法有時(shí)會導(dǎo)致誤解，類似于人類可能從云朵形狀中看到動物一樣，LLMs也可能“看到”并不存在的模式，進(jìn)而產(chǎn)生“幻覺”。為了解決這一問題，牛津大學(xué)的研究人員引入了語義熵的概念。
語義熵描述了一個(gè)詞語在不同上下文中具有多種含義的情況，例如“desert”一詞既可以指沙漠，也可以表示拋棄某人。研究人員通過計(jì)算語義熵，判斷LLMs在生成回答時(shí)是否可能出現(xiàn)“幻覺”。這種方法不依賴于特定的監(jiān)督或強(qiáng)化學(xué)習(xí)，能夠快速有效地檢測LLMs的可靠性。
該研究的團(tuán)隊(duì)表示，他們的方法不僅能夠幫助用戶識別LLMs輸出中的潛在問題，還為那些因信息可靠性受限的LLM應(yīng)用提供了新的可能性。然而，他們也強(qiáng)調(diào)，盡管語義熵可能成為一種有效的檢測手段，但用戶仍應(yīng)對ChatGPT等聊天機(jī)器人提供的答案保持謹(jǐn)慎，并進(jìn)行必要的核查。
牛津大學(xué)的研究為人工智能的可靠性檢測提供了新的思路。隨著技術(shù)的不斷進(jìn)步，我們有望擁有更加智能、可靠的聊天機(jī)器人伙伴，但始終保持對信息的審慎態(tài)度仍然至關(guān)重要。
