近期,美國哥倫比亞大學Tow數字新聞研究中心公布了一項引人關注的研究報告,指出OpenAI的ChatGPT搜索工具在新聞搜索領域的準確性上存在顯著不足。報告詳細記錄了ChatGPT在153次回答中的表現,結果顯示,其回答錯誤的次數高達89次,部分正確的有57次,而完全正確的回答僅有47次,另有7次明確表示無法給出準確答案。
為了全面評估ChatGPT的搜索準確性,哥倫比亞大學的研究團隊精心挑選了來自20家不同出版商的200條引文作為測試樣本,其中特別包含了40條來自被OpenAI爬蟲禁止訪問的網站的引文。這一設計旨在全面且客觀地檢驗ChatGPT的搜索能力。
研究報告中還列舉了多個具體的錯誤案例,比如ChatGPT錯誤地將《奧蘭多哨兵報》的讀者來信歸為了《時代周刊》的文章;在另一個案例中,當ChatGPT試圖確認一篇關于瀕危鯨魚的海外媒體報道時,卻錯誤地鏈接到了一個剽竊該文章的網站。這些錯誤不僅令人驚訝,也引發了對于ChatGPT搜索工具準確性的廣泛質疑。
面對這一研究結果,OpenAI方面表示,由于哥倫比亞大學Tow數字新聞研究中心并未提供完整的測試數據和測試方法,因此解決這些錯誤歸因問題具有一定的挑戰性。OpenAI認為,這次研究可能并不具有普遍性,是一次非典型的測試。不過,OpenAI也承諾將繼續努力優化其搜索結果,以提高準確性和可靠性。
值得注意的是,今年早些時候,OpenAI已經與包括美聯社、阿克塞爾·斯普林格、康泰納仕等多家知名媒體和出版商建立了廣泛的合作關系。然而,此次研究結果的公布,無疑對這些合作伙伴對ChatGPT搜索工具的信任度產生了一定的沖擊。未來,OpenAI如何在提高搜索準確性的同時,重建和鞏固與新聞行業的合作關系,將是一個值得關注的問題。