近期,美國哥倫比亞大學的Tow數字新聞研究中心公布了一項針對OpenAI ChatGPT搜索工具的研究結果,指出該工具在準確性上存在顯著問題。這一發現引發了業界的廣泛關注。
在測試中,研究人員選取了20家出版商的200條引文作為樣本,其中包括40條來自禁止OpenAI爬蟲抓取的網站。結果顯示,ChatGPT在回答中多次給出了錯誤答案,并且幾乎沒有表現出任何不確定性。具體而言,ChatGPT的153次回答中,完全或部分錯誤的情況占據了絕大多數,僅有7次明確表示無法準確回答。
根據測試結果的詳細圖表,ChatGPT的回答中“錯誤”的占89次,“部分正確”有57次,而完全“正確”的僅有47次。這一數據直觀地反映了ChatGPT在準確性方面存在的問題。
測試中,研究人員還記錄了一些典型案例。例如,ChatGPT錯誤地將《奧蘭多哨兵報》的讀者來信引用歸因于《時代周刊》的文章;在另一個案例中,當要求確認《紐約時報》一篇關于瀕危鯨魚的文章引用時,ChatGPT鏈接到了一家完全剽竊該文章的網站。這些案例進一步證明了ChatGPT在識別和處理引用方面的不足。
針對這一研究結果,OpenAI向《哥倫比亞新聞評論》回應稱,由于缺乏Tow中心隱藏的測試數據和方法,解決錯誤歸因非常困難。OpenAI表示,這次研究是對其產品的非典型測試,并承諾將繼續優化搜索結果。這一回應顯示出OpenAI對于問題的認知和改進的決心。
今年早些時候,OpenAI曾宣布與新聞行業進行了廣泛的合作,并收集了合作伙伴對于搜索功能的反饋。包括美聯社、阿克塞爾·斯普林格、康泰納仕、道奇梅雷迪思、《金融時報》、GEDI、赫斯特、《世界報》、路透社、大西洋月刊、時代雜志和Vox媒體等在內的眾多媒體和出版商都選擇了與OpenAI合作,使其內容能夠出現在ChatGPT的搜索結果中。然而,此次研究結果無疑對這些合作伙伴的信任度產生了一定影響。