【ITBEAR科技資訊】5月18日消息,加拿大科學家最新的研究成果顯示,基于GPT-3.5的ChatGPT,一款由OpenAI開發的人工智能聊天機器人程序,在美國放射學委員會考試中取得了令人滿意的成績。
據ITBEAR科技資訊了解,為了評估ChatGPT在美國放射學委員會考試問題上的表現,并探索其在這一領域的優勢和局限性,多倫多大學的研究人員進行了一系列測試。他們使用了150道與加拿大皇家學院和美國放射學委員會考試風格、內容和難度相當的選擇題。
研究結果顯示,基于GPT-3.5的ChatGPT在這些考試題目中的正確率達到了69%,接近了70%的及格線。在回答低階思維問題時,該模型表現相對較好,正確率達到了84%。然而,當面對高級思維問題時,它的正確率僅為60%。
與此同時,研究團隊還測試了性能更為出色的GPT-4模型。結果顯示,GPT-4在整個考試中的正確率達到了81%,在高階思維問題上的正確率也為81%。值得注意的是,盡管GPT-4在低階思維問題上的正確率為80%,但與GPT-3.5相比,它錯答了12道題,引發了研究團隊對GPT-4收集信息可靠性的擔憂。
這項研究的結果表明,ChatGPT作為一款基于GPT-3.5的聊天機器人程序,能夠在放射學領域的考試中取得一定的成績。然而,隨著模型升級到GPT-4,它在高級思維問題上的表現有了顯著的提升,但在低階思維問題上的準確性有所下降。研究團隊對GPT-4的信息收集可靠性提出了一些擔憂,這可能需要進一步的研究和改進。
總的來說,ChatGPT的發展和應用將為人工智能領域帶來新的可能性,但在特定領域的表現仍然需要進一步的改進和優化。