【ITBEAR】OpenAI于近日公布了一項(xiàng)新的基準(zhǔn)測(cè)試，名為SimpleQA，旨在評(píng)估語言模型在回答簡(jiǎn)短事實(shí)查詢時(shí)的準(zhǔn)確性。這一舉措是應(yīng)對(duì)當(dāng)前AI領(lǐng)域中一個(gè)突出問題：如何確保模型生成的回答是事實(shí)正確的。
SimpleQA數(shù)據(jù)集經(jīng)過精心設(shè)計(jì)，不僅具備高正確性，還涵蓋了從科技到娛樂的多樣化主題。其挑戰(zhàn)性在于，即便是前沿的AI模型，如GPT-4o，在SimpleQA上的得分也相對(duì)較低，顯示出語言模型在事實(shí)準(zhǔn)確性方面仍有待提升。
OpenAI強(qiáng)調(diào)，SimpleQA的簡(jiǎn)潔明了使其具有高效的用戶體驗(yàn)，便于通過API等方式進(jìn)行快速評(píng)分。同時(shí)，該基準(zhǔn)也注意到其局限性，即主要關(guān)注短查詢的事實(shí)準(zhǔn)確性。
盡管存在這一限制，OpenAI仍希望SimpleQA的推出能推動(dòng)AI研究的進(jìn)一步發(fā)展，助力構(gòu)建更加可信和可靠的AI模型。
