【ITBEAR科技資訊】9月3日消息,近日,有關人士透露,DeepMind的聯合創始人Suleyman在接受采訪時表示,目前正在秘密訓練GPT-5,預計該模型的規模將比目前的GPT-4大100倍。
據了解,盡管之前OpenAI的CEO Sam Altman否認了GPT-5的訓練計劃,但有消息人士指出,OpenAI可能已經為該模型起了一個新的名稱,這也解釋了他們此前的否認。
Suleyman目前擔任Inflection AI的CEO,該公司正在致力于建造世界上最大的超級計算機之一。他表示,在未來的18個月內,他們有可能會進行一次比制造GPT-4時規模大10倍甚至100倍的語言模型訓練運行。
今年3月份,GPT-4正式發布,其相比最初的GPT-3.5模型,在幾個方面取得了重大進展。該模型不僅在識圖能力方面取得了強大的突破,還將文字輸入限制提升至2.5萬字,回答準確性也得到顯著提升。此外,GPT-4還能夠生成歌詞、創意文本,并實現多樣的風格變化。
根據分析,GPT-4擁有約1.8萬億的參數,相當于GPT-3.5的10倍規模,其中包括16個專家模型,每個MLP專家模型擁有約1110億個參數。而據估計,如果按照相同的比例來提升,GPT-5可能將突破10萬億的參數規模,成為迄今為止最大規模的人工智能大模型,超越其他競爭對手。