【ITBEAR】科技界迎來一項(xiàng)重大進(jìn)展，英偉達(dá)在AI模型訓(xùn)練領(lǐng)域取得了突破性成就。該公司最新發(fā)布的Normalized Transformer（nGPT）架構(gòu)，在保持模型穩(wěn)定性和準(zhǔn)確性的同時(shí)，大幅縮短了訓(xùn)練時(shí)間，最高可達(dá)原來的二十分之一。
nGPT架構(gòu)的核心在于“超球面學(xué)習(xí)”概念，通過將關(guān)鍵組件映射到超球面表面，確保模型各層在訓(xùn)練中的平衡，從而創(chuàng)造更穩(wěn)定高效的學(xué)習(xí)過程。
與傳統(tǒng)的GPT模型相比，nGPT在速度和效率上均表現(xiàn)出色。在OpenWebText數(shù)據(jù)集測(cè)試中，nGPT對(duì)于長(zhǎng)達(dá)4000個(gè)tokens的文本輸入，所需訓(xùn)練輪次遠(yuǎn)少于傳統(tǒng)模型。
nGPT還將歸一化和表示學(xué)習(xí)結(jié)合成一個(gè)統(tǒng)一框架，簡(jiǎn)化了模型架構(gòu)，便于擴(kuò)展和適應(yīng)更復(fù)雜的混合系統(tǒng)。這一創(chuàng)新設(shè)計(jì)有望為AI系統(tǒng)的發(fā)展帶來新的突破。
