要點(diǎn):
1. 隨著容量或預(yù)訓(xùn)練數(shù)據(jù)量的增加，模型性能不斷提升。
2. 論文證實(shí)自回歸訓(xùn)練對(duì)于圖像模型學(xué)習(xí)表征能力具有擴(kuò)展性。
3. 自回歸目標(biāo)足以滿(mǎn)足視覺(jué)特征的訓(xùn)練要求，且沒(méi)有飽和的跡象。
（ChinaZ.com）1月18日 消息:蘋(píng)果公司的研究者通過(guò)自回歸圖像模型（AIM）驗(yàn)證了視覺(jué)模型“參數(shù)越多性能越強(qiáng)”的規(guī)律，進(jìn)一步證明隨著容量或預(yù)訓(xùn)練數(shù)據(jù)量的增加，模型能不斷提升性能。AIM能有效利用大量未經(jīng)整理的圖像數(shù)據(jù)，訓(xùn)練方法和穩(wěn)定性與最近的大型語(yǔ)言模型(LLM)類(lèi)似。這一觀察結(jié)果與之前關(guān)于擴(kuò)展大型語(yǔ)言模型的研究結(jié)果是一致的。
雖然本文實(shí)驗(yàn)所使用的模型規(guī)模有限，還需進(jìn)一步探索是否能在更大參數(shù)量級(jí)的模型上驗(yàn)證此規(guī)律。研究者使用的預(yù)訓(xùn)練目標(biāo)遵循應(yīng)用于圖像 patch 序列的標(biāo)準(zhǔn)自回歸模型，通過(guò)一系列實(shí)驗(yàn)和研究，驗(yàn)證了模型容量可以輕松擴(kuò)展到數(shù)十億個(gè)參數(shù)，同時(shí)對(duì)下游任務(wù)有很好的性能。
項(xiàng)目地址：https://top.aibase.com/tool/aim
此外，研究者對(duì)自回歸目標(biāo)訓(xùn)練 ViT 模型的多方面進(jìn)行了探討，并且重新審視了之前的工作。研究者的實(shí)驗(yàn)報(bào)告顯示，在整個(gè)訓(xùn)練過(guò)程中，優(yōu)化目標(biāo)直接帶來(lái)更好的下游性能，而隨著模型容量的增加，損失值和下游任務(wù)的準(zhǔn)確性都有所提高。這一觀察結(jié)果與在 LLMs 中觀察到的趨勢(shì)一致，反映了優(yōu)化目標(biāo)會(huì)直接帶來(lái)更好的下游性能。
在 AIM 的設(shè)計(jì)參數(shù)中，除了擴(kuò)展寬度，研究者還特別采用了一種簡(jiǎn)單設(shè)計(jì)，使用多層感知機(jī)塊，獨(dú)立地對(duì)每個(gè) patch 進(jìn)行處理。研究者同時(shí)強(qiáng)調(diào)，研究的模型規(guī)模有限，對(duì)更大參數(shù)量級(jí)的模型上驗(yàn)證此規(guī)律還有待進(jìn)一步探索。
論文的實(shí)驗(yàn)結(jié)果證明了視覺(jué)模型同樣遵循「參數(shù)越多性能越強(qiáng)」的規(guī)律，自回歸訓(xùn)練對(duì)圖像模型具有很好的擴(kuò)展性，并能夠滿(mǎn)足視覺(jué)特征的訓(xùn)練要求。對(duì)未來(lái)圖像模型性能提升和優(yōu)化提供了新的研究方向和思路。
