【ITBEAR科技資訊】07月13日消息，外媒Semianalysis最近對OpenAI于今年3月發布的GPT-4大模型進行了深度揭秘。據他們透露，GPT-4在架構和參數方面有著顯著的提升，以及采用了混合專家模型(Mixture of Experts)的構建方式。
據悉，GPT-4采用了混合專家模型，這種模型利用數據進行訓練，將多個模型分別訓練后，將它們的輸出整合為一個單獨的任務。為了保持合理的成本，OpenAI選擇了這種方式進行構建。GPT-4總共有120層，包含了1.8萬億個參數，相比之下，GPT-3只有約1750億個參數，可見其在規模上的巨大提升。
GPT-4使用了16個混合專家模型，每個模型擁有1110億個參數，并且每次前向傳遞路由都會經過兩個專家模型。此外，它還擁有550億個共享注意力參數。為了進行訓練，OpenAI使用了一個包含13萬億個tokens的數據集，這些tokens并非唯一，而是根據迭代次數計算出更多的tokens。
據ITBEAR科技資訊了解，GPT-4在預訓練階段的上下文長度為8k，32k版本則是對8k版本的微調結果。然而，GPT-4的訓練成本非常高昂。根據外媒報道，即使使用了8倍H100物理機，也無法以每秒33.33個token的速度提供所需的密集參數模型。據估算，一次GPT-4的訓練成本高達6300萬美元(約4.51億元人民幣)。
為了降低訓練成本，OpenAI選擇在云端使用A100 GPU進行模型訓練，最終將訓練成本降低至大約2150萬美元(約1.54億元人民幣)，盡管需要更長的時間來完成訓練過程。這一舉措在一定程度上減輕了訓練成本的壓力。
