【ITBEAR】近期，關于人工智能領域中的Scaling Law是否已失效的爭論愈演愈烈，引發了業界的廣泛關注。
這一爭議的起因源自多家權威媒體的報道。The Information率先披露，OpenAI的內部消息顯示，其GPT系列模型的更新速度明顯放緩。據悉，即將推出的新一代旗艦模型Orion，雖然在性能上有所提升，但并未實現如GPT-3到GPT-4那樣的質的飛躍。OpenAI因此正在調整其發展戰略。
隨后，路透社也發表文章指出，由于當前的方法論遭遇瓶頸，OpenAI以及其他多家AI公司正在積極尋找通往更智能AI的新途徑。緊接著，彭博社的報道進一步加劇了這一爭議，稱OpenAI、谷歌和Anthropic三家AI公司在開發新模型上的投入與回報之間的差距正在不斷擴大，其中谷歌即將推出的新版Gemini模型并未達到內部預期，而Anthropic則推遲了備受矚目的Claude 3.5 Opus版本的發布。
盡管隨后OpenAI的創始人山姆·奧特曼和微軟AI主管Mustafa Suleyman紛紛出面否認存在放緩的情況，但不可否認的是，模型界的“三巨頭”在預訓練方面確實遇到了前所未有的挑戰。這不禁讓人質疑，Scaling Law的邊界是否已經悄然到來？
Scaling Law，也被稱為尺度定律，一直被視為大模型預訓練的第一性原理。2020年，OpenAI發布的論文首次揭示了模型參數量、數據集大小和訓練計算量之間的冪律關系，這一發現為大模型的快速發展奠定了理論基礎。從GPT-3到GPT-4，再到Gemini和Claude，Scaling Law的“暴力美學”一次次被驗證。
然而，隨著模型參數的不斷增加，對數據量的需求也呈現指數級增長。人類互聯網產生的數據正在被大模型迅速“吞噬”，而高質量文本數據的稀缺性更是成為了制約模型進一步發展的關鍵因素。The Information指出，OpenAI在訓練下一代ChatGPT 5時就遭遇了數據瓶頸，Orion模型在預訓練階段只用了20%的訓練量就達到了GPT-4的水平，但后續增加訓練量對模型性能的提升卻微乎其微。
谷歌和Anthropic同樣面臨著這一困境。谷歌的Gemini模型表現不佳，Anthropic則推遲了Claude 3.5 Opus的發布。在國內，也有多家AI初創公司和大廠開始轉向應用層，減少對預訓練模型的投入。這從側面印證了Scaling Law目前所面臨的困境。
除了數據稀缺性，大模型預訓練過程中的算力、電力等能源消耗以及高昂的成本也成為制約其發展的因素。OpenAI的研究者Noam Brown曾公開表示，更先進的模型可能在經濟上不可行。超大規模語言模型的預訓練過程極其耗費資源，單次訓練成本可達數千萬至數億美元，而性能提升卻十分有限。
面對這一困境，業界開始尋找新的擴展定律。事實上，目前討論的Scaling Law撞墻更多是指預訓練擴展定律（Pre-training Scaling Law）。而后訓練擴展定律（Post-training Scaling Law）和推理擴展定律（Inference Scaling Law）則關注如何在模型訓練完成后，通過增加推理階段的計算量來提升模型性能。
OpenAI推出的O1推理模型正是基于這一思路。通過在推理階段增加計算資源和時間，O1模型能夠智能地分配計算資源，提供更準確和高效的答案。微軟CEO薩蒂亞·納德拉也在微軟Ignite大會上表示，看到了“測試時計算”新的擴展規律的出現，并指出微軟Copilot的“深入思考”功能也是利用這一規律來解決更難的問題。
國內企業也紛紛跟進。DeepSeek推出了全新的推理模型DeepSeek-R1-Lite-Preview，性能直逼O1。DeepSeek-R1在數學和編程方面表現出色，甚至在一些競賽中領先O1。其背后的關鍵技術就是超長推理時間和強化學習。
月之暗面也在其成立一周年之際公布了數學模型k0-math的進展情況。k0-math同樣采用了強化學習和思維鏈推理技術，展現了強大的推理能力。阿里、昆侖萬維等國內企業也上線了相關的推理大模型產品。
隨著技術的不斷發展，業界正在從預訓練向推理層轉向，尋找新的Scaling Law。盡管短期內可能會遇到技術瓶頸和成本效益比下降的問題，但從長遠來看，AI的軟硬件能力仍然會呈指數增長，通過多種創新路徑共同推動AI技術的快速發展。
