山姆·奧特曼表示，新的進步不會來自于讓模型變得更大，“我認為我們正處于巨型模型時代的末尾”。他的說法表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數據”戰略中的最后一個重大進展。
人工智能開發機構OpenAI的首席執行官山姆·奧特曼最近表示，ChatGPT的研究策略——巨型AI模型模式已經結束，目前尚不清楚未來的進步究竟來自何處。
近年來，OpenAI通過采用現有的機器學習算法并將其擴展到以前無法想象的規模，取得了一系列令人印象深刻的進步。GPT-4是其推出的最新模型，可能使用了數萬億個文本單詞和數千個強大的計算機芯片訓練，整個過程耗資超過1億美元。
OpenAI首席執行官山姆·奧特曼。
奧特曼上周在麻省理工學院舉行的一次活動中告訴觀眾，新的進步不會來自于讓模型變得更大。“我認為我們正處于巨型模型時代的末尾。”他說，“我們會以其他方式讓它們變得更好。”
科技媒體《連線》4月17日報道稱，奧特曼的聲明表明，在開發和部署新AI算法的競賽中出現了意想不到的轉折。未來人工智能的進步將需要新的想法。
自OpenAI于去年11月推出ChatGPT以來，微軟利用底層技術為其必應搜索引擎添加了聊天機器人，而谷歌則推出了聊天機器人Bard。與此同時，包括Anthropic、AI21、Cohere和Character.AI在內的眾多資金充足的初創公司正在投入大量資源來構建更大的算法，以努力趕上OpenAI的技術。在中國，大批企業爭相公布大模型產品，試圖盡快擠入這個賽道。
奧特曼的聲明表明，GPT-4可能是OpenAI“使模型更大并為其提供更多數據”戰略中的最后一個重大進展。他沒有提出什么樣的研究策略或技術可能會取代它。在描述GPT-4的論文中，OpenAI估計，擴大模型規模的收益在遞減。奧特曼表示，企業可以建造的數據中心數量和建造速度也存在物理限制。
Cohere的聯合創始人尼克·弗羅斯特（Nick Frosst）表示，奧特曼的想法聽起來是對的。他也認為，Transformer（GPT-4及其競爭對手的核心機器學習模型類型）的進展超出了擴展范圍。 “有很多方法可以讓Transformer變得更好、更有用，而且很多方法不涉及向模型添加參數。”他說，新的AI模型設計或架構，以及基于人類反饋的進一步調整是許多研究人員已經在探索的有前途的方向。
在ChatGPT首次亮相后，技術專家推測GPT-4出現時將成為規模和復雜性令人眩暈的典范。然而，當OpenAI最終宣布GPT-4時，并沒有透露它的參數規模有多大——也許是因為規模不再是最重要的。在麻省理工學院的活動上，奧特曼被問及訓練GPT-4是否花費了1億美元，他回答說：“不止于此。”
在這個活動中，奧特曼也證實OpenAI目前沒有訓練GPT-5。他在回應呼吁暫停更高級AI訓練的公開信時表示， “這封信的早期版本聲稱OpenAI目前正在訓練GPT-5。我們沒有，而且一段時間內不會。
