機器之心轉載
來源：Suits and Hoodies
這里轉載一篇深度剖析ChatGPT成功的一篇好文章：ChatGPT 實際上并不是普通人眼中的「黑科技」，而是持續開放科研的產物，是工程與產品的勝利。它將促使Infrastructure成為最大的贏家。
在這個 AI 時代，語言模型已經成為了人機交流的關鍵工具。而 ChatGPT 則是其中的佼佼者，這個由 OpenAI 訓練的模型，以其卓越的理解和生成能力，成為了一個人人景仰的網紅：所以第一篇寫 ChatGPT ，拋磚引玉，僅代表個人意見，不代表現在或之前供職的企業的觀點。
太長了我懶得看
沒關系，主要是四個觀點：
ChatGPT 并不是黑科技，是持續開放科研的產物。
ChatGPT 是工程、產品的勝利。
ChatGPT 不會讓人失業，反而會帶來更多的機會。
Infrastructure 會是這一場仗當中的贏家，但是要聰明地設計Infra。
有興趣的讀者可以進一步往下讀。
ChatGPT 是持續開放科研的產物
ChatGPT 背后的技術，最主要的一篇文章是 2022 年 OpenAI 發表的論文 InstructGPT 。InstructGPT 的核心思路是之前兩條研究線路所帶來的：一個是自然語言理解的大規模語言模型 LLM，另一個是帶人類反饋的增強學習 RLHF。
大規模語言模型 LLM 在前面幾年方興未艾，從 GPT 開始，往回可以推到 Bert ，這兩種都是基于所謂的 Transformer 結構來設計的。而Transformer 的出現本身又是為了解決早期的序列模型（比如說LSTM 和 RNN）的問題所提出來的。很有意思的是這一系列模型多少都采取了不帶太強結構的統計方法：“根據周邊的詞語來預測中間的詞語”，或者“根據前面的文字來生成后面的詞語”。這和傳統的基于語法樹的方法很不一樣，感興趣考古的讀者可以去看看 PCFG，計算語言學當中很經典的一個算法。
RLHF 也是一個近年以來比較流行的算法。增強學習最經典的書應該是 Sutton & Barto 所寫的同名著作《Reinforcement Learning》。2004年，Pieter Abbeel 和吳恩達就利用 RL 提出了叫做 Apprenticeship Learning 的方法，來讓機器學會復雜的動作，比如說讓直升機進行空中轉體：
2017年開始DeepMind 的一系列工作（電子游戲、圍棋等）讓 RL 深入人心，ChatGPT 對于對話系統的訓練也深得前面這些工作的影響。因此，整體而言，ChatGPT的一系列工作，都在前面有著很深的鋪墊，應該說是站在開放科研的肩膀上做出的工作，其中的功底不得不讓人嘆服。這不是別人做出大模型之后，簡單跟進說“我們可以做得更大”，而是在原有的基礎上做更多創新的成果。
ChatGPT 是工程和產品的勝利
有一個問題：ChatGPT 的訓練數據，是從哪里來的？
我們可以猜測，基礎的語言模型，例如GPT-3，訓練的數據來源有很多類似 LAION 這樣的從網上抓取下來的數據。在此基礎上， InstructGPT 的文章當中提到了很有意思的一點：
Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations.of the desired model behavior.
也就是說，OpenAI 前序所推出的 playground、GPT-3 API 等等，一邊在進行產品和市場的適配的途中，另一方面也給后續的科研帶來了大量的數據輸入。根據 InstructGPT 的文章披露，當時 OpenAI 雇傭了約 40 名左右的標注人員來提供手工寫的文字；這個數字在最近披露的報道中上升到了 1000 名左右。計算機領域有一個短語叫做 human in the loop，將一篇科研文章變成一個prototype，然后再將用戶的體驗、數據的回流、標注、再訓練這個閉環做得非常精準，ChatGPT 在這一個領域當中體現出了高超的工程能力。
另外一個問題是，ChatGPT 為什么能夠比其他的類似的聊天機器人更加不讓人討厭？
除了技術能力超群之外（ChatGPT 的會話質量的確超過之前的會話模型），我認為這和產品邊界的定義是非常相關的。ChatGPT 的定位是很輕量級的“Chat”，所以它就算回答出錯，也不像其他的產品（尤其是大廠的產品）那樣讓人討厭，反而變成一種有趣的談資。同時，最簡的界面讓人非常容易上手，“沒事聊兩句”也是一個不顯得有科技產品的距離感的體驗。甚至我家女兒也試圖上去捉弄 ChatGPT：
（我其實覺得，如果有一個像 wx 聊天機器人這樣的方式，也許可以進一步做病毒營銷，但是 OpenAI 并沒有相關的產品可以相互引流，就更顯得產品力的強大。當然聊天機器人是不是會有其他各種內容限制，這是另一個話題了。）
工程和產品體驗會給 ChatGPT 的下一代帶來更大優勢。試想，一億人每個月在給 ChatGPT 生成對話數據訓練下一代模型，這是現在任何一個研究院，包括一線大廠，所無法企及的。
ChatGPT帶來更多的機會
這個話題稍微有一點被說爛了我就不多說了。我從浙江一個高中長大，30年前，學校采用的油印機是要用“蠟紙”的：老師們的一大技能就是在蠟紙上，用尖頭的鐵筆刻出手寫的試卷來，然后卷到一個油印機的滾筒上面，油印機印的頁數多了，蠟紙也就舊了，一張蠟紙能印個幾百張，怎么刻字刻得足夠深而不破，是核心技能。后來90年代末有了打印機復印機，老師們不再需要手工刻試卷，我聽到過他們懷念當年刻字的經歷，但沒有聽到誰想回到過去。有了更好的工具，為什么要回去呢？
從技術的角度講，ChatGPT 依然是一種基于統計的方式（雖然神經網絡不像當年的概率圖模型、統計機器學習那么有明顯的“統計”的色彩）來實現的機器學習算法。所以，它的能力也和場景的“常見程度”有關：只要是簡單重復的人類勞動，它都能做得很好。從技術的角度舉例子，冒泡排序寫過一百遍，寫出來很簡單，AI 一問就會。讓它寫個更牛的自己出來... 抱歉，暫時還不行。
然后我們發現它寫各種企業“戰略”寫得很不錯。這是不是從一個角度體現出來，部分“戰略”其實就是統計意義上的簡單重復呢？之前有人開玩笑，說 xx 廠和 yy 廠和 zz 廠的 ppt 大圖長得一模一樣，只要把顏色調成紅黃藍當中的一種。這樣的工作，只要有訓練數據，當然 ChatGPT 能做得非常好。說笑歸說笑，我覺得 ChatGPT 從一個大數據的角度讓我們重新審視了“什么是創新” - 很多我們認為是創新的東西，也許并不是。
但是 ChatGPT 給真正的創新帶來了更多的機會。一個廣為人知的故事是，達芬奇在創作《巖間圣母》的時候，很多背景部分不是他畫的 - 這些簡單重復的地方就讓他的助手畫了。今天 ChatGPT 就是助手，當內容創作者能夠花更少的時間做重復勞動的時候，創新會變得更多 - 這是歷史上多次證明的。
聰明地設計 Infra
硅谷著名風投 A16Z 在最近一篇對于 AIGC 的文章當中提到那么一句話：“目前看基礎設施提供商是這個市場當中最大的贏家”。
不過要做這個贏家，就要更加聰明地設計 infra 才行。AI 計算不同于傳統上所說的“云計算”，而更加接近于我們所說的“高性能計算” HPC - 當你聽見這個詞語感覺我老學究的時候，且慢，聽我道來。
云計算很多時候在關注資源的池化和虛擬化：
怎么把計算，存儲，網絡，從物理資源變成虛擬的概念，“批發轉零售”；
如何在這種虛擬環境下把利用率做上去，或者說超賣；
怎么更加容易地部署軟件，做復雜軟件的免運維（比如說，容災、高可用）等等，不一而足。
但是 AI 的計算不一樣。對于 AI 而言，尤其是今天 AI 的訓練：
并不要求特別強的虛擬化。一般訓練會“獨占”物理機，除了簡單的例如建立虛擬網絡并且轉發包之外，并沒有太強的虛擬化需求。
需要很高性能和帶寬的存儲和網絡。例如，網絡經常需要幾百 G 以上的 RDMA 帶寬連接，而不是常見的云服務器幾 G 到幾十 G 的帶寬。
對于高可用并沒有很強的要求，因為本身很多離線計算的任務，不涉及到容災等問題。
沒有過度復雜的調度和機器級別的容災。因為機器本身的故障率并不很高（否則 GPU 運維團隊就該去看了），同時訓練本身經常以分鐘級別來做 checkpointing，在有故障的時候可以重啟整個任務從前一個 checkpoint 恢復。
也就是說，對于 AI 的用戶而言而言，尤其是今天那么大規模的訓練，性能和規模是第一位的，傳統云服務所涉及到的一些能力，是第二位的。
這其實很像傳統的高性能計算的領域的需求。實際上，在 2017 年的時候，我們在 Facebook 提出了一個概念叫做 return of MPI：用傳統高性能計算的方式，來看待 AI 計算的問題。例如，與其使用更加“容災”的異步通信等方式，不如啟用高性能計算領域常見的MPI Allreduce / send / recv 算子等“老方法”，實現更高性能的分布式訓練。2017 年，我在 Facebook 的團隊和 FAIR 一起，將 Imag.NET 訓練的速度降到了一個小時以內。
今天不少的 AI 軟硬件設計，都依然透出著高性能計算的影子。例如，阿里云在 2022 年提出的飛天智算集群“靈駿”，通過 GPU 的高速互聯以及輕量級的平臺 PAI，來管理萬卡級別的AI計算的需求；微軟 Azure 在云上提供了這樣一個專為高性能 AI 設計的機型：8xA100 GPU + 8x200G Infiniband。Meta 在 2022 年公布了自己萬卡數量的科研集群 RSC：這些產品的設計都是明顯為了高性能 AI 計算來提供的。
對于提供基礎設施的供應商來說，AI 計算是一個新的機會，也是一個關鍵的時機，需要重新審視長期提供通用云服務而形成的思維模式。
AI 計算未來可期
本來想寫得通用一些，但是一寫就寫得很技術。AI 領域永遠不缺驚喜，原以為計算機視覺已經走到了盡頭，忽然 AIGC 柳暗花明又一村；原以為 Stable Diffusion 已經審美疲勞，忽然 ChatGPT 又打開無數的應用。
最后沒什么可說的了，作為一直戰斗在 AI platform 一線的老兵，用 Richard Sutton的一句話來做結語：
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
Richard Sutton: "The Bitter Lesson"
Bon voyage.
== Credits ==
題圖: Unsplash
https://unsplash.com/@andyadcon
直升機圖: Stanford University
蠟紙圖: Taobao
