近期，在騰訊科技和梅花創投聯合舉辦的《GPT開放麥》活動上，騰訊新聞創作者、甲骨易語言科技股份有限公司甲骨易AI翻譯平臺LanguageX事業群總經理負責人李光華，展開一張ChatGPT的“全景圖”，從技術、產品和市場等角度解析ChatGPT帶來的機會和思考。
劃重點：
- 1關于吳軍“ChatGPT不算技術革命”的回應：吳軍所熟悉的NLP領域的中間任務和部分傳統方法已經逐漸消失。目前的神經網絡與傳統的N-Gram概率計算方法已經有了很大的差距，不能再可再同日而語。
- 2關于ChatGPT的評價：它是產品和工程的勝利，比如他們選擇語言作為AGI的切入點，語言對人類至關重要，它是人類思維的邊界。
- 3關于ChatGPT技術：盡管OpenAI的成功主要歸功于其工程能力，但仍有三個核心技術值得關注一提——情境學習、思維鏈、人類反饋強化學習。
- 4關于ChatGPT的幾點建議：一旦技術門檻降低，其影響力會變得非常巨大，會帶來深遠的生產力革命，并帶來危機：機器智能可能是人類最后一項偉大發明，但我們不能依賴它。
以下為現場實錄整理：
大家好，我是甲骨易研發團隊甲骨易AI翻譯平臺LanguageX負責人，甲骨易是一家從事語言AI相關研發的科技公司，在AI翻譯以及內容生成等領域已有8年經驗和語言數據方面已有多年經驗積累。
在GPT-3之前，谷歌和OpenAI都在開展相關研究，但尚未充分展示其威力外界尚未意識到大模型的威力，去年11月30日之前，因為我們做自然語言處理、神經機器翻譯相關工作，在ChatGPT問世后，我們第一時間嘗試了GPT-3，并在段時間內對產品方向兩個月內完成了公司方向進行了調整。如今，我們專注于模型平臺、翻譯模型大語言翻譯模型及相關應用。
現在我們感覺每天都在學習，到了“瘋魔FOMO”的程度，生怕漏掉一些信息，我將從以下幾個方面來介紹ChatGPT：背景、技術、產品以及一些建議。
緣起：關于吳軍“ChatGPT不算一次技術革命”的看法
前兩天，吳軍老師在得到直播上回答了一些問題，認為“ChatGPT不算一次技術革命”，引發業內爭議。我非常敬重吳軍老師，但我們在一些重要的形式判斷上的觀點可能是相反的。我在此表示敬意，也指出一些觀點差異。
吳軍老師認為語言模型是一個老古董，只是概率計算。他說的沒錯，最早的語言模型可以追溯到1972年，由IBM提出。然而，由于計算能力的限制，該模型在處理大量數據時需要進行適當的簡化大量的閹割和簡化。例如，在計算一個包含四個字的詞匯時，為了降低計算量，可能需要去掉前兩個字，這種方法被稱為N-Gram，當時，為了節省計算資源，研究人員不得不采取一種折衷的策略，即在計算一句話的概率時去掉前面的部分信息。但是，如今隨著計算能力的提升，這種限制已經不復存在。以ChatGPT為例，現在可以處理長達4000個詞的Token句子，這在當時是難以想象的。因此，盡管當時的研究人員認為這條道路無法走通，但隨著技術的發展，語言模型的發展已經取得了顯著的進步。
最近我仔細閱讀了OpenAI的相關研究成果，其中一位科學家在闡述自己的理解時表示，正如OpenAI首席科學家Ilya Sutskever所說：現代神經網絡在預測下一個詞匯時已經變得非常精準。實際上，他們正在構建一個事件世界模型。現代神經網絡的工作原理類似于對一幅圖像進行壓縮。就像將一張照片壓縮后，雖然可能略顯模糊，但仍能保留原始圖像的主要信息。同樣地，神經網絡可以對輸入信息進行高效的處理和分解。
目前的神經網絡與傳統的N-Gram概率計算方法已經有了很大的差距，不能再同日而語。這表明，在自然語言處理領域，神經網絡技術的發展已經取得了顯著進步。
在微軟長達154頁GPT-4評測的論文中，其所展示的智能已經涵蓋了本科生甚至研究生水平的題目，這在很大程度上說明了模型的能力。吳軍老師認為GPT-4擅長寫作，但他僅把它看作是一種應用學者鸚鵡學舌。我的觀點是：盡管GPT-4處理的文本數據量可能達到3000億個單詞，但它的能力并非僅僅是簡單地組合這些單詞。正如之前的嘉賓提到的“涌現”現象，當數據量和參數達到一定程度時，性能會急劇提升，這一點難以解釋目前甚至還沒有找到好的解釋。
吳軍老師可能過于恰恰可能過于“專業”專業，作為谷歌中日韓搜索的技術負責人，他所熟悉的NLP領域的傳統方法已經逐漸消失已經發生很大變化。另外，圖靈獎得主袁樂坤楊立昆也認為GPT-4等模型缺乏技術創新。但我認為現代神經網絡在自然語言處理領域已經取得了顯著進步，并在某種程度上超越了傳統方法。
ChatGPT是工程和產品的勝利
看這張圖，才過兩個月ChatGPT的用戶已經破億，并且我們我使用它的頻次很高，我自己每天至少花兩三個小時用ChatGPT做輔助工作，國內外的大公司都在研究這些模型，亞馬遜也加入了這個領域。
我認為ChatGPT是工程和產品的勝利，他們選擇語言作為AGI的切入點，最早人工智能學科出來的時候，有一派研究機器人、物理世界，就像波士頓動力正在做的事情，而為什么這一派覺得語言更重要？
因為語言對人類至關重要。維特根斯坦曾說，語言的邊界就是思想的邊界。尤瓦斯拉蒂《人類簡史》作者尤瓦爾赫拉利認為，討論虛構事物是人類語言的獨特之處，——語言可能是我們區別于比如一個生物和其它生物的關鍵標準。
人工智能發源的符號主義和連接主義都遇到了挑戰，而現代神經網絡為我們提供了新的解決方案。
簡單解釋一下，符號主義其實就是邏輯學派，他們認為所有東西都可以解釋，比如用機器翻譯寫語法規則，學外語的人告訴我們這個單詞后面要分第幾格，學計算機的人把代碼寫出來，但最后拼在一起錯誤百出，所以這些東西做到196760年代年就做不下去了。
一段時間之后，連接主義逐漸崛起，它并不強調可解釋性。雖然空氣動力學能解釋飛機的部分原理，但不能完全解釋。因此，神經網絡和涌現現象也是難以解釋的，然而，目前為止，還沒看到這條路的天花板。
從下面這張圖中，我們可以看到谷歌收購的DeepMind（紅色柱子）與OpenAI之間的巨大差距。DeepMind每年發表的論文數量為數百篇，而OpenAI的論文數量僅有個位數。盡管OpenAI投入了大量資金，但他們并未閑著閑置，他們聘請了一個標注團隊進行數據標注工作，并將其視為一項工程，而非僅僅是實驗和論文發表。
GPT在兩三年之前完全被谷歌BERT碾壓，但是在過去幾年里，OpenAI一直在不斷迭代，專注于大型語言模型。他們在2017年的時候還研究過其他技術方向，比如訓練過游戲角色，最后把這些都砍掉了，就剩下大語言模型這個方向。
他們的大語言模型可以用“參透萬象”來形容。深度學習之父Hinton在GPT-3發布后曾說，：將GPT-3的能力推演到未來，生命、宇宙和萬物的答案只是4.398萬億參數而已。GPT-3的參數為1,750億，大約是前者的幾十倍。大型模型通過跨語言的文本知識匯集了人類的智慧，這是而地球上任何一個人都無法閱讀如此多書籍和知識的。
此外，預訓練模型是世界的壓縮鏡像，同時也是一個世界模式。黑灰色的圈就是1750億參數，盡管GPT-3只學習到了其中的一小部分，但它神奇的地方在于泛化能力，它沒有見過白色圈子的內容，但是它也可以回答相關的問題。換句話說，它可以回答一些從未見過的問題。當然，泛化會導致精度的損失，例如GPT可能在回答某些歷史事件的日期時出錯。
最后，用一個詞概括大模型——“大道至簡”，這其實體現在很多方面，比如在預訓練方面，BERT和GPT都采用了預訓練方法。然而，這并不意味著一開始就是這樣。最早，各公司在做機器翻譯、自動問答、情感分析等任務時，會分別建立相應的系統。大型預訓練模型直到17、18年之后才開始流行。
大型模型還存在一個問題，那就是微調（Fine-tuning）。微調需要算法工程師來完成，而現在的Instruct GPT可以直接與用戶交流，不需要算法工程師或額外的數據。這無疑降低了門檻。從用戶界面（UI）的角度看，這可能是最大的改進，從計算機的歷史發展來看，早期的計算機只能處理0和1的紙帶，后來逐漸出現了鍵盤、鼠標和觸摸板屏。觸摸屏的出現雖然有所創新，但其實只是將鼠標替換成了手指。如今，我們所面臨的可能是不再使用編程語言，而是用自然語言進行交互，這種變革已經超過了iphone等觸摸式設備帶來的影響。
當年谷歌以其簡潔的界面在搜索引擎市場上取得了成功，這與當時主流的雅虎等門戶網站形成了鮮明對比。現在，特斯拉AI的負責人Andrej Karpathy已經回歸到OpenAI，他認為未來最熱門的編程語言將是英語。
ChatGPT的三個核心技術：情境學習、思維鏈、人類反饋強化學習
接下來，我們簡要介紹了ChatGPT的技術基礎，從算法、算力和數據三個方面進行宏觀了解。首先，在算法層面，連接主義取得了勝利。然而在過去，連接主義曾經是一種信仰。人工智能之父馬文·明斯基是符號學派的代表，當時深度學習的論文難以發表，連接主義者在主流圈子的會議上也沒有發表論文的機會。
在算力的發展中，Transformer技術取得了巨大的進步。從商業角度來看，與微軟合作是因為訓練這類模型非常耗費資金。據估計，訓練一個模型的成本在500萬至1200萬美元之間，而這還不是一次性的費用，因為過程中可能會出現問題。至于推理成本，即模型部署到服務器并響應指令的成本，我們很難按次數計算。不過，根據GPU租金計算，每天的成本大約為35萬美元。
在數據方面，英語占據了92%的份額。而中文在GPT-3中的占比僅為0.99%。我們在國內的訓練主要還是用中文。盡管如此，中文的影響力在全球范圍內可能仍處于較低水平。此外，這些語料庫基本上都是公開的，幾乎所有的語料都被使用了。
盡管我們把OpenAI的成功主要歸功于其工程能力和產品勝利，但仍有三個核心技術值得一提值得關注。
首先是情境學習（In-context Learning），這意味著模型能夠根據上下文來學習和適應。
左邊是論文標題，右邊是Fine-tuning模式，我們之前做模型的方式就是右邊的說法，所以模型出來之后我們要拿數據來訓練，給他一個例子，如果給出一個法語翻譯任務，模型可以根據提供的示例來進行翻譯。同樣，在情感分類任務中，模型能夠學會根據評論內容判斷情感傾向。
比如大眾點評要給一個我喜歡的電影做評論，第一個評價是正面的，第二個評價是負面的，然后再給他提示我喜歡這個電影，這時候它就知道我讓它做情感分類，這是很神奇的，我通過少數例子就讓模型發生變化。
模型可以通過少數幾個示例迅速適應，這是目前Prompt技術的核心基礎。另外兩個關鍵技術分別是思維鏈和與標注相關的技術。當數據量增大時，思維鏈的方式可以出現涌現，表現為指標的直線急劇增長。簡單的指令可能導致錯誤的結果，但是當給出解題過程或詳細步驟時，模型會給出正確的結果并展示過程。盡管目前對于思維鏈的研究仍有許多未知，但已經有很多算法在研究這一領域。
第三個技術與標注有關，例如DeepMind先通過人工寫答案，再訓練一個監督模型，然后讓人評估多個答案，最后訓練一個模型來自動選擇答案。這樣一來，可以實現標準化和自動化地選擇答案，并對齊人類的價值觀。這是一個關鍵技術，沒有這一步，像ChatGPT這樣的產品可能早已因為言辭不當而下線。
ChatGPT類產品的市場格局：以aA16zZ和Open AI為代表
在產品方面，市場格局有兩個版本，一個是美國的aA16zZ，他們將OpenAI的技術應用于Being模型，并在應用領域進行開發。Hugging face則是一些模型托管平臺以及圖像聲圖的支持資源。另一個OpenAI的CEO認為在大語言模型和C端應用之間，還有一層模型托管和創業公司的機會層，專門處理這些大模型，將其應用到不同業務場景。
微軟的生態相對明朗，已經將技術應用于office365等產品。我已經不用谷歌，谷歌確實很危險。創業公司在內容生產、場景應用、辦公類應用以及新的交互方面都有機會。例如，可以生成逼真的裝修風格圖，輔助閱讀論文和專利，以及提供實用工具。盡管目前還沒有看到太多新的交互方式，但這可能是一個更大的機會。
總之，模型適應性、思維鏈技術以及與標注相關的技術為大型預訓練模型的發展提供了基礎。在產品和市場方面，依然存在很多創業機會，值得關注。
在當今時代，我們的想象力往往被現有的應用程序框架所限制。例如，在京東購物時，我們需要在眾多參數、品牌和選項中進行選擇。但是，試想如果有一天，我們只需告訴App我們的預算和需求，它就能為我們找到合適的產品，而不是讓我們自己逐一篩選。這恰恰表明，貧窮的想象力限制了我們的思考，很多現有的APP和PC應用范式都在成為“枷鎖”，阻礙我們的創新。
類似的例子還有烤面包機。當電燈泡問世時，人們把它等同于電，以至于烤面包機出現時，人們仍然離不開電燈泡的思維。今天我們也面臨類似的局限。
去年，我們LanguageX在WMT國際機械翻譯比賽上奪冠，幸運地擊敗了京東和華為等強大的對手。此外，我們還嘗試了許多模型和方法。在訓練發音翻譯模型方面，我們取得了很大的進步。然而，我們很快又遇到了新的挑戰，需要不斷調整和創新。
幾點非結構化建議：AIGC只是開始，AI安全值得關注
關于AI的應用，我們需要重新審視我們的認知。現在，很多創業者都在嘗試文案撰寫、圖像生成和視頻制作等方面的應用，但如果不是非常了解這些產品業務和場景，可能并不是一個好的商機。此外，AI的普及和民主化將給我們帶來巨大的機會。就像計算機從IBM時代到鼠標和圖形界面的出現，一旦技術門檻降低，其影響力會變得非常巨大社會影響力將會空前深遠。
我們需要關注一手真實有效的信息，而非被標題黨所迷惑。建議大家每天抽時間閱讀一些論文，關注AI領域的發展看一些重要人物的訪談視頻。此外，我們還要學會運用這些技術，而非只是談論顛覆。
還有一點看法，我們認為，AI的機會點包括產品內容生產、效率工具和新的交互方式。同時，我們需要關注工業革命和電力革命等歷史事件，從中尋找未來的發展方向。
關于AI的監管問題，比如千人聯名信呼吁暫停研發AI，有的人吐槽馬斯克暗渡陳倉，一邊呼吁暫停，一遍自己在研發，我不好猜測他是怎么想的，但我認為這個事情很關鍵。——AI的發展可能會導致泡沫，也可能讓我們失去碳基項目對硅基的控制，因此需要謹慎對待。
最后，分享幾句關于AI安全的重要的觀點。比如機器智能可能成為人類最后一項偉大發明，但我們不能完全依賴于它。盡管AI可以幫助我們發明更多的東西，但我們仍然需要保持自己的創造力和獨立思考。有人認為，只要控制AI的電源，就能控制AI。然而，如果真正的AI出現，它有可能掌控電源甚至創造出新的電源。因此，我們需要對AI有更深入的了解和認知，以避免過于簡單化地看待問題。
我們作為創業者、投資者，我們關注應用，作為和人類的一員，我們有責任關注和了解AI安全問題的發展。只有這樣，我們才能把握未來的機遇，發揮我們的創造力，為人類的發展作出貢獻。只有這樣，我們才能把一個安全的世界傳承給我們的后代。
作者：李光華 David Lee
編輯：周小燕
