今天看到一篇文章，說是google泄露了一份文檔《我們沒有護城河，OpenAI也沒有》，描述了某位Google員工（非Google公司）對開源AI的看法，觀點很有意思，大致的意思是這樣的：
ChatGPT大火以后，各大廠商都對LLM趨之若鶩，瘋狂投入。
Google也在努力，希望能翻盤，但是大家都無法贏得這場軍備競賽，因為第三方正在悄悄地吃掉這個大蛋糕。
這個第三方就是開源大模型。
開源大模型已經做到了：
1. 在Pixel 6上以每秒5個token的速度運行基礎的模型。
2. 一個晚上就可以在個人電腦上微調個性化的AI：
雖然OpenAI和Google的模型在質量上有優勢，但是差距正以驚人的速度在縮小：
開源模型更快，可定制，更私密，功能更強。
開源大模型用100美元和13B的參數做事情，幾周內搞定；而Google 在1000萬美元和540B的參數下，在幾個月內苦苦掙扎。
當免費的，不受限制的替代品在質量上和封閉的模型有一拼的時候，人們肯定會拋棄封閉的模型。
這一切都從Facebook開源LLaMA開始，3月初，開源社區得到了這個真正有能力的基礎模型，雖然沒有instruction ，conversation tuning，沒有RLHF，社區立刻就意識到了這個東西的重要性。
隨后的創新簡直是瘋狂的，甚至以天為單位：
2-24 ：Facebook 推出LLaMA，此時僅授權給研究機構，政府組織使用
3-03 ：LLaMA在互聯網上泄露，雖然不允許商用，但是突然之間，任何人都可以玩了。
3-12 ：在Raspberry Pi上運行LLaMA，速度很慢，不實用
3-13：斯坦福發布了Alpaca，為LLaMA增加了instruction tuning，更“嚇人”的是，斯坦福的Eric J. Wang 使用一塊RTX 4090 顯卡，只用5 個小時就訓練了一個和Alpaca 水平相當的模型，將這類模型對算力的需求降到了消費級。
3-18：5天以后，Georgi Gerganov使用4位quantization技術在macBook CPU 上運行 LLaMA，它是第一個“無 GPU”解決方案。
3-19：僅僅過了一天，加州大學伯克利分校、CMU、斯坦福大學、加州大學圣地亞哥分校的研究人員聯合推出Vicuna，號稱達到了 OpenAI ChatGPT 和 Google Bard 90% 以上的質量，同時在超過 90% 的情況下優于 LLaMA 和 Stanford Alpaca 等其他模型。
3-25：Nomic 創建了GPT4all，它既是模型，又是一個生態系統，我們第一次看到多個模型聚集在一個地方
......
僅僅在一個月的時間內，instruction tuning、quantization、quality improvements、human evals、multimodality、RLHF等都出現了。
更重要的是，開源社區解決了可擴展的問題，訓練的門檻從大公司降低到了一個人，一個晚上和一臺功能強大的個人電腦。
所以作者在最后說：OpenAI也和我們一樣犯了錯，也頂不住開源的沖擊。我們要建立生態系統，讓開源為Google工作。
Google已經在Android和Chrome上應用了這種范式，并且獲得了巨大的成功。應該讓自己成為大模型開源的領導者，繼續鞏固自己作為思想領袖和引領者的地位。
說實話，這一個多月來大語言模型的發展真是讓人眼花繚亂，目不暇接，每天都處于被轟炸狀態。
這讓我想起了早些年互聯網剛起步的時候，今天冒出一個激動人心的網站，明天又冒出一個。還有移動互聯網爆發的時候，今天一個App火了，明天另外一個app又火了......
從我個人來講，我也不希望這些大語言模型被控制在巨頭手中，我們只能“寄生”在這些巨頭模型上，調用一下它的API，開發一點兒應用，這是很不爽的。最好是百花齊放，平民化，讓大家都能建立自己私有的模型。
現在訓練的成本小公司應該可以承受了，如果程序員有這個訓練的能力，結合下特定的行業和領域，也許是不錯的機會。
程序員要想熟練掌握私有化大模型，除了原理之外，還是得自己動手練，我們星球也有幾十個人在組隊練習，雖然開源社區極大地降低了成本，但是要想訓練出一個有用的模型，這玩意兒對硬件環境要求還是太高，顯卡很貴，RTX4090怎么著也得上萬，肉疼，去云端租一個GPU訓練價格更是不可控，訓練失敗，錢就白白扔掉了，這不像學習一門語言或者框架，下載幾個安裝包就搞定，幾乎是零成本。
希望門檻進一步降低吧！
