【ITBEAR科技資訊】5月17日消息，谷歌在其I/O開發者大會上發布了最新的通用大語言模型PaLM2。據ITBEAR科技資訊了解，該模型的訓練數據幾乎是其上一代模型的5倍，達到了3.6萬億個令牌。PaLM2在編程、數學和創意寫作方面表現更為優秀，得益于其龐大的訓練數據。
谷歌此次發布的PaLM2模型采用了比之前版本多得多的令牌進行訓練。令牌是指訓練大語言模型所使用的單詞串，它們對于教導模型如何預測字符串中可能出現的下一個單詞至關重要。內部文件顯示，2022年發布的上一代模型PaLM僅使用了7800億個令牌，而PaLM2則提升到了3.6萬億個令牌。
盡管谷歌希望展示其人工智能技術的實力，并在搜索、電子郵件、字處理和電子表格等領域實現更高效的應用，但該公司并未公開披露訓練數據的具體規模和其他細節。與谷歌類似，微軟支持的OpenAI也對其最新的GPT-4大語言模型保密了細節信息。這兩家公司之所以保密，是因為它們都希望吸引那些希望通過聊天機器人直接獲取答案的用戶，從而在商業競爭中占據優勢。
然而，隨著人工智能軍備競賽的白熱化，一些研究人員呼吁企業增加透明度。雖然谷歌聲稱新模型比之前的大語言模型更小，但其技術效率卻得到提升，能夠完成更復雜的任務。根據內部文件顯示，PaLM2是基于3400億個參數進行訓練的，而初始版本的PaLM則基于5400億個參數。
據谷歌在一篇關于PaLM2的博文中介紹，該模型采用了一種名為“計算機優化擴張”的新技術，使得大語言模型具備更高的效率和整體性能，包括加快推理速度、減少參數調用和降低服務成本。
此次發布的PaLM2模型針對100種語言進行了訓練，能夠執行更廣泛的任務，并已被應用于谷歌的25個功能和產品，包括實驗性聊天機器人Bard。PaLM2共有四個規模，從小到大分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。
根據公開披露的信息來看，PaLM2比現有的任何模型都更加強大。Facebook在今年2月宣布的LLaMA大語言模型僅采用了1.4萬億個令牌進行訓練。而OpenAI在披露GPT-3訓練規模時表示，其當時基于3000億個令牌進行訓練。今年3月，OpenAI發布GPT-4時宣稱其在許多專業測試中展示出與人類媲美的表現。
LaMDA是谷歌兩年前推出的對話型大語言模型，今年2月與Bard一同亮相。該模型基于1.5萬億個令牌進行訓練。
隨著新的人工智能應用快速進入主流，圍繞底層技術的爭議也日益激烈。谷歌高級研究科學家艾爾·邁赫迪·艾爾·麥哈麥迪(El Mahdi El Mhamdi)今年2月辭職，其中一個主要原因是人工智能技術缺乏透明度。本周二，OpenAI的CEO山姆·阿爾特曼(Sam Altman)在美國國會舉行的隱私和技術聽證會上表示，我們需要建立一套新的制度來應對人工智能潛在的問題。
阿爾特曼說：“對于一種全新的技術，我們需要一套全新的框架。當然，像我們這樣的公司應當為我們推出的工具承擔許多責任。”
