作 者:于啟章
來 源:正和島(ID:zhenghedao)
“所有行業都值得被重做一遍。”
上一次這句話無限風靡的時候,我們還在互聯網時代。
那一場浪潮之下,我們目光所及的生活方方面面的確都被顛覆了,通訊、支付、購物、點餐、打車、社交……
如今這句話再被提起,我們知道,人工智能來了。
而在對于人工智能應用的無限想象中,ChatGPT的“橫空出世”讓生成式AI成為整個世界關注人工智能的抓手。
大模型作為生成式AI的“基建”,更是成為了兵家必爭之地。
百模大戰,打“瘋”了
很多人或許注意到,前不久的高考期間,大模型“卷”到了臺前。
ChatGPT、360智腦、文心一言、通義千問等大模型紛紛參與到押題、模擬答題、模擬寫作文等環節,在“線上考場”賺足眼球。
當前,“模型熱”經久不散,業內普遍認為,“這是人類歷史上距離實現通用人工智能最近的時刻”。
也正因如此,國內“百模大戰”愈演愈烈,其中10億以上參數規模大模型已達到79個,在數量上進入了世界范圍內的第一梯隊。
來源:中國人工智能大模型地圖研究報告
錦上添花的是,5月底短短一天內,北上深三地接連發布關于支持人工智能產業的政策文件,作為國內城市發展極具代表的超一線城市,這三地政府的表態為產業發展帶來極大的鼓舞作用。
可縱然前景無限,我們依然要客觀認識到“多而不強”的中國大模型現狀。
中國大模型,“命門”何在?
中國科學院計算技術研究所研究員張云泉有過這樣一個感慨:
“之前,無論從AI論文發布數量、引用量、專利數,還是從人工智能企業、獨角獸數量來看,我們對中國在人工智能方向上的發展還是非常樂觀。但在ChatGPT發布之后,大家突然發現中國人工智能的發展還有很多問題待解決。”
確實,與國際同行相比,我們在模型、數據和算力方面的劣勢都客觀存在,討論度也很高。但復旦大學教授、上海市數據科學重點實驗室主任肖仰華認為,我們大多數人忽視了一個絕對核心的問題:
那就是我國沒有完全掌握對大模型的“煉制”工藝,包括數據配方、數據清洗和參數設置等。
360創始人周鴻祎也有類似的觀點,在昨天的360智腦大模型應用發布會上,他提到:“大家談發展大模型,最早的三大要素是算力、算法、數據,我今天改成了算力、數據和訓練。”
怎么理解訓練和清洗?
今時今日,訓練大模型有幾個關鍵步驟,首先是找一個跟GPT結構一樣的多層次Transformer模型。
Transformer模型的功用在于把所有的文字都看成一個序列,當我們給它前面一個序列之后,它永遠在猜測后面的序列是什么。
這種算法未來不僅僅在語言、符號體系上,很有可能在自動駕駛、機器人動作控制、蛋白質分析、人類基因組分析甚至物理、化學、數學等很多科學問題上有重要的應用。
不過,因為有開源和公開的技術,找到一個Transformer模型的門檻已經非常低。
真正的難度在于給模型灌進很多知識,所謂無監督學習或者叫預訓練的知識,這種數據的選擇和清理非常重要。
因為給模型灌什么樣的能力和數據,就預示著它未來有多大的能力,好比一個小朋友從小沒培養好思維能力,灌再多的知識也很難形成邏輯。
灌完知識之后最重要的一步就是做題,用技術詞匯叫“有監督的微調”,實際上就是用人工或者用更高級別的GPT模型標注問題和答案做出對比。
周鴻祎毫不諱言,“今天很多大模型的能力其實就是靠刷題刷出來的。”
而今天的挑戰就在于,大模型的開發者用什么樣的數據做預訓練,用什么樣的題海戰術做有監督的微調。
作為老牌搜索引擎廠商,360多年來積累下最大的能力就在于數據獲取和清洗的能力。
他們每天在全球抓取1.4億網站的數據,2.8億的專業文獻,1.2億的行業數據,規模非常大,只有經過訓練和清洗才能精準反饋給用戶,留存有10T級優質的規模數據。
而這些,直接決定了一個模型的底層邏輯是否足夠清晰。
5月23日,JioNLP大語言模型評測發布最新測試結果,360版GPT——認知智能通用大模型“360智慧大腦”(簡稱“360智腦”)成為“國內大語言模型目前最好的”。
來源:JioNLP
此前,360智腦在中文通用大模型基準(SuperCLUE)評測結果中,多項能力也是位列國產大模型第一。
JioNLP對360智腦表現評價為超出預期,“相比其它國內模型,優勢主要體現在客觀題回答準確率相對較高,問答類題型準確性較好,說明模型訓練的文本數據分布較廣,最值得一提的是模型對于編程題目的準確性較高,測試題中共3道程序題目,全部答對,沒有出現明顯的偏離和瞎答。”
專業人士分析,作為搜索引擎廠商,360做大模型有天然優勢,其海量多樣高質量的訓練語料和工程化的調度能力,是很多廠商不具備的。同時,搜索引擎數據實時更新、知識校對準確,而大模型能自動剔除垃圾信息,因此兩者融合相互增強,形成良性循環。
不難發現,360在“煉制”大模型方面具有很強的前瞻性和技術優勢。
而這,正是中國通用大模型的“命門”。
走出自己的路,很關鍵
對于通用大模型,我們既是在追趕,也是在探索,“如何走出一條自己的路”成為不可避免的論題。
當ChatGPT是采用集中式算力來推動的,未來我們或許可以換一條路,比如走下一代分布式路線,通過更先進的互聯技術將國內的一些算力基礎設施更好地連接起來,挖掘更強的計算能力。
中國工程院院士鄭緯民就建議,可以多方合作打造一個共同的通用大模型,并讓這個模型成為新的基礎設施。
但要實現這個目標還有很多問題待解決,比如怎么才能把不同的模型連接起來,怎么實現傳輸,怎樣才能既滿足對算力的要求,又比較節省成本等。
中國工程院院士廖湘科也認同未來真正具備國際競爭力的通用大模型可能只有少數的一到兩個,其他參與者將基于通用大模型進行微調和推理,提供行業定制化的模型服務。
應用場景,成為倒逼技術發展的動力,這對我們來說絕不陌生。
回顧互聯網時代,電商、移動支付、即時通訊甚至二維碼的最初應用都并非誕生于我國,可正是在龐大的市場和多樣的應用場景助推下,我們的應用技術水平指數級增長,為中國社會生活帶來了一場升維浪潮。
周鴻祎對此有很深的感觸,正基于此,他將360的人工智能發展戰略定位“兩翼齊飛”, 一方面加強核心技術自研,另一方面結合優勢場景,搶占人工智能發展先機。
自2015年成立人工智能研究院后,360一直在深入研究自然語言處理、機器視覺等方向的人工智能技術,并將技術應用于搜索、智能硬件、安全大數據等場景中,積累了行業領先的經驗,尤其在多模態技術上積累深厚。
周鴻祎認為,從大模型的發展趨勢來看,多模態是大模型發展的必經之路,GPT-4最重要的變化是擁有了多模態的處理能力。因此,周鴻祎預言,多模態大模型與物聯網的結合將會成為下一個風口。
“如果我們只是模仿ChatGPT,做了一個搜索對話框,做了一個聊天機器人,指望這個東西帶來工業革命是不現實的。”
這一點,已經成為業界共識。
谷歌發布的大模型策略里面,有四種大小尺寸不一樣的大模型。
Facebook發布的以“LLaMA羊駝”為首的開源大模型里面,有一種方式是把大模型越做越大,參數越大,訓練的語料越大,還有一種方式是把大模型做小,也即用在垂直領域,使其甚至可以部署安裝在一臺電腦或者手機上。
而如果能裝在手機上,就意味著大模型將來可以部署在邊緣技術設備,甚至部署在IoT設備上。
在場景布局上,360也堅持著“四路并發”,圍繞消費者、中小微企業、企業&政府&城市、行業的不同需求,打造不同的大模型產品及服務。
To C的場景下,搜索引擎+瀏覽器和桌面,中國幾億用戶的桌面上都能有一個AI助手。
面向中小企業時,則可以結合他們的痛點和剛需,把一個大語言模型的通用能力變成很多面向中小企業不同辦公場景、不同需求具體的AI工具,大有機會。
對于政府、大型企業來說,他們涉及很多專有數據、私有保密數據、獨有的行業知識,不可能把這些知識訓練到一個公有的GPT大腦里,所以需要專有的GPT。360在安全方面積累深厚,從世界范圍來看,這方面都蘊含著巨大的增量市場機會。
最后是面向行業的GPT,周鴻祎提到,現在360的GPT能力不僅能夠滿足自己的需求,還要提供出來,跟有行業數據的合作伙伴相結合。
他舉了一個案例:
“前兩天我遇到一幫創業的小伙子,他們要做一個修車的GPT。
我才知道,原來中國有1000萬修車工,他們在修車的時候如果沒有經驗豐富的老師傅帶,就很容易面臨知識上的匱乏。
所以這幾個小伙子收集了很多修車的案例和知識,找到360問能不能提供通用大模型的能力基礎,訓練一個修車行業的大模型出來。
這樣每個修車工只要訂閱一個公眾號,在給客戶修車的時候把型號、癥狀告訴修車GPT,就能得到很多案例和經驗的啟發。
讓新入行修車的年輕人能夠輕松復用20年老師傅的經驗,我覺得這就是一個典型的助推行業的能力。”
未來,在城市端打造城市智能中樞,賦能城市數字化轉型;推出專有大模型,打造政府和企業級的GPT;在中小微企業端推出SaaS化垂直應用,打造生產力工具;在消費者端,結合搜索引擎和瀏覽器,推出用戶個人AI助理,都將成為“360智腦”的落地場景。
“兩翼齊飛,四路并發”,中國大模型之路,技術與應用場景缺一不可。
360的預判和實踐正加速推動著中國走出自己的人工智能之路。
與其談彎道超車,不如談厚積薄發
大模型的到來顛覆了人機、人人乃至機器與機器、技術領域與技術領域之間的交互協同機制,但同時也帶來了更多的復雜性挑戰。
與其談“彎道超車”,不如談“厚積薄發”。
搜索引擎先天需要發展NLP(自然語言處理)技術,以更好地理解搜索意圖,做搜索結果排序等。作為國內第二大搜索引擎廠商,360發展大模型具有天然技術基因優勢。
同時,搜索增強優勢還可以補足GPT實時性、準確性不足的能力短板,使大模型和搜索引擎相互增強,形成雙向循環。
前不久,作為AI領域龍頭股360集團的創始人,周鴻祎在“2023躍遷•黑馬AIGC峰會”上首次以“數字分身”形式參會。數字人一經亮相便引發現場觀眾興趣。
昨天的360智腦大模型應用發布會上,周鴻祎的“數字分身”再度登臺。
周鴻祎本尊甚至調侃:“以后就讓數字人‘周鴻祎’作為我們公司的新聞發言人,說對了算我的,說錯了算他的。”
幾番演示過后,我們不難發現玩笑背后,360對于數字人的極度認真。
實際上,360在大模型上的核心創新就在AI數字人,數字人是未來人工智能大模型最重要的應用入口。
區別于傳統數字人只能按既定腳本輸出內容,360AI數字人的特點在于有記憶、有人設和性格,能夠復刻思維方式和人生經歷。
據了解,360AI數字人目前擁有200多個角色,分為數字名人和數字員工兩類。
數字名人包括歷史人物、偶像明星、文學形象等,諸葛亮和孫悟空就在發布會現場實時互動,表現精彩。
數字員工則可成為企業員?的知識助?和辦公助手,提升企業運營效能。
依托于360AI數字人的定制功能,未來每個人都能通過上傳私人知識庫,低成本生成自己的專屬數字人,如數字分身、數字助理、數字偶像等。
周鴻祎始終認為:“AI的進化要以人為本,大模型應該成為人類的朋友和助手。”
就像“數字分身”首次露面后他自己發微博說的:
數字分身“挺受歡迎,讓我多少有點危機感,我可不想被數字人干掉。但這就是趨勢,相信用不了多久數字人演講就會變成主流。”
面對現實,同時秉持用戶至上。人工智能的時代,未來已來。