聲明:本文來自于微信公眾號 機器之心（ID:almosthuman2014），作者:張倩，授權轉載發布。
最近，Meta 開源的 Llama2系列模型引發了不小的轟動。這些模型包含7B、13B、70B 三種版本，最大的70B 版本性能接近 GPT-3.5，小一點的版本甚至可以在移動端運行，且整個系列都允許商用，有望成為眾多大模型應用的底層支撐。很多人預言說，「大模型的安卓時代就要來了」。
Llama 系列模型的 Github star 量已經逼近4萬。根據官方消息，自發布以來，Llama2一周內就有超過15萬次的下載請求。
不過，基于 Llama2構建應用并不只是把它從開源庫里下載下來那么簡單，模型的后續調優、中文增強、安全評估、與外部數據的融合、推理算力消耗等都是擺在開發者、企業面前的現實問題。這也是當前很多大模型的共性問題。大模型和應用之間需要一座橋梁。
在國內，百度智能云的千帆大模型平臺正在努力作好這個角色。
該平臺以百度自研的文心大模型為核心，還支持 ChatGLM2、RWKV、MPT、Dolly、OpenLlama、Falcon 等第三方大模型。而且，剛剛發布十幾天的 Llama2也已經在他們的模型庫中上線（7B、13B、70B 三種版本都有）。
再加上，千帆本身就是一個從數據管理、訓練調優到大模型發布的一站式工具鏈平臺，剛剛還新增了預置 Prompt 模板，所以，利用這個平臺構建基于 Llama2等大模型的應用變得非常簡單、高效，其效果也將明顯區別于直接調用原生開源大模型。
在這篇文章中，我們將走近這一平臺，看看它到底有哪些功能。
千帆大模型平臺:大模型落地加速器
打開千帆平臺，可以看到它的左側羅列了很多功能模塊，包括數據服務、大模型訓練、大模型管理、大模型服務以及最近新增的 Prompt 模板。這些都是為了加快大模型的落地應用而設計的。
在應用端，很多人對于大模型的感知來源于 ChatGPT 等提供的一個對話框。一開始，大家會覺得這個對話框幾乎是萬能的，想問什么就問什么。但時間一長，人們也發現了各種問題，有很多個性化需求無法得到滿足，尤其是企業需求。
這些企業有一部分想要用更低的成本調用效果依然不錯的大模型，希望利用有限的算力獲取更大的價值，最好有一個模型庫可以選擇，還要有配套的「說明書」;還有一部分希望基于某些強大的開源模型訓練自己的行業大模型，追求高效的訓練、部署方法以及更低的成本。當然，他們也有一些共同的訴求，即克服大模型的一些固有缺陷，比如可能輸出有害或違反法律法規的內容，信息的時效性有所延遲，無法原生地結合企業個性化信息等。
這些問題的解決方案都藏在上面提到的那些功能模塊里。
首先，在基礎模型的選擇上，為了確保模型的可靠性，千帆以模型效果、模型安全性、可商用為指標嚴選了33個大模型。這些大模型各有所長，比如 Llama27B 體積較小，RWKV 擅長處理長文本。企業可以根據不同細分場景的業務需求，把這些模型組合起來使用。
此外，千帆還對這33個大模型進行了性能 + 安全的雙重增強。
其中，性能的增強通過優化模型吞吐、降低模型尺寸來實現，調優后模型體積可壓縮至25%-50%，推理成本最多可降低50%，與直接調用或部署第三方開源模型相比更經濟。
安全增強是指對輸出的內容進行審核，確保其安全合規，這項功能兼顧第三方和自有模型，大大降低了企業直接調用、部署第三方開源模型可能面臨的風險。
當然，除了直接調用外，企業還可以對這些模型進行訓練、調優，定制自己的專屬大模型。在這一過程中，千帆不僅支持傳統的全量參數更新，還支持prompt tuning、LoRA等只更新部分參數的高效微調方法。同時，為了讓模型更好地與人類意圖對齊，它還支持人類反饋強化學習（RLHF）訓練。
眾所周知，RLHF 訓練是一件費時費力的事情，就連 Meta 在第一版 Llama 模型中都沒有著重進行這項訓練。但在千帆大模型平臺的頁面上，我們能夠很容易地找到一套完整的訓練流程，這可能成為很多企業、開發者大幅提升開源模型性能的關鍵。這點在 Llama1到 Llama2的進化中已經得到了證明，Meta 的研究人員在 Llama2的論文中指出，RLHF 非常重要，模型的出色寫作能力基本上是由 RLHF 驅動的，它不只是一種安全工具，更是一種提高模型能力上限的訓練方法。
具體到每個訓練步驟，千帆都配套了相應的工具，包括13種數據清洗及增強算子以及嚴密的數據回流設計。
為了降低訓練成本，千帆在數據服務中提供了答案自動生成功能和智能在線標注，而且支持帶排序的標注功能，讓想要進行這項訓練的開發者、企業可以借助一套自動化的工具來高效、低門檻地完成。
除了強大的模型庫，Prompt 模板也是千帆本次更新的重點。
Prompt 有多重要?相信每個用過 ChatGPT、文心一言的人都深有體會。在工業界，Prompt 工程已經成為一個熱門的就業方向。
為什么要專門招人做這件事?因為對于企業來說，大模型就像一個強大但沒有說明書的機器，需要一個非常了解大模型技術特點的人來總結其使用方法。
千帆此次發布的103款 prompt 模板有望在一定程度上減輕企業這方面的負擔。這些模板包含對話、編程、電商、醫療、游戲、翻譯、演講等十余個場景，企業既可以直接調用，也可以借鑒模板思路進行改寫。
從這些功能模塊中，我們可以看出千帆平臺創建的初衷:他們希望企業在將大模型引入業務的時候不用再到處找工具，在一個平臺上就可以把所有問題都解決掉，從而加快大模型在產業界的落地速度。平臺的這次密集更新讓他們離這一目標更近了一步。
目前，平臺新增的 Prompt 模板已經開放內測，機器之心在千帆后臺，選擇平臺接入的某個大型語言模型進行了測試（模型生成結果僅供參考，可能存在紕漏）。
Prompt 模板上手體驗
打開「Prompt 模板」模塊可以發現，模板列表位于對話框的右側，找到想用的模板，選擇「引用」，即可將模板復制到對話框。
在這里，我們以機器之心高頻的素材收集任務為例，看看使用模板前后的效果差異。
比如，在報道最近大火的「室溫超導」話題時，我們想搜集一些有關該話題的科普素材。如果隨便問一個問題，效果是這樣的:
問:室溫超導是什么?
答:室溫超導是指可以在高于零攝氏度的溫度下產生超導現象的材料。相比其他的超導體，室溫超導體的條件是日常較容易達到的工作條件。一旦室溫超導得以實現，將徹底改變電力和電子工業，使電力傳輸不受任何阻力影響，從而帶來前所未有的效率和技術進步。
但調用了千帆提供的素材收集模板后，我們得到了更全面的信息:
問:生成一份與室溫超導有關的十大事實、統計數據和趨勢的清單
答:1. 超導材料可以在零電阻下工作，因此不會損失任何電能。這一特性使得超導材料在電力傳輸、電子設備和磁懸浮等領域具有巨大潛力。
2. 目前已經發現許多超導材料，包括元素、合金、化合物和有機物。其中一些已經在實驗室中實現了高溫超導，但大多數需要在極低溫度下工作。
3. 室溫超導是一種在室溫下表現出超導性的材料。目前尚未找到在室溫下具有超導性的純元素，但已經發現一些合金和化合物可以在室溫下表現出超導性。
4. 在過去幾十年中，科學家一直在尋找室溫超導材料，但尚未取得重大突破。盡管如此，最近的一些發現為室溫超導的研究開辟了新的方向，包括使用金屬氧化物和有機材料等。
5. 超導材料的超導性是由其電子行為所決定的。了解電子如何在材料中移動和相互作用是開發新型超導材料的關鍵。
6. 超導材料對于磁場的反應非常強烈，這使得它們在磁懸浮、核磁共振成像和磁力計等方面具有重要應用。
7. 超導材料在技術上的應用需要克服許多挑戰，包括成本、生產技術和穩定性等。
8. 超導材料在能源領域的應用包括高效電力傳輸、發電機和電動機等。這些應用可以大大減少能源損失和碳排放。
9. 隨著研究的不斷深入，超導材料的溫度限制不斷提高。目前，最高的超導轉變溫度是約200開爾文。
10. 超導材料的研究已經導致了多個諾貝爾物理學獎的獲得，包括1972年的邁斯納獎、1987年的高溫超導獎和2003年的高溫超導獎。
借助模板，我們還可以讓大模型提供寫評論的參考角度:
問:我希望你能作為一個評論員。我將為你提供與新聞有關的故事或話題，你要寫一篇評論文章，對手頭的話題提供有見地的評論。你應該用你自己的經驗，深思熟慮地解釋為什么某件事很重要，用事實來支持你的主張，并討論故事中提出的任何問題的潛在解決方案。主題是:韓國研究者聲稱發現常壓室溫超導新材料
答:韓國研究者聲稱發現常壓室溫超導新材料，這一發現引發了全球科學界的關注和熱議。對于這一話題，我深感興奮并認為這一發現具有深遠的意義和影響。首先，常壓室溫超導新材料的重要性不言而喻。超導材料可以在無電阻狀態下傳輸電能，從而大大提高能源傳輸效率。這一發現有望解決當前能源傳輸損耗問題，并帶來能源利用的革命性變化。此外，常壓室溫超導新材料還可以應用于電子設備、磁懸浮系統等領域，推動相關技術的進步和發展。
對于這一發現的深遠影響，我認為主要有以下幾個方面。首先，能源傳輸效率的提高將有助于減少能源浪費，降低碳排放，推動綠色能源的發展。其次，新超導材料的發現將促進相關產業的發展，帶動經濟的增長。最后，這一發現還將推動科學技術的發展，為人類探索未知領域提供新的思路和動力。當然，這一發現也提出了一些問題。例如，新超導材料的制備和大規模應用需要克服許多技術難題。此外，超導材料的成本也是一個問題，需要研究如何降低成本，以便更廣泛地應用。
針對這些挑戰，我認為應該加強研究，探索新超導材料的制備方法和大規模應用技術。同時，還應積極開展相關技術的研發和創新，為新超導材料的廣泛應用提供技術支持。總之，韓國研究者的這一發現對于人類社會的發展具有深遠的影響和意義。我們應該關注這一領域的發展，并積極投入研究，為未來的科技進步做出貢獻。
由于兩個模板應用起來比較高頻，我們選擇把它們加入「我的收藏」，節省查找時間。
此外，我們發現，千帆還支持自定義模板功能。于是，我們把平時積累的一些高效 Prompt 創建成了模板，讓模型更好地提供翻譯建議，結果非常令人滿意，大大節省了每次重新編輯 Prompt 的時間。
問:你是一位深度學習專家，同時精通中英翻譯，我需要你幫我翻譯一篇深度學習論文。Transformer、LLM、token等專業名詞不需要翻譯。你可以對翻譯結果進行潤色，使其更符合中文表達習慣。開始翻譯:
Despitetheadvancementsofopen-sourcelargelanquagemodels（LLMs）andtheirvariants，e.g，LLaMAandVicuna，theyremainsignificantlylimitedinperforminghigher-leveltasks，suchasfollowinghumaninstructionstouseexternaltools(APls).
Thisisbecausecurrentinstructiontuninglargelyfocusesonbasiclanguagetasksinsteadofthetool-usedomain.Thisisincontrasttostate-of-the-art（SOTA）LLMs，e.g，ChatGPT，whichhavedemonstratedexcellenttool-usecapabilitiesbutareunfortunatelyclosedsource.
答:盡管開源大型語言模型（LLM）及其變體(例如Llama和Vicuna)取得了進步，但它們在執行高級任務方面仍存在顯著限制，例如遵循人類指令使用外部工具(API)。這是由于當前的任務調整主要集中在基本語言任務，而不是工具使用領域。與最先進的(SOTA)的LLM，例如ChatGPT，形成對比，它已經展示了出色的工具使用能力，但不幸的是它是閉源的。
升級背后的思考
在媒體交流會上，千帆的工程師將千帆大模型平臺的未來發展方向概括為更易用、更全面、更安全、更高效、更開放，更擴展，這也是我們在這次升級中能感受到的。
「易用」的感受非常直觀。整個千帆的界面看似復雜，但框架清晰，操作簡單，而且每個功能模塊都搭配了使用文檔和操作指引。此外，模型的易用性也隨著 Prompt 模板等功能的推出而逐步提升。
「全面」、「安全」、「高效」、「開放」、「擴展」體現在豐富的模型庫和工具鏈上。這些模型庫和工具鏈既滿足了當前的一些「不確定性」需求，也滿足了一些「確定性」需求。
不確定性需求指的是，當前大模型還處在發展初期，企業還不確定什么樣的模型更適合自己的業務。所以在這個階段，千帆想通過更加全面、開放的工具鏈、更多樣的模型庫來為企業提供更多的選擇，在一個繁榮的平臺上快速接受市場反饋，然后把這些反饋沉淀下來，利用平臺分享出去。
確定性需求指的是企業在降本增效、模型安全性等方面的共性需求，比如在某些場景中，企業并不需要參數量巨大的通用模型，算力要求較低的小模型就能解決問題，所以千帆要為這樣的需求配置全面、高效的工具鏈，完成模型壓縮等剛需任務，同時確保模型安全。
基于這樣的思考，千帆的技術團隊對平臺上的模型庫和工具鏈持續打磨，在短短幾個月的時間內就實現了數次迭代，將大模型的強大能力持續輸送到各行各業。在未來幾個月，我們還將看到這一平臺帶來更多的驚喜。
