【ITBEAR科技資訊】6月9日消息,亞馬遜云科技近日宣布,阿布扎比技術創新研究所(TII)開源的大型語言模型Falcon 40B和Falcon 7B已于6月7日起在其機器學習中心Amazon SageMaker JumpStart中可使用。
Amazon SageMaker JumpStart是一個提供預訓練模型、內置算法和解決方案模板的平臺,旨在幫助用戶快速進行機器學習,實現文章總結、圖片生成等任務。
據ITBEAR科技資訊了解,用戶只需在SageMaker Studio中簡單操作,即可輕松部署和使用Falcon模型,或者通過SageMaker Python SDK進行編程方式的應用。
此次發布意味著,不論是何行業、何規模的企業或開發者,都可以快速、輕松地部署Falcon 40B模型,并進行個性化定制以滿足特定需求,如翻譯、問答、信息總結、圖像識別等應用程序。對于生成式AI行業的發展來說,這無疑具有重要意義。
Falcon 40B是阿聯酋的首個大型人工智能模型,由阿布扎比技術創新研究所(TII)開發并推出。該模型擁有400億參數,在高質量token上進行了1萬億次的訓練,性能超越了扎克伯格旗下的650億參數LLaMA模型以及其他知名開源模型,成為Hugging Face開源大語言模型全球榜的領軍者。
Falcon 40B不僅在性能上表現出色,而且在訓練資源的利用效率上也非常高。相較于GPT-3模型,Falcon 40B只使用了75%的訓練預算,卻能顯著超越GPT-3的性能。此外,在推理階段的計算量僅需GPT-3的1/5。
值得一提的是,Falcon 40B采用開源Apache 2.0許可證,廣泛允許免費使用(商業化開源收入超過100萬美元時,需繳納10%的授權費用),為廣大AI應用開發者提供了便利。開發者可在任何地方下載、檢查和部署模型權重,構建滿足用戶需求的定制化AI工具。
根據了解,TII利用亞馬遜云科技的SageMaker進行Falcon大語言模型的訓練工作。SageMaker是一個托管API集合,為開發、訓練、優化和托管機器學習模型提供支持,包括大型語言模型。TII使用SageMaker Training API提供的瞬態集群來訓練Falcon大語言模型,最多支持48個ml.p4d.24xlarge實例(384個英偉達A100 GPU)。
目前,TII正在訓練下一代Falcon大語言模型,并計劃將訓練擴展到3136個A100 GPU(392個ml.p4d實例)。
除了Falcon,其他知名大型語言模型如Stability AI、AI21 Labs和LG AI也使用了亞馬遜云科技的SageMaker來處理其大語言模型工作負載。
通過Amazon SageMaker JumpStart,開發者現在可以快速輕松地部署自己的Falcon 40B模型,并進行個性化定制,加速生成式AI應用產品的落地。
總而言之,亞馬遜云科技推出的Amazon SageMaker JumpStart為開發者提供了便利,使各行業客戶都能夠快速應用Falcon 40B模型,并根據自身需求進行定制化開發。隨著各種大型語言模型的不斷涌現,生成式AI的發展前景將更加廣闊。