【ITBEAR】彩云科技發(fā)布全新AI模型架構(gòu)DCFormer，顛覆傳統(tǒng)Transformer模式
在AI技術(shù)日新月異的今天，彩云科技憑借其獨(dú)創(chuàng)的DCFormer模型架構(gòu)，成功引領(lǐng)了AI領(lǐng)域的新一輪技術(shù)革新。近日，該公司在北京總部盛大發(fā)布了基于這一架構(gòu)的通用大模型——云錦天章，標(biāo)志著AI技術(shù)進(jìn)入了一個(gè)全新的發(fā)展階段。
據(jù)悉，云錦天章模型不僅在虛構(gòu)世界觀構(gòu)建方面表現(xiàn)出色，更賦予了小說人物編程、數(shù)學(xué)等基礎(chǔ)能力。它能夠高速處理大量文字，實(shí)現(xiàn)擴(kuò)寫、縮寫以及文章風(fēng)格的大容量更換，同時(shí)還兼?zhèn)淞藛柎稹?shù)學(xué)、編程等多種基礎(chǔ)功能。
云錦天章與市面上常規(guī)大模型的最大差異在于其底層模型架構(gòu)。彩云科技通過改進(jìn)注意力矩陣，使得DCFormer架構(gòu)在相同訓(xùn)練數(shù)據(jù)下，能夠?qū)⑺懔χ悄苻D(zhuǎn)化率提升至Transformer的1.7到2倍，這一突破性的進(jìn)展無疑將大大提升AI模型的運(yùn)行效率。
DCFormer架構(gòu)并非與現(xiàn)有的Transformer架構(gòu)互斥，而是在其基礎(chǔ)上進(jìn)行改進(jìn)，因此所有基于Transformer架構(gòu)的大模型都能在DCFormer的基礎(chǔ)上實(shí)現(xiàn)成本降低，這一特性無疑將進(jìn)一步推動AI技術(shù)的普及和應(yīng)用。
彩云科技在AI領(lǐng)域的創(chuàng)新成果已經(jīng)得到了國際學(xué)術(shù)界的高度認(rèn)可。今年5月，關(guān)于DCFormer架構(gòu)的研究論文在第41屆國際機(jī)器學(xué)習(xí)大會ICML 2024上正式發(fā)表，該會議是國際機(jī)器學(xué)習(xí)領(lǐng)域的頂尖盛會之一。同時(shí)，彩云科技還將DCFormer的模型代碼、權(quán)重和訓(xùn)練數(shù)據(jù)集在Github上全部開源，以供全球開發(fā)者共同研究和進(jìn)步。
彩云科技之所以選擇另辟蹊徑研發(fā)DCFormer架構(gòu)，源于對AI能源消耗問題的深刻認(rèn)識。公司CEO袁行遠(yuǎn)在接受采訪時(shí)表示，改善模型底層架構(gòu)以提高效率是應(yīng)對AI能源挑戰(zhàn)的最佳策略。通過提升模型效率，不僅可以降低人工智能升級迭代的成本，還能加速AI時(shí)代的到來。
盡管DCFormer架構(gòu)在技術(shù)上取得了顯著突破，但彩云科技在商業(yè)化方面仍保持著謹(jǐn)慎態(tài)度。目前，公司旗下已有三款面向C端用戶的AI產(chǎn)品在全球市場取得了不俗的業(yè)績，實(shí)現(xiàn)了超過1000萬美元的年度經(jīng)常性收入。而最新一輪的融資更是由快手前CEO宿華個(gè)人投資，投前估值高達(dá)1.2億美元。
據(jù)悉，彩云科技對DCFormer架構(gòu)的研究及應(yīng)用開發(fā)將主要服務(wù)于自身業(yè)務(wù)。未來，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，我們有理由期待彩云科技在AI領(lǐng)域創(chuàng)造更多的奇跡。
