【ITBEAR科技資訊】9月21日消息，今日上午，鵬城實驗室主任、中國工程院院士高文在2023華為全聯(lián)接大會上宣布了一項重大突破，發(fā)布了名為“鵬城?腦海”(PengCheng Mind)的通用AI大模型。這一創(chuàng)新的技術(shù)成果標(biāo)志著中國在人工智能領(lǐng)域的不斷發(fā)展和領(lǐng)先地位。
根據(jù)高文主任的介紹，這個“鵬城?腦海”通用AI大模型擁有2000億參數(shù)，采用了稠密型架構(gòu)，并借助國產(chǎn)化AI算力平臺“鵬城云腦 II”進行全程預(yù)訓(xùn)練。值得一提的是，該模型使用了國產(chǎn)深度學(xué)習(xí)框架MindSpore，同時在大規(guī)模并行訓(xùn)練策略、底層算子性能和容錯機制方面進行了全面的優(yōu)化，從而顯著提高了國產(chǎn)算力平臺的訓(xùn)練效率。此外，模型還構(gòu)建了一個包含中文、英文以及“一帶一路”沿線50多個國家和地區(qū)語種的多樣化語料數(shù)據(jù)集和數(shù)據(jù)質(zhì)量評估工具集。
據(jù)ITBEAR科技資訊了解，這次發(fā)布的“鵬城?腦海”基礎(chǔ)版以中文為核心，計劃在OpenI啟智社區(qū)向全社會開源，為更廣泛的合作和應(yīng)用提供了可能。
高文主任強調(diào)，鵬城實驗室正在積極研發(fā)“中國算力網(wǎng)”(China Computing Network，C2Net)全國一體化算力協(xié)同計算調(diào)度平臺，該平臺以深圳為總調(diào)度中心，已經(jīng)匯聚了全國協(xié)同算力資源，規(guī)模達到了3E。未來，“鵬城?腦海”大模型將與“中國算力網(wǎng)”協(xié)同合作，實現(xiàn)“算力網(wǎng)算力調(diào)度 + 模型賦能”的方式，共同推動國產(chǎn)化AI大模型的不斷演進和廣泛應(yīng)用，最終打造一個基于“中國算力網(wǎng)”的各領(lǐng)域AI大模型及應(yīng)用生態(tài)的數(shù)字化基礎(chǔ)。
與此同時，鵬城實驗室將主導(dǎo)成立“鵬城?腦海”開源聯(lián)合體，與企業(yè)、高校和科研院所廣泛合作，通過全新的開源群智合作模式，提供涵蓋壓縮、部署、微調(diào)和價值對齊等環(huán)節(jié)的模型工具，并強化大模型的開源管理與資源共享。這一舉措將促進科研成果的更廣泛傳播和應(yīng)用，加速中國在人工智能領(lǐng)域的發(fā)展步伐。
