1度電可實(shí)現(xiàn)多少次AI推理計(jì)算?寧暢的答案是:上百萬(wàn)次!
11月4日,2022云棲大會(huì)上,寧暢公司首席技術(shù)官趙雷介紹,依托“全系統(tǒng)定制液冷服務(wù)器方案”,寧暢可讓1度電能實(shí)現(xiàn)上百萬(wàn)次的AI模型推理計(jì)算,讓高能耗AI產(chǎn)業(yè)順應(yīng)“低碳”政策要求。
伴隨AI產(chǎn)業(yè)高速發(fā)展,數(shù)據(jù)中心建設(shè)迎來(lái)熱潮,但對(duì)更高算力的需求,也給數(shù)據(jù)中心行業(yè)帶來(lái)能耗難題,伴隨多項(xiàng)政策出臺(tái),降低PUE(數(shù)據(jù)中心能源效率指標(biāo))成為IT企業(yè)追求目標(biāo)。
2022云棲大會(huì)上,寧暢首席技術(shù)官趙雷在遠(yuǎn)程分享《場(chǎng)景化綠色算力發(fā)展與實(shí)踐》報(bào)告時(shí)表示,寧暢“全系統(tǒng)定制液冷方案”不僅可讓數(shù)據(jù)中心PUE值降低至1.2以下,還可滿足服務(wù)器單芯片500W功耗的散熱,讓單機(jī)柜功率得到提升并節(jié)省部署空間80%,噪音低于50分貝。
2022云棲大會(huì)寧暢報(bào)告現(xiàn)場(chǎng)
“通過(guò)總負(fù)載10MW的數(shù)據(jù)機(jī)房來(lái)看,采用寧暢液冷方案,相比傳統(tǒng)風(fēng)冷模式,其年均節(jié)省電費(fèi)可高達(dá)1580萬(wàn)元,節(jié)省的電能,每1度都可進(jìn)行數(shù)百萬(wàn)次AI推理計(jì)算。”
趙雷介紹基于MLPerf-training2.0、MLPerf-inference2.1人工智能測(cè)試標(biāo)準(zhǔn),寧暢新款液冷服務(wù)器,僅1度電就可實(shí)現(xiàn)16870314次目標(biāo)識(shí)別分類、435343次重量級(jí)目標(biāo)分析,能效比位列行業(yè)頭部。
2022年9月,在國(guó)際權(quán)威AI性能基準(zhǔn)測(cè)試平臺(tái)MLPerf的最新推理(Inference 2.1)結(jié)果中,寧暢兩款液冷服務(wù)器共獲得13項(xiàng)的第一成績(jī),該成績(jī)背后是每秒可完成679915個(gè)樣本處理的世界頂級(jí)性能。
另?yè)?jù)IDC最新發(fā)布的《2022上年度(H2)中國(guó)加速計(jì)算服務(wù)器市場(chǎng)分析報(bào)告》顯示,寧暢(Nettrix)已位列中國(guó)區(qū)加速服務(wù)器市場(chǎng)第二名。
如今,寧暢作為智能算力定制專家,已承接定制化服務(wù)器項(xiàng)目近千個(gè),其中液冷方案眾多。
