借助高性能計(jì)算推動(dòng)前沿技術(shù)在行業(yè)場(chǎng)景中的創(chuàng)新應(yīng)用，模擬世界萬物的未來發(fā)展趨勢(shì)，已成為各大企業(yè)和科研機(jī)構(gòu)的共識(shí)方向。“科學(xué)家通過分析過去20年的全球衛(wèi)星圖像，能夠獲得每年森林的流失情況。為了得到這個(gè)數(shù)據(jù)，科學(xué)家使用Google Earth Engine超算平臺(tái)，動(dòng)用了1萬臺(tái)服務(wù)器，分析了 65萬張遙感影像。而借助超算的算力，整個(gè)計(jì)算時(shí)間只要4個(gè)小時(shí)。”青云QingCloud（qingcloud.com，股票代碼：688316）云平臺(tái)&服務(wù)部高級(jí)總監(jiān)陳海泉表示。可以說，從氣象衛(wèi)星、地質(zhì)勘探到基因診斷、藥物研發(fā)，高性能計(jì)算的應(yīng)用場(chǎng)景幾乎可以滲透到科學(xué)研究的各個(gè)領(lǐng)域，在各行各業(yè)幫助企業(yè)降本、增效、提質(zhì)的案例更是比比皆是。
其背后的一個(gè)重要趨勢(shì)是，高性能計(jì)算與云計(jì)算、大數(shù)據(jù)、AI的結(jié)合正在愈發(fā)緊密。例如在F1賽場(chǎng)上，紅牛車隊(duì)在比賽前會(huì)根據(jù)下一場(chǎng)比賽賽道的特定環(huán)境進(jìn)行模擬，包括使用虛擬風(fēng)洞優(yōu)化空氣動(dòng)力學(xué)；模擬電源散熱系統(tǒng)，讓賽車能發(fā)揮最大功率；模擬碰撞優(yōu)化車身結(jié)構(gòu)，讓賽車可以符合比賽的安全法規(guī)……基于超算平臺(tái)的算力，紅牛車隊(duì)能夠在七天內(nèi)完成針對(duì)性的模擬和優(yōu)化，以確保賽場(chǎng)中的優(yōu)勢(shì)。同樣的例子還發(fā)生在能源行業(yè)，工程師會(huì)使用地震波反射法建模來模擬油藏，每次測(cè)量會(huì)產(chǎn)生PB級(jí)的數(shù)據(jù)，再進(jìn)行密集計(jì)算和模擬，就能算出最優(yōu)的鉆井位置，提高石油勘探效率。
這些應(yīng)用與數(shù)據(jù)的價(jià)值密不可分。在陳海泉看來，大數(shù)據(jù)與AI的融合體現(xiàn)在三個(gè)方面，首先，高性能計(jì)算與尖端科研聯(lián)系緊密，科研的進(jìn)步離不開對(duì)更大規(guī)模數(shù)據(jù)的計(jì)算，以及計(jì)算精度的提升；其次，大數(shù)據(jù)驅(qū)動(dòng)存儲(chǔ)與算力融合，不用類型的數(shù)據(jù)需要被處理和分析，數(shù)據(jù)規(guī)模和數(shù)據(jù)類型對(duì)算力提出了更高的要求；此外，AI應(yīng)用開始爆發(fā)，例如在深度學(xué)習(xí)過程中，要先對(duì)大量數(shù)據(jù)進(jìn)行計(jì)算得到訓(xùn)練模型，再根據(jù)模型結(jié)合新的數(shù)據(jù)做推理計(jì)算，通過圖像識(shí)別、NLP等手段解決實(shí)際問題。其中，訓(xùn)練階段需要進(jìn)行大量的浮點(diǎn)運(yùn)算，需要使用很多GPU節(jié)點(diǎn)。
對(duì)大數(shù)據(jù)的有效使用讓人們受益匪淺。在醫(yī)藥領(lǐng)域，新冠疫情加速了大數(shù)據(jù)在醫(yī)藥和生命科學(xué)上的應(yīng)用，促進(jìn)了核酸疫苗和核酸藥物的研發(fā)。武漢的研究員通過大數(shù)據(jù)的獲取，在新冠病毒出現(xiàn)一周后就完成了整個(gè)RNA基因序列的測(cè)量，并且在國(guó)際上進(jìn)行了公布。在金融領(lǐng)域，對(duì)各種層面和維度的數(shù)據(jù)進(jìn)行分析，通過深度學(xué)習(xí)訓(xùn)練出模型應(yīng)用在風(fēng)控上可以讓壞賬率降低35%。
不過，青云在大數(shù)據(jù)、AI與高性能計(jì)算的融合場(chǎng)景中，也觀察到了一些挑戰(zhàn)：數(shù)據(jù)存儲(chǔ)所需的容量增長(zhǎng)非常快，不同類型的業(yè)務(wù)對(duì)存儲(chǔ)的要求存在差異。用戶總是希望有無限的容量、更高的性能、更低的價(jià)格，但廠商經(jīng)常要對(duì)這些相互平衡。因此，青云提供的超算平臺(tái)QingCloud EHPC（青云彈性高性能計(jì)算）希望在不同業(yè)務(wù)場(chǎng)景中滿足客戶的相應(yīng)所需。
QingCloud EHPC服務(wù)架構(gòu)
對(duì)于仿真和建模業(yè)務(wù)，青云提供了低延時(shí)、高帶寬的InfiniBand網(wǎng)絡(luò)，高速并行文件存儲(chǔ)和CPU/GPU的算力組合，可以支持大規(guī)模求解運(yùn)算，提供GPU桌面進(jìn)行圖形前后處理，完成閉環(huán)的業(yè)務(wù)場(chǎng)景；對(duì)于大數(shù)據(jù)業(yè)務(wù)，QingCloud云平臺(tái)提供的對(duì)象存儲(chǔ)容量達(dá)到245PB，與計(jì)算節(jié)點(diǎn)結(jié)合可用于大規(guī)模的數(shù)據(jù)處理和分析。計(jì)算節(jié)點(diǎn)到對(duì)象存儲(chǔ)的網(wǎng)絡(luò)帶寬能達(dá)到1.6T，保證來了大數(shù)據(jù)計(jì)算的高性能；對(duì)于人工智能訓(xùn)練業(yè)務(wù)，青云提供了算力達(dá)到850PFlops的A100 GPU資源池和全閃并行文件存儲(chǔ)，能夠結(jié)合容器平臺(tái)提供性能極致優(yōu)化、輕量便捷、開源開放的人工智能平臺(tái)。
“有了云平臺(tái)的多種存儲(chǔ)服務(wù)，用戶可以按照自己的業(yè)務(wù)需求選擇合適的存儲(chǔ)類型，包括冷熱類型的對(duì)象存儲(chǔ)、全閃并行文件存儲(chǔ)或塊存儲(chǔ)等等。”陳海泉說，“有了虛擬化技術(shù)的加持，青云可以快速為不同業(yè)務(wù)構(gòu)建其所需的運(yùn)行環(huán)境，隨時(shí)可以切換 MPI、TensorFlow或MapReduce軟件平臺(tái)，充分利用超算中心的硬件資源滿足各種業(yè)務(wù)場(chǎng)景的需求。”
青云在云平臺(tái)上確保了安全性和可靠性，不僅將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的租戶相互隔離，還把管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)分離，租戶可以使用完全獨(dú)享的登錄節(jié)點(diǎn)，而不是像之前那樣共享，并且除了傳統(tǒng)的VPN接入，青云還提供了零信任客戶端。產(chǎn)品形態(tài)和規(guī)格方面，QingCloud EHPC提供兩種服務(wù)模式，即HPC共享集群模式和EHPC服務(wù)模式。
在HPC共享集群模式中，用戶將作業(yè)提到共享隊(duì)列中，平臺(tái)提供400節(jié)點(diǎn)的共享隊(duì)列，資源量大，免排隊(duì)，內(nèi)置作業(yè)調(diào)度系統(tǒng)，通過登錄節(jié)點(diǎn)提交作業(yè)到共享隊(duì)列，根據(jù)作業(yè)實(shí)際使用的核心數(shù)和時(shí)長(zhǎng)進(jìn)行計(jì)費(fèi)。在EHPC專屬集群模式中，用戶可以自己創(chuàng)建、刪除、修改集群，集群的管理者是租戶，擁有最高權(quán)限，可以自行安裝軟件，并且一個(gè)用戶可根據(jù)需要?jiǎng)?chuàng)建多個(gè)集群，EHPC節(jié)點(diǎn)還支持?jǐn)U容、縮容，具有較高的彈性及可擴(kuò)展性。除此之外，青云提供一站式的使用體驗(yàn)，比如工業(yè)仿真場(chǎng)景：一是其求解集群能夠提供彈性的算力，可以快速完成求解運(yùn)算。二是青云能提供桌面虛擬應(yīng)用，幫助用戶完成圖形的前后處理。
QingCloud EHPC的兩種服務(wù)模式
為了解決超算在使用時(shí)的資源分配不均問題，青云希望和更多超算中心共建算力共享的算力網(wǎng)絡(luò)。陳海泉認(rèn)為，QingCloud EHPC平臺(tái)不僅可以幫助超算中心私有化部署超算云平臺(tái)運(yùn)營(yíng)自己的業(yè)務(wù)，還可以連接全網(wǎng)算力提供外部資源支撐突發(fā)業(yè)務(wù)，避免排隊(duì)。當(dāng)超算中心的資源空置時(shí)，也可以對(duì)外出售算力增加運(yùn)營(yíng)收入。青云會(huì)為超算中心提供建設(shè)和運(yùn)營(yíng)的能力，其交付的濟(jì)南超算中心就是一次成功實(shí)踐，例如網(wǎng)絡(luò)架構(gòu)是為高性能計(jì)算專用的，交換機(jī)、服務(wù)器均為高可用，集群內(nèi)兩個(gè)控制節(jié)點(diǎn)中的一個(gè)出現(xiàn)問題時(shí)，另一個(gè)馬上會(huì)啟動(dòng)。同時(shí)，青云還能拉通行業(yè)場(chǎng)景和算力供應(yīng)方的需求橋梁。
QingCloud EHPC基于青云云基礎(chǔ)設(shè)施，為用戶提供了部署在公有云、專屬云、混合云上的多種產(chǎn)品形態(tài)，面向科研機(jī)構(gòu)、高校教育、工業(yè)生產(chǎn)、行業(yè)計(jì)算等用戶提供彈性靈活、快捷高效、安全可靠的超算服務(wù)，應(yīng)對(duì)生命科學(xué)、CAE仿真、海洋氣象、影視渲染、石油勘探、深度學(xué)習(xí)、測(cè)繪地理等應(yīng)用場(chǎng)景的高性能計(jì)算需求。通過統(tǒng)一管理的平臺(tái)，使得青云工程師、研究人員可以突破本地的HPC基礎(chǔ)設(shè)施限制，快速開始云上創(chuàng)新。
QingCloud EHPC集群系統(tǒng)構(gòu)成示意圖
青云QingCloud EHPC產(chǎn)品經(jīng)理苗慧介紹稱，QingCloud EHPC提供了云上超算SaaS化服務(wù)，可以方便快捷的讓作業(yè)運(yùn)行起來。通過青云的彈性公網(wǎng)IP、公網(wǎng)帶寬，將數(shù)據(jù)進(jìn)行快速上傳、下載，與本地?cái)?shù)據(jù)同步。QingCloud EHPC會(huì)覆蓋青云的終端用戶，是一個(gè)從云上計(jì)算到云下結(jié)果產(chǎn)出的全流程計(jì)算服務(wù)平臺(tái)，用戶可以在幾分鐘內(nèi)將云上工作快速運(yùn)行起來，快速完成計(jì)算作業(yè)。
QingCloud EHPC的服務(wù)架構(gòu)主要分為三層，分別是資源層、管理層和用戶端。其中，資源層主要包含青云的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，以及相應(yīng)的后臺(tái)調(diào)度器、調(diào)度管理平臺(tái)以及可視化服務(wù)平臺(tái)；管理層主要提供SaaS化的服務(wù)，從開始作業(yè)到作業(yè)運(yùn)行結(jié)束，系統(tǒng)會(huì)自動(dòng)進(jìn)行折扣信息計(jì)算、計(jì)量計(jì)費(fèi)和作業(yè)監(jiān)控服務(wù)，能夠保證用戶進(jìn)來之后，對(duì)團(tuán)隊(duì)項(xiàng)目、團(tuán)隊(duì)項(xiàng)目權(quán)限等信息做相應(yīng)的管理；用戶端即用戶控制臺(tái)，用戶可以很方便的進(jìn)行創(chuàng)建集群、管理集群、彈性伸縮、作業(yè)提交、作業(yè)編排、作業(yè)性能分析等操作。
在用戶構(gòu)建集群的過程中，EHPC集群分為四個(gè)節(jié)點(diǎn)：登錄節(jié)點(diǎn)、管控節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)和GPU可視化節(jié)點(diǎn)，這四個(gè)節(jié)點(diǎn)均配置了青云的共享文件存儲(chǔ)和共享軟件倉庫。其中，登錄節(jié)點(diǎn)用于進(jìn)行公網(wǎng)訪問，通過登錄節(jié)點(diǎn)訪問外網(wǎng)時(shí)，內(nèi)部數(shù)據(jù)和外網(wǎng)安全隔離，可以綁定公網(wǎng)IP，支持webssh連接。管控節(jié)點(diǎn)用于做調(diào)度分配，安裝了青云所有的調(diào)度器管理端，例如Slurm調(diào)度器管理端、PBS調(diào)度器管理端等等，可以將作業(yè)合理分配到多個(gè)計(jì)算節(jié)點(diǎn)和計(jì)算隊(duì)列中。
計(jì)算節(jié)點(diǎn)展示了青云的集群運(yùn)行性能，即計(jì)算節(jié)點(diǎn)的數(shù)量、配置等，體現(xiàn)了一個(gè)集群能夠大規(guī)模并行運(yùn)行的核心數(shù)和作業(yè)數(shù)。在計(jì)算節(jié)點(diǎn)上，青云提供了三種類型的支持，一是CPU計(jì)算，科學(xué)計(jì)算和密集計(jì)算均可使用，二是GPU計(jì)算，擁有更高效的數(shù)據(jù)計(jì)算服務(wù)，三是裸金屬計(jì)算，匹配傳統(tǒng)HPC服務(wù)，支持物理服務(wù)器。這些計(jì)算節(jié)點(diǎn)可以按照隊(duì)列分配，支持彈性伸縮。
GPU可視化節(jié)點(diǎn)可以在專業(yè)應(yīng)用場(chǎng)景中提供更直觀的實(shí)時(shí)數(shù)據(jù)和結(jié)果參考，檢測(cè)作業(yè)是否正常運(yùn)行，是否滿足作業(yè)的預(yù)期結(jié)果，用戶可以通過實(shí)時(shí)查看做出判斷，例如暫停作業(yè)、取消作業(yè)、調(diào)整參數(shù)、重新運(yùn)行作業(yè)等等。
配置方面，QingCloud EHPC的CPU單核峰值可達(dá)86.4Gflops，GPU節(jié)點(diǎn)選擇了NVIDIA A100 40GB圖形卡，專門用于HPC和深度學(xué)習(xí)。同時(shí)，青云采用了專用的InfiniBand網(wǎng)絡(luò)，使得計(jì)算節(jié)點(diǎn)與節(jié)點(diǎn)之間、計(jì)算節(jié)點(diǎn)與存儲(chǔ)之間都能夠高速通信，并且以Lustre商用版本提供專業(yè)分布式文件存儲(chǔ)。青云將計(jì)算和存儲(chǔ)相結(jié)合，CPU服務(wù)器采用了100Gbps的傳輸效率，GPU服務(wù)器采用了200Gbps的傳輸效率，有效解決了高性能計(jì)算的大數(shù)據(jù)量傳輸?shù)钠款i，提高了傳輸效率。
在HPC軟件上，青云將大規(guī)模開源軟件及已購(gòu)買的商業(yè)軟件放到共享軟件目錄，使得用戶能開箱即用，并且青云也支持MPI庫、數(shù)學(xué)軟件等資源，可以輔助用戶安裝與使用。服務(wù)方面，青云配備了專屬的技術(shù)團(tuán)隊(duì)，并且對(duì)所支持的資源都進(jìn)行了相應(yīng)測(cè)試。青云將物理機(jī)做成EHPC集群節(jié)點(diǎn)，在同樣服務(wù)器配置的情況下，用VASP軟件做了性能測(cè)試。在作業(yè)核心數(shù)150核心作業(yè)以下的情況下，青云的EHPC節(jié)點(diǎn)性能完全能夠達(dá)到物理機(jī)性能，還有高度的伸縮性和可配置性，比物理機(jī)更靈活。在部分情況下，EHPC集群的性能要優(yōu)于物理機(jī)的性能，這是受益于青云在EHPC集群內(nèi)置了算力挖掘程序，針對(duì)部分任務(wù)會(huì)有性能上的優(yōu)化。
應(yīng)用方面，青云提供了300多款軟件，覆蓋分子生物學(xué)、新能源、新材料、大氣海洋環(huán)境、地球、物理、工業(yè)仿真、生命醫(yī)藥、汽車制造、人工智能、高校科研、影視渲染等領(lǐng)域。青云擁有專業(yè)的HPC軟件維護(hù)團(tuán)隊(duì)，支持用戶自定義安裝應(yīng)用軟件，可以做到應(yīng)用無限制，滿足不同人群的計(jì)算需求，節(jié)省大量配置時(shí)間。
苗慧談到，QingCloud EHPC具備四大優(yōu)勢(shì)。一是彈性伸縮，按需配置。用戶在使用過程中可以根據(jù)作業(yè)運(yùn)行高峰、業(yè)務(wù)量隨時(shí)進(jìn)行擴(kuò)展和縮容；二是只需使用，無需運(yùn)維，QingCloud EHPC平臺(tái)有專業(yè)的運(yùn)維工程師、安全工程師進(jìn)行機(jī)房巡檢，負(fù)責(zé)高可用的配置；三是資源租賃，性價(jià)比高，用戶可以在QingCloud EHPC上獲得業(yè)界最新的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源，持續(xù)提升業(yè)務(wù)運(yùn)行效率；四是租戶隔離，安全可靠，對(duì)于涉密行業(yè)和機(jī)密資料，青云的云計(jì)算架構(gòu)采用二級(jí)網(wǎng)絡(luò)隔離，第一級(jí)是私有網(wǎng)絡(luò)，用戶所有的節(jié)點(diǎn)全部在內(nèi)網(wǎng)訪問，不會(huì)與外網(wǎng)溝通，第二級(jí)是VPC網(wǎng)絡(luò)，用戶只能通過登錄節(jié)點(diǎn)進(jìn)行外網(wǎng)訪問，該節(jié)點(diǎn)支持端口轉(zhuǎn)發(fā)，讓外人難以掌握連接方式。
目前，QingCloud EHPC支持的應(yīng)用場(chǎng)景主要面向計(jì)算密集型、數(shù)據(jù)密集型、通信密集型等應(yīng)用需求，售價(jià)分為兩種形式，一種是按作業(yè)計(jì)算，約為0.1元/核時(shí)，另一種是按資源和節(jié)點(diǎn)計(jì)算，由于服務(wù)器沒有設(shè)置超線程，因此核心數(shù)就是物理核心數(shù)，例如用戶買了1核2G的資源，那么這1核就代表一個(gè)物理核。
可以看到，QingCloud EHPC解決了傳統(tǒng)HPC用戶的資源利用率低、投入成本大、運(yùn)維管理重、安全防護(hù)難等痛點(diǎn)，發(fā)揮了云計(jì)算廠商在彈性資源、高性能計(jì)算、高速通信、軟件能力等方面的優(yōu)勢(shì)，為高性能計(jì)算的創(chuàng)新注入了新的動(dòng)力。“青云的超算云平臺(tái)可以完美地支持大數(shù)據(jù)和人工智能融合的超算業(yè)務(wù)，并且能夠以云服務(wù)的方式提供，讓超算資源更便捷地交付給用戶。”陳海泉表示，“未來，青云希望能讓更多的超算中心加入青云的分布式云節(jié)點(diǎn)，共建資源共享的算力網(wǎng)絡(luò)。”
