去年底，2021中國高性能計算機（HPC）性能TOP100榜單正式發(fā)布，除了“誰是最快超算機器的比拼”以外，超算商業(yè)化也成了這次榜單發(fā)布引發(fā)的一個熱門話題。這已是該榜單的第20次發(fā)布。在人們印象中“高高在上”的超算，如今真的已經(jīng)“飛入尋常百姓家”，成為各行各業(yè)迫切需要的算力“超級大腦”。
超算市場正在進一步細分，尖端超算、通用超算、行業(yè)超算的劃分能夠更有針對性地滿足不同行業(yè)、不同細分應用市場的算力需求。除了人們熟知的國家超算中心以外，由各地政府扶持、各種社會資本參與加持的超算中心也如雨后春筍般不斷涌現(xiàn)出來。同時，隨著云服務的快速普及，“超算云”也成了新的提供超級算力的途徑和方式。
就在超算商業(yè)化這一話題還在持續(xù)發(fā)酵之中，青云QingCloudEHPC以更加簡單、快捷的方式獲取云上超算服務“從理想照進了現(xiàn)實”。
算力爆發(fā)的時代
實際上，能否通過云服務的方式提供超算算力，也曾經(jīng)引發(fā)過爭論。另外，大型超算中心在完成重大科研項目攻關任務的同時，也希望將更多閑置算力提供給商業(yè)用途，以充分發(fā)揮超算算力的價值，但究竟哪種途徑、方式或商業(yè)模式更適合，也一直在摸索之中。但說到底，將超算算力提供給千行百業(yè)，從而賦能千行百業(yè)的數(shù)字化轉型已成為當今最迫切的需求。
超算走下神壇，是大勢所趨?，F(xiàn)在看來，超算云是一種比較適合的釋放超算算力價值的渠道。
高性能計算誕生之初，其目的是用大量服務器并行地對某一個任務執(zhí)行運算，以解決工程和科學上的問題。雖然其用途很多，但最核心的還是用來模擬世界萬物。人們熟知的通過對衛(wèi)星圖像、遙感數(shù)據(jù)、氣象數(shù)據(jù)的計算和分析來模擬地球、海洋和氣侯，或者進行基因測序、藥物研發(fā)。這些都曾經(jīng)是高性能計算的主戰(zhàn)場。
但是上述這些應用場景畢竟與普通人的生活距離較遠，這也在某種程度上造成了高性能計算“曲高和寡”的感覺。隨著技術的成熟、應用場景的拓展，高性能計算覆蓋的范圍也在不斷擴大。比如，讓人心跳加速的F1賽車運動，紅牛車隊在賽前會根據(jù)下一場比賽賽道的特定環(huán)境做一個模擬，包括使用虛擬風洞來優(yōu)化空氣動力學,或模擬電源散熱系統(tǒng)，讓賽車能發(fā)揮其最大功率，還可以模擬碰撞，從而優(yōu)化車身結構。利用超算平臺的算力，紅牛車隊這種針對性的模擬和優(yōu)化能夠在7天內完成，從而保證在每一場比賽中，其賽車手都能擁有最大優(yōu)勢。
不僅如此，現(xiàn)在金融行業(yè)的防欺詐，甚至零售行業(yè)為客戶行為畫像等，都可能會用到超算。以更經(jīng)濟實惠的價格，以便捷快速的方式，為各行各業(yè)提供超算算力成了各計算廠商努力的目標，這其中云服務商也是一股不容忽視的力量。
開拓新業(yè)務場景
不可否認，云計算的快速普及，為超算進入千行百業(yè)打開了新的大門。那么，云服務商究竟應該從哪里入手呢？
青云QingCloud云平臺&服務部高級總監(jiān)陳海泉指出，青云在高性能計算領域重點關注的新場景有兩個：一是高性能計算業(yè)務與大數(shù)據(jù)、人工智能的融合；二是高性能計算平臺與云計算的融合。
先來看大數(shù)據(jù)與人工智能對高性能計算的需求。首先，高性能計算與尖端科研是密不可分的。其次，大數(shù)據(jù)驅動著存儲與算力的深度融合。以前，建超算中心普遍以算力為主導，存儲瓶頸日益突出。隨著數(shù)據(jù)量和來源越來越多，數(shù)據(jù)類型越來越復雜，海量的數(shù)據(jù)需要更高效的處理和分析。這一改變驅動著數(shù)據(jù)中心和算力中心相互融合。最后，人工智能應用的爆發(fā)刺激了對算力的需求。無論是模型訓練還是推理計算，都需要足夠的算力支撐，這必然用到大量GPU節(jié)點。國際人工智能算力性能排行榜——AIPerf500從2020年開始已連續(xù)兩年公布。今年的AIPerf500與2021中國HPC TOP100榜單同時公布，顯示了人們對人工智能算力的關注程度。舉例來說，在金融領域，大數(shù)據(jù)、人工智能與超算的結合更加緊密，通過對各種層面和維度的數(shù)據(jù)進行分析，借助深度學習技術訓練出模型，應用于風控，可將壞賬率降低35%。
大數(shù)據(jù)、人工智能與超算的融合是必由之路，但這條道路也并非一帆風順。陳海泉將大數(shù)據(jù)對超算提出的挑戰(zhàn)歸納為兩個方面：第一，存儲容量比以前大得多；第二，不同類型的業(yè)務對存儲的要求不盡相同。因此，超算中心需要對不同的業(yè)務提供合適的存儲類型。另外，不斷增加的人工智能應用，要求超算中心有充足的GPU資源，并且還要提供對應的軟件框架，比如TensorFlow；而這些應用往往還希望用云原生的方式進行部署和運行，因此對以Slurm調度器為主的超算中心也是一個很大的挑戰(zhàn)。
青云QingCloud EHPC可以全面支持各種新的業(yè)務場景。對于超算最常見的仿真和建模業(yè)務，青云提供了低延時、高帶寬的InfiniBand網(wǎng)絡，高速并行文件存儲以及CPU/GPU的算力組合，不僅能支持大規(guī)模求解運算，還能提供GPU桌面進行圖形前后處理，從而完成一個閉環(huán)的業(yè)務場景。對于人工智能訓練業(yè)務，青云提供算力達850PFlops的A100 GPU資源池和全閃并行文件存儲，并且能夠結合容器平臺，提供性能極致優(yōu)化、輕量便捷、開源開放的人工智能平臺。
在大數(shù)據(jù)業(yè)務場景下，QingCloud云平臺提供的對象存儲容量達245PB，與計算節(jié)點結合，可以用于大規(guī)模的數(shù)據(jù)處理和分析。計算節(jié)點到對象存儲的網(wǎng)絡帶寬有1.6T，能夠確保大數(shù)據(jù)計算的超高性能。有了云平臺的多種存儲服務，用戶就可以按照自己的業(yè)務來選擇合適的存儲類型，包括冷、熱類型的對象存儲，全閃并行文件存儲或者塊存儲等。
另外，有了虛擬化技術的加持，青云可以快速為不同業(yè)務構建所需的運行環(huán)境，并隨時可以切換MPI、TensorFlow或者MapReduce軟件平臺，充分利用超算中心的硬件資源滿足各種業(yè)務場景的需求。
云是加分項和變革因素
傳統(tǒng)超算中心有自己的一套固有模式，對于集中資源完成重大科研攻關項目十分有效。但是要想滿足數(shù)量眾多、需求各異，甚至有些細碎的商業(yè)計算需求，傳統(tǒng)超算中心必須做出必要的改變。
傳統(tǒng)超算中心的一個痛點便是使用方式。傳統(tǒng)超算中心的用戶，在使用之初，需要先提交一個申請，經(jīng)過人工審批，還需要自己安裝VPN客戶端，連接超算中心提供的登錄節(jié)點，才能開始使用超算資源。
但是，超算中心的登錄節(jié)點往往是很多用戶共享的，主要存在兩個問題：一是超算中心為了保證自身安全，不提供Root權限，這給安裝軟件帶來了一些麻煩；二是Linux系統(tǒng)每隔一段時間就可能暴露出一些系統(tǒng)漏洞，如果被別有用心的人利用并得到Root權限，就可以竊取平臺上其他用戶的數(shù)據(jù)。“不方便和不安全這兩個問題，需要用云平臺與高性能計算相結合來解決。”陳海泉表示，青云QingCloud EHPC可以有效消除傳統(tǒng)超算中心的使用及運營痛點。青云云平臺帶來的一個最大的改變是，將傳統(tǒng)的審批制度變成用戶自服務的形式，用戶隨時可以在云平臺上注冊賬號，充值購買所需要的計算資源。
QingCloud EHPC可以提供超算的自服務，是因為用云計算技術保證了平臺的安全，主要表現(xiàn)在以下三個方面：第一，計算、網(wǎng)絡與存儲的租戶在物理和邏輯上實現(xiàn)了強隔離；第二，青云云平臺的管理節(jié)點與計算節(jié)點分離，租戶可以使用完全獨享的登錄節(jié)點；第三，除了傳統(tǒng)的VPN接入，青云還提供零信任客戶端，讓用戶登錄到超算中心的時候更便捷和安全。
在確保安全的前提下，QingCloud EHPC的使用也更加靈活，提供了兩種不同類型的超算集群：偏傳統(tǒng)的共享型超算集群，以及一種新的獨享EHPC集群。另外，QingCloud EHPC還集成了工業(yè)仿真軟件，能提供一站式的使用體驗。
總結來說，QingCloud EHPC可以完美地支持大數(shù)據(jù)和人工智能融合的超算業(yè)務，并且以云服務的方式提供，讓超算資源可以更加便捷地交付給用戶。未來，青云希望促成更多的超算中心加入分布式云節(jié)點，共建一個資源共享的算力網(wǎng)絡。
