一直以來,在新冠疫情防控方面我國都是當之無愧的“學霸”。借助大數據和AI,在海量的人群流動數據中尋找密切接觸者非常高效,但對算力也提出了更高要求。由于計算量巨大,系統平臺完整查詢到密切接觸人群軌跡需要10~30分鐘,若換算成一臺普通計算機則需要一年之久。2021年7月新一輪疫情襲湘,湖南省將流調任務交給了長沙超算中心,通過強大的HPC把時間縮短至驚人的1.4秒,為疫情防控工作贏得了大量寶貴的時間。
在金融領域,通過大數據、人工智能與超算相結合,對各種維度的數據進行分析,用深度學習技術訓練出模型,應用在風險控制上,能夠讓壞賬率降低35%。由于訓練模型需要持續迭代和優化,背后提供支撐的是一套融合了大數據與人工智能的超算平臺。
這些新興應用,都是大數據、人工智能與超級計算機結合的場景,而現如今,隨著AI的飛速發展,此類場景會越來越多。也正是基于此,我們看到超級計算機開始從“高精尖”走向了大眾化市場。
廣義上的超級計算機(HPC),是將大量的處理器集中在一起,計算龐大的數據,它的運算速度比常規服務器快成千上萬倍。從上個世紀70年代開始,超級計算機這種并行化的處理方式影響了諸如天氣預報、生命科學、航天、地理、農業等行業,也成為了國家科技實力的象征。
但早期的超級計算機價格昂貴且對技術、運維要求很高,所以僅出現在國家級超級計算中心或高校科研領域。上個世紀90年代末,隨著半導體技術的飛速發展,x86架構服務器成本驟降,也讓超級計算機進入普通行業成為了可能。
如何敲掉HPC應用的門檻?
但新的問題隨之而來,那就是易用性!近日,筆者“采訪”了一些IT企業的朋友,他們大部分都表示:HPC價格昂貴,且使用門檻較高,不少行業雖然已經有使用 HPC 的場景出現,但因為一些顧慮還沒有開始使用。傳統意義上的超級計算機,大都服務于科研領域,所運行的程序相對比較統一化,所以很少出現易用性問題。但現在已經進入了人工智能時代,企業需要在超算上跑的應用更加復雜,甚至還需要提供對應的軟件框架,比如 TensorFlow。有些業務需求則希望用云原生的方式來部署和運行。這對以Slurm調度器為主的超算中心帶來了新挑戰。
針對用戶的這些需求,青云QingCloud(股票代碼:688316)正式推出了EHPC高性能計算平臺,基于尖端超算算力,結合公有云架構,提供了彈性伸縮、按需計費的高性價比方案。據青云科技云平臺&服務部高級總監陳海泉介紹,青云傾力打造的EHPC高性能計算平臺,實現了高性能計算與云平臺的完美結合,并全面地支持各種新的業務場景。以最常見的仿真和建模業務為例,青云提供了低延時、高帶寬的InfiniBand網絡,高速并行文件存儲以及CPU/GPU的算力組合,不僅能支持大規模求解運算,還能提供GPU桌面進行圖形前后處理,完成一個閉環的業務場景。如果用戶有大數據相關業務,那么部署到傳統超算中心上將帶來很大的難度,因為數據移動既耗時又耗力。針對這方面需求,EHPC高性能計算平臺給出的方案是:提供高達245PB的對象存儲容量,并與計算節點相結合,讓用戶直接應用于大規模的數據處理和分析。計算節點到對象存儲的網絡帶寬也達到了1.6T,能夠保證大數據計算的超高性能。在人工智能訓練應用方面,青云提供算力達850PFlops的A100 GPU資源池和全閃存并行文件存儲,更重要的是可以結合容器平臺,為用戶提供性能高度優化、輕量便捷、開放的人工智能平臺。在虛擬化技術的加持下,EHPC可以快速為不同業務構建其所需的運行環境,隨時可以切換軟件平臺,充分利用超算中心的硬件資源滿足各種業務場景的需求。
三種HPC節點類型,實現多種組合
青云EHPC計算節點分為三種類型:第一是傳統的CPU計算。主要面向科學計算和密集計算應用。第二是GPU計算。目前整個HPC全行業的軟件都在向GPU方向轉移,因為它能提供更高效的數據計算服務。第三是裸金屬計算。裸金屬計算匹配傳統的HPC服務,即物理節點,支持物理服務器,并可以兼容青云平臺上其他計算節點。所有計算節點都可以按照隊列進行自由分配組合,易用性更強。同時,計算節點也具備彈性伸縮特點。在業務運行高峰期,青云可以將計算節點的數量進行擴容,或將計算節點的配置提高。在低峰期,負載較低的時候,還可以縮容。這樣可以大大減少資源投入的費用,提高資源利用效率。此外,用戶使用完畢后“關機”,青云EHPC將不再計費,非常人性化。
QingCloud EHPC:
兩類集群,滿足不同需求
云化之后EHPC將面臨來自各個行業的海量用戶,那么,如果用戶有個性化特殊需求怎么辦?青云為此準備了兩種不同類型的超算集群,即:共享型集群和獨享型集群。顧名思義,共享型超算集群更類似于傳統超算,用戶可以享受獨立的登錄節點,所呈現出的資源也是比較基礎化的,所以用戶自己軟件的安裝、執行、操作還是在自己的節點上,并與其他用戶相互隔離。獨享型EHPC集群則是賦予用戶一個root賬號,自由度非常高。用戶可以自己安裝需要的系統軟件,或者直接使用超算平臺中的化學工程、生物醫藥、大氣海洋等行業軟件。EHPC集群的節點是用戶獨享,使用時不需要排隊,可以自己合理安排使用時間。就像云平臺一樣,用戶可以自由搭配EHPC集群的計算、存儲和網絡類型。比如GPU/CPU,網絡選擇以太網或InfiniBand網,存儲可選對象存儲、NAS、并行文件存儲等等,用戶都可以自由選擇適合自己特定業務的場景。
打造真正一站式HPC
既然HPC已經實現了云化,那么就讓它更加“徹底”一點吧。青云為EHPC集成了300+行業軟件,提供一站式的使用體驗。以工業仿真場景為例。求解集群能夠提供彈性的算力,可以很快地完成求解運算。另外,QingCloud EHPC還進一步提供了桌面虛擬應用,讓用戶能夠在平臺上直接完成圖形的前后端處理,覆蓋了使用工業仿真軟件的整個流程。再舉個例子,影視動畫制作過程中,設計師需要在自己的工作站上設計、建模,然后再將設定好的模型放到服務器上通過海量計算做渲染,渲染后的結果再讀取到工作站上做修改。在這期間數據傳輸及各種專業軟件間的切換將占據很多時間。如果有像EHPC這樣的平臺就會簡單很多,設計師僅需在平臺端通過桌面虛擬化進行操作即可,免去了工作站與服務器端的各種復雜操作,讓效率成倍提升。這,就是一站式解決方案的魅力!
5分鐘構建起自己的超級計算機
在發布會上,青云也展示了EHPC的創建過程,與我們常見的云平臺資源申請類似,通過新建網絡后,選擇需要的節點、存儲、共享軟件倉庫等,即可創建超級計算集群,然后對登錄節點、管控節點、計算節點進行配置,就可以使用了。整個過程僅需5分鐘而已,極大降低了用戶使用超級計算資源的門檻。
據青云QingCloud EHPC產品經理苗慧介紹,EHPC提供了快捷、彈性、安全及互通的公有云高性能計算服務,主要有四大優勢:1、彈性伸縮,按需配置。用戶在使用過程中,根據作業運行高峰、業務量隨時進行擴展和縮容,也能夠為用戶降低使用成本。2、無需運維。這也是青云公有云的傳統強項。傳統超算中心,用戶需要搭建服務器、網絡并配置虛擬化,而青云則將云服務完美移植到EHPC平臺上。EHPC平臺有專業的運維和安全工程師進行機房巡檢,保障高可用的配置。用戶即來即走,無需擔心運維。3、資源租賃,性價比高。無論是Intel還是 AMD,他們的處理器每年都會有升級,而用戶也會面臨服務器貶值及升級的困惑。青云會持續提供行業內最新計算資源,所以通過資源租賃的方式可以有效地提高用戶資源利用效率,隨時享受最新技術。4、租戶隔離,安全可靠。對于涉密行業,對于用戶項目組的機密資料,青云整體的云計算架構采用二級網絡隔離。第一級是私有網絡,用戶所有的節點全部在內網訪問,不再跟外網進行溝通。第二級是通過VPC網絡,用戶僅僅能通過登錄節點進行外網訪問,登錄節點同時支持端口轉發,讓連接方式動態化,更加安全。
盤活海量計算資源
作為一家云服務商,青云真的會去建設大量的超級計算中心嗎?在資源構建方面,青云又實現了一個創新,就是通過云來連接各大超算中心的計算資源,包括國家級超算中心等。據陳海泉介紹,除青云自己的計算資源之外,一些超算中心已經和青云展開合作,通過云化的形式來出租計算資源,一方面可以明顯創收,另一方面則能夠進一步盤活計算資源,減少空置率。
總的來看,在HPC云化方面,青云此次可謂是精心策劃,通過公有云平臺優勢將高性能計算資源納入進來,既解決了使用門檻問題,又將易用性大幅提升,讓企業級用戶真正實現超算的應用。此外,以建設資源共享的算力網絡作為目標,連接更多供需企業,將成為青云新的里程碑。
