計算機世界
2021年是開放計算項目(OCP)誕生的10周年。
熟悉IT行業的人都知道,數字經濟的發展離不開云計算、移動互聯網等信息技術帶來的低成本、高資源利用率的優勢,而這背后離不開數據中心集中化、規模化的支撐。但與此同時,IT基礎架構在性能、功耗、部署、管理等方面遇到的挑戰也越來越多,數據中心基礎架構的重構和升級已經迫在眉睫,而開放計算項目就是在這個背景下誕生的。
2009年,Facebook開始致力于打造全世界最節能的數據中心,以盡可能低的成本實現超大規模的計算能力。通過自行設計數據中心IT設備,到2011年,Facebook的數據中心實現了38%的節能效率提升,并降了24%的運營支出。隨后,Facebook聯合多家企業共同發起開放計算項目,希望建立起類似開源軟件生態系統的協作模式,應用于硬件系統開發的全生命周期。
在此后的十年中,越來越多的公司加入到開放計算生態中,他們通過協作、互動、創意、規范和知識產權共享,一起推動綠色高效數據中心的建設,引導IT產業走向集約、高效、綠色、節能的道路。
目前,開放計算項目的社區成員已經擴展到200多家,包括數據中心設備供應商、云服務商、電信運營商、大企業、IDC供應商、系統集成商以及半導體制造商等等。研究領域也從最初的數據中心基礎設施擴展到5G、邊緣計算、人工智能等新興技術和應用。
據IDC預測,開放計算基礎設施的市場規模將在未來5年內保持16.6%的年復合增長率,并在2024年達到338億美元。
企業級存儲面臨挑戰
計算離不開數據,而數據離不開存儲,那么什么樣的存儲架構才符合開放計算的發展趨勢呢?在近日舉行的第三屆開放計算中國社區技術峰會上,西部數據公司副總裁兼中國區業務總經理劉鋼分享了他的觀點。
西部數據公司副總裁兼中國區業務總經理劉鋼
劉鋼指出,當今的企業級存儲架構正面臨四大挑戰:
其一,數據正在快速增長:更多的數據產生源將帶來更多的容量需求;
其二,存儲性能亟待大幅提升:需要更低延時、更高IO性能、更大帶寬;
其三,TCO正在增加:需要更低的每TB成本,更低的維護和管理成本;
其四,要支持更高的綠色能源系統標準:需要實現更低的W/IO和W/TB,更低的PUE。
總結起來,企業數據中心需要的存儲既要有大容量,又能快速訪問,既要降低成本,又要低功耗。
“但是很難有一個存儲介質或存儲設備可以同時滿足這四個方面的需求。”劉鋼強調,所以企業需要創新的數據存儲基礎架構,讓存儲技術協同發展,即硬盤和基于閃存的固態盤協同發展:一部分是HDD,支持大數據;另一部分是SSD,支持快數據。為此,西部數據推出了分層存儲、分區存儲和可組合的分解式架構等創新存儲解決方案。
分層存儲應對不同數據
不同的數據具有不同的特性,有的數據需要大容量,有的數據則需要低時延。為了幫助用戶達到最佳存儲效果,西部數據針對這兩個數據指標,把數據分為極熱數據、熱數據、溫數據、冷數據和極冷數據五層,給不同的數據提供不同的存儲介質和設備。
極熱存儲:有持續低延時需求。可使用DRAM,適合各種應用。
熱存儲:有低延時、高IOPS、高帶寬應用需求??墒褂酶咝阅躍SD,適合HPC、OLTP、自動駕駛等應用。
溫存儲:有較高性能IOPS、帶寬要求,性能峰值不穩定??墒褂弥髁鱏SD/HDD,適合OLAP、AI訓練、傳統企業應用。
冷存儲:數據量大,有高容量需要,需要多次讀取??墒褂么笕萘科髽I級HDD,適合存儲備份、在線交易。
極冷存儲:需要大塊寫入,寫入次數少??墒褂肧MR HDD,適合金融、醫療、廣電行業數據長期歸檔。
劉鋼告訴記者,現在很多企業還在采用12TB和14TB容量的硬盤,不過數據中心可使用的最大容量硬盤已經達到18TB和20TB。與14TB硬盤相比,18TB硬盤在達到同樣容量的時候,可以減少22%服務器部署,從而減少部署成本和運行成本,因此每TB功耗會降低21%。從整體上來說,結合部署成本和運營成本的降低,總體擁有成本(TCO)可降低17%。
正是因為看到這樣的優勢,今年以來很多大型數據中心都開始部署18TB硬盤,18TB硬盤正在成為主流。“事實上,很多互聯網公司在去年底到今年初就切換成18TB硬盤了,這可以給傳統行業提供一些經驗參考。”
西部數據公司副總裁兼中國區業務總經理劉鋼
劉鋼指出,傳統行業可能還在尋找一個平均值,目前市場上的平均值集中到了8TB硬盤,其實是因為傳統行業用戶沒有做好數據分層,如果做好數據分層,企業會發現大容量需要用16TB,小容量需要用4TB,而不能集中放到8TB硬盤中。”
對此,劉鋼表示,西部數據會把與頭部互聯網企業數據中心合作的經驗和體會,分享給更多的行業,如金融、電信、企業新建的數據中心等等。此外,西部數據也加強了和云服務商、軟件開發商的合作,讓他們針對行業軟件在西部數據最新的存儲技術和設備上進行優化,這樣他們可以把這部分技術和解決方案帶到更多傳統行業里去,而這些行業用戶也會主動向互聯網公司學習。
化解聲波振動引發的性能變化
“雖然從14TB硬盤遷移到18TB硬盤會給數據中心帶來成本上的好處,但是不可否認也會帶來一些挑戰。”劉鋼補充到,當磁盤本身碟片的密度變高時,碟片之間的距離更近,磁頭與碟片距離也更近,這使硬盤這個機械設備更容易受到服務器內部的噪聲、振動等外界干擾的影響,造成非常大的性能變化。而且,在一臺服務器里的盤與盤密度變高時,服務器為了散熱,需要加大風扇的功率、頻率和速度,也加劇了對高密度、大容量硬盤的干擾。“所以我們需要從整個開放計算系統的角度來考慮它會帶來什么樣的影響。”
經過西部數據的實際檢測,發現硬盤的振動或風扇的振動帶來的性能影響并不如其中的噪音帶來的影響,聲波產生的聲壓對硬盤的影響更大,約占80%,而其他結構性振動的影響只占約20%。同時,每個盤位受到的影響也不一樣。
“所以西部數據在開放計算項目中也會考慮如何監測聲壓的變化,及其對硬盤性能帶來的影響,并設計了聲學振動捕捉模塊,把它放在每一個盤位里,可以準確地監測哪個部分的聲壓是什么樣。測試會幫助改進整體設計的空氣流,在機箱里的流動線路。還可以改變風扇的設計來降低聲壓,測出大風扇或多個小風扇、風扇的位置是前中后,對于盤位的影響是什么樣,會有什么樣的空氣流動。根據聲壓帶來的影響再改善整個系統。”劉鋼解釋到。目前西部數據已經與浪潮等行業伙伴展開這方面的合作。
另一方面,西部數據還和浪潮聯合推出了分布式存儲解決方案,包括西部數據Ultrastar DC HC550 18TB硬盤和浪潮英信服務器NF5466M5,部署快速、運維方便,同時有助于減少分布式存儲相關異常情況造成的損失,可大幅提升營業收入。
騰訊推出了分布式存儲服務騰訊COS,它沒有目錄層次結構和數據格式限制,可以容納海量數據。這是一款結合西部數據16T/18T HDD企業級硬盤、針對騰訊應用場景進行了優化的高密度存儲服務器,該系統實現了存儲桶空間的無容量上限擴展,能滿足各種場景的需求。
分區存儲滿足計算效率
除了大數據、高密度存儲,開放計算面對的挑戰還有快速、高性能的計算,需要用到快數據。劉鋼補充道,其中一部分是用高性能的SSD(如Ultrastar DC SN840 NVMe SSD)去滿足極熱數據的需求,另一部分是用主流的SSD(如Ultrastar DC SN640 NVMe SSD)去滿足熱數據、溫數據的需求。
今天的SSD密度越來越高,容量越來越大,其中很重要的原因就是Flash技術的發展,要做好SSD,首先要有大規模的Flash生產和供應能力,才能在SSD不同的供應周期都能滿足供應。
據介紹,西部數據和合作伙伴鎧俠共同擁有全世界34.9%的Flash產能,同時,西部數據也構建了全球領先的千兆晶圓廠。這給西部數據帶來了規模優勢,讓其可以投入最新的閃存技術。
如西部數據發布的第六代3D閃存技術,大幅度提高了密度,不只是層數的堆疊,還包括每一層的密度提升——橫向密度提高了10%,比上一代比特密度提高了70%,極大降低了成本,同時也提高了性能。
此外,要做好SSD還需要擁有自己的控制器和固件,提供縱向一體化的極致優化,才能做到持續的高性能。西部數據SSD集成了完全自主的NAND Flash、SSD控制器和固件于一體,有利于性能和穩定性的提升優化。
據悉,為了保證存儲技術的先進性,西部數據很早就收購了閃迪公司。目前,西部數據不僅有專門的閃存業務部和硬盤業務部,還有戰略技術部,來對未來的新技術進行前瞻性的研發投入,并經常與頭部互聯網客戶交流,收集用戶反饋,讓研發技術能夠與市場需求保持一致。
分解式架構可開放可組合
眾所周知,傳統的服務器里通常有CPU、GPU、內存、硬盤、SSD、網絡設備,但這種架構方式可能無法讓寶貴的存儲資源得到充分利用,運營成本也十分昂貴。
“未來的架構將會被分解,關鍵的資源不會依賴于某一臺設備,也不會只被一臺設備訪問,它會被高速的網絡連接,進行資源池化和共享。這就是開放式可組合的分解式架構,也是未來開放計算硬件的一個趨勢。”劉鋼表示。
其中存儲資源也可以分解出來,讓服務器集群共享。如西部數據推出的NVMe-oF-Fabric設備,能支持24個高性能的固態盤,被服務器集群使用,相當于每臺服務器里都有快速的固態盤,能夠提供快數據的訪問,這樣既能做到設備之間的數據共享,也能夠降低成本。
在劉鋼看來,開放計算能夠帶來更多的創新,鼓勵更多的開放互聯,最終用戶可以不必局限于某一個或某一類供應商,而是能夠開放地在整個平臺上去選擇最優的設備,提高了透明度。
“因為開放架構不再是神秘的黑盒子,用戶可以看到每個部分的關鍵部件是什么樣,如何互聯,有哪些優勢。作為核心部件提供商,西部數據也愿意給用戶提供更多的選擇。”
全線存儲解決方案支持開放計算擴展
事實上,今天的開放計算已經不局限于數據中心,已經擴展到了云端、終端和邊緣等部分,而西部數據可以提供完整的從芯片到系統的云-邊-端的全線數據存儲解決方案,應用場景包括從手機、相機、無人機,到電腦、筆記本、IoT設備,再到數據中心的高密度硬盤、SSD和平臺的JBOD、JBOF等解決方案。
劉鋼強調:“西部數據是一家在數據存儲解決方案上能同時提供大容量、高密度的硬盤以及快速、低功耗的閃存固態盤的公司。隨著開放計算擴展到數據中心以外的更多的地方,西部數據的存儲產品和解決方案也會相應的支持和配合開放計算的發展。”