“新應用層出不窮,隨之而來就是不斷產生新的數據形態,數據分析的需求也在不斷變化。存儲作為數據管理的核心,其重要性也越來越明顯。另外,計算單位的密度越來越高,計算的敏捷性越來越強,所以算力的演變對存儲的變革也起到一個非常明顯的推動作用。”青云科技如此描述。
在場景和算力推動整個存儲形態向前變革的基礎上,如何讓數據更好地流動起來,這與存儲技術能力緊密相關。
在數據流動的完整鏈條里,從最初的采集、處理到歸檔、再利用、銷毀,都會涉及到存儲與大數據技術、存儲與 AI 計算技術的結合,這能讓數據更高效地被捕獲、被索引、被分析和被加工,從而實現數據層面的點石成金,這也是青云存儲這些年一直在努力研究的方向。
比如,QingStor U10000的一個重要特點就是多協議無損互通,從而實現數據的訪問和流通的高效。
U10000在技術層面提供了統一的索引架構,并且基于此提供多種層次的能力。它為應用帶來的好處很明顯,即:存儲和讀取數據中間不需要經過格式轉化,從而避免了性能和語義的損失。
其次,U10000提供多協議存儲接口供企業選擇。U10000在文件、對象、HDFS等語義里,每種存儲形態里都提供了多種存儲接口,比如POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種接口的支持,滿足常見應用。另外,協議互通讓數據分析更高效。這在自動駕駛、基因測序等場景下比較常見。
U10000的另一大特點就是算力的無縫對接,它能讓數據“點石成金”。得益于多年的積累,U10000 具備豐富的數據處理的功能特性,能夠提供一系列完善的API、SDK,可以輕松地對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合,最終讓數據實現點石成金。
以我們常見的圖片處理、音視頻轉碼、AI大數據分析、HPC超算平臺為例,在數據生命周期流轉中,經常會用到的數據備份歸檔的技術,QingStor U10000都有一整套完善的對接機制,能對接算力和計算生態。
青云科技產品技術解決方案總監張忠華也談到:“U10000 是以業務場景為驅動,我們將文件、對象整合統一起來,其價值是比較明顯的,這大大提升了客戶體驗。”
拋開文件在基因測序這類對性能極致追求的場景,大多數文件還是應用在非結構化場景中,這一點也得到了青云科技大部分客戶肯定性的反饋。
張忠華認為,對象和文件存儲各有特點,產品優化即使很好,也會存在一些技術瓶頸。以文件存儲為例,目錄深度、小文件的性能,這是文件系統繞不開的話題,同樣對象存儲的接口適配也是繞不過去的問題。所以U10000的產品架構可以很好地取兩者之間的優勢,結合協議互通,用戶就可以很好地把數據做接駁,然后在文件和對象之間流轉。
目前U10000在很多領域得到了廣泛應用,比如,在醫療體檢、智能駕駛、智慧工廠的IoT場景和多元化的超算場景等等。