不知從何時起,智能手表成為了人們日常生活的健康指導,它能顯示出每天的卡路里消耗量,提醒你需要站立活動一下,每日的三個圓圈成為了比工作還要認真完成的KPI,甚至遇到突發事件,如心率不齊、血壓過高還能做出預警。這些量化生活的數據正在改善不少人的健康狀態,其所基于的正是海量的非結構化數據,分散的、不同類別、不同來源的數據最終交匯在了一起,對于用戶的生理表征做出判斷,通過數值給出健康指導。有趣的是,實際上這些海量的數據,自人類誕生以來,就一直不斷的在一代又一代人身體中流動,但其價值卻長期被人所忽略。
“越來越多的人意識到,只是簡單地把這些海量數據存起來,其實并沒有發揮這些數據的價值,或者說靜止的數據是沒有多少價值可言的,必須讓數據流動起來,讓數據完整地或者相對完整地經歷生命周期的不同階段,在不同階段為數字化業務產生不同的價值,才能充分挖掘整個數據的價值。”青云科技(qingcloud.com,股票代碼:688316)存儲產品總監馮相東表示,如何在數據層面實現“點石成金”正是青云存儲多年來的一個研究方向,而量化生活的背后實際上體現出了一場數據形態的變革,青云存儲QingStor U10000則正是為此孕育而生的產品。
量化生活背后的數據形態變革
除了隨時隨地給出建議的可穿戴設備外,很多用戶也發現自己的體檢報告也正在發生變化,除了預約和獲取報告都已經遷移至線上系統外,個人體檢報告中也可以看到健康的態勢分析。這背后恰恰離不開數據分析平臺的支撐。
與此同時,醫療機構自身也需要對于大量的數據進行安全妥善的處理。比如個人用戶產生的CT、核磁、X光等典型的PACS系統的數據調取、長期留存場景。根據醫療行業規定,門診數據保存不低于 15 年,住院數據保存不低于 30 年。這些不斷累計的數據對如何存儲產生了挑戰。
上述數據的爆發式增長,也反映出了計算形態的演變。數據的量級正在飛速增長,例如一家智慧工廠每天產生的數據量都可以達到 PB 級,一輛自動駕駛汽車滿負荷做測試的情況下,每天可以產生的數據量可以達到數 TB 甚至數十TB。同時,這些典型的自動駕駛、物聯網、AR、5G場景背后所產生的數據類型主要以非結構化數據為主,包括圖片、音頻、視頻,以及一些日志類的數據。
AI的機器學習更是進一步提升了對于“海量小文件場景”下的存儲性能需求,通常情況下,一次訓練的文件數量要到幾億乃至十幾億的量級,每個文件的大小通常在幾十KB到幾MB之間。但也正是通過這樣的學習過程,才能有了可穿戴設備所能給出的精準量化生活、無人超市中的智能結算、自動駕駛的物體辨識,以及體檢報告中的健康態勢分析。
國內著名的體檢機構慈銘體檢就通過統一影像存儲平臺來打破信息孤島,青云為該醫療集團業務的承載提供了云易捷超融合平臺——“輕量級算力平臺+青云存儲”的方案,為數據的調取、PACS數據的長期存儲實現了方案性的改進。平臺底層為QingStor 高性能塊存儲平臺,實現PACS系統數據的實時調取和長期存儲,其他業務系統則通過與U10000的對象存儲做對接,并正在探索基于U10000 協議互通的能力,實現對象和文件可互通,與 AI醫療相關的應用能整合出更多的價值。
實際上,在其中發揮重要作用的U10000正是青云在近期通過全面升級,面向海量非結構化數據平臺的存儲產品。
面向海量非結構化數據的U10000
青云存儲QingStor U10000是一款面向非結構化數據場景的存儲產品,主要包括各種影像數據、音視頻數據、數據湖、大數據、物聯網等場景,同時提供對象、文件、大數據接口,不同協議之間實現數據無損訪問互通;單存儲桶支持 100 多億個對象,并且性能不會隨之下降。
“產品設計初衷就是幫助客戶更好實現海量數據的價值挖掘。”青云科技存儲產品總監馮相東表示。除了上述提到的慈銘體檢的案例外,某智能自動駕駛科技公司也正在使用QingStor U10000來提升對于海量地圖數據中的分析效率,同時還通過集群私有化滿足了地圖采集數據的監管需求。蘇州華興源創則通過部署包括 U10000 在內的青云全棧存儲能力,構建數據存儲中臺,助力提供工業自動化測試設備的整體解決方案。
青云存儲QingStor U10000能夠實現對于多個行業的助力,彰顯了作為一款全面升級型產品的實力。其繼承了原來青云對象存儲、文件存儲的所有能力,并且在多個維度上實現了產品力的增強和迭代。在實現數據協議的互通、功能和性能的增強、算力平臺對接的強化三個方面實現了明顯提升。
也就是說,U10000實現了對于文件、對象的統一,在產品架構上可以優勢兼得,結合協議互通的特性,用戶可以實現數據接駁,在文件、對象、大數據之間做流轉。“我們把文件和對象揉合起來,客戶的體驗上會好很多。”青云科技產品技術解決方案總監張忠華表示。
從架構上看,U10000主要包含三大模塊:一是接入服務層,以文件、對象、大數據三種接口的形態去承載多種業務的使用,支持兼容標準POSIX訪問語義和標準的SMB接口、NFS接口,同時提供標準的對象 S3 和大數據訪問的 HDFS 接口;二是存儲服務層,提供豐富的高級功能特性、多維度資源管理功能以及核心機制,比如糾刪碼、多副本數據安全的機制;三是擁有了一個統一的運維管理平臺,為運維或者使用者提供友好的可視化管理界面,實現對存儲集群的各種配置、操作和監控。
更值得關注的是,U10000產品在不同維度上均有著極具優勢的特點表現,進而為其能在多個行業領域發揮重要作用提供了保障。
撐起算力半邊天
“存儲是構成算力的一個非常重要的部分,或者說算力的一半要靠存儲。”青云科技產品技術解決方案總監張忠華表示,青云的基因是算力,所以對于軟件定義存儲的思考一定不是孤立的,會把核心聚焦在如何滿足算力對存儲需求的維度上,讓存儲更好地為算力做賦能。
這不禁讓人想起了曾經PC電腦剛剛用上SSD的時代,確實給當時機械硬盤時代的用戶帶來了前所未有的體驗升級。對于云業務而言同樣如此,U10000的一個重要特點就是保障卓越性能,并支持海量數據存儲。可為海量小文件場景提供卓越的I/O性能,單桶單目錄能支持百億級小文件存儲,并且能做到性能不衰減。同時線性擴展保障了性能和容量的線性增長,用戶還可根據業務需求進行靈活的EC配備,得盤率最高可達90%以上。
通過多協議無損互通,U10000還實現了數據訪問和流通的高效。其在技術層面提供了統一的索引架構,好處在于讓存儲和讀取數據中間無需格式轉化,無性能和語義損失。在存儲接口方面,支持POSIX、SMB、NFS、FTP、HDFS、S3、SDK等多種協議,滿足常見應用,協議的互通也讓數據分析更高效。這種無損互通的優勢能在自動駕駛、基因測序的場景中大大提升效率,正常情況下一份數據需要四個環節的處理才能發揮其真正的作用,數據在不同的環節通過不同的協議進行處理,通過協議的互通大大提升了數據分析的效率。
QingStor U10000還擁有一整套完善的對接機制,提供一系列完善的API、SDK,可以輕松地對接大數據平臺、數據處理的框架和服務,實現數據和算力的高效結合,涵蓋常見的圖片處理、音視頻轉碼、AI大數據分析、HPC超算平臺、數據備份存檔等應用。
對于目前同樣備受關注的數據安全問題,U10000能夠從元數據和存儲數據的分層設計、多重訪問安全機制、智能預警機制、功能服務的運維監控平臺四個維度來保障用戶的數據穩如泰山。
此外,QingStor U10000還是真正自研的中國存儲。全部為自主設計,沒有繼承任何開源的架構,不存在任何知識產權的風險。青云存儲也完成了對于一系列國產化生態的匹配,包括從底層的國產芯片、OS、上層PaaS以及SaaS應用,保證了客戶在涉足一些敏感數據業務時滿足監管要求,且沒有后顧之憂。
“是金子總會發光”與“掘地三尺有黃金”作為膾炙人口的話語總是被人反復提及,數據的金光已經閃現,但需要有好的工具才能不至于在還有“三尺”的時候遺憾放棄。算力保證了業務“掘金”數據的效率,QingStor U10000則撐起了算力的半邊天,讓數據實現“點石成金”。