WiDE無量數據引擎第一版本的開發,ExponTech華瑞指數云幾乎完成了不可能完成的任務。WiDE誕生背后有哪些故事?
01ExponTech為什么要做WiDE?
簡單說,當前的存儲技術和時代、用戶需求有些脫節了。
存儲技術發展至今歷經多代,大家最為熟悉的兩個階段,一個是2010年以前的傳統存儲技術,標志是硬件綁定,廠家生產什么,用戶買什么,如今的高端存儲市場,傳統存儲依舊占據主流。
另一個是分布式存儲技術的出現,標志是軟件定義,對存儲硬件不再強求,可以是專用存儲,也可以是通用服務器,現在主要應用于中低端數據存儲場景。
一個高高在上,放不下身段,傳統高端存儲技術性能好,但價格昂貴,承載冷數據或者溫數據是殺雞用牛刀;一個苦苦掙扎,卻難以突破,分布式存儲由于誕生的時代早,2010年主存以HDD機械硬盤為主,SSD技術還處于早期,甚至網絡還是以TCP/IP為主,所以軟件棧設計有很大的局限性,這直接導致分布式存儲軟件技術與硬件發展形成了斷檔。
傳統高端存儲無法飛入尋常百姓家,分布式存儲1.0又難以扛起高端存儲的大旗,在數據驅動發展的今天,給時代、用戶帶來諸多困擾。
正是出于這樣的考量,ExponTech決心開發一款全新的產品來彌合傳統高端存儲與分布式存儲之間的鴻溝,于是有了WiDE。
伴隨WiDE的發布,其既具備SDS 1.0靈活的擴展性和軟硬解耦的純軟產品結構,又具備當前定制硬件高端存儲產品的所有特性,并且還擁有適應未來數據平臺基礎設施的全新能力,一石激起千層浪,對WiDE核心技術的討論,對ExponTech開發團隊的探討不絕于耳。
02 Astrapi極速I/O引擎催生一群強迫癥
WiDE作為整個軟件定義存儲的引擎,它的問世宣告著SDS 2.0時代的到來。Astrapi極速IO引擎作為WiDE最核心的技術之一,意味著IO引擎的再一次突破,代表著IO引擎創新大門的再次開啟,宣告著新時代新硬件能力真正有了用武之地。
之所以這么說,是因為Astrapi極速I/O引擎擁有很多核心技術能力,比如全無鎖的IO棧設計、全預分配內存管理、端到端實現全棧零拷貝的能力,對于CPU充分并且精準利用的能力等,每一種技術的實現都體現了整個團隊對技術的極致追求。
重點講兩項技術,一個是IO棧無鎖化設計,一個是內存管理機制。
上圖是Astrapi IO流一個比較形象的示意圖,由上到下是存儲服務層及協議層、網絡層和數據持久化層。Astrapi相當于修建了貫穿三層的許多條數據管道,每一條管道都會綁定自己專屬的CPU核,從協議層開始,IO就會按照一定的Sharding機制,分配到某一個數據管道上,而每一條數據管道對進入管道的IO端到端負責到底,這些數據管道就像一條條高速真空隧道,許多的IO在里面穿梭,里面沒有紅綠燈,沒有檢查站,沒有阻力,沿途也沒有站需要停靠,也就是說每一個IO都可以沒有任何等待和減速的過程,直接全速沖向目的地。
用專業的術語,這樣的機制被稱之為RTC, Run to completion,以及無鎖數據通道。傳統的IO管理方式之所以慢,是因為機制上是層層轉發傳遞IO,依賴于操作系統內核調度和資源分配,依賴于鎖機制實現資源的協同共享,依賴于中斷機制實現層與層之間的異步消息傳遞。IO轉發,線程上下文切換,IO中斷,鎖機制等都是需要消耗系統資源的,也就是增加了油耗。
Astrapi使用端到端無鎖數據管道以及IO Sharding, 徹底改變了這一傳統模式,讓每個IO跑得快一些,再快一些的同時,消耗的資源也越來越少,完成了既讓馬兒跑的快,又讓馬兒少吃草的任務。
再看Astrapi極速I/O引擎中自研的內存管理機制。內存是計算機系統中僅次于CPU和CPU Cache的高速設備,所以很多人認為讀寫和拷貝幾次內存,時間消耗可以忽略不計。中斷是傳統IO流程中必不可少的機制,用于協調高速的CPU對慢速的各種系統外部事件的處理,通常情況下中斷開銷占整個I/O時間很小的比例,但是釋放了更多的CPU時間,因此中斷給系統帶來了效率提升。
但是,在一個極高速的IO處理系統中,每秒要處理幾百萬個IO, 每一個IO處理過程中所引入的內存拷貝及中斷,其開銷已經成為整個I/O處理時間中不可忽視的部分。
通過自研內存管理機制,計算側:從協議側IO接收,申請內存,IO處理,再到網卡發送,存儲側:網卡接收到IO,再到IO下盤,全路徑沒有任何內存拷貝,消除了用戶態與內核態之間的內存拷貝,網卡緩存與系統內存之間的內存拷貝,消除了線程切換帶來的上下文拷貝,也相應的消除了這些機制所依賴的中斷調用,每秒消除數百萬個類似開銷,可以較大幅度提升系統的IO處理效率,還能夠節省額外的CPU資源消耗。
極致效率,極致代碼,一行都不能多余。近乎完美的要求,幾乎把開發團隊逼出了強迫癥、代碼潔癖。正是這樣的精神,奠定了WiDE引擎高性能的基礎。舉個例子,WiDE單卷峰值IOPS能夠輕松超過100w,而并發時延只有不到500 μs,要知道這是很多高端存儲都達不到的能力。Astrapi極速I/O引擎在WiDE中的價值,可想而知。
03中國存儲的引領者再次引領中國存儲
事實上,ExponTech的高端專家團隊都具有著存儲或分布式存儲行業10年以上的經驗,他們可以說是中國存儲行業的引領者和見證者,深知整個存儲行業到了技術和產品的拐點,而現在他們正在再次引領中國存儲行業。
聽起來,這樣的目標令人興奮、血脈賁張,但整個過程面臨的挑戰、困難,恐怕也只有他們知道。試想一個名不見經傳的手機公司上來就說要挑戰蘋果,其它人會怎么想?瘋子、碰瓷、看笑話。
ExponTech面臨著同樣的問題,這其中最大的挑戰有兩個,一是行業的質疑,二是時間不等人。拿什么擊碎行業的質疑?憑什么短時間內攻克即便大廠都需要更長時間才能攻下的難題?靠打嘴仗?沒戲。兩大法寶,一是經驗積累,二是熱情。
只要產品出來了,一切質疑就煙消云散了,這其中凝聚了ExponTech整個研發團隊的經驗、熱情和汗水。
ExponTech研發團隊的很多人都完成過行業多款明星存儲產品的全產品化,對包括產品調研、原型開發、產品開發,質量測試全流程周期熟稔于心,對于很多行業的前沿架構和設計信手拈來,每一個架構設計和技術點,每個人都曾經在自己的腦子里推演過無數次,再加上大家都想做技術革命者的心態,這才使得整個開發時間極大縮短,只用一年就完成了其它團隊2年,甚至3、5年才能完成的任務。
每一次突破背后都有很多故事,對于ExponTech這樣的初創團隊尤是,汗水、淚水交織,關于Astrapi極速I/O引擎的故事,就先講到這里。
