作者 | 丹如
來源 | 杭派工程師(ID:hpgcsv),已獲授權
封圖 | CSDN 付費下載自東方 IC
“科技行業(yè)已經沒有什么驚心動魄的大事了!”
進入2020年,已經有不止一家媒體或者科技KOL 做出這樣的斷言。
相比2012年的O2O大戰(zhàn)、2015年的雙創(chuàng)熱潮、2016年的小巨頭合并,以及2018至2019年的中概股扎堆上市,2020年顯得格外寂寞。
最近的爆款文章《腰部互聯網沒有新聞》更是描述了如今科技行業(yè)的落寞,由此該文的作者做出推論:互聯網變得如此平靜,是因為上一波創(chuàng)新的浪潮已經結束,底層技術不再更新。
事實上,早在幾年前,英特爾CEO就在多個場合表示“摩爾定律失效了(摩爾定律是指“集成電路上可容納的元器件的數量每隔18至24個月就會增加一倍,性能也將提升一倍)。”
軟件的發(fā)展很大程度上取決于硬件的突破,而摩爾定律的失效,似乎暗示已經影響了整個世界長達半個世紀的信息革命正在走向黃昏。
但就像眼睛會欺騙大腦,人們同樣會被水面上的平靜所迷惑,最終忽視了正在影響未來走向的底層技術變革。
作為三大基礎技術之一,數據庫就是水面下的那座冰山。
而國產數據庫更是在過往四十多年都少人注目,直到近年,行業(yè)才有密集的動作。
6月8日,螞蟻集團宣布將自研數據庫產品OceanBase獨立進行公司化運作。
巨頭的數據庫產品成為獨立公司,對行業(yè)的意義不可謂不深遠。但對普通人而言,它完全無法與“地攤經濟”、“電商直播”等熱詞爭奪注意力。即便被看到,大部分人也會下意識問一句“數據庫是個啥?”
“數據庫是個啥?”
1978年,中國人民大學經濟信息管理系首任系主任薩師煊第一次將“數據庫”這三個字寫在黑板上時,恢復高考后的第一批大學生坐在下面也產生了同樣的疑問。
薩師煊(前排左四)
對于這個問題,今天B站的科普UP主或許會給你講個段子,比如ATM剛出來時,不少用戶都以為有一個人藏在機柜里,給用戶取錢和存錢,但實際上那背后只是有一套自動化操作系統(tǒng)。
數據庫也是類似的軟件系統(tǒng),它的主要工作是在你使用支付寶、微信等應用時,幫你儲存、計算和分析數據。它和操作系統(tǒng)、中間件共同構成計算機最基礎的三大軟件。
但薩師煊當時沒辦法用這么生動的案例告訴他的學生,在那是個電視機都還沒有被廣泛普及的年代,數據庫這樣高深的互聯網技術是如空中樓閣一樣的存在。想要讓學生明白什么是數據庫,薩師煊只能借助人大少數的幾臺電腦和美國科學家們有關數據庫的論文為學生進行授課。
一年后,他拿著自己的講稿匯集成《數據庫系統(tǒng)簡介》和《數據庫方法》,發(fā)表在《電子計算機參考資料》上,我國才有了最早的數據庫學術論文。但此時距離關系型數據庫之父E.F.Codd在美國發(fā)表《用于大型共享數據庫的關系數據模型》這篇劃時代的論文,已經過去了九年。
這九年間,國外的數據庫技術基本已經完成了從實驗室到科技商用產品的市場化歷程,數據庫從網絡型和層次型數據庫過渡到關系型數據庫后,以甲骨文、微軟、IBM為首的一大批數據庫公司崛起,推出了包括Oracle、DB2、Informix等主流數據庫產品。
“甲骨文”這個名字其實并不是Oracle的音譯,這是美國Oracle公司進駐大陸時的代理人馮星君為打開大陸市場而搶注的品牌名字,而“Oracle”本身只是公司創(chuàng)始人埃里森為中央情報局設計的數據庫的名字。
但馮星君的一通操作猛如虎后,“甲骨文”這個代表著中國歷史上最古老文字的名稱,就此成為了一家美國數據庫公司的閃亮招牌。
Oracle時期的馮星君
1980年代,甲骨文最早進入內地市場時, Oracle的盜版產品還在中關村泛濫。但馮星君以比盜版還低的價格迅速收割了混亂的市場。等到國家為促進電信行業(yè)的發(fā)展提出“九七工程”后,Oracle更是一舉拿下東三省郵電管理局5期工程的大單,和IBM、DB2、Informix數據庫,共同瓜分了銀行和電信這兩個領域的數據庫市場。
當國外數據庫產品在中國市場狂飆突進,以薩師煊為首的中國數據庫先驅者們奔走在各大高校中,培養(yǎng)了中國最早一批數據庫人才。
1983年,薩師煊與弟子王珊合作編寫出劃時代的專著《數據庫系統(tǒng)概論》,至今還被國內高校計算機專業(yè)沿用。
一年后,王珊訪美回國之際,給時任中國人民大學校長袁寶華寫了一封信。
她建議學校成立數據與知識工程研究所 , “成立研究所確實是當務之急。我們要集中人力,搞一些切實的研究課題,開發(fā)真正能與國外競爭的數據庫系統(tǒng)、應用生成系統(tǒng)產品。這是對國家最大的貢獻……”
國產數據庫的征途就此啟航。
與此同時,國外數據庫已經迭代了超過七個版本。
伴隨改革開放后經濟的高速發(fā)展,對數據的管理和儲存爆炸式增長,國內公司只能選擇更為成熟的海外產品。
不止數據庫,從底層操作系統(tǒng)到中間件,我們都采用了國外廠商的最佳實踐。
如今回看這段歷史,我們在上述三個領域受制于人,正是始于那一刻。
但當視角縮小到時代浪潮中的個體時,又不得不感佩薩師煊等前輩們的先見之明與努力。
即便受困于外在環(huán)境,他們都從未放棄對先進技術的關注。抓住一切機會,為國產數據庫的未來積蓄力量。
另外一批人也抓住了機會。還記得前文提到過的馮星君嗎?
作為甲骨文打開內地市場的頭號功臣,這個頭腦聰慧的人,從獄警一路做到外企高管,最終拋掉手中全部股份離開了甲骨文。
離職后,他給媒體分享了一個甲骨文總裁埃里森來北京的故事。
1997年1月27日,埃里森乘專機飛臨北京,原定行程是要到長城拍攝電視片,制作方為此找了20個小學生群演。結果埃里森因為不愿起床,讓小學生們在零下20度的天氣里等了一個多小時。等他在長城玩嗨了后,又提出取消下午和時任總理的會面,在馮星君以辭職相挾后。他雖然準時參與了會議,卻堅持帶保鏢一起進人民大會堂。
埃里森
有人將之歸結為埃里森的粗魯強硬風格,但20年后,風格同樣強悍的馬斯克,面對中國市場,卻要極力表現自己的熱愛。
只是因為時勢反轉。
埃里森的肆意妄為與當時甲骨文在內地數據庫市場的絕對壟斷有莫大關系。
1992,鄧小平南巡講話后。中國對國外技術產品同樣予以公平的市場環(huán)境。
國外數據庫公司們趁機涌入內地市場。
除了1989年就靠代理進入中國,1992年設立獨資公司的甲骨文。
1991年12月,Sybase 投資230萬美元在中國正式設立賽貝斯軟件。
1992年,IBM 正式進入中國,帶來了DB2和informix。
1992年10月,Microsoft在北京設立代辦處。
…..
一直到今天,國內的數據庫大部分的市場份額仍舊被這幾家公司占據。
而國產數據庫公司在夾縫中艱難的嶄露頭角。1999年,王珊領頭成立了國內第一家數據庫公司人大金倉。2000年,華中理工大學(現華中科技大學)講師馮玉才成立了武漢達夢,后來這兩家公司與神舟通用、南大通用并稱為國產數據庫的四朵金花。
與海外數據庫公司學研產分離不同,早期的國產數據庫公司幾乎都是從大學的科研實驗室孵化出來,再到市場進行打磨,在這背后,始終有體制內的力量在推動。
為了扶持國產數據庫的發(fā)展,國家863計劃設立了“數據庫重大專項”、“核高基”重大科研專項、以及“973”等計劃,為高校的數據庫研究提供經費支持,國產數據庫四朵金花正是借此才度過了破冰期。
這一點馮玉才深有體會,早在1988年,他就成功研發(fā)出了我國第一個擁有自主版權的數據庫管理系統(tǒng)CRDS,但他下海后,很長一段時間都找不到敢于嘗試國產產品的客戶。直到后來,國家某機構扶持國產數據庫,他才獲得了60萬的啟動資金。
"在數據庫領域,面對國際市場競爭中的強大對手,我們是渴望并正在長大的小孩子。”很多年后,馮玉才感慨。
但即便如此,這一批國產數據庫的商業(yè)先行者還是以莫大的勇氣向巨頭發(fā)起了挑戰(zhàn)。
其實1990年代,在國產數據庫的崛起隊伍中,除了高校的自研團隊外,還有另外一撥人。
他們成長于國家的“九七工程”,早期幾乎都聚集在北京的外資公司擔任DBA(數據管理工程師),由于人才稀少,圈子狹小,大家要么在線上社區(qū)扎堆研究國外的最新文獻,要么就在線下擼串時討論技術問題,后來這批DBA都成為互聯網公司們爭相追逐的對象。
其中有三家公司的DBA被行業(yè)公認最牛,一是eBay,二是淘寶,三是支付寶。
為什么這三家公司的DBA最強呢?
這還要回到數據庫的本質計算與儲存來看。2000年初,在淘寶與eBay的對戰(zhàn)中,這兩家公司的數據庫都在大量的吞吐交易數據,當時勢單力薄的淘寶,為了保障交易穩(wěn)定,不得不使用最好的數據庫Oracle,每年都需支付巨額的服務費。
(圖源:CSDN 付費下載自東方 IC)
提到服務費,這里解釋一下Oracle收費模式。
當年馮星君與Oracle“分手”就源于數據庫收費模式,按照國內習慣,軟件購買都是一攬子生意,支付版權費即可。但Oracle卻在版權費之外,每年再收一定的服務費。
客觀講,Oracle的服務確實不摻水。但為了保護自家的技術,Oracle始終是一個黑盒子,一旦出現問題,內地DBA只能呼叫在大洋彼岸的甲骨文員工前來解決。
如果問題很緊急呢?也得等對方醒過來,再來調配。
卑微如斯,中國大部分互聯網公司還不得不捏著鼻子忍下這口惡氣,始終采用Oracle+IBM小型機+EMC的模式來維持公司的正常運營。
但也有不服就干的公司。
為了擺脫強勢的Oracle,一批中國互聯網公司轉向開源數據庫MySQL。
Oracle與MySQL有什么區(qū)別呢?
對于數據庫的使用者而言, Oracle類似蘋果系統(tǒng),安全穩(wěn)定但封閉性強,MySQL則像Android/ target=_blank class=infotextkey>安卓系統(tǒng),他們?yōu)殚_發(fā)者提供一個框架和社區(qū),后續(xù)產品全憑開發(fā)者打磨和運營。
開源數據庫是對商用數據庫的挑戰(zhàn),不少人都對MySQL寄予厚望。但沒承想,MySQL如今被 Oracle 收購,轉型成了半商用數據庫。
擺在中國公司面前有兩條路,一是像人大金倉、武漢達夢一樣堅持自研,二是混合使用商用數據庫和開源數據庫,逐漸過渡到自研。
一個偶發(fā)事件助推了中國數據庫公司自研的進程。
2013年,斯諾登給英國《衛(wèi)報》和美國《華盛頓郵報》發(fā)送了一份絕密資料:美國2007年啟動了一項代號為"棱鏡"的秘密項目,要求電信巨頭威瑞森公司必須每天上交數百萬用戶的通話記錄。
消息一出,震驚的不僅僅是美國公民,大量使用國外信息軟硬件的中國公司同樣備受震動。
"棱鏡門"事件爆發(fā)以后,一些機構開始選用國產數據庫產品,而人大金倉、武漢達夢等廠商借“天時”拿下了不少訂單。
但是就產品競爭力而言,當時國產數據庫與Oracle的差距仍然巨大。
經歷了近四十年的發(fā)展,Oracle的功能已經極為豐富,支持的語句非常全面,其代碼量到了普通公司難以望其項背的地步。
國產數據庫公司想要模仿并超越,注定是一條難以看到盡頭的道路。
好在技術的發(fā)展并不是一條筆直的賽道。尤其數據庫的發(fā)展,涉及著整個IT基礎設施及上層應用等復雜連帶領域的影響,因此國產數據庫公司彎道超車的機會,以一個意想不到的方式出現了。
2009年,阿里的 Oracle RAC 集群節(jié)點數達到了創(chuàng)記錄的20個。數據量和數據并發(fā)達到了全國最高,讓阿里不堪重負。
為了讓數據庫不容易崩潰,阿里的工程師們采用冷熱隔離的方式來解決“超大容量”和“高并發(fā)”的難題。但由于 Oracle并沒有彈性擴展的功能,只能按照峰值流量購買需要的小型機和數據庫,這導致阿里還來不及為業(yè)務上漲慶祝,就得先支付來自Oracle的天價賬單。
2010年,阿里開始去IOE。阿里數據庫工程師們根據開源MySQL搭建了AliSQL,此后花了兩年時間,他們將淘寶及天貓的所有數據庫從 Oracle 替換成了AliSQL。
2012年雙11,AliSQL迎來大考。
那一年,淘寶創(chuàng)造了191億的成交額,這意味著數據庫里的一條熱點記錄每秒鐘最多要被修改十幾萬次。零點過后,淘寶出現了半分鐘的卡頓,所有阿里數據庫工程師們都直冒冷汗。好在半分鐘后,AliSQL承受住了數據洪流的沖擊。
但甲骨文并不知道阿里已經放棄了Oracle。2013年雙11過后,他們還要求阿里根據此前公布的350億成交總額,補交Oracle數據庫的服務費。
那是一份數字非常驚人的賬單,但擺脫了Oracle的阿里,已不再受此脅迫。
AliSQL的成功證明Oracle的金身并非牢不可破。
使用AliSQL,阿里應對了幾年雙十一購物節(jié)。但是面對屢創(chuàng)紀錄的流量,AliSQL數據庫很快就接近能力極限。
雙十一已經成為世界上獨一無二的挑戰(zhàn),使用市面上的任何數據庫已經無法承接這像太平洋一樣翻涌而來的流量。
問題只能自己來解決了。
2015年阿里云決定研發(fā)自己的數據庫。這一次,阿里云并沒有沿著以往國產數據庫的路徑,去模仿Oracle,而是另辟賽道,研發(fā)基于云的數據庫產品。
值得注意的是,在Oracle的大本營美國,數據庫行業(yè)也已經醞釀出了新風暴。
2015年的AWS Invent大會上,亞馬遜公布了基于云計算的自研數據庫Amazon Aurora。Aurora是一個關系型數據庫,可以跨3個可用區(qū)域復制6份數據,其最大的特性就是高性能和高可用性。
全球的云計算巨頭公司在這一刻想法達成了一致,打算在云上,發(fā)起一次數據庫領域的新革命。
一個時代的落幕往往是從第一個變革者出現開始,中間雖然會經歷革新者和守擂者的交鋒,但最終誰也無法阻擋潮水的方向,云計算帶來的數據庫變革就是這樣一股不可逆轉的浪潮。
面對云計算廠商開辟的數據庫新賽道,埃里森眼里全是蔑視。他說,沒有廠商可以擺脫Oracle。
2008年,他還對云計算不以為然,在訪談中稱:“我完全搞不懂那幫家伙在說些什么,簡直就是一派胡扯,云計算只是愚蠢的概念”。
但事實給了他一記有力的耳光。
亞馬遜發(fā)布Aurora,靠著高性能和高可用性、低成本吸引了眾多客戶上云。高傲的埃里森再也坐不住了。2016年,他宣布向云計算進發(fā),“我們到了本地計算向大數據云計算轉型的關鍵路口。”
《IT不再重要》的作者尼古拉斯·卡爾認為,過去半個世紀里,大批企業(yè)為實現信息技術搭建數據中心,花費掉了幾十萬億美元,而最終的受益者就是微軟、甲骨文這些IT公司。但云計算的出現將改變這一切,未來大量的企業(yè)將不需要建設自己的機房,也不需要從傳統(tǒng)的軟件廠商那里購買大批昂貴的軟件,只要將自己的業(yè)務搬到云上,就可以節(jié)省出大量的成本用于發(fā)展創(chuàng)新。
在Aurora倒逼 Oracle上云的同時,阿里云的云原生數據庫也在極速狂奔。這一次,我們并沒有被國外的同行落下太多。
2017年阿里發(fā)布了PolarDB 1.0后,其性能讓行業(yè)為之興奮。經典數據庫10TB的業(yè)務數據創(chuàng)建只讀副本需要70個小時,但在PolarDB上只需2分多鐘,而成本卻只有商用數據庫的十分之一。
2017年10月,猶他大學計算機系終身教授,世界數據庫領域的頂級大咖李飛飛加入阿里云數據庫團隊。
李飛飛
加入阿里后,他提出了未來PolarDB的三個方向:更智能、更安全、讓新的云原生和分布式數據庫架構成為可能。
俯瞰新的戰(zhàn)局,我們發(fā)現如果在經典數據庫的競爭中,國產數據庫始終跟在甲骨文等公司后狂奔。
到云計算時代,國內廠商已經擁有了不亞于海外公司的豐富生態(tài),僅阿里生態(tài)內,就有了PolarDB、OceanBase、ADB、NoSQL、圖數據庫、時序時空數據庫等產品。
2018年,在全球權威的Gartner數據庫魔力象限評選中,阿里云成為國內首個入選的科技公司,這是中國數據庫公司第一次跟國外科技巨頭在一個舞臺上競技。2019年,阿里云再次以唯一中國廠商的身份入選這個權威評選。
《創(chuàng)新者的窘境》一書曾表達過這樣的意思,越是舊時代成功的企業(yè),在新時代面臨的挑戰(zhàn)就越多。在云數據庫時代,甲骨文公司就面臨這樣的窘境。相反,亞馬遜AWS、阿里云這樣的云廠商卻可以乘風飛揚,攻城掠地。
Oracle的陣地正在被云數據庫廠商蠶食,在它占據絕對統(tǒng)治地位的金融領域,也開始受到挑戰(zhàn)。
這次挑戰(zhàn)它的是支付寶,不像淘寶可以當機立斷作出向開源數據庫遷移的決定。已經有3億用戶,一年有幾十億筆交易的支付寶直到2013年才敢把流水庫的 1% 交給當時的自研分布式數據庫OceanBase嘗試。
但在那一年的雙11,Oracle的上限只能滿足支付寶流量的90%, OceanBase 必須要承擔10%。為了通過這次考驗,OceanBase的技術負責人陽振坤直接向時任支付寶CEO彭蕾立下了軍令狀。
陽振坤
結果OceanBase經受住了考驗。
2019年8月,OceanBase第一次向TPC-C測試發(fā)起沖擊(TPC的全稱是國際事務處理性能委員會),它是國際權威的數據庫性能測試中心,而 TPC-C 是針對在線交易數據庫的性能測試,一直被視為衡量交易型數據庫的重要指標。此前第一的位置始終由Oracle壟斷,但OceanBase以2倍的速度踢館了這位霸主。半年后,更是以11倍的速度刷新了自己的記錄,讓Oracle 降至第三名。
在PolarDB和OceanBase連番沖擊下,甲骨文光環(huán)不再。
2019年5月,甲骨文宣布中國區(qū)裁員500多人,行業(yè)震動。
雖然甲骨文對外聲稱這是出于成本考慮作出的舉動。但實質上,自2013年阿里宣布完成去IOE后,國內眾多公司都掀起替換Oracle的浪潮,甲骨文在中國的市場的壟斷地位搖搖欲墜。
云計算廠商或許會成為壓垮傳統(tǒng)商用數據庫的最后一根稻草。
亞馬遜AWS的CTO Werner Vogels曾多次強調:“數據庫是云計算的終極之戰(zhàn)(Real Battle)。” 而Gartner預測,到了2021年,云數據庫在整個數據庫市場中的占比將首次達到50%,而到了2023年,75%的數據庫都要跑在云平臺之上。
2019年雙11的交易中,PolarDB數據庫處理交易事件的峰值更是達到了8700萬次/秒,此時靠著戰(zhàn)勝了無數次數據洪流的沖擊,PolarDB已經不再需要向任何人證明自己的實力,而是在2013年就將自家的數據庫的數據統(tǒng)計和分析將能力賦能到其他合作伙伴,幫助幾十萬企業(yè)從傳統(tǒng)數據庫遷移至云上的數據庫。
據德意志銀行分析報告,中國現在有84%的企業(yè)有意愿要上云,認為云是未來。這股浪潮中亞馬遜和阿里云成為了新的領頭企業(yè),而甲骨文的云業(yè)務卻遲遲未能在中國落地,錯失了最佳的發(fā)展時機。
以開源、分布式和云計算為主導的新數據庫時代已然到來,而在新的“世界大戰(zhàn)”前,國產數據庫已經具有了充足的底氣。
新成立的OceanBase公司——北京奧星貝斯科技已經向業(yè)界放言將在未來三年內服務全球超過萬家企業(yè)客戶,PolarDB負責人李飛飛也對外公布了2020年的小目標,“今年要幫助1000家企業(yè)去O,10000套傳統(tǒng)數據倉庫上云”。
數據庫自研的四十年歷史倏忽而過,發(fā)令槍再次打響,后浪接過前浪的接力棒。而這一次,絕不會少了中國公司的身影。