阿里每天近萬億級別的消息是如何完成實時消息傳遞的?幾十萬臺服務(wù)器,成千上萬個應(yīng)用順暢協(xié)作和消息實時傳遞都離不開分布式消息中間件RocketMQ。長久以來,RocketMQ易于部署、高性能、高可用的架構(gòu),支撐了數(shù)十年來集團內(nèi)外海量的業(yè)務(wù)場景。2016年,阿里巴巴宣布將開源分布式消息中間件RocketMQ捐贈給Apache,并一舉成為Apache頂級項目(TLP)。一個由中國開發(fā)者發(fā)起的項目,站在了一個世界的舞臺上,受到全球的企業(yè)和開發(fā)者關(guān)注。RocketMQ深受開發(fā)者歡迎,多次斬獲行業(yè)大獎,究竟是怎樣的一群人讓這一項目不斷迸發(fā)出蓬勃的生命力?
這是一個從誕生第一天起就在GitHub上開發(fā)的開源項目,也是中國第一個非Hadoop生態(tài)的Apache頂級項目。它統(tǒng)一了阿里集團內(nèi)部所有業(yè)務(wù)線的消息中間件,伴隨著中國互聯(lián)網(wǎng)發(fā)展數(shù)次迭代。
《十萬億條消息背后的故事》記錄了從誕生、開源到發(fā)展至今,那些RocketMQ背后鮮為人知的創(chuàng)始故事。通過「開源人說」的娓娓道來,讓我們一起來了解分布式消息中間件Apache RocketMQ背后的人與事!
雙11,RocketMQ抖一抖,上層業(yè)務(wù)“抖三抖”
早在2007年,阿里巴巴中間件團隊就自主研發(fā)了消息中間件Notify。作為RocketMQ的前身,在很長一段時間里,Notify作為主要的消息中間件支撐著淘寶天貓業(yè)務(wù)。
Apache RocketMQ的創(chuàng)始人王小瑞于2011年加入到淘寶中間件。當(dāng)時面臨最大挑戰(zhàn)是,每年“雙11”Notify都會出問題,使得消息會延遲半天甚至一天以上,商家看不到買家已經(jīng)購買了商品,這對于商家服務(wù)以及客戶體驗的影響非常大。在縝密研判后,發(fā)現(xiàn)問題核心就是如何能夠?qū)崿F(xiàn)高速讀寫,王小瑞所在的團隊認為想要解決這一問題,就需要基于一個全新存儲架構(gòu)來解決這個問題。于是,RocketMQ誕生了。
RocketMQ誕生,一開始就是開源共建,3個月就出了第一個版本
王小瑞(Apache RocketMQ創(chuàng)始人&作者)說:“阿里的文化特別開放,我是在食堂跟小邪(現(xiàn)阿里云基礎(chǔ)產(chǎn)品事業(yè)部負責(zé)人)吃飯的時候,說我們希望這個產(chǎn)品名字叫RocketMQ,希望它可以一開始就是開源的。小邪當(dāng)時就給予了支持。”淘寶的文化也是馬上做,做精彩。如果你有想法,那你趕緊去做。所以我當(dāng)時其實做夢的過程中都在想這些問題該怎么解決。老板沒有定一個嚴格的時間點,說你必須在什么時間寫完,但我的想法是,我已經(jīng)想清楚了整個架構(gòu),需要把它快速實現(xiàn)出來。”
從第一天開始,RocketMQ就在Github完整展現(xiàn),也就是說RocketMQ的第一行代碼對用戶就是開放的。在非常多國內(nèi)外開發(fā)者的共同參與下。RocketMQ快速迭代,大概用了3個月時間就完成第一個版本。
2015年,中日韓開源論壇上,RocketMQ作為中國開源軟件的代表,榮獲CJK OSS大獎。
2016年“雙11”當(dāng)天,達到萬億級消息量,峰值TPS幾千萬,創(chuàng)造了國內(nèi)乃至世界上最大的消息流轉(zhuǎn)記錄。
RocketMQ捐贈,僅用一年,成為Apache頂級開源項目
在阿里巴巴建立之初,正是基于開源軟件將整個電商平臺的原型快速搭建起來。阿里巴巴感恩開源社區(qū)帶來的巨大貢獻與價值,也希望將自身經(jīng)驗分享出來、回饋社區(qū),讓更多的人受益。
2016年,阿里巴巴將分布式消息中間件RocketMQ捐贈給了Apache開源軟件基金會。僅用10個月時間就從Apache畢業(yè),并成為Apache頂級項目(TLP)。這也標志著中國擁有了第一個非Hadoop生態(tài)的頂級項目。
(2017年9月25日,從孵化到畢業(yè)10個月左右的時間,Apache官方正式宣布阿里巴巴捐贈給Apache社區(qū)的RocketMQ從社區(qū)正式畢業(yè),成為了Apache頂級的項目。)
Apache RocketMQ社區(qū)運營負責(zé)人王榮剛說:“我們終于完成了一個階段性的小目標,一個由中國開發(fā)者發(fā)起的項目,站在了一個世界的舞臺上,受到全球的企業(yè)和開發(fā)者的關(guān)注,那種感覺還是非常自豪的。”
2021年,RocketMQ 5.0正式發(fā)布
2021年,在經(jīng)歷社區(qū)眾多開發(fā)者的不斷努力,RocketMQ 5.0出現(xiàn)在行業(yè)視野中,并引發(fā)廣泛討論。新版本核心包括兩大新亮點。首先,消息核心場景全面擴展,RocketMQ 5.0不再局限于消息解耦場景,將全新布局事件驅(qū)動和消息流式處理場景;其次,技術(shù)架構(gòu)不斷演進,逐漸形成一站式融合處理的技術(shù)架構(gòu)和趨勢。
2022年,批量消息索引、邏輯隊列發(fā)布RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成從業(yè)務(wù)消息平臺向『消息、事件、流』一體化融合處理平臺的升級。開發(fā)者可以實現(xiàn)一份消息存儲,支持流式計算、異步投遞、集成驅(qū)動等多個場景。實現(xiàn)技術(shù)問題一站式解決,大大降低技術(shù)復(fù)雜度和運維成本,簡化企業(yè)應(yīng)用架構(gòu)。
阿里巴巴開源委員會副主席丁宇表示:“未來,我們會加大RocketMQ的開源投入,構(gòu)建更加繁榮的社區(qū)生態(tài),希望與更多的開發(fā)者、貢獻者一起,追求極致、開放共享,實現(xiàn)技術(shù)普惠。”
正是因為有這樣一群熱愛開源并愿意為它一直奮斗的開源人們,讓中國的開源事業(yè)未來可期!
