剛剛獲悉,Apache基金董事會通過一致表決,正式批準分布式文件對象存儲Ozone從Hadoop社區孵化成功,成為獨立的Apache頂級開源項目。這意味著,作為騰訊大數據團隊首個參與和主導的開源項目,Ozone已得到全球Apache技術專家的一致認可,成為世界頂級的存儲開源項目之一。
Ozone 是Apache Hadoop社區推出的面向大數據領域的新一代分布式存儲系統,它的推出解決了Hadoop分布式文件系統在可擴展性上限方面的缺陷問題,能夠支持百億甚至千億級文件規模的存儲。
自1999年成立以來,Apache 軟件基金會已成功建立起強大的生態圈,其社區涌現了非常多優秀的開源項目,同時有越來越多國內外項目走向這個國際開源社區進行孵化。目前所有的 Apache 項目都需要經過孵化器孵化,滿足一系列質量要求之后才可畢業。Ozone從Hadoop社區孵化成功,不僅是項目本身的重要里程碑,也是對項目成員學習Apache Way和推動社區發展等一系列成果的認可。
今年9月,騰訊主導的Ozone 1.0.0版本在Apache Hadoop社區正式發布,標志著歷經了2年多的社區持續開發,Ozone 已經具備了在大規模生產環境下部署使用的能力。Ozone的設計,吸收和借鑒了很多HDFS的優點。同時支持兼容AWS S3協議的對象訪問接口,且兼容 Hadoop Compatible File System的分布式文件訪問接口。
Ozone構架圖
除了參與和貢獻社區,在0zone的應用層面,騰訊也走在前列。據了解,在騰訊內部,目前已經在對象和容器等一些場景使用了Ozone,并且獲得了內部用戶積極的好評反饋,后續也會持續將這部分經驗分享出來。
隨著1.0.0 的發布,騰訊參與和見證了 Ozone 孵化成為一個 Apache 頂級開源項目的過程。騰訊大數據團隊Ozone項目技術負責人陳怡也被社區推選為Apache Ozone 首位項目主席(Chair) ,同時項目團隊誕生了多位PMC成員和committer,帶領社區一起把Ozone向新一代大數據文件對象存儲系統推進。
Ozone的生態棧
“隨著Ozone 成為Apache 頂級項目,越來越多的貢獻者加入到社區的開發中。騰訊內部,一方面計劃在Ozone的基礎上,開發基于SCM的新一代高性能分布式文件系統;另一方面,持續推進 Ozone 在更多業務落地,部署更大規模的生產集群,進一步提高Ozone的可靠性、穩定性和性能,立志將Ozone打磨成為新一代文件對象存儲的標桿。”騰訊云大數據團隊Ozone項目技術負責人陳怡表示。
開源協同是當前騰訊最重要的技術戰略之一。以大數據團隊為代表的騰訊內部技術團隊經歷了從使用開源、回饋開源再到主導開源的演變。除了在Ozone項目上的貢獻之外,目前已完成了大數據核心能力全開源。如今,在Apache基金會的大數據項目上,騰訊已經為主流的Hadoop、Spark、Flink等項目貢獻了大量的特性和patch。
從各大開源基金會公開的數據來看,騰訊已經成為對開源社區貢獻最大的中國互聯網公司之一。