剛剛獲悉,全球最大的開源軟件基金會Apache軟件基金會正式宣布,Apache InLong成為成功從Apache孵化器畢業(yè)成為社區(qū)頂級項目,這也是Apache社區(qū)首個一站式大數(shù)據(jù)集成頂級項目。這個最初由騰訊捐獻給Apache社區(qū)的一站式海量數(shù)據(jù)集成框架,可以為大數(shù)據(jù)開發(fā)者提供百萬億級數(shù)據(jù)流高性能處理能力,以及千億級數(shù)據(jù)流高可靠服務(wù)。
這是繼騰訊開源項目 Angel 從 LF AI 基金會畢業(yè)成為世界頂級的 AI 開源項目之后,騰訊大數(shù)據(jù)團隊在開源領(lǐng)域創(chuàng)造的又一里程碑。作為國內(nèi)國內(nèi)大數(shù)據(jù)領(lǐng)域開源最全面的公司,Apache InLong畢業(yè)成為Apache頂級項目,將進一步鞏固騰訊在大數(shù)據(jù)領(lǐng)域的領(lǐng)先地位。
“我們很高興看到InLong踐行Apache Way,并以頂級項目的身份從Apache孵化器畢業(yè),”騰訊副總裁蔣杰表示:“騰訊致力于構(gòu)建開源生態(tài)系統(tǒng),讓全球開發(fā)者能夠平等便捷地利用開源代碼。作為騰訊最成功的開源項目之一,InLong廣泛應(yīng)用于騰訊內(nèi)部海量業(yè)務(wù)以及外部的金融、政府等關(guān)鍵業(yè)務(wù)。未來,騰訊將持續(xù)為社區(qū)貢獻我們的力量,攜手全球開發(fā)者共同構(gòu)建繁榮的大數(shù)據(jù)生態(tài)系統(tǒng)。”
據(jù)悉,Apache軟件基金會對所有的 Apache 項目都要嚴格篩選并經(jīng)過孵化器孵化,滿足一系列質(zhì)量要求之后才可畢業(yè)。從孵化器里畢業(yè)的頂級項目,表明該項目的社區(qū)和產(chǎn)品已根據(jù)ASF的精英流程和原則得到良好管理。
InLong中文名“應(yīng)龍”是中國神話中引流入海的神獸,意寓InLong在大數(shù)據(jù)社區(qū)生態(tài)中的價值:大數(shù)據(jù)接入集成。
InLong以騰訊內(nèi)部使用的TDBank為基礎(chǔ),依托萬億級的數(shù)據(jù)攝取和處理能力,將數(shù)據(jù)采集、聚合、存儲、排序數(shù)據(jù)處理的全流程整合在一起。不僅提供自動、安全、可靠和高性能的數(shù)據(jù)傳輸能力,還支持基于流式的數(shù)據(jù)分析、建模和應(yīng)用,幫助企業(yè)簡化數(shù)據(jù)處理的過程。
比如,InLong 作為一個基于SaaS 的服務(wù)平臺,用戶可以選擇主題的數(shù)據(jù)發(fā)布和訂閱,來輕松快速地報告、傳輸和分發(fā)數(shù)據(jù),大幅降低了使用門檻。同時InLong可以為100萬億級數(shù)據(jù)流提供高性能處理能力,為1000億級數(shù)據(jù)流提供高可靠服務(wù),保障用戶享受到穩(wěn)定可靠的在線服務(wù)。
InLong支持多種數(shù)據(jù)訪問方式,包括不同類型的消息隊列服務(wù)集成和實時數(shù)據(jù)提取、轉(zhuǎn)換、加載以及基于規(guī)則的排序功能;在服務(wù)方面,InLong為用戶提供統(tǒng)一的系統(tǒng)監(jiān)控和告警服務(wù)。通過細粒度的指標來促進數(shù)據(jù)可視化,用戶可以在統(tǒng)一的數(shù)據(jù)度量平臺中直接查看隊列的運行狀態(tài),大大提高了業(yè)務(wù)的主動性。
實際上,在騰訊內(nèi)部InLong項目原名TubeMQ,主要專注于高性能、低成本的消息隊列服務(wù),并長期服務(wù)微信支付、騰訊視頻、廣點通等產(chǎn)品。為了進一步釋放TubeMQ周邊的生態(tài)能力,騰訊將項目升級為InLong,專注打造一站式海量數(shù)據(jù)集成框架。該項目于2019年11月進入 Apache 孵化器,2022 年6月畢業(yè)成為頂級項目。
目前, Apache InLong已經(jīng)發(fā)布第12個版本,騰訊大數(shù)據(jù) InLong 團隊和社區(qū)開發(fā)者一起,在孵化期間不斷更新和完善其功能,比如重構(gòu)InLong Sort模塊、新增數(shù)據(jù)節(jié)點、優(yōu)化初始化流程等,為社區(qū)和企業(yè)提供更多元化的開放解決方案。與此同時,InLong正在廣泛應(yīng)用于廣告、支付、社交、游戲、人工智能等各個行業(yè)領(lǐng)域,為多領(lǐng)域客戶提供高效化便捷化服務(wù)。
“InLong的畢業(yè),標志著一個開放、多元、成熟的開源社區(qū)的成功建立。在未來的征程中,項目將繼續(xù)踐行“Apache Way”,通過社區(qū)的共同努力,助力更多企業(yè)數(shù)字化轉(zhuǎn)型。”Apache InLong 副總裁 Charles Zhang 說。
“恭喜 Apache InLong 作為 ASF TLP 畢業(yè)!” NextArch 基金會 TOC 的 Mark Shan 說。 “InLong降低大數(shù)據(jù)使用門檻,期待InLong為社區(qū)和企業(yè)提供更多元化的開放解決方案。”
騰訊作為國內(nèi)最早擁抱開源的科技公司之一,截至目前在 Github 上共發(fā)布了超過 160 個開源項目,獲得了超過 40 萬名開發(fā)者的關(guān)注和 Star,穩(wěn)居全球開源企業(yè)貢獻榜前十。目前,騰訊已經(jīng)是 Apache 基金會、linux 基金會、CNCF、開放原子基金會等國際頂級開源基金會的重要成員,并向開源基金會捐贈了Angel、TubeMQ、TKE Stack、Tencentos Tiny 等項目。在Apache基金會的大數(shù)據(jù)項目上,騰訊已經(jīng)為主流的Hadoop、Spark、Flink等項目貢獻了大量的特性和patch。在內(nèi)部開源協(xié)同和自研上云戰(zhàn)略驅(qū)動下,騰訊將會通過騰訊云,開放更多的大數(shù)據(jù)以及AI領(lǐng)域的產(chǎn)品化能力,為更多開發(fā)者提供低成本、高性能的開發(fā)工具。