在9月16日召開的“2022 OSCAR開源產(chǎn)業(yè)大會”上，中國信息通信研究院發(fā)布了一系列開源研究成果和開源表彰，網(wǎng)易數(shù)帆發(fā)起的開源項(xiàng)目Apache Kyuubi榮獲“OSCAR尖峰開源項(xiàng)目及開源社區(qū)”，有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH榮獲“OSCAR尖峰開源技術(shù)創(chuàng)新（二次開發(fā)）”。
此外，網(wǎng)易數(shù)帆發(fā)起的云原生開源項(xiàng)目Slime和Curve分別獲得了“可信開源社區(qū)共同體（TWOS）”和“TWOS 銀河計(jì)劃成員”的授牌。
“OSCAR開源尖峰案例”評選旨在為開源產(chǎn)業(yè)發(fā)展立標(biāo)桿、樹典范，已開展多年，可謂中國開源領(lǐng)域的奧斯卡，可信開源社區(qū)則致力于推動開源社區(qū)發(fā)展和落地應(yīng)用。網(wǎng)易數(shù)帆獲得權(quán)威評選的認(rèn)可，再次證明了公司構(gòu)建的開放式大數(shù)據(jù)架構(gòu)的先進(jìn)性，及踐行“架構(gòu)開放，內(nèi)核開源”理念的決心。
Apache Kyuubi：社區(qū)成熟，畢業(yè)可期
Kyuubi作為一個(gè)封裝SparkSQL的服務(wù)誕生，將多租戶、高可用和分布式等企業(yè)級特性引入開源大數(shù)據(jù)的世界，因其實(shí)用性受到了社區(qū)用戶的關(guān)注。2021年6月，Kyuubi項(xiàng)目進(jìn)入Apache軟件基金會孵化，并在Apache Way的指引下實(shí)現(xiàn)了更快的發(fā)展速度。依托本身的架構(gòu)設(shè)計(jì)，Apache Kyuubi快速迭代，在Spark之外完成了Flink 、Trino（Presto）、Hive 等主流計(jì)算框架的支持，成為一個(gè)面向Serverless SQL on Lakehouse的服務(wù)，支持更加豐富的大數(shù)據(jù)場景應(yīng)用，并被網(wǎng)易、阿里云、騰訊云、小米、華泰證券、廣發(fā)證券、丁香園、eBay、T3出行、攜程、愛奇藝、嗶哩嗶哩、womply、Houzz、kt NexR等國內(nèi)外近百家企業(yè)采用。
在網(wǎng)易數(shù)帆的開放式大數(shù)據(jù)架構(gòu)中，Apache Kyuubi被視為統(tǒng)一SQL網(wǎng)關(guān)，用以屏蔽整個(gè)體系中不同存儲、計(jì)算/查詢引擎的差異，為數(shù)據(jù)中臺提供支撐。
Apache Kyuubi的演進(jìn)得益于社區(qū)的成熟，經(jīng)過不到15個(gè)月的孵化，社區(qū)已經(jīng)擁有93位代碼貢獻(xiàn)者，其中來自網(wǎng)易外部的貢獻(xiàn)者占比超過了80%，充分體現(xiàn)了社區(qū)驅(qū)動的力量。最近，Apache Kyuubi被中國開源軟件推進(jìn)聯(lián)盟主編的《2022中國開源發(fā)展藍(lán)皮書》和InfoQ研究院編撰的《中國開源發(fā)展研究分析2022》列為中國開源大數(shù)據(jù)基礎(chǔ)設(shè)施的代表。而今，在整個(gè)社區(qū)堅(jiān)持不懈的努力下，Kyuubi從Apache基金會畢業(yè)可期，成為基金會頂級項(xiàng)目的目標(biāo)不再遙遠(yuǎn)。
對于Apache Kyuubi的項(xiàng)目表現(xiàn)和社區(qū)發(fā)展態(tài)勢，OSCAR評委專家均給予高度認(rèn)可。
NDH：我左Spark，右Impala，Kyuubi在上面
作為一款企業(yè)級大數(shù)據(jù)基礎(chǔ)平臺，網(wǎng)易數(shù)帆有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH的核心特點(diǎn)，一是兼容并增強(qiáng)Hadoop體系組件，二是完全自主掌握核心代碼，這對于企業(yè)從原有大數(shù)據(jù)平臺平滑遷移、滿足自主可控要求來說都很重要。更為重要的是，有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH基于最新開源技術(shù)打造，在業(yè)務(wù)支撐能力及性能上有更加出色的表現(xiàn)。
有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH內(nèi)置多種存儲計(jì)算引擎，并在Hadoop、Spark、Impala等多個(gè)核心組件做了功能及性能增強(qiáng)（例如在Impala上實(shí)現(xiàn)虛擬數(shù)倉特性），還新增了智能運(yùn)維和任務(wù)治理能力，支持企業(yè)級安全管控。這些能力的增強(qiáng)正是大規(guī)模生產(chǎn)落地的結(jié)晶，獲得了評委專家的肯定。
有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH原本作為網(wǎng)易數(shù)帆數(shù)據(jù)中臺的底座提供，因市場需求，于今年6月作為單獨(dú)的產(chǎn)品發(fā)布，此舉也曾引發(fā)業(yè)界熱議——網(wǎng)易數(shù)帆為何進(jìn)軍這門“不好的生意”。然而，這款產(chǎn)品在Impala和Kyuubi方面的積累和優(yōu)勢讓從業(yè)者印象深刻。目前，有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH已應(yīng)用于銀行、證券、流通、制造等行業(yè)三百多家企業(yè)客戶生產(chǎn)環(huán)境。
Slime和Curve：持續(xù)完善開源云原生基礎(chǔ)設(shè)施
Apache Kyuubi和有數(shù)大數(shù)據(jù)基礎(chǔ)平臺NDH是網(wǎng)易數(shù)帆開放式大數(shù)據(jù)架構(gòu)的開源項(xiàng)目和商業(yè)產(chǎn)品代表，Slime和Curve則是網(wǎng)易數(shù)帆開源云原生基礎(chǔ)設(shè)施的兩大支柱，分別填補(bǔ)了服務(wù)網(wǎng)格智能管理和國產(chǎn)高性能云原生存儲的空白。因其生態(tài)定位、架構(gòu)設(shè)計(jì)的獨(dú)特性以及社區(qū)發(fā)展前景，Slime社區(qū)和Curve社區(qū)分別受邀成為可信開源社區(qū)共同體（TWOS）成員和TWOS 銀河計(jì)劃成員，針對項(xiàng)目質(zhì)量、社區(qū)發(fā)展、商業(yè)模式等話題加強(qiáng)開源社區(qū)之間的交流協(xié)作，不僅完善開源云原生基礎(chǔ)設(shè)施生態(tài)，也助推國內(nèi)開源產(chǎn)業(yè)健康、快速發(fā)展。
未來，網(wǎng)易數(shù)帆將繼續(xù)秉承開放式思維擁抱開源，以扎實(shí)的產(chǎn)品實(shí)力和先進(jìn)的技術(shù)實(shí)力為后盾，團(tuán)結(jié)社區(qū)合作伙伴，持續(xù)為開源生態(tài)建設(shè)貢獻(xiàn)力量。
