日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

數字化轉型趨勢下,各行業對數據生產力的探索與追求逐步進入深水區。現實的問題是,企業數據倉庫存儲、數據湖多種技術并存的局面將長期存在,如何才能擺脫技術協同的內耗,讓大數據直通生產力的彼岸?

8月11日下午,網易數帆于線上舉辦企業級流式湖倉服務Arctic開源發布會,宣布以開源的Arctic完善現有數據湖底座,拓展數據平臺的邊界,改善產品、數據孤島和流程規范割裂帶來的低效和成本浪費,推動湖倉一體、流批融合落地,實現數據生產力,驅動業務價值。

Arctic開源:不魔改,不封閉,推動數據生產力落地

面對網易的多元化業務、多元化技術,網易數帆在推動數據生產力時遇到了文章開頭提到的問題,但網易數帆從基礎設施、數據研發、數據中臺到數據產品,建設了一套完善的大數據技術體系,并推廣應用到金融、零售、流通、制造等行業三百余家客戶。

網易數帆大數據產品線總經理余利華表示,這成果得益于網易數帆構建大數據體系時的兩大技術原則:開放式架構和開源。開放式架構采用模塊化設計和大量開源組件實現,這使得該體系能力全面、生命力強,同時建設成本低。當然這也帶來了使用復雜、維護復雜的問題,而網易數帆通過融入開源社區解決這個問題,典型的如通過開源Apache Kyuubi構建統一SQL網關,為數據湖提供統一的入口。

網易數帆大數據產品線總經理 余利華

參與到金融行業數字化轉型,讓網易數帆發現了新的挑戰:金融企業希望融合實時數據湖與數據倉庫,打造實時數據中臺支撐其數字化業務創新。這本質上正是湖倉一體的思路,但目前的主流數據湖技術等只解決了更新、大表訪問性能、流式消費等問題,仍然遺留小文件導致性能損耗、兼容性和流失更新等性能和易用性相關問題,而開源社區尚未出現對應的解決方案。這就是網易數帆研發并開源流式湖倉服務Arctic項目的直接原因。

Arctic 是搭建在 Apache Iceberg之上的流式湖倉服務(Streaming LakeHouse Service)。通過 Arctic,用戶可以在 Flink、Spark、Trino 等引擎上實現更加優化的 CDC、流式更新、OLAP 等功能, 結合數據湖高效的離線處理能力,Arctic 能夠服務于更多流批混用的場景;同時,Arctic 的結構自優化、并發沖突解決以及標準化的湖倉管理功能,可以有效減少用戶在數據湖管理和優化上的負擔。

余利華表示,秉承開放式架構原則,Arctic立足開源數據湖,拒絕魔改,不綁定計算引擎,注重與傳統數倉Hive的兼容。這是繼SQL統一入口之后,網易數帆大數據體系再次在存儲層面實現統一,這使得數據中臺體系可以無縫擴展到實時場景,企業數據生產力的發揮將不再被孤島所困擾。金融行業的應用實踐,也驗證了這一思路的價值。

Arctic設計:重塑成本、性能和數據新鮮度的平衡

網易數帆大數據實時計算技術專家、湖倉一體項目負責人馬進進一步介紹了Arctic項目的目標、特性、規劃以及給開源用戶帶來的價值。

馬進表示,Arctic的定位是流式湖倉服務,流式強調向實時能力的拓展,服務則強調管理、標準化度量,以及其他可以抽象到基礎軟件中的湖倉一體能力。

網易數帆大數據實時計算技術專家、湖倉一體項目負責人 馬進

當前數據湖技術雖多,提供的都是各種數據湖格式,而非真正的湖倉一體平臺。這些格式已經存在于企業環境,Arctic作為服務可以去適配不同的數據湖格式,使得企業無需擔心數據湖技術的選型問題,持續優化數據分析能力,也讓數據流管理變得簡單。

在能力上,Arctic不僅提供了基于主鍵高效地流式更新,數據自動分桶、結構自優化的特性,還支持將數據湖和消息隊列封裝成統一的表,實現比傳統方案更低延遲的流批一體,從根本上優雅地解決性能問題。另一方面,Arctic還提供流式數倉標準化的度量,dashboard 和相關管理工具,并為流批并發寫入提供事務性保障。

在架構上,Arctic設計簡潔,只有AMS、optimizer和dashboard三個組件,在數據湖和計算引擎之間提供湖倉一體落地所需的能力,但卻支持Spark和Flink讀寫Trino查詢,百分百兼容Iceberg/Hive的表格式和語法,這使得它的使用成本很低。

馬進還強調了Arctic定位的深層意義:“當我們將數據湖的能力拓展到實時場景,成本、性能和數據新鮮度三者的關系將呈現更為復雜和微妙的狀態,Arctic 的服務和管理功能,將為用戶和上層平臺理清這個三角關系。”

華泰證券:Arctic助力金融數智中臺實時湖倉完善

華泰證券大數據流計算技術專家陳豐介紹了Arctic在華泰數智中臺實時湖倉建設中發揮的作用。實時湖倉在華泰證券日內數據離線加工、實時關聯大量歷史數據、金融數據頻繁修正、統一埋點加工鏈路等方面具有極大的價值,然而當前數倉建設面臨流批鏈路分開建設、純實時業務邏輯復雜、數據存儲不統一、數據更新復雜以及演進難等五大問題。

華泰證券大數據流計算技術專家 陳豐

“業界給出了Iceberg、Hudi等解決方案,但我們業務、平臺需要的不僅僅是單一的開源數據湖組件。”陳豐說,華泰證券對實時數據湖建設設定了流批一體、高性能低延遲、兼容現有Hive/Impala等多重目標。

華泰證券與網易數帆合作,引入Arctic實現實時湖倉,并在融資融券、埋點日志運營等場景實現了良好的應用和出色的性能。例如融資融券場景包括了大量歷史數據聯合計算,使用流式計算實現邏輯復雜。從離線架構到實時架構,再到實時湖倉架構的升級后,整體實現邏輯明了,且端到端延遲時間從T+1天縮短到了T+20分鐘。

社區規劃:歡迎所有成員貢獻、分享、協作

馬進還介紹了Arctic開源社區的規劃,將為開發者、用戶等成員建立一個公開、自由的全球數據湖技術交流社區,所有成員可通過貢獻、分享、協作的方式參與社區。

共建企業參與計劃同步啟動,華泰證券作為 Arctic 開源社區的首家共建單位,在 Arctic 項目開源之初率先了加入社區參與建設,不僅作為用戶結合業務場景提供真實的使用反饋,也作為開發力量共同持續探索流式湖倉技術領域創新性功能。

未來,華泰證券將進一步繁榮 Arctic 社區生態,與Arctic 社區小伙伴一起,共同打造一款全球領先的流式湖倉服務創新產品,構建繁榮的數據湖倉生態圈。

分享到:
標簽:網易 開源 落地 推動 Arctic 湖倉一體
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定