日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

數字化、自動化、智能化的主旋律下,架構的進化也在提速。在近日舉辦的ArchSummit全球架構師峰會上,網易數帆高級技術專家、資深架構師裴斐和網易數帆高級技術專家周勁松分別分享了云原生業務改造和數據湖實時化的最新架構實踐。

業務架構:“縱”“橫”整合,云原生賦能業務改造

云原生是架構的未來,然而傳統業務系統向云原生演進面臨諸多痛點:在業務側,存量業務改造不易,需要面對部署、網絡、運維管控等復雜因素;在技術側,云原生基礎設施能力尚存不足,并且在遷移演進過程難以做到平滑、無感知。

為此,網易數帆提出了“縱”“橫”架構實踐。裴斐介紹,“縱”是解決技術難題,保障各類業務可落地,從時間線角度,分經典技術棧(如Spring Cloud,Java 代理流量網關),新晉技術棧(如服務網格、多運行時),持續推進技術能力建設;“橫”則是解決場景難題,保障各種場景可支撐、可演進、穩定性,一則擴大平臺覆蓋業務場景的?度,提升復雜場景支撐能力,二則解決業務架構演進各階段的支撐難題,如新老共存、互通、穩定性等。

以較為典型的微服務為例,在縱向技術方面,需要分別從微服務框架、服務網格入手,解決微服務框架的痛點與進化,以及服務網格的易用性與性能穩定性提升;橫向業務方面,要實現從微服務框架到服務網格的平滑演進。

具體而言,引入微服務框架面臨適用范圍有限、對業務侵入性大、引入框架帶來的負擔重、框架的升級成本高、治理能力有限、與云原生架構演進沖突等痛點。網易數帆微服務框架的“縱向進化”,通過應用性能監控(APM)慣用的無侵入 Java Agent 技術實現,核心是將傳統微服務框架需要引入到業務代碼的諸多框架以字節碼增強的方式整合在一個 Java Agent 中,實現了服務治理能力邏輯不侵入業務代碼,最終業務可以一鍵接入服務注冊發現、熔斷降級、限流、監控、配置等全套微服務治理能力。

微服務的另一個縱向技術服務網格則更為復雜,網易數帆聚焦于業務平滑接入和大規模業務集群支撐能力的打造,對于前者打造多協議支持、流量治理、核心組件熱升級、治理能力增強及Envoy 網關等能力,對于后者實現了數據面性能、穩定性提升,控制面大規模集群支撐和多級容災能力。

在“橫向業務”上,從微服務框架遷移到服務網格,需要多注冊中心、統一控制協議、無侵入Agent的能力,解決服務間互相發現和訪問、Agent和Sidecar統一配置與管控、架構升級支撐等問題。網易數帆提出了一個雙引擎多模式服務治理的平臺理念,用來指導微服務技術、架構相關的平臺建設工作,支持遺留業務、融合形態業務以及新開發業務之間的互相發現、互相調用、統一治理,涵蓋了Agent 模式、Sidecar 模式、Agent+Sidecar模式、多運行時模式、SDK 模式等多種治理模式。

裴斐最后總結了“縱”“橫”架構整合過程的“三字訣”。首先是“快”,架構決策要果決和長遠,制定面向未來的架構決策,時機把控上有效切入。其次是“深”,要對核心技術進行深耕,對架構演進過程中涉及的多種技術,能夠深入掌控,以不變應萬變。最后是“穩”,不管是初態、中間態、終態,架構演進方案要穩字當先,逐步演進。

數據平臺:流批一體,數據湖融合實時場景

數據開發模型同樣面臨整合與平滑演進的問題。經典的Lambda架構,是企業在離線鏈路技術率先成熟的背景下低成本完成大數據實時化的得力助手,然而流批分割的硬傷終究隨著數據規模的增加和業務實踐的深入而爆發,如數據孤島、研發體系割裂、指標和語義二義性等,因而流批一體、湖倉一體成為近年來新的追求。

如何在既有數據平臺的基礎上平滑、低成本地實現這一架構演進?網易數帆為此提出了格式兼容、引擎平權的架構思想,打造流式湖倉服務(Streaming LakeHouse Service),即在主流數據湖表格式(Iceberg、Delta、Hudi等)之上用一個表服務層將數據湖與各引擎橋接,支持流批一體,并形成了開源項目Arctic。

對于Arctic,格式兼容是指百分百兼容 Iceberg / Hive 的表格式和語法,引擎平權則是同時支持 Spark 和 Flink 讀寫數據,以及 Trino/Impala 查詢數據。周勁松介紹,Arctic通過實時數據更新、流批一體功能封裝等兩大能力集的打造,不僅支持流批混用場景,更解決了湖倉數據管理和優化等一系列功能、性能問題。前者包括支持主鍵定義、提供唯一性保障、結構自優化保障讀寫效率等,后者包括毫秒級延遲的實時寫入/讀取接口、分鐘級延遲的批量寫入/讀取接口、Flink/Spark/Trino等引擎支持等。

其中,支持主鍵定義是Arctic與數據湖表格式配合的一個關鍵創新,不僅有助于實現更加優化的 CDC,主鍵唯一性約束也是Merge on read(讀時合并)和optimize的基礎,無論對于數據管理還是性能保障都至關重要。

在Optimize層面,Arctic的優化器通過Minor Optimize和Major Optimize相結合,分別對變更數據和基礎數據進行優化(湖倉表數據變更通過三元組的元數據中心感知)。

此外,Arctic還提供了文件索引、hidden queue、多寫一致性保障等功能,來確保這一架構在業務落地。

周勁松介紹,在某業務推送營銷分析中,通過Arctic技術的引入,業務將批量分析切換到實時生產,實現生產流程復用,并且優化報表響應時間獲得了10~100倍的提升。

小結

如同ArchSummit的主題——“升級架構思維,支撐業務發展”,無論業務架構還是數據平臺,網易數帆架構實踐緊扣業務發展需求,以前沿技術價值變現為目標,由此,技術攻關、架構整合、平滑演進成為現實的訴求。在此背景下,唯有苦練內功,深入理解技術本質,才能掌握架構思維的升級,進而滿足業務需求。

分享到:
標簽:業務發展 架構 實時 支撐 回顧 數據 ArchSummit
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定