在剛剛結束的第十二屆數據技術嘉年華上,CCF數據庫專委會副主任、openGauss社區技術委員會主席、清華大學計算機系副主任李國良發表了《openGauss:聚焦數據庫內核創新,共建開源數據庫根社區》的主旨演講。李國良提到,盡管經過50多年的發展,數據庫發生了翻天覆地的變化,但數據庫向下充分利用硬件資源發揮算力優勢,向上支撐各種不同應用繁榮創新卻是持續不變的。
CCF數據庫專委會副主任,openGauss社區技術委員會主席,清華大學計算機系副主任、長聘教授 李國良
“從原來的單一模態到多模態發展、從原來基于人的信任機制到通過技術保證數據的安全性、從原來的集中式數據庫到分布式數據庫,數據庫產業正隨著技術的不斷演進呈現多元融合的發展態勢。”李國良如此說道。
然而,技術的創新應用不僅帶來了數據庫的繁榮發展,也使得我們不得不面臨來自大容量高性能、高可用、智能優化、安全等方面的挑戰。對此,李國良提到,一直以來,openGauss圍繞核心技術的創新和探索、建立國產數據庫的根社區、以引領性和創造性推動數據庫產業發展三大使命持續創新和突破數據庫領域核心技術。
圍繞“四高”構筑企業級開源數據庫競爭力
李國良表示,自2020年6月開源以來,openGauss一直圍繞高性能、高可用、高智能、高安全突破創新數據庫核心技術,構筑數據庫內核創新競爭力,并向開源社區持續貢獻核心技術,致力于打造企業級開源數據庫。
例如,在高性能方面,從原位更新(in-place update 引擎)到全局的緩存管理、從計劃管理到并行查詢優化和并行度自適應等技術持續提升數據庫性能;在高可用方面,通過資源池化共享存儲、分布式共享內存,進一步提高資源利用率;在高智能方面,基于DBMind自治平臺的多指標關聯性分析,實現運維效率倍數提升;在高安全方面,通過軟硬件協作處理,實現數據可用不可見等。
前不久,openGauss 5.0版本已經正式上線。該版本與之前的版本功能特性保持兼容,在內核能力、工具鏈、兼容性方面得到了全面增強。不僅如此,聚焦“四高”,openGauss 5.0版本也實現了全面優化和進階。
在高性能方面,智能基數估計能夠提升統計信息準確率;分層自適應并行查詢技術能夠結合數據庫資源情況、實際執行環境可用資源負載情況,最大化當前SQL可用并行度。同時,還可以利用分層估算模型,合理利用資源,實現多層級并行度自適應調整;在線SQL Patch技術無需修改業務語句,通過調用數據庫提供的接口,便可以對指定的查詢語句模板進行hint調優,將復雜的SQL計劃調優時間從數天降低到秒級,實現應用無需變更調整。
在高可用方面,基于Paxos的多層級高可用架構,支持Logger節點,降低部署成本;資源池化架構實現存儲利用率倍增,多節點實時一致性數據讀取;并行邏輯解碼深度優化,使得多活場景下復制效率倍數提升。
在高智能方面,基于庫內原生AI引擎的分層式混合洗牌算法通過添加算子的方式,在存取塊和內存元組兩個維度對I/O數據進行并行洗牌,在避免了完全數據洗牌的同時保證了機器學習算法的收斂速度,大大提升了效率。
在高安全方面,基于注意力機制的異常行為檢測技術,能夠精準捕捉攻擊行為;基于標簽的訪問控制,保證機密數據管控安全,防護等級更高。
openGauss開源創新永不停歇
openGauss自開源以來,已經在技術、生態、商業和社區治理方面獲得了快速發展。截至目前,已有230多家企業和機構加入社區,4500多名開發者參與社區貢獻,下載量突破160萬次,并且面向金融、政府、電信、能源、制造、交通等行業提供了500多個行業解決方案。
以某大型商業銀行的數字銀行變革實踐為例,該銀行從2019年底立項開始新一代分布式個人核心系統建設,并在2020年選型openGauss作為核心數據管理系統,經過3年的開發與建設,在2022年實現了原核心業務和用戶全量平滑遷移到基于openGauss個人核心系統的目標,使得結息總時長降低82%,國際匯款交易時間縮短50%,有效支撐了6.5億用戶、18億帳戶、4萬個網點的實時業務交易。
在李國良看來,這是全球首家大型商業銀行基于通用硬件和開源數據庫開發的個人核心交易系統。同時,也是新技術帶來的新價值、新服務和新增長點。“通過持續的行業實踐,希望不同行業的客戶能夠借助openGauss提升業務運行效率,并通過數據庫內核安全可信的能力,保障業務持續穩定、安全可靠地運行。不僅如此,openGauss還希望通過積極推進產學研用,打造數據庫根社區,與合作伙伴一起共同服務行業客戶。”李國良如是說。
事實上,開源開放、協同創新是openGauss社區生態日漸繁榮的秘訣。而基于共建、共享、共治的理念,openGauss開源社區在社區孵化、治理等方面也在逐步升級與完善。與此同時, openGauss開源社區還通過聯合企業、高校、獨立開發者等多方力量,構建了開源數據庫根社區,筑就了社區技術核心競爭力,將中國開源數據庫推上了新的高度。
在筆者看來,作為IT系統的核心,數據庫需要長期的戰略投入、軟硬件的技術積累、經得住考驗的產品、完善的技術支持以及成熟開放的生態。這些是數據庫廠商能否持續為客戶提供更好的產品和服務的關鍵所在,也是數據庫產業發展非常重要的一環。