近日，在2020中國系統架構師大會上，騰訊云數據庫技術負責人雷海林圍繞騰訊云數據庫異構多源同步遷移技術方案進行了分享。“數據庫未來一定是向分布式方向發展，數據庫核動力升級的時代即將到來。”雷海林表示。
國產化巨浪加速
從計算機出現開始，在各行各業的電子化發展過程中，傳統關系型數據庫都發揮著至關重要的作用，成為銀行、保險、證券、政務、醫療等各行業電子系統的核心基礎軟件系統。
而隨著云計算、數字互聯網等新一代技術變遷，近年來關系型數據庫也隨之發生變革，形成了從以國外商業數據庫為代表的傳統集中式數據庫，向以國內科技巨頭研發沉淀的分布式數據庫轉變的趨勢浪潮，以實現全行業技術的分布式轉型升級。國外傳統集中式數據庫，性能瓶頸明顯、成本消耗巨大，而基于云計算時代的彈性可擴展分布式數據庫，具備高性能低成本、彈性伸縮等優勢。從集中式向分布式遷移，好比柴油動力終將為核動力所替換。
對于國內產業機構而言，實現核心技術安全可控、降本增效也成為了產業升級下刻不容緩需要實施變革的問題。隨著近年來相關政府監管部門連續出臺重要指導政策，企業數據庫擺脫國外數據庫依賴、從國外傳統集中式數據庫向基于國產分布式數據庫遷移上云成為大勢所趨。國際權威咨詢機構Gartner在最新數據庫行業研究報告中指出，預計到2021年，云數據庫在整個數據庫市場中的占比將首次達到50%；而到2023年，75%的數據庫要跑在云平臺之上。
然而，由于數據庫關系數據安全命脈、遷移成本以及技術復雜程度高、新目標數據庫難以選型等問題，過去企業數據庫國產化進程仍處于逐步探索、推進過程中。騰訊云數據庫基于近年來大量豐富的數據庫遷移實踐，一方面沉淀了完善的云計算分布式數據庫產品系列，可適應廣泛的企業數據庫遷移轉型需求，同時沉淀打造出標準成熟、可驗證可復用的數據庫遷移解決方案——多源異構遷移同步解決方案DBbridge，并將其打造成平臺型能力，助力客戶實現數據庫平穩快速遷移，大幅降低數據庫遷移改造成本。
在這樣的基礎上，行業分布式技術轉型乘風破浪，數據庫國產化浪潮正加速推進，成為時代技術變革的重要推動。據統計，經過數年的發展，隨著數據庫底層能力的升級以及智能調度、智能診斷、異構遷移同步等周邊能力完善，截至2020年9月，騰訊云數據庫服務客戶數已經超50萬，其中還不乏擁有超過1萬個數據庫實例的客戶的存在，充分證明騰訊云數據庫系列產品能力以及數據庫遷移同步等服務能力具備領先優勢。
數據庫遷移的痛點
數據庫負責所有業務系統的數據存儲計算與交易，牽一發而動全一身。同時由于多年來基于生態封閉的傳統國外數據庫產品，系統兼容性程度復雜。更重要的是，作為系統架構轉型的關鍵支點，數據庫遷移一方面可實現安全可控，另一方面是需要幫助企業考慮如何應對在云計算時代未來業務和系統的數字化、多元化發展需求，因此數據庫的選型同樣至關重要。
由此種種，企業數據庫分布式轉型、國產化遷移過程中，面臨多個痛點。總結起來包括：
l遷移成本高，工作量大。人工操作數據庫遷移風險較高，遷移周期長，耗費的人力成本較高。
l數據庫遷移技術復雜。數據庫遷移對操作人員的技術水平要求較高，不僅需要掌握源數據庫的技術還有懂得目的數據庫的技術，并了解數據庫之間遷移技術。
l異構數據庫的兼容程度不好評估。源庫遷移到目的數據庫的對象兼容程度如何，應用SQL兼容程度如何，遷移改造的風險和難度如何量化評估。
l遷移過程無標準化流程。整個遷移過程復用程度低，沒有一個標準化的最佳實踐方案。
l目標數據庫選型困難。國產數據庫類型較多，無法快速選擇適合業務場景的數據庫類型。
數據庫更新迭代也容易
在對外開放核心技術產品，推動行業數據庫及系統技術架構轉型升級的產業化實踐中，騰訊云數據庫基于騰訊聯合生態內多年數據庫運維和工程師研發經驗的技術積累，將海量實例的數據遷移同步經驗與技術實踐沉淀成DTS-DBbridge數據庫遷移平臺，為行業提供簡單易用的數據庫遷移平臺。
具體來說，DTS-DBbridge數據庫遷移平臺以騰訊云數據庫多源異構數據遷移同步（MULTISRCSYNC）為技術核心，包含強大的自動化評估和改造工具、標準化的異構數據庫遷移流程方案等，從評估、選型、改造、遷移、校驗等每個環節，用戶都只需通過鼠標即可完成可視化操作，即可以實現高性能、高可用、高可靠的數據庫遷移，真正做到便捷、安全、易運維。
同時，騰訊云提供自研的多引擎云原生數據庫CynoSDB、金融級分布式數據庫CynoSDB（TDSQL）和分析型數據庫CynoSDB（Tbase）等完善的數據庫產品體系，可滿足云計算時代行業對數據庫的多種業務場景需求，為企業客戶提供完整的數據庫遷移改造解決方案。
DTS-DBbridge解決方案架構
數據庫遷移評估與決策
數據庫遷移前，DTS-DBbridge平臺首先將基于對原數據庫的數據分析，并結合企業實際業務規劃，進行包括兼容性、復雜度、工作量、遷移耗時等模塊數百個指標在內的可行性與最佳方案綜合評估，最終產生詳盡的遷移報告，以及針對每個企業的技術與業務規劃特點，輸出個性化數據庫整體解決方案。
在評估過程中，例如針對兼容性的評估，可精細化掃描識別哪些兼容、哪些不兼容，不兼容點將根據客戶要求評估并形成改造方案。
數據遷移準備與實施
完成評估與決策后，可基于DBbridge實施應用系統與源端數據庫，向目標端系統與數據庫進行遷移改造。
除了數據庫轉型升級的場景需求，事實上，為實現數據解耦及匯總的需求，企業日常同時存在基于數據遷移、分發、容災備份等訴求而進行多源異構遷移。針對以上場景，騰訊云數據庫DBbridge具備高性能、高一致、支持多種異構數據平臺的數據分發的特性，其支持以騰訊云數據庫作為源端的數據實時同步分發至 MySQL、Oracle、PostgreSQL、消息隊列等平臺，同時也支持以騰訊云數據庫作為目標端，將 MySQL或者 Oracle的數據實時同步至騰訊云數據庫中,并且部署靈活，支持一對多，多對一等多種復制拓撲結構。
多源同步模塊典型的基于日志的 CDC復制技術，其系統架構如下：
同時，基于高度標準化、平臺化的產品服務，DBbridge支持用戶可視化便捷操作，完成多源異構數據庫之間的結構遷移、增量同步。
結構遷移流程動圖
此外，騰訊云數據庫提供完善的服務保障，整體遷移方案采取平穩過渡，在服務交割遷移中，將采取原應用系統和新應用系統并行跑一段時間的措施，測試新應用系統沒有問題后，做正式的服務交割。
數據庫遷移自動化校驗
最后，在這一套同步的數據鏈路過程中，騰訊云DTS-DBbridge同時提供數據校驗的服務，以保證多活基礎上數據遷移同步的一致性、可靠性。主要包括兩個方面：一是增量校驗，含義就是會實時校驗這一筆數據從源端抽取，到它的增量變化，再到寫到目標端之后，這筆數據落庫落得準不準確，是不是在正確的目標上寫下這筆數據；二是存量校驗，可能是一些定時定期去跑批，比如說定期對源和目標的數據進行整體的校驗，以能夠主動及時地發現整個數據通路上的問題和錯誤。
基于數據同步的跨城雙活架構：
首先左邊和右邊代表不同的城市，這里舉例左邊是深圳，右邊是上海。從圖上可以看到，騰訊云CynosDB(TDSQL)在SZ這套實例會將業務不斷寫入的增量數據源源不斷地寫入本城的消息隊列里面。對城的SH也會將自己業務訪問的增量數據源源不斷寫到消息隊列里面，同時在各個城市有一套自己的消費服務，這套消費服務會拉取對端的增量數據，也就是說會拉對城的消息隊列里面的增量數據進行重放，這樣就實現了兩套基于數據同步的一套跨城雙活。這個雙活是有前提條件的——就是兩套業務在SZ和SH同時寫的時候，它的訪問主鍵一定是分離，在這一套邏輯下面沒有辦法做到同時對同一條主鍵進行修改。
數據庫遷移高可用多源同步
安全問題是數據庫遷移考慮的重中之重。值得一提的是，基于多源同步的方案實踐，還能實現數據庫遷移中的安全風險控制。因為準實時的數據同步分發與雙向數據遷移等性能特性，使得多源同步服務輕松實現了解耦與風險控制，保障系統持續可用。
數據庫遷移涉及大量核心數據信息，“快”和“穩”缺一不可。多源同步服務作為騰訊云數據庫內置功能特性，在數據庫國產化轉型實踐中久經驗證，至今助力超過600家金融政企機構數據庫國產化遷移投產。
以某省廣電局遷移案例為例，騰訊云多源同步遷移服務通過重新部署業務系統的遷移方式，從遷移準備、遷移評估、方案設計、資源準備及數據庫改造、遷移實施、結果驗證一共只使用30天。其中最為關鍵的資源準備及數據庫改造環節用時7天！將客戶的業務系統數據庫從Oracle遷移到CynosDB(TDSQL)，CynosDB(TDSQL)的性能滿足了客戶面臨的現有的業務壓力。而業務系統遷移過程中對數據完整性保障，為后續新業務系統運維提供了良好的數據基礎。
而在一些金融級高度敏感業務系統遷移實踐中，CynosDB(TDSQL)很好地實踐了兼顧性能和安全的遷移服務策略。以張家港行核心系統數據庫遷移為例，張家港行聯合騰訊云及系統建設方長亮科技，充分結合銀行傳統業務與互聯網業務的場景差異，對業務邏輯進行重新設計，以完成新一代核心系統應用兼容性改造和數據庫升級優化。同時，依托騰訊云提供的異構數據庫同步方案，三方還實施了CynosDB(TDSQL)和集中式數據庫數據準實時同步的策略，作為兜底方案。值得一提的是，這個雙版本同步兜底方案，最終無需派上用場，新核心系統系統平穩上線，順利投產。
