當前,云上辦公、云上交易,云上數字運營已成為主流,不把業務部署到云端,仿佛跟不上時代的步伐。而對企業來說,構建統一的數據底座,才能讓數據供應和業務端更高效、更安全、更易共享。隨著技術的日新月異,上云已非難事,但異構數據庫(轉換數據庫類型)遷移上云在業界仍是一個巨大的挑戰。
華為公司是多業態、長鏈條、全場景的企業,在20年前就開始使用數據庫,遍布了研發、供應、財經、行政等領域,有離線場景、實時場景、數倉等使用場景,這些場景使用主流商業數據庫居多。隨著數字化轉型進程加快,華為公司流程IT攜手華為云數據庫尋求云上轉型。
對于擁有海量數據、多種數據庫類型、數據庫專家云集的華為公司流程IT來說,上云也并非易事。業界盛行“兩條腿”走路原則,既要多快好省又要安全穩定可靠,當然華為公司也不例外。面臨新的異構數據庫,既希望性能大幅提升,也要安全穩定,于是華為公司流程IT選擇將業務搬遷至華為云數據庫RDS與GaussDB,而兼容性和性能是異構數據庫遷移最大的難題。
遷移數據庫如同搬家,直接搬不太可行,需要先搬“房子主體”,再搬“房子里的家具”等,其中涉及的遷移問題不僅繁雜,而且不能出差錯。尤其是令人頭疼的兼容問題,不但涉及到結構遷移、語法轉換、SQL轉換等復雜操作,對數據庫性能要求也很高。
騰云而出,華為云UGO為自動化搬遷而生
首先華為云數據庫聯合華為公司流程IT對業務進行全面評估,華為公司數據庫有數十萬張表,10萬級的存儲過程,存儲過程的代碼超過億級,幾十萬個任務調度,遷移數據量高達數TB。經評估后,應用手動改造工作量巨大,需要成熟的企業級端到端對象遷移或者是評估工具,來提升異構數據庫遷移轉化率。
華為云推出的數據庫和應用遷移 UGO則為異構數據庫對象遷移和應用遷移而生。通過預遷移評估、自動化語法轉換,幫助用戶提前識別遷移風險,提升遷移效率,最大化降低用戶的數據庫遷移成本。華為云數據庫給出了三步走的遷移方案,通過華為云UGO評估并轉換異構數據庫語法進行語法遷移,再通過華為云數據復制服務DRS基于日志的實時變化數據捕捉,進行數據遷移,最后通過華為云DRS數據校驗保證數據一致性。
使用的關鍵技術有:1)遷移工作量評估:依據海量業務場景下的實際人力遷移成本作為評估基線,依據大量業務場景自動化遷移過程,累計遷移工作量作為輸入,同時結合代碼量、轉化率、不兼容特性改造難度,方便客戶對遷移工作有一個具體的量化感知。2) 應用SQL遷移:通過采集源庫SQL流量,并進行SQL動態轉換,將數據通過流量仿真回放形式遷移到目標庫中,提供自動錯誤定位和遷移校驗,遷移過程中訂正對象清晰明確。同時,通過對源庫進行遷移評估和SQL翻譯,并且輸出SQL翻譯報告,完成應用改造,最后遷移到目標庫。
神速之光,華為云UGO小時級完成搬遷
華為公司流程IT擁有數TB級別的數據量、數十萬存儲過程,單個庫的遷移周期從以天為單位縮短至小時級,減少了50%存儲過程改造成本,整體支撐主流商業數據庫500+個Schema遷移,節省了70%+工作量,遷移套數1000+。
在一般情況下,單個庫的遷移周期和各方面的評估需要1-2個月的時間,遷移周期也是按天計算,而UGO只需小時級就完成了遷移。華為云UGO消除了異構數據庫遷移難度大、周期長、成本高等問題,高效地支撐了華為公司流程IT數字化轉型。此外,上云后實現了數據庫分鐘級擴容、數據秒級入庫,解決了傳統數據庫擴展難及數據入庫壓力大的問題,可支撐邏輯庫億級別的數據量。微服務化改造后,預期可支撐2年的業務數據增長。
近期,華為云數據庫應用遷移解決方案順利通過信通院“數據庫應用遷移服務能力”評測,成為國內首批通過該項的商用數據庫遷移方案,成功取得了國內首批評測最高級別的成績。未來,華為云UGO將會不斷創新,持續構筑技術硬實力,為客戶提供更簡單易用、高效可靠的遷移方案。