又到了雙十一、雙十二、年終大促季，每年這個時候都是購物狂歡節，不僅促銷產品多、種類全、覆蓋面廣，促銷花樣也在不斷翻新，直播、砍價、優惠券、加價購等，令人眼花繚亂。當全國人民沉浸在買買買的自嗨中無法自拔時，考驗的不僅是百萬商家的戰略戰術，更是各種技術平臺的實力比拼，尤其是底層的數據庫，將迎來流量峰值期間的高并發和快速響應挑戰。
高并發業務場景下快速、彈性擴縮容挑戰
▲微盟產品和服務布局
以微盟為例，公司承載的是多渠道的廣告營銷業務，提供和各個細分領域相關的垂直SaaS解決方案及服務。比如：雙11期間的秒殺、拼團和砍價，需要很多專業解決方案和功能支撐，而微盟擁有豐富的產品和解決方案，處于業界最領先地位，很多優惠券、抽獎、廣告牌、激勵轉化等功能，都有專門的數字化插件。
借用微盟數據庫技術負責人 余成真 的話來說，“雖然微盟的很多SaaS業務經常被模仿，但從未被超越。”
從大的平臺架構來看，每個業務系統都是獨立應用，包括獨立的后臺、技術棧、數據庫，并且對于庫和表的設計，也各不相同。
而對于“秒殺”類活動，每天收到的活動報備請求至少幾十個，遇到重要節日以及重大營銷活動時，可能會有上百個商家發起活動報備申請，無論是用戶在線數，還是業務請求量，都是TOP級別。
所以，對于數據庫的性能來說，必須滿足如下要求：
● 反應要快，并且不同應用接口響應要求不一樣。
● 針對惡意刷票行為，要進行流量防控。
● 要具備數據庫的大量讀寫能力。
大體來看，微盟數據庫團隊主要面臨4大挑戰：
1.高并發、低延時需求。
微盟的核心接口在平常狀態下都是毫秒級響應，數據庫的每條請求都是幾毫秒，甚至是納秒級響應時間。在活動高峰期，某些營銷插件的場景類數據庫，單實例就有超過7萬真實QPS記錄值。
2.確保穩定性及高可用性。
穩定性和可用性是基本要求，目前主要依賴騰訊云數據庫底層高可用能力，同時微盟自己也有一套針對應急場景的可用性工具，未來希望能更可靠、更穩定。
3.數據安全。
如何對人員安全、數據庫安全進行治理，成為一項長期工作。需要進一步加強治理的事項，包括：數據分類分級、線上數據查詢的精細授權、數據災備的定期演練、運維操作風控等。
4.海量實例數據庫運維。
微盟數據庫類型多、數量多、業務線多，管理好這些元數據是DBA做好各項工作的先決條件。同時，只有做到精細化運維，才能規避工作中遇到的數據庫問題 、將故障及風險降至最低。
此種背景下，微盟開啟了全面的云數據庫轉型征程，從思維模式開始，讓整個架構向更彈性、更靈活的服務模式演進。
采用現代化架構解決數據安全、技術能力擴張問題
▲基于云數據庫的解決方案與實踐
“SaaS電商業務的本質是，對數據庫應用性能要求較高，必須抗住各種壓力。” 余成真說道。
在數字化轉型背景下，企業業務的核心是數據，數據驅動業務，數字即服務。而承載所有數據的數據庫，既有事務ACID特性的要求，又有海量數據存儲的要求。所以，數據庫產品在具備聯機事務處理能力同時，數據庫的讀取性能也必須強悍，同時還要具備數據分析能力。另外，微盟業務發展速度飛快，資源需求呈指數級倍增，數據安全、數據庫類型擴展、數據庫技術能力擴展等核心問題，都需要重新考慮。
微盟持續保持高速發展，創新和不斷迭代是內在基因。2020年，為了助力更多商家實現數字化轉型，微盟提出了“TSO全鏈路智慧增長”，從流量、SaaS工具和運營角度，構建全域數字化商業閉環。從產品角度看，最重要的是，全面提升信息安全保護能力，防止災害及不可抗拒因素給業務系統帶來的傷害。
為了配合集團業務高速發展的需求，數據庫團隊必須基于現代化業務架構，轉變思維模式，讓所有業務在充分享受云的彈性能力的同時，也要兼具業務的隔離性。
利用云數據庫彈性滿足高并發和快速調整需求
縱觀微盟數據庫的發展史，主要分為3個重要階段：
1. 早期IDC建設階段，包括自建黑石數據庫服務集群。
2016年，微盟的數據庫從阿里云全線遷移到騰訊黑石機房，實現了跨IDC的異地同步。在遷移之初，不僅要保證數據的一致性，對數據可用性的時間也有極高要求，數據庫實例要在30分鐘內全部切換完，具體到單套實例的不可用時間要限制到秒級。而且，遷移過程中注意的細節非常多，涉及到對項目的協調及人員的動員力，在數據庫同步遷移技術上，要保證數據的絕對一致性，遷移過程中也要具備更縝密的思維。同時，還講求戰略戰術和技巧，微盟當時使用的是主從復制技術，因為經典意味著可靠。
為了更貼合業務發展，微盟還自建了數據庫服務集群，用半年時間打造了一整套數據庫私有云解決方案，包括具備監控、告警、備份、高可用等相關功能。不僅解決了業務問題，在技術上也有重大突破，包括借助開源工具實現了二次開發，期間還編寫了大量輔助運維工具，將零散的運維工作進行了工程化建模。由于數據庫硬件服務器是高效及高可用架構設計，所以數據庫集群在4年多線上真實環境應用中，沒有出現任何事故級故障，整體集群非常穩定、高效。
2. 數據庫全面上云以及異地多活架構升級。
2020年，為了配合TSO業務戰略落地，微盟嘗試探索公有云路線。因為，相對于私有云，公有云的彈性擴展能力強，更能滿足業務高并發需求。經過大量調研、測試、選型、驗證后，公司開始制定實施計劃，全面上云。其實，當時很多云廠商提供的異地多活方案都不是非常成熟。期間，微盟數據庫團隊和騰訊云數據庫部門保持密切溝通與互動。從最初通過線上邊緣業務進行測試，到之后發展到周期性全實例的多活故障演練，最終才實現了技術上的突破，創造了成功的多活方案，高度確保了業務的穩定性。
3. 加碼數據安全，實現精細化運維。
2021年，為了確保數據庫部門擁有全線的業務支撐能力，微盟制定了很多和運維相關的規范及流程。主要包含兩個維度：一方面，運維操作人員要具有可量化的操作細節；另一方面，降低風險，提升溝通效率。
集中式+分布式技術架構設計
大體來看，微盟云數據庫轉型是企業支持數字化業務的最重要里程碑，他們開創了新的思維模式，用一個更靈活的策略，把大業務拆小，小業務拆得更細。并且，在每一個細的模塊上，都做了數據庫級別的支撐。這意味著，整個后臺不僅擁有眾多實例，能充分利用云基礎設施的彈性，隨時按需使用，還能確保實例之間的隔離性。即便是小商戶，也能做到項目式的隔離，確保每個項目都不受影響。
在具體的數據庫設計上，微盟采用的是集中式+分布式技術架構。
● 分布式應用場景：微盟把Redis、Kafaka作為大型分布式系統的關鍵組件，這些組件在實時數據或流式數據架構中扮演著重要角色。
● 聯機事務處理應用：微盟采用騰訊自研的云原生數據庫TDSQL-C、騰訊云MySQL、騰訊云PostgreSQL支撐底層全業務線存儲，存儲所有業務線的元數據，并提供重要數據計算及存取能力。
● 分析型應用場景：通過TiDB/ HBase /TDSQL-H解決實時及離線分析問題。
在余成真看來，決定微盟云數據庫選型的最關鍵因素有四點，即安全、性能、穩定和成本。
微盟是基于微信生態做的產品級應用，也是騰訊云華東地區頭部、重要VIP客戶，所以對騰訊云有著天然的親和力，微盟的很多基礎設施服務都在使用騰訊云提供的產品，比如：高防、LB、VPC網絡、CVM、COS、DB、EMR等等。針對騰訊云數據庫產品提供層面，微盟目前主要使用的是MySQL及云原生數據庫TDSQL-C，以及非關系型數據庫Redis。
更安全、更穩定、性能更強
“數據庫全面上云后，不僅實現了當初規劃的目標，在數據安全性、應用的穩定性以及性能方面，也有更卓越表現。” 余成真對云數據庫上線后的效果，給與了高度評價。
總結而言，數據庫上云后，獲得了如下效果：
● 全面確保數據安全。
底層基礎設施安全：由于數據庫底層運維工作主要交給騰訊云數據庫團隊來做，極大地確保了底層基礎設施的安全性。
數據安全：為了從根本上確保數據安全，微盟在數據庫權限系統上設置了最小粒度的授權原則。具體做法是，將權限綁定于資源對象上，人及業務組僅有權限查看所屬的數據庫資源。對這些資源的操作，會進一步細化權限，如：流程化管理，要經過“申請、一級審批、二級審批、執行”這樣一個流程。
權責到人：微盟還將所有DBA操作進行工單化，具體包括：查詢申請工單、SQL上線工單、數據遷移工單、數據歸檔工單等等。通過對人、對資源的權限控制，對數據的分類分級等方式，來保證數據安全。為了與國家數據安全法保持實時同步，微盟已將數據安全法進行了平臺化處理。
● 運營能力提升。
為了滿足更精細化的運維需求，微盟基于騰訊云數據庫提供的能力，做了進一步擴展，對更貼近業務場景的功能做了處理。為了全面提升數據庫運營能力，通過監控數據、告警數據、慢日志數據等進行資源評分，為資源配置提供重要依據，也可推導業務代碼質量，產品響應質量等。簡單理解，騰訊云數據庫把底層的臟活苦活累活都干完了，微盟的數據庫團隊就無須再關心底層基礎設施問題，而是拿出更多時間，關注業務層面的問題。
● 性能增強。
對于微盟最關注的數據庫性能，也做了進一步增強，實現了底層內核以及整體性能的優化。微盟建立了數據庫性能壓測跟蹤平臺，可按照自己的標準進行快速衡量各廠商云數據庫質量。在數據庫上云后，微盟還建立了真實業務SQL模型，能推導代碼質量，度量接口響應指標等。
● 成本優勢。
云數據庫上面的資源彈性擴縮容能力，以及在節約成本方面，也是傳統業務模式無法比擬的。騰訊云數據庫擁有資源的全生命周期管理，包括：資源申請、資源創建、數據庫管理、賬號類型管理、賬號權限管理、資源業務域歸屬、資源負責人管理、資源監控備份告警管理、資源下架單、資源回收站。傳統IDC模式下，一旦活動來了，進行擴容以后，成本就一次性加進去了，即使縮容以后，成本還是那么多。但使用騰訊云就不一樣，可以按需使用，隨用隨付。
微盟云數據庫不僅全面擁抱了云原生，在HTAP融合發展趨勢上也在不斷探索。目前，具有業務屬性的云原生數據庫TDSQL-C，已開始逐步遷移，承擔的是高讀QPS類的業務；其中還有一小部分是TDSQL-H系列，解決了分析型應用場景的查詢問題，承擔一些AP類的業務。微盟通過騰訊云數據庫的全棧服務，滿足了AP、TP全場景需求，支撐著百萬商家的大促及秒殺等核心業務。
小結：從某種角度看，微盟數據庫上云旅程，其實是企業業務創新不斷發展的結果。以數據庫實例數量為例，上線之前是1000多套，現在使用了云上的資源以后，已經發展到2000多套，翻了至少一倍。從資源規模上，已經做了一定的數量級，如果全部自己搭建，其業務的難度以及工作量，都無法想象。
關于微盟：
微盟，成立于2013年，雖然發展時間不長，但已成為一家領軍企業云端商業及營銷解決方案提供商，擁有超過7500名員工，全球加盟商超過1600家，入駐商戶超過300萬家。公司旗下業務主要包括商業云（微商城、智慧零售、智慧餐飲、智慧酒店、智慧美業）、營銷云（微站、智營銷、企微助手）、銷售云（銷氪）以及和精準營銷相關的豐富的媒體資源和DMP。媒體資源主要是指和騰訊、抖音、快手、頭條、知乎、小紅書等平臺的對接；而DMP，則包括精準受眾定位、分析與優化和更靈活的格式等。微盟的企業理念是，致力于成為企業數字化轉型最佳伙伴，助力更多商家開啟數字化轉型征程。
