現有數據架構難以支撐現代化應用的實現。
隨著云計算產業的快速崛起，帶動著各行各業開始自己的基于云的業務創新和信息架構現代化，云計算的可靠性、靈活性、按需計費的高性價比等優勢已經讓很多企業把“云”業務列入到未來發展戰略規劃中。現代化應用是現有應用程序的再升級，也是基于新技術新模式開發的新應用。現代化應用可以幫助企業面對更加復雜的業務競爭，并在這樣的競爭中憑借模型的先進、數據的洞察、應用的創新實現領先。因此，許多企業希望通過采用現代應用程序開發的模式，轉變應用程序的設計、構建和管理方式，從而提高敏捷性，并加快自身的創新進程。以云原生、容器、微服務、Serverless 等為基礎的現代化應用開發興起之際，各行業都把關注的目光瞄準到了數據架構上。畢竟微服務、Serverless 構建的應用就像是引擎，而數據才是真正的動力。
1.現代化應用開發之難亦是數據架構創新之難
現代化應用對規模、可用性和性能都提出了更高的要求。
對于現代化應用來說，不僅要應對劇增的用戶數量，還要支撐不斷增長的應用負載種類和數量。這是現代化應用開發面對的第一個難題——更強的可擴展性。
以游戲的場景為例，目前排名靠前的國民級游戲日活用戶已經超過 1 億多人，未來百萬以上用戶量將成為應用程序的常態，我們暢想一下最近大火的元宇宙場景，如果是一個全球級別的元宇宙應用，其用戶數量會是這個數據的數倍，甚至數十倍，媲美亞馬遜黑色星期五大促銷的高并發情況將成為日常。所有人都在一個元宇宙進行交互的場景，對應的后端系統響應并發的要求是極高的。這不是在揣測，而是基于事實和現狀，對未來的合理預測。因此首先需要解決的，就是更大規模并發問題。
現代化應用開發面對的第二個問題，是如何存儲海量數據，以及存儲海量數據之后，如何對這些數據進行實時化和智能化處理。
當前數據已呈現出“二八定律”：結構化數據占 20%，非結構化數據占 80%。《微軟飛行模擬器》模擬真實的山脈、道路、云朵，產生了超過 2.5PB（2.5 x 10^6 GB）的結構化數據，終極元宇宙所需數據量至少比此高出多個數量級。
根據 IDC 的最新報告，現有數據中非結構化數據占比已超過 90%。隨著新型軟件的增多，非結構化數據占比將越來越高。不同格式、不同標準的非結構化數據在技術上比結構化數據更難存儲和分析。傳統數據架構應對這樣的海量數據將會很吃力。
另外，現代化應用還需要考慮性能和延遲的問題。未來，新的現代化應用都會以遍布全球的用戶為目標，這就對延遲有極高的要求。在游戲中，10ms 的延遲都是不可接受的，有些游戲甚至需要內存級別的延遲。超強的帶寬、超快的傳輸速度等的實現，需要遍布全球的通信基礎設施建設。
需要注意的是，在考慮高并發和低延遲的同時，還需要兼顧考慮總體質量和成本。建立、運行和維護這么大規模的應用需要耗費的人力和物力，一般企業可能難以承受。所以除了質量，成本也是需要考慮的問題。
總結來看，現代化應用至少要處理 TB 級、PB 級的結構化數據和數倍于此的非結構化數據，支持分布在全球的數百萬用戶，并以極低的延遲每秒處理數百萬個請求。
對于非結構化數據，如今很多企業開始基于 Amazon S3 這類具備 EB 級擴展能力的云存儲構建云上數據湖，并通過云原生數據分析處理工具對這些數據進行處理分析。而對于結構化數據，還需要彌補以下缺陷：
- 企業被傳統商業數據庫束縛，而難以開展創新。傳統商業數據庫不僅價格昂貴，還有專有技術及許可條款，需要經常進行審計。雖然越來越多的企業轉向了 MySQL 和 PostgreSQL 等開源數據庫，但他們仍需要商用數據庫的性能；
- 無法滿足特定場景需求。隨著應用場景的不斷增加，不同應用程序有了自己特定的需求。現在，開發人員越來越多地使用微服務架構來構建應用程序，并且選擇新一代的關系型和非關系型數據庫。但關系型數據庫的結構數據耦合性大，不利于擴展分布式部署。非關系型數據庫沒有事務處理，復雜查詢方面略微欠缺；
- 傳統數據庫運維模式仍舊需要耗費精力和成本。運維耗時但價值輸出較低，但企業又不得不在這方面耗費精力和成本。
2.現代化應用需要什么樣的數據架構作為支撐？
既然現有數據架構難以支撐現代化應用的實現，一場數據架構變革勢在必行。這個新型數據架構要能夠解決上述提到的問題，即需要擁有更高的擴展性、能夠適應多樣化的數據形態、有更高的數據處理能力和更低的延遲，當然還要有實現的路徑和工具。
相關技術方案與創新
當下，IT 界的最佳技術組合可能就是“云計算 + 人工智能”。云計算解決了擴展性、數據存儲、性能等問題，而人工智能技術則大大提高了數據分析和處理效率。
云計算可以為現代化應用的峰值需求“無限續杯”與平穩運行時的“最佳能耗”。作為云計算模型之一的 Serverless，在理論上可以自動適配應用從零到無窮大的需求峰值，更加擅長解決擴展性的問題。
Serverless 架構的好處在于可以按需加載，這樣應用便不會持續占用資源，只有在請求到達或有事件發生時才會被部署和啟動，避免了成本浪費。同時，Serverless 應用原生支持高可用，可以更好地應對突發的高訪問量。當數據庫也 Serverless 化，就可以實現高度擴展性及容量自動伸縮，做到按量付費、降低支出成本，進一步解放數據庫的管理和運維。2012 年亞馬遜公司推出的 Amazon DynamoDB 就是 Serverless 數據庫。
2007 年，亞馬遜公司發表的關于 Key-value 存儲的劃時代論文《Dynamo: Amazon's Highly Available Key-value Store》解決的核心訴求就是滿足“永遠在線”的用戶體驗，提升其數據庫的可用性、擴展性和性能，被認為是 NoSQL 的開山之作，之后催生了一系列 NoSQL 分布式數據庫。而 Amazon DynamoDB 就是 Dynamo 理念的正統實現，它正在驅動那些傳統數據庫難以承載的新一代高性能、互聯網規模應用。
以 Serverless 數據庫為代表，云數據庫正在迅速發展成熟，并帶來更好的可訪問性和高可用性，還有高擴展性與可遷移性。此外，云數據庫也降低了部署的難度和成本，不會給企業造成特別大的負擔。
面對大規模數據，傳統數據庫組件還存在業務類型不敏感、自動運維能力弱等問題，機器學習算法可以分析大量數據記錄，標記異常值和異常模式，還可以在系統運行時自動、連續、無人工干預地執行修補、調優、備份和升級操作，盡可能減少人為錯誤或惡意行為，確保數據庫安全、高效運行。而亞馬遜云科技在 re:Invent 上最新發布的 Amazon DevOps Guru for RDS 就可以幫助檢測數據庫問題、執行根本原因分析和推薦更改建議，甚至能夠自動修復數據庫問題。
現代化應用最終是面向全球的，現在很多企業也在做全球化布局。在這個過程中，全球分布式應用系統成為企業首選。分布式系統中各個節點通過一個通信網絡互聯在一起，不僅方便通信還可以實現資源共享，也加快了計算速度。不過，這也讓企業的運維壓力變大，同時存在一定的數據傳輸安全問題。所以，自動化的、安全的部署非常重要。
技術的選擇永遠伴隨著一定性能的犧牲，很難有一個產品能夠在性能、功能和可用性等方方面面都做到極致。傳統數據庫廠商“一個數據庫打天下”的做法已經無法滿足需要。按照不同的目的、使用場景構建不同類型的數據庫產品，做到“專庫專用”則是新數據架構的核心。專庫專用可以適配各種不同規模的應用程序，優先提供應用程序最需要的性能，可用性大大提高。
3.如何實現架構現代化？
架構的通俗理解就是，企業可以使用現代的數據架構來擺脫傳統數據庫的束縛，并有專用工具來完成基礎設施的現代化。當然這并不容易，很大程度上取決于廠商的能力。
根據 Gartner 2020 全球云數據庫魔力象限報告，亞馬遜云科技持續保持創新與領先。因此，我們以亞馬遜云科技為例，看看其是如何為企業數字驅動轉型助力的。
三大重要特性，兩大重要支持
首先，亞馬遜云科技開創了 Serverless 數據庫，來實現數據庫的彈性伸縮，進一步簡化企業創建、維護和擴展數據庫的操作。
亞馬遜云科技旗下有五大 Serverless 數據庫：Amazon Aurora、Amazon DynamoDB、Amazon Timestream（一種時間序列數據庫服務）、Amazon Keyspaces（兼容 Apache Cassandra 的托管數據庫服務）和 Amazon QLDB（一種全托管的分類賬數據庫）。其中，Amazon Aurora 已經進化到 v2 版本，可以在一秒內將數據庫工作負載從數百個事務擴展到數十萬個事務，與為峰值負載配置容量的成本相比，最多可節省 90%。
那么，Serverless 數據庫的表現如何呢？華米科技健康云可以算得上是一個典型案例。截至 2021 年 2 月 2 日，華米科技智能可穿戴設備記錄的累計步數為 151 萬億步，累計睡眠記錄 128 億晚，心率記錄總時長 1,208 億小時。華米科技健康云每天需要完成 TB 級數據的收集和存儲，不僅需要存儲的數據量巨大，同時還必須保證極高的數據安全性、穩定性和低延遲響應。為了解決這些難題，華米科技健康云使用 Amazon DynamoDB 作為核心數據庫，存儲用戶的健康及與運動相關的數據。而 Amazon DynamoDB 在任何規模下都能提供延遲不超過 10 毫秒的一致響應時間，支持構建具有無限吞吐量和存儲空間的應用程序，滿足了華米健康云的數據存儲需求。此外，Amazon DynamoDB 的無服務器架構使用戶無需預置、修補和管理任何服務器，也無需安裝、維護或運行任何軟件。
目前，華米科技已經全面引入了亞馬遜云科技。華米科技大數據及云平臺副總裁張稷表示，“華米科技健康云在數據存儲和處理方面的特點是冷熱數據分層明顯，數據訪問的波峰波谷也很明顯，亞馬遜云科技豐富的功能使我們可以選用不同的服務來應對不同的需求以平衡性能與成本。”現在，華米科技使用 Amazon DynamoDB 存儲核心數據；用 Amazon Simple Storage Service (Amazon S3) 存儲冷數據、日志以及備份數據；用 Amazon Simple Queue Service (SQS) 、Amazon Simple Notification Service (Amazon SNS) 和 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 進行數據同步；用 Amazon Lambda 進行數據遷移和轉存；用 Amazon Kinesis 和 Amazon EMR 進行大數據分析。與切換到亞馬遜云科技之前相比，如今華米科技健康云的 P0 和 P1 級別故障數量大約減少了 20%，故障恢復時長減少了約 30%，總體服務可用性提升了 0.25%，系統的可用性指標達到 99.99%。
此外，九州通也使用 Amazon Aurora 替換了傳統 MySQL 數據庫，整體數據庫性能提升了 5 倍，TCO 降低了 50%。
其次，為實現專庫專用，亞馬遜云科技現在已有十多種專門構建的數據庫服務，囊括了關系、鍵值、文檔、內存、圖、時間序列、寬列和分類賬八大數據類型。這些數據庫產品各有優勢，分別適用于不同的應用場景。
其中，Amazon MemoryDB for redis 是一個與 Redis 兼容的、持久的內存數據庫服務。它是為具有微服務體系結構的現代應用程序專門構建的, 可以用作微服務應用程序的高性能主數據庫，企業不需要再分別管理緩存和持久數據庫。
Amazon DocumentDB 則是一項快速、可擴展、高度可用且完全托管式文檔數據庫服務，支持 MongoDB 工作負載。作為一個文檔數據庫，Amazon DocumentDB 可以簡化存儲、查詢和索引 JSON 數據。開發人員可以使用與今天相同的 MongoDB 應用程序代碼、驅動程序和工具，來運行、管理和擴展 Amazon DocumentDB 上的工作負載，享受改進后的性能、可擴展性和可用性，而無需擔心底層基礎設施的管理。
Amazon DynamoDB 是為海量數據、大型混合工作負載而生的鍵值數據庫服務，根據官方介紹，Amazon DynamoDB 可以構建吞吐量和存儲空間幾乎無限的應用程序，在任意規模環境中提供一致的個位數毫秒響應時間，極其適合游戲、廣告技術、移動互聯以及其它需要任何規模的低延遲數據訪問的應用程序。虎牙已經通過 Amazon DynamoDB 自動擴容來應對 10 倍以上的流量突增。
眾所周知，NoSQL 很多時候是在做“大力出奇跡”的事情，即通過大量的冗余存儲 + 索引實現快速訪問，但是這也有可能造成存儲空間的浪費。而在亞馬遜云科技 re:Invent 大會上正式發布的 Amazon DynamoDB Standard-Infrequent Access (DynamoDB Standard-IA)，在保持同樣性能、耐用性和伸縮性的同時，最高還可以為使用者節省 60% 的存儲空間。
再者，亞馬遜云科技的數據庫服務與人工智能技術深度集成。亞馬遜云科技的 Amazon Aurora ML、Amazon Neptune ML 等服務，支持數據庫開發者在不具備機器學習專業知識情況下，只需使用熟悉的數據庫查詢語言（比如 SQL）即可進行機器學習操作。
我們不得不談的是云數據庫在提供數據存儲服務于應用之后的價值， 實現統一分析和利用機器學習進行業務創新，助力企業數據驅動的業務轉型。像亞馬遜云科技提出的“智能湖倉架構”實現的是通過一系列的服務，允許數據庫，數據倉庫以及各種分析工具之間的數據無縫流動，同時在數據庫內提供直接開始機器學習的能力， 讓 DBA、數據庫工程師也能很快利用機器學習來進行業務創新而不是關注技術學習， 這都是云數據庫的優勢。人工智能平臺公司啟元世界使用了“智能湖倉”進行云上創新，實現了數據的融合和統一治理，加快了其全生命周期產品矩陣理念的落地和規模發展。同時，對流數據處理系統實現了分鐘級部署，并能夠輕松承載百萬 QPS（每秒查詢率）流數據，還將批處理運行時間減少 80%，運營總成本下降 50%。
另外，為支持企業的全球分布式應用系統，亞馬遜云科技推出了 Amazon Aurora Global Database（全球數據庫）、Amazon DynamoDB Global Tables（全局表）、Amazon ElastiCache for Redis Global Datastore（全局數據存儲）、Amazon DocumentDB Global Clusters（全局集群）等功能，企業可以一鍵配置現有集群，本地寫入數據全球可讀，并享有亞毫秒級延遲能力。
根據 CAIDA 統計，亞馬遜云科技也是全球大的互聯網帶寬擁有者之一。亞馬遜云科技全球所有的區域、可用區和邊緣節點之間，均通過跨越大洲和大洋的高帶寬冗余光纜連接，并 100% 加密。據悉，亞馬遜云科技的基礎設施遍及全球 25 個地理區域的 81 個可用區（AZ）。
最后，制定遷移計劃對企業來說可能是一項挑戰。為此，亞馬遜云科技研發了多種遷移工具，如 Amazon Schema Conversion Tool 可用于轉換數據庫模式、Amazon Database Migration Service （Amazon DMS）用于遷移數據，還有今年新發布的 Amazon DMS Fleet Advisor，可以用來收集分析數據庫模式和對象，包括關于功能元數據、模式對象和使用情況指標的信息，并且允許企業通過確定將源數據庫遷移到亞馬遜云科技中目標服務的復雜性來構建定制的遷移計劃。此外，剛剛在全球上線的 Babelfish for Amazon Aurora PostgreSQL 還可以幫助企業遷移到 SQL Server 應用程序。據悉，目前全球已有超過 45 萬個數據庫遷移至亞馬遜云科技。
值得注意的是，亞馬遜云科技已經成為元宇宙公司 Meta 的戰略云服務提供商。Meta 將使用更多亞馬遜云科技的計算、存儲、數據庫和安全服務，并將在亞馬遜云科技上運行第三方合作應用，同時 Meta 將使用亞馬遜云科技的計算服務來進行包括人工智能項目在內的相關研發工作。
此外，當下十分流行、在全球已經擁有超過 3.5 億用戶的元宇宙游戲“堡壘之夜”，其工作負載，如 3D 圖像建模、實時渲染等也幾乎全部都運行在亞馬遜云科技的產品之上。英雄聯盟的開發商 Riot 也將游戲的基礎設施部署在亞馬遜云科技之上。全球化運營的三七互娛也已經將一部分數據遷移到亞馬遜云科技服務上，基礎設施方面的壓力得以大大減輕，此外，三七互娛還在亞馬遜云科技的幫助下快速構建出了全球同服的云架構，使全球各地玩家都能獲得幾乎一致的順暢體驗。
對于這些正在構建現代化應用的企業來說，亞馬遜云科技已經成為不可或缺的支撐平臺。
4.結束語
Serverless、AI 賦能、專門構建、全球部署和平滑遷移這五大理念，正是亞馬遜云科技“現代端到端數據戰略 - 架構現代化”的內涵。
亞馬遜云科技的現代端到端數據戰略是一種面向未來應用的戰略思考，也是一種可交付的架構，旨在為企業發展提供源源不斷的動能。現代端到端數據戰略主要包括三個要素：
- 首先是我們前文所述的數據架構現代化。架構現代化是一切創新的基石，其最重要的理念是“The right tool for the job”，即在不同的場景使用專門構建的工具，而專門的工具需要專業的現代化托管平臺，這些都可以大量節省企業的時間、金錢和精力；
另外還有兩大部分內容我們在本文沒有擴展：
- 統一分析數據。統一分析數據則是通過云上專門工具實現數據有機整合與統一，將所有數據連接到一個安全且管理良好的連貫系統中，使企業擁有靈活擴展與極致性能。企業在獲得實時反饋和數據后，可以很快地擴大服務規模；
- 基于數據進行業務創新。“蓬勃發展的公司與艱難求生的公司之間的關鍵區別在于是否將創建一個數據驅動型組織視為當務之急。”Amazon 機器學習副總裁 Swami Sivasubramanian 在亞馬遜云科技 re:Invent 全球大會上說道。企業植根于自身業務的創新訴求是創新的原動力，其中訓練與調優、模型部署與管理都涉及到了基礎設施層面的創新。
當前企業主要面臨著嚴重的基礎設施老舊、自動化程度低和專用工具缺乏的問題，同時繁重的資本支出也阻礙了企業前進。因此，企業要做出改變的決心是很大的。Gartner 預測，到 2024 年，企業為成為數據驅動和數字化企業，將在數據和分析上增加 40% 的投入。
未來，亞馬遜云科技的產品布局將進一步擴大。在現有產品基礎上，亞馬遜云科技將根據客戶需要研發各種新產品，包括面向金融、電信、醫療和汽車等特定行業。這些都將成為企業數字驅動轉型的重要利器，也會是現代化應用建設的重要基礎設施。
