在當(dāng)今的軟件領(lǐng)域中,做出正確的架構(gòu)決策對于確保性能、可擴(kuò)展性、可維護(hù)性和整體成功至關(guān)重要。在眾多模式中,事件驅(qū)動(dòng)架構(gòu)(EDA)和事件溯源(ES)作為復(fù)雜軟件系統(tǒng)最受歡迎的兩種選擇之一。雖然可以單獨(dú)使用EDA或ES,但它們的結(jié)合可能效果驚人。
事件驅(qū)動(dòng)架構(gòu)與傳統(tǒng)的請求驅(qū)動(dòng)系統(tǒng)相對立,傳統(tǒng)系統(tǒng)中組件通過緊密耦合的方式顯式調(diào)用彼此的方法或直接使用同步的API調(diào)用。在事件驅(qū)動(dòng)架構(gòu)中,組件通過事件間接通信,松耦合,促進(jìn)靈活性、可擴(kuò)展性和模塊化。
事件溯源,另一個(gè)強(qiáng)大的設(shè)計(jì)模式也利用事件,強(qiáng)調(diào)維護(hù)事件的時(shí)間順序記錄,以實(shí)現(xiàn)更好的審計(jì)、分析和歷史跟蹤。事件溯源的主要理念是最終一致性。
讓我們來詳細(xì)了解它們,并看看如何將它們結(jié)合起來,構(gòu)建一個(gè)適合我們使用案例的可擴(kuò)展架構(gòu),有效服務(wù)數(shù)百萬客戶來自數(shù)千商家。
事件驅(qū)動(dòng)架構(gòu)解釋
事件驅(qū)動(dòng)架構(gòu)關(guān)注系統(tǒng)中事件的流動(dòng)和處理。事件代表重要的事件或狀態(tài)變化,在不同組件之間通信的骨干。在事件驅(qū)動(dòng)系統(tǒng)中,組件(如微服務(wù)或函數(shù))通過生成、檢測和消費(fèi)事件進(jìn)行異步通信。這種方法促進(jìn)了松耦合,允許靈活性、可擴(kuò)展性,并對動(dòng)態(tài)變化作出響應(yīng)。EDA特別適用于分布式系統(tǒng),在這些系統(tǒng)中,組件可以獨(dú)立操作,在無需直接同步交互的情況下實(shí)時(shí)對事件做出反應(yīng)。
EDA的常見使用案例:
1.可擴(kuò)展的異步處理,即工作器
通過消息代理實(shí)現(xiàn)可擴(kuò)展的異步處理
在任務(wù)數(shù)量龐大且具有異步處理靈活性的場景中,此配置極具擴(kuò)展性。在服務(wù)A中,組件X生成消息,并將其發(fā)布到消息代理(即事件代理)。隨后,這些消息根據(jù)需要被許多消費(fèi)者(稱為工作器)訂閱和處理。事件的來源可能包括cron作業(yè)、用戶交互和類似來源。
在傳統(tǒng)系統(tǒng)中,任務(wù)通常按順序處理,或者在支持的堆棧中通過多線程支持。然而,即使有多線程支持,只有垂直擴(kuò)展是可行的選項(xiàng)。
2.消息隊(duì)列
消息隊(duì)列
這是上述異步處理的一種變體,但是工作器現(xiàn)在位于另一個(gè)服務(wù)中。這使得服務(wù)B能夠在事件數(shù)量增加時(shí)無縫擴(kuò)展。到達(dá)服務(wù)B的事件可能來自不同的服務(wù)。
這可用于由服務(wù)B負(fù)責(zé)同時(shí)處理大量小任務(wù)的體系結(jié)構(gòu),例如向移動(dòng)設(shè)備提供大量推送通知或短信通知。
3.跨領(lǐng)域通信
這是EDA的更高級(jí)版本,系統(tǒng)的多個(gè)組件可能對同一消息感興趣,也可能不感興趣。因此,復(fù)雜性更多地在代理端,事件通過不同的綁定路由到不同的服務(wù)。
跨領(lǐng)域通信
上圖展示了一個(gè)示例設(shè)置,其中服務(wù)A的事件通過不同的隊(duì)列路由到服務(wù)B和C。請注意,我在這里使用了RabbitMQ的術(shù)語:聯(lián)邦、交換和虛擬主機(jī)。但是,這個(gè)設(shè)置也可以使用其他消息代理來完成。
事件溯源與CQRS
在傳統(tǒng)的以數(shù)據(jù)庫為中心的方法中,我們通常存儲(chǔ)實(shí)體的當(dāng)前狀態(tài)。相比之下,事件溯源將焦點(diǎn)從存儲(chǔ)應(yīng)用程序的當(dāng)前狀態(tài)轉(zhuǎn)移到捕獲并存儲(chǔ)對該狀態(tài)的更改的一系列不可變事件。這些事件表示系統(tǒng)中特定的事件或事務(wù),并存儲(chǔ)在事件日志或事件存儲(chǔ)中。
1.關(guān)鍵概念
- 事件: 表示系統(tǒng)中狀態(tài)更改的不可變記錄。事件捕獲發(fā)生了什么,而不是當(dāng)前狀態(tài)。
- 事件存儲(chǔ): 專門的數(shù)據(jù)存儲(chǔ),維護(hù)事件的時(shí)間順序序列。這允許通過重新播放事件輕松重建系統(tǒng)在任何時(shí)間點(diǎn)的狀態(tài)。
- 聚合: 將相關(guān)事件分組的一致性單元。聚合負(fù)責(zé)執(zhí)行業(yè)務(wù)規(guī)則和維護(hù)數(shù)據(jù)完整性。
很多情況下,事件溯源與CQRS結(jié)合使用。這將讀模型(查詢模型)和寫模型(命令模型)分開,以實(shí)現(xiàn)關(guān)注點(diǎn)的分離。在此結(jié)合時(shí),還有兩個(gè)事件溯源的重要概念:
2.讀模型
專門用于查詢和呈現(xiàn)數(shù)據(jù)的模型。它對讀取操作進(jìn)行了優(yōu)化,并根據(jù)寫模型生成的事件構(gòu)建。讀模型是去規(guī)范化的,并根據(jù)其服務(wù)的查詢需求定制。從相同的事件源,可以構(gòu)建不同視圖的讀模型,為業(yè)務(wù)領(lǐng)域提供不同的視角。
3.映射
根據(jù)事件存儲(chǔ)中存儲(chǔ)的事件轉(zhuǎn)換和更新讀模型的過程。
事件溯源與CQRS
在此設(shè)置中,事件被填充以記錄由業(yè)務(wù)流程引起的聚合的每個(gè)狀態(tài),并存儲(chǔ)在事件存儲(chǔ)中。隨后,投影從事件存儲(chǔ)中檢索這些事件,并開始將它們轉(zhuǎn)換為各種讀表。這些表可以以不同的視圖呈現(xiàn),為業(yè)務(wù)用戶提供不同的可視化效果。需要強(qiáng)調(diào)的是,盡管拉取事件是一種選擇,但投影還可以通過使用消息代理利用發(fā)布/訂閱模式,訂閱新事件。
這種設(shè)置通過捕獲事件的時(shí)間順序序列增強(qiáng)了系統(tǒng)的韌性,為全面的審計(jì)跟蹤提供了全面的記錄。因此,該方法允許進(jìn)行有效的時(shí)間查詢,使應(yīng)用程序在任何給定時(shí)間點(diǎn)都可以重建狀態(tài)。此外,它通過將數(shù)據(jù)模型變更與歷史事件日志分開,為業(yè)務(wù)需求的變化提供了靈活性。
結(jié)合CQRS,該機(jī)制促進(jìn)了命令和查詢職責(zé)之間的松耦合,提供了韌性和靈活性。
將事件驅(qū)動(dòng)架構(gòu)和事件溯源結(jié)合
如上所述,EDA和ES都為可擴(kuò)展性和協(xié)作提供了非常強(qiáng)大的方式。EDA強(qiáng)調(diào)通過事件松耦合通信的組件,而ES捕獲并持久化狀態(tài)變更的歷史記錄。因此,如果我們使用ES生成的事件并將其用于EDA,那將是一個(gè)自然的組合。
生成的事件不僅可以包含變更的狀態(tài),還可以包含變更的詳細(xì)信息。然后,這些事件可以通過消息代理傳輸?shù)搅硪粋€(gè)服務(wù)/組件,并在EDA中被消費(fèi)。
事件溯源和事件驅(qū)動(dòng)設(shè)計(jì)的結(jié)合
上圖顯示了如何以一種非常直接的方式將ES和EDA結(jié)合起來。來自事件存儲(chǔ)的事件可以通過消息代理發(fā)布和被不同的服務(wù)和組件消費(fèi)。
結(jié)合EDA和ES的優(yōu)勢
將事件驅(qū)動(dòng)架構(gòu)(EDA)與事件溯源(ES)結(jié)合帶來了顯著的優(yōu)勢。其中一個(gè)主要優(yōu)勢是系統(tǒng)的響應(yīng)能力提升。這種設(shè)置允許系統(tǒng)快速適應(yīng)實(shí)時(shí)變化,在動(dòng)態(tài)環(huán)境中效率極高。
另一個(gè)關(guān)鍵優(yōu)勢是對狀態(tài)變更的全面歷史記錄,有助于詳細(xì)的歷史分析,并確保符合規(guī)范的強(qiáng)大審計(jì)跟蹤。此外,其不可變和可重播的特性使得實(shí)時(shí)分析、可擴(kuò)展性和適應(yīng)不斷變化的分析需求變得更加容易。事件還可以流式傳輸?shù)綌?shù)據(jù)分析流水線或復(fù)制到數(shù)據(jù)湖進(jìn)行進(jìn)一步處理。
此外,這種組合固有的靈活性和可擴(kuò)展性也值得注意。系統(tǒng)可以輕松演變以滿足不斷增長的業(yè)務(wù)需求,確保長期的可持續(xù)性和適應(yīng)性。
最后,系統(tǒng)的韌性也是一個(gè)值得關(guān)注的優(yōu)點(diǎn)。這種設(shè)置提供了強(qiáng)大的機(jī)制來恢復(fù)中斷,確保即使在具有挑戰(zhàn)性的情況下也能保持連續(xù)性和可靠性。
應(yīng)對挑戰(zhàn)
將事件溯源(Event Sourcing)和事件驅(qū)動(dòng)架構(gòu)(EDA)相結(jié)合引入了一系列挑戰(zhàn),包括協(xié)調(diào)分布式系統(tǒng)、確??蓴U(kuò)展和高性能的事件存儲(chǔ),以及管理模式演進(jìn)。
- 首先,在分布式環(huán)境中協(xié)調(diào)多個(gè)微服務(wù)的交互引入了一些復(fù)雜性,維護(hù)正確的事件順序和系統(tǒng)一致性變得復(fù)雜。需要精心設(shè)計(jì)事件流和協(xié)調(diào)機(jī)制,以防止出現(xiàn)事件重復(fù)或跨服務(wù)的亂序處理等問題。
- 其次,事件存儲(chǔ)的可擴(kuò)展性和性能是關(guān)鍵挑戰(zhàn)。事件溯源依賴于不可變事件,而事件驅(qū)動(dòng)架構(gòu)依賴于服務(wù)之間高效的事件通信。確保事件存儲(chǔ)基礎(chǔ)設(shè)施的耐久性和可靠性變得至關(guān)重要,特別是在事件在網(wǎng)絡(luò)中產(chǎn)生和消費(fèi)的分布式環(huán)境中,這對于維持系統(tǒng)的響應(yīng)能力尤為重要。
- 第三,解決模式演進(jìn)和版本控制至關(guān)重要。隨著系統(tǒng)的演變,與事件相關(guān)的數(shù)據(jù)模式可能會(huì)發(fā)生變化。在保持歷史事件完整性的同時(shí)平衡向后和向前兼容性是一項(xiàng)挑戰(zhàn)。實(shí)施有效的版本控制策略對于避免事件消費(fèi)者可能根據(jù)不同模式版本處理事件的問題至關(guān)重要。要克服這些挑戰(zhàn),需要深思熟慮的設(shè)計(jì)和技術(shù)選擇,創(chuàng)建基于事件溯源和事件驅(qū)動(dòng)架構(gòu)的彈性和可擴(kuò)展的架構(gòu)。
- 最后,但同樣重要的是,操作這種架構(gòu)并不容易。監(jiān)控和管理結(jié)合了EDA和ES的系統(tǒng)需要新的運(yùn)營實(shí)踐。確保在生產(chǎn)環(huán)境中系統(tǒng)的可用性、可靠性和性能可能具有挑戰(zhàn)性。操作消息代理也需要特定的專業(yè)知識(shí)。我們需要了解所使用的消息代理的優(yōu)缺點(diǎn)和最佳實(shí)踐。
最終思考
盡管存在這些挑戰(zhàn),將事件驅(qū)動(dòng)架構(gòu)和事件溯源相融合是一種強(qiáng)大的方法,當(dāng)?shù)玫搅己霉芾頃r(shí),它提供了一種動(dòng)態(tài)且強(qiáng)大的架構(gòu)。在設(shè)計(jì)和實(shí)施階段解決這些挑戰(zhàn)對于充分發(fā)揮這種組合架構(gòu)策略的潛力至關(guān)重要。