Kafka 和 RabbitMQ 都是流行的開(kāi)源消息系統(tǒng)，它們可以在分布式系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)的可靠傳輸和處理。Kafka 和 RabbitMQ 有各自的優(yōu)勢(shì)和特點(diǎn)，它們適用于不同的場(chǎng)景和需求。本文將比較 Kafka 和 RabbitMQ 的主要區(qū)別，并分析何時(shí)使用 Kafka 而不是 RabbitMQ。
推薦博主開(kāi)源的 H5 商城項(xiàng)目 waynboot-mall，這是一套全部開(kāi)源的微商城項(xiàng)目，包含一個(gè)運(yùn)營(yíng)后臺(tái)、h5 商城和后臺(tái)接口。 實(shí)現(xiàn)了一個(gè)商城所需的首頁(yè)展示、商品分類、商品詳情、sku 詳情、商品搜索、加入購(gòu)物車(chē)、結(jié)算下單、訂單狀態(tài)流轉(zhuǎn)、商品評(píng)論等一系列功能。 技術(shù)上基于最新得 Springboot3.0、jdk17，整合了 redis、RabbitMQ、ElasticSearch 等常用中間件， 貼近生產(chǎn)環(huán)境實(shí)際經(jīng)驗(yàn)開(kāi)發(fā)而來(lái)不斷完善、優(yōu)化、改進(jìn)中。
Github 地址：https://github.com/wayn111/waynboot-mall
影響因素
-
可擴(kuò)展性：Kafka 旨在處理大容量、高吞吐量和實(shí)時(shí)數(shù)據(jù)流。它每秒能夠處理數(shù)百萬(wàn)個(gè)事件，并且可以處理大量數(shù)據(jù)。另一方面，RabbitMQ 的設(shè)計(jì)更加靈活，可以處理廣泛的用例，但可能不太適合大容量、實(shí)時(shí)數(shù)據(jù)流。
-
耐用性：Kafka 通過(guò)將所有數(shù)據(jù)寫(xiě)入磁盤(pán)來(lái)提供高度的耐用性，這對(duì)于任務(wù)關(guān)鍵型應(yīng)用程序非常重要。 RabbitMQ 還提供基于磁盤(pán)的持久性，但這可能不如 Kafka 提供的那么強(qiáng)大。
-
延遲：RabbitMQ 設(shè)計(jì)為低延遲，這對(duì)于實(shí)時(shí)數(shù)據(jù)處理和分析非常重要。由于其更靈活的架構(gòu)，Kafka 可以具有更高的延遲。
-
數(shù)據(jù)流：Kafka 使用無(wú)界的數(shù)據(jù)流，即數(shù)據(jù)持續(xù)地流入到指定的主題（topic）中，不會(huì)被刪除或過(guò)期，除非達(dá)到了預(yù)設(shè)的保留期限或容量限制。RabbitMQ 使用有界的數(shù)據(jù)流，即數(shù)據(jù)被生產(chǎn)者（producer）創(chuàng)建并發(fā)送到消費(fèi)者（consumer），一旦被消費(fèi)或者達(dá)到了過(guò)期時(shí)間，就會(huì)從隊(duì)列（queue）中刪除。
-
數(shù)據(jù)使用：Kafka 支持多個(gè)消費(fèi)者同時(shí)訂閱同一個(gè)主題，并且可以根據(jù)自己的進(jìn)度來(lái)消費(fèi)數(shù)據(jù)，不會(huì)影響其他消費(fèi)者。這意味著 Kafka 可以支持多種用途和場(chǎng)景，比如實(shí)時(shí)分析、日志聚合、事件驅(qū)動(dòng)等。RabbitMQ 的消費(fèi)者從一個(gè)隊(duì)列中消費(fèi)數(shù)據(jù)，一旦被消費(fèi)，就不會(huì)再被該隊(duì)列其他消費(fèi)者看到。這意味著 RabbitMQ 更適合一對(duì)一的通信或任務(wù)分發(fā)。
-
數(shù)據(jù)順序：Kafka 保證了同一個(gè)分區(qū)（partition）內(nèi)的數(shù)據(jù)是有序的，即按照生產(chǎn)者發(fā)送的順序來(lái)存儲(chǔ)和消費(fèi)。但是不同分區(qū)之間的數(shù)據(jù)是無(wú)序的，即不能保證跨分區(qū)的數(shù)據(jù)按照全局順序來(lái)處理。 RabbitMQ 保證了同一個(gè)隊(duì)列內(nèi)的數(shù)據(jù)是有序的，即按照先進(jìn)先出（FIFO）的原則來(lái)存儲(chǔ)和消費(fèi)。但是不同隊(duì)列之間的數(shù)據(jù)是無(wú)序的，即不能保證跨隊(duì)列的數(shù)據(jù)按照全局順序來(lái)處理。
-
數(shù)據(jù)可靠性：Kafka 通過(guò)副本（replica）機(jī)制來(lái)保證數(shù)據(jù)的可靠性，即每個(gè)主題可以有多個(gè)副本分布在不同的節(jié)點(diǎn)（broker）上，如果某個(gè)節(jié)點(diǎn)發(fā)生故障，可以自動(dòng)切換到其他節(jié)點(diǎn)繼續(xù)提供服務(wù)。 RabbitMQ 通過(guò)鏡像（mirror）機(jī)制來(lái)保證數(shù)據(jù)的可靠性，即每個(gè)隊(duì)列可以有多個(gè)鏡像分布在不同的節(jié)點(diǎn)上，如果某個(gè)節(jié)點(diǎn)發(fā)生故障，可以自動(dòng)切換到其他節(jié)點(diǎn)繼續(xù)提供服務(wù)。
-
數(shù)據(jù)持久性：Kafka 將數(shù)據(jù)持久化到磁盤(pán)中，并且支持?jǐn)?shù)據(jù)壓縮和批量傳輸，以提高性能和節(jié)省空間。Kafka 可以支持 TB 級(jí)別甚至 PB 級(jí)別的數(shù)據(jù)存儲(chǔ)，并且可以快速地重放歷史數(shù)據(jù)。RabbitMQ 將數(shù)據(jù)緩存在內(nèi)存中，并且支持消息確認(rèn)和事務(wù)機(jī)制，以提高可靠性和一致性。RabbitMQ 也可以將數(shù)據(jù)持久化到磁盤(pán)中，但是會(huì)降低性能和吞吐量。RabbitMQ 更適合處理小規(guī)模且實(shí)時(shí)性較高的數(shù)據(jù)。
-
數(shù)據(jù)擴(kuò)展性：Kafka 通過(guò)分區(qū)機(jī)制來(lái)實(shí)現(xiàn)水平擴(kuò)展，即每個(gè)主題可以劃分為多個(gè)分區(qū)，并且可以動(dòng)態(tài)地增加或減少分區(qū)數(shù)量
-
復(fù)雜性：與 RabbitMQ 相比，Apache Kafka 具有更復(fù)雜的架構(gòu)，并且可能需要更多的設(shè)置和配置。然而，它的復(fù)雜性也允許更高級(jí)的功能和定制。另一方面，RabbitMQ 更容易設(shè)置和使用。
應(yīng)用場(chǎng)景
Kafka 適用場(chǎng)景和需求
-
跟蹤高吞吐量的活動(dòng)，如網(wǎng)站點(diǎn)擊、應(yīng)用日志、傳感器數(shù)據(jù)等。
-
事件溯源，Kafka 保存著所有歷史消息，可以用于事件回溯和審計(jì)。
-
流式處理，如實(shí)時(shí)分析、實(shí)時(shí)推薦、實(shí)時(shí)報(bào)警等。
-
日志聚合，如收集不同來(lái)源的日志并統(tǒng)一存儲(chǔ)和分析。
RabbitMQ 適用場(chǎng)景和需求
-
中小項(xiàng)目，項(xiàng)目消息量小、吞吐量不高、對(duì)延時(shí)敏感。
-
遺留應(yīng)用，如需要與舊系統(tǒng)或第三方系統(tǒng)進(jìn)行集成或通信。
-
復(fù)雜路由，如需要根據(jù)不同的規(guī)則或條件來(lái)分發(fā)或過(guò)濾消息。
-
任務(wù)分發(fā)，如需要將任務(wù)均勻地分配給多個(gè)工作進(jìn)程或消費(fèi)者。
總結(jié)
在公司項(xiàng)目中，一般消息量都不大的情況下，博主推薦大家可以使用 RabbitMQ。消息量起來(lái)了可以考慮切換到 Kafka，但是也要根據(jù)公司內(nèi)部對(duì)兩種 MQ 的熟悉程度來(lái)進(jìn)行選擇，避免 MQ 出現(xiàn)問(wèn)題時(shí)無(wú)法及時(shí)處理。
