以下是這些技術如何協同工作：
數據管道架構：
MySQL： 結構化數據的主要來源。
TiDB： 兼容 MySQL 的分布式 SQL 數據庫，用于可擴展性和高可用性。
Kafka： 用于實時數據流的消息系統。
Logstash： 數據處理管道工具，從各種來源攝取數據并將其發送到各個目的地。
Redis： 緩存層，用于快速訪問經常訪問的數據。
Elasticsearch： 用于查詢大量數據的搜索和分析引擎。
CloudCanal： 數據集成工具，用于將 MySQL 等各種來源的數據同步到 TiDB、Kafka、Redis 和 Elasticsearch。
工作流程詳情：
1.數據攝取：
應用程序將數據保存在MySQL中。
CloudCanal 用于將數據從 MySQL 同步到 TiDB 和 Kafka。
2.數據流和處理：
卡夫卡：
Kafka 通過 CloudCanal 從 MySQL 獲取數據并將其廣播到各個主題。
主題包含可由各種消費者處理的數據事件流。
Logstash：
Logstash 充當 Kafka 消費者，處理來自 Kafka 的數據，并將其發送到各種輸出，例如 Elasticsearch 和 Redis。
3.數據存儲和檢索：
TiDB：
TiDB 作為一個可擴展且高度可用的數據庫解決方案，可以處理大量數據。
TiDB 兼容 MySQL，使得從 MySQL 的集成和遷移變得簡單。
Redis：
Redis 用作來自 MySQL 的頻繁訪問數據或來自 Kafka 的已處理事件的緩存層。
應用程序可以先查詢Redis，再查詢MySQL，以加快數據檢索速度。
Elasticsearch：
Logstash 可以從 Kafka 獲取數據并將其發送到 Elasticsearch。
Elasticsearch 對數據建立索引，以便快速搜索和分析。
應用程序可以查詢 Elasticsearch 以獲得高級搜索功能和實時分析。
數據流示例：
MySQL 中的數據輸入：
用戶向 MySQL 數據庫插入一條新記錄。
CloudCanal 監控 MySQL 中的變化并將事件發送到 TiDB 和 Kafka 主題。
實時處理：
Kafka 將事件廣播到一個主題。
Logstash 充當 Kafka 消費者，處理事件，并將解析后的數據發送到 Elasticsearch 進行索引。
同時，Redis 也會更新以緩存新數據。
數據訪問：
應用程序檢查 Redis 緩存中的數據。
如果緩存中沒有數據，則查詢 MySQL 或 TiDB。
對于復雜的查詢和分析，應用程序會查詢 Elasticsearch。
這只是我的筆記。 CTTO
