Apache Kafka UI 是一個免費的開源 Web UI，用于監控和管理 Apache Kafka 集群，可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情況，支持多集群管理、性能監控、訪問控制等功能。
1 特征
- 多集群管理： 在一個地方監控和管理所有集群
- 使用指標儀表板進行性能監控： 使用輕量級儀表板跟蹤關鍵 Kafka 指標
- 查看 Kafka Brokers： 查看主題和分區分配、控制器狀態
- 查看 Kafka 主題： 查看分區計數、復制狀態和自定義配置
- 查看消費者組： 查看每個分區的停放偏移量、組合滯后和每個分區滯后
- 瀏覽消息： 使用 JSON、純文本和 Avro 編碼瀏覽消息
- 動態主題配置： 使用動態配置創建和配置新主題
- 自定義序列化/反序列化插件： 對數據使用現成的 Serde
- 基于角色的訪問控制： 精確管理訪問 UI 的權限
- 數據脫敏： 混淆主題消息中的敏感數據
2 入門
要運行 Apache Kafka 的 UI，可以使用預構建的 Docker 映像或自行構建它（或 jar 文件）。
快速啟動（演示運行）
docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui
然后訪問 http://localhost: 8080
持久安裝
services:
kafka-ui:
contAIner_name: kafka-ui
image: provectuslabs/kafka-ui:latest
ports:
- 8080:8080
environment:
DYNAMIC_CONFIG_ENABLED: true
volumes:
- ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml
設置 git
設置 git 憑據：
git config --global user.name "Mona Lisa"
git config --global user.email "monalisa@louvre.NET"
3 配置向導
動態應用程序配置
默認情況下，kafka-ui 不允許在運行時更改其配置。當應用程序啟動時，它會從系統環境、配置文件（Application.yaml）和 JVM 參數（由-D）讀取配置。一旦配置被讀取，它就被視為不可變，即使配置源（例如文件）發生更改也不會刷新。
4 數據脫敏
主題數據脫敏
可以配置 kafka-ui 來屏蔽消息頁面中顯示的敏感數據。
消除：對于 json 對象 - 刪除目標字段，否則 - 返回“null”字符串。
- type: REMOVE
fields: [ "id", "name" ]
...
應用示例
{ "id": 1234, "name": { "first": "James" }, "age": 30 }
->
{ "age": 30 }
5 自定義可插拔 serde 注冊
可以實現自己的 serde 并將其注冊到 kafka-ui 應用程序中。
- 添加 kafka-ui-serde-api 依賴項（應該可以通過 mavencentral 下載）
- 實現 com.provectus.kafka.ui.serde.api.Serde 接口
- 將 serde 打包到 uber jar 中，或者提供包含無依賴項 jar 及其依賴項 jar 的目錄
傳送門
開源地址：https://Github.com/provectus/kafka-ui
