日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

以前我們討論的消費組,都是 group 的形式,group 可以自動地幫助消費者分配分區,且在發生異常時,還能自定地進行重平衡(Rebalance)。正常來說,group 幫助用戶實現自動監聽分區消費,但是在用戶需要指定分區進行精確消費的場景下,由于 group 的重平衡機制,會打破這種消費方式,這不前段時間某項目就有個需求是這樣的:

消息源端有若干個,每個消息源都會產生不同的消息,目標端也有若干個,每個目標端需要消費指定的消息源類型。

在以往,由于消費組的重平衡機制會打亂這種消費方式,只能申請多個主題對消息進行隔離,每個消息源將消息發送到指定主題,目標端監聽指定的主題。這么做肯定沒有指定分區消費這么優雅了,每增加一種消息源,都需要新增一個 topic,且消費粒度不能靈活組合。

針對以上問題,Kafka 的提供了獨立消費者模式,可以消費者可以指定分區進行消費,如果只用一個 topic,每個消息源啟動一個生產者,分別發往不同的分區,消費者指定消費相關的分區即可,用如下圖所示:

Kafka 獨立消費者

 

但是 Kafka 獨立消費者也有它的限定場景:

1、 Kafka 獨立消費者模式下,Kafka 集群并不會維護消費者的消費偏移量,需要每個消費者維護監聽分區的消費偏移量,因此,獨立消費者模式與 group 模式切勿混合使用!

2、group 模式的重平衡機制在消費者異常時可將其監聽的分區重分配給其它正常的消費者,使得這些分區不會停止被監聽消費,但是獨立消費者由于是手動進行監聽指定分區,因此獨立消費者發生異常時,并不會將其監聽的分區進行重分配,這就會造成某些分區消息堆積。因此,在該模式下,獨立消費者需要實現高可用,例如獨立消費者使用 K8s Deployment 進行部署。

下面將演示如何使用 Kafka#assgin 方法手動訂閱指定分區進行消費:

public static void main(String[] args) {
  Properties kafkaProperties = new Properties();
  kafkaProperties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.Apache.kafka.common.serialization.StringDeserializer");
  kafkaProperties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.ByteArrayDeserializer");
  kafkaProperties.put("bootstrap.servers", "localhost:9092");
  KafkaConsumer<String, byte[]> consumer = new KafkaConsumer<>(kafkaProperties);
  List<TopicPartition> partitions = new ArrayList<>();
  partitions.add(new TopicPartition("test_topic", 0));
  partitions.add(new TopicPartition("test_topic", 1));
  consumer.assign(partitions);  while (true) {
    ConsumerRecords<String, byte[]> records = consumer.poll(Duration.ofMillis(3000));
    for (ConsumerRecord<String, byte[]> record : records) {
      System.out.printf("topic:%s, partition:%s%n", record.topic(), record.partition());
    }  }}

分享到:
標簽:Kafka
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定