加入收藏 | 设为首页 | 会员中心 | 我要投稿 衡水站长网 (https://www.0318zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

深2.5至4倍,参数和计算量更少

发布时间:2021-02-13 11:53:56 所属栏目:传媒 来源:互联网
导读:可以看出在配置消费者参数的时候,我们看到了几个熟悉的参数: bootstrap.servers:为了防止书写出错,可以用ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG表示,用来指定连接 Kafka 集群所需的 broker 地址清单,可以设置一个或多个地址,中间用逗号隔开,默认

可以看出在配置消费者参数的时候,我们看到了几个熟悉的参数:

  • bootstrap.servers:为了防止书写出错,可以用ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG表示,用来指定连接 Kafka 集群所需的 broker 地址清单,可以设置一个或多个地址,中间用逗号隔开,默认值为 " "
  • group.id:为了防止书写出错,可以用ConsumerConfig.GROUP_ID_CONFIG表示,消费者所在消费组的名称,默认值为 " ",如果设置为空,则会抛出异常
  • key.deserializer/value.deserializer:为了防止书写错误,可以用ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG和ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG表示,消费端所需要执行响应的反序列化操作,需要和生产端一致

client.id:为了防止书写错误,可以用ConsumerConfig.CLIENT_ID_CONFIG表示,用来设定 KafkaConsumer 对应的客户端 id,默认值为 " "

主题的订阅

消费者消费消息,重要的就是订阅相对应的主题。在上述的例子中我们是通过 consumer.subscribe(Arrays.asList(topic)); 来订阅主题的,可以看出一个消费者可以订阅一个或多个主题。我们来看下 subscribe() 这个方法的重载:

 

以上分配逻辑都是基于默认的分区分配策略进行分析的,可以通过消费者客户端配置partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。

投递模式

Kafka 中有两种消息投递模式:

点对点模式(Point-to-Point)

基于队列的,消息生产者发送消息到队列,消息消费者从队列中接收消息

发布/订阅模式(Pub/Sub)

基于主题的,主题可以认为是消息传递的中介,消息发布者将消息发布到某个主题,而消息订阅者从主题中订阅消息。主题使得消息的订阅者和发布者互相保持独立,不需要进行接触即可保证消息的传递,发布/订阅模式在消息的一对多广播时采用。

客户端开发

消费过程大致得具备以下几个步骤方能消费:

  • 配置消费者客户端参数以及创建相应的消费者实例
  • 订阅主题
  • 拉取消息并消费
  • 提交消费位移
  • 关闭消费者实例

(编辑:衡水站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读