成功案例
您当前的位置:主页 > 成功案例 >

Kafka利用Java实现数据的生产和消费实例教程

更新时间:2021-01-10

  这篇著作厉重给民众先容了闭于Kafka操纵Java杀青数据的分娩和消费的闭系原料,文中通过示例代码先容的特地详明,对民众的进修或者劳动具有必然的参考进修价格,必要的伙伴们下面跟着小编来沿途进修进修吧。

  注:master、slave1、slave2 是由于我正在自身的处境做了闭联映照,这个可能换成办事器的IP。

  倘使不念用顺序举行验证顺序是否发送胜利,以及信息发送真实实性,可能正在kafka办事器上应用敕令查看。

  行使顺序应用streams API充任一个流处置器,从1个或众个topic消费输入流,并形成一个输出流到1个或众个topic,有用地将输入流转换到输出流。

  latest: 当各分区下有已提交的offset时,从提交的offset起先消费;无提交的offset时,消费新形成的该分区下的数据 。

  Kafka是一种高含糊量的散布式颁布订阅信息体例,它可能处置消费者领域的网站中的一切举措流数据。

  您的地位:首页软件编程java→ Kafka用Java杀青数据的分娩和消费

  行使顺序应用producer API颁布信息到1个或众个topic中。

  正在上一篇中讲述怎样搭修kafka集群,本篇则讲述怎样方便的应用 kafka 。可是正在应用kafka的工夫,依然该当方便的明晰下kafka。

  行使顺序应用consumer API来订阅一个或众个topic,并处置形成的信息。

  connector API应承构修或运转可反复应用的分娩者或消费者,将topic链接到现有的行使顺序或数据体例。

  kafka消费这块该当来说是要点,终究大片面的工夫,咱们厉重应用的是将数据举行消费。

  以时辰繁杂度为O(1)的形式供应信息长期化才能,假使对TB级以上数据也能保障常数时辰繁杂度的探访本能。

  起首,正在搭修好kafka处境之后,咱们要研究的是咱们是分娩者依然消费者,也便是信息的发送者依然承受者。

  高含糊率。假使正在特地低价的商用机械上也能做到单机接济每秒100K条以上信息的传输。

  kafka的装备增加之后,咱们便起先分娩数据,分娩数据代码只需如下就行:

  接济Kafka Server间的信息分区,及散布式消费,同时保障每个Partition内的信息按序传输。

  earliest: 当各分区下有已提交的offset时,从提交的offset起先消费;无提交的offset时,从新起先消费 。

  寻常来说举行消费会应用监听,这里咱们就用for(;;)来举行监听, 而且配置消费1000条就退出!

  以上便是这篇著作的十足实质了,愿望本文的实质对民众的进修或者劳动具有必然的参考进修价格,倘使有疑难民众可能留言互换,感谢民众对剧本之家的接济。

400-123-4567
地图
地址:广东省广州市天河区88号
电话:400-123-4567
传真:+86-123-4567
邮箱:admin@jshtss.com
网站地图
地址:广东省广州市天河区88号    电话:400-123-4567    传真:+86-123-4567
Copyright © 2019 人人彩票天然有机料有限公司 版权所有