【kafka】自定义分区规则-创新互联

(一)生产者生成数据的数据,按自定义key做hashcode进行分区

成都创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于网站制作、网站建设、达州网络推广、微信小程序开发、达州网络营销、达州企业策划、达州品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们大的嘉奖;成都创新互联公司为所有大学生创业者提供达州建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com

1.Kafka中可以将Topic从物理上划分成一个或多个分区(Partition)

 每个分区在物理上对应一个文件夹,以"topicName_partitionIndex"方式命名

 文件夹下存储这个分区的所有消息(.log)和索引(.index)文件

# 例如Topic:test0320,使用了3个分区,2个副本
186           187           188
----------    ----------    ----------
test0320-0    test0320-0    test0320-1
test0320-2    test0320-1    test0320-2

2.生产者在生产数据的时候,可以为每条消息自定义Key规则,这样消息被发送到broker时,会根据分区规则选择被存储到哪一个分区中

3.分区规则就是实现了kafka.producer.Partitioner接口的类

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


名称栏目:【kafka】自定义分区规则-创新互联
文章分享:http://ybzwz.com/article/dejjpg.html