宜宾网站建设公司

Kafka集群配置以及集群管理工具KafkaManager安装的示例分析

小编给大家分享一下Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！

创新互联专注于曲江网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供曲江营销型网站建设，曲江网站制作、曲江网页设计、曲江网站官网定制、小程序设计服务，打造曲江网络公司原创品牌,更为您提供曲江网站排名全网营销落地服务。

我们使用如下三台机器搭建Kafka集群,此文档在我们已经安装了zookeeper集群的前提下有效，文章中zookeeper全部使用zk缩写表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

  • 下载Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

  • 解压Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

  • 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
1、 broker.id 每台集群机器唯一，从0开始递增，待我们把kafka同步到其他机器上之后需要修改每台机器的这个ID
2、 如下图所示，它的意思是我们可以在zookeeper.connect最后指定一个chroot地址，当然不是必须的，默认使用的是根目录，修改这个等于指定了kafka集群需要存储在zk的数据目录，但是我们需要在集群启动前在zk中手动建立这样一个目录 

Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析
3、 advertised.host.name 配置成当前服务器的ip，如果没有配置，默认值是java.net.InetAddress.getCanonicalHostName()当时我没有修改这个值，在本地测试的时候出现了连接超时问题，而且在kafka manager里面查看broker的ip都是localhost，修改之后则为具体的ip地址，估计是和getCanonicalHostName()有关，这个问题留待以后考证啦.. 
4、 如何创建这个chroot路径呢?使用如下命令连接到任意一台zk服务器

bin/zkCli.sh
create /kafka ''


Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析

  • 同步kafka到其他机器上,并且修改config/server.properties里面的broker.id,别忘记了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

  • 分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

安装Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面这步操作真的是要等很久，耐心等待吧，不瞒您说，我这这里一共花了2752s，所以....呵呵哒
sbt clean dist
cd target/universal/ //在universal目录下我们可以看到如下两个文件


 

 Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析

//解压上图中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院为kafka-manager.zkhosts的值

Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析

//启动kafka manager
bin/kafka-manager
//启动之后、默认启动的端口是9000，所以我们在浏览器访问这个地址 http://192.168.1.96:9000,然后自己添加一个集群 大致可以看到如下的信息

Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析

看完了这篇文章，相信你对“Kafka集群配置以及集群管理工具Kafka Manager安装的示例分析”有了一定的了解，如果想了解更多相关知识，欢迎关注创新互联行业资讯频道，感谢各位的阅读！


本文题目：Kafka集群配置以及集群管理工具KafkaManager安装的示例分析
网页链接：http://ybzwz.com/article/gcosij.html

其他资讯