宜宾网站建设公司

Kafka安装与配置-创新互联

1、Java环境为前提

（1）上传jdk-8u261-linux-x64.rpm到服务器并安装：

成都创新互联为客户提供专业的网站建设、成都网站制作、程序、域名、空间一条龙服务，提供基于WEB的系统开发. 服务项目涵盖了网页设计、网站程序开发、WEB系统开发、微信二次开发、手机网站制作等网站方面业务。
rpm -ivh jdk-8u261-linux-x64.rpm

（2）配置环境变量：

vim /etc/profile

# 生效
source /etc/profile
# 验证
java -version

2、Zookeeper的安装配置 

（1）上传zookeeper-3.4.14.tar.gz到服务器

（2）解压到/opt：

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf

# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg

# 编辑zoo.cfg文件
vim zoo.cfg

（3）修改Zookeeper保存数据的目录，dataDir：

dataDir=/var/lagou/zookeeper/data

（4）编辑/etc/profile：

  • 设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；
  • ZOOKEEPER_PREFIX指向Zookeeper的解压目录；
  • 将Zookeeper的bin目录添加到PATH中：

（5） 使配置生效

source /etc/profile

（6）验证：

3、Kafka的安装与配置

（1）上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

（2）配置环境变量并生效：

vim /etc/profile

（3） 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件：

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址是localhost:2181，后面的myKafka 是Kafka在Zookeeper中的根节点路径：

配置kafka日志存储目录 

log.dir=/var/kafka/kafka-logs

（4）启动Zookeeper：

zkServer.sh start

（5）确认Zookeeper的状态：

（6） 启动Kafka：进入Kafka安装的根目录，执行如下命令：

启动成功，可以看到控制台输出的最后一行的started状态： 

（7） 查看Zookeeper的节点：（zkCli.sh 命令进入zookeeper控制台）

（8）此时Kafka是前台模式启动，要停止，使用Ctrl+C。

如果要后台启动，使用命令：

kafka-server-start.sh -daemon config/server.properties

查看Kafka的后台进程：

ps aux | grep kafka

停止后台运行的Kafka：

4、生产与消费 4.1、kafka-topics.sh 用于管理主题。
# 列出现有的主题
[root@node1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题，该主题包含一个分区，该分区为Leader分区，它没有Follower分区副本。
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_1
# 删除指定主题
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_1
4.2、kafka-console-producer.sh用于生产消息：
# 开启生产者
[root@node1 ~]# kafka-console-producer.sh --topic topic_1 --broker-list localhost:9092
4.3、3、kafka-console-consumer.sh用于消费消息：
# 开启消费者
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
# 开启消费者方式二，从头消费，不按照偏移量消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧


当前标题：Kafka安装与配置-创新互联
浏览地址：http://ybzwz.com/article/djjpdg.html

其他资讯