Kafka组件部署

172次阅读
没有评论

一、Kafka组件部署

1.将kafka的tar.gz安装包解压

将/opt/software/目录下kafka1.0.0.tgz的安装包解压到/usr/local/src/

[root@master ~]# cd /usr/local/src/

[root@master src]# tar -zxvf /opt/software/kafka1.0.0.tgz -C /usr/local/src/

2.将解压好的kafka文件重命名

[root@master src]# mv kafka_2.11-1.0.0/ kafka

3.修改server.properties

打开文件/usr/local/src/kafka/config/server.properties

[root@admin2master src]# vi /usr/local/src/kafka/config/server.properties

在server.properties文件下找到下列配置项,并修改为:

broker.id=0

zookeeper.connect=master,slave1,slave2

4.使用scp命令把kafka发送到各个节点

[root@master src]# scp -r /usr/local/src/kafka/ root@slave1:/usr/local/src/kafka/

[root@master src]# scp -r /usr/local/src/kafka/ root@slave2:/usr/local/src/kafka/

[root@master src]# chown –R hadoop:hadoop /usr/local/src/kafka

[root@slave1 src]# chown –R hadoop:hadoop /usr/local/src/kafka

[root@slave2 src]# chown –R hadoop:hadoop /usr/local/src/kafka

5.修改各个节点中的server.properties

进入hadoop用户,打开文件/usr/local/src/kafka/config/server.properties

[hadoop@slave1 src]# vi /usr/local/src/kafka/config/server.properties

[hadoop@slave2 src]# vi /usr/local/src/kafka/config/server.properties

在server.properties文件下找到broker.id分别修改为

Slave1:

broker.id=1

Slave2:

broker.id=2

6.启动ZOOKEEPER集群

在master节点上启动zookeeper

[hadoop@master ~]$ zkServer.sh start

在slave1节点上启动zookeeper

[hadoop@slave1 ~]$ zkServer.sh start

在slave2r节点上启动zookeeper

[hadoop@slave2 ~]$ zkServer.sh start

7.在各个节点启动kafka服务

每个节点服务启动后终端不要关闭

在master节点上启动kafka服务

[hadoop@master~]$/usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

在slave1节点上启动kafka服务

[hadoop@slave1~]$/usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

在slave2节点上启动kafka服务

[hadoop@ slave2~]$/usr/local/src/kafka/bin/kafka-server-start.sh /usr/local/src/kafka/config/server.properties

二、Kafka组件验证部署 

1.创建一个名为hello的topic

在master打开一个新终端

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-topics.sh –create  –zookeeper master:2181,slave1:2181,slave2:2181 –replication-factor 2 –topic hello –partitions 1

Create参数代表创建, zookeeper参数为zookeeper集群的主机名 ,replication-factor代表生成多少个副本文件,topic 为topic的名称,partitions指定多少个分区

2.查看topic是否创建成功

[hadoop@master ~]$ /usr/local/src/kafka/bin/kafka-topics.sh –list –zookeeper master:2181,slave1:2181,slave2:2181

3.在master节点中创建一个生产者

使用kafka-console-producer.sh脚本来创建生产者

[hadoop@master~]$ /usr/local/src/kafka/bin/kafka-console-producer.sh –broker-list master:9092,slave1:9092,slave2:9092 –topic hello

执行后不要关闭

broker-list 指定服务器,在Kafka 集群包含一个或多个服务器,这种服务器被称为 broker。

Topic指定在hello上创建生产者。

4.在slave1节点中创建一个消费者

在slave1打开一个新终端,使用kafka-console-consumer.sh脚本来创建消费者

[hadoop@slave1~]$ /usr/local/src/kafka/bin/kafka-console-consumer.sh –zookeeper master:2181,slave1:2181,slave2:2181 –topic hello –from-beginning

执行都不要关闭

zookeeper参数为zookeeper集群的主机名

Topic指定在hello上创建消费者

from-beginning  读取历史未消费的数据

5.在创建的生产者中输入信息

在创建的生产者的终端中输出信息

>hello kafka

6.在创建的消费者中查看信息

接受成功,则kafka组件验证成功

在创建消费者的终端中可以看到以下输出信息

Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

hello kafka

到点睡觉了
版权声明:本站原创文章,由 到点睡觉了2022-01-12发表,共计2958字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)