首页 技术 正文
技术 2022年11月18日
0 收藏 792 点赞 3,445 浏览 1547 个字

近期在搞kafka,在Windows环境搭建的过程中遇到一些问题,把具体的流程几下来防止后面忘了。 
准备工作: 
1.安装jdk环境 
http://www.oracle.com/technetwork/java/javase/downloads/index.html 
2.下载kafka的程序安装包: 
http://kafka.apache.org/downloads 
解压文件提取出里面的文件 
在cmd命令行打开至根目录下,内容如下: 
Windows平台下kafka环境的搭建 
(1).bin目录下存放的是程序运行时使用的脚本文件,window平台是一个独立的文件夹里面存放着 .bat 文件,bin的目录下存放的是 Linux 平台使用的 .sh 的shell脚本,在window平台上用不到,嫌麻烦可以删了。 
(2).config目录下存放的是一些程序运行的配置文件,在后期自定义使用kafka的时候需要修改里面的文件内容。 
(3).libs目录是打包好的jar包,这个版本自带了zookeeper的jar包,所以在安装的过程中不需要再在本地安装zookeeper了。

启动zookeeper: 
  在正常启动zoopkeeper之前需要修改zookeeper.properties的文件内容,将其data的输出目录指定一下,可自行创建一个文件夹如下: 
Windows平台下kafka环境的搭建 
然后启动:

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

正常启动后他的状态是这样的: 
Windows平台下kafka环境的搭建 
3. 启动kfaka服务: 
在启动前,任然需要修改server.properties中log.dir的配置目录, 
Windows平台下kafka环境的搭建 
修改后,启动服务: 
Windows平台下kafka环境的搭建 
4. 创建一个主题:

bin\windows\kafka-topics.bat --create --zookeeper localhost: --replication-factor  --partitions  --topic kjTest

Windows平台下kafka环境的搭建

可以使用如下命令查看创建的主题列表:

bin\windows\kafka-topics.bat --list --zookeeper localhost:

Windows平台下kafka环境的搭建 
5. 启动生产者:

bin\windows\kafka-console-producer.bat --broker-list localhost: --topic kjTest

Windows平台下kafka环境的搭建

此时可以从控制台输入信息,待消费者启动后可接收到生产者发布的消息。 
Windows平台下kafka环境的搭建 
6. 启动消费者:

bin\windows\kafka-console-consumer.bat --zookeeper localhost: --topic kjTest --from-beginning

此时便能看到发布出去的消息了 
Windows平台下kafka环境的搭建 
7. 在后期还可以启动多个集群服务,同时进行操作,修改server.properties中的内容:便可启动,与上相似。

config/server-.properties:
broker.id=<new id>
listeners=PLAINTEXT://:<new port>
log.dir=<you log dir>
操作步骤:

1).分别启动需要的kafka服务

Windows平台下kafka环境的搭建

Windows平台下kafka环境的搭建

2). 创建主题,设置分区数目 
Windows平台下kafka环境的搭建

可以使用下面的命令查看是否创建成功,和具体的分区 
Windows平台下kafka环境的搭建

3). 分别启动生产者消费者 
Windows平台下kafka环境的搭建

Windows平台下kafka环境的搭建

4). 可以查看下当前工作状态 
Windows平台下kafka环境的搭建

查看得当前服务使用的是broker编号为2的服务,但我们将其down掉后 
Windows平台下kafka环境的搭建

再次执行消息发送任务: 
Windows平台下kafka环境的搭建

Windows平台下kafka环境的搭建 
消息仍能发送成功,命令行中会提示一个服务已关闭。 
就查看当前状态: 
Windows平台下kafka环境的搭建

此时的leader换成了broker 0

转自:https://blog.csdn.net/qq_32485573/article/details/54562237?locationNum=5&fps=1

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,078
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,553
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,402
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,177
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,814
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,898