首页 技术 正文

RocketMQ多Master多Slave模式部署

技术 2022年11月23日
0 收藏 975 点赞 2,317 浏览 10889 个字

每个 Master 配置一个 Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用返回成功。

优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。
缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。

### 先启动 NameServer
### 在机器 A，启动第一个 Master
### 在机器 B，启动第二个 Master
### 在机器 C，启动第一个 Slave
### 在机器 D，启动第二个 Slave
以上 Broker 与 Slave 配对是通过指定相同的brokerName 参数来配对，Master的 BrokerId 必须是 0，Slave 的BrokerId 必须是大与 0 的数。
另外一个 Master 下面可以挂载多个 Slave，同一 Master 下的多个 Slave通过指定不同的 BrokerId来区分。

1. 服务器环境如下图所示，四台机器，IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点

序号    IP                  用户名             角色                          模式
       192.168.1.7         root               nameServer1,brokerServer1     Master1
       192.168.1.105       root               nameServer2,brokerServer2     Master2
       192.168.1.149       root               nameServer3,brokerServer3     Master1-slave1
       192.168.1.160       root               nameServer4,brokerServer4     Master2-slave1

2. Hosts添加信息

IP              NAME
192.168.1.7     rocketmq-nameserver1
192.168.1.7     rocketmq-master1
192.168.1.105   rocketmq-nameserver2
192.168.1.105   rocketmq-master2
192.168.1.149   rocketmq-nameserver3
192.168.1.149   rocketmq-master1-slave1
192.168.1.160   rocketmq-nameserver4
192.168.1.160   rocketmq-master2-slave1

3.编辑hosts文件【4台机器】

# vim /etc/hosts

4.上传解压【4台机器】

# 上传alibaba-rocketmq-3.2..tar.gz文件至/home/xm6f/dev
# cd /home/xm6f/dev
# tar -zxvf alibaba-rocketmq-3.2..tar.gz
# mv alibaba-rocketmq rocketmq

5.创建存储路径【4台机器】

# mkdir /home/xm6f/dev/rocketmq/store
# mkdir /home/xm6f/dev/rocketmq/store/commitlog
# mkdir /home/xm6f/dev/rocketmq/store/consumequeue
# mkdir /home/xm6f/dev/rocketmq/store/index

6.RocketMQ配置文件【4台机器】–该文件有点类似于Redis里面的redis.con

# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties ##192.168..7配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties ##192.168..149配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties ##192.168..105配置文件
# sudo vim /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties ##192.168..160配置文件

broker-a.properties文件

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.7

broker-a-s.properties文件

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.149

broker-b.properties文件

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.105

broker-b-s.properties文件

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/xm6f/dev/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/home/xm6f/dev/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/xm6f/dev/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/xm6f/dev/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/home/xm6f/dev/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/xm6f/dev/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
brokerIP1=192.168.1.160

7. 修改启动脚本参数【4台机器】

# vim /home/xm6f/dev/rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m"# vim /home/xm6f/dev/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
XX:PermSize=128m -XX:MaxPermSize=320m"

注意：启动脚本设置不合理，可能报如下异常：
Error occurred during initialization of VM
Too small new size specified

8.防火墙
默认启动用使用3个端口9876,10911,10912
分别代表名称服务端口，broker端口，broker ha端口。
ha端口haListenPort表示Master监听Slave请求的端口，默认为服务端口+1

添加到/etc/sysconfig/iptables的filter表INPUT链中

-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT

添加完成后重启防火墙
service iptables restart

9.启动NameServer【4台机器】

# cd /home/xm6f/dev/rocketmq/bin
# sudo nohup sh mqnamesrv &

10.启动BrokerServer 【4台机器】

注意配置文件需要根据实际配置/broker-X.properties

# cd /home/xm6f/dev/rocketmq/bin
# 192.168.1.7
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null >& &
# 192.168.1.105
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b.properties >/dev/null >& &
# 192.168.1.149
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null >& &
# 192.168.1.160
# sudo nohup sh mqbroker -c /home/xm6f/dev/rocketmq/conf/2m-2s-async/broker-b-s.properties >/dev/null >& &

说明：IP位7为主节点，149是7的从节点。105是主节点，160是105的从节点
RocketMQ多Master多Slave模式部署
输入jps看到如上图所示表示成功

停止服务broker：

# sh mqshutdown broker

11.在tomcat中部署rocketmq-console.war
修改rocketmq-console配置文件，找到/tomcat-8082/webapps/rocketmq-console/WEB-INF/classes/config.properties文件，添加如下：

rocketmq.namesrv.addr=192.168.1.7:;192.168.1.105:;192.168.1.149:;192.168.1.160:
throwDone=true

启动tomcat，在浏览器输入：http://192.168.1.105:8082/rocketmq-console/
RocketMQ多Master多Slave模式部署

多Master多Slave可以保证实时消费，比如说：我有一主一从，如果主机宕机，那么我从主机上获得的数据如果在没有从节点，那么这些消息将在主节点重启之前将无法被消费，直到主节点启动，如果这个主节点里面有从节点，从节点可以对外提供服务，并且从节点有从主节点同步过来的数据，那么还是可以将这些消息实时地消费掉。这点多Master方式无法做到。

当宕机的主节点起来之后，会和从节点进行数据的同步，不会重复消费刚刚消费过的数据。

12.数据清理

# cd /home/xm6f/devrocketmq/bin
# sh mqshutdown broker
# sh mqshutdown namesrv
# --等待停止
# rm -rf /home/xm6f/devrocketmq/store
# mkdir /home/xm6f/devrocketmq/store
# mkdir /home/xm6f/devrocketmq/store/commitlog
# mkdir /home/xm6f/devrocketmq/store/consumequeue
# mkdir /home/xm6f/devrocketmq/store/index
# --按照上面步骤重启NameServer与BrokerServer

启动时报错：
注释runserver.sh和runbroker.sh以下，并添加JAVA_HOME地址

#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80
#[ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/home/xm6f/dev/jdk1..0_80
#[ ! -e "$JAVA_HOME/bin/java" ] && error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)!"export JAVA_HOME="/home/xm6f/dev/jdk1.7.0_80"
export JAVA="$JAVA_HOME/bin/java"
.....
点赞 975

贡献者

上一篇： Jmeter测试Mysql数据库-入门篇
下一篇： 前端组件化Polymer入门教程(5)——生命周期
相关推荐
python开发_常用的python模块及安装方法
python开发_常用的python模块及安装方法
adodb：我们领导推荐的数据库连接组件bsddb3：BerkeleyDB的连接组件Cheetah-1.0：我比较喜欢这个版本的cheeta…
技术
日期：2022-11-24 点赞：878 阅读：8,996
Educational Codeforces Round 11 C. Hard Process 二分
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接：http://www.codeforces.com/contest/660/problem/CDes…
技术
日期：2022-11-24 点赞：807 阅读：5,510
下载Ubuntn 17.04 内核源代码
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
技术
日期：2022-11-24 点赞：569 阅读：6,353
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
技术
日期：2022-11-24 点赞：733 阅读：6,137
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式，并且由于涉及到要把拍到的照片显…
技术
日期：2022-11-24 点赞：512 阅读：7,770
Struts的使用
Struts的使用
一、Struts2的获取　　Struts的官方网站为：http://struts.apache.org/　　下载完Struts2的jar包,…
技术
日期：2022-11-24 点赞：671 阅读：4,848
Lomu

贡献者

这家伙很懒，只想把你留下。

文章
75
收藏
0
人气
244,950
粉丝
进主页
文章展示
  • [ 技术 ] python开发_常用的python模块及安装方法
  • [ 技术 ] Educational Codeforces Round 11 C. Hard Process 二分
  • [ 技术 ] 下载Ubuntn 17.04 内核源代码
  • [ 技术 ] 可用Active Desktop Calendar V7.86 注册码序列号
  • [ 技术 ] Android调用系统相机、自定义相机、处理大图片
  • [ 技术 ] Struts的使用
    • 个人收藏笔记记录
    我的笔记
    首页 首页 菜单 首页 首页