k8s集群部署rabbitmq集群

1、构建rabbitmq镜像

RabbitMQ提供了一个Autocluster插件，可以自动创建RabbitMQ集群。下面我们将基于RabbitMQ的官方docker镜像，添加这个autocluster插件，构建我们自己的Rabbit镜像，以便在Kubernetes上使用这个镜像。

     首选需要从这里下载autocluster和rabbitmq_aws插件，我这里下载的是0.8.0的最新版本。

mkdir -p rabbitmq/plugins
cd rabbitmq/plugins
wget https://github.com/rabbitmq/rabbitmq-autocluster/releases/download/0.8.0/autocluster-0.8.0.ez
wget https://github.com/rabbitmq/rabbitmq-autocluster/releases/download/0.8.0/rabbitmq_aws-0.8.0.ez
cd ..

我的Dockerfile内容如下：

FROM rabbitmq:3.6.11-management-alpineMAINTAINER yangyuhangRUN apk update && apk add ca-certificates && \
    apk add tzdata && \
    ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    echo "Asia/Shanghai" > /etc/timezoneADD plugins/*.ez /opt/rabbitmq/plugins/
RUN rabbitmq-plugins enable --offline autocluster

• 这里选择是rabbitmq:3.6.11-management-alpine作为基础镜像
• 添加了autocluster插件

制作镜像并推送至阿里云个人仓库：

docker build -t registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base .
docker push registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base

2、以statefulset部署rabbitmq集群

在部署集群之前需要为集群创建一个Storage Class（存储类）来作为集群数据的持久化后端。本例中使用nfs作为后端存储，在创建存储类之前需要先搭建好nfs，并保证在k8s集群各个节点上均能挂载该nfs存储。搭建好nfs后，需要先创建一个存储类，yaml文件如下：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: first-storage
parameters:
  archiveOnDelete: "false"
provisioner: nfs-first-storage
reclaimPolicy: Retain
volumeBindingMode: Immediate

然后需要再创建一个PersistentVolumeClaim(PVC，存储卷)，作为rabbitmq集群的后端存储：

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rabbitmq
  namespace: cashier
spec:
  accessModes:
    - ReadWriteMany             #可被多节点读写
  resources:
    requests:
      storage: 5Gi
  storageClassName: first-storage               #声明pv
  volumeMode: Filesystem

相继执行kubectl apply -f 即可将后端存储建好。

前面在构建RabbitMQ的Docker镜像时，我们添加了autocluster插件，这个插件基于很多种backend做服务发现自动发现的RabbitMQ节点添加到RabbitMQ集群中，autocluster当前支持如下几种backend：

• AWS EC2 tags
• AWS Autoscaling Groups
• Kubernetes
• DNS A records
• Consul
• etcd

Kubernetes赫然在列，实际上当使用Kubernetes作为rabbitmq-autocluster的backend时，autocluster会通过访问Kubernetes的API Server获取RabbitMQ服务的endpoints，这样就能拿到Kubernete集群中的RabbitMQ的Pod的信息，从而可以将它们添加到RabbitMQ的集群中去。 这里也就是说要在autocluster实际上是在RabbitMQ Pod中要访问Kubernetes的APIServer。

可是然后呢？因为已经对Kubernetes的API Server启用了TLS认证，同时也为API Server起到用了RBAC，要想从Pod中访问API Server需要借助Kubernetes的Service Account。 Service Account是Kubernetes Pod中的程序用于访问Kubernetes API的Account(账号)，它为Pod中的程序提供访问Kubernetes API的身份标识。下面我们创建rabbitmq Pod的ServiceAccount，并针对Kubernetes的endpoint资源做授权，创建相关的role和rolebinding。

先说明一下，我们的部署是在cashier这个namespace下的。创建如下的rabbitmq.rbac.yaml文件：

---
apiVersion: v1
kind: ServiceAccount      #集群访问apiserver的凭证
metadata:
  name: rabbitmq
  namespace: cashier
---
kind: Role   #创建sa角色
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: rabbitmq
  namespace: cashier
rules:
  - apiGroups:
      - ""
    resources:
      - endpoints
    verbs:
      - get
---
kind: RoleBinding            #将角色绑定
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: rabbitmq
  namespace: cashier
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: rabbitmq
subjects:
- kind: ServiceAccount
  name: rabbitmq
  namespace: cashier

在Kubernetes上创建rabbitmq这个ServiceAccount以及相关的role和rolebinding：

kubectl create -f rabbitmq.rbac.yaml

然后创建访问rabbitmq集群的service，创建rabbitmq.service.yaml：

---
apiVersion: v1
kind: Service
metadata:
  name: rabbitmq-management
  namespace: cashier
  labels:
    app: rabbitmq
spec:
  ports:
  - port: 15672
    name: http
    nodePort: 32001          #集群外访问rabbitmq管理web界面,http://nodeip:32001
  - port: 5672
    name: amqp
    nodePort: 32002
  selector:
    app: rabbitmq
  type: NodePort
---
apiVersion: v1
kind: Service
metadata:
  name: rabbitmq
  namespace: cashier
  labels:
    app: rabbitmq
spec:
  clusterIP: None
  ports:
  - port: 5672
    name: amqp
  selector:
    app: rabbitmq

在Kubernetes上创建rabbitmq的service：

kubectl create -f rabbitmq.service.yaml

然后通过statefulset类型创建rabbitmq集群，创建rabbitmq.statefulset.yaml:

---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: rabbitmq
    k8s.eip.work/layer: cloud
    k8s.eip.work/name: rabbitmq
  name: rabbitmq
  namespace: cashier
spec:
  replicas: 3
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: rabbitmq
      k8s.eip.work/layer: cloud
      k8s.eip.work/name: rabbitmq
  serviceName: rabbitmq
  template:
    metadata:
      labels:
        app: rabbitmq
        k8s.eip.work/layer: cloud
        k8s.eip.work/name: rabbitmq
    spec:
      containers:
        - env:
            - name: RABBITMQ_DEFAULT_USER
              valueFrom:
                secretKeyRef:
                  key: rabbitDefaulUser
                  name: devsecret                     #登陆用户名和密码都存储在一个secret对象中
            - name: RABBITMQ_DEFAULT_PASS
              valueFrom:
                secretKeyRef:
                  key: rabbitDefaultPass
                  name: devsecret
            - name: RABBITMQ_ERLANG_COOKIE
              valueFrom:
                secretKeyRef:
                  key: erlang.cookie
                  name: devsecret
            - name: MY_POD_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            - name: K8S_SERVICE_NAME
              value: "rabbitmq"
            - name: RABBITMQ_USE_LONGNAME
              value: 'true'
            - name: RABBITMQ_NODENAME
              value: "rabbit@$(MY_POD_NAME).$(K8S_SERVICE_NAME)"
            - name: RABBITMQ_NODE_TYPE
              value: "disc"
            - name: AUTOCLUSTER_TYPE
              value: "k8s"
            - name: AUTOCLUSTER_DELAY
              value: '10'
            - name: AUTOCLUSTER_CLEANUP
              value: 'true'
            - name: CLEANUP_WARN_ONLY
              value: 'false'
            - name: K8S_ADDRESS_TYPE
              value: "hostname"
            - name: K8S_HOSTNAME_SUFFIX
              value: ".$(K8S_SERVICE_NAME)"
          image: "registry.cn-zhangjiakou.aliyuncs.com/beibei_dtstack/cashier_rabbitmq:base"
          imagePullPolicy: IfNotPresent
          name: rabbitmq
          ports:
            - containerPort: 5672
              name: amqp
              protocol: TCP
          resources:
            limits:
              cpu: 250m
              memory: 512Mi
            requests:
              cpu: 150m
              memory: 256Mi
          volumeMounts:
            - mountPath: /var/lib/rabbitmq
              name: rabbitmq-volume
      dnsPolicy: ClusterFirst
      imagePullSecrets:
        - name: aliyunsecret
      restartPolicy: Always
      schedulerName: default-scheduler
      serviceAccount: rabbitmq
      serviceAccountName: rabbitmq
      volumes:
        - name: rabbitmq-volume
          persistentVolumeClaim:
            claimName: rabbitmq          #绑定pvc
  updateStrategy:
    rollingUpdate:
      partition: 0
    type: RollingUpdate

在创建之前还需要创建一个secret对象，用来存储rabbitmq的用户名、密码及erlang.cookie，具体创建步骤如下：

#首先需要生成一个erlang.cookie的文件：
echo $(openssl rand -base64 32) > erlang.cookie
#然后将该文件的内容复制下来，编写一个secret对象yaml：
apiVersion: v1
kind: Secret
metadata:
  name: devsecret
  namespace: cashier
type: Opaque
data:
  rabbitDefaulUser: "cmFiYml0dXNlcgo="
  rabbitDefaultPass: "cmFiYml0cGFzcwo="
  erlang.cookie: "ClmQ9uk2OYk/e+F6wxQEj49rcWT0XzJFWvWIC8RHOiA="

• secret对象不允许存储明码的内容，必须将data下所有的数据转换为base64数据才ok,然后create一下：

kubectl creat -f secret.yaml

• 通过环境变量RABBITMQ_USE_LONGNAME, RABBITMQ_NODENAME, AUTOCLUSTER_TYPE, AUTOCLUSTER_DELAY, K8S_ADDRESS_TYPE, AUTOCLUSTER_CLEANUP等环境变量配置了autocluster插件，具体可以参考 RabbitMQ Autocluster中的文档内容
• 通过RABBITMQ_ERLANG_COOKIE指定了Erlang cookie。RabbitMQ的集群是通过Erlang OTP实现的，而Erlang节点间通信的认证通过Erlang cookie来允许通信，这里从devsecret这个Secret中挂载。关于devsecret这个Secret这里不再给出。
• 通过RABBITMQ_DEFAULT_USER和RABBITMQ_DEFAULT_PASS指定了RabbitMQ的管理员用户名和密码，也是从devsecret这个Secret中挂载的
• 通过RABBITMQ_NODE_TYPE设置集群所有节点类型为disc，即为磁盘节点

为了在Kubernetes上运行RabbitMQ集群，必须保证各个RabbitMQ节点之间可以通信，也就是SatefulSet的Pod可以通信。 采用的RabbitMQ节点的命名方式为rabbit@hostdomainname的形式：

rabbit@rabbitmq-0.rabbit (rabbit@rabbitmq-0.rabbit.cashier.svc.cluster.local)
rabbit@rabbitmq-1.rabbit (rabbit@rabbitmq-1.rabbit.cashier.svc.cluster.local)
rabbit@rabbitmq-2.rabbit (rabbit@rabbitmq-2.rabbit.cashier.svc.cluster.local)

可以看出采用的是长节点名的命名方式，因此设置了RABBITMQ_USE_LONGNAME为true。为了保证节点间可以通过访问rabbitmq-0.rabbit, rabbitmq-1.rabbit, rabbitmq-2.rabbit这些域名通信，必须使用Headless Service，上面rabbitmq Service的clusterIP: None这个必须设置。

在Kubernetes上创建Service和StatefulSet：

kubectl create -f rabbitmq.statefulset.yaml
[root@k8s-master1 ~]# kubectl get statefulset rabbitmq -n cashier
NAME       READY   AGE
rabbitmq   3/3     5h15m

最后可以在RabbitMQ Management中查看RabbitMQ的3个节点已经组成了集群：

参考资料

• RabbitMQ Autocluster
• Highly Available (Mirrored) Queues
• RabbitMQ File and Directory Locations
• Expose Pod Information to Containers Through Environment Variables
• Kubernetes Headless Services
• kubernetes中文网