RabbitMQ集群和高可用配置

概述

RabbitMQ是一個開源的AMQP實現，服務器端用Erlang語言編寫，支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用於在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。

運行模式大概有3種：

單一模式：非集群模式，單台。

普通模式：RabbitMQ默認的集群模式。

對於Queue來說，消息實體只存在於其中一個節點，A、B兩個節點僅有相同的元數據，即隊列結構。當消息進入A節點的Queue中後，consumer從B節點拉取時，RabbitMQ會臨時在A、B間進行消息傳輸，把A中的消息實體取出並經過B發送給consumer。

所以consumer應盡量連接每一個節點，從中取消息。即對於同一個邏輯隊列，要在多個節點建立物理Queue。否則無論consumer連A或B，出口總在A，會產生瓶頸。

該模式存在一個問題就是當A節點故障後，B節點無法取到A節點中還未消費的消息實體。

如果做了消息持久化，那麼得等A節點恢復，然後才可被消費；如果沒有持久化會丟失消息。

鏡像模式：Queue同時存在多個節點，可通過改模式實現HA高可用
該模式解決了上述問題，其實質和普通模式不同之處在於，消息實體會主動在鏡像節點間同步，而不是在consumer取數據時臨時拉取。

該模式帶來的副作用也很明顯，除了降低系統性能外，如果鏡像隊列數量過多，加之大量的消息進入，集群內部的網絡帶寬將會被這種同步通訊大大消耗掉。

下面來通過配置RabbitMQ鏡像模式來熟悉這3種運行模式

1. 環境說明

RabbitMQ集群安裝在3個節點上：10.0.0.1、10.0.0.2、10.0.0.3

HAProxy安裝在10.0.0.4上，用於對外提供RabbitMQ均衡

3個節點在/etc/hosts文件中分別添加如下內容：

1. 10.0.0.1 rabbit1
2. 10.0.0.2 rabbit2
3. 10.0.0.3 rabbit3

2. 安裝erlang、rabbitmq

1. cd oneinstack/src
2. wget http://erlang.org/download/otp_src_18.3.tar.gz
3. tar xzf otp_src_18.3.tar.gz
4. cd otp_src_18.3
5. ./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
6. make && make install
8. cd ..
9. wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
10. tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
11. mv rabbitmq_server-3.5.4 rabbitmq
12. sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
13. sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults #日志目錄
14. mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq

3. 一般用戶（rabbitmq）運行RabbitMQ

1. useradd rabbitmq
2. wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
3. sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper #更改rabbitmq數據存儲目錄
4. sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
5. chmod +x rabbitmq-script-wrapper
6. cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
7. cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
8. cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
9. chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var

4. 日志割接

1. cat >> /etc/logrotate.d/rabbitmq-server << EOF
2. /usr/local/rabbitmq/var/log/rabbitmq/*.log {
3. weekly
4. missingok
5. rotate 20
6. compress
7. delaycompress
8. notifempty
9. sharedscripts
10. postrotate
11. /sbin/service rabbitmq-server rotate-logs > /dev/null
12. endscript
13. }
14. EOF

5. 啟動腳本

參考： 《RabbitMQ啟動腳本》

6. 設置Erlang Cookie

Erlang Cookie文件：/home/rabbitmq/.erlang.cookie。這裡將rabbit1的該文件復制到rabbit2、rabbit3，並設置400權限

1. chmod 400 /home/rabbitmq/.erlang.cookie
2. chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie

7. 修改配置文件

密碼和集群配置：

1. cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF
2. [
3. {rabbit, [
4. {cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},
5. {tcp_listeners,[{"0.0.0.0",5672}]},
6. {default_vhost, <<"/">>},
7. {default_user, <<"linuxeye">>},
8. {default_pass, <<"linuxeye@123">>},
9. {loopback_users, ["linuxeye"]},
10. {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}
11. ]}
12. ].
13. EOF

啟用rabbitmq_management

1. cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF
2. [rabbitmq_management].
3. EOF

8. 分別啟動3個節點rabbitmq

使用rabbitmqctl cluster_status命令表示集群搭建成功

1. [root@rabbit2 ~]# rabbitmqctl cluster_status
2. Cluster status of node rabbit@rabbit2 ...
3. [{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
4. {running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
5. {cluster_name,<<"rabbit@rabbit2">>},
6. {partitions,[]}]

9. 設置鏡像隊列策略

在任意一個節點上執行：

1. rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

10. 配置HAProxy

配置好HAProxy後，浏覽器訪問http://10.0.0.4:15672, 看到如下證明rabbitmq鏡像模式搭建成功