歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux綜合 >> 學習Linux >> RabbitMQ集群和高可用配置的技巧

RabbitMQ集群和高可用配置的技巧

日期:2017/3/3 17:36:14   编辑:學習Linux

RabbitMQ集群和高可用配置的技巧


熱度2 評論 80 www.BkJia.Com 網友分享於: 2017-02-10 07:02:58 浏覽數26695次

RabbitMQ集群和高可用配置的技巧


導讀RabbitMQ是一個開源的AMQP實現,服務器端用Erlang語言編寫,支持多種客戶端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用於在分布式系統中存儲轉發消息,在易用性、擴展性、高可用性等方面表現不俗。概述

運行模式大概有3種:

單一模式:非集群模式,單台。

普通模式:RabbitMQ默認的集群模式。

對於Queue來說,消息實體只存在於其中一個節點,A、B兩個節點僅有相同的元數據,即隊列結構。當消息進入A節點的Queue中後,consumer從B節點拉取時,RabbitMQ會臨時在A、B間進行消息傳輸,把A中的消息實體取出並經過B發送給consumer。

所以consumer應盡量連接每一個節點,從中取消息。即對於同一個邏輯隊列,要在多個節點建立物理Queue。否則無論consumer連A或B,出口總在A,會產生瓶頸。

該模式存在一個問題就是當A節點故障後,B節點無法取到A節點中還未消費的消息實體。

如果做了消息持久化,那麼得等A節點恢復,然後才可被消費;如果沒有持久化會丟失消息。

鏡像模式:Queue同時存在多個節點,可通過改模式實現HA高可用
該模式解決了上述問題,其實質和普通模式不同之處在於,消息實體會主動在鏡像節點間同步,而不是在consumer取數據時臨時拉取。

該模式帶來的副作用也很明顯,除了降低系統性能外,如果鏡像隊列數量過多,加之大量的消息進入,集群內部的網絡帶寬將會被這種同步通訊大大消耗掉。

下面來通過配置RabbitMQ鏡像模式來熟悉這3種運行模式

1. 環境說明

RabbitMQ集群安裝在3個節點上:10.0.0.1、10.0.0.2、10.0.0.3

HAProxy安裝在10.0.0.4上,用於對外提供RabbitMQ均衡

3個節點在/etc/hosts文件中分別添加如下內容:

10.0.0.1 rabbit110.0.0.2 rabbit210.0.0.3 rabbit3
2. 安裝erlang、rabbitmq
cd oneinstack/srcwget http://erlang.org/download/otp_src_18.3.tar.gztar xzf otp_src_18.3.tar.gzcd otp_src_18.3./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javacmake && make installcd ..wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gztar xzf rabbitmq-server-generic-unix-3.5.4.tar.gzmv rabbitmq_server-3.5.4 rabbitmqsed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaultssed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults  #日志目錄mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq
3. 一般用戶(rabbitmq)運行RabbitMQ
useradd rabbitmqwget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrappersed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper  #更改rabbitmq數據存儲目錄sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapperchmod +x rabbitmq-script-wrappercp rabbitmq-script-wrapper /usr/sbin/rabbitmqctlcp rabbitmq-script-wrapper /usr/sbin/rabbitmq-servercp rabbitmq-script-wrapper /usr/sbin/rabbitmq-pluginschown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var
4. 日志割接
cat >> /etc/logrotate.d/rabbitmq-server << EOF/usr/local/rabbitmq/var/log/rabbitmq/*.log {  weekly  missingok  rotate 20  compress  delaycompress  notifempty  sharedscripts  postrotate    /sbin/service rabbitmq-server rotate-logs > /dev/null  endscript}EOF
5. 啟動腳本

參考:《RabbitMQ啟動腳本》

6. 設置Erlang Cookie

Erlang Cookie文件:/home/rabbitmq/.erlang.cookie。這裡將rabbit1的該文件復制到rabbit2、rabbit3,並設置400權限

chmod 400 /home/rabbitmq/.erlang.cookiechown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie
7. 修改配置文件

密碼和集群配置:

cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF[  {rabbit, [    {cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},    {tcp_listeners,[{"0.0.0.0",5672}]},    {default_vhost,       <<"/">>},    {default_user,        <<"linuxeye">>},    {default_pass,        <<"linuxeye@123">>},    {loopback_users, ["linuxeye"]},    {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}  ]}].EOF

啟用rabbitmq_management

cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF[rabbitmq_management].EOF
8. 分別啟動3個節點rabbitmq

使用rabbitmqctl cluster_status命令表示集群搭建成功

[root@rabbit2 ~]# rabbitmqctl cluster_statusCluster status of node rabbit@rabbit2 ...[{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},{running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},{cluster_name,<<"rabbit@rabbit2">>},{partitions,[]}]
9. 設置鏡像隊列策略

在任意一個節點上執行:

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
10. 配置HAProxy

配置好HAProxy後,浏覽器訪問http://10.0.0.4:15672, 看到如下證明rabbitmq鏡像模式搭建成功

RabbitMQ集群和高可用配置的技巧RabbitMQ集群和高可用配置的技巧

原文來自:http://www.linuxeye.com/Linux/2905.html

本文地址:http://www.linuxprobe.com/rabbitmq-configuration.html


http://www.bkjia.com/Linuxjc/1191939.html TechArticle

Copyright © Linux教程網 All Rights Reserved