歡迎來到Linux教程網
設為首頁 加入收藏
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> 分布式系統介紹及MogileFS安裝、基本配置

分布式系統介紹及MogileFS安裝、基本配置

日期：2017/2/28 13:52:33   编辑：Linux教程

前言:

不知不覺中我們就進入大數據時代, 什麼是大數據? 什麼是分布式? 什麼是雲計算? 我們在後面都將介紹, 本篇文章, 我們主要討論分布式系統;

什麼是分布式?

分布式這個詞聽起來很高大上, 實際上在我們以前經常構建分布式系統, 從最初的分離LAMP中的MySQL 到引入Varnish緩存頁面, 再到使用LVS負載均衡Nginx|Apache, Nginx負載均衡Tomcat等等, 廣義上都算是分布式系統.

簡單來說分布式就是將一個系統的各個組件(MySQL、PHP、Apache …)分布在網絡上的各台主機, 並且各組件之間僅通過消息傳遞來通信並協調工作

分布式存在的意義?

其實我們在之前負載均衡相關的博文中已經回答過了, 主要有以下問題:

  1. 垂直擴展的性價比不高

  2. 單機擴展存在性能上升的臨界點

  3. 處於穩定性及可用性考慮, 單機會存在多方面的問題

分布式的難點及CAP、BASE、2PC、X/Open XA介紹

分布式系統存在以下難點

  • 缺乏全局時鐘

  • 面對故障時的獨立性

  • 很難處理單點故障

  • 很難實現事務

事務要具有ACID. 但是這在分布式系統中很難實現

  • A: Atomicity 原子性

  • C: Consistency 一致性

  • I: Isolation 隔離性

  • D: Durability 持久性

很多數據庫都能實現單機事務, 但是一旦構建為分布式系統, 單機的ACID就不能實現了, 有兩種選擇, 1、放棄事務 2、引入分布式事務;

分布式事務的實現:

一次事務中的主要角色:

  • 事務的參與者

  • 支持事務的服務器

  • 資源服務器

  • 事務管理器

分布式事務的模型和規范: Distributed Transaction Processing: The XA Specification
X/Open DTP: Distribution Transaction Process

  • AP: 應用程序

  • RM: Resource Manager, 資源管理器, 一般是DBMS

  • TM: Transaction Manager, 負責協調和管理事務
    提供給AP編程接口, 並管理資源管理器

2PC:
Two Phase Commitment Protocol 兩段式提交

如圖: 一次事務首先要准備資源, 所有節點的資源都准備好後, 同時進行Commit, 如果中途中斷則會一起ROLLBACK, 從而實現數據一致性

CAP: CAP的更多信息

2000年7月 由 Eric Brewer提出, 並經過他人證明, 分布式系統不能同時滿足CAP

  • C: Consistency 一致性 所有主機的數據都是同步的

  • A: Avaiability 可用性 能夠保證系統的可用性(有主機宕機不影響用戶)

  • P: Partition tolerance 分區容錯性: 即使網絡出現故障從而分區, 不影響系統運行

一般情況下的分布式系統都是在C(Consistency)進行妥協

BASE: 可替代ACID;

  • BA: Basically Availibale 基本可用性

  • S: Soft state 接受一段時間的狀態不能同步

  • E: Eventually Consistent 最終一致性

相比於ACID而言, BASE並沒有那麼苛刻, BASE允許部分的失敗但是不會引起系統的故障
DNS就是最著名的Eventually Consistent的實現

分布式存儲和分布式文件系統:

存儲一般分為兩種類型:

  • 集中式:
    NAS: Network Attached Storage; 文件系統級別, 例如NFS, FTP, SAMBA…
    SAN: Storage Aera Network; 塊級別, 例如IP SAN, FC SAN…

  • 分布式
    中心節點存儲: 每個集群中有節點專門用來存儲元數據, 其他節點則存儲部分數據
    無中心節點存儲: 每個集群各節點都存儲元數據和部分數據

分布式存儲和分布式文件系統:

  • 文件系統: 有文件系統接口

  • 存儲: 無文件系統接口, 通過API訪問

常見的實現:
GFS: Google File System
分布式系統的開山鼻祖, 由於Google內部需要遂開發, 後來發布論文公布其技術細節, 但是沒有開源
HDFS: Hadoop Distribution File System
通過Google發布的論文, 從而實現HDFS

GFS和HDFS都將元數據存儲於內存中, 定期存儲在持久存儲中 、只適合存儲百萬、千萬級別的 大文件

GlusterFS:
去中心化設計, 沒有元數據節點
Ceph:
Linux內核級實現的文件系統, 已經收錄Linux內核
MogileFS:
適用於存儲海量小文件, 使用perl語言編寫, 國內有人使用C語言重寫並開源為FastDFS
TFS:
TaoBao FileSystem, 基於HDFS開發 適用於存儲海量小文件

MogileFS實現原理:

MogileFS中的術語:

tracker: 借助數據庫保存各個節點文件的元數據信息, 便於檢索定位數據位置並監控各個節點, 告知客戶端存儲區的位置並指揮storage節點復制數據副本, 進程為mogilefsd

database: 為tracker節點存儲節點文件的元數據信息

storage: 將指定域中的鍵轉換為特有的文件名存儲於在特定的設備文件中, 轉換後文件名為值, storage自動維護鍵值之間的對應關系, storage節點使用http進行數據傳輸, 依賴於perbal, 進程為mogstored, perbal

Domain: 一個域中的鍵值是唯一的, 一個MogileFS可以有多個域來存儲不同類型的文件

Class: 復制的最小單位, 管理文件屬性, 定義文件存儲在不同設備上的份數

device: 一個存儲節點, 可以有多個device, 就是用來存放文件的目錄, 每個設備都有一個設備ID, 需要在mogstored配置文件中docroot配置, 設備不能刪除, 只能將設備的狀態置為dead, 置為dead之後數據就無法恢復了, 並且設備ID也無法再使用

MogileFS Architecture:

MogileFS的特性:

  • 工作的應用層, 不需要特殊的組件

  • 無單點故障

  • 自動復制文件

  • 簡單的命名空間

  • 不需要RAID

  • 不能追加, 隨機寫

  • 數據通過HTTP/WebDAV服務上傳到Storage Node(mogstored)

  • MySQL存儲MogileFS元數據(命名空間、位置)

MogileFS的高可用架構:

MogileFS編譯安裝和配置

本我來是打算進行編譯安裝的, 但是由於各種原因, 我這次就使用rpm包安裝了, 本次rpm包是馬哥提供的.

對於實驗中的所有操作過程, 由於時間原因, 這裡都不在敘述 詳情看: 官方WIKI

實驗環境

  • node6 172.16.1.7 tracker, database

  • node7 172.16.1.8 storage

  • node8 172.16.1.9 storage

安裝: 需要epel源. 每一台主機都要安裝

[root@node6~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主機都必須安裝, 否則可能導致mogstored不能正常監聽端口
[root@node6~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm 
[root@node6~] yum install mysql-server 
[root@node6~] scp *.rpm 172.16.1.8:/root/                                                                                                                 
[root@node6~] scp *.rpm 172.16.1.9:/root/

[root@node7~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主機都必須安裝, 否則可能導致mogstored不能正常監聽端口
[root@node7~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm 

[root@node8~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主機都必須安裝, 否則可能導致mogstored不能正常監聽端口
[root@node8~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm

配置數據庫：

[root@node6~] service mysqld start

mysql> GRANT ALL ON *.* TO root@'%' IDENTIFIED BY 'passwd' ;  #配置一個可以遠程連接的root用戶
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT ALL ON mogilefs.* TO  mogileuser@'%' IDENTIFIED BY 'passwd';  #配置一個可管理mogilefs數據庫的用戶
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE DATABASE mogilefs;   #創建mogilefs數據庫
Query OK, 1 row affected (0.00 sec)

[root@node6~] mogdbsetup --dbhost=172.16.1.7 --dbuser=mogileuser --dbpass=passwd  --dbname=mogilefs --dbrootpass=passwd  #生成數據表

mysql> USE mogilefs;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
        mysql> SHOW TABLES;   #查看表有沒有生成
        +----------------------+
        | Tables_in_mogilefs   |
        +----------------------+
        | checksum             |
        | class                |
        | device               |
        | domain               |
        | file                 |
        | file_on              |
        | file_on_corrupt      |
        | file_to_delete       |
        | file_to_delete2      |
        | file_to_delete_later |
        | file_to_queue        |
        | file_to_replicate    |
        | fsck_log             |
        | host                 |
        | server_settings      |
        | tempfile             |
        | unreachable_fids     |
        +----------------------+
        17 rows in set (0.00 sec)

配置mogilefsd

[root@node6~] vim /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=172.16.1.7
db_user = mogileuser
db_pass = passwd
listen = 0.0.0.0:7001
conf_port = 7001

[root@node6~] service mogilefsd start
Starting mogilefsd                                         [  OK  ]



[root@node6~] mogadm host add node1 --ip=172.16.1.7 alive
[root@node6~] mogadm host add node2 --ip=172.16.1.8 alive
[root@node6~] mogadm host add node3 --ip=172.16.1.9 alive
[root@node6~] mogadm host list
node1 [1]: down
    IP:       172.16.1.7:7500

node2 [2]: down
    IP:       172.16.1.8:7500

node3 [3]: down
     IP:       172.16.1.9:7500

配置mogstored

[root@node6~] mkdir /data/mogilefs/dev1 -pv
    mkdir: created directory `/data'
    mkdir: created directory `/data/mogilefs'
    mkdir: created directory `/data/mogilefs/dev1'
[root@node6~] vim /etc/mogilefs/mogstored.conf 
    maxconns = 10000
    httplisten = 0.0.0.0:7500
    mgmtlisten = 0.0.0.0:7501
    docroot = /data/mogilefs/

[root@node6 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node6~] service mogstored start
Starting mogstored                                         [  OK  ]

[root@node7~] mkdir /data/mogilefs/dev2 -pv
    mkdir: created directory `/data'
    mkdir: created directory `/data/mogilefs'
    mkdir: created directory `/data/mogilefs/dev2'
[root@node7~] vim /etc/mogilefs/mogstored.conf 
    maxconns = 10000
    httplisten = 0.0.0.0:7500
    mgmtlisten = 0.0.0.0:7501
    docroot = /data/mogilefs/

[root@node7 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node7~] service mogstored start
Starting mogstored                                         [  OK  ]


[root@node8~] mkdir /data/mogilefs/dev3 -pv
mkdir: created directory `/data'
mkdir: created directory `/data/mogilefs'
mkdir: created directory `/data/mogilefs/dev3'
[root@node8~] vim /etc/mogilefs/mogstored.conf 

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /data/mogilefs/

[root@node8 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node8~] service mogstored start
Starting mogstored                                         [  OK  ]



[root@node6~] mogadm device add node1 1  alive
[root@node6~] mogadm device add node2 2  alive
[root@node6~] mogadm device add node3 3  alive

[root@node6~] mogadm check
    Checking trackers...
    127.0.0.1:7001 ... OK

Checking hosts...
          [ 1] node1 ... OK
          [ 2] node2 ... OK
          [ 3] node3 ... OK

Checking devices...
          host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
          ---- ------------ ---------- ---------- ---------- ------ ---------- -----
          [ 1] dev1            74.435      2.069     72.366   2.78%  writeable  28.9
          [ 2] dev2            74.435      1.958     72.477   2.63%  writeable   0.0
          [ 3] dev3            74.435      1.954     72.481   2.63%  writeable   0.5
          ---- ------------ ---------- ---------- ---------- ------
                     total:   223.306      5.982    217.324   2.68%

創建域

[root@node6~] mogupload --trackers=172.16.1.7 --doma^C
[root@node6~] mogadm domain list
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
[root@node6~] mogadm domain add files
[root@node6~] mogadm domain add images
[root@node6~] mogadm domain list
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
    files                default                   2        MultipleHosts() NONE   
    images               default                   2        MultipleHosts() NONE


創建類

[root@node6~] mogadm class list   
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
    files                default                   2        MultipleHosts() NONE   
    images               default                   2        MultipleHosts() NONE   

[root@node6~] mogadm class add files fulltext --mindevcount=1 

[root@node6~] mogadm class list
         domain               class                mindevcount   replpolicy   hashtype
        -------------------- -------------------- ------------- ------------ -------
         files                default                   2        MultipleHosts() NONE   
         files                fulltext                  1        MultipleHosts() NONE   
          images               default                   2        MultipleHosts() NONE

上傳並查看文件

[root@node6~] mogupload --trackers=172.16.1.7 --domain=files --key='/fstab.txt' --file=/etc/fstab 
[root@node6~] mogfileinfo --trackers=172.16.1.7 --domain=files --key='/fstab.txt'
        - file: /fstab.txt
             class:              default
          devcount:                    2
            domain:                files
               fid:                    2
               key:           /fstab.txt
            length:                  711
         - http://172.16.1.8:7500/dev2/0/000/000/0000000002.fid
         - http://172.16.1.9:7500/dev3/0/000/000/0000000002.fid

驗證

總結

MogileFS配置還是很Easy的, 但是分布式理論比配置更為重要, 大家一定要牢記在心！
作者水平很低, 如果有錯誤及時指出, 如果你覺得本文寫的好請點一波贊~(≧▽≦)/~

MogileFS 設置 Memcached http://www.linuxidc.com/Linux/2012-03/56905.htm

在 MogileFS 中使用 Nginx http://www.linuxidc.com/Linux/2012-03/56904.htm

在開源分布式文件系統MogileFS 中使用 Nginx http://www.linuxidc.com/Linux/2012-03/56573.htm

分布式文件系統MogileFS的使用 http://www.linuxidc.com/Linux/2015-09/122947.htm

自定義Nagios監控MogileFS存儲節點腳本 http://www.linuxidc.com/Linux/2011-12/49394.htm

Linux教程

LVS的兩種實現方法heartbeat和KeepAlived

總拓撲圖兩種實現方式： 一. LVS+heartbeat+ldi

Ubuntu下Ftp的安裝和配置(vsftpd)

Linux平台下光驅的軟開關與限速

主從和監控sentinel

Ubuntu 8.04 Alpha 1 即將發布

細數最適合使用Ubuntu Linux系統的幾種人

Linux 安裝svn並設置鉤子來同步更新

linux重定向命令應用及語法

Sublime Text 3+minGW 無法讀取cin,使用命令行cmd成功運行

Linux教程網

基於NFS實現lamp的負載均衡之六： 部署discuz論壇

一、創建用戶，用於部署網站：在兩台httpd服務器上操作useradd -r -u 80 ht

CentOS使用MPlayer無聲音怎麼辦？

細數Unix操作系統典型安全隱患

開源新聞速遞(160504)：Windows 系統市場份額首次跌破90%大關

Linux下幾個特別有用的設備文件

Centos6.5搭建smokeping服務

Linux怎麼開啟tomcat中日志的gc設置?

FreeBSD系統安裝配置之配置篇

在FreeBSD4.3 release上使用IP Filter做NAT

相关文章
Linux基礎知識Linux入門Linux技術Linux教程Linux服務器關於Linux
文章推荐
深入理解Linux內存管理機制

linux系統啟動過程詳解

Linux基礎教程：AndroidStudio配置Git及Git文件狀態說明

Android Studio配置Git
6個最佳的開源Python應用服務器

热点聚焦

Linux系統啟動和定制

Ubuntu 11.04的快捷方式圖標的存放位置

基礎教程：Linux 新手應該知道的 26 個命令

Ubuntu與Windows在同一台電腦上運行速度的體驗

制作Fedora 15的USB啟動盤

Unix/Linux中常用的清理磁盤空間的命令

Ubuntu 16.04安裝 CUDA7.5

基於Kickstart自動化安裝CentOS實踐

Android環境搭建——安裝ADT時出現Duplicate Location錯誤

Linux下安裝使用 IDE Rider .NET開發利器

Copyright © Linux教程網 All Rights Reserved