Linux NFS說明，配置及故障分析
一、NFS服務簡介
NFS 是Network File System的縮寫，即網絡文件系統。一種使用於分散式文件系統的協定，由Sun公司開發，於1984年向外公布。功能是通過網絡讓不同的機器、不同的操作系統能夠彼此分享個別的數據，讓應用程序在客戶端通過網絡訪問位於服務器磁盤中的數據，是在類Unix系統間實現磁盤文件共享的一種方法。
NFS 的基本原則是“容許不同的客戶端及服務端通過一組RPC分享相同的文件系統”，它是獨立於操作系統，容許不同硬件及操作系統的系統共同進行文件的分享。
NFS在文件傳送或信息傳送過程中依賴於RPC協議。RPC，遠程過程調用 (Remote Procedure Call) 是能使客戶端執行其他系統中程序的一種機制。NFS本身是沒有提供信息傳輸的協議和功能的，但NFS卻能讓我們通過網絡進行資料的分享，這是因為NFS使用了一些其它的傳輸協議。而這些傳輸協議用到這個RPC功能的。可以說NFS本身就是使用RPC的一個程序。或者說NFS也是一個RPC SERVER。所以只要用到NFS的地方都要啟動RPC服務，不論是NFS SERVER或者NFS CLIENT。這樣SERVER和CLIENT才能通過RPC來實現PROGRAM PORT的對應。可以這麼理解RPC和NFS的關系：NFS是一個文件系統，而RPC是負責負責信息的傳輸。
二、系統環境
系統平台：Red hat 5.8
NFS Server IP：10.48.11.41
防火牆已關閉/iptables: Firewall is not running.
SELINUX=disabled
三、安裝NFS服務
NFS的安裝是非常簡單的，只需要兩個軟件包即可，而且在通常情況下，是作為系統的默認包安裝的。
nfs-utils-* ：包括基本的NFS命令與監控程序
portmap-* ：支持安全NFS RPC服務的連接
1、查看系統是否已安裝NFS
[root@exadatabackup dir01]# rpm -qa | grep nfs
nfs-utils-lib-1.0.8-7.9.el5
nfs-utils-1.0.9-60.el5
[root@exadatabackup dir01]# rpm -qa | grep portmap
portmap-4.0-65.2.2.1
四、NFS系統守護進程
nfsd：它是基本的NFS守護進程，主要功能是管理客戶端是否能夠登錄服務器；
mountd：它是RPC安裝守護進程，主要功能是管理NFS的文件系統。當客戶端順利通過nfsd登錄NFS服務器後，在使用NFS服務所提供的文件前，還必須通過文件使用權限的驗證。它會讀取NFS的配置文件/etc/exports來對比客戶端權限。
portmap：主要功能是進行端口映射工作。當客戶端嘗試連接並使用RPC服務器提供的服務（如NFS服務）時，portmap會將所管理的與服務對應的端口提供給客戶端，從而使客戶可以通過該端口向服務器請求服務。
五、NFS服務器的配置
NFS服務器的配置相對比較簡單，只需要在相應的配置文件中進行設置，然後啟動NFS服務器即可。
NFS的常用目錄
/etc/exports NFS服務的主要配置文件
/usr/sbin/exportfs NFS服務的管理命令
/usr/sbin/showmount 客戶端的查看命令
/var/lib/nfs/etab 記錄NFS分享出來的目錄的完整權限設定值
/var/lib/nfs/xtab 記錄曾經登錄過的客戶端信息
NFS服務的配置文件為 /etc/exports，這個文件是NFS的主要配置文件，不過系統並沒有默認值，所以這個文件不一定會存在，可能要使用vim手動建立，然後在文件裡面寫入配置內容。
/etc/exports文件內容格式：
<輸出目錄> [客戶端1 選項（訪問權限,用戶映射,其他）] [客戶端2 選項（訪問權限,用戶映射,其他）]
a. 輸出目錄：
輸出目錄是指NFS系統中需要共享給客戶機使用的目錄；
b. 客戶端：
客戶端是指網絡中可以訪問這個NFS輸出目錄的計算機
客戶端常用的指定方式：
指定ip地址的主機：192.168.0.200
指定子網中的所有主機：192.168.0.0/24 192.168.0.0/255.255.255.0
指定域名的主機：david.bsmart.cn
指定域中的所有主機：*.bsmart.cn
所有主機：*
c. 選項：
選項用來設置輸出目錄的訪問權限、用戶映射等。
NFS主要有3類選項：
訪問權限選項：
設置輸出目錄只讀：ro
設置輸出目錄讀寫：rw
用戶映射選項：
all_squash： 將遠程訪問的所有普通用戶及所屬組都映射為匿名用戶或用戶組（nfsnobody）；
no_all_squash： 與all_squash取反（默認設置）；
root_squash： 將root用戶及所屬組都映射為匿名用戶或用戶組（默認設置）；
no_root_squash：與rootsquash取反；
anonuid=xxx： 將遠程訪問的所有用戶都映射為匿名用戶，並指定該用戶為本地用戶（UID=xxx）；
anongid=xxx： 將遠程訪問的所有用戶組都映射為匿名用戶組賬戶，並指定該匿名用戶組賬戶為本地用戶組賬戶（GID=xxx）；
其它選項
secure： 限制客戶端只能從小於1024的tcp/ip端口連接nfs服務器（默認設置）；
insecure： 允許客戶端從大於1024的tcp/ip端口連接服務器；
sync： 將數據同步寫入內存緩沖區與磁盤中，效率低，但可以保證數據的一致性；
async： 將數據先保存在內存緩沖區中，必要時才寫入磁盤；
wdelay： 檢查是否有相關的寫操作，如果有則將這些寫操作一起執行，這樣可以提高效率（默認設置）；
no_wdelay： 若有寫操作則立即執行，應與sync配合使用；
subtree： 若輸出目錄是一個子目錄，則nfs服務器將檢查其父目錄的權限(默認設置)；
no_subtree：即使輸出目錄是一個子目錄，nfs服務器也不檢查其父目錄的權限，這樣可以提高效率；
六、NFS服務器的啟動與停止
在對exports文件進行了正確的配置後，就可以啟動NFS服務器了。
1、啟動NFS服務器
為了使NFS服務器能正常工作，需要啟動portmap和nfs兩個服務，並且portmap一定要先於nfs啟動。
# service portmap start
# service nfs start
2、查詢NFS服務器狀態
# service portmap status
# service nfs status
3、停止NFS服務器
要停止NFS運行時，需要先停止nfs服務再停止portmap服務，對於系統中有其他服務(如NIS)需要使用時，不需要停止portmap服務
# service nfs stop
# service portmap stop
4、設置NFS服務器的自動啟動狀態
對於實際的應用系統，每次啟動LINUX系統後都手工啟動nfs服務器是不現實的，需要設置系統在指定的運行級別自動啟動portmap和nfs服務。
# chkconfig --list portmap
# chkconfig --list nfs
設置portmap和nfs服務在系統運行級別3和5自動啟動。
# chkconfig --level 35 portmap on
# chkconfig --level 35 nfs on
[root@exadatabackup dir01]# cat /etc/exports
#/dir01 *(rw,no_root_squash)
#/dir02 *(rw,no_root_squash)
/dir01 *(rw)
/dir02 *(rw)
[root@exadatabackup dir01]# exportsfs
-bash: exportsfs: command not found
[root@exadatabackup dir01]# exportfs
/dir01 <world>
/dir02 <world>
[root@exadatabackup dir01]# showmount -e
Export list for exadatabackup:
/dir02 *
/dir01 *
[root@exadatabackup dir01]# showmount -e
sExport list for exadatabackup:
/dir02 *
/dir01 *
[root@exadatabackup dir01]# showmount -a
All mount points on exadatabackup:
10.48.28.3:/dir01
10.48.28.9:/dir01
10.48.28.9:/dir02
客戶端使用showmount命令查詢NFS的共享狀態
# showmount -e NFS_SERVER_IP
[root@exadatabackup dir01]# showmount -e 10.48.11.41
Export list for 10.48.11.41:
/dir02 *
/dir01 *
NFS有很多默認的參數，打開/var/lib/nfs/etab 查看分享出來的/home/david/ 完整權限設定值。
[root@exadatabackup dir01]# cat /var/lib/nfs/etab
/dir01 *(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,mapping=identity,anonuid=65534,anongid=65534)
/dir02 *(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,mapping=identity,anonuid=65534,anongid=65534)
no_root_squash 是讓root保持權限，root_squash 是把root映射成nobody，no_all_squash 不讓所有用戶保持在掛載目錄中的權限。所以，root建立的文件所有者是nfsnobody。
關於權限的分析
1. 客戶端連接時候，對普通用戶的檢查
a. 如果明確設定了普通用戶被壓縮的身份，那麼此時客戶端用戶的身份轉換為指定用戶；
b. 如果NFS server上面有同名用戶，那麼此時客戶端登錄賬戶的身份轉換為NFS server上面的同名用戶；
c. 如果沒有明確指定，也沒有同名用戶，那麼此時 用戶身份被壓縮成nfsnobody；
2. 客戶端連接的時候，對root的檢查
a. 如果設置no_root_squash，那麼此時root用戶的身份被壓縮為NFS server上面的root；
b. 如果設置了all_squash、anonuid、anongid，此時root 身份被壓縮為指定用戶；
c. 如果沒有明確指定，此時root用戶被壓縮為nfsnobody；
d. 如果同時指定no_root_squash與all_squash 用戶將被壓縮為 nfsnobody，如果設置了anonuid、anongid將被壓縮到所指定的用戶與組；
相關命令
1、exportfs
如果我們在啟動了NFS之後又修改了/etc/exports，是不是還要重新啟動nfs呢？這個時候我們就可以用exportfs 命令來使改動立刻生效，該命令格式如下：
# exportfs [-aruv]
-a 全部掛載或卸載 /etc/exports中的內容
-r 重新讀取/etc/exports 中的信息 ，並同步更新/etc/exports、/var/lib/nfs/xtab
-u 卸載單一目錄（和-a一起使用為卸載所有/etc/exports文件中的目錄）
-v 在export的時候，將詳細的信息輸出到屏幕上。
具體例子：
# exportfs -au 卸載所有共享目錄
# exportfs -rv 重新共享所有目錄並輸出詳細信息
2、nfsstat
查看NFS的運行狀態，對於調整NFS的運行有很大幫助。
3、rpcinfo
查看rpc執行信息，可以用於檢測rpc運行情況的工具，利用rpcinfo -p 可以查看出RPC開啟的端口所提供的程序有哪些。
4、showmount
-a 顯示已經於客戶端連接上的目錄信息
-e IP或者hostname 顯示此IP地址分享出來的目錄
5、netstat
可以查看出nfs服務開啟的端口，其中nfs 開啟的是2049，portmap 開啟的是111，其余則是rpc開啟的。
最後注意兩點，雖然通過權限設置可以讓普通用戶訪問，但是掛載的時候默認情況下只有root可以去掛載，普通用戶可以執行sudo。
NFS server 關機的時候一點要確保NFS服務關閉，沒有客戶端處於連接狀態！通過showmount -a 可以查看，如果有的話用kill killall pkill 來結束，（-9 強制結束）
故障實例
========
使用nfs掛載失敗：
mount: 10.48.11.41:/home/test/distfiles failed, reason given by server: Permission denied
關閉防火牆再次mount，依舊如此。
查看服務器端/var/log/message記錄發現
Aug 2 16:15:11 exadatabackup mountd[1106]: refused mount request from 10.48.28.9 for /dir01 (/dir01): unmatched host
服務器端的/etc/hosts裡的主機名ip全部去掉，客戶端再次mount,就可以了，但是再換一台客戶端問題mount時同樣錯誤又出現了。
經過反復實驗，最終該問題解決匯總：
解決方式1、去掉/etc/hosts中的主機名ip
解決方式2、查看客戶端掛載的目錄不具備讀寫權限，添加權限即可。
解決方式3、服務器和客戶機網段不同引起，修改ip地址，使其同網段即可。
用 192.168.0.0/16 替代 192.168.* 方式
----------------------------------------------------------------------------------------------------------------------
網上有人遇到和我同樣的問題，其猜測是因為NFS會先把IP地址轉成對應的主機名，然後用這個主機名去匹配/etc/exports文件，而該文件都是設置IP段的，當然就沒有權限 mount。通過查閱資料和測試，證實了我的這個猜測。 另外才測試過程中，如果使用主機名或者全質量主機名(FQDN)來mount NFS 文件系統，會比單純使用IP要快得多。因此，如果使用NFS服務的局域網內添加一個DNS服務，然後采用全質量主機名的方式來訪問，應該效果會好得多。
