歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> 關於Linux >> linux配置文件的調優

linux配置文件的調優

日期:2017/3/1 12:21:03   编辑:關於Linux
一、limits.conf原理 工作原理 limits.conf文件實際是Linux PAM(插入式認證模塊,Pluggable Authentication Modules)中 pam_limits.so 的配置文件,突破系統的默認限制,對系統訪問資源有一定保護作用。 limits.conf 和sysctl.conf區別在於limits.conf是針對用戶,而sysctl.conf是針對整個系統參數配置。 limits.conf是pam_limits.so的配置文件,然後/etc/pam.d/下的應用程序調用pam_***.so模塊。譬如說,當用戶訪問服務器,服務程序將請求發送到PAM模塊,PAM模塊根據服務名稱在/etc/pam.d目錄下選擇一個對應的服務文件,然後根據服務文件的內容選擇具體的PAM模塊進行處理。 文件格式 username|@groupname type resource limit 1)username|@groupname 設置需要被限制的用戶名,組名前面加@和用戶名區別。也可用通配符*來做所有用戶的限制 2)type 類型有soft,hard 和 - soft 指的是當前系統生效的設置值 hard 表明系統中所能設定的最大值,soft 的限制不能比 hard 限制高 - 就表明同時設置了 soft 和 hard 的值 3)resource: 表示要限制的資源 core - 限制內核文件的大小 core file : 當一個程序崩潰時,在進程當前工作目錄的core文件中復制了該進程的存儲圖像。core文件僅僅是一個內存映象(同時加上調試信息),主要是用來調試的。core文件是個二進制文件,需要用相應的工具來分析程序崩潰時的內存映像,系統默認core文件的大小為0,所以沒有被創建。可以用ulimit命令查看和修改core文件的大小。 #ulimit -c 0 #ulimit -c 1000 #ulimit -c unlimited 注意:如果想讓修改永久生效,則需要修改配置文件,如 .bash_profile、/etc/profile或/etc/security/limits.conf date - 最大數據大小 fsize - 最大文件大小 memlock - 最大鎖定內存地址空間 nofile - 打開文件的最大數目 對於需要做許多套接字連接並使它們處於打開狀態的應用程序而言,最好通過使用ulimit -n,或者通過設置nofile參數,為用戶把文件描述符的數量設置得比默認值高一些 rss - 最大持久設置大小 stack - 最大棧大小 cpu - 以分鐘為單位的最多 CPU 時間 noproc - 進程的最大數目 as - 地址空間限制 maxlogins - 此用戶允許登錄的最大數目 示例 限制admin用戶登錄到sshd的服務不能超 過2個 echo session required pam_limits.so >> /etc/pam.d/sshd echo admin - maxlogins 2 >> /etc/security/limits.conf 查看應用程序能否被PAM支持,用ldd 同理limits.conf要使用就必須保證/etc/pam.d/login 中有下面:session required pam_limits.so 設置 暫時生效,ulimit 命令 永久生效,通過將一個相應的 ulimit 語句添加到由登錄 shell 讀取的文件之一(例如 ~/.profile),即特定於 shell 的用戶資源文件;或者通過編輯 /etc/security/limits.conf 二、ulimit ulimit 用於限制 shell 啟動進程所占用的資源,支持以下各種類型的限制:所創建的內核文件的大小、進程數據塊的大小、Shell 進程創建文件的大小、內存鎖住的大小、常駐內存集的大小、打開文件描述符的數量、分配堆棧的最大大小、CPU 時間、單個用戶的最大線程數、Shell 進程所能使用的最大虛擬內存。同時,它支持硬資源和軟資源的限制 作為臨時限制,ulimit 可以作用於通過使用其命令登錄的 shell 會話,在會話終止時便結束限制,並不影響於其他 shell 會話。而對於長期的固定限制,ulimit 命令語句又可以被添加到由登錄 shell 讀取的文件中,作用於特定的 shell 用戶 只對當前tty(終端有效),若要每次都生效的話,可以把ulimit參數放到對應用戶的.bash_profile裡面 ulimit命令本身就有分軟硬設置,加-H就是硬,加-S就是軟 默認顯示的是軟限制,如果運行ulimit命令修改的時候沒有加上的話,就是兩個參數一起改變生效 ulimit命令用來限制系統用戶對shell資源的訪問,常用參數解釋如下 ulimit(選項) -a:顯示目前資源限制的設定; -c <core文件上限>:設定core文件的最大值,單位為區塊; -d <數據節區大小>:程序數據節區的最大值,單位為KB; -f <文件大小>:shell所能建立的最大文件,單位為區塊; -H:設定資源的硬性限制,也就是管理員所設下的限制; -m <內存大小>:指定可使用內存的上限,單位為KB; -n <文件數目>:指定同一時間最多可開啟的文件數; -p <緩沖區大小>:指定管道緩沖區的大小,單位512字節; -s <堆疊大小>:指定堆疊的上限,單位為KB; -S:設定資源的彈性限制; -t <CPU時間>:指定CPU使用時間的上限,單位為秒; -u <程序數目>:用戶最多可開啟的程序數目; -v <虛擬內存大小>:指定可使用的虛擬內存上限,單位為KB。 Linux是有文件句柄限制的,而且Linux默認不是很高,一般都是1024,生產服務器用其實很容易就達到這個數量 系統的限制文件在 /proc/sys/fs/file-max 、/proc/sys/fs/file-nr中 /proc/sys/fs/file-max 決定了當前內核可以打開的最大的文件句柄數 The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate. When you get a lot of error messages about running out of file handles, you might want to raise this limit. The default value is 10% of RAM in kilobytes. To change it, just write the new number into the file 意思是file-max一般為內存大小(KB)的10%來計算,如果使用shell,可以這樣計算 grep -r MemTotal /proc/meminfo | awk '{printf("%d",$2/10)}' /proc/sys/fs/file-nr Historically, the three values in file-nr denoted the number of allocated file handles, the number of allocated but unused file handles, and the maximum number of file handles. Linux 2.6 always reports 0 as the number of free file handles -- this is not an error, it just means that the number of allocated file handles exactly matches the number of used file handles. 查找文件句柄問題的時候,還有一個很實用的程序lsof.可以很方便看到某個進程開了那些句柄.也可以看到某個文件/目錄被什麼進程占用了. lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more 修改完重新登錄就可以見到,使用 ulimit -a 查看確認 設置 針對所有用戶的設置,在/etc/security/limits.conf文件,其是可以對系統用戶、組進行cpu、文件數等限制的,通過它可以針對某個用戶或全部進行限制。但不能超越系統的限制; (*表示所有用戶、soft表示可以超出,但只是警告;hard表示絕對不能超出,unlimited用於表示不限制)如果想對所有用戶設置,也可以放在/etc/profile文件裡面,下面是該文件裡面的默認參數:ulimit -S -c 0 > /dev/null 2>&1 修改ulimit最大限制 1)使用命令修改 查詢當前終端的文件句柄數: ulimit -n 回車,一般的系統默認的1024. 修改文件句柄數為65535,ulimit -n 65535.此時系統的文件句柄數為65535. 2)將ulimit 值添加到/etc/profile文件中(適用於有root權限登錄的系統) 為了每次系統重新啟動時,都可以獲取更大的ulimit值,將ulimit 加入到/etc/profile 文件底部 echo ulimit -n 65535 >>/etc/profile source /etc/profile ulimit -n 3)OK,好多朋友都以為大功告成了,可以突然發現自己再次登錄進來的時候,ulimit的值還是1024,這是為什麼呢? 關鍵的原因是你登錄的用戶是什麼身份,是不是root用戶,由於服務器的root用戶權限很大,一般是不能用來登錄的,都是通過自己本人的登錄權限進行登錄,並通過sudo方式切換到root用戶下進行工作。 用戶登錄的時候執行sh腳本的順序: /etc/profile.d/file /etc/profile /etc/bashrc /home/.admin/.bashrc /home/.admin/.bash_profile 由於ulimit -n的腳本命令加載在第二部分,用戶登錄時由於權限原因在第二步還不能完成ulimit的修改,所以ulimit的值還是系統默認的1024 解決辦法: 修改linux的軟硬件限制文件 echo ' * soft nproc 11000 * hard nproc 11000 * soft nofile 655350 * hard nofile 655350' >> /etc/security/limits.conf 4)經過以上修改,在有些系統中,用一般用戶再登陸,仍然沒有修改過來,那麼需要檢查是否有如下文件,如果沒有,則要添加如下內容: echo session required /lib/security/pam_limits.so >> /etc/pam.d/sshd service sshd reload 5)如果仍然不行,那麼需要修改如下文件 echo UsePrivilegeSeparation no >> /etc/ssh/sshd_config ulimit -n and /proc/sys/fs/file-max 有什麼區別 1、file-max 是內核級別的,所有的進程總和不能超過這個數 2、ulimit是進程級別的
me@superme:~$ ulimit -n
1024
me@superme:~$ lsof | grep me | wc -l
8145

#!/usr/bin/perl

$count = 0;
@filedescriptors;

while ($count <= 1024) {
    $FILE = ${count};
    open $FILE, ">", "/tmp/example$count" or die "\n\n FDs: $count $!";
    push(@filedescriptors, $FILE);
    $count ++;
}

//FDs: 1021 Too many open files at ./test.pl line 8.
//1021 because there were 3 open file descriptors before reaching the while loop (stdout, stdin and stderr)

三、關閉IPV6 目前為止我們還不需要IPv6,系統安裝完之後是自帶並且開啟了的,需要我們關閉 1 ifconfig | grep inet6 || lsmod | grep ipv6 1、如果出現inet6 addr…的字樣,說明就是安裝了 2、顯示內核加載的ipv6相關模塊 通過以下命令禁用 sed -i 's/^NETWORKING_IPV6=yes/NETWORKING_IPV6=no/' /etc/sysconfig/network echo ' alias net-pf-10 off alias ipv6 off ' >> /etc/modprobe.d/dist.conf chkconfig ip6tables off 四、sysctl.conf工作原理 sysctl命令被用於在內核運行時動態地修改內核的運行參數,可用的內核參數在目錄/proc/sys中。它包含一些TCP/IP堆棧和虛擬內存系統的高級選項, 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設置超過五百個系統變量 sysctl.conf設置 這是一個在網絡上流傳依舊的sysctl.conf優化配置sysctl.conf設置 #禁用包過濾功能 net.ipv4.ip_forward = 0 #啟用源路由核查功能 net.ipv4.conf.default.rp_filter = 1 #禁用所有IP源路由 net.ipv4.conf.default.accept_source_route = 0 #使用sysrq組合鍵是了解系統目前運行情況,為安全起見設為0關閉 kernel.sysrq = 0 #控制core文件的文件名是否添加pid作為擴展 kernel.core_uses_pid = 1 #開啟SYN Cookies,當出現SYN等待隊列溢出時,啟用cookies來處理 net.ipv4.tcp_syncookies = 1 #每個消息隊列的大小(單位:字節)限制 kernel.msgmnb = 65536 #整個系統最大消息隊列數量限制 kernel.msgmax = 65536 #單個共享內存段的大小(單位:字節)限制,計算公式64G*1024*1024*1024(字節) kernel.shmmax = 68719476736 #所有內存大小(單位:頁,1頁 = 4Kb),計算公式16G*1024*1024*1024/4KB(頁) kernel.shmall = 4294967296 #timewait的數量,默認是180000 net.ipv4.tcp_max_tw_buckets = 6000 #開啟有選擇的應答 net.ipv4.tcp_sack = 1 #支持更大的TCP窗口. 如果TCP窗口最大超過65535(64K), 必須設置該數值為1 net.ipv4.tcp_window_scaling = 1 #TCP讀buffer net.ipv4.tcp_rmem = 4096 131072 1048576 #TCP寫buffer net.ipv4.tcp_wmem = 4096 131072 1048576 #為TCP socket預留用於發送緩沖的內存默認值(單位:字節) net.core.wmem_default = 8388608 #為TCP socket預留用於發送緩沖的內存最大值(單位:字節) net.core.wmem_max = 16777216 #為TCP socket預留用於接收緩沖的內存默認值(單位:字節) net.core.rmem_default = 8388608 #為TCP socket預留用於接收緩沖的內存最大值(單位:字節) net.core.rmem_max = 16777216 #每個網絡接口接收數據包的速率比內核處理這些包的速率快時,允許送到隊列的數據包的最大數目 net.core.netdev_max_backlog = 262144 #web應用中listen函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128,而nginx定義的NGX_LISTEN_BACKLOG默認為511,所以有必要調整這個值 net.core.somaxconn = 262144 #系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。這個限制僅僅是為了防止簡單的DoS攻擊,不能過分依靠它或者人為地減小這個值,更應該增加這個值(如果增加了內存之後) net.ipv4.tcp_max_orphans = 3276800 #記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對於有128M內存的系統而言,缺省值是1024,小內存的系統則是128 net.ipv4.tcp_max_syn_backlog = 262144 #時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異常”的數據包。這裡需要將其關掉 net.ipv4.tcp_timestamps = 0 #為了打開對端的連接,內核需要發送一個SYN並附帶一個回應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發送SYN+ACK包的數量 net.ipv4.tcp_synack_retries = 1 #在內核放棄建立連接之前發送SYN包的數量 net.ipv4.tcp_syn_retries = 1 #開啟TCP連接中time_wait sockets的快速回收 net.ipv4.tcp_tw_recycle = 1 #開啟TCP連接復用功能,允許將time_wait sockets重新用於新的TCP連接(主要針對time_wait連接) net.ipv4.tcp_tw_reuse = 1 #1st低於此值,TCP沒有內存壓力,2nd進入內存壓力階段,3rdTCP拒絕分配socket(單位:內存頁) net.ipv4.tcp_mem = 94500000 915000000 927000000 #如果套接字由本端要求關閉,這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連接,甚至意外當機。缺省值是60 秒。2.2 內核的通常值是180秒,你可以按這個設置,但要記住的是,即使你的機器是一個輕載的WEB服務器,也有因為大量的死套接字而內存溢出的風險,FIN- WAIT-2的危險性比FIN-WAIT-1要小,因為它最多只能吃掉1.5K內存,但是它們的生存期長些。 net.ipv4.tcp_fin_timeout = 15 #表示當keepalive起用的時候,TCP發送keepalive消息的頻度(單位:秒) net.ipv4.tcp_keepalive_time = 30 #對外連接端口范圍 net.ipv4.ip_local_port_range = 2048 65000 #表示文件句柄的最大數量 fs.file-max = 102400 這是我在實際生產系統自動化部署中用的配置
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_wmem = 8192 4336600 873200
net.ipv4.tcp_rmem = 32768 4336600 873200
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 786432 1048576 1572864
net.ipv4.tcp_fin_timeout = 30
#net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.ip_local_port_range = 1024 65000
/sbin/sysctl -p最後記得刷新立即生效


Copyright © Linux教程網 All Rights Reserved