歡迎來到Linux教程網
設為首頁 加入收藏
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux教程 >> Varnish - 高性能http加速器

Varnish - 高性能http加速器

日期：2017/2/27 15:57:47   编辑：Linux教程
Varnish是一款高性能且開源的反向代理服務器和http加速器。與傳統的Squid相比，Varnish具有性能更高、速度更快、管理更方便等諸多 優點。作者Poul-Henning Kamp是FreeBSD的內核開發者之一。Varnish采用全新的軟件體系架構，和現在的硬件提交配合緊密。在1975年時，儲存媒介只有兩種：內存 與硬盤。但現在計算 機系統的內存除了主存外，還包括了cpu內的L1、L2，甚至有L3快取。硬盤上也有自己的快取裝置，因此squid cache自行處理物件替換的架構不可能得知這些情況而做到最佳化，但操作系統可以得知這些情況，所以這部份的工作應該交給操作系統處理，這就是 Varnish cache設計架構。

挪威最大的在線報紙 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原來的12台squid，性能居然比以前更好，這是Varnish最成功的應用案例。

Varnish特點：
  • 基於內存進行緩存，重啟後數據將消失
  • 利用虛擬內存方式，I/O性能好
  • 支持設置0~60秒的精確緩存時間
  • VCL配置管理比較靈活
  • 32位機器上緩存文件大小最大為2G
  • 具有強大的管理功能，例如top、stat、admin、list等
  • 狀態機設置巧妙，結構清晰
  • 利用二叉堆管理緩存文件，可達到積極刪除目的

Varnish與Squid的對比
Squid是一個高性能的代理緩存服務器，它和varnish之間有諸多的異同點，如下：
相同點：
  1. 都是一個反向代理服務器
  2. 都是開源軟件
不同點，也是Varnish的優點：
  1. Varnish的穩定性很高，兩者在完成相同負荷的工作時，Squid服務器發生故障的幾率要高於Varnish，因為使用Squid要經常重啟。
  2. Varnish訪問速度更快，Varnish采用了“Visual Page Cache”技術，所有緩存數據都直接從內存讀取，而squid是從硬盤讀取，因而Varnish在訪問速度方面會更快。
  3. Varnish可以支持更多的並發連接，因為Varnish的TCP連接釋放要比Squid快。因而在高並發連接情況下可以支持更多TCP連接。
  4. Varnish可以通過管理端口，使用正則表達式批量的清除部分緩存，而Squid是做不到的。
  5. squid屬於是單進程使用單核CPU，但Varnish是通過fork形式打開多進程來做處理，所以是合理的使用所有核來處理相應的請求。
當然，與傳統的Squid相比，Varnish也是有缺點的，如下：
  1. varnish進程一旦掛起、崩潰或者重啟，緩存數據都會從內存中完全釋放，此時所有請求都會發送到後端服務器，在高並發情況下，會給後端服務器造成很大壓力。
  2. 在varnish使用中如果單個url的請求通過HA/F5（負載均衡）每次請求不同的varnish服務器中，被請求varnish服務器都會被穿透到後端，而且同樣的請求會在多台服務器上緩存，也會造成varnish的緩存的資源浪費，也會造成性能下降。
解決方案：
  1. 綜 上所述在訪問量很大的情況下推薦使用varnish的內存緩存方式啟動，而且後面需要跟多台squid服務器。主要為了防止前面的varnish服務、服 務器被重啟的情況下，前期肯定會有很多的穿透這樣squid可以擔當第二層cache，而且也彌補了varnish緩存在內存中重啟都會釋放的問題。
  2. 這樣的問題可以在負載均衡上做url哈希，讓單個url請求固定請求到一台varnish服務器上，可以解決該問題。

varnish的工作流程
1、進程之間通信
varnish啟動或有2個進程 master(management)進程和child(worker)進程。master讀入存儲配置命令，進行初始化，然後fork，監控 child。child則分配線程進行cache工作，child還會做管理線程和生成很多worker線程。

child進程主線程初始化過程中，將存儲大文件整個加載到內存中，如果該文件超出系統的虛擬內存，則會減少原來配置mmap大小，然後繼續加載，這時候創建並初始化空閒存儲結構體，放在存儲管理的struct中，等待分配。

接著varnish某個負責接口新http連接的線程開始等待用戶，如果有新的http連接，但是這個線程只負責接收，然後喚醒等待線程池中的work線程，進行請求處理。

worker線程讀入uri後，將會查找已有的object，命中直接返回，沒有命中，則會從後端服務器中取出來，放到緩存中。如果緩存已滿，會根據 LRU算法，釋放舊的object。對於釋放緩存，有一個超時線程會檢測緩存中所有object的生命周期，如果緩存過期（ttl），則刪除，釋放相應的 存儲內存。

2、配置文件各結構之間通信
Varnish安裝 
wget http://ftp.cs.stanford.edu/pub/exim/pcre/pcre-8.33.tar.gz
tar xzf pcre-8.33.tar.gz
cd pcre-8.33
./configure
make && make install
cd ../
varnish-3.0.4報錯如下： 
varnishadm.c:48:33: error: editline/readline.h: No such file or directory
varnishadm.c: In function 'cli_write':
varnishadm.c:76: warning: implicit declaration of function 'rl_callback_handler_remove'
varnishadm.c:76: warning: nested extern declaration of 'rl_callback_handler_remove'
varnishadm.c: In function 'send_line':
varnishadm.c:179: warning: implicit declaration of function 'add_history'
varnishadm.c:179: warning: nested extern declaration of 'add_history'
varnishadm.c: In function 'varnishadm_completion':
varnishadm.c:216: warning: implicit declaration of function 'rl_completion_matches'
varnishadm.c:216: warning: nested extern declaration of 'rl_completion_matches'
varnishadm.c:216: warning: assignment makes pointer from integer without a cast
varnishadm.c: In function 'pass':
varnishadm.c:233: error: 'rl_already_prompted' undeclared (first use in this function)
varnishadm.c:233: error: (Each undeclared identifier is reported only once
varnishadm.c:233: error: for each function it appears in.)
varnishadm.c:235: warning: implicit declaration of function 'rl_callback_handler_install'
varnishadm.c:235: warning: nested extern declaration of 'rl_callback_handler_install'
varnishadm.c:239: error: 'rl_attempted_completion_function' undeclared (first use in this function)
varnishadm.c:300: warning: implicit declaration of function 'rl_forced_update_display'
varnishadm.c:300: warning: nested extern declaration of 'rl_forced_update_display'
varnishadm.c:303: warning: implicit declaration of function 'rl_callback_read_char'
varnishadm.c:303: warning: nested extern declaration of 'rl_callback_read_char'
make[3]: *** [varnishadm-varnishadm.o] Error 1
make[3]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin/varnishadm'
make[2]: *** [all-recursive] Error 1
make[2]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/root/lnmp/src/varnish-3.0.4'
make: *** [all] Error 2
報錯沒找到解決方法，選varnish-3.0.3 
wget http://repo.varnish-cache.org/source/varnish-3.0.3.tar.gz
tar xzf varnish-3.0.3.tar.gz
cd varnish-3.0.3
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig
./configure --prefix=/usr/local/varnish --enable-debugging-symbols --enable-developer-warnings --enable-dependency-tracking --with-jemalloc
make && make install
/usr/bin/install -m 755 ./redhat/varnish.initrc /etc/init.d/varnish
/usr/bin/install -m 644 ./redhat/varnish.sysconfig /etc/sysconfig/varnish
/usr/bin/install -m 755 ./redhat/varnish_reload_vcl /usr/local/varnish/bin
useradd -M -s /sbin/nologin varnish

ln -s /usr/local/varnish/sbin/varnishd /usr/sbin/
ln -s /usr/local/varnish/bin/varnish_reload_vcl /usr/bin/
ln -s /usr/local/varnish/bin/varnishadm /usr/bin/

chkconfig --add varnish
chkconfig varnish on
生成varnish管理秘鑰: 
uuidgen > /usr/local/varnish/etc/varnish/secret
chmod 644 /usr/local/varnish/etc/varnish/secret
修改varnish啟動配置: 
sed -i "s@^VARNISH_VCL_CONF=/etc/varnish/default.vcl@#VARNISH_VCL_CONF=/etc/varnish/default.vcl\nVARNISH_VCL_CONF=/usr/local/varnish/etc/varnish/linuxeye.vcl@" /etc/sysconfig/varnish
sed -i "s@^VARNISH_LISTEN_PORT=6081@#VARNISH_LISTEN_PORT=6081\nVARNISH_LISTEN_PORT=80@" /etc/sysconfig/varnish
sed -i "s@^VARNISH_SECRET_FILE=/etc/varnish/secret@#VARNISH_SECRET_FILE=/etc/varnish/secret\nVARNISH_SECRET_FILE=/usr/local/varnish/etc/varnish/secret@" /etc/sysconfig/varnish
sed -i "s@^VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin@#VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin\nVARNISH_STORAGE_FILE=/usr/local/varnish/var/varnish_storage.bin@" /etc/sysconfig/varnish
sed -i "s@^VARNISH_STORAGE_SIZE.*@VARNISH_STORAGE_SIZE=150M@" /etc/sysconfig/varnish
sed -i "s@^VARNISH_STORAGE=.*@VARNISH_STORAGE=\"malloc,\${VARNISH_STORAGE_SIZE}\"@" /etc/sysconfig/varnish
假設你的服務器擁有多顆邏輯處理器，還可以做以下的設置：
/etc/sysconfig/varnish 裡面還可以添加自定義的參數，用”-p 參數“的方式添加，如： 
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} \
             -f ${VARNISH_VCL_CONF} \
             -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} \
             -t ${VARNISH_TTL} \
             -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} \
             -u varnish -g varnish \
             -S ${VARNISH_SECRET_FILE} \
             -s ${VARNISH_STORAGE} \
             -p thread_pools=2" #這裡為添加項
Varnish啟動後進入後台運行，同時返回命令行狀態。需要注意的是，Varnish運行時會同時啟動兩個進程，一個主進程，一個是子進程，如果子進程出現問題，主進程將重新生成一個子進程。

VCL配置
/usr/local/varnish/etc/varnish/linuxeye.vcl.sh 
#通過backend定義了一個名稱為webserver的後端主機，“.host”指定後端主機的IP地址或者域名，“.port”指定後端主機的服務端口。
backend webserver {
    .host = "127.0.0.1";
    .port = "8080";
}
#調用vcl_recv開始
sub vcl_recv {
    if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For =
                req.http.X-Forwarded-For + ", " + client.ip;
        } else {
            set req.http.X-Forwarded-For = client.ip;
        }
    }
#如果請求的類型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE時，進入pipe模式。注意這裡是“&&”的關系
      if (req.request != "GET" &&
      req.request != "HEAD" &&
      req.request != "PUT" &&
      req.request != "POST" &&
      req.request != "TRACE" &&
      req.request != "OPTIONS" &&
      req.request != "DELETE") {
        return (pipe);
    }
#如果請求的類型不是GET與HEAD，則進入pass模式
    if (req.request != "GET" && req.request != "HEAD") {
        return (pass);
    }
    if (req.http.Authorization || req.http.Cookie) {
        return (pass);
    } #對linuxeye.com域名進行緩存加速，這是個泛域名的概念，也就是所有以linuxeye.com結尾的域名都進行緩存
    if (req.http.host ~ "^(.*).linuxeye.com") {
        set req.backend = webserver;
    }
#對以.jsp、.do、php結尾以及帶有?的URL時，直接從後端服務器讀取內容
    if (req.url ~ "\.(jsp|do|php)($|\?)") {
        return (pass);
    } else {
    return (lookup);
    }
}

sub vcl_pipe {
    return (pipe);
}

sub vcl_pass {
    return (pass);
}

sub vcl_hash {
    hash_data(req.url);
    if (req.http.host) {
        hash_data(req.http.host);
    } else {
        hash_data(server.ip);
    }
    return (hash);
}

sub vcl_hit {
    return (deliver);
}

sub vcl_miss {
    return (fetch);
}

#對於請求類型是GET，並且請求的URL中包含upload，那麼就進行緩存，緩存的時間是300秒，即5分鐘
sub vcl_fetch {
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
      set beresp.ttl = 300s;
    }

    if (req.request == "GET" && req.url ~ "\.(png|gif|jpg|jpeg|bmp|swf|css|js|html|htm|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|txt)$") {
      unset beresp.http.set-cookie;
      set beresp.ttl = 30d;
    }
    return (deliver);
}

#下面是添加一個Header標識，以判斷緩存是否命中
sub vcl_deliver {
    if (obj.hits > 0) {
      set resp.http.X-Cache = "HIT from demo.linuxeye.com";
    } else {
      set resp.http.X-Cache = "MISS from demo.linuxeye.com";
    }
    return (deliver);
}

#使用vcl_error可以定制一個錯誤頁面
sub vcl_error {
    set obj.http.Content-Type = "text/html; charset=utf-8";
    set obj.http.Retry-After = "5";
    synthetic {"
<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html>
  <head>
    <title>"} + obj.status + " " + obj.response + {"</title>
  </head>
  <body>
    <h1>Error "} + obj.status + " " + obj.response + {"</h1>
    <p>"} + obj.response + {"</p>
    <h3>Guru Meditation:</h3>
    <p>XID: "} + req.xid + {"</p>
    <hr>
    <p>Varnish cache server</p>
  </body>
</html>
"};
    return (deliver);
}

sub vcl_init {
        return (ok);
}

sub vcl_fini {
        return (ok);
}
檢查VCL配置是否正確: 
service varnish configtest
或 
varnishd -C -f /usr/local/varnish/etc/varnish/linuxeye.vcl
啟動varnish: 
service varnish start
查看varnish狀態: 
service varnish status
動態加載VCL配置: 
service varnish reload
停止varnish: 
service varnish stop
查看當前varnish監聽的80端口: 
# netstat -tpln | grep :80
tcp        0      0 0.0.0.0:80                  0.0.0.0:*                   LISTEN      15249/varnishd
tcp        0      0 0.0.0.0:8080                0.0.0.0:*                   LISTEN      19468/nginx
tcp        0      0 :::80                       :::*                        LISTEN      15249/varnishd
查看varnish進程: 
# ps -ef | grep varnishd | grep -v grep
root     15248     1  0 11:47 ?        00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M
varnish  15249 15248  0 11:47 ?        00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M
Varnish訪問日志
varnishncsa可以使用NCSA通用日志格式(NCSA Common Log Format)將HTTP請求記錄到日志文件. 
/usr/bin/install -m 755 ./redhat/varnishncsa.initrc /etc/init.d/varnishncsa
chmod +x /etc/init.d/varnishncsa
chkconfig varnishncsa on
mkdir -p /usr/local/varnish/logs
編輯varnishncsa啟動配置 
ln -s /usr/local/varnish/bin/varnishncsa /usr/bin
sed -i 's@^logfile.*@logfile="/usr/local/varnish/logs/varnishncsa.log"@' /etc/init.d/varnishncsa
啟動varnishncsa： 
service varnishncsa start
使用logrotate輪詢日志文件(每天輪詢): 
cat > /etc/logrotate.d/varnish << EOF
/usr/local/varnish/logs/varnishncsa.log {
daily
rotate 5
missingok
dateext
compress
notifempty
sharedscripts
postrotate
    [ -e /var/run/varnishncsa.pid ] && kill -USR1 \`cat /var/run/varnishncsa.pid\`
endscript
}
EOF
日志輪詢debug測試: 
logrotate -df /etc/logrotate.d/varnish

Linux教程

Ubuntu 14.04下使用cgroups和Docker

啟用LXC驅動假設你已經在Ubuntu 14.04上安裝了Dock

Redis 在CentOS Linux 5.x上的啟動腳本

XP和Linux雙系統 硬盤安裝CentOS 6.4

哪個最適用桌面操作系統

sudo: sorry, you must have a tty to run sudo

Linux中怎麼覆蓋普通文本文件和目錄軟連接

Linux系統下date命令及相關時區祥解

CentOS 6安裝和配置OpenVZ

Ubuntu開機提示“電池可能已損壞”解決辦法

Linux教程網

第一款支持容器和雲部署的開源數據庫Neo4j 3.0

第一款支持容器和雲部署的開源數據庫Neo4j 3.0第一款支持容器和雲部署的開源數據庫Neo4j 3.0導讀N

Ubuntu 15.04下安裝Docker

LinuxX-window顯卡配置通用解決方法

Struts2基礎——modelDriven

ubuntu 11.10 x64編譯安裝bochs2.5.1

科學音頻處理（二）：如何使用 Octave 對音頻文件進行基本數學信號處理

如何在 Linux 中安全擦除刪除的文件內容

Ubuntu系統安裝Ruby的三種方法

在pSeries上支持的linux有那些

相关文章
Linux基礎知識Linux入門Linux技術Linux教程Linux服務器關於Linux
文章推荐
Linux創建RPM包思路

基於容器的自動構建——Docker在美團的應用

Kubuntu 15.04中升級KDE Plasma 5.3

雲計算平台cloudstack

热点聚焦

Compiz0.8.6 從源碼安裝 compiz-plugin-screensaver過程

Debian 7.0 常見問題的處理方法

查看Linux系統服務在各運行級別中的啟動狀態的命令

Red Hat Linux 5 的網絡配置

消除Linux在Xwindows下的死機現象

增量備份和差異備份的區別

Linux基礎知識之文件管理命令(cp、mv、rm)

恢復Ubuntu 9.10引導

如何將Ubuntu升級到4.x內核

Linux on POWER：開發概覽

Copyright © Linux教程網 All Rights Reserved