varnish搭建及配置詳解

目的：一台服務器既跑varnish，又跑系統自帶的apache，當然端口肯定不一樣，要測試確定varnish緩存了apache？
環境：RedHat4.8(64位)
IP地址：192.168.5.55
varnish版本：2.1.2
1、下載varnish並安裝，我這裡就不安裝pcre庫了，因為我系統安裝時所有的包都安裝完畢。另外可以到http://varnish-cache.org下載不同的版本，我個人還是建議下載和我一樣的版本，因為1版本和2版本之間的配置文件格式不太一樣，不然N多人又犯頭疼了！
tar -zxvf varnish-2.1.2.tar.gz
cd varnish-2.1.2
./configure --prefix=/usr/local/varnish --enable-dependency-tracking --enable-debugging-symbols --enable-developer-warnings
如果提示找不到no package 'libpcre' found，那麼你需要指定pcre庫的路徑，其實很簡單，你指定你的pcre庫的正確路徑就OK了，我這默認是在/usr/lib目錄下，你的如果是之後源碼安裝的，那麼在你安裝目錄下的lib目錄下，比如你安裝在/usr/local/pcre，那麼庫文件就是/usr/local/pcre/lib/pkgconfig。執行如下命令 ：
export PKG_CONFIG_PATH=你的pcre庫的路徑
make
make install

2、基本配置varnish，我先不管裡面的一些函數使用說明介紹了，如果要看的話請看權威指南，默認的varnish的配置文件全是注釋在/usr/local/varnish/etc/varnish/目錄下，這裡我備份一下配置文件，然後新建一個default.vcl文件，內容如下：
##通過backend定義一個名稱為webserver的後端主機，".host"指定後端主機的IP地址或者域名，".port"指定後端主機的端口，這裡也可以定義多台後端服務器，起到輔助分擔和健康檢測機制。
backend webserver {
.host = "192.168.5.55";
.port = "9999";
}
##開始調用vcl_recv
sub vcl_recv {
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For ", " client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
##如果請求的類型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE，則進入
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE") {
return (pipe);
}
##如果請求的類型不是GET或HEAD，則進入pass模式
if (req.request != "GET" && req.request != "HEAD") {
return (pass);
}
##對zzz.com域名進行緩存加速，後端的服務器apache就是對應的域名www.zzz.com。這個是泛域名的概念
if (req.http.host ~ "^(.*).zzz.com") {
set req.backend = webserver;
}
}
sub vcl_pipe {
return (pipe);
}
sub vcl_pass {
return (pass);
}
sub vcl_hash {
set req.hash += req.url;
if (req.http.host) {
set req.hash += req.http.host;
} else {
set req.hash += server.ip;
}
return (hash);
}
sub vcl_hit {
if (!obj.cacheable) {
return (pass);
}
return (deliver);
}
sub vcl_miss {
return (fetch);
}
sub vcl_fetch {
if (!beresp.cacheable) {
return (pass);
}
if (beresp.http.Set-Cookie) {
return (pass);
}
}
下面添加一個Header標識，以判斷緩存是否命中
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from www.zzz.com";
} else {
set resp.http.X-Cache = "MISS from www.zzz.com";
}
return (deliver);
}
這就是一個簡單的實例，如果有別的需求請參考別的文檔！

3、啟動varnish
/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:200 -a 0.0.0.0:9000
-f是指定配置文件
-s是一種存儲類型和存儲容量，使用的是malloc類型（malloc是一個c函數，用於分配內容空間），128定義多少內存被malloced。
-T是varnish基於文本的管理接口
-a是指定varnish監聽所有IP發給9000端口的http請求。
查看varnish進程
root 13635 1 0 16:33 ? 00:00:00 /usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:200 -a 0.0.0.0:9000
nobody 13636 13635 0 16:33 ? 00:00:00 /usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:200 -a 0.0.0.0:9000
查看200端口和9000端口，200是管理端口，9000是代理端口。
netstat -an | grep 9000
tcp 0 0 0.0.0.0:9000 0.0.0.0:* LISTEN
netstat -an | grep 200
tcp 0 0 127.0.0.1:200 0.0.0.0:* LISTEN

4、啟動系統自帶的apache，配置文件基本沒變動，端口改為9999而已。另外在/var/www/html目錄下新建一個index.html測試頁，隨便寫點什麼內容！最後啟動apache服務
/etc/init.d/httpd start
在本機hosts文件加上映射關系
192.168.5.55 www.zzz.com

5、現在應該看到varnish和apache的url是一個網頁，但是不知道是代理還是緩存？
curl http://www.zzz.com:9000 抓取varnish的頁面
hello!!!
curl http://www.zzz.com:9999 抓取apache的頁面
hello!!!

6、varnish配置文件在最後一行加入了Header信息，所有直接抓取報頭就知道緩存是否成功？
curl -I http://www.zzz.com:9000
HTTP/1.1 200 OK
Server: Apache/2.0.52 (Red Hat)
Last-Modified: Mon, 15 Oct 2012 07:07:27 GMT
ETag: "1bc893-9-4cc13b0a6a9c0"
Content-Type: text/html; charset=UTF-8
Content-Length: 9
Date: Tue, 13 Nov 2012 08:45:45 GMT
X-Varnish: 337763601
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cache: MISS from www.zzz.com 這裡的MISS表示此次訪問沒有從緩存讀取
再次打開這個頁面，查看網頁的頭信息。
curl -I http://www.zzz.com:9000
HTTP/1.1 200 OK
Server: Apache/2.0.52 (Red Hat)
Last-Modified: Mon, 15 Oct 2012 07:07:27 GMT
ETag: "1bc893-9-4cc13b0a6a9c0"
Content-Type: text/html; charset=UTF-8
Content-Length: 9
Date: Tue, 13 Nov 2012 08:45:47 GMT
X-Varnish: 337763602 337763601
Age: 1
Via: 1.1 varnish
Connection: keep-alive
X-Cache: HIT from www.zzz.com 這裡的HIT表示此次訪問從緩存讀取，也就是緩存命中

7、配置一下緩存時間吧！我在varnish的配置文件裡面配置沒有生效，不知道為什麼？QQ一哥們說一般都是在後端服務器配置緩存時間，所以這個問題暫不糾結了，另外再說一下varnish如果不配置緩存時間，默認是兩分鐘，也就是120秒。不信可以拿一個腳本測試一下！打開apache的配置文件httpd.conf，在最後面加上如下內容：
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType image/gif A2592000
ExpiresByType image/jpeg A2592000
ExpiresByType image/png A2592000
ExpiresByType image/x-icon A2592000
ExpiresByType application/x-javascript A604800
ExpiresByType text/css A604800
ExpiresByType text/html A125 其實我測試暫時只有這一行起到作用，別的可加可不加，時間是125秒
</IfModule>

8、重啟apache服務
/etc/init.d/httpd restart

9、測試看看緩存有沒有生效？
curl -I http://www.zzz.com:9000
HTTP/1.1 200 OK
Server: Apache/2.0.52 (Red Hat)
Last-Modified: Mon, 15 Oct 2012 07:07:27 GMT
ETag: "1bc893-9-4cc13b0a6a9c0"
Cache-Control: max-age=125 這裡表示緩存時間
Expires: Tue, 13 Nov 2012 09:14:28 GMT 這裡表示緩存過期時間，需要加8小時算
Content-Type: text/html; charset=UTF-8
Content-Length: 9
Date: Tue, 13 Nov 2012 09:12:23 GMT
X-Varnish: 337763610
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cache: MISS from www.zzz.com
說明生效了！

10、查看varnish系統緩存的狀態
/usr/local/varnish/bin/varnishstat
0+00:44:05 nagios-server
Hitrate ratio: 1 1 1
Hitrate avg: 0.4545 0.4545 0.4545
11 0.00 0.00 Client connections accepted
11 0.00 0.00 Client requests received
5 0.00 0.00 Cache hits
6 0.00 0.00 Cache misses
6 0.00 0.00 Backend conn. success
6 0.00 0.00 Fetch with Length
10 . . N struct sess_mem
1 . . N struct objectcore
1 . . N struct objecthead
10 . . N worker threads
10 0.00 0.00 N worker threads created
1 . . N backends
6 . . N expired objects
1 . . N LRU moved objects
1 0.00 0.00 Objects sent with write
11 0.00 0.00 Total Sessions
11 0.00 0.00 Total Requests
6 0.00 0.00 Total fetch
4223 0.00 1.60 Total header bytes
9 0.00 0.00 Total body bytes
11 0.00 0.00 Session Closed
11 0.00 0.00 Session Linger
2427 2.00 0.92 SHM records
1850 2.00 0.70 SHM writes
12 0.00 0.00 SMA allocator requests
5126 . . SMA bytes allocated
5126 . . SMA bytes free
6 0.00 0.00 Backend requests made
1 0.00 0.00 N vcl total
1 0.00 0.00 N vcl available
1 . . N total active purges
2 0.00 0.00 N new purges added
1 0.00 0.00 N old purges deleted
11 0.00 0.00 HCB Lookups without lock
6 0.00 0.00 HCB Lookups with lock
6 0.00 0.00 HCB Inserts
2645 1.00 1.00 Client uptime
以上各字段不解釋了，參考權威指南吧！

11、管理緩存內容，清除緩存內容的命令格式
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:200 puger.url <regexp>
列出最近清除的url列表的命令如下：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:200 purge.list
清除所有的緩存
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:200 purge.url ^.*$
另外還可以通過管理端口來清除緩存頁面！