Linux工具之curl與wget高級使用
1、curl（文件傳輸工具）
常用參數如下：
-c，--cookie-jar：將cookie寫入到文件
-b，--cookie：從文件中讀取cookie
-C，--continue-at：斷點續傳
-d，--data：http post方式傳送數據
-D，--dump-header：把header信息寫入到文件
-F，--from：模擬http表達提交數據
-s，--slient：減少輸出信息
-o，--output：將信息輸出到文件
-O，--remote-name：按照服務器上的文件名，存在本地
--l，--head：僅返回頭部信息
-u，--user[user:pass]：設置http認證用戶和密碼
-T，--upload-file：上傳文件
-e，--referer：指定引用地址
-x，--proxy：指定代理服務器地址和端口
-w，--write-out：輸出指定格式內容
--retry：重試次數
--connect-timeout：指定嘗試連接的最大時間/s
使用示例：
例1：抓取頁面到指定文件，如果有亂碼可以使用iconv轉碼
# curl -o baidu.html www.baidu.com
# curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #減少輸出信息
例2：模擬浏覽器頭（user-agent）
# curl -A "Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)" www.baidu.com
例3：處理重定向頁面
# curl –L http://192.168.1.100/301.php #默認curl是不處理重定向
例4：模擬用戶登陸，保存cookie信息到cookies.txt文件，再使用cookie登陸
# curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表單屬性不同，每個網站基本都不同
# curl -b ./cookies.txt –o URL
例5：獲取HTTP響應頭headers
# curl -I http://www.baidu.com
# curl -D ./header.txt http://www.baidu.com #將headers保存到文件中
例6：訪問HTTP認證頁面
# curl –u user:pass URL
例7：通過ftp上傳和下載文件
# curl -T filename ftp://user:pass@ip/docs #上傳
# curl -O ftp://user:pass@ip/filename #下載
2、wget（文件下載工具）
常用參數如下：
2.1 啟動參數
-V，--version：顯示版本號
-h，--help：查看幫助
-b，--background：啟動後轉入後台執行
2.2 日志記錄和輸入文件參數
-o，--output-file=file：把記錄寫到file文件中
-a，--append-output=file：把記錄追加到file文件中
-i，--input-file=file：從file讀取url來下載
2.3 下載參數
-bind-address=address：指定本地使用地址
-t，-tries=number：設置最大嘗試連接次數
-c，-continue：接著下載沒有下載完的文件
-O，-output-document=file：將下載內容寫入到file文件中
-spider：不下載文件
-T，-timeout=sec：設置響應超時時間
-w，-wait=sec：兩次嘗試之間間隔時間
--limit-rate=rate：限制下載速率
-progress=type：設置進度條
2.4 目錄參數
-P，-directory-prefix=prefix：將文件保存到指定目錄
2.5 HTTP參數
-http-user=user：設置http用戶名
-http-passwd=pass：設置http密碼
-U，--user-agent=agent：偽裝代理
-no-http-keep-alive：關閉http活動鏈接，變成永久鏈接
-cookies=off：不使用cookies
-load-cookies=file：在開始會話前從file文件加載cookies
-save-cookies=file：在會話結束將cookies保存到file文件
2.6 FTP參數
-passive-ftp：默認值，使用被動模式
-active-ftp：使用主動模式
2.7 遞歸下載排除參數
-A，--accept=list：分號分割被下載擴展名的列表
-R，--reject=list：分號分割不被下載擴展名的列表
-D，--domains=list：分號分割被下載域的列表
--exclude-domains=list：分號分割不被下載域的列表
使用示例：
例1：下載單個文件到當前目錄下，也可以-P指定下載目錄
# wgethttp://nginx.org/download/nginx-1.8.0.tar.gz
例2：對於網絡不穩定的用戶可以使用-c和--tries參數，保證下載完成
# wget --tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz
例3：下載大的文件時，我們可以放到後台去下載，這時會生成wget-log文件來保存下載進度
# wget -b http://nginx.org/download/nginx-1.8.0.tar.gz
例4：可以利用—spider參數判斷網址是否有效
# wget --spider http://nginx.org/download/nginx-1.8.0.tar.gz
例5：自動從多個鏈接下載文件
# cat url_list.txt #先創建一個URL文件
http://nginx.org/download/nginx-1.8.0.tar.gz
http://nginx.org/download/nginx-1.6.3.tar.gz
# wget -i url_list.txt
例6：限制下載速度
# wget --limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz
例7：登陸ftp下載文件
# wget --ftp-user=user --ftp-password=pass ftp://ip/filename
Ubuntu 用戶安裝下載器 cURL 7.36.0 http://www.linuxidc.com/Linux/2014-05/102269.htm
Linux curl使用簡單介紹 http://www.linuxidc.com/Linux/2008-01/10891.htm
Unix下Curl的使用方法及常用功能記錄分享 http://www.linuxidc.com/Linux/2012-08/69154.htm
curl命令使用 http://www.linuxidc.com/Linux/2014-09/107018.htm
Linux wget命令詳解 http://www.linuxidc.com/Linux/2012-08/67837.htm
Linux 下使用 wget/aria2 進行離線迅雷批量下載 http://www.linuxidc.com/Linux/2011-10/46052.htm
Linux使用wget請求地址時報錯 http://www.linuxidc.com/Linux/2011-07/39345.htm
Linux下載命令wget使用詳解 http://www.linuxidc.com/Linux/2011-01/30980.htm
wget 使用大全 http://www.linuxidc.com/Linux/2008-09/15722.htm
Linux 命令行下載工具 wget 的使用技巧 http://www.linuxidc.com/Linux/2007-10/8293.htm
wget 命令實例 http://www.linuxidc.com/Linux/2014-10/108733.htm
