歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Unix知識 >> 關於Unix >> (轉載)下載工具簡介

(轉載)下載工具簡介

日期:2017/3/6 15:21:21   编辑:關於Unix
下載工具簡介 1、續傳軟件一:Netants Netants通過對Server發出RESTxxx指令,從而把一個大文件分割為幾塊進行多點續傳,對一個DownloadJob最多允許5個線程,特別適合國內 網絡 速度慢的特點。如果使用代理上網的話,對於每一個下載的Job還可以設定不同的Proxy和 下載工具簡介

1、續傳軟件一:Netants

Netants通過對Server發出RESTxxx指令,從而把一個大文件分割為幾塊進行多點續傳,對一個DownloadJob最多允許5個線程,特別適合國內網絡速度慢的特點。如果使用代理上網的話,對於每一個下載的Job還可以設定不同的Proxy和Port,這個特點使我們到一些慢站下載時可以自由設定選用合適的代理,非常方便。通過163撥號上網時,國內下載是DirectConnect,到美國下載軟件用proxy.golden.net:3000,而到日本則用ars2.arsnet.ac.jp:8080,采用哪個Proxy視具體情況而定。

通過公司內部網來下載時,到國內下載軟件則用

Wingate:8080,Server:HTTPProxy;

到美國站點下載軟件Wingate8081,Server:TCPMappingWingate8081==>

proxy.golden.net:3000;

到日本下載則用Wingate8082,Server:TCPMappingWingate8082==> ars2.arsnet.ac.jp:8080(以上參數與ProxyServer配置有關,讀者可以跟你們本地的網絡管理員進一步聯系)。

使用Netants可以直觀地看到站點是否支持斷點續傳,只要觀察任務窗口中每個任務左邊的第二個小圖標就行了,兩個灰色的半圈表示站點不支持斷點續傳,一藍一紅的兩個半圈表示站點支持斷點續傳,空白表示不能確定站點是否支持斷點續傳。但是Netants也存在問題,對於某些FTPServer由於無法事先知道FileSize,根本無法下載,而且某些站點如Zg169專門做了設置,禁止Netants類型的UserAgent進入該站點(在Netants1.0Beta2.55版中已經改正了這個問題),還有就是Netants在系統資源緊張的時候容易崩潰,如果從穩定性出發我建議你換用Getright。

2、續傳軟件二:Getright

支持單點續傳,是最穩定的下載工具,尤其是對浏覽器鼠標點擊中的CGI捕抓能力特別強,絕大部分的URL都可以用Getright抓出來。缺點是所有的Jobs都用同一個代理。對於需要到不同慢站下載時,配置不同的代理極不方便。

3、續傳軟件三:NetVampire

號稱是最快的單點續傳下載工具,速度比Getright快些但比不上多點續傳的Netants,可惜穩定性和捕抓CGI類型的DownloadURL的能力略顯不足。它也支持對每個DownloadJob設定不同的代理,但最大的好處是它能仿真為浏覽器終端。你可以自己選擇DownloadAgent,一般是Mozilaxxx(也就是Netscape)等類型,這對於一些支持續傳,但又只允許Netscape和IE終端下載的站點非常有用。前些天我連續碰到幾個怪怪的美國站點,用Getright等工具傳文件都被拒絕,還返回一個HTML文件告訴你說YourAgentisforbidden,換了NetVampire用Mozila去騙它一下就可以了。另外NetVampire只提供Windows95下的Agent,某些網站會告訴你它需要Windows98的Agent,這時候你可以到Options,Default,JobSettings,Advance,UserAgent裡手工輸入所需的類型。

4、續傳軟件四:Bpftp

這是一個新近崛起的支持續傳的FTP客戶端軟件,被多個網上評測站點評為五星級軟件,其強大的功能和友好的操作界面備受贊譽,名聲早已超過了老牌的Wsftp和Cuteftp。主要特點是MultiSession(可開多個Bpftp窗口,登錄不同站點)、AntiIdle(防止發呆過久被踢出站)、智能化的DownloadOptions(自動判斷是否續傳)、Download&UploadQueue(下載/上載文件任務表)和Save/LoadSession(保存任務列表和引入任務列表)。該軟件支持網絡代理,具體配置在Options,GeneralOptions,Firewall,有FTPProxy和HTTPProxy兩種。如果網站支持REST指令,那麼直接上網一定可以續傳,而通過Proxy上網則最好使用FTPProxy(支持續傳),因為在Bpftp裡使用HTTPProxy明顯地不如前面三者方便,除了能支持http://user:[email protected]/ directory/file.ext這種帶口令的URL外,沒有其他什麼特別的好處,所以原則上不推薦使用。事實上,用Bpftp來下載某個站點的整個目錄或者不同目錄的多個文件是很方便的,因為它的任務列表功能是如此的出色和方便,這是前面三個軟件所不具備的。

下面我再介紹兩個在Unix下使用的續傳軟件。

5、續傳軟件五:Wget

這是一個著名的GNU程序,支持單點續傳,用-r指令甚至可以把整個網頁下載下來。在線幫助是wget-help,若需要分頁顯示可以用Linux的管道指令輸出到分頁程序less,即wget-help|less。你可以在Linux或者是Windows98/NT下的DOS模式下用GCC編譯它。一般在Linux下都帶了GCC的編譯器,DOS模式下的GCC有個開發包叫Djgpp,網友們可以自行到網上下載。

Djgpp的主頁是: http://www.delorie.com/djgpp/

Djgpp的主要下載站點是Simtel,但你也可以自己選擇下載速度快的網址: ftp://ftp.simtel.net/pub/simtelnet/gnu/djgpp/

Wget的當前版本是1.53,下載站點是: http://www.ccp14.ac.uk/ccp/web -mirrors/wget/wget/#latest

Wget技術支持站點是: http://eihead.tuwien.ac.at/doc/support -db/sdb_e/lynx_proxy.html

Wget一般的用法就是WgetURL,但其實我們最需要用的是它裡面的高級功能,例如續傳、超時重連和使用代理等。下面先給出這個軟件的一些常用參數定義,然後再用三個例子來對它進行詳細分析。

設定Proxy,在Linux提示符下輸入:

exporthttp_proxy=http://proxy.provider.de:3128/

exportftp_proxy=http://proxy.provider.de:3128/

exportgopher_proxy=http://proxy.provider.de:3128/

exportno_proxy='www.me.de,do.main,localhost'

Wget本身的參數包括: -i,--input?file=FILE 從文件讀取下載任務表, 可以讓程序自動下載幾個文件; -c,--continue 允許續傳,如果檢測到本地文件 已存在則從文件尾開始; -t,--tries=NUMBER 重復嘗試的次數,超過最大值後 就退出,0為一直嘗試; -T,

timeout=SECONDS 讀取網絡數據包超時則斷開 重新連接,單位是秒; -Y,--proxy=on/off 指定是否采用Proxy傳輸, 程序自動檢測Proxy的值;

http?user=USER指定HTTP用戶名;

http?passwd=PASS指定HTTP用戶口令;

proxy?user=USER指定Proxy用戶名

proxy?passwd=PASS指定Proxy用戶口令;

-U,?--user?agent=AGENT 指定下載的Agent, 默認的Agent是Wget版本號。 范例1: exporthttp_proxy=http://proxy.golden.net:3000/ wget

proxy=on--http?user=abc--http ?passwd=School8 ?

user-agent="Mozilla/4.04[en](Win95;I;Nav)" http://www.abc.net/files/9808/CDR36.ZIP

為了便於理解我把Wget後面的指令分為三行來寫,實際使用中是不分行的。這個例子是通過代理下載,輸入HTTP的用戶和口令,並且欺騙服務器說我現在用的是Netscape浏覽器終端而不是Wget,這一招對某些國外站點特別有用。 范例2: wget-c?-t0-T15??-input-file=wget.tsk

這個例子是從wget.tsk裡讀取下載任務表自動下載一系列文件,並且支持續傳,連續嘗試許多遍,15秒內沒數據就超時重連。你需要事先在Linux下用vi、emacs或者joe編輯好要下載的文件列表並存為wget.tsk。這是一個很典型的應用。

范例3: exporthttp_proxy=http://proxy.golden.net:3000/ wget??proxy=on?-c?-t0?-T10 http://idirect.tucows.com/files/epsetup.exe wget??proxy=off?-c?-t0?-T10 http://idirect.tucows.com/files/epsetup.exe

之所以要把proxy為on和off兩種情況列出來是因為某些站點很狡猾,對同一個IP地址只給你送300K左右的數據後就把速度降到很低(也可能是由於網絡路由引起的故障),那我們自然也有相應手段應付。用Netterm連到主機後,先在Notepad裡把兩個命令寫下來,用的時候貼上去。如果proxyon的情況下速度很慢,重連也沒什麼明顯進步,馬上Ctrl?C斷掉,從Notepad剪貼換為proxyoff(或者用上箭頭切換,Linux的BashShell支持上箭頭),當然你若想換另一個proxy也可以,請參見前面的設定。一般換完後速度立刻大大提高。我本人碰到過一個最難下載的軟件就來回換了二十多遍才成功。

6、續傳軟件六:Ncftp

也是一個GNU程序,功能比Linux自己帶的FTP好用得多。用法是在命令行輸入ncftp,然後用open連接站點,輸入?號或者help可以獲得幫助,在默認狀態下的FTP用戶是Anonymous,如果要指定用戶則加個開關open?uftp.nease.net。它的好處主要在於支持續傳和對本地文件的操作能力加強,lcd是換本地目錄,lls是列出本地文件。Get-C可以續傳,get-R可以抓回整個目錄。此外它在get(取文件)和put(送文件)中支持通配符,例如puta*.zip等等。Ncftp下載的網址是http://www.ncftp.com/ncftp/,當前版本是2.43,其3.0版正處於Beta測試階段,增加了lrm(本地刪除)等指令。

小結

在實際使用中,我一般用Getright把需要下載的URL抓出來,然後Stop或Pause掉當前的DownloadJob,轉用Netants來下載(速度快),對於只允許用浏覽器的站點,我就用NetVampire仿真成Mozila終端來用(騙網站)。如果是一些特別慢的站點,則先登錄到網絡速度比較快的Unix主機,然後用Wget抓到主機上,再在自己的機器上起一個支持續傳的FTP服務器Warftpd,最後用Ncftp的put指令傳回本地

Copyright © Linux教程網 All Rights Reserved