Wget是一个十分常用命令行下载工 具,Wget使用格式如下:
#wget [选项] [下载地址]
Wget常用参数
-b:后台下载,Wget默认的是把文件下载到当前目录。
-O:将文件下载到指定的目录中。
-P:指定保存文件的目录。
-N:don’t re-retrieve files unless newer than
-t:尝试连接次数,当Wget无法与服务器建立连接时,尝试连接多少次。
-c:断点续传,如果下载中断,那么连接恢复时会从上次断点开始下载。
此外,Wget还可下载整个 网站,如下载http://man.chinaunix.net整个Man手册中心。
只需输入如下命令即可: #wget -r -p -np -k http://man.chinaunix.net 其中-r参数是指使用递归下载,
-p是指下载所有显示完整网页所以需要的文件,如图片等,-np是指不搜索上层目录,-k则 是指将绝对链接转换为相对链接。
=================================================================================
用过Linux的应该都知道wget这个命令,这个命令常常用来下载文件,wget还有许多参数,可以完成很多的任务,如今天说的创建镜像站点。
此 方法能将所有文件(网页、图片、CSS、音/视频等)都下载下来,并把网页中的链接改为相对链接,这样就避免了镜像中的链接仍旧指向原来的网站而不能正常 地显示。
只需要输入:wget -mk -w 20 http://www.example.com/ 命令就行了。
命令行 中-w 20代表间隔20秒下载一个文件,这样可以避免网站的访问过于频繁。-m 是镜像
同时也可以使用其他的一些参数:-c 是继续传送 , -p 是下载媒体文件,比如图片, -q 是安静模式, -b 是后台运行
一些其他常用的wget用法:
wget -i filename.txt
此命令常用于批量下载,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。
如果你想发掘其中更多的功能的话,建议你去看wget的手册(man wget),在那里你会找到更多的选项,例如随机延迟,设置用户代理,发送cookie到网站上等等。
===================================================================================
wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。
命令格式:
wget [options] [URL]
启动类参数
这一类参数主要提供软件的一些基本信息。
-V,–version 显示软件版本号然后退出;
-h,–help显示软件帮助信息;
-e,–execute=COMMAND 执行一个 “.wgetrc”命令
以上每一个功能有长短两个参数,长短功能一样,都可以使用。需要注意的是,这里的-e参数是执 行一个.wgettrc的命令,.wgettrc命令其实是一个参数列表,直接将软件需要的参数写在一起就可以了。
文件处理参数
这类参数定义软件log文件的输出方式等。
-o,–output-file=FILE 将软件输出信息保存到文件;
-a,–append-output=FILE将软件输出信息追加到文件;
-d,–debug显示输出信息;
-q,–quiet 不显示输出信息;
-i,–input-file=FILE 从文件中取得URL;
例1:下载www.baidu.com首页并且显示下载信息
wget -d http://www.baidu.com
例2:下载www.baidu.com首页并且不显示任何信息
wget -q http://www.baidu.com
例3:下载filelist.txt中所包含的链接的所有文件
wget -i filelist.txt
wget -np -m -l 5 http://www.baidu.com //不下载本站所链接的其它站点内容,5级目录结构
下载参数
下载参数定义下载重复次数、保存文件名等。
-t,–tries=NUMBER 是否下载次数(0表示无穷次)
-O –output-document=FILE下载文件保存为别的文件名
-nc, –no-clobber 不要覆盖已经存在的文件
-N,–timestamping只下载比本地新的文件
-T,–timeout=SECONDS 设置超时时间
-Y,–proxy=on/off 关闭代理
例:下载www.baidu.com的首页并将下载过程中的的输入信息保存到test.htm 文件中
wget -o test.htm http://www.baidu.com
目录参数
目录参数主要设置下载文件保存目录与原来文件(服务器文件)的目录对应关系;
-nd –no-directories 不建立目录
-x,–force-directories 强制建立目录
可能现在我们对这里的目录还不是很了解,我们来看一个举例
例:下载www.baidu.com的首页,并且保持网站结构
wget -x http://www.baidu.com
HTTP参数
HTTP参数设置一些与HTTP下载有关的属性。
–http-user=USER设置HTTP用户
–http-passwd=PASS设置HTTP密码
–proxy-user=USER设置代理用户
–proxy-passwd=PASS设置代理密码
以上参数主要设置HTTP和代理的用户、密码;
递归参数设置
在下载一个网站或者网站的一个目录的时候,我们需要知道的下载的层次,这些参数就可以设置。
-r,–recursive 下载整个网站、目录(小心使用)
-l,–level=NUMBER 下载层次
例:下载整个网站
wget -r http://www.baidu.com
递归允许与拒绝选项参数
下载一个网站的时候,为了尽量快,有些文件可以选择下载,比如图片和声音,在这里可以设置。
-A,–accept=LIST 可以接受的文件类型
-R,–reject=LIST拒绝接受的文件类型
-D,–domains=LIST可以接受的域名
–exclude-domains=LIST拒绝的域名
-L,–relative 下载关联链接
–follow-ftp 只下载FTP链接
-H,–span-hosts 可以下载外面的主机
-I,–include-directories=LIST允许的目录
-X,–exclude-directories=LIST 拒绝的目录
如何设定wget所使用的代理服务器
wget可以使用用户设置文件”.wgetrc”来读取很多设置,我们这里主要利用这个文件来是设置代理服务器。使用者用什么用户登录,那么什么用户主目录下的”.wgetrc”文件就起作用。例如,”root”用户如果想使用”.wgetrc” 来设置代理服务器,”/root/.wgetrc”就起作用,下面给出一个”.wgetrc”文件的内容,读者可以参照这个例子来编写自己的”wgetrc”文件:
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
这两行的含义是,代理服务器IP地址为:111.111.111.111,端口号为:80。第 一行指定HTTP协议所使用的代理服务器,第二行指定FTP协议所使用的代理服务器。