通过wget建立网站镜像;批量下载网站目录下的文件

2,946次阅读
没有评论

Linux 环境下直接通过 wget 命令建立网站镜像(批量下载网站目录下的文件):

 

只需要输入:wget -mk  -w 1 http://www.clxp.net.cn/mytool/  命令就行了。如果下载下来的文件有乱码,

加入以下参数:wget -mk -np –restrict-file-names=nocontrol http://www.clxp.net.cn/mytool/

命令行中 -w 1 代表间隔 1 秒下载一个文件,这样可以避免网站的访问过于频繁。-m 是镜像

同时也可以使用其他的一些参数:-c 是继续传送,-p 是下载媒体文件,比如图片,-q 是安静模式,-b 是后台运行

 

 

Windows 环境:

下载编译好的 WGET 文件,放在 c:windowssystem32 下,这样就可以通过 CMD 直接输入 wget 下载文件了。

 

WGET for Windows (win32) – current version: 1.11.4

http://users.ugent.be/~bpuype/cgi-bin/fetch.pl?dl=wget/wget.exe

下载命令和 Linux 的一样

 

一些其他常用的 wget 用法:

wget -i filename.txt

此命令常用于批量下载,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

如果你想发掘其中更多的功能的话,建议你去看 wget 的手册(man wget),在那里你会找到更多的选项,例如随机延迟,设置用户代理,发送 cookie 到网站上等等。

wget

正文完
 0
评论(没有评论)
验证码