通过wget建立网站镜像;批量下载网站目录下的文件

Linux环境下直接通过wget命令建立网站镜像(批量下载网站目录下的文件):

 

只需要输入:wget -mk  -w 1 http://www.clxp.net.cn/mytool/ 命令就行了。如果下载下来的文件有乱码,

加入以下参数:wget -mk -np –restrict-file-names=nocontrol http://www.clxp.net.cn/mytool/

命令行中-w 1代表间隔1秒下载一个文件,这样可以避免网站的访问过于频繁。-m 是镜像

同时也可以使用其他的一些参数:-c 是继续传送 , -p 是下载媒体文件,比如图片, -q 是安静模式, -b 是后台运行

 

 

Windows环境:

下载编译好的WGET文件,放在c:windowssystem32下,这样就可以通过CMD直接输入wget下载文件了。

 

WGET for Windows (win32) – current version: 1.11.4

http://users.ugent.be/~bpuype/cgi-bin/fetch.pl?dl=wget/wget.exe

下载命令和Linux的一样

 

一些其他常用的wget用法:

wget -i filename.txt

此命令常用于批量下载,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

如果你想发掘其中更多的功能的话,建议你去看wget的手册(man wget),在那里你会找到更多的选项,例如随机延迟,设置用户代理,发送cookie到网站上等等。

wget

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享