当前位置: 代码迷 >> 综合 >> 【扒站】Liunx + wget
  详细解决方案

【扒站】Liunx + wget

热度:40   发布时间:2023-12-08 16:25:57.0

在 Linux下,通过一个命令就可以把整个站相关的文件全部下载下来。

方法一:

wget -r -p -k -np 

参数说明:

-r : 递归下载
-p : 下载所有用于显示 HTML 页面的图片之类的元素
-k : 在转换文件 X 前先将它备份为 X.orig。
-np: 不追溯至父目录

方法二:

wget -r -np -nd http://example.com/sudo wget -c -r -p -np -k http://example.com/

参数说明:

-r : 递归下载
-np: 不追溯至父目录
-nd: 不在本机重新创建目录结构这条命令可以下载 http://example.com 网站根目录中的所有文件。

方法三: 

wget -m -k http://www.example.com/
wget -m -k -H http://www.example.com/

参数说明:

该命令可用来镜像一个网站,wget 将对链接进行转换。-H, 图像是放在另外的站点-l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)。最后一条就是用来镜像一个网站的,简单有效,速度超快,镜像下来网站文件结构,代码都完整无须修改。

方法四:

wget -nc -r -p -k -np -P ${WEBDIR}/ $1# -nc 断点续传# -r, --recursive(递归) specify recursive download.(指定递归下载)# -k, --convert-links(转换链接) make links in downloaded HTML point to local files.(将下载的 HTML 页面中的链接转换为相对链接即本地链接)# -p, --page-requisites(页面必需元素) get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)# -np, --no-parent(不追溯至父级) don't ascend to the parent directory.# 另外 日志,用 -o 参数

方法五:

wget -nc -m -p -k -P ${WEBDIR}/ $1# -nc 断点续传# -m or --mirror开户镜像下载# -p下载所有为了html页面显示正常的文件# -k or --convert-links下载后,转换成本地的链接# -P ./LOCAL保存所有文件和目录到本地指定目录