当前位置: 代码迷 >> Java Web开发 >> 念抓取一个站点的所有下载链接,求推荐爬虫工具-
  详细解决方案

念抓取一个站点的所有下载链接,求推荐爬虫工具-

热度:180   发布时间:2016-04-12 22:08:18.0
想抓取一个站点的所有下载链接,求推荐爬虫工具-_-
比如有一个下载站点,里面的资源都是zip包,我想把所有的zip包下载url都爬出来记录到一个文件里,求推荐工具,多谢大家`

------解决方案--------------------
使用httpclient之类的工具自己写一个呗,很简单啊。
------解决方案--------------------
不清楚如何确定哪些url是资源
------解决方案--------------------
用Jsoup
  相关解决方案