当前位置: 代码迷 >> 高性能WEB开发 >> 用开源爬虫arale 实现具有登陆页面的抓取,该怎么解决
  详细解决方案

用开源爬虫arale 实现具有登陆页面的抓取,该怎么解决

热度:238   发布时间:2012-06-08 12:55:24.0
用开源爬虫arale 实现具有登陆页面的抓取
首先请教一下用过开源工具arale的高手,我想修改它的源代码,实现能对具有登陆页
面的网页进行抓取,改怎么改,请给出思路!如果有其它办法,也可以给我具体思路,包括
使用其它的爬虫

------解决方案--------------------
如果该网站验证信息放在COOKIE里,你可以在http中加入cookie内容,这样就能获取需要验证的数据
如果是通过session,先向验证页面提交用户名和密码,再去抓出其它数据
  相关解决方案