当前位置:
代码迷
>>
高性能WEB开发
>> 用开源爬虫arale 实现具有登陆页面的抓取,该怎么解决
详细解决方案
用开源爬虫arale 实现具有登陆页面的抓取,该怎么解决
热度:
238
发布时间:
2012-06-08 12:55:24.0
用开源爬虫arale 实现具有登陆页面的抓取
首先请教一下用过开源工具arale的高手,我想修改它的源代码,实现能对具有登陆页
面的网页进行抓取,改怎么改,请给出思路!如果有其它办法,也可以给我具体思路,包括
使用其它的爬虫
------解决方案--------------------
如果该网站验证信息放在COOKIE里,你可以在http中加入cookie内容,这样就能获取需要验证的数据
如果是通过session,先向验证页面提交用户名和密码,再去抓出其它数据
查看全文
相关解决方案