当前位置: 代码迷 >> C# >> 网站爬虫之Ajax异步数据传输抓取,该如何处理
  详细解决方案

网站爬虫之Ajax异步数据传输抓取,该如何处理

热度:3955   发布时间:2013-02-25 00:00:00.0
网站爬虫之Ajax异步数据传输抓取
本帖最后由 jiangsheng 于 2013-02-16 07:20:00 编辑
做为技术流,解决不了问题,睡不好觉都!
http://storelocator.officedepot.com/index?form=getlist_search&clientkey=101
这个网页里的
Store # 101
LAFAYETTE, LA 70503
怎么无法看到,也提取不来!经过一天搜索发现这个问题是Ajax异步数据传输抓取!也是个难题啦!继续开贴寻找高手!
ajax 异步数据 抓取

------解决方案--------------------------------------------------------
给你个小提示,装个firefox +firebug
可以监视ajax的提交和返回

------解决方案--------------------------------------------------------
分析js文件 按照生成后的标签查找ajax节点找到ajax的网址,这是超级难题

chrome【右击审核元素】,ie8以上【f12】  firefox【firebug】 都可以轻松查看最新html结构
  相关解决方案