当前位置: 代码迷 >> 综合 >> 火车头采集器 采集https网站 以及网站cookie 避免 蜘蛛 爬虫 程序等
  详细解决方案

火车头采集器 采集https网站 以及网站cookie 避免 蜘蛛 爬虫 程序等

热度:35   发布时间:2024-01-21 09:03:10.0

火车头采集器 采集https网站

并不是想象中的困难,有时https网站只是用了这个加密协议,但是事实上的数据并没有加密,所以仍然可以采集。

如果确实有困难的可以通过,http分析软件来确认地址,如HttpAnalyzerStdV7,分析真实访问地址。

网站中的cookie,需要用正式浏览器获得,建议是ie浏览器,软件兼容性好。

同时为了避免 蜘蛛 爬虫 程序等,模拟浏览器选择真实的ie,否则只能采集到错误信息


  相关解决方案