当前位置: 代码迷 >> Web开发 >> 小弟我去扒网页的时候为什么老是被封
  详细解决方案

小弟我去扒网页的时候为什么老是被封

热度:316   发布时间:2013-12-21 20:16:01.0
我去扒网页的时候为什么老是被封
用的java eclipse
扒的网页也就是前四五百行,找一些公开的信息,没有用蜘蛛
url 是www.xxxx.com/type/00001.html ~99999.html

整理成csv->xls

但是老是被封,一封就是20到40分钟

对方公司也就40 50 人
貌似对方的人不可能反应这么快,是不是有自动封堵的机制?

怎么能不被封堵?

------解决方案--------------------
间隔时间长点访问
------解决方案--------------------
太快了,防ddos机制,一般同IP每秒10次请求就够封的条件了吧。
  相关解决方案