当前位置:
代码迷
>>
PHP
>> 如何样阻止不友好的搜索引擎机器人蜘蛛爬虫
详细解决方案
如何样阻止不友好的搜索引擎机器人蜘蛛爬虫
热度:
273
发布时间:
2013-04-02 12:35:26.0
怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址
------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。
程序当中,你可以设置同一个ip两次访问的间隔时间。
相关解决方案
搜索引擎(百度,google)接受cookie吗?不是登陆是一般的参数保存。主要是网页收录会不会受影响解决方法
快要读研究生了,选哪个方向好?数据挖掘还是互联网搜索技术(搜索引擎)
【-搜索引擎“读”XML-】解决方法
Unicode文字百度(搜索引擎)认么?该怎么解决
搜索引擎,小弟我改怎么入手
搜索引擎,只要输入几个字母就可以显示出在某语言中的详解
java solr 搜索引擎 关键字 部分匹配无结果解决办法
就要读研究生了,选哪个方向好?数据挖掘还是互联网搜索技术(搜索引擎)解决方法
你的Alexa排名今天降了吗?-Alexa-搜索引擎-SEO技术联盟
springboot 整合 elasticsearch 搜索引擎 实例