当前位置：
代码迷
>>
综合
>> Robots 协议
详细解决方案
Robots 协议
热度：
26
发布时间：
2024-01-25 06:09:52.0
Robots协议
Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫可爬取页面
形式：在网站更目录下robots.txt下
查看全文
相关解决方案
网页脑袋<meta name="Robots" 用法 <meta系列用法
<meta name="robots" content="">
超多IP访问/robots.txt解决方案
robots meta标签
robots.txt相关知识点
XTU OJ Robots 1354
C. Sonya and Robots codeforces 1004 -csdn博客
Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]
Robots 协议
Robots.txt