当前位置: 代码迷 >> 综合 >> Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]
  详细解决方案

Robots Meta Tag的使用[ZZ:http://www.gccgle.com/2004-02/20040206233621.html]

热度:31   发布时间:2024-01-09 13:57:39.0
Robots Meta Tag的使用

Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且,它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限,有些搜索引擎现今已完全遵循Robots Meta Tag,如Inktomi. Robots Meta Tag的格式: The Robots META tag放于后台HTML源代码的标头区(HEAD区)中,其格式类似于:(大小写均可)
  <HTML>
  <HEAD>
  <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
  <META NAME="DESCRIPTION" CONTENT="THIS PAGE ....">
  <TITLE>...</TITLE>
  </HEAD>
  <BODY>
  ...
Robot Meta Tag选项:
  在一个Robots Meta Tag 中可使用的指令有四个:INDEX, NOINDEX, FOLLOW和 NOFOLLOW,以“,”分隔。其中:
  INDEX指令:表示Robot可以索引本页;
  FOLLOW指令:表示Robot可以跟踪本页链接;
  NOINDEX指令:表示拒绝Robot索引本页,但可跟踪该页上的链接;
  NOFOLLOW指令:表示拒绝Robot跟踪本页链接,但可索引本页。
  实例:
  <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
  <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
  <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
  <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
  在一些关于Robots Meta tag的搜索引擎文章中提到说,预定义的缺省设置是INDEX和FOLLOW。然而对Inktomi来说却并非如此。Inktomi的缺省项是INDEX和NOFOLLOW。
  另外还有两个全局指令:ALL和NONE.
  ALL=INDEX,FOLLOW:表示可以索引本页,且可跟踪该页链接;
  NONE=NOINDEX,NOFOLLOW:表示不允许索引本页,且不允许跟踪该页链接。
  相关解决方案