这种情况分两种。
一种是伪造的百度蜘蛛，爬取页面也不是为了抓取，而是为了扫描你网站的漏洞，通常会访问一些admin等等，特别是以php为后缀的网站，这类的扫描大多数都是针对php漏洞的。
另外一种，则是你的网站接受之前，别人拿你的域名做过站，并且在网络上留下许多外链，其中就有内页的外链。
而你重新做站之后，蜘蛛沿着互联网上留下的外链爬取到你的网站，故而产生了大量的404。
当然还有一种，就是网站改版了，原本的URL变了，导致之前的URL大量不存在。
showtooltip整理
详细解决方案
相关解决方案