关于搜索引擎机器人,该如何解决

关于搜索引擎机器人
写了一段代码,对某一页面的浏览进行统计,但是发现搜索引擎机器人的数据占去很大一部分比例,我现在将这部分数据分离开来,请问该如何做?

------解决方案--------------------
呵呵,来招绝的,写个robot
------解决方案--------------------
robots.txt 只是告诉搜索引擎这页哪些可以搜索哪些绝对不可以
如果你可以得到别人访问此页的信息，那就有一定规律，按规律
分离不就可以吗？