做采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了。
但是历史表越拉越大，以后即使采集一篇文章都要和历史表所有记录比较一下，是不是效率太低了？有啥解决办法？
------解决方案--------------------------------------------------------
学习
详细解决方案
干采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了
热度：5489 发布时间：2013-02-26 00:00:00.0
做采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了。
但是历史表越拉越大，以后即使采集一篇文章都要和历史表所有记录比较一下，是不是效率太低了？有啥解决办法？
------解决方案--------------------------------------------------------
学习
相关解决方案