当前位置:
代码迷
>>
J2EE
>> 施用nutch抓取别人网站主要实现什么需求
详细解决方案
施用nutch抓取别人网站主要实现什么需求
热度:
147
发布时间:
2016-04-21 23:45:12.0
使用nutch抓取别人网站主要实现什么需求
已会简单的抓取别人网站文章的标题和内容然后存到数据库中,不过还不是很清楚这样做为了实现什么需求,什么样的项目需要用到这样的功能?
------解决方案--------------------
“接口”的一种,不需要第三方支持的内容同步方式
可以使用在很多场合,例如:转载的新闻信息等。
------解决方案--------------------
这个,貌似有人抓取连接进行下载资源,例如图片。视频等等
------解决方案--------------------
可以是搜索站内信息这种功能
查看全文
相关解决方案
江湖急救! Nutch 2.2.1 爬虫的有关问题,路过的大神们过来瞧瞧
Nutch Crawler工作流程