当前位置: 代码迷 >> Java Web开发 >> 关于网络爬虫解决方案
  详细解决方案

关于网络爬虫解决方案

热度:9110   发布时间:2016-04-10 23:40:19.0
关于网络爬虫
web项目中需要大量数据,指导老师说用网络爬虫,但是在网上看了很多都不是很懂,求大神指点怎么使用,我需要一个旅游网站的景点图片,和文字信息,我应该怎样将爬下来的东西进行分类,为我所用?
网络爬虫

------解决方案--------------------
固定网站好爬啊,用线程写个定时任务,任务周期自己设定。
- 通过java.net包下的工具类实现后台发送http请求以及获取响应内容。
- 分析其页面结构,找到符合自己的数据或者链接
- 将抓取下来的数据持久化
- 将上三部逻辑弄到TimerTask,用Timer调度,定期执行
  相关解决方案