因工作需要，可能会开发一个小型的搜索引擎，需要用到spider来爬一些特定的网站，请问用哪种技术手段实现最好？
------解决方案--------------------
up
详细解决方案
有程序员达人么，怎么开发自己的搜索引擎
热度：223 发布时间：2012-02-28 13:06:36.0
因工作需要，可能会开发一个小型的搜索引擎，需要用到spider来爬一些特定的网站，请问用哪种技术手段实现最好？
------解决方案--------------------
up
相关解决方案
- 搜索引擎（百度,google)接受cookie吗？不是登陆是一般的参数保存。主要是网页收录会不会受影响解决方法
- 快要读研究生了，选哪个方向好？数据挖掘还是互联网搜索技术（搜索引擎)
- 搜索引擎 书籍解决方法
- 【-搜索引擎“读”XML-】解决方法
- 搜索引擎 图书
- Unicode文字百度（搜索引擎）认么？该怎么解决
- 搜索引擎，小弟我改怎么入手
- 搜索引擎，只要输入几个字母就可以显示出在某语言中的详解
- java solr 搜索引擎 关键字 部分匹配无结果解决办法
- bing 搜索引擎，是C#开发吗？解决办法
- 就要读研究生了，选哪个方向好？数据挖掘还是互联网搜索技术（搜索引擎)解决方法
- google 搜索引擎，ajax 自动补全搜索
- 搜索引擎-高级搜索
- robots.txt文件的作用及写法 （搜索引擎）
- ElasticSearch PHP 搜索引擎
- 使用 logstash 将 MySQL 数据以增量方式，同步到 ES 搜索引擎
- 更多代码阅读及测试（ChineseAnalyzer for Whoosh 搜索引擎）
- 搜索引擎/网络蜘蛛程序源代码
- es 搜索引擎 倒排索引 lucene 基础概念
- google收录和baidu收录一些小经验-Google-搜索引擎-SEO技术联盟
- 你的Alexa排名今天降了吗？-Alexa-搜索引擎-SEO技术联盟
- web信息收集-搜索引擎
- 极客讲堂 - 数据结构与算法之美 笔记七?- 算法实战：redis、搜索引擎、高性能队列Disruptor、微服务接口鉴权限流
- 搜索引擎：检索技巧（Google谷歌，百度）+ 常用的资源网站及技巧
- springboot 整合 elasticsearch 搜索引擎 实例
- 金融时报:“搜索引擎”大搜索
- 【搜索引擎】原理层面：后端开发日志收集ELK
- 【搜索引擎】最好用的几个网盘搜索引擎