当前位置: 代码迷 >> .NET新技术 >> C# 爬虫技术。解决思路
  详细解决方案

C# 爬虫技术。解决思路

热度:304   发布时间:2016-04-25 01:55:35.0
C# 爬虫技术。。。
公司里要做新闻采集。。。我就网上看了下爬虫的文章。。我发觉有用WebClient做的,也有用HttpWebRequest做的。。所以我现在很郁闷。。到底该如何做,这2钟方法优缺点是啥?。。。还有,是否能求高手们留下QQ。。。。

------解决方案--------------------
看下火车头采集器,是用C#开发的
------解决方案--------------------
看下火车头采集器,是用C#开发的
嗯 是的 多线程开发
看看吧
------解决方案--------------------
WebClient是WebRequest的再包装,简化使用,代码量少,但灵活不足.遇到需要登录等反采集的网站就不好弄了。
------解决方案--------------------
爬虫.....。.net封装进来的都不算真正的多线程的。
你最好还是拿win32的socket来做。

------解决方案--------------------
webclient 做简单点。
开多个线程同时处理速度快点。当然非常耗费cpu最好是夜间或没人使用网站的时候爬最好。
------解决方案--------------------
探讨

爬虫.....。.net封装进来的都不算真正的多线程的。
你最好还是拿win32的socket来做。

------解决方案--------------------
要下载东西发现我没分。。。呜呜
  相关解决方案