当前位置: 代码迷 >> J2SE >> 与此同时抓取有限个网页
  详细解决方案

与此同时抓取有限个网页

热度:165   发布时间:2016-04-23 19:45:15.0
同时抓取有限个网页
url01="http://hq.sinajs.cn/list=sh600000,sh600004,sz000001";

url02="http://hq.sinajs.cn/list=sh601668,sh600005,sh600006";

有5个类似这样的网页,我要实现同时抓取。该用什么方法?多线程好像只是近似的同时,不是真正意义上的同时。
------解决思路----------------------
多核方法拉....可以同时抓取
------解决思路----------------------
抓取肯定是有先有后的,只能是在一个方法里面把所有的抓取完之后再一起返回。
1 用一个线程循环抓取,处理完返回。
2 一个地址用一个线程,用join等待所有线程执行完后返回。