抓到多个网页数据时,如何暂停,继续,中断抓取?
因为一次要抓取上千条数据,所以需要暂停抓取,然后随时继续,
我想的是先设置一个公共变量为0,程序不断循环网址抓取,在每次循环抓取网址前前判断是否为0,为0就继续,为1就停止抓取。
同时弄一个按钮为暂停,暂停时置为1,当为1时,前面的抓取判断变量为1则停止了。点继续,则那个抓取程序就运行。
但是我想的是,那个循环程序不就是在不断的循环判断变量是为0或1 吗?要么循环中加一个延迟。
------解决思路----------------------
上K 条数据的话 用线程抓吧
抓取步骤 应该是这样吧的
数据源在哪里 你肯定是要知道的对不 抓上K条 有个数据源的集合 这里交涉List 好了
你抓一条 List 情一条 停止的时候 中断所有操作。 再次执行的时候继续就好了