关于crawler的有关问题

关于crawler的问题
我的需要时自动从网页下载东西，大量重复，我用crawler可以得到html文件，但是要想自动通过链接的话，该如何实现？各位高手有没有什么思路或听说过什么先例？非常感谢，项目急用！
------解决方案--------------------
得到连接了下载还远吗？File直接读