最近用httpClient抓取网页源码的时候，如果源码是静态的能全部抓取，但是如果源码中含有js，httpClient抓取的源码不包括js，得到的源码不正确。我怎样才能获取网页中js执行完后的网页源码，比如获取"https://mail.qq.com/"的网页源码。
在论坛上看到有解决方案是：
调用一个浏览器组件来完成这个事, js执行完后再取其内容；具体怎样实现？
望请高手指点。。。这个光靠httpclient是无法做到的，抓到的只能是最原始的数据
详细解决方案
httpClient怎么获取网页中js执行完后的网页源码
热度：5202 发布时间：2013-02-25 21:42:57.0
最近用httpClient抓取网页源码的时候，如果源码是静态的能全部抓取，但是如果源码中含有js，httpClient抓取的源码不包括js，得到的源码不正确。我怎样才能获取网页中js执行完后的网页源码，比如获取"https://mail.qq.com/"的网页源码。
在论坛上看到有解决方案是：
调用一个浏览器组件来完成这个事, js执行完后再取其内容；具体怎样实现？
望请高手指点。。。这个光靠httpclient是无法做到的，抓到的只能是最原始的数据
相关解决方案
- httpclient 抓取不到网页内容是什么原因解决方案
- HttpClient 抓取网页js生成内容的有关问题。做过的侠客们。来看看
- httpclient 四抓取网页
- org.apache.http.client.HttpClient与org.apache.commons.httpclient.HttpClient的差别
- 【研究】httpclient 个别汉字乱码,该怎么解决
- HttpClient 跟 HttpServlet的区别
- httpclient 新浪微博 图片下传
- httpClient 错误 The server failed to respond with a valid HTTP response
- Htmlunit / HttpClient 报 Cookie rejected 警告 的解决方案
- 应用 HttpClient 和 HtmlParser 实现简易爬虫
- HTTPCLIENT+NEKOHTML+XPATH采撷网页数据
- 运用 HttpClient 和 HtmlParser 实现简易爬虫
- 应用 HttpClient 和 HtmlParser 实现简易爬
- Android 用 HttpClient 抓取 html 页面内容的步骤
- HttpClient 初懂得
- 运用JACKSON解析JSON（HttpClient 3处理请求）
- httpclient 的有关应用
- 运用 HttpClient 来对付各种顽固的WEB服务器
- 求教关于 HttpClient 抓取页面回到403，请大神赐教啊
- 【研究】httpclient 少数汉字乱码
- httpclient post 爬虫假死的诡异情况
- HttpClient 需要的jar包哪位高手给份啊 多谢各位大神了
- httpclient 4.1.3 交付https登录表单失败
- HttpClient，PostMethod返回值乱码有关问题
- httpclient post有关问题
- httpclient post上传图片的有关问题
- []Httpclient POST遇到未将对象引用设置到对象的实例
- httpclient post提交json乱码有关问题
- 求教关于 HttpClient 抓取页面回来403，请大神赐教啊
- httpclient post 请求一直超时，求解？解决方案