最近接到个任务 说是 要求我 去尝试 抓取 去哪儿的机票信息 我用htmlunit去抓取 抓到的一直是那种没有航班的数据...谁知道原因吗 在网上查 信息好少 还有人说是去哪儿进行了加密处理
希望前辈们来聊聊
数据抓取?htmlunit?
------解决方案--------------------
可以试试用httpClient直接抓取航班信息整个网页数据，然后进行分析
------解决方案--------------------
哪有抓取信息这么简单的？首先你要对这个站点的架构以及数据加载方式进行大量的测试和总结，总结出规律你才能很好的爬取数据。这个不是简单的东西。而且现在反爬虫技术越来越成熟，况且想这样靠数据盈利的站，数据更难爬。耐心慢慢来吧。我之前爬大众点评的时候也遇到好多问题。