今天在做爬虫,对某金融网站的标的进行爬取,用fiddler进行抓包分析的时候,拦截到的网址是:
https://www.XXX.com/api/2.0/W/getProjectList
页面内容如下:
然后再浏览器中进行访问,出现如下结果
说:必需的字符串参数'params'不存在
这什么鬼?fiddler也没拦截到参数啊,然后我开始看js,都是压缩后的,眼花缭乱。
后来感觉fiddler既然网址都能显示出来,参数肯定也抓到了,一定是fiddler有功能我没找到。
后来终于让我找到了TestView下的参数
爽歪歪,在站长工具中一解析,居然还是个json串
params={
"token":"","page":1,"size":10,"coreEnterpriseId":0,"loanTypeId":0,"period":0,"rate":0,"projectStatus":"1;2;3;4;5","projectType":"DKD_TYPE","showScaleStr":"2"}&from=W
重新请求
https://www.XXX.com/api/2.0/W/getProjectList?params={
"token":"","page":1,"size":10,"coreEnterpriseId":0,"loanTypeId":0,"period":0,"rate":0,"projectStatus":"1;2;3;4;5","projectType":"DKD_TYPE","showScaleStr":"2"}&from=W
果然没问题了!而且返回的也是一个json,更好拿了!
原因:因为爬取的这个网站是post请求,而请求携带的参数就在TextView中。