问题描述
我有一个网站，该网站将要获取的数据存储在javascript中。 我该如何获取？
代码是这样的： :
我想从“ varplayersData”行中获取。 我想获取这个东西：-“ playerId”：“ showsPlayer”（显然没有引号）。 我该怎么做？
我试过漂亮的汤。 我当前的脚本如下所示
q = requests.get('websitelink')
soup = BeautifulSoup(q.text)
searching = soup.findAll('script',{'type':'text/javascript'})
for playerIdin searching:
x = playerId.find_all('var playersData', limit=1)
print x
我得到[]作为输出。 我似乎无法在这里解决我的问题。 请帮忙伙计们:)
1楼
BeautifulSoup只会帮助定位所需的script标签。
然后，您将有多个选择：您可以使用javascript解析器（如提取所需的数据，或使用正则表达式：
import re
from bs4 import BeautifulSoup
page = """
<script type="text/javascript">
var logged = true;
var video_id = 59374;
var item_type = 'official';
var debug = false;
var baseUrl = 'http://www.example.com';
var base_url = 'http://www.example.com/';
var assetsBaseUrl = 'http://www.example.com/assets';
var apiBaseUrl = 'http://www.example.com/common';
var playersData = [{"playerId":"showsPlayer","userId":true,"solution":"flash","playlist":[{"itemId":"5090","itemAK":"Movie"}]];
</script><script type="text/javascript" >
"""
soup = BeautifulSoup(page)
pattern = re.compile(r'"playerId":"(.*?)"', re.MULTILINE | re.DOTALL)
script = soup.find("script", text=pattern)
print pattern.search(script.text).group(1)
打印：
showsPlayer