当前位置: 代码迷 >> 综合 >> 『Scrapy』日常工作和学习中所遇到的坑及解决办法——长期更新
  详细解决方案

『Scrapy』日常工作和学习中所遇到的坑及解决办法——长期更新

热度:26   发布时间:2024-01-04 11:38:07.0

1、需要点击之后才能看到的内容

      可以使用 selenium 模拟点击后再抓取内容,但这里有一个点需要注意的地方是,我们所要查找的内容是在 selenium 模拟点击之后的网页中,故需要写成如下格式:

from selenium import webdriverimport timedriver = webdriver.Chrome()driver.maximize_window()sreach_handle = driver.current_window_handledriver.get(response.url)time.sleep(5)driver.find_element_by_xpath('//a[@value="FUNDRAISING"]').click()  # 点击投标中se = Selector(text=driver.page_source)    # 此处是关键,否则下面将无法抓取到内容items =[]product_item = se.xpath('//div[@class="x_investDebt_conLi"]')


  相关解决方案