如何使用 Python 3.x 从支持 JavaScript 的网页下载 URL

在 Python 中下载支持 JavaScript 的页面的 URL

该解决方案使用 Selenium（一个 Python 库）来处理 JavaScript 密集型页面。 Selenium 允许您控制 Web 浏览器，使您能够模拟 JavaScript 执行并检索动态内容。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
def download_using_selenium(url, username, apikey):
    # Setup Selenium WebDriver
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)
    driver.get(url)
    time.sleep(3)  # Wait for JavaScript to load
    
    # Assuming basic authentication via URL for this example
    auth_url = f'{url}?username={username}&password={apikey}'
    driver.get(auth_url)
    
    # Extract content
    page_content = driver.page_source
    
    # Save to file
    with open("download_selenium.html", "w") as file:
        file.write(page_content)
    
    driver.quit()
    print("Download complete using Selenium.")

使用 Pyppeteer 下载支持 JavaScript 的页面

该解决方案使用 Pyppeteer，Puppeteer（无头浏览器）的 Python 端口，它可以执行 JavaScript 并动态检索页面内容。

import asyncio
from pyppeteer import launch
async def download_using_pyppeteer(url, username, apikey):
    # Launch headless browser
    browser = await launch(headless=True)
    page = await browser.newPage()
    
    # Basic auth and URL loading
    auth_url = f'{url}?username={username}&password={apikey}'
    await page.goto(auth_url)
    
    # Wait for the JavaScript to load
    await page.waitForSelector('body')
    
    # Extract page content
    content = await page.content()
    
    # Save to file
    with open("download_pyppeteer.html", "w") as file:
        file.write(content)
    
    await browser.close()
    print("Download complete using Pyppeteer.")
# Run the async function
asyncio.get_event_loop().run_until_complete(download_using_pyppeteer("https://example.com", "user", "key"))

使用 Requests-HTML 处理 JavaScript 渲染

这种方法利用了 Requests-HTML 库，无需整个浏览器即可轻松渲染 JavaScript。

from requests_html import HTMLSession
def download_using_requests_html(url, username, apikey):
    session = HTMLSession()
    
    # Make the request
    auth_url = f'{url}?username={username}&password={apikey}'
    response = session.get(auth_url)
    
    # Render the JavaScript
    response.html.render()
    
    # Save the page content
    with open("download_requests_html.html", "w") as file:
        file.write(response.html.html)
    
    print("Download complete using Requests-HTML.")
download_using_requests_html("https://example.com", "user", "key")

有关使用 JavaScript 进行 Python 网页抓取的常见问题

1. 如何使用 Python 抓取 JavaScript 渲染的内容？
2. 使用类似的工具 Pyppeteer, Selenium， 或者 Requests-HTML 从网页获取内容时处理 JavaScript 执行。
3. 处理 JavaScript 密集型网站的最佳工具是什么？
4. Selenium 对于复杂的 JavaScript 密集型网站来说通常是最佳选择，因为它模仿了真实的浏览器交互。 Pyppeteer 也非常有效。
5. 如何处理网页抓取中的身份验证？
6. 您可以使用 requests 通过在 HTTP 标头中发送 API 密钥和令牌来处理基本和基于令牌的身份验证的库。
7. 抓取时可以绕过验证码吗？
8. 是的，通过使用验证码解决服务或集成机器学习算法。然而，这增加了复杂性，并且可能不适用于所有用例。
9. 是否可以避免浏览器自动化来执行简单的抓取任务？
10. 是的，对于更简单的任务， requests 图书馆或 Requests-HTML 可以处理数据的获取，而不需要完全的浏览器自动化。

关于启用 JavaScript 的页面下载的最终想法

从 JavaScript 密集型网页访问内容需要的不仅仅是基本的 HTTP 请求。通过利用 Selenium 和 Pyppeteer 等工具，我们可以模拟执行 JavaScript 并检索网页完整内容的浏览器环境。这些工具为自动化任务提供了灵活性。

尽管浏览器自动化更加耗费资源，但它是处理复杂页面的可靠解决方案。对于更简单的情况，Requests-HTML 可以是一个轻量级的替代方案。选择正确的工具取决于站点的复杂性和项目的具体需求。