爬虫js生成的数据_爬虫python爬网站内容

激活谷笔记 • 2026-04-06 16:18 • 阅读 6

在Python中加载并执行JavaScript代码，可以使用一些第三方库，如`PyExecJS`和`Selenium`。以下是使用`PyExecJS`加载和执行JavaScript代码的步骤：

1. 安装`PyExecJS`库：

bash

pip3 install PyExecJS

2. 准备JavaScript代码，例如创建一个`norm.js`文件，内容如下：

javascript

function add（num1, num2） {

return num1 + num2；

}

3. 在Python脚本中读取JavaScript文件并使用`execjs`模块执行：

python

import execjs

def js_from_file（file_name）:

with open（file_name, 'r', encoding='UTF-8'） as file:

result = file.read（）

return result

读取JS文件内容

js_code = js_from_file（'./norm.js'）

编译JS代码

context = execjs.compile（js_code）

调用JS函数

result = context.call（"add", 1, 2）

print（result）输出：3

如果你需要处理JavaScript动态生成的内容，例如通过AJAX请求加载的数据，可以使用`Selenium`库。`Selenium`可以模拟一个真实的浏览器环境，执行JavaScript代码并获取动态加载的数据。

1. 安装`Selenium`库和对应的WebDriver（例如ChromeDriver）：

bash

pip3 install selenium

2. 下载并配置WebDriver。

3. 使用`Selenium`加载页面并执行JavaScript代码：

python

from selenium import webdriver

创建一个WebDriver实例

driver = webdriver.Chrome（）

加载页面

driver.get（"http://example.com"）

执行JavaScript代码获取动态内容

dynamic_content = driver.execute_script（"return document.getElementById（'dynamic-content'）.innerHTML；"）

print（dynamic_content）

关闭浏览器

driver.quit（）

请根据你的需求选择合适的库和方法来加载和执行JavaScript代码