selenium pycharm_python爬虫可以爬取哪些有用的东西

激活谷笔记 • 2024-12-23 15:12 • 阅读 1

使用Python的Selenium库进行网页自动化操作的基本步骤如下：

安装Selenium库

 pip install selenium

下载浏览器驱动

对于Chrome浏览器，访问[ChromeDriver下载页面](https://sites.google.com/a/chromium.org/chromedriver/downloads)并根据你的Chrome版本下载相应的驱动程序。

对于Firefox浏览器，通常不需要额外的驱动程序，因为最新版本的Firefox浏览器支持WebDriver。

对于Edge浏览器，同样不需要额外的驱动程序，因为最新版本的Edge浏览器支持WebDriver。

配置浏览器驱动

将下载的驱动程序放置在Python脚本所在的目录下。

将驱动程序路径添加到系统的环境变量中，或者在创建WebDriver对象时指定路径。

创建WebDriver对象

 from selenium import webdriver 根据浏览器类型创建对应的WebDriver对象 driver = webdriver.Chrome（） 对于Chrome浏览器 driver = webdriver.Firefox（） 对于Firefox浏览器 driver = webdriver.Edge（） 对于Edge浏览器

访问页面

 driver.get（'https://www.example.com'） 访问指定网址

定位素

 通过ID定位素 element = driver.find_element_by_id（'element_id'） 通过Name定位素 element = driver.find_element_by_name（'element_name'） 通过XPath定位素 element = driver.find_element_by_xpath（'//*[@id="element_id"]'） 通过Link Text定位素 element = driver.find_element_by_link_text（'Link Text'） 定位多个素 elements = driver.find_elements_by_xpath（'//*[@id="element_id"]'）

素交互操作

 素 element.click（） 输入文本 element.send_keys（'Text to input'） 拖拽素 from selenium.webdriver.common.action_chains import ActionChains actions = ActionChains（driver） actions.move_to_element（element）.click（）.perform（）

执行JavaScript

 driver.execute_script（'JavaScript code here'）

等待素加载

 显式等待 from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC element = WebDriverWait（driver, 10）.until（ EC.presence_of_element_located（（By.ID, 'element_id'）） ） 隐性等待 driver.implicitly_wait（10） 设置最长等待时间为10秒

关闭浏览器

 driver.quit（）

以上步骤涵盖了使用Selenium进行网页自动化操作的基本流程。请根据你的具体需求调整代码。