python 爬取网页内容并保存到数据库_用Python编写仓库管理系统

激活谷笔记 • 2025-01-14 15:39 • 阅读 117

在Python中，爬取到的内容可以通过多种方式保存，以下是几种常见的方法：

保存到文件

使用Python内置的文件操作函数，可以将爬取到的文本内容保存到文本文件中。

 import requests from bs4 import BeautifulSoup url = '要爬取的网页URL' response = requests.get（url） html = response.text soup = BeautifulSoup（html, 'html.parser'） text = soup.get_text（） with open（'保存的文件路径', 'w', encoding='utf-8'） as file: file.write（text）

保存到数据库

可以将爬取到的数据保存到数据库中，如SQLite、MySQL或MongoDB等。以下是使用SQLite数据库保存数据的示例：

 import sqlite3 连接到数据库 conn = sqlite3.connect（'data.db'） cursor = conn.cursor（） 创建数据表 cursor.execute（''' CREATE TABLE IF NOT EXISTS data （ id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, content TEXT ） '''） 获取爬取的数据 data = [ {'title': '文章1', 'content': '内容1'}, {'title': '文章2', 'content': '内容2'}, {'title': '文章3', 'content': '内容3'} ] 插入数据 for item in data: cursor.execute（'INSERT INTO data （title, content） VALUES （？, ？）', （item['title'], item['content']）） 提交更改 conn.commit（） 关闭连接 conn.close（）

保存到内存

如果数据量不大，可以将其保存在内存中，例如使用列表或字典。

保存到云存储

可以使用云存储服务，如Amazon S3、Google Cloud Storage等，将数据保存到云端。

选择保存方式时，需要考虑数据的类型、大小、安全性以及后续使用的便利性。每种方法都有其优缺点，请根据实际需求进行选择

python 爬取网页内容并保存到数据库_用Python编写仓库管理系统

相关推荐