本教程旨在指导开发者如何将爬取到的数据高效、安全地插入到使用 Flask-SQLAlchemy 构建的数据库中。文章将详细阐述从传统 SQL 语句到 ORM 模型的转变，重点介绍数据模型的定义、在 Flask 应用上下文中的数据插入操作，以及如何利用会话管理（db.session）和事务控制（commit、rollback）来确保数据一致性与完整性。
从原生 SQL 到 Flask-SQLAlchemy ORM
在 flask 应用中处理数据库时，从直接执行 sql 语句（如 c.execute(‘insert into …’)）过渡到使用 flask-sqlalchemy 这样的对象关系映射 (orm) 工具，能够极大地提高开发效率和代码的可维护性。orm 允许开发者通过 python 对象来操作数据库，而无需编写大量的 sql 语句，从而使数据库交互更加直观和面向对象。
定义数据模型
使用 Flask-SQLAlchemy 的第一步是定义数据模型。每个模型类都映射到数据库中的一张表，类的属性则映射到表的列。以下是一个 Job 模型的示例，用于存储爬取到的职位信息：
from flask_sqlalchemy import SQLAlchemyfrom flask import Flaskapp = Flask(__name__)app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///site.db' # 配置数据库URIapp.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = Falsedb = SQLAlchemy(app)class Job(db.Model): id = db.Column(db.Integer, primary_key=True) title = db.Column(db.Text, nullable=False) info = db.Column(db.Text) location = db.Column(db.Text, nullable=False) link = db.Column(db.Text, nullable=False) # __init__ 方法通常不是必需的，SQLAlchemy 会自动处理 # def __init__(self, title, info, location, link): # self.title = title # self.info = info # self.location = location # self.link = link def __repr__(self): return f''# 在应用初始化时创建所有表with app.app_context(): db.create_all()
模型解析：
db.Model：所有模型类都必须继承自 db.Model。db.Column：定义表的列。db.Integer、db.Text：指定列的数据类型。primary_key=True：将该列设为主键。nullable=False：表示该列不允许为空。__repr__ 方法：定义了当打印模型对象时应返回的字符串表示，有助于调试。
重要提示： 在 Flask-SQLAlchemy 中，通常不需要显式地定义 __init__ 方法来初始化模型的属性。SQLAlchemy 会自动处理从传入的关键字参数中设置属性。
爬取数据并准备插入
假设您已经使用 Selenium 或其他爬虫工具获取到数据，并将其整理成一个字典列表，每个字典代表一个职位信息，其键与模型属性名称一致。
# 示例：模拟爬取到的数据scraped_jobs_data = [ { 'title': 'Python Developer', 'info': 'Develop web applications using Flask.', 'location': 'New York', 'link': 'http://example.com/job1' }, { 'title': 'Data Scientist', 'info': 'Analyze large datasets.', 'location': 'San Francisco', 'link': 'http://example.com/job2' }]
在 Flask 应用上下文中插入数据
将爬取到的数据插入到 Flask-SQLAlchemy 数据库中，需要遵循以下步骤：
创建应用上下文： 所有的数据库操作（如 db.session.add()、db.session.commit()）都必须在 Flask 应用上下文 (app.app_context()) 中执行。这是因为 db 对象需要访问应用配置和当前请求的上下文信息。创建模型实例： 对于爬取到的每一条数据，创建一个 Job 模型的实例。可以使用字典解包 Job(**job_data) 来方便地将字典转换为模型实例。添加到会话： 将创建的模型实例添加到数据库会话 (db.session) 中。对于批量插入，使用 db.session.add_all() 效率更高。提交事务： 调用 db.session.commit() 将会话中的所有更改（包括新增、修改、删除）持久化到数据库。处理错误并回滚： 强烈建议使用 try…except 块来捕获可能的数据库错误。如果发生错误，调用 db.session.rollback() 可以撤销当前事务中的所有操作，保持数据的一致性。
以下是一个将爬取数据插入数据库的函数示例：
def insert_jobs(jobs_data_list): """ 将爬取到的职位数据列表插入到数据库中。 Args: jobs_data_list (list): 包含职位信息的字典列表。 """ with app.app_context(): # 确保在应用上下文中执行数据库操作 try: # 使用列表推导式和字典解包创建Job模型实例列表 job_instances = [Job(**job_data) for job_data in jobs_data_list] db.session.add_all(job_instances) # 批量添加所有实例到会话 db.session.commit() # 提交事务，将数据写入数据库 print(f"成功插入 {len(jobs_data_list)} 条职位数据。") except Exception as e: db.session.rollback() # 发生错误时回滚事务 print(f"插入数据时发生错误: {e}")
调用插入函数：
# 假设您已经有了 scraped_jobs_data 列表insert_jobs(scraped_jobs_data)# 验证数据是否已插入with app.app_context(): all_jobs = Job.query.all() print("n数据库中的所有职位:") for job in all_jobs: print(f"- {job.title} ({job.location})")
注意事项与最佳实践
应用程序上下文： 任何脱离 Flask 请求上下文的数据库操作（例如在独立的脚本中运行爬虫，或者在后台任务中）都必须手动创建 app.app_context()。否则，您可能会遇到 RuntimeError: Working outside of application context.。批量插入： 当需要插入大量数据时，使用 db.session.add_all() 远比循环调用 db.session.add() 更高效，因为它能将多个插入操作合并到一个事务中。事务管理： db.session.commit() 是将更改写入数据库的关键。如果没有调用 commit()，所有添加到会话中的更改都不会保存。db.session.rollback() 在错误发生时至关重要，它能撤销未提交的更改，避免部分数据写入导致的脏数据。错误处理： 良好的错误处理机制对于生产环境至关重要。捕获异常并进行适当的日志记录，有助于问题诊断。模型字段与爬取数据字段匹配： 确保爬取数据字典的键与模型中的列名完全一致，这样 Job(**job_data) 才能正确地将数据映射到模型实例。数据库连接管理： Flask-SQLAlchemy 会自动管理数据库连接。在 app.app_context() 退出时，连接通常会被释放或返回到连接池。
总结
通过将原生 SQL 数据库操作迁移到 Flask-SQLAlchemy ORM，您可以利用 Python 对象的强大功能来管理数据库。关键在于正确定义数据模型，并在 Flask 应用程序上下文中，通过创建模型实例、将其添加到 db.session，并最终 commit() 事务来持久化数据。同时，不要忘记实现健壮的错误处理和事务回滚机制，以确保数据的一致性和应用程序的稳定性。这种方法不仅简化了代码，也为未来的扩展和维护奠定了坚实的基础。
以上就是使用 Flask-SQLAlchemy 高效插入爬取数据教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376276.html
微信扫一扫 
支付宝扫一扫 
