Flask-SQLAlchemy 数据重复插入问题及解决方案

Flask-SQLAlchemy 数据重复插入问题及解决方案

本文旨在探讨并解决在使用 flask 和 sqlalchemy 进行数据持久化时,由页面刷新或脚本重复执行导致的数据库数据重复插入问题。我们将深入分析两种核心策略:通过数据库层面的唯一性约束来阻止重复数据,以及利用 web 开发中的 post-redirect-get 模式来避免客户端意外的重复提交,同时也会解释 flask 应用上下文的正确使用。

引言:Flask-SQLAlchemy 数据重复插入的挑战

在使用 Flask 结合 SQLAlchemy 管理数据库时,开发者常会遇到一个常见但令人困扰的问题:数据在不经意间被重复插入数据库。这通常发生在以下场景:

页面刷新/回退操作: 用户在提交表单后刷新页面,或使用浏览器回退功能,可能导致 POST 请求被重新发送,从而触发数据再次插入。脚本重复执行: 在开发或测试阶段,如果用于初始化或填充数据的脚本被多次运行,而没有适当的去重机制,也会导致数据重复。缺乏业务逻辑校验: 在数据插入前,未对现有数据进行检查,导致即使数据已存在,仍会尝试插入新的重复记录。

原始代码示例展示了在 app.app_context() 中循环插入项目和经验数据,如果这段代码被多次执行,例如在每次应用启动时,或者在某个视图函数中未正确处理请求生命周期,就会导致数据库中出现大量重复记录。

# 原始数据插入逻辑示例with app.app_context():    for project_data_item in projectData:        project_entry = Project(            projectName=project_data_item["projectName"],            projectDescription=project_data_item["projectDescription"],            projectUrl=project_data_item["projectUrl"],        )        db.session.add(project_entry)    for experience_data_item in experience_data:        experience_entry = Experience(            companyName=experience_data_item["companyName"],            companyDescription=experience_data_item["companyDescription"],            companyUrl=experience_data_item["companyUrl"],            companyRole=experience_data_item["companyRole"],            companyDuration=experience_data_item["companyDuration"],            companyLocation=experience_data_item["companyLocation"],            companyResponsibilities=experience_data_item["companyResponsibilities"],            projects=experience_data_item["projects"]        )        db.session.add(experience_entry)    db.session.commit()

接下来,我们将探讨两种主要的解决方案来有效防止此类重复插入。

解决方案一:通过数据库唯一性约束防止重复

最直接且可靠的方法是在数据库层面强制执行数据的唯一性。这意味着即使应用程序尝试插入重复数据,数据库也会拒绝该操作,并抛出错误。

1. 定义唯一性约束

在 SQLAlchemy 模型中,可以通过 unique=True 参数为单个字段设置唯一性,或者使用 UniqueConstraint 为多个字段组合设置唯一性。

示例:为 Project 模型设置 projectName 唯一

from flask_sqlalchemy import SQLAlchemyfrom sqlalchemy import UniqueConstraintdb = SQLAlchemy()class Project(db.Model):    id = db.Column(db.Integer, primary_key=True)    projectName = db.Column(db.String(80), unique=True, nullable=False)    projectDescription = db.Column(db.Text, nullable=True)    projectUrl = db.Column(db.String(200), nullable=True)    def __repr__(self):        return f''

示例:为 Experience 模型设置多字段组合唯一

假设一个“经验”由公司名称、角色和持续时间共同确定其唯一性。

class Experience(db.Model):    id = db.Column(db.Integer, primary_key=True)    companyName = db.Column(db.String(120), nullable=False)    companyDescription = db.Column(db.Text, nullable=True)    companyUrl = db.Column(db.String(200), nullable=True)    companyRole = db.Column(db.String(120), nullable=False)    companyDuration = db.Column(db.String(120), nullable=False)    companyLocation = db.Column(db.String(120), nullable=True)    companyResponsibilities = db.Column(db.Text, nullable=True)    # projects 字段可能需要定义关系,此处省略    __table_args__ = (        UniqueConstraint('companyName', 'companyRole', 'companyDuration', name='_company_role_duration_uc'),    )    def __repr__(self):        return f''

2. 处理唯一性约束冲突

当尝试插入违反唯一性约束的数据时,数据库会抛出 IntegrityError。在应用程序中,需要捕获并处理这个错误。

方法一:先查询后插入 (Select-Before-Insert)

在插入数据前,先查询数据库中是否已存在具有相同唯一标识的数据。

from sqlalchemy.exc import IntegrityErrordef add_project_if_not_exists(project_data_item):    with app.app_context():        existing_project = Project.query.filter_by(projectName=project_data_item["projectName"]).first()        if existing_project:            print(f"项目 '{project_data_item['projectName']}' 已存在,跳过插入。")            return existing_project        else:            project_entry = Project(                projectName=project_data_item["projectName"],                projectDescription=project_data_item["projectDescription"],                projectUrl=project_data_item["projectUrl"],            )            db.session.add(project_entry)            try:                db.session.commit()                print(f"项目 '{project_data_item['projectName']}' 插入成功。")                return project_entry            except IntegrityError:                db.session.rollback() # 回滚事务                print(f"项目 '{project_data_item['projectName']}' 插入失败,可能存在并发冲突。")                # 重新尝试查询或处理                return Project.query.filter_by(projectName=project_data_item["projectName"]).first()# 使用示例# for project_data_item in projectData:#     add_project_if_not_exists(project_data_item)

方法二:尝试插入并捕获错误

直接尝试插入,如果发生 IntegrityError 则回滚事务。这种方法在并发量高时可能效率更高,因为它避免了额外的 SELECT 查询。

from sqlalchemy.exc import IntegrityErrordef add_experience_robustly(experience_data_item):    with app.app_context():        experience_entry = Experience(            companyName=experience_data_item["companyName"],            companyDescription=experience_data_item["companyDescription"],            companyUrl=experience_data_item["companyUrl"],            companyRole=experience_data_item["companyRole"],            companyDuration=experience_data_item["companyDuration"],            companyLocation=experience_data_item["companyLocation"],            companyResponsibilities=experience_data_item["companyResponsibilities"],        )        db.session.add(experience_entry)        try:            db.session.commit()            print(f"经验 '{experience_data_item['companyName']} - {experience_data_item['companyRole']}' 插入成功。")            return experience_entry        except IntegrityError:            db.session.rollback() # 回滚事务            print(f"经验 '{experience_data_item['companyName']} - {experience_data_item['companyRole']}' 已存在或插入失败。")            # 如果需要获取已存在的对象,可以在这里再次查询            return Experience.query.filter_by(                companyName=experience_data_item["companyName"],                companyRole=experience_data_item["companyRole"],                companyDuration=experience_data_item["companyDuration"]            ).first()# 使用示例# for experience_data_item in experience_data:#     add_experience_robustly(experience_data_item)

解决方案二:利用 POST-Redirect-GET 模式防止重复提交

在 Web 应用中,当用户提交表单(通常是 POST 请求)后,如果直接渲染页面或返回数据,用户刷新浏览器可能会导致浏览器重新发送 POST 请求,从而引发重复提交。POST-Redirect-GET (PRG) 模式是解决此问题的标准实践。

1. POST-Redirect-GET 模式原理

POST 请求: 用户通过表单提交数据到服务器(POST 请求)。处理数据: 服务器接收并处理数据(例如,将数据存入数据库)。重定向: 服务器不直接返回响应页面,而是发送一个重定向(HTTP 302 Found)响应到另一个 URL,通常是一个 GET 请求的页面。GET 请求: 浏览器接收到重定向后,会发起一个新的 GET 请求到指定的 URL。渲染页面: 服务器处理 GET 请求并返回页面。

通过这种方式,即使用户刷新浏览器,也只会刷新最后的 GET 请求页面,而不会重新发送 POST 请求。

2. Flask 中的实现

from flask import Flask, request, redirect, url_for, render_template_stringfrom flask_sqlalchemy import SQLAlchemyapp = Flask(__name__)app.config['SQLALCHEMY_DATABASE_URI'] = 'sqlite:///test.db'app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = Falsedb = SQLAlchemy(app)# 假设 Project 模型已定义并包含 unique=True 的 projectNameclass Project(db.Model):    id = db.Column(db.Integer, primary_key=True)    projectName = db.Column(db.String(80), unique=True, nullable=False)    projectDescription = db.Column(db.Text, nullable=True)    projectUrl = db.Column(db.String(200), nullable=True)    def __repr__(self):        return f''# 在应用上下文外创建表 (通常在独立脚本或第一次运行时)with app.app_context():    db.create_all()@app.route('/', methods=['GET'])def index():    # 显示一个简单的表单    return render_template_string("""        

添加新项目

项目名称:
项目描述:
项目URL:

现有项目

    {% for project in projects %}
  • {{ project.projectName }} - {{ project.projectDescription }}
  • {% endfor %}
""", projects=Project.query.all())@app.route('/add_project', methods=['POST'])def add_project(): if request.method == 'POST': project_name = request.form['projectName'] project_description = request.form['projectDescription'] project_url = request.form['projectUrl'] # 检查是否已存在,或者直接尝试插入并处理 IntegrityError existing_project = Project.query.filter_by(projectName=project_name).first() if existing_project: print(f"项目 '{project_name}' 已存在,跳过插入。") # 可以返回一个错误消息或重定向到带有消息的页面 return redirect(url_for('index', message='Project already exists!')) new_project = Project( projectName=project_name, projectDescription=project_description, projectUrl=project_url ) db.session.add(new_project) try: db.session.commit() print(f"项目 '{project_name}' 插入成功。") # 成功后重定向到GET请求的页面 return redirect(url_for('index', message='Project added successfully!')) except IntegrityError: db.session.rollback() print(f"项目 '{project_name}' 插入失败,可能存在并发冲突。") return redirect(url_for('index', message='Failed to add project due to conflict!')) # 对于GET请求到/add_project,重定向回首页或显示错误 return redirect(url_for('index'))# if __name__ == '__main__':# app.run(debug=True)

在这个例子中,当用户提交表单到 /add_project(POST请求)后,数据被处理并存入数据库,然后用户被重定向到 / 页面(GET请求)。这样,即使刷新 / 页面,也不会重复提交表单。

关于 app.app_context() 的正确理解

原始问题中提到“如果将其取出 app.app_context() 就会报错”。这是因为 app.app_context() 提供了一个上下文环境,使得 Flask 扩展(如 Flask-SQLAlchemy)能够正常工作。

app.app_context(): 用于在 Flask 应用之外(例如,在独立的脚本中、命令行工具中或后台任务中)访问应用程序的配置、数据库连接等资源。它模拟了一个应用环境,允许你执行需要访问 current_app 或其扩展的操作。request_context(): 在处理 Web 请求时,Flask 会自动创建一个请求上下文。在这个上下文中,你可以访问 request、session 等对象,并且 Flask-SQLAlchemy 等扩展也会自动使用这个上下文来管理数据库会话。

因此,在视图函数内部,你通常不需要显式地使用 with app.app_context():,因为请求上下文已经为你提供了必要的环境。但在启动应用时进行数据初始化,或者运行一个独立的管理脚本时,app.app_context() 是必不可少的。

总结与最佳实践

防止 Flask-SQLAlchemy 中数据重复插入的最佳策略通常是结合使用上述两种方法:

数据库层面的唯一性约束是基础: 它是防止数据重复的最强防线,即使应用层逻辑有漏洞,数据库也能保证数据的完整性。Web 流程中的 POST-Redirect-GET 模式是用户体验的关键: 它避免了用户因无意操作(如刷新、回退)导致重复提交,提升了用户体验。在应用层进行数据存在性检查(Select-Before-Insert)或错误捕获: 可以在插入前进行检查,提供更友好的用户反馈,或者通过捕获 IntegrityError 来处理并发冲突,确保事务的正确性。正确使用 app.app_context(): 确保在非请求上下文中操作数据库时,始终显式地进入应用上下文。

通过综合运用这些技术,你可以构建出健壮、可靠的 Flask 应用程序,有效管理数据库中的数据完整性。

以上就是Flask-SQLAlchemy 数据重复插入问题及解决方案的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1381599.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 23:05:46
下一篇 2025年12月14日 23:05:59

相关推荐

  • 解决Outlook邮件中CID引用嵌入图片显示异常:VML格式干扰及解决方案

    本文旨在解决使用python通过`win32com.client`库向outlook邮件中嵌入图片时,cid引用无法正常显示的问题。尽管已正确设置cid属性并修改了html `src`引用,图片仍显示为破损。核心原因在于html内容中存在的vml(vector markup language)格式与…

    好文分享 2025年12月14日
    000
  • Python subprocess模块实现外部进程的非阻塞I/O与控制

    本文探讨了在python中使用`subprocess`模块与外部进程进行交互时,如何克服阻塞i/o的挑战,实现非阻塞的标准输出和错误流捕获。通过结合线程和队列,我们展示了一种解决方案,能够预先提供输入,并在进程运行或超时后高效收集其所有输出,同时指出其在完全实时交互式控制方面的局限性。 在Pytho…

    2025年12月14日
    000
  • 优化HDFS数据访问:利用短路本地读取提升性能

    本文探讨了在hdfs环境中,如何通过利用数据本地性来显著减少网络传输,从而优化数据访问性能。针对用户在使用fsspec等工具读取hdfs数据时遇到的高网络流量问题,文章重点介绍了hdfs的短路本地读取(short circuit local reads)机制。通过详细阐述其原理、配置方法以及潜在的优…

    2025年12月14日
    000
  • 使用Python在Windows上自动化显示器屏幕旋转

    本教程旨在解决Windows用户手动调整显示器方向的繁琐问题。通过结合Python的`subprocess`模块与第三方工具`Display64.exe`,本文将详细指导您如何编写脚本,实现显示器屏幕方向的自动化切换,提升操作效率。内容涵盖工具获取、代码实现及参数解析,助您轻松定制显示器显示模式。 …

    2025年12月14日
    000
  • Python临时文件操作:解决文件占用与复制难题

    在使用python处理临时文件时,开发者常遇到文件被占用或在关闭后立即删除的问题,尤其当需要对临时文件执行复制等外部操作时。本文将深入探讨`tempfile`模块中`temporaryfile`和`namedtemporaryfile`的区别,并提供使用`namedtemporaryfile`配合`…

    2025年12月14日
    000
  • Tkinter与Matplotlib:在独立窗口中显示实时动态图表的教程

    本文详细阐述了如何在tkinter应用程序中,通过按钮操作在一个独立的子窗口中展示实时更新的matplotlib动态图表。教程重点解决了在gui编程中常见的frame容器创建不当、子窗口类型选择(tk vs toplevel)以及matplotlib动画funcanimation对象生命周期管理等问…

    2025年12月14日
    000
  • Pandas DataFrame中多列组合条件计数:避免常见错误与高效实践

    本教程详细讲解如何在pandas dataframe中根据多个列的组合条件进行精确计数。文章重点阐述了在使用`loc`进行多条件筛选时,通过正确使用括号来明确布尔运算符优先级的重要性,从而避免常见的“ambiguous”错误,并提供清晰的代码示例,帮助用户高效统计特定数据组合的数量。 引言:Pand…

    2025年12月14日
    000
  • 解决Django表单提交IntegrityError:处理非空字段约束

    本文旨在解决django应用中因表单提交导致integrityerror的问题,尤其是在非空字段接收到空值时。我们将深入探讨django模型字段中的`blank`和`null`属性,解释它们在表单验证和数据库存储中的作用,并提供具体代码示例,指导开发者如何正确配置模型字段以允许可选数据,从而有效避免…

    2025年12月14日
    000
  • Python与Arduino高效实时数据交互:基于串口通信的坐标传输教程

    本文旨在指导读者如何在Python与Arduino之间建立高效的实时数据传输通道,特别针对需要传输连续坐标数据(如人脸追踪)的应用场景。我们将摒弃传统的文件读写方式,转而采用更直接、低延迟的串口通信机制,详细阐述Python端的数据发送与Arduino端的数据接收及解析方法,并提供关键代码示例与最佳…

    2025年12月14日
    000
  • 使用Pandas高效生成两列数字组合的DataFrame

    本文详细介绍了如何利用pandas库高效地创建一个包含两列数字组合的dataframe。针对给定范围,通过巧妙运用列表推导式和字典构建数据,最终生成一个左列重复、右列循环的二维表格。教程提供了清晰的代码示例和输出解释,旨在帮助用户掌握pandas数据构建的专业方法。 创建具有指定范围数字组合的Dat…

    2025年12月14日
    000
  • 利用Pandas高效提取DataFrame中符合条件的关联数据

    本文将深入探讨如何在Pandas DataFrame中高效地执行向量化操作,特别是针对多列数据,根据特定条件筛选并提取关联数据(如患者ID)。通过结合布尔索引和列表推导式,我们将展示如何避免低效的循环,实现高性能的数据处理,从而轻松获取按列分组的条件性数据列表。 Pandas作为Python中强大的…

    2025年12月14日
    000
  • Polars LazyFrame多列乘法:跳过索引列的高效策略

    本文详细介绍了在polars中对两个lazyframe进行列式乘法运算的高效方法,尤其是在需要排除特定索引列时。通过利用`pl.struct`将非索引列封装成结构体、使用`join`操作对齐数据,以及直接对结构体进行乘法运算,最后通过`unnest`展开结果,实现了类似于pandas的直观操作,同时…

    2025年12月14日
    000
  • 使用数位DP高效计算指定范围内数位和小于等于X的整数数量

    本教程详细介绍了如何使用数位动态规划(Digit DP)算法,高效地统计在给定范围 [1, n] 内,其各位数字之和小于或等于 x 的整数数量。针对 n 值可达 10^12 的大规模场景,传统遍历方法效率低下,数位DP通过递归分解与记忆化搜索,将问题转化为子问题求解,显著提升了计算性能。文章通过具体…

    2025年12月14日
    000
  • Python 循环中条件中断与列表追加的顺序陷阱

    本文探讨了python循环中因操作顺序不当导致数据意外追加到列表的问题。当列表追加操作在条件判断和中断(`break`)之前执行时,即使满足中断条件,不应包含的数据也可能被添加到列表中。教程通过具体示例代码,详细分析了这种常见错误的原因,并提供了正确的代码实现,强调了在循环中合理安排操作顺序对于数据…

    2025年12月14日
    000
  • Python临时文件的高级用法:解决外部访问与持久化问题

    本文旨在解决python中操作临时文件时遇到的“文件被占用”和文件自动删除问题。当使用`tempfile.temporaryfile`进行外部操作(如复制)时,常因文件句柄被python持有而导致错误,或因文件关闭而立即删除。教程将详细介绍如何利用`tempfile.namedtemporaryfi…

    2025年12月14日
    000
  • Django REST Framework自定义用户模型实现邮箱登录认证教程

    本教程详细指导如何在django rest framework中使用自定义用户模型实现基于邮箱和密码的登录认证。文章涵盖自定义用户模型、自定义认证后端、登录序列化器和api视图的配置,并重点解析了认证后端中常见的`usermodel`引用错误及`authenticate`方法的正确返回逻辑,确保系统…

    2025年12月14日
    000
  • SQLAlchemy声明式风格下如何指定数据库表模式

    本文详细阐述了如何在sqlalchemy的声明式风格中,为数据库表指定特定的schema。通过利用模型类中的`__table_args__`属性,开发者可以设置`schema`参数,从而控制表在postgresql等支持schema的数据库中的命名空间归属。这使得表能够被创建到指定的schema而非…

    2025年12月14日
    000
  • 优化SQLite3并发访问:解决读写冲突与提升性能

    本文旨在解决sqlite3数据库在多进程并发读写场景下的性能瓶颈与数据访问冲突问题。通过深入探讨索引优化、启用wal(write-ahead log)模式、复用数据库连接和批量数据插入等核心策略,结合安全、高效的编程实践,如参数化查询和规范化异常处理,指导开发者构建更健壮、高效率的sqlite3应用…

    2025年12月14日
    000
  • 使用Python从LAION 5B等在线数据库高效获取指定类别图片教程

    本教程旨在指导开发者如何利用python,通过api调用从laion 5b等大型在线图像数据库高效获取指定类别的图片,而无需下载整个庞大的数据集。文章详细介绍了使用laion knn服务进行图像搜索和下载的步骤,包括必要的库、api请求参数配置、数据处理以及图片保存机制,为数据科学家和开发者提供了一…

    2025年12月14日
    000
  • 将行数据转换为列:Pandas pivot 方法详解

    本教程详细介绍了如何使用 pandas 的 `pivot` 方法将数据框中按行存储的页面级信息转换为按列展示的报告级汇总数据。通过指定索引、列和值参数,结合 `add_prefix`、`reset_index` 和 `rename_axis` 等辅助操作,实现数据重塑,将不同页码的值转换为独立的列,…

    2025年12月14日
    000

发表回复

登录后才能评论
关注微信