Spring Boot中动态读取和持久化外部JSON文件教程

Spring Boot中动态读取和持久化外部JSON文件教程

本教程旨在解决spring boot应用在定时任务中读取持续更新的外部json文件时遇到的数据无法实时同步问题。文章将深入分析`class.getresourceasstream()`的局限性,并提供一套基于文件系统路径读取的解决方案,结合最佳实践(如构造器注入)和spring `@scheduled`注解,确保应用能高效、准确地将外部动态数据持久化到数据库。

Spring Boot中动态文件读取的挑战

在Spring Boot应用开发中,我们经常需要处理外部数据源,例如JSON文件。当这些文件位于项目的src/main/resources目录下,并且需要被应用周期性地读取和更新数据库时,可能会遇到一个常见问题:即使外部JSON文件内容已经更新,应用通过@Scheduled任务读取到的数据仍然是旧的。

这背后的主要原因是src/main/resources目录下的文件在应用打包(如JAR或WAR)后,会被视为类路径资源。当使用Class.getResourceAsStream()方法获取这些文件的输入流时,JVM或类加载器通常会从打包好的文件中读取,并且可能对这些资源进行缓存。这意味着,即使你在文件系统外部修改了src/main/resources目录下的源文件,运行中的Spring Boot应用通过getResourceAsStream获取的仍然是打包时或首次加载时的旧版本内容,无法反映实时的外部修改。

因此,对于需要持续更新且实时读取的文件,将其作为类路径资源处理是不合适的。我们应该将其视为外部文件,通过文件系统路径直接访问。

解决方案:访问外部文件而非类路径资源

要解决上述问题,核心在于改变文件读取策略:不再将动态更新的JSON文件视为类路径资源,而是将其作为普通的文件系统文件进行访问。

将JSON文件放置在应用外部可访问的路径:例如,与JAR包同级的某个目录下,或者一个明确的配置路径。通过文件系统路径直接读取:使用java.nio.file.Path和java.nio.file.Files或者java.io.File和java.io.FileInputStream来获取文件的输入流。

示例代码重构

我们将对原有的Spring Boot应用进行改造,以实现动态JSON文件的实时读取和数据库持久化。

1. 配置外部文件路径

首先,在application.properties或application.yml中定义外部JSON文件的路径。

音疯 音疯

音疯是昆仑万维推出的一个AI音乐创作平台,每日可以免费生成6首歌曲。

音疯 146 查看详情 音疯

application.properties

json.file.path=/path/to/your/external/json/file.json# 例如:json.file.path=./data/file.json (相对于应用启动目录)# 或:json.file.path=/opt/app/data/file.json (绝对路径)

请根据实际情况替换/path/to/your/external/json/file.json。

2. Master模型类(不变)

// package com.example.demo.model;// import lombok.Data;// @Data// public class Master {//    // ... 你的Master实体字段//    private Long id;//    private String name;//    // ...// }

3. MasterRepository接口(不变)

package com.example.demo.Repository;import com.example.demo.model.Master;import org.springframework.data.repository.CrudRepository;import org.springframework.stereotype.Repository;@Repositorypublic interface MasterRepository extends CrudRepository {}

4. MasterService服务类(优化依赖注入)

为了遵循Spring的最佳实践,我们将@Autowired字段注入改为构造器注入。这使得依赖关系更清晰,便于测试,并确保所有必需的依赖在对象构造时就已提供。

package com.example.demo.Services;import com.example.demo.Repository.MasterRepository;import com.example.demo.model.Master;import org.springframework.stereotype.Service;import org.springframework.transaction.annotation.Transactional; // 导入事务注解import java.util.List;@Servicepublic class MasterService {    private final MasterRepository masterRepository; // 使用final修饰,强调不可变性    // 构造器注入    public MasterService(MasterRepository masterRepository) {        this.masterRepository = masterRepository;    }    public Iterable list() {        return masterRepository.findAll();    }    @Transactional // 确保保存操作在事务中执行    public Master save(Master master) {        return masterRepository.save(master);    }    @Transactional // 确保批量保存操作在事务中执行    public Iterable save(List masters) {        return masterRepository.saveAll(masters);    }}

5. 主应用类(重构文件读取逻辑)

在主应用类中,我们将注入配置的JSON文件路径,并在@Scheduled方法中通过Path和Files来读取文件。

package com.example.demo;import com.example.demo.Services.MasterService;import com.example.demo.model.Master;import com.fasterxml.jackson.core.type.TypeReference;import com.fasterxml.jackson.databind.ObjectMapper;import lombok.Data;import org.springframework.beans.factory.annotation.Value; // 导入Value注解import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.scheduling.annotation.EnableScheduling;import org.springframework.scheduling.annotation.Scheduled;import org.springframework.transaction.annotation.EnableTransactionManagement;import java.io.IOException;import java.io.InputStream;import java.nio.file.Files; // 导入Files工具类import java.nio.file.Path; // 导入Path类import java.nio.file.Paths; // 导入Paths工具类import java.util.List;// 假设MasterList不再需要,直接读取List// @Data// class MasterList {//    List masterList;// }@SpringBootApplication@EnableScheduling // 启用定时任务@EnableTransactionManagement // 启用事务管理public class ReadAndWriteJsonApplication {    private final MasterService masterService; // 使用final修饰    @Value("${json.file.path}") // 注入配置文件中的JSON文件路径    private String jsonFilePath;    // 构造器注入MasterService    public ReadAndWriteJsonApplication(MasterService masterService) {        this.masterService = masterService;    }    public static void main(String[] args) {        SpringApplication.run(ReadAndWriteJsonApplication.class, args);        // 移除TimerTaskUtil的调用,因为我们使用Spring的@Scheduled    }    @Scheduled(fixedRate = 90000) // 每90秒执行一次    public void readFileAndSaveToDatabase() {        ObjectMapper mapper = new ObjectMapper();        TypeReference<List> typeReference = new TypeReference<List>() {};        Path filePath = Paths.get(jsonFilePath); // 根据配置路径创建Path对象        try (InputStream inputStream = Files.newInputStream(filePath)) { // 使用Files.newInputStream获取实时文件流            List masters = mapper.readValue(inputStream, typeReference);            System.out.println("成功读取到数据: " + masters);            // 批量保存到数据库,Service层已添加@Transactional            masterService.save(masters);            System.out.println("数据已成功保存到数据库。");        } catch (IOException e) {            System.err.println("读取或保存JSON文件时发生错误: " + e.getMessage());            // 生产环境中应使用日志框架记录错误,如SLF4J + Logback        } catch (Exception e) {            System.err.println("处理数据时发生未知错误: " + e.getMessage());        }    }}

注意事项

文件路径的正确性:确保json.file.path配置的路径是正确的,并且Spring Boot应用拥有读取该路径下文件的权限。对于相对路径,它通常是相对于应用启动的目录。文件存在性检查:在生产环境中,最好在读取文件前添加文件存在性检查,以避免不必要的文件未找到异常。

Path filePath = Paths.get(jsonFilePath);if (!Files.exists(filePath) || !Files.isReadable(filePath)) {    System.err.println("JSON文件不存在或不可读: " + jsonFilePath);    return; // 提前退出}

事务管理:在MasterService的save和saveAll方法上添加@Transactional注解,确保数据库操作的原子性。如果在保存过程中发生错误,所有更改将回滚。错误处理和日志记录:在实际应用中,应使用专业的日志框架(如SLF4J配合Logback)来记录错误和信息,而不是简单的System.out.println或System.err.println。资源管理:使用Java 7的try-with-resources语句可以确保InputStream在操作完成后被正确关闭,避免资源泄露。文件写入与读取的同步:如果JSON文件是由同一个应用或另一个进程持续写入的,需要考虑写入和读取的同步问题。例如,写入方可以先写入一个临时文件,待写入完成后再原子性地替换原文件,以避免读取到不完整或损坏的文件。

总结

通过将动态更新的JSON文件视为外部文件,并使用java.nio.file包提供的API进行读取,我们成功解决了Spring Boot @Scheduled任务无法实时获取更新数据的问题。同时,结合构造器注入等Spring最佳实践,使得代码更加健壮、可维护。在处理这类场景时,理解类路径资源与文件系统文件的区别至关重要,这有助于避免常见的缓存问题,并确保应用能够高效、准确地处理实时变化的外部数据。

以上就是Spring Boot中动态读取和持久化外部JSON文件教程的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1092407.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
edge浏览器如何拦截弹窗广告 Edge浏览器自带广告拦截功能的设置
上一篇 2025年12月2日 10:17:07
CSS怎样制作阿拉伯文装饰线?text-decoration-skip
下一篇 2025年12月2日 10:17:12

相关推荐

  • 优化 Laravel Nova 动作响应消息的持久性与交互性

    本文探讨了 Laravel Nova 动作响应消息(toast 提示)持续时间过短的问题,尤其对于耗时较长的操作,默认提示难以满足用户反馈需求。我们提出并详细介绍了如何利用 Laravel Nova 4 的通知功能,实现持久化且可交互的用户通知,从而有效解决传统 toast 消息的局限性,提升用户体…

    2026年9月23日
    100
  • 如何在mysql中配置用户连接权限

    创建用户并设置密码:使用CREATE USER指定主机和密码,如’localhost’或’%’(存在安全风险);2. 授予权限:通过GRANT赋予ALL、SELECT等操作权限,并用FLUSH PRIVILEGES生效;3. 验证管理:用SHOW GR…

    2026年9月23日
    900
  • Reflection AI 完成 20 亿美元融资,打造“开放智能”

    美国人工智能初创企业 reflection ai 宣布成功募集 20 亿美元资金,其中英伟达领衔投资 8 亿美元,推动公司估值跃升至 80 亿美元。这家成立仅一年的科技新星,致力于打造“人人可及的前沿开放智能(open intelligence)”。 Reflection AI 表示,已集结一支由顶…

    2026年9月23日
    500
  • Java语法基础中变量声明和赋值有什么区别

    变量声明定义类型和名称,赋值赋予具体数据,二者可合并为初始化。声明如int age;,赋值如age=25;,局部变量使用前必须赋值,否则编译错误。 在Java语法中,变量的声明和赋值是两个不同的操作,虽然它们经常一起出现,但各自有不同的作用。 变量声明:定义变量的存在 变量声明是指告诉编译器你将要使…

    2026年9月23日
    500
  • 悟空浏览器提示“喔唷,崩溃了”怎么修复_悟空浏览器页面崩溃问题解决方案

    答案:清理缓存、关闭多余标签页与插件、更新或重装应用、关闭硬件加速可解决悟空浏览器崩溃问题。具体操作包括在设置中清理缓存和数据,通过多窗口管理关闭无用页面,禁用或卸载可疑扩展,前往App Store更新或重新安装应用,以及在高级设置中关闭硬件加速功能以提升稳定性。 如果您在使用悟空浏览器时遇到“喔唷…

    2026年9月23日
    700
  • win11开机PIN码登录选项消失了怎么办_win11PIN码登录选项丢失修复方法

    首先尝试切换登录方式重置PIN,若无效则通过命令提示符启用管理员账户,再检查本地组策略设置并清除NGC文件夹以重建PIN凭据,最终恢复PIN登录功能。 如果您尝试在Windows 11开机时使用PIN码登录,却发现登录选项中缺少PIN码入口,这通常是由系统临时故障、策略设置或账户同步问题导致的。此问…

    2026年9月23日
    000
  • mysql安装完如何优化 mysql基础性能调优配置建议

    mysql安装完如何优化 mysql基础性能调优配置建议mysql安装完如何优化 mysql基础性能调优配置建议mysql安装完如何优化 mysql基础性能调优配置建议mysql安装完如何优化 mysql基础性能调优配置建议

    安装完 mysql 后需进行基础配置调优以提升性能,主要包括以下五点:1. 设置 innodb_buffer_pool_size 为物理内存的50%~80%,如16g内存可设为12g;2. 调整 max_connections 至合理并发数如500,并设置 wait_timeout 和 intera…

    2026年9月23日 用户投稿
    400
  • [272]如何把Python脚本导出为exe程序

    [272]如何把Python脚本导出为exe程序[272]如何把Python脚本导出为exe程序[272]如何把Python脚本导出为exe程序[272]如何把Python脚本导出为exe程序

    文章目录:一. PyInstaller简介二. PyInstaller在Windows下的安装三. 打包四. 小实例(Windows下) 附加:pyinstaller简介 PyInstaller能够将Python脚本打包成可执行程序,使得在没有Python环境的机器上也可以运行这些程序。 PyIns…

    2026年9月23日 用户投稿
    100
  • PHP数组中内嵌JSON字符串值的解析与访问教程

    本教程详细介绍了如何在PHP中高效地解析和访问包含JSON格式字符串的数组元素。通过使用json_decode()函数,可以将这些JSON字符串转换为可操作的PHP数组或对象,从而轻松提取所需的shortname和fullname等字段值,并提供了遍历和直接访问的示例代码及注意事项。 在php开发中…

    2026年9月23日
    100
  • 微信小店客服怎么联系?微信小店官方平台电话

    随着移动互联网的发展,微信已经成为人们日常生活中不可或缺的工具。作为微信生态中的重要功能之一,微信小店为用户提供了便捷的购物方式。然而在实际使用过程中,难免会遇到一些问题,例如订单异常、商品咨询等,这时候就需要及时联系微信小店的客服人员进行解决。本文将为您详细介绍如何联系微信小店官方客服,并提供多种…

    2026年9月23日
    000
  • VSCode搭建Flutter开发环境(移动开发,完整配置指南)

    本文详细指导如何在VSCode中搭建高效的Flutter开发环境,包括安装JDK、配置JAVA_HOME、安装Android Studio并设置ANDROID_HOME、安装VSCode及Flutter和Dart插件、配置FLUTTER_HOME环境变量,通过flutter doctor检查并解决A…

    2026年9月23日
    100
  • mysql安装后怎么变量 mysql系统变量配置与修改

    mysql安装后怎么变量 mysql系统变量配置与修改mysql安装后怎么变量 mysql系统变量配置与修改mysql安装后怎么变量 mysql系统变量配置与修改mysql安装后怎么变量 mysql系统变量配置与修改

    要查看和修改mysql系统变量,可通过sql命令或配置文件操作。一、查看变量用show variables或查询information_schema.global_variables;二、常见需调整变量包括max_connections、innodb_buffer_pool_size、wait_ti…

    2026年9月23日 用户投稿
    600
  • 优化 Laravel Nova 动作响应消息的持久性与用户体验

    本文探讨了在 Laravel Nova 中处理长时任务后,默认动作响应消息(Toast)短暂显示的问题。针对这一挑战,我们将介绍如何利用 Laravel Nova 4 提供的 NovaNotification 功能,实现持久化的、带有交互操作的通知,从而显著提升用户体验,确保重要信息不会因消息瞬时消…

    2026年9月23日
    100
  • 如何使用Optuna优化AI大模型训练?自动化调参的详细教程

    如何使用Optuna优化AI大模型训练?自动化调参的详细教程如何使用Optuna优化AI大模型训练?自动化调参的详细教程如何使用Optuna优化AI大模型训练?自动化调参的详细教程如何使用Optuna优化AI大模型训练?自动化调参的详细教程

    Optuna通过智能搜索与剪枝机制,显著提升AI大模型超参数优化效率。它以目标函数封装训练流程,利用TPE等算法智能采样,结合ASHA等剪枝策略,在分布式环境下高效搜索最优配置,同时提供可复现性与可视化分析,降低调参成本。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 Dee…

    2026年9月23日 用户投稿
    100
  • Java SimpleDateFormat如何格式化日期

    SimpleDateFormat是java.text包中用于格式化和解析日期的类,继承自DateFormat,通过模式字符串定义日期格式,如yyyy表示四位年份、MM表示两位月份、dd表示日期、HH表示24小时制小时、mm表示分钟、ss表示秒、SSS表示毫秒、EEEE表示星期几全称、MMM表示月份缩…

    2026年9月23日
    000
  • windows8无法弹出usb设备怎么办_windows8安全移除U盘失败解决方法

    先重启Windows资源管理器,再依次排查占用进程、使用文件资源管理器弹出、确保Plug and Play服务运行、禁用USB选择性暂停、修复注册表通知项,可解决U盘无法安全移除问题。 如果您尝试从Windows 8电脑上安全移除U盘或其他USB设备,但系统提示设备正在使用中或没有任何反应,则可能是…

    2026年9月23日
    200
  • 飞利浦559M1RYV对决AOC U34G3XE:带鱼屏与巨幕的沉浸式体验,办公娱乐两不误谁更全能?

    飞利浦559M1RYV适合追求影院级沉浸体验的用户,拥有55英寸大屏、HDMI 2.1接口、Ambiglow灯效和宝华韦健音响,需搭配主机使用且占用空间大;AOC U34G3XE为34英寸21:9带鱼屏,主打多任务办公与高效分屏,兼顾电影原生比例与主流游戏,适合桌面空间有限的生产力用户。选择取决于核…

    2026年9月23日
    600
  • Vue.js 项目中实现练习进度保存的策略与实践

    本文将探讨在vue.js项目中实现用户练习进度保存的最佳实践。针对需要跨会话保留用户进度的场景,我们将重点介绍如何利用浏览器localstorage进行数据持久化,包括数据的序列化与反序列化、在关键生命周期钩子中加载与保存数据,以及相关的注意事项,确保用户能够从上次中断的地方继续练习。 在开发基于V…

    2026年9月23日
    100
  • 如何在mysql中备份二进制日志

    答案:MySQL二进制日志备份可通过mysqlbinlog工具导出、直接复制日志文件、定时归档及结合mysqldump全量备份实现,需配合FLUSH LOGS和SHOW BINARY LOGS确保一致性,并制定保留策略以支持数据恢复。 在 MySQL 中,二进制日志(Binary Log)记录了所有…

    2026年9月23日
    100
  • Photopea中AI图片如何导出为PNG?快速保存图像的实用方法

    答案:在Photopea中导出AI生成图片为PNG,需点击“文件”→“导出为”→选择PNG,设置质量100%、勾选透明度并确认尺寸后保存;为平衡质量与文件大小,优先调整图像尺寸而非降低质量,高分辨率图片可缩放以优化;常见技巧包括使用高分辨率源图、保留图层非破坏性编辑;其他格式如JPEG适合无透明背景…

    2026年9月23日
    200

发表回复

登录后才能评论
关注微信