使用Gson解析NDJSON文件中的多个JSON记录

使用gson解析ndjson文件中的多个json记录

本文详细介绍了如何在Java中利用Gson库解析NDJSON(换行符分隔的JSON)文件,以读取并映射文件中的所有独立JSON记录到对应的DTO对象列表中。针对一次性只能读取一个记录的问题,文章提出了基于JsonReader的循环读取策略,并强调了reader.peek()方法在判断文件末尾时的关键作用,同时提供了完整的示例代码和重要注意事项。

理解NDJSON格式与Gson的初始挑战

NDJSON(Newline Delimited JSON)是一种特殊的数据格式,其中每行都是一个独立的、有效的JSON对象,各行之间通过换行符分隔。与传统的JSON数组不同,NDJSON文件本身并非一个单一的JSON数组,而是多个JSON对象的集合。

当尝试使用Gson库解析NDJSON文件时,常见的初学者误区是直接调用gson.fromJson(reader, YourDTO.class)。例如,对于一个包含多条客户记录的customer.json文件:

// Record # 1{ "profile":{      "salutation":"Mr",      "title":null,      "company":null   },   "phone":{      "home_phone":null   },   "addresses":[      {         "address_id":"1",         "first_name":"Veronica"      }   ],   "orders":{      "placed_orders_count":2   }}// Record # 2{    "profile":{      "salutation":null,      "title":null   },   "phone":{      "home_phone":null   },   "addresses":[      {         "address_id":"2",         "title":""      }   ],   "orders":{      "placed_orders_count":0   }}// ... 更多记录

如果使用以下代码尝试读取:

import com.google.gson.Gson;import com.google.gson.stream.JsonReader;import java.io.FileReader;import java.io.IOException;// 假设 CustomerFeedDTO 已经定义// ...public class InitialNdjsonReaderExample {    public static void main(String[] args) {        Gson gson = new Gson();        try (JsonReader reader = new JsonReader(new FileReader("customer.json"))) {            // 这种方式只能读取第一个JSON对象            CustomerFeedDTO customerFeedDTO = gson.fromJson(reader, CustomerFeedDTO.class);            System.out.println("成功读取第一个记录: " + customerFeedDTO);            // 后续的记录将无法读取到,因为fromJson方法在读取完一个完整的JSON对象后就会停止。        } catch (IOException e) {            e.printStackTrace();        }    }}

这段代码只会成功解析文件中的第一个JSON对象,因为gson.fromJson()方法在读取完一个完整的JSON对象后就会停止。为了读取所有记录,我们需要一种机制来逐个处理文件中的每个JSON对象。

解决方案:循环读取与JsonReader

要正确解析NDJSON文件中的所有记录,核心思想是利用JsonReader的流式读取特性,通过循环逐个解析JSON对象。

aspx1财付通支付接口源码 aspx1财付通支付接口源码

本支付接口的特点,主要是用xml文件来记录订单详情和支付详情。代码比较简单,只要将里面的商户号、商户key换成你自己的,将回调url换成你的网站,就可以使用了。通过这个实例也可以很好的了解一般在线支付接口的基本工作原理。其中的pay.config文件记录的是支付详情,order.config是订单详情

aspx1财付通支付接口源码 0 查看详情 aspx1财付通支付接口源码

以下是实现这一目标的详细步骤和示例代码:

初始化JsonReader和Gson: 创建Gson实例和指向NDJSON文件的JsonReader。设置宽松模式: 调用reader.setLenient(true)。这在处理一些非严格符合JSON规范的输入时非常有用,例如可能存在注释或未引用的字段名等。对于NDJSON文件,虽然通常是严格的,但开启此模式可以增加兼容性。循环读取: 使用while (reader.peek() != JsonToken.END_DOCUMENT)作为循环条件。reader.peek()方法用于查看下一个令牌的类型,而不会实际消耗它。JsonToken.END_DOCUMENT表示已经到达JSON文档的末尾。通过检查这个令牌,我们可以确保在文件完全读取完毕后安全地退出循环。解析并添加: 在循环内部,每次迭代都调用gson.fromJson(reader, CustomerFeedDTO.class)来解析当前行的JSON对象,并将其添加到预先创建的List中。

import com.google.gson.Gson;import com.google.gson.stream.JsonReader;import com.google.gson.stream.JsonToken; // 导入 JsonTokenimport java.io.FileReader;import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Map;// CustomerFeedDTO 类定义 (详见下一节)class CustomerFeedDTO {    private Map profile;    private Map phone;    private ArrayList addresses;    private Map orders;    private ArrayList customs;    // Getters and setters (省略具体实现,但实际应用中需要)    public Map getProfile() { return profile; }    public void setProfile(Map profile) { this.profile = profile; }    public Map getPhone() { return phone; }    public void setPhone(Map phone) { this.phone = phone; }    public ArrayList getAddresses() { return addresses; }    public void setAddresses(ArrayList addresses) { this.addresses = addresses; }    public Map getOrders() { return orders; }    public void setOrders(Map orders) { this.orders = orders; }    public ArrayList getCustoms() { return customs; }    public void setCustoms(ArrayList customs) { this.customs = customs; }    @Override    public String toString() {        return "CustomerFeedDTO{" +               "profile=" + profile +               ", phone=" + phone +               ", addresses=" + addresses +               ", orders=" + orders +               ", customs=" + customs +               '}';    }}public class NdjsonMultiRecordReader {    public static void main(String[] args) {        List customerFeedDTOs = new ArrayList();        Gson gson = new Gson();        // 使用 try-with-resources 确保资源自动关闭        try (JsonReader reader = new JsonReader(new FileReader("customer.json"))) {            // 启用宽松模式,以处理可能存在的非严格JSON格式            reader.setLenient(true);            // 循环读取直到文档结束            while (reader.peek() != JsonToken.END_DOCUMENT) {                CustomerFeedDTO customerFeedDTO = gson.fromJson(reader, CustomerFeedDTO.class);                customerFeedDTOs.add(customerFeedDTO);                System.out.println("成功读取记录: " + customerFeedDTO); // 打印每条记录以验证            }            System.out.println("n所有记录读取完毕。总计 " + customerFeedDTOs.size() + " 条记录。");        } catch (IOException e) {            System.err.println("读取文件时发生错误: " + e.getMessage());            e.printStackTrace();        }    }}

DTO类定义

为了成功映射NDJSON数据,需要一个对应的Java数据传输对象(DTO)类。根据提供的NDJSON结构,一个示例的CustomerFeedDTO可以定义如下:

import java.util.ArrayList;import java.util.Map;public class CustomerFeedDTO {    // 使用Map来灵活处理内部结构不固定的JSON对象    private Map profile;    private Map phone;    // 使用ArrayList来处理JSON数组    private ArrayList addresses;    private Map orders;    private ArrayList customs;    // 构造函数 (可选)    public CustomerFeedDTO() {}    // Getters and Setters (必须提供,Gson通过反射调用它们进行数据绑定)    public Map getProfile() {        return profile;    }    public void setProfile(Map profile) {        this.profile = profile;    }    public Map getPhone() {        return phone;    }    public void setPhone(Map phone) {        this.phone = phone;    }    public ArrayList getAddresses() {        return addresses;    }    public void setAddresses(ArrayList addresses) {        this.addresses = addresses;    }    public Map getOrders() {        return orders;    }    public void setOrders(Map orders) {        this.orders = orders;    }    public ArrayList getCustoms() {        return customs;    }    public void setCustoms(ArrayList customs) {        this.customs = customs;    }    @Override    public String toString() {        return "CustomerFeedDTO{" +               "profile=" + profile +               ", phone=" + phone +               ", addresses=" + addresses +               ", orders=" + orders +               ", customs=" + customs +               '}';    }}

注意: 实际应用中,Map 和 ArrayList 可以被更具体的DTO类或泛型类型替换,以实现更强类型的数据访问和更清晰的代码结构。例如,profile可以是一个ProfileDTO对象,addresses可以是一个List,这样可以更好地封装数据并提供类型安全。

注意事项

reader.setLenient(true)的重要性:此方法允许JsonReader在解析JSON时更加宽容,例如接受未引用的名称、单引号字符串、C风格注释等。虽然NDJSON规范通常要求严格的JSON,但实际文件中可能存在一些不规范的格式。开启此模式可以提高解析的健壮性。

reader.peek()与reader.hasNext()的比较:JsonReader确实有一个hasNext()方法,但它在到达文档末尾时可能会抛出IllegalStateException。相比之下,reader.peek() != JsonToken.END_DOCUMENT是一种更安全、更推荐的判断文件末尾的方式,它通过检查下一个令牌类型来避免异常。

资源管理:try-with-resources:在处理文件I/O时,确保FileReader和JsonReader等资源被正确关闭至关重要,以防止资源泄露。Java 7及更高版本提供的try-with-resources语句是管理这些可关闭资源的最佳实践,它能确保在try块结束时(无论正常结束还是异常结束)自动关闭资源。

异常处理:文件读取和JSON解析过程中可能会出现IOException或JsonSyntaxException等异常。在生产代码中,应提供健壮的异常处理机制,例如记录错误日志、向用户提供友好的错误信息或采取恢复措施。

以上就是使用Gson解析NDJSON文件中的多个JSON记录的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1099747.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Flex布局如何将最后一个子元素置顶显示?
上一篇 2025年12月2日 16:47:00
如何改进正则表达式才能精准分割省市县与更详细的地址?
下一篇 2025年12月2日 16:47:10

相关推荐

  • 修复Django电商项目中AJAX过滤产品列表图片不显示问题

    在Django电商项目中,当使用AJAX动态加载过滤后的产品列表时,常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式(如data-setbg属性结合JavaScript库)与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片,确保浏览…

    2026年5月10日
    000
  • 开源免费PHP工具 PHP开发效率提升利器

    推荐开源免费PHP开发工具以提升效率:VS Code、Sublime Text轻量高效,PhpStorm专业强大;调试用Xdebug、Kint、Ray;依赖管理选Composer;代码质量工具包括PHPStan、Psalm、PHP_CodeSniffer;数据库管理可用%ignore_a_1%MyA…

    2026年5月10日
    000
  • Matplotlib 地图中多类型图例的创建与优化

    Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化

    本教程旨在解决matplotlib地图可视化中,如何在一个图例中同时展示颜色块(如区域分类)和自定义标记(如特定兴趣点)的问题。文章详细介绍了当传统`patch`对象无法正确显示标记时,如何利用`matplotlib.lines.line2d`创建标记图例句柄,并将其与颜色块图例句柄合并,从而生成一…

    2026年5月10日 用户投稿
    100
  • Golang JSON序列化:控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时,通过利用`encoding/json`包提供的结构体标签,特别是`json:”-“`,可以轻松实现对特定字段的忽略,从而避免敏感数据泄露,确保api…

    2026年5月10日
    000
  • 比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币,基于区块链技术实现点对点交易,具有匿名性、有限发行和不可篡改等特点;新手可通过交易所购买,P2P交易获得比特币,常用平台包括Binance、OKX和Huobi;交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买,可选择市价单或限价单;比特币存储方式有交易…

    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则,指模板实例化时若参数替换导致错误,只要存在其他合法候选,编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景,如通过 decltype 或 enable_if 控制函数重载,实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    2026年5月10日
    000
  • Golang gRPC流式请求异常处理

    在Golang的gRPC流式通信中,必须通过context.Context处理异常。应监听上下文取消或超时,及时释放资源,设置合理超时,避免连接长时间挂起,并在goroutine中通过context控制生命周期。 在使用 Golang 和 gRPC 实现流式通信时,异常处理是确保服务健壮性的关键部分…

    2026年5月10日
    000
  • Go语言mgo查询构建:深入理解bson.M与日期范围查询的正确实践

    本文旨在解决go语言mgo库中构建复杂查询时,特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性,解释为何直接索引`interface{}`会导致“invalid operation”错误,并提供一种推荐的、结构清晰的代码重构方案,以确保查询条件能够正确…

    2026年5月10日
    100
  • vscode上怎么运行html_vscode上运行html步骤【指南】

    首先保存文件为.html格式,再通过浏览器或Live Server插件打开预览;推荐安装Live Server实现本地服务器运行与实时刷新,提升开发体验。 在 VS Code 上运行 HTML 文件并不需要复杂的配置,只需几个简单步骤即可预览页面效果。VS Code 本身是一个代码编辑器,不直接运行…

    2026年5月10日
    100
  • 修复点击时按钮抖动:CSS垂直对齐实践

    本文探讨了在Web开发中,交互式按钮(如播放/暂停按钮)在点击时发生意外垂直位移的问题。通过分析CSS样式变化对元素布局的影响,我们发现这是由于按钮不同状态下的边框样式和内边距改变,以及默认的垂直对齐行为共同作用所致。核心解决方案是利用CSS的vertical-align属性,将其设置为middle…

    2026年5月10日
    100
  • Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争,结合runtime.NumGoroutine监控协程数量,通过pprof分析阻塞调用栈,利用select超时避免永久阻塞,有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心,但它们也带来了调试上…

    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合,支持数据导入(pandas)、清洗(fillna)、探索(matplotlib/seaborn可视化)、统计分析(describe/corr)和特征工程,便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    2026年5月10日
    000
  • 《魔兽世界》将于6月11日开启国服回归技术测试

    《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试

    《%ign%ignore_a_1%re_a_1%》官方宣布,将于6月11日开启国服回归技术测试,时间为7天,并称可以在6月内正式开服,玩家们可以访问官网下载战网客户端并预下载“巫妖王之怒”客户端,技术测试详情见下图。 WordAi WordAI是一个AI驱动的内容重写平台 53 查看详情 以上就是《…

    2026年5月10日 用户投稿
    200
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建,包含action和method属性定义数据提交目标与方式,常用input类型如text、password、email等适配不同输入需求,配合label、required、placeholder提升可用性,结合textarea、select、button等控件实现完整交互,是…

    2026年5月10日
    100
  • 前端缓存策略与JavaScript存储管理

    根据数据特性选择合适的存储方式并制定清晰的读写与清理逻辑,能显著提升前端性能;合理运用Cookie、localStorage、sessionStorage、IndexedDB及Cache API,结合缓存策略与定期清理机制,可在保证用户体验的同时避免安全与性能隐患。 前端缓存和JavaScript存…

    2026年5月10日
    200
  • HTML5网页如何实现手势操作 HTML5网页移动端交互的处理技巧

    首先利用原生touch事件实现滑动判断,再通过preventDefault解决滚动冲突,接着引入Hammer.js处理复杂手势,最后通过优化点击区域、避免事件冲突和增加视觉反馈提升体验。 在移动端浏览器中,HTML5网页可以通过触摸事件实现手势操作,提升用户体验。虽然原生JavaScript提供了基…

    2026年5月10日
    000
  • 创建指定大小并填充特定数据的Golang文件教程

    本文将介绍如何使用Golang创建一个指定大小的文件,并用特定数据填充它。我们将使用 `os` 包提供的函数来创建和截断文件,从而实现快速生成大文件的目的。示例代码展示了如何创建一个10MB的文件,并将其填充为全零数据。掌握这些方法,可以方便地在例如日志系统或磁盘队列等场景中,预先创建测试文件或初始…

    2026年5月10日
    000
  • 深入理解 Express.js 中 next() 参数的作用与中间件机制

    本文深入探讨 express.js 中间件函数中的 `next()` 参数。它负责将控制权传递给请求-响应周期中的下一个中间件或路由处理程序。文章将详细解释 `next()` 的工作原理、中间件的注册与执行顺序,以及不正确使用 `next()` 可能导致请求挂起的风险,并通过代码示例和实际应用场景,…

    2026年5月10日
    000
  • Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程

    使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py,它会输出每个函数的调用次数、总耗时、累积耗时等关键指标,帮助定位性能瓶颈;为进一步分析,可将结果保存为文件python -m cProfile -o ou…

    2026年5月10日
    000
  • 如何插入查询结果数据_SQL插入Select查询结果方法

    如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法

    使用INSERT INTO…SELECT语句可高效插入数据,通过NOT EXISTS、LEFT JOIN、MERGE语句或唯一约束避免重复;表结构不一致时可通过别名、类型转换、默认值或计算字段处理;结合存储过程可提升可维护性,支持参数化与动态SQL。 将查询结果数据插入到另一个表中,可以…

    2026年5月10日 用户投稿
    000

发表回复

登录后才能评论
关注微信