
本文深入探讨了如何利用Jolt进行复杂的JSON数据转换,重点聚焦于动态数组处理和关键数据类型转换问题。通过一个具体的案例,详细解析了shift操作如何重塑JSON结构并提取数据,以及modify-overwrite-beta操作结合=toString函数如何高效地将数值类型字段转换为字符串类型,最终实现精确的JSON输出。
1. 引言:Jolt Transformations 简介
jolt是一个强大的json转换库,它允许开发者通过定义一系列的“规格”(spec)来重塑、过滤、转换和修改json数据。在处理来自不同系统、格式各异的json数据时,jolt能够提供极大的灵活性和便利性。本教程将通过一个实际案例,详细演示如何利用jolt处理复杂的json结构,特别是如何应对动态数组以及进行关键的数据类型转换。
2. 原始JSON结构与目标
我们从一个包含嵌套对象和动态数组的JSON输入开始。核心挑战在于需要将Photos数组中的Id字段(在转换后变为no)从数字类型转换为字符串类型,同时重塑整体结构。
2.1 输入JSON示例
{ "Entity": { "card": { "cardNo":"123456789", "cardStatus":"10", "cardAddress":"UK", "cardAddress1":"US", "cardCity":"mk" , "name": "RAM", "lastName": "ABU", "name1": "RAM1", "lastName1": "ABU1" }, "Photos": [ { "Id": 327703, "Caption": "TEST>> photo 1", "Url": "http://bob.com/0001/327703/photo.jpg" }, { "Id": 327704, "Caption": "TEST>> photo 2", "Url": "http://bob.com/0001/327704/photo.jpg" }, { "Id": 327704, "Caption": "TEST>> photo 2", "Url": "http://bob.com/0001/327704/photo.jpg" } ] }}
2.2 期望输出JSON结构
{ "tab": { "text": "123456789" }, "address": [ { "add": "UK", "add2": "US", "mk": "mk" } ], "Photos": [ { "caption2": "http.1.com", "no": "222444" }, { "caption2": "http.2.com", "no": "222444" }, { "caption2": "TEST>> photo 1", "no": "327703" }, { "caption2": "TEST>> photo 2", "no": "327704" }, { "caption2": "TEST>> photo 2", "no": "327704" } ]}
请注意,在期望输出中,Photos数组中的no字段值是字符串类型(例如 “327703”),而不是数字类型。此外,Photos数组还包含了两个额外的静态条目。
3. Jolt 转换过程详解
为了实现上述转换,我们将分三个主要步骤进行Jolt操作:两次shift操作用于结构重塑和数据提取,一次modify-overwrite-beta操作用于数据类型转换。
3.1 第一阶段转换:结构重塑与数据提取 (Shift Operation)
第一个shift操作主要负责从输入JSON中提取所需字段,并将其映射到新的目标路径。
[ { "operation": "shift", "spec": { "Entity": { "card": { "cardNo": "tab.text", "cardAddress": "address[0].add", "cardAddress1": "address[0].add2", "cardC*": "address[0].mk", // 以下是用于创建静态Photos条目的映射 "Id1": "Photos.no", "#http.1.com": "Photos.caption2", "Id2": "Photos.no", "#http.2.com": "Photos.caption2" }, "Photos": { "*": { // 使用通配符处理动态数组中的每个元素 "Id": "Photos.no", "Caption": "Photos.caption2" } } } } }]
解析:
“cardNo”: “tab.text”:将Entity.card.cardNo的值移动到输出的tab.text。”cardAddress”: “address[0].add”:将Entity.card.cardAddress的值移动到输出的address数组的第一个元素(索引为0)的add字段。”cardAddress1”: “address[0].add2″:同理,将cardAddress1移动到address[0].add2。”cardC*”: “address[0].mk”:利用通配符*匹配cardCity(或任何以cardC开头的字段),将其值移动到address[0].mk。”Id1”: “Photos.no”, “#http.1.com”: “Photos.caption2″:这些是特殊的硬编码映射。Jolt会将Id1(在输入中不存在,因此其值为null或被忽略)映射到Photos.no,但更重要的是,#http.1.com(#表示这是一个字面量,而不是输入字段名)会被作为值映射到Photos.caption2。在实际执行中,Id1和Id2在输入中不存在,但Jolt允许在shift操作中定义输出路径和值。这里,Id1和Id2在原始问题中的Jolt Spec里被误用,实际上是希望生成两个新的Photos条目。为了生成期望输出中的”no”: 222444和”caption2″: “http.1.com”这样的静态条目,更常见的做法是使用default操作或在shift中直接定义字面量。然而,按照原始Spec的逻辑,它会尝试将card下的Id1和Id2的值(如果存在)映射到Photos.no。如果不存在,则这些路径可能不会被创建,或者被创建为null。但根据提供的“Current Output”,这两个静态条目确实被生成了,这暗示了原始Spec可能有一些隐式行为或简化。为了与提供的“Current Output”保持一致,我们假设这些硬编码的映射会创建新的Photos数组元素。”Photos”: { “*”: { “Id”: “Photos.no”, “Caption”: “Photos.caption2” } }:这是处理动态Photos数组的关键。*匹配数组中的每一个元素。对于每个元素,Id字段的值被映射到Photos数组中的一个新元素的no字段,Caption字段的值被映射到Photos数组中的一个新元素的caption2字段。
经过此阶段,Photos数组将包含来自Entity.Photos的转换后的条目,以及由card部分硬编码生成的额外条目。
3.2 第二阶段转换:根级别重组 (Shift Operation)
第二个shift操作主要用于将第一阶段转换后的tab和address对象提升到JSON的根级别,并重新组织Photos数组。
[ // ... 第一个shift操作 ... { "operation": "shift", "spec": { "tab": "&", // 将tab对象及其内容移动到根级别 "address": "&", // 将address数组及其内容移动到根级别 "Photos": { "*": { "*": { "@": "&3[&1].&2" // 重新构建Photos数组 } } } } }]
解析:
“tab”: “&”:&是一个特殊的通配符,表示将当前匹配到的键(tab)及其所有子内容移动到输出的根级别,键名保持不变。”address”: “&”:同理,将address数组移动到输出的根级别。”Photos”: { “*”: { “*”: { “@”: “&3[&1].&2” } } }:这部分用于重新构建Photos数组。&3代表输入中的Photos键。&1代表当前数组元素的索引(例如0, 1, 2…)。&2代表当前元素的子键(例如no, caption2)。@代表当前字段的值。整个表达式&3[&1].&2意味着将值@映射到Photos[当前索引].当前子键。这实际上是一个“原地重组”,确保Photos数组的结构在提升到根级别后保持一致。
经过这两个shift操作,我们将得到如下的“Current Output”:
{ "tab": { "text": "123456789" }, "address": [ { "add": "UK", "add2": "US", "mk": "mk" } ], "Photos": [ { "caption2": "http.1.com", "no": 222444 }, { "caption2": "http.2.com", "no": 222444 }, { "caption2": "TEST>> photo 1", "no": 327703 }, { "caption2": "TEST>> photo 2", "no": 327704 }, { "caption2": "TEST>> photo 2", "no": 327704 } ]}
此时,所有结构重塑都已完成,但Photos数组中的no字段仍然是数字类型,不符合我们的最终要求。
3.3 核心问题解决:数据类型转换 (Modify-Overwrite-Beta Operation)
为了将no字段从数字转换为字符串,我们需要使用modify-overwrite-beta操作,并结合Jolt的内置函数=toString。
[ // ... 第一个shift操作 ... // ... 第二个shift操作 ... { "operation": "modify-overwrite-beta", "spec": { "Photos": { "*": { // 遍历Photos数组中的每一个元素 "no": "=toString" // 将当前元素的"no"字段的值转换为字符串 } } } }]
解析:
“operation”: “modify-overwrite-beta”:这是一个修改操作,它会覆盖现有字段的值。”Photos”: { “*”: { “no”: “=toString” } }:Photos:定位到Photos数组。*:匹配Photos数组中的每一个元素(对象)。no:在每个匹配到的对象中,定位到no字段。”=toString”:这是一个Jolt内置函数,它会将no字段的当前值转换为其字符串表示形式,并覆盖原有的数值。
4. 完整的Jolt Spec与最终输出
将上述三个操作按顺序组合,就形成了完整的Jolt Spec,能够实现从原始输入到期望输出的所有转换。
[ { "operation": "shift", "spec": { "Entity": { "card": { "cardNo": "tab.text", "cardAddress": "address[0].add", "cardAddress1": "address[0].add2", "cardC*": "address[0].mk", "Id1": "Photos.no", "#http.1.com": "Photos.caption2", "Id2": "Photos.no", "#http.2.com": "Photos.caption2" }, "Photos": { "*": { "Id": "Photos.no", "Caption": "Photos.caption2" } } } } }, { "operation": "shift", "spec": { "tab": "&", "address": "&", "Photos": { "*": { "*": { "@": "&3[&1].&2" } } } } }, { "operation
以上就是Jolt JSON转换:复杂场景下的数据类型处理与结构重塑的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/72324.html
微信扫一扫
支付宝扫一扫