
本文介绍了一种在Go语言中处理包含非JSON内容的JSON流的方法。当从标准输入或其他来源接收到的JSON数据流中夹杂着非JSON字符串时,标准的`encoding/json`包会报错。本文提供了一种解决方案,通过读取字节切片、裁剪非JSON字符串并使用`json.Unmarshal`进行反序列化,从而有效地解析这类数据流。
在Go语言中处理JSON数据流时,如果数据流中包含非JSON内容,标准的encoding/json包提供的解码器可能会遇到问题。一个常见的场景是,JSON结构体之间穿插着特定的分隔符或标记,例如示例中的”end”字符串。这种情况下,直接使用json.Decoder会因为无法解析非JSON内容而报错。
以下提供一种解决方案,该方案的核心思想是:不使用json.Decoder,而是直接从输入流中读取字节切片,然后手动裁剪掉非JSON部分,最后使用json.Unmarshal将剩余的JSON数据反序列化为Go结构体。
实现步骤
读取字节切片: 使用os.Stdin.Read()从标准输入读取数据到一个字节切片中。需要预先分配足够大的字节切片来容纳可能的数据。
裁剪非JSON内容: 使用bytes.Index()函数查找JSON数据和非JSON内容之间的分隔符。根据分隔符的位置,裁剪字节切片,只保留JSON数据部分。
反序列化JSON: 使用json.Unmarshal()函数将裁剪后的JSON数据反序列化为Go结构体。
示例代码
package mainimport ( "bytes" "encoding/json" "fmt" "os")// MyStruct 定义JSON对应的结构体type MyStruct struct { Command string `json:"command"` ID string `json:"id"` Msg string `json:"msg,omitempty"` //omitempty表示如果Msg为空,则在JSON中不显示该字段}func main() { // 创建一个缓冲区来保存流数据 data := make([]byte, 5000) var err error // 从stdin循环读取数据 for { _, err = os.Stdin.Read(data) if err != nil { fmt.Println("Error reading from stdin:", err) return // 或者使用 panic(err) } // 找到第一个换行符的索引 index := bytes.Index(data, []byte("n")) if index == -1 { fmt.Println("No newline found, skipping") continue // 或者返回错误 } data = data[:index] // 创建 MyStruct 类型的变量 var myStruct MyStruct err = json.Unmarshal(data, &myStruct) if err != nil { fmt.Println("Error unmarshalling JSON:", err) continue // 或者返回错误 } // 使用 myStruct 做一些事情 fmt.Printf("Received: %+vn", myStruct) // 重置 data,准备读取下一个 JSON data = make([]byte, 5000) }}
代码解释
MyStruct:定义了一个Go结构体,用于存储反序列化后的JSON数据。os.Stdin.Read(data):从标准输入读取数据到data字节切片。bytes.Index(data, []byte(“n”)):查找data中第一个换行符的位置,用于确定JSON数据的边界。data = data[:index]:裁剪data,只保留JSON数据部分。json.Unmarshal(data, &myStruct):将JSON数据反序列化到myStruct结构体中。fmt.Printf(“Received: %+vn”, myStruct):打印反序列化后的结构体内容。
注意事项
错误处理: 示例代码中使用了简单的错误处理方式。在实际应用中,应该根据具体情况进行更完善的错误处理,例如记录日志、返回错误码等。缓冲区大小: 缓冲区大小5000是一个示例值,应该根据实际JSON数据的长度进行调整。如果JSON数据长度超过缓冲区大小,会导致数据丢失。分隔符: 示例代码中使用换行符n作为JSON数据和非JSON内容之间的分隔符。如果实际情况使用其他分隔符,需要相应地修改bytes.Index()函数的参数。性能: 这种方法每次都需要读取整个缓冲区并进行裁剪,在处理大量数据时可能会影响性能。如果对性能要求较高,可以考虑使用流式处理或其他更高效的方案。数据清洗: 确保在反序列化之前,对数据进行必要的清洗和验证,以防止恶意JSON数据导致的安全问题。
总结
该方法提供了一种在Go语言中处理包含非JSON内容的JSON流的有效解决方案。通过手动读取和裁剪数据,可以绕过标准json.Decoder的限制,成功解析这类数据流。但是,在实际应用中需要注意错误处理、缓冲区大小、分隔符以及性能等问题,并根据具体情况进行相应的调整和优化。
以上就是处理Go中JSON流中的非JSON内容的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1414428.html
微信扫一扫
支付宝扫一扫