
PHP与Go大数据交互及大数据量传输解决方案
本文分析了PHP使用curl向Go服务器发送大量数据时,Go端接收数据不完整的问题,并提供有效的解决方案。
问题背景:
用户使用PHP导出Excel数据,为提高效率,尝试使用Go语言重写导出部分。PHP端通过curl以JSON格式向Go服务器发送数据,Go服务器使用excelize库生成Excel。然而,当数据量超过约95万条记录时,Go端接收数据不完整。 尝试了三种Go端数据接收方法:
立即学习“PHP免费学习笔记(深入)”;
req.ParseForm():无法接收任何数据。io.Copy(buf, req.Body):接收全部数据,但需自行解析JSON。req.FormValue():小数据量正常,大数据量接收不完整。
问题根源及解决方案:
问题的核心在于PHP的curl请求默认使用multipart/form-data Content-Type。Go端的三种方法对该类型数据的处理方式不同,导致了结果差异。
req.ParseForm(): 仅处理application/x-www-form-urlencoded类型数据,无法处理multipart/form-data。io.Copy(buf, req.Body): 直接读取请求体,获取所有数据,但需要额外编写JSON解析代码。req.FormValue(): 小数据量下工作正常,因为内部调用req.ParseMultipartForm解析数据。但req.ParseMultipartForm有默认大小限制(约42MB),超过限制则接收不完整。
因此,解决方案是修改Go端代码,正确处理multipart/form-data请求,并调整req.ParseMultipartForm的最大内存限制。 需要在Go端代码中显式调用req.ParseMultipartForm(maxMemory),其中maxMemory需根据预期数据大小设置足够大的值(例如,大于PHP端生成的JSON数据长度)。 这将确保Go端完整接收PHP发送的数据。
以上就是PHP与Go大数据量交互:如何解决Go端接收数据不完整的问题?的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1254092.html
微信扫一扫
支付宝扫一扫