
Node.js request库爬取网页编码问题及解决方法
使用Node.js的request库进行网页爬取时,常常会遇到编码异常导致乱码的情况。本文将通过实例演示如何解决这个问题。
例:使用request库获取网页HTML,出现编码错误。
const request = require('request');function getGoods() { request('https://www.58moto.com/used-car/1470264', (err, res, body) => { console.log(body); });}getGoods();
上述代码中,由于request库默认使用GBK编码,而目标网页实际编码为UTF-8,导致输出结果出现乱码。
解决方案:
方法一:手动指定编码
在request选项中指定encoding为utf-8即可解决:
request({ url: 'https://www.58moto.com/used-car/1470264', encoding: 'utf-8'}, (err, res, body) => { console.log(body);});
方法二:使用axios库
axios库能够自动根据响应头部的content-type信息识别编码,无需手动指定,简化了编码处理过程。 推荐使用axios库来避免手动处理编码的繁琐步骤。
通过以上方法,可以有效解决Node.js request库爬取网页时出现的编码异常问题,获取正确的网页内容。
以上就是Node.js中request库爬虫编码异常如何解决?的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1502249.html
微信扫一扫
支付宝扫一扫