nodejs+axios爬取html出现中文乱码并解决示例

nodejs+axios爬取html出现中文乱码并解决示例

目录

一、乱码原因

二、解决办法

一、乱码原因

当使用 nodejs + axios 来爬取某个 url 对应的 html 时,出现中文乱码。

在 HTML 页面的 head 中没有设置 <meta charset="UTF-8"> ,而 html 页面默认是 GBK 的编码。

使用 axios 发送请求 responseEncoding 默认是 utf8,造成编码不一致,导致最后获取到的 html 内容出现中文乱码。

二、解决办法

以二进制流的形式获取 HTML 内容,再对内容进行 GBK 编码解析。具体步骤如下:

设置 axios 请求时的 responseType 为 arraybuffer;

使用 TextDecoder 对象提供的方法对二进制流进行编码解析。

eg:

async function getHtml() { let res = await axios({ url: "http://www.xxx.com", headers: { // ... }, responseType: "arraybuffer", // 关键步骤 responseEncoding: "utf8", }); let { data } = res let utf8decoder = new TextDecoder("GBK"); // 关键步骤 let html = utf8decoder.decode(data); console.log(html) }

这样就能完美解决中文乱码的情况了。如果 HTML 设置的其他类型编码,只需要在 new TextDecoder() 实例化参数传入对应的编码即可。

API解读:

 TextDecoder 接口表示一个文本解码器,一个解码器只支持一种特定文本编码,例如: utf-8、iso-8859-2、koi8、cp1261,gbk 等等。解码器将字节流作为输入,并提供代码点流作为输出。

以上就是nodejs+axios解决html出现中文乱码示例的详细内容,更多关于nodejs axios解决html中文乱码的资料请关注易知道(ezd.cc)其它相关文章!

推荐阅读