nodejs爬取网页乱码解决方法

秒速五厘米 2021-10-23 23:22 437阅读 0赞

var req = https.request(options, function (res) {
    
            res.setEncoding('utf-8');
            res.on('data', function (chunk) {
                var buf = iconv.decode(chunk, 'utf-8').toString(); //解码
                stockStr += buf;
                // stockStr += chunk;
            });
    
            res.on('end', function (chunk) {
    
                console.log('so', stockStr)
                const stocksArr = stockStr.split('group_id": "');
    
                var groupIds = [];
                for (var i = 1; i < stocksArr.length; i++) {
                    groupIds.push(stocksArr[i].split('", "middle')[0]);
                }
                if (groupIds.length > 0) {
                    groupIds.map((item, i) => {
                        console.log('item', item)
                        // comment(item);  // 评论
                        // praise(item);
                    })
                }
            });
        })

上面这段代码在请求有些网站的时候会出现乱码，并且需要npm install iconv

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjIxNzE4_size_16_color_FFFFFF_t_70][]

因为有些文章返回的格式为gzip;可以尝试下面的代码

var req = https.request(options, function (res) {
            var html = '', output;
            if (res.headers['content-encoding'] == 'gzip') {
                var gzip = zlib.createGunzip();
                res.pipe(gzip);
                output = gzip;
            } else {
                output = res;
            }
            output.on('data', (data) => {
                data = data.toString('utf-8');
                html += data;
            });
            output.on('end', () => {
                html = unescape(html.replace(/\\u/g, "%u"));  // 将unicode编码转中文
                console.log(html);
    
                const stocksArr = html.split('group_id": "');
    
                var groupIds = [];
                for (var i = 1; i < stocksArr.length; i++) {
                    groupIds.push(stocksArr[i].split('", "middle')[0]);
                }
                if (groupIds.length > 0) {
                    groupIds.map((item, i) => {
                        // comment(item);  // 评论
                        // praise(item);
                    })
                }
            })
    
        })

上面这个需要安装zlib依赖包，npm install zlib ;运行结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjIxNzE4_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjIxNzE4_size_16_color_FFFFFF_t_70]: /images/20211023/c4d4485adeb64b90bf3933c0daf6c380.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjIxNzE4_size_16_color_FFFFFF_t_70 1]: /images/20211023/73ddc7182e1b4fef8a6ff5edbd44db79.png

发表评论取消回复

表情：

评论列表（有 0 条评论，437人围观）

还没有评论，来说两句吧...

相关阅读

相关 4k图片爬取+中文乱码

4k图片爬取+中文乱码此案例有三种乱码解决方法，推荐第一种 4k图片爬取其实和普通图片爬取的过程是没有本质区别的 import requests i

墨蓝/ 2023年06月02日 10:44/ 0 赞/ 26 阅读

相关 Java 爬取网页

我们使用 net.URL 类的 URL() 构造函数来抓取网页代码如下 import java.io.BufferedReader; import j

Dear 丶/ 2023年05月21日 11:47/ 0 赞/ 264 阅读

相关 nodejs中利用axios爬取gbk网页乱码的解决办法

爬取gbk编码的网页数据解决中文乱码需要以下3步: 1.安装模块 2.封装代码 3.引用代码编写爬取数据的代码 1.安装模块

红太狼/ 2023年02月21日 09:27/ 0 赞/ 3 阅读

相关 java 爬取网页代码

package text; import java.io.BufferedReader; import java.io.IOException

客官°小女子只卖身不卖艺/ 2022年12月22日 00:56/ 0 赞/ 216 阅读

相关爬虫：用request爬取网页源码。出现ISO乱码

获取源码 def getHTML(url): html=requests.get(url) html.encod

﹏ヽ暗。殇╰゛Y/ 2022年09月09日 12:50/ 0 赞/ 174 阅读

相关学习python爬取网页

新手学习python爬取网页先用下面4个库就够了：（第4个是实在搞不定用的，当然某些特殊情况它也可能搞不定） 1. 打开网页，下载文件：urllib 2

柔情只为你懂/ 2022年07月14日 09:21/ 0 赞/ 320 阅读

相关 nodejs爬网页图片

参考链接：[https://segmentfault.com/a/1190000012412007][https_segmentfault.com_a_119000001241

ゝ一纸荒年。/ 2022年05月15日 14:42/ 0 赞/ 227 阅读

相关 nodejs爬取网页乱码解决方法

var req = https.request(options, function (res) { res.setEncoding('

秒速五厘米/ 2021年10月23日 23:22/ 0 赞/ 438 阅读

相关网页源码爬取

java实现网络爬虫爬取单一页面 package liuwenwu.test; import java.io.; import java

「爱情、让人受尽委屈。」/ 2021年10月20日 00:56/ 0 赞/ 425 阅读

相关爬取网页图片

下载表情包吧指定网页的所有图片 #coding:utf-8 import urllib.request import urllib.parse import urlli...

系统管理员/ 2021年05月03日 05:44/ 0 赞/ 679 阅读