博客搬家系列（六）-爬取今日头条文章

桃扇骨 2022-04-22 01:32 468阅读 0赞

博客搬家系列（六）-爬取今日头条文章

## 一.前情回顾 ##

博客搬家系列（一）-简介：[https://blog.csdn.net/rico\_zhou/article/details/83619152][https_blog.csdn.net_rico_zhou_article_details_83619152]

博客搬家系列（二）-爬取CSDN博客：[https://blog.csdn.net/rico\_zhou/article/details/83619509][https_blog.csdn.net_rico_zhou_article_details_83619509]

博客搬家系列（三）-爬取博客园博客：[https://blog.csdn.net/rico\_zhou/article/details/83619525][https_blog.csdn.net_rico_zhou_article_details_83619525]

博客搬家系列（四）-爬取简书文章：[https://blog.csdn.net/rico\_zhou/article/details/83619538][https_blog.csdn.net_rico_zhou_article_details_83619538]

博客搬家系列（五）-爬取开源中国博客：[https://blog.csdn.net/rico\_zhou/article/details/83619561][https_blog.csdn.net_rico_zhou_article_details_83619561]

博客搬家系列（七）-本地WORD文档转HTML：[https://blog.csdn.net/rico\_zhou/article/details/83619573][https_blog.csdn.net_rico_zhou_article_details_83619573]

博客搬家系列（八）-总结：[https://blog.csdn.net/rico\_zhou/article/details/83619599][https_blog.csdn.net_rico_zhou_article_details_83619599]

## 二.开干（获取文章URL集合） ##

爬取今日头条的文章算是本系列中比较难的，不像其他如CSDN等网站，基本信息可以直接使用htmlunit就能爬取，但是当用同样的方法爬取今日头条时，则不行，很简单，我们随便找一多文章的博主，如[https://www.toutiao.com/c/user/101528687217/][https_www.toutiao.com_c_user_101528687217] 打开主页，右击查看源码，我们发现源码中并不包含文章列表等信息，说明文章列表是js动态加载的，于是还是老规矩，先审查元素，查看一下都进行了哪些请求再说

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 1][]

发现这个get请求正是我想要的，preview查看一下不难发现这里的数据即是文章列表，但是我却并没有在url中发现跟页数相关的参数，只是滚动会发现另一个请求，而且最后的三个参数as，cp，\_signature是不一样的，当max\_behot\_time=0时，即第一页信息，随便更改这三个参数均能得到正确数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 2][]

![20181101173136802.png][]

但是当不等于0的时候，即第2,3...页信息，则后面的三个参数就起了作用，不能随便了，其实想想也知道，这肯定是签名算法，防的就是我们现在的这个行为，哈哈，好吧，先说结果，目前我还没有找到有效的办法，但是可以将过程同大家分享一下，共同学习。

首先，这三个参数的加密算法是什么需要找到，然后才能破解，我们分析一下这条url

[https://www.toutiao.com/c/user/article/?page\_type=1&user\_id=101528687217&max\_behot\_time=1539352612&count=20&as=A1851BCD7A2C7D8&cp=5BDADC373D48DE1&\_signature=.MrxjBAapxqr.bnXWOFkBPzK8Z][https_www.toutiao.com_c_user_article_page_type_1_user_id_101528687217_max_behot_time_1539352612_count_20_as_A1851BCD7A2C7D8_cp_5BDADC373D48DE1_signature_.MrxjBAapxqr.bnXWOFkBPzK8Z]

前面的参数其实不用管如page\_type,count,但是user\_id和max\_behot\_time是变化的，user\_id是已知的，那么max\_behot\_time是哪来的呢？

当我们首页信息时max\_behot\_time是0，下拉时变成了1539352612，这个过程中没有其他的请求发生，那么就是在第一次请求时返回的信息或者通过js计算的数据，首先检查一下首次返回的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 3][]

发现果然如此，这个参数我们是可以依次获取的，解决，那么as，cp，\_signature这三个参数呢？刚刚分析，可能是js计算而来，那我们就把这几个关键字在所有的js文件中搜索一下，找到相关的js代码先

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 4][]

经搜索发现，我们找到了相关的js，即文件index\_34154e5.js，将其下载下来分析，我们找到了as，cp这两个参数的算法

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 5][]

分析发现，这两个参数只是根据当前的时间经过md5加密生成的字符串，并没有用到user\_id和max\_behot\_time参数，我们网上百度个md5算法或者引入md5js文件，简单写个html获取这两个参数试试看，

![20181101174621504.png][]

<html>
    
    <head>
    <title>页面</title>
    </head>
    
    
    <body>
    <p>。</p>
    <p>。</p>
    </body>
    <script>
    
    
    console.log(getHoney(0,1539352612));
    
    function getHoney(userInfoId,max_behot_time){
    
    var i = Math.floor((new Date).getTime() / 1e3)
              , e = i.toString(16).toUpperCase()
              , t = md5(i).toString().toUpperCase();
            if (8 != e.length)
                return {
                    as: "479BB4B7254C150",
                    cp: "7E0AC8874BB0985"
                };
            for (var n = t.slice(0, 5), o = t.slice(-5), s = "", a = 0; 5 > a; a++)
                s += n[a] + e[a];
            for (var l = "", r = 0; 5 > r; r++)
                l += e[r + 3] + o[r];
            return {
                as: "A1" + s + e.slice(-3),
                cp: e.slice(0, 3) + l + "E1"
            }
    
    }
    
    	
    
    function md5(string) {
    ....
    }
    </script>
    </html>

经测试，这两个参数是可用的，那问题的关键就在于\_signature这个参数了，同样搜索文件发现了算法

![20181101175030511.png][]

可以看出\_signature这个值是需要参数user\_id和max\_behot\_time作为参数经过方法TAC.sign签名之后获取的，那么现在就有两条路了

第一条路是破解这个\_signature签名的算法，其实js中都有，我只要改成java实现，或者直接使用java执行js即可

第二条路是使用htmlunit动态的执行js方法TAC.sign()然后得到结果

先尝试第二种貌似比较简单的实现方法

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 6][]

可是将其带入到url中依然无法得到正确结果，可能毕竟运行有差别吧，不做多想，再试试方案一！

加密算法在这

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 7][]

显然含有特殊字符，暂时不管，先复制到本地html中试试看，经测试发现是可以用的，但由于特殊字符的原因不太好改成java版，偶然间在网上搜索竟然发现有人对这个算法研究了，结果也很失望，主要是大多是Python版的且多失效或者是使用selenium需要浏览器，并不是我想要的，不过倒是这篇管用一点，链接忘了，找到了会在尾部贴出。主要是将带有特殊字符的加密算法去除，重点如下：

惊喜发现，将其嵌入到html中浏览器打开得到的参数是可以使用的，这是个好消息，接着就是冷水，当我使用htmlunit读取本地html时，也能得到参数，但是参数不可用，与方案二一样，然后我又将此网页嵌入到自己的网站，使用htmlunit模拟爬取自己的这个网页，同样，得到的参数也是不能使用。至此，陷入了困境！结果不重要（其实也很重要），享受的是过程！暂时先这样吧。

虽然不能获取后续加载的文章列表，但是首次加载的文章还是可以获取的，下面分析一下吧，文章列表都在那个json中

/**
    	 * @date Oct 17, 2018 12:30:46 PM
    	 * @Desc
    	 * @param blogMove
    	 * @param oneUrl
    	 * @return
    	 * @throws IOException
    	 * @throws MalformedURLException
    	 * @throws FailingHttpStatusCodeException
    	 */
    	public String getTouTiaoArticleUrlList(Blogmove blogMove, String oneUrl, List<String> urlList)
    			throws FailingHttpStatusCodeException, MalformedURLException, IOException {
    		String max_behot_time = "0";
    		// 模拟浏览器操作
    		// 创建WebClient
    		WebClient webClient = new WebClient(BrowserVersion.CHROME);
    		// 关闭css代码功能
    		webClient.getOptions().setThrowExceptionOnScriptError(false);
    		webClient.getOptions().setCssEnabled(false);
    		// 如若有可能找不到文件js则加上这句代码
    		webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    
    		Map<String, String> additionalHeaders = new HashMap<String, String>();
    		additionalHeaders.put("user-agent",
    				"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
    		WebRequest request = new WebRequest(new URL(oneUrl), HttpMethod.GET);
    		request.setAdditionalHeaders(additionalHeaders);
    		UnexpectedPage page2 = webClient.getPage(request);
    		String result = IOUtils.toString(page2.getInputStream(), StandardCharsets.UTF_8);
    
    		JSONObject json = JSON.parseObject(result);
    		JSONArray jsonarray = (JSONArray) json.get("data");
    		JSONObject json2 = (JSONObject) json.get("next");
    		// 用于返回留下一页使用
    		max_behot_time = json2.getString("max_behot_time");
    
    		// 读取url
    		JSONObject jsonObject;
    		String url;
    		for (Object obj : jsonarray) {
    			jsonObject = (JSONObject) obj;
    			url = jsonObject.getString("source_url");
    			if (url != null) {
    				url = url.substring(6, url.length() - 1);
    				if (urlList.size() < blogMove.getMoveNum()) {
    					urlList.add("https://www.toutiao.com/i" + url);
    				} else {
    					break;
    				}
    			} else {
    				url = "";
    				continue;
    			}
    		}
    
    		return max_behot_time;
    	}

## 三.开干（获取文章具体信息） ##

接下来直接找一篇文章分析一下：[https://www.toutiao.com/i6616645307906130435/][https_www.toutiao.com_i6616645307906130435]

分析发现，数据在script标签中的变量BASE\_DATA 中，解析即可得

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 9][]

代码

/**
    	 * @date Oct 17, 2018 12:46:52 PM
    	 * @Desc 获取详细信息
    	 * @param blogMove
    	 * @param url
    	 * @return
    	 * @throws IOException
    	 * @throws MalformedURLException
    	 * @throws FailingHttpStatusCodeException
    	 */
    	public Blogcontent getTouTiaoArticleMsg(Blogmove blogMove, String url, List<Blogcontent> bList)
    			throws FailingHttpStatusCodeException, MalformedURLException, IOException {
    		Blogcontent blogcontent = new Blogcontent();
    		blogcontent.setArticleSource(blogMove.getMoveWebsiteId());
    		// 模拟浏览器操作
    		// 创建WebClient
    		WebClient webClient = new WebClient(BrowserVersion.CHROME);
    		// 关闭css代码功能
    		webClient.getOptions().setThrowExceptionOnScriptError(false);
    		webClient.getOptions().setCssEnabled(false);
    		// 如若有可能找不到文件js则加上这句代码
    		webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    		// 获取第一级网页html
    		HtmlPage page = webClient.getPage(url);
    
    		Document doc = Jsoup.parse(page.asXml());
    		Elements pageMsg22 = doc.body().getElementsByTag("script");
    
    		String msgJsonString = BlogMoveTouTiaoUtils.getTouTiaoArticleMsgJsonString(pageMsg22);
    
    		String content = null;
    		String title = null;
    		String author = null;
    		Date date = null;
    		if (msgJsonString != null && !"".equals(msgJsonString)) {
    			// 解析
    			JSONObject json = JSON.parseObject(msgJsonString);
    			json = (JSONObject) json.get("articleInfo");
    			content = json.getString("content");
    			// 转义
    			content = StringEscapeUtils.unescapeHtml3(content);
    			title = json.getString("title");
    			json = (JSONObject) json.get("subInfo");
    			author = json.getString("source");
    			date = DateUtils.formatStringDate(json.getString("time"), DateUtils.YYYY_MM_DD_HH_MM_SS);
    			date = date == null ? new Date() : date;
    		}
    
    		// 是否重复去掉
    		if (blogMove.getMoveRemoveRepeat() == 0) {
    			// 判断是否重复
    			if (BlogMoveCommonUtils.articleRepeat(bList, title)) {
    				return null;
    			}
    		}
    		blogcontent.setTitle(title);
    		// 获取作者
    		blogcontent.setAuthor(author);
    		// 获取时间
    		if (blogMove.getMoveUseOriginalTime() == 0) {
    			blogcontent.setGtmCreate(date);
    		} else {
    			blogcontent.setGtmCreate(new Date());
    		}
    		blogcontent.setGtmModified(new Date());
    		// 获取类型
    		blogcontent.setType("原创");
    		// 获取正文
    		blogcontent.setContent(BlogMoveTouTiaoUtils.getTouTiaoArticleContent(content, blogMove, blogcontent));
    
    		// 设置其他
    		blogcontent.setStatus(blogMove.getMoveBlogStatus());
    		blogcontent.setBlogColumnName(blogMove.getMoveColumn());
    		// 特殊处理
    		blogcontent.setArticleEditor(blogMove.getMoveArticleEditor());
    		blogcontent.setShowId(DateUtils.format(new Date(), DateUtils.YYYYMMDDHHMMSSSSS));
    		blogcontent.setAllowComment(0);
    		blogcontent.setAllowPing(0);
    		blogcontent.setAllowDownload(0);
    		blogcontent.setShowIntroduction(1);
    		blogcontent.setIntroduction("");
    		blogcontent.setPrivateArticle(1);
    
    		return blogcontent;
    	}

幸运的是，图片下载没有遇到困难，效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 11][]

欢迎交流学习！

完整源码请见github：[https://github.com/ricozhou/blogmove][https_github.com_ricozhou_blogmove]

[https_blog.csdn.net_rico_zhou_article_details_83619152]: https://blog.csdn.net/rico_zhou/article/details/83619152
[https_blog.csdn.net_rico_zhou_article_details_83619509]: https://blog.csdn.net/rico_zhou/article/details/83619509
[https_blog.csdn.net_rico_zhou_article_details_83619525]: https://blog.csdn.net/rico_zhou/article/details/83619525
[https_blog.csdn.net_rico_zhou_article_details_83619538]: https://blog.csdn.net/rico_zhou/article/details/83619538
[https_blog.csdn.net_rico_zhou_article_details_83619561]: https://blog.csdn.net/rico_zhou/article/details/83619561
[https_blog.csdn.net_rico_zhou_article_details_83619573]: https://blog.csdn.net/rico_zhou/article/details/83619573
[https_blog.csdn.net_rico_zhou_article_details_83619599]: https://blog.csdn.net/rico_zhou/article/details/83619599
[https_www.toutiao.com_c_user_101528687217]: https://www.toutiao.com/c/user/101528687217/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70]: /images/20220422/d9523c7f89914d39ab72e27ecada1d8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 1]: /images/20220422/a8ad6b721c494a8aab152b5139146e64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 2]: /images/20220422/80920cc87e74440fa183b0e28ed6a065.png
[20181101173136802.png]: /images/20220422/ab802442152f4bac8929f7d43be9e946.png
[https_www.toutiao.com_c_user_article_page_type_1_user_id_101528687217_max_behot_time_1539352612_count_20_as_A1851BCD7A2C7D8_cp_5BDADC373D48DE1_signature_.MrxjBAapxqr.bnXWOFkBPzK8Z]: https://www.toutiao.com/c/user/article/?page_type=1&user_id=101528687217&max_behot_time=1539352612&count=20&as=A1851BCD7A2C7D8&cp=5BDADC373D48DE1&_signature=.MrxjBAapxqr.bnXWOFkBPzK8Z
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 3]: /images/20220422/13ceff651d294ffeafe75bfd256a2dd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 4]: /images/20220422/ebd70bc0877845c18b08792eaa4d2516.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 5]: /images/20220422/b476ea3d16144d008aeeea96c20b4eb9.png
[20181101174621504.png]: /images/20220422/957095a192fc49b78c729f0f748c0fd7.png
[20181101175030511.png]: /images/20220422/562ded56a7a44760b73f017fbdb83f4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 6]: /images/20220422/1227f059235944fdbd402f97af3c939f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 7]: /images/20220422/3803c1428422483386c5cbad473cddf2.png
[https_www.toutiao.com_i6616645307906130435]: https://www.toutiao.com/i6616645307906130435/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 8]: /images/20220422/dd9032314696476e871577bcfc3534f5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 9]: /images/20220422/75c818d1f63347e9a6a66a025b07976b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 10]: /images/20220422/86eee3d0a0d944d2a1fe45fce8a83c4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JpY29femhvdQ_size_16_color_FFFFFF_t_70 11]: /images/20220422/c0cbeb86a7ba45b7a92cb3d110222c82.png
[https_github.com_ricozhou_blogmove]: https://github.com/ricozhou/blogmove