微信爬取过程中参数分析

我会带着你远行 2022-05-20 03:12 131阅读 0赞

一：找到永久的历史信息列表：[http://mp.weixin.qq.com/mp/getmasssendmsg?\_\_biz=XXX==\#wechat\_redirect][http_mp.weixin.qq.com_mp_getmasssendmsg_biz_XXX_wechat_redirect]

[将XXX==替换为自己的BIZ  
][http_mp.weixin.qq.com_mp_getmasssendmsg_biz_XXX_wechat_redirect]

二：4个参数可以唯一确定一篇微信文章：

\_\_biz可以认为是微信公众平台对外公布的公众帐号的唯一id  
mid是图文消息id  
idx是发布的第几条消息(1就代表是头条位置消息)  
sn是一个随机加密串(对于一篇图文消息是唯一的，如果你想问这个sn的生成规则是什么或者怎么破解，你基本上只能从微信公众平台开发团队才能得到答案)熬伪装  
  
  
三：伪装微信客户端登陆，取历史信息页时，最重要4个参数：\_\_biz;uin=;key=;pass\_ticket=;这4个参数。【有时候需要手机配合】  
  
  
四：取得general\_msg\_list 后，分析各个字段

1.  "list": \[ //最外层的键名；只出现一次，所有内容都被它包含。
2.  \{//这个大阔号之内是一条多图文或单图文消息，通俗的说就是一天的群发都在这里
3.  "app\_msg\_ext\_info":\{//图文消息的扩展信息
4.  "content\_url": "图文消息的链接地址",
5.  "cover": "封面图片",
6.  "digest": "摘要",
7.  "is\_multi": "是否多图文，值为1和0",
8.  "multi\_app\_msg\_item\_list": \[//这里面包含的是从第二条开始的图文消息，如果is\_multi=0，这里将为空
9.  \{
10. "content\_url": "图文消息的链接地址",
11. "cover": "封面图片",
12. "digest": ""摘要"",
13. "source\_url": "阅读原文的地址",
14. "title": "子内容标题"
15. \},
16. ...//循环被省略
17. \],
18. "source\_url": "阅读原文的地址",
19. "title": "头条标题"
20. \},
21. "comm\_msg\_info":\{//图文消息的基本信息
22. "datetime": '发布时间，值为unix时间戳',
23. "type": 49 //类型为49的时候是图文消息
24. \}
25. \},
26. ...//循环被省略
27. \]

五：采集程序原型  
  
建立表：

1、微信公众号表

1.  CREATE TABLE \` weixin \` (
2.  \` id \` int ( 11 ) NOT NULL AUTO\_INCREMENT ,
3.  \` biz \` varchar ( 255 ) DEFAULT '' COMMENT '公众号唯一标识biz' ,
4.  \` collect \` int ( 11 ) DEFAULT '1' COMMENT '记录采集时间的时间戳' ,
5.  PRIMARY KEY ( \` id \` )
6.  ) ;

2、微信文章表

1.  CREATE TABLE \` post \` (
2.  \` id \` int ( 11 ) NOT NULL AUTO\_INCREMENT ,
3.  \` biz \` varchar ( 255 ) CHARACTER SET utf8 NOT NULL COMMENT '文章对应的公众号biz' ,
4.  \` field\_id \` int ( 11 ) NOT NULL COMMENT '微信定义的一个id，每条文章唯一' ,
5.  \` title \` varchar ( 255 ) NOT NULL DEFAULT '' COMMENT '文章标题' ,
6.  \` title\_encode \` text CHARACTER SET utf8 NOT NULL COMMENT '文章编码，防止文章出现emoji' ,
7.  \` digest \` varchar ( 500 ) NOT NULL DEFAULT '' COMMENT '文章摘要' ,
8.  \` content\_url \` varchar ( 500 ) CHARACTER SET utf8 NOT NULL COMMENT '文章地址' ,
9.  \` source\_url \` varchar ( 500 ) CHARACTER SET utf8 NOT NULL COMMENT '阅读原文地址' ,
10. \` cover \` varchar ( 500 ) CHARACTER SET utf8 NOT NULL COMMENT '封面图片' ,
11. \` is\_multi \` int ( 11 ) NOT NULL COMMENT '是否多图文' ,
12. \` is\_top \` int ( 11 ) NOT NULL COMMENT '是否头条' ,
13. \` datetime \` int ( 11 ) NOT NULL COMMENT '文章时间戳' ,
14. \` readNum \` int ( 11 ) NOT NULL DEFAULT '1' COMMENT '文章阅读量' ,
15. \` likeNum \` int ( 11 ) NOT NULL DEFAULT '0' COMMENT '文章点赞量' ,
16. PRIMARY KEY ( \` id \` )
17. ) ;

3、采集队列表

1.  CREATE TABLE \` tmplist \` (
2.  \` id \` int ( 11 ) unsigned NOT NULL AUTO\_INCREMENT ,
3.  \` content\_url \` varchar ( 255 ) DEFAULT NULL COMMENT '文章地址' ,
4.  \` load \` int ( 11 ) DEFAULT '0' COMMENT '读取中标记' ,
5.  PRIMARY KEY ( \` id \` ),
6.  UNIQUE KEY \` content\_url \` ( \` content\_url \` )
7.  ) ;

采集：  
1、getMsgJson.php：这个程序负责接收历史消息的json并解析后存入数据库

1.  <?
2.  $str = $\_POST\[ 'str'\];
3.  $url = $\_POST\[ 'url'\]; *//先获取到两个POST变量*
4.  
5.  *//先针对url参数进行操作*
6.  parse\_str(parse\_url(htmlspecialchars\_decode(urldecode($url)),PHP\_URL\_QUERY ),$query); *//解析url地址*
7.  $biz = $query\[ '\_\_biz'\]; *//得到公众号的biz*
8.  *//接下来进行以下操作*
9.  *//从数据库中查询biz是否已经存在，如果不存在则插入，这代表着我们新添加了一个采集目标公众号。*
10. 
11. *//再解析str变量*
12. $json = json\_decode($str, true); *//首先进行json\_decode*
13. if(!$json)\{
14. $json = json\_decode(htmlspecialchars\_decode($str), true); *//如果不成功，就增加一步htmlspecialchars\_decode*
15. \}
16. 
17. foreach($json\[ 'list'\] as $k=>$v)\{
18. $type = $v\[ 'comm\_msg\_info'\]\[ 'type'\];
19. if($type== 49)\{ *//type=49代表是图文消息*
20. $content\_url = str\_replace( "\\\\", "", htmlspecialchars\_decode($v\[ 'app\_msg\_ext\_info'\]\[ 'content\_url'\])); *//获得图文消息的链接地址*
21. $is\_multi = $v\[ 'app\_msg\_ext\_info'\]\[ 'is\_multi'\]; *//是否是多图文消息*
22. $datetime = $v\[ 'comm\_msg\_info'\]\[ 'datetime'\]; *//图文消息发送时间*
23. *//在这里将图文消息链接地址插入到采集队列库中（队列库将在后文介绍，主要目的是建立一个批量采集队列，另一个程序将根据队列安排下一个采集的公众号或者文章内容）*
24. *//在这里根据$content\_url从数据库中判断一下是否重复*
25. if( '数据库中不存在相同的$content\_url') \{
26. $fileid = $v\[ 'app\_msg\_ext\_info'\]\[ 'fileid'\]; *//一个微信给的id*
27. $title = $v\[ 'app\_msg\_ext\_info'\]\[ 'title'\]; *//文章标题*
28. $title\_encode = urlencode(str\_replace( " ", "", $title)); *//建议将标题进行编码，这样就可以存储emoji特殊符号了*
29. $digest = $v\[ 'app\_msg\_ext\_info'\]\[ 'digest'\]; *//文章摘要*
30. $source\_url = str\_replace( "\\\\", "", htmlspecialchars\_decode($v\[ 'app\_msg\_ext\_info'\]\[ 'source\_url'\])); *//阅读原文的链接*
31. $cover = str\_replace( "\\\\", "", htmlspecialchars\_decode($v\[ 'app\_msg\_ext\_info'\]\[ 'cover'\])); *//封面图片*
32. 
33. $is\_top = 1; *//标记一下是头条内容*
34. *//现在存入数据库*
35. echo "头条标题：".$title.$lastId. "\\n"; *//这个echo可以显示在anyproxy的终端里*
36. \}
37. if($is\_multi== 1)\{ *//如果是多图文消息*
38. foreach($v\[ 'app\_msg\_ext\_info'\]\[ 'multi\_app\_msg\_item\_list'\] as $kk=>$vv)\{ *//循环后面的图文消息*
39. $content\_url = str\_replace( "\\\\", "",htmlspecialchars\_decode($vv\[ 'content\_url'\])); *//图文消息链接地址*
40. *//这里再次根据$content\_url判断一下数据库中是否重复以免出错*
41. if( '数据库中不存在相同的$content\_url')\{
42. *//在这里将图文消息链接地址插入到采集队列库中（队列库将在后文介绍，主要目的是建立一个批量采集队列，另一个程序将根据队列安排下一个采集的公众号或者文章内容）*
43. $title = $vv\[ 'title'\]; *//文章标题*
44. $fileid = $vv\[ 'fileid'\]; *//一个微信给的id*
45. $title\_encode = urlencode(str\_replace( " ", "",$title)); *//建议将标题进行编码，这样就可以存储emoji特殊符号了*
46. $digest = htmlspecialchars($vv\[ 'digest'\]); *//文章摘要*
47. $source\_url = str\_replace( "\\\\", "",htmlspecialchars\_decode($vv\[ 'source\_url'\])); *//阅读原文的链接*
48. *//$cover = getCover(str\_replace("\\\\","",htmlspecialchars\_decode($vv\['cover'\])));*
49. $cover = str\_replace( "\\\\", "",htmlspecialchars\_decode($vv\[ 'cover'\])); *//封面图片*
50. *//现在存入数据库*
51. echo "标题：".$title.$lastId. "\\n";
52. \}
53. 
54. \}
55. \}
56. \}
57. \}
58. ?>

2、getMsgExt.php获取文章阅读量和点赞量的程序

1.  ?
2.  $str = $\_POST\[ 'str'\];
3.  $url = $\_POST\[ 'url'\]; *//先获取到两个POST变量*
4.  *//先针对url参数进行操作*
5.  parse\_str(parse\_url(htmlspecialchars\_decode(urldecode($url)),PHP\_URL\_QUERY ),$query); *//解析url地址*
6.  $biz = $query\[ '\_\_biz'\]; *//得到公众号的biz*
7.  $sn = $query\[ 'sn'\];
8.  *//再解析str变量*
9.  $json = json\_decode($str, true); *//进行json\_decode*
10. 
11. *//$sql = "select \* from \`文章表\` where \`biz\`='".$biz."' and \`content\_url\` like '%".$sn."%'" limit 0,1;*
12. *//根据biz和sn找到对应的文章*
13. 
14. $read\_num = $json\[ 'appmsgstat'\]\[ 'read\_num'\]; *//阅读量*
15. $like\_num = $json\[ 'appmsgstat'\]\[ 'like\_num'\]; *//点赞量*
16. *//在这里同样根据sn在采集队列表中删除对应的文章，代表这篇文章可以移出采集队列了*
17. *//$sql = "delete from \`队列表\` where \`content\_url\` like '%".$sn."%'"* 
18. 
19. *//然后将阅读量和点赞量更新到文章表中。*
20. exit(json\_encode($msg)); *//可以显示在anyproxy的终端里*
21. ?>

[http_mp.weixin.qq.com_mp_getmasssendmsg_biz_XXX_wechat_redirect]: http://mp.weixin.qq.com/mp/getmasssendmsg?__biz=MzA4NzgxMzQzMA==#wechat_redirect