基于Python的朋友圈关系数据分析与实现

矫情吗；* 2024-04-01 16:39 67阅读 0赞

目录  
摘 要 1  
Abstract 2  
1 绪论 4  
1.1 选题背景 4  
1.2 研究意义 6  
1.3 论文主要研究内容及组织结构 7  
1.3.1主要研究内容 7  
1.3.2论文组织结构 8  
2 关键技术和理论基础综述 9  
2.1 社交网络 9  
2.1.1 社交网络的概念 9  
2.1.2 社交网络特点 11  
2.1.3 社交朋友圈关系数据分析动机 12  
2.1.4 社交网络主要研究方向 13  
2.2 朋友圈关系数据分析 14  
2.2.1朋友圈关系数据分析研究现状 14  
2.2.2本文对社交朋友圈关系数据分析的定义 15  
2.3 聚类分析 16  
2.3.1聚类定义 16  
2.3.2聚类分析过程 17  
2.3.3主要聚类分析方法 17  
2.4 技术方法框架 18  
3 基于网络爬虫技术的数据采集 19  
3.1 网络爬虫工作原理 19  
3.1.1 网络爬虫基本工作原理 19  
3.1.2 URL存在形态分析 20  
3.2 定向爬虫定制 23  
3.2.1通过wireshark抓包法分析HTTP协议 23  
3.2.2分析网站行为 24  
3.2.3正则表达式设计 25  
3.3代码设计 26  
3.3.1 UID获取 26  
3.3.2以CSV格式对数据进行输出 29  
3.3.3 爬虫设计过程中克服的技术难点 29  
4 微信朋友圈关系数据聚类分析 32  
4.1 数据预处理 34  
4.1.1数据格式标准化处理 34  
4.1.2通过SPSS描述数据特征 36  
4.1.3通过SPSS离散化数据 37  
4.2聚类分析 39  
4.2.1聚类算法选取 39  
4.2.2 EM算法参数设置 41  
4.3 聚类结果分析 42  
4.3.1EM算法结果 42  
4.3.2结果分析 44  
5结束语 46  
5.1 全文总结 46  
5.2 进一步研究的问题 46  
参考文献 48  
1.3 论文主要研究内容及组织结构  
1.3.1主要研究内容  
本论文研究内容主要包括一下三个方面：  
社交网络及社交朋友圈关系数据分析  
该部分主要是为最终通过分析软件对社交朋友圈关系数据分析进行总结做好理论基础准备。主要对社交网络概念产生、发展过程进行阐述。并对社交网络更加具有WEB2.0时代的特点进行描述。最后对一般社交朋友圈关系数据分析动机进行分析。  
数据挖掘中的聚类分析  
这一部分主要对数据挖掘的聚类分析的定义、分析过程以及主要分析  
手段进行描述，并分析各聚类方法优缺点，最后通过根据收集所得数据特征选取合适的聚类分析方法  
数据采集技术——网络爬虫  
该部分主要确定所要爬取的网页内容，并根据网站HTTP协议与网页  
行为特征制定定向网页爬虫方案，然后通过python语言实行具体编码。编码过程主要分为两步，首先通过使用Wireshark抓包后使用python中的urlllib库构造目标网站可识别HTTP协议，然后通过设计正则表达式进行数据提取。  
2.2 朋友圈关系数据分析  
2.2.1朋友圈关系数据分析研究现状  
目前对于朋友圈关系数据分析的研究主要集中于两方面：  
一是对网民的网络使用行为，包括网络使用方式、时间、频率、地点等进行实证调查与定量研究。对此国内外都已进行了不少大规模调查，这类调查一般都将重点倾向于网民的网络使用习惯、倾向、网龄、上网频率、上网时间、上网动机等问题上。美国加州大学洛杉矶分校就于2000起启动了世界互联网项目（World Internet Project）,通过对不同国家和地区网民的网络使用状况进行调查，从而对各国互联网的社会影响进行评估，其中子项目“中国互联网项目”由中国社科院进行调查，并连续多年发布相关报告。在国内，中国互联网信息中心自97年起针对我国互联网的宏观状况、网民行为意识等每年发布两次统计报告。  
二是对网民的行为模式、行为类型与行为逻辑进行实证调查与理论分析。目前研究还是比较偏向于理论上的梳理与分析。在研究视角上基本延续了社会学的两种传统视角，或者将解释的焦点放在个人行为对社会结构的构建上，或者将解释的焦点放在社会结构对个人行为的制约上,主要分析的还是朋友圈关系数据分析与人们在日常社会生活中的行为之间的区别，然后从这种区别中入手分析网络行为的实质与特征\[12\]。  
2.2.2本文对社交朋友圈关系数据分析的定义  
本文对于社交朋友圈关系数据分析的定义主要是指用户对于社交网站基本功能与用户生成内容（User Generated Content，简称UGC）的使用方式。本文转载自http://www.biyezuopin.vip/onews.asp?id=8174主要包括网站访问、用户间互动交流、信息发布与分享、以及APP娱乐应用等，如图2-2所示：  
![在这里插入图片描述][399bc80daff84832a019662bda6476a7.png]

图2-2 社交网络主要朋友圈关系  
![在这里插入图片描述][f792b2f0652340d09f8fcb6c7aa2219d.png_pic_center]  
![在这里插入图片描述][1a6b93e8ec64421ea25510a6a693f2bb.png_pic_center]  
![在这里插入图片描述][6ef35dcc040f410cacf54cec31fcb023.png_pic_center]  
![在这里插入图片描述][2fb1f5f8d5214d4fa8cde58b282194ee.png_pic_center]  
![在这里插入图片描述][32903ce927fc4feb95453b3d3c3c1922.png_pic_center]  
![在这里插入图片描述][73bc582ceb2a4a3282e4d861b78880c9.png_pic_center]  
![在这里插入图片描述][adbd330aad5a43c293cd3365e3c1886a.png_pic_center]  
![在这里插入图片描述][6603ff7564fd40b8a34836d23438267f.png_pic_center]  
![在这里插入图片描述][764d946537c44ad7bc82713cac222dd4.png_pic_center]  
![在这里插入图片描述][af4c41fbdb6d43559e957d984ca2a5ad.png_pic_center]  
![在这里插入图片描述][cd8ff1d521df47b8872ee906ba3a3858.png_pic_center]  
![在这里插入图片描述][b6169e74ed104d59af5518f9168b18ae.png_pic_center]  
![在这里插入图片描述][27fb49b3099947758de2fc1f6723e1bc.png_pic_center]  
![在这里插入图片描述][8398976eceaa4505afbdd3dd57302253.png_pic_center]  
![在这里插入图片描述][8e749ed09147459093a92f10b1fbb5ff.png_pic_center]  
![在这里插入图片描述][a4991fc5f6144398a8c12d1dc6e9a62d.png_pic_center]  
![在这里插入图片描述][372378a0cebb42d18a055ef072b09f62.png_pic_center]  
![在这里插入图片描述][ac0021c7ae3a4b178c5b26fd1c1754cb.png_pic_center]  
![在这里插入图片描述][09daadba278a4c89a109d15a6993c28a.png_pic_center]  
![在这里插入图片描述][e07d3aa678ef48f0a0dd5a0e1e30c4a9.png_pic_center]  
![在这里插入图片描述][702f3b67623a48c48aa8967c24c71148.png_pic_center]

[399bc80daff84832a019662bda6476a7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8a980be99b734086a987c2526c3ea6c5.png
[f792b2f0652340d09f8fcb6c7aa2219d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/50522baed5d749099aa4bc49df57399a.png
[1a6b93e8ec64421ea25510a6a693f2bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ade4e67f2e714e589e689596bac5e769.png
[6ef35dcc040f410cacf54cec31fcb023.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e4bbf75dc00f407f9627fc51d4976fa4.png
[2fb1f5f8d5214d4fa8cde58b282194ee.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/9e4b1c88f94649fda3d6f80951888715.png
[32903ce927fc4feb95453b3d3c3c1922.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/e17ece57f7fd4fa4bc43e5daf0a4adbc.png
[73bc582ceb2a4a3282e4d861b78880c9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/939b8816258f487f99f314658d650db7.png
[adbd330aad5a43c293cd3365e3c1886a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/46f109caea9344d9885ce5efb0ad1de4.png
[6603ff7564fd40b8a34836d23438267f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c7f5cace683042988259f24cc1f92185.png
[764d946537c44ad7bc82713cac222dd4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/f002e135b75a45f48b62ee42b88b7192.png
[af4c41fbdb6d43559e957d984ca2a5ad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/a354277db0204718a9ff3f9e34f8dec1.png
[cd8ff1d521df47b8872ee906ba3a3858.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/061ca52652984c93be7b9435c2375ea2.png
[b6169e74ed104d59af5518f9168b18ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/55778158b6684627bee1ad77610f19f2.png
[27fb49b3099947758de2fc1f6723e1bc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b7b43f5eea8e405bb29b1fd58a5ab3f3.png
[8398976eceaa4505afbdd3dd57302253.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/73cfbb00213d43dc91c0a7deddaa9ffb.png
[8e749ed09147459093a92f10b1fbb5ff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4be24b360091453aa16d1d51013304ba.png
[a4991fc5f6144398a8c12d1dc6e9a62d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/504d985732434de3a7abcbeceb0b9667.png
[372378a0cebb42d18a055ef072b09f62.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/c690a62e92954f3eb472a341c7db5f6c.png
[ac0021c7ae3a4b178c5b26fd1c1754cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/beb2941b559c464188669e5ac5564152.png
[09daadba278a4c89a109d15a6993c28a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3d638b5da57243fea1d5490c5eb23aad.png
[e07d3aa678ef48f0a0dd5a0e1e30c4a9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/0aaf5cf3d24545c6b694d14be96d9189.png
[702f3b67623a48c48aa8967c24c71148.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/016011e4237241dea612fd5d9699b573.png