Python数据可视化：Python大佬有哪些？

r囧r小猫 2022-02-02 03:39 271阅读 0赞

之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。

在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。

不过时代在进步，搜狗搜索的反爬也在更新，现在它是IP加Cookies双重把关。

**/ 01 / 网页分析**

![1545126573751972.jpg][]

获取微信公众号文章信息，标题、开头、公众号、发布时间。

请求方式为GET，请求网址为红框部分，后面的信息没什么用。

**/ 02 / 反爬破解**

![1545126573319320.jpg][]

什么时候出现上图这种情况呢？

两种，一种同一个IP重复访问页面，另一种同一个Cookies重复访问页面。

两个都有，挂的更快！完整爬取我只成功了一次...

因为我最开始就是先什么都不设置，然后就出现验证码页面。然后用了代理IP，还是会跳转验证码页面，直到最后改变Cookies，才成功爬取。

**01  代理IP设置**

def get\_proxies(i):  
    """  
    获取代理IP  
    """  
    df = pd.read\_csv('sg\_effective\_ip.csv', header=None, names=\["proxy\_type", "proxy\_url"\])  
    proxy\_type = \["\{\}".format(i) for i in np.array(df\['proxy\_type'\])\]  
    proxy\_url = \["\{\}".format(i) for i in np.array(df\['proxy\_url'\])\]  
    proxies = \{proxy\_type\[i\]: proxy\_url\[i\]\}  
    return proxies

代理的获取以及使用这里就不赘述了，前面的文章有提到，有兴趣的小伙伴可以自行去看看。

经过我两天的实践，免费IP确实没什么用，两下子就把我真实IP揪出来了。

**02  Cookies设置**

def get\_cookies\_snuid():  
    """  
    获取SNUID值  
    """  
    time.sleep(float(random.randint(2, 5)))  
    url = "http://weixin.sogou.com/weixin?type=2&s\_from=input&query=python&ie=utf8&\_sug\_=n&\_sug\_type\_="  
    headers = \{"Cookie": "ABTEST=你的参数;IPLOC=CN3301;SUID=你的参数;SUIR=你的参数"\}  
    \# HEAD请求,请求资源的首部  
    response = requests.head(url, headers=headers).headers  
    result = re.findall('SNUID=(.\*?); expires', response\['Set-Cookie'\])  
    SNUID = result\[0\]  
    return SNUID

总的来说，Cookies的设置是整个反爬中最重要的，而其中的关键便是动态改变SNUID值。

这里就不详细说其中缘由，毕竟我也是在网上看大神的帖子才领悟到的，而且领悟的还很浅。

成功爬取100页就只有一次，75页，50页，甚至到最后一爬就挂的情况都出现了...

我可不想身陷「爬-反爬-反反爬」的泥潭之中，爬虫之后的事情才是我的真正目的，比如数据分析，数据可视化。

所以干票大的赶紧溜，只能膜拜搜狗工程师。

**/ 03 / 数据获取**

**01  构造请求头**

head = """  
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,\*/\*;q=0.8  
Accept-Encoding:gzip, deflate  
Accept-Language:zh-CN,zh;q=0.9  
Connection:keep-alive  
Host:weixin.sogou.com  
Referer:'http://weixin.sogou.com/',  
Upgrade-Insecure-Requests:1  
User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36  
"""  
  
\# 不包含SNUID值  
cookie = '你的Cookies'  
  
def str\_to\_dict(header):  
    """  
    构造请求头,可以在不同函数里构造不同的请求头  
    """  
    header\_dict = \{\}  
    header = header.split('\\n')  
    for h in header:  
        h = h.strip()  
        if h:  
            k, v = h.split(':', 1)  
            header\_dict\[k\] = v.strip()  
    return header\_dict

**02  获取网页信息**

def get\_message():  
    """  
    获取网页相关信息  
    """  
    failed\_list = \[\]  
    for i in range(1, 101):  
        print('第' + str(i) + '页')  
        print(float(random.randint(15, 20)))  
        \# 设置延时,这里是度娘查到的,说要设置15s延迟以上,不会被封  
        time.sleep(float(random.randint(15, 20)))  
        \# 每10页换一次SNUID值  
        if (i-1) % 10 == 0:  
            value = get\_cookies\_snuid()  
            snuid = 'SNUID=' + value + ';'  
        \# 设置Cookies  
        cookies = cookie + snuid  
        url = 'http://weixin.sogou.com/weixin?query=python&type=2&page=' + str(i) + '&ie=utf8'  
        host = cookies + '\\n'  
        header = head + host  
        headers = str\_to\_dict(header)  
        \# 设置代理IP  
        proxies = get\_proxies(i)  
        try:  
            response = requests.get(url=url, headers=headers, proxies=proxies)  
            html = response.text  
            soup = BeautifulSoup(html, 'html.parser')  
            data = soup.find\_all('ul', \{'class': 'news-list'\})  
            lis = data\[0\].find\_all('li')  
            for j in (range(len(lis))):  
  
                h3 = lis\[j\].find\_all('h3')  
                \#print(h3\[0\].get\_text().replace('\\n', ''))  
                title = h3\[0\].get\_text().replace('\\n', '').replace(',', '，')  
  
                p = lis\[j\].find\_all('p')  
                \#print(p\[0\].get\_text())  
                article = p\[0\].get\_text().replace(',', '，')  
  
                a = lis\[j\].find\_all('a', \{'class': 'account'\})  
                \#print(a\[0\].get\_text())  
                name = a\[0\].get\_text()  
  
                span = lis\[j\].find\_all('span', \{'class': 's2'\})  
                cmp = re.findall("\\d\{10\}", span\[0\].get\_text())  
                \#print(time.strftime("%Y-%m-%d", time.localtime(int(cmp\[0\]))) + '\\n')  
                date = time.strftime("%Y-%m-%d", time.localtime(int(cmp\[0\])))  
  
                with open('sg\_articles.csv', 'a+', encoding='utf-8-sig') as f:  
                    f.write(title + ',' + article + ',' + name + ',' + date + '\\n')  
            print('第' + str(i) + '页成功')  
        except Exception as e:  
            print('第' + str(i) + '页失败')  
            failed\_list.append(i)  
            continue  
    \# 获取失败页码  
    print(failed\_list)  
  
  
def main():  
    get\_message()  
  
  
if \_\_name\_\_ == '\_\_main\_\_':  
    main()

最后成功获取数据。

![1545126574714988.png][]

![1545126574108860.jpg][]

**/ 04 / 数据可视化**

**01  微信文章发布数量TOP10**

![1545126574536537.png][]

这里对搜索过来的微信文章进行排序，发现了这十位Python大佬。

这里其实特想知道他们是团队运营，还是个人运营。不过不管了，先关注去。

这个结果可能也与我用Python这个关键词去搜索有关，一看公众号名字都是带有Python的(CSDN例外)。

from pyecharts import Bar  
import pandas as pd  
  
df = pd.read\_csv('sg\_articles.csv', header=None, names=\["title", "article", "name", "date"\])  
  
list1 = \[\]  
for j in df\['date'\]:  
    \# 获取文章发布年份  
    time = j.split('-')\[0\]  
    list1.append(time)  
df\['year'\] = list1  
  
\# 选取发布时间为2018年的文章，并对其统计  
df = df.loc\[df\['year'\] == '2018'\]  
place\_message = df.groupby(\['name'\])  
place\_com = place\_message\['name'\].agg(\['count'\])  
place\_com.reset\_index(inplace=True)  
place\_com\_last = place\_com.sort\_index()  
dom = place\_com\_last.sort\_values('count', ascending=False)\[0:10\]  
  
attr = dom\['name'\]  
v1 = dom\['count'\]  
bar = Bar("微信文章发布数量TOP10", title\_pos='center', title\_top='18', width=800, height=400)  
bar.add("", attr, v1, is\_convert=True, xaxis\_min=10, yaxis\_rotate=30, yaxis\_label\_textsize=10, is\_yaxis\_boundarygap=True, yaxis\_interval=0, is\_label\_show=True, is\_legend\_show=False, label\_pos='right', is\_yaxis\_inverse=True, is\_splitline\_show=False)  
bar.render("微信文章发布数量TOP10.html")

**02  微信文章发布时间分布**

![1545126575401480.png][]

因为这里发现搜索到的文章会有2018年以前的，这里予以删除，并且验证剩下文章的发布时间。

毕竟信息讲究时效性，如果我搜索获取的都是老掉牙的信息，就没什么意思了，更何况还是在一直在变化的互联网行业。

import numpy as np  
import pandas as pd  
from pyecharts import Bar  
  
df = pd.read\_csv('sg\_articles.csv', header=None, names=\["title", "article", "name", "date"\])  
  
list1 = \[\]  
list2 = \[\]  
for j in df\['date'\]:  
    \# 获取文章发布年份及月份  
    time\_1 = j.split('-')\[0\]  
    time\_2 = j.split('-')\[1\]  
    list1.append(time\_1)  
    list2.append(time\_2)  
df\['year'\] = list1  
df\['month'\] = list2  
  
\# 选取发布时间为2018年的文章，并对其进行月份统计  
df = df.loc\[df\['year'\] == '2018'\]  
month\_message = df.groupby(\['month'\])  
month\_com = month\_message\['month'\].agg(\['count'\])  
month\_com.reset\_index(inplace=True)  
month\_com\_last = month\_com.sort\_index()  
  
attr = \["\{\}".format(str(i) + '月') for i in range(1, 12)\]  
v1 = np.array(month\_com\_last\['count'\])  
v1 = \["\{\}".format(int(i)) for i in v1\]  
bar = Bar("微信文章发布时间分布", title\_pos='center', title\_top='18', width=800, height=400)  
bar.add("", attr, v1, is\_stack=True, is\_label\_show=True)  
bar.render("微信文章发布时间分布.html")

**03  标题、文章开头词云**

from wordcloud import WordCloud, ImageColorGenerator  
import matplotlib.pyplot as plt  
import pandas as pd  
import jieba  
  
df = pd.read\_csv('sg\_articles.csv', header=None, names=\["title", "article", "name", "date"\])  
  
text = ''  
\# for line in df\['article'\].astype(str):(前文词云代码)  
for line in df\['title'\]:  
    text += ' '.join(jieba.cut(line, cut\_all=False))  
backgroud\_Image = plt.imread('python\_logo.jpg')  
wc = WordCloud(  
    background\_color='white',  
    mask=backgroud\_Image,  
    font\_path='C:\\Windows\\Fonts\\STZHONGS.TTF',  
    max\_words=2000,  
    max\_font\_size=150,  
    random\_state=30  
)  
wc.generate\_from\_text(text)  
img\_colors = ImageColorGenerator(backgroud\_Image)  
wc.recolor(color\_func=img\_colors)  
plt.imshow(wc)  
plt.axis('off')  
\# wc.to\_file("文章.jpg")(前文词云代码)  
wc.to\_file("标题.jpg")  
print('生成词云成功!')

![1545126575454647.jpg][]

公众号文章标题词云，因为是以Python这个关键词去搜索的，那么必然少不了Python。

然后词云里出现的的爬虫，数据分析，机器学习，人工智能。就便知道Python目前的主要用途啦！

不过Python还可用于Web开发，GUI开发等，这里没有体现，显然不是主流。

![1545126576956435.jpg][]

公众号文章开头词云，记得以前写作文的时候，老师不就说过开头基本决定了你的分数，所以一定要开头引用一下名人的话(古人有云...)。

那么公众号文章应该也不例外，不过这里呢，我倒是感觉到了不少广告的气息...

当然数据分析，机器学习，人工智能同样也还在其中，是不是培训广告的噱头我就不知道了。

就像之前在一个公号里看到的一句话，仿佛学会了Python就会人工智能，又仿佛要学习人工智能就必须学习Python，那么真是这样吗？？？

[1545126573751972.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126573751972.jpg
[1545126573319320.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126573319320.jpg
[1545126574714988.png]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126574714988.png
[1545126574108860.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126574108860.jpg
[1545126574536537.png]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126574536537.png
[1545126575401480.png]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126575401480.png
[1545126575454647.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126575454647.jpg
[1545126576956435.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181218/1545126576956435.jpg