（七）Python总结笔记：常用第三方库

喜欢ヅ旅行 2023-07-07 11:17 36阅读 0赞

## Python总结笔记（七）常用第三方库 ##

1.  argparse：命令行参数解析库
2.  pillow：图片处理库–灰度化
3.  requests：处理web请求库
4.  psutil ——性能测试框架（ps命令显示当前进程状态）
5.  redis库——做缓存以及任务队列分发
6.  peewee访问数据库
7.  **numpy数据分析、机器学习——做数组**
8.  **pandas数据分析与绘图——二维表格**
9.  matplotlib绘图
10. scrapy爬虫框架
11. **sklearn 分类回归，数据分析回归工程**
12. **tensorflow 神经网络**

### 1. argparse：命令行参数解析库 ###

1.  将下面代码保存1.py
2.  终端输入 ：（即可看到传进来参数）

> python test.py -c Config --spider XSpider -t 10

import argparse#库#命令行参数
    
    def parse_args():
    	#1.创建ArgumentParser()对象
        parser = argparse.ArgumentParser()#自动传入系统当前参数
        #2.调用add_argument()方法添加参数。
        parser.add_argument('-c', #-c指向config文件（缩写）
                            '--config', #--config指向config文件（全称）
                            default='ds_config') # Assign config file, don't use '.py' suffix. 
        parser.add_argument('-s',
                            '--spider',
                            help='',
                            default='spider_sample') # Assign spider file, don't use '.py' suffix.
        parser.add_argument('-t',
                            '--thread_count',
                            help='',
                            default=0,    #设定默认值
                            type=int)#设定类型,自动类型转换
        #3.调用parse_args()解析添加的参数。
        return parser.parse_args()
        
    if __name__ == '__main__':
        args = parse_args()
        print(args.config)#属性
        print(args.spider)
        print(args.thread_count)

### 2. pillow：图片处理库 ###

# pillow图片处理
    from PIL import Image, ImageFilter
    #打印字、模糊效果、字旋转。验证码原理
    im = Image.open('girl.jpg')
    w, h = im.size
    print('with = %d, height = %d' % (w, h))
    im.thumbnail((w // 2, h // 2))#缩小
    im.save('girl_thumb.jpg')#生成缩略图
    
    im = Image.open('girl.jpg')
    im2 = im.filter(ImageFilter.BLUR)#
    im2.save('girl_blur.jpg', 'jpeg')#生成模糊化图

### 3. requests：处理web请求库 ###

# requests处理web请求
    import requests
    url = 'http://www.baidu.com'
    r = requests.get(url)#打开网页
    # print(r.text)#返回内容
    print(r.status_code)#状态200:成功，404：未找到，400:没有权限，503/500:服务器出现问题
    print(r.encoding)#页面编码形式
    text = r.text.encode('ISO-8859-1').decode('utf-8') # 中文乱码——页面声明的编码与实际编码不符
    #encode()用'ISO-8859-1'编码方式还原成字节（二进制），decode()用utf-8进行编码
    print(text)
    
    
    r = requests.get('https://github.com/timeline.json')#请求返回json格式字符串
    print(r.text)
    # print(r.json()) #通过json转化成字典形式。无需在用文件进行处理
    j_data = r.json()
    print(j_data['documentation_url'])
    
    
    r = requests.get('http://i-2.shouji56.com/2015/2/11/23dab5c5-336d-4686-9713-ec44d21958e3.jpg', stream = True)
    #处理二进制图片--用stream方式边读边打开
    with open('meinv2.jpg', 'wb+') as f:
        for chunk in r.iter_content(1024):
            f.write(chunk)
    
    # 利用requests实现豆瓣模拟登陆
    from bs4 import BeautifulSoup# bs4：页面元素定位和解析
    
    ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'#模仿某平台浏览器
    headers ={ 'user-agent':ua}#http请求头
    url_login = 'https://accounts.douban.com/login'#豆瓣登陆入口url，登陆请求通过此url发送
    
    session = requests.Session()
    formdata = { 'redir':'https://www.douban.com',#登陆时提供的表单
                'form_email':'账户',
                'form_password':'密码'}
    resp = session.post(url_login,#发送请求
                        data=formdata,
                        headers=headers)
    bs = BeautifulSoup(resp.text, 'html5lib')#构造BeautifulSoup解析器
    captcha = bs.select('img#captcha_image')#bs查看是否有验证码。
    if captcha:
        captcha = captcha[0]
        # 处理验证码
        print(captcha.text)
        img_url = captcha.get('src').strip()
        print(img_url)#打印验证码图片链接
        id_ = img_url.split('?')[1].split('&')[0].split('=')[1]#
        text = input('请输入验证码')
        formdata['captcha-solution'] = text
        formdata['captcha-id'] = id_
        resp = session.post(url_login,
                            data=formdata,
                            headers=headers)
    with open('douban.txt', 'w+', encoding='utf-8') as f:
        f.write(resp.text)

### 4.psutil ——性能测试框架（ps命令显示当前进程状态） ###

# psutil 。ps命令显示当前进程状态——性能测试框架
    import psutil
    
    print(psutil.cpu_count())#看多少个核
    print(psutil.cpu_count(logical=False))#看有多少个物理核
    print(psutil.cpu_times())#cpu对用户系统等时间的分配——用于做监控
    print(psutil.cpu_percent(interval=1, percpu=True))#cpu的比例：cpu占用率-间隔1s
    print(psutil.virtual_memory())#监控内存-虚拟内存
    print(psutil.swap_memory())#监控内存-交换内存
    print(psutil.disk_partitions())#磁盘分区
    print(psutil.disk_usage('/'))#磁盘使用状况
    print(psutil.disk_io_counters())#磁盘io数

pids = psutil.pids() # 获取当前所有进程id
    print(pids)
    p = psutil.Process(pids[10])
    #p = psutil.Process(3540)
    print(p.name())
    print(p.cwd())#进程当前工作目录
    print(p.status())#进程的状态

### 5.redis库——做缓存以及任务队列分发 ###

# 简易redis库的封装
    import redis#导入redis库——做缓存以及 任务队列分发
    
    class Queue:
        def __init__(self, name):
            self._db = redis.Redis(host='localhost', port='6739')
            self.key = '%s:%s' % ('redis_demo', name)#队列名字
    
        def qsize(self):
            return self._db.llen(self.key)
    
        def empty(self):
            return self.qsize() == 0
    
        def put(self, item):#队列尾部加入元素
            self._db.rpush(self.key, item)
    
        def get(self, block=True, timeout=None):
            if block: # 阻塞
                item = self._db.blpop(self.key, timeout=timeout)#队列尾部弹出元素
                if item:
                    item = item[1]
            else: # 非阻塞
                item = self._db.lpop(self.key)
            return item
        
    queue=Queue('Name')
    queue.put("v1")
    queue.put("v2")
    queue.put("v3")

### 6. peewee访问数据库 ###

### 7. numpy 数据分析、机器学习——做数组 ###

# numpy 数据分析、机器学习——做数组
    import numpy as np
    
    array_3x3 = np.arange(9).reshape(3,3)#二维数组
    # print(array_3x3)
    x = np.matrix(array_3x3) #二维数组转化成二维矩阵
    y = np.mat(np.identity(3))#做单位矩阵
    print(x)
    print(y)
    
    
    print(x + y)
    
    print(np.dot(x, x))#矩阵乘法
    
    print(x ** 3)#**表示幂次
    
    z = np.matrix(np.random.random_integers(1, 50, 9).reshape(3,3))
    print(z)
    print(z.I) # 逆矩阵
    
    
    # 解线性方程组
    # 30x + 50y = 260
    # 17x + 6y = 58
    a = np.matrix([[30, 50], [17, 6]])
    b = np.matrix([[260], [58]])
    xy =a.I * b
    print(xy) # x = 2, y = 4

### 8. pandas数据分析与绘图 ###

# pandas数据分析与绘图
    import matplotlib.mlab as mlab
    import matplotlib.pyplot as plt
    import pandas as pd
    from pandas import Series, DataFrame#DataFrame二维数组
    
    %matplotlib inline
    
    # 加载数据
    result_df = pd.read_csv('2016-us-ge-by-county.csv')
    result_df.drop('StateCode', axis=1, inplace=True)#删除不要的列
    result_df.drop('CountyFips', axis=1, inplace=True)
    result_df.head()#显示头几行
    
    # 按条件提取
    trump_df = result_df[result_df['Candidate'] == 'Trump']#提取Trump和希拉里数据
    clinton_df = result_df[result_df['Candidate'] == 'Clinton']
    trump_df.info()
    trump_df.head()
    
    # 表合并：合并成一张表并且按州分组
    result_df = pd.merge(trump_df, clinton_df, on=['StateName', 'CountyName', 'CountyTotalVote'], suffixes=['_t', '_c'])
    #StateName,CountyName,CountyTotalVote,Party_t,Party_c,Candidate_t,Candidate_c,VoteCount_t,VoteCount_c
    result_df.drop('Party_t', axis=1, inplace=True)
    result_df.drop('Party_c', axis=1, inplace=True)
    result_df.drop('Candidate_t', axis=1, inplace=True)
    result_df.drop('Candidate_c', axis=1, inplace=True)
    result_df.columns = ['StateName', 'CountyName', 'TotalVote', 'VoteTrump', 'VoteClinton']
    #print(result_df)
    #StateName,CountyName,CountyTotalVote,VoteTrump,VoteClinton
    result_df = result_df.groupby(by=result_df['StateName'], as_index=False).sum() # 试下as_index不同值的区别
    #print(result_df)
    result_df.drop([8], inplace=True) # 删除district-of-columbia
    result_df['T-Ratio'] = result_df['VoteTrump'] / result_df['TotalVote']#Trump得票率
    result_df['C-Ratio'] = result_df['VoteClinton'] / result_df['TotalVote']#Clinton得票率
    result_df['Winner'] = list(map(lambda x, y: 'Trump' if x > y else 'Clinton', result_df['T-Ratio'], result_df['C-Ratio']))#求Winner
    print(result_df.head())
    print(result_df['Winner'].value_counts())
    
    
    # 加载收入数据，来源：https://en.wikipedia.org/wiki/List_of_U.S._states_by_income
    income_df = pd.read_csv('2015-us-income-by-county.csv')
    income_df.info()
    income_df.head()
    
    # 合并收入数据
    result_df = pd.merge(result_df, income_df, on=['StateName'])
    result_df.head()
    
    #画图
    colors = result_df.Winner.map({ 'Trump':'Red', 'Clinton':'Blue'}) # 根据赢家设置颜色
    spot_size = result_df.TotalVote / 2000.0 # 设置点大小
    plt.rcParams['font.sans-serif']=['SimHei'] # 用来正常显示中文标签
    plt.figure(figsize=(17, 12)) 
    plt.scatter(x = result_df['Income'], y = result_df['T-Ratio'], s=spot_size, c=colors, alpha=0.25)
    # plt.scatter( x = result_df['Income'], y = result_df['T-Ratio'], s=spot_size, alpha=0.25)
    plt.xlabel('人均收入（美元）',fontsize=20)
    plt.ylabel('各州Trump得票比率',fontsize=20)
    plt.grid(True) # 添加网格
    plt.show()

### 9. matplotlib绘图——线型图、柱状图、堆叠柱状图、并列柱状图、横向柱状图、横向并列柱状图、直方图、核密度曲线、散点图、极坐标图…饼图等等 ###

# matplotlib绘图_线型图、柱状图、堆叠柱状图、并列柱状图、横向柱状图、横向并列柱状图、直方图、核密度曲线
    import numpy as np
    import matplotlib.mlab as mlab
    import matplotlib.pyplot as plt

线型图

# 线型图 
    x = np.arange(-np.pi, np.pi, 0.1)
    ysin = np.sin(x)
    ycos = np.cos(x)
    plt.plot(x, ysin, 'g')
    plt.plot(x, ycos, 'b')

柱状图

# 柱状图
    n = 12
    x = np.arange(12)
    y1 = (1 - x / float(n)) * np.random.uniform(0.5, 1, n)
    y2 = (1 - x / float(n)) * np.random.uniform(0.5, 1, n)
    plt.bar(x, y1)
    plt.bar(x, -y2)

堆叠柱状图

# 堆叠柱状图
    x = np.arange(5)
    s_1 = np.array([0.2, 0.15, 0.3, 0.25, 0.22])
    s_2 = np.array([0.7, 0.65, 0.6, 0.7, 0.65])
    s_3 = np.array([0.1, 0.2, 0.1, 0.05, 0.13])
    plt.bar(x, s_1, label='s_1')
    plt.bar(x, s_2, bottom=s_1, label='s_2')
    plt.bar(x, s_3, bottom=(s_1 + s_2), label='s_3')
    plt.legend()

并列柱状图

# 并列柱状图
    total_width = 0.8 # 总宽度0.8
    n = 3 # 3个柱子
    width = total_width / n
    x = np.arange(5)
    x = x - (total_width / 2)
    a = np.random.random(5)
    b = np.random.random(5)
    c = np.random.random(5)
    plt.bar(x, a, width=width, label='a')
    plt.bar(x + width, b, width=width, label='b')
    plt.bar(x + width * 2, c, width=width, label='c')
    plt.legend()

横向柱状图

# 横向柱状图
    x = np.arange(5)
    a = np.random.random(5)
    plt.barh(x, a)#换横向

横向并列柱状图

# 横向并列柱状图
    total_height = 0.9 # 总宽度0.9
    n = 3 # 3个柱子
    height = total_height / n
    x = np.arange(5)
    x = x - (total_height / 2)
    a = np.random.random(5)
    b = np.random.random(5)
    c = np.random.random(5)
    plt.barh(x, a, height=height, label='a')
    plt.barh(x + height, b, height=height, label='b')
    plt.barh(x + height * 2, c, height=height, label='c')
    plt.legend()

直方图

# 直方图
    data = [0, 10, 8, 7, 11, 2, 4, 9, 16, 5, 1, 9]
    #plt.hist(data, bins=(max(data) - min(data)) + 1)#x:区间范围 ；y:区间内出现多少次
    #plt.hist(data, bins=(max(data) - min(data)) + 1, normed=True)#normed算比例
    plt.hist(data, bins=(max(data) - min(data)) + 1, normed=True, cumulative=True)

核密度曲线

# 核密度曲线：概率密度
    data = np.random.randn(10000)#随机生成符合正态分布的数
    kde = mlab.GaussianKDE(data)
    plt.hist(data, 100, normed=True)#分成100段
    x = np.linspace(data.min(), data.max(), 10000)
    plt.plot(x, kde(x), 'g')#画核密度曲线

散点图

# 散点图
    n = 2048
    x = np.random.randn(n)#正态分布
    y = np.random.randn(n)#正态分布
    t = np.arctan2(y, x)
    plt.scatter(x, y, c=t)

极坐标图

# 极坐标 - 能力图
    fig = plt.figure()
    ax_1 = plt.subplot(221, projection='polar')#221代表两行两列第一个
    ax_2 = plt.subplot(222, projection='polar')
    ax_3 = plt.subplot(223, projection='polar')
    ax_4 = plt.subplot(224, projection='polar')
    labels = ['leadership', 'force', 'wisdom', 'politics', 'charm']
    abilities = { 'zgl': [93, 38, 100, 98, 92],
                 'smy': [97, 63, 96, 93, 89],
                 'gy': [96, 97, 76, 64, 93],
                 'zy': [91, 96, 75, 65, 81]}
    num = len(labels)
    thetas = np.linspace(0, np.pi * 2, num, endpoint=False)
    thetas = np.append(thetas, thetas[0])
    abilities['zgl'].append(abilities['zgl'][0])
    abilities['smy'].append(abilities['smy'][0])
    abilities['gy'].append(abilities['gy'][0])
    abilities['zy'].append(abilities['zy'][0])
    print(thetas)
    print(labels)
    ax_1.set_xticks(thetas)
    ax_1.set_xticklabels(labels)
    ax_1.plot(thetas, abilities['zgl'], 'r')
    ax_1.plot(thetas, abilities['smy'], 'g')
    ax_2.set_xticks(thetas)
    ax_2.set_xticklabels(labels)
    ax_2.plot(thetas, abilities['smy'])
    ax_3.set_xticks(thetas)
    ax_3.set_xticklabels(labels)
    ax_3.plot(thetas, abilities['gy'])
    ax_4.set_xticks(thetas)
    ax_4.set_xticklabels(labels)
    ax_4.plot(thetas, abilities['gy'], 'r')
    ax_4.plot(thetas, abilities['zy'], 'g')

### 10. scrapy爬虫框架 ###

终端安装：python3.X 命令为`pip3 install scrapy`  
假设想在mac的桌面创建爬虫项目：

> 1.  终端输入：cd Desktop
> 2.  创建新项目：scrapy startproject 项目名字(tutorial)
> 3.  进入目录：cd 项目名字(tutorial)
> 4.  实现生成爬虫：scrapy genspider 爬虫名字(mydomain)
> 5.  写代码：（1）：在Desktop/tutorial/spiders/mydomain.py 文件，里面写爬取代码。（2）：用pipeline数据管道再对数据进行清洗或者处理–PipeLine作用：爬虫启动之前，打开一个csv文件进行写入。每次抛出一个商品，直接写入csv文件。需要通过setting.py进行配置:在setting.py中搜索：PIPE进行修改
> 6.  进入目录：cd tutorial
> 7.  执行爬虫：scrapy crawl 爬虫名字(mydomain)