Python 必备好库 - 好工具收藏

约定不等于承诺〃 2022-01-07 22:15 425阅读 0赞

## apscheduler ##

## collections ##

*  collections.OrderDict
 *  collections.defaultdict

Python 标准库提供了 collections 模块。这个方便的附加组件可以为你提供更多数据类型。

from collections import OrderedDict, Counter
    # Remembers the order the keys are added!
    x = OrderedDict(a=1, b=2, c=3)
    # Counts the frequency of each character
    y = Counter("Hello World!")

## ConfigParser ##

*  [ConfigParser – Work with configuration files][ConfigParser _ Work with configuration files]  
    读取配置文件，例如配置文件 `maps.cfg`：

[PERCENT]
    #配置文件对应的系统文件夹名
    system_dir                     =C:\Users\michaelxiang\Desktop\get_report0906\get_report\maps
    #请输入占总交易的百分比值（小数）
    percent                         = 0.8
    #决定是否只是筛选占交易比重大的交易（y or n）
    decision                     =y
    
    [SUCC_VALUE]
    #请输入成功率阈值（1以内的小数）
    default_succ_value   = 0.8
    缴费                        =0.8
    消费                        =0.8
    行业账单                   =0.8
    行业信息查询             =0.8
    
    [KEEP_TIME]
    default_keep_time    =60
    缴费_持续时间        =60
    消费_持续时间        =60
    行业账单_持续时间    =60
    行业信息查询_持续时间  =60

cf = configparser.ConfigParser()
    # 读取配置文件变量config，并指定编码格式
    cf.read(config, encoding='gb2312')
    system_dir = cf.get('PERCENT', 'system_dir')
    percent = float(cf.get('PERCENT', 'percent'))
    decision = cf.get('PERCENT', 'decision')
    
    # cf.options获得元祖对的列表[(,),(,)……]
    succ_value_list = cf.options('SUCC_VALUE')
    keep_time_dic = {x[0]: float(x[1]) for x in cf.items('KEEP_TIME')}

## **future** ##

\_\_ future\_\_模块允许用户导入新版 Python 的功能。这简直就像时间旅行，或者魔法什么的：

from __future__ import print_function
    print("Hello World!")

## functools ##

## fake-useragent ##

伪装浏览器身份：

pip install fake-useragent
    from fake_useragent import UserAgent
    ua = UserAgent()
    
    ua.ie
    ua.msie
    ua.opera
    ua.chrome

## getsub ##

下载视频字幕：

pip install getsub
    getsub <视频路径>

## gy ##

生成 `.gitignore` 文件：

#https://www.gitignore.io/
    $ pip install gy
    $ gy generate python java lisp

## id-validator ##

中华人民共和国居民身份证、中华人民共和国港澳居民居住证以及中华人民共和国台湾居民居住证号码验证工具（Python 版）：

*  [jxlwqq/id-validator][jxlwqq_id-validator]

## itertools ##

## MyQR ##

生成 Python 艺术二维码

pip install MyQR
    myqr https://github.com
    myqr https://github.com -v 10 -l Q

## ngxtop ##

解析 nginx 访问日志并格式化输出

pip install ngxtop
    $ ngxtop

## operator ##

## os ##

### os.walk ###

*  [pymotw-os.walk][]

for root, dirs, files in os.walk(system_dir):
        i += 1
        print(i)
        print(root)
        print('dirs')
        print(dirs)
        print('files')
        print(files)

1
    C:\Users\michaelxiang\Desktop\get_report0906\get_report
    ['maps']
    ['a.py', 'b.py', 'get_report.py', 'judge_succ.py', 'maps.cfg']
    2
    C:\Users\michaelxiang\Desktop\get_report0906\get_report\maps
    ['2016-09-06-16-18-40']
    ['case.csv', 'data.csv', 'judge_succ.py', 'percent-2016-09-06-16-18-40.csv', 'report-2016-09-06-16-18-40.csv']
    3
    C:\Users\michaelxiang\Desktop\get_report0906\get_report\maps\2016-09-06-16-18-40
    ['PIT多渠道脱机并行测试']
    ['case.csv', 'data.csv']
    4
    C:\Users\michaelxiang\Desktop\get_report0906\get_report\maps\2016-09-06-16-18-40\PIT多渠道脱机并行测试
    []
    ['消费（传统）-TPS消费（传统）-成功率时间段2016-08-10 13-03-25-2016-08-10 13-06-25.png', '行业信息查询-TPS行业信息查询-成功率
    时间段2016-08-10 13-03-25-2016-08-10 13-06-25.png', '行业账单查询-TPS行业账单查询-成功率时间段2016-08-10 13-03-25-2016-08-10 1
    3-06-25.png']

可以看到：

*  root：执行os.walk时的每次的目录，会改变，因为会遍历目录下的每一层文件夹；
 *  dirs： 目录下有几个文件夹，以列表存储文件夹名；
 *  files: 目录下的文件，以列表存储文件名；

### os.listdir ###

*  [pymotw-directories][]

system_dir=os.getcwd()
    for fname in os.listdir(system_dir):
        if fname.startswith('report'):
            os.remove(os.path.join(system_dir, fname))

这个的作用就是删除该目录下，以`report`开头的文件，

### os.path ###

#### os.path.join ####

主要用到了将两个路径合并为一个路径，为什么不能用路径A+路径B呢？  
因为，`os.path.join(A,B)`会自动根据系统环境，改变两个路径的连接符。  
Windows系统路径之间是**`\`**，而Linux系统路径是**`/`**，因此用`os.path.join`写出的程序兼容性就更好了。

## os.path.dirname 获取文件目录 ##

`os.path.dirname(__file__)`返回脚本的路径，但是需要注意一下几点:

1.  必须是实际存在的.py文件，如果在命令行执行，则会引发异常`NameError: name '__file__' is not defined`
2.  在运行的时候如果输入完整的执行的路径，则返回`.py`文件的全路径如：  
    `python c:/test/test.py` 则返回路径`c:/test`，如果是`python test.py`则返回空。
3.  结合**`os.path.abspath`**用，效果会好，如果大家看过一些python架构的代码的话，会发现。

经常有这样的组合：

*  `os.path.abspath(os.path.dirname(__file__))`
 *  `os.path.dirname(os.path.abspath(__file__))`

返回的是`.py`文件的绝对路径,这就是`os.path.dirname(__file__)`的用法，其主要总结起来有:  
1、不要已命令行的形式来进行`os.path.dirname(__file__)`这种形式来使用这个函数  
2、结合`os.path.abspath()`使用

参考

*  [python中的os.path.dirname(**file**)的使用][python_os.path.dirname_file]

## pdir2 ##

查看对象的全部属性和方法，显示效果比 `dir` 方法好：

pip install pdir2
    >>> import pdir,requests
    >>> pdir(requests)

## pipreqs ##

`pip freeze` 导出当前环境中所有的 python 库列表：

$ pip install pipreqs
    $ pipreqs /home/project/location

## pyperclip ##

Python 剪贴板：

pip install pyperclip  
    from pyperclip import copy, paste 
    
    copy('2333') # 向剪贴板写入 2333 
    
    paste() # 值为剪贴板中的内容

## pypi\_simple ##

解析 Pip 源信息

# "PYPI_URL": "http://pypi.michael.huawei.com/iaas/product/+simple/"
    from pypi_simple import PyPISimple
    client = PyPISimple(endpoint=pypi_url)
    packages = client.get_project_files(whl_project)

## rpmUtils ##

解析 rpm 包名

pkg_name = "java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.x86_64.rpm" (name, version, release, epoch, arch) = splitFilename(pkg_name)

*  [Parse an RPM name into its components][]
 *  [rpmUtils.miscutils][]

## sys ##

### sys.argv ###

*  [Runtime Environment][]

# 读取配置文件中的参数
    try:
        config = sys.argv[1]
    except IndexError as e:
        print(u'运行脚本时，请加上cfg参数！', e)
        sys.exit(-1)
    print(config)

可以读取命令窗口的参数，例如`python get_report.py maps.cfg`  
那么，这里`sys.argv[1]`获得的值就是`maps.cfg`。

## sh ##

Python Shell

pip install sh
    from sh import ifconfig
    print(ifconfig("eth0"))
    from sh import *
    sh.pwd()
    sh.mkdir('new_folder')
    sh.touch('new_file.txt')
    sh.whoami()
    sh.echo('This is great!')

## shutil ##

*  [pymotw-copy][]

shutil.copyfile( src, dst)    从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉
    shutil.move( src, dst)        移动文件或重命名
    shutil.copymode( src, dst)    只是会复制其权限其他的东西是不会被复制的
    shutil.copystat( src, dst)    复制权限、最后访问时间、最后修改时间
    shutil.copy( src, dst)        复制一个文件到一个文件或一个目录
    shutil.copy2( src, dst)        在copy上的基础上再复制文件最后访问时间与修改时间也复制过来了，类似于cp –p的东西
    shutil.copy2( src, dst)        如果两个位置的文件系统是一样的话相当于是rename操作，只是改名；如果是不在相同的文件系统的话就是做move操作
    shutil.copytree( olddir, newdir, True/Flase)
    把olddir拷贝一份newdir，如果第3个参数是True，则复制目录时将保持文件夹下的符号连接，如果第3个参数是False，则将在复制的目录下生成物理副本来替代符号连接
    shutil.rmtree( src )    递归删除一个目录以及目录内的所有内容

### shutil.copy2 ###

print('*'*20+u'转存源数据文件到结果日期文件夹'+'*'*20)
    shutil.copy2(data_source_path, result_file_path)
    shutil.copy2(case_source_path, result_file_path)
    print('*'*20+u'存储成功！'+'*'*20)

用来拷贝文件，复制到目标文件夹。

### shutil.rmtree ###

shutil.rmtree('maps',ignore_errors=True)

只有机上后边的参数，空目录才会删除，否则会报错。

参考：

*  [复制或者移动文件和目录][Link 1]
 *  [Python默认模块 os和shutil 实用函数][Python_ os_shutil]

## types ##

类似`dict`/`int`等一些内置的类型，types模块已不再提供了，例如`tyopes.IntType`已经提供了。

参考：

*  [sof-python 3.1 - DictType not part of types module?][sof-python 3.1 - DictType not part of types module]

## tenacity ##

重试：

pip install tenacity 
    #限制重试次数为3次
    from tenacity import retry, stop_after_attempt
    @retry(stop=stop_after_attempt(3))
    def extract(url):
        info_json = requests.get(url).content.decode()
        info_dict = json.loads(info_json)
        data = info_dict['data']
        save(data)

## uuid ##

生成通用唯一标识符（Universally Unique ID，UUID）的一种快速简单方法就是使用 Python 标准库的 uuid 模块。

uuid 模块：https://docs.python.org/3/library/uuid.html

import uuid
    user_id = uuid.uuid4()
    print(user_id)

## wget ##

提取数据，特别是从网络中提取数据是数据科学家的重要任务之一。Wget 是一个免费的工具，用于以非交互式方式从 Web 上下载文件。它支持 HTTP、HTTPS 和 FTP 协议，通过 HTTP 代理进行检索。由于它是非交互式的，即使用户没有登录，它也可以在后台工作。所以，如果你想下载一个网站或一个页面上的所有图片，wget 会帮助你。

安装：

$ pip install wget

示例：

import wget
    url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3'
    filename = wget.download(url)
    100% [................................................] 3841532 / 3841532
    filename
    'razorback.mp3'

## YAML ##

YAML 代表 『YAML Ain』t Markup Language』。它是一种数据格式语言，是 JSON 的超集。

与 JSON 不同，它可以存储更复杂的对象并引用自己的元素。你还可以编写注释，使其尤其适用于编写配置文件。

PyYAML 模块（https://pyyaml.org/wiki/PyYAMLDocumentation）可以让你在 Python 中使用 YAML。安装：

$ pip install pyyaml

然后导入到项目中：

import yaml

## functools ##

Remark，做Python PPT工具。

## six ##

python2和python3通用性兼容性封装，openstack中使用，强烈推荐

## requests ##

建议掌握

## eventlet ##

协程的经典，下层使用的greenlet，建议掌握

## greenlet ##

非常高效的协程封装，想了解协程机制的话，可以深入学习

## pycrypto 安全 ##

提供了几乎所有的加解密算法，下层使用的是cryptograph，建议做基本了解

## SQLAlchemy ##

对SQL语句的封装，建议概念了解

## Mock ##

测打桩，建议掌握

## Unittest ##

建议掌握

## Multiprocessing ##

多进程，建议基本了解，工作中不常用

## Threading ##

多线程，建议掌握，不建议使用thread(thread在python3中变为内部库\_thread)

## Queue ##

多进程/多线程队列按序执行的场景，基本了解

## Subprocess ##

用于创建新进程，可用于python调用shell/bash等，建议掌握。python调用shell/bash不建议os.system/commands.\*（这些方式在python3已经移除）。

## Profile/cProfile ##

用于性能分析，非常非常好用，和pstat配合食用，建议掌握。

## 时间模块相关 ##

### arrow ###

*  [Python：如何用一行代码获取上个月是几月][Python]

### Delorean ###

## 开发工具 ##

### HTTPie ###

是命令行HTTP客户端。其目标是使与Web服务的CLI交互尽可能人性化。它提供了一个简单的http命令，允许使用简单自然的语法发送任意HTTP请求，并显示彩色输出。HTTPie可用于测试，调试以及通常与HTTP服务器交互。

GitHub：https：//github.com/jakubroztocil/httpie

## Linux ##

### paramiko ###

只要是稍微搞过Python与linux的都会熟悉paramiko这个犀利的库。  
它完美的契合的用户操作linux机器下的所有操作，ssh ftp等等…

## 运维 ##

### Ansible ###

是一个极其简单的IT自动化系统。它处理配置管理，应用程序部署，云配置，临时任务执行和多节点编排 – 包括通过负载平衡器轻松实现零停机滚动更新等操作。

GitHub：https：//github.com/ansible/ansible

### Sentry ###

从根本上讲是一项服务，可以帮助您实时监控和修复崩溃。服务器端使用Python，但它包含一个完整的API，支持在任何应用程序中使用任何语言发送事件。

GitHub：https：//github.com/getsentry/sentry

### Luigi ###

是一个Python包，可用来创建复杂的批处理作业管道。可用来处理依赖项解析、工作流管理、可视化、处理故障、命令行集成等等。

GitHub：https：//github.com/spotify/luigi

## 好玩的工具 ##

### sh ###

pip install sh

### Progressbar ###

Progressbar 是 Python 中的一个文本进度条程序库，用于展示长时间运行操作的过程，从视觉上提示你程序的处理进度。

### colorama ###

### YouTube-dl ###

油管搬运工，可从youtube.com或其他视频平台下载视频。

GitHub：https：//github.com/rg3/youtube-dl

### You-Get ###

是一个小型命令行实用程序，用于从Web下载媒体内容（视频，音频，图像），尤其是在手边没有合适工具的时候。

GitHub：https：//github.com/soimort/you-get

## 参考 ##

*  [哪些 Python 库让你相见恨晚？][Python 1]
 *  [2018年GitHub最流行50大Python开源项目][2018_GitHub_50_Python]
 *  [pymotw][]
 *  [小明-Python不能不知的模块][-Python]
 *  [苏生不惑-那些有趣/用的 Python 库][-_ Python]

转载于:https://www.cnblogs.com/michael-xiang/p/10466840.html

[ConfigParser _ Work with configuration files]: https://pymotw.com/2/ConfigParser/index.html#module-ConfigParser
[jxlwqq_id-validator]: https://github.com/jxlwqq/id-validator.py
[pymotw-os.walk]: https://pymotw.com/2/os/index.html#module-os
[pymotw-directories]: https://pymotw.com/2/os/index.html#directories
[python_os.path.dirname_file]: http://blog.csdn.net/u011760056/article/details/46969883
[Parse an RPM name into its components]: https://serverfault.com/questions/557350/parse-an-rpm-name-into-its-components
[rpmUtils.miscutils]: http://yum.baseurl.org/api/yum/rpmUtils/miscutils.html
[Runtime Environment]: https://pymotw.com/2/sys/runtime.html#input-and-output-steams
[pymotw-copy]: https://pymotw.com/2/shutil/index.html#copying-files
[Link 1]: http://python3-cookbook-personal.readthedocs.io/zh_CN/latest/c13/p07_copy_move_files_and_directories.html
[Python_ os_shutil]: https://www.cnblogs.com/funsion/p/4017989.html
[sof-python 3.1 - DictType not part of types module]: https://stackoverflow.com/questions/3772049/python-3-1-dicttype-not-part-of-types-module
[Python]: https://foofish.net/python-arrow.html
[Python 1]: https://www.zhihu.com/question/24590883/answer/286407918
[2018_GitHub_50_Python]: https://www.ctocio.com/ccnews/27611.html
[pymotw]: https://pymotw.com/2/genindex.html
[-Python]: https://zhuanlan.zhihu.com/p/22246193
[-_ Python]: https://segmentfault.com/a/1190000010103386#articleHeader5