盘点一个小小明大佬开发的Python库，4个超赞功能

青旅半醒 2022-09-03 05:29 181阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

知命者不怨天，知己者不怨人。

**大家好，我是黄同学**

今天介绍一个Python库**【filestools】**，是由一位大家很熟悉的大佬开发的，那就是小小明大佬啦！小小明大佬yyds！

![9cb6f48e2b2926c8ce20b393cba818fe.png][]

在库作者的推荐下，黄同学打算亲自体验一把！正好周末，我一边测试、一边提建议，最终写了这篇文章。真的是1个Python库，包含4个功能，顶你去看9篇文章。

filestools库目前包含四个工具包，这4个功能我真的超级喜欢，分别是：

*  Ⅰ 树形目录显示；
 *  Ⅱ 文本文件差异比较；
 *  Ⅲ 图片加水印；
 *  Ⅳ 将curl网络请求命令转换成requests库请求代码；

先给大家直接上filestools库的使用说明，方便大家后续自行学习**。**

https://pypi.org/project/filestools/

在使用之前，需要安装该库。一行命令即可搞定：

pip install filestools --index-url https://pypi.org/simple/ -U

## 1. 树形目录显示 ##

这个功能可以帮助我们递归展示，指定目录下的所有文件和文件夹，并且展示每个文件和文件夹的大小，一目了然。

我们以windows为例，进行说明。

整个操作，是在CMD黑窗口进行的。首先你要学会如何切换到指定盘，指定目录。

# 这样即可将C盘，切换到D盘
    C:\Users\Administrator>D:
    
    # 使用cd命令，可以切换到指定盘的指定目录
    C:\Users\Administrator>cd C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫

这里面有两个命令：tree和tree2。

*  如果你的系统，本地python优先级高于系统环境的优先级，直接执行tree命令；
 *  如果你的系统，由于系统环境的优先级高于本地python，除了可以调整环境变量顺序修改优先级外，还可以使用tree2命令，与tree一致。但是你此时执行tree命令，看不见效果；

以我的电脑为基础，演示给大家看：

![7eb718ca9b5c02fbbcbf23318b386999.png][]

**可以看到：** 我这里执行tree命令，显示的就是未安装该库之前的系统展示。

这是由于系统环境的优先级高于本地python导致的。

![8079de50e7b0c9918efdce27d9f4c0d1.png][]

此时，我们直接执行tree2命令即可。

![b80b49aba9d72d184610fab7d2307fc4.png][]

当然，大家也不喜欢在CMD窗口中执行命令。这里我们直接在jupyter notebook中，执行如下操作：

from treedir.tree import tree_dir
    tree_dir(r"C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫", m_level=7, no_calc=False)

结果如下：

![d58aaadfa978c57b8f5d5dadc8537e6e.png][]

关于tree\_dir()函数，分别介绍如下3个参数：

*  path：递归显示的目录路径，默认为当前目录；
 *  m\_level：递归展示的最大层数，默认为7层；
 *  no\_calc：指定该参数后，对于超过递归显示的最大层数的文件夹，不再继续递归计算文件夹大小；

## 2. 文本文件差异比较 ##

这个功能可以帮助我们比较两个文件的差异，输出到HTML网页中。比如说，我们写了一段代码，后面改动了。但是由于代码太多，我们不知道改了哪里，此时，使用这个功能，很好的帮助我们对比。

我们来看这样一个例子，我曾经有一个`a.txt`文件，经过一段时间后，我对其中的内容做了修改，得到了最后的`b.txt`。

![0a084003536f30975e7d84b6a5614a05.png][]

**需求：**想看看对哪里做了修改（如果内容很多的话）

from filediff.diff import file_diff_compare
    file_diff_compare("a.txt", "b.txt")

这会在当前工作目录下，生成一个`html`网页文件。

![1152a944045167edf504c18ae4b5763d.png][]

双击打开，观察其中的内容：

![66077f86d399cec723485080dd09ba38.png][]

其中：`黄色`表示改动过的内容，`绿色`表示新添加过的内容，`红色`表示已经删除过的内容。

对于file\_diff\_compare()函数，有如下7个参数：

from filediff.diff import file_diff_compare
    file_diff_compare(file1, file2, diff_out='diff_result.html', max_width=70, numlines=0, show_all=False, no_browser=False)

对这7个参数，分别介绍如下：

*  file1 / file2：待比较的两个文件，必须文本文件；
 *  diff\_out：差异结果保存的文件名(网页格式)，默认值diff\_result.html；
 *  max\_width：每行超过多少字符就自动换行，默认值70；
 *  numlines：在差异行基础上前后显示多少行，默认是0；
 *  show\_all：只要设置这个参数就表示显示全部原始数据，此时-n参数无效，默认不显示全部；
 *  no\_browser：设置这个参数，在生成结果后，不会自动打开游览器。当设置为False后，会自动打开浏览器；

## 3. 图片加水印 ##

这应该是我见过的最棒的`图片加水印`代码，给图片加水印调用的是add\_mark()函数。

from watermarker.marker import add_mark
    
    # 注意：有些参数是默认参数，你可以随意修改的；
    add_mark(file, mark, out='output', color='#8B8B1B', size=30, opacity=0.15, space=75, angle=30)

关于add\_mark()函数，分别介绍如下8个参数：

*  file：待添加水印的照片；
 *  mark：使用哪些字作为水印；
 *  out：添加水印后保存的位置；
 *  color：水印字体的颜色，默认颜色\#8B8B1B；
 *  size：水印字体的大小，默认50；
 *  opacity：水印字体的透明度，默认0.15；
 *  space：水印字体之间的间隔, 默认75个空格；
 *  angle：水印字体的旋转角度，默认30度；

比如我们执行如下命令：

from watermarker.marker import add_mark
    add_mark(file=r"C:\Users\Administrator\Desktop\大学.jpg", out=r"C:\Users\Administrator\Desktop\python三剑客\加盟店爬虫", mark="黄同学", opacity=0.2, angle=30, space=30)

我们想要给`大学.jpg`添加一个`黄同学`水印，保存的位置在`加盟店爬虫`文件夹下，透明度是`0.2`，旋转角度是`30°`，字体之间的间隔是`30`。

**原图如下：**

![f12e963e8c49d822f968fe9632d1f64a.png][]

**最终效果如下：**

![5726a83524eac7cb6490b2774ddaab71.png][]

## 4. curl网络请求转requests库请求代码 ##

我们在写爬虫的时候，经常会使用到一些参数信息，比如这样：

![bfdca4fbf012527ee45572e1c53e5495.png][]

如果一个个手动复制，会不会显得很麻烦？

这个功能就可以解决这个问题，它能够将cURL转换为Python代码，我们只需要复制即可。

大致步骤是这样的：

*  Ⅰ 先在谷歌游览器中，复制网络抓到的网络请求为cURL(bash)；
 *  Ⅱ 通过curl2py命令将其转换为python代码；

以`实习网`的Python岗位为例，进行说明。

> http://www.shixi.com/search/index?key=python

按照下图操作，我们复制了单个请求的curl。

> **可以看到：** 这里有各种不同的请求url，然后`-H`后面是该请求对应的各种参数。我们需要请求哪个链接，就复制对应的curl。

**仔细观察下图哦：**

![89531401d5ac7476d8cf7556bb08e0f2.png][]

复制了curl后，可以粘贴出来，看看有哪些东西。

curl 'http://www.shixi.com/search/index?key=python' \
      -H 'Connection: keep-alive' \
      -H 'Cache-Control: max-age=0' \
      -H 'Upgrade-Insecure-Requests: 1' \
      -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \
      -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
      -H 'Referer: http://www.shixi.com/' \
      -H 'Accept-Language: zh-CN,zh;q=0.9' \
      -H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \
      --compressed \
      --insecure

有了上述curl后，就可以通过curl2py命令，将其转换为python代码。

from curl2py.curlParseTool import curlCmdGenPyScript
    
    curl_cmd = """curl 'http://www.shixi.com/search/index?key=python' \
      -H 'Connection: keep-alive' \
      -H 'Cache-Control: max-age=0' \
      -H 'Upgrade-Insecure-Requests: 1' \
      -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' \
      -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
      -H 'Referer: http://www.shixi.com/' \
      -H 'Accept-Language: zh-CN,zh;q=0.9' \
      -H 'Cookie: UM_distinctid=17a50a2c8ea537-046c01e944e72f-6373267-100200-17a50a2c8eb4ff; PHPSESSID=rpprvtdrcrvt54fkr7msgcde17; CNZZDATA1261027457=1711789791-1624850487-https%253A%252F%252Fwww.baidu.com%252F%7C1627741311; Hm_lvt_536f42de0bcce9241264ac5d50172db7=1627741268; Hm_lpvt_536f42de0bcce9241264ac5d50172db7=1627741334' \
      --compressed \
      --insecure"""
    
    output = curlCmdGenPyScript(curl_cmd)
    print(output)

最终结果如下：

![933bf4593e7f6e44dd6d996a086806fe.png][]

可以看到，很多参数都被转换为规则的Python代码了，我们直接拿着用即可，是不是很方便。

这4个功能，小编都亲测尝试过了，亲测有效，大家也快动动手指学习下吧！有问题，请随时在留言区评论噢，欢迎三连支持~

![d4d1082f8e53c013702884840669d2e3.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [Python也能操作MongoDB数据库][Python_MongoDB]
 *  [Python也能操作Mysql数据库][Python_Mysql]
 *  [我是如何利用Python下载酷狗音乐的][Python]
 *  [干货文——一文带你搞懂爬虫储存数据库MongoDB][MongoDB]

![328253159a0495968145d4a34c73e093.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[9cb6f48e2b2926c8ce20b393cba818fe.png]: /images/20220829/55f76d6fad7645ae861e6e51d9adf1d2.png
[7eb718ca9b5c02fbbcbf23318b386999.png]: /images/20220829/7e1382c04a3b4c20879fc5cfe8ff07a9.png
[8079de50e7b0c9918efdce27d9f4c0d1.png]: /images/20220829/ac56c9ce49644cf7aee8d1582e493cf2.png
[b80b49aba9d72d184610fab7d2307fc4.png]: /images/20220829/ead3f701af6a43c7960412606f8fd1ca.png
[d58aaadfa978c57b8f5d5dadc8537e6e.png]: /images/20220829/2e0e5cd11b37455ab1ca4b18b923ac45.png
[0a084003536f30975e7d84b6a5614a05.png]: /images/20220829/4bf7c811edcb41af8384124ed6dbba11.png
[1152a944045167edf504c18ae4b5763d.png]: /images/20220829/6803046b21d3446983743870dd75aba9.png
[66077f86d399cec723485080dd09ba38.png]: /images/20220829/fbf5a07542824d5e88d111f59d7284e1.png
[f12e963e8c49d822f968fe9632d1f64a.png]: /images/20220829/f7c9a730b7c04b9da9f21858a30ab179.png
[5726a83524eac7cb6490b2774ddaab71.png]: /images/20220829/3bcce58984db4d3692e00dc2d88abe27.png
[bfdca4fbf012527ee45572e1c53e5495.png]: /images/20220829/fc7414de79ef4726809900bf1307489a.png
[89531401d5ac7476d8cf7556bb08e0f2.png]: /images/20220829/aca5f22945bd447ea2b65e2cbeffb2a6.png
[933bf4593e7f6e44dd6d996a086806fe.png]: /images/20220829/043b06b056e547e08794bdc3a2ccf5eb.png
[d4d1082f8e53c013702884840669d2e3.png]: /images/20220829/70cf85136a1140bf9f4be3be74472344.png
[Python_MongoDB]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b541cbb73c571c90890f88d69abd0aa319f1bb3c787232a6331620af3d9016f8abe5d838&idx=1&mid=2247496554&scene=21&sn=c8112fa2cd60a700195d99af1093ad83#wechat_redirect
[Python_Mysql]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4e6cbb73df00abf51cc844ebd684e1a630b44e08dcf3e28f9d89d0b0459dd06dd64d6e0&idx=1&mid=2247496397&scene=21&sn=a2641f5a5f98694b9d6b3bf7781c41e6#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4bbcbb73dad7991e3139fa5c47e7ab071fef2848844ed67b684007c8a6cb87276c774c5&idx=1&mid=2247496336&scene=21&sn=6a585e9379b4ee9fe9c345279089eb83#wechat_redirect
[MongoDB]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b430cbb73d26b6e9b9a403b72edd70a83cc71f62e802614bd7934b2622e3ba49bcc8d96f&idx=1&mid=2247496219&scene=21&sn=8b82e3af2a5d959f861e24005524867a#wechat_redirect
[328253159a0495968145d4a34c73e093.png]: /images/20220829/64b2a330f9bc474b91ffbe841e6cf31e.png