另类爬虫：从PDF文件中爬取表格数据

左手的ㄟ右手 2022-05-12 14:50 182阅读 0赞

### 简介 ###

本文将展示一个稍微不一样点的爬虫。  
  以往我们的爬虫都是从网络上爬取数据，因为网页一般用HTML,CSS,JavaScript代码写成，因此，有大量成熟的技术来爬取网页中的各种数据。这次，我们需要爬取的文档为PDF文件。本文将展示如何利用Python的camelot模块从PDF文件中爬取表格数据。  
  在我们的日常生活和工作中，PDF文件无疑是最常用的文件格式之一，小到教材、课件，大到合同、规划书，我们都能见到这种文件格式。但如何从PDF文件中提取其中的表格，这却是一个大难题。因为PDF中没有一个内部的表示方式来表示一个表格。这使得表格数据很难被抽取出来做分析。那么，我们如何做到从PDF中爬取表格数据呢？  
  答案是Python的camelot模块！  
  camelot是Python的一个模块，它能够让任何人轻松地从PDF文件中提取表格数据。可以使用以下命令安装camelot模块（安装时间较长）：

pip install camelot-py

camelot模块的官方文档地址为：[https://camelot-py.readthedocs.io/en/master/][https_camelot-py.readthedocs.io_en_master] 。  
  下面将展示如何利用camelot模块从PDF文件中爬取表格数据。

### 例1 ###

首先，让我们看一个简单的例子：eg.pdf，整个文件只有一页，这一页中只有一个表格，如下：

![eg.pdf][]

使用以下Python代码就可以提取该PDF文件中的表格：

import camelot
    
    # 从PDF文件中提取表格
    tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')
    
    # 表格信息
    print(tables)
    print(tables[0])
    # 表格数据
    print(tables[0].data)

输出结果为：

<TableList n=1>
    <Table shape=(4, 4)>
    [['ID', '姓名', '城市', '性别'], ['1', 'Alex', 'Shanghai', 'M'], ['2', 'Bob', 'Beijing', 'F'], ['3', 'Cook', 'New York', 'M']]

分析代码，camelot.read\_pdf()为camelot的从表格中提取数据的函数，输入的参数为PDF文件的路径，页码（pages）和表格解析方法（有stream和lattice两个方法）。对于表格解析方法，默认的方法为lattice，而stream方法默认会把整个PDF页面当做一个表格来解析，如果需要指定解析页面中的区域，可以使用table\_area这个参数。  
  camelot模块的便捷之处还在于它提供了将提取后的表格数据直接转化为pandas，csv，JSON，html的函数，如tables\[0\].df，tables\[0\].to\_csv()函数等。我们以输出csv文件为例：

import camelot
    
    # 从PDF文件中提取表格
    tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')
    
    # 将表格数据转化为csv文件
    tables[0].to_csv('E://eg.csv')

得到的csv文件如下：

![输出的csv文件][csv]

### 例2 ###

在例2中，我们将提取PDF页面中的某一区域的表格的数据。PDF文件的页面（部分）如下：

![Statistics-Fundamentals-Succinctly.pdf第53页][Statistics-Fundamentals-Succinctly.pdf_53]

为了提取整个页面中唯一的表格，我们需要定位表格所在的位置。PDF文件的坐标系统与图片不一样，它以左下角的顶点为原点，向右为x轴，向上为y轴，可以通过以下Python代码输出整个页面的文字的坐标情况：

import camelot
    
    # 从PDF中提取表格
    tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
                              flavor='stream')
    
    # 绘制PDF文档的坐标，定位表格所在的位置
    tables[0].plot('text')

输出结果为：

UserWarning: No tables found on page-53 [stream.py:292]

整个代码没有找到表格，这是因为stream方法默认将整个PDF页面当作表格，因此就没有找到表格。但是绘制的页面坐标的图像如下：

![PDF页面的坐标][PDF]

仔细对比之前的PDF页面，我们不难发现，表格对应的区域的左上角坐标为（50,620），右下角的坐标为（500,540）。我们在read\_pdf()函数中加入table\_area参数，完整的Python代码如下：

import camelot
    
    # 识别指定区域中的表格数据
    tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
                              flavor='stream', table_area=['50,620,500,540'])
    
    # 绘制PDF文档的坐标，定位表格所在的位置
    table_df = tables[0].df
    
    print(type(table_df))
    print(table_df.head(n=6))

输出的结果为：

<class 'pandas.core.frame.DataFrame'>
             0               1                2           3
    0  Student  Pre-test score  Post-test score  Difference
    1        1              70               73           3
    2        2              64               65           1
    3        3              69               63          -6
    4        …               …                …           …
    5       34              82               88           6

### 总结 ###

在具体识别PDF页面中的表格时，除了指定区域这个参数，还有上下标、单元格合并等参数，详细地使用方法可参考camelot官方文档网址：[https://camelot-py.readthedocs.io/en/master/user/advanced.html。][https_camelot-py.readthedocs.io_en_master_user_advanced.html]

**注意**：本人现已开通微信公众号： Python爬虫与算法（微信号为：easy\_web\_scrape）， 欢迎大家关注哦~~

#### 参考文献 ####

1.  camelot模块的官方文档：[https://camelot-py.readthedocs.io/en/master/][https_camelot-py.readthedocs.io_en_master]
2.  Camelot：一个从pdf抽取表格数据的Python库：[https://blog.csdn.net/qq\_40925239/article/details/83153599][https_blog.csdn.net_qq_40925239_article_details_83153599]

[https_camelot-py.readthedocs.io_en_master]: https://camelot-py.readthedocs.io/en/master/
[eg.pdf]: /images/20220504/c34f848f41e24ceabc99b38a86eeeaa5.png
[csv]: /images/20220504/66e9ed5f412448eaa144e5e9cee74a90.png
[Statistics-Fundamentals-Succinctly.pdf_53]: /images/20220504/7ff924f4d7d34e188274e8b819f7d786.png
[PDF]: /images/20220504/e5c323b4274849f99625c0a18c49f099.png
[https_camelot-py.readthedocs.io_en_master_user_advanced.html]: https://camelot-py.readthedocs.io/en/master/user/advanced.html%E3%80%82
[https_blog.csdn.net_qq_40925239_article_details_83153599]: https://blog.csdn.net/qq_40925239/article/details/83153599