（7）PDFMiner提取PDF文本

Dear 丶 2022-07-25 15:44 717阅读 0赞

PDFMiner是一个可以从PDF文档中提取信息的工具。与其他PDF相关的工具不同，它注重的完全是获取和分析文本数据。PDFMiner允许你获取某一页中文本的准确位置和一些诸如字体、行数的信息。它包括一个PDF转换器，可以把PDF文件转换成HTML等格式。它还有一个扩展的PDF解析器，可以用于除文本分析以外的其他用途。  
PDFMiner内置两个好用的工具：pdf2txt.py和dumppdf.py  
**pdf2txt.py**从PDF文件中提取所有文本内容。但不能识别画成图片的文本，这需要特征识别。对于加密的PDF你需要提供一个密码才能解析，对于没有提取权限的PDF文档你得不到任何文本。  
**dumppdf.py**把PDF文件内容变成pseudo-XML格式。这个程序主要用于debug，但是它也可能用于提取一些有意义的内容（比如图片）。  
官方主页：[https://euske.github.io/pdfminer/][https_euske.github.io_pdfminer]  
其特征有：1、完全使用python编写。（适用于2.4或更新版本）2、解析，分析，并转换成PDF文档。3、PDF-1.7规范的支持。（几乎）4、中日韩语言和垂直书写脚本支持。5、各种字体类型（Type1、TrueType、Type3，和CID）的支持。6、基本加密（RC4）的支持。7、PDF与HTML转换。8、纲要（TOC）的提取。9、标签内容提取。10、通过分组文本块重建原始的布局。  
如果你的Python有安装pip模块，就可以通过命令“python pip install pdfminer”，自动安装pdfminer。

**解析pdf文件用到的类：**  
PDFParser：从一个文件中获取数据  
PDFDocument：保存获取的数据，和PDFParser是相互关联的  
PDFPageInterpreter处理页面内容  
PDFDevice将其翻译成你需要的格式  
PDFResourceManager用于存储共享资源，如字体或图像。

**PDFMiner的类之间的关系图：**  
![这里写图片描述][20160401184414649]

Layout布局分析返回的PDF文档中的每个页面LTPage对象。这个对象和页内包含的子对象，形成一个树结构。如图所示：  
![这里写图片描述][20160401184450368]

LTPage :表示整个页。可能会含有LTTextBox，LTFigure，LTImage，LTRect，LTCurve和LTLine子对象。  
LTTextBox:表示一组文本块可能包含在一个矩形区域。注意此box是由几何分析中创建，并且不一定表示该文本的一个逻辑边界。它包含LTTextLine对象的列表。使用 get\_text（）方法返回文本内容。  
LTTextLine :包含表示单个文本行LTChar对象的列表。字符对齐要么水平或垂直，取决于文本的写入模式。使用get\_text（）方法返回文本内容。  
LTAnno:在文本中字母实际上被表示为Unicode字符串。需要注意的是，虽然一个LTChar对象具有实际边界，LTAnno对象没有，因为这些是“虚拟”的字符，根据两个字符间的关系（例如，一个空格）由布局分析后插入。  
LTImage:表示一个图像对象。嵌入式图像可以是JPEG或其它格式，但是目前PDFMiner没有放置太多精力在图形对象。  
LTLine:代表一条直线。可用于分离文本或附图。  
LTRect:表示矩形。可用于框架的另一图片或数字。  
LTCurve:表示一个通用的Bezier曲线

**（1）获取PDF文档目录（纲要）**

#!/usr/bin/python
    #-*- coding: utf-8 -*-
    from pdfminer.pdfparser import PDFParser
    from pdfminer.pdfdocument import PDFDocument
    #获得目录（纲要）
    # 打开一个pdf文件
    fp = open(u'F:\\pdf\\2013\\000608_阳光股份_2013年年度报告(更新后)_1.pdf', 'rb')
    parser = PDFParser(fp)
    document = PDFDocument(parser)
    
    # .获得文档的目录（纲要）
    outlines = document.get_outlines()
    for (level,title,dest,a,se) in outlines:
        print level, title

**（2）读取pdf文本内容**  
下面我们利用pdfminer读取一个pdf文档中的文本内容：

#!/usr/bin/python
    #-*- coding: utf-8 -*-
    
    from pdfminer.converter import PDFPageAggregator
    from pdfminer.pdfparser import PDFParser
    from pdfminer.pdfdocument import PDFDocument
    from pdfminer.pdfpage import PDFPage
    from pdfminer.pdfpage import PDFTextExtractionNotAllowed
    from pdfminer.pdfinterp import PDFResourceManager
    from pdfminer.pdfinterp import PDFPageInterpreter
    from pdfminer.layout import *
    import re
    
    #打开一个pdf文件
    fp = open(u'F:\\pdf\\2013\\000001_平安银行_2013年年度报告_2562.pdf', 'rb')
    #创建一个PDF文档解析器对象
    parser = PDFParser(fp)
    #创建一个PDF文档对象存储文档结构
    #提供密码初始化，没有就不用传该参数
    #document = PDFDocument(parser, password)
    document = PDFDocument(parser)
    #检查文件是否允许文本提取
    if not document.is_extractable:
        raise PDFTextExtractionNotAllowed
    #创建一个PDF资源管理器对象来存储共享资源
    #caching = False不缓存
    rsrcmgr = PDFResourceManager(caching = False)
    # 创建一个PDF设备对象
    laparams = LAParams()
    # 创建一个PDF页面聚合对象
    device = PDFPageAggregator(rsrcmgr, laparams=laparams)
    #创建一个PDF解析器对象
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    #处理文档当中的每个页面
    
    # doc.get_pages() 获取page列表
    #for i, page in enumerate(document.get_pages()):
    #PDFPage.create_pages(document) 获取page列表的另一种方式
    replace=re.compile(r'\s+');
    # 循环遍历列表，每次处理一个page的内容
    for page in PDFPage.create_pages(document):
        interpreter.process_page(page)
        # 接受该页面的LTPage对象
        layout=device.get_result()
        # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象
        # 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等
        for x in layout:
            #如果x是水平文本对象的话
            if(isinstance(x,LTTextBoxHorizontal)):
                text=re.sub(replace,'',x.get_text())
                if len(text)!=0:
                    print text

**（3）保存pdf文本内容**  
如果你想要把pdf文档文本保存为txt的话，可以参考下面的程序：

#!/usr/bin/python
    #-*- coding: utf-8 -*-
    
    import os
    import re
    from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
    from pdfminer.pdfpage import PDFPage
    from pdfminer.converter import TextConverter
    from pdfminer.layout import LAParams
    
    #将一个pdf转换成txt
    def pdfTotxt(filepath,outpath):
        try:
            fp = file(filepath, 'rb')
            outfp=file(outpath,'w')
            #创建一个PDF资源管理器对象来存储共享资源
            #caching = False不缓存
            rsrcmgr = PDFResourceManager(caching = False)
            # 创建一个PDF设备对象
            laparams = LAParams()
            device = TextConverter(rsrcmgr, outfp, codec='utf-8', laparams=laparams,imagewriter=None)
            #创建一个PDF解析器对象
            interpreter = PDFPageInterpreter(rsrcmgr, device)
            for page in PDFPage.get_pages(fp, pagenos = set(),maxpages=0,
                                          password='',caching=False, check_extractable=True):
                page.rotate = page.rotate % 360
                interpreter.process_page(page)
            #关闭输入流
            fp.close()
            #关闭输出流
            device.close()
            outfp.flush()
            outfp.close()
        except Exception, e:
             print "Exception:%s",e
    
    #pdfTotxt(u'F:\\pdf\\2013\\000001_平安银行_2013年年度报告_2562.pdf',u'test.txt')
    
    #一个文件夹下的所有pdf文档转换成txt
    def pdfTotxt(fileDir):
        files=os.listdir(fileDir)
        tarDir=fileDir+'txt'
        if not os.path.exists(tarDir):
            os.mkdir(tarDir)
        replace=re.compile(r'\.pdf',re.I)
        for file in files:
            filePath=fileDir+'\\'+file
            outPath=tarDir+'\\'+re.sub(replace,'',file)+'.txt'
            pdfTotxt(filePath,outPath)
            print "Saved "+outPath
    
    pdfTotxt(u'F:\\pdf\\2013')

遗憾的是，pdfminer无法维持pdf文本的布局，而且读写速度对比pdfbox真的好慢。

[https_euske.github.io_pdfminer]: https://euske.github.io/pdfminer/
[20160401184414649]: /images/20220724/5a6ac9c0f41e4b598c86bc4e7aa24ecf.png
[20160401184450368]: /images/20220724/5f1b56a64b9c46369a09e664fa948500.png