Python HTML操作（HTMLParser）

淡淡的烟草味﹌ 2021-12-03 12:55 239阅读 0赞

HTML操作是编程中很重要的一块，下面用Python3.x中的html.parser中的HTMLParser类来进行HTML的解析。

## HTMLParser类定义及常用方法 ##

*  ### 标准库中的定义 ###

1.  1.  HTMLParser主要是用来解析HTML文件（包括HTML中无效的标记）
    2.  参数convert\_charrefs表示是否将所有的字符引用自动转化为Unicode形式，Python3.5以后默认是True
    3.  HTMLParser可以接收相应的HTML内容，并进行解析，遇到HTML的标签会自动调用相应的handler（处理方法）来处理，用户需要自己创建相应的子类来继承HTMLParser，并且复写相应的handler方法
    4.  HTMLParser不会检查开始标签和结束标签是否是一对

*  ### 常用方法 ###

1.  1.  **HTMLParser.feed(data)**：接收一个字符串类型的HTML内容，并进行解析
    2.  `HTMLParser.``close`()：当遇到文件结束标签后进行的处理方法。如果子类要复写该方法，需要首先调用HTMLParser累的close()
    3.  `HTMLParser.``reset`():重置HTMLParser实例，该方法会丢掉未处理的html内容
    4.  `HTMLParser.``getpos`()：返回当前行和相应的偏移量
    5.  **`HTMLParser.``handle_starttag`****(*tag*, *attrs*****)**：对开始标签的处理方法。例如<div id="main">，参数tag指的是div，attrs指的是一个（name,Value)的列表
    6.  **`HTMLParser.``handle_endtag`****(*tag*****)**：对结束标签的处理方法。例如</div>，参数tag指的是div
    7.  **`HTMLParser.``handle_data`****(*data*****)**：对标签之间的数据的处理方法。<tag>test</tag>,data指的是“test”
    8.  **`HTMLParser.``handle_comment`****(*data*****)**：对HTML中注释的处理方法。

## 实例应用 ##

*  待处理文件: http://files.cnblogs.com/files/AlwinXu/Scan\_TFS.zip

*  代码

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> 
    <div>
      34 
    </div> 
    <div>
      35 
    </div> 
    <div>
      36 
    </div> 
    <div>
      37 
    </div> 
    <div>
      38 
    </div> 
    <div>
      39 
    </div> 
    <div>
      40 
    </div> 
    <div>
      41 
    </div> 
    <div>
      42 
    </div> 
    <div>
      43 
    </div> 
    <div>
      44 
    </div> 
    <div>
      45 
    </div> 
    <div>
      46 
    </div> 
    <div>
      47 
    </div> 
    <div>
      48 
    </div> 
    <div>
      49 
    </div> 
    <div>
      50 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>__author__&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>'xua'</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>import</code>&nbsp; 
      <code>json</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#For python 3.x</code> 
     </div> 
     <div> 
      <code>from</code>&nbsp; 
      <code>html.parser&nbsp;</code> 
      <code>import</code>&nbsp; 
      <code>HTMLParser</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#定义HTMLParser的子类,用以复写HTMLParser中的方法</code> 
     </div> 
     <div> 
      <code>class</code>&nbsp; 
      <code>MyHTMLParser(HTMLParser):</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#构造方法,定义data数组用来存储html中的数据</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>def</code>&nbsp; 
      <code>__init__(</code> 
      <code>self</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>HTMLParser.__init__(</code> 
      <code>self</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>self</code> 
      <code>.data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>[]</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#覆盖starttag方法,可以进行一些打印操作</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>def</code>&nbsp; 
      <code>handle_starttag(</code> 
      <code>self</code> 
      <code>, tag, attrs):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>pass</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#print("Start Tag: ",tag)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#for attr in attrs:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#&nbsp;&nbsp; print(attr)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#覆盖endtag方法</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>def</code>&nbsp; 
      <code>handle_endtag(</code> 
      <code>self</code> 
      <code>, tag):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>pass</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>#覆盖handle_data方法,用来处理获取的html数据,这里保存在data数组</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>def</code>&nbsp; 
      <code>handle_data(</code> 
      <code>self</code> 
      <code>, data):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>data.count(</code> 
      <code>'\n'</code> 
      <code>)&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>0</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>self</code> 
      <code>.data.append(data)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#读取本地html文件.(当然也可以用urllib.request中的urlopen来打开网页数据并读取,这里不做介绍)</code> 
     </div> 
     <div> 
      <code>htmlFile&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>open</code> 
      <code>(r</code> 
      <code>"/Users/xualvin/Downloads/TFS.htm"</code> 
      <code>,</code> 
      <code>'r'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>content&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>htmlFile.read()</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#创建子类实例</code> 
     </div> 
     <div> 
      <code>parser&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>MyHTMLParser()</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#将html数据传给解析器进行解析</code> 
     </div> 
     <div> 
      <code>parser.feed(content)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>#对解析后的数据进行相应操作并打印</code> 
     </div> 
     <div> 
      <code>for</code>&nbsp; 
      <code>item&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>parser.data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>item.startswith(</code> 
      <code>"{\"columns\""</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>payloadDict&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>json.loads(item)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>list</code>&nbsp; 
      <code>=</code>&nbsp; 
      <code>payloadDict[</code> 
      <code>"payload"</code> 
      <code>][</code> 
      <code>"rows"</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>backlog&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>list</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>backlog[</code> 
      <code>1</code> 
      <code>]&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>"Product Backlog Item"</code>&nbsp; 
      <code>or</code>&nbsp; 
      <code>backlog[</code> 
      <code>1</code> 
      <code>]&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>"Bug"</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(backlog[</code> 
      <code>2</code> 
      <code>],</code> 
      <code>"&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Point: "</code> 
      <code>,backlog[</code> 
      <code>3</code> 
      <code>])</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/jessitommy/p/11076353.html