Python怎么样提取html中文本到txt

不念不忘少年蓝@ 2024-03-23 22:01 68阅读 0赞

![72ee16cfc69544969f5ad46d0f4f776a.jpeg][]

本文主要介绍了Python如何提取html中文本到txt问题，具有很好的参考价值，希望对大家有所帮助。

### Python提取html中文本到txt ###

#### 正则去标签方式 ####

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code># -*- coding: utf-8 -*-</code> <code>import</code> <code>re</code> <code>def</code> <code>html_tag_rm(content: </code><code>str</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>dr </code><code>=</code> <code>re.</code><code>compile</code><code>(r</code><code>'&lt;[^&gt;]+&gt;'</code><code>,re.S)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>dr.sub('',content)</code> </td> 
 </tr> 
 </tbody> 
</table>

#### nltk ####

比较笨重

需要安装依赖 nltk, numpy, pyyaml

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code># -*- coding: utf-8 -*-</code> <code>import</code> <code>nltk</code> <code>def</code> <code>html_tag_rm(content: </code><code>str</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>nltk.clean_html(content)</code> </td> 
 </tr> 
 </tbody> 
</table>

#### htmlParser ####

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 </td> 
 <td> <code>import</code> <code>re</code> <code>from</code> <code>sys </code><code>import</code> <code>stderr </code> <code>from</code> <code>traceback </code><code>import</code> <code>print_exc</code> <code>from</code> <code>HTMLParser </code><code>import</code> <code>HTMLParser</code> <code>&nbsp;</code>&nbsp; <code>class</code> <code>_DeHTMLParser(HTMLParser): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>__init__(</code><code>self</code><code>): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HTMLParser.__init__(</code><code>self</code><code>) </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.__text </code><code>=</code> <code>[] </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>handle_data(</code><code>self</code><code>, data): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>text </code><code>=</code> <code>data.strip() </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>len</code><code>(text) &gt; </code><code>0</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>text </code><code>=</code> <code>re.sub(</code><code>'[ \t\r\n]+'</code><code>, </code><code>' '</code><code>, text) </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.__text.append(text </code><code>+</code> <code>' '</code><code>) </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>handle_starttag(</code><code>self</code><code>, tag, attrs): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>tag </code><code>=</code><code>=</code> <code>'p'</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.__text.append(</code><code>'\n\n'</code><code>) </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>elif</code> <code>tag </code><code>=</code><code>=</code> <code>'br'</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.__text.append(</code><code>'\n'</code><code>) </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>handle_startendtag(</code><code>self</code><code>, tag, attrs): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>tag </code><code>=</code><code>=</code> <code>'br'</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.__text.append(</code><code>'\n\n'</code><code>) </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code> <code>text(</code><code>self</code><code>): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>''.join(</code><code>self</code><code>.__text).strip() </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;</code>&nbsp; <code>def</code> <code>dehtml(text): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>parser </code><code>=</code> <code>_DeHTMLParser() </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>parser.feed(text) </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>parser.close() </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>parser.text() </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print_exc(</code><code>file</code><code>=</code><code>stderr) </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>text </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;</code>&nbsp; <code>def</code> <code>main(): </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>text </code><code>=</code> <code>r</code><code>'''''</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;html&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;body&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;b&gt;Project:&lt;/b&gt; DeHTML&lt;br&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;b&gt;Description&lt;/b&gt;:&lt;br&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>This small script is intended to allow conversion from HTML markup to </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>plain text.</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;/body&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>&lt;/html&gt;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>'''</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(dehtml(text)) </code> <code>&nbsp;</code>&nbsp; <code>&nbsp;</code>&nbsp; <code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>'__main__'</code><code>: </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>main()</code> </td> 
 </tr> 
 </tbody> 
</table>

### Python提取txt正则内容 ###

其中：

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>pattern </code><code>=</code> <code>re.</code><code>compile</code><code>(r</code><code>'^.["“subject”"] [([^[])].*'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

为修改的正则匹配部分

### 总结 ###

以上为个人经验，希望能给大家一个参考，也希望可以帮到大家

转自：[微点阅读][Link 1] [https://www.weidianyuedu.com][https_www.weidianyuedu.com]

[72ee16cfc69544969f5ad46d0f4f776a.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/f6614198d8b34f0fbadcac5e203d7748.png
[Link 1]: https://m.weidianyuedu.com/
[https_www.weidianyuedu.com]: https://www.weidianyuedu.com