python3 处理 html转义字符

水深无声 2021-08-31 00:31 521阅读 0赞

写爬虫是一个发送请求，提取数据，清洗数据，存储数据的过程。在这个过程中，不同的数据源返回的数据格式各不相同，有 JSON 格式，有 XML 文档，不过大部分还是 HTML 文档，HTML 经常会混杂有转移字符，这些字符我们需要把它转义成真正的字符。

### 什么是转义字符 ###

在 HTML 中 `<`、`>`、`&` 等字符有特殊含义（<，> 用于标签中，& 用于转义），他们不能在 HTML 代码中直接使用，如果要在网页中显示这些符号，就需要使用 HTML 的转义字符串（Escape Sequence），例如 `<` 的转义字符是 `<`，浏览器渲染 HTML 页面时，会自动把转移字符串换成真实字符。

转义字符（Escape Sequence）由三部分组成：第一部分是一个 & 符号，第二部分是实体（Entity）名字，第三部分是一个分号。 比如，要显示小于号（<），就可以写`<` 。

![Center][]

### Python 反转义字符串 ###

用 Python 来处理转义字符串有多种方式，而且 py2 和 py3 中处理方式不一样，在 python2 中，反转义串的模块是 `HTMLParser`。

# python2
    import HTMLParser
    >>> HTMLParser().unescape('a=1&b=2')
    'a=1&b=2'

Python3 把 HTMLParser 模块迁移到 `html.parser`

# python3
    >>> from html.parser import HTMLParser
    >>> HTMLParser().unescape('a=1&b=2')
    'a=1&b=2'

到 python3.4 之后的版本，在 html 模块新增了 unescape 方法。

# python3.4
    >>> import html
    >>> html.unescape('a=1&b=2')
    'a=1&b=2'

推荐最后一种写法，因为 HTMLParser.unescape 方法在 Python3.4 就已经被废弃掉不推荐使用，意味着之后的版本有可能会被彻底移除。

另外，sax 模块也有支持反转义的函数

>>> from xml.sax.saxutils import unescape
    >>> unescape('a=1&b=2')
    'a=1&b=2'

当然，你完全可以实现自己的反转义功能，不复杂，当然，我们崇尚不重复造轮子。

[Center]: /images/20210728/0ef74d6208c84cc7931d25328db02ef8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，521人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python对HTML转义字符如何进行反转义

什么是[转义][Link 1]字符在 HTML 中 <、>、& 等字符有特殊含义（<，> 用于标签中，& 用于转义），他们不能在 HTML 代码中直接使用，如果要在网

Myth丶恋晨/ 2024年03月31日 10:25/ 0 赞/ 91 阅读

相关 Python3转义字符

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

清疚/ 2023年10月07日 11:08/ 0 赞/ 73 阅读

相关 HTML 转义字符

诸如 “<” 之类的符号在HTML中拥有特殊的含义，所以在文本中使用它们。为了在 HTML 中显示小于号 (<)，我们需要使用字符实体。字符实体一些字符在 HT

约定不等于承诺〃/ 2023年10月03日 19:20/ 0 赞/ 74 阅读

相关 python处理html符号转义

Python处理HTML转义字符在抓网页数据经常遇到例如>或者这种HTML转义符，抓到字符串里很是烦人。比方说一个从网页中抓到的字符串: p =’<abc>’

痛定思痛。/ 2022年10月06日 00:37/ 0 赞/ 232 阅读

相关 html转义字符

fn:escapeXml可以进行html转义。将有特殊意义的XML (和HTML)转换为对应的XML character entity code，并返回。这样，像t

骑猪看日落/ 2022年08月03日 11:59/ 0 赞/ 350 阅读

相关 html中字符转义

当我们遇到一种情况，“”里面还有“”的时候会出现问题。这个时候我们需要对特殊符号进行转义。 <%@ tag language="java" pageEncodi

﹏ヽ暗。殇╰゛Y/ 2022年08月02日 12:58/ 0 赞/ 429 阅读

相关 HTML 转义字符

<table style="color:rgb(51,51,51)"> <tbody> <tr> <th style="color:rgb(0,108,191

喜欢ヅ旅行/ 2022年06月01日 07:59/ 0 赞/ 330 阅读

相关 Python3之处理HTML转义字符

import html def get_article_content(url): """ 获取文章内容 :return: """

灰太狼/ 2022年05月15日 03:50/ 0 赞/ 367 阅读

相关转义字符html

[&nbsp|&quot|&amp|&lt|&gt等html字符转义][nbsp_quot_amp_lt_gt_html] <table> <tbody> <t

男娘i/ 2022年01月31日 00:11/ 0 赞/ 573 阅读

相关 python3 处理 html转义字符

写爬虫是一个发送请求，提取数据，清洗数据，存储数据的过程。在这个过程中，不同的数据源返回的数据格式各不相同，有 JSON 格式，有 XML 文档，不过大部分还是 HTML 文档

水深无声/ 2021年08月31日 00:31/ 0 赞/ 522 阅读