python3 中的编码问题 unicode, utf-8, gbk, ascii

痛定思痛。 2021-07-28 13:00 444阅读 0赞

1. ASCII是最早的字符集，总共包含127个字符，因为是美国人发明的，127个够他们用了。

2. GBK是ASCII的扩展集，ASCII使用一个字节，即8个二进制位，来表征英文字母和一些符号，一个字节可以最多表示2的8次方即256个字符。前127个被称为ASCII字符集，后续在ASCII的基础上进行扩展，将剩余的127个用来表征汉字，但汉字太多，所以不得不在必要时使用2个字符来表示更多的汉字，被称为GB2312字符集，后来仍然不够，又进一步扩展成GBK字符集。所以在此字符集中，英文占一个字节，汉字则占两个字节。

3. UNICODE也是字符集，包含了世界上所有民族的所有文字，因其一律使用两个字符来表示字符。其同时还有备用方案，即使用4个字节来表示字符，总共可容纳上亿的字符。

4. 由于互联网的出现，UNICODE字符集的传输出现了问题，像英文字符本来需要一个字节就可以保存，如果强行用两个甚至三个四个字节来表示，传输的内容将成倍的增加，这是无法接受的，一定要解决。因此也就带来了UTF-8。

5. UTF-8的意思即以每次传输8bits的形式来进行信息传递。如果一个字节能传输完，就传输一个字节，一个字节不够的，再用更多的字节来表示，下图为UNICODE与UTF-8的对应关系。

<table> 
 <tbody> 
  <tr> 
   <td colspan="2">Unicode符号范围(十六进制)</td> 
   <td colspan="4">UTF-8编码方式(二进制)</td> 
  </tr> 
  <tr> 
   <td>起始</td> 
   <td>终止</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>0000 0000</td> 
   <td>0000 007F</td> 
   <td>0xxxxxxx</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>0000 0080</td> 
   <td>0000 07FF</td> 
   <td>110xxxxx</td> 
   <td>11110xxx</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>0000 0800</td> 
   <td>0000 FFFF</td> 
   <td>1110xxxx</td> 
   <td>11110xxx</td> 
   <td>11110xxx</td> 
   <td>&nbsp;</td> 
  </tr> 
  <tr> 
   <td>0001 0000</td> 
   <td>0010 FFFF</td> 
   <td>11110xxx</td> 
   <td>11110xxx</td> 
   <td>11110xxx</td> 
   <td>11110xxx</td> 
  </tr> 
 </tbody> 
</table>

因此，这样就解决了4中提到的问题。

以上内容与python的关系：

1. python3的默认编码方式是unicode。

2. encode与decode方法，如何区分？可以理解为unicode是标准的普通话，如果要改成gbk或者utf-8，就需要encode编码（加密），反之则是decode解码（解密）。

3. python3中正常创建的字符的储存方式是unicode，已经是标准的普通话了，无法再解密了，所以如果对一个字符串使用decode方法会提示 AttributeError: 'str' object has no attribute 'decode'。

4. python3中创建字符串，前面加u代表使用unicode字符集，python3的默认字符集已经是unicode，所以已经不需要加u。

5. python3中创建字符串，前面加b代表使用ASCII字符集，只能创建ASCII字符集中存在的字符，中文字符前加b会报错。

6. python3中处理带有'\\x'的字符串，<string>.`encode(``'raw_unicode_escape'``).decode(``'utf8'``)。`

下图为python2环境，交互式界面。

Python 2.7.10 (default, Feb 7 2017, 00:08:15)
    [GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin
    Type "help", "copyright", "credits" or "license" for more information.
    >>> s='我们'
    >>> b=u'我们'
    >>> s
    '\xe6\x88\x91\xe4\xbb\xac'
    >>> b
    u'\u6211\u4eec'
    >>> print s
    我们
    >>> print b
    我们
    >>>

下图为使用python2执行test.py文件。

#! /usr/bin/env python
    s = '匆匆'
    print(s)

输出结果为：

File "./test.py", line 2
    
    SyntaxError: Non-ASCII character '\xe5' in file ./test.py on line 2, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

添加编码即可：

#! /usr/bin/env python
    # -*- encoding: utf-8 -*-
    s = '匆匆'
    print(s)