字符编码(一)

た入场券 2022-08-25 14:42 220阅读 0赞

在写文档的时候，拷贝程序中的代码至Word中，发现了下图所示的问题：乱码。

![Center][]

图1 乱码问题示意图

联想到先前在工作中也出现过类似的情况：某些.h或者.cpp文件打开后中文的注释显示一些很奇怪字符，而代码部分相对完整。上网查资料后才渐渐明白了原来是编码方式的问题。乱码中出现？或？，原因是 当程序使用特定编码解析字节流的时候，一旦遇到无法解析的字节流时，就会用？或？来代替。这个问题涉及到计算机的编码方式问题。通过了解字符的存储编码，可以解决很多由编码不匹配引起的问题，比如网页乱码、邮件乱码等问题。针对这一问题及解决方案做了一个小结。希望可以给碰到类似问题的朋友们一点帮助。

**1.术语解释**

计算机中储存的信息都是用二进制数表示的，而我们在屏幕上看到的英文、汉字等字符是二进制数转换之后的结果。通俗的说，按照何种规则将字符存储在计算机中，如'a'用什么表示，称为"编码"，编码的过程就是将字符转换为字节流。；反之，将存储在计算机中的二进制数解析显示出来，称为"解码"，解码的过程就是将字节流解析为字符。如同密码学中的加密和解密。在解码过程中，如果使用了错误的解码规则，则导致'a'解析成'b'或者乱码。

**关于编码：**在显示器上看见的文字、图片等信息在电脑里面其实并不是我们看见的样子，即使你知道所有信息都存储在硬盘里，把它拆开也看不见里面有任何东西，只有些盘片。假设，你用显微镜把盘片放大，会看见盘片表面凹凸不平，凸起的地方被磁化，凹的地方是没有被磁化；凸起的地方代表数字1，凹的地方代表数字0。硬盘只能用0和1来表示所有文字、图片等信息。那么字母”A”在硬盘上是如何存储的呢？可能小张计算机存储字母”A”是1100001，而小王存储字母”A”是11000010，这样双方交换信息时就会误解。比如小张把1100001发送给小王，小王并不认为1100001是字母”A”，可能认为这是字母”X”，于是小王在用记事本访问存储在硬盘上的1100001时，在屏幕上显示的就是字母”X”。也就是说，小张和小王使用了不同的编码表。小张用的编码表是ASCII，ASCII编码表把26个字母都一一的对应到2进制1和0上；小王用的编码表可能是EBCDIC,只不过EBCDIC编码与ASCII编码中的字母和01的对应关系不同。一般地说，开放的操作系统（LINUX 、WINDOWS等）采用ASCII 编码，而大型主机系统（MVS 、OS/390等）采用EBCDIC 编码。在发送数据给对方前，需要事先告知对方自己所使用的编码，或者通过转码，使不同编码方案的两个系统可沟通自如。

**字符集（Charset）****：**是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。简单地讲就是字符的集合，例如ASCII字符集，定义了128个字符，GB2312定义了7445个字符，而计算机中提到的字符集，准确地来讲，指的是已编号的字符的有序集合（不一定连续）。

**字符编码（Character Encoding）：**是一套法则，使用该法则能够对自然语言的字符的一个集合（如字母表或音节表），与其他东西的一个集合（如号码或电脉冲）进行配对。即在符号集合与数字系统之间建立对应关系，它是信息处理的一项基本技术。通常人们用符号集合（一般情况下就是文字）来表达信息。而以计算机为基础的信息处理系统则是利用元件（硬件）不同状态的组合来存储和处理信息的。元件不同状态的组合能代表数字系统的数字，因此字符编码就是将符号转换为计算机可以接受的数字系统的数，称为数字代码。

**字符码(Code Point):**指字符集中每个字符的数字编码。例如ASCII字符集用0-127这连续的128个数字分别表示128个字符。GBK字符集使用区位码的方式为每个字符编号，首先定义一个94\*94的矩阵，行称为“区”，列称为“位”，然后将所有的国标汉字放入矩阵中，这样每一个汉字都可以用一个唯一的 “区位”码来标识。例如汉字“中”被放到54区第48位，因此在这种编码方式中对应的区位码就是5448。而Unicode中是将字符集按照一定的类别划分到0~16这17个层面（Planes），每个层面公有216=65536个字符码，因此Unicode编码方式对应的字符空间（总共拥有的字符码个数）为 17\*65536

**代码页（Code Page）：**一种字符编码具体形式。早期字符相对少，因此通常会使用类似表格的形式将字符直接映射为字节流，然后通过查表的方式来实现字符的编解码。现代操作系统沿用了这种方式。例如 Windows使用936代码页、Mac系统使用EUC-CN代码页实现GBK字符集的编码，名字虽然不一样，但对于同一汉字的编码肯定是一样的。

**大小端(Little endian and Big endian)：**大小端说法源自《格列佛游记》。我们知道，鸡蛋通常一端大一端小，小人国的人们对于剥蛋壳时应从哪一端开始剥起有着不一样的看法。同样，计算机界对于传输多字节字（由多个字节来共同表示一个数据类型）时，是先传高位字节（大端）还是先传低位字节（小端）也有着不一样的看法，这就是计算机里头大小端模式的由来了。无论是写文件还是网络传输，实际上都是往流设备进行写操作的过程，而且这个写操作是从流的低地址向高地址开始写（这很符合人的习惯），对于多字节字来说，如果先写入高位字节，则称作大端模式(第一个字节在前)。反之则称作小端模式(第二个字节在前)。也就是说，大端模式下，字节序和流设备的地址顺序是相反的，而小端模式则是相同的。那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？Unicode规范中定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做"零宽度非换行空格"（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。一般网络协议都采用大端模式进行传输。

**2.常用字符集和字符编码**

常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集（第二篇单独介绍）等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能够识别和存储各种文字。

**2.1.ASCII字符集和编码**

关于ASCII字符集和编码，在前面的博文中已做过详细的介绍，这里就不再重述，详细信息可参考：[常用 ASCII 码对照表][ASCII]

这里说明一点：ASCII的最大缺点是只能显示26个基本拉丁字母、阿拉伯数目字和英式标点符号，因此只能用于显示现代美国英语（而且在处理英语当中的外来词如naïve、café、élite等等时，所有重音符号都不得不去掉，即使这样做会违反拼写规则）。而EASCII虽然解决了部份西欧语言的显示问题，但对更多其他语言依然无能为力。因此现在的苹果电脑已经抛弃ASCII而转用Unicode。

**2.2. GB2312字符集和编码**

计算机发明之处及后面很长一段时间，只用应用于美国及西方一些发达国家，ASCII能够很好满足用户的需求。但是当天朝也有了计算机之后，为了显示中文，必须设计一套编码规则用于将汉字转换为计算机可以接受的数字系统的数。天朝专家把那些127号之后的奇异符号们（即EASCII）取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，还把数学符号、罗马希腊的 字母、日文的假名们都编进去了，连在ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。

上述编码规则就是GB2312。GB2312 也是ANSI编码里的一种，对ANSI编码最初始的ASCII编码进行扩充，为了满足国内在计算机中使用汉字的需要，中国国家标准总局发布了一系列的汉字字符集国家标准编码，统称为GB码，或国标码。其中最有影响的是于1980年发布的《信息交换用汉字编码字符集 基本集》，标准号为GB 2312-1980,因其使用非常普遍，也常被通称为国标码。GB2312编码通行于我国内地；新加坡等地也采用此编码。几乎所有的中文系统和国际化的软件都支持GB 2312。

GB 2312是一个简体中文字符集，由6763个常用汉字和682个全角的非汉字字符组成。其中汉字根据使用的频率分为两级。一级汉字3755个，二级汉字3008个。由于字符数量比较大，GB2312采用了二维矩阵编码法对所有字符进行编码。首先构造一个94行94列的方阵，对每一行称为一个“区”，每一列称为一个“位”，然后将所有字符依照下表的规律填写到方阵中。这样所有的字符在方阵中都有一个唯一的位置，这个位置可以用区号、位号合成表示，称为字符的区位码。如第一个汉字“啊”出现在第16区的第1位上，其区位码为1601。因为区位码同字符的位置是完全对应的，因此区位码同字符之间也是一一对应的。这样所有的字符都可通过其区位码转换为数字编码信息。GB2312字符的排列分布情况见表2－1。

表2－1 GB2312 字符编码分布表

<table style="font-family:宋体"> 
 <tbody> 
 <tr> 
 <td> 分区范围 </td> 
 <td> 符号类型 </td> 
 </tr> 
 <tr> 
 <td> 第01区 </td> 
 <td> 中文标点、数学符号以及一些特殊字符 </td> 
 </tr> 
 <tr> 
 <td> 第02区 </td> 
 <td> 各种各样的数学序号 </td> 
 </tr> 
 <tr> 
 <td> 第03区 </td> 
 <td> 全角西文字符 </td> 
 </tr> 
 <tr> 
 <td> 第04区 </td> 
 <td> 日文平假名 </td> 
 </tr> 
 <tr> 
 <td> 第05区 </td> 
 <td> 日文片假名 </td> 
 </tr> 
 <tr> 
 <td> 第06区 </td> 
 <td> 希腊字母表 </td> 
 </tr> 
 <tr> 
 <td> 第07区 </td> 
 <td> 俄文字母表 </td> 
 </tr> 
 <tr> 
 <td> 第08区 </td> 
 <td> 中文拼音字母表 </td> 
 </tr> 
 <tr> 
 <td> 第09区 </td> 
 <td> 制表符号 </td> 
 </tr> 
 <tr> 
 <td> 第10－15区 </td> 
 <td> 无字符 </td> 
 </tr> 
 <tr> 
 <td> 第16－55区 </td> 
 <td> 一级汉字（以拼音字母排序） </td> 
 </tr> 
 <tr> 
 <td> 第56－87区 </td> 
 <td> 二级汉字（以部首笔画排序） </td> 
 </tr> 
 <tr> 
 <td> 第88－94区 </td> 
 <td> 无字符 </td> 
 </tr> 
 </tbody> 
</table>

GB2312字符在计算机中存储是以其区位码为基础的，其中汉字的区码和位码分别占一个存储单元，每个汉字占两个存储单元。由于区码和位码的取值范围都是在1－94之间，这样的范围同西文的存储表示冲突。例如汉字‘珀’在GB2312中的区位码为7174，其两字节表示形式为71，74；而两个西文字符‘GJ’的存储码也是71,74。这种冲突将导致在解释编码时到底表示的是一个汉字还是两个西文字符将无法判断。

为避免同西文的存储发生冲突，GB2312字符在进行存储时，通过将原来的每个字节第8bit设置为1同西文加以区别，如果第8bit为0，则表示西文字符，否则表示GB2312中的字符。实际存储时，采用了将区位码的每个字节分别加上A0H（160）的方法转换为存储码，计算机存储规则是此编码的补码，而且是位码在前，区码在后。例如汉字‘啊’的区位码为1601，其存储码为B0A1H，其转换过程为：

GB2312编码用两个字节(8位2进制)表示一个汉字，所以理论上最多可以表示256×256=65536个汉字。但这种编码方式也仅仅在中国行得通，如果您的网页使用的GB2312编码，那么很多外国人在浏览你的网页时就可能无法正常显示，因为其浏览器不支持GB2312编码。当然，中国人在浏览外国网页(比如日文)时，也会出现乱码或无法打开的情况，因为我们的浏览器没有安装日文的编码表。

**2.3.GBK字符集和编码**

GBK即汉字内码扩展规范，K为扩展的汉语拼音中“扩”字的声母。英文全称Chinese Internal Code Specification。GBK编码标准兼容GB2312，共收录汉字21003个、符号883个，并提供1894个造字码位，简、繁体字融于一库。GB2312码是中华人民共和国国家汉字信息交换用编码，全称《信息交换用汉字编码字符集——基本集》，1980年由国家标准总局发布。基本集共收入汉字6763个和非汉字图形字符682个，通行于中国大陆。新加坡等地也使用此编码。GBK是对GB2312-80的扩展，也就是CP936字码表 (Code Page 936)的扩展（之前CP936和GB 2312-80一模一样）

**2.3.1 基本简介**

GB 2312的出现，基本满足了汉字的计算机处理需要，但对于人名、古汉语等方面出现的罕用字，GB 2312不能处理，这导致了后来GBK及GB 18030汉字字符集的出现。

GBK采用双字节表示，总体编码范围为8140-FEFE，首字节在81-FE 之间，尾字节在40-FE 之间，剔除 xx7F一条线。总计23940 个码位，共收入21886个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号883 个。P-Windows3.2和苹果OS以GB2312为基本汉字编码， Windows 95/98则以GBK为基本汉字编码。

有些汉字用五笔和拼音都打不出来，如：溙（五笔IDWI），须调出GBK字符集才能打出这个字。极品五笔中可右击输入法图标，设置，属性中选GBK字符集。极点五笔中可点击工具条中相关图标进行转换。

**2.3.2 计算公式**

GBK码对字库中偏移量的计算公式为：

\[(GBKH-0xB0)\*0x5E+(GBKL-0xA1)\]\*(汉字离散后每个汉字点阵所占用的字节)

**2.3.3.编码方式**

字符有一字节和双字节编码，00–7F范围内是一位，和ASCII保持一致，此范围内严格上说有96个字符和32个控制符号。

之后的双字节中，前一字节是双字节的第一位。总体上说第一字节的范围是81–FE（也就是不含80和FF），第二字节的一部分领域在40–7E，其他领域在80–FE。

**2.4. BIG5字符集和编码**

Big5，又称为大五码或五大码，是使用繁体中文（正体中文）社区中最常用的电脑汉字字符集标准，共收录13,060个汉字。中文码分为内码及交换码两类，Big5属中文内码，知名的中文交换码有CCCII、CNS11643。

在台湾、香港与澳门地区，使用的是繁体中文字符集。而1980年发布的GB2312面向简体中文字符集，并不支持繁体汉字。在这些使用繁体中文字符集的地区，一度出现过很多不同厂商提出的字符集编码，这些编码彼此互不兼容，造成了信息交流的困难。为统一繁体字符集编码，1984年，台湾五大厂商宏碁、神通、佳佳、零壹以及大众一同制定了一种繁体中文编码方案，因其来源被称为五大码，英文写作Big5，后来按英文翻译回汉字后，普遍被称为大五码。

大五码是一种繁体中文汉字字符集，其中繁体汉字13053个，808个标点符号、希腊字母及特殊符号。大五码的编码码表直接针对存储而设计，每个字符统一使用两个字节存储表示。第1字节范围81H－FEH，避开了同ASCII码的冲突，第2字节范围是40H－7EH和A1H－FEH。因为Big5的字符编码范围同GB2312字符的存储码范围存在冲突，所以在同一正文不能对两种字符集的字符同时支持。

Big5编码的分布如表1－5所示，Big5字符主要部分集中在三个段内：标点符号、希腊字母及特殊符号；常用汉字；非常用汉字。其余部分保留给其他厂商支持。

表1－5　Big5字符编码分布表

<table> 
 <tbody> 
 <tr> 
 <td> 编码范围 </td> 
 <td> 符号类别 </td> 
 </tr> 
 <tr> 
 <td> 8140H－A0FEH </td> 
 <td> 保留（用作造字区） </td> 
 </tr> 
 <tr> 
 <td> A140H－A3BFH </td> 
 <td> 标点符号、希腊字母及特殊符号 </td> 
 </tr> 
 <tr> 
 <td> A3C0H－A3FEH </td> 
 <td> 保留（未开放用于造字区） </td> 
 </tr> 
 <tr> 
 <td> A440H－C67EH </td> 
 <td> 常用汉字（先按笔划，再按部首排序） </td> 
 </tr> 
 <tr> 
 <td> C6A1H－C8FEH </td> 
 <td> 保留（用作造字区） </td> 
 </tr> 
 <tr> 
 <td> C940H－F9D5H </td> 
 <td> 非常用汉字（先按笔划，再按部首排序） </td> 
 </tr> 
 <tr> 
 <td> F9D6H－FEFEH </td> 
 <td> 保留（用作造字区） </td> 
 </tr> 
 </tbody> 
</table>

Big5编码推出后，得到了繁体中文软件厂商的广泛支持，在使用繁体汉字的地区迅速普及使用。目前，Big5编码在台湾、香港、澳门及其他海外华人中普遍使用，成为了繁体中文编码的事实标准。在互联网中检索繁体中文网站，所打开的网页中，大多都是通过Big5编码产生的文档。

鉴于Unicode应用的广泛性和重要性，这种编码方式就单独做说明，详见字符编码（二）Unicode详细介绍（待续）

[Center]: /images/20220824/5690ffde1942464aa27e94e75bf19d5b.png
[ASCII]: http://blog.csdn.net/shufac/article/details/20581109