Unicode、GB2312、GBK和GB18030中的汉字[转]

妖狐艹你老母 2022-08-08 00:48 386阅读 0赞

http://blog.csdn.net/fmddlmyy/archive/2007/11/05/1868313.aspx  
  
GB18030有两个版本：GB18030-2000和GB18030-2005。GB18030-2000是GBK的取代版本，它的主要特点是在GBK基础上增加了CJK统一汉字扩充A的汉字。GB18030-2005的主要特点是在GB18030-2000基础上增加了 CJK统一汉字扩充B的汉字。本文数一数GB18030中的汉字，也顺便看看其它标准中的汉字。

## 1 Unicode中的汉字 ##

在Unicode 5.0的99089个字符中，有71226个字符与汉字有关。它们的分布如下：

<table> 
 <tbody> 
 <tr> 
 <td>Block名称</td> 
 <td>开始码位</td> 
 <td>结束码位</td> 
 <td>字符数</td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字</td> 
 <td>4E00</td> 
 <td>9FBB</td> 
 <td>20924</td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字扩充A</td> 
 <td>3400</td> 
 <td>4DB5</td> 
 <td>6582</td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字扩充B</td> 
 <td>20000</td> 
 <td>2A6D6</td> 
 <td>42711</td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td>CJK兼容汉字</td> 
 <td>F900</td> 
 <td>FA2D</td> 
 <td>302</td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td>CJK兼容汉字</td> 
 <td>FA30</td> 
 <td>FA6A</td> 
 <td>59</td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td>CJK兼容汉字</td> 
 <td>FA70</td> 
 <td>FAD9</td> 
 <td>106</td> 
 </tr> 
 <tr> 
 <td>CJK兼容汉字补充</td> 
 <td>2F800</td> 
 <td>2FA1D</td> 
 <td>542</td> 
 </tr> 
 </tbody> 
</table>

如果不算兼容汉字，Unicode目前支持的汉字总数是20924+6582+42711=70217。

这里有一个细节。在早期的Unicode版本中，CJK统一汉字区的范围是0x4E00-0x9FA5，也就是我们经常提到的20902个汉字。当前版本的Unicode增加了22个字符，码位是0x9FA6-0x9FBB。它们是：

![cjk.gif][]

那么GB18030是否支持这22个字符？后面还会讨论。

## 2 GB2312 ##

1980年的GB2312一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72\*94=6768。其中有5个空位是D7FA-D7FE。

这6763个汉字在Unicode中不是连续的，分布在CJK统一汉字字符区（0x4E00-0x9FA5）的20902个汉字中。

## 3 GBK ##

1995年的汉字扩展规范GBK1.0收录了21886个符号，包括21003个汉字和883个其它符号。

这21003汉字包括CJK统一汉字区的20902个汉字。余下的101个汉字包括：

* 增补汉字和部首80个，包括28个部首和52个汉字。GBK编码是从FE50-FE7E，FE80-FEA0。下图标注了Unicode编码。 
 
 ![gbk_80.gif][]
 
 在制定GBK时，Unicode中还没有这些字符，所以使用了专用区的码位，这80个字符的码位是0xE815-0xE864。后来，Unicode将52 个汉字收录到“CJK统一汉字扩充A”。28个部首中有14个部首被收录到“CJK部首补充区”。所以在上图中，这些字符都有两个Unicode编码。
 
 上图中淡黄色背景的8个部首被收录到“CJK统一汉字区”的新增区域，即前面提到的0x9FA6-0x9FBB。还有6个淡灰色背景的部首被Unicode收录到“CJK统一汉字扩充B”（网友slt指正）。
 
 **请注意，淡黄色和淡灰色的14个字符按照GB18030还是应该映射到PUA码位。这14个字符与非PUA码位的映射关系只是网友找出来的，不是标准规定的。如果按照GBK编码，这80个字符应该全部映射到PUA码位。GB18030将其中66个字符映射到了非PUA码位。不过在Windows中，简体中文区域的默认代码页还是GBK，不是GB18030。**
 * CJK兼容汉字区挑选出来的21个汉字。见下表： 
 
 <table> 
 <tbody> 
 <tr> 
 <td>汉字</td> 
 <td>GBK编码</td> 
 <td>Unicode编码</td> 
 </tr> 
 <tr> 
 <td>郎</td> 
 <td>FD9C</td> 
 <td>F92C</td> 
 </tr> 
 <tr> 
 <td>凉</td> 
 <td>FD9D</td> 
 <td>F979</td> 
 </tr> 
 <tr> 
 <td>秊</td> 
 <td>FD9E</td> 
 <td>F995</td> 
 </tr> 
 <tr> 
 <td>裏</td> 
 <td>FD9F</td> 
 <td>F9E7</td> 
 </tr> 
 <tr> 
 <td>隣</td> 
 <td>FDA0</td> 
 <td>F9F1</td> 
 </tr> 
 <tr> 
 <td>兀</td> 
 <td>FE40</td> 
 <td>FA0C</td> 
 </tr> 
 <tr> 
 <td>嗀</td> 
 <td>FE41</td> 
 <td>FA0D</td> 
 </tr> 
 <tr> 
 <td>﨎</td> 
 <td>FE42</td> 
 <td>FA0E</td> 
 </tr> 
 <tr> 
 <td>﨏</td> 
 <td>FE43</td> 
 <td>FA0F</td> 
 </tr> 
 <tr> 
 <td>﨑</td> 
 <td>FE44</td> 
 <td>FA11</td> 
 </tr> 
 <tr> 
 <td>﨓</td> 
 <td>FE45</td> 
 <td>FA13</td> 
 </tr> 
 <tr> 
 <td>﨔</td> 
 <td>FE46</td> 
 <td>FA14</td> 
 </tr> 
 <tr> 
 <td>礼</td> 
 <td>FE47</td> 
 <td>FA18</td> 
 </tr> 
 <tr> 
 <td>﨟</td> 
 <td>FE48</td> 
 <td>FA1F</td> 
 </tr> 
 <tr> 
 <td>蘒</td> 
 <td>FE49</td> 
 <td>FA20</td> 
 </tr> 
 <tr> 
 <td>﨡</td> 
 <td>FE4A</td> 
 <td>FA21</td> 
 </tr> 
 <tr> 
 <td>﨣</td> 
 <td>FE4B</td> 
 <td>FA23</td> 
 </tr> 
 <tr> 
 <td>﨤</td> 
 <td>FE4C</td> 
 <td>FA24</td> 
 </tr> 
 <tr> 
 <td>﨧</td> 
 <td>FE4D</td> 
 <td>FA27</td> 
 </tr> 
 <tr> 
 <td>﨨</td> 
 <td>FE4E</td> 
 <td>FA28</td> 
 </tr> 
 <tr> 
 <td>﨩</td> 
 <td>FE4F</td> 
 <td>FA29</td> 
 </tr> 
 </tbody> 
 </table>

## 4 GB18030-2000 ##

### 4.1 字汇 ###

GB18030-2000的字汇部分是这样写的：

*本标准收录的字符分别以单字节、双字节和四字节编码。  
5.1 单字节部分  
　　本标准中，单字节的部分收录了GB 11383的0x00到0x7F全部128个字符及单字节编码的欧元符号。  
5.2 双字节部分  
　　本标准中，双字节的部分收录内容如下：  
　　GB 13000.1的全部CJK统一汉字字符。  
　　GB 13000.1的CJK兼容区挑选出来的21个汉字。  
　　GB 13000.1中收录而GB 2312未收录的我国台湾地区使用的图形字符139个。  
　　GB 13000.1收录的其它字符31个。  
　　GB 2312中的非汉字符号。  
　　GB 12345 的竖排标点符号19个。  
　　GB 2312未收录的10个小写罗马数字。  
　　GB 2312未收录的带音调的汉语拼音字母5个以及ɑ 和ɡ 。  
　　汉字数字“〇”。  
　　表意文字描述符13个。  
　　增补汉字和部首/构件80个。  
　　双字节编码的欧元符号。  
5.3 四字节部分  
　　本标准的四字节的部分，收录了上述双字节字符之外的，包括CJK统一汉字扩充A在内的GB 13000.1 中的全部字符。*

### 4.2 汉字 ###

如下表所示，GB18030-2000收录了27533个汉字：

<table> 
 <tbody> 
 <tr> 
 <td align="center">类别 </td> 
 <td align="center">码位范围 </td> 
 <td align="center">码位数 </td> 
 <td align="center">字符数 </td> 
 <td align="center">字符类型 </td> 
 </tr> 
 <tr> 
 <td align="center">双字节部分 </td> 
 <td>第一字节 0xB0-0xF7 第二字节 0xA1-0xFE </td> 
 <td align="center">6768 </td> 
 <td align="center">6763 </td> 
 <td align="center">汉字 </td> 
 </tr> 
 <tr> 
 <td>第一字节0x81-0xA0 第二字节0x40-0xFE </td> 
 <td align="center">6080 </td> 
 <td align="center">6080 </td> 
 <td align="center">汉字 </td> 
 </tr> 
 <tr> 
 <td>第一字节0xAA-0xFE 第二字节0x40-0xA0 </td> 
 <td align="center">8160 </td> 
 <td align="center">8160 </td> 
 <td align="center">汉字 </td> 
 </tr> 
 <tr> 
 <td align="center">四字节部分 </td> 
 <td>第一字节0x81-0x82 第二字节0x30-0x39 第三字节0x81-0xFE 第四字节0x30-0x39 </td> 
 <td align="center">6530 </td> 
 <td align="center">6530 </td> 
 <td align="center">CJK统一汉字扩充A </td> 
 </tr> 
 </tbody> 
</table>

27533就是6763+6080+8160+6530。双字节部分的6763+6080+8160=21003个汉字就是GBK的21003个汉字。

在Unicode中，CJK统一汉字扩充A有6582个汉字，为什么这里只有6530个汉字？

这是因为在GBK时代，双字节部分已经收录过CJK统一汉字扩充A的52个汉字，所以还余6530个汉字。

## 5 GB18030-2005 ##

### 5.1 字汇 ###

GB18030-2005的字汇部分是这样写的：

*本标准收录的字符分别以单字节、双字节或四字节编码。  
5.1 单字节部分  
　　本标准中，单字节的部分收录了GB/T 11383-1989的0x00到0x7F全部128个字符。  
5.2 双字节部分  
　　本标准中，双字节的部分收录内容如下：  
　　GB 13000.1－1993的全部CJK统一汉字字符。见附录A。  
　　GB 13000.1－1993的CJK兼容区挑选出来的21个汉字。见附录A。  
　　GB 13000.1－1993中收录而GB 2312未收录的我国台湾地区使用的图形字符139个。见附录A。  
　　GB 13000.1－1993收录的其它字符31个。见附录A。  
　　GB 2312中的非汉字符号。见附录A。  
　　GB 12345 的竖排标点符号19个。见附录A。  
　　GB 2312未收录的10个小写罗马数字。见附录A。  
　　GB 2312未收录的带音调的汉语拼音字母5个以及ɑ 和ɡ 。见附录A。  
　　汉字数字“〇”。 见附录A。  
　　表意文字描述符13个。见附录A和附录B。  
　　对GB 13000.1－1993增补的汉字和部首/构件80个。见附录A和附录C。  
　　双字节编码的欧元符号。见附录A。  
5.3 四字节部分  
　　本标准的四字节的部分，收录了上述双字节字符之外的，GB 13000的CJK统一汉字扩充A、CJK统一汉字扩充B和已经在GB13000中编码的我国少数民族文字的字符。见附录D。*

GB18030-2005最主要的变化是增加了CJK统一汉字扩充B。它还去掉了单字节编码的欧元符号（0x80）。

### 5.2 汉字 ###

如下表所示，GB18030-2005收录了70244个汉字：

70244就是6763+6080+8160+6530+42711。

## 6 结束语 ##

GB2312有6763个汉字，GBK有21003个汉字，GB18030-2000有27533个汉字，GB18030-2005有70244个汉字。

Unicode 5.0中，如果不算兼容区，目前有70217个汉字。让我们比较一下Unicode的70217汉字和GB18030-2005中的70244汉字：

<table> 
 <tbody> 
 <tr> 
 <td>GB18030-2005</td> 
 <td>Unicode 5.0</td> 
 <td>对应的Unicode编码</td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字的20902汉字</td> 
 <td>CJK统一汉字的20902汉字</td> 
 <td>0x4E00-0x9FA5</td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字扩充A的6582汉字</td> 
 <td>CJK统一汉字扩充A的6582汉字</td> 
 <td>0x3400-0x4DB5</td> 
 </tr> 
 <tr> 
 <td>CJK统一汉字扩充B的42711汉字</td> 
 <td>CJK统一汉字扩充B的42711汉字</td> 
 <td>0x20000-0x2A6D6</td> 
 </tr> 
 <tr> 
 <td>CJK部首补充区的14个部首</td> 
 <td>未计入</td> 
 <td>2E81, 2E84, 2E88, 2E8B, 2E8C, 2E97, 2EA7, 2EAA, 2EAE, 2EB3, 2EB6, 2EB7, 2EBB, 2ECA</td> 
 </tr> 
 <tr> 
 <td>CJK兼容汉字区的21个汉字</td> 
 <td>未计入</td> 
 <td>F92C, F979, F995, F9E7, F9F1, FA0C, FA0D, FA0E, FA0F, FA11, FA13, FA14, FA18, FA1F, FA20, FA21, FA23, FA24, FA27, FA28, FA29</td> 
 </tr> 
 <tr> 
 <td><img src="http://www.fmddlmyy.cn/images/gbk_8.gif" alt="" width="172" height="25"></td> 
 <td>CJK统一汉字区新增了这8个字符</td> 
 <td>0x9FB4-0x9FBB</td> 
 </tr> 
 <tr> 
 <td>未计入</td> 
 <td>CJK统一汉字区新增的14个字符</td> 
 <td>0x9FA6-0x9FB3</td> 
 </tr> 
 </tbody> 
</table>

因为GB18030映射了Unicode的所有码位，所以CJK统一汉字区新增的0x9FA6-0x9FB3这14个字符在GB18030中都有对应的码位。不过GB18030没有明确收录这些字符。

## 附录1 GB18030的汉字编码表 ##

我整理了GB18030的汉字编码表，需要的朋友可以[下载][Link 1]。以下是其中的简要说明：

*简要说明  
将表1（21003）和表2（6530）合起来就是GB18030-2000要求的27533个汉字  
将表1（21003）、表2（6530）和表3（42711）合起来就是GB18030-2005要求的70244个汉字  
Unicode的扩充A本来有6582个汉字，因为GB18030的双字节区已经收录过Unicode扩充A的52个汉字，所以GB18030四字节区扩充A只有6530个汉字。表4列出了这52个汉字。  
GBK增补的80个字符本来是放在PUA区的。后来又被Unicode收录。所以既可以用PUA区的编码表示，也可以用非PUA编码表示。如下表所示。*

另外,可参考:

Unicode字段分布表  
[http://www.diybl.com/course/3\_program/java/javajs/2007116/84795.html][http_www.diybl.com_course_3_program_java_javajs_2007116_84795.html]

[cjk.gif]: /images/20220805/0f1e10a52e564ef9bbf1e918631f6407.png
[gbk_80.gif]: /images/20220805/1ffd46ebc86d4f789f85b40907449e63.png
[Link 1]: http://www.fmddlmyy.cn/download/gb18030_hanzi.rar
[http_www.diybl.com_course_3_program_java_javajs_2007116_84795.html]: http://www.diybl.com/course/3_program/java/javajs/2007116/84795.html