字符集和字符编码

短命女 2022-10-30 12:28 318阅读 0赞

**关于乱码：**

你们应该都有遇到过这种问题，就是utf-8或者gbk编码格式的中文字符，若转成"iso-8859-1"编码格式，则会变成乱码，为什么呢？那我们得先知道以下知识点。  
       1.utf-8存储中文汉字用的是3个字节  
       2."gbk"存储中文汉字用的是2个字节  
       3.iso-8859-1存储任何字符都是1个字节  
       知道这个之后就能原因明朗了，本来是用三个字节或两个字节存的内容，你用一个字节存，这能不出事吗？能不变成乱码吗？  
那就转化不了了吗？  
我就再想，存不下，那就多分几个字节存呗，汉字总是可以用iso-8859-1编码表示的！

在实际应用中接触比较多的文本编码有3种：[ASCII][]、ANSI和UNICODE，其中ASCII码是后两种也是大多数常用编码的基础。

1.ASCII（数字和少部分西欧字母） ISO\-8859-1  （数字和大部分西欧字母）  
2.ANSI（ANSI是一种字符代码，为使计算机支持更多语言，通常使用 0x00~0x7f 范围的1 个[字节][Link 1]来表示 1 个英文字符。超出此范围的使用0x80~0xFFFF来编码，即扩展的ASCII编码。）

**GB2312（简体中文） BIG5（繁体中文）JIS 编码（日文）GBK（简体和繁体以及日文）**

为使计算机支持更多语言，通常使用 0x80~0xFFFF 范围的 2 个[字节][Link 1]来表示 1 个字符。比如：汉字 '中' 在中文操作系统中，使用 \[0xD6,0xD0\] 这两个字节存储。

不同的国家和地区制定了不同的标准，由此产生了 GB2312、GBK、GB18030、Big5、Shift\_JIS 等各自的编码标准。这些使用多个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文Windows操作系统中，ANSI 编码代表 GB2312编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 JIS 编码。

以下是常见的汉字字符集编码：GB编码（中文编码）

1.  **GB2312编码**：1981年5月1日发布的简体中文汉字编码国家标准。GB2312对汉字采用双字节编码，收录7445个图形字符，其中包括6763个汉字。
2.  **BIG5编码**：台湾地区繁体中文标准字符集，采用双字节编码，共收录13053个中文字，1984年实施。
3.  **GBK编码**：1995年12月发布的汉字编码国家标准，是对GB2312编码的扩充，对汉字采用双字节编码。GBK字符集共收录21003个汉字，包含国家标准GB13000-1中的全部中日韩汉字，和BIG5编码中的所有汉字。
4.  **GB18030编码**：2000年3月17日发布的汉字编码国家标准，是对GBK编码的扩充，覆盖中文、日文、朝鲜语和中国少数民族文字，其中收录27484个汉字。GB18030字符集采用单字节、双字节和四字节三种方式对字符编码。兼容GBK和GB2312字符集。

汉字unicode编码表：

<table> 
 <tbody> 
  <tr> 
   <td><strong>字符集</strong></td> 
   <td><strong>字数</strong></td> 
   <td><strong>Unicode 编码范围</strong></td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=jbhz" rel="nofollow">基本汉字</a></td> 
   <td>20902字</td> 
   <td>4E00-9FA5</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=jbhzbc" rel="nofollow">基本汉字补充</a></td> 
   <td>38字</td> 
   <td>9FA6-9FCB</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=kza" rel="nofollow">扩展A</a></td> 
   <td>6582字</td> 
   <td>3400-4DB5</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=kzb" rel="nofollow">扩展B</a></td> 
   <td>42711字</td> 
   <td>20000-2A6D6</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=kzc" rel="nofollow">扩展C</a></td> 
   <td>4149字</td> 
   <td>2A700-2B734</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=kzd" rel="nofollow">扩展D</a></td> 
   <td>222字</td> 
   <td>2B740-2B81D</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=kxbs" rel="nofollow">康熙部首</a></td> 
   <td>214字</td> 
   <td>2F00-2FD5</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=bskz" rel="nofollow">部首扩展</a></td> 
   <td>115字</td> 
   <td>2E80-2EF3</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=jrhz" rel="nofollow">兼容汉字</a></td> 
   <td>477字</td> 
   <td>F900-FAD9</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=jrkz" rel="nofollow">兼容扩展</a></td> 
   <td>542字</td> 
   <td>2F800-2FA1D</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=puabj" rel="nofollow">PUA(GBK)部件</a></td> 
   <td>81字</td> 
   <td>E815-E86F</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=bjkz" rel="nofollow">部件扩展</a></td> 
   <td>452字</td> 
   <td>E400-E5E8</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=puazb" rel="nofollow">PUA增补</a></td> 
   <td>207字</td> 
   <td>E600-E6CF</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=hzbh" rel="nofollow">汉字笔画</a></td> 
   <td>36字</td> 
   <td>31C0-31E3</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=hzjg" rel="nofollow">汉字结构</a></td> 
   <td>12字</td> 
   <td>2FF0-2FFB</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=hyzy" rel="nofollow">汉语注音</a></td> 
   <td>22字</td> 
   <td>3105-3120</td> 
  </tr> 
  <tr> 
   <td><a href="http://www.qqxiuzi.cn/zh/hanzi-unicode-bianma.php?zfj=zykz" rel="nofollow">注音扩展</a></td> 
   <td>22字</td> 
   <td>31A0-31BA</td> 
  </tr> 
  <tr> 
   <td>〇</td> 
   <td>1字</td> 
   <td>3007</td> 
  </tr> 
 </tbody> 
</table>

# 3.UNICODE (统一码，万国码，每个字符4个字节)  UTF-8（对数字和字母就使用一个字节，而对汉字就使用3个字节），UTF-16和UTF-32  #

例：  
ANSI 这个不是ASCII的意思，而是采用本地编码的意思。如果你是中文的操作系统，就会使GBK，如果是英文的就会是ISO-8859-1  
Unicode UNICODE原生的编码方式  
Unicode big endian 另一个 UNICODE编码方式  
UTF-8 最常见的UTF-8编码方式，数字和字母用一个字节， 汉字用3个字节。

![文件的编码方式-记事本][-]

# ASCII #

ASCII 是互联网上计算机之间使用的第一个字符集（编码标准）。

ISO-8859-1（在 HTML 4.01 中是默认的）和 UTF-8（在 HTML5 中是默认的）都是基于 ASCII 建立的。

ASCII 全称 "American Standard Code for Information Interchange"，即美国信息交换标准编码。

它是在 60 年代早期作为计算机和电子设备的标准字符集被设计的。

ASCII 是一种 7 位字符集，包含了 128 个字符。

支持 0-9 数字，大/小写英文字母（a-z、A-Z）和一些特殊的字符。

在现代计算机中、HTML 中、互联网上所使用的字符集，都是基于 ASCII。

## ISO-8859-1 ##

在 HTML 4.01 中，ISO-8859-1 是默认的字符。

ISO（全称 International Standards Organization 国际标准化组织）为不同的字母/语言定义了标准的字符集。

ISO-8859-1编码是单[字节][Link 2]编码，包含了 256个字符。

ISO-8859-1 的第一部分（实体编号 0-127）是原来的 ASCII 字符集。它包含数字、大小写英文字母和一些特殊字符。

在 ISO-8859-1 中，未使用从 128 到 159 的编码，但是很多浏览器会显示 ANSI（Windows-1252）字符集的字符，而不是什么都不显示。

## 编码： ##

## 1.Java如何编码：[https://www.w3cschool.cn/javachinesegarbledsolution/ev6c1il7.html][https_www.w3cschool.cn_javachinesegarbledsolution_ev6c1il7.html] ##

以及中文乱码解决

Java使用到的编码：1.char字符、2.io流

## 2.html字符集：[https://www.runoob.com/charsets/html-charsets.html][https_www.runoob.com_charsets_html-charsets.html] ##

html URL编码：[https://www.runoob.com/tags/html-urlencode.html][https_www.runoob.com_tags_html-urlencode.html]

### URL - 统一资源定位器 ###

Web 浏览器通过 URL 从 web 服务器请求页面。

URL 是网页的地址，比如： **http://www.runoob.com**。

--------------------

### URL 编码 ###

URL 只能使用 [ASCII 字符集][ASCII 1]来通过因特网进行发送。

由于 URL 常常会包含 ASCII 集合之外的字符，URL 必须转换为有效的 ASCII 格式。

URL 编码使用 "%" 其后跟随两位的十六进制数来替换非 ASCII 字符。

URL 不能包含空格。URL 编码通常使用 + 来替换空格。

## URL 编码参考手册 ##

[https://www.runoob.com/tags/html-urlencode.html][https_www.runoob.com_tags_html-urlencode.html]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]

比如：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

但是这个问题的由来呢？

在Java项目连接mysql时，有时需要设置时区，如下：

第一种：jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=CST

第二种：jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=GMT%2B8

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]

所以我们采用第二种。  
可以看这个问题：[https://blog.csdn.net/u012063703/article/details/41697865][https_blog.csdn.net_u012063703_article_details_41697865]

## 3.JavaScript 字符串的特殊字符 ##

[https://www.runoob.com/js/js-strings.html][https_www.runoob.com_js_js-strings.html]

[ASCII]: https://baike.baidu.com/item/ASCII/309296
[Link 1]: https://baike.baidu.com/item/%E5%AD%97%E8%8A%82
[-]: /images/20221024/3d0b3d6f91004a3ba12b5e5813af24d1.png
[Link 2]: https://baike.baidu.com/item/%E5%AD%97%E8%8A%82/1096318
[https_www.w3cschool.cn_javachinesegarbledsolution_ev6c1il7.html]: https://www.w3cschool.cn/javachinesegarbledsolution/ev6c1il7.html
[https_www.runoob.com_charsets_html-charsets.html]: https://www.runoob.com/charsets/html-charsets.html
[https_www.runoob.com_tags_html-urlencode.html]: https://www.runoob.com/tags/html-urlencode.html
[ASCII 1]: https://www.runoob.com/tags/ref-ascii.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20221024/6061c8da6cab465aa437227951ebb890.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20221024/54bdbd1b6f354a15b8da090aa94a2810.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20221024/2310b660efee41329e943c40064636a2.png
[https_blog.csdn.net_u012063703_article_details_41697865]: https://blog.csdn.net/u012063703/article/details/41697865
[https_www.runoob.com_js_js-strings.html]: https://www.runoob.com/js/js-strings.html