什么是字符集？

末蓝、 2022-04-25 00:08 138阅读 0赞

这是杂货铺的第468篇文章

无论是数据库，还是应用服务器，有时会碰见字符集的问题，就有些懵圈。看见CSDN转载了程序员乔戈里的一篇文章，用漫画的形式，讲解了各种字符集的知识，通俗易懂。

原文链接：

[漫画：什么是字符集和编码？ASCII、UTF-8、UTF-16、UTF-32 又是什][ASCII_UTF-8_UTF-16_UTF-32]《[漫画：什么是字符集和编码？ASCII、UTF-8、UTF-16、UTF-32又是什么？][ASCII_UTF-8_UTF-16_UTF-32]》

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

**当天下午**

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 4]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 5]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 6]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 7]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 8]

————————

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 9]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 10]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 11]

在计算机底层，比如说你的名字“小萌”在计算机中并不是文字的形式，而是一串二进制数字，如“011001100110…”

人类只认识文字，可惜计算机只认0和1，双方都不能妥协，那就必须要有一个从文字到0、1的映射了。

从我们可以看到的文字到0、1的映射称为编码，反过来从0、1到文字叫解码。这个就是编码的含义。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 12]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 13]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 14]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 15]

> 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte)，所以，一个字节能表示的最大的整数就是255(二进制11111111=十进制255)，0 - 255被用来表示大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 16]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 17]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 18]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 19]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 20]

Unicode编码定义了这个世界上几乎所有字符(就是你眼睛看的字符，比如ABC、汉字等)的数字表示，而且Unicode还兼容了很多老版本的编码规范，例如刚刚讲过的ASCII码。

我们国家的每一个人都对应唯一的一个身份证号，而Unicode也为每个字符发了一张身份证，这张“身份证”上有一串唯一的数字ID确定了这个字符。

这串数字在整个计算机的世界具有唯一性，Unicode给这串数字ID起了个名字叫［码点］。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 21]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 22]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 23]

这个“Unicode转换格式”是为了解决“码点”在计算机存储方式而设计的。

“码点”经过映射后得到的二进制串的转换格式单位称之为“码元”(Code Unit)。“码点”就是一串二进制数，“码元”就是切分这个二进制数的方法。

举个例子，如果有一个字符的码点二进制表示有n字节(n\*8个二进制数)，其码元为8位(1个字节)，那么其拥有码元n个。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 24]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 25]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 26]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 27]

Unicode编码发展到今天扩展到了21位，为啥扩展到21位了呢？因为一开始老美只考虑自己那26个英文字母和数字，随着越来越多的国家的语言语言编码，Unicode不得继续扩展，目前21位已经足够使用。

UTF-32是最好理解的一个了。UTF-32也就是说它的码元是32位，每32位去读一下码点，而码点是Unicode给字符的编码，前面也说了，最长才21位，因此每一个UTF-32值都可以直接表示对应的码点。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 28]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 29]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 30]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 31]

什么是编码空间呢？前面说了Unicode,它是21位的。这21位提供了1,114,112个码点，编码空间就是对应这1,114,112个码点。

对了这里要说一下，这么多码点并不代表有这么多字符，目前大概只有10%的空间被使用了，人类社会还没创造出1,114,112这么多的字符。

> 编码空间被分成 17 个平面(plane)，每个平面有65,536个字符(正好填充2个字节，16位)。0号平面叫做“基本多文种平面”(BMP, Basic Multilingual Plane)，涵盖了几乎所有你能遇到的字符，除了 emoji(emoji位于1号平面--。其它平面叫做补充平面，大多是空的。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 32]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 33]

UTF-16要常见得多，它的码元是16位的，也就是说每16位去读一下码点，获取码点的前16位数字，直到读取完成。

编码空间这里要用上了哈，BMP平面(也就是前面说的基本多文种平面)中的每一个码点都直接与一个UTF-16的码元一一映射。

由于BMP几乎包括了所有常见字符，UTF-16一般需要UTF-32大约一半的空间。至于其它平面里很少使用的码点都是用两个16位的码元来编码的。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 34]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 35]

> UTF-8使用一到四个字节来编码一个码点。从0到127的这些码点直接映射成1个字节(对于只包含这个范围字符的文本来说，这一点使得UTF-8和ASCII完全相同)。接下来的1,920个码点映射成2个字节，在BMP里所有剩下的码点需要3个字节。Unicode的其他平面里的码点则需要4个字节。UTF-8是基于8位的码元的，因此它并不需要关心字节顺序(因为字节就是8位的呀，其它UTF-16和UTF-32在不同的机器编译环境下需要考虑字节的顺序问题)。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 36]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 37]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 38]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 39]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 40]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 41]

[ASCII_UTF-8_UTF-16_UTF-32]: http://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650711726&idx=3&sn=cab046de52787ae1493625e46b8544ad&chksm=bea6d77d89d15e6b7bd3843ad0d7530ef8534ea05d84aeb7d25b3b82af6dd60850347fecce33&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/Pn4Sm0RsAujSKwEjIibcicI7eHib5AGLslGhCnW4ibz1Eje9lEklA8Z5MnqZstH2t8RdJbb8bQw5ZTyz8hPYBktLKA/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 1]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEfiaqIQSqHQLI6UoZj45ymWibXsQqHNYb7OcIbpw93ZuAbFwOKWKFv7Xw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 2]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEvQvxI84ZY5I7ic6iaDdonJibvricvVq1f0wtvhibCA6gszBIuUtbTAdhwfw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 3]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEmPELRShFj8KFs6FVhLIwt2t4tcFqZHg5ichlGjdH4FzvAPDUkS6YtSQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 4]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEkuNxaCJzCV2MUDol3Vm9oiaUSZJ4zktwKf36Jl1mS4qNzyCYGzj4KbA/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 5]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEx7gj9r7C15IhPYUVFuPyN44VxrfiaqHyXvjLB0sV4WmLaFicAm5Cvq0w/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 6]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEAQqyoY4Bia3Pw7LqhO3OBXPSJUMg197fs7h7QiblClWWwvVKXoAeI1Pg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 7]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEG58dZ4BMbia6vJ8bM7Ae5mibmFeqUOrU8fkwHLX1pTfBxEMVlNSsFonw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 8]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEAQ5aNNkOficlWM4WiawBm5n0RjaUTQJ8vVVvdSeY5nJHOmcSrZkCSgibw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 9]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjENj7EjSshVgoGpPL7fTNPWzxljUcrGDKuCYR41UP1abCHdbEn7lgtgw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 10]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEGtCMFuWgWU88u4vzLrs9icFaNYzO5ic7eNOqkD7JfVuaE0gqcLA1DDDg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 11]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEKomBWAZvJHFUhicyzrIE3d17hd177oIICjBGblqr51LaT25Tz49lOJQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 12]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEy1zuyjuN4stCsGIDwKbYSmcuTj0M7DvMnQrXYuOXBX8iakrlrFGfw0A/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 13]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEXy8bF2PibPibB0AytpfBRibs2OUGaRdcqkReHCM8vBmiaaJhkacAR93Isw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 14]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjE4YXnia4XrfT6DvD66dfIbzpIHUxg3AbTgV90Ndw6HH5FqyUSMy272IQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 15]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjElxbXHOfNFcDcibxM8Aqg7DuicP4HAlJY85nZD8ibogEzaBSGo6zlPpMEg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 16]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEUUwLkawlYWmWbZl76mlHic2Nz66xDxZ3OicicBibms0y3VL1YTwC3tmXew/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 17]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEibdRn0qldvVDic8dQP0JicTLhrcQmqpCwtbx0BEsTUk8kmq2AZNSPhibtA/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 18]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEWKmgcsfaSKiacjADcQtibusXdZKtpFbSdhChdIPnRPelZ245Yzfg7bvA/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 19]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEpm1LbngX1CWicmiaacWp2YkPMsUHkhktoBnZsicoXz4I5eXDU9OCgVxsQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 20]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEJ7APiaeto8UhQIMmI7LVSC8yHndW2hH0DFsXKTISrGQ1Te6fK7EH6lw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 21]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEoQXDWrOS2ng7ud1RMQjYdwtedxaQBTnSuwvLwqcfIrAbh2yGcCp9uQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 22]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEQRA9mCXN98YHBye8XwDRNJr0XaicibOm4Fiauv1dzY0yzvaQFUCb3GCRg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 23]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEaicR4AAPYUjRDg6UYCJKwrL0LHg27CtC8CPxWG4TPwTWvvqnpHquPiag/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 24]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEsibv2KvMdlMvfUcxwbDq3ezbhQ0pRZXg6q1AU2cibP8gr2wavOszEu8g/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 25]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEekWfyN9pb31S4s5MAe25teoOdQ4HEk79xz3w7tvicnczia7vEjCLo6Zw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 26]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEztro4yQjcLiagIWKA21ZUgibHy4jxtMic9X5T78P5kxOtQVcIjpibicfLTw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 27]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEKejiaydqFXlWS8ia0VYMkichJ0lPW2Uej7IKyo1Wg1zqib7HOIWBaRkOQQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 28]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjE2MBzXRlf9BpOnCr3Y6EBBBiaTdMtQOsvg3PNwcP13pHk3XHGmVLibhKQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 29]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEpa0icWicxCpurVq02P5RMGOTVZ1IBhRuNiauP0GhQZQlAY6pSMSX57Z6A/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 30]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEltkNMfPnGjyt7nibpPsLia9AQl2L2B6p3tjKQ3kUAfMgTvEt8NlngzHg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 31]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEczo0qxaOTHeJia0BXESia2icRdIxc9xZ2F7963xc8B9HZYplAvKzPRaUQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 32]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEhCFowJu5ibcJbHpBeawqREVmSGcxLhYjegWlicEBbfgXQEiadIickJjo3A/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 33]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEeFo8qXPp8EN9IYLibyV86ZZ7ercPcWnLWRZT1IZJU4jhGavDgoDRMwg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 34]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEVSMrFkvRiaUxYIRjek0NgM7cFXm7Qd6oAFy1vd4LxxA6IpoPJgxGib1g/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 35]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjE6ib6IyhCubK3P2OCMPqqTyJ2IRbky51ZZuW0PT6B3EpIU8YxfQYlbUg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 36]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEOEggIKGhoZkc60ZDtUFWjRt55VBBO6lw2vJW4gxgjf73ZCyfwicVibfQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 37]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjECj5tQ8jFh3XMsL48QEdegXLuLd82hQuCVG7NLDpmYTgMwI58ANNlfg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 38]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEAKEDiaAy47OSj93diawTx4lJgEONsk091tqW7r36gSJyxQUNLZSG1Lsg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 39]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjE2TpMJ6unKmiapnib8gUrkvL26xaNAZlK8KCFSBjxN0DW38upHnI3lCqg/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 40]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEiapTrAKxWM7stvUICtTaIMd9Z3xb4dUaRiakTLpudEwPz0Xyew9ennKw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 41]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/hkZHkS4iaqMVj8CAiaQjTZI0IGuBu9ibKjEaBlOIv6ubqLmvq4tv53IuAwUiaLVOOiclCkraYLjFQtFwlkDmWkmlMlA/640?wx_fmt=jpeg