关于计算机编码的研究

港控/mmm° 2023-08-17 17:45 131阅读 0赞

说到编码，学计算机的肯定都知道ASCII，这是一套编码规则，即用7bit来表示128个字符(符号)，可以认为就是我们键盘上的那些符号们，他的官方名称叫做：美国信息交换标准代码，是美国的!

他同时也可以认为是一套码值表，即比如x110 0001表示字符‘a’，

但是，英文没问题，日文，韩文，还有我们博大精深的中文咋办，于是就诞生了更多的编码规则

一，Unicode

这是一套码值表，他收集了世界上所有的符号系统，所有的，包括音节，神秘的符号等，只要给我一个字符，我一查表，就知道他对应的码点是多少？

但是那总不能就直接这么去查把，他总有一套规则规范哪些码点对应哪些字符，于是对应的编码方式有：UTF-16/UTF-32.....

具体怎么做的呢，或者说编码规则是什么呢？

1，概念简介

字符/符号/码点：'a','1‘......是字符/符号/码点；随便一个画一下就是符号/码点；用计算机的1010去编码一个符号，那么这一组01数字就是一个码点

Unicode/UTF-32/UCS-4...：Unicode是码值表，UTF-32等是编码规则，表示以怎样的规则生成码-值的对应关系

2，编码规则

为每一个符号分配一个码点，即一个rune类型的变量

1)UTF-8

这个规则是说，用一个变长的0101序列去作为一个码点来代表一个字符，即用1-4Byte来表示一个Unicode码点，具体说来如下

(1)对于属于原来的ASCII字符集的字符，还是用1个字节

(2)一些常用的字符用2或3字节表示,

(3)其他

那到底这个字符是由几个字节组成的呢?答：预留第一个字节的高位bit作为prefix，如：

0xxxxxxx:0-127,如果首字符是0，说明接下来的1个字节代码1个码点，这个码点表示的正是ASCII字符

110xxxxx 10xxxxxx:128-2047，如果首字符是110，说明接下来2个字节的代表1个码点

1110xxxx 10xxxxxx 10xxxxxx:2048-65535，如果首字符是1110，说明接下来3个字节的代表1个码点

11110xxxx 10xxxxxx 10xxxxxx 10xxxxxx:65536-，如果首字符是11110，说明接下来4个字节的代表1个码点

3，这种编码方式的好处

紧凑，不占用多余的存储空间，并且兼容ASCII字符集；

属于前缀编码，如果是从左向右解码，则肯定不会有歧义

如果是从右向左解码，多回溯两个字节就可以确定当前字符编码开始的位置(因为最多4个字节，就算处在第四个字节向前回溯2个字节还没到prefix那就知道了，我是四字节的，再往前就是头了)

4，应用场景

GO语言的源文件就是采用UTF-8编码，并且GO语言库函数对处理UTF-8编码的文本也很出色。

unicode包提供了诸多处理rune字符相关的功能函数，其中unicode/utf8包则提供了用于处理rune字符序列的的UTF8编码和解码功能

\--《GO语言圣经》中说的

水鬼子：不知道你是否有这样的疑惑，“Go语言的源文件采用UTF8编码"是什么意思?这里就要稍微说一下编译原理

Go语言或者其他语言编写的源代码，机器是不认识的，他一定要变成010101才能执行，于是有了我们常见的预编译，编译，汇编，链接等概念，详见xxxxxx

所以，从源代码中if else balala之类的语句转化成二进制010101，就是按照utf-8这个规则进行转化的

2)UTF-16

.....

3)UTF-32

....

\------------------未完，待续---------------------------------

转载于:https://www.cnblogs.com/shuiguizi/p/11372985.html

发表评论取消回复

表情：

评论列表（有 0 条评论，131人围观）

还没有评论，来说两句吧...

相关阅读

相关关于c#的研究

文章目录 C\语言 Microsoft.NET框架 CLR .NET的特点：中间语言（IL）即时编译

╰半橙微兮°/ 2024年04月03日 11:16/ 0 赞/ 78 阅读

相关 Discuz代码研究-编码规范

来源:http://www.cnblogs.com/janas/archive/2013/08/20/3271408.html Discuz中的编码规范很值得PHP开发人员借

- 日理万妓/ 2023年10月17日 12:27/ 0 赞/ 14 阅读

相关计算机视觉目前的研究

计算机视觉是人工智能的一个子领域，研究如何使用计算机来理解和处理视觉信息。这个领域的研究旨在使用计算机来模拟人类的视觉系统，并能够执行视觉任务，如图像分类、目标检测、图像识别、

待我称王封你为后i/ 2023年09月25日 15:29/ 0 赞/ 80 阅读

相关关于计算机编码的研究

说到编码，学计算机的肯定都知道ASCII，这是一套编码规则，即用7bit来表示128个字符(符号)，可以认为就是我们键盘上的那些符号们，他的官方名称叫做：美国信息交换标准代码，

港控/mmm°/ 2023年08月17日 17:45/ 0 赞/ 132 阅读

相关计算机在财务管理的应用研究,计算机在财务管理中的应用研究

计算机在财务管理中的应用研究【摘要】计算机网络技术作为企业管理财务工作的必要手段，其应用日趋广泛。计算机技术的应用提升了企业的财务工作水平，改善了工作环境，对企业

淩亂°似流年/ 2022年10月12日 04:10/ 0 赞/ 232 阅读

相关研究计算机英语,高职计算机英语多方法结合研究

一、计算机英语教学特点计算机英语的特点是专业词汇量大，语法结构严谨，长句难以分析。高职院校中的学生往往英语底子薄，基础弱，没有经过系统的专业阅读翻译训练。这些特点要求高职院

Love The Way You Lie/ 2022年10月09日 12:03/ 0 赞/ 201 阅读

相关计算机中的编码

文章目录一、ASCII码二、BCD码 1. BCD加法运算 2. BCD减法运算三

Dear 丶/ 2022年09月14日 15:16/ 0 赞/ 208 阅读

相关 java字符编码转换研究

1. 概述本文主要包括以下几个方面：编码基本知识，java，系统软件，url，工具软件等。在下面的描述中，将以"中文"两个字为例，经查表可以知道其GB2312编码是"d

谁借莪１个温暖的怀抱￠/ 2022年06月10日 05:14/ 0 赞/ 209 阅读

相关计算机编码问题

一、ASCLL码 ASCII码起源是为了解决计算机处理字符问题。它由美国创造，因此仅包括了美国语言中的字符和控制符，每个字符占一个字节，因此对于双字节语言的支持不好。

喜欢ヅ旅行/ 2022年02月13日 04:13/ 0 赞/ 289 阅读

相关计算机编码大全

> 原作不祥 > 从基础的开始 > 最小的单元是位（bit），接着是字节（Byte），一个字节＝8位，英语表示是1 byte=8 bits 。机器语言的单位Byte。接

淡淡的烟草味﹌/ 2021年10月29日 10:34/ 0 赞/ 555 阅读