Unicode转义(\uXXXX)的编码和解码

客官°小女子只卖身不卖艺 2022-03-09 15:42 353阅读 0赞

在涉及Web前端开发时, 有时会遇到`\uXXXX`格式表示的字符, 其中`XXXX`是16进制数字的字符串表示形式, 在js中这个叫Unicode转义字符, 和`\n` `\r`同属于转义字符. 在其他语言中也有类似的, 可能还有其它变形的格式.

多数时候遇到需要解码的情况多点, 所以会先介绍解码decode, 后介绍编码encode.

下文会提供Javascript C\# Java三种语言下不同方法的实现和简单说明, 会涉及到正则和位运算的典型用法.

## Javascript的实现 ##

### 解码的实现 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>function&nbsp;decode(s)&nbsp;{ </code></p> </li> 
     <li> <p><code>return&nbsp;unescape(s.replace(/\\(u[0-9a-fA-F]{4})/gm,&nbsp;'%$1'));</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

`unescape`是用来处理`%uXXXX`这样格式的字符串, 将`\uXXXX`替换成`%uXXXX`后`unescape`就可以处理了.

### 编码的实现 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>function&nbsp;encode1(s)&nbsp;{ </code></p> </li> 
     <li> <p><code>return&nbsp;escape(s).replace(/%(u[0-9A-F]{4})|(%[0-9A-F]{2})/gm,&nbsp;function($0,&nbsp;$1,&nbsp;$2)&nbsp;{ </code></p> </li> 
     <li> <p><code>return&nbsp;$1&nbsp;&amp;&amp;&nbsp;'\\'&nbsp;+&nbsp;$1.toLowerCase()&nbsp;||&nbsp;unescape($2);</code></p> </li> 
     <li> <p><code>});</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

和解码中相对应, 使用`escape`编码, 然后将`%uXXXX`替换为`\uXXXX`, 因为`escape`还可能把一些字符编码成`%XX`的格式, 所以这些字符还需要使用`unescape`还原回来.

`escape`编码结果`%uXXXX`中的`XXXX`是大写的, 所以后面的`replace`只处理大写的`A-F`.

### 另一种编码的实现 ###

不使用正则和`escape`

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
7
8
9
10
11
12
13
14
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>function&nbsp;encode2(s)&nbsp;{ </code></p> </li> 
     <li> <p><code>var&nbsp;i,&nbsp;c,&nbsp;ret&nbsp;=&nbsp;[],</code></p> </li> 
     <li> <p><code>pad&nbsp;=&nbsp;'000';</code></p> </li> 
     <li> <p><code>for&nbsp;(i&nbsp;=&nbsp;0;&nbsp;i&nbsp;&lt;&nbsp;s.length;&nbsp;i++)&nbsp;{ </code></p> </li> 
     <li> <p><code>c&nbsp;=&nbsp;s.charCodeAt(i);</code></p> </li> 
     <li> <p><code>if&nbsp;(c&nbsp;&gt;&nbsp;256)&nbsp;{ </code></p> </li> 
     <li> <p><code>c&nbsp;=&nbsp;c.toString(16);</code></p> </li> 
     <li> <p><code>ret[i]&nbsp;=&nbsp;'\\u'&nbsp;+&nbsp;pad.substr(0,&nbsp;4&nbsp;-&nbsp;c.length)&nbsp;+&nbsp;c;</code></p> </li> 
     <li> <p><code>}&nbsp;else&nbsp;{ </code></p> </li> 
     <li> <p><code>ret[i]&nbsp;=&nbsp;s[i];</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>return&nbsp;ret.join('');</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

遍历字符串中的字符, 那些`charCode`大于256的会转换成16进制字符串`c.toString(16)`, 如果不足4位则左边补0`pad.substr(0, 4 - c.length)`. 结尾将遍历的结果合并成字符串返回.

## C\#的实现 ##

### 解码的实现 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
7
8
9
10
11
12
13
14
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>static&nbsp;Regex&nbsp;reUnicode&nbsp;=&nbsp;new&nbsp;Regex(@"\\u([0-9a-fA-F]{4})",&nbsp;RegexOptions.Compiled);</code></p> </li> 
     <li>&nbsp;</li> 
     <li> <p><code>public&nbsp;static&nbsp;string&nbsp;Decode(string&nbsp;s)</code></p> </li> 
     <li> <p><code>{ </code></p> </li> 
     <li> <p><code>return&nbsp;reUnicode.Replace(s,&nbsp;m&nbsp;=&gt;</code></p> </li> 
     <li> <p><code>{ </code></p> </li> 
     <li> <p><code>short&nbsp;c;</code></p> </li> 
     <li> <p><code>if&nbsp;(short.TryParse(m.Groups[1].Value,&nbsp;System.Globalization.NumberStyles.HexNumber,&nbsp;CultureInfo.InvariantCulture,out&nbsp;c))</code></p> </li> 
     <li> <p><code>{ </code></p> </li> 
     <li> <p><code>return&nbsp;""&nbsp;+&nbsp;(char)c;</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>return&nbsp;m.Value;</code></p> </li> 
     <li> <p><code>});</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

正则和js中的一样, 将`XXXX`转换以16进制`System.Globalization.NumberStyles.HexNumber`解析为`short`类型, 然后直接`(char)c`就能转换成对应的字符, `"" + (char)c`用于转换成字符串类型返回.

由于正则中也有`\uXXXX`, 所以需要写成`\\uXXXX`来表示匹配字符串`\uXXXX`, 而不是具体的字符.

上面使用到了Lambda, 需要至少dotnet 4的SDK才能编译通过, 可以在dotnet 2下运行.

### 编码的实现 ###

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>static&nbsp;Regex&nbsp;reUnicodeChar&nbsp;=&nbsp;new&nbsp;Regex(@"[^\u0000-\u00ff]",&nbsp;RegexOptions.Compiled);</code></p> </li> 
     <li>&nbsp;</li> 
     <li> <p><code>public&nbsp;static&nbsp;string&nbsp;Encode(string&nbsp;s)</code></p> </li> 
     <li> <p><code>{ </code></p> </li> 
     <li> <p><code>return&nbsp;reUnicodeChar.Replace(s,&nbsp;m&nbsp;=&gt;&nbsp;string.Format(@"\u{0:x4}",&nbsp;(short)m.Value[0]));</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

和C\#的解码实现正好相反, 0-255之外的字符, 从`char`转换成`short`, 然后`string.Format`以16进制, 至少输出4位.

## Java的实现 ##

### 解码的实现 ###

和C\#相似的, 使用正则

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
7
8
9
10
11
12
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>static&nbsp;final&nbsp;Pattern&nbsp;reUnicode&nbsp;=&nbsp;Pattern.compile("\\\\u([0-9a-zA-Z]{4})");</code></p> </li> 
     <li>&nbsp;</li> 
     <li> <p><code>public&nbsp;static&nbsp;String&nbsp;decode1(String&nbsp;s)&nbsp;{ </code></p> </li> 
     <li> <p><code>Matcher&nbsp;m&nbsp;=&nbsp;reUnicode.matcher(s);</code></p> </li> 
     <li> <p><code>StringBuffer&nbsp;sb&nbsp;=&nbsp;new&nbsp;StringBuffer(s.length());</code></p> </li> 
     <li> <p><code>while&nbsp;(m.find())&nbsp;{ </code></p> </li> 
     <li> <p><code>m.appendReplacement(sb,</code></p> </li> 
     <li> <p><code>Character.toString((char)&nbsp;Integer.parseInt(m.group(1),&nbsp;16)));</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>m.appendTail(sb);</code></p> </li> 
     <li> <p><code>return&nbsp;sb.toString();</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

[Java语言][Java]没有内嵌正则语法, 也没有类似C\#的`@"\u1234"`原始形式字符串的语法, 所以要表示正则中匹配`\`, 就需要`\\\\`, 其中2个是用于Java中字符转义, 2个是正则中的字符转义.

Java语言中没有设计函数或者委托的语法, 所以它的正则库提供的是`find` `appendReplacement` `appendTail`这些方法的组合, 等价于js和C\#中的`replace`.

这里使用`StringBuffer`类型是由于`appendReplacement`只接受这个类型, `StringBuffer`有线程安全的额外操作, 所以性能差一点. 也许第三方的正则库能把API设计的更好用点.

`Integer.parseInt(m.group(1), 16)`用于解析为`int`类型, 之后再`(char)`, 以及`Character.toString`转换成字符串.

### 解码的另一种实现 ###

因为`StringBuffer`的原因, 不使用正则的实现

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>public&nbsp;static&nbsp;String&nbsp;decode2(String&nbsp;s)&nbsp;{ </code></p> </li> 
     <li> <p><code>StringBuilder&nbsp;sb&nbsp;=&nbsp;new&nbsp;StringBuilder(s.length());</code></p> </li> 
     <li> <p><code>char[]&nbsp;chars&nbsp;=&nbsp;s.toCharArray();</code></p> </li> 
     <li> <p><code>for&nbsp;(int&nbsp;i&nbsp;=&nbsp;0;&nbsp;i&nbsp;&lt;&nbsp;chars.length;&nbsp;i++)&nbsp;{ </code></p> </li> 
     <li> <p><code>char&nbsp;c&nbsp;=&nbsp;chars[i];</code></p> </li> 
     <li> <p><code>if&nbsp;(c&nbsp;==&nbsp;'\\'&nbsp;&amp;&amp;&nbsp;chars[i&nbsp;+&nbsp;1]&nbsp;==&nbsp;'u')&nbsp;{ </code></p> </li> 
     <li> <p><code>char&nbsp;cc&nbsp;=&nbsp;0;</code></p> </li> 
     <li> <p><code>for&nbsp;(int&nbsp;j&nbsp;=&nbsp;0;&nbsp;j&nbsp;&lt;&nbsp;4;&nbsp;j++)&nbsp;{ </code></p> </li> 
     <li> <p><code>char&nbsp;ch&nbsp;=&nbsp;Character.toLowerCase(chars[i&nbsp;+&nbsp;2&nbsp;+&nbsp;j]);</code></p> </li> 
     <li> <p><code>if&nbsp;('0'&nbsp;&lt;=&nbsp;ch&nbsp;&amp;&amp;&nbsp;ch&nbsp;&lt;=&nbsp;'9'&nbsp;||&nbsp;'a'&nbsp;&lt;=&nbsp;ch&nbsp;&amp;&amp;&nbsp;ch&nbsp;&lt;=&nbsp;'f')&nbsp;{ </code></p> </li> 
     <li> <p><code>cc&nbsp;|=&nbsp;(Character.digit(ch,&nbsp;16)&nbsp;&lt;&lt;&nbsp;(3&nbsp;-&nbsp;j)&nbsp;*&nbsp;4);</code></p> </li> 
     <li> <p><code>}&nbsp;else&nbsp;{ </code></p> </li> 
     <li> <p><code>cc&nbsp;=&nbsp;0;</code></p> </li> 
     <li> <p><code>break;</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>if&nbsp;(cc&nbsp;&gt;&nbsp;0)&nbsp;{ </code></p> </li> 
     <li> <p><code>i&nbsp;+=&nbsp;5;</code></p> </li> 
     <li> <p><code>sb.append(cc);</code></p> </li> 
     <li> <p><code>continue;</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>sb.append(c);</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>return&nbsp;sb.toString();</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

手工做就是麻烦很多, 代码中也一坨的符号.

遍历所有字符`chars`, 检测到`\u`这样的字符串, 检测后续的4个字符是否是16进制数字的字符表示. 因为`Character.isDigit`会把一些其它语系的数字也算进来, 所以保险的做法`'0' <= ch && ch <= '9'`.

`Character.digit`会把`0-9`返回为`int`类型的0-9, 第2个参数是16时会把`a-f`返回为`int`类型的10-15.

剩下的就是用`|=`把各个部分的数字合并到一起, 转换成char类型. 还有一些调整遍历位置等.

### 编码的实现 ###

考虑到Java正则的杯具, 还是继续手工来吧, 相对解码来说代码少点.

<table> 
 <tbody> 
  <tr> 
   <td> <pre>1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
</pre> </td> 
   <td> <pre>
&nbsp;</pre> 
    <ol> 
     <li> <p><code>public&nbsp;static&nbsp;String&nbsp;encode(String&nbsp;s)&nbsp;{ </code></p> </li> 
     <li> <p><code>StringBuilder&nbsp;sb&nbsp;=&nbsp;new&nbsp;StringBuilder(s.length()&nbsp;*&nbsp;3);</code></p> </li> 
     <li> <p><code>for&nbsp;(char&nbsp;c&nbsp;:&nbsp;s.toCharArray())&nbsp;{ </code></p> </li> 
     <li> <p><code>if&nbsp;(c&nbsp;&lt;&nbsp;256)&nbsp;{ </code></p> </li> 
     <li> <p><code>sb.append(c);</code></p> </li> 
     <li> <p><code>}&nbsp;else&nbsp;{ </code></p> </li> 
     <li> <p><code>sb.append("\\u");</code></p> </li> 
     <li> <p><code>sb.append(Character.forDigit((c&nbsp;&gt;&gt;&gt;&nbsp;12)&nbsp;&amp;&nbsp;0xf,&nbsp;16));</code></p> </li> 
     <li> <p><code>sb.append(Character.forDigit((c&nbsp;&gt;&gt;&gt;&nbsp;8)&nbsp;&amp;&nbsp;0xf,&nbsp;16));</code></p> </li> 
     <li> <p><code>sb.append(Character.forDigit((c&nbsp;&gt;&gt;&gt;&nbsp;4)&nbsp;&amp;&nbsp;0xf,&nbsp;16));</code></p> </li> 
     <li> <p><code>sb.append(Character.forDigit((c)&nbsp;&amp;&nbsp;0xf,&nbsp;16));</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li> <p><code>return&nbsp;sb.toString();</code></p> </li> 
     <li> <p><code>}</code></p> </li> 
     <li>&nbsp;</li> 
    </ol></td> 
  </tr> 
 </tbody> 
</table>

对应于上文Java编码的实现正好是反向的实现, 依旧遍历字符, 遇到大于256的字符, 用位运算提取出4部分并使用`Character.forDigit`转换成16进制数对应的字符.

剩下就是`sb.toString()`返回了.

## 总结 ##

*  编码从逻辑上比解码简单点.
 *  对付字符串, js还是最顺手的, 也方便测试.
 *  位运算的性能很高.
 *  Java的正则库设计的很不方便, 可以考虑第三方.
 *  Java的语法设计现在看来呆板, 落后, 也没有js那种灵活.
 *  上文Java的非正则实现可以写成等价的C\#代码.

转：[http://netwjx.github.io/blog/2012/07/07/encode-and-decode-unicode-escape-string/][http_netwjx.github.io_blog_2012_07_07_encode-and-decode-unicode-escape-string]

[Java]: https://www.baidu.com/s?wd=Java%E8%AF%AD%E8%A8%80&tn=24004469_oem_dg&rsv_dl=gh_pl_sl_csd
[http_netwjx.github.io_blog_2012_07_07_encode-and-decode-unicode-escape-string]: http://netwjx.github.io/blog/2012/07/07/encode-and-decode-unicode-escape-string/

发表评论取消回复

表情：

评论列表（有 0 条评论，353人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java字符编码问题：乱码、转义和Unicode

在Java编程中，字符编码问题主要涉及以下几种情况： 1. **乱码**：当你的源字符串（例如，从文件读取的）使用的是某种非默认字符集（如GBK或GB2312），而你

叁歲伎倆/ 2024年11月14日 14:03/ 0 赞/ 38 阅读

相关 JS Unicode编码和解码（6种方法）

JavaScript 定义了 6 个全局方法用于 Unicode 字符串的编码和解码，说明如表所示。 <table> <thead> <tr> <th>方法

痛定思痛。/ 2024年03月31日 13:06/ 0 赞/ 63 阅读

相关 java实现Unicode编码和解码

java实现Unicode编码和解码代码： public class Test { public static void main(Stri

待我称王封你为后i/ 2023年01月21日 14:17/ 0 赞/ 2 阅读

相关 Python中使用Unicode对中文进行编码和解码

编码： str = 'Python才是世界上最好的语言'.encode('unicode_escape') print(str) 输出结果： b

╰+攻爆jí腚メ/ 2022年10月17日 10:52/ 0 赞/ 212 阅读

相关 python 编码和解码

unicode，utf-8什么关系我们可以简单理解为，所有的字符图像存储在一个数据库中，计算机内存只能存储二进制，所以用二进制表示这些字符在数据库中的地址。这样我们就可

野性酷女/ 2022年06月06日 09:54/ 0 赞/ 296 阅读

相关特殊字符转义unicode转义

var escapein = function (obj) { var s = ""; if (obj.length == 0)

左手的ㄟ右手/ 2022年03月26日 04:10/ 0 赞/ 531 阅读

相关 Unicode转义(\uXXXX)的编码和解码

在涉及Web前端开发时, 有时会遇到`\uXXXX`格式表示的字符, 其中`XXXX`是16进制数字的字符串表示形式, 在js中这个叫Unicode转义字符, 和`\n` `\

客官°小女子只卖身不卖艺/ 2022年03月09日 15:42/ 0 赞/ 354 阅读

相关 JS实现Html转义和反转义（html编码和解码）的方法总结（亲测）

1、JS实现html转义和反转义主要有两种方式： 1）、利用用浏览器内部转换器实现html转义； 2）、用正则表达式实现html转义； 2、封装的JS工具类：

深藏阁楼爱情的钟/ 2022年01月11日 21:11/ 0 赞/ 1494 阅读

相关 PHP 的 UNICODE 编码和解码

方法一: <?php function unicode_encode($name) { $name = iconv('UTF-8

ゞ浴缸里的玫瑰/ 2022年01月06日 13:35/ 0 赞/ 895 阅读

相关 Java中Unicode编码以及转义字符

Java转义字符使用场景 //1.路径转义 windows路径: D:\\ProgramFile Linux路径: /home/myFile Java代码中

深碍√TFBOYSˉ_/ 2021年12月10日 02:47/ 0 赞/ 889 阅读