mysql/Java服务端对emoji(utf8mb4编码)的支持有关的问题

r囧r小猫 2022-06-06 12:49 191阅读 0赞

mysql中保存4字节长度的UTF-8字符(例如emoji表情)，就需要使用 utf8mb4 字符集。

如果要写入emoji表情(utf8mb4)到mysql，需要应用客户端、客户端到MySQL的连接、以及MySQL实例内部这三者统一，统一使用支持utf8mb4字符集才行。

否则，mysql的jdbc链接驱动mysql-connetoer会抛异常：

java.sql.SQLException: Incorrect string value: '\\xF0\\x9F\\x98\\x84\],...' for column 'name' at row 1

mysql server 5.5.3+ 版本才支持utf8mb4。

mysql> select version();

mysql-connector-5.1.13+版本才支持utf8mb4。

mysq配置文件修改，mysql修改字符集：  
\[client\]   
default-character-set = utf8mb4  
  
\[mysql\]   
default-character-set = utf8mb4  
   
\[mysqld\]

character-set-server = utf8mb4

\#collation-server = utf8mb4\_unicode\_ci    \#测试发现可能不用配置

\#init\_connect=’SET NAMES utf8mb4’       \#测试发现可能不用配置

sql\_mode='NO\_ENGINE\_SUBSTITUTION'

重启mysql

mysql> show variables like '%charact%';

\+--------------------------+----------------------------+  
| Variable\_name            | Value                      |  
\+--------------------------+----------------------------+  
| character\_set\_client     | utf8mb4                    |  
| character\_set\_connection | utf8mb4                    |  
| character\_set\_database   | utf8mb4                    |  
| character\_set\_filesystem | binary                     |  
| character\_set\_results    | utf8mb4                    |  
| character\_set\_server     | utf8mb4                    |  
| character\_set\_system     | utf8                       |  
| character\_sets\_dir       | /usr/share/mysql/charsets/ |  
\+--------------------------+----------------------------+  
8 rows in set (0.01 sec)  
  
必须保证下面几个正确：  
character\_set\_client (客户端来源数据使用的字符集)  
character\_set\_connection (连接层字符集)  
character\_set\_database (当前选中数据库的默认字符集)  
character\_set\_results (查询结果字符集)  
character\_set\_server (默认的内部操作字符集)  
  
客户端链接测试：  
  
\#1: 插入后为乱码：3F3F3F3F  
set charset utf8;  
insert into test\_utf8mb4\_src values(9,"test", '??'); \#??为直接拷贝的表情符号  
select hex(url) from test\_utf8mb4\_src where id=9;  
  
\#2: 插入OK, F09F9884  
set charset utf8;  
insert into test\_utf8mb4\_src values(9,"test", 0xF09F9884);  
select hex(url) from test\_utf8mb4\_src where id=9;  
  
\#3: 插入OK, F09F9884  
set charset utf8;  
insert into test\_utf8mb4\_src values(9,"test", UNHEX('F09F9884'));  
select hex(url) from test\_utf8mb4\_src where id=9;  
  
\#4: 插入OK, F09F9884  
set charset utf8mb4;  
insert into test\_utf8mb4\_src values(9,"test", '??'); \#??为直接拷贝的表情符号  
select hex(url) from test\_utf8mb4\_src where id=9;  
  
\#5: 插入OK, F09F9884  
set charset utf8mb4;  
insert into test\_utf8mb4\_src values(9,"test", 0xF09F9884);  
select hex(url) from test\_utf8mb4\_src where id=9;  
  
\#6: 插入OK, F09F9884  
set charset utf8mb4;  
insert into test\_utf8mb4\_src values(9,"test", UNHEX('F09F9884'));  
select hex(url) from test\_utf8mb4\_src where id=9;

\----------

总结一下：

不同的配置，有不同测试结果。

1.mysql配置如下，写成功&查询hex值正确  
\#vim /etc/my.conf  
\[client\]  
default-character-set = utf8mb4  
\[mysql\]  
default-character-set = utf8mb4  
\[mysqld\]  
character-set-server = utf8mb4  \#会修改@@character\_set\_server & @@character\_set\_database，该参数如果不配置成utf8mb4则无法存储

2.写入会失败  
\#vim /etc/my.conf

\[client\]  
default-character-set = utf8  
\[mysql\]  
default-character-set = utf8  
\[mysqld\]  
character-set-server = utf8 \#会修改@@character\_set\_server & @@character\_set\_database，该参数如果不配置成utf8mb4则无法存储

mysql> show variables like '%char%';  
\+--------------------------------------+----------------------------+  
| Variable\_name                        | Value                      |  
\+--------------------------------------+----------------------------+  
| character\_set\_client                 | utf8                       |  
| character\_set\_connection             | utf8                       |  
| character\_set\_database               | utf8                       |  
| character\_set\_filesystem             | binary                     |  
| character\_set\_results                | utf8                       |  
| character\_set\_server                 | utf8                       |  
| character\_set\_system                 | utf8                       |  
...  
\+--------------------------------------+----------------------------+

3.其他的配置，可能会导致写入虽然成功，但写入的值（查看hex）不正确。例如：

default-character-set = utf8mb4

character-set-server=utf8