java 实现Unicode与普通字符(包括中文)的转换

谁借莪１个温暖的怀抱￠ 2024-03-17 13:02 40阅读 0赞

今天使用zl464发送tts语音播报，文档上面明确要求中文编码是UTF-8,但是我发过去的中文，它全都不认识，最后实验出来需要将字符串转成Unicode它就认识了，下面记录了java中文转Unicode的方法。

Java实现Unicode与普通字符的转换  
什么是Unicode？与UTF-8、UTF-16、UTF-32是什么关系？  
Unicode是一个字符编码标准，负责分配某个字符在Unicode字符集中的序号。

UTF-8、UTF-16、UTF-32等则是具体的编码方案，也就是将字符在Unicode字符集中的序号转换为具体的编码方案。

如：

UTF-8是针对不同范围的序号转换成不同长度的字符编码，最短编码为一个字节（8bit），可兼容ASCII；  
UTF-16跟UTF-8类似，不过最短编码为两个字节（16bit），不可兼容ASCII；  
当前Unicode能容纳的最大编号为2^32 - 1，也就是32bit，所以UTF-32是每个字符长度固定为32bit的定长编码。  
如何进行转换？  
知道什么是Unicode以后，代码就很简单了：将字符对应的Unicode编码转为16进制，并加上\\u前缀即可转为Unicode；剥离Unicode的\\u前缀即可获得其在Unicode字符集的序号，转成String即可。  
  
引用原文链接：https://blog.csdn.net/java\_t\_t/article/details/127840074

package com.photon.core.DataApi.Utils;
    
    import com.alibaba.fastjson.JSON;
    
    import java.util.HashMap;
    import java.util.Map;
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    
    public class UnicodeCharConvert {
        private static final Pattern PATTERN_UNICODE = Pattern.compile("\\\\u[a-f0-9A-F]{1,4}");
    
        /**
         * unicode串转字符串
         *
         * @param unicode unicode串
         * @return 字符串
         */
        private static String unicodeToChar(String unicode) {
            if (unicode == null || unicode.isEmpty()) {
                return unicode;
            }
            StringBuffer str = new StringBuffer();
            String[] hex = unicode.split("\\\\u");
            for (int index = 1; index < hex.length; index++) {
                int data = Integer.parseInt(hex[index], 16);
                str.append((char) data);
            }
            return str.toString();
        }
    
        /**
         * 字符串转unicode串
         *
         * @param str 字符串
         * @return unicode串
         */
        public static String charToUnicode(String str) {
            if (str == null || str.isEmpty()) {
                return str;
            }
            StringBuffer unicode = new StringBuffer();
            for (int index = 0; index < str.length(); index++) {
                char c = str.charAt(index);
    
                // 转换为unicode
                String tmp = Integer.toHexString(c);
                if (tmp.length() >= 4) {
                    unicode.append("\\u" + tmp);
                } else if (tmp.length() == 3) {
                    unicode.append("\\u0" + tmp);
                } else if (tmp.length() == 2) {
                    unicode.append("\\u00" + tmp);
                } else if (tmp.length() == 1) {
                    unicode.append("\\u000" + tmp);
                } else if (tmp.length() == 3) {
                    unicode.append("\\u0000");
                }
    
            }
            return unicode.toString();
        }
    
    
        /**
         * 混合串转普通字符串
         * 混合串指的是包含unicode和普通字符的字符串
         *
         * @param mixStr 混合串
         * @return 普通字符串
         */
        public static String mixStrToString(String mixStr) {
            if (mixStr == null || mixStr.isEmpty()) {
                return mixStr;
            }
            int start = 0;
            StringBuffer result = new StringBuffer();
            Matcher matcher = PATTERN_UNICODE.matcher(mixStr);
            while (matcher.find()) {
                String oldChar = matcher.group();
                result.append(mixStr.substring(start, matcher.start()));
                result.append(unicodeToChar(oldChar));
                start = matcher.start() + oldChar.length();
            }
            result.append(mixStr.substring(start));
            return result.toString();
        }
    
        /**
         * 混合串转unicode串
         * 混合串指的是包含unicode和普通字符的字符串
         *
         * @param mixStr 混合串
         * @return unicode串
         */
        public static String mixStrToUnicode(String mixStr) {
            if (mixStr == null || mixStr.isEmpty()) {
                return mixStr;
            }
            int start = 0;
            StringBuffer result = new StringBuffer();
            Matcher matcher = PATTERN_UNICODE.matcher(mixStr);
            while (matcher.find()) {
                String oldChar = matcher.group();
                result.append(charToUnicode(mixStr.substring(start, matcher.start())));
                result.append(oldChar);
                start = matcher.start() + oldChar.length();
            }
            result.append(charToUnicode(mixStr.substring(start)));
            return result.toString();
        }
    
    
        /**
         * 字符串转换unicode，不能转换符号
         */
        public static String string2Unicode(String string) {
            StringBuffer unicode = new StringBuffer();
            for (int i = 0; i < string.length(); i++) {
                // 取出每一个字符
                char c = string.charAt(i);
                if (c < 0x20 || c > 0x7E) {
                    // 转换为unicode
                    String tmp = Integer.toHexString(c);
                    if (tmp.length() >= 4) {
                        unicode.append("\\u" + Integer.toHexString(c));
                    } else if (tmp.length() == 3) {
                        unicode.append("\\u0" + Integer.toHexString(c));
                    } else if (tmp.length() == 2) {
                        unicode.append("\\u00" + Integer.toHexString(c));
                    } else if (tmp.length() == 1) {
                        unicode.append("\\u000" + Integer.toHexString(c));
                    } else if (tmp.length() == 3) {
                        unicode.append("\\u0000");
                    }
                } else {
                    unicode.append(c);
                }
            }
            return unicode.toString();
        }
    
    
        public static void main(String[] args) {
    
            Map<String, Object> v = new HashMap<>();
    
    //        Channel channel = channelMap.get(IMEI);
    
            v.put("tts", UnicodeCharConvert.charToUnicode("您好,您的订单即将结束，剩余时间15分钟,如需延时,请尽快续约！"));
            v.put("vol", 100);
    
            String strPacket = JSON.toJSONString(v);
    
            System.out.println(msg);
            System.out.println(strPacket);
            //map 转成json 后会有多余的反斜杠需要去掉
            System.out.println(strPacket.replace("\\\\", "\\"));
    
      
    
    
        }
    }