[面试系列] java 字符编码

不念不忘少年蓝@ 2022-08-05 04:27 113阅读 0赞

**开头**

曾经面试，被问到字符编码的相关事项。现在总结一下， 避免在被问到。同时，也希望可以和大家一起研究一下编码的机制。

**概念**

说道编码，必须先明白3个概念。

1字符集：就是字符。如ASCII 字符集，包括： 大写的A，小写的a等。

2被编码的字符集：有了字符集，人们习惯给它们编个码。 比如：大写的A 对应的码是“41”（41 是 十六进制）， 为了避免混淆， 下文中称为“编号”。

3字符集编码：字符集的计算机编码。

字符集和被编码的字符集，是在计算机出现前就有了，和计算机没有关系。 后来计算机出现了，只能存储多个0和1，怎么把字符集存到计算机中呢？字符集编码就是干这个事情的。

**例子**

我们举两个例子：

1） ASCII字符集：大写的字符‘A’－－》编号为41-－》编码后存入计算机中为41 41是十六进制

2） Unicode字符集：汉字“我” －－》编号为 6211 －－》 uft－8编码后： 3个字节 E68891

－－》 uft－16编码后： 2个字节 FEFF6211， 注意， 这个FEFF， 表示的是utf-16的编码顺序。

－－》 uft－32编码后： 4个字节 00006211

注意：unicode 对应一唯一一个被编码的字符集（编号）， 但是对应多个编码方式（字符集编码），如uft－8， utf－16和utf－32.

**程序运行结果的分析**

一个例子程序结果： 该程序测试了“我”字的编码。

我-字的java内存表示-6211 注解：java内部使用utf-16编码  
ISO-8859-1--------------------编码后1字节  
3F  
GB2312--------------------编码后2字节  
CED2  
utf-8--------------------编码后3字节  
E68891  
utf-16--------------------编码后4字节 注解：应该是两字节：6211. FEFF是编码的顺序。  
FEFF6211  
utf-32--------------------编码后4字节  
00006211  
GB18030--------------------编码后2字节  
CED2

**程序代码**

测试代码：

package test.charset;
    
    import java.io.UnsupportedEncodingException;
    
    public class TestCharSetFor1 {
    
    	public static void main(String[] args) {
    		//String s = "I am 君山"; //即将被编码的字符串         java 使用unicode字符集合, utf-16 编码来内部存储的
    		String s = "我"; //即将被编码的字符串         java 使用unicode字符集合, utf-16 编码来内部存储的
    		char[] sc = s.toCharArray();
    		System.out.println(s + "-字的java内存表示-" +CharsetUtil.bytes2HexString(charsToBytes(sc)));
    		encodingBy(s, "ISO-8859-1");
    		encodingBy(s, "GB2312");
    		encodingBy(s, "utf-8");
    		encodingBy(s, "utf-16");
    		encodingBy(s, "utf-32");
    		encodingBy(s, "GB18030");
    	}
    
    	private static byte[] charsToBytes(char[] sc){
    		byte[] bs = new byte[sc.length * 2];
    		for (int i = 0; i < sc.length; i++) {
    			char c = sc[i];
    			byte tm1 = (byte)((c >> 8) & 0xff);
    			byte tm2 = (byte)(c & 0xff);
    			bs[2*i] = tm1;
    			bs[2*i + 1] = tm2;
    		}
    		return bs;
    	}
    
    	private static void encodingBy(String s, String charset) {
    		try {
    			byte[] bs1 = s.getBytes(charset);
    			printA(bs1, charset);
    		} catch (UnsupportedEncodingException e) {
    			e.printStackTrace();
    		}
    	}
    	
    	public static void printA(byte[] bs1, String charset){
    		System.out.println(charset + "--------------------编码后"+ bs1.length +"字节");
    		System.out.println(CharsetUtil.bytes2HexString(bs1));
    	}
    
    }

package test.charset;
    
    public class CharsetUtil {
    	/**
    	 * 把byte[] 以十六进制输出
    	 * @param b
    	 * @return
    	 */
    	public static String bytes2HexString(byte[] b){
    		String ret="";
    		for (int i = 0; i < b.length; i++) {
    			ret += byte2HexString(b[i]);
    		}
    		return ret;
    	}
    	
    	/**
    	 * 把byte 以十六进制输出
    	 * @param b
    	 * @return
    	 */
    	public static String byte2HexString(byte b){
    		String ret = "";
    		String hex = Integer.toHexString(b & 0xFF);
    		if(hex.length() == 1){
    			hex = '0' + hex;
    		}
    		ret += hex.toUpperCase();
    		return ret; 
    	}
    	public static void main(String[] args) {
    		System.out.println(bytes2HexString("m".getBytes()));
    	}
    }

**参考**

[ http://www.ibm.com/developerworks/cn/java/j-lo-chinesecoding/][http_www.ibm.com_developerworks_cn_java_j-lo-chinesecoding] 深入分析 Java 中的中文编码问题

[http://my.oschina.net/goldenshaw/blog?catalog=536953][http_my.oschina.net_goldenshaw_blog_catalog_536953] 编码的一系列文章

[http://blog.csdn.net/jiangfuqiang/article/details/17222255][http_blog.csdn.net_jiangfuqiang_article_details_17222255] 4字节UTF16编码和对C++/Java的影响

[http_www.ibm.com_developerworks_cn_java_j-lo-chinesecoding]: http://www.ibm.com/developerworks/cn/java/j-lo-chinesecoding/
[http_my.oschina.net_goldenshaw_blog_catalog_536953]: http://my.oschina.net/goldenshaw/blog?catalog=536953
[http_blog.csdn.net_jiangfuqiang_article_details_17222255]: http://blog.csdn.net/jiangfuqiang/article/details/17222255