python中有chardet库检测文件编码, java呢

谁借莪１个温暖的怀抱￠ 2023-10-10 16:55 2阅读 0赞

> python中有chardet库检测文件编码, java中有什么工具吗

Java中也有类似的工具可以检测文件编码，其中比较常用的是 Apache Commons IO 库中的 `org.apache.commons.io.input.BOMInputStream` 类。

BOMInputStream 可以自动检测文件编码并去除 UTF-8 和 UTF-16 编码的字节顺序标记（BOM）。使用 BOMInputStream 可以方便地读取各种编码的文本文件，例如：

import java.io.FileInputStream;
    import java.io.IOException;
    import java.nio.charset.Charset;
    import org.apache.commons.io.input.BOMInputStream;
    import org.apache.commons.io.input.ReaderInputStream;
    
    public class FileEncodingDetector {
        
        public static void main(String[] args) throws IOException {
        
            String filename = "test.txt";
            FileInputStream fis = new FileInputStream(filename);
            BOMInputStream bomIn = new BOMInputStream(fis);
            Charset charset = bomIn.hasBOM() ? bomIn.getBOMCharsetName() : Charset.defaultCharset();
            ReaderInputStream readerIn = new ReaderInputStream(bomIn, charset);
            byte[] buffer = new byte[1024];
            while (readerIn.read(buffer) != -1) {
        
                System.out.println(new String(buffer, charset));
            }
            readerIn.close();
        }
    }

这个例子演示了如何使用 BOMInputStream 读取文件，并在必要时自动检测编码。`hasBOM()` 方法可以用来判断文件是否包含字节顺序标记，`getBOMCharsetName()` 方法可以获取编码的名称，如果文件不包含字节顺序标记，则默认使用系统默认编码。最后，使用 ReaderInputStream 将读取的字节流转换为字符流，并指定正确的字符集。

\#\#\# 有些utf-8没有bom, 又该如何检测呢

UTF-8 的文件可以不包含 BOM。在这种情况下，可以采用其他方式来检测文件的编码。一种常用的方法是使用 Java 的 CharsetDetector 库，这是一个非官方的 Java 库，可以自动检测文件的编码。使用 CharsetDetector 库的示例如下：

import java.io.File;
    import java.io.IOException;
    import java.nio.charset.Charset;
    import com.ibm.icu.text.CharsetDetector;
    import com.ibm.icu.text.CharsetMatch;
    
    public class FileEncodingDetector {
        
        public static void main(String[] args) throws IOException {
        
            String filename = "test.txt";
            File file = new File(filename);
            byte[] data = java.nio.file.Files.readAllBytes(file.toPath());
            CharsetDetector detector = new CharsetDetector();
            detector.setText(data);
            CharsetMatch match = detector.detect();
            System.out.println("Detected encoding: " + match.getName());
        }
    }

上述代码中使用了 ICU4J 中的 CharsetDetector 类，它可以检测文件的编码。首先读取文件的所有字节，然后创建一个 CharsetDetector 对象，将字节数据传递给 `setText()` 方法，CharsetDetector 会自动检测文件的编码，并返回 CharsetMatch 对象。CharsetMatch 对象包含了检测到的编码的名称，可以通过 `getName()` 方法获取。