python-字符编码库chardet

分手后的思念是犯贱 2022-08-07 17:36 223阅读 0赞

在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是一个非常优秀的编码识别模块。

chardet 是python的第三方库，需要下载和安装。下载的地址有：

1.推荐地址：  [http://download.csdn.net/download/aqwd2008/4256178][http_download.csdn.net_download_aqwd2008_4256178]

2.官方地址：    [http://pypi.python.org/pypi/chardet][http_pypi.python.org_pypi_chardet]

如果采用源代码安装方法，有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法，不论你选择哪种安装包，将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\\Lib\\site-packages】下，确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。

python setup.py install

在安装完chardet模块，我就可以使用它了，来看一段示例代码。

**\[python\]**  [view plain][] [copy][view plain]

1.  **import** chardet  
2.  **import** urllib  
3.    
4.  \#可根据需要，选择不同的数据  
5.  TestData = urllib.urlopen('http://www.baidu.com/').read()  
6.  **print** chardet.detect(TestData)  
7.    
8.  运行结果：  
9.  \{ 'confidence': 0.99, 'encoding': 'GB2312'\}

运行结果表示有99%的概率认为这段代码是GB2312编码方式。

另外一个相对高级的应用。

**\[python\]**  [view plain][] [copy][view plain]

1.  **import** urllib  
2.  **from** chardet.universaldetector **import** UniversalDetector  
3.  usock = urllib.urlopen('http://www.baidu.com/')  
4.  \#创建一个检测对象  
5.  detector = UniversalDetector()  
6.  **for** line **in** usock.readlines():  
7.      \#分块进行测试，直到达到阈值  
8.      detector.feed(line)  
9.      **if** detector.done: **break**  
10. \#关闭检测对象  
11. detector.close()  
12. usock.close()  
13. \#输出检测结果  
14. **print** detector.result  
15.   
16. 运行结果：  
17. \{ 'confidence': 0.99, 'encoding': 'GB2312'\}

**文件编码判断**

import chardet
    tt=open('c:\\111.txt','rb')
    ff=tt.readline()
    #这里试着换成read(5)也可以，但是换成readlines()后报错
    enc=chardet.detect(ff)
    print enc['encoding']
    tt.close()

应用背景，如果要对一个大文件进行编码识别，使用这种高级的方法，可以只读一部，去判别编码方式从而提高检测速度

[http_download.csdn.net_download_aqwd2008_4256178]: http://download.csdn.net/download/aqwd2008/4256178
[http_pypi.python.org_pypi_chardet]: http://pypi.python.org/pypi/chardet
[view plain]: http://blog.csdn.net/aqwd2008/article/details/7506007#