java 获取电脑唯一编码_java获取页面编码

柔光的暖阳◎ 2022-11-06 04:58 185阅读 0赞

最近研究抓取网页内容，发现要获取页面的编码格式，Java没有现成的实现方法。。只能自己写了

codeimport info.monitorenter.cpdetector.io.CodepageDetectorProxy;

import info.monitorenter.cpdetector.io.HTMLCodepageDetector;

import info.monitorenter.cpdetector.io.JChardetFacade;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Set;

public class WebEncoding \{

private static CodepageDetectorProxy detector = CodepageDetectorProxy

.getInstance();

static \{

detector.add(new HTMLCodepageDetector(false));

detector.add(JChardetFacade.getInstance());

/\*\* 测试用例

\* @param args

\*/

public static void main(String\[\] args) \{

WebEncoding web=new WebEncoding();

try \{

System.out.println(web.getCharset("http://www.pujia.com/"));

\} catch (IOException e) \{

// TODO Auto-generated catch block

e.printStackTrace();

/\*\*

\* @param strurl

\* 页面url地址,需要以 http://开始，例：http://www.pujia.com

\* @return

\* @throws IOException

\*/

public String getCharset(String strurl) throws IOException \{

// 定义URL对象

URL url = new URL(strurl);

// 获取http连接对象

HttpURLConnection urlConnection = (HttpURLConnection) url

.openConnection();

;

urlConnection.connect();

// 网页编码

String strencoding = null;

/\*\*

\* 首先根据header信息，判断页面编码

\*/

// map存放的是header信息(url页面的头信息)

Map map = urlConnection.getHeaderFields();

Set keys = map.keySet();

Iterator iterator = keys.iterator();

// 遍历,查找字符编码

String key = null;

String tmp = null;

while (iterator.hasNext()) \{

key = iterator.next();

tmp = map.get(key).toString().toLowerCase();

// 获取content-type charset

if (key != null && key.equals("Content-Type")) \{

int m = tmp.indexOf("charset=");

if (m != -1) \{

strencoding = tmp.substring(m + 8).replace("\]", "");

return strencoding;

/\*\*

\* 通过解析meta得到网页编码

\*/

// 获取网页源码(英文字符和数字不会乱码，所以可以得到正确区域)

StringBuffer sb = new StringBuffer();

String line;

try \{

BufferedReader in = new BufferedReader(new InputStreamReader(url

.openStream()));

while ((line = in.readLine()) != null) \{

sb.append(line);

in.close();

\} catch (Exception e) \{ // Report any errors that arise

System.err.println(e);

System.err

.println("Usage: java HttpClient \[\]");

String htmlcode = sb.toString();

// 解析html源码，取出区域，并取出charset

String strbegin = "

String strtmp;

int begin = htmlcode.indexOf(strbegin);

int end = -1;

int inttmp;

while (begin > -1) \{

end = htmlcode.substring(begin).indexOf(strend);

if (begin > -1 && end > -1) \{

strtmp = htmlcode.substring(begin, begin + end).toLowerCase();

inttmp = strtmp.indexOf("charset");

if (inttmp > -1) \{

strencoding = strtmp.substring(inttmp + 7, end).replace(

"=", "").replace("/", "").replace(""", "")

.replace("'", "").replace(" ", "");

return strencoding;

htmlcode = htmlcode.substring(begin);

begin = htmlcode.indexOf(strbegin);

/\*\*

\* 分析字节得到网页编码

\*/

strencoding = getFileEncoding(url);

// 设置默认网页字符编码

if (strencoding == null) \{

strencoding = "GBK";

return strencoding;

/\*\*

\* 方法说明：通过网页内容识别网页编码

\* 输入参数：strUrl 网页链接; timeout 超时设置

\* 返回类型：网页编码

\*/

public static String getFileEncoding(URL url) \{

java.nio.charset.Charset charset = null;

try \{

charset = detector.detectCodepage(url);

\} catch (Exception e) \{

System.out.println(e.getClass() + "分析" + "编码失败");

if (charset != null)

return charset.name();

return null;

java 获取电脑唯一编码_java获取页面编码

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关爬虫模式-JAVA获取省市区编码

相关 Java 获取字符集默认编码

相关 java 获取电脑唯一编码_java获取页面编码

相关获取文件编码格式 java_java实现获取文本文件的字符编码

相关 Java如何获取平台(操作系统）的默认编码

相关获取字符串的unicode编码

相关根据mac地址+deviceid获取设备唯一编码获取手机及SIM卡相关信息

相关 java获取文件编码

相关 java获取文件编码格式

相关获取页面的编码格式