网页解析类库HtmlCleanner

布满荆棘的人生 2024-02-17 14:09 42阅读 0赞

今天给大家推荐一款最好的网页解析类库 —HtmlCleaner 。至少是目前为止最好的 Java 解析库。

与HtmlCleaner结缘是在年初的时候，因为一项工作需要解析Html页面，所以我在网上遍寻Html解析库。

网上口碑极佳的是HTML Parser这个库，我试了一下，速度极慢，处理一个比较大的网页需要几百毫秒，更要命的是，有些网页解析不了！

经过千辛万苦，我终于找到了籍籍无名的HtmlCleanner。一见之下，惊为天人！

## HtmlCleanner ##

HtmlCleaner极其短小精悍，源码一共只有260KB，并且速度惊人，只需要10毫秒左右就可以处理完HtmlParser需要300毫秒处理的Html页面。

而且，根据我对网上随机的网页进行的测试，没有一个对付不了的。

打开HtmlCleaner的javadoc，常常的一串接口和类。别怕，那些都不用您操心。我们只需要关心HtmlCleaner这个类就可以了。

HtmlCleaner库的使用极其简便，只需要调用HtmlCleaner类的几个方法即可。

典型的使用过程如下：

HtmlCleaner cleaner = new HtmlCleaner(...); // one of few constructors

cleaner.setXXX(...) // optionally, set cleaner's behaviour

clener.clean(); // calls cleaning process

clean方法就完成了对Html页面的解析。

cleaner.writeXmlXXX(...); // writes resulting XML to string, file or any output stream

// cleaner.createDOM(); // creates DOM of resulting xml

DomSerializer类的实例的createDOM方法可以返回`org.w3c.dom.Document对象。不错，这就是Java标准的xml文档的表示。然后，你就可以使用任何第三方库来处理xml文档了。`

// cleaner.createJDom(); // creates JDom of resulting xml

你也可以生成JDom对象，用JDom处理。

下面是我用HtmlCleaner写的一个方法

**public** Document convertHtmlToXML(URL url)\{

// create an instance of HtmlCleaner

HtmlCleaner cleaner = **new** HtmlCleaner();

// take default cleaner properties

CleanerProperties props = cleaner.getProperties();

TagNode tagNode=**null**;

Document document=**null**;

**try** \{

tagNode = cleaner.clean(url);

document= **new** DomSerializer(props, **true**).createDOM(tagNode);

\}  **catch** (IOException e) \{

// **TODO** Auto-generated catch block

e.printStackTrace();

\}  **catch** (ParserConfigurationException e) \{

// **TODO** Auto-generated catch block

e.printStackTrace();

**return** document;

得到Document之后，可以使用dom4j等xml处理库进行处理。

### HtmlCleanner实现方法 ###

查看HtmlCleanner的源码可以看到，HtmlCleanner的设计思想非常简单，就是使用正则表达式解析Html页面。

而它的数据容器类TagNode也和我设计OXmlEd库的想法类似。也是简单的把XML当做一个树的结构。不过TagNode类要比我的INode接口复杂一些，多了不少东东。我的INode接口内容很少，因为我不关心注释。

我的OXmlEd后来根据HtmlCleaner做了更新，这样，您可以使用OXmlEd库来直接操纵HtmlCleaner解析的Html页面的内容了。但最近很忙，一直没有整理，过几天再上传OXmlEd的新版本吧。OXmlEd库的介绍在

[http://blog.csdn.net/shendl/archive/2007/08/23/1755218.aspx][http_blog.csdn.net_shendl_archive_2007_08_23_1755218.aspx]

Host站点在：[http://sourceforge.net/projects/oxmled/][http_sourceforge.net_projects_oxmled]

## 总结 ##

HtmlCleanner库写得非常好，由此可见，一个好的设计思想胜过一切。开源库中良莠不齐，这很正常，HtmlCleaner是我寻获的一把利器，现在转送给诸君。

[http_blog.csdn.net_shendl_archive_2007_08_23_1755218.aspx]: http://blog.csdn.net/shendl/archive/2007/08/23/1755218.aspx
[http_sourceforge.net_projects_oxmled]: http://sourceforge.net/projects/oxmled/

网页解析类库HtmlCleanner

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关网页解析类库HtmlCleanner

相关深入解析网页结构解析模块beautifulsoup

相关 C++跨平台XML解析类库-pugixml

相关【beautifulsoup】python标准库解析器解析网页问题解决

相关 03网页解析器

相关 python网页解析器--BeautifulSoup

相关 java 网页解析工具包 Jsoup

相关 BeautifulSoup网页解析器

相关 python 网页解析库 beautifulsoup4 简介

相关浅谈 Java 主流开源类库解析 XML