【java工具类-抓取网页去除HTML格式】HTML格式化成TXT保留段落开头的java后台处理代码

素颜马尾好姑娘i 2023-03-02 13:20 3阅读 0赞

**目录**

如何使用java工具类进行清除HTML格式

/\*\* js标签 \*/

/\*\* css标签 \*/

/\*\* 特殊嵌套标签需要优先去掉 \]+>\*/

/\*\* 特殊嵌套标签需要优先去掉 \*/

/\*\* html标签 <\[^>\]+>\*/

/\*\* 其他html转义符 &\[a-zA-Z\]\{1,10\}; \*/

/\*\* 正文声明内容匹配，自定义要剔除的字段 \*/

/\*\* 记者声明内容匹配\\\\s\*(见习|记者).\*?  \*/

删除html标签

删除HTML标签并格式化去除特殊空格、全角空格、换行符、制表符、空格去除多余空行首行缩进，换行缩进去除js标签、html标签

HTML内容进行HTML标签转义

整个工具类处理HTML格式化返回TXTjava代码

--------------------

前言：

主要是处理网页各种来源的内容，免不了各种的HTML标签，可是经过清洗才知道，哪些内容有用，针对金融方面的使用！所以需要java工具类进行初步的清洗，

主要是实现HTML的格式化进行清除和替换，抓取出最有用的内容，经过迭代优化，目前处理要经过以下步骤：

//   去除特殊空格 
                .replaceAll("\\\\u00A0", "") 
                // 去除全角空格 
                .replaceAll("\\\\u3000", "") 
                // 去除换行符、制表符 
                .replaceAll("\[\\\\t\\\\n\\\\r\]", "") 
                // 删除首行空格 
                .replaceFirst("\\\\s+", "") 
                // 删除2个以上的空格 
                .replaceAll("\\\\s\{2,\}", "") 
                // 首行缩进 
                .replaceFirst("", "        ") 
                // 去掉图片标签，排除干扰 
                .replaceAll("<(?i)img\[^>\]+>", "") 
                // 去除多余空行 
                .replaceAll("<(?i)p>\\\\s\*</(?i)p>", "") 
                // 换行缩进（p标签） 
                .replaceAll("<(?i)p>", "\\r\\n        ") 
                // 换行缩进（p标签） 
                .replaceAll("</(?i)p>", "\\r\\n        ") 
                // 换行缩进（br标签） 
                .replaceAll("</?(?i)br\\\\s?/?>", "\\r\\n        ") 
                // 换行缩进（tr标签） 
                .replaceAll("</(?i)tr>", "\\r\\n        ") 
                // 空格（td标签） 
                .replaceAll("</(?i)td>", " ") 
                // 换行缩进（section标签） 
                .replaceAll("</(?i)section>", "\\r\\n        ") 
                // 特殊嵌套标签需要优先去掉 
                .replaceAll(REG\_EX\_HTML\_SP\_START, "").replaceAll(REG\_EX\_HTML\_SP\_END, "") 
                // 去除js标签 
                .replaceAll(REG\_EX\_SCRIPT, "").replaceAll(REG\_EX\_STYLE, "") 
                // 去除html标签 
                .replaceAll(REG\_EX\_HTML, "").replaceAll(REG\_EX\_SPECIAL, "") 
                // 去除多余空行 
                .replaceAll("\\r\\n\\\\s+\\r\\n", "\\r\\n");

# 如何使用java工具类进行清除HTML格式 #

##     /\*\* js标签 \*/ ##

private static final String REG\_EX\_SCRIPT = "<\[\\\\s\]\*?script\[^>\]\*?>\[\\\\s\\\\S\]\*?<\[\\\\s\]\*?/\[\\\\s\]\*?script\[\\\\s\]\*?>";

##        /\*\* css标签 \*/ ##

private static final String REG\_EX\_STYLE = "<\[\\\\s\]\*?style\[^>\]\*?>\[\\\\s\\\\S\]\*?<\[\\\\s\]\*?/\[\\\\s\]\*?style\[\\\\s\]\*?>";

##     /\*\* 特殊嵌套标签需要优先去掉 <d class=\[^>\]+>\*/ ##

private static final String REG\_EX\_HTML\_SP\_START = "<d class=\[^>\]+>";

##     /\*\* 特殊嵌套标签需要优先去掉</d> \*/ ##

private static final String REG\_EX\_HTML\_SP\_END = "</d>";

##     /\*\* html标签 <\[^>\]+>\*/ ##

private static final String REG\_EX\_HTML = "<\[^>\]+>"; 
    /\*\* \{@code <blockquote>标签\} \*/ 
    private static final String REG\_EX\_HTML\_BLOCKQUOTE = "</?blockquote>";

##        /\*\* 其他html转义符 &\[a-zA-Z\]\{1,10\}; \*/ ##

private static final String REG\_EX\_SPECIAL = "&\[a-zA-Z\]\{1,10\};";

##        /\*\* 正文声明内容匹配，自定义要剔除的字段 \*/ ##

private static final String REG\_EX\_STATEMENT = "(<font\[^>\]\*?>|<span\[^>\]\*?>|<p\[^>\]\*?>)\\\\s\*(\[(|（|【\]?(免责声明|图片声明|责编|责任编辑|声明|来源链接|资料来源|文章来源|编辑|头图来源|图片来源|转载声明|风险提示|郑重声明)\\\\s?\[：:】\]).\*?(||)";

##        /\*\* 记者声明内容匹配\\\\s\*(见习|记者).\*?  \*/ ##

private static final String REG\_EX\_REPORTER = "\\\\s\*(见习|记者).\*?";

# 删除html标签 #

/\*\*  
     \* 删除html标签  
     \* @param srcStr 原资讯正文内容  
     \* @return 过滤后的资讯正文内容  
     \*/  
    public static String removeHtmlTag(String srcStr) \{  
        return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr)  
                .replaceAll(REG\_EX\_SCRIPT, "").replaceAll(REG\_EX\_STYLE, "")  
                .replaceAll(REG\_EX\_HTML, "").replaceAll(REG\_EX\_SPECIAL, "");  
    \}

## 删除HTML标签并格式化   去除特殊空格、全角空格、换行符、制表符、空格   去除多余空行   首行缩进，换行缩进   去除js标签、html标签 ##

/\*\* 
     \* 删除HTML标签并格式化 
     \* <li>去除特殊空格、全角空格、换行符、制表符、空格</li> 
     \* <li>去除多余空行</li> 
     \* <li>首行缩进，换行缩进</li> 
     \* <li>去除js标签、html标签</li> 
     \* @param srcStr 原始资讯正文内容（带HTML格式） 
     \* @return 删除HTML标签后的正文内容 
     \*/ 
    public static String removeHtmlAndFormat(String srcStr) \{ 
        return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr) 
                //   去除特殊空格 
                .replaceAll("\\\\u00A0", "") 
                // 去除全角空格 
                .replaceAll("\\\\u3000", "") 
                // 去除换行符、制表符 
                .replaceAll("\[\\\\t\\\\n\\\\r\]", "") 
                // 删除首行空格 
                .replaceFirst("\\\\s+", "") 
                // 删除2个以上的空格 
                .replaceAll("\\\\s\{2,\}", "") 
                // 首行缩进 
                .replaceFirst("", "        ") 
                // 去掉图片标签，排除干扰 
                .replaceAll("<(?i)img\[^>\]+>", "") 
                // 去除多余空行 
                .replaceAll("<(?i)p>\\\\s\*</(?i)p>", "") 
                // 换行缩进（p标签） 
                .replaceAll("<(?i)p>", "\\r\\n        ") 
                // 换行缩进（p标签） 
                .replaceAll("</(?i)p>", "\\r\\n        ") 
                // 换行缩进（br标签） 
                .replaceAll("</?(?i)br\\\\s?/?>", "\\r\\n        ") 
                // 换行缩进（tr标签） 
                .replaceAll("</(?i)tr>", "\\r\\n        ") 
                // 空格（td标签） 
                .replaceAll("</(?i)td>", " ") 
                // 换行缩进（section标签） 
                .replaceAll("</(?i)section>", "\\r\\n        ") 
                // 特殊嵌套标签需要优先去掉 
                .replaceAll(REG\_EX\_HTML\_SP\_START, "").replaceAll(REG\_EX\_HTML\_SP\_END, "") 
                // 去除js标签 
                .replaceAll(REG\_EX\_SCRIPT, "").replaceAll(REG\_EX\_STYLE, "") 
                // 去除html标签 
                .replaceAll(REG\_EX\_HTML, "").replaceAll(REG\_EX\_SPECIAL, "") 
                // 去除多余空行 
                .replaceAll("\\r\\n\\\\s+\\r\\n", "\\r\\n"); 
    \}

/\*\*  
     \* 删除正文声明和记者声明  
     \* @param srcStr 原资讯正文内容  
     \* @return 过滤后的资讯正文内容  
     \*/  
    public static String removeStatementAndReporter(String srcStr) \{  
        return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr)  
                .replaceAll(REG\_EX\_HTML\_BLOCKQUOTE, "")  
                .replaceAll(REG\_EX\_STATEMENT, "")  
                .replaceAll(REG\_EX\_REPORTER, "");  
    \}

## HTML内容进行HTML标签转义 ##

/\*\* 
     \* HTML内容进行HTML标签转义 
     \* <li>HTML标签转义举例：\{@code -> \}</li> 
     \* @param srcStr 原始内容 
     \* @return 转码后的HTML内容 
     \*/ 
    public static String unescape(String srcStr) \{ 
        if (StringUtils.isBlank(srcStr)) \{ 
            return StringUtils.EMPTY; 
        \} 
        return StringEscapeUtils.unescapeHtml4(srcStr); 
    \}

# 整个工具类处理HTML格式化返回TXTjava代码 #

import org.apache.commons.lang3.StringUtils;
 import org.apache.commons.text.StringEscapeUtils;
 
 /**
 * HTML标签工具类
 *
 */
 public class HtmlTagUtils {
 
 /** js标签 */
 private static final String REG_EX_SCRIPT = "<[\\s]*?script[^>]*?>[\\s\\S]*?<[\\s]*?/[\\s]*?script[\\s]*?>";
 /** css标签 */
 private static final String REG_EX_STYLE = "<[\\s]*?style[^>]*?>[\\s\\S]*?<[\\s]*?/[\\s]*?style[\\s]*?>";
 
 /** 特殊嵌套标签需要优先去掉 */
 private static final String REG_EX_HTML_SP_START = "<d class=[^>]+>";
 
 /** 特殊嵌套标签需要优先去掉 */
 private static final String REG_EX_HTML_SP_END = "</d>";
 
 /** html标签 */
 private static final String REG_EX_HTML = "<[^>]+>";
 /** {@code <blockquote>标签} */
 private static final String REG_EX_HTML_BLOCKQUOTE = "</?blockquote>";
 /** 其他html转义符 */
 private static final String REG_EX_SPECIAL = "&[a-zA-Z]{1,10};";
 /** 正文声明内容匹配 */
 private static final String REG_EX_STATEMENT = "(<font[^>]*?>|<span[^>]*?>|<p[^>]*?>)\\s*([(|（|【]?(免责声明|图片声明|责编|责任编辑|声明|来源链接|资料来源|文章来源|编辑|头图来源|图片来源|转载声明|风险提示|郑重声明)\\s?[：:】]).*?(||)";
 /** 记者声明内容匹配 */
 private static final String REG_EX_REPORTER = "\\s*(本报记者|本报见习记者|见习记者|每经记者).*?";
 
 /**
 * 删除html标签
 * @param srcStr 原资讯正文内容
 * @return 过滤后的资讯正文内容
 */
 public static String removeHtmlTag(String srcStr) {
 return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr)
 .replaceAll(REG_EX_SCRIPT, "").replaceAll(REG_EX_STYLE, "")
 .replaceAll(REG_EX_HTML, "").replaceAll(REG_EX_SPECIAL, "");
 }
 
 /**
 * 删除HTML标签并格式化
 * <li>去除特殊空格、全角空格、换行符、制表符、空格</li>
 * <li>去除多余空行</li>
 * <li>首行缩进，换行缩进</li>
 * <li>去除js标签、html标签</li>
 * @param srcStr 原始资讯正文内容（带HTML格式）
 * @return 删除HTML标签后的正文内容
 */
 public static String removeHtmlAndFormat(String srcStr) {
 return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr)
 // 去除特殊空格
 .replaceAll("\\u00A0", "")
 // 去除全角空格
 .replaceAll("\\u3000", "")
 // 去除换行符、制表符
 .replaceAll("[\\t\\n\\r]", "")
 // 删除首行空格
 .replaceFirst("\\s+", "")
 // 删除2个以上的空格
 .replaceAll("\\s{2,}", "")
 // 首行缩进
 .replaceFirst("", " ")
 // 去掉图片标签，排除干扰
 .replaceAll("<(?i)img[^>]+>", "")
 // 去除多余空行
 .replaceAll("<(?i)p>\\s*</(?i)p>", "")
 // 换行缩进（p标签）
 .replaceAll("<(?i)p>", "\r\n ")
 // 换行缩进（p标签）
 .replaceAll("</(?i)p>", "\r\n ")
 // 换行缩进（br标签）
 .replaceAll("</?(?i)br\\s?/?>", "\r\n ")
 // 换行缩进（tr标签）
 .replaceAll("</(?i)tr>", "\r\n ")
 // 空格（td标签）
 .replaceAll("</(?i)td>", " ")
 // 换行缩进（section标签）
 .replaceAll("</(?i)section>", "\r\n ")
 // 特殊嵌套标签需要优先去掉
 .replaceAll(REG_EX_HTML_SP_START, "").replaceAll(REG_EX_HTML_SP_END, "")
 // 去除js标签
 .replaceAll(REG_EX_SCRIPT, "").replaceAll(REG_EX_STYLE, "")
 // 去除html标签
 .replaceAll(REG_EX_HTML, "").replaceAll(REG_EX_SPECIAL, "")
 // 去除多余空行
 .replaceAll("\r\n\\s+\r\n", "\r\n");
 }
 
 /**
 * 删除正文声明和记者声明
 * @param srcStr 原资讯正文内容
 * @return 过滤后的资讯正文内容
 */
 public static String removeStatementAndReporter(String srcStr) {
 return StringUtils.isBlank(srcStr) ? StringUtils.EMPTY : unescape(srcStr)
 .replaceAll(REG_EX_HTML_BLOCKQUOTE, "")
 .replaceAll(REG_EX_STATEMENT, "")
 .replaceAll(REG_EX_REPORTER, "");
 }
 
 /**
 * HTML内容进行HTML标签转义
 * <li>HTML标签转义举例：{@code -> }</li>
 * @param srcStr 原始内容
 * @return 转码后的HTML内容
 */
 public static String unescape(String srcStr) {
 if (StringUtils.isBlank(srcStr)) {
 return StringUtils.EMPTY;
 }
 return StringEscapeUtils.unescapeHtml4(srcStr);
 }
 
 }