清洗中文语料过程

心已赠人 2022-03-15 11:18 204阅读 0赞

# 语料需要的清洗的问题 #

*  1、标点符号，中文标点混合英文标点符号，全半角等
 *  2、有一些特殊的表情符号存在于句子中
 *  3、还有一些标点符号重复使用
 *  4、至于繁体中文转中文，停用词等之类

1、规则匹配方法

\#\#\# 匹配除了数字、英文标点、中文标点、中文字符、中文字符之外符号；这种符号一般可以去掉中文文本表达中的表情符号，特殊字符等之类的。

improt re
    from string import punctuation
    from string import digits
    rule = re.compile(u'[^a-zA-Z.,;《》？！“”‘’@#￥%…&×（）——+【】{};；●，。&～、|\s:：'+digits+punctuation+'\u4e00-\u9fa5]+')
    s= re.sub(rule, '', sentence)
    ###处理文本重复符号的表达，如替换多个。！.
    s = re.sub('[!]+','！', s)
    s = re.sub('[.]+','。', s)
    s = re.sub('[。]+','。', s)

2、处理整段中文语料上述问题，只提取中文部分

def clean_line(s):
        """
        :param s: 清洗爬取的中文语料格式
        :return:
        """
        import re
        from string import digits, punctuation
        rule = re.compile(u'[^a-zA-Z.,;《》？！“”‘’@#￥%…&×（）——+【】{};；●，。&～、|\s:：' + digits + punctuation + '\u4e00-\u9fa5]+')
        s = re.sub(rule, '', s)
        s = re.sub('[、]+', '，', s)
        s = re.sub('\'', '', s)
        s = re.sub('[#]+', '，', s)
        s = re.sub('[?]+', '？', s)
        s = re.sub('[;]+', '，', s)
        s = re.sub('[,]+', '，', s)
        s = re.sub('[!]+', '！', s)
        s = re.sub('[.]+', '.', s)
        s = re.sub('[，]+', '，', s)
        s = re.sub('[。]+', '。', s)
        s = s.strip().lower()
        return s

3、匹配中文字符

sent = "酒店<e0-2>特别好</e0>，<a0-2>前台</a0>办理入住的<a1-2>工作人员</a1><e1-2-a1>服务热情</e1>，" \
           "<exp-fac-a1-e1>主动给升级了房间</exp-fac>，酒店<a2-2>环境</a2><e2-2-a2>超级好</e2>，" \
           "有一个比较大的儿童乐园，然后走个2，30米又<exp-fac>有跷跷板啊，滑梯啊这样的小玩具</exp-fac>，" \
           "酒店还有一个专门的儿童餐厅，<a3-2>早饭</a3><exp-fac-a3>都是各种卡通图形的面包，华夫饼</exp-fac>，" \
           "<exp-sug>如果是亲子旅游的话，我超级推荐海韵酒店</exp-sug>。酒店<exp-fac>过了马路就是海，" \
           "踏浪也很方便</exp-fac>。酒店<e3-2>干净</e3><exp-fac>没有蚊虫</exp-fac>。<e4-2>总之满分推荐</e4>。"
    pa = re.compile(r'<[a0-9-]*>')
    paa = re.compile(r'<[/][a0-9-]*>')
    pe = re.compile(r'<e[a0-9-]*>')
    pe2 = re.compile(r'</e[a0-9-]*>')
    pexp = re.compile(r'<exp[a-z0-9-]*>')
    pexp2 = re.compile(r'</exp[a-z0-9-]*>')
    print(pa.findall(sent))
    print(paa.findall(sent))
    print(pe.findall(sent))
    print(pe2.findall(sent))
    print(pexp.findall(sent))
    print(pexp2.findall(sent))