「Python 数据处理基础」中文文本数据预处理操作的8种常用方法

港控/mmm° 2022-10-12 12:14 476阅读 0赞

### 文章目录 ###

*  内容介绍
 *  自然语言文本数据处理

# 内容介绍 #

将日常工作中如何进行处理中文文本数据的常规方法。其中包括格式处理、编码转换、文档分割、错误修正等内容。

# 自然语言文本数据处理 #

str_ = '<div id="more-content"></div> </div>'

**1 删除无效标签和符号**

从网页的源代码获得的文本信息包含HTML标签。此时，应提取特定标签的内容，并删除标签。删除句子中的标点符号，特殊符号等。

# 使用正则表达式清理文本中的格式内容
    def clean_text(text):
        text = re.sub(r'[\A\s\Z\n\t\r\f\s0-9]','',text) # 删除句子中Html格式
        text = re.sub(r'[，。\{；]','',text)  # 删除句子中的标点符号，特殊符号等。
        return text

**2.编码转换**

不同的编码转换对中文处理的影响更大，例如UTF-8，UTF-16，GBK，GB2312等之间的转换。

# decode 解码
    def change_decode(text):
        return text.encode()  
    
    # encode 编码
    def change_encode(text):
        return text.encode().decode()

**3.文档分割**

如果要获取包含多个文件的单个文档，则需要执行单独的分割以分离不同的文档。

def content_split(text):
        return text.split("???")

**4.基本错误更正**

更正常见短语中的错误，例如文本和特定场景中的人物姓名和地名。

change_list = [
        ["错误的词汇","正确的词汇"]
    ]
    def change_str(text):
        for i in change_list:
            text.replace(change_list[i][0],change_list[i][1])
        return text

**5.删除空格**

需要删除文本中可能包含的大量空格和空白行。

def strip_str(text):
        return text.strip()

**6.大小写统一**

将文本中的英文统一为大写或小写。

# 把所有字符中的小写字母转换成大写字母
    def str_upper(text):
        retrun str_.upper() 
    
    # 把所有字符中的大写字母转换成小写字母
    def str_lower(text):
        retrun str_.lower()  
        
    # 把第一个字母转化为大写字母，其余小写
    def str_capitalize(text):
        retrun str_.capitalize()
        
    # 把每个单词的第一个字母转化为大写，其余小写 
    def str_title(text):
        retrun str_.title()

**7.分词/停用词**

常见的停用词包括在上方，下方，上方，上方等的、、、、和。

import jieba
    
    # 加载自定义辞典
    jieba.load_userdict("data/自定义辞典.txt")  
    
    # jieba 分词处理
    def jieba_cut(text):
        words=" ".join(jieba.cut(text))
        return ''.join(words)
    jiebacut_list = jieba_cut(str_)
    
    # 加载停用词
    stop_words_path="data/中文停用词库.txt"
    
    def stopwordslist(filepath):  
        stopwords = [line.strip() for line in open(filepath, 'r',encoding='utf-8').readlines()]
        return stopwords 
    stopwords_list = stopwordslist(stop_words_path)
    
    
    # 停用词方法1
    def remove_stopwords(text):
        outstr = []  
        for i in text:  
            if i not in stopwords_list:  
                outstr.append(i)
        return " ".join(outstr)
    
    # 停用词方法2
    import jieba.analyse
    
    def jieba_analyse(text):
        jieba.analyse.set_stop_words(stop_words_path) 
        return  " ".join(jieba.analyse.extract_tags(text, topK=10, withWeight=False,allowPOS=('ns','n')))

**8.保留特殊字符**

在某些情况下，可能仅需要处理中文字符，英文或数字，而其他字符则需要过滤掉。

# 只保留中文
    def keep_cn(text):
        return re.sub(r'[^\u4e00-\u9fa5]','',text)
    
    # 只保留英文
    def keep_en(text):
        return re.sub(r'[^a-z^A-Z]','',text)
    
    # 只保留数字
    def keep_en(text):
        return re.sub(r'[^0-9]','',text)
    
    # 只保留字符串中的中英文和数字
    def keep_(text):
        cop = re.compile("[^\u4e00-\u9fa5^a-z^A-Z^0-9]") # 匹配不是中文、大小写、数字的其他字符
        return cop.sub('', text)