AttributeError: lower not found（NLP 提取tfidf特征中出现的）

港控/mmm° 2023-02-14 01:26 18阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70]  
根本原因在于fit,transform和fit\_transform使用不对。  
首先明确传入参数可以是series  
**错误可能原因：**

## 1使用TfidfVectorizer() 时fit\_transform后再transform ##

def tfidf(X_train):
        tfidf_vec = TfidfVectorizer()
        X_train_tfidf = tfidf_vec.fit_transform(X_train)
        X_train_tfidf = tfidf_vec.transform(X_train_tfidf)
        return X_train_tfidf

这里把fit\_transform的结果又传给了transform，重复transform了

正确使用方式应为：

def tfidf(X_train,X_test):
        tfidf_vec = TfidfVectorizer()
        X_train_tfidf = tfidf_vec.fit_transform(X_train)
        X_test_tfidf = tfidf_vec.transform(X_test)
        return X_train_tfidf,X_test_tfidf

fit\_transform传入训练集，transform传入测试集

## 或者也可以先fit再transform ##

def tfidf(data):
        tfidf_vec = TfidfVectorizer()
        tfidf_model = tfidf_vec.fit(data)
        print(tfidf_model.dtype)
        X_tfidf = tfidf_model.transform(data)
        return X_tfidf

## 也可以使用CountVectorizer()和TfidfTransformer() ##

def tfidf(data):
    	vectorizer = CountVectorizer()  # 该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频
        transformer = TfidfTransformer()  # 该类会统计每个词语的tf-idf权值
        tfidf_before = vectorizer.fit_transform(data)
        tfidf = transformer.fit_transform(tfidf_before)
        return tfidf

**注**第一种分训练集和测试集分别传入的，需要先划分训练集和测试集再传入参数  
后面两种需要先提取tfidf特征再划分训练集和测试集  
否则可能会造成训练集和测试集的特征维度不同，不是在同一个标准下转化的

**有错误欢迎指出**

参考：https://zhuanlan.zhihu.com/p/42297868  
https://www.jianshu.com/p/c7e2771eccaa

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020053011233598.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70