python写TF-IDF方法

我就是我 2023-09-25 15:27 8阅读 0赞

TF-IDF(term frequency-inverse document frequency)是一种在文本挖掘、信息检索、自然语言处理等领域中广泛使用的算法，用于衡量某一个词在文档中的重要性。

在 Python 中，可以使用 scikit-learn 库中的 TfidfVectorizer 类来实现 TF-IDF 算法。

首先，需要导入 TfidfVectorizer 类：

from sklearn.feature_extraction.text import TfidfVectorizer

然后，实例化 TfidfVectorizer 类，并传入相应的参数：

vectorizer = TfidfVectorizer(input='content', # 输入的是文本内容
                                 encoding='utf-8', # 编码格式
                                 decode_error='strict', # 解码错误的处理方式
                                 strip_accents=None, # 是否移除音调字符
                                 lowercase=True, # 是否将文本转化为小写
                                 preprocessor=None, # 预处理函数
                                 tokenizer=None, # 分词函数
                                 analyzer='word', # 分析器，可以是 'word' 或者 'char'
                                 stop_words=None, # 停用词列表
                                 token_pattern=r'(?u)\b\w\w+\b', # 分词模式
                                 ngram_range=(1, 1), # n-gram 范围
                                 max_df=1.0, # 最大文档频率
                                 min_df=1, # 最小文档频率
                                 max_features=None, # 最大特征数
                                 vocabulary=None, # 词汇表
                                 binary=False, # 是否进行二进制编码
                                 dtype=<class 'numpy.float64'>) # 矩阵的数据类型

接下来，使用 fit\_transform 方法对文本进行 fit 和 transform：

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python父类方法重写

![2137959f58d8a42b51102371925ddbef.png][] 在 Python 中，子类继承了父类，那么子类就拥有了父类所有的类属性和类方法。通常情况下

你的名字/ 2023年10月07日 23:07/ 0 赞/ 71 阅读

相关 python 读写txt方法

![c56f8d27d7e74c9c9e0cccc4deafde25.jpeg][] 1. Python支持在程序中读写 txt文件。这里有两种方式：方式一：使用 pyth

Bertha 。/ 2023年09月30日 22:46/ 0 赞/ 28 阅读

相关 python写TF-IDF方法

TF-IDF(term frequency-inverse document frequency)是一种在文本挖掘、信息检索、自然语言处理等领域中广泛使用的算法，用于衡量某一个

我就是我/ 2023年09月25日 15:27/ 0 赞/ 9 阅读

相关机器学习Tfidf使用时的注意事项

1.def cut\_words(text): return " ".join(list(jieba.cut(text))) 使用jieba分词时要将原本的数据转化为字

喜欢ヅ旅行/ 2023年07月03日 10:32/ 0 赞/ 20 阅读

相关 TFIDF

[词权重计算及应用][Link 1] [文本向量表示及TFIDF词汇权值][TFIDF] [北邮人论坛上的两个停用词表]

末蓝、/ 2022年09月21日 11:39/ 0 赞/ 211 阅读

相关 go获取tfidf词频矩阵

package utils import ( "math" "sort" "time" ) t

悠悠/ 2022年09月09日 14:53/ 0 赞/ 198 阅读

相关 [python] 基于k-means和tfidf的文本聚类代码简单实现

俗话说“外行看热闹，内行看门道“，作为一个机器学习的门外汉，刚研究python机器学习scikit-learn两周时间，虽然下面这段程序可能对于那些专研算法或机器学习的人来说非

骑猪看日落/ 2021年12月16日 09:25/ 0 赞/ 607 阅读

相关 python重写类方法

class 类(): def 原始函数(self): print('我是原始函数！') def 新函数(self): print('我是重写后的新函数!') a

墨蓝/ 2021年12月07日 13:15/ 0 赞/ 324 阅读

相关 python sklearn2pmml保存tfidf+kmeans模型

from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer, Tfidf

Dear 丶/ 2021年09月30日 02:28/ 0 赞/ 620 阅读

相关 spark实现tfidf

package xxx import org.apache.log4j.Logger import org.apache.log4j.Leve

朴灿烈づ我的快乐病毒、/ 2021年09月29日 11:24/ 0 赞/ 326 阅读