基于gensim 词袋模型对文档逐词向量化-自编写代码

妖狐艹你老母 2022-06-01 12:30 212阅读 0赞

对于gensim，向量化文本只能通过dictionary.doc2bow来形成list(tuple（id，freq）)类型的向量，为了体现文档词语的前后关联，需要对gensim进行拓展。

import jieba
    import gensim
    import numpy as np
    from gensim import corpora
    # 加载数据
    wordslist = ["我在玉龙雪山","我喜欢玉龙雪山","我还要去玉龙雪山"] 
    # 切词
    textTest = [[word for word in jieba.cut(words)] for words in wordslist]
    # 生成字典
    dictionary = corpora.Dictionary(textTest,prune_at=2000000)
    for key in dictionary.iterkeys():
        print key,dictionary.get(key),dictionary.dfs[key]
    # 1 在 1
    # 5 还要 1
    # 0 我 3
    # 2 玉龙雪山 3
    # 3 喜欢 1
    # 4 去 1
    
    # 测试
    testwords = "我在玉龙雪山"
    corpus1 = dictionary.doc2bow(jieba.cut(testwords))
    print corpus1
    # [(0, 1), (1, 1), (2, 1)]
    corpus2 = dictionary.doc2vec(jieba.cut(testwords))
    print corpus2
    # [0, 1, 2]
    #我，在，玉龙雪山
    # 如果词语没有达到max_document_length，则以0补充，如果超过了max_document_length，则把多余的切割
    corpus2 = dictionary.doc2vec(jieba.cut(testwords),max_document_length=10)
    print corpus2
    # [0, 1, 2, 0, 0, 0, 0, 0, 0, 0]

打开D:\\Python27\\Lib\\site-packages\\gensim\\corpora\\dictionary.py文件，然后在class Dictionary(utils.SaveLoad, Mapping)中添加以下方法：

def doc2vec(self, document,max_document_length=None):
            vecs = []
            token2id = self.token2id
            if max_document_length==None:
                vecs = list(token2id[word] for word in document)
                return vecs
            elif max_document_length >= 1:
                vecs = list(token2id[word] for word in document)
                vecs_len = len(vecs)
                if  vecs_len < max_document_length:
                    vecs.extend([0]*(max_document_length-vecs_len))
                    return vecs
                else:
                    return vecs[:max_document_length]

当然也有现成的模块实现这个功能，比如tensorflow就有支持这种模型,但中文的文档似乎还不太好处理:

import numpy as np
    import tflearn
    x_text =[
    'i love you',
    'me too'
    ]
    vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
    vocab_processor.fit(x_text)
    x = np.array(list(vocab_processor.fit_transform(x_text)))
    print x
    # [[1 2 3 0]
    # [4 5 0 0]]