使用Counter构建词汇表

淩亂°似流年 2023-02-19 15:28 10阅读 0赞

这里只记录两种情况：

## 1 ##

数据集是一段连续的文本，所有词汇放在一个list中（一维的）  
text:  
![在这里插入图片描述][20200621152245748.png]  
此时`Counter（text）`,text可以是一个list，统计该list中所有元素出现的次数并返回一个dict  
![在这里插入图片描述][20200621152443792.png]  
结合most\_common()方法，就可构建词汇表：`print(Counter(text).most_common(5))`

![在这里插入图片描述][20200621153858181.png]  
（5）表示选取频率最高的5个元素，返回由（key,value）元组组成的**list**  
再由二元组列表组成**dict**：**print(dict(Counter(text).most\_common(5)))**  
![在这里插入图片描述][20200621154041396.png]

## 2 ##

当所有的词汇不是放在一个一维的list中，而是一个二维list：  
![在这里插入图片描述][20200621154206209.png]  
我们可以通过二层循环访问到其中的每一个元素，然后要把这些元素的值累计计数  
先通过Counter()构建一个空字典（Couner对象）：

sentences = [['BOS', '任', '何', '人', '都', '可', '以', '做', '到', '。', 'EOS'], ['BOS', '要', '不', '要', '再', '來', '一', '塊', '蛋', '糕', '？', 'EOS']]
    word_count = Counter()
    print(type(word_count))  # <class 'collections.Counter'>
    word_count['a'] = 1
    word_count['b'] = 2
    print(word_count)  # Counter({'b': 2, 'a': 1})
    print(word_count['c'])  # 0

for sentence in sentences:
        for s in sentence:
            word_count[s] += 1
    print(word_count)
    # Counter({'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1, '何': 1, '人': 1, '都': 1, '可': 1, '以': 1, '做': 1, '到': 1, '。': 1, '不': 1, '再': 1, '來': 1, '一': 1, '塊': 1, '蛋': 1, '糕': 1, '？': 1})

有了这个字典可以用most\_common方法获得二元组list，  
然后通过dict（）获得字典：

print(word_count.most_common(6))
    # [('b', 2), ('BOS', 2), ('EOS', 2), ('要', 2), ('a', 1), ('任', 1)]
    print(dict(word_count.most_common(6)))
    # {'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1}

## 3 ##

截止到以上，关于Counter的部分已经完成，下面的工作是，如果我们要在这个字典中加上unk 这个key,要怎么做呢？  
如果只是要在字典中加入一个unk键值对的话很简单：

vocab = dict(word_count.most_common(6))
    vocab['unk'] = num-np.sum(list(vocab.values()))
    print(vocab)
    # {'b': 2, 'BOS': 2, 'EOS': 2, '要': 2, 'a': 1, '任': 1, 'unk': 13}

## 4 ##

如果要构建词汇表，需要一个不重复单词的list，我们需要word-index的字典来用index映射单词

idx_to_word = list(vocab.keys())
    print(idx_to_word)  # ['b', 'BOS', 'EOS', '要', 'a', '任', 'unk']
    word_to_idx = {
        word:i for i, word in enumerate(idx_to_word)}
    print(word_to_idx)  # {'b': 0, 'BOS': 1, 'EOS': 2, '要': 3, 'a': 4, '任': 5, 'unk': 6}

注意这里\{word:i for **i, word** in enumerate(idx\_to\_word)\} 必须要先写索引，再写迭代内容~~~

## 5 ##

如果要求’unk’索引为0，'pad’索引为1呢？我们可以这样取出word和索引：

ls = word_count.most_common(6)
    for index, w in enumerate(ls):
        print(w[0], index)
    # b 0
    # BOS 1
    # EOS 2
    # 要 3
    # a 4
    # 任 5

word_dict = {
        w[0]:index+2 for index, w in enumerate(ls)}
    word_dict['unk'] = 0
    word_dict['pad'] = 1
    # {'b': 2, 'BOS': 3, 'EOS': 4, '要': 5, 'a': 6, '任': 7, 'unk': 0, 'pad': 1}

[20200621152245748.png]: https://img-blog.csdnimg.cn/20200621152245748.png
[20200621152443792.png]: https://img-blog.csdnimg.cn/20200621152443792.png
[20200621153858181.png]: https://img-blog.csdnimg.cn/20200621153858181.png
[20200621154041396.png]: https://img-blog.csdnimg.cn/20200621154041396.png
[20200621154206209.png]: https://img-blog.csdnimg.cn/20200621154206209.png