NLTK避免缩略词导致分句错误

古城微笑少年丶 2022-09-01 09:15 155阅读 0赞

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations?  
][How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]

NLTK自带的`nltk.tokenize`库可以实现英文分句，但是当句子中存在缩写词时分句会错误：

from nltk.tokenize import sent_tokenize
    sens = sent_tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig.', '2 shows a U.S.A. map.Look!'] """

可以使用`nltk.tokenize.punkt`库自定义缩写词列表进行分句：

from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktParameters
    
    punkt_param = PunktParameters()
    abbreviation = ['fig', 'u.s.a']
    punkt_param.abbrev_types = set(abbreviation)
    tokenizer = PunktSentenceTokenizer(punkt_param)
    sens = tokenizer.tokenize('Fig. 2 shows a U.S.A. map.Look!')
    print(sens)
    
    """ 输出：['Fig. 2 shows a U.S.A. map.Look!'] """

**注意：**

1.  自定义缩略词列表单词全部小写，结尾的句号要去掉
2.  句子结束标点后面要加一个空格，否则分句失败

[How to avoid NLTK_s sentence tokenizer splitting on abbreviations_]: https://stackoverflow.com/questions/34805790/how-to-avoid-nltks-sentence-tokenizer-splitting-on-abbreviations

发表评论取消回复

表情：

评论列表（有 0 条评论，155人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python 千题 —— 基础篇】分句成词

题目描述题目描述在数据分析时，我们可能需要将一句话分割成一个个单词，从而分析句子所包含的内容。编写一个程序，输入一句话，然后以空格为分界符将句子分割成一个个单词

深藏阁楼爱情的钟/ 2024年03月27日 19:11/ 0 赞/ 83 阅读

相关如何使用 Python 从单词创建首字母缩略词

![如何使用 Python 从单词创建首字母缩略词][Python] 在编程和数据处理中，首字母缩略词是句子的缩写版本。Python 是一种有效的语言，用于构造首字母缩略词、

深藏阁楼爱情的钟/ 2024年03月23日 20:37/ 0 赞/ 45 阅读

相关 C# 缩略词对照表

> 最近在阅读Essential C\，其中有诸多（新）术语，且易混淆，因此将其中的缩略词做以记录。 <table> <thead> <tr> <th al

左手的ㄟ右手/ 2023年06月08日 04:58/ 0 赞/ 9 阅读

相关 Spring循环依赖（缩略版）

Spring循环依赖问题也算是个老掉牙的问题，一搜一大把，这里纯粹是为了给自己做个笔记，所以写（水）一篇博客那么为什么要叫缩略版呢，因为这里不打算分析Spring源码来讲了

Bertha 。/ 2022年12月06日 15:52/ 0 赞/ 143 阅读

相关 WebRTC 那些常用的缩略词以及部分知识杂谈

WebRTC 那些常用的缩略词以及部分知识杂谈一、缩略语 RTC Real-Time Communication SDP Session Description P

叁歲伎倆/ 2022年10月16日 00:56/ 0 赞/ 277 阅读

相关电商缩略词用语

ACU Average concurrent users 同时在线用户数 ARPU Average Revenue Per User 每用户平均收入 CPA

﹏ヽ暗。殇╰゛Y/ 2022年10月02日 10:43/ 0 赞/ 135 阅读

相关 NLTK避免缩略词导致分句错误

参考：[How to avoid NLTK’s sentence tokenizer splitting on abbreviations? ][How to avoid

古城微笑少年丶/ 2022年09月01日 09:15/ 0 赞/ 156 阅读

相关 java script 显示缩略词

1. 循序渐进：从最核心的内容开始，逐步添加额外的内容 2. display inline 把所有的元素放在一行显示，横向显示（以内联元素的形式显示） bloc

蔚落/ 2022年08月21日 00:08/ 0 赞/ 152 阅读

相关设计模式23缩略版

设计模式分为三大类：创建型模式，共5种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共7种：适配器模式、装饰器模式、代理模式、外观模式

╰+攻爆jí腚メ/ 2022年06月09日 00:58/ 0 赞/ 169 阅读

相关 Python 自然语言处理（基于jieba分词和NLTK）

\----------欢迎加入学习交流QQ群：657341423 -------------------- 自然语言处理是人工智能的类别之一。自然语言处理主要有那些功能？我

曾经终败给现在/ 2022年05月25日 08:37/ 0 赞/ 289 阅读