CN106547733A - 一种面向特定文本的命名实体识别方法 - Google Patents

Abstract

本发明公开了一种面向特定文本的命名实体识别方法，所述方法包括：步骤1)从待处理文本中搜集指示词；步骤2)根据指示词从待处理文本中抽取候选实体词，形成候选实体词列表；步骤3)根据候选实体词列表中的候选实体词，建立实体词性组合列表；步骤4)利用实体词性组合列表过滤候选实体词列表，对过滤后的候选实体列表进行分析，搜集统计错误结果，建立错误结果的过滤词表；步骤5)利用错误结果的过滤词表对抽取的命名实体进行二次过滤，形成最终的命名实体抽取结果。与传统方法相比，本发明的方法使得在抽取规范的、具备特定表达模式的相关文本时，能够显著提升待抽取命名实体的准确率和召回率。

Description

一种面向特定文本的命名实体识别方法

技术领域

本发明涉及信息抽取技术领域，尤其涉及具有特定表达模式的文本信息抽取技术领域，具体涉及一种面向特定文本的命名实体识别方法。

背景技术

命名实体是文本中基本的信息单位，主要包括人名、地名、组织结构名等，是正确理解文本的基础。命名实体识别是信息提取、问答系统、句法分析、机器翻译、知识图谱等应用领域重要基础性工作，在自然语言处理技术走向实用化的过程中占有重要地位。

早期的关于命名实体识别的研究大多集中在人工构造规则的方法，现在多采用监督学习的方法，自动构建规则或进行序列标注。监督学习是从标注好的文档的正负例里面学习特征，通过自动学习到的特征来识别命名实体。监督学习的缺点主要是需要大量标注好的语料，主要的序列标注模型包括：隐马尔科夫模型(HMM)，最大熵马尔科夫模型(MEMM)和条件随机场(CRF)等。这些模型都是通过大量的标注语料，定义一系列实体，通过学习得到基于特征的判别规则。

然而，现有的方法针对机构命名实体识别方法普遍存在准确率和召回率不高的问题，无法应用到实际应用中去。而命名实体是信息抽取、问答系统、机器翻译、知识图谱等大量应用的基本处理对象，是许多自然语言处理方向开展研究的基础，具备高准确率和高召回率的命名实体方法对于多种应用具有重要意义。

发明内容

本发明的目的在于克服传统命名实体识别方法存在的准确率和召回率无法满足应用需求的难题，针对具有特定表达模式的文本信息，提取人名、机构名的文本命名实体抽象特征，提出一种不同于传统方法的、具有高准确率和召回率的命名实体识别方法，该方法通过指示词搜集、候选实体词抽取、词性组合筛选、过滤词表构建四个步骤实现了命名实体识别。

为了实现上述目的，本发明提出了一种面向特定文本的命名实体识别方法，所述方法包括：

步骤1)从待处理文本中搜集指示词；

步骤2)根据指示词从待处理文本中抽取候选实体词，形成候选实体词列表；

步骤3)根据候选实体词列表中的候选实体词，建立实体词性组合列表；

步骤4)利用实体词性组合列表过滤候选实体词列表，对过滤后的候选实体列表进行分析，搜集统计错误结果，建立错误结果的过滤词表；

步骤5)利用错误结果的过滤词表对抽取的命名实体进行二次过滤，形成最终的命名实体抽取结果。

上述技术方案中，所述步骤1)中的指示词是指规范文本中表征后续字符是属于某类实体的词。

上述技术方案中，所述步骤2)具体包括：

步骤2-1)对待处理文本分句，遍历查找所有包含任意指示词的分句；

步骤2-2)利用指示词切割分句，保留任意两个指示词之间及任意指示词和分句结束之间的字符串，建立截断字符串集合；

步骤2-3)遍历截断字符串集合，对任意字符串做两两匹配，保留每次匹配的最长子串，建立最长匹配子串列表，同时储存各个匹配子串的匹配数量信息；

步骤2-4)按照匹配子串数量进行排序，形成候选实体词列表。

上述技术方案中，所述步骤3)的具体实现过程为：

利用通用的分词和词性标注工具，标注候选实体词列表中各个候选实体词的词性标记组合；对词性标记组合进行统计，统计具有相同词性组合的候选实体词，利用统计结果筛选出正确命名的实体词性组合，形成实体词性组合列表。

本发明的优势在于：

1、本发明的方法不需要大量人工标注语料，大大降低了人力成本；

2、本发明的方法不依赖于中文分词和词性标注的准确性，基础自然语言处理组件的错误不会传导到最终的命名实体识别结果；

3、本发明的方法不需要建立大规模的模型，命名实体识别的效率高；

4、与传统方法相比，本发明的方法使得在抽取规范的、具备特定表达模式的相关文本时，能够显著提升待抽取命名实体的准确率和召回率。

附图说明

图1为本发明的面向特定文本的命名实体识别方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

在许多正式的文本中，许多文本具有以下表达模式：其他文本+指示词+命名实体+其他文本，且此种模式会在正文中重复多次。以法院执行裁定书为例，指示词为原告/被告/委托人等。同时文本中出现的人名、机构名等命名实体表达规范，且会重复出现多次。本发明中的特定文本是指具备此类表达模式的文本。

如图1所示，一种面向特定文本的命名实体识别方法，该方法针对以上规范表达的文本数据，进行人名、机构名的命名实体识别。主要包括指示词搜集、候选实体词抽取、词性组合筛选、过滤词表构建四个步骤。该方法具体包括：

步骤1)从待处理文本中搜集指示词；

指示词是指规范文本中表征后续字符是属于某类实体的词，指示词一般具有多个，譬如申请人、上诉人、原告等都可看作代表原告的指示词。建立指示词词表的方法有两个：一是利用待处理文本的领域背景知识建立(如法院公文中的实体)；二是对样本中人工标注的命名实体的前述词进行频率统计，人工选择频率较高、且能涵盖待抽取实体的表征指示词建立词表。

步骤2)从待处理文本中抽取候选实体词，形成候选实体词列表；具体包括以下步骤：

步骤2-1)对待处理文本分句，遍历查找所有包含任意指示词的分句；

步骤2-2)利用指示词切割分句，保留任意两个指示词之间及任意指示词和分句结束之间的字符串，建立截断字符串集合；

步骤2-3)遍历截断字符串集合，对任意字符串做两两匹配，保留每次匹配的最长子串，建立最长匹配子串列表，同时储存各个匹配子串的匹配数量信息；

步骤2-4)按照匹配子串数量进行排序，形成候选实体词列表。

步骤3)利用通用的分词和词性标注工具，标注候选实体词列表中各个候选实体词的词性标记组合；对词性标记组合进行统计，统计具有相同词性组合的候选实体词，利用统计结果筛选出正确命名实体的词性组合，建立实体词性组合列表；

步骤4)利用实体词性组合列表过滤候选实体词列表，对过滤后的候选实体列表进行分析，搜集统计错误结果，建立错误结果的过滤词表；

步骤5)利用错误结果的过滤词表对抽取的命名实体进行二次过滤，形成最终的命名实体抽取结果。

Claims (4)

1.一种面向特定文本的命名实体识别方法，所述方法包括：

步骤1)从待处理文本中搜集指示词；

步骤2)根据指示词从待处理文本中抽取候选实体词，形成候选实体词列表；

步骤3)根据候选实体词列表中的候选实体词，建立实体词性组合列表；

步骤4)利用实体词性组合列表过滤候选实体词列表，对过滤后的候选实体列表进行分析，搜集统计错误结果，建立错误结果的过滤词表；

步骤5)利用错误结果的过滤词表对抽取的命名实体进行二次过滤，形成最终的命名实体抽取结果。

2.根据权利要求1所述的面向特定文本的命名实体识别方法，其特征在于，所述步骤1)中的指示词是指规范文本中表征后续字符是属于某类实体的词。

3.根据权利要求1所述的面向特定文本的命名实体识别方法，其特征在于，所述步骤2)具体包括：

步骤2-1)对待处理文本分句，遍历查找所有包含任意指示词的分句；

步骤2-2)利用指示词切割分句，保留任意两个指示词之间及任意指示词和分句结束之间的字符串，建立截断字符串集合；

步骤2-3)遍历截断字符串集合，对任意字符串做两两匹配，保留每次匹配的最长子串，建立最长匹配子串列表，同时储存各个匹配子串的匹配数量信息；

步骤2-4)按照匹配子串数量进行排序，形成候选实体词列表。

4.根据权利要求1所述的面向特定文本的命名实体识别方法，其特征在于，所述步骤3)的具体实现过程为：

利用通用的分词和词性标注工具，标注候选实体词列表中各个候选实体词的词性标记组合；对词性标记组合进行统计，统计具有相同词性组合的候选实体词，利用统计结果筛选出正确命名的实体词性组合，形成实体词性组合列表。