CN105095381A - 新词识别方法和装置 - Google Patents

Abstract

本发明提供了一种新词识别方法和装置，方法其包括：从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。根据本发明的新词识别方法和装置，通过统计搜索查询词中的片段与搜索结果网页之间的对应关系进行分析，可以分析出搜索查询词的片段是否是一个新词。

Description

新词识别方法和装置

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种新词识别方法和装置。

背景技术

在搜索技术领域，由于新词在不断产生，因此如何能够及时发现新词就成为一个重要的课题。

目前，在大部分用于发现新词的技术方案中，都是通过对网页内容进行统计分析来计算各种统计指标，再通过统计指标找到候选的新词。

上述的技术方案中存在2个不足：一是容易将高频出现的常见搭配错误的多个片段识别为新词；二是对于低频出现的新词，由于统计信息不足，往往不能够及时识别。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的新词识别方法和装置。

依据本发明的一个方面，提供了一种新词识别方法，其包括：从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的方法，所述搜索结果网页的内容为所述搜索结果网页的标题。

可选地，前述的方法，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，具体包括：计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的方法，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，还包括：计算在均包含所述多个片段的多个搜索查询词中，所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第二概率；根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：根据所述第一概率、所述第二概率的大小，判断是否将所述搜索查询词中连续的所述多个片段作为一个新词。

可选地，前述的方法，在根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词之前，还包括：查找与所述搜索结果网页类型相同的网页集合，并获取所述网页集合对应的搜索查询词集合；从所述搜索查询词集合中，查找出均包含所述多个片段的多个搜索查询词。

可选地，前述的方法，在从用户提交的搜索查询词中，提取未能匹配的连续的多个片段之前，还包括：从搜索引擎的搜索日志中，查找所述搜索查询词以及所述搜索结果网页。

依据本发明的另一方面，提供了一种新词识别装置，其包括：片段提取模块，用于从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；对应关系统计模块，用于统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；新词识别模块，用于根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的装置，所述搜索结果网页的内容为所述搜索结果网页的标题。

可选地，前述的装置，所述对应关系统计模块计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；所述新词识别模块根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

可选地，前述的装置，所述对应关系统计模块还计算在均包含所述多个片段的多个搜索查询词中，所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第二概率；所述新词识别模块根据所述第一概率、所述第二概率的大小，判断是否将所述搜索查询词中连续的所述多个片段作为一个新词。

可选地，前述的装置，还包括：搜索查询词集合获取模块，用于查找与所述搜索结果网页类型相同的网页集合，并获取所述网页集合对应的搜索查询词集合；搜索查询词获取模块，用于从所述搜索查询词集合中，查找出均包含所述多个片段的多个搜索查询词。

可选地，前述的装置，还包括：搜索日志查找模块，用于从搜索引擎的搜索日志中，查找所述搜索查询词以及所述搜索结果网页。

根据本发明的技术方案，可知本发明的新词识别方法和装置至少具有以下优点：

在本发明的技术方案中，由于新词与其所在网页内容之间存在一定的对应关系，所以通过统计搜索查询词中的片段与搜索结果网页之间的对应关系进行分析，可以分析出搜索查询词的片段是否是一个新词，相比于现有的技术方案，本发明的技术方案不受新词出现词频的影响，可以及时地发现新词。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明的一个实施例的新词识别方法的流程图；

图2示出了根据本发明的一个实施例的新词识别装置的框图；

图3示出了根据本发明的一个实施例的新词识别装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的一个实施例中提供了一种新词识别方法，其包括：

步骤110，从用户提交的搜索查询词中，提取未能匹配的连续的多个片段。在本实施例的技术方案中，片段可以是能够匹配到的字、词甚至标点符号等；而判断搜索查询词中的片段是否能够匹配，可以通过将片段与词库中的词进行匹配来确定。例如，用户输入的查询词中包含能够匹配到的“极”、“泰坦”，但“极泰坦”则构成从词库中无法匹配到的连续两个片段。

步骤120，统计搜索查询词对应的被点击的搜索结果网页的内容与多个片段之间的对应关系。在本实施例的技术方案中，本领域技术人员容易理解，用户点击过的搜索结果网页与搜索查询词是高度相关的，所以通过分析搜索结果网页与搜索查询词的多个片段之间的对应关系，有利于判断多个片段是否为新词；本实施例中对对应关系的类型不进行限制，例如，其可以是连续多个片段在搜索结果网页正文中的出现频率、占比等等。

步骤130，根据对应关系，判断是否将搜索查询词中连续的多个片段识别为一个新词。根据本实施例的技术方案，在搜索查询词的多个片段与搜索结果网页之间的对应关系符合一定条件时，即可判断搜索查询词中的连续多个片段为新词；可以发现，相比于现有的技术方案，本发明的技术方案不受新词出现在互联网中出现词频高低的影响，有利于及时地发现新词。

本发明的另一个实施例中还提供了一种新词识别方法，与前述的实施例相比，本实施例的新词识别方法，搜索结果网页的内容为搜索结果网页的标题。在本实施例的技术方案中，标题为搜索结果网页中的最关键内容，其往往用简练的文字涵盖搜索结果网页的主要内容，所以本实施例中采用搜索结果网页的标题进行对应关系的分析计算，一方面有利于准确计算出对应关系，另一方面有利于降低计算对应关系时的计算量。

本发明的另一个实施例中还提供了一种新词识别方法，与前述的实施例相比，本实施例的新词识别方法，步骤120具体包括：

计算在标题中多个片段按照其在搜索查询词中的顺序连续出现的概率作为第一概率。在本实施例的技术方案中，如果一个未识别词是新词，那么在相关的搜索结果网页的标题中连续出现的概率非常高。

步骤130具体包括：根据第一概率的大小，判断是否将搜索查询词中连续的多个片段识别为一个新词。在本实施例的技术方案中，例如，当“极泰坦”连续出现在搜索查询词中时，在搜索查询词对应的被点击的搜索结果网页的标题中也连续包含“极泰坦”的概率为0.902257，超过阈值0.9，则判断“极泰坦”是一个新词。

本发明的另一个实施例中还提供了一种新词识别方法，与前述的实施例相比，本实施例的新词识别方法，步骤120还包括：

计算在均包含多个片段的多个搜索查询词中，多个片段按照其在搜索查询词中的顺序连续出现的概率作为第二概率。在本实施例的技术方案中，充分利用搜索引擎查询词的特点：用户提交的搜索查询词中未识别的连续多个片段如果是一个新词，则该多个片段按照在用户提交的搜索查询词中的顺序连续出现的概率，大于按其他顺序出现的概率。所以通过计算这个概率可以进一步地准确发现新词。

步骤130具体包括：根据第一概率、第二概率的大小，判断是否将搜索查询词中连续的多个片段作为一个新词。在本实施例的技术方案中，例如，当“极泰坦”的概率为0.902257，超过阈值0.9时，还发现“极”与“泰坦”在已知的所有搜索查询词中都是按“极泰坦”的顺序连续出现，概率为1，超过预设阈值0.8，此时判断“极泰坦”为一个新词。

本发明的另一个实施例中还提供了一种新词识别方法，与前述的实施例相比，本实施例的新词识别方法，在步骤130之前，还包括：

查找与搜索结果网页类型相同的网页集合，并获取网页集合对应的搜索查询词集合。在本实施例的技术方案中，例如，用户点击的搜索结果网页为游戏类网页，则收集游戏类网页结合对应的搜索查询词结合。

从搜索查询词集合中，查找出均包含多个片段的多个搜索查询词。在本实施例的技术方案中，由于最终查找到的多个搜索查询词与用户输入的搜索查询词均对应游戏类的网页，所以查找到的多个搜索查询词与用户输入的搜索查询词之间的相关性更强，这使得计算得到的第二概率更能够反映连续多个片段是否为新词。

本发明的另一个实施例中还提供了一种新词识别方法，与前述的实施例相比，本实施例的新词识别方法，在步骤110之前，还包括：

从搜索引擎的搜索日志中，查找搜索查询词以及搜索结果网页。在本实施例的技术方案中，搜索日志中包含了大量的用户输入的搜索查询词以及得到的搜索结果网页的数据，所以基于搜索日志进行分析计算，即可从中发现新词。

如图2所示，本发明的另一实施例还提供了一种新词识别装置，其包括：

片段提取模块210，用于从用户提交的搜索查询词中，提取未能匹配的连续的多个片段。在本实施例的技术方案中，片段可以是能够匹配到的字、词甚至标点符号等；而判断搜索查询词中的片段是否能够匹配，可以通过将片段与词库中的词进行匹配来确定。例如，用户输入的查询词中包含能够匹配到的“极”、“泰坦”，但“极泰坦”则构成从词库中无法匹配到的连续两个片段。

对应关系统计模块220，用于统计搜索查询词对应的被点击的搜索结果网页的内容与多个片段之间的对应关系。在本实施例的技术方案中，本领域技术人员容易理解，用户点击过的搜索结果网页与搜索查询词是高度相关的，所以通过分析搜索结果网页与搜索查询词的多个片段之间的对应关系，有利于判断多个片段是否为新词；本实施例中对对应关系的类型不进行限制，例如，其可以是连续多个片段在搜索结果网页正文中的出现频率、占比等等。

新词识别模块230，用于根据对应关系，判断是否将搜索查询词中连续的多个片段识别为一个新词。根据本实施例的技术方案，在搜索查询词的多个片段与搜索结果网页之间的对应关系符合一定条件时，即可判断搜索查询词中的连续多个片段为新词；可以发现，相比于现有的技术方案，本发明的技术方案不受新词出现在互联网中出现词频高低的影响，有利于及时地发现新词。

本发明的另一个实施例中还提供了一种新词识别装置，与前述的实施例相比，本实施例的新词识别装置，搜索结果网页的内容为搜索结果网页的标题。在本实施例的技术方案中，标题为搜索结果网页中的最关键内容，其往往用简练的文字涵盖搜索结果网页的主要内容，所以本实施例中采用搜索结果网页的标题进行对应关系的分析计算，一方面有利于准确计算出对应关系，另一方面有利于降低计算对应关系时的计算量。

本发明的另一个实施例中还提供了一种新词识别装置，与前述的实施例相比，本实施例的新词识别装置，对应关系统计模块220计算在标题中多个片段按照其在搜索查询词中的顺序连续出现的概率作为第一概率。在本实施例的技术方案中，如果一个未识别词是新词，那么在相关的搜索结果网页的标题中连续出现的概率非常高。

新词识别模块230根据第一概率的大小，判断是否将搜索查询词中连续的多个片段识别为一个新词。在本实施例的技术方案中，例如，当“极泰坦”连续出现在搜索查询词中时，在搜索查询词对应的被点击的搜索结果网页的标题中也连续包含“极泰坦”的概率为0.902257，超过阈值0.9，则判断“极泰坦”是一个新词。

本发明的另一个实施例中还提供了一种新词识别装置，与前述的实施例相比，本实施例的新词识别装置，对应关系统计模块220还计算在均包含多个片段的多个搜索查询词中，多个片段按照其在搜索查询词中的顺序连续出现的概率作为第二概率。在本实施例的技术方案中，充分利用搜索引擎查询词的特点：用户提交的搜索查询词中未识别的连续多个片段如果是一个新词，则该多个片段按照在用户提交的搜索查询词中的顺序连续出现的概率，大于按其他顺序出现的概率。所以通过计算这个概率可以进一步地准确发现新词。

新词识别模块230根据第一概率、第二概率的大小，判断是否将搜索查询词中连续的多个片段作为一个新词。在本实施例的技术方案中，例如，当“极泰坦”的概率为0.902257，超过阈值0.9时，还发现“极”与“泰坦”在已知的所有搜索查询词中都是按“极泰坦”的顺序连续出现，概率为1，超过预设阈值0.8，此时判断“极泰坦”为一个新词。

如图3所示，本发明的另一个实施例中还提供了一种新词识别装置，与前述的实施例相比，本实施例的新词识别装置，还包括：

搜索查询词集合获取模块240，用于查找与搜索结果网页类型相同的网页集合，并获取网页集合对应的搜索查询词集合。在本实施例的技术方案中，例如，用户点击的搜索结果网页为游戏类网页，则收集游戏类网页结合对应的搜索查询词结合。

搜索查询词获取模块250，用于从搜索查询词集合中，查找出均包含多个片段的多个搜索查询词。在本实施例的技术方案中，由于最终查找到的多个搜索查询词与用户输入的搜索查询词均对应游戏类的网页，所以查找到的多个搜索查询词与用户输入的搜索查询词之间的相关性更强，这使得计算得到的第二概率更能够反映连续多个片段是否为新词。

本发明的另一个实施例中还提供了一种新词识别装置，与前述的实施例相比，本实施例的新词识别装置，还包括：

搜索日志查找模块260，用于从搜索引擎的搜索日志中，查找搜索查询词以及搜索结果网页。在本实施例的技术方案中，搜索日志中包含了大量的用户输入的搜索查询词以及得到的搜索结果网页的数据，所以基于搜索日志进行分析计算，即可从中发现新词。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的新词识别装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种新词识别方法，其包括：

从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；

统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；

根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

2.根据权利要求1所述的方法，其中，

所述搜索结果网页的内容为所述搜索结果网页的标题。

3.根据权利要求2所述的方法，其中，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，具体包括：

计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；

根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：

根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

4.根据权利要求3所述的方法，其中，统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系，还包括：

计算在均包含所述多个片段的多个搜索查询词中，所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第二概率；

根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词，具体包括：

根据所述第一概率、所述第二概率的大小，判断是否将所述搜索查询词中连续的所述多个片段作为一个新词。

5.根据权利要求3所述的方法，其中，在根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词之前，还包括：

查找与所述搜索结果网页类型相同的网页集合，并获取所述网页集合对应的搜索查询词集合；

从所述搜索查询词集合中，查找出均包含所述多个片段的多个搜索查询词。

6.根据权利要求1至5中任一项所述的方法，其中，在从用户提交的搜索查询词中，提取未能匹配的连续的多个片段之前，还包括：

从搜索引擎的搜索日志中，查找所述搜索查询词以及所述搜索结果网页。

7.一种新词识别装置，其包括：

片段提取模块，用于从用户提交的搜索查询词中，提取未能匹配的连续的多个片段；

对应关系统计模块，用于统计所述搜索查询词对应的被点击的搜索结果网页的内容与所述多个片段之间的对应关系；

新词识别模块，用于根据所述对应关系，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

8.根据权利要求7所述的装置，其中，

所述搜索结果网页的内容为所述搜索结果网页的标题。

9.根据权利要求8所述的装置，其中，

所述对应关系统计模块计算在所述标题中所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第一概率；

所述新词识别模块根据所述第一概率的大小，判断是否将所述搜索查询词中连续的所述多个片段识别为一个新词。

10.根据权利要求9所述的装置，其中，

所述对应关系统计模块还计算在均包含所述多个片段的多个搜索查询词中，所述多个片段按照其在所述搜索查询词中的顺序连续出现的概率作为第二概率；

所述新词识别模块根据所述第一概率、所述第二概率的大小，判断是否将所述搜索查询词中连续的所述多个片段作为一个新词。