CN108776705B - 一种文本全文精确查询的方法、装置、设备及可读介质 - Google Patents
一种文本全文精确查询的方法、装置、设备及可读介质 Download PDFInfo
- Publication number
- CN108776705B CN108776705B CN201810600280.8A CN201810600280A CN108776705B CN 108776705 B CN108776705 B CN 108776705B CN 201810600280 A CN201810600280 A CN 201810600280A CN 108776705 B CN108776705 B CN 108776705B
- Authority
- CN
- China
- Prior art keywords
- query
- word
- text
- combined
- index table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文本精确查询的方法、装置、设备及可读介质，该方法包括：获取步骤，获取需要进行精确查询的文本；查询词生成步骤，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到n‑1个组合分词，将所述n个分词和n‑1个组合分词作为查询词；查询步骤，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档；其中，n为大于1的整数。本发明创造性的提出了将分词后的相邻的词语组合成一个新的词，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，大大提高了检索效率，由于不用存储位置信息，大大减少了索引表所占的存储空间，节约了存储资源。
Description
技术领域
本发明涉及检索技术领域，特别是一种文本精确查询的方法、装置、设备及可读介质。
背景技术
目前，现有技术中，一般文本全文检索引擎，是通过倒排索引的形式来实现的。倒排索引是指用来存储某一个词在一个或者多个文档中的映射关系。一篇文档建立全文检索，首先对文章进行分词，然后把每个词所在当前的文档号和文档位置累加到倒排索引中。这样查询一条语句，就可以把语句进行分词，然后通过倒排索引快速的找到各个分词所在的文档号，从而聚合找到语句所在的文档。
精确查询是指查询的一条语句完整的出现在一篇文档中，按上面倒排索引查询到词所在的文档中还不够，还要读取每个词所在的文档中的位置，判断前后两个分词所在的同个文档中的位置也应该连续，这样才能符合要求。
现有技术中，为了实现精确查询，建立索引时，除了存储分词的倒排索引，还要存储每个分词在文档中的所有位置，这样有两方面技术缺陷。
1、要比较连续词出现的位置是否也连续，增加了计算性能。
2、要存储分词所在的所有位置，对于大部分文档，分词所有位置的存储空间远大分词所在文档号的空间，浪费很大存储空间。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种文本精确查询的方法，该方法包括：
获取步骤，获取需要进行精确查询的文本；
查询词生成步骤，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到 n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词；
查询步骤，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档；其中，n为大于1 的整数。
更进一步地，所述方法还包括：
倒排索引表生成步骤，对待查询的文档进行分词操作获得m个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表；
其中，倒排索引表生成步骤在所述获取步骤之前，m为大于1的整数。
更进一步地，所述查询命中的文档是指同时命中了n-1个组合分词的文档。
更进一步地，所述文档包括word、txt、web和pdf格式的文档至少之一。
更进一步地，所述查询步骤的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值的文档作为查询命中的文档返回。
更进一步地，所述第一阈值为100％。
本发明还提出了一种文本精确查询的装置，该装置包括：
获取单元，获取需要进行精确查询的文本；
查询词生成单元，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到 n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词；
查询单元，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档；其中，n为大于1 的整数。
更进一步地，所述装置还包括：
倒排索引表生成单元，对待查询的文档进行分词操作获得m个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表；
其中，倒排索引表生成单元的操作在所述获取单元的操作之前进行，m为大于1的整数。
更进一步地，所述查询命中的文档是指同时命中了n-1个组合分词的文档。
更进一步地，所述文档包括word、txt、web和pdf格式的文档至少之一。
更进一步地，所述查询单元的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值的文档作为查询命中的文档返回。
更进一步地，所述第一阈值为100％。
本发明还提出了一种文本精确查询的设备，所述设备包括处理器、存储器，所述处理器与所述存储器通过总线相连接，所述存储器中存储机器可读代码，所述处理器执行存储器中的机器可读代码以执行上述之任一所述的方法。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时以执行上述之任一所述的方法。
本发明的技术效果为：本发明创造性的提出了将分词后的相邻的词语组合成一个新的词，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，大大提高了检索效率，由于不用存储位置信息，大大减少了索引表所占的存储空间，节约了存储资源。
附图说明
图1是根据本发明的实施例的一种文本精确查询的方法的流程图。
图2是根据本发明的实施例的一种文本精确查询的装置的结构图。
图3是根据本发明的实施例的一种文本精确查询的设备的结构图。
具体实施方式
下面结合附图1-3进行具体说明。
图1示出了本发明的一种文本精确查询的方法，该方法包括：
获取步骤S1，获取需要进行精确查询的文本。
查询词生成步骤S2，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词。
查询步骤S3，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档；其中，n为大于1 的整数。
获取步骤S1中，获取需要精确查询的文本可以是键盘输入的文本，也可以是语音输入经识别后的文本，当然也可以是从某个文档中复制过来的文本等等。
如图1所示，本发明的方法还包括：倒排索引表生成步骤S0，对待查询的文档进行分词操作获得m 个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表；其中，倒排索引表生成步骤在所述获取步骤之前，m为大于1的整数。
倒排索引表生成步骤S0及查询词生成步骤S2分词方法的一个具体的实施方式为：例如“你好，我们都是中国人”，分成4个词，“你好我们都是中国人”，连续两分词组成新分词：“你好我们我们都是都是中国人”得到3个组合分词，使用上述7个词建立倒排索引表。
倒排索引表生成步骤S0及查询词生成步骤S2所使用的上述构建倒排索引表的方法是将分词后的相邻的词语组合成一个新的词，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，大大提高了检索效率，由于不用存储位置信息，大大减少了索引表所占的存储空间，节约了存储资源，这是本发明的重要发明点之一。
本发明是为了进行精确检索，因此查询时需要同时命中了n-1个组合分词的文档。所查询文档的类型包括word、txt、web和pdf格式的文档至少之一，这些文档可以是存储在数据库。
所述查询步骤S3的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值(如，第一阈值为100％)的文档作为查询命中的文档返回。通过该操作，逐步缩写查询范围，最后进行精确匹配，获得完全命中文本的文档，这是本发明的另一重要发明点。
图2示出了本发明的一种文本精确查询的装置，该装置包括：
获取单元21，获取需要进行精确查询的文本。
查询词生成单元22，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词。
查询单元23，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档；其中，n为大于1 的整数。
获取单元21中，获取需要精确查询的文本可以是键盘输入的文本，也可以是语音输入经识别后的文本，当然也可以是从某个文档中复制过来的文本等等。
如图2所示，所述装置还包括：倒排索引表生成单元20，对待查询的文档进行分词操作获得m个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表；其中，倒排索引表生成单元20的操作在所述获取单元21的操作之前进行，m为大于1的整数。
倒排索引表生成单元20及查询词生成单元22所使用的分词方法的一个具体的实施方式为：例如“你好，我们都是中国人”，分成4个词，“你好我们都是中国人”，连续两分词组成新分词：“你好我们我们都是都是中国人”得到3个组合分词，使用上述7个词建立倒排索引表。
倒排索引表生成单元20及查询词生成单元22所执行的上述构建倒排索引表的方法是将分词后的相邻的词语组合成一个新的词，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，大大提高了检索效率，由于不用存储位置信息，大大减少了索引表所占的存储空间，节约了存储资源，这是本发明的重要发明点之一。
本发明是为了进行精确检索，因此查询时需要同时命中了n-1个组合分词的文档。所查询文档的类型包括word、txt、web和pdf格式的文档至少之一，这些文档可以是存储在数据库。
所述查询单元23的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值(如，第一阈值为100％)的文档作为查询命中的文档返回。通过该操作，逐步缩写查询范围，最后进行精确匹配，获得完全命中文本的文档，这是本发明的另一重要发明点。
图3示出了本发明的一种文本精确查询的设备，包括：存储器a和处理器b，所述存储器a中存储计算机程序，所述计算机程序被所述处理器b执行时，所述处理器b执行存储器a中的机器可读代码以执行上述之一的方法。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时可执行上述之一的方法。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现，本发明中所称的客户、客户端指代相同的内容，本发明中的服务端、服务器、服务器端指代相同的内容。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种文本精确查询的方法，其特征在于，该方法包括：
获取步骤，获取需要进行精确查询的文本；
查询词生成步骤，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词；
查询步骤，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档，其中，n为大于1的整数；
倒排索引表生成步骤，对待查询的文档进行分词操作获得m个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，由于不用存储位置信息，节约了存储资源；
其中，倒排索引表生成步骤在所述获取步骤之前，m为大于1的整数；
所述查询步骤的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值的文档作为查询命中的文档返回。
2.根据权利要求1所述的方法，其特征在于，所述查询命中的文档是指同时命中了n-1个组合分词的文档。
3.根据权利要求2所述的方法，其特征在于，所述文档包括word、txt、web和pdf格式的文档至少之一。
4.根据权利要求3所述的方法，其特征在于，所述第一阈值为100％。
5.一种文本精确查询的装置，其特征在于，该装置包括：
获取单元，获取需要进行精确查询的文本；
查询词生成单元，对所述文本进行分词操作获得n个分词，再将n分词中相邻的分词进行组合得到n-1个组合分词，将所述n个分词和n-1个组合分词作为查询词；
查询单元，使用所述查询词在倒排索引表中进行查询，并返回查询命中的文档，其中，n为大于1的整数；
倒排索引表生成单元，对待查询的文档进行分词操作获得m个分词，再将m分词中相邻的分词进行组合得到m-1个组合分词，使用m个分词和m-1个组合分词构建倒排序索引表，即连续的两个词当做一个词存到倒排索引表中，检索时不需要判断位置，由于不用存储位置信息，节约了存储资源；
其中，倒排索引表生成单元的操作在所述获取单元的操作之前进行，m为大于1的整数；
所述查询单元的操作为：首先使用n个分词进行查询获取第一查询结果集，再使用所述n-1个组合分词在所述第一查询结果集中进行查询获取第二查询结果集，将需要精确查询的文本与第二查询结果集中的文档进行匹配，筛选出匹配率大于或等于第一阈值的文档作为查询命中的文档返回。
6.根据权利要求5所述的装置，其特征在于，所述查询命中的文档是指同时命中了n-1个组合分词的文档。
7.根据权利要求6所述的装置，其特征在于，所述文档包括word、txt、web和pdf格式的文档至少之一。
8.根据权利要求7所述的装置，其特征在于，所述第一阈值为100％。
9.一种文本精确查询的设备，其特征在于，所述设备包括处理器、存储器，所述处理器与所述存储器通过总线相连接，所述存储器中存储机器可读代码，所述处理器执行存储器中的机器可读代码以执行权利要求1-4之任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时以执行权利要求1-4之任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600280.8A CN108776705B (zh) | 2018-06-12 | 2018-06-12 | 一种文本全文精确查询的方法、装置、设备及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810600280.8A CN108776705B (zh) | 2018-06-12 | 2018-06-12 | 一种文本全文精确查询的方法、装置、设备及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776705A CN108776705A (zh) | 2018-11-09 |
| CN108776705B true CN108776705B (zh) | 2020-11-17 |
Family
ID=64025921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810600280.8A Active CN108776705B (zh) | 2018-06-12 | 2018-06-12 | 一种文本全文精确查询的方法、装置、设备及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776705B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109885641B (zh) * | 2019-01-21 | 2021-03-09 | 瀚高基础软件股份有限公司 | 一种数据库中文全文检索的方法及系统 |
| CN111931034B (zh) * | 2020-08-24 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 数据搜索方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050210003A1 (en) * | 2004-03-17 | 2005-09-22 | Yih-Kuen Tsay | Sequence based indexing and retrieval method for text documents |
| CN1694092A (zh) * | 2005-05-31 | 2005-11-09 | 王宏源 | 对含四字节字符的文本进行全文检索的方法 |
| CN101196898A (zh) * | 2007-08-21 | 2008-06-11 | 新百丽鞋业(深圳)有限公司 | 将词组索引技术应用在互联网搜索引擎中的方法 |
| CN107577667A (zh) * | 2017-09-14 | 2018-01-12 | 北京奇艺世纪科技有限公司 | 一种实体词处理方法和装置 |
| CN107798144A (zh) * | 2017-11-28 | 2018-03-13 | 北京小度互娱科技有限公司 | 一种基于切词的多层次检索方法 |
-
2018
- 2018-06-12 CN CN201810600280.8A patent/CN108776705B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050210003A1 (en) * | 2004-03-17 | 2005-09-22 | Yih-Kuen Tsay | Sequence based indexing and retrieval method for text documents |
| CN1694092A (zh) * | 2005-05-31 | 2005-11-09 | 王宏源 | 对含四字节字符的文本进行全文检索的方法 |
| CN101196898A (zh) * | 2007-08-21 | 2008-06-11 | 新百丽鞋业(深圳)有限公司 | 将词组索引技术应用在互联网搜索引擎中的方法 |
| CN107577667A (zh) * | 2017-09-14 | 2018-01-12 | 北京奇艺世纪科技有限公司 | 一种实体词处理方法和装置 |
| CN107798144A (zh) * | 2017-11-28 | 2018-03-13 | 北京小度互娱科技有限公司 | 一种基于切词的多层次检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776705A (zh) | 2018-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304378B (zh) | 文本相似度计算方法、装置、计算机设备和存储介质 | |
| CN110377558B (zh) | 文档查询方法、装置、计算机设备和存储介质 | |
| CN109670163B (zh) | 信息识别方法、信息推荐方法、模板构建方法及计算设备 | |
| Chen et al. | Chinese named entity recognition with conditional random fields | |
| WO2019174132A1 (zh) | 数据处理方法、服务器及计算机存储介质 | |
| US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
| CN105528411B (zh) | 船舶装备交互式电子技术手册全文检索装置及方法 | |
| CN111797210A (zh) | 基于用户画像的信息推荐方法、装置、设备及存储介质 | |
| JP6355840B2 (ja) | ストップワード識別方法および装置 | |
| CN106294350A (zh) | 一种文本聚合方法及装置 | |
| CN107357777B (zh) | 提取标签信息的方法和装置 | |
| CN112633000B (zh) | 一种文本中实体的关联方法、装置、电子设备及存储介质 | |
| CN111428494A (zh) | 专有名词的智能纠错方法、装置、设备及存储介质 | |
| CN109918664B (zh) | 分词方法和装置 | |
| CN110362593B (zh) | 一种数据查询方法、装置、设备及存储介质 | |
| CN108595437B (zh) | 文本查询纠错方法、装置、计算机设备和存储介质 | |
| WO2016095645A1 (zh) | 笔画输入方法、装置和系统 | |
| CN105183803A (zh) | 一种社交网络平台中的个性化搜索方法及其搜索装置 | |
| CN105159927B (zh) | 目标文本主题词的选取方法、装置及终端 | |
| CN114090735A (zh) | 一种文本匹配方法、装置、设备及存储介质 | |
| CN105404677A (zh) | 一种基于树形结构的检索方法 | |
| CN108776705B (zh) | 一种文本全文精确查询的方法、装置、设备及可读介质 | |
| CN112926297A (zh) | 处理信息的方法、装置、设备和存储介质 | |
| CN114385777A (zh) | 文本数据处理方法、装置、计算机设备和存储介质 | |
| CN109918661B (zh) | 同义词获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |