CN113705367A - 基于特征与长宽比检测的公式图像区域识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于特征与长宽比检测的公式图像区域识别方法，包括以下步骤：获取参考公式图像区域和待识别图像区域；对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到特征数据；计算参考公式图像区域和待识别图像区域的特征相似度；计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。本发明还公开了一种基于特征与长宽比检测的公式图像区域识别方法。本发明将特征相似性检验、长宽比相似性检验进行结合，提高对公式图像区域的识别精度。

Description

基于特征与长宽比检测的公式图像区域识别方法及系统

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种基于特征与长宽比检测的公式图像区域识别方法及系统。

背景技术

随着时代的发展，越来越多的论文、申请书、报告等文档出现在我们的生活中，它们也经常以图片的形式展示、交流或者存储。公式往往是论文、申请书中非常重要的部分，当我们要对公式进行识别或者进行编辑的时候，精准地判断出图片中哪部分是公式图像区域是一个非常重要的环节。

针对上述问题，很多专家及学者进行了较为深入的研究。传统的方法往往没有充分考虑公式图像区域的特点，导致了设计的识别方法没有针对性，对于公式图像区域的识别无法保持较高的精度。同时，很多传统方法中都采用了较为复杂的算法或者需要较多的训练样本，极大地增加了计算资源的消耗。因此，如何找到一种针对性强的简易公式图像区域识别方法，能够较高精度地识别出公式图像区域是一项亟待解决且非常有意义的工作。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于特征与长宽比检测的公式图像区域识别方法及系统，将特征相似性检验、长宽比相似性检验进行结合，提高对公式图像区域的识别精度。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种基于特征与长宽比检测的公式图像区域识别方法，包括以下步骤：

获取参考公式图像区域和待识别图像区域；

对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

为了保证对公式图像区域的精准识别，将特征和长宽比进行结合判断，以保证可以得到一个精确的识别结果。当需要对图像区域进行识别时，首先，获取到人工挑选出的部分有代表性的多个公式图像区域，将其作为参考公式图像区域，为后续图像识别提供参考数据，在获取到参考公式图像区域和待识别图像区域后，对多个参考公式图像区域和待识别图像区域进行SIFT特征提取，提取得到参考公式图像区域和待识别图像区域的特征数据；提取到特征数据后，在SIFT特征提取的基础上利用欧式距离，计算待识别图像区域和多个参考公式图像区域的特征相似性；计算多个参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和多个参考公式图像区域的长宽比相似性，根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型，判断其为公式图像区域或者是非公式图像区域，如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

本方法结合、特征相似性检验、长宽比相似性检验方法对于公式图像区域识别有较强的针对性，可以对公式识别任务保持较高的识别精度；整个过程中的算法相对较为简易，没有利用复杂的计算模型和大量的训练样本，节省了较多的计算资源，模型较为低耗。

基于第一方面，在本发明的一些实施例中，该基于特征与长宽比检测的公式图像区域识别方法，在上述进行SIFT特征提取的步骤之前还包括以下步骤：

对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

基于第一方面，在本发明的一些实施例中，上述对参考公式图像区域和待识别图像区域进行图像加强处理的方法包括以下步骤：

利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

基于第一方面，在本发明的一些实施例中，上述根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型的方法包括以下步骤：

将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

基于第一方面，在本发明的一些实施例中，上述根据第一对比结果和第二对比结果识别确定待识别图像区域的类型的方法包括以下步骤：

A1、判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则进入步骤A2；如果否，则确定待识别图像区域为非公式图像区域；

A2、判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

第二方面，本发明实施例提供一种基于特征与长宽比检测的公式图像区域识别系统，包括图像获取模块、特征提取模块、特征计算模块、长宽比计算模块以及识别模块，其中：

图像获取模块，用于获取参考公式图像区域和待识别图像区域；

特征提取模块，用于对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

特征计算模块，用于根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

长宽比计算模块，用于计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

识别模块，用于根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

为了保证对公式图像区域的精准识别，将特征和长宽比进行结合判断，以保证可以得到一个精确的识别结果。当需要对图像区域进行识别时，首先，通过图像获取模块获取到人工挑选出的部分有代表性的多个公式图像区域，将其作为参考公式图像区域，为后续图像识别提供参考数据，在获取到参考公式图像区域和待识别图像区域后，通过特征提取模块对多个参考公式图像区域和待识别图像区域进行SIFT特征提取，提取得到参考公式图像区域和待识别图像区域的特征数据；提取到特征数据后，特征计算模块在SIFT特征提取的基础上利用欧式距离，计算待识别图像区域和多个参考公式图像区域的特征相似性；通过长宽比计算模块计算多个参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和多个参考公式图像区域的长宽比相似性，通过识别模块根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型，判断其为公式图像区域或者是非公式图像区域，如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

本系统结合、特征相似性检验、长宽比相似性检验方法对于公式图像区域识别有较强的针对性，可以对公式识别任务保持较高的识别精度；整个过程中的算法相对较为简易，没有利用复杂的计算模型和大量的训练样本，节省了较多的计算资源，模型较为低耗。

基于第二方面，在本发明的一些实施例中，该基于特征与长宽比检测的公式图像区域识别系统还包括图像加强模块，用于对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

基于第二方面，在本发明的一些实施例中，上述图像加强模块包括过滤子模块、尺度细节子模块以及加权加强子模块，其中：

过滤子模块，用于利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

尺度细节子模块，用于将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

加权加强子模块，用于将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

基于第二方面，在本发明的一些实施例中，上述识别模块包括第一对比子模块、第二对比子模块以及识别确定子模块，其中：

第一对比子模块，用于将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

第二对比子模块，用于将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

识别确定子模块，用于根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

基于第二方面，在本发明的一些实施例中，上述识别确定子模块包括第一判断单元和第二判断单元，其中：

第一判断单元，用于判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则第二判断单元工作；如果否，则确定待识别图像区域为非公式图像区域

第二判断单元，用于判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

本发明实施例至少具有如下优点或有益效果：

本发明实施例提供基于特征与长宽比检测的公式图像区域识别方法及系统，在获取到参考公式图像区域和待识别图像区域后，对多个参考公式图像区域和待识别图像区域进行SIFT特征提取，提取到特征数据后，在SIFT特征提取的基础上利用欧式距离，计算待识别图像区域和多个参考公式图像区域的特征相似性；计算多个参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和多个参考公式图像区域的长宽比相似性，判断其为公式图像区域或者是非公式图像区域。本发明结合、特征相似性检验、长宽比相似性检验方法对于公式图像区域识别有较强的针对性，可以对公式识别任务保持较高的识别精度；整个过程中的算法相对较为简易，没有利用复杂的计算模型和大量的训练样本，节省了较多的计算资源，模型较为低耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例一种基于特征与长宽比检测的公式图像区域识别方法的流程图；

图2为本发明实施例一种基于特征与长宽比检测的公式图像区域识别方法中识别确定图像区域类型的流程图；

图3为本发明实施例一种基于特征与长宽比检测的公式图像区域识别方法中判断图像区域类型的流程图；

图4为本发明实施例图1为本发明实施例一种基于特征与长宽比检测的公式图像区域识别系统的原理框图。

图标：100、图像获取模块；200、特征提取模块；300、特征计算模块；400、长宽比计算模块；500、识别模块；510、第一对比子模块；520、第二对比子模块；530、识别确定子模块；531、第一判断单元；532、第二判断单元；600、图像加强模块；610、过滤子模块；620、尺度细节子模块；630、加权加强子模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

实施例

如图1所示，第一方面，本发明实施例提供一种基于特征与长宽比检测的公式图像区域识别方法，包括以下步骤：

S1、获取参考公式图像区域和待识别图像区域；

为了保证对公式图像区域的精准识别，将特征和长宽比进行结合判断，以保证可以得到一个精确的识别结果。当需要对图像区域进行识别时，首先，获取到人工挑选出的部分有代表性的多个公式图像区域，将其作为参考公式图像区域，为后续图像识别提供参考数据。

S2、对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

在获取到参考公式图像区域和待识别图像区域后，对多个参考公式图像区域和待识别图像区域进行SIFT特征提取，提取得到参考公式图像区域和待识别图像区域的特征数据；SIFT(Scale-invariant feature transform)是一种检测局部特征算法，该算法通过求一幅图中的特征点(interest points，or corner points)及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，获得了良好效果，SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。

S3、根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

提取到特征数据后，在SIFT特征提取的基础上利用欧式距离，计算待识别图像区域和多个参考公式图像区域的特征相似性。

S4、计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

计算多个参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和多个参考公式图像区域的长宽比相似性。

S5、根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型，判断其为公式图像区域或者是非公式图像区域，如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

本方法结合、特征相似性检验、长宽比相似性检验方法对于公式图像区域识别有较强的针对性，可以对公式识别任务保持较高的识别精度；整个过程中的算法相对较为简易，没有利用复杂的计算模型和大量的训练样本，节省了较多的计算资源，模型较为低耗。

基于第一方面，在本发明的一些实施例中，该基于特征与长宽比检测的公式图像区域识别方法，在上述进行SIFT特征提取的步骤之前还包括以下步骤：

对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

为了保证后续对图像的准确识别，首先，在特征提取之前对各个参考公式图像区域和待识别图像区域进行图像加强处理，以得到清晰准确的图像。

基于第一方面，在本发明的一些实施例中，上述对参考公式图像区域和待识别图像区域进行图像加强处理的方法包括以下步骤：

利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

利用WLS(最小二乘滤波器)对图像进行过滤，过滤后的图像会被分为多个尺度；不同尺度之间进行减除计算，得到一些细节信息；将不同程度的细节信息加权到原图中；得到含有丰富细节信息的加强图像。

如图2所示，基于第一方面，在本发明的一些实施例中，上述根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型的方法包括以下步骤：

S51、将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

S52、将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

S53、根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

分别将待识别图像区域和参考公式图像区域的特征相似度和长宽比相似度与预设的阈值进行对比，当两个相似度都与预设的阈值相匹配时，则确定待识别图像区域为公式图像区域；若其中一个不匹配，则确定待识别图像区域为非公式图像区域。

如图3所示，基于第一方面，在本发明的一些实施例中，上述根据第一对比结果和第二对比结果识别确定待识别图像区域的类型的方法包括以下步骤：

A1、判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则进入步骤A2；如果否，则确定待识别图像区域为非公式图像区域；

A2、判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高同时满足，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

如图4所示，第二方面，本发明实施例提供一种基于特征与长宽比检测的公式图像区域识别系统，包括图像获取模块100、特征提取模块200、特征计算模块300、长宽比计算模块400以及识别模块500，其中：

图像获取模块100，用于获取参考公式图像区域和待识别图像区域；

特征提取模块200，用于对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

特征计算模块300，用于根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

长宽比计算模块400，用于计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

识别模块500，用于根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

为了保证对公式图像区域的精准识别，将特征和长宽比进行结合判断，以保证可以得到一个精确的识别结果。当需要对图像区域进行识别时，首先，通过图像获取模块100获取到人工挑选出的部分有代表性的多个公式图像区域，将其作为参考公式图像区域，为后续图像识别提供参考数据，在获取到参考公式图像区域和待识别图像区域后，通过特征提取模块200对多个参考公式图像区域和待识别图像区域进行SIFT特征提取，提取得到参考公式图像区域和待识别图像区域的特征数据；提取到特征数据后，特征计算模块300在SIFT特征提取的基础上利用欧式距离，计算待识别图像区域和多个参考公式图像区域的特征相似性；通过长宽比计算模块400计算多个参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和多个参考公式图像区域的长宽比相似性，通过识别模块500根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型，判断其为公式图像区域或者是非公式图像区域，如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

本系统结合、特征相似性检验、长宽比相似性检验方法对于公式图像区域识别有较强的针对性，可以对公式识别任务保持较高的识别精度；整个过程中的算法相对较为简易，没有利用复杂的计算模型和大量的训练样本，节省了较多的计算资源，模型较为低耗。

如图4所示，基于第二方面，在本发明的一些实施例中，该基于特征与长宽比检测的公式图像区域识别系统还包括图像加强模块600，用于对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

为了保证后续对图像的准确识别，通过图像加强模块600在特征提取之前对各个参考公式图像区域和待识别图像区域进行图像加强处理，以得到清晰准确的图像。

如图4所示，基于第二方面，在本发明的一些实施例中，上述图像加强模块600包括过滤子模块610、尺度细节子模块620以及加权加强子模块630，其中：

过滤子模块610，用于利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

尺度细节子模块620，用于将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

加权加强子模块630，用于将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

通过过滤子模块610利用WLS(最小二乘滤波器)对图像进行过滤，通过尺度细节子模块620将过滤后的图像分为多个尺度；不同尺度之间进行减除计算，得到一些细节信息；通过加权加强子模块630将不同程度的细节信息加权到原图中；得到含有丰富细节信息的加强图像。

如图4所示，基于第二方面，在本发明的一些实施例中，上述识别模块500包括第一对比子模块510、第二对比子模块520以及识别确定子模块530，其中：

第一对比子模块510，用于将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

第二对比子模块520，用于将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

识别确定子模块530，用于根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

通过第一对比子模块510和第二对比子模块520分别将待识别图像区域和参考公式图像区域的特征相似度和长宽比相似度与预设的阈值进行对比，当两个相似度都与预设的阈值相匹配时，则确定待识别图像区域为公式图像区域；若其中一个不匹配，则确定待识别图像区域为非公式图像区域

如图4所示，基于第二方面，在本发明的一些实施例中，上述识别确定子模块530包括第一判断单元531和第二判断单元532，其中：

第一判断单元531，用于判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则第二判断单元532工作；如果否，则确定待识别图像区域为非公式图像区域

第二判断单元532，用于判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

通过第一判断单元531和第二判断单元532对待识别区域图像的类型进行判断，如果待识别图像区域和任意一个公式图像区域的特征相似性较高且待识别图像区域和任意一个公式图像区域的长宽比相似性较高同时满足，则判定该待识别图像区域为公式图像区域；如果待识别图像区域和任意一个公式图像区域的特征相似性较高和待识别图像区域和任意一个公式图像区域的长宽比相似性较高任意一条不满足，则判定该待识别图像区域是非公式图像区域。

还包括存储器、处理器和通信接口，该存储器、处理器和通信接口相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块，处理器通过执行存储在存储器内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。

其中，存储器可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图4所示的结构仅为示意还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于特征与长宽比检测的公式图像区域识别方法，其特征在于，包括以下步骤：

获取参考公式图像区域和待识别图像区域；

对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

2.根据权利要求1所述的一种基于特征与长宽比检测的公式图像区域识别方法，其特征在于，在上述进行SIFT特征提取的步骤之前还包括以下步骤：

对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

3.根据权利要求2所述的一种基于特征与长宽比检测的公式图像区域识别方法，其特征在于，所述对参考公式图像区域和待识别图像区域进行图像加强处理的方法包括以下步骤：

利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

4.根据权利要求1所述的一种基于特征与长宽比检测的公式图像区域识别方法，其特征在于，所述根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型的方法包括以下步骤：

将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

5.根据权利要求4所述的一种基于特征与长宽比检测的公式图像区域识别方法，其特征在于，所述根据第一对比结果和第二对比结果识别确定待识别图像区域的类型的方法包括以下步骤：

A1、判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则进入步骤A2；如果否，则确定待识别图像区域为非公式图像区域；

A2、判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

6.一种基于特征与长宽比检测的公式图像区域识别系统，其特征在于，包括图像获取模块、特征提取模块、特征计算模块、长宽比计算模块以及识别模块，其中：

图像获取模块，用于获取参考公式图像区域和待识别图像区域；

特征提取模块，用于对参考公式图像区域和待识别图像区域进行SIFT特征提取，以得到参考公式图像区域和待识别图像区域的特征数据；

特征计算模块，用于根据所述特征数据计算参考公式图像区域和待识别图像区域的特征相似度；

长宽比计算模块，用于计算参考公式图像区域的长宽比和待识别图像区域的长宽比，利用绝对差值计算待识别图像区域和参考公式图像区域的长宽比相似度；

识别模块，用于根据参考公式图像区域和待识别图像区域的特征相似度和长宽比相似度识别确定待识别图像区域的类型。

7.根据权利要求6所述的一种基于特征与长宽比检测的公式图像区域识别系统，其特征在于，还包括图像加强模块，用于对参考公式图像区域和待识别图像区域进行图像加强处理，以得到加强后的参考公式图像区域和待识别图像区域。

8.根据权利要求7所述的一种基于特征与长宽比检测的公式图像区域识别系统，其特征在于，所述图像加强模块包括过滤子模块、尺度细节子模块以及加权加强子模块，其中：

过滤子模块，用于利用WLS最小二乘滤波器对参考公式图像区域和待识别图像区域进行过滤；

尺度细节子模块，用于将过滤后的参考公式图像区域和待识别图像区域分为多个尺度，并将不同尺度之间的参考公式图像区域和待识别图像区域进行减除计算，得到多个参考公式图像区域的图像细节信息和多个待识别图像区域的图像细节信息；

加权加强子模块，用于将各个参考公式图像区域的图像细节信息加权到原始的参考公式图像区域中，将各个待识别图像区域的图像细节信息加权到原始的待识别图像区域，以得到参考公式图像区域和待识别图像区域的加强图像。

9.根据权利要求6所述的一种基于特征与长宽比检测的公式图像区域识别系统，其特征在于，所述识别模块包括第一对比子模块、第二对比子模块以及识别确定子模块，其中：

第一对比子模块，用于将参考公式图像区域和待识别图像区域的特征相似度与预设的特征相似度阈值进行对比，生成第一对比结果；

第二对比子模块，用于将参考公式图像区域和待识别图像区域的长宽比相似度与预设的长宽比相似度阈值进行对比，生成第二对比结果；

识别确定子模块，用于根据第一对比结果和第二对比结果识别确定待识别图像区域的类型。

10.根据权利要求9所述的一种基于特征与长宽比检测的公式图像区域识别系统，其特征在于，所述识别确定子模块包括第一判断单元和第二判断单元，其中：

第一判断单元，用于判断第一对比结果是否包含待识别图像区域与参考公式图像区域的特征相似的信息，如果是，则第二判断单元工作；如果否，则确定待识别图像区域为非公式图像区域

第二判断单元，用于判断第二对比结果是否包含待识别图像区域与参考公式图像区域的长宽比相似的信息，如果是，则确定待识别图像区域为公式图像区域；如果否，则确定待识别图像区域为非公式图像区域。

Images