CN107784321B - 数字绘本快速识别方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数字绘本快速识别方法、系统及计算机可读存储介质。该数字绘本快速识别方法包括有：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。采用基于聚类的封面特征点匹配算法及基于非线性变换的封面特征点匹配算法相结合于数字绘本书库中进行数字绘本识别，实现了数字绘本的快速、精确查找。

Description

数字绘本快速识别方法、系统及计算机可读存储介质

技术领域

本发明涉及数字图像处理及基于计算机视觉模式识别领域，特别涉及一种数字绘本快速识别方法、系统及计算机可读存储介质。

背景技术

数字绘本作为图画和文字紧密结合的一类儿童益智书籍，其教育价值已得到广泛认同，并发展成为新一代家长热衷的儿童早期教育工具，因此各种与数字绘本配套的互动学习产品应运而生。数字绘本识别是实现互动学习的关键技术，数字绘本识别的速度与准确度将直接影响产品的用户体验。

现有的数字绘本识别方法主要采用三种技术：(1)编码技术，首先通过将数字绘本信息进行编码，即将每一本数字绘本进行唯一标识编码，如采用条形码和二维码，然后采用手持解码设备对编码区域进行解码来实现，此类方法需要特定的采集设备，也只能识别特定的数字绘本，对操作人员也有一定的要求，通用性不强。(2)NFC(Near FieldCommunication,近距离无线通信)技术，通过将数字绘本页面内的信息写入NFC芯片中，然后采用含NFC模块的设备通过非接触的方法读取NFC芯片内信息来实现，此类方法只能识别定制数字绘本或含定制NFC芯片的数字绘本，通用性较差，而且定制数字绘本和定制NFC芯片会增加经济成本。(3)图像特征点匹配技术，通过数字绘本书库中数字绘本封面图像特征点与待识别数字绘本封面图像特征点进行一一匹配，实现数字绘本识别，当数字绘本书库较小时，如几十本，此类方法还是比较有效的；当数字绘本书库较大时，如成千上万本时，需要将待识别数字绘本封面图像的特征点与数字绘本书库中每一本数字绘本图像进行比对，耗时与数字绘本书库中书本数目成线性倍增长，识别时间必然会很长，用户体验较差，因此，此类方法只适合于数字绘本书库中数字绘本数量不多时的单机识别，不适合于大数据网络时代海量数字绘本书库中数字绘本的识别。

发明内容

本发明所要解决的技术问题在于提供一种能够快速识别数字绘本的数字绘本快速识别方法。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别方法，该方法包括有：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

上述数字绘本快速识别方法，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

本发明所要解决的技术问题在于提供一种能够快速、精确识别数字绘本的数字绘本快速识别方法。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别方法，该方法包括有：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

上述数字绘本快速识别方法，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

本发明所要解决的技术问题在于提供一种能够快速识别数字绘本的数字绘本快速识别系统。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别系统，包括有：

特征点提取聚类模块，其用于提取数字绘本的封面特征点并进行量化聚类；

绘本识别模块，其用于采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

上述数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

本发明所要解决的技术问题在于提供一种能够快速、精确识别数字绘本的数字绘本快速识别系统。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别系统，包括有：

特征点提取聚类模块，其用于提取数字绘本的封面特征点并进行量化聚类；

第一绘本识别模块，其用于采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；

第二绘本识别模块，其用于采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

上述数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

本发明所要解决的技术问题在于提供一种能够快速识别数字绘本的数字绘本快速识别系统。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别系统，包括一个或多个处理器以及存储器，所述存储器用于存储可执行程序指令，所述处理器通过读取并执行所述存储器中存储的可执行程序指令，以用于执行以下操作：

预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

上述数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

本发明所要解决的技术问题在于提供一种能够快速、精确识别数字绘本的数字绘本快速识别系统。

为解决上述技术问题，本发明采用如下技术方案：

一种数字绘本快速识别系统，包括一个或多个处理器以及存储器，所述存储器用于存储可执行程序指令，所述处理器通过读取并执行所述存储器中存储的可执行程序指令，以用于执行以下操作：

预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；

如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

上述数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

本发明所要解决的技术问题在于提供一种计算机可读存储介质，执行该计算机可读存储介质存储的计算机程序能够于数字绘本书库中快速识别数字绘本。

为解决上述技术问题，本发明采用如下技术方案：

一种计算机可读存储介质，包括与计算机配合使用的计算机程序，该计算机程序可被处理器执行以实现以下步骤：

预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

执行上述计算机可读存储介质存储的计算机程序，可以实现采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

本发明所要解决的技术问题在于提供一种计算机可读存储介质，执行该计算机可读存储介质存储的计算机程序能够于数字绘本书库中快速、精确识别数字绘本。

为解决上述技术问题，本发明采用如下技术方案：

一种计算机可读存储介质，包括与计算机配合使用的计算机程序，该计算机程序可被处理器执行以实现以下步骤：

预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；

如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

执行上述计算机可读存储介质存储的计算机程序，可以实现采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

附图说明

图1为本发明一个实施例中的数字绘本快速识别方法的流程示意图；

图2为本发明另一个实施例中的数字绘本快速识别方法的流程示意图；

图3为本发明一个实施例中的数字绘本快速识别系统的结构示意图；

图4为本发明另一个实施例中的数字绘本快速识别系统的结构示意图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

本发明具体实施例中的数字绘本快速识别方法要求数字绘本书库中的数字绘本和待识别数字绘本图像皆是采用相同型号的摄像头进行拍摄得到的图像，图像中只有单一的书本，且能够完全包含数字绘本的整个封面，图像中的数字绘本封面不能倒置或倾斜过大(如倾斜角度|α|≤15°)，数字绘本封面在图像中的位置应尽量居中、平整，图像中的背景可以是任意单色桌面。图像拍摄时还应避免阳光及其他光源直射数字绘本会图像局部区域亮度反差太大的情况。

如图1所示，在本发明一个实施例中，数字绘本快速识别方法的步骤包括S101-S106。

S101：预先提取数字绘本书库中所存数字绘本封面特征点并进行量化聚类。

数字绘本的识别是通过数字绘本封面的识别来实现的，为了实现数字绘本的快速识别，需要在进行数字绘本识别前，预先完成数字绘本书库中所存数字绘本的封面特征点提取及聚类，具体包括下述步骤：

1.11数字绘本书库中所存的数字绘本封面特征点提取,其具体实施步骤如下：

1.111数字绘本封面区域图像提取

采用图像边缘提取算法提取数字绘本封面的轮廓，找到包含数字绘本封面区域的最小外接矩形，完成数字绘本封面区域图像的提取。数字绘本封面区域图像的提取可采用Sobel算子或Canny算子或Laplacian算子等图像边缘提取算法。

1.112数字绘本封面区域图像特征点提取

采用SUEF特征(Speeded Up Robust Features,加速稳健特征)提取算法完成数字绘本封面区域图像的特征点提取，即封面特征点提取。所述特征点为数字绘本封面区域图像中的角点，包括两个边缘的交点，或者是邻域内具有两个主方向的特征点，或者是曲线上局部曲率最大的点。

1.12数字绘本书库中所有的数字绘本封面特征点聚类

本发明中采用特征点聚类的方法，提高图像识别的效率。采用K-means算法对数字绘本书库中所有的数字绘本封面特征点进行量化聚类，具体步骤如下：

1.121指定聚类数量K，并随机产生K个初始类中心；

1.122计算数字绘本书库中所有数字绘本的封面特征点到K个类中心的欧式距离，并将每个特征点分配至与之欧式距离最小的类中心所在的类中；

1.123重新计算类中心；

1.124重复步骤1.122和步骤1.123直至所有的中心都不再移动。

需要说明的是，这里聚类数量K可以是固定的也可以是自适应的，在实际使用时根据实际需求选择，如对于书库中存量几千本数字绘本时，聚类数量K取值为1000。

S102：提取待识别数字绘本封面特征点并进行量化聚类。

1.21待识别数字绘本封面特征点提取

待识别数字绘本封面特征点提取与数字绘本书库中所存的数字绘本封面特征点提取相同,这里不在赘述。

1.22待识别数字绘本封面特征点聚类。

采用K-means算法对待识别数字绘本封面特征点进行聚类。为了减少计算量，对待识别数字绘本封面特征点进行聚类时，聚类数量和类中心都是固定的，而且聚类数量和聚类中心与数字绘本书库中所存的数字绘本封面特征点聚类时保持一致。在此步骤中只需求取待识别数字绘本所有封面特征点到这K个聚类中心的欧式距离，并将每个封面特征点分配到与之欧式距离最小的种子点中即可。

完成提取待识别数字绘本封面特征点并进行量化聚类的步骤之后，将采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤对数字绘本书库中的数字绘本进行快速识别。该采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤包括S103-S106。

S103：计算待识别数字绘本与数字绘本书库中每一数字绘本的第一匹配率。

1.31基于聚类，待识别数字绘本封面特征点与数字绘本书库中的某个数字绘本的封面特征点进行匹配。

对待识别数字绘本提取的封面特征点进行聚类时，聚类数量和聚类中心与数字绘本书库中所有数字绘本封面特征点聚类时保持一致。因此，存在待识别数字绘本的某些封面特征点与数字绘本书库中某个数字绘本的某些封面特征点聚类于相同聚类中心下(即处于同一个类中)。采用欧氏距离作为相似性度量，计算聚类于相同聚类中心下的待识别数字绘本I_a的封面特征点与数字绘本书库中某个数字绘本I_b的封面特征点之间的欧氏距离，若待识别数字绘本I_a的某个封面特征点与数字绘本I_b的某个封面特征点之间的欧式距离小于预设阈值，则表示待识别数字绘本I_a的该封面特征点与书库中数字绘本I_b的该封面特征点相互匹配。

1.32计算待识别数字绘本与数字绘本书库中某个数字绘本的第一匹配率M_ri。

首先，统计待识别数字绘本与数字绘本书库中某个数字绘本匹配上的封面特征点数目N_rm，再根据公式M_ri＝(N_rm/N_b)×100％计算待识别数字绘本与数字绘本书库中某个数字绘本的第一匹配率，其中N_b为数字绘本书库中某个数字绘本I_b的封面特征点数目。

1.33重复上述步骤1.31、1.32，计算待识别数字绘本与数字绘本书库中每个数字绘本的第一匹配率M_ri(1≤i≤n)，其中n表示数字绘本书库中数字绘本的数目，并按第一匹配率M_ri从高到低排序。

S104：判断最高第一匹配率max{M_ri}是否大于第一阈值R_th，若是，执行步骤S105，若否，执行步骤S106。

S105：判定数字绘本书库中具有最高第一匹配率的数字绘本为需识别的数字绘本。

若最高第一匹配率max{M_ri}＞R_th，则表示数字绘本书库中具有最高第一匹配率的数字绘本就是与所述待识别数字绘本相对应的需识别的数字绘本，即完成了数字绘本的识别。

S106：判定数字绘本书库中不存在待识别数字绘本封面

若max{M_ri}＜R_tl，则表示数字绘本书库中不存在与所述待识别数字绘本相对应的需识别数字绘本，同样结束数字绘本封面的识别流程。

需要说明的是，第一阈值R_th为某一定值，可根据实际需求进行调整。比如，在本发明实施例中R_th的取值为40％时，取得了较好的识别效果。

本发明实施例中的数字绘本快速识别方法，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

由于在拍摄封面图像时，受到封面区域反光或者部分遮挡因素的影响，会导致待识别数字绘本封面与数字绘本书库中需识别的数字绘本封面的第一匹配率低于第一阈值，甚至略低于待识别数字绘本封面与数字绘本书库中其他数字绘本封面的第一匹配率，此时数字绘本书库中具有最高第一匹配率的数字绘本书不一定是需识别的数字绘本。因此，在本发明的具体实施过程中，需要在基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上，采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进一步对数字绘本进行识别。

如图2所示，在本发明的另一个实施例中，数字绘本快速识别方法的步骤包括S201-S221。

S201：预先提取数字绘本书库中所存的数字绘本的封面特征点并进行量化聚类。

数字绘本的识别是通过数字绘本封面的识别来实现的，为了实现数字绘本的快速识别，需要在进行数字绘本识别前，预先完成数字绘本书库中所存数字绘本的封面特征点提取及聚类，具体包括下述步骤：

2.11数字绘本书库中所存的数字绘本封面区域特征点提取,其实施步骤如下：

2.111数字绘本封面区域图像提取

采用图像边缘提取算法提取数字绘本封面的轮廓，找到包含数字绘本封面区域的最小外接矩形，完成数字绘本封面区域图像的提取。数字绘本封面区域图像的提取可采用Sobel算子或Canny算子或Laplacian算子等图像边缘提取算法。

2.112数字绘本封面区域图像特征点提取

采用SUEF特征(Speeded Up Robust Features,加速稳健特征)提取算法完成数字绘本封面区域图像的特征点提取，即封面特征点提取。所述特征点为数字绘本封面区域图像中的角点，包括两个边缘的交点，或者是邻域内具有两个主方向的特征点，或者是曲线上局部曲率最大的点。

2.12数字绘本书库中所有的数字绘本封面区域特征点聚类

本发明中采用特征点聚类的方法，提高图像识别的效率。采用K-means算法对数字绘本书库中所有的数字绘本封面区域特征点进行量化聚类，具体步骤如下：

2.121指定聚类数量K，并随机产生K个初始类中心；

2.122计算数字绘本书库中所有数字绘本的封面特征点到K个类中心的欧式距离，并将每个特征点分配至与之欧式距离最小的类中心所在的类中；

2.123重新计算类中心；

2.124重复步骤2.122和步骤2.123直至所有的中心都不再移动。

需要说明的是，这里聚类数量K可以是固定的也可以是自适应的，在实际使用时根据实际需求选择，如对于书库中存量几千本数字绘本时，聚类数量K取值为1000。

S202：提取待识别数字绘本的封面特征点并进行量化聚类。

2.21待识别数字绘本封面特征点提取

待识别数字绘本封面特征点提取与数字绘本书库中所存的数字绘本封面特征点提取相同,这里不在赘述。

2.22待识别数字绘本封面特征点聚类。

采用K-means算法对待识别数字绘本封面特征点进行聚类。为了减少计算量，对待识别数字绘本封面特征点进行聚类时，聚类数量和类中心都是固定的，而且聚类数量和聚类中心与数字绘本书库中所存的数字绘本封面特征点聚类时保持一致。在此步骤中只需求取待识别数字绘本所有封面特征点到这K个聚类中心的欧式距离，并将每个封面特征点分配到与之欧式距离最小的种子点中即可。

完成提取待识别数字绘本封面特征点并进行量化聚类的步骤之后，将采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤对数字绘本书库中的数字绘本进行快速识别。该采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤包括S203-S208。

S203：计算待识别数字绘本与数字绘本书库中每一数字绘本的第一匹配率。

2.31基于聚类，将待识别数字绘本封面特征点与数字绘本书库中的某个数字绘本的封面特征点进行匹配。

对待识别数字绘本提取的封面特征点进行聚类时，聚类数量和聚类中心与数字绘本书库中所有数字绘本封面特征点聚类时保持一致。因此，存在待识别数字绘本的某些封面特征点与数字绘本书库中某个数字绘本的某些封面特征点聚类于相同聚类中心下(即处于同一个类中)。采用欧氏距离作为相似性度量，计算聚类于相同聚类中心下的待识别数字绘本I_a的封面特征点与数字绘本书库中某个数字绘本I_b的封面特征点之间的欧氏距离，若待识别数字绘本I_a的某个封面特征点与数字绘本I_b的某个封面特征点之间的欧式距离小于预设阈值，则表示待识别数字绘本I_a的该封面特征点与书库中数字绘本I_b的该封面特征点相互匹配。

2.32计算待识别数字绘本与数字绘本书库中某个数字绘本的第一匹配率M_ri。

首先，统计待识别数字绘本与数字绘本书库中某个数字绘本匹配上的封面特征点数目N_rm，再根据公式M_ri＝(N_rm/N_b)×100％计算待识别数字绘本与数字绘本书库中某个数字绘本的第一匹配率，其中N_b为数字绘本书库中某个数字绘本I_b的封面特征点数目。

2.33重复上述步骤2.31、2.32，计算待识别数字绘本与数字绘本书库中每个数字绘本的第一匹配率M_ri(1≤i≤n)，其中n表示数字绘本书库中数字绘本的数目，并按第一匹配率M_ri从高到低排序。

S204：判断最高第一匹配率max{M_ri}是否大于第一阈值R_th，若是，执行步骤S205，若否，执行步骤S206。

S205：判定数字绘本书库具有最高第一匹配率的数字绘本为需识别的数字绘本。

若最高第一匹配率max{M_ri}＞R_th，则表示数字绘本书库中具有最高第一匹配率的数字绘本就是与所述待识别数字绘本相对应的需识别的数字绘本，即完成了数字绘本的识别。

S206：判断最高第一匹配率max{M_ri}是否小于第二阈值R_tl，若是，执行步骤S207，若否，执行步骤S208。

S207：判定数字绘本书库中不存在需识别数字绘本。

若max{M_ri}＜R_tl，则表示数字绘本书库中不存在需识别数字绘本，结束数字绘本封面的识别流程。

S208：从数字绘本书库中按照第一匹配率从高到低顺序选取m个数字绘本组成备选数字绘本集。

若max{M_ri}≥R_tl，即R_tl≤max{M_ri}≤R_th，则从数字绘本书库中按照第一匹配率M_ri从高到低选取m个数字绘本组成备选数字绘本集I_a＝{I_aj|j＝1,2,…,m}中，并准备采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别的步骤进一步识别数字绘本。

需要说明的是，R_th为第一阈值，R_tl为第二阈值，且第一阈值大于第二阈值，m为备选数字绘本的个数，这三个参数都为某一定值，可根据实际需求进行调整。比如，在本发明实施例中R_th、R_tl和m的取值分别为40％、5％和5时，取得了较好的识别效果。

所述采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别的步骤包括S209-S221。

S209：创建一初始化为空的候选数字绘本集

定义一个候选数字绘本集I_c＝{(j,M_aj)|j＝1,2,…,m}，并将其初始化为空。

S210：从备选数字绘本集I_a中选择具有最高第一匹配率M_ri的备选数字绘本作为当前备选数字绘本。

S211：将将当前备选数字绘本的封面特征点与待识别数字绘本的封面特征点进行一一匹配。

采用欧式距离作为相似性度量，将当前备选数字绘本的封面特征点与待识别数字绘本的封面特征点进行一一匹配，具体实施时计算待识别数字绘本的封面特征点与当前备选数字绘本的封面特征点之间的欧氏距离，若待识别数字绘本的某个封面特征点与当前备选数字绘本的某个封面特征点之间的欧式距离小于预设阈值，则表示待识别数字绘本的该封面特征点与当前备选数字绘本的该封面特征点相互匹配，相互匹配的两个特征点组成一匹配对。待识别数字绘本与当前备选数字绘本匹配上的所有匹配对组成匹配对集合ψ，即经过封面特征点匹配后得到一匹配对集合ψ。

S212：采用非线性变换剔除误匹配点

(a)从匹配对集合ψ中，按照欧式距离从小到大的顺序选取N个匹配对，作为控制点。需要说明的是，此处的欧式距离指的是匹配对中相互匹配的当前备选数字绘本的封面特征点与待识别数字绘本的封面特征点之间的欧式距离。

(b)将N个控制点坐标代入非线性多项式拟合方程，确定两图像间的非线性变换模型。非线性n次多项式拟合公式如下：

式中，a_ij、b_ij为非线性变换的参数，(u,v)为变换前的自变量，(x,y)为(u,v)的非线性变换的值。其中，可以利用最小二乘法计算非线性变换参数(a_ij,b_ij)。

优选地，本发明实施例中采用非线性二次多项式进行拟合，二次多项式的拟合方程如下：

式中x_a、y_a为当前备选数字绘本I_ai中匹配到的封面特征点S_a在图像中的坐标，x_b、y_b为待识别数字绘本中与S_a匹配的封面特征点S_b在图像中的坐标。

(c)根据步骤(b)确定的两图像间的非线性变换模型，将待识别数字绘本中匹配上的封面特征点通过非线性变换映射到当前备选数字绘本中，与备选数字绘本中的封面特征点坐标进行对比，剔除误匹配。假设匹配对中当前备选数字绘本中的封面特征点记为基准点，待识别数字绘本中的封面特征点通过非线性变换映射到当前备选数字绘本中得到新的封面特征点记为映射点，计算映射点与基准点之间的欧式距离，若映射点与基准点之间的欧式距离大于预设阈值，则表示当前备选数字绘本中的封面特征点与待识别数字绘本中的封面特征点相互不匹配，之前匹配得到的匹配对为误匹配，然后剔除该匹配对。

S213：计算当前备选数字绘本与待识别数字绘本的第二匹配率

假设步骤S211中当前备选数字绘本的封面特征点与待识别数字绘本的封面特征点相互匹配得到匹配对数目为N_a，经过S212剔除误匹配后剩余的匹配对数目为N_l，则第二匹配率为M_ai＝(N_l/N_a)×100％

S214：判断第二匹配率M_aj是否≥第三阈值R_at，若是，执行步骤S216，若否，执行步骤S215。

S215：判定当前备选数字绘本不是需识别的数字绘本封面

若M_aj＜R_at，则表示当前备选数字绘本封面不是需识别的数字绘本封面。

S216：将当前备选数字绘本及其第二匹配率存入候选数字绘本集

若第二匹配率M_aj≥R_at，则将当前备选数字绘本的序列号j以及其第二匹配率M_aj存入候选数字绘本集I_c。

需要说明的是，本发明中的第三阈值R_at为某一定值，具体实施时可根据实际情况进行调整。如在本发明实施例中R_at的取值为10％，取得了较好的识别效果。

S217：判断是否处理完所有备选数字绘本，若是，执行步骤S119，若否，执行步骤S218。

S218：从备选数字绘本集中选择下一个备选数字绘本作为当前备选数字绘本

从备选数字绘本集I_a中选择下一个备选数字绘本作为当前备选数字绘本，选择的顺序可以根据备选数字绘本的第一匹配率从高到低进行排列。重复步骤S211、步骤S212、步骤S213、步骤S214、步骤S215和步骤S216，直至m个备选数字绘本处理完成为止。

S219：判断候选数字绘本集是否为非空集，若是，执行步骤S221，若否，执行步骤S120。

S220：判定数字绘本书库中不存在需识别数字绘本

若候选数字绘本集I_c为空集，即所有的备选数字绘本的第二匹配率皆小于第三阈值R_at，则表示数字绘本书库中不存在需识别数字绘本，结束数字绘本封面的识别流程。

S221：判定候选数字绘本集中具有最高第二匹配率的数字绘本为需识别的数字绘本。

若候选数字绘本集I_c不为空，则表示具有最高第二匹配率的数字绘本是需识别的数字绘本，即完成了数字绘本的识别。

本发明实施例中的数字绘本快速识别方法，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。而且，上述数字绘本快速识别方法同时适用于小存量、海量数字绘本书库中数字绘本的识别，具有很好的通用性。

如图3所示，在本发明的一个实施例中，数字绘本快速识别系统包括有特征点提取聚类模块10、绘本识别模块20。

特征点提取聚类模块10，其用于提取数字绘本的封面特征点并进行量化聚类。具体地，所述特征点提取聚类模块10可用于执行如图1所示实施例中的步骤S101-S102，这里不在赘述。

所述特征点提取聚类模块10包括有：

封面提取单元11，其用于提取数字绘本的封面区域图像。

封面特征点提取单元12，其用于提取数字绘本封面区域图像的特征点。

封面特征点聚类单元13，其用于对数字绘本封面区域图像的特征点进行量化聚类。

绘本识别模块20，其用于采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。具体地，所述特征点提取聚类模块10可用于执行如图1所示实施例中的步骤S103-S106，这里不在赘述。

所述绘本识别模块20包括有：

第一匹配率计算单元21，其用于计算待识别数字绘本封面与数字绘本书库中每一个数字绘本封面的第一匹配率M_ri。具体地，所述第一匹配率计算单元21可用于执行如图1所示实施例中的步骤S103，这里不在赘述。

判断单元22，其用于若最高第一匹配率>第一阈值，则判定具有最高第一匹配率的数字绘本为需识别的数字绘本。具体地，所述判断单元22可用于执行如图1所示实施例中的步骤S104-S106，这里不在赘述。

本实施例中的数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

如图4所示，在本发明的另一个实施例中，数字绘本快速识别系统包括有特征点提取聚类模块100、第一绘本识别模块200以及第二绘本识别模块300。

特征点提取聚类模块100，其用于提取数字绘本的封面特征点并进行量化聚类。具体地，所述特征点提取聚类模块100可用于执行如图2所示实施例中的步骤S201-S202，这里不在赘述。

所述特征点提取聚类模块100进一步包括有：

封面提取单元110，其用于提取数字绘本的封面区域图像。

封面特征点提取单元120，其用于提取数字绘本封面区域图像的特征点。

封面特征点聚类单元130，其用于对数字绘本封面区域图像的特征点进行量化聚类。

第一绘本识别模块200，其用于采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。具体地，所述第一绘本识别模块200可用于执行如图2所示实施例中的步骤S203-S207，这里不在赘述。

所述第一绘本识别模块200进一步包括有：

第一匹配率计算单元210，其用于计算待识别数字绘本封面与数字绘本书库中每一个数字绘本封面的第一匹配率M_ri。具体地，所述第一匹配率计算单元210可用于执行如图2所示实施例中的步骤S203，这里不在赘述。

第一判断单元220，其用于当最高第一匹配率>第一阈值时，判定具有最高第一匹配率的数字绘本为需识别的数字绘本。具体地，所述第一判断单元220可用于执行如图2所示实施例中的步骤S204-S207，这里不在赘述。

备选数字绘本集生成单元230，其用于当最高第一匹配率处于第一阈值与第二阈值之间时，从数字绘本书库中选取若干个数字绘本组成备选数字绘本集。具体地，所述备选数字绘本集生成单元230可用于执行如图2所示实施例中的步骤S208，这里不在赘述。

第二绘本识别模块300，其用于采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。具体地，所述第二绘本识别模块300可用于执行如图2所示实施例中的步骤S209-S221。

所述第二绘本识别模块300进一步包括有：

特征点匹配单元310，其用于将备选数字绘本集中的每个备选数字绘本的封面特征点一一与待识别数字绘本的封面特征点进行匹配。

误匹配剔除单元320，其用于采用非线性变换算法剔除误匹配的特征点。

第二匹配率计算单元330，其用于计算剔除误匹配特征点后每个备选数字绘本与待识别数字绘本的第二匹配率。

第二判断单元340，其用于当最高第二匹配率>第三阈值时，判定具有最高第二匹配率的数字为需识别的数字绘本。

本发明实施例中的数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。而且，上述数字绘本快速识别方法同时适用于小存量、海量数字绘本书库中数字绘本的识别，具有很好的通用性。

在本发明的一些实施例中，数字绘本快速识别系统包括一个或多个处理器以及存储器，所述存储器用于存储可执行程序指令，所述处理器通过读取并执行所述存储器中存储的可执行程序指令，以用于执行以下步骤：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

具体地，所述预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类的具体步骤与图1所示实施例的步骤S101相同，这里不在赘述。

所述提取待识别数字绘本的封面特征点并进行量化聚类的具体步骤与图1所示实施例的步骤S102相同，这里不在赘述。

所述采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的进一步具体步骤与图1所示实施例的步骤S103-S106相同，这里不在赘述。

本发明实施例中的数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

在本发明的一些实施例中，数字绘本快速识别系统包括一个或多个处理器以及存储器，所述存储器用于存储可执行程序指令，所述处理器通过读取并执行所述存储器中存储的可执行程序指令，以用于执行以下步骤：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

具体地，所述预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类的具体步骤与图2所示实施例的步骤S201相同，这里不在赘述。

所述提取待识别数字绘本的封面特征点并进行量化聚类的步骤与图2所示实施例的具体步骤S202相同，这里不在赘述。

所述采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的进一步具体步骤与图2所示实施例的步骤S203-S207相同，这里不在赘述。

所述如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别的进一步具体步骤与图2所示实施例的步骤S208-S221相同，这里不在赘述。

本发明实施例中的数字绘本快速识别系统，采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别；在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

在本发明的一些实施例中，计算机可读存储介质，包括与计算机配合使用的计算机程序，该计算机程序可被处理器执行以实现以下步骤：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别。

具体地，所述预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类的具体步骤与图1所示实施例的步骤S101相同，这里不在赘述。

所述提取待识别数字绘本的封面特征点并进行量化聚类的具体步骤与图1所示实施例的步骤S102相同，这里不在赘述。

所述采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的具体步骤与图1所示实施例的步骤S103-S106相同，这里不在赘述。

执行本发明实施例中的计算机可读存储介质存储的计算机程序，可以实现采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。

在本发明的一些实施例中，计算机可读存储介质，包括与计算机配合使用的计算机程序，该计算机程序可被处理器执行以实现以下步骤：预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类；提取待识别数字绘本的封面特征点并进行量化聚类；采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别；如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

具体地，所述预先提取所述数字绘本书库所存的数字绘本的封面特征点并进行量化聚类的具体步骤与图2所示实施例的步骤S201相同，这里不在赘述。

所述提取待识别数字绘本的封面特征点并进行量化聚类的步骤与图2所示实施例的具体步骤S202相同，这里不在赘述。

所述采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的进一步具体步骤与图2所示实施例的步骤S203-S207相同，这里不在赘述。

所述如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别的进一步具体步骤与图2所示实施例的步骤S208-S221相同，这里不在赘述。

执行本发明实施例中的计算机可读存储介质存储的计算机程序，可以实现采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的步骤，不需要将待识别数字绘本的封面特征点与数字绘本书库中每一个数字绘本的封面特征点进行一一对比，减少了对比分析工作量，实现了数字绘本的快速识别。在采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别的基础上再采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行进一步的数字绘本识别，实现了数字绘本的精确识别。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (8)

1.一种数字绘本快速识别方法，其特征在于，所述方法包括有如下步骤：

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，所述数字绘本书库所存的数字绘本预先进行封面特征点提取并量化聚类；

如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

2.如权利要求1所述的数字绘本快速识别方法，其特征在于，所述提取待识别数字绘本的封面特征点并进行量化聚类进一步包括：

提取待识别数字绘本的封面区域图像；

采用SUEF算法提取待识别数字绘本的封面特征点；

采用K-means算法对待识别数字绘本的封面特征点进行量化聚类。

3.如权利要求1所述的数字绘本快速识别方法，其特征在于，所述采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别进一步包括：

将备选数字绘本集中的每个备选数字绘本的封面特征点一一与待识别数字绘本的封面特征点进行匹配；

采用非线性变换算法剔除误匹配特征点；

计算剔除误匹配特征点后每个备选数字绘本与待识别数字绘本的第二匹配率，如最高第二匹配率的大于或等于第三阈值，则拥有最高第二匹配率的备选数字绘本为需识别的数字绘本。

4.一种数字绘本快速识别系统，其特征在于，所述系统包括有：

特征点提取聚类模块，其用于提取待识别数字绘本的封面特征点并进行量化聚类，并用于预先提取数字绘本书库所存的数字绘本封面特征点并进行量化聚类；

第一绘本识别模块，其用于采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，所述第一绘本识别模块包括有备选数字绘本集生成单元，该备选数字绘本集生成单元用于当最高第一匹配率处于第一阈值与第二阈值之间时，从数字绘本书库中选取若干个数字绘本组成备选数字绘本集；

第二绘本识别模块，其用于采用基于非线性变换的封面特征点匹配算法于备选数字绘本集中进行数字绘本识别。

5.如权利要求4所述的数字绘本快速识别系统，其特征在于，所述特征点提取聚类模块包括有：

封面提取单元，其用于提取数字绘本的封面区域图像；

封面特征点提取单元，其用于采用SUEF算法提取数字绘本的封面特征点；

封面特征点聚类单元，其用于采用K-means算法对数字绘本的封面特征点进行量化聚类。

6.如权利要求4所述的数字绘本快速识别系统，其特征在于，第一绘本识别模块包括有：

第一匹配率计算单元，其用于计算待识别数字绘本封面与数字绘本书库中每一个数字绘本封面的第一匹配率；

第一判断单元，其用于当最高第一匹配率>第一阈值时，判定具有最高第一匹配率的数字绘本为需识别的数字绘本；

所述第二绘本识别模块包括有：

特征点匹配单元，其用于将备选数字绘本集中的每个备选数字绘本的封面特征点一一与待识别数字绘本的封面特征点进行匹配；

误匹配剔除单元，其用于采用非线性变换算法剔除误匹配的特征点；

第二匹配率计算单元，其用于计算剔除误匹配特征点后每个备选数字绘本与待识别数字绘本的第二匹配率；

第二判断单元，其用于当最高第二匹配率>第三阈值时，判定具有最高第二匹配率的数字为需识别的数字绘本。

7.一种数字绘本快速识别系统，其特征在于，包括一个或多个处理器以及存储器，所述存储器用于存储可执行程序指令，所述处理器通过读取并执行所述存储器中存储的可执行程序指令，以用于执行以下操作：

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，所述数字绘本书库所存的数字绘本预先进行封面特征点提取并量化聚类；

如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

8.一种计算机可读存储介质，包括与计算机配合使用的计算机程序，该计算机程序可被处理器执行以实现以下步骤：

提取待识别数字绘本的封面特征点并进行量化聚类；

采用基于聚类的封面特征点匹配算法于数字绘本书库中进行数字绘本识别，所述数字绘本书库所存的数字绘本预先进行封面特征点提取并量化聚类；

如最高第一匹配率处于第一阈值与第二阈值之间，则从数字绘本书库中选取若干个数字绘本组成备选数字绘本集，并采用基于非线性变换的封面特征点匹配算法于该备选数字绘本集中进行数字绘本识别。

Images