CN106529609B - 一种基于神经网络结构的图像识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于神经网络结构的图像识别方法，该方法包括以下步骤：根据图像识别指令，确定待识别的目标图像；针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为神经网络结构的神经元；根据匹配结果，确定目标图像对应的参考图像。应用本发明实施例所提供的技术方案，基于神经网络结构进行图像识别，模拟了人脑的学习能力，使得图像识别更加准确。本发明还公开了一种基于神经网络结构的图像识别装置，具有相应的技术效果。

Description

一种基于神经网络结构的图像识别方法及装置

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于神经网络结构的图像识别方法及装置。

背景技术

随着计算机应用技术的快速发展，图像识别技术的应用越来越广泛，对图像识别的需求也越来越多。比如在视频监控中，或者在签名比对中，都需要进行图像识别。

随着对人脑结构和神经网络的研究，技术人员已经了解并逐渐探索出人脑对信息的处理及工作方式。但基于神经网络结构如何进行图像的准确识别，是目前本领域技术人员亟需解决的技术问题。

发明内容

本发明的目的是提供一种基于神经网络结构的图像识别方法及装置，以基于神经网络结构对图像进行准确识别。

为解决上述技术问题，本发明提供如下技术方案：

一种基于神经网络结构的图像识别方法，包括：

根据图像识别指令，确定待识别的目标图像；

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，所述查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为所述神经网络结构的神经元；

根据匹配结果，确定所述目标图像对应的参考图像。

在本发明的一种具体实施方式中，所述针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，包括：

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

在本发明的一种具体实施方式中，还包括：

针对所述查找表集合中每个查找表，如果在设定时长内没有任何一个待识别的图像被识别为该查找表对应的参考图像，则在所述查找表集合中删除该查找表。

在本发明的一种具体实施方式中，针对任意一个参考图像，通过以下步骤预先获得该参考图像对应的查找表：

接收针对该参考图像的待学习的图像数据流，所述图像数据流中每个图像样本具有与该参考图像相同的内容；

针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

将学习后的查找表确定为该参考图像对应的查找表。

在本发明的一种具体实施方式中，所述针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习，包括：

如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；

如果在该像素位置的表项非首次接受学习，则对该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。

一种基于神经网络结构的图像识别装置，包括：

目标图像确定模块，用于根据图像识别指令，确定待识别的目标图像；

表项匹配模块，用于针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，所述查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为所述神经网络结构的神经元；

参考图像确定模块，用于根据匹配结果，确定所述目标图像对应的参考图像。

在本发明的一种具体实施方式中，所述表项匹配模块，具体用于：

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

在本发明的一种具体实施方式中，还包括查找表删除模块，用于：

针对所述查找表集合中每个查找表，如果在设定时长内没有任何一个待识别的图像被识别为该查找表对应的参考图像，则在所述查找表集合中删除该查找表。

在本发明的一种具体实施方式中，还包括查找表获得模块，用于针对任意一个参考图像，通过以下步骤预先获得该参考图像对应的查找表：

接收针对该参考图像的待学习的图像数据流，所述图像数据流中每个图像样本具有与该参考图像相同的内容；

针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

将学习后的查找表确定为该参考图像对应的查找表。

在本发明的一种具体实施方式中，所述查找表获得模块，具体用于：

如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；

如果在该像素位置的表项非首次接受学习，则对该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。

应用本发明实施例所提供的技术方案，根据图像识别指令，可以确定待识别的目标图像，针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，根据匹配结果，可以确定目标图像对应的参考图像，即目标图像更像哪一个参考图像。查找表集合中的每个查找表基于神经网络结构建立，通过图像学习获得，该集合中包含多个具有不同内容的参考图像对应的查找表，每个查找表的表项为神经网络结构的神经元。基于神经网络结构进行图像识别，模拟了人脑的学习能力，使得图像识别更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于神经网络结构的图像识别方法的实施流程图；

图2为本发明实施例中一种图像识别系统的结构示意图；

图3为本发明实施例中一种神经网络结构的示意图；

图4为本发明实施例中一个图像样本的示意图；

图5为本发明实施例中样本学习过程示意图；

图6为本发明实施例中图像识别过程示意图；

图7为本发明实施例中查找表读写示意图；

图8为本发明实施例中一种基于神经网络结构的图像识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种基于神经网络结构的图像识别方法的实施流程图，该方法可以包括以下步骤：

S110：根据图像识别指令，确定待识别的目标图像。

在本发明实施例中，控制单元可以通过前端接口单元接收图像识别指令，如图2所示。图像识别指令中可以携带待识别的目标图像。根据图像识别指令，可以确定待识别的目标图像。

前端接口可以解析上层指令，与其交互的可以是通用x86架构下的PCI-E(PCIExpress，新一代总线接口)，还可以是ARM架构下AXI(Advanced extensible Interface，一种总线协议)等接口。

在接收到图像识别指令时，可以通过计算单元先对图像识别指令中的目标图像进行预处理，以达到加速识别的目的，如图2所示。比如，可以使用卷积特征提取算法，将高像素图像匹配至后端基于神经网络结构建立的查找表的规格，并使图像的轮廓更加清晰明显，或者，可以设定对识别图像的旋转识别模式，例如，预先获得的基于神经网络结构建立的查找表中学习过一个正立的字符图像“M”，则在接收到“W”时会将其识别为学习过的反转了180°的“M”，或者，可以标记学习和识别内容的颜色，区分识别图像的不同颜色代表的不同意义。

本发明实施例所基于的神经网络结构如图3所示，为一个立方体结构，立方体的三维坐标系分别为XwYhZd，其中每一个节点为一个神经元。在图3中，如果目标图像为64*64像素大小，则其每一个像素可以对应[X0,Y0]至[X63,Y63]相应像素位置的神经元。

确定待识别的目标图像后，可以继续执行步骤S120的操作。

S120：针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配。

查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为神经网络结构的神经元。

在本发明实施例中，可以通过图像学习获得具有不同内容的参考图像对应的查找表，查找表是基于神经网络结构建立的。即，每个具有神经网络结构的查找表对应于具有不同内容的参考图像。多个查找表构成查找表集合。

在本发明的一种具体实施方式中，针对任意一个参考图像，可以通过以下步骤预先获得该参考图像对应的查找表：

第一个步骤：接收针对该参考图像的待学习的图像数据流，图像数据流中每个图像样本具有与该参考图像相同的内容；

第二个步骤：针对图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

第三个步骤：将学习后的查找表确定为该参考图像对应的查找表。

为便于描述，将上述三个步骤结合起来进行说明。

在实际应用中，可以通过前端接口接收针对参考图像的学习指令。学习指令中可以携带针对该参考图像的待学习的图像数据流。图像数据流中每个图像样本具有与该参考图像相同的内容，具体表现形式可能不同。图像数据流中可以包含参考图像的内容信息。

基于神经网络结构的查找表对图像数据流中的每个图像样本进行学习，并在相应表项中记录。针对图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习，获得图像含义、图像特征等信息，在学习过程中可以配置学习加权值。

具体的，如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；如果在该像素位置的表项非首次接受学习，则对该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。

比如，图4为一个图像样本的示意图，对该图像样本进行学习，在图3所示的基于神经网络结构建立的查找表的相应像素位置的表项处进行学习记录，得到图3所示的学习记录结果。如果X₂Y₃Z₁处的表项首次接受学习，则可以直接在该表项处进行学习记录，如果该表项非首次接受学习，则可以对Z轴方向表项，即X₂Y₃Z₂处的表项进行迭代学习，直至迭代至首次接受学习的表项。

具体学习过程可以参考图5所示，配置相应学习参数后，进行样本学习，直至学习完成。样本学习时，首先根据索引查询查找表，根据配置写表项，确定表项是否有过记录，如果是，则修改报文准备查后一个表项，如果否，则学习完成。

通过学习记录，可以将学习后的查找表确定为该参考图像对应的查找表。

当要学习的图像样本不多时，可以自定义分布宽度和深度，达到快速学习的目的。

在本发明的一种具体实施方式中，在上述第二个步骤之前，还可以对图像数据流中的每个图像进行加速预处理。

具体的，可以参见识别过程的预处理过程，本发明实施例在此不再赘述。

针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配。

在本发明的一种具体实施方式中，步骤S120可以包括以下步骤：

步骤一：针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

步骤二：针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

为便于描述，将上述两个步骤结合起来进行说明。

针对预先获得查找表集合中每个查找表，该查找表对应于一个参考图像，其可以通过学习该参考图像的多种具有相同内容的变形图像获得。

将目标图像的每个像素对应至该查找表中相应像素位置的表项，并与相应像素位置的表项进行比对。针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则可以顺延至该查找表的该像素位置后方下一表项处做迭代匹配，即顺延至该查找表的Z轴后方下一表项处做迭代匹配，直至达到预设深度处。

针对目标图像的每个像素，通过将该像素与该查找表中相应像素位置的表项的匹配，可以得到该像素与每个相应表项的学习记录的匹配程度，最后可以得到可量化的匹配深度结果。

预设深度可以根据实际情况进行设定和调整，本发明实施例对此不做限制。

S130：根据匹配结果，确定目标图像对应的参考图像。

在步骤S120，针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，可以得到目标图像的每个像素与该查找表的匹配结果，根据匹配结果，可以确定目标图像对应的参考图像。

具体的，可以将匹配程度最大的查找表对应的参考图像确定为目标图像对应的参考图像。

具体的识别过程可以参考图6，输入识别图像后，通过查找表识别，识别完成返回结果。通过查找表识别时，首先根据索引查询查找表，分析表项，确定表项是否有过记录，如果是，则修改报文准备查后一个表项，如果否，则识别完成。

读写查找表示意图如图7所示，表请求模块Tbl_req在一个像素信息输入后发出一个读表项的请求发送给DDR接口Ddr_if，DDR接口Ddr_if会从DDR里读出数据，返回给表确认模块Tbl_act进行匹配或者学习，在返回的时候要把迭代后的数据再写回到DDR的表项里面。

本发明实施例对图像的识别过程，是模拟人脑的学习能力，实现对学习过的图像得到目标图像更“像”哪一个，而不是“是”哪一个，实现一个图像在对学习过的信息中匹配识别得到一个可以量化的学习深度，达到识别图像的目的。

应用本发明实施例所提供的方法，根据图像识别指令，可以确定待识别的目标图像，针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，根据匹配结果，可以确定目标图像对应的参考图像，即目标图像更像哪一个参考图像。查找表集合中的每个查找表基于神经网络结构建立，通过图像学习获得，该集合中包含多个具有不同内容的参考图像对应的查找表，每个查找表的表项为神经网络结构的神经元。基于神经网络结构进行图像识别，模拟了人脑的学习能力，使得图像识别更加准确。

在本发明的一个实施例中，该方法还可以包括以下步骤：

针对查找表集合中每个查找表，如果在设定时长内没有任何一个目标图像被识别为该查找表对应的参考图像，则在查找表集合中删除该查找表。

具体的，可以通过配置记忆遗忘速率参数，模拟对学习图像的遗忘特征，将查找表集合中长期未使用的查找表进行删除操作，以在对图像进行识别时，节省匹配时间，提高识别效率。

相应于上面的方法实施例，本发明实施例还提供了一种基于神经网络结构的图像识别装置，下文描述的一种基于神经网络结构的图像识别装置与上文描述的一种基于神经网络结构的图像识别方法可相互对应参照。

参见图4所示，该装置包括以下模块：

目标图像确定模块210，用于根据图像识别指令，确定待识别的目标图像；

表项匹配模块220，用于针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为神经网络结构的神经元；

参考图像确定模块230，用于根据匹配结果，确定目标图像对应的参考图像。

应用本发明实施例所提供的装置，根据图像识别指令，可以确定待识别的目标图像，针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表的每个表项进行匹配，根据匹配结果，可以确定目标图像对应的参考图像，即目标图像更像哪一个参考图像。查找表集合中的每个查找表基于神经网络结构建立，通过图像学习获得，该集合中包含多个具有不同内容的参考图像对应的查找表，每个查找表的表项为神经网络结构的神经元。基于神经网络结构进行图像识别，模拟了人脑的学习能力，使得图像识别更加准确。

在本发明的一种具体实施方式中，表项匹配模块220，具体用于：

针对预先获得的查找表集合中每个查找表，将目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

在本发明的一种具体实施方式中，还包括查找表删除模块，用于：

针对查找表集合中每个查找表，如果在设定时长内没有任何一个待识别的图像被识别为该查找表对应的参考图像，则在查找表集合中删除该查找表。

在本发明的一种具体实施方式中，还包括查找表获得模块，用于针对任意一个参考图像，通过以下步骤预先获得该参考图像对应的查找表：

接收针对该参考图像的待学习的图像数据流，图像数据流中每个图像样本具有与该参考图像相同的内容；

针对图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

将学习后的查找表确定为该参考图像对应的查找表。

在本发明的一种具体实施方式中，查找表获得模块，具体用于：

如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；

如果在该像素位置的表项非首次接受学习，则对该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于神经网络结构的图像识别方法，其特征在于，包括：

根据图像识别指令，确定待识别的目标图像；

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，所述查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为所述神经网络结构的神经元；

根据匹配结果，确定所述目标图像对应的参考图像。

2.根据权利要求1所述的基于神经网络结构的图像识别方法，其特征在于，所述针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，包括：

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

3.根据权利要求1所述的基于神经网络结构的图像识别方法，其特征在于，还包括：

针对所述查找表集合中每个查找表，如果在设定时长内没有任何一个待识别的图像被识别为该查找表对应的参考图像，则在所述查找表集合中删除该查找表。

4.根据权利要求1至3任一项所述的基于神经网络结构的图像识别方法，其特征在于，针对任意一个参考图像，通过以下步骤预先获得该参考图像对应的查找表：

接收针对该参考图像的待学习的图像数据流，所述图像数据流中每个图像样本具有与该参考图像相同的内容；

针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

将学习后的查找表确定为该参考图像对应的查找表。

5.根据权利要求4所述的基于神经网络结构的图像识别方法，其特征在于，所述针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习，包括：

如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；

如果在该像素位置的表项非首次接受学习，则对深度方向的该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。

6.一种基于神经网络结构的图像识别装置，其特征在于，包括：

目标图像确定模块，用于根据图像识别指令，确定待识别的目标图像；

表项匹配模块，用于针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表的每个表项进行匹配，所述查找表集合包含多个具有不同内容的参考图像对应的查找表，每个查找表基于神经网络结构建立，每个查找表中的表项为所述神经网络结构的神经元；

参考图像确定模块，用于根据匹配结果，确定所述目标图像对应的参考图像。

7.根据权利要求6所述的基于神经网络结构的图像识别装置，其特征在于，所述表项匹配模块，具体用于：

针对预先获得的查找表集合中每个查找表，将所述目标图像的每个像素与该查找表中相应像素位置的表项进行比对；

针对该查找表中每个像素位置的表项，如果该像素位置的表项有过学习记录，则顺延至该查找表的该像素位置后方下一表项处做迭代匹配，直至达到预设深度处。

8.根据权利要求6所述的基于神经网络结构的图像识别装置，其特征在于，还包括查找表删除模块，用于：

针对所述查找表集合中每个查找表，如果在设定时长内没有任何一个待识别的图像被识别为该查找表对应的参考图像，则在所述查找表集合中删除该查找表。

9.根据权利要求6至8任一项所述的基于神经网络结构的图像识别装置，其特征在于，还包括查找表获得模块，用于针对任意一个参考图像，通过以下步骤预先获得该参考图像对应的查找表：

接收针对该参考图像的待学习的图像数据流，所述图像数据流中每个图像样本具有与该参考图像相同的内容；

针对所述图像数据流中的每个图像样本的每个像素，使用一个查找表中的相应像素位置的表项对该像素进行学习；

将学习后的查找表确定为该参考图像对应的查找表。

10.根据权利要求9所述的基于神经网络结构的图像识别装置，其特征在于，所述查找表获得模块，具体用于：

如果在该像素位置的表项首次接受学习，则直接在该像素位置的表项处进行学习记录；

如果在该像素位置的表项非首次接受学习，则对深度方向的该像素位置后方表项进行迭代学习，直至迭代至首次接受学习的表项。