[go: up one dir, main page]

CN113228105B - 一种图像处理方法、装置和电子设备 - Google Patents

一种图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN113228105B
CN113228105B CN202080000711.2A CN202080000711A CN113228105B CN 113228105 B CN113228105 B CN 113228105B CN 202080000711 A CN202080000711 A CN 202080000711A CN 113228105 B CN113228105 B CN 113228105B
Authority
CN
China
Prior art keywords
frame image
feature point
pixel
processed
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080000711.2A
Other languages
English (en)
Other versions
CN113228105A (zh
Inventor
张一晗
陈凯歌
王柏润
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of CN113228105A publication Critical patent/CN113228105A/zh
Application granted granted Critical
Publication of CN113228105B publication Critical patent/CN113228105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置和电子设备。所述方法包括：获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点；确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。

Description

一种图像处理方法、装置和电子设备
相关申请的交叉引用
本申请要求于2019年12月30日提交的题为“IMAGE PROCESSING METHOD ANDAPPARATUS,AND ELECTRONIC DEVICE(一种图像处理方法、装置和电子设备)”的新加坡专利申请10201913798W的优先权，该专利申请的全部内容通过引用并入本文。
技术领域
本发明涉及但不限于图像处理技术，具体涉及一种图像处理方法、装置和电子设备。
背景技术
在图像识别领域中，对图像中的目标物的识别与定位是其中的一类问题。而获得图像源的相机无法避免的会受到震动干扰，导致目标物在图像中产生位移，对目标物的识别与定位产生较大影响。
发明内容
本发明实施例提供一种图像处理方法、装置和电子设备。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像处理方法，所述方法包括：
获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
分别提取所述关键帧图像中的一个或多个特征点以及所述待处理帧图像中的一个或多个特征点；
确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；
基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。
上述方案中，所述确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系，包括：
获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；
比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；
基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度；
在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系。
上述方案中，所述基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果确定所述第一组像素点对和所述第二组像素点对的相似度，包括：
基于所述至少一个第一比较结果生成第一字符串；
基于所述至少一个第二比较结果生成第二字符串；
基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
上述方案中，所述基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系，包括：对特征点对集合进行筛选，获得目标特征点对集合；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
基于所述目标特征点对集合中的目标特征点对确定变换关系。
上述方案中，所述对特征点对集合进行筛选，获得目标特征点对集合，包括：获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；
确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；
去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
上述方案中，所述分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点，包括：
确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；
判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；
在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
上述方案中，所述基于所述目标特征点对集合中的目标特征点对确定变换关系，包括：基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
上述方案中，所述基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像，包括：基于所述变换矩阵对所述待处理帧图像中包括所述目标对象的目标区域进行变换，获得目标帧图像。
上述方案中，在获得目标帧图像之后，所述方法还包括：提取所述目标帧图像中的特征点；
基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；
在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像。
上述方案中，所述方法还包括：在所述第一损失值超过第二阈值的情况下，删除所述获得目标帧图像。
本发明实施例还提供了一种图像处理装置，所述装置包括：图像获取单元、特征提取单元、匹配单元和变换单元；其中，
所述图像获取单元，用于获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
所述特征提取单元，用于分别提取所述关键帧图像中的一个或多个特征点以及所述待处理帧图像中的一个或多个特征点；
所述匹配单元，用于确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
所述变换单元，用于基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。
上述方案中，所述匹配单元，用于获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度；在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系。
上述方案中，所述匹配单元，用于在基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度方面，用于：基于所述多个第一比较结果生成第一字符串；基于所述多个第二比较结果生成第二字符串；基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
上述方案中，所述装置还包括筛选单元，用于对特征点对集合进行筛选，获得目标特征点对集合；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
所述变换单元，用于在基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系方面，用于：基于所述筛选单元获得的所述目标特征点对集合中的目标特征点对确定变换关系。
上述方案中，所述筛选单元，用于获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
上述方案中，所述特征提取单元，用于确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
上述方案中，所述变换单元，用于在基于所述目标特征点对集合中的目标特征点对确定变换关系方面，用于：基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
上述方案中，所述变换单元，用于在基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像方面，用于：基于所述变换矩阵对所述待处理帧图像中包含所述目标对象的目标区域进行变换处理，获得目标帧图像。
上述方案中，所述装置还包括确定单元和处理单元；其中，
所述特征提取单元，还用于提取所述目标帧图像中的特征点；
所述确定单元，用于基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；
所述处理单元，用于在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像。
上述方案中，所述处理单元，还用于在所述第一损失值超过第二阈值的情况下，删除所述获得目标帧图像。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述方法的步骤。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述方法的步骤。
本发明实施例提供的图像处理方法、装置和电子设备，所述方法包括：获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点；确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。采用本发明实施例的技术方案，通过获得的变换关系对待处理帧图像进行处理，使得获得的目标帧图像中的目标对象的目标区域的视角与关键帧图像中的目标对象的目标区域的视角基本一致，也就是使得采集目标帧图像的设备与目标帧图像中的目标对象的相对位置关系与采集关键帧图像的设备与关键帧图像中的目标对象的相对位置关系基本一致，从而解决了由于相机震动干扰或者相机发生位移导致的采集的图像中的目标对象产生位移的问题，实现了目标对象的准确定位。
附图说明
图1为本发明实施例的图像处理方法的流程示意图一；
图2为本发明实施例的图像处理方法的流程示意图二；
图3为本发明实施例的图像处理方法中的像素点对的选取示意图；
图4为本发明实施例的图像处理方法的流程示意图三；
图5为本发明实施例的图像处理装置的组成结构示意图一；
图6为本发明实施例的图像处理装置的组成结构示意图二；
图7为本发明实施例的图像处理装置的组成结构示意图三；
图8为本发明实施例的电子设备的硬件组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的流程示意图一；如图1所示，所述方法包括：
步骤101：获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
步骤102：分别提取所述关键帧图像中的一个或多个特征点以及所述待处理帧图像中的一个或多个特征点；
步骤103：确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
步骤104：基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；
步骤105：基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。
本实施例中，所述关键帧图像为包含有完整的、清晰的、未被遮挡的目标对象的图像。所述待处理帧图像是包含所述目标对象的图像。其中，所述关键帧图像和所述待处理帧图像中均可包括至少一个目标对象。
本实施例中，所述关键帧图像和所述待处理帧图像可以为相同的图像采集设备采集到的图像。在其他实施例中，所述关键帧图像和所述待处理帧图像也可以是不同的图像采集设备采集到的图像。可以理解，待处理帧图像可以为多帧图像；所述多帧图像中的部分帧图像可以由第一图像采集设备采集到，部分帧图像可以由第二图像采集设备采集到，第一图像采集设备和第二图像采集设备的布局位置较近，或者说第一图像采集设备与被采集区域相对位置关系和第二图像采集设备与被采集区域的相对位置关系相近。
在本发明的一种可选实施例中，所述关键帧图像可以是所述目标对象的俯视图。即采集所述关键帧图像的图像采集设备设置在目标对象的上方，通过设置在目标对象的上方的图像采集设备采集多帧图像，从所述多帧图像中选择包含清晰的、完整的且未被遮挡的目标对象的图像作为关键帧图像。相应的，所述待处理帧图像也可以是所述目标对象的俯视图。
作为一种示例，可通过设置在目标对象的上方的图像采集设备采集包含有目标对象的一段视频，从视频中选择清晰的、未被遮挡的且目标对象完整的一帧图像作为关键帧图像，将视频中除关键帧图像以外的其他帧图像作为待处理图像。
在本发明的一种可选实施例中，所述目标对象可以是游戏桌，则本实施例的图像识别方法可用于对关键帧图像和待处理帧图像中的目标对象(例如游戏桌)进行识别，对待处理帧图像中的目标对象朝向关键帧图像中的目标对象所在位置进行对准，从而实现目标对象的定位，便于后续图像检测识别，可适用于游戏的智能操作和监控的研究和发展。可以理解，所述目标对象不限于是游戏桌，也可以是其他物体作为目标对象，本实施例中对此不做限定。
本实施例中，所述关键帧图像中的特征点和所述待处理帧图像中的特征点可以是图像中的角点。所述角点为极值点，即在某方面属性特别突出的点，如在某些属性上强度最大或最小的点。例如，两条线或两条以上的线的边缘的交点，或者图像中的梯度值和梯度方向的变化速率最大的点等等。由于角点在保留图像中的重要特征的同时，能够有效的减少数据量，因此本实施例通过对图像中的角点的提取，以角点作为特征点进行后续的匹配、变换关系的确定，能够提高计算速度，使得后续的实时处理成为可能。可以理解，本实施例中提取出的图像中的特征点不限于是角点，也可以是其他类型的特征点，例如关键点等。
本实施例中，可基于灰度图像的方法、基于二值图像的方法、基于轮廓曲线的方法等方式提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点。作为一种实施方式，以基于灰度图像的方法提取图像中的特征点(例如提取图像中的角点)为例，可通过计算图像中的梯度的方式确定图像中的边缘特征点，基于边缘特征点确定边缘曲线，通过计算边缘曲线的曲率的方式确定图像中的角点。可以理解，本实施例不限于上述方式提取图像中的特征点(例如角点)，任何角点检测方式均可适用于本发明实施例。
本实施例中，在关键帧图像和待处理帧图像中，具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点具体可以为，第一特征点在所述关键帧图像中的特征(例如某方面的属性)与所述第二特征点在所述待处理帧图像中的特征(例如某方面的属性)匹配；其中，关键帧图像中的特征点可记为第一特征点(可以有不止一个)，待处理帧图像中的特征点可记为第二特征点(可以有不止一个)。
在本发明的一种可选实施例中，可基于具有匹配关系的第一特征点和第二特征点的坐标确定变换矩阵，所述变换矩阵用于将所述待处理帧图像的采集视角变换至与所述关键帧图像的采集视角相同。然而，由于一些原因，例如获得的第一特征点和第二特征点并不是完全具有匹配关系，即获得的特征点对存在一定的误差；又例如确定的变换关系不能严格的将待处理帧图像的采集视角变换成与关键帧图像的采集视角相同，即确定的变换关系存在一定的误差，因此，本实施例中期望将待处理帧图像的采集视角变换为与关键帧图像的采集视角相同，但很有可能转换为与关键帧图像的采集视角相近但存在区别的图像，因此将转换处理后的图像称为目标帧图像；所述目标帧图像的采集视角可能与所述关键帧图像的采集视角一致，也可能与所述关键帧图像的采集视角有所区别。
采用本发明实施例的技术方案，通过获得的变换关系对待处理帧图像进行处理，使得获得的目标帧图像中的目标对象的目标区域的视角与关键帧图像中的目标对象的目标区域的视角基本一致，从而解决了由于相机震动干扰或者相机发生位移导致的采集的图像中的目标对象产生位移的问题，实现了目标对象的准确定位。
基于前述实施例，本发明实施例还提供了一种图像处理方法。图2为本发明实施例的图像处理方法的流程示意图二；如图2所示，所述方法包括：
步骤201：获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
步骤202：分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点；
步骤203：获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；
步骤204：比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；
步骤205：基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果确定所述第一组像素点对和所述第二组像素点对的相似度；
步骤206：在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系；
步骤207：对特征点对集合进行筛选，获得目标特征点对集合；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
步骤208：基于所述目标特征点对集合中的目标特征点对确定变换关系；
步骤209：基于所述变换关系对所述待处理帧图像中对应于所述目标对象的目标区域进行变换处理，获得目标帧图像。
本实施例的步骤201至步骤202的详细阐述具体可参照前述实施例中的步骤101至步骤102的描述，这里不再赘述。
在本发明的一种可选实施例中，本实施例步骤202中，所述分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点，包括：确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
本实施例中，所述关键帧图像和所述待处理帧图像中的特征点的提取方式均可采用上述方式，即，将关键帧图像和待处理帧图像均转换为灰度图像；针对每个像素点，在以选取的像素点为中心、预设像素距离为半径的预设区域范围内，判断所述预设区域范围内的其他像素点的灰度值是否与选取的像素点的灰度值不同。例如，选取关键帧图像中的任一像素点P，以像素点P为中心、3个像素距离为半径画圆得到圆形区域；若圆形区域内的像素点的灰度值大于或小于像素点P的灰度值，则可确定像素点P为一个特征点。可以理解，本实施例中的所述预设区域范围不限于是圆形区域范围，也可以是其他形状的区域范围。
可以理解，所述关键帧图像和所述待处理帧图像中的特征点的提取方式均可采用上述方式，也可以分别采用不同的特征点提取方式，本实施例中对此不做限定。
本实施例中，将待处理帧图像中的每个特征点(可记为第二特征点)与关键帧图像中的特征点(可记为第一特征点)进行匹配，具体是选取待处理帧图像中的各个第二特征点相关联的第二组像素点对与关键帧图像中的各个第一特征点相关联的第一组像素点对进行匹配；其中，所述第一组像素点对和所述第二组像素点对均可包括至少一组像素点对，每个像素点对均可包括两个像素点。所述第一组像素点对包括以相关联的第一特征点为中心的预设区域范围内选取的至少一组像素点对；相应的，所述第二组像素点对包括以相关联的第二特征点为中心的所述预设区域范围内选取的至少一组像素点对。
其中，若第一组像素点对中的各第一像素点对为在所述预设区域范围内随机选取的像素点对，则所述第二组像素点对中各第二像素点对与与其相关联的特征点的相对位置关系，与所述第一组像素点对中的各像素点对与与其相关联的特征点的相对位置关系一致。
图3为本发明实施例的图像处理方法中的像素点对的选取示意图；如图3所示，图3中的每个方格表示一个像素点，假设图3中的像素点P为特征点，记为关键帧图像中的第一特征点P，则按照预设规则(例如随机方式)选取第一特征点P相关联的第一组像素点对，图3中所示的第一组像素点对可包括三组像素点对，所述三组像素点对可以在以第一特征点P为中心、预设像素距离为半径的圆形区域内随机选取。相应的，为了确定与第一特征点P满足匹配关系的第二特征点，则在待处理帧图像中，针对每个特征点，确定与第一组像素点对中的各组像素点对与相关联的第一特征点的相对位置关系均一致的第二组像素点对，即按照第一组像素点对中各像素点对与相关联的第一特征点的相对位置关系确定第二像素点对，也即针对待处理帧图像中的各特征点，选取与图3中所示的像素点对与相关联的特征点具有相同的相对位置关系的像素点对。例如，针对待处理帧图像中的各特征点，同样选取例如图3中所示的，与特征点竖直向上方向相隔3个像素点的像素点1，竖直向下方向相隔1个像素点、水平向左方向相隔2个像素点2，将像素点1和像素点2组成的像素点对作为待处理帧图像中的一组像素点对。可以理解，所述第一组像素点对和所述第二组像素点对中的相对应的第一像素点对和第二像素点对采用相同的选取规则，即第一像素点对包含的两个像素点与相关联的第一特征点的相对位置关系与相对应的第二像素点对包含的两个像素点与相关联的第二特征点(即待处理帧图像中的一个特征点)的相对位置关系相同。
在本发明的一种可选实施例中，所述第一特征点可以是所述关键帧图像中、包含所述目标对象的目标区域中的特征点；相应的，所述第二特征点也可以是所述待处理帧图像中的包含所述目标对象的目标区域中的特征点。可以理解，本实施例中可针对目标对象的目标区域中的特征点进行匹配，而忽略关键帧图像和待处理帧图像中的除目标区域以外的其他区域的特征点，能够减少数据处理量。
本实施例步骤204中，针对第一组像素点对中的至少一组第一像素点对，分别比较每组像素点对中的两个像素点的像素值，则针对第一组像素点对中的至少一组第一像素点对，可获得至少一个第一比较结果。相应的，针对第二组像素点对中的至少一组第二像素点对，可获得至少一个第二比较结果。在一些实施例中，还可比较第一像素点对所包含的两个像素点的灰度值，获得以灰度值的差值表示的第一比较结果；相应的，获得以灰度值的差值表示的第二比较结果。
示例性的，可按照由上到下、由左到右的方向，将位置靠上或靠左的像素点的像素值或灰度值作为减数，将位置靠下或靠右的像素点的像素值或灰度值作为被减数。可以理解，本实施例中的两个像素点的比较规则也不限于上述所述，所述第一比较结果和所述第二比较结果采用相同的比较规则。
在本发明的一种可选实施例中，本实施例步骤205中，所述基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果确定所述第一组像素点对和所述第二组像素点对的相似度，包括：基于所述至少一个第一比较结果生成第一字符串；基于所述至少一个第二比较结果生成第二字符串；基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
本实施例中，第一组像素点对和第二组像素点对可分别作为相关联的特征点的特征描述子，则本实施例中可通过确定两个特征描述子之间的相似度的方式确定对应的第一特征点和第二特征点是否满足匹配关系。可以理解，通过确定关键帧图像和待处理帧图像中的相对应的两个特征点周围的像素点对是否相似的方式，从而确定关键帧图像和待处理帧图像中的相对应的两个特征点是否匹配。
作为一种示例，将第一组像素点对所对应的至少一个第一比较结果按顺序排列，并转换为一个二进制字符串；相应的，将第二组像素点对所对应的至少一个第二比较结果按顺序排列，并转换为另一个二进制字符串，根据获得的两个二进制字符串确定所述第一组像素点对和所述第二组像素点对的相似度。其中，所述至少一个第一比较结果的排列顺序与所述至少一个第二比较结果的排列顺序一致。以图3所示的三组像素点对为例，则可分别获得三个第一比较结果和三个第二比较结果；将三个第一比较结果和三个第二比较结果按照相同的排序规则进行排序；例如，以图3中所示的“1”对应的两个像素点的比较结果作为第一个比较结果，以图3中所示的“2”对应的两个像素点的比较结果作为第二个比较结果，以图3中所示的“3”对应的两个像素点的比较结果作为第三个比较结果，第一个比较结果排序在高位，第二个比较排序在中间，第三个比较结果排序在低位。可以理解，本实施例中的比较结果的排序规则也不限于上述所述，所述至少一个第一比较结果和所述至少一个第二比较结果采用相同的排序规则。
本实施例中，作为一种示例，可计算两个二进制字符串之间的汉明距离，基于所述汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。可以理解，本实施例也可采用其他距离确定所述第一组像素点对和所述第二组像素点对的相似度，本实施例中对此不做限定。
本实施例中，在计算获得的第一组像素点对和第二组像素点对的相似度达到第一预设阈值的情况下，可确定第一特征点和第二特征点满足匹配关系。但此时获得的满足匹配关系的第一特征点和第二特征点形成的特征点对可能不是正确的，有可能会出现匹配有误的情况，因此需要通过步骤207对包含所有满足匹配关系的、包含第一特征点和第二特征点的特征点对进行筛选。
在一些可选实施例中，针对本实施例步骤207，所述对特征点对集合进行筛选，获得目标特征点对集合，包括：获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
本实施例中，可确定特征点对集合中的每组特征点对的相似度，即确定每组特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；其中，每组特征点对的相似度即为前述的第一组像素点对和第二组像素点对的相似度，确定所述特征点对集合中的各特征点对所对应的相似度的最小值。例如特征点对集合中可包括三组特征点对，分别记为：A1和A2，B1和B2，C1和C2；其中，B1和B2的相似度最大，相似度的最大值记为k，则可基于k确定第一阈值，所述第一阈值小于k，即所述第一阈值小于相似度的最大值；若A1和A2的相似度小于第一阈值，则可确定A1和A2为错误匹配的特征点对，在特征点对集合中删除A1和A2；若C1和C2的相似度大于所述第一阈值，则可表明C1和C2为正确匹配的特征点对。基于此获得目标特征点对集合，所述目标特征点对集合中可包括至少一组目标特征点对。
在一些实施方式中，本实施例中的特征点对对应的相似度也即特征点对分别对应的第一组像素点对和第二组像素点对的相似度。在第一组像素点对和第二组像素点对的相似度以汉明距离(如第一汉明距离)表示的情况下，若第一汉明距离越大，可表明第一组像素点对和第二组像素点对的相似度越小，若第一汉明距离越小，可表明第一组像素点对和第二组像素点对的相似度越大。基于此，本实施例中也可基于第一组像素点对和第二组像素点对的对应的第一汉明距离确定第一阈值。例如特征点对集合中可包括三组特征点对，分别记为：A1和A2，B1和B2，C1和C2；其中，B1和B2的汉明距离最小，记为k，则可确定所述第一阈值大于k，例如第一阈值取2k。若A1和A2对应的汉明距离大于第一阈值(即2k)，则可确定A1和A2为错误匹配的特征点对，在特征点对集合中删除A1和A2；若C1和C2的相似度小于等于所述第一阈值(即2k)，则可表明C1和C2为正确匹配的特征点对。
本实施例步骤208中，所述基于所述目标特征点对集合中的目标特征点对确定变换关系，包括：基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
本实施例中，可基于目标特征点对集合中的目标特征点包含的对应于关键帧图像的第一特征点的第一坐标和对应于待处理帧图像的第二特征点的第二坐标确定变换矩阵。作为一种实施方式，所述变换矩阵可以是单应性(Homography)矩阵，则所述基于目标特征点对集合中的目标特征点对包含的对应于关键帧图像的第一特征点的第一坐标和对应于待处理帧图像的第二特征点的第二坐标确定变换矩阵，将目标特征点对集合中的目标特征点对包含的对应于关键帧图像的第一特征点的第一坐标和对应于待处理帧图像的第二特征点的第二坐标进行单应性变换，获得单应性矩阵；所述单应性变换，用于描述一个平面到另一个平面的变换关系。例如，关键帧图像中的目标对象的一个特征点的坐标为(x1，y1)；待处理帧图像中的所述目标对象的同一个特征点的坐标为(x2，y2)，则通过单应性变换，可实现坐标(x2，y2)变换至坐标(x1，y1)。
本实施例步骤209中，所述基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像，包括：基于所述变换矩阵对所述待处理帧图像中包括所述目标对象的目标区域进行变换处理，获得目标帧图像。
示例性的，若变换矩阵记为H，待处理帧图像通过q表示，关键帧图像通过Q表示，则q＝H·Q。则目标帧图像＝q·H-1。通过变换矩阵对待处理帧图像的变化处理，消除或者削弱采集待处理帧图像时图像采集设备的移动导致的待处理帧图像的采集视角与关键帧图像的采集视角的差别，使得目标帧图像的采集视角与关键帧图像的采集视角相同或者基本相同。
采用本发明实施例的技术方案，通过获得的变换关系对待处理帧图像进行处理，使得目标帧图像的采集视角与关键帧图像的采集视角相同或者基本相同，从而解决了由于相机震动干扰或者相机发生位移导致的采集的图像中的目标对象产生位移的问题，实现了目标对象的准确定位。
本发明实施例还提供了一种图像处理方法。图4为本发明实施例的图像处理方法的流程示意图三；如图4所示，所述方法包括：
步骤301：获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
步骤302：分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点；
步骤303：确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
步骤304：基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；
步骤305：基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像；
步骤306：提取所述目标帧图像中的特征点，基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；
步骤307：在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像；在所述第一损失值超过第二阈值的情况下，删除所述获得目标帧图像。
本实施例的步骤301至步骤305的详细阐述具体可参照前述实施例中的步骤101至步骤105以及步骤201至步骤207的描述，这里不再赘述。
本实施例步骤306中，所述目标帧图像中的特征点的提取方式可参照前述实施例中的关键帧图像和待处理帧图像中的特征点的提取方式的描述，这里不再赘述。
本实施例中，用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同。示例性的，若关键帧图像中提取处的特征点为100个，选取了其中的50个特征点用于变换关系的确定，则可选取另外50个特征点中的至少部分特征点用于第一损失值的确定。相应的，所述目标帧图像中提取出的特征点中，选取与所述关键帧图像中的用于确定第一损失值的特征点相匹配的特征点。
本实施例步骤306中，所述基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值，包括：基于所述关键帧图像中的特征点的坐标和所述目标帧图像中的特征点的坐标确定满足匹配关系的多组特征点对；所述多组特征点对中的每组特征点对包括一个所述关键帧图像中的特征点和一个所述目标帧图像中的特征点；基于每组特征点对所包含的两个特征点的坐标确定第一损失值。所述第一损失值可表征所述目标帧图像与所述关键帧图像的差异程度。
在一些实施例中，所述基于每组特征点对所包含的两个特征点的坐标确定第一损失，包括：基于每组特征点对所包含的两个特征点的坐标确定第一距离；获得多个第一距离的平均值，基于所述平均值确定第一损失。其中，所述第一距离可以是欧拉距离、欧式距离等，本实施例中对此不做限定。
本实施例中，由于目标帧图像中的目标对象的位置与关键帧图像中的目标对象的位置已经相同或相似，则可通过目标帧图像中的各个特征点的坐标与关键帧图像中的各个特征点的坐标进行比对，获得具有匹配关系的特征点对。在其他实施方式中，也可采用前述实施例中步骤203至步骤206的记载确定满足匹配关系的特征点对，这里不再赘述。
本实施例中，若第一损失值超过第二阈值，则可表明变换关系(或变换矩阵)有误，或者对待处理帧图像的变化处理出错，则可以删除该目标帧图像，即后续的图像处理过程中不会处理该目标帧图像；还可以输出告警信息，达到自动判定是否变换成功并处理相应目标帧图像的目的。
本实施例中，若第一损失值未超过第二阈值，则表明变换关系(或变换矩阵)较为准确，对待处理帧图像的变换处理成功，则可保留所述目标帧图像，进一步可通过变换关系(或变换矩阵)对待处理帧图像中的其他目标对象对应的目标区域进行变换处理，得到对应于关键帧图像中对应于所述其他目标对象对应的目标区域的位置。
在本实施例的图像处理方法应用于对游戏桌的图像自适应变换的场景的情况下，由于不同的游戏桌上部署的相机无法保证位置、角度完全一致，也无法保证每个游戏桌对应的关键帧图像中的目标对象(例如游戏桌)对应的目标区域的位置完全一致，因此可在每个游戏桌的相机部署完成后，采用本实施例的图像处理方法确定一个变换关系(变换矩阵)，将每个相机采集到的图像变换至与同一个关键帧图像的采集视角相同的视角，使得每个相机采集的图像均变换为目标对象均处于相同位置的图像，以便于后续对目标对象的检测识别等各种处理。
本发明实施例还提供了一种图像处理装置。图5为本发明实施例的图像处理装置的组成结构示意图一；如图5所示，所述装置包括：图像获取单元41、特征提取单元42、匹配单元43和变换单元44；其中，
所述图像获取单元41，用于获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
所述特征提取单元42，用于分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点；
所述匹配单元43，用于确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
所述变换单元44，用于基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系；基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像。
在本发明的一种可选实施例中，所述匹配单元43，用于获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果确定所述第一组像素点对和所述第二组像素点对的相似度；在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系。
在本发明的一种可选实施例中，所述匹配单元43，用于在基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度方面，用于：基于所述至少一个第一比较结果生成第一字符串；基于所述至少一个第二比较结果生成第二字符串；基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
在本发明的一种可选实施例中，如图6所示，所述装置还包括筛选单元45，用于对特征点对集合进行筛选，获得目标特征点对集合；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
所述变换单元44，用于在基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系方面，用于：基于所述筛选单元45获得的所述目标特征点对集合中的目标特征点对确定变换关系。
在本发明的一种可选实施例中，所述筛选单元45，用于获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
在本发明的一种可选实施例中，所述特征提取单元42，用于确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
在本发明的一种可选实施例中，所述变换单元44，用于在基于具有匹配关系的所述关键帧图像中的特征点以及所述待处理帧图像中的特征点确定变换关系方面，用于：基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
在本发明的一种而可选实施例中，所述变换单元44，用于在基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像方面，用于：基于所述变换矩阵对所述待处理帧图像中包含所述目标对象的目标区域进行变换处理，获得目标帧图像。
在本发明的一种可选实施例中，如图7所示，所述装置还包括确定单元46和处理单元47；其中，
所述特征提取单元42，还用于提取所述目标帧图像中的特征点；
所述确定单元46，用于基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；
所述处理单元47，用于在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像。
在本发明的一种可选实施例中，所述处理单元47，还用于在所述第一损失超过第二阈值的情况下，删除所述获得目标帧图像。
本发明实施例中，所述装置中的图像获取单元41、特征提取单元42、匹配单元43、变换单元44、筛选单元45、确定单元46和处理单元47，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－ProgrammableGate Array)实现。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种电子设备，图8为本发明实施例的电子设备的硬件组成结构示意图，如图8所示，所述电子设备50包括存储器52、处理器51及存储在存储器52上并可在处理器51上运行的计算机程序，所述处理器51执行所述程序时实现本发明实施例所述的图像处理方法的步骤。
可以理解，本实施例的电子设备50中的各个组件可通过总线系统53耦合在一起。可理解，总线系统53用于实现这些组件之间的连接通信。总线系统53除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统53。
可以理解，存储器52可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器52旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器51中，或者由处理器51实现。处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器51可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备50可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器52，上述计算机程序可由电子设备50的处理器51执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的图像处理方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：
获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
分别提取所述关键帧图像中的一个或多个特征点以及所述待处理帧图像中的一个或多个特征点；
确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
对特征点对集合进行筛选，获得目标特征点对集合以对所述匹配关系有误的情况进行排除；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
基于所述目标特征点对集合中的目标特征点对确定变换关系；所述变换关系用于将所述待处理帧图像的采集视角变换至与所述关键帧图像的采集视角相同或基本相同；
基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像；
在获得目标帧图像之后，所述方法还包括：
提取所述目标帧图像中的特征点；
基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；所述第一损失值用于表征所述目标帧图像与所述关键帧图像的差异程度；
在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像；
在所述第一损失值超过第二阈值的情况下，删除所述获得目标帧图像。
2.根据权利要求1所述的方法，其特征在于，确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系，包括：
获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；
比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；
基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度；
在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系。
3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果确定所述第一组像素点对和所述第二组像素点对的相似度，包括：
基于所述至少一个第一比较结果生成第一字符串；
基于所述至少一个第二比较结果生成第二字符串；
基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
4.根据权利要求1所述的方法，其特征在于，所述对特征点对集合进行筛选，获得目标特征点对集合，包括：
获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；
确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；
去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述分别提取所述关键帧图像中的特征点以及所述待处理帧图像中的特征点，包括：
确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；
判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；
在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征点对集合中的目标特征点对确定变换关系，包括：
基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
7.根据权利要求6所述的方法，其特征在于，所述基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像，包括：
基于所述变换矩阵对所述待处理帧图像中包括所述目标对象的目标区域进行变换，获得目标帧图像。
8.一种图像处理装置，其特征在于，所述装置包括：图像获取单元、特征提取单元、匹配单元、变换单元、筛选单元、确定单元和处理单元；其中，
所述图像获取单元，用于获得包含有目标对象的关键帧图像，以及获得包含有所述目标对象的待处理帧图像；
所述特征提取单元，用于分别提取所述关键帧图像中的一个或多个特征点以及所述待处理帧图像中的一个或多个特征点；
所述匹配单元，用于确定所述关键帧图像中的各个特征点与所述待处理帧图像中的各个特征点之间的匹配关系；
所述筛选单元，用于对特征点对集合进行筛选，获得目标特征点对集合以对所述匹配关系有误的情况进行排除；其中，每个特征点对由具有匹配关系的所述关键帧图像中的一个特征点与所述待处理帧图像中的一个特征点构成，所述特征点对集合中包括多组特征点对；
所述变换单元，基于所述筛选单元获得的所述目标特征点对集合中的目标特征点对确定变换关系；基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像；所述变换关系用于将所述待处理帧图像的采集视角变换至与所述关键帧图像的采集视角相同或基本相同；
所述特征提取单元，还用于提取所述目标帧图像中的特征点；
所述确定单元，用于基于所述关键帧图像中的特征点和所述目标帧图像中的特征点确定第一损失值；用于确定所述第一损失值的所述关键帧图像中的特征点与用于确定所述变换关系的所述关键帧图像中的特征点不同；所述第一损失值用于表征所述目标帧图像与所述关键帧图像的差异程度；
所述处理单元，用于在所述第一损失值未超过第二阈值的情况下，保留所述获得目标帧图像；
所述处理单元，还用于在所述第一损失值超过第二阈值的情况下，删除所述获得目标帧图像。
9.根据权利要求8所述的装置，其特征在于，所述匹配单元，用于：
获得所述关键帧图像中的第一特征点相关联的第一组像素点对，以及获得所述待处理帧图像中的第二特征点相关联的第二组像素点对；其中，所述第一特征点为所述关键帧图像中的一个特征点；所述第二特征点为所述待处理帧图像中的一个特征点；所述第一组像素点对中的第一像素点对与所述第一特征点的相对位置关系、与所述第二组像素点对中的第二像素点对与所述第二特征点的相对位置关系一致；所述第一组像素点对中包括至少一组第一像素点对；所述第二组像素点对中包括至少一组第二像素点对；
比较第一像素点对所包含的两个像素点的像素值，获得第一比较结果，以及比较第二像素点对所包含的两个像素点的像素值，获得第二比较结果；
基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度；
在所述相似度达到第一预设阈值的情况下，确定所述第一特征点和所述第二特征点满足匹配关系。
10.根据权利要求9所述的装置，其特征在于，所述匹配单元，用于在基于所述至少一组第一像素点对所对应的至少一个第一比较结果和所述至少一组第二像素点对所对应的至少一个第二比较结果，确定所述第一组像素点对和所述第二组像素点对的相似度方面，用于：
基于所述至少一个第一比较结果生成第一字符串；
基于所述至少一个第二比较结果生成第二字符串；
基于所述第一字符串和所述第二字符串确定第一汉明距离，基于所述第一汉明距离确定所述第一组像素点对和所述第二组像素点对的相似度。
11.根据权利要求8所述的装置，其特征在于，所述筛选单元，用于：
获得所述特征点对集合中的各个特征点对包含的所述关键帧图像中的特征点与所述待处理帧图像中的特征点之间的相似度；
确定所述特征点对集合中的所有特征点对所对应的相似度的最大值，基于所述最大值确定第一阈值；
去除所述特征点对集合中、对应的相似度小于所述第一阈值的特征点对，获得目标特征点对集合。
12.根据权利要求8至11任一项所述的装置，其特征在于，所述特征提取单元，用于：
确定所述关键帧图像或所述待处理帧图像中的第一像素点的预设区域范围内的多个第二像素点；
判断所述多个第二像素点的灰度值是否与所述第一像素点的灰度值不同；
在所述多个第二像素点的灰度值与所述第一像素点的灰度值不同的情况下，确定所述第一像素点为所述关键帧图像或所述待处理帧图像中的特征点。
13.根据权利要求8所述的装置，其特征在于，所述变换单元，用于在基于所述目标特征点对集合中的目标特征点对确定变换关系方面，用于：
基于所述目标特征点对集合中的目标特征点对包含的所述关键帧图像中的特征点的坐标与所述待处理帧图像中的特征点的坐标确定变换矩阵。
14.根据权利要求13所述的装置，其特征在于，所述变换单元，用于在基于所述变换关系对所述待处理帧图像进行处理，获得目标帧图像方面，用于：
基于所述变换矩阵对所述待处理帧图像中包含所述目标对象的目标区域进行变换处理，获得目标帧图像。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
17.一种计算机程序产品，包括计算机可读代码，其中，当所述计算机可读代码在装置上运行时，该装置中的处理器执行指令以实现权利要求1至7任一项所述方法的步骤。
CN202080000711.2A 2019-12-30 2020-04-17 一种图像处理方法、装置和电子设备 Active CN113228105B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201913798WA SG10201913798WA (en) 2019-12-30 2019-12-30 Image processing method and apparatus, and electronic device
SG10201913798W 2019-12-30
PCT/IB2020/053640 WO2021136981A1 (en) 2019-12-30 2020-04-17 Image processing method and apparatus, and electronic device

Publications (2)

Publication Number Publication Date
CN113228105A CN113228105A (zh) 2021-08-06
CN113228105B true CN113228105B (zh) 2025-01-10

Family

ID=76685954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000711.2A Active CN113228105B (zh) 2019-12-30 2020-04-17 一种图像处理方法、装置和电子设备

Country Status (7)

Country Link
JP (1) JP7121132B2 (zh)
KR (1) KR102421604B1 (zh)
CN (1) CN113228105B (zh)
AU (1) AU2020294190B2 (zh)
PH (1) PH12020550750A1 (zh)
SG (1) SG10201913798WA (zh)
WO (1) WO2021136981A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095613A (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템
CN115035356B (zh) * 2022-08-11 2022-12-06 深圳新智联软件有限公司 嵌入式系统中特征点变换方法、装置及设备
CN115936974A (zh) * 2022-11-21 2023-04-07 北京地平线机器人技术研发有限公司 基于单应性变换的图像数据处理方法、装置及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2339537B1 (en) 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
JP6135059B2 (ja) 2011-08-16 2017-05-31 株式会社リコー 画像検査装置、画像形成装置、画像検査装置の制御方法及び画像形成システム
KR101697512B1 (ko) * 2011-12-15 2017-01-19 한국전자통신연구원 영상 정합 장치 및 방법
US9286678B2 (en) 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
KR101524548B1 (ko) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 영상 정합 장치 및 방법
US9147226B2 (en) * 2012-09-10 2015-09-29 Nokia Technologies Oy Method, apparatus and computer program product for processing of images
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
JP6280382B2 (ja) 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
KR102147520B1 (ko) 2013-07-29 2020-08-25 삼성디스플레이 주식회사 곡면표시장치
KR102170689B1 (ko) * 2014-01-14 2020-10-27 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
US9400939B2 (en) * 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
JP6736334B2 (ja) 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置
US10013765B2 (en) * 2016-08-19 2018-07-03 Mitsubishi Electric Research Laboratories, Inc. Method and system for image registrations
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
US10621446B2 (en) 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
CN108965687B (zh) 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN108021886B (zh) * 2017-12-04 2021-09-14 西南交通大学 一种无人机重复纹理影像局部显著特征点匹配方法
CN109959335B (zh) * 2017-12-22 2021-09-21 北京金风科创风电设备有限公司 测量塔顶位移的方法、装置和系统
CN109064504B (zh) * 2018-08-24 2022-07-15 深圳市商汤科技有限公司 图像处理方法、装置和计算机存储介质
CN109544615B (zh) * 2018-11-23 2021-08-24 深圳市腾讯信息技术有限公司 基于图像的重定位方法、装置、终端及存储介质
CN110189242B (zh) * 2019-05-06 2023-04-11 阿波罗智联(北京)科技有限公司 图像处理方法和装置
CN110197185B (zh) * 2019-05-23 2021-07-16 北京云星宇交通科技股份有限公司 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN110335315B (zh) * 2019-06-27 2021-11-02 Oppo广东移动通信有限公司 一种图像处理方法及装置、计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法

Also Published As

Publication number Publication date
AU2020294190B2 (en) 2022-05-26
JP7121132B2 (ja) 2022-08-17
KR20210088436A (ko) 2021-07-14
KR102421604B1 (ko) 2022-07-15
WO2021136981A1 (en) 2021-07-08
SG10201913798WA (en) 2021-07-29
AU2020294190A1 (en) 2021-07-15
CN113228105A (zh) 2021-08-06
JP2022519398A (ja) 2022-03-24
PH12020550750A1 (en) 2021-04-19

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
CN110765992B (zh) 印章鉴别方法、介质、设备及装置
US11354883B2 (en) Image processing method and apparatus, and electronic device
CN105894464B (zh) 一种中值滤波图像处理方法和装置
CN113228105B (zh) 一种图像处理方法、装置和电子设备
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
US11461997B2 (en) Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN107209942A (zh) 对象检测方法和图像检索系统
CN110751024A (zh) 基于手写签名的用户身份识别方法、装置及终端设备
CN111079613A (zh) 姿势识别方法和装置、电子设备及存储介质
KR101151435B1 (ko) 얼굴 인식 장치 및 방법
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN112633281B (zh) 一种基于Hash算法车辆身份认证方法及系统
CN112287769A (zh) 一种人脸检测方法、装置、设备和存储介质
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN116129496A (zh) 一种图像遮挡方法、装置、计算机设备及存储介质
CN111860272B (zh) 图像处理方法、芯片及电子装置
CN114332890A (zh) 表格结构提取方法、装置、电子设备及存储介质
CN114783029A (zh) 一种人脸信息识别方法、设备、存储介质及神经网络模型
CN116171463A (zh) 一种堆叠物体的识别方法、装置、设备及计算机存储介质
CN109389089B (zh) 基于人工智能算法的多人行为识别方法及装置
CN116171461A (zh) 堆叠物体的识别方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant