CN117975044B - 基于特征空间的图像处理方法及装置 - Google Patents
基于特征空间的图像处理方法及装置 Download PDFInfo
- Publication number
- CN117975044B CN117975044B CN202410190227.0A CN202410190227A CN117975044B CN 117975044 B CN117975044 B CN 117975044B CN 202410190227 A CN202410190227 A CN 202410190227A CN 117975044 B CN117975044 B CN 117975044B
- Authority
- CN
- China
- Prior art keywords
- image
- angle
- candidate
- feature
- feature space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供了基于特征空间的图像处理方法及装置,其中,一种基于特征空间的图像处理方法包括:在图像识别过程中,对输入图像进行多角度变换,获得各角度的变换图像,对变化图像的图像数据进行数据组合处理,获得图像组合数据,针对图像组合数据进行特征提取获得图像组合特征,将图像组合特征映射至多角度特征空间获得多角度纹理特征,计算多角度纹理特征和候选图像的多角度纹理特征在多角度特征空间的纹理特征距离,基于计算获得的纹理特征距离确定输入图像与候选图像的相似度,根据相似度在候选图像中确定与输入图像匹配的目标图像。
Description
技术领域
本文件涉及数据处理技术领域,尤其涉及一种基于特征空间的图像处理方法及装置。
背景技术
随着互联网技术的发展与用户生活水平的不断提搞,越来越多的用户开始通过购物平台购买各种商品用来提升生活水平,为防止用户购买的商品与出厂的商品不同,商家可以在商品出厂时将商品的各种信息留底,以使用户将收到的商品与出厂的商品进行比对,但随着生产的商品越来越复杂,针对用户购买的商品是否为出厂的商品的纠纷也在不断增多,如何能够快速准确地进行商品识别,是各方关注的重点。
发明内容
本说明书一个或多个实施例提供了一种基于特征空间的图像处理方法,包括:对输入图像进行多角度变换,获得各角度的变换图像。对所述变换图像的图像数据进行数据组合处理,获得图像组合数据。针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征。计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
本说明书一个或多个实施例提供了一种基于特征空间的图像处理装置,包括:图像多角度变换模块,被配置为对输入图像进行多角度变换,获得各角度的变换图像。图像数据组合模块,被配置为对所述变换图像的图像数据进行数据组合处理,获得图像组合数据。特征空间映射模块,被配置为针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征。特征距离计算模块,被配置为计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。目标图像确定模块,被配置为基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
本说明书一个或多个实施例提供了一种基于特征空间的图像处理设备,包括:处理器;以及,被配置为存储计算机可执行指令的存储器,所述处理器执行所述计算机可执行指令以实现以下流程:对输入图像进行多角度变换,获得各角度的变换图像。对所述变换图像的图像数据进行数据组合处理,获得图像组合数据。针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征。计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
本说明书一个或多个实施例提供了一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现以下流程:对输入图像进行多角度变换,获得各角度的变换图像。对所述变换图像的图像数据进行数据组合处理,获得图像组合数据;针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征。计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图;
图1为本说明书一个或多个实施例提供的一种基于特征空间的图像处理方法实施环境示意图;
图2为本说明书一个或多个实施例提供的一种基于特征空间的图像处理方法处理流程图;
图3为本说明书一个或多个实施例提供的一种输入图像的示意图;
图4为本说明书一个或多个实施例提供的一种背景填充后的输入图像的示意图;
图5(a)为本说明书一个或多个实施例提供的一种旋转图像的示意图;
图5(b)为本说明书一个或多个实施例提供的一种裁剪并填充的旋转图像示意图;
图6为本说明书一个或多个实施例提供的一种应用于多图像识别场景的基于特征空间的图像处理方法处理流程图;
图7为本说明书一个或多个实施例提供的一种应用于双图像识别场景的基于特征空间的图像处理方法处理流程图;
图8为本说明书一个或多个实施例提供的一种基于特征空间的图像处理装置实施例的示意图;
图9为本说明书一个或多个实施例提供的一种基于特征空间的图像处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
本实施例提供的一个或者多个实施例提供的基于特征空间的图像处理方法,可适用于图像识别这一实施环境,参照图1,该实施环境至少包括服务器101。服务器101可以是一台或者多台服务器,若干台服务器组成的服务器集群,或者,云计算平台的云服务器。服务器101用于进行图像的多角度变换,并对变换后的各角度的变换图像的图像数据进行数据组合处理,以及生成图像识别结果。
该实施环境可包括图像识别模型102。图像识别模型102可包括特征提取模块,特征映射模块以及相似度计算模块,服务器101可将输入图像的图像组合数据和候选图像的图像组合数据输入图像识别模型102,图像识别模型102可针对输入图像的图像组合数据和候选图像的图像组合数据进行特征提取,将提取的特征映射到多角度特征空间获得多角度纹理特征,并基于输入图像和候选图像各自对应的多角度纹理特征计算图像相似度。
此外,图像识别模型102的功能也可由服务器101实现,即:服务器101对输入图像的图像组合数据和候选图像的图像组合数据进行特征提取,将提取的特征映射到多角度特征空间获得多角度纹理特征,并基于输入图像和候选图像各自对应的多角度纹理特征计算图像相似度,根据图像相似度生成图像识别结果。
该实施环境中,服务器101首先获取输入图像和候选图像,对输入图像和候选图像进行多角度变换获得各角度的变换图像,对各角度的变换图像的图像数据进行数据组合处理获得组合图像数据,服务器101将输入图像的图像组合数据和候选图像的图像组合数据输入图像识别模型102,图像识别模型102针对输入图像的图像组合数据和候选图像的图像组合数据进行特征提取,将提取的特征映射到多角度特征空间获得多角度纹理特征,并基于输入图像和候选图像各自对应的多角度纹理特征计算图像相似度并向服务器101返回,服务器101根据图像相似度生成图像识别的识别结果。
本说明书提供的一种基于特征空间的图像处理方法的一个或者多个实施例如下:
参照图2,本实施例提供的基于特征空间的图像处理方法,具体包括步骤S202至步骤S210。
步骤S202,对输入图像进行多角度变换,获得各角度的变换图像。
实际应用中,为使用户购买的商品与出厂的商品是同一件商品,可获取输入的拍摄图像和出厂图像进行两张图像之间的比对识别,或者,可获取用户输入的拍摄图像进行图像识别,确定与拍摄图像匹配的出厂图像,在进行图像识别的过程中,用户拍摄的图像可能会与出厂图像存在角度偏差,在不对图像进行处理的情况下进行图像识别可能使计算的相似度过低,影响图像识别的准确性;
针对于此,本实施例通过对输入图像进行多角度变换,将变换后的各角度的输入图像的图像数据进行组合,获得输入图像的多角度图像数据,再对输入图像的多角度图像数据进行纹理特征提取,将提取的纹理特征映射至多角度特征空间获得多角度纹理特征,用以消除输入图像的角度影响,计算输入图像的多角度纹理特征和候选图像的多角度纹理特征在多角度特征空间的纹理特征距离,基于纹理特征距离确定输入图像和候选图像的相似度,根据相似度在候选图像中确定与输入图像匹配的目标图像,通过多角度特征空间映射,消除了图像与出厂图像之间的角度影响,提高了图像识别的准确率,提升了图像识别的效率。
具体实施时,获取外部输入的输入图像,对输入图像进行多角度的坐标变换和/或旋转处理,获得输入图像对应的各角度的变换图像。其中,输入图像可以是用户拍摄商品图像,商品图像可以是包含商品整体纹理和外部背景的图像,也可以是针对商品的纹理拍摄的细节图像。
具体变换过程中,可基于输入图像包含的物品的物品中心对输入图像进行多角度变换,以在后续进行图像数据组合时以输入图像包含的物品为主体进行数据组合,用以提升图像识别的准确率,本实施例提供的一种可选实施方式中,对输入图像进行多角度变换,获得各角度的变换图像,包括:
获取所述输入图像的像素坐标信息,将所述输入图像包含的物品所处的目标图像区域的中心像素的坐标点确定为进行多角度旋转的中心坐标;
基于所述中心坐标对所述输入图像进行多角度旋转,获得各角度的旋转图像,将所述旋转图像作为所述变换图像。
例如,获取图3所示的图像的像素坐标信息,将陶瓷制品所处的目标图像区域的中心像素的坐标点确定为旋转中心,基于该旋转中心对图像进行多角度旋转获得各角度的旋转图像,将各角度的旋转图像作为各角度的变换图像。
实际应用中,用户可拍摄购买的商品的商品图像并输入,用以查询商家是否注册了该商品的出厂图像,并获得与商品图像匹配的出厂图像,针对于此,可提取用户提交的物品识别请求中包含的商品图像,识别商品图像包含的物品获得物品类别信息,基于物品类别信息查询相同类别的候选图像集合,用以与候选图像集合中的候选图像依次进行图像识别确定目标图像,本实施例提供的一种可选实施方式中,对输入图像进行多角度变换,获得各角度的变换图像之前,还包括:
获取用户提交的物品识别请求,提取所述物品识别请求携带的物品图像将所述物品图像作为所述输入图像,并对所述物品图像包含的物品进行图像识别获得物品类别信息;
基于所述物品类别信息在候选图像库中选择与所述物品类别信息匹配的候选图像集,将所述候选图像集中包含的图像作为所述候选图像。
可选的,所述输入图像在检测到外部输入的物品识别请求后获得。
具体的,用户可针对购买的物品提交物品识别请求,在获取到物品识别请求后,提取物品识别请求携带的物品图像,对物品图像包含的物品进行图像识别获得物品的物品类别信息,基于物品类别信息在存储的候选图像库中选择与物品类别信息匹配的候选图像集,将候选图像集中包含的图像作为候选图像,用以进行后续图像识别处理获得与物品图像匹配的目标图像。
例如,用户拍摄购买的陶瓷制品并提交物品识别请求,提取物品识别请求包含的陶瓷制品图像,对陶瓷制品图像包含的陶瓷制品进行图像识别获得陶瓷制品的类别为陶瓷碗,在存储的图像库中选择陶瓷碗类别的候选图像集,将候选图像集中的图像作为候选图像,用以进行后续图像识别获得与陶瓷制品图像匹配的目标图像。
此外,用户在拍摄物品图像时,可能会将与物品无关的其他物品共同拍摄进图像,或者,将与物品无关的背景拍摄进图像,影响图像识别的准确性,针对于此,可获取用户拍摄的商品图像,确定商品图像中对象商品的目标图像区域,对目标图像区域以外的图像区域进行填充处理生成输入图像,以提高图像识别的准确率,提升图像识别效率,本实施例提供的一种可选实施方式中,对输入图像进行多角度变换,获得各角度的变换图像之前,还包括:
获取包含对象商品的商品图像,对所述商品图像进行边缘检测;
基于边缘检测结果确定所述商品图像中对应于所述对象商品的目标图像区域,对所述目标图像区域以外的图像区域进行填充处理,将填充后的商品图像作为所述输入图像。
具体的,获取用户拍摄的商品图像,对商品图像中对象商品进行边缘检测处理,基于边缘检测结果确定对应于对象商品的目标图像区域,对商品图像中目标图像区域以外的图像区域进行填充处理,将填充后的商品图像作为输入图像。
例如,用户拍摄图3所示的商品图像,对商品图像中除陶瓷碗以外的图像区域进行黑色背景填充处理,获得如图4所示的图像作为输入图像。
需要说明的是,上述以输入图像包含的物品的中心像素的坐标为旋转中心进行多角度变换的方式,也可基于对商品图像进行背景填充后的图像进行,也即是:先对商品图像进行背景填充后再以商品图像包含的物品的中心像素的坐标为旋转中心进行多角度变换获得各角度的变换图像,比如:对输入图像进行多角度变换,获得各角度的变换图像,包括:获取商品图像的像素坐标信息,将目标图像区域的中心像素的坐标点确定为进行多角度变换的中心坐标;基于中心坐标对所述输入图像进行多角度旋转,获得各角度的旋转图像,将旋转图像作为变换图像。
步骤S204,对所述变换图像的图像数据进行数据组合处理,获得图像组合数据。
本实施例通过将各角度的变换图像进行Concatenation(串接)操作,获得包含输入图像的各角度的旋转情况的图像组合数据,用以避免图像角度对图像识别的准确率的影响。具体实施时,获取各角度的变换图像各自对应的图像数据,将各角度的变换图像各自对应的图像数据基于预设的维度进行数据组合处理,获得输入图像的各角度变换图像的图像组合数据。
本实施例中,图像数据是用于表征图像的数据,具体是指图像的基础数据,比如:表征图像的矩阵,针对图像的矩阵而言,其包含矩阵的宽高的基本参数,即:行列的基本参数,还包含通道维度的基本参数,比如:RGB色彩通道,通过多维矩阵表征输入图像以及各角度的变换图像。例如,可以通过一个H*W*3矩阵表征输入图像的高为H个像素点,宽为W个像素点,通道为RGB三通道,相应的,可以通过一个H*W*(CM)矩阵表征对变换图像进行Concatenation后的图像组合数据,其中,H为高,W为宽,C为通道数,M为各角度的数量,或者,旋转次数。
具体执行过程中,为提升图像组合数据的可用性,提高后续图像识别的准确性,可先对各角度的变换图像的图像矩阵在图像通道维度进行对齐后进行Concatenation操作,以提高数据可用性,本实施例提供的一种可选实施方式中,对变换图像的图像数据进行数据组合处理,包括:
读取所述变换图像的图像矩阵,根据所述图像矩阵的矩阵参数对所述图像矩阵在图像通道维度进行对齐处理;
对对齐后的图像矩阵进行合并处理,以将获得的合并图像矩阵作为所述图像组合数据。
具体的,读取各角度的变换图像的图像矩阵,根据图像矩阵的高和宽对各角度的变换图像的图像矩阵进行对齐,以使各图像矩阵的矩阵值可在图像通道维度进行计算处理,对对齐后的各角度的变换图像的图像矩阵进行Concatenation处理以扩展图像矩阵,将获得的合并图像矩阵作为图像组合数据。
或者,也可先对各角度的变换图像以同一中心进行对齐处理,并对旋转后的图像进行裁剪填充,以使各角度的变换图像的图像边界相同,便于进行图像数据的数据组合处理,提高了图像组合数据的可用性,进而提升了图像识别的准确性,本实施例提供的一种可选实施方式中,对变换图像的图像数据进行数据组合处理,包括:
根据所述输入图像的像素中心的坐标点对所述变换图像进行对齐处理;
基于所述输入图像的图像边界对所述变换图像进行裁剪以及填充处理,以使所述变换图像的图像边界相同;
对裁剪以及填充后的变换图像的图像数据进行数据组合处理。
需要说明的是,为避免输入图像中与输入图像包含的物品对应的目标图像区域无关的背景区域对图像识别造成干扰,或者,对图像组合数据的可用性产生干扰,也可先对输入图像进行背景填充处理后针对填充后的输入图像进行图像数据组合,以消除背景区域对图像组合数据产生的影响,进一步,也可以在输入图像的背景填充后以目标图像区域的中心像素的坐标点为旋转中心进行多角度旋转获得各角度的变换图像,对该变换图像按照上述方式进行图像数据组合,以提高图像组合数据的可用性,进而提升图像识别的准确率。比如:基于上述将背景填充后的商品图像作为输入图像,且以目标图像区域的中心像素的坐标点为旋转中心进行多角度旋转获得各角度的变换图像,对变换图像的图像数据进行数据组合处理,包括:根据所述中心坐标对所述变换图像进行对齐处理;基于所述输入图像的的图像边界对所述变换图像进行裁剪以及填充处理,以使所述变换图像的图像边界相同;对裁剪以及填充后的变换图像的图像数据进行数据组合处理。
例如,将图4所示的图像以该图像包含的物体的中心像素为旋转中心进行45°旋转后获得图5(a)所示的旋转图像,该旋转图像与图4所示的图像的图像边界不一致,以图4所示的图像的图像边界对图5(a)所示图像进行裁剪填充获得图5(b)所示的图像,以对图5(b)所示图像的图像数据进行数据组合处理。
步骤S206,针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征。
实际应用中,为避免用户的拍摄图像与商家的出厂图像因角度偏差而造成的图像识别误差,可对拍摄图像和商家的出厂图像分别进行多角度变换获得两者的多角度图像,将各自对应的多角度图像进行组合,如:花瓶瓶身的全景图像,以通过两者多角度图像之间的比对进行图像识别,但在平面直角坐标空间中各角度图像之间先后的排列顺序则同样会对图像识别产生影响;
针对于此,本实施例通过将多角度变换后获得的各角度变换图像的图像组合数据进行特征提取后映射至多角度特征空间,即:角度无关的特征空间获得多角度纹理特征,如:极坐标系的特征空间,柱坐标系的特征空间,球坐标系的特征空间等,通过计算拍摄图像与出厂图像在多角度特征空间对应的多角度纹理特征的特征距离,有效地消除角度对图像识别带来的影响。
具体实施时,对各角度的变换图像的图像组合数据进行纹理特征提取,获得图像组合特征,将图像组合特征映射至多角度特征空间获得输入图像对应的多角度纹理特征。比如,可将图像组合特征从平面直角坐标系的特征空间映射至极坐标系的特征空间进行特征变换,以获得与角度无关的多角度纹理特征。
本实施例中,图像组合特征即为对输入图像对应的图像组合数据进行特征提取获得的特征,也即是:对各角度的变换图像进行Concatenation处理后的组合图像进行特征提取获得的组合纹理特征;相应的,多角度纹理特征即为将图像组合特征进行多角度特征空间映射后获得的特征,该特征与图像角度无关,也即是:图像的角度和/或各角度的变换图像的排列顺序对特征本身不产生影响。
具体执行过程中,存在用户已知其购买商品的商家注册的出厂图像,可以同时进行用户拍摄的物品图像和用户选择的出厂图像的图像处理,以识别物品图像和出厂图像的相似度;或者,还存在用户未知其购买商品的商家注册的出厂图像,可仅对用户拍摄的物品图像进行图像处理,以在存储的图像库中查询与物品图像匹配的目标图像,下述分别对两种情况进行说明;需要说明的是,上述两种情况中特征提取和特征空间映射以及后续图像处理过程,均可通过训练好的图像识别模型进行。
(1)针对用户拍摄的图像和出厂图像进行1:1图像识别:
为提升特征提取以及多角度特征空间映射的效率,可通过训练好的图像识别模型对用户拍摄的图像和出厂图像进行特征提取以及多角度特征空间映射;可选的,所述特征提取操作,所述映射至多角度特征空间操作基于训练好的图像识别模型进行;
基于此,在对用户拍摄的图像和出厂图像进行1:1图像识别时,可将用户拍摄的图像和出厂图像各自对应的图像组合数据作为输入,也即是:先对用户拍摄的图像和出厂图像进行多角度变换,对两者多角度变换获得的多角度图像的图像数据进行组合处理,获得两者各自对应的图像组合数据,将两者各自对应的图像组合输入训练好的图像识别模型进行特征提取以及多角度特征空间映射;可选的,所述图像识别模型的输入包括所述输入图像对应的图像组合数据,以及所述候选图像对应的图像组合数据。
(2)针对用户拍摄的图像和图像库中的图像进行1:多图像识别:
为提升特征提取以及多角度特征空间映射的效率,可通过训练好的图像识别模型对用户拍摄的图像进行特征提取以及多角度特征空间映射;可选的,所述特征提取操作,所述映射至多角度特征空间操作基于训练好的图像识别模型进行;
基于此,在对用户拍摄的图像和图像库中的图像进行1:多图像识别时,可预先对图像库中的图像进行多角度纹理特征的映射,仅将用户拍摄的图像对应的图像组合数据输入训练好的图像识别模型进行特征提取以及多角度特征空间映射,以通过输入图像对应的多角度纹理特征在图像库中筛选与输入图像匹配的目标图像。
需要说明的是,上述特征提取以及多角度特征空间映射的操作可基于训练好的图像识别模型进行,也可通过特定的算法实现,本实施例在此不做限定。
步骤S208,计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。
具体实施时,基于输入图像对应的多角度纹理特征的特征向量和候选图像对应的多角度纹理特征的特征向量,计算输入图像对应的多角度纹理特征和候选图像对应的多角度纹理特征的特征距离。具体的,候选图像可以是一张或者多张,候选图像为一张的情况下,候选图像可为用户拍摄的物品的出厂图像,以进行1:1图像识别;候选图像为多张的情况下,候选图像可为图像库中的图像,进一步,还可以是根据用户拍摄图像包含的物品的物品类别信息选择的与物品类别信息匹配的候选图像集中的图像。可选的,所述候选图像,采用如下方式获得:对所述输入图像包含的物品进行图像识别获得物品类别信息;基于所述物品类别信息在候选图像库中选择与所述物品类别信息匹配的候选图像集,将所述候选图像集中包含的图像作为所述候选图像。
本实施例中,候选图像是指商品和/或物品的出厂图像,可通过商家上传,或者,通过用户输入;具体的,在针对用户拍摄的图像和出厂图像进行1:1图像识别的情况下,候选图像可为用户选择的出厂图像,也即是:图像识别针对输入图像和候选图像两张图像进行,相应的,候选图像的多角度纹理特征也可通过训练好的图像识别模型获得;可选的,候选图像的多角度纹理特征,采用如下方式获得:对所述候选图像的进行多角度变换,将变换获得的多角度候选图像的图像矩阵进行矩阵合并处理,获得候选组合数据;将所述候选组合数据输入所述图像识别模型进行特征提取,以及特征空间映射,获得所述候选图像的多角度纹理特征。
在针对用户拍摄的图像和图像库中的图像进行1:多图像识别的情况下,候选图像可为预存的图像库中的各候选图像,也即是:图像识别针对输入图像和图像库中各候选图像多张图片进行,相应的,各候选图像的多角度纹理特征也可通过训练好的图像识别模型预先获得并存储;可选的,各候选图像的多角度纹理特征,采用如下方式获得:对候选图像集中各候选图像进行多角度旋转,将所述各候选图像各自对应的多角度旋转图像的图像数据进行数据组合处理,获得各候选组合数据;将所述各候选组合数据输入训练好的图像识别模型,以通过所述图像识别模型对所述各候选组合数据进行纹理特征提取,以及特征空间变换,获得所述候选图像集中各候选图像各自对应的多角度纹理特征。其中,候选图像集可预先由各候选图像构建。
具体执行过程中,为提高纹理特征距离的运算效率,可通过训练好的图像识别模型进行纹理特征距离的计算,具体的,可将输入图像对应的多角度纹理特征和/或候选图像对应的多角度纹理特征输入训练好的图像识别模型进行特征距离计算;可选的,所述计算纹理特征距离操作,基于训练好的图像识别模型进行。
此外,为提高图像识别的识别效率,图像识别模型也可在进行上述特征提取操作和多角度特征空间映射操作后进行纹理特征距离计算操作,也即是:基于上述通过训练好的图像识别模型进行特征提取和多角度特征空间映射,通过训练好的图像识别模型计算输入图像的多角度纹理特征和候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。
需要说明的是,针对上述用户拍摄的图像和出厂图像进行1:1图像识别的情况,仅需进行用户拍摄的图像对应的多角度纹理特征和出厂图像对应的多角度纹理特征的一次纹理特征距离计算;针对上述用户拍摄的图像和图像库中的图像进行1:多图像识别,则需将用户拍摄图像对应的多角度纹理特征与预存的图像库中各候选图像对应的多角度纹理特征分别进行一次纹理特征距离计算,根据图像库中候选图像的数量共进行多次纹理特征距离计算。
需要说明的是,步骤S208,计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离步骤,可基于特定的算法执行,也可基于训练好的图像识别模型执行。
步骤S210,基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度确定所述候选图像中与所述输入图像匹配的目标图像。
本实施例通过计算输入图像对应的多角度纹理特征和候选图像对应的多角度纹理特征在多角度特征空间的特征距离,确定输入图像和候选图像的相似度,以根据相似度确定与输入图像匹配的目标图像,通过多角度特征空间映射的多角度纹理特征,提高了图像识别的准确率与图像识别效率;具体实施时,根据上述获得的纹理特征距离实施特定的算法计算输入图像和候选图像的相似度,根据计算获得的相似度确定候选图像中与输入图像匹配的目标图像,以生成图像识别结果,或者,将目标图像作为图像识别结果。
具体执行过程中,为提升图像识别的准确性与识别效率,可通过训练好的图像识别模型进行相似度确定,也可通过训练好的图像识别模型进行目标图像确定,具体的,可分为1:1的图像识别和1:多的图像识别进行,下述分别针对两种情况进行说明:
(1)针对用户拍摄的图像和出厂图像进行1:1图像识别:
在用户拍摄的图像和出厂图像进行1:1图像识别的情况下,纹理特征距离即为输入图像和候选图像两张图像之间的特征距离,图像识别模型可基于特征距离计算图像相似度并输出,根据输出的图像相似度确定用户拍摄的图像中的物品是否与出厂图像中的物品一致,本实施例提供的一种可选实施方式中,根据相似度确定候选图像中与输入图像匹配的目标图像,包括:
检测确定的图像相似度是否等于或者大于相似度阈值;
若是,将候选图像确定为与输入图像匹配的目标图像。
可选的,确定特征相似度操作基于训练好的图像识别模型进行;图像识别模型的输出包括特征相似度。
具体的,获取根据特征距离计算获得的图像相似度,检测图像相似度是否等于或者大于预设的相似度阈值,若是,表明用户拍摄的图像即为出厂图像,即:输入图像即为候选图像,将候选图像确定为与输入图像匹配的目标图像。
此后,可根据图像识别模型输出的图像相似度生成图像识别结果。
(2)针对用户拍摄的图像和图像库中的图像进行1:多图像识别:
在用户拍摄的图像和图像库中的图像进行1:多图像识别的情况下,纹理特征距离即为输入图像和图像库中各候选图像之间的多个特征距离,图像识别模型可基于特征距离计算各特征相似度,并在各特征相似度中筛选特征相似度等于或者大于阈值的目标相似度,基于目标相似度确定目标图像,本实施例提供的一种可选实施方式中,根据相似度确定候选图像中与输入图像匹配的目标图像,包括:
在确定的特征相似度中筛选等于或者大于相似度阈值的目标相似度;
基于所述目标相似度在候选图像库中选择所述目标相似度对应的目标候选图像,作为与所述输入图像匹配的目标图像。
可选的,所述确定特征相似度操作,以及确定目标图像操作,基于图像识别模型进行;图像识别模型的输出包括目标图像。
具体的,获取特征距离计算获得的输入图像与候选图像库中多个候选图像之间的特征相似度,在各特征相似度中筛选特征相似度等于或者大于相似度阈值的目标相似度,基于目标相似度在候选图像库中选择目标相似度对应的目标候选图像,将目标候选图像作为与输入图像匹配的目标图像。
此后,可基于图像识别模型输出的目标图像生成图像识别结果。
实际应用中,图像识别模型还需要经过模型训练才可进行使用,具体的,图像识别模型的训练是构建正样本图像和负样本图像组成的样本图像集,使用对比学习的方式,构造标签图像、正样本图像和负样本图像的三元组,对三张图像进行多角度纹理特征获取后得到三者的特征向量,计算标签图像与正样本图像的特征距离,以及标签图像与负样本图像的特征距离,将优化目标设置为标签图像和正样本图像的特征距离等于或者大于标签图像和负样本图像的特征距离,随着模型不断迭代,在样本图像集中各样本图像均满足该优化目标时,模型训练完毕,本实施例提供的一种可选实施方式中,图像识别模型,采用如下方式训练获得:
构建由正样本图像和负样本图像组成的样本图像集;
对所述样本图像集中所述正样本图像进行多角度变换,将变换后的各角度的正样本图像的图像数据进行数据组合处理获得正样本组合数据,并对所述样本图像集中所述负样本图像进行多角度变换,将变换后的各角度的负样本图像的图像数据进行数据组合处理获得负样本组合数据;
将所述正样本组合数据和所述负样本组合数据组成的组合数据对输入待训练模型进行特征提取和特征空间映射,以及相似度计算;
基于计算结果计算对抗损失,并根据对抗损失对所述待训练模型进行参数调整,以在训练完成后获得所述图像识别模型。
需要说明的是,步骤S210,基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度确定所述候选图像中与所述输入图像匹配的目标图像步骤,可由特定的算法执行,也可通过训练好的图像识别模型执行。
综上所述,本实施例提供的一种或者多种基于特征空间的图像处理方法,在进行图像识别过程中,对输入图像进行多角度变换,获得各角度的变换图像,对变换图像的图像数据进行数据组合处理,获得图像组合数据,针对图像组合数据进行特征提取获得图像组合特征,将图像组合特征映射至多角度特征空间获得多角度纹理特征,计算多角度纹理特征和候选图像的多角度纹理特征在多角度特征空间的纹理特征距离,基于计算获得的纹理特征距离确定输入图像与候选图像的特征相似度,根据特征相似度确定候选图像中与输入图像匹配的目标图像,通过对与角度无关的多角度特征空间的多角度纹理特征进行特征距离计算以确定相似度,提高了图像识别的准确性,提升了图像识别的效率。
下述以本实施例提供的一种基于特征空间的图像处理方法在多图像识别场景的应用为例,结合图6对本实施例提供的基于特征空间的图像处理方法进行进一步说明,应用于多图像识别场景的基于特征空间的图像处理方法,具体包括如下步骤。
步骤S602,获取用户提交的物品识别请求,提取物品识别请求中携带的物品图像,识别物品图像包含的物品获得物品类别信息。
步骤S604,基于物品类别信息在图像库中选择与物品类别信息匹配的候选图像集,获取候选图像集中包含的各候选图像。
步骤S606,对物品图像进行多角度变换,获得各角度的变换图像。
步骤S608,对各角度的变换图像的图像数据进行数据组合处理,获得图像组合数据。
步骤S610,将图像组合数据输入训练好的图像识别模型进行特征提取获得图像组合特征,将图像组合特征映射至多角度特征空间获得多角度纹理特征。
步骤S612,计算物品图像的多角度纹理特征和各候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。
步骤S614,基于纹理特征距离确定物品图像和各候选图像的特征相似度,在特征相似度中筛选等于或者大于相似度阈值的目标相似度。
步骤S616,在各候选图像中选择目标相似度对应的目标候选图像作为与物品图像匹配的目标图像,并通过图像识别模型输出目标图像。
可选的,步骤S616执行之后,还包括:基于目标图像生成物品识别结果并向用户返回。
可选的,各候选图像的多角度纹理特征,采用如下方式获得:对候选图像集中各候选图像进行多角度旋转,将各候选图像各自对应的多角度旋转图像的图像数据进行数据组合处理,获得各候选组合数据;将各候选组合数据输入训练好的图像识别模型,通过图像识别模型对各候选组合数据进行纹理特征提取,以及多角度特征空间变换,输出候选图像集中各候选图像各自对应的多角度纹理特征。
下述以本实施例提供的一种基于特征空间的图像处理方法在双图像识别场景的应用为例,结合图7对本实施例提供的基于特征空间的图像处理方法进行进一步说明,应用于双图像识别场景的基于特征空间的图像处理方法,具体包括如下步骤。
步骤S702,对输入图像进行多角度变换获得各角度的变换图像,以及对候选图像进行多角度变换获得各角度的候选变换图像。
步骤S704,根据变换图像的图像矩阵的图像参数对图像矩阵在通道维度进行对齐处理,并对候选变换图像的候选图像矩阵在通道维度进行对齐处理。
步骤S706,对对齐后的图像矩阵进行合并处理获得合并图像矩阵,并对对齐后的候选图像矩阵进行合并处理获得候选合并图像矩阵。
步骤S708,将合并图像矩阵和候选合并图像矩阵输入训练好的图像识别模型进行特征提取,获得各自对应的图像组合特征。
步骤S710,将输入图像和候选图像各自对应的图像组合特征映射至多角度特征空间获得输入图像和候选图像各自对应的多角度纹理特征。
步骤S712,计算输入图像的多角度纹理特征和候选图像的多角度纹理特征在多角度特征空间的纹理特征距离。
步骤S714,通过图像识别模型基于纹理特征距离确定输入图像和候选图像的图像相似度并输出。
步骤S716,根据图像相似度确定候选图像与输入图像匹配,生成图像识别结果。
本说明书提供的一种基于特征空间的图像处理装置实施例如下:
在上述的实施例中,提供了一种基于特征空间的图像处理方法,与之相对应的,还提供了一种基于特征空间的图像处理装置,下面结合附图进行说明。
参照图8,其示出了本实施例提供的一种基于特征空间的图像处理装置实施例的示意图。
由于装置实施例对应于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例提供一种基于特征空间的图像处理装置,包括:
图像多角度变换模块802,被配置为对输入图像进行多角度变换,获得各角度的变换图像;
图像数据组合模块804,被配置为对所述变换图像的图像数据进行数据组合处理,获得图像组合数据;
特征空间映射模块806,被配置为针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
特征距离计算模块808,被配置为计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
目标图像确定模块810,被配置为基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
本说明书提供的一种基于特征空间的图像处理设备实施例如下:
对应上述描述的一种基于特征空间的图像处理方法,基于相同的技术构思,本说明书一个或多个实施例还提供一种基于特征空间的图像处理设备,该基于特征空间的图像处理设备用于执行上述提供的基于特征空间的图像处理方法,图9为本说明书一个或多个实施例提供的一种基于特征空间的图像处理设备的结构示意图。
本实施例提供的一种基于特征空间的图像处理设备,包括:
如图9所示,基于特征空间的图像处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器901和存储器902,存储器902中可以存储有一个或一个以上存储应用程序或数据。其中,存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括基于特征空间的图像处理设备中的一系列计算机可执行指令。更进一步地,处理器901可以设置为与存储器902通信,在基于特征空间的图像处理设备上执行存储器902中的一系列计算机可执行指令。基于特征空间的图像处理设备还可以包括一个或一个以上电源903,一个或一个以上有线或无线网络接口904,一个或一个以上输入/输出接口905,一个或一个以上键盘906。
在一个具体的实施例中,基于特征空间的图像处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对基于特征空间的图像处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
对输入图像进行多角度变换,获得各角度的变换图像;
对所述变换图像的图像数据进行数据组合处理,获得图像组合数据;
针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
本说明书提供的一种存储介质实施例如下:
对应上述描述的一种基于特征空间的图像处理方法,基于相同的技术构思,本说明书一个或多个实施例还提供一种计算机可读存储介质。
本实施例提供的计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现以下流程:
对输入图像进行多角度变换,获得各角度的变换图像;
对所述变换图像的图像数据进行数据组合处理,获得图像组合数据;
针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
需要说明的是,本说明书中关于计算机可读存储介质的实施例与本说明书中关于基于特征空间的图像处理方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应方法的实施,重复之处不再赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或者相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处,比如装置实施例、设备实施例和存储介质实施例,三者均相似于方法实施例,所以描述地比较简单,阅读装置实施例、设备实施例和存储介质实施例中的相关内容请参照方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪40年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F420,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本文件的权利要求范围之内。
Claims (15)
1.一种基于特征空间的图像处理方法,包括:
基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像;
对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据;
针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
2.根据权利要求1所述的基于特征空间的图像处理方法,所述对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据,包括:
读取所述变换图像的图像矩阵,根据所述图像矩阵的矩阵参数对所述图像矩阵在图像通道维度进行对齐处理;
对对齐后的图像矩阵进行合并处理,并将获得的合并图像矩阵作为所述图像组合数据。
3.根据权利要求2所述的基于特征空间的图像处理方法,所述将所述图像组合特征映射至多角度特征空间获得多角度纹理特征,包括:
提取所述图像组合特征中各图像通道维度的图像特征,将所述图像特征分别映射至所述多角度特征空间获得各角度对应的单角度纹理特征;
基于所述多角度特征空间将所述单角度纹理特征进行特征组合处理,获得所述输入图像的多角度纹理特征。
4.根据权利要求1所述的基于特征空间的图像处理方法,所述特征提取操作,所述映射至多角度特征空间操作,所述计算纹理特征距离操作,以及所述确定相似度操作基于训练好的图像识别模型进行;
其中,所述图像识别模型的输入包括所述输入图像对应的图像组合数据,以及所述候选图像对应的图像组合数据,输出包括所述相似度;
相应的,所述根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像,包括:
检测确定的图像相似度是否等于或者大于相似度阈值;
若是,将所述候选图像确定为与所述输入图像匹配的目标图像。
5.根据权利要求4所述的基于特征空间的图像处理方法,所述候选图像的多角度纹理特征,采用如下方式获得:
对所述候选图像的进行多角度变换,将变换获得的多角度候选图像的图像矩阵进行矩阵合并处理,获得候选组合数据;
将所述候选组合数据输入所述图像识别模型进行特征提取以及多角度特征空间映射,获得所述候选图像的多角度纹理特征。
6.根据权利要求4所述的基于特征空间的图像处理方法,所述图像识别模型,采用如下方式训练获得:
构建由正样本图像和负样本图像组成的样本图像集;
对所述样本图像集中所述正样本图像和所述负样本图像进行多角度变换,将变换后的各角度的正样本图像的图像数据进行数据组合处理获得正样本组合数据,以及,将变换后的各角度的负样本图像的图像数据进行数据组合处理获得负样本组合数据;
将所述正样本组合数据和所述负样本组合数据组成的组合数据对输入待训练模型进行特征提取和多角度特征空间映射,以及相似度计算;
基于计算结果计算对抗损失,并根据对抗损失对所述待训练模型进行参数调整,以在训练完成后获得所述图像识别模型。
7.根据权利要求1所述的基于特征空间的图像处理方法,所述候选图像的多角度纹理特征,采用如下方式获得:
对候选图像集中各候选图像进行多角度旋转,将所述各候选图像各自对应的多角度旋转图像的图像数据进行数据组合处理,获得各候选组合数据;
将所述各候选组合数据输入训练好的图像识别模型,以通过所述图像识别模型对所述各候选组合数据进行纹理特征提取以及多角度特征空间映射,获得所述候选图像集中各候选图像各自对应的多角度纹理特征。
8.根据权利要求7所述的基于特征空间的图像处理方法,所述特征提取操作,所述映射至多角度特征空间操作,所述计算纹理特征距离操作,所述确定相似度操作,以及所述确定目标图像操作,基于所述图像识别模型进行;
其中,所述根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像,包括:
在确定的特征相似度中筛选等于或者大于相似度阈值的目标相似度;
基于所述目标相似度在所述候选图像集中选择所述目标相似度对应的目标候选图像,作为与所述输入图像匹配的目标图像。
9.根据权利要求1所述的基于特征空间的图像处理方法,所述基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像步骤执行之前,还包括:
获取包含对象商品的商品图像,对所述商品图像进行边缘检测;
基于边缘检测结果确定所述商品图像中对应于所述对象商品的目标图像区域,对所述目标图像区域以外的图像区域进行填充处理,将填充后的商品图像作为所述输入图像。
10.根据权利要求9所述的基于特征空间的图像处理方法,所述基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像,包括:
获取所述商品图像的像素坐标信息,将所述目标图像区域的中心像素的坐标点确定为进行多角度旋转的所述中心坐标;
基于所述中心坐标对所述输入图像进行多角度旋转,获得各角度的旋转图像,将所述旋转图像作为所述变换图像。
11.根据权利要求10所述的基于特征空间的图像处理方法,所述对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据,包括:
根据所述中心坐标对所述变换图像进行对齐处理;
基于所述输入图像的图像边界对所述变换图像进行裁剪以及填充处理,以使所述变换图像的图像边界相同;
对裁剪以及填充后的变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得所述图像组合数据。
12.根据权利要求1所述的基于特征空间的图像处理方法,所述输入图像在检测到外部输入的物品识别请求后获得;
相应的,所述候选图像,采用如下方式获得:
提取所述物品识别请求携带的所述输入图像,对所述输入图像包含的物品进行图像识别获得物品类别信息;
基于所述物品类别信息在候选图像库中选择与所述物品类别信息匹配的候选图像集,将所述候选图像集中包含的图像作为所述候选图像。
13.一种基于特征空间的图像处理装置,包括:
图像多角度变换模块,被配置为基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像;
图像数据组合模块,被配置为对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据;
特征空间映射模块,被配置为针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
特征距离计算模块,被配置为计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
目标图像确定模块,被配置为基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
14.一种基于特征空间的图像处理设备,包括:
处理器;以及,被配置为存储计算机可执行指令的存储器,所述处理器执行所述计算机可执行指令以实现以下流程:
基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像;
对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据;
针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
15.一种计算机可读存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现以下流程:
基于输入图像包含的物品的中心坐标对所述输入图像进行多角度旋转,获得各角度的变换图像;
对所述变换图像的图像矩阵在图像通道维度进行对齐处理,对对齐后的图像矩阵进行合并处理获得图像组合数据;
针对所述图像组合数据进行特征提取获得图像组合特征,将所述图像组合特征映射至多角度特征空间获得多角度纹理特征;
计算所述多角度纹理特征与候选图像的多角度纹理特征在多角度特征空间的纹理特征距离;
基于计算获得的纹理特征距离确定所述输入图像与所述候选图像的相似度,根据所述相似度在所述候选图像中确定与所述输入图像匹配的目标图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411162730.1A CN118968093A (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
CN202410190227.0A CN117975044B (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410190227.0A CN117975044B (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411162730.1A Division CN118968093A (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117975044A CN117975044A (zh) | 2024-05-03 |
CN117975044B true CN117975044B (zh) | 2024-09-10 |
Family
ID=90861015
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410190227.0A Active CN117975044B (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
CN202411162730.1A Pending CN118968093A (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411162730.1A Pending CN118968093A (zh) | 2024-02-20 | 2024-02-20 | 基于特征空间的图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN117975044B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388833A (zh) * | 2018-01-15 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置及设备 |
CN116958135A (zh) * | 2023-09-18 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 纹理检测处理方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8280196B2 (en) * | 2009-05-12 | 2012-10-02 | Canon Kabushiki Kaisha | Image retrieval apparatus, control method for the same, and storage medium |
CN106651933A (zh) * | 2016-12-27 | 2017-05-10 | 西安邮电大学 | 一种基于Radon变换的改进型纹理特征提取算法 |
CN111126216A (zh) * | 2019-12-13 | 2020-05-08 | 支付宝(杭州)信息技术有限公司 | 风险检测方法、装置及设备 |
CN113111212B (zh) * | 2021-04-01 | 2024-05-17 | 广东拓斯达科技股份有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
CN113570617B (zh) * | 2021-06-24 | 2022-08-23 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
CN114238744B (zh) * | 2021-12-21 | 2024-10-01 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN115424074A (zh) * | 2022-09-07 | 2022-12-02 | 凌云光技术股份有限公司 | 一种应用于工业检测的分类方法、装置及设备 |
CN115546536B (zh) * | 2022-09-22 | 2024-12-24 | 南京森林警察学院 | 一种象牙制品识别方法及系统 |
CN116740386A (zh) * | 2023-05-17 | 2023-09-12 | 首都医科大学宣武医院 | 图像处理方法、装置、设备和计算机可读存储介质 |
CN118097181A (zh) * | 2023-09-27 | 2024-05-28 | 支付宝(杭州)信息技术有限公司 | 基于纹理采集的数据上链方法及装置 |
-
2024
- 2024-02-20 CN CN202410190227.0A patent/CN117975044B/zh active Active
- 2024-02-20 CN CN202411162730.1A patent/CN118968093A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388833A (zh) * | 2018-01-15 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置及设备 |
CN116958135A (zh) * | 2023-09-18 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 纹理检测处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN118968093A (zh) | 2024-11-15 |
CN117975044A (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250291B2 (en) | Information detection method, apparatus, and device | |
US10311099B2 (en) | Method and system for 3D model database retrieval | |
US10839599B2 (en) | Method and device for three-dimensional modeling | |
US10902053B2 (en) | Shape-based graphics search | |
US10217224B2 (en) | Method and system for sharing-oriented personalized route planning via a customizable multimedia approach | |
CN112085033A (zh) | 一种模板匹配方法、装置、电子设备及存储介质 | |
WO2022116678A1 (zh) | 目标物体位姿确定方法、装置、存储介质及电子设备 | |
CN114565916B (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
KR102421604B1 (ko) | 이미지 처리 방법, 장치 및 전자 기기 | |
CN113313140B (zh) | 基于深度注意力的三维模型分类和检索方法及装置 | |
CN117975044B (zh) | 基于特征空间的图像处理方法及装置 | |
CN116881515B (zh) | 对不同算法求解的电容结果进行比较的方法及电子设备 | |
CN115187307B (zh) | 虚拟世界的广告投放处理方法及装置 | |
CN115374298A (zh) | 基于索引的虚拟形象数据处理方法及装置 | |
CN114742886A (zh) | 一种重定位的方法、装置、电子设备及存储介质 | |
CN112615993A (zh) | 深度信息获取方法、双目摄像模组、存储介质及电子设备 | |
CN117975045B (zh) | 基于模型的纹理识别处理方法及装置 | |
CN118365888B (zh) | 去除图像中动态物体的方法、装置、电子设备及存储介质 | |
CN114750147B (zh) | 机器人的空间位姿确定方法、装置和机器人 | |
CN118038087B (zh) | 图像处理方法及装置 | |
CN116188731B (zh) | 虚拟世界的虚拟形象调整方法及装置 | |
CN111626305B (zh) | 目标检测方法、装置和设备 | |
TW202429386A (zh) | 適用於空拍影像的定位系統和定位方法 | |
CN117456210A (zh) | 向量处理方法、装置、设备及存储介质 | |
WO2023098487A1 (zh) | 目标检测方法、装置、电子设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |