CN111503991B - 一种识别冰箱食材存取位置的方法及冰箱 - Google Patents

Abstract

本申请涉及家用电器技术领域，尤其涉及一种识别冰箱食材存取位置的方法及冰箱。一定程度上可以解决普通彩色图像深度信息缺失、图像无效区域计算量大、冰箱隔板位置发生变化时食材存取位置无法识别的问题。所述方法包括采集冰箱门区域的第一图像、第二图像；对所述第一图像设置兴趣区域得到第一ROI，对所述第二图像设置兴趣区域得到第二ROI基于所述第二ROI进行隔板检测，得到隔板位置信息；基于所述第一ROI进行检测得到运动区域；以及在所述运动区域中进行检测得到手部质心运动轨迹；根据所述手部质心运动轨迹和隔板位置信息，识别得到食材存取位置。

Description

一种识别冰箱食材存取位置的方法及冰箱

技术领域

本申请涉及家用电器技术领域，尤其涉及一种识别冰箱食材存取位置的方法及冰箱。

背景技术

冰箱作为家庭生活中最常见的白色家电，是中国家电中起步和发展最早的家电产品。其中，关于冰箱的食材管理已成为智能冰箱的核心功能，所述的食材管理包括食材种类、数量、保鲜期及存放位置信息的管理。食材存放位置信息用于为用户提供食材在冰箱内不同隔板的存储位置。

在一些识别冰箱食材存取位置方法的实现中，通常通过人工录入食材信息，或基于彩色图像的静态识别方案识别不同食材的种类。所述静态识别方案是指在冰箱的每个隔板上安装一个或多个摄像头用于彩色图像的采集，在用户开、或关冰箱门的前后分别采集冰箱内部的彩色图像，然后基于彩色图像进行不同食材的种类识别。

然而，由于传统的彩色二维图像不具备深度信息、食材之间相互遮挡、冰箱隔板位置人为调整，都会导致食材位置识别不准确、或无法识别的问题。

发明内容

本申请提供了一种识别冰箱食材存取位置的方法及冰箱，通过构建第一图像、第二图像、第一ROI、第二ROI、获取隔板位置信息、构建置信度热力图、计算背景图像模板、检测手部质心运动轨迹，一定程度上可以解决普通彩色图像深度信息缺失、图像无效区域计算量大、冰箱隔板位置发生变化时食材存取位置无法识别的问题。

本申请的实施例是这样实现的：

本申请的第一实施例中提供一种识别冰箱食材存取位置的方法，所述方法包括：

采集冰箱门区域的第一图像、第二图像；

对所述第一图像设置兴趣区域得到第一ROI，对所述第二图像设置兴趣区域得到第二ROI；

基于所述第二ROI进行隔板检测，得到隔板位置信息；

基于所述第一ROI进行检测得到运动区域，以及在所述运动区域中进行检测得到手部质心运动轨迹；

根据所述手部质心运动轨迹和隔板位置信息，识别得到食材存取位置。

本申请的第二实施例中提供一种识别冰箱食材存取位置的方法，其中，所述第一图像为深度图像，所述第二图像为彩色图像。

本申请的第三实施例中提供一种识别冰箱食材存取位置的方法，其中，所述隔板位置信息发生变化时被更新存储至冰箱系统的位置阈值配置文件中。

本申请的第四实施例中提供一种识别冰箱食材存取位置的方法，其中，在对所述第一图像设置兴趣区域得到第一ROI之前，还包括将所述第一图像进行缩小预处理；在对所述第二图像设置兴趣区域得到第二ROI之前，还包括将所述第二图像进行缩小预处理。

本申请的第五实施例中提供一种识别冰箱食材存取位置的方法，其中，基于所述第一ROI进行检测得到运动区域，执行如下：基于多个连续的第一ROI的图像计算得到冰箱的背景图像模板；计算第一ROI图像和所述背景图像模板的差值，得到运动区域。

本申请的第六实施例中提供一种识别冰箱食材存取位置的方法，其中，所述背景图像模板在每次食材存取后进行动态更新。

本申请的第七实施例中提供一种识别冰箱食材存取位置的方法，其中，所述隔板检测具体可实施为检测冰箱内各个隔板的边缘，所述隔板检测可通过基于深度学习模型进行，或基于霍夫直线检测进行。

本申请的第八实施例中提供一种识别冰箱食材存取位置的方法，其中，在识别得到食材存取位置后，还包括步骤：用户主动对所述存取位置进行纠错，构建隔板的置信度热力图，如果所述隔板的置信度小于预设阈值则更新位置阈值配置文件。

本申请的第九实施例中提供一种冰箱，包括：

冰箱主体，被配置为设置有深度相机、控制器；

显示屏，设置于所述冰箱主体的外壳，被配置为用于显示界面；

深度相机，被配置为用于采集冰箱门区域的第一图像、以及冰箱内部的第二图像；

控制器，被配置为用于执行如本申请发明内第一实施例至第八实施例的发明内容所述的方法，并将食材信息展示于所述显示屏。

本申请的第十实施例中提供一种冰箱，其中，所述控制器还被配置为将所述食材信息展示于另一智能设备。

本申请的第十一实施例中提供一种冰箱，其中，所述食材信息包括食材存放位置、食谱推荐、购买提醒中的一种或几种组合。

本申请提供的技术方案包括以下有益效果：通过构建第一图像、第二图像，可以实现用户操作轨迹的识别和隔板检测；进一步通过构建第一ROI、第二ROI，可以剔除无效区域的影响，降低图像识别检测的计算量；进一步通过获取隔板位置信息、构建置信度热力图，可以实现冰箱隔板位置发生变化时及时更新位置阈值配置文件；进一步通过获取背景图像模板，可以反向获取运动区域；通过检测识别运动区域内的手部质心运动轨迹，可以实现食材存取位置的识别。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例一种冰箱的功能示意图；

图2示出了本申请实施例一种识别冰箱食材存取位置方法的流程示意图；

图3示出了本申请一实施例深度相机安装位置示意图；

图4示出了本申请另一实施例深度相机安装位置示意图；

图5示出了本申请实施例第一图像的第一ROI示意图；

图6示出了本申请实施例基于深度学习模型的隔板检测示意图；

图7示出了本申请实施例基于霍夫直线检测算法的隔板检测示意图；

图8示出了本申请实施例冰箱各层级隔板的深度划分示意图；

图9示出了本申请实施例第一ROI的深度图像示意图；

图10示出了本申请实施例冰箱的背景图像模板示意图；

图11示出了本申请实施例运动区域的示意图；

图12示出了本申请实施例手部质心位置的示意图；

图13示出了本申请实施例冰箱隔板的置信度热力图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书通篇提及的″多个实施例″、″一些实施例″、″一个实施例″或″实施例″等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语″在多个实施例中″、″在一些实施例中″、″在至少另一个实施例中″或″在实施例中″等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

图1示出了本申请实施例一种冰箱的功能示意图。

智能冰箱通过海量的图像和语音大数据，结合云计算与深度学习算法，可以赋予冰箱识别食材存放位置的能力以及与用户的交互能力。其突出特点是使用的用户越多、学习的数据越多，系统识别率越高、人机交互越智能用户体验越好。

本申请所述的冰箱交互系统至少包括感知层、数据层和应用层。

感知层通过彩色摄像头、深度相机、RFID(Radio Frequency Identification：射频识别)、扫码等多种传感器识别食材、冰箱以及用户信息。

数据层可以反映食材信息、冰箱信息和用户信息。其中，食材信息包括食材的种类、位置、数量体积、保质期；冰箱信息包括温度、湿度等信息；用户信息包括用户身份、生日、健康状况等信息。

应用层中，冰箱系统获取到食材、冰箱、用户基础数据之后，可以为用户提供不同的应用服务，所述应用服务包括美食推荐、用即购(购买提醒)、缺乏提醒、到期提醒、健康管理、存放指导等。用户通过智能终端和/或智能语音与冰箱进行交互，所述智能终端可以是安装特定APP的智能手机、或电脑、平板电脑等。

图2示出了本申请实施例一种识别冰箱食材存取位置方法的流程示意图。

在步骤201中，采集冰箱门区域的第一图像、第二图像。

在一些实施例中，通过冰箱的图像采集装置获取冰箱门区域的第一图像和第二图像。

第一图像为用户存取食材过程中的操作区域。通常第一图像是冰箱门区域，所述冰箱门区域包括冰箱门体前后、以及门体至用户的区域。通过对用户存取食材过程中的操作区域进行图像采集、图像分析可以对用户的存取动作以及食材信息进行识别。

第二图像为包括隔板位置信息的图像。所述图像至少包含靠近冰箱门体的全部隔板边缘区域。所述第二图像为冰箱内位置最高隔板至位置最低隔板的区域，通过对第二图像的分析，可以识别冰箱内部的结构，所述结构包括冰箱内部隔板位置、隔板数量。当冰箱内部的结构发生改变时，冰箱系统可以根据实时采集的第二图像更新隔板的位置信息。

在一些实施例中，图像采集装置可实施为深度相机。

普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。仅能通过图像的语义分析来判断哪些物体离相机较远，哪些比较近，但是并没有确切的数据。

通过深度相机获取到的深度图像，可以准确识别图像中每个点距离摄像头的距离，再加上该点在2D图像中的(x，y)坐标，就能获取图像中每个点的三维空间坐标，然后通过三维坐标可以还原真实场景，实现场景建模。

深度相机主要有三种类型：光飞行时间深度相机(TOF)、RGB双目视觉深度相机、结构光深度相机。

在一些实施例中，图像采集装置可实施为结构光深度相机。

结构光深度相机通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。

通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

图3示出了本申请一实施例深度相机安装位置示意图。

如图所示，冰箱外部的顶部设置有弹出式电机机构模组；冰箱外部的顶部前端靠近门体位置设置有感知模组，所述感知模组包含结构光深度相机，所述深度相机的光轴垂直于地面，其视角范围如图所示。

需要说明的是，深度相机可以根据实际情况进行出厂设置。当用户打开冰箱门体后，深度相机即时启动，然后实时采集冰箱门区域的深度图像和彩色图像。

图4示出了本申请另一实施例深度相机安装位置示意图。

冰箱内部的顶端设置有感知模组。所述感知模组包含结构光深度相机，其视角范围如图中虚线所示。当用户打开冰箱门体后，深度相机即时启动，所述深度相机可以获取靠近门体的隔板边缘的彩色图像，所述彩色图像用于隔板检测，所述彩色图像即本申请所述的第二图像；另一方面，深度相机的视角还可以获取冰箱门区域部分，即用户进行食材存取的操作区域，以获取所述操作区域的深度图像，所述深度图像即本申请所述的第一图像。

在步骤202中，对所述第一图像设置兴趣区域得到第一ROI，对所述第二图像设置兴趣区域得到第二ROI。

在一些实施例中，ROI(Region ofinterest：兴趣区域)是在第一图像和第二图像中划分特定区域，用于剔除图像中的无效区域，进一步减少无效区域图像分析计算带来的影响，可以提高图像分析效率，降低分析计算量。

在一些实施例中，ROI还可以是基于冰箱场景和深度相机的安装位置在第一图像和第二图像中进行划分的特定区域，用于剔除图像中的无效区域，进一步减少对无效区域图像分析计算带来的影响，可以提高图像分析效率，降低分析计算量。

在一些实施例中，第一图像为深度图像。在对第一图像设置兴趣区域得到第一ROI之前，还包括将第一图像进行缩小预处理。

对深度相机采集的第一图像进行下采样，以降低图像识别算法中的计算量。下采样的主要目的是将高分辨率的灰度图缩减为小图，生成第一图像的缩略图。

例如，第一图像depthImage，尺寸为M^＊N，对其进行r^＊s倍下采样，得到(M/r)^＊(N/s)尺寸的分辨率小图像。即将原始图像r^＊s窗口内的图像变成一个像素，该像素点的值可以是窗口内所有像素的均值、最大值、最小值或中值等统计值，下采样后得到尺寸较小的深度图像depthSample。

在一些实施例中，在下采样后的深度图像depthSample上设置第一ROI。

图5示出了本申请实施例第一图像的第一ROI示意图。

第一ROI在第一图像中主要关注冰箱门区域，所述冰箱门区域为冰箱与用户之间的区域。

在一些实施例中，所述冰箱门区域可选择用户前侧、冰箱冷藏区、两侧冰箱门围成的梯形区域，如图5中所示的梯形框。

需要说明的是，第一ROI可以根据实际分析需要进行区域设定。

在一些实施例中，第二图像为彩色图像。在对第二图像设置兴趣区域得到第二ROI之前，还包括将所述第二图像进行缩小预处理。

对采集的第二图像进行下采样，以降低图像识别算法的计算量。下采样的主要目的是将高分辨率的灰度图缩减为小图，生成对应图像的缩略图。

例如，彩色图像尺寸为M^＊N，对其进行r^＊s倍下采样，得到(M/r)^＊(N/s)尺寸的分辨率小图像。

在一些实施例中，还可以进一步对得到的分辨率小图像进行图像滤波分析，例如均值滤波、中值滤波等，以提高图像分析结果的稳定性和准确性。

第二图像在下采样后设置第二ROI。

划定第二ROI，可以剔除图像中与分析隔板位置无关的区域，从而降低图像识别分析的计算量。第二ROI主要关注冰箱内部靠近门体的隔板边缘区域。

需要说明的是，第二ROI可以根据实际分析需要进行区域设定。

在步骤203中，基于所述第二ROI进行隔板检测，得到隔板位置信息。

在一些实施例中，冰箱的各个隔板之间的距离都具备手动或者自动调节功能，因此经常会发生隔板位置、隔板数量的变化。根据深度相机采集的实时第二图像，识别检测时刻冰箱的隔板位置信息、以及隔板的位置阈值。

首先，基于所述第二ROI进行隔板检测，具体可通过检测隔板边缘来实现隔板检测。

在一些实施例中，隔板检测通过基于深度学习模型进行。所述深度学习模型主要采用卷积神经网络中的检测模型，如RCNN，FastRCNN，FasterRCNN，YOLO系列等，本申请不做具体的限制。

在一些实施例中，用于隔板检测的深度学习模型可以和食材识别模块使用同一个模型，从而达到减低计算量、降低系统复杂度的目的。深度学习策略可以有效融合食材识别模型，并且隔板边缘的检出率较高，如图6示出了本申请实施例基于深度学习模型的隔板检测示意图。

在一些实施例中，隔板检测通过基于霍夫直线检测算法实现。冰箱隔板边缘在图像中均是直线，霍夫直线检测算法可以有效检测出隔板的边缘。霍夫直线检测算法计算量小，实时性高，如图7示出了本申请实施例基于霍夫直线检测算法的隔板检测示意图。

在一些实施例中，隔板检测还可以通过分析隔板边缘的颜色、结构和纹理，进行基于图像模板方法检测出隔板的边缘信息。

需要说明的是，本申请所述的隔板检测方法检测出隔板的边缘区域，包括但不限于使用上述几种方案。

在一些实施例中，隔板位置信息发生变化时被更新存储至冰箱系统的位置阈值配置文件中，所述位置阈值配置文件为位置阈值配置表。

深度相机在出厂时完成了获取彩色图像和深度图像的标定，基于彩色图像可以反向获取冰箱内各个隔板边缘处的深度值。并且深度相机和隔板的位置在安装和运输过程中可能会出现变化，导致隔板边缘在彩色图像中会出现倾斜的问题。

为了保证位置隔板边缘检出效果的准确性，每一层隔板可以根据横向位置的不同分别设定深度位置阈值。

图8示出了本申请实施例冰箱各层级隔板的深度划分示意图。

首先，每一层隔板可以设定三个位置阈值。

如图所示，该场景下坐标系以深度相机为原点，深度相机位于冰箱上方的中间位置，所述深度相机的光轴Z垂直于地面。

将彩色图像投影到的深度图像上，可以获取深度图像中每一层的像素点disp的位置，根据设定不同横向X位置范围，将每一层的像素点disp分为三段区域。

然后，将每一段的所有深度值分别进行斑点滤波，去除错误的深度值，并对正确的深度值进行平滑滤波。

最后，将每一段求取的平均值作为每一段的深度距离值，遍历全部层隔板的位置，可以获取每个隔板边缘处的深度距离值zij。

其中，zij表示各个隔板边缘处的深度距离值，i为冰箱隔板层数，j为横向X位置范围，如表1所示。

层数	横向X位置范围1	横向X位置范围2	横向X位置范围3
				第一层	z11	z12	z13
第二层	z21	z22	z23
				第三层	z31	z32	z33
第四层	z41	z42	z43

表1

位置阈值配置表如表2所示，将采集得到的各个隔板边缘处的深度距离值z_ij与系统中存储的位置阈值配置表进行比较，计算两者之间的差值，：

Δt_ij＝abs(z_ij-d_ij)，

如果Δt_ij大于预设的阈值ΔT，则更新所述位置阈值配置表2中对应冰箱i层隔板的横向位置范围j内位置阈值，即d_ij＝z_ij；

如果Δt_ij小于等于预设的阈值ΔT，则不更新所述位置阈值配置表2。

遍历所有层隔板的位置，更新系统存储的位置阈值配置文件。

层数	横向X位置范围1	横向X位置范围2	横向X位置范围3
				第一层	d11	d12	d13
第二层	d21	d22	d23
				第三层	d31	d32	d33
第四层	d41	d42	d43

表2

在步骤204中，基于所述第一ROI进行检测得到运动区域；以及在所述运动区域中进行检测得到手部质心运动轨迹。

图9示出了本申请实施例第一ROI的深度图像示意图。

对第一ROI的深度图像depthROI进行图像分析可以得到运动区域。

首先，基于多个连续的第一ROI的图像计算得到冰箱的背景图像模板。

为了保证第一ROI中检测运动区域的准确性，需要提取准确的冰箱背景区域，从而将第一ROI中的背景区域和运动区域进行区分。

在冰箱出厂后，深度相机的位置是相对固定。用户存取食材的过程中，第一ROI的深度图像中固定物体的深度为固定值、或在小范围内波动。因此通过确定固定区域即可反向获取第一ROI的运动区域。

深度相机采集连续的深度图像，也可以认为采集连续的第一ROI。对连续深度图像进行编号，对应的图像帧号依次为1、2、3、...、i、i+1、...。

在一些实施例中，在连续的第一ROI的深度图像depthROI中划定一个矩形区域RECT，所述矩形区域RECT的大小可根据实际情况设定其尺寸，如图9中所示虚线框。

在一些实施例中，通过计算连续两帧、或间隔多帧中矩形区域RECT内有效深度值depthValue的差值，并将所述差值储存至矩阵matDiff_i中。

有效深度值depthValue满足如下条件：

dmin＜depthValue＜dmax

其中，dmin、dmax为矩形区域RECT内有效深度值的最小值和最大值。

储存所述差值的矩阵matDiff_i可表示为：

其中，n取值为1，或2，或3；i＞3，表示从第三帧深度图像开始计算差值，当n＝1，表示计算连续两帧深度图像。

统计matDiff_i中大于预设最小深度阈值depthT的像素的数量depthNum。

如果depthNum大于预设的最小数量阈值depthNumT，则认为所述矩形区域RECT内有运动物体；

如果depthNum小于等于设定的最小数量阈值depthNumT，则认为该区域内为静止状态，将

作为冰箱的背景图像模板AreaFridge进行存储，图10示出了本申请实施例冰箱的背景图像模板示意图。

在一些实施例中，所述背景图像模板在每次食材存取后进行动态更新。

由于食材在每次存取过程中冰箱的背景区域一直会发生变化，因此，一旦depthNum满足阈值条件，则更新背图像景模板AreaFridge，其更新阈值条件满足如下关系：

其次，计算第一ROI图像和所述背景图像模板的差值，得到运动区域。

获取冰箱的背景图像模板后，则可以计算第一ROI的深度图像depthROI和背景图像模板AreaFridge之间的差值，所述差值为第一ROI的运动区域AreaMoving，图11示出了本申请实施例运动区域的示意图。

可以发现，图11中所述运动区域仍然存在较多零星的斑点噪声，在一些实施例中，可以采用斑点滤波对所述噪声进行处理。

基于所述运动区域进行检测，得到手部质心运动轨迹。

在一些实施例中，可以使用滑动矩形窗在所述运动区域areaMoving中进行搜索检测用户的手部区域。

滑动矩形窗口大小可设置为p^＊q，通过遍历所述运动区域AreaMoving，统计所述滑动矩形窗口中深度有效值的数量。

如果所述数量满足预设的阈值，则所在时刻得到的滑动矩形窗口为用户执行操作的手部区域AreaTarget。

在一些实施例中，在获取运动的手部区域AreaTarget后，对所述手部区域内的深度值进行后处理，所述后处理主要包括斑点滤波，3sigma滤波等操作，以降低噪声、降低计算量。

然后计算手部区域滤波后深度值的均值，作为手部质心位置H(x，y，z)。

图12示出了本申请实施例手部质心位置的示意图。

然后，基于连续的手部质心位置可以得到用户在存取食材过程中的手部质心运动轨迹。

在步骤205中，根据所述手部质心运动轨迹和隔板位置信息，识别食材存取位置。

基于得到的冰箱隔板位置信息和手部质心运动轨迹进行食材存取位置的识别，所述隔板位置信息包括隔板区域设定深度范围。

手部质心运动轨迹中的手部质心位置H(x，y，z)满足设定的深度范围时，则手部质心对应的位置为存取的隔板层数，从而实现食材存取位置的识别。

例如，如果d11＜H(x，y，z)＜d21，则手部质心的位置识别结果为第二层。

在一些实施例中，食材存取位置的识别结果通过冰箱的语音组件、和/或与冰箱建立网络连接的智能终端实时通知用户，所述智能终端可以为APP终端。

在一些实施例中，用户主动对所述存取位置进行纠错，构建隔板的置信度热力图，如果所述隔板的置信度小于预设阈值则更新位置阈值配置文件。

用户可以主动判断食材存取位置识别结果的准确性，进行主动纠错。

根据用户纠错的频率构建置信度热力图，统计一定时间段内存取食材位置识别结果的纠错频率rateM，不同的隔板位置处的纠错频率设置为rateMij，表示如下：

rateM_ij＝numM_ij/sum_ij

其中，i为冰箱隔板层数；

j为横向X位置范围；

numM_ij表示冰箱i层隔板的横向位置范围j内位置纠错的总次数；

sum_ij表示该位置处的存放食材的总次数。

构建的置信度表示为：

Con_ij＝1-rateM_ij

根据隔板的所有位置求得的置信度，可以构建置信度热力图。

图13示出了本申请实施例冰箱隔板的置信度热力图。

遍历置信度热力图，如果置信度Conij小于预设的置信度阈值Con_th，则认为系统检测到用户频繁地通过APP或者语音进行位置修改，则继续检测隔板位置，更新配置文件中对应冰箱i层隔板的横向位置范围j内位置阈值；

如果置信度Conij大于等于预设的置信度阈值Con_th，且用户没有进行位置纠错，则认为食材存取位置识别的结果正确，停止检测隔板位置，后续的位置识别使用最新的存储的位置阈值配置文件即可。

在一些实施例中，用户存取动作的识别可以根据手部质心运动轨迹的方向进行判断。

手部质心运动轨迹是连续的，可以认为由多段向量组成。实时分析用户的手部质心运动轨迹的向量便可获取用户的手部运动方向。例如，在冰箱门位置处设置距离阈值作为存取动作的起始位置，手部质心从冰箱外穿越该条阈值线，则认为是存放动作；手部离开冰箱远离该条阈值线，则认为是拿取动作。在存取动作识别后，进一步结合手中识别结果和时间特征即可识别用户是存放食材还是拿取食材。

在一些实施例中，基于存取动作识别和跟踪的结果，判断存取动作是否进入到预设的关键区域。如果有动作进入或离开关键区域，则提取所在时刻对应的彩色图像，并将关键帧中的ROI区域的图像发送给并冰箱的食材识别模块，所述食材识别模块在一些实施例中可使用CNN算法进行食材种类识别。所述关键区域的设定可根据实际经验和硬件的参数进行，本申请中不再赘述。

本申请还提供了一种冰箱，包括冰箱主体，显示屏，深度相机，控制器。

冰箱主体配置有深度相机、控制器、显示屏。显示屏设置于冰箱主体的外壳，被配置为用于显示界面。深度相机被配置为用于采集冰箱门区域的第一图像、第二图像。控制器被配置为用于执行如本申请实施例所述的任一识别冰箱食材存取位置的方法，并将食材信息展示于所述显示屏。

在一些实施例中，控制器还被配置为将所述食材信息展示于另一智能设备。例如，基于食材种类、动作、位置等信息，控制器将相关的食材信息发送至用户的智能终端，例如安装有特定APP的智能手机。在一些实施例中，还可以通过用户的智能终端、和冰箱的显示屏为用户提供美食服务，主要涉及食材存放位置查询、食谱推荐、购买提醒等功能。

在一些实施例中，冰箱包括食材识别模块，所述食材识别模块可以部署到本地、也可以部署到云端。由于食材识别模块仅分析关键帧图像中的ROI区域，因此可以降低计算资源的消耗和网络传输的数据量，同时也可以提升食材种类识别的实时性。

以上已经描述的包括本发明的实现的示例。为了描述要求保护主题的目的，当然不可能描述组件或方法的每一个可设想组合，但是要意识到，本创新的许多另外组合和置换是可能的。相应地，要求保护主题打算包含全部这类改变、修改和变化，其落入所附权利要求的精神和范围之内。此外，包括″摘要″中所述的事物的本申请的所示实现的以上描述并不是要详细列举或者将所公开实现局限于所公开的精确形式。虽然本申请中为了说明目的而描述具体实现和示例，但是如相关领域的技术人员能够认识的，被认为在这类实现和示例的范围之内的各种修改是可能的。

具体来说并且关于由上述组件、装置、电路、系统等所执行的各种功能，除非另加指示，否则用来描述这类组件的术语打算对应于执行所述组件的所指定功能(例如，功能等效)的任何组件，即使不是在结构上等效于所公开结构(其执行要求保护主题的本申请所示示范方面的功能)。在这方面，还将会认识到，创新包括系统以及计算机可读存储介质，其具有计算机可执行指令，以用于执行要求保护主题的各种方法的动作和/或事件。

已经针对若干组件/块之间的交互描述了上述系统/电路/模块。能够意识到，这类系统/电路和组件/块能够包括那些组件或者所指定子组件、所指定组件或者子组件的一些和/或附加组件，并且按照以上述各种置换和组合。子组件还能够实现为通信地耦合到其它组件而不是包括在父组件(分级)内的组件。另外，应当注意，一个或多个组件可组合为提供聚合功能性的单个组件或者分为若干单独子组件，以及可提供任何一个或多个中间层(例如管理层)，以通信地耦合到这类子组件，以便提供综合功能性。本申请所述的任何组件还可与本申请中没有具体描述但是本领域的技术人员已知的一个或多个其它组件进行交互。

虽然阐明本发明的广义范围的数值范围和参数是近似值，但是具体示例中阐明的数值尽可能准确地报导。但是，任何数值固有地含有必然产生于其相应测试测量中找到的标准偏差的某些误差。此外，本申请所公开的全部范围要被理解为包含其中所包含的任何和全部子范围。例如，“小于或等于11″的范围能够包括零的最小值与11的最大值之间(并且包含该最小值与最大值)的任何和全部子范围，即，任何和全部子范围具有等于或大于零的最小值以及等于或小于11的最大值(例如1至5)。在某些情况下，如对参数所述的数值能够具有负值。

另外，虽然可能已经仅针对若干实现之一公开了本创新的特定特征，但是这种特征可如对任何给定或特定应用可预期和有利的与其它实现的一个或多个其它特征相组合。此外，在详细描述或者权利要求中使用术语″包括(include、including)″、″具有″、″含有″及其变体和其它类似词语的意义上，这些术语打算采用与作为开放过渡词语的术语″包含″相似的方式是包含的，而没有排除任何附加或其它元件。

遍及本说明书中提到″一个实现″或″一实现″表示结合该实现所述的特定特征、结构或特性包含在至少一个实现中。因此，短语″在一个实现中″或者″在一实现中″在遍及本说明书中的各个位置的出现不一定全部指相同实现。此外，具体特征、结构或特性可采用任何适当方式结合在一个或多个实现中。

此外，遍及本说明书中提到″项″或″文件″意味着结合实现所述的特定结构、特征或对象不一定指相同对象。此外，″文件″或″项″能够指各种格式的对象。

如本申请中使用的术语″组件″、″模块″、″系统″等一般打算指作为硬件(例如电路)、硬件和软件的组合的计算机相关实体或者与具有一个或多个特定功能性的操作机器相关的实体。例如，组件可以是(但不限于)在处理器(例如数字信号处理器)上运行的进程、处理器、对象、可执行、执行线程、程序和/或计算机。作为说明，在控制器上运行的应用和控制器两者均能够是组件。一个或多个组件可驻留在进程和/或执行线程中，以及组件可定位在一个计算机上和/或分布在两个或更多计算机之间。虽然在各个实现中描绘单独组件，但是要意识到，组件可采用一个或多个公共组件来表示。此外，各个实现的设计能够包括不同组件放置、组件选择等，以实现最佳性能。此外，″装置″能够采取专门设计硬件；通过其上的软件(其使硬件能够执行特定功能的执行被专门化的一般化硬件；计算机可读介质上存储的软件；或者其组合的形式。

此外，词语″示例″或″示范″在本申请中用来表示″用作示例、实例或说明″。本申请中描述为″示范″的任何方面或设计不一定被理解为相对其它方面或设计是优选或有利的。相反，词语″示例″或″示范″的使用打算以具体方式呈现概念。如本申请所使用的，术语即，除非另加说明或者从上下文清楚地知道，否则″X采用A或B″打算表示自然包含置换的任一个。即，如果X采用A；X采用B；或者X采用A和B两者，则在上述实例的任何实例下均满足″X采用A或B″。另外，如本申请和所附权利要求中所使用的冠词″一(a和an)″应当一般地理解为表示″一个或多个″，除非另加说明或者从上下文清楚地知道针对单数形式。

Claims (10)

1.一种识别冰箱食材存取位置的方法，其特征在于，所述方法包括：

采集冰箱门区域的第一图像、第二图像；

对所述第一图像设置兴趣区域得到第一ROI，对所述第二图像设置兴趣区域得到第二ROI；

基于所述第二ROI进行隔板检测，得到隔板位置信息，其中，所述隔板位置信息发生变化时被更新存储至冰箱系统的位置阈值配置文件中；

基于所述第一ROI进行检测得到运动区域，以及在所述运动区域中进行检测得到手部质心运动轨迹；

根据所述手部质心运动轨迹和隔板位置信息，识别得到食材存取位置。

2.根据权利要求1所述识别冰箱食材存取位置的方法，其特征在于，所述第一图像为深度图像，所述第二图像为彩色图像。

3.根据权利要求1所述识别冰箱食材存取位置的方法，其特征在于，所述隔板位置信息发生变化时被更新存储至冰箱系统的位置阈值配置文件中。

4.根据权利要求1所述识别冰箱食材存取位置的方法，其特征在于，

在对所述第一图像设置兴趣区域得到第一ROI之前，还包括将所述第一图像进行缩小预处理；

在对所述第二图像设置兴趣区域得到第二ROI之前，还包括将所述第二图像进行缩小预处理。

5.根据权利要求2所述识别冰箱食材存取位置的方法，其特征在于，基于所述第一ROI进行检测得到运动区域，执行如下：

基于多个连续的第一ROI的图像计算得到冰箱的背景图像模板；

计算第一ROI图像和所述背景图像模板的差值，得到运动区域。

6.根据权利要求5所述识别冰箱食材存取位置的方法，其特征在于，所述背景图像模板在每次食材存取后进行动态更新。

7.根据权利要求1所述识别冰箱食材存取位置的方法，其特征在于，所述隔板检测具体可实施为检测冰箱内各个隔板的边缘，所述隔板检测可通过基于深度学习模型进行，或基于霍夫直线检测进行。

8.根据权利要求1所述识别冰箱食材存取位置的方法，其特征在于，在识别得到食材存取位置后，还包括步骤：用户主动对所述存取位置进行纠错，构建隔板的置信度热力图，如果所述隔板的置信度小于预设阈值则更新位置阈值配置文件。

9.一种冰箱，其特征在于，包括：

冰箱主体，被配置为设置有深度相机、控制器；

显示屏，设置于所述冰箱主体的外壳，被配置为用于显示界面；

深度相机，被配置为用于采集冰箱门区域的第一图像、第二图像；

控制器，被配置为用于执行根据权利要求1至8中任一项所述的方法，并将食材信息展示于所述显示屏。

10.根据权利要求9所述冰箱，其特征在于，所述控制器还被配置为将所述食材信息展示于另一智能设备。

Images