CN111783586A - 一种食材管理方法、装置、计算设备及存储介质 - Google Patents

Abstract

本申请公开了一种食材管理方法、装置、计算设备及存储介质，用于准确确定食材的存取信息，以提高食材管理的有效性。所述方法包括：获取目标视频，目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；从目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识容置设备中的一个食材；根据目标视频所包括的至少两帧视频图像，获取与每个第一特征对应的运动轨迹；根据与每个第一特征对应的运动轨迹，确定容置设备的食材的存取信息。

Description

一种食材管理方法、装置、计算设备及存储介质

技术领域

本发明涉及家用电器技术领域，尤其涉及一种食材管理方法、装置、计算设备及存储介质。

背景技术

随着人工智能技术的发展，越来越多的家居中使用人工智能技术，例如冰箱、电视、空调、洗衣机等。存储食材的家用电器(例如智能冰箱)是现代家庭中必不可少的，随着科技进步，智能冰箱越来越多地受到用户的青睐。智能冰箱中，食材录入功能是用户较为常用的新功能，当用户向智能冰箱放入食材时，通过智能冰箱提供的输入界面录入的食材；从智能冰箱内取出食材时，再删除或者更新之前的记录。由于这种方式需要用户进行录入和删除，实际使用中十分不便，因此实现自动录入是该类产品的一大改进方向。

在相关技术中，通常是在智能冰箱中安装摄像头，以对智能冰箱内的食材进行拍照，然后通过图像识别的方式，确认智能冰箱内放入的食材，以确定食材的存取情况。但是，当智能冰箱内食材种类和数量较多时，不可避免地会存在物体重叠、食材相近等情况，因此，通过图像识别时，可能会遗漏很多食材的存取信息。

综上所述，如何准确确定食材的存取信息，以提高食材管理的有效性，成为一个亟待解决的技术问题。

发明内容

本申请实施例提供一种食材管理方法、装置、计算设备及存储介质，用于准确确定食材的存取信息，以提高食材管理的有效性。

第一方面，提供一种食材管理方法，所述方法包括：

获取目标视频，所述目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；

从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识所述容置设备中的一个食材；

根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹；

根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息。

本申请实施例中，可以从目标视频中包括的至少一帧视频图像中，获取到容置设备中包括的每个食材的第一特征，然后获取每个食材的第一特征在目标视频中的运动轨迹，就可以根据该运动轨迹确定出对应食材的存取情况。由于每个第一特征是可以唯一标识容置设备中的一个食材的，因此，能够通过第一特征准确区分开相近的食材，这样，在对相近的食材进行存取时，能够准确获取每一个食材的具体存取情况，并且，在存在物体重叠时，也能通过对应第一特征确定出存储的具体食材。而且，每个食材对应的移动轨迹是根据第一特征确定出的，不仅能确保每个食材的移动轨迹的准确性，也能根据移动轨迹准确确定食材的存取情况，避免出现拿出食材再放进去时，无法准确识别用户的存取动作的情况。

在一种可能的设计中，从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，包括：

从所述目标视频中所包括的至少两帧视频图像中确定满足预设条件的目标视频图像；

对所述目标视频图像进行卷积处理，获得对应的卷积特征图像，所述卷积特征图像中包括所述目标视频图像中包括的每个食材的图像特征；

根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征。

本申请实施例中，可以先从目标视频中选取出满足预设条件的目标视频图像，然后对该目标视频图像进行卷积处理，就能得到对应的卷积特征图像，该卷积特征图像中包括目标视频图像中包括的每个食材的图像特征，因此，在获得该卷积特征图像之后，就可以获取容置设备中包括的每个食材的第一特征。通过选取目标视频图像的方法，可以不需要对每帧视频图像都进行卷积处理，可以有效减少数据的处理量，提高获取第一特征的时效性。由于获取到的卷积特征图像中包括的每个食材的图像特征是唯一的，也就是说，即使是两个一样的食材图像，经过卷积处理之后，所获得的图像特征都是不一样的，因此，获取到的每个第一特征都是不一样的，这样，通过第一特征就可以有效对各个食材进行准确标识，确保了对食材的存取情况进行跟踪的准确性。

在一种可能的设计中，根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征，包括：

确定所述卷积特征图像包括的至少一个候选区域，所述每个候选区域对应于所述目标视频图像中的一个食材；

对所述每个候选区域进行预判，以获得与所述每个候选区域所对应的目标框，每个目标框用于显示对应食材的食材类别，所述每个目标框的像素信息表征对应食材的位置信息，所述位置信息包括对应食材所处的存储层数；

对所述每个目标框进行滤波处理，获得所述容置设备中包括的每个食材的第一特征。

本申请实施例中，在获取第一特征时，可以是先确定卷积特征图像所包括的至少一个候选区域，由于每个候选区域对应目标视频图像中包括的一个食材，因此，对每个候选区域进行预判之后，就可以获取到每个候选区域所对应的一个目标框，目标框可以用于显示对应食材的食材类别，目标框的像素信息可以用于表征对应的位置信息，也就是说，在获取到目标框后，就可以在目标框中显示预判后确定出的食材类别，以及通过该目标框的像素信息就可以确定出对应于显示的食材类别的具体位置信息，该位置信息可以包括食材所处的具体存储层数，以及在对应存储层数中的具体坐标位置。在获取到目标框之后，可以对该目标框进行滤波处理，以实现特征锁定，即确定出每个食材对应的第一特征，用第一特征对每个食材进行唯一标识。通过滤波处理，可以只锁定用食材的某一个特征(即第一特征)进行目标跟踪，可以有效提高食材的目标跟踪效率。

在一种可能的设计中，根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹，包括：

分别确定所述每个第一特征在所述目标视频中包括的至少两帧视频图像中的像素位置；

按照所述目标视频中包括的至少两帧视频图像的图像顺序，依次连接所述每个第一特征的像素位置，以获得所述每个第一特征对应的运动轨迹。

本申请实施例中，在确定出第一特征之后，就可以确定第一特征在目标视频中包括的每帧视频图像中的像素位置，然后根据目标视频中的视频图像的图像顺序，依次逐帧进行连接，就可以获取到每个第一特征在目标视频中的运动轨迹，这样，即使某一食材在被取出后又立即存进去，或者被存进去后又立即被取出等情况，也能根据移动轨迹进行准确确定，避免了通过对拍摄的照片进行图像识别时，由于拍摄到的照片中的食材可能存在存取信息的遗漏，而无法准确确定食材已经被存取过的情况，从而能够准确获取到容置设备中包括的每个食材的具体存取情况。

在一种可能的设计中，根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息，包括：

确定所述每个第一特征对应的运动轨迹的第一位置和第二位置，所述第一位置为起始位置，所述第二位置为终点位置；

根据所述第一位置和所述第二位置确定所述至少一种食材的存取信息。

本申请实施例中，在获取到每个第一特征对应的运动轨迹之后，可以确定每个第一特征所对应的运动轨迹的起始位置和终点位置，然后根据起始位置和终点位置就可以确定出对应食材的存取情况。也就是说，仅通过第一特征的运动轨迹的起点和终点就可以确定出食材的存取情况，简化了确定食材存取情况的过程，提高了食材管理的有效性。

第二方面，提供一种食材管理装置，所述装置包括：

第一获取模块，用于获取目标视频，所述目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；

第二获取模块，用于从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识所述容置设备中的一个食材；

第三获取模块，用于根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹；

确定模块，用于根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息。

在一种可能的设计中，所述第二获取模块，用于：

从所述目标视频中所包括的至少两帧视频图像中确定满足预设条件的目标视频图像；

对所述目标视频图像进行卷积处理，获得对应的卷积特征图像，所述卷积特征图像中包括所述目标视频图像中包括的每个食材的图像特征；

根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征。

在一种可能的设计中，所述第二获取模块还用于：

确定所述卷积特征图像包括的至少一个候选区域，所述每个候选区域对应于所述目标视频图像中的一个食材；

对所述每个候选区域进行预判，以获得与所述每个候选区域所对应的目标框，每个目标框用于显示对应食材的食材类别，所述每个目标框的像素信息表征对应食材的位置信息，所述位置信息包括对应食材所处的存储层数；

对所述每个目标框进行滤波处理，获得所述容置设备中包括的每个食材的第一特征。

在一种可能的设计中，所述第三获取模块，用于：

分别确定所述每个第一特征在所述目标视频中包括的至少两帧视频图像中的像素位置；

按照所述目标视频中包括的至少两帧视频图像的图像顺序，依次连接所述每个第一特征的像素位置，以获得所述每个第一特征对应的运动轨迹。

在一种可能的设计中，所述确定模块，用于：

确定所述每个第一特征对应的运动轨迹的第一位置和第二位置，所述第一位置为起始位置，所述第二位置为终点位置；

根据所述第一位置和所述第二位置确定所述至少一种食材的存取信息。

第三方面，提供一种计算设备，所述计算设备包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面及任一可能的实施例中所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及任一可能的实施例中所述的方法。

第五方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的食材管理方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的食材管理方法的流程示意图；

图2为本申请实施例提供的Faster RCNN神经网络的结构框图；

图3为本申请实施例提供的Faster RCNN神经网络的网络训练结构框图；

图4为本申请实施例提供的食材管理装置的结构框图；

图5为本申请实施例提供的计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

如前所述的，在相关技术中，对食材进程存取时，通常是在存储食物的设备中安装摄像头，对该设备内的食材进行拍照，然后通过图像识别的方式，确认设备内放入的食材，以获取食材的存取信息，但是，当放入的食材种类和数量较多时，可能会存在物体重叠、食材相近等情况，因此，图像识别时可能会遗漏很多食材的存取信息。

鉴于此，本申请实施提供一种食材管理方法，通过该方法，可以从目标视频中包括的至少一帧视频图像中，获取到容置设备中包括的每个食材的第一特征，然后获取每个食材的第一特征在目标视频中的运动轨迹，就可以根据该运动轨迹确定出对应食材的存取情况。这样，由于每个第一特征是可以唯一标识容置设备中的一个食材的，因此，能够通过第一特征准确区分开相近的食材，而每个食材对应的移动轨迹是根据第一特征确定出的，因此，不仅能确保每个食材的移动轨迹的准确性，也能根据移动轨迹准确确定每个食材的存取情况。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。

请参见图1所示，图1为本申请实施例提供的一种食材管理方法。图1中的食材管理方法的流程描述如下：

步骤101：获取目标视频，目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息。

在一种可能的实施方式中，获取的目标视频可以是从容置设备被打开到关闭的整个过程内所拍摄到的视频图像，也可以是截取的整个过程中的某一个视频片段，在此不做限制。在具体的实施过程中，可以是在容置设备被打开时，拍摄视频的摄像头就自动启动进行拍摄，当容置设备被关闭后，摄像头就自动停止拍摄，以获取到目标视频，摄像头可以是设置在容置设备的顶端，以俯瞰的形式采集目标视频。需要说明的是，容置设备可以理解为是智能冰箱或者智能冰柜等用于存储食材的设备，也可以是其它可以用于存储食材的设备，在此也不做限制，在后续的实施例中，将以容置设备为智能冰箱为例进行说明。

步骤102：从目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识容置设备中的一个食材。

在具体的实施过程中，获取到的目标视频中包括至少两帧视频图像，每一帧视频图像中都包括有食材的图像信息，因此，可以从目标视频的至少一帧视频图像中确定智能冰箱中包括的每个食材的图像特征，为了便于描述，例如可以将每个食材的图像特征确定为是第一特征，然后就可以根据第一特征对每个食材进行目标跟踪，从而准确确定每个食材的存取情况。

在一种可能的实施方式中，在获取每个食材的第一特征时，可以是先从目标视频中包括的至少两帧视频图像中，确定出满足预设条件的目标视频图像，然后对该目标视频图像进行卷积处理，就能得到对应的卷积特征图像。卷积特征图像中包括目标视频图像中包括的每个食材的图像图特征，因此，根据该卷积特征图像，就可以获取到智能冰箱中包括的每个食材的图像特征。在具体的实施过程中，例如可以是将目标视频图像输入至相关的卷积神经网络(例如是VGG神经网络)里，进行卷积计算后获得对应的卷积特征图像。

在一种可能的实施方式中，预设条件可以是包括的食材数量最多，也就是说，从目标视频包括的多帧视频图像中确定出包括食材数量最多的那一帧视频图像，并将该视频图像确定为是目标视频图像，然后进行卷积处理，这样，卷积后得到的卷积特征图像中就可以包括较多的食材的图像特征，有利于后续的目标跟踪。

在另一种可能的实施方式中，预设条件也可以是包括的食材的种类最多，也就是说，从目标视频包括的多帧视频图像中确定出包括食材种类数目最多的那帧视频图像，然后将其作为目标视频图像，这样，在得到的卷积特征图像中就可以包括较多种类的食材的图像特征。

在另一种可能的实施方式中，也可以是直接将目标视频中的第一帧视频图像确定为是目标视频图像，或者是在目标视频中的前几帧，例如是前三帧视频图像中的任意一帧视频图像作为是目标视频图像，或者也可以是从目标视频包括的视频图像中随机抽取任意一帧视频图像作为目标视频，或者还可以通过其它方式确定目标视频图像，对于目标视频图像的确定方法，本申请实施例不做限制。

在一种可能的实施方式中，在获取到卷积特征图像后，可以确定其中包括的至少一个候选区域，该候选区域可以理解为是由网络判断的每个食材的位置候选区域，每个候选区域对应于目标视频图像中包括的一个食材，也即目标视频图像中的每个食材都有一个对应的候选区域。在获得多个候选区域之后，就可以对每个候选区域进行预判，进行预判的过程即可以理解为是预测每个候选区域对应的食材的类别以及位置，预判的结果可以通过目标框的形式进行显示，每个目标框中可以显示对应食材的食材类别，每个目标框的像素信息可以表征对应食材的位置信息，也就是说，每个目标框可以对应显示在相应的食材位置上。

在具体的实施过程中，例如可以是将获得的卷积特征图像输入到区域生成网络(Region Proposal Network，RPN)中，然后RPN网络对卷积特征图像进行卷积处理之后，就可以输出一些对应的候选区域，然后将这些候选区域和卷积特征图像一起输入到感兴趣区域池化层(Region of Interest Pooling，RoIPooling)，通过RoI Pooling进行分类处理，就可以得到相应的目标框。

需要说明的是，通过每个目标框的像素信息，可以确定对应食材所处的存储层数，也就是说，根据目标框的像素信息，可以具体确定出食材是存放在哪一层的，以及在具体的存储层上是位于哪一个具体的位置区域的。这样，可以准确识别出食材的存放位置。

在具体的实施过程中，在确定出目标框后，可以对目标框进行滤波处理，可以将目标框输入至相关的滤波网络中进行滤波，进行滤波的过程可以理解为是进行特征锁定的过程，每个食材所对应的特征可能包括很多个，对确定出的目标框进行滤波，即从多个特征中选择出一个具体的特征进行食材跟踪，这样，可以有效减少跟踪所需的数据量，简化食材跟踪的过程。通过滤波后锁定的特征也即为确定出的第一特征，通过对每个目标框进行过滤处理，就可以获得与智能冰箱中包括的每个食材的第一特征。

上述进行卷积处理的VGG卷积神经网络和RoI Pooling池化层可以统称为是基于区域的卷积神经网络(Faster Region-based Convolutional Neural Networks，FasterRCNN)，具体的请参见图2所示，图2为Faster RCNN神经网络的结构框图。在图2中，FasterRCNN包括卷积网络和RoI Pooling池化层，卷积网络用于提取特征，RoI Pooling池化层用于根据体悟的特征进行分类和回归。

下面结合图2，对通过使用Faster RCNN卷积神经网络获取目标框的过程进行详细说明。在获取到目标视频之后，可以将目标视频中包括的视频图像作为图像数据输入至VGG卷积神经网络中，VGG卷积神经网络将输入的图像数据进行卷积之后，就可以得到相应的卷积特征图像，即为图2中的Feature map，然后将卷积特征图像输入至RPN网络中进行筛选，RPN网络用于根据提取的特征进行区域选择，因此，经过RPN网络后就可以获取到对应的至少一个候选区域，接着将确定出的候选区域和卷积特征图像一起输入至RoI Pooling池化层中进行分类处理，最后将从RoI Pooling池化层中得出的数据流输入到全连接层(fullyconnected layers，FC)，通过其中的softmax函数进行类型识别并输出结果，也即输出目标框，目标框内显示识别的食材的类别，目标框的像素信息为对应食材的位置信息。

需要说明的是，在具体的实施过程中，可以是只获取目标视频图像的目标框，以通过目标视频图像对应的目标框获取食材的第一特征，也可以是对视频图像中包括的每一帧视频图像都进行目标框的获取过程，也即对每一帧视频图像中包括的食材分别进行标记，获得每帧视频图像中单个食材所对应的唯一的目标框，实现对每帧视频图像进行食材的识别判断。

在具体的实施方式中，在使用Faster RCNN之前，需要对该网络进行训练，例如，可以通过图3所示的方法对Faster RCNN神经网络进行网络训练。用于神经网络的训练库有两类，一类是网络库，另一类是自建库，网络库为目标深度学习网络训练的标准库，用于对整体网络和VGG网络进行权重参数的初始化设置；自建库用于对实际食材的识别，里面包含有已标注好的多种市面上所常用的食材照片，以及来自用户拍摄的一些食材照片数据。

在具体的训练过程中，需要先获取一些样本数据，也即获取相应的训练集，将训练集分别输入至VGG网络和RPN网络进行模型训练，训练网络后，再对整个Faster RCNN神经网络进行训练，训练完成后，此时各层网络权值已有粗略的分布，然后再对RPN网络和FasterRCNN神经网络进行训练和微调，就可以完成整个训练过程。自建库中一部分样本划分为测试集，用于网络训练结果的测试，在训练完成后，可以将这部分测试集输入到整个网络中进行测试，然后就可以通过该网络对食材进行准确识别。

步骤103：根据目标视频所包括的至少两帧视频图像，获取与每个第一特征对应的运动轨迹。

在一种可能的实施方式中，在确定出每个第一特征之后，就可以对每个第一特征进行跟踪，确定出每个第一特征的运动轨迹，也就确定出每个食材的运动轨迹。在具体的实施过程中，可以是分别确定每个第一特征在目标视频所包括的至少两帧视频图像中的像素位置，然后按照视频图像的图像顺序，依次连接每个第一特征的像素位置，就可以获得对应于每个第一特征的运动轨迹。

举例来说，例如，确定出的第一特征有三个，分别为第一特征1和第一特征2，第一特征1对应于食材1，第一特征2对应于食材2，当然，在具体的实施过程中，如果智能冰箱中存放的食材比较多，那么第一特征的数量也就会比较多，这里只是以获取到的第一特征有两个为例进行说明。假设获取的视频图像有三帧，按照图像顺序依次为视频图像1、视频图像2和视频图像3，然后，就分别确定出第一特征1和第一特征2在三帧视频图像中的像素位置，然后将第一特征1在视频图像1中的像素位置，与在视频图像2中的像素位置进行连接，然后再与视频图像3中的像素位置连接，就得到了第一特征1在目标视频图像中的运动轨迹，也即得到了食材1的移动轨迹。第一特征2确定运动轨迹的过程可以参照第一特征1的过程进行相同理解，在此不再赘述。

步骤104：根据与每个第一特征对应的运动轨迹，确定容置设备的食材的存取信息。

在一种可能的实施过程中，在确定出每个第一特征对应移动轨迹之后，就可以对应确定出每个食材的存取情况。继续以上述例子为例进行说明，例如，第一特征1的运动轨迹为从智能冰箱外部移动到了内部，那就表明是存储了第一特征1对应的食材，；或者第一特征1的运动轨迹是从智能冰箱的内部移动到了外部，那就表明是取出了第一特征1对应的食材；或者，第一特征1的运动轨迹可能是从某一存储层数移动到了另一存储层数，那么就表明第一特征1对应的食材更换了存储的具体的层数。

需要说明的是，由于确定出的目标框的像素位置可以表征对应食材的位置信息，而目标框是显示在食材的对应位置的，因此，食材移动的过程中，目标框也随着移动，目标框的像素信息也随着移动，因此，每个食材的目标框的像素信息可以实时标注食材的具体位置信息，而第一特征是通过对目标框进行滤波后得到的，因此，当某一食材从某一存储层移动到另一存储层后，都可以根据第一特征的运动轨迹准确确定出食材的移动情况；或者是某一食材在原本的存储层上移动到了该层的不同位置上，也可以根据第一特征的运动轨迹准确确定出食材的移动情况。

在具体的实施过程中，可以是根据智能冰箱的具体结构，将智能冰箱划分为不同的区域，例如可以包括冷藏1层、冷藏2层、冷藏3层和外部层，当存储了某一食材时，可以确定出具体是存储在了哪一层的，例如根据运动轨迹确定出该食材的第一特征是从外部区移动到冷藏1层的，那么就是将该食材存储在了冷藏1层。

在另一种可能的实施方式中，在确定出每个第一特征对应的运动轨迹后，也可以先确定每个运动轨迹的起始位置和终点位置，例如可以将运动轨迹的起始位置称为是第一位置，将运动轨迹的终点位置称为是第二位置。在确定出每个运动轨迹的第一位置和第二位置之后，就可以根据第一位置和第二位置确定对应食材的存取信息。

举例来说，例如某个第一特征的运动轨迹的第一位置在智能冰箱的外部，那么就说明该第一特征对应的食材开始是不存在于智能冰箱中的，然后确定其第二位置是在智能冰箱的内部，那就表明该食材最后是存储在智能冰箱中的，那就可以确定该食材被存入了智能冰箱中；或者，确定出的某个第一特征的运动轨迹的第一位置是在智能冰箱的内部的，那就说明该第一特征对应的食材开始是存储在智能冰箱中的，然后确定其第二位置是在智能冰箱的外部，那就表明该食材最后是不存在于智能冰箱中的，那就可以确定该食材从智能冰箱中被取出了。

或者某个第一特征的运动轨迹的第一位置在智能冰箱的内部，具体可以是在智能冰箱的冷藏1层上，那么就说明该第一特征对应的食材开始存储于智能冰箱中的冷藏1层的，然后确定其第二位置也是在智能冰箱的内部，具体的可以是在智能冰箱的冷藏3层上，那就表明该食材最后是存储在智能冰箱中的冷藏3层上的，那就可以确定该食材从冷藏1层移动到了冷藏3层上；或者某个第一特征的运动轨迹的第一位置在智能冰箱的内部，具体可以是在智能冰箱的冷藏2层上，那么就说明该第一特征对应的食材开始存储于智能冰箱中的冷藏2层的，并且可以确定其存储在冷藏2层的A位置，然后确定其第二位置也是在智能冰箱的内部，具体的可以是在智能冰箱的冷藏2层上，那就表明该食材最后也是存储在智能冰箱中的冷藏2层上的，但是最后存储的位置是冷藏2层的B位置，那就可以确定该食材在冷藏2层上由位置A被移动到了位置B上。

在本申请实施例中，可以从目标视频中包括的至少一帧视频图像中，获取到容置设备中包括的每个食材的第一特征，然后获取每个食材的第一特征在目标视频中的运动轨迹，就可以根据该运动轨迹确定出对应食材的存取情况。由于每个第一特征是可以唯一标识容置设备中的一个食材的，因此，能够通过第一特征准确区分开相近的食材，这样，在对相近的食材进行存取时，能够准确获取每一个食材的具体存取情况，并且，在存在物体重叠时，也能通过对应第一特征确定出存储的具体食材。而且，每个食材对应的移动轨迹是根据第一特征确定出的，不仅能确保每个食材的移动轨迹的准确性，也能根据移动轨迹准确确定食材的存取情况，避免出现拿出食材再放进去时，无法准确识别用户的存取动作的情况。

基于同一发明构思，本申请实施例提供了一种食材管理装置，该食材管理装置能够实现前述的食材管理方法对应的功能。该食材管理装置可以是硬件结构、软件模块、或者硬件结构加软件模块。该食材管理装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4所示，该食材管理装置包括第一获取模块401、第二获取模块402、第三获取模块403和确定模块404。其中：

第一获取模块401，用于获取目标视频，目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；

第二获取模块402，用于从目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识容置设备中的一个食材；

第三获取模块403，用于根据目标视频所包括的至少两帧视频图像，获取与每个第一特征对应的运动轨迹；

确定模块404，用于根据与每个第一特征对应的运动轨迹，确定容置设备的食材的存取信息。

在一种可能的实施方式中，第二获取模块402，用于：

从目标视频中所包括的至少两帧视频图像中确定满足预设条件的目标视频图像；

对目标视频图像进行卷积处理，获得对应的卷积特征图像，卷积特征图像中包括目标视频图像中包括的每个食材的图像特征；

根据卷积特征图像，确定容置设备中包括的每个食材的第一特征。

在一种可能的实施方式中，第二获取模块402还用于：

确定卷积特征图像包括的至少一个候选区域，每个候选区域对应于目标视频图像中的一个食材；

对每个候选区域进行预判，以获得与每个候选区域所对应的目标框，每个目标框用于显示对应食材的食材类别，每个目标框的像素信息表征对应食材的位置信息，位置信息包括对应食材所处的存储层数；

对每个目标框进行滤波处理，获得容置设备中包括的每个食材的第一特征。

在一种可能的实施方式中，第三获取模块403，用于：

分别确定每个第一特征在目标视频中包括的至少两帧视频图像中的像素位置；

按照目标视频中包括的至少两帧视频图像的图像顺序，依次连接每个第一特征的像素位置，以获得每个第一特征对应的运动轨迹。

在一种可能的实施方式中，确定模块404，用于：

确定每个第一特征对应的运动轨迹的第一位置和第二位置，第一位置为起始位置，第二位置为终点位置；

根据第一位置和第二位置确定至少一种食材的存取信息。

前述的食材管理方法的实施例涉及的各步骤的所有相关内容均可援引到本申请施例中的食材管理装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本申请实施例提供一种计算设备。请参见图5所示，该计算设备包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例，总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例中的计算设备还可以包括通信接口503，该通信接口503例如是网口，计算设备可以通过该通信接口503接收数据或者发送数据。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的食材管理方法中所包括的步骤。

其中，处理器501是计算设备的控制中心，可以利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的食材管理方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器501进行设计编程，可以将前述实施例中介绍的食材管理方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的食材管理方法的步骤，如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的食材管理方法的步骤。

在一些可能的实施方式中，本申请提供的食材管理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算设备上运行时，程序代码用于使该计算设备执行本说明书上述描述的根据本申请各种示例性实施方式的食材管理方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种食材管理方法，其特征在于，所述方法包括：

获取目标视频，所述目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；

从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识所述容置设备中的一个食材；

根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹；

根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息。

2.如权利要求1所述的方法，其特征在于，从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，包括：

从所述目标视频中所包括的至少两帧视频图像中确定满足预设条件的目标视频图像；

对所述目标视频图像进行卷积处理，获得对应的卷积特征图像，所述卷积特征图像中包括所述目标视频图像中包括的每个食材的图像特征；

根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征。

3.如权利要求2所述的方法，其特征在于，根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征，包括：

确定所述卷积特征图像包括的至少一个候选区域，所述每个候选区域对应于所述目标视频图像中的一个食材；

对所述每个候选区域进行预判，以获得与所述每个候选区域所对应的目标框，每个目标框用于显示对应食材的食材类别，所述每个目标框的像素信息表征对应食材的位置信息，所述位置信息包括对应食材所处的存储层数；

对所述每个目标框进行滤波处理，获得所述容置设备中包括的每个食材的第一特征。

4.如权利要求1-3任一所述的方法，其特征在于，根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹，包括：

分别确定所述每个第一特征在所述目标视频中包括的至少两帧视频图像中的像素位置；

按照所述目标视频中包括的至少两帧视频图像的图像顺序，依次连接所述每个第一特征的像素位置，以获得所述每个第一特征对应的运动轨迹。

5.如权利要求4所述的方法，其特征在于，根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息，包括：

确定所述每个第一特征对应的运动轨迹的第一位置和第二位置，所述第一位置为起始位置，所述第二位置为终点位置；

根据所述第一位置和所述第二位置确定所述至少一种食材的存取信息。

6.一种食材管理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标视频，所述目标视频中包括至少两帧视频图像，每一帧视频图像包括食材的图像信息；

第二获取模块，用于从所述目标视频的至少一帧视频图像中获取容置设备中包括的每个食材的第一特征，每个第一特征用于唯一标识所述容置设备中的一个食材；

第三获取模块，用于根据所述目标视频所包括的至少两帧视频图像，获取与所述每个第一特征对应的运动轨迹；

确定模块，用于根据与所述每个第一特征对应的运动轨迹，确定所述容置设备的食材的存取信息。

7.如权利要求6所述的装置，其特征在于，所述第二获取模块，用于：

从所述目标视频中所包括的至少两帧视频图像中确定满足预设条件的目标视频图像；

对所述目标视频图像进行卷积处理，获得对应的卷积特征图像，所述卷积特征图像中包括所述目标视频图像中包括的每个食材的图像特征；

根据所述卷积特征图像，确定所述容置设备中包括的每个食材的第一特征。

8.如权利要求7所述的装置，其特征在于，所述第二获取模块还用于：

确定所述卷积特征图像包括的至少一个候选区域，所述每个候选区域对应于所述目标视频图像中的一个食材；

对所述每个候选区域进行预判，以获得与所述每个候选区域所对应的目标框，每个目标框用于显示对应食材的食材类别，所述每个目标框的像素信息表征对应食材的位置信息，所述位置信息包括对应食材所处的存储层数；

对所述每个目标框进行滤波处理，获得所述容置设备中包括的每个食材的第一特征。

9.如权利要求6-8任一所述的装置，其特征在于，所述第三获取模块，用于：

分别确定所述每个第一特征在所述目标视频中包括的至少两帧视频图像中的像素位置；

按照所述目标视频中包括的至少两帧视频图像的图像顺序，依次连接所述每个第一特征的像素位置，以获得所述每个第一特征对应的运动轨迹。

10.如权利要求9所述的装置，其特征在于，所述确定模块，用于：

确定所述每个第一特征对应的运动轨迹的第一位置和第二位置，所述第一位置为起始位置，所述第二位置为终点位置；

根据所述第一位置和所述第二位置确定所述至少一种食材的存取信息。

11.一种计算设备，其特征在于，所述计算设备包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。

Images