[go: up one dir, main page]

CN105164481A - 利用影像识别的冰箱的保管品目管理方法及其冰箱 - Google Patents

利用影像识别的冰箱的保管品目管理方法及其冰箱 Download PDF

Info

Publication number
CN105164481A
CN105164481A CN201380076316.2A CN201380076316A CN105164481A CN 105164481 A CN105164481 A CN 105164481A CN 201380076316 A CN201380076316 A CN 201380076316A CN 105164481 A CN105164481 A CN 105164481A
Authority
CN
China
Prior art keywords
mentioned
refrigerator
article
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380076316.2A
Other languages
English (en)
Inventor
李廷浩
尹正锡
白承珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105164481A publication Critical patent/CN105164481A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供一种冰箱，其包括：拍摄部，其将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频；数据存储部，其存储上述物品存取视频、能够保管于冰箱的物品信息以及保管品目信息；控制部，其基于对上述物品存取视频进行视觉识别来检测出的光流，来识别物品的存取，并且基于通过对上述物品的存取的视觉识别来生成的识别信息以及存储在上述数据存储部的上述物品信息，来更新上述冰箱的保管品目信息；以及显示部，其基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示。

Description

利用影像识别的冰箱的保管品目管理方法及其冰箱
技术领域
本发明涉及利用影像识别的冰箱的保管品目管理方法及其冰箱，详细而言，在该利用影像识别的冰箱的保管品目管理方法及其冰箱中，在冰箱上安装摄像头，通过对该摄像头所获取的影像利用影像识别技术来识别并管理针对冰箱的保管物品的存取。
背景技术
冰箱是以低温保管食品来防止食品的腐烂的手段，但是在低温下细菌的繁殖活动不会完全停止，因此若将食品保管在冰箱中，则与未保管的情况相比保存期间变长，但是无法完全抑制腐烂。
在现有的冰箱中保管食品时，保管的时机根据食品类别而不同，难以准确地掌握所保管的很多食品的位置，因此存在食品的保管期间增加或存储后难以掌握经过日期的问题。
并且，还有以下功能：用户在将任意的食品容纳在冰箱中时利用键盘/触摸屏等来制作所拥有的冰箱品目以及流通期限等，提供以此为基础的信息，或者仅仅从冰箱外部监控内部。
但是，这在用户的方便性方面存在很多缺点。并且，在没有进行输入以及修正而存储食品的情况下，有可能频繁产生实际容纳在冰箱中的冰箱保管品目与所提供的信息相互不同的情况。
发明内容
技术课题
本发明要解决的技术课题是提供一种利用影像识别的冰箱的保管品目管理方法及其冰箱，其能够在用户将包括各种食品的保管品目在冰箱中存取时对此进行自动识别来对数据库进行登录/删除/修正，对于没有识别出哪种品目的情况，能够使用户利用声音、触摸屏、键盘等登录，从而能够提供准确的信息，并且能够提高用户的方便性。
课题解决手段
根据本发明的一个方案，提供一种冰箱，其包括：拍摄部，其将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频；数据存储部，其存储上述物品存取视频、能够保管于冰箱的物品信息以及保管品目信息；控制部，其基于对上述物品存取视频进行视觉识别来检测出的光流，来识别物品的存取，并且基于通过对上述物品的存取的视觉识别来生成的识别信息以及存储在上述数据存储部的上述物品信息，来更新上述冰箱的保管品目信息；以及显示部，其基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示。
上述冰箱还可以包括声音输入部，其获取在上述冰箱中存取物品时产生的声音信息以及为进行物品管理而由用户产生的声音信息。
上述控制部还可以包括：存取识别部，其通过对由上述拍摄部生成的视频进行视觉识别来检测光流，并且基于所检测出的上述光流来识别物品的存取；物体区域检测部，其从上述物品存取视频检测出物体区域；特征提取部，其从所检测出的上述物体区域中提取该物体的特征点；以及保管品目管理部，其基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息以及所存储的上述物品信息，来对上述冰箱的保管品目信息进行更新并管理。
上述存取识别部能够基于所检测出的上述光流来从视频中检测出针对物品的运动矢量，并且基于所检测出的上述运动矢量来识别该物品的存取。
上述物体区域检测部能够在识别出上述物品的存取的情况下，捕获上述存取视频，并对所捕获的帧和已存储的背景影像的差异进行计算，从而分离检测出用户的手臂和物体所占的区域。
上述物体区域检测部能够将由上述拍摄部获取的影像的每个帧利用高斯模型进行累积，从而获取平均背景影像并生成上述已存储的背景影像。
上述特征提取部能够在从自上述存取视频捕获的影像分离的区域中提取物品的特征，并基于所提取的物品的特征，检索存储在上述冰箱内部的本地数据库或者由上述冰箱外部提供的全局数据库，由此执行物品识别。
上述保管物品管理部能够基于通过检索存储在上述冰箱内部的本地数据库和由上述冰箱外部提供的全局数据库而识别成功的物品信息、以及由用户输入的物品信息，来更新保管品目。
上述保管物品管理部能够对于影像识别失败的上述物品，通过接受用户的输入，来确定该物品信息，并更新上述保管品目。
上述保管物品管理部能够基于已存储的影像补丁的方向模型来检索物品影像的特征所属的类型，并且存储该物品所具有的特征的类型以及几何学位置关系。
根据本发明的另一方案，提供一种利用影像识别的冰箱的保管品目管理方法，其包括：将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频的步骤；通过对上述物品存取视频进行视觉识别来识别物品的存取，基于针对上述物品的存取的利用视觉识别生成的识别信息以及已存储的上述物品信息，来更新已存储的冰箱的保管品目信息的步骤；以及基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示的步骤。
上述利用影像识别的冰箱的保管品目管理方法还可以包括：将上述生成的视频累积并存储的步骤；以及基于累积并存储的上述视频来执行视频的背景模型化的步骤。
在执行上述视频的背景模型化的步骤中，能够根据所存储的上述视频来确定上述冰箱的除了保管物品和手之外的背景区域。
在上述背景模型化中，能够基于累积存储于上述数据存储部的视频信息，通过比较每个影像帧来确定背景区域。
更新上述品目信息的步骤可以包括：通过对上述物品存取视频进行视觉识别来识别物品的存取并生成识别信息的步骤；基于所生成的识别信息来从上述物品存取视频中分离物体区域的步骤；基于所存储的上述物品信息来从上述分离的物体区域中提取该物品的特征点的步骤；以及基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息、以及所存储的上述物品信息，对上述冰箱的保管品目信息进行更新并管理的步骤。
生成上述识别信息的步骤可以包括：通过对由上述拍摄部生成的视频进行视觉识别来检测光流的步骤；基于检测出的上述光流来从视频中检测出针对物品的运动矢量的步骤；以及基于检测出的上述运动矢量来识别该物品的存取的步骤。
在提取上述物品的特征点的步骤中，能够在检索物品时从物体中提取已存储的物品的特征，并根据具有多少类似的类型的特征来提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
上述利用影像识别的冰箱的保管品目管理方法还可以包括：将针对存储在上述冰箱内的保管品目以及数量的信息、用于供用户确认存储了一定期间以上的物品的变质与否的通知信息，提供给冰箱外部装置、便携式设备、或者电子邮箱的步骤。
上述利用影像识别的冰箱的保管品目管理方法还可以包括：按照保管品目类别将用户的利用统计以及冰箱内物品的位置信息向用户显示的步骤。
上述利用影像识别的冰箱的保管品目管理方法还可以包括：将上述冰箱内的物品的库存信息向用于用户的购物的外部装置提供的步骤。
发明效果
根据本发明，通过对在冰箱中存取的包括各种食品的保管品目进行视频拍摄及视觉识别，能够识别保管品目的存取。
随之，不需要为了冰箱的保管品目的存取管理而由用户执行追加作业。即，省略了由用户将物品逐一接触条形码阅读器或者登录的以往的繁杂的步骤，能够提高用户的方便性。
并且，在冰箱中针对任意的保管品目的储存或取出的判断与否不是由用户的登录来进行，而是通过视觉识别来自动实现，因此能够准确地管理冰箱的保管物品。
根据本发明，能够确认关于在冰箱中管理的包括食品的各种保管品目的信息，根据确认的内容有效地进行食品管理。
并且，根据本发明，能够利用本地数据库来执行包括食品的各种保管品目的管理。虽然能够容纳在冰箱中的食品的种类非常多，但是一台能够存储的食品是100多个左右，根据这一点，由于利用本地数据库，在存取时能够提高食品识别的速度以及准确性。
附图说明
图1是执行根据本发明的一个实施例的利用影像识别的冰箱保管品目管理方法的冰箱的结构框图。
图2是用于说明根据本发明的一个实施例的冰箱的控制部的结构框图。
图3是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
图4是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
图5是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
具体实施方式
以下，参照附图对本发明的各实施例进行详细说明。后面介绍的各实施例是为了向本领域技术人员充分地传递本发明的思想而提供的例子。因此，本发明不限于以下说明的各实施例，而能够以其他形式来具体实现。而且，在各附图中，为了便于表示而将结构要素的宽度、长度、厚度等夸张表现。在整个说明书中相同的附图标记表示相同的结构要素。以下的说明中所使用的针对结构要素的后缀“模块”以及“部”是仅考虑说明书制作的容易性而附加或混用，其自身并不具有相互区别的意思或作用。
图1是执行根据本发明的一个实施例的利用影像识别的冰箱的保管品目管理方法的冰箱的结构框图。
参照图1，根据本发明的一个实施例的冰箱100包括输入部110、显示部120、数据存储部130、拍摄部140、声音输入部150、控制部160、声音输出部170、通信部180而构成。
输入部110是为了管理冰箱的保管品目而用于接受所输入的用户的命令的输入装置。例如，输入部130包括触摸面板、键盘。
显示部120能够显示关于保管品目的信息。显示部120能够显示储藏在冰箱中的各种物品的信息、物品管理信息。显示部120能够向用户显示物品的识别内容/识别确认质疑/用户输入内容/拥有物品信息/数据库内容等。
数据存储部130能够存储物品信息。物品信息包括关于物品自身的信息(物品自身信息)以及关于物品管理的信息(物品管理信息)。
物品自身信息作为一例包括物品种类、物品名称、物品形状或者物品重量信息，物品管理信息包括物品的保管位置、保管量、保管期间或者存取履历之类的信息。
数据存储部130由全局数据库以及本地数据库构成。全局数据库能够存储市场中流通的工业品以及水果/蔬菜等的影像以及针对影像特征的数据。
本地数据库能够存储对储存在冰箱中的物品进行拍摄得到的影像以及包括该影像的特征的数据，或者存储拍摄冰箱内部得到的影像以及物品的目录。并且，本地数据库在对于该物品的数据已经存在于全局数据库中的情况下。也将该物品的数据进行重复存储。
拍摄部140将在冰箱100中存取的物品拍摄成视频来获取物品的影像。拍摄部140为了获取视频及静止影像，还可以具备安装在冰箱内部或者外部的一个以上的摄像头。
拍摄部140所拍摄的区域包括冰箱内部的保鲜间(水果/蔬菜)、普通间、门内侧间、冷冻室以及冰箱外部。由拍摄部140获取的影像能够用于对在冰箱中储存或取出任意的物品的情况进行识别。
声音输入部150能够获取在冰箱100的物品存取时有可能产生的声音信息以及为了进行物品管理而由用户产生的声音信息。
声音输入部150为了在品目的储存/取出时设定针对物品的信息而能够获取由用户输入的声音命令。例如，声音输入部150具备安装在冰箱的方向性麦克风。
通过声音输入部150获取的用户的声音信息能够用于用户确认和修正由拍摄部140识别出的物品。
并且，由声音输入部150获取的用户的声音信息能够用于输入不包含在服务器数据库以及本地数据库中的针对物品的信息。
控制部160从拍摄部110所获取的影像中提取物品的区域，并从所提取的物品的区域中提取物品的特征。
控制部160通过将所提取的影像与数据存储部130的物品信息进行比较来执行对物品的识别。
并且，控制部160对在冰箱门打开前后的冰箱内获取的影像进行比较，从冰箱的影像中检索产生变化的区域，从而还能够检测物品的存取或者位置变化。并且，控制部160对从声音输入部120输入的用户声音命令进行识别并将其转换成文字。
通信部180在由用户利用外部设备检索数据的情况下，或者将针对储藏在冰箱100内一定期间以上而需要确认变质与否的物品的品目的通知信息传输给外部设备时，执行所需的数据的传输作业。
在如此构成的冰箱中利用冰箱的影像识别的物品管理方法如下所述。
若打开冰箱门，则由拍摄部120开始拍摄视频。拍摄部120继续累积视频而构成背景。该视频在以后能够用于分离物体区域。
控制部160可从拍摄部120所获取的视频中通过光流(opticalflow)来连续扫描运动的像素的方向。
控制部160可通过扫描结果来识别出用户的手臂进入冰箱内后再退出的情况。
控制部160在产生了存取事件的情况下，能够利用该场面的视频和之前构成的背景模型来分离物品以及用户手臂的区域。控制部160从所分离的区域中提取特征并存储到本地数据库中，或者从本地数据库或者全局数据库中进行检索。
在冰箱中储存或者取出的物品的名称能够利用针对由声音输入部150获取的声音的声音识别或者由输入部110输入的用户输入来指定。
控制部160能够在视频中检测运动矢量(motionvector)来识别物品的储存或者取出。控制部160在视频中存在物品的运动时，通过光流(opticalflow)而能够检测运动矢量。
控制部160能够利用在为了在冰箱100中储存物品或者从冰箱取出物品而用户的手臂进入冰箱内或者退出时的主要(dominant)运动矢量的方向相互相反的情况。
为此，控制部160对运动矢量的方向和整个画面对比运动矢量的量进行模拟，基于其模拟结果来设定临界值。控制部160基于已设定的临界值来获知物品的存取与否。
控制部160能够从影像中分离检测出物体区域。
物体区域的分离利用在继续累积视频的各帧时能够将变化少的部分划分为背景的技术。
即，控制部160将由拍摄部110获取的影像的每个帧利用高斯模型来累积，从而能够获取平均背景影像。
然后，控制部160对所捕获的识别出物品的存取的帧与所获取的背景影像的差异进行计算，从而大致获取用户的手臂和物体所占的区域。
控制部160在此基础上，利用边缘(edge)影像来大致获取手臂的位置，从而能够分离出物品的区域。
控制部160能够从所分离出的物品的区域中提取物品的特征。
在冰箱100中存取的物品经常产生变形，因此控制部160在物品识别中要利用物品的坚硬(不容易变形)的特征。
作为对物品的变形坚硬的基准点的提取方法，例如能够使用拐角点、SIFT、SURE、MSER等。这些基准点提取方法是对高斯的检测拉普拉斯算子不变的位置的方法进行变形得到的方法。
控制部160在为了影像识别而检测出该位置时要存储其周边区域的特征(descriptor)，能够使用影像补丁、边缘直方图(edgehistogram)、颜色(color)、质感图案(texturepattern)、最大区域模型(extremalregionshape)等。
在此，控制部160使用影像补丁的方向模型作为特征，能够将在日常生活中有可能存在的大部分特征训练成K-Dtree形式。
并且，控制部160通过这种训练过程迅速检索物品影像的特征属于哪种类型，并存储该物品所具有的特征的类型以及几何学位置关系，从而能够构筑数据库。
控制部160在检索物品时从物体中提取存储在数据存储部130的物品的特征，并根据具有多少类似的类型的特征而在数据库中提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
此时，在冰箱100中物品管理功能能够以独立(standalone)形来实现，能够以服务器基础形来实现。
独立方式是如下方式，在输入部110、显示部120、数据存储部130、拍摄部140、声音输入部150、控制部160、声音输出部170、通信部180全部在冰箱中实现的状态下，存取识别、物品区域分离、从分离区域的物品的影像中提取复杂的特征的提取过程以及识别过程均在冰箱内独立实现。
服务器基础方式是如下方式，在输入部110、显示部120、数据存储部130、拍摄部140、声音输入部150、控制部160、声音输出部170、通信部180在冰箱中实现的状态下，存取识别以及物品区域分离在冰箱中实现，从分离区域的物品的影像中提取复杂的特征的提取过程以及识别过程在服务器中实现。
图2是用于说明根据本发明的一个实施例的冰箱的控制部的结构框图。
参照图2，在根据本发明的一个实施例的冰箱中，控制部160包括存取识别部161、物体区域检测部162、特征提取部163、以及保管品目管理部164而构成。
存取识别部161能够通过对由拍摄部140生成的视频进行视觉识别来检测光流。存取识别部161通过所检测出的光流来识别物品的存取。
存取识别部161能够基于所检测出的光流从视频中检测出针对物品的运动矢量。存取识别部161能够基于所检测出的运动矢量来识别该物品的存取。
物体区域检测部162基于物品存取视频来检测物体区域。
物体区域检测部162在识别出物品的存取的情况下，能够捕获存取视频。物体区域检测部162对所捕获的帧与已存储的背景影像的差异进行计算，从而分离检测出用户的手臂和物体所占的区域。
物体区域检测部162能够将由拍摄部140获取的影像的每个帧利用高斯模型来累积，从而获取平均背景影像并生成已存储的背景影像。
特征提取部163从由物体区域检测部162检测出的物体区域中提取该物体的特征点。
特征提取部163在从自存取视频捕获的影像中分离的区域中提取物品的特征。
特征提取部163能够基于所提取的物品的特征，检索存储在冰箱内部的本地数据库或由冰箱外部提供的全局数据库，来执行物品识别。
保管品目管理部164能够基于针对物品的存取的识别信息、针对所提取的特征点的特征点信息、所存储的物品信息，对冰箱的保管品目信息进行更新并管理。
保管物品管理部164能够基于通过检索存储在冰箱内部的本地数据库和由冰箱外部提供的全局数据库而识别成功的物品信息、以及用户输入的物品信息，来更新保管品目。
保管物品管理部164对于影像识别失败的物品，通过接受用户的输入，来确定该物品信息，并更新保管品目。
保管物品管理部164能够基于已存储的影像补丁的方向模型来检索物品影像的特征属于哪种类型。保管物品管理部164能够存储该物品所具有的特征的类型以及几何学位置关系。
图3以及图4是用于说明根据本发明的一个实施例的利用影像识别的冰箱的物品管理方法的流程图。
参照图3以及图4，拍摄部140在检测到冰箱100的门打开时，开始拍摄视频，并生成物品存取视频(S1)。
控制部160将由拍摄部140生成的视频累积并存储到数据存储部130中(S2)。
控制部160基于累积并存储在数据存储部130中的视频，来执行视频的背景模型化(backgroundmodeling)(S3)。背景模型化是根据存储在数据存储部130中的视频确定冰箱100的除了物品和手之外的背景区域的过程。背景模型化基于所累积的视频信息，通过比较每个影像帧来确定背景区域。
控制部160对于由拍摄部120生成的视频，通过视觉识别来检测光流(opticalflow)(S4)。由控制部160进行的光流检测能够通过对在视频内运动的像素的方向进行连续的扫描来实现。控制部160通过视频的扫描结果能够识别为进行物品的存取而用户的手臂进入冰箱内后退出的情况。
控制部160能够从视频中检测运动矢量(motionvector)来识别物品的储存或者取出。控制部160在视频中存在物品的运动时，能够通过光流(opticalflow)检测运动矢量。
控制部160能够利用为了在冰箱100中储存物品或者从冰箱中取出物品而用户的手臂进入冰箱内或者退出时的主要(dominant)运动矢量的方向相互相反的情况。
为此，控制部160对运动矢量的方向和整个画面对比运动矢量的量进行模拟，基于其模拟结果设定临界值。控制部160基于所设定的临界值能够获知物品的存取与否。
控制部160基于光流检测结果，判断是否产生了针对冰箱的物品的储存或者取出事件(S5)。
在判定为产生了储存或者取出事件的情况下，控制部160通过捕获该时刻的视频来生成捕获影像并存储到数据存储部130(S6)。
控制部160在通过储存或者取出事件的产生而生成的捕获影像中分离物品以及用户手臂的区域(S7)。与从捕获影像中分离物品以及用户手臂的区域相同，在影像中分离物体区域能够利用在数据存储部130中已存储的背景信息来实现。
物体区域分离是利用若继续累积视频的各帧则运动少的部分被区分成背景的技术。
即，控制部160将由拍摄部110获取的影像的每个帧利用高斯模型进行累积，从而能够获取平均背景影像。
然后，控制部160对识别出物品的存取而捕获的帧和所获取的背景影像的差异进行计算，从而大致获取用户的手臂和物体所占的区域。
控制部160在此基础上，利用边缘(edge)影像能够大致获取手臂的位置，因此能够分离物品的区域。
控制部160能够从所分离的物品的区域中提取物品的特征。
在冰箱100中存取的物品经常产生变形，因此控制部160在物品识别中要使用物品的坚硬特征。
作为对物品的变形坚硬的基准点提取方法，例如能够使用拐角点、SIFT、SURE、MSER等。这些基准点提取方法是在检测高斯的拉普拉斯算子不变的地点的方法中进行了变形的方法。
控制部160若为了影像识而检测该地点，则要存储其周边区域的特征(descriptor)，能够利用影像补丁、边缘直方图(edgehistogram)、颜色(color)、质感图案(texturepattern)、最大区域模型(extremalregionshape)等。
在此，控制部160使用影像补丁的方向模型作为特征，能够将日常生活中有可能存在的大部分特征训练成K-Dtree形式。
并且，控制部160通过这种训练过程来迅速检索物品影像的特征属于哪种类型，存储该物品所具有的特征的类型以及几何学位置关系，从而能够构筑数据库。
控制部160从自捕获影像中分离的区域中提取物品的特征(S8)。
控制部160基于所提取的物品的特征，通过从本地数据库或者全局数据库中进行的检索来执行物品识别(S9)。
物品识别通过检索是否存在具有与在本地数据库或者全局数据库内提取的物品的特征相匹配的特征的物品信息来实现。在此，匹配意味着所设定的范围内的一致。
控制部160在检索物品时从物体中提取存储在数据存储部130中的物品的特征，并根据具有多少类似的类型的特征从数据库中提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
控制部160对于所提取的任意的物品特征，根据是否检测到与本地数据库或者全局数据库内匹配的物品信息，判断物品识别成功与否(S10)。
控制部160对于所提取的任意的物品特征，若检测到与本地数据库或者全局数据库内匹配的物品信息，则判定为识别成功，否则判定为失败。
控制部160对于识别失败的物品，接受用户的输入，确定该物品信息(S11)。例如，在冰箱中储存或者取出的物品的名称能够利用针对由声音输入部150获取的声音的声音识别或者由输入部110输入的用户输入来指定。
控制部160将针对物品识别成功或者通过用户输入来指定的物品而提取的物品的特征存储在数据存储部160(S12)。
控制部160基于被区分为本地数据库和全局数据库的识别成功的物品信息和根据用户输入的物品信息，更新保管品目(S13)。
控制部160将包括更新后的保管品目的物品信息显示在显示部120(S14)。
图5是用于说明根据本发明的一个实施例的利用影像识别的冰箱的保管品目管理方法的流程图。
参照图5，控制部160在利用冰箱的影像识别更新冰箱的保管品目之后，能够提供针对当前存储在冰箱内的保管品目以及数量的信息(S21)。
控制部160为了供用户对存储了一定期间以上的物品确认变质与否，而将通知信息自动提供给冰箱外部装置、便携式设备、或者电子邮箱等(S22)。
并且，控制部160能够按照保管品目类别提供用户的利用统计，或者将冰箱内物品的位置信息提供给显示部120(S23)。
而且，控制部160能够自动提供如果菜类那样容易放坏的物品的流通期限(S24)。
并且，控制部160为了对用户的购物提供参考，能够将冰箱内物品的库存信息提供给智能手机之类的外部装置(S25)。
至此为止对本发明的具体实施例进行了说明，当然在不脱离本发明的范围的限度内能够进行各种各样的变形。因此，本发明的范围不限于已经说明的实施例，应由后面叙述的权利要求书及其等同物所确定。

Claims (20)

1.一种冰箱，其特征在于，包括：
拍摄部，其将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频；
数据存储部，其存储上述物品存取视频、能够保管于冰箱的物品信息以及保管品目信息；
控制部，其基于对上述物品存取视频进行视觉识别来检测出的光流，来识别物品的存取，并且基于通过对上述物品的存取的视觉识别来生成的识别信息以及存储在上述数据存储部的上述物品信息，来更新上述冰箱的保管品目信息；以及
显示部，其基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示。
2.根据权利要求1所述的冰箱，其特征在于，
还包括声音输入部，其获取在上述冰箱中存取物品时产生的声音信息以及为进行物品管理而由用户产生的声音信息。
3.根据权利要求1所述的冰箱，其特征在于，
上述控制部包括：
存取识别部，其通过对由上述拍摄部生成的视频进行视觉识别来检测光流，并且基于所检测出的上述光流来识别物品的存取；
物体区域检测部，其从上述物品存取视频检测出物体区域；
特征提取部，其从所检测出的上述物体区域中提取该物体的特征点；以及
保管品目管理部，其基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息以及所存储的上述物品信息，来对上述冰箱的保管品目信息进行更新并管理。
4.根据权利要求3所述的冰箱，其特征在于，
上述存取识别部基于所检测出的上述光流来从视频中检测出针对物品的运动矢量，并且基于所检测出的上述运动矢量来识别该物品的存取。
5.根据权利要求3所述的冰箱，其特征在于，
上述物体区域检测部在识别出上述物品的存取的情况下，捕获上述存取视频，并对所捕获的帧和已存储的背景影像的差异进行计算，从而分离检测出用户的手臂和物体所占的区域。
6.根据权利要求5所述的冰箱，其特征在于，
上述物体区域检测部将由上述拍摄部获取的影像的每个帧利用高斯模型进行累积，从而获取平均背景影像并生成上述已存储的背景影像。
7.根据权利要求3所述的冰箱，其特征在于，
上述特征提取部在从自上述存取视频捕获的影像分离的区域中提取物品的特征，并基于所提取的物品的特征，检索存储在上述冰箱内部的本地数据库或者由上述冰箱外部提供的全局数据库，由此执行物品识别。
8.根据权利要求3所述的冰箱，其特征在于，
上述保管物品管理部基于通过检索存储在上述冰箱内部的本地数据库和由上述冰箱外部提供的全局数据库而识别成功的物品信息、以及由用户输入的物品信息，来更新保管品目。
9.根据权利要求1所述的冰箱，其特征在于，
上述保管物品管理部，对于影像识别失败的上述物品，通过接受用户的输入，来确定该物品信息，并更新上述保管品目。
10.根据权利要求1所述的冰箱，其特征在于，
上述保管物品管理部基于已存储的影像补丁的方向模型来检索物品影像的特征所属的类型，并且存储该物品所具有的特征的类型以及几何学位置关系。
11.一种利用影像识别的冰箱的保管品目管理方法，其特征在于，
包括：
将在冰箱中存取的保管物品拍摄成视频来生成物品存取视频的步骤；
通过对上述物品存取视频进行视觉识别来识别物品的存取，基于针对上述物品的存取的利用视觉识别生成的识别信息以及已存储的上述物品信息，来更新已存储的冰箱的保管品目信息的步骤；以及
基于更新后的上述保管品目信息来将保管品目的管理现状向用户显示的步骤。
12.根据权利要求11所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，还包括：
将上述生成的视频累积并存储的步骤；以及
基于累积并存储的上述视频来执行视频的背景模型化的步骤。
13.根据权利要求12所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
在执行上述视频的背景模型化的步骤中，根据所存储的上述视频来确定上述冰箱的除了保管物品和手之外的背景区域。
14.根据权利要求13所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
在上述背景模型化中，基于累积存储于上述数据存储部的视频信息，通过比较每个影像帧来确定背景区域。
15.根据权利要求11所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
更新上述品目信息的步骤包括：
通过对上述物品存取视频进行视觉识别来识别物品的存取并生成识别信息的步骤；
基于所生成的识别信息来从上述物品存取视频中分离物体区域的步骤；
基于所存储的上述物品信息来从上述分离的物体区域中提取该物品的特征点的步骤；以及
基于针对上述物品的存取的识别信息、针对所提取的上述特征点的特征点信息、以及所存储的上述物品信息，对上述冰箱的保管品目信息进行更新并管理的步骤。
16.根据权利要求15所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
生成上述识别信息的步骤包括：
通过对由上述拍摄部生成的视频进行视觉识别来检测光流的步骤；
基于检测出的上述光流来从视频中检测出针对物品的运动矢量的步骤；以及
基于检测出的上述运动矢量来识别该物品的存取的步骤。
17.根据权利要求15所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
在提取上述物品的特征点的步骤中，在检索物品时从物体中提取已存储的物品的特征，并根据具有多少类似的类型的特征来提取候补组之后，利用各特征的几何学位置关系来确定识别的结果。
18.根据权利要求11所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
还包括：将针对存储在上述冰箱内的保管品目以及数量的信息、用于供用户确认存储了一定期间以上的物品的变质与否的通知信息，提供给冰箱外部装置、便携式设备、或者电子邮箱的步骤。
19.根据权利要求11所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
还包括：按照保管品目类别将用户的利用统计以及冰箱内物品的位置信息向用户显示的步骤。
20.根据权利要求11所述的利用影像识别的冰箱的保管品目管理方法，其特征在于，
还包括：将上述冰箱内的物品的库存信息向用于用户的购物的外部装置提供的步骤。
CN201380076316.2A 2013-04-10 2013-04-10 利用影像识别的冰箱的保管品目管理方法及其冰箱 Pending CN105164481A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/002995 WO2014168265A1 (ko) 2013-04-10 2013-04-10 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고

Publications (1)

Publication Number Publication Date
CN105164481A true CN105164481A (zh) 2015-12-16

Family

ID=51689664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076316.2A Pending CN105164481A (zh) 2013-04-10 2013-04-10 利用影像识别的冰箱的保管品目管理方法及其冰箱

Country Status (4)

Country Link
US (1) US20160088262A1 (zh)
EP (1) EP2985553B1 (zh)
CN (1) CN105164481A (zh)
WO (1) WO2014168265A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930533A (zh) * 2016-06-17 2016-09-07 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
CN106409191A (zh) * 2016-08-31 2017-02-15 北京慕加投资有限公司 具有广告监控功能的售货柜及监控系统
CN106679321A (zh) * 2016-12-19 2017-05-17 Tcl集团股份有限公司 一种智能冰箱食物管理方法及智能冰箱
CN106846118A (zh) * 2017-02-08 2017-06-13 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物引导的视频智能购物冰箱
CN106871571A (zh) * 2017-02-08 2017-06-20 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物提示的冰箱
CN106969593A (zh) * 2017-03-23 2017-07-21 辽宁科技学院 一种智能冰箱的食材管理方法
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN108025871A (zh) * 2016-07-22 2018-05-11 株式会社日立制作所 收容库的库存管理系统以及库存管理方法
CN108139317A (zh) * 2015-07-15 2018-06-08 三星电子株式会社 存储结构的对象识别
CN108266960A (zh) * 2017-01-03 2018-07-10 三星电子株式会社 食物储存装置及其控制方法
WO2019019499A1 (zh) * 2017-07-26 2019-01-31 合肥美的智能科技有限公司 物品信息录入方法、系统和冰箱
CN111386435A (zh) * 2017-11-27 2020-07-07 三菱电机株式会社 冰箱及冰箱系统
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
CN111854266A (zh) * 2019-04-25 2020-10-30 夏普株式会社 物品托盘、冰箱、以及物品托盘系统
CN112136014A (zh) * 2018-05-31 2020-12-25 三菱电机株式会社 冰箱系统
CN112902547A (zh) * 2019-12-02 2021-06-04 青岛海尔电冰箱有限公司 冰箱参数更新方法、设备及存储介质
TWI759875B (zh) * 2020-09-22 2022-04-01 台灣松下電器股份有限公司 物件倉儲管理系統

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150002660A1 (en) * 2013-06-28 2015-01-01 Lg Electronics Inc. Electric product
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
US10089520B2 (en) * 2015-03-26 2018-10-02 Krishna V Motukuri System for displaying the contents of a refrigerator
US10027866B2 (en) * 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
CN105091499B (zh) 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
US9652737B1 (en) * 2015-11-03 2017-05-16 Bullet Scanning, Llc System and method for inventory identification and quantification
EP3374711B1 (en) * 2015-11-11 2021-04-07 Carrier Corporation Refrigerated sales furniture
JP6818407B2 (ja) * 2015-12-10 2021-01-20 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム
DE102016207537A1 (de) * 2016-05-02 2017-11-02 BSH Hausgeräte GmbH Kältegerät, Fachboden und Verfahren zur Überwachung von Kühlgut
WO2018023268A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 监控冰箱剩余食物时的信息推送方法和冰箱
WO2018023267A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 冰箱食物监控技术的使用情况采集方法和冰箱
WO2018023286A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 一种推荐膳食时的信息推送方法和冰箱
WO2018023278A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 一种根据剩余食材搜索菜谱的方法和冰箱
WO2018023288A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 膳食监控技术的数据采集方法和冰箱
WO2018023289A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 监控膳食时的技术权属信息推送方法和冰箱
WO2018023271A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 菜谱推荐时的信息推送方法和冰箱
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
JP2019095172A (ja) * 2017-11-24 2019-06-20 ゴレッツ ヨランタ 冷蔵庫システム及び食材管理システム
US20210278129A1 (en) * 2018-04-08 2021-09-09 Thomas James Cote Perishable item storage device
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
CN110966834A (zh) * 2018-09-30 2020-04-07 青岛海尔智能技术研发有限公司 识别冰箱内食材种类的方法与冰箱
KR102766407B1 (ko) 2018-10-01 2025-02-13 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
WO2019125094A2 (ko) * 2019-03-29 2019-06-27 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
US11335010B2 (en) 2019-08-15 2022-05-17 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
US11288506B2 (en) 2019-09-25 2022-03-29 Haier Us Appliance Solutions, Inc. Refrigerator appliances and methods for tracking stored items
US10785456B1 (en) 2019-09-25 2020-09-22 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
DE102020202933A1 (de) 2020-03-06 2021-09-09 BSH Hausgeräte GmbH Bevorratungsgerätevorrichtung
CN113095240B (zh) * 2021-04-16 2023-08-29 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质
CN113095308B (zh) * 2021-06-09 2021-11-09 北京每日优鲜电子商务有限公司 货柜异物检测方法、装置、电子设备和计算机可读存储介质
US12105775B2 (en) 2021-09-24 2024-10-01 Haier Us Appliance Solutions, Inc. Inventory management system in a refrigerator appliance
CN113959164B (zh) * 2021-10-13 2023-02-17 青岛海尔电冰箱有限公司 夹子组件及其控制方法
US20240214514A1 (en) * 2022-12-23 2024-06-27 Hill Phoenix, Inc. Refrigeration system with temperature monitoring

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288456A (ja) * 1992-04-08 1993-11-02 Fujitsu Ltd 物品管理機能付冷蔵庫
CN101126579A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 食品管理冰箱
CN101498539A (zh) * 2008-01-30 2009-08-05 技嘉科技股份有限公司 节能电冰箱及其节能方法
CN101802532A (zh) * 2007-09-13 2010-08-11 Lg电子株式会社 冰箱
CN102142058A (zh) * 2010-02-03 2011-08-03 康佳集团股份有限公司 一种冰箱及其食物管理方法及装置
CN102183120A (zh) * 2011-03-31 2011-09-14 四川长虹电器股份有限公司 基于视频技术的远程食品查询冰箱及其工作方法
JP2012145327A (ja) * 2008-04-03 2012-08-02 Mitsubishi Electric Corp 収納庫及び冷蔵庫
CN102767935A (zh) * 2012-07-31 2012-11-07 合肥美菱股份有限公司 一种冰箱用食品管理系统及食品管理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450907B2 (ja) * 1994-08-08 2003-09-29 幸次 楠野 内部状態表示装置付冷蔵庫
WO2005107251A1 (en) * 2004-05-03 2005-11-10 Lg Electronics Inc. Refrigerator with tv and radio function
US20090277199A1 (en) * 2004-12-08 2009-11-12 Teknoloji Dizayn Studyo Produksiyon Ve Reklamcilik Anonim Sirketi Refrigerator capable of stock monitoring by providing ideal storage conditions
KR100714543B1 (ko) * 2005-07-01 2007-05-07 엘지전자 주식회사 운동확인기능을 지닌 냉장고
WO2006109423A1 (ja) * 2005-04-01 2006-10-19 Matsushita Electric Industrial Co., Ltd. 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
AU2007275991B2 (en) * 2006-07-20 2010-12-02 Lg Electronics Inc. Operation method of interactive refrigerator system
KR100901020B1 (ko) * 2007-08-23 2009-06-04 엘지전자 주식회사 냉장고 및 그 제어방법
BRMU8702530U2 (pt) * 2007-12-17 2009-08-11 Whirlpool Sa prateleira móvel para refrigeradores e freezers
EP2256703B1 (en) * 2009-05-29 2015-07-15 JVM Co., Ltd. Automated medicine storage and medicine introduction/discharge management system
KR101112202B1 (ko) * 2010-05-28 2012-02-24 전자부품연구원 냉장고의 보관 식품 관리 장치 및 방법
US20120100510A1 (en) * 2010-10-21 2012-04-26 S.C. Johnson & Son Inc. Method for computer evaluation of containers and food to obtain optimum storage and/or use
US20120101876A1 (en) * 2010-10-21 2012-04-26 S. C. Johnson, Inc. Method of managing household product inventory
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288456A (ja) * 1992-04-08 1993-11-02 Fujitsu Ltd 物品管理機能付冷蔵庫
CN101126579A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 食品管理冰箱
CN101802532A (zh) * 2007-09-13 2010-08-11 Lg电子株式会社 冰箱
CN101498539A (zh) * 2008-01-30 2009-08-05 技嘉科技股份有限公司 节能电冰箱及其节能方法
JP2012145327A (ja) * 2008-04-03 2012-08-02 Mitsubishi Electric Corp 収納庫及び冷蔵庫
CN102142058A (zh) * 2010-02-03 2011-08-03 康佳集团股份有限公司 一种冰箱及其食物管理方法及装置
CN102183120A (zh) * 2011-03-31 2011-09-14 四川长虹电器股份有限公司 基于视频技术的远程食品查询冰箱及其工作方法
CN102767935A (zh) * 2012-07-31 2012-11-07 合肥美菱股份有限公司 一种冰箱用食品管理系统及食品管理方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139317A (zh) * 2015-07-15 2018-06-08 三星电子株式会社 存储结构的对象识别
CN105930533A (zh) * 2016-06-17 2016-09-07 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
CN105930533B (zh) * 2016-06-17 2019-03-08 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
CN108025871A (zh) * 2016-07-22 2018-05-11 株式会社日立制作所 收容库的库存管理系统以及库存管理方法
CN106409191A (zh) * 2016-08-31 2017-02-15 北京慕加投资有限公司 具有广告监控功能的售货柜及监控系统
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN106679321A (zh) * 2016-12-19 2017-05-17 Tcl集团股份有限公司 一种智能冰箱食物管理方法及智能冰箱
US10921039B2 (en) 2017-01-03 2021-02-16 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
CN108266960A (zh) * 2017-01-03 2018-07-10 三星电子株式会社 食物储存装置及其控制方法
CN108266960B (zh) * 2017-01-03 2020-09-22 三星电子株式会社 食物储存装置及其控制方法
CN106846118A (zh) * 2017-02-08 2017-06-13 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物引导的视频智能购物冰箱
CN106871571A (zh) * 2017-02-08 2017-06-20 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物提示的冰箱
CN106969593B (zh) * 2017-03-23 2019-04-30 辽宁科技学院 一种智能冰箱的食材管理方法
CN106969593A (zh) * 2017-03-23 2017-07-21 辽宁科技学院 一种智能冰箱的食材管理方法
WO2019019499A1 (zh) * 2017-07-26 2019-01-31 合肥美的智能科技有限公司 物品信息录入方法、系统和冰箱
CN111386435B (zh) * 2017-11-27 2022-02-01 三菱电机株式会社 冰箱及冰箱系统
CN111386435A (zh) * 2017-11-27 2020-07-07 三菱电机株式会社 冰箱及冰箱系统
US11506449B2 (en) 2017-11-27 2022-11-22 Mitsubishi Electric Corporation Refrigerator and refrigerator system
CN112136014A (zh) * 2018-05-31 2020-12-25 三菱电机株式会社 冰箱系统
US11852405B2 (en) 2018-05-31 2023-12-26 Mitsubishi Electric Corporation Refrigerator system
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
CN111854266A (zh) * 2019-04-25 2020-10-30 夏普株式会社 物品托盘、冰箱、以及物品托盘系统
CN112902547A (zh) * 2019-12-02 2021-06-04 青岛海尔电冰箱有限公司 冰箱参数更新方法、设备及存储介质
CN112902547B (zh) * 2019-12-02 2022-09-23 青岛海尔电冰箱有限公司 冰箱参数更新方法、设备及存储介质
TWI759875B (zh) * 2020-09-22 2022-04-01 台灣松下電器股份有限公司 物件倉儲管理系統

Also Published As

Publication number Publication date
WO2014168265A1 (ko) 2014-10-16
US20160088262A1 (en) 2016-03-24
EP2985553B1 (en) 2020-08-26
EP2985553A1 (en) 2016-02-17
EP2985553A4 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
CN105164481A (zh) 利用影像识别的冰箱的保管品目管理方法及其冰箱
CN111415461B (zh) 物品识别方法及系统、电子设备
US11638490B2 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN111626201B (zh) 商品检测方法、装置及可读存储介质
KR102699484B1 (ko) 냉장고 및 냉장고의 물품 관리 방법
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
US12217138B2 (en) Information processing device and information processing method
TW201947495A (zh) 儲物裝置中人機互動方法、裝置、儲物裝置以及儲存媒體
US11790041B2 (en) Method and system for reducing false positives in object detection neural networks caused by novel objects
CN113065447B (zh) 一种图像集中自动识别商品的方法和设备
CN112184751A (zh) 物体识别方法及系统、电子设备
EP3629276A1 (en) Context-aided machine vision item differentiation
JPWO2018174080A1 (ja) 物品管理システム及び物品管理方法
JP2021107989A (ja) 情報処理装置、情報処理方法、プログラム
US20230298351A1 (en) Live inventory and internal environmental sensing method and system for an object storage structure
JP2025508353A (ja) 商品監視システムおよび方法
CN113465251B (zh) 智能冰箱及食材识别方法
CN115861633A (zh) 一种基于自学习的类别检测方法、装置及设备
CN112789652B (zh) 冰箱、服务器和冰箱的对象识别方法
TWI518293B (zh) A method of controlling the cooling stroke by the image recognition, and a refrigerator
CN118135483B (zh) 一种无人零售商品识别系统
KR102283896B1 (ko) 딥러닝 기반의 증가적 상품 정보 획득 시스템 및 그 획득 방법
CN113850942B (zh) 一种3d库房的辅助信息管理方法和系统
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product
CN119515420A (zh) 储物设备的销量确定方法、装置和储物设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151216

WD01 Invention patent application deemed withdrawn after publication