CN113454392B - 加热烹调器 - Google Patents
加热烹调器 Download PDFInfo
- Publication number
- CN113454392B CN113454392B CN201980092379.4A CN201980092379A CN113454392B CN 113454392 B CN113454392 B CN 113454392B CN 201980092379 A CN201980092379 A CN 201980092379A CN 113454392 B CN113454392 B CN 113454392B
- Authority
- CN
- China
- Prior art keywords
- heating
- image
- photometry
- exposure control
- gradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/08—Arrangement or mounting of control or safety devices
- F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
- F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/6435—Aspects relating to the user interface of the microwave heating apparatus
- H05B6/6441—Aspects relating to the user interface of the microwave heating apparatus allowing the input of coded operation instructions, e.g. bar code reader
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/6447—Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Electric Ovens (AREA)
Abstract
本公开的加热烹调器具备:加热室,其容纳加热对象物;拍摄部,其对所述加热室内进行拍摄;以及曝光控制部,其执行曝光控制。所述曝光控制部根据从由所述拍摄部拍摄到的图像得到的灰度信息进行曝光控制。由此,能够准确地检测加热室内的照度,在进行了曝光控制的基础上取得识别用的图像。
Description
技术领域
本公开涉及对食品进行加热的加热烹调器以及加热烹调器的控制方法。
背景技术
作为加热烹调器的一个例子的微波炉能够在不使用锅或煎锅的情况下对食品以放在容器内的状态进行加热。因此,在便利店等销售店中,有时也使用微波炉对便当、菜品之类的食品进行加热来提供。
通常,对于便当、菜品,显示适于以微波炉进行加热的加热时间。一般来说,销售店的店员观察该显示,在微波炉中设定加热时间。
具体而言,店员通过操作配置于微波炉的操作部的数字键,能够进行加热时间的设定。或者,在使用具备多个与加热时间、瓦特数对应的烹调按钮的微波炉的情况下,店员通过操作与加热的食品对应的按钮,能够进行适于该食品的加热。
但是,用数字键设定加热时间存在操作麻烦的问题。另外,在对多个操作按钮分别分配了不同的食品的加热时间的微波炉中,店员需要记住多个按钮与食品的对应关系。由此,存在随着商品的种类增加,而店员记住该对应关系的负担也增加的问题。
为了解决这样的问题,提出了提供如下一种微波炉:当店员读取附加于商品的条形码的信息时,以与条形码对应的加热控制内容对商品进行加热。
或者,提出了在微波炉的加热室内的顶面具备对室内进行拍摄的照相机的微波炉。在该以往的微波炉中,从投入到室内的商品的图像中提取条形码部分,通过读取该条形码,从码信息中调出与商品对应的加热控制内容,进行适当的加热(例如专利文献1)。
另外,已存在公开了如下微波炉的例子:利用以能够拍摄加热室内的方式设置的照相机取得食品图像,进行图像识别处理,实施与识别结果对应的烹调。
现有技术文献
专利文献
专利文献1:日本特开2001-349546号公报
发明内容
在现有的微波炉中,通过LED等照明以适当的照度照射加热室内,利用照相机取得适于图像识别处理的图像。此时,根据设置微波炉的环境,有时日光等外部光从门的开口部入射到加热室内,加热室内的照度无法保持为适于图像处理的程度。在外部光入射的状态下拍摄的图像中,要进行识别处理的对象部有可能泛白,显著降低识别率。
本发明的目的在于提供一种加热烹调器,即使在日光等外部光从门的开口部入射的情况下,也能够根据由照相机拍摄到的图像准确地检测加热室内的照度,在进行了曝光控制的基础上取得识别用的图像。由此,能够提高想要识别的图像的识别精度。
为了解决上述以往的问题,本公开的加热烹调器具备:加热室,其容纳加热对象物;拍摄部,其对所述加热室内进行拍摄;以及曝光控制部,其执行曝光控制。所述曝光控制部根据从由所述拍摄部拍摄到的图像得到的灰度(gray level)信息进行曝光控制。
本公开的加热烹调器即使在日光等外部光从门的开口部入射的情况下,也能够根据由照相机拍摄到的图像准确地检测加热室内的照度,在进行了曝光控制的基础上取得识别用的图像。因此,能够提高想要识别的图像的识别精度。
附图说明
图1是表示本发明的实施方式1的加热烹调器的外观的立体图。
图2是本公开的实施方式1的加热烹调器的概略结构图。
图3是表示在由本公开的实施方式1的加热烹调器进行加热的商品上显示的包含加热控制信息的商品信息的标签的图。
图4是表示本公开的实施方式1的加热烹调器的空状态的室内图像的图。
图5A是表示本公开的实施方式1的加热烹调器的放入了食品的状态的室内图像的一例的图。
图5B是表示本公开的实施方式1的加热烹调器的放入了食品的状态的室内图像的一例的图。
图6A是表示本公开的实施方式1的加热烹调器的放入了食品的状态的室内图像的灰度值的直方图的图。
图6B是表示本公开的实施方式1的加热烹调器的放入了食品的状态的室内图像的灰度值的直方图的图。
图7A是表示本公开的实施方式1的测光对象检测部对室内图像实施了较高灰度通过滤波处理时通过滤波器的区域的一例的图。
图7B是表示本公开的实施方式1的测光对象检测部对室内图像实施了较高灰度通过滤波处理时通过滤波器的区域的一例的图。
图8A是表示本公开的实施方式1的测光对象检测部对室内图像实施了较高灰度通过滤波处理后的室内图像的灰度值的直方图的一例的图。
图8B是表示本公开的实施方式1的测光对象检测部对室内图像实施了较高灰度通过滤波处理后的室内图像的灰度值的直方图的一例的图。
图9A是表示本公开的实施方式1的测光对象检测部对室内图像实施了对比度滤波处理时通过滤波器的区域的一例的图。
图9B是表示本公开的实施方式1的测光对象检测部对室内图像实施了对比度滤波处理时通过滤波器的区域的一例的图。
图10A是表示本公开的实施方式1的测光对象检测部对室内图像实施色度滤波处理时的室内图像的图。
图10B是表示本公开的实施方式1的测光对象检测部对室内图像实施色度滤波处理时通过滤波器的区域的一例的图。
图11是表示本公开的实施方式1的测光对象检测部对室内图像实施色度滤波处理时的xy色度图上的滤波范围的一例的图。
图12是表示本公开的实施方式1的加热烹调器的动作的流程的流程图。
具体实施方式
第一方式所涉及的加热烹调器具备:加热室,其容纳加热对象物;拍摄部,其对所述加热室内进行拍摄;以及曝光控制部,其执行曝光控制,所述曝光控制部基于从由所述拍摄部拍摄到的图像得到的灰度信息来进行所述曝光控制。
由此,即使在日光等外部光从门的开口部入射的情况下,也能够根据由照相机拍摄到的图像准确地检测加热室内的照度,在进行了曝光控制的基础上取得识别用的图像。因此,能够提高想要识别的图像的识别精度。
第二方式的加热烹调器在第一方式的基础上,还具有测光对象检测部,该测光对象检测部从由所述拍摄部拍摄到的图像中提取测光对象,所述测光对象检测部使所述图像中的测光对象部分的所述灰度信息通过,所述曝光控制部根据所述测光对象部分的所述灰度信息进行所述曝光控制。
由此,能够根据对拍摄图像预先实施仅使测光对象的特征通过的滤波处理而得到的图像的灰度信息,进行曝光控制。因此,能够提高曝光控制的精度。
第三方式的加热烹调器在第二方式的基础上,所述测光对象检测部仅使所述图像中的规定比例的较高灰度值通过。
由此,能够针对白色的标签等预先已知其明度高、拍摄时的灰度值比较高的测光对象,高精度且高速地进行滤波处理。
第四方式的加热烹调器在第二方式的基础上,所述测光对象检测部仅使具有与所述测光对象的规定像素区域的像素具有规定灰度差的灰度值的像素通过。
由此,在将在白色背景上印刷有黑色字符或黑色条形码的标签等黑白对比度高的部分预先决定为测光对象的情况下,能够高精度地进行滤波处理。
第五方式的加热烹调器在第二方式的基础上,所述测光对象检测部仅使处于规定色度范围内的像素的灰度值通过。
由此,在作为测光对象的标签的颜色被预先限定的情况下,能够高精度且高速地进行滤波处理。
第六方式的加热烹调器在第二至第五方式中的任一方式的基础上,所述测光对象检测部在检测为所述测光对象的像素未达到规定数量的情况下,向使用者通知未检测到识别对象。
由此,在识别对象未进入拍摄范围或者超出到视野外等的情况下,在进行识别处理以前的早期阶段向使用者通知未检测到识别对象。由此,能够催促使用者重新放入食品、确认识别对象的标签状态等。
以下,适当参照附图对实施方式进行详细说明。但是,有时省略不必要的详细说明。例如,有时省略已经公知的事项的详细说明、对于实质上相同的结构的重复说明。这是为了避免以下的说明变得不必要地冗长,使本领域技术人员容易理解。
此外,附图以及以下的说明是为了使本领域技术人员充分理解本公开而提供的,并不意图通过这些来限定权利要求书所记载的主题。
(实施方式1)
以下,参照附图对本公开的实施方式1的加热烹调器进行说明。
图1是表示本公开的第一实施方式的加热烹调器的外观的图。
图1所示的微波炉100具有壳体101和以能够开闭的方式轴支承于壳体101的门102。在壳体101的内部配设有用于容纳作为加热对象的便当、菜品等食品(加热对象物203)的加热室201。
门102具有透明的玻璃窗103,使得使用者能够看到壳体101的内部。而且,为了让使用者容易抓持门102,门102还具有把手104。
此外,在本实施方式中,将壳体101的具有门102的一侧设为前方,将从该前方朝向后方的右侧设为右方,将从前方朝向后方的左侧设为左方,进行以下的说明。
在门102的旁边配置有操作显示部105。操作显示部105具备液晶显示器106、时间设定按钮组107、加热开始按钮108、取消按钮109以及暂时停止按钮110。使用者通过使用数字按钮和分、秒的按钮,能够设定加热时间。另外,液晶显示器106显示所设定的加热时间等。
加热开始按钮108是用于在使用者利用液晶显示器106确认了加热时间、瓦特数等之后开始加热的按钮。取消按钮109是用于在按下加热开始按钮108而开始加热之后停止加热、或者用于取消液晶显示器106所显示的加热时间的设定的按钮。
暂时停止按钮110是用于在加热中途暂时停止加热的按钮。在暂时停止加热后,使用者通过再次按下加热开始按钮108,能够从中途进行剩余的加热。
图2是实施方式1中的微波炉100的概略结构图。
微波炉100具备向加热室201内输出微波的2个磁控管202a和202b作为加热部。
磁控管202a配置在加热室201的顶板侧,从上部向加热室201内输出微波。另一方面,磁控管202b配置在加热室201的底面侧,从下部向加热室201内输出微波。容纳在加热室201内的便当、菜品等食品、即加热对象物203被辐射的微波加热。
此外,在本公开中,作为加热部,例示了由磁控管产生的微波,但也可以利用由半导体振荡产生的微波、加热器、暖风、蒸汽等进行加热。另外,磁控管等加热源也可以不是2个而是1个。
在加热室201的顶侧配置有照相机204(拍摄部的一例)。照相机204例如由CCD(Charge Coupled Device:电荷耦合器件)那样的摄像元件和镜头等光学元件构成。照相机204拍摄加热室201内部而生成图像。所生成的图像例如按每个像素用0(暗)至255(明)的范围的值表示亮度。另外,也可以生成为将各个像素按照红、蓝、绿的各个颜色用0至255的值表示的图像。另外,也可以通过0至255以外的范围、表现方法来表示与各个像素对应的值。
此外,在本实施方式中,照相机204设置在加热室201的顶侧面。但是,照相机204也可以设置于加热室201的左右侧面等其他面。另外,在本公开中,通过如后述那样研究曝光条件,即使由1个照相机部件构成拍摄部204,也能够提高图像的识别精度。因此,能够实现制造时的成本削减、壳体101的小型化。不限于此,拍摄部204也可以由多个照相机部件构成。
在加热室201的侧面配置有以LED为光源的照明205,照亮加热室201内部。
在本实施方式中,以从加热室201的左侧面面向加热室201内的方式配置有照明205。然而,照明205可以配置在四方的侧面、顶面、底面等中的任一方,也可以配置多个。
在本实施方式中,作为照明205的光源,公开了基于LED的结构,但作为光源,也可以使用灯泡、荧光灯、自然光等其他光源。
控制部300配置在操作显示部105的下方。控制部300控制微波炉100的各构成要素。
在图2中,控制部300具有加热控制部301、识别部302、测光对象检测部303以及曝光控制部304。
另外,在本实施方式中,控制部300为加热控制部301、识别部302、测光对象检测部303以及曝光控制部304成一体的结构。但是,也可以通过不同的半导体元件等来实现这些结构。另外,控制部300也可以由具有CPU(Central Processing Unit:中央处理单元)那样的处理器的微型计算机构成。
加热控制部301进行磁控管202a和磁控管202b的控制。利用由磁控管202a和磁控管202b辐射的微波,对容纳在加热室201内的加热对象物203进行加热。
识别部302根据照相机204拍摄到的图像,进行食品等物体的识别、附加于食品等的条形码等图形代码、字符等的识别。
测光对象检测部303在对由照相机204拍摄到的图像进行了使作为识别及测光的对象的食品标签部的像素的灰度值通过的滤波处理的基础上,计算图像整体的平均灰度值。将计算出的平均灰度值作为测光对象部分的估计灰度值来提取测光对象。即,测光对象检测部303根据由照相机204拍摄到的图像,使测光及识别对象部分的灰度信息通过。
曝光控制部304根据测光对象检测部303输出的估计灰度值,判断是否需要进行曝光调整。然后,曝光控制部304根据需要控制照相机204或照明205,变更曝光设定。
图3是粘贴于食品的标签的一例。
在加热室201中放入便当、饭团、菜品等商品并进行加热。在这些商品上,粘贴有之前说明的、显示有为了烹调商品所需的加热功率和加热时间等的标签。
另外,在本实施方式中,将该加热功率、加热时间这样的用于进行烹调的信息称为加热控制信息。
在标签401上显示有商品名402、加热控制信息403、金额信息404、保质期信息405、确定商品的条形码406(也可以是其他图形代码)、营养信息407、通知信息408这样的信息。在本实施方式中,为了容易从这些信息中提取加热控制信息,加热控制信息被方框409包围。
另外,在该标签401中,一并记载有作为以一般的家庭用的微波炉进行加热时的大致标准的例如以500W进行加热的情况下的加热时间、以及作为以大功率进行短时间加热时的大致标准的例如以1500W进行加热的情况下的加热时间。例如,在标签401中,作为加热控制信息,显示有“500W 2分00秒1500W 0分40秒”。
当使用者打开门102放入食品时,照相机204拍摄加热室201内。然后,识别部302从照相机204拍摄到的图像中识别显示有该加热控制信息的部位,识别该加热控制信息的文字、数字。
具体而言,识别部302从照相机204拍摄到的图像中识别方框409。
接着,识别部302识别由该方框409包围的字母数字“500W 200 1500W040”这样的字符串。
然后,按照预先确定的解析规则,识别部302将字符串分解为到“W”为止的数字串、“W”之后的3位的数字串、接下来的到“W”为止的数字串、“W”之后的3位的数字串,即“500”、“200”、“1500”、“040”。识别部302进一步将第二个数字串和第四个数字串识别为,最初的1位为“分”,之后的2位为秒,另外,第一个数字串的功率与第二个数字串的时间对应,第三个数字串的功率与第四个数字串的时间对应。然后,识别部302识别出500W下2分钟、1500W下40秒这样的加热控制信息。
在本实施方式中,不是室内图像整体,而是这样的食品标签部(标签401)是识别以及测光的对象。另外,详细内容后述,但作为用于曝光调整的灰度估计的对象的也是该食品标签部(标签401)的灰度值。
图4表示加热室201为空的状态时的室内图像的一例。在微波炉室内,在底面印刷有表示食品的放置位置的大致基准的方框、使用上的注意事项。在本实施方式中,作为在白底以黑色印刷有方框、注意事项等文字的情况进行以下的说明,但关于包含室内底面的颜色在内的设计,也可以是其他的设计。
图5A和图5B是对加热室201内进行拍摄而得到的另一图像的一例。在该例子中,图5A示出了在加热室201内存在作为明度较高的食品例的“白米饭”的情况下对室内进行拍摄而得到的图像的一例,图5B示出了在加热室201内存在作为明度较低的食品例的“海苔便当”的情况下对室内进行拍摄而得到的图像的一例。
图6A以及图6B表示在室内存在图5A以及图5B中作为一个例子举出的食品的情况下的、与各个拍摄图像对应的图像灰度值的直方图和图像整体的平均灰度值。图5A、图5B的图像的直方图分别与图6A以及图6B的直方图对应。即,图6A的明亮的灰度的面积量多,图6B的暗的灰度的面积量多。
图7A和图7B是在作为测光对象检测部303进行的处理而进行了较高灰度通过滤波处理时,用黑白的2值图像表现针对图5A和图5B各自的拍摄图像的滤波器的通过对象像素区域的例子。在图7A和图7B中,白色部分表示通过了滤波器的像素区域,黑色部分表示被滤波器阻止的像素区域。
图8A和图8B是示出作为测光对象检测部303对图5A和图5B各自的室内图像进行的处理而进行了较高灰度通过滤波处理的情况、即图7A和图7B的直方图和平均灰度值的例子。直方图的虚线部是为了容易掌握与图6A和图6B的直方图分别进行比较时的较高灰度通过滤波处理的效果而表示被滤波器阻止的灰度部分。
图9A和图9B是在作为测光对象检测部303进行的处理而进行对比度滤波处理的情况下,用黑白的2值图像表现针对图5A和图5B各自的拍摄图像的滤波器的通过对象像素区域的例子。与图7A和图7B同样地,白色部分表示通过了滤波器的像素区域,黑色部分表示被滤波处理阻止的像素区域。
图10A示出在作为测光对象的标签401的背景部分使用了特征性的颜色(作为一例,接近原色的黄色)的情况下的室内图像。图10B是测光对象检测部303对图10A的拍摄图像进行了色度滤波处理的情况下的、用黑白的2值图像表现滤波器的通过对象像素区域的例子。与图7相同,白色部分表示通过了滤波器的像素区域,黑色部分表示被滤波器阻止的像素区域。在本实施方式中,以背景色为接近原色的黄色的标签为例进行说明,但对于颜色没有特别限定。
图11在xy色度图上表现了测光对象检测部303进行色度滤波处理时的通过滤波器的色度范围。图中的虚线1101所示的圆的内部表示通过滤波器的色度范围。另外,关于通过滤波器的色度范围,除了圆形以外,也可以使用矩形或任意的函数来指定范围。另外,作为色度图,除了xy色度图以外,也可以使用uv色度图、u’v’色度图,作为表色系,也可以使用XYZ表色系以外的例如L*u*v*表色系、L*a*b*表色系、HSV表色系等。
图12是表示实施方式1中的微波炉100的曝光控制的动作的流程图。以下,使用图12的流程图进行详细说明。
在步骤S1中,照相机204以初始的曝光设定进行室内图像的拍摄,控制部300使处理进入步骤S2。作为拍摄的结果,得到图5A以及图5B那样的室内图像。
在步骤S2中,测光对象检测部303对室内图像实施测光对象检测滤波处理。在本实施方式中,测光对象检测部303进行较高灰度通过滤波处理、对比度滤波处理以及色度滤波处理中的至少一个处理。以下,对各滤波处理进行详细说明。
首先,对较高灰度通过滤波处理进行说明。在测光对象检测部303使用该滤波处理的情况下,以作为识别及测光对象的食品标签401的背景是白色等明度比较高的背景为前提。另外,关于一系列的处理,在不是以彩色而是以灰色图像进行的前提下进行说明,所以灰度是指灰色灰度(黑:0灰度,白:255灰度)。
作为具体的较高灰度通过滤波处理的流程,首先针对图5A以及图5B所示那样的室内图像,分别制作图6A以及图6B那样的灰度值的直方图。图5A是作为明度比较高的食品例设想了“白米饭”的室内图像,图5B是作为明度比较低的食品例设想了“海苔便当”的室内图像。因此,作为对应的直方图,图6A成为偏向高灰度区域的直方图形状。图6B是如下直方图形状:与在“海苔便当”之中明度也特别低的“海苔”部分对应地在低灰度区域存在峰值,另外,食品标签401、室内底面为白色而明度高,因此在高灰度区域也具有峰值。
关于各个平均灰度值,也如图6A以及图6B所示,在“白米饭”、“海苔便当”这样的明度不同的食品中,图像整体的平均灰度值表现出显著的差。在本实施方式中说明的曝光控制中,作为进行识别以及曝光调整时的测光对象即食品标签(标签401)部分的估计灰度值,计算图像整体的平均灰度值,这是在后述的S3步骤中进行的处理。
在不进行滤波处理的阶段,即使在同一照度环境下,食品标签(标签401)区域以外的食品的明度的差也表现为图6A以及图6B那样的平均灰度值的差。即,灰度估计误差大,难以将灰度平均值直接用于曝光控制。在较高灰度通过滤波处理中,仅使相对于图像的全部像素数的规定比例的较高灰度值通过,较低灰度值被阻止。
图7A以及图7B是用黑白的2值图像表现对图5A以及图5B的室内图像进行了较高灰度通过滤波处理的情况下的通过对象像素区域的图像。包含作为测光对象的食品标签(标签401)的图像的明度高的部分成为通过像素区域。
例如,在考虑了使较高的50%通过的滤波器的情况下,图6A以及图6B的直方图的面积中的较低的50%被阻止,成为图8A以及图8B那样的形状。虚线部表示被滤波器阻止的较低的50%的像素。在计算平均灰度值时,关于被阻止的像素,不作为计算的对象,因此如图8A以及图8B所示,若与图6A以及图6B比较,则双方的平均灰度值之差缩小,灰度估计误差变小。在具有识别及测光对象的明度高这样的前提的情况下,通过这样的滤波处理,不进行标签部(标签401)的检测,仅通过预处理阶段的单纯的滤波处理,就能够高速且高精度地估计测光对象(标签部)的灰度值。因此,能够容易地识别标签部的字符。
接着,说明对比度滤波处理。基本的思想与较高灰度通过滤波处理相同。目的在于通过滤波处理,排除作为识别及测光对象的食品标签以外的影响,减小曝光控制中使用的灰度值的估计误差。在测光对象检测部303使用对比度滤波处理的情况下,以作为识别及测光对象的食品标签中的识别对象部分的黑白的对比度较大(字符或者条形码等)为前提。作为具体的滤波处理,测光对象检测部303进行仅使具有与对象像素具有规定灰度差的灰度值的、对象像素附记的像素通过的处理。即,测光对象检测部303仅使具有与规定像素区域的像素的灰度值具有规定灰度差的灰度值的像素作为测定对象通过。
例如,在判断图像中的某个像素是否通过滤波器时,进行确认以对象像素为中心的5×5像素区域的处理。例如,如果对象像素的灰度值为200灰度,在5×5像素区域中存在成为-100灰度的100灰度以下的像素,则对象像素成为通过像素,在不存在的情况下成为阻止像素。对图像中的所有像素进行这样的处理。这里列举的5×5像素的区域尺寸是一个例子,区域的形状(包括尺寸在内)不限于矩形。另外,关于-100的灰度差也同样是一个例子,对于数值没有限定。
图9A以及图9B是用黑白的2值图像表现对图5A以及图5B的室内图像进行了对比度滤波处理的情况下的通过对象像素区域的图像。包含作为识别对象的字符部分的黑白对比度高的部分成为通过对象区域。在具有识别及测光对象的对比度高这样的前提的情况下,通过这样的对比度滤波处理,不进行标签部的检测,仅通过预处理阶段的单纯的滤波处理,就能够高速且高精度地估计测光对象的灰度值。因此,能够容易地识别标签部的字符。
接着,对色度滤波处理进行说明。基本的思想与较高灰度通过滤波处理相同,通过色度滤波处理,能够排除作为识别及测光对象的食品标签以外的影响,减小在曝光控制中使用的灰度值的估计误差。在测光对象检测部303使用色度滤波处理的情况下,是以作为测光对象的标签的颜色是特征性颜色的情况为前提。
图10A是食品标签例如为黄色的情况下的室内图像的一例。由于标签部带有颜色,因此作为灰色灰度,与白色的室内底面相比,被拍摄为灰度较低。作为具体的滤波处理,进行仅使在色度图上收敛于预先确定的范围内的像素的灰度值通过的处理。例如,设图像中的某像素为R:100灰度、G:100灰度、B:10灰度。
例如,如果以ITU-R BT.709为基准来考虑,则能够通过X=0.4124R+0.3576G+0.1805B、Y=0.2126R+0.7152G+0.0722B、Z=0.0193R+0.1192G+0.9505B来计算X、Y、Z。并且,由于x=X/(X+Y+Z)、y=Y/(X+Y+Z),因此能够计算色度x、y,分别为x=0.4028、y=0.4779。在x和y的值包含在图11的xy色度图上的预定范围1101中的情况下,测光对象检测部303将对象像素设置为通过像素。在为图11的xy色度图上的范围1101的范围外的情况下,测光对象检测部303将对象图像设置为阻止像素。即,测光对象检测部303仅使处于规定的色度范围内的像素的灰度值通过。测光对象检测部303对图像中的所有像素进行这样的处理。
在该滤波中,关于滤波条件确认,由于使用颜色信息,所以使用RGB灰度来进行,但在计算平均灰度时,以灰色灰度来进行。从RGB灰度向灰色灰度的转换能够通过0.299R+0.587G+0.114B来计算。
图10B是用黑白的2值图像表现对图10A的室内图像进行了对比度滤波处理的情况下的通过对象像素区域的图像。作为识别对象的标签部成为通过对象区域。在具有识别及测光对象的颜色是特征性颜色的前提的情况下,通过这样的滤波处理,不进行标签部的检测,仅通过预处理阶段的单纯的滤波处理,就能够高速且高精度地估计测光对象的灰度值。因此,能够容易地识别标签部的字符。
测光对象检测部303进行较高灰度通过滤波处理、对比度滤波处理、色度滤波处理中的任意的测光对象检测滤波处理,仅使由照相机204拍摄到的图像的测光和识别对象部分的灰度信息通过。之后,控制部300使处理进入S3步骤。
在步骤S3中,测光对象检测部303根据通过了步骤S2的滤波处理的灰度值来计算整个图像的平均灰度值。之后,控制部300使处理进入S4步骤。
在步骤S4中,曝光控制部304使用在步骤S3中计算出的平均灰度值来判断是否需要进行曝光调整。例如,在平均灰度值为100以上且150以下的情况下,判断为已经以适于识别的明亮度进行了拍摄,不进行曝光控制部304的曝光调整,控制部300使处理进入步骤S6。在平均灰度值小于100或大于150的情况下,曝光控制部304判断为需要进行曝光调整,控制部300使处理进入步骤S5。此外,100灰度、150灰度的阈值是一个例子,并不具体限定数值范围。
在步骤S5中,曝光控制部304根据平均灰度值进行曝光调整。例如,在平均灰度值小于100的情况下,曝光控制部304判断为室内图像过暗,对照相机204进行延长曝光时间的设定。即,曝光控制部304基于从由照相机204拍摄到的图像得到的灰度信息来执行曝光控制。
另外,在平均灰度值大于150的情况下,曝光控制部304判断为室内图像过于明亮,对照相机204进行缩短曝光时间的设定。作为曝光调整的具体方法,列举出调整曝光时间的方法,但也可以是其他方法。可以使用调整照相机204的增益设定的方法,也可以使用组合曝光时间调整和增益调整的方法。或者,也可以使用通过照明205来控制室内的明亮度的方法。在进行了曝光调整之后,返回到S1步骤,再次从拍摄室内图像起进行处理。
在步骤S6中,控制部300判断在S2的滤波处理中通过的像素数是否超过规定的数量。例如,在通过的像素数为10000以上的情况下,控制部300使处理进入作为图像识别处理的步骤S7。在通过的像素数小于10000的情况下,控制部300使处理进入步骤S9。
在步骤S9中,控制部300判断为步骤S6的结果是作为识别对象的食品标签未被拍摄到拍摄图像中,或者虽然被拍摄到一部分但超出到图像外,因此不适合作为识别图像,而对使用者进行未检测到识别对象的通知,不进行识别处理以及加热,结束处理。即,在检测为测光对象的像素小于规定数量的情况下,控制部300向使用者通知未检测到识别对象。由于不执行识别处理而将未检测到识别对象的情况通知给使用者,因此能够尽早地催促使用者重新放置食品、确认食品标签的状态。
在步骤S7中,识别部302对照相机204拍摄到的室内图像进行图像识别处理,取得加热控制信息并使处理进入步骤S8。
在步骤S8中,基于在步骤S7中取得的加热控制信息,加热控制部301进行加热烹调,结束处理。
如以上那样,根据本实施方式,即使在存在从微波炉的门102的开口部入射的外部光的影响的情况下,也根据照相机204拍摄到的图像的灰度信息,高精度地估计作为识别及测光对象的食品标签部的灰度。并且,曝光控制部304根据估计出的灰度进行适当的曝光调整,因此能够对以适于识别的明度拍摄到的图像进行高精度的图像识别处理。
(其他实施方式)
作为能够将微波炉等加热烹调器与网络连接,通过网络上的服务器来控制加热烹调器的加热烹调系统,也能够实施上述的实施方式。在这样的加热烹调系统中,在服务器侧执行实施方式1的微波炉100中的测光对象检测部303进行的处理。由此,能够减轻加热烹调器中的图像滤波处理的处理负荷。
此外,上述的实施方式用于例示本公开中的技术,因此能够在权利要求书或其等同的范围内进行各种变更、置换、附加、省略等。
本公开的加热烹调器能够利用照相机进行拍摄、识别形状等特征、字符等室内状况,并将识别出的结果反映到烹调控制中。由此,除了在销售店中使用的微波炉之外,还能够广泛应用于家庭用的微波炉、电饭煲、IH烹调加热器等加热烹调器。
标号说明
100:微波炉(加热烹调器);101:壳体;102:门;103:玻璃窗;104:把手;105:操作显示部;106:液晶显示器;107:时间设定按钮组;108:加热开始按钮;109:取消按钮;110:暂时停止按钮;201:加热室;202a、202b:磁控管;203:加热对象物;204:照相机(拍摄部);205:照明;300:控制部;301:加热控制部;302:识别部;303:测光对象检测部;304:曝光控制部。
Claims (5)
1.一种加热烹调器,其具备:
加热室,其容纳加热对象物;
拍摄部,其对所述加热室内进行拍摄;
曝光控制部,其执行曝光控制;以及
测光对象检测部,其通过滤波处理,使由所述拍摄部拍摄到的图像中的测光对象的灰度信息通过,从而提取作为所述图像的一部分的测光对象的灰度信息,
所述曝光控制部根据所述测光对象的灰度信息进行所述曝光控制。
2.根据权利要求1所述的加热烹调器,其中,
所述测光对象检测部仅使所述图像中的规定比例的较高灰度值通过。
3.根据权利要求1所述的加热烹调器,其中,
所述测光对象检测部仅使具有与所述测光对象的规定像素区域的像素具有规定灰度差的灰度值的像素通过。
4.根据权利要求1所述的加热烹调器,其中,
所述测光对象检测部仅使处于规定的色度范围内的像素的灰度值通过。
5.根据权利要求1~4中的任意一项所述的加热烹调器,其中,
所述测光对象检测部在作为所述测光对象而检测出的像素小于规定数量的情况下,向使用者通知未检测到识别对象。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019029953 | 2019-02-22 | ||
JP2019-029953 | 2019-02-22 | ||
PCT/JP2019/048580 WO2020170568A1 (ja) | 2019-02-22 | 2019-12-11 | 加熱調理器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113454392A CN113454392A (zh) | 2021-09-28 |
CN113454392B true CN113454392B (zh) | 2024-12-31 |
Family
ID=72145075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980092379.4A Active CN113454392B (zh) | 2019-02-22 | 2019-12-11 | 加热烹调器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220151037A1 (zh) |
EP (1) | EP3929489A4 (zh) |
JP (1) | JP7470903B2 (zh) |
CN (1) | CN113454392B (zh) |
WO (1) | WO2020170568A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022249752A1 (ja) * | 2021-05-26 | 2022-12-01 | シャープ株式会社 | 撮像装置 |
JP7630406B2 (ja) | 2021-10-15 | 2025-02-17 | アンリツ株式会社 | 物品検査装置 |
JPWO2023090142A1 (zh) * | 2021-11-19 | 2023-05-25 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603933A (zh) * | 2016-12-16 | 2017-04-26 | 中新智擎有限公司 | 一种曝光方法和装置 |
CN108139078A (zh) * | 2015-11-27 | 2018-06-08 | 松下知识产权经营株式会社 | 加热烹调器、加热烹调器的控制方法以及加热烹调系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000147629A (ja) * | 1998-11-17 | 2000-05-26 | Canon Inc | カメラ |
JP3588333B2 (ja) | 2001-04-03 | 2004-11-10 | 三洋電機株式会社 | 加熱調理装置 |
JP2006293161A (ja) * | 2005-04-13 | 2006-10-26 | Sharp Corp | 画像形成装置及びその制御プログラム |
JP2009010566A (ja) * | 2007-06-27 | 2009-01-15 | Yamaguchi Univ | 写真画像のダイナミックレンジを拡大する方法及び撮像装置 |
KR101517148B1 (ko) * | 2008-10-09 | 2015-05-04 | 삼성전자주식회사 | 자동 노출 시스템 및 방법 |
WO2010102261A1 (en) * | 2009-03-05 | 2010-09-10 | Pressco Technology, Inc. | A method and system for digital narrowband, wavelength specific cooking, curing, food preparation, and processing |
JP5782311B2 (ja) * | 2011-07-01 | 2015-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN110235906B (zh) * | 2012-12-04 | 2022-06-21 | 英戈·施托克格南特韦斯伯格 | 热处理监控系统 |
DE112015006338T5 (de) | 2015-04-21 | 2017-11-30 | Olympus Corporation | Endoskopvorrichtung |
DE102016215550A1 (de) * | 2016-08-18 | 2018-02-22 | BSH Hausgeräte GmbH | Feststellen eines Bräunungsgrads von Gargut |
JP7126050B2 (ja) | 2017-06-23 | 2022-08-26 | パナソニックIpマネジメント株式会社 | 加熱調理器および加熱調理器の制御方法 |
CN107597776B (zh) * | 2017-09-08 | 2020-11-20 | 珠海格力电器股份有限公司 | 烹饪设备的清理方法及装置、烹饪设备 |
CN108593261A (zh) * | 2018-05-03 | 2018-09-28 | 中影巴可(北京)电子有限公司 | 激光电影放映机散斑检测系统及方法 |
-
2019
- 2019-12-11 CN CN201980092379.4A patent/CN113454392B/zh active Active
- 2019-12-11 JP JP2021501603A patent/JP7470903B2/ja active Active
- 2019-12-11 EP EP19915971.6A patent/EP3929489A4/en active Pending
- 2019-12-11 WO PCT/JP2019/048580 patent/WO2020170568A1/ja unknown
- 2019-12-11 US US17/429,329 patent/US20220151037A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108139078A (zh) * | 2015-11-27 | 2018-06-08 | 松下知识产权经营株式会社 | 加热烹调器、加热烹调器的控制方法以及加热烹调系统 |
CN106603933A (zh) * | 2016-12-16 | 2017-04-26 | 中新智擎有限公司 | 一种曝光方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7470903B2 (ja) | 2024-04-19 |
EP3929489A1 (en) | 2021-12-29 |
WO2020170568A1 (ja) | 2020-08-27 |
CN113454392A (zh) | 2021-09-28 |
EP3929489A4 (en) | 2022-04-20 |
US20220151037A1 (en) | 2022-05-12 |
JPWO2020170568A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113454392B (zh) | 加热烹调器 | |
US10423946B2 (en) | POS terminal device, commodity recognition method, and non-transitory computer readable medium storing program | |
KR102621698B1 (ko) | 주변 조명을 특징짓기 위한 시스템들 | |
US6668078B1 (en) | System and method for segmentation of images of objects that are occluded by a semi-transparent material | |
US10986703B2 (en) | Heating cooker | |
CN108139078B (zh) | 加热烹调器、加热烹调器的控制方法以及加热烹调系统 | |
WO2017077695A1 (ja) | 加熱調理器 | |
KR20120139390A (ko) | 이미지 촬영을 위한 광원 제어 장치, 시스템 및 방법 | |
CN110945561A (zh) | 高光谱成像分光光度计和系统 | |
WO2013074978A1 (en) | Systems and methods for reading color optical codes | |
JP2007300253A (ja) | 撮像装置およびその光源推定装置 | |
WO2017168473A1 (ja) | 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム | |
JP6906147B2 (ja) | 加熱調理器および加熱調理器の制御方法 | |
CN110730887B (zh) | 加热烹调器以及加热烹调器的控制方法 | |
US20220414937A1 (en) | Operation of a household cooking appliance with at least one camera | |
JP4692872B2 (ja) | 画像処理装置、及び、プログラム | |
WO2019159518A1 (ja) | 加熱調理器および加熱調理システム | |
JP6920591B2 (ja) | 加熱調理器 | |
JP4226422B2 (ja) | 着色眼用レンズの存在等の検知方法 | |
WO2001014856A1 (en) | Apparatus and method for capturing and displaying color | |
JP2020165573A (ja) | 加熱調理器 | |
US20240249491A1 (en) | System and method for object recognition utilizing reflective light blocking | |
JP6316562B2 (ja) | 商品識別装置を有する店舗システム | |
TW202409544A (zh) | 拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法 | |
CN106341614A (zh) | 摄影影像调整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |