WO2020043439A1

WO2020043439A1 - Interaction device

Info

Publication number: WO2020043439A1
Application number: PCT/EP2019/071072
Authority: WO
Inventors: Markus Helminger; Gerald Horst; Philipp Kleinlein; Frank Schaefer
Original assignee: BSH Hausgeraete GmbH
Current assignee: BSH Hausgeraete GmbH
Priority date: 2018-08-27
Filing date: 2019-08-06
Publication date: 2020-03-05
Anticipated expiration: 2021-02-27
Also published as: DE102018214391A1; EP3844665A1

Abstract

The invention relates to an interaction device comprising a projector for providing a projection; a first camera for determining an interaction of an object with the projection; a second camera for the scanning of an image of the object; and a processing device which is configured to determine the object on the basis of a scanned image.

Description

Interaktionseinrichtung Interaction facility

Die Erfindung betrifft eine Interaktionseinrichtung für ein Hausgerät. Insbesondere betrifft die Erfindung eine Interaktionseinrichtung zur flexiblen Steuerung eines oder mehrerer Hausgeräte. The invention relates to an interaction device for a domestic appliance. In particular, the invention relates to an interaction device for flexible control of one or more household appliances.

DE 10 2016 100 949 A1 zeigt ein Haushaltsgerät mit einem Projektor zur Darstellung ei- nes Steuerelements und einer Kamera zur Erfassung einer Interaktion eines Benutzers mit dem Steuerelement. Mittels der Kamera kann außerdem ein Strichcode eines Pro- dukts abgetastet werden, um das Haushaltsgerät für die Verarbeitung des Produkts vor- zubereiten. DE 10 2016 100 949 A1 shows a household appliance with a projector for displaying a control element and a camera for detecting an interaction of a user with the control element. A barcode of a product can also be scanned using the camera in order to prepare the household appliance for processing the product.

US 6 559 882 B1 schlägt einen Ofen vor, der eine aufzutauende Speise mittels einer Inf- rarotkamera abtastet und während des Auftauens ein Wärmebild der Speise bereitstellt. Die Kamera kann auch einen Barcode einer Speise abtasten oder die Speise selbst er- kennen, um das Auftauen zu steuern. US 6 559 882 B1 proposes an oven which scans a food to be thawed by means of an infrared camera and provides a thermal image of the food during thawing. The camera can also scan a barcode of a dish or recognize the dish itself to control defrosting.

Die bekannten Techniken erlauben üblicherweise eine Verbindung zwischen einem er- kannten Objekt und einer einzigen, isolierten Applikation. Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer verbesserten Interaktionsein- richtung. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder. The known techniques usually allow a connection between a recognized object and a single, isolated application. One object on which the present invention is based is to provide an improved interaction device. The invention solves this problem by means of the subject matter of the independent claims. Sub-claims reflect preferred embodiments.

Eine Interaktionseinrichtung umfasst einen Projektor zur Bereitstellung einer Projektion; eine erste Kamera zur Bestimmung einer Interaktion eines Objekts mit der Projektion; eine zweite Kamera zur Abtastung eines Bildes des Objekts; und eine Verarbeitungsein- richtung, die dazu eingerichtet ist, das Objekt auf der Basis eines abgetasteten Bildes zu bestimmen. An interaction device comprises a projector for providing a projection; a first camera for determining an interaction of an object with the projection; a second camera for scanning an image of the object; and a processing device configured to determine the object based on a scanned image.

Die Erkennung des Objekts kann dadurch verbessert zentral erfolgen und eines oder mehrere Hausgeräte, insbesondere Küchengeräte, können einen Hinweis auf das erfass- te Objekt zur Verfügung gestellt bekommen oder in Abhängigkeit des erfassten Objekts gesteuert werden. Eine Integration oder Konzertierung mehrerer Hausgeräte, insbesonde- re Küchengeräte, kann dadurch verbessert werden. Das Objekt kann insbesondere eine Zutat umfassen, die bei der Zubereitung einer Speise verbraucht wird. Die Zutat als Objekt kann dabei nacheinander oder auch gleichzeitig ver- schiedenen Küchengeräten zugeordnet sein. Beispielsweise kann die Zutat zunächst in einem Vorratsschrank, einem Kühlschrank oder einem Gefrierfach aufgehoben sein. Sie kann dann von einem Benutzer entnommen und auf der Basis eines Rezepts etwa mittels eines Mixers oder einer Rührmaschine verarbeitet werden. Danach kann die Zutat zu- sammen mit anderen Zutaten beispielsweise in einem Ofen oder auf einem Herd gegart werden. Die genannten Küchengeräte oder auch andere Küchengeräte können in Abhän- gigkeit des erkannten Objekts verbessert gesteuert werden. Insbesondere kann eine In- ventarisierung von in einem Haushalt vorhandenen Objekten durch die zentrale Objekter- kennung mittels der Interaktionseinrichtung verbessert unterstützt werden. The detection of the object can thus be improved centrally and one or more household appliances, in particular kitchen appliances, can be provided with a reference to the detected object or can be controlled depending on the detected object. This can improve the integration or concertation of several household appliances, especially kitchen appliances. The object can in particular comprise an ingredient that is consumed in the preparation of a dish. The ingredient as an object can be assigned to different kitchen appliances in succession or simultaneously. For example, the ingredient can first be stored in a pantry, refrigerator or freezer. It can then be removed by a user and processed on the basis of a recipe, for example using a mixer or a mixer. The ingredient can then be cooked together with other ingredients, for example in an oven or on a stove. The kitchen appliances mentioned or other kitchen appliances can be controlled in an improved manner as a function of the detected object. In particular, an inventory of objects present in a household can be better supported by the central object recognition by means of the interaction device.

Das Objekt kann auf unterschiedliche Weise bestimmt werden. In einer ersten Variante wird das Objekt auf der Basis des Bildes bestimmt. Dazu können beispielsweise ein Um- riss, eine Form, eine Größe, eine Farbe oder eine Textur des Objekts auf dem Bild er- kannt und mit Referenzdaten verglichen werden. Dabei kann das Objekt einer Klasse von Objekten zugeordnet werden, der weitere Informationen zugeordnet sein können, bei- spielsweise ein Preis, ein Gehalt eines Nährstoffs oder eine übliche Haltbarkeitsdauer. So können insbesondere unverpackte Produkte verbessert bestimmt werden. The object can be determined in different ways. In a first variant, the object is determined on the basis of the image. For this purpose, for example an outline, a shape, a size, a color or a texture of the object on the image can be recognized and compared with reference data. The object can be assigned to a class of objects to which further information can be assigned, for example a price, a content of a nutrient or a usual shelf life. Unpackaged products, in particular, can thus be better identified.

In einer zweiten Variante wird das Objekt auf der Basis eines dem Objekt anhaftenden Etiketts bestimmt. Das Etikett kann insbesondere an einer Verpackung des Objekts ange- bracht sein. In einer weiteren Variante kann auch die Verpackung selbst erkannt werden. Die Verpackung oder das Etikett können mit insbesondere aufgedruckten Informationen versehen sein, die beispielsweise textuell, numerisch oder alphanumerisch einen Hinweis auf das Objekt liefern können. Das Objekt kann auch auf der Basis eines Logos oder Wa- renzeichens auf dem Etikett oder der Verpackung bestimmt werden. In noch einer weite- ren Ausführungsform ist eine maschinenlesbare Kennung auf dem Objekt, der Verpa- ckung oder dem Etikett angebracht. Diese Kennung kann beispielsweise einen Strichcode oder einen QR-Code (zweidimensionaler Rastercode) umfassen. Die codierten Informati- onen können unmittelbar oder mittels Zuordnung durch eine Datenbank auf das Objekt und optional weitere Informationen abgebildet werden, die dem Objekt zugeordnet sein können. Es ist weiter bevorzugt, dass durch die Interaktionseinrichtung eine Menge des bestimm- ten Objekts bestimmt wird. Dazu sind unterschiedliche Ausführungsformen möglich. Allen Ausführungsformen ist gemeinsam, dass die Menge in beliebigen Einheiten bestimmt werden kann, die auf das Objekt anwendbar sind, beispielsweise als Längen-, Flächen- oder Hohlmaß, Anzahl oder Gewicht. Weitere Einheiten sind ebenfalls möglich. In a second variant, the object is determined on the basis of a label attached to the object. The label can in particular be attached to a packaging of the object. In a further variant, the packaging itself can also be recognized. The packaging or the label can be provided with, in particular, printed information, which can, for example, provide text, numerical or alphanumeric information about the object. The object can also be determined on the basis of a logo or trademark on the label or packaging. In yet another embodiment, a machine-readable identifier is attached to the object, the packaging or the label. This identifier can include, for example, a bar code or a QR code (two-dimensional raster code). The coded information can be mapped to the object directly or by means of an assignment by a database and optionally further information which can be assigned to the object. It is further preferred that the interaction device determines a quantity of the determined object. Different embodiments are possible for this. It is common to all embodiments that the quantity can be determined in any units that are applicable to the object, for example as length, area or hollow dimension, number or weight. Additional units are also possible.

In einer ersten Ausführungsform wird die Menge des bestimmten Objekts auf der Basis des abgetasteten Bildes bestimmt. Dazu können beispielsweise eine Form, eine Farbe, eine Größe oder eine Textur des Objekts aus dem Bild entnommen und auf der Basis zuvor bestimmter Informationen einem Objekt zugeordnet werden. In a first embodiment, the amount of the determined object is determined based on the scanned image. For this purpose, for example, a shape, a color, a size or a texture of the object can be taken from the image and assigned to an object based on previously determined information.

In einer zweiten Ausführungsform wird zwischen zwei unterschiedlichen Objekten diffe renziert. Die erste Kamera ist dabei dazu eingerichtet, ein Bild des genannten, ersten Ob- jekts zu bestimmen, während die zweite Kamera dazu eingerichtet ist, eine Interaktion eines zweiten, anderen Objekts mit der Projektion zu erfassen. Eine Menge des bestimm- ten ersten Objekts kann dann auf der Basis der Interaktion bestimmt werden. In a second embodiment, a differentiation is made between two different objects. The first camera is set up to determine an image of said first object, while the second camera is set up to detect an interaction of a second, other object with the projection. A set of the determined first object can then be determined based on the interaction.

Das zweite Objekt kann insbesondere eine Hand oder ein anderes Körperteil eines Be- nutzers umfassen. Eine Angabe der Menge kann durch den Benutzer erfolgen, indem dieser beispielsweise eine vorbestimmte Geste macht oder mit der Projektion interagiert. Die Objekte können gleichzeitig oder nacheinander erfasst werden. The second object can in particular include a hand or another body part of a user. The amount can be specified by the user, for example by making a predetermined gesture or interacting with the projection. The objects can be captured simultaneously or one after the other.

In einer Fortbildung dieser Ausführungsform umfasst die Projektion ein Eingabefeld für eine Mengenangabe. Die Mengenangabe kann beispielsweise numerisch mittels eines Ziffernfelds erfolgen. Alternativ kann eine analoge Eingabe unterstützt werden, bei der beispielsweise ein Schiebe- oder Drehregler durch einen Benutzer verändert werden kann. Auch ein symbolisches Eingabefeld kann bereitgestellt sein, insbesondere für schwer zu quantifizierende Mengen wie einen Spritzer oder eine Prise. Zusätzlich kann ein Eingabefeld für eine Einheit vorgesehen sein. Einheiten der Angaben können variabel sein, um etwa ein metrisches, ein angloamerikanisches oder ein anderes Maßsystem zu unterstützen. Beispielsweise können auch Küchenmaße unterstützt werden, die Angaben wie einen Teelöffel, einen Esslöffel, eine Messerspitze, ein Weinglas, eine Tasse, ein Gros, ein Schock oder ein Eischwer umfassen. In einer dritten Ausführungsform wird die Menge des bestimmten Objekts mittels einer Messeinrichtung im Bereich der Projektion bestimmt. Die Messeinrichtung kann insbe- sondere eine Waage umfassen, die beispielsweise in ein Objekt wie eine Arbeitsplatte oder ein Arbeitsbrett eingelassen sein kann. Die Waage kann auch Teil eines Kochge- schirrs oder Kochbestecks sein. Eine Übertragung des durch die Waage bestimmten Messwerts an die Interaktionseinrichtung erfolgt bevorzugt drahtlos. In a development of this embodiment, the projection comprises an input field for a quantity. The quantity can be specified numerically, for example, using a number field. Alternatively, an analog input can be supported in which, for example, a slide or rotary control can be changed by a user. A symbolic input field can also be provided, in particular for quantities that are difficult to quantify, such as a splash or a pinch. In addition, an input field for a unit can be provided. Units of the information can be variable in order to support a metric, an Anglo-American or another measurement system. For example, kitchen measures can be supported that include information such as a teaspoon, a tablespoon, a knife tip, a wine glass, a cup, a large, a shock or an egg weight. In a third embodiment, the amount of the determined object is determined by means of a measuring device in the area of the projection. The measuring device can in particular comprise a scale, which can be embedded, for example, in an object such as a worktop or a work board. The scale can also be part of cookware or cutlery. The measured value determined by the scale is preferably transmitted to the interaction device wirelessly.

Die Verarbeitungseinrichtung der Interaktionseinrichtung kann ortsunabhängig vorgese- hen und durch eine insbesondere drahtlose Kommunikationseinrichtung an andere Kom- ponenten angebunden sein. Insbesondere kann die Verarbeitungseinrichtung als Server oder Dienst, beispielsweise in einer Cloud, realisiert sein. The processing device of the interaction device can be provided regardless of location and can be connected to other components by means of a wireless communication device in particular. In particular, the processing device can be implemented as a server or service, for example in a cloud.

Ein System umfasst eine hierin beschriebene Interaktionseinrichtung und eine zentrale Stelle mit einer Kommunikationseinrichtung. Dabei ist die zentrale Stelle dazu eingerich- tet, Bestimmungen von Objekten für eine Vielzahl Interaktionseinrichtungen durchzufüh- ren. Verarbeitungs- oder Speicherressourcen der zentralen Stelle können dadurch einer Vielzahl Interaktionseinrichtungen bereitgestellt werden. Darüber hinaus kann eine Daten- sammlung über Objekte verbessert vorgehalten werden, um einem zu erkennenden oder erkannten Objekt ein Attribut zuzuordnen. Die Zuordnung kann insbesondere in dieser Variante verbessert lernfähig ausgeführt werden, indem eine große Vielzahl Abtastungen und Bestimmungen von Objekten durchgeführt werden können, deren Erfolg oder Misser- folg bestimmt und zur zukünftigen Verwendung abgelegt werden können. A system comprises an interaction device described herein and a central point with a communication device. The central point is set up to carry out determinations of objects for a large number of interaction devices. Processing or storage resources of the central point can thereby be made available to a large number of interaction devices. In addition, data collection about objects can be kept better in order to assign an attribute to an object to be recognized or recognized. In this variant, in particular, the assignment can be carried out with improved learning ability, since a large number of scans and determinations of objects can be carried out, the success or failure of which can be determined and stored for future use.

Ein Verfahren umfasst Schritte des Bereitstellens einer Projektion; des Abtastens eines Bereichs, in welchem die Projektion liegt; des Abtastens eines Bildes eines ersten Objekts im Bereich der Projektion; des Erfassens einer Interaktion eines zweiten Objekts mit der Projektion; und des Bestimmens des ersten Objekts auf der Basis des abgetasteten Bil des. A method comprises steps of providing a projection; scanning an area in which the projection lies; scanning an image of a first object in the area of the projection; detecting an interaction of a second object with the projection; and determining the first object based on the scanned image.

Das Verfahren kann insbesondere mittels einer hierin beschriebenen Interaktionseinrich- tung oder eines hierin beschriebenen Systems teilweise oder vollständig durchgeführt werden. Dazu kann das Verfahren insbesondere in Form eines Computerprogrammpro- dukts mit Programmcodemitteln vorliegen und eine Verarbeitungseinrichtung der Interak- tionseinrichtung oder des Systems kann als programmierbarer Mikrocomputer oder Mik- rocontroller ausgeführt sein. Merkmale oder Vorteile des Verfahrens können auf die Vor- richtung oder das System übertragen werden und umgekehrt. The method can in particular be carried out partially or completely by means of an interaction device or a system described here. For this purpose, the method can be present, in particular, in the form of a computer program product with program code means, and a processing device of the interaction device or of the system can be configured as a programmable microcomputer or microprocessor. rocontroller. Features or advantages of the method can be transferred to the device or the system and vice versa.

In einer Variante weist die Interaktion auf eine Klasse von Objekten hin, wobei das erste Objekt der Klasse zugeordnet wird. Beispielsweise können unterschiedliche Gurken einer Klasse zugeordnet werden, die verschiedene Gurken umfasst. Eine relativ geringe Anzahl manueller Eingaben kann ausreichen, um ausreichend Referenzdaten bereitzustellen, sodass weitere Objekte der gleichen Klasse automatisch erkannt werden können. In one variant, the interaction points to a class of objects, the first object being assigned to the class. For example, different cucumbers can be assigned to a class that includes different cucumbers. A relatively small number of manual entries can be sufficient to provide sufficient reference data so that further objects of the same class can be recognized automatically.

In einer weiter bevorzugten Ausführungsform kann eine Menge des bestimmten ersten Objekts von einer Inventarliste entfernt werden. Die Inventarliste kann insbesondere eine Liste verfügbarer Vorräte eines Haushalts umfassen. Die Vorräte umfassen bevorzugt Zutaten oder Verbrauchsmaterial, das für die Zubereitung einer Speise verbraucht werden kann. In a further preferred embodiment, a set of the determined first object can be removed from an inventory list. The inventory list can in particular comprise a list of available household supplies. The stocks preferably include ingredients or consumables that can be used to prepare a dish.

Bestimmte Mengen des bestimmten ersten Objekts können auch zu einer Beschaffungs- liste hinzugefügt werden. Die Beschaffungsliste kann wahlweise an ein mobiles Gerät eines Benutzers, beispielsweise an ein Smartphone, übermittelt werden. Alternativ kann die Beschaffungsliste auch beispielsweise an einen zentralen Speicherort wie auf einem Server oder in einer Cloud für den Abruf durch einen Benutzer bereitgestellt werden. In noch einer weiteren Ausführungsform wird erst dann eine vorbestimmte Menge des ersten Objekts der Beschaffungsliste hinzugefügt, wenn zuvor eine weitere vorbestimmte Menge des ersten Objekts verbraucht wurde. In einer Erweiterung kann auf der Basis der Be- schaffungsliste auch eine teil- oder vollautomatische Bestellung eines oder mehrerer ers- ter Objekt gesteuert werden. Certain quantities of the specific first object can also be added to a procurement list. The procurement list can optionally be transmitted to a user's mobile device, for example to a smartphone. Alternatively, the procurement list can also be made available, for example, to a central storage location, such as on a server or in the cloud, for retrieval by a user. In yet another embodiment, a predetermined quantity of the first object is only added to the procurement list if a further predetermined quantity of the first object has previously been consumed. In an extension, a partially or fully automatic order for one or more first objects can be controlled based on the procurement list.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Ver- fahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abge- speichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung über- tragen werden oder umgekehrt. Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen: The processing device can be set up to carry out a method described here in whole or in part. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa. The invention will now be described in more detail with reference to the accompanying figures, in which:

Figur 1 ein System mit einer Interaktionseinrichtung; und Figure 1 shows a system with an interaction device; and

Figur 2 ein Ablaufdiagramm eines Verfahrens darstellt. Figure 2 illustrates a flow diagram of a method.

Figur 1 zeigt ein System 100 mit einer Interaktionseinrichtung 105. Die Interaktionseinrich- tung 105 ist bevorzugt in einem Haushalt, weiter bevorzugt in einer Küche des Haushalts angeordnet. Eine Aufgabe der Interaktionseinrichtung 105 besteht bevorzugt in der Steue- rung eines oder mehrerer Hausgeräte 1 10, die insbesondere ein Küchengerät umfassen können. Dazu kann die Interaktionseinrichtung 105 ein erstes Objekt 115 und/oder ein zweites Objekt 120 optisch abtasten. Die beiden Objekte 115, 120 können miteinander identisch oder voneinander verschieden sein. Sind sie voneinander verschieden, so ist bevorzugt, dass das erste Objekt 115 ein Lebensmittel, eine Zutat oder einen ähnlichen Verbrauchsgegenstand eines Haushalts umfasst, während das zweite Objekt 120 bevor- zugt ein Körperteil eines Benutzers, insbesondere eine Hand, oder eine benutzergesteu- erte Zeigeeinrichtung umfasst. FIG. 1 shows a system 100 with an interaction device 105. The interaction device 105 is preferably arranged in a household, more preferably in a kitchen of the household. One task of the interaction device 105 is preferably to control one or more domestic appliances 110, which can in particular comprise a kitchen appliance. For this purpose, the interaction device 105 can optically scan a first object 115 and / or a second object 120. The two objects 115, 120 can be identical to one another or different from one another. If they are different from one another, it is preferred that the first object 115 comprises a food, an ingredient or a similar consumable of a household, while the second object 120 preferably a body part of a user, in particular a hand, or a user-controlled pointing device includes.

Die Interaktionseinrichtung 105 umfasst einen Projektor 125, eine erste Kamera 130 und eine zweite Kamera 135. Der Projektor 125 ist dazu eingerichtet, eine Projektion 140 auf eine Oberfläche 145 zu werfen. Die Oberfläche 145 kann insbesondere die einer Arbeits- fläche oder eines Arbeitsbretts 150 sein. Dabei ist die Interaktionseinrichtung 105 bevor- zugt vertikal über der Oberfläche 145 angebracht und nach unten gerichtet. Insbesondere kann die Interaktionseinrichtung 105 im Bereich eines Oberschranks oder einer Dunstab- zugshaube angeordnet sein. In einer weiteren Ausführung kann auch eine schräge oder seitliche Ausrichtung der Interaktionseinrichtung 105 bezüglich einer üblichen Position eines Benutzers an der Arbeitsfläche vorgesehen sein. Dabei kann die Oberfläche 145 auch beispielsweise eine Seitenwand eines Küchenmöbels oder eine Wand eines Zim- mers in einem Haushalt umfassen. Andere Oberflächen 145 können ebenfalls verwendet werden. The interaction device 105 comprises a projector 125, a first camera 130 and a second camera 135. The projector 125 is set up to throw a projection 140 onto a surface 145. The surface 145 can in particular be that of a work surface or a work board 150. The interaction device 105 is preferably mounted vertically above the surface 145 and directed downwards. In particular, the interaction device 105 can be arranged in the region of an upper cabinet or an extractor hood. In a further embodiment, an oblique or lateral orientation of the interaction device 105 with respect to a customary position of a user on the work surface can also be provided. The surface 145 can also include, for example, a side wall of a kitchen furniture or a wall of a room in a household. Other surfaces 145 can also be used.

Die erste Kamera 130 ist dazu eingerichtet, ein Bild des ersten Objekts 1 15, und die zwei- te Kamera 135 dazu, eine Interaktion des zweiten Objekts 120 mit der Projektion 140 zu bestimmen. Insbesondere kann die Projektion 140 eine Steuerfläche umfassen, deren Berührung durch das zweite Objekt 120, beispielsweise eine Hand oder ein Finger eines Benutzers, mittels der zweiten Kamera 135 bestimmt werden kann. Durch entsprechende Steuerung der Projektion 140 und Bestimmung der Interaktion des zweiten Objekts 120 mit der Projektion 140 können eines oder mehrere der Küchengeräte 1 10 gesteuert wer- den. The first camera 130 is set up to take an image of the first object 115, and the second camera 135 is set up to allow the second object 120 to interact with the projection 140 determine. In particular, the projection 140 can comprise a control surface, the touch of which can be determined by the second object 120, for example a hand or a finger of a user, by means of the second camera 135. By appropriately controlling the projection 140 and determining the interaction of the second object 120 with the projection 140, one or more of the kitchen appliances 110 can be controlled.

Der Projektor 125, die erste Kamera 130 und die zweite Kamera 135 können auch in einer anderen als der dargestellten Konstellation angeordnet sein. Die erste Kamera 130 ist bevorzugt zur Abtastung eines Bildes im sichtbaren Lichtwellenlängenbereich eingerich- tet. Die zweite Kamera 135 kann eine Tiefenkamera umfassen, die insbesondere in einem unsichtbaren Wellenlängenbereich des Lichts arbeiten kann. Dieser Bereich kann einen Infrarotbereich umfassen. Ein durch die zweite Kamera 135 bereitgestelltes Bild des ers- ten Objekts 1 15 und/oder des zweiten Objekts 120 kann zusätzlich eine Tiefeninformation umfassen. Diese kann etwa auf der Basis der Ausbreitungsgeschwindigkeit von Licht zwi- schen einer eingebauten Lichtquelle und der zweiten Kamera 135 oder mittels Stereosko- pie bestimmt werden. The projector 125, the first camera 130 and the second camera 135 can also be arranged in a different constellation than the one shown. The first camera 130 is preferably set up to scan an image in the visible light wavelength range. The second camera 135 can comprise a depth camera, which can work in particular in an invisible wavelength range of light. This range can include an infrared range. An image of the first object 115 and / or the second object 120 provided by the second camera 135 can additionally include depth information. This can be determined, for example, on the basis of the speed of light propagation between an installed light source and the second camera 135 or by means of stereoscopy.

Die Interaktionseinrichtung 105 umfasst ferner bevorzugt eine Verarbeitungseinrichtung 155, die weiter bevorzugt lokal im Bereich des Projektors 125 und der Kameras 130 und 135 vorgesehen ist. Außerdem kann eine bevorzugt drahtlose Kommunikationsschnittstel- le 160 vorgesehen sein. In einer Ausführungsform ist die Verarbeitungseinrichtung 155 oder eine weitere Verarbeitungseinrichtung 155 kommunikativ über die Kommunikations- Schnittstelle 160 angebunden. In diesem Fall kann die Verarbeitungseinrichtung 155 Teil einer zentralen Stelle 165 sein, die insbesondere als Server oder Dienst, beispielsweise in einer Cloud, ausgebildet sein kann. The interaction device 105 further preferably comprises a processing device 155, which is further preferably provided locally in the area of the projector 125 and the cameras 130 and 135. In addition, a preferably wireless communication interface 160 can be provided. In one embodiment, processing device 155 or a further processing device 155 is communicatively connected via communication interface 160. In this case, the processing device 155 can be part of a central point 165, which can be designed in particular as a server or service, for example in a cloud.

Über die Kommunikationsschnittstelle 160 können auch noch weitere Gerätschaften kommunikativ angebunden sein. Beispielsweise kann eine Kommunikation mit einem Ge- rät 170 ermöglicht sein, das etwa als Smart Device einem Benutzer des Systems 100 zugeordnet sein kann. Das Gerät 170 kann zum Beispiel ein Smartphone, ein Tablet oder einen ähnlichen Universalcomputer umfassen. Further devices can also be communicatively connected via the communication interface 160. For example, communication with a device 170 can be made possible, which can be assigned to a user of the system 100 as a smart device, for example. Device 170 may include, for example, a smartphone, tablet, or similar general-purpose computer.

In noch einer weiteren Ausführungsform ist eine Messeinrichtung 175 vorgesehen, die insbesondere Teil eines Gegenstands sein kann, auf deren Oberfläche 145 die Projektion 140 geworfen wird, beispielsweise einer Arbeitsplatte oder das Arbeitsbrett 150. Die Mes- seinrichtung 175 kann zur Bestimmung einer Menge, insbesondere einer Masse des ers- ten Objekts 1 15 eingerichtet sein. Das Messergebnis kann mittels der Verarbeitungsein- richtung 155 der Interaktionseinrichtung 105 weiterverarbeitet werden. In yet another embodiment, a measuring device 175 is provided, which can in particular be part of an object, on the surface 145 of which the projection 140 is thrown, for example a worktop or the work board 150. The measuring device 175 can be set up to determine a quantity, in particular a mass, of the first object 115. The measurement result can be processed further by means of the processing device 155 of the interaction device 105.

Es wird vorgeschlagen, die Interaktionseinrichtung 105 nicht nur zur Steuerung eines oder mehrerer der Hausgeräte 1 10 zu verwenden, sondern zusätzlich um das erste Objekt 1 15 zu erkennen und zu verwalten. Die Verwaltung kann insbesondere eine Zuordnung zu einem der Hausgeräte 1 10 oder eine Lager- oder Vorratshaltung umfassen. It is proposed that the interaction device 105 not only be used to control one or more of the domestic appliances 110, but also to recognize and manage the first object 115. The administration can include, in particular, an assignment to one of the domestic appliances 110 or a storage or stock holding.

Figur 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200. Das Verfahren 200 kann mittels der Interaktionseinrichtung 105 bzw. mittels des Systems 100 durchgeführt werden. Die Schritte des Verfahrens 200 müssen nicht unbedingt in der dargestellten Reihenfolge durchgeführt werden. FIG. 2 shows a flow chart of an exemplary method 200. The method 200 can be carried out by means of the interaction device 105 or by means of the system 100. The steps of method 200 do not necessarily have to be carried out in the order shown.

In einem ersten Schritt 205 kann die Projektion 140 mittels des Projektors 125 auf der Oberfläche 145 bewirkt werden. Die Projektion 140 kann je nach Anwendungsfall unter- schiedliche optische Informationen umfassen, beispielsweise ein Muster, ein Symbol, eine Steuerfläche oder eine Animation. In a first step 205, the projection 140 can be effected on the surface 145 by means of the projector 125. Depending on the application, the projection 140 can comprise different optical information, for example a pattern, a symbol, a control surface or an animation.

In einem Schritt 210 wird das erste Objekt 115 mittels der ersten Kamera 130 abgetastet und es wird ein Bild des ersten Objekts 1 15 bereitgestellt. In einem Schritt 215 kann das erste Objekt 1 15 bestimmt werden. Die Bestimmung kann insbesondere auf der Basis des bereitgestellten Bildes erfolgen. In einer Ausführungsform wird das erste Objekt 115 selbst erkannt, in einer anderen Ausführungsform eine Verpackung des ersten Objekts 1 15 oder ein am ersten Objekt 115 oder an seiner Verpackung angebrachtes Etikett. Das Etikett kann insbesondere eine textuelle Angabe des ersten Objekts 1 15, einen Barcode oder einen QR-Code umfassen. In a step 210, the first object 115 is scanned by the first camera 130 and an image of the first object 115 is provided. The first object 115 can be determined in a step 215. The determination can be made in particular on the basis of the image provided. In one embodiment, the first object 115 is recognized itself, in another embodiment a packaging of the first object 115 or a label attached to the first object 115 or to its packaging. The label can in particular comprise a textual specification of the first object 115, a barcode or a QR code.

In einem Schritt 220 wird das zweite Objekt 120 mittels der zweiten Kamera 135 abgetas- tet und eine Interaktion mit der Projektion 140 oder einer über die Projektion 140 ausge- gebenen visuellen Information bestimmt. In a step 220, the second object 120 is scanned by means of the second camera 135 and an interaction with the projection 140 or a visual information output via the projection 140 is determined.

Es ist zu beachten, dass das Abtasten des ersten Objekts 1 15 und das Bestimmen der Interaktion des zweiten Objekts 120 mit der Projektion 140 zueinander nebenläufig, von- einander separat oder in unterschiedlichen Graden der gegenseitigen Integration erfolgen kann. Beispielsweise können in einer ersten Variante das erste Objekt 1 15 und das zweite Objekt 120 nacheinander und einzeln abgetastet werden. In einer zweiten Variante kann das erste Objekt 1 15 zusammen mit dem zweiten Objekt 120 mittels der ersten Kamera 130 abgetastet werden, und danach kann die Interaktion des zweiten Objekts 120, mit oder ohne das erste Objekt 1 15, mit der Projektion 140 mittels der zweiten Kamera 135 bestimmt werden. In einer dritten Variante kann auch das erste Objekt 1 15 dazu verwen- det werden, eine Interaktion mit der Projektion 140 auszudrücken. Dazu kann es vom zweiten Objekt 120 geführt werden. It should be noted that the scanning of the first object 115 and the determination of the interaction of the second object 120 with the projection 140 run parallel to one another, from can be done separately or in different degrees of mutual integration. For example, in a first variant, the first object 115 and the second object 120 can be scanned one after the other and individually. In a second variant, the first object 1 15 can be scanned together with the second object 120 by means of the first camera 130, and then the interaction of the second object 120, with or without the first object 1 15, with the projection 140 by means of the second Camera 135 can be determined. In a third variant, the first object 115 can also be used to express an interaction with the projection 140. For this purpose, it can be guided by the second object 120.

In einem optionalen Schritt 225 kann ein externes Signal empfangen werden, das insbe- sondere von der Messeinrichtung 175 stammen kann. Dazu kann das erste Objekt 115 zunächst der Messeinrichtung 175 zugeführt werden, beispielsweise indem es auf der Oberfläche 145 abgestellt wird. Das Signal weist bevorzugt auf eine Menge (ein Quan- tum) des ersten Objekts 115 hin. In an optional step 225, an external signal can be received, which can originate in particular from the measuring device 175. For this purpose, the first object 115 can first be fed to the measuring device 175, for example by placing it on the surface 145. The signal preferably indicates an amount (a quantum) of the first object 115.

In einem Schritt 230 kann eine Menge des ersten Objekts 115 bestimmt werden. Dabei ist insbesondere diejenige Menge gemeint, die beispielsweise bei einem Kochvorgang oder im Rahmen eines Servierens verbraucht wird und anschließend dem Haushalt nicht mehr zur Verfügung steht. Die Menge kann auf unterschiedliche Weise bestimmt werden. Eine automatisch erkannte Menge muss nicht identisch mit einer tatsächlich verbrauchten Menge sein. In diesem Fall kann eine manuelle Korrektur, insbesondere mittels der Inter- aktionseinrichtung 105 erfolgen. Auch eine Korrektur einer mittels der Messeinrichtung 175 bestimmten Menge kann auf diese Weise erfolgen. In einer weiteren Ausführungs- form kann die Menge geschätzt werden. Umfasst das erste Objekt 1 15 etwa eine Muskat- nuss, von der für die Zubereitung eines Gerichts üblicherweise nur ein kleiner Teil ver- braucht wird, kann ein üblicher oder durchschnittlicher Wert als Menge geschätzt werden. In a step 230, a quantity of the first object 115 can be determined. This refers in particular to the amount that is consumed, for example, during a cooking process or as part of a serving and is then no longer available to the household. The amount can be determined in different ways. An automatically recognized quantity does not have to be identical to an actually used quantity. In this case, a manual correction can take place, in particular by means of the interaction device 105. A correction of a quantity determined by means of the measuring device 175 can also take place in this way. In another embodiment, the amount can be estimated. If the first object 115 comprises, for example, a nutmeg, of which only a small part is usually used for the preparation of a dish, a customary or average value can be estimated as a quantity.

In einem Schritt 235 kann die solchermaßen bestimmte Information weiterverarbeitet wer- den. Insbesondere kann nachvollzogen werden, welche Menge des ersten Objekts 115 im Haushalt noch vorrätig ist. Erforderlichenfalls kann eine vorbestimmte Menge des ersten Objekts 1 15 auf eine Beschaffungsliste gesetzt werden. Die Beschaffungsliste kann Grundlage einer halbautomatischen oder automatischen Bestellung sein. Die Liste kann auch an das Gerät 170 übermittelt werden, um eine Beschaffung durch einen Benutzer zu ermöglichen. Bezugszeichen In a step 235, the information determined in this way can be processed further. In particular, it can be seen how much of the first object 115 is still available in the household. If necessary, a predetermined amount of the first object 115 can be placed on a procurement list. The procurement list can be the basis of a semi-automatic or automatic order. The list may also be communicated to device 170 to allow for user acquisition. Reference numerals

100 System 100 system

105 Interaktionseinrichtung 105 interaction facility

1 10 Hausgerät, Küchengerät 1 10 household appliance, kitchen appliance

115 erstes Objekt (z. B. Zutat) 115 first object (e.g. ingredient)

120 zweites Objekt (z. B. Hand) 120 second object (e.g. hand)

125 Projektor 125 projector

130 erste Kamera 130 first camera

135 zweite Kamera 135 second camera

140 Projektion 140 projection

145 Oberfläche 145 surface

150 Arbeitsbrett 150 work board

155 Verarbeitungseinrichtung 155 processing device

160 Kommunikationsschnittstelle 160 communication interface

165 zentrale Stelle 165 central office

170 Gerät 170 device

175 Messeinrichtung 175 measuring device

200 Verfahren 200 procedures

205 Bereitstellen Projektion 205 Provide projection

210 Abtasten erstes Objekt, Bereitstellen Bild 210 scanning first object, providing image

215 Bestimmen erstes Objekt 215 Determine first object

220 Abtasten zweites Objekt, Bestimmen Interaktion 220 scanning second object, determining interaction

225 Erfassen externes Signal 225 Acquire external signal

230 Bestimmen Menge 230 Determine quantity

235 Verarbeiten Information 235 Process information

Claims

PATENT CLAIMS

1. Interaction device (105), the interaction device (105) comprising the following:

- a first camera (130) for scanning an image of an object (1 15, 120);

- a projector (125) for providing a projection (140);

- a second camera (135) for determining an interaction of the object (1 15,

120) with the projection (140);

- a processing device (155) which is set up to process the object (1 15,

120) on the basis of a scanned image.

2. Interaction device (105) according to claim 1, wherein the object (1 15, 120) comprises an ingredient that is consumed in the preparation of a dish.

3. Interaction device (105) according to claim 1 or 2, wherein the object (1 15, 120) is determined on the basis of the image.

4. Interaction device (105) according to one of the preceding claims, wherein the object (1 15, 120) is determined on the basis of a label adhering to the object (1 15, 120).

5. Interaction device (105) according to one of the preceding claims, wherein a quantity of the specific object (1 15, 120) is determined on the basis of the scanned image.

6. Interaction device (105) according to one of the preceding claims, wherein the first camera (130) is set up to determine an image of a first object (1 15) and the second camera (135) to an interaction of a second object (120), a quantity of the determined first object (115) being determined on the basis of an interaction of the second object (120) with the projection (140).

7. Interaction device (105) according to claim 6, wherein the projection (140) comprises an input field for a quantity.

8. Interaction device (105) according to one of the preceding claims, wherein a quantity of the specific object (115, 120) is determined by means of a measuring device (175) in the area of the projection (140).

9. Interaction device (105) according to one of the preceding claims, further comprising a communication device (160), the processing device (155) being connected via the communication device (160).

10. System (100) comprising an interaction device (105) according to claim 9 and a central point (165) with a communication device (160), the central point (165) being set up to determine determinations of objects (1 15, 120) for a large number of interaction devices (105).

1 1. Method (200) comprising the following steps:

Providing (205) a projection (140);

- scanning (210, 220) an area in which the projection (140) lies;

- Scanning (215) an image of a first object (115) in the region of the projection (140);

Detecting (220) an interaction of a second object (120) with the projection (140); and

Determining (215) the first object (1 15) based on the scanned image.

12. The method (200) according to claim 11, wherein the interaction points to a class of objects (1 15) and the first object (1 15) is assigned to the class.

13. The method (200) according to claim 1 1 or 12, wherein a predetermined amount of the first object (115) is added to a procurement list.