DE102006020563A1

DE102006020563A1 - Mobile terminal e.g. mobile radio unit, has detection and evaluation unit provided for detection and evaluation of three-dimensional movement of terminal using camera pictures of cameras

Info

Publication number: DE102006020563A1
Application number: DE102006020563A
Authority: DE
Inventors: Thomas Smits
Original assignee: BenQ Mobile GmbH and Co OHG
Current assignee: Hewlett Packard Development Co LP
Priority date: 2006-05-03
Filing date: 2006-05-03
Publication date: 2007-11-08

Abstract

Die Erfindung betrifft ein mobildes Endgerät, insbesondere Mobilfunkgerät, mit zwei Kameras. Erfindungsgemäß sind Mittel zur Erfassung und Auswertung einer Bewegung des Endgerätes über die Kamerabilder der beiden Kameras vorgesehen.The The invention relates to a mobile device, in particular a mobile device, with two Cameras. According to the invention are means for detecting and evaluating a movement of the terminal over the Camera images of the two cameras provided.

Description

Die Erfindung bezieht sich auf mobile Endgeräte, wie beispielsweise Mobilfunkgeräte oder PDAs (Personal Digital Assistant).The The invention relates to mobile devices, such as mobile devices or PDAs (Personal Digital Assistant).

Solche Endgeräte sind oftmals mit einer oder mehreren Kameras ausgerüstet. So dient beispielsweise eine Kamera bei einem sogenannten Kamerahandy beziehungsweise Videohandy zur Durchführung eines Bildtelefonates. Dabei wird üblicherweise nur eine Kamera, meist die auf den Benutzer zeigende, verwendet während die andere Kamera deaktiviert bleibt. Der Nutzer hat des weiteren vielfach die Möglichkeit die in den Raum zeigende Kamera gezielt zu selektieren um dem Gesprächspartner einen Eindruck der Umgebung zu vermitteln.Such terminals are often equipped with one or more cameras. So For example, a camera is used in a so-called camera phone or video cell phone for carrying out a video call. This is usually only a camera, mostly pointing at the user, used during the other camera remains disabled. The user has many more the possibility to selectively select the camera pointing into the room around the conversation partner to give an impression of the environment.

Weiter kann ein Kamerahandy zur Generierung beziehungsweise Veränderung oder Steuerung von Tönen verwendet werden. Hierbei werden aus den Bildsignalen, beispielsweise aus den aufgenommenen Farben oder den Veränderungen der Bildinhalte Steuersignale gewonnen.Further can a camera phone to generate or change or control of sounds be used. Here are from the image signals, for example from the recorded colors or the changes of the picture contents control signals won.

Mobilfunkgeräte sind oftmals die Basisgeräte für Spiele. Zur Steuerung der Spiele beziehungsweise des Spielablaufes kann neben den Tasteneingaben auch eine Bewegungserkennung des Funkgerätes selbst herangezogen werden.Mobile devices are often the basic devices for games. To control the games or the gameplay can in addition to the keystrokes also a motion detection of the radio itself be used.

Zur dreidimensionalen Bewegungserkennung werden entsprechende Beschleunigungssensoren beziehungsweise eine Kombination mit Gyroskopen verwendet. Weiter können magnetische oder Ultraschall-Sensoren verwendet werden, wobei letztere beispielsweise eine Bewegung des Handys in Bezug zum Erdmagnetfeld auswerten.to Three-dimensional motion detection are appropriate acceleration sensors or a combination with gyroscopes used. Further can magnetic or ultrasonic sensors are used, the latter For example, a movement of the mobile phone in relation to the Earth's magnetic field evaluate.

Die vorstehend beschriebenen Techniken werden vorzugsweise bei den entsprechenden Sensoreinrichtungen für Virtual-Reality-Helme oder bei sogenannten 3D-Mäusen oder 3D-Joysticks für Virtual- oder Augmented-Reality-Anwendungen eingesetzt.The The techniques described above are preferably used in the corresponding Sensor devices for Virtual reality helmets or in so-called 3D mice or 3D joysticks for virtual or augmented reality applications.

Der Erfindung liegt die Aufgabe zugrunde eine komfortable Bewegungserkennung für ein mobiles Endgerät bereitzustellen.Of the Invention is based on a comfortable motion detection task for a mobile terminal provide.

Diese Aufgabe wird erfindungsgemäß durch die im Patentanspruch 1 angegebenen Merkmale gelöst.These The object is achieved by the achieved in claim 1 features.

Im Folgenden wird die Erfindung an Hand eines in der Zeichnung dargestellten Ausführungsbeispieles beschrieben. Dabei zeigen:in the The invention will be described below with reference to a drawing embodiment described. Showing:

1 einige Grundlagen zur Erfindung, 1 some basics to the invention,

2 und 3 eine Erkennung einer translatorischen Bewegung, und 2 and 3 a recognition of a translatory movement, and

4 und 5 eine Erkennung einer rotatorischen Bewegung, 4 and 5 a detection of a rotational movement,

Die Erfindung geht beispielsweise aus von einem Mobilfunkgerät, welches mit zwei Kameras ausgestattet ist, die beispielsweise in entgegengesetzte Richtungen ausgerichtet sind. Dabei weisen die optischen Achsen der Kameras in den heute üblichen Geräten meist konstruktions-, design- oder anwendungsbedingt einen Abstand voneinander auf. Die Erfindung setzt allerdings keine beabstandete, parallele Anordnung der Achsen voraus, sondern erlaubt ebenso unterschiedlichste Anordnungen der optischen Achsen der Kamerasensoren im Bezug auf Abstand und Orientierung zueinander.The For example, the invention is based on a mobile device which equipped with two cameras, for example, in opposite Directions are aligned. This is shown by the optical axes the cameras in the usual today devices usually design, design or application due to a distance from each other. However, the invention does not set a spaced, parallel Arrangement of the axes ahead, but also allows very different Arrangements of the optical axes of the camera sensors with respect to distance and orientation to each other.

Dabei ist die Anordnung der Achsen fixiert und bekannt oder kann mechanisch durch den Benutzer variiert werden, wobei eine Erfassung des jeweiligen Zustandes durch die Endgeräte selbst gewährleistet wird. Ebenso sind Erweiterungsmöglichkeiten beispielsweise durch Ansteckzubehör oder sonstige Mo difikationen der Geräte denkbar, die es erlauben zum einen die Anforderungen an den beschriebenen Erkennungsmechanismus zu erfüllen oder wie in weiterer Beschreibung folgend als zusätzliche Informationsquelle dienlich sind.there the arrangement of the axes is fixed and known or can be mechanical be varied by the user, with a detection of the respective Condition by the terminals self-assured becomes. Likewise are expansion possibilities for example, by Ansteckzubehör or other Mo difications the devices conceivable, which allow on the one hand the requirements for the described To meet detection mechanism or as further description, as an additional source of information are helpful.

Die bisher dem Fachmann allgemein bekannten Methoden zur Bewegungserkennung angewendet auf eine von einer Kamera gelieferten Bildsequenz ermöglichen lediglich die Erkennung translatorischer Bewegung entlang der x- sowie der y-Achse (1 dient dem Verständnis der Ausrichtung der Achsen).The motion detection methods generally known to the person skilled in the art, applied to an image sequence supplied by a camera, only permit the recognition of translatory movement along the x and y axes (FIG. 1 is used to understand the orientation of the axes).

Weiter ist es möglich, mit einer einzigen Kamera, die Erkennung zu verfeinern und um die Auswertung rotatorischer Bewegung um die Z-Achse zu erweitern. Die Methode selbst sei hier nicht weiter beschrieben, jedoch soll hervorgehoben werden, daß die Methode begründet in Ihrer Art unter Umständen nicht hinreichend robust, sondern störanfällig durch die Eigenschaften der zu erkennenden Objekte der gelieferten Bildsequenzen sein kann.Further Is it possible, with a single camera to refine the detection and the Evaluation of rotary motion to extend the Z-axis. The Method itself is not described here, but should be highlighted be that the Method justified in your way may not sufficiently robust, but prone to failure by the Properties of the objects to be recognized of the delivered image sequences can be.

Die Grundidee der Erfindung wird durch die Zuhilfenahme einer zweiten Kamera ermöglicht.The The basic idea of the invention is achieved by the aid of a second Camera allows.

Erst durch die erfindungsgemäß kombinierende Ausweitung der Erkennung auf eine zweite Kameraanordnung kann eine vollständige Information translatorischer sowie rotatorischer Bewegung um alle drei Achsen im Raum gewonnen werden.First by combining according to the invention Extension of the detection to a second camera arrangement can be a full Information about translational and rotational movement around all three axes are won in space.

Für translatorische Bewegungen entlang der x-Achse findet man in den 2 und 3 eine exemplarische Darstellung. Vereinfacht umschrieben, „sehen" die Kameras jeweils die gleiche Bewegungsrichtung und zwar entgegengesetzt der Bewegungsrichtung des Mobilgerätes.For translational movements along the x-axis can be found in the 2 and 3 an ex emplarian representation. In simple terms, the cameras "see" the same direction of movement, opposite to the direction of movement of the mobile device.

Im Unterschied dazu wird durch die beiden Kameras beim Drehen des Mobilgerätes um die y-Achse eine jeweils entgegen gesetzte Bewegungsrichtung wahrgenommen. Die wahrgenommene Richtung des jeweiligen Kamerasensors im Bezug auf die rotatorische Bewegungsrichtung um die y-Achse kann den 4 und 5 entnommen werden.In contrast, when the mobile device rotates around the y-axis, the two cameras perceive a respective opposite direction of movement. The perceived direction of the respective camera sensor with respect to the rotational direction of movement about the y-axis can 4 and 5 be removed.

Weiter lassen sich analog hierzu die Erkennung der Bewegung um beziehungsweise entlang der verbleibenden Achsen herleiten.Further can be analogous to this, the detection of the movement or derive along the remaining axes.

Ergänzend erlaubt der Umstand der Benutzung mindestens einer zweiten Kamera die Gewinnung von redundanten Informationen. Diese können geeignet einer Steigerung der Robustheit der Erkennungsmethode dienen. Beispielsweise wäre wie bereits oben erwähnt eine Erkennung der Bewegung um die beziehungsweise entlang der z-Achse auch mit nur einer Kamera denkbar indem man mehrere korrelierte Punkte in einem Kamerabild auf Bewegungsänderungen überprüft (z.B. durch vier Punkte im Quadrat). Kombiniert man nun die vorstehend beschriebene Auswertung mit zwei Kameras und wendet zusätzlich eine Auswertung mehrerer korrelierter Punkte auf beide Kameras an, so lassen sich redundante Information gewinnen. Diese können unter Berücksichtigung der gegensätzlich wahrgenommen Bewegungen der Kameras sowie der unterschiedlichen Gewichtung der einzelnen zu kombinierenden Methoden durchaus eine geeignete Reduzierung der Störanfälligkeit erwirken.Additionally allowed the circumstance of using at least one second camera the extraction of redundant information. These can be suitable for an increase the robustness of the detection method. For example, as already would mentioned above a recognition of the movement around or along the z-axis even with only one camera conceivable by several correlated Points in a camera image are checked for movement changes (for example, by four points in Square). Combine now the evaluation described above with two cameras and turns in addition an evaluation of several correlated points on both cameras, This allows redundant information to be gained. These can be under consideration the opposite perceived movements of the cameras as well as the different ones Weighting of the individual methods to be combined quite a suitable reduction of susceptibility obtain.

Bei einer Weiterbildung der Erfindung sind die optischen Achsen der beiden Kameras in zwei zumindest annähernd rechtwinklig zueinander stehende Richtungen des dreidimensionalen Raumes ausgerichtet.at a development of the invention, the optical axes of two cameras in two at least approximately at right angles to each other Aligned stationary directions of the three-dimensional space.

Realisiert werden kann dies beispielsweise durch eine auf der Rückseite und eine seitlich angeordnete Kamera am Handy oder an einem PDA. Denkbar wäre hier auch eine nachträgliche Erweiterung der Geräte durch Ansteckzubehör oder eine Modifikation der Geräte.implemented This can be done for example by one on the back and a side-mounted camera on the phone or on a PDA. Conceivable would be here also a subsequent one Extension of the devices by Ansteckzubehör or a modification of the devices.

Die vorstehend beschriebene Anordnung der Kameraachsen beziehungsweise die Ausrichtung der beiden Kameras ermöglicht erfindungsgemäß die Erkennung und Auswertung einer dreidimensionalen Bewegung des Mobilfunkgerätes.The above-described arrangement of the camera axes or the orientation of the two cameras according to the invention allows the detection and evaluation of a three-dimensional movement of the mobile device.

Die Methoden zur Auswertung beziehungsweise der Bewegungsberechnung sind weitgehend gleich denen mit einer einzigen Kamera und dem Fachmann bekannt. Erfindungsgemäß werden die beiden erkannten Bewegungen für eine dreidimensional Bewegungserkennung zusammengeführt.The Methods for evaluation or motion calculation are largely the same as those with a single camera and the expert known. According to the invention the two recognized movements for a three-dimensional motion detection merged.

Das erfindungsgemäße Endgerät ermöglicht auf vergleichsweise kostengünstige Weise eine komfortable Benutzung des Handys beispielsweise für die Steuerung von dreidimensionalen Applikation.The inventive terminal allows on comparatively inexpensive Make a comfortable use of the phone, for example, for the controller of three-dimensional application.

Zur Verbesserung der Genauigkeit der Bewegungserkennung kann noch eine weitere Kamera vorgesehen sein.to Improving the accuracy of motion detection can be another be provided more camera.

Claims

Mobile terminal, in particular mobile device, with two Cameras characterized by means for detection and evaluation a movement of the terminal over the Camera images of the two cameras.

Mobile terminal according to claim 1, characterized by anti-parallel cameras.

Mobile terminal according to claim 1 or 2, characterized by spaced camera axes.

Mobile terminal according to claim 1, characterized by standing in almost at right angles to each other Spatial axes directed or alignable cameras.

Mobile terminal according to one of the preceding claims, characterized by another camera for detecting movement.