-
Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung. Mittels der Bedienvorrichtung kann zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert werden. Zu der Erfindung gehört auch die Bedienvorrichtung zum Bedienen des zumindest einen Geräts. Die Bedienvorrichtung ist insbesondere für ein Kraftfahrzeug vorgesehen.
-
Mittels einer Eyetrackereinheit kann eine Blickrichtung eines Benutzers erfasst werden. So kann beispielsweise erkannt werden, welches Element auf einem Bildschirm ein Benutzer gerade fokussiert oder anblickt. Eine solche Eyetrackereinheit ist zum Beispiel aus der
US 2015/0278599 A1 bekannt. Darin ist auch beschrieben, dass die Eyetrackereinheit kalibriert werden muss, damit aus den Blickrichtungsangaben der Eyetrackereinheit korrekt die Koordinaten des auf dem Bildschirm betrachteten oder fokussierten Blickpunkts berechnen zu können.
-
Ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung eines Kraftfahrzeugs ist zum Beispiel aus der
DE 10 2014 008 852 A1 bekannt. Danach muss ein Benutzer einen Bildschirm betrachten, während seine Augen mittels eines Eyetrackingsystems gefilmt werden. Auf dem Bildschirm wird währenddessen ein graphisches Objekt angezeigt, zum Beispiel ein Kreuz. Es wird davon ausgegangen, dass der Benutzer dieses graphische Objekt mit den Augen fokussiert, sodass die Koordinaten des fokussierten Bereichs bekannt sind. Die währenddessen mittels des Eyetrackingsystems ermittelten Blickrichtungsangaben können somit auf die bekannten Koordinaten abgebildet oder transformiert werden.
-
Aus der
WO 2014/020323 A1 ist bekannt, den von einem Benutzer auf einen Bildschirm aktuell fokussierten Punkt dadurch herauszufinden, dass ein Mauszeiger auf dem Bildschirm dargestellt wird, den ein Benutzer mit einer Computermaus bedienen muss. Wenn der Benutzer an der Computermaus eine Taste klickt, wird davon ausgegangen, dass er in diesem Moment auf den Mauszeiger am Bildschirm blickt. Es wird also davon ausgegangen, dass die von der Eyetrackereinheit bereitgestellte Blickrichtungsangabe in diesem Moment mit der Position des Mauszeigers übereinstimmt.
-
In einem Fachbeitrag von Perra et al. (
David Perra, Rohit Kumar Gupta, Jan-Micheal Frahm, "Adaptive Eye-Camera Calibration for Head-Worn Devices", CVPR – IEEE Conference on Computer Vision and Pattern Recognition, 2015) ist für eine am Kopf getragene Kamera beschrieben, wie in einem Kamerabild einer Umgebung optisch saliente Elemente erkannt werden können, die ein Benutzer mit hoher Wahrscheinlichkeit fokussiert.
-
Üblicherweise wird die Nutzerkalibrierung einer Eyetrackereinheit durchgeführt, indem eine Reihe von definierten Kalibrierpunkten vom Nutzer der Reihe nach für eine kurze Zeit angeschaut werden müssen. Die Eyetrackereinheit detektiert während dieser Zeit die Blickrichtung des Nutzers und erzeugt entsprechende Blickrichtungsangaben. Diese können mit den bekannten Koordinaten der Kalibrierpunkte verglichen werden, um hieraus Kalibrierdaten zum Ausgleichen eines Unterschieds bereitzustellen oder zu erzeugen.
-
Diese Lösung einer aktiven Kalibrierung durch Darstellen von definierten Kalibrierpunkten kostet Zeit und hindert den Benutzer daran, sofort mit der eigentlichen Systeminteraktion, d.h. der Benutzung der Bedienvorrichtung zum Bedienen des zumindest einen Geräts, zu beginnen.
-
Der Erfindung liegt die Aufgabe zugrunde, eine Kalibrierung einer Eyetrackereinheit einer Benutzervorrichtung mit geringem Zeitaufwand durchzuführen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
-
Durch die Erfindung ist ein Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung bereitgestellt. Mittels der Bedienvorrichtung kann zumindest ein Gerät in Abhängigkeit von zumindest einer Benutzereingabe gesteuert werden. Durch das Kalibrieren wird eine Transformationsvorschrift oder Zuordnungsfunktion zum Zuordnen von Blickrichtungsangaben der Eyetrackereinheit, welche von einer aktuellen Augenposition oder Blickrichtung des Benutzers abhängig sind, zu einer Koordinate eines Bildschirms (Displays) angepasst oder abgestimmt. Bei kalibrierter Eyetrackereinheit kann somit die besagte Benutzereingabe über die Blickrichtung erfolgen.
-
Bei dem Verfahren wird durch eine Steuereinheit der Bedienvorrichtung in zumindest einem vorbestimmten Nutzungsschritt der Bedienvorrichtung jeweils auf dem Bildschirm zumindest ein graphisches Element angezeigt.
-
Der Nutzungsschritt kann zum Beispiel vorsehen, dass der Benutzer eine Benutzereingabe an dem Bildschirm tätigt. Entsprechend kann als graphisches Element zum Beispiel ein graphisches Bedienelement zum Empfangen der zumindest einen Benutzereingabe für die Bedienung des zumindest einen Geräts angezeigt werden. Der Nutzungsschritt kann zusätzlich oder alternativ dazu auch darin bestehen, dass der Benutzer eine angezeigte Information erfasst oder betrachtet. Entsprechend kann das zumindest eine graphische Element auch zumindest ein Ausgabeelement umfassen, welches einen Gerätezustand des zumindest einen Geräts beschreibt, z.B. eine aktuelle Drehzahl eines Motors. Zusätzlich oder alternativ dazu kann der Nutzungsschritt darin bestehen, dass der Benutzer Informationen erhält, zum Beispiel einen Medieninhalt angezeigt bekommt. Ein solcher Medieninhalt kann zum Beispiel ein Bild oder eine Fotografie oder ein Video sein. Entsprechend kann das zumindest eine graphische Element zumindest ein Medienelement zum Ausgeben eines Medieninhalts umfassen.
-
Während des zumindest einen Nutzungsschritts wird auch zumindest eine Blickrichtungsangabe zu dem den Bildschirm betrachtenden Benutzer mittels der Eyetrackereinheit ermittelt oder erzeugt. Mit anderen Worten wird durch die Eyetrackereinheit beschrieben, wohin ein Blick des Benutzers ausgerichtet ist. Eine Blickrichtungsangabe kann entsprechend zum Beispiel Koordinaten eines durch die Eyetrackereinheit ermittelten Betrachtungspunkts auf dem Bildschirm oder ein Blickrichtungsvektor sein.
-
Zum Kalibrieren gehört zu der ermittelten Blickrichtungsangabe auch eine Angabe des tatsächlich betrachteten Bereichs oder der tatsächlich betrachteten Stelle, also z.B. Koordinaten eine Kalibrierpunkts. Indem bekannt ist, welchen Nutzungsschritt der Benutzer gerade an der Bedienvorrichtung ausführt, kann allgemein ermittelt werden, welches graphische Element der Benutzer gerade zumindest mit einer vorbestimmten Mindestwahrscheinlichkeit betrachtet. Bei dem erfindungsgemäßen Verfahren wird diese tatsächlich vom Benutzer betrachtete Stelle ermittelt, indem aus dem zumindest einen angezeigten Element ein optisch auffälliges oder deutliches oder salientes Element festgelegt wird, welches ein vorbestimmtes Salienzkriterium erfüllt und welches der Benutzer zum erfolgreichen Durchführen des Nutzungsschrittes mit den Augen fokussieren muss. Wann ein graphisches Element salient ist, kann auch von der graphischen Umgebung abhängen. Allgemein soll „optisch salient“ hier bedeuten, dass es den Blick des Benutzers auf sich zieht, weil es einen visuellen Anreiz bietet und/oder für den Benutzer momentan inhaltlich von Bedeutung und/oder Interesse ist.
-
In Abhängigkeit von einer Anzeigeposition des optisch salienten Elements auf dem Bildschirm und in Abhängigkeit von der zumindest einen Blickrichtungsangabe werden dann Kalibrierdaten zum Kalibrieren der Eyetrackereinheit erzeugt. Handelt es sich bei den Blickrichtungsangaben zum Beispiel jeweils um einen Vektor oder eine Koordinate, so können die Kalibrierdaten zum Beispiel einen Korrekturvektor vorsehen, mit welchem die unkalibrierte Blickrichtungsangabe kombiniert wird, um hierdurch die kalibrierte oder korrigierte Blickrichtungsangabe zu erhalten. Es kann auch vorgesehen sein, zumindest einen Parameter einer Transformation, wie sie an sich aus dem Stand der Technik bekannt ist, um aus Sensordaten der Eyetrackereinheit die Blickrichtungsangaben zu berechnen, derart angepasst werden, dass eine Differenz zwischen der zumindest einen Blickrichtungsangabe einerseits und der Anzeigeposition des optisch salienten Elements andererseits minimiert wird.
-
Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass der Benutzer die Bedienvorrichtung in dem zumindest einen vorbestimmten Nutzungsschritt benutzen kann und währenddessen die benötigten Kalibrierdaten zum Kalibrieren der Eyetrackereinheit erzeugt werden. Die Bedienvorrichtung steht somit unmittelbar zur Nutzung zur Verfügung.
-
Zu der Erfindung gehören auch optionale Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
-
Mehrere Weiterbildungen der Erfindung betreffen das Salienzkriterium, d.h. die Frage, wie aus mehreren angezeigten graphischen Elementen das optisch saliente Element ermittelt werden kann.
-
So kann vorgesehen sein, dass mehrere graphische Elemente angezeigt werden, zum Beispiel mehrere Ausgabeelemente zum Beschreiben unterschiedlicher Gerätezustände oder mehrere Medienelemente zum Beispiel zum Beschreiben der Bedienvorrichtung im Rahmen eines Tutorials. Die mehreren grafischen Elemente werden dabei derart angezeigt, dass einige zeitweise unscharf und/oder abgedunkelt und/oder nur in Graustufen angezeigt werden und nur ein einziges während des Nutzungsschritts scharf und/oder unverändert hell und/oder farbig und/oder durch ein Markierungselement optisch markiert und damit optisch salient dargestellt wird. In dem also nur ein einziges graphisches Element scharf/hell/farbig/markiert dargestellt wird und das übrige graphische Element oder die übrigen graphischen Elemente dagegen im Verhältnis zu einer sonstigen Darstellung zeitweise unscharf/abgedunkelt/in Graustufen dargestellt sind, ist davon auszugehen, dass der Benutzer das eine Element als optisch salient empfindet und fokussieren wird. Somit werden also die Wahrnehmungsreflexe des Menschen genutzt, um seine Aufmerksamkeit oder seinen Fokus oder Blick auf ein vorbestimmtes graphisches Element zu lenken oder zu ziehen.
-
Zusätzlich oder alternativ dazu kann bei mehreren angezeigten graphischen Elementen vorgesehen sein, dass diese zeitlich nacheinander erscheinend und/oder eines zur Zeit in einer jeweiligen Animation seiner Größe und/oder Form und/oder Position und/oder Lage verändernd angezeigt werden. Durch nacheinander Erscheinen-Lassen der graphischen Elemente ist davon auszugehen, dass das jeweils zuletzt erscheinende Element vom Benutzer als optisch salient empfunden wird und mit dem Blick fokussiert wird. Indem ein graphisches Element animiert wird, wirkt es ebenfalls als optisch salient. Indem hierbei dessen Größe verändert wird, kann die Fläche, innerhalb welcher der Benutzer den Blick-Fokus hält, gezielt gesteuert werden. So kann ein kleiner werdendes oder größer werdendes Element den Fokus des Benutzers gezielt führen. Durch Verändern der Position kann eine Folge von Blickrichtungsangaben erzeugt werden, die eine Spur auf eine Anzeigefläche des Bildschirms beschreiben. Falls ungenügend Platz zum Verändern der Position vorhanden ist, kann durch Verändern der Lage des graphischen Elements, also zum Beispiel durch Rotieren, ebenfalls eine Bewegung oder Animation erreicht werden.
-
Eine weitere Möglichkeit, aus mehreren graphischen Elementen ein optisch salientes Element zu ermitteln, besteht darin, dass ermittelt wird, welches der angezeigten Elemente einen größten, nach dem Salienzkriterium ermittelten Salienzwert aufweist und das Element mit dem größten Salienzwert als optisch salientes Element festgelegt wird. Zum Ermitteln eines Salienzwerts kann zum Beispiel zu jedem graphischen Element jeweils folgende Kenngröße ermittelt werden: eine Anzahl und/oder Länge von Kontrastkanten, entlang welchen ein vorbestimmter Mindestkontrast vorhanden ist; ein an sich bekanntes Maß für den im graphischen Element vorhandenen Farbkontrast; ein an sich bekanntes Maß für den Farbkontrast zwischen dem graphischen Element und einer angrenzenden Umgebung des graphischen Elements. Welchen Einfluss die jeweiligen Eigenschaften eines graphischen Elements auf den Salienzwert haben, kann durch einfache Versuche mit Testpersonen ermittelt werden, indem zum Beispiel mehrere graphische Elemente, die sich im Wert zumindest einer Kenngröße (z.B. Kontrast, Form) unterscheiden, von den Testpersonen gemäß der empfundenen Salienz geordnet werden. Durch Ermitteln eines Salienzwerts ergibt sich der Vorteil, dass ein optisch salientes Element aus mehreren angezeigten graphischen Elementen auch dann ermittelt werden kann, wenn kein fester Ablauf des Nutzungsschrittes vorliegt. Dies kann zum Beispiel bei der Betrachtung von Medieninhalten, wie z.B. Bildern oder Fotografieren oder Videos, der Fall sein, wenn durch zumindest ein Medienelement jeweils ein solcher Medieninhalt angezeigt wird und innerhalb des Medieninhalts ein optisch salientes Element ermittelt werden soll.
-
Falls der Ablauf des Nutzungsschrittes vorgegeben ist, also eine Reihenfolge der zu bedienenden oder zu betrachtenden graphischen Elemente bekannt ist, so kann das jeweils nächste zu bedienende und/oder zu betrachtende graphische Element jeweils im Voraus als optisches salientes Element festgelegt werden, wenn zum Beispiel detektiert oder erkannt wurde, dass das vorangegangene optisch saliente Element vom Benutzer bedient und/oder betrachtet wurde. Das nächste Element ist dann optisch salient, weil es vom Benutzer aktiv mit dem Blick gesucht wird.
-
Besonders bevorzugt ist es, nur ein einziges graphisches Element zur Zeit anzuzeigen, das dann als optisch salientes Element festgelegt wird. Dies ist insbesondere für den Fall vorgesehen, dass nur ein einziges Bedienelement zum Empfangen einer Benutzereingabe angezeigt wird. Dies kann zum Beispiel vorgesehen sein, wenn in einem Nutzungsschritt der Benutzer sich bei der Bedienvorrichtung einloggen oder anmelden soll und hierzu zum Beispiel mit dem Finger auf einem Touchscreen (Berührungsbildschirm) einen Schieber bewegen muss.
-
Im Zusammenhang mit einem vorgegebenen Ablauf eines Nutzungsschrittes, bei dem nacheinander mehrere graphische Elemente vom Benutzer fokussiert werden müssen, muss erkannt werden, wann der Benutzer ein bestimmtes graphisches Element fertig betrachtet hat und zum nächsten graphischen Element wechselt. Auch in einem anderen Fall, selbst wenn nur ein einziges graphisches Element angezeigt wird, fixiert oder fokussiert der Benutzer mit seinem Blick das optisch saliente Element von Anfang an und/oder nicht durchgehend oder dauerhaft. Um diejenigen Blickrichtungsangaben zu ermitteln, die zu dem Zeitraum des Fixierens oder Fokussierens des optisch salienten Elements gehören, ist bevorzugt vorgesehen, dass anhand der zumindest einen Blickrichtungsangabe der Eyetrackereinheit ein Verweilen eines Blicks des Benutzers innerhalb eines Fokussierbereichs mit einer vorbestimmten Bereichsgröße für mehr als eine vorbestimmte Mindestzeitdauer erkannt wird. Ändern sich also die Blickrichtungsangaben, die durch die Eyetrackereinheit nacheinander erzeugt werden, derart geringfügig, dass alle Koordinaten der Blickrichtungsangaben innerhalb des Fokussierbereichs mit vorbestimmter Bereichsgröße liegen, und dauert dieser Zustand für mindestens die vorbestimmte Mindestzeitdauer an, so werden bei Erkennen dieses Verweilens die Kalibrierdaten aus den Blickrichtungsangaben, die während des Verweilens ermittelt wurden, erzeugt. Hier kann davon ausgegangen werden, dass der Benutzer ein graphisches Element fokussiert hat.
-
Es wird dabei zugrunde gelegt, dass das optisch saliente Element fokussiert wurde. Falls es sich um ein einziges graphisches Element handelt, dass angezeigt wurde, so kann dieses graphische Element mit hoher Wahrscheinlichkeit ausgewählt werden. Es kann auch das dem Fokussierbereich nächstliegende, angezeigte graphische Element als optisch salientes Element festgelegt werden, was eine weitere Ausführungsform des Salienzkriteriums ist.
-
Hierbei kann es aber auch vorkommen, dass der Benutzer während des Verweilens ein Objekt betrachtet, das sich neben dem Bildschirm befindet. Um sicherzustellen, dass überhaupt ein Element auf dem Bildschirm fokussiert ist, kann Folgendes vorgesehen sein. Anhand vorbestimmter Start-Kalibrierdaten oder Ausgangs-Kalibrierdaten oder Default-Kalibrierdaten kann zumindest eine vorläufig kalibrierte Blickrichtungsangabe berechnet werden. Nur zumindest eine solche Blickrichtungsangabe wird zum Erzeugen der finalen Konfigurationsdaten genutzt, die Koordinaten entsprechen, die ein vorbestimmtes Plausibilisierungskriterium erfüllen. Man geht hierbei davon aus, dass die Default-Kalibrierdaten eine vorbestimmte Höchstabweichung unterschreiten und somit die Koordinaten, die mittels der Default-Kalibrierdaten erzeugt wurden, auf einem Punkt zeigen, der einen Abstand kleiner als ein vorbestimmter Höchstabstand von dem tatsächlich fokussierten Punkt auf dem Bildschirm aufweist. Es kann und zum Beispiel dann vorgesehen sein, in der beschriebenen Weise als optisch salientes Element dasjenige graphische Element auszuwählen, das den Koordinaten am nächsten liegt.
-
Das Plausibilisierungskriterium kann nun besagen, dass die Blickrichtungsangaben nicht verwendet werden sollen oder unplausibel sind, falls der auf der Grundlage der Default-Kalibrierdaten ermittelte Abstand zu jedem angezeigten graphischen Element größer als ein vorbestimmter Mindestabstand ist.
-
Die während des Verweilens ermittelten Blickrichtungsangaben beschreiben also eine Punktwolke aus mehreren fokussierten Punkten. Mittels einer Methode der kleinsten Fehlerquadrate oder mittels eines RANSAC-Algorithmus kann dann zum Beispiel daraus als Kalibrierdaten ein einzelner Korrekturvektor erzeugt oder berechnet werden.
-
Falls mehrere Blickrichtungsangaben aus der Eyetrackereinheit empfangen werden, kann das Plausibilisierungskriterium umfassen, dass bei einem Wechsel und/oder einer Bewegung des optisch salienten Elements die Koordinaten aller als plausibel anerkannten Blickrichtungsangaben der relativen Positionsänderung entsprechen müssen, d.h. es werden nur entsprechende Blickrichtungsangaben ausgewählt. Durch die Bewegung des optisch salienten Elements ergibt sich eine relative Positionsänderung zwischen den jeweiligen aufeinander folgenden Darstellungen. Es kann also zum Beispiel eine Abfolge aus zumindest zwei unterschiedlichen optisch salienten Elemente dargestellt werden, die unterschiedliche Positionen auf dem Bildschirm aufweisen. Folgt der Benutzer mit dem Auge diesen optisch salienten Elementen, so werden nur solche Blickrichtungsangaben ausgewählt, die Koordinaten auf dem Bildschirm beschreiben, die dem Wechsel zwischen den optisch salienten Elementen relativ entsprechen, also die gleiche relative Positionsänderung beschreiben, wie sie sich durch den Wechsel des optisch salienten Elements ergeben. Falls ein einzelnes optisch salientes Element bewegt wird, so werden nur solche Blickrichtungsangaben ausgewählt, die Koordinaten auf dem Bildschirm beschreiben, die der relativen Positionsänderung, d.h. der Bewegung des optisch salienten Elements entsprechen, also diese Bewegung beschreiben. Hierbei kann sich natürlich aufgrund der fehlenden finalen Kalibrierung ein Offset oder Versatz ergeben, der dann mittels der erzeugten Kalibrierdaten ausgeglichen werden kann.
-
Falls der Bildschirm der Touchscreen ist und der Benutzer den Bildschirm berührt, kann ebenfalls mit großer Sicherheit davon ausgegangen werden, dass der Benutzer den Blick dabei auf die Berührstelle ausgerichtet hat. Wird mittels eines solchen Touchscreens die zumindest eine Benutzereingabe als Berührereignis erkannt, so wird bevorzugt bei erkanntem Berührereignis die jeweils vor und/oder während und/oder nach dem Berührereignis erzeugte Blickrichtungsangabe für die Kalibrierdaten verwendet. Zusätzlich oder alternativ dazu werden Bildschirm-Koordinaten des berührten graphischen Elements und/oder Berührkoordinaten des Berührereignisses zum Erzeugen der Kalibrierdaten zugrunde gelegt. Mit anderen Worten kann direkt aus dem Berührereignis und dessen Koordinaten auf dem Bildschirm bzw. den Koordinaten des durch das Berührereignis berührten graphischen Elements eine jeweilige Soll-Angabe für die Blickrichtung oder den fokussierten Bereich auf dem Bildschirm vorgegeben werden, d.h. ein Kalibrierpunkt definiert werden. Des Weiteren können all diejenigen Blickrichtungsangaben genutzt werden, die mit dem Berührereignis in Verbindung stehen, also innerhalb eines vorbestimmten Zeitraums oder innerhalb einer vorbestimmten Zeitdauer vor und/oder nach dem Berührereignis ermittelten Blickrichtungsangaben sowie während des Berührereignisses ermittelte Blickrichtungsangaben.
-
Um gezielt ein optisch salientes Element zum Empfangen eines Berührereignisses darzubieten, kann eine Bedienfläche zum Eingeben einer Tastbetätigung, also zum Beispiel ein sogenannter Button einer graphischen Benutzerschnittstelle (GUI – Graphical User Interface) und/oder eine Tastatur zum Empfangen einer Zeichenfolge angezeigt werden. Wird dann diese Bedienfläche berührt, ergibt sich also ein Berührereignis, so kann die jeweilige Koordinate der Bedienfläche oder der jeweiligen Taste der Tastatur zum Erzeugen der Kalibrierdaten zugrunde gelegt werden.
-
Es kann auch als graphisches Bedienelement ein Schiebelement zum Eingeben einer Wischgeste angezeigt werden. Die Wischgeste erfolgt hierbei entlang einer Bewegungslinie. Entsprechend können mehrere, einen Bewegungsverlauf entlang der Bewegungslinie beschreibende Blickrichtungsangaben empfangen und zum Erzeugen der Kalibrierdaten genutzt werden. Es wird davon ausgegangen, dass der Benutzer beim Ausführen der Wischgeste an den Bildschirm mit den Augen oder mit dem Blick seinem Finger oder einem anderen Eingabeobjekt folgt, mit welchem die Wischgeste ausgeführt wird. Es kann dann zum Beispiel auch das besagte Plausibilitätskriterium zugrunde gelegt werden, welches angibt, dass nur solche Blickrichtungsangaben genutzt werden, welche der Bewegung oder dem Bewegungsverlauf der Wischgeste entsprechen.
-
Im Zusammenhang mit dem Anzeigen eines Medienelements kann vorgesehen sein, dass als Medienelement ein Video mit einer Bedienungsanleitung für die Bedienvorrichtung und/oder das zumindest eine Gerät angezeigt wird. Es wird also ein sogenanntes Tutorial für die Bedienvorrichtung angezeigt oder präsentiert. Zu zumindest einem Zeitpunkt wird als jeweiliges optisch salientes Element ein momentan in dem Video angezeigtes und durch eine Sprachausgabe erklärtes und/oder in dem Video optisch hervorgehobenes graphisches Element festgelegt. Wird also zum Beispiel gerade ein Drehzahlanzeiger eines Kombiinstruments eines Kraftfahrzeugs erklärt, so ist davon auszugehen, dass der Benutzer einen in dem Video gezeigten Drehzahlanzeige mit dem Blick fokussiert.
-
Das Verfahren kann das Erzeugen von Kalibrierdaten zu einem einzelnen Nutzungsschritt oder zu mehreren Nutzungsschritten vorsehen. Werden mehreren Nutzungsschritte hintereinander durchgeführt, so kann vorgesehen sein, dass jeweils Kalibrierdaten erzeugt werden und mit den Kalibrierdaten jedes Nutzungsschritts die Eyetrackereinheit iterativ kalibriert wird, also schrittweise mehrmals nacheinander. Hierdurch ist in vorteilhafter Weise verhindert, dass bei fehlerhaft erzeugten Kalibrierdaten die Nutzung der Eyetrackereinheit unmöglich wird. Es kann vorgesehen sein, dass eine Veränderung der in einem Nutzungsschritt iterativ angepassten Kalibrierdaten kleiner als ein vorbestimmter Höchstwert gehalten wird, also die Auswirkung der Kalibrierdaten eines einzelnen Nutzungsschrittes begrenzt sind. Durch iteratives Kalibrieren kann zum Beispiel auch erreicht werden, dass nach einem Nutzerwechsel die Eyetrackereinheit iterativ an den neuen Nutzer angepasst wird. Es kann auch vorgesehen sein, dass die Bedienung der Bedienvorrichtung mittels der Eyetrackereinheit zunächst gesperrt wird und erst nach einer vorbestimmten Anzahl von Nutzungsschritten und damit Kalibrierschritten freigeschaltet wird. Alternativ zu einer vorbestimmten Anzahl von Kalibrierschritten kann auch vorgesehen sein, dass eine sich nach einem Kalibrierschritt ergebende Veränderung der Kalibrierdaten ermittelt wird und die Bedienung freigeschaltet wird, falls die Änderung durch einen Kalibrierschritt kleiner als ein vorbestimmter Höchstwert ist. Dann kann davon ausgegangen werden, dass die Eyetrackereinheit ausreichend genau auf den Nutzer abgestimmt ist.
-
Um das erfindungsgemäße Verfahren durchzuführen ist eine erfindungsgemäße Bedienvorrichtung für ein Kraftfahrzeug bereitgestellt, welche die Eyetrackereinheit, den Bildschirm sowie eine Steuereinheit aufweist. Die Steuereinheit ist dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierzu kann die Steuereinheit zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Steuereinheit einen Programmcode aufweisen, der dazu eingerichtet ist, die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Steuereinheit gespeichert sein.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung eines Kraftfahrzeugs mit einer Ausführungsform der erfindungsgemäßen Bedienvorrichtung;
-
2 eine schematische Darstellung eines Anzeigeinhalts, der zu einem Nutzungsschritt der Bedienvorrichtung gehört und zugleich zum Erzeugen von Kalibrierdaten gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens genutzt wird; und
-
3 eine schematische Darstellung eines Anzeigeinhalts eines weiteren Nutzungsschritts, der zugleich zum Erzeugen von Kalibrierdaten gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens genutzt wird.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind.
-
Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt aus einer Vogelperspektive eine Teilansicht eines Kraftfahrzeugs 10, bei dem es sich zum Beispiel um einen Kraftwagen, insbesondere einen Personenkraftwagen oder Lastkraftwagen handeln kann. Zur Orientierung sind von dem Kraftfahrzeug 10 Vorderräder 11, ein Fahrersitz 12, ein Lenkrad 13 und eine Mittelkonsole 14 dargestellt.
-
In dem Kraftfahrzeug 10 kann eine Bedienvorrichtung 15 bereitgestellt sein, mittels welcher zumindest ein Gerät 16 des Kraftfahrzeugs 10 bedient werden kann. Die Bedienvorrichtung 15 kann zum Beispiel Bestandteil eines Infotainmentsystems (Information-Unterhaltungssystem) des Kraftfahrzeugs 10 sein. Bei dem zumindest einen Gerät 16 kann es sich zum Beispiel um ein Radio und/oder Telefon und/oder Navigationssystem und/oder eine Klimatisierungseinrichtung und/oder ein Medienwiedergabegerät für Video und/oder Audio-Dateien handeln. Die Bedienvorrichtung 15 kann eine Steuereinheit 17, einen Touchscreen 18 und eine Eyetrackereinheit 19 aufweisen. Der Touchscreen 18 stellt einen Bildschirm dar. Der Touchscreen 18 kann zum Beispiel in der Mittelkonsole 14 des Kraftfahrzeugs angeordnet sein. Anstelle eines Touchscreens kann auch ein z.B. eine Kopfoben-Anzeige (Head-up-Display) oder eine nicht-berührungssensitiver Bildschirm bereitgestellt sein.
-
Ein Erfassungsbereich 20 der Eyetrackereinheit 19 kann zum Beispiel auf den Fahrersitzt 12 ausgerichtet sein, sodass eine Blickrichtung eines Fahrers erfasst werden kann. Der Touchscreen 18 und die Eyetrackereinheit 19 können jeweils in aus dem Stand der Technik bekannter Weise ausgestaltet sein. Im Betrieb kann die Eyetrackereinheit 19 Blickrichtungsangaben 21 erzeugen und an die Steuereinheit 17 ausgeben. Die Steuereinheit 17 kann Grafikdaten 22 zum Steuern eines Anzeigeinhalts 23 an den Touchscreen 18 ausgeben. Des Weiteren kann die Steuereinheit 17 von dem Touchscreen 18 Berührdaten 24 empfangen, welche Koordinaten eines Berührereignisses 25 auf dem Touchscreen 18 beschreiben können. Ein Berührereignis 25 kann zum Beispiel eine Berührung einer Anzeigefläche des Touchscreens 18 durch einen Finger eines Benutzers, zum Beispiel des Fahrers, sein.
-
Damit anhand der Blickrichtungsangaben 21 erkannt werden kann, welchen Teil oder wo auf dem Anzeigeinhalt 23 der Benutzer seinen Blick gerichtet hat, ist durch die Steuereinheit 17 eine Transformation oder Abbildung 26 vorgesehen, welche die Blickrichtungsangaben 21 in Koordinaten 27 wandelt, welche den Schnittpunkt eines Blickrichtungsvektors des Blickes des Benutzers mit dem Anzeigeinhalt 23 auf der Anzeigefläche des Touchscreens 18 beschreiben. Hierzu muss die Transformation 26 mittels Konfigurationsdaten 28 angepasst sein, wie dies an sich aus dem Stand der Technik bekannt ist. Durch die Steuereinheit 17 wird die Kalibrierung allerdings nicht in einem separaten Kalibrierverfahren oder Kalibrierschritt durchgeführt, für welches der Benutzer die Bedienvorrichtung 18 für keinen anderen Verwendungszweck nutzen kann. Stattdessen wird ein Nutzungsschritt der Bedienvorrichtung 15 zusätzlich dazu genutzt, Kalibrierdaten 28 zu erzeugen.
-
In 2 ist dies anhand eines Nutzungsschritts 29 gezeigt, der einen sogenannten an Unlock vorsieht, bei welchem der Benutzer mittels eines Bedienen Objekts 30, beispielsweise seines Fingers, auf dem Touchscreen 18 eine Wischgeste 31 entlang einer Bewegungsbahn 32 ausführen muss, um zum Beispiel ein Bedienmenü der Bedienvorrichtung 15 auf dem Touchscreen 18 angezeigt zu bekommen. Als Orientierung ist dem Benutzer ein graphisches Element 33 durch die Steuereinheit 17 auf dem Touchscreen 18 angezeigt. Das graphische Element 33 ist ein Bedienelement, das der Benutzer mit dem Bedienobjekt 30 berühren muss und entlang der Bewegungsbahn 32 ziehen muss. Hierdurch führt er implizit die Wischgeste 31 aus. Dabei wird die Annahme getroffen, dass der Nutzer in diesem Moment auch seinen Fokus des Blickes auf der ausgeführten Bewegung hat. Somit kann eine Anpassung zwischen tatsächlich erkanntem und durch die Blickrichtungsangaben 21 signalisiertem Fokus und dem geschätzten Fokus in Form der Position oder Koordinaten des Elements 33 auf dem Touchscreen 18 vorgenommen werden. Genauso können dem Benutzer bestimmte Bedienflächen oder Buttons oder Slider zur Betätigung angezeigt werden (nicht dargestellt). Auch hier ist anzunehmen, dass der Nutzer seinen Fokus im Augenblick der Ausführung der Bedienhandlung auf dem jeweiligen Interaktionselement, das heißt dem graphischen Bedienelement, hat. Aufbauend auf dieser Grundlage lässt sich technisch ein Versatz bzw. eine Abweichung zwischen dem tatsächlichen Nutzerfokus (auf das jeweilige graphische Element 33 gerichtet) und dem gerade von der Eyetrackereinheit ermittelten Blickrichtungsangabe 21 berechnen und mittels der Konfigurationsdaten 28 ausgleichen.
-
Generell lässt sich dieser Ansatz auf beliebige graphische Elemente einer graphischen Benutzerschnittstelle GUI beziehen. In einer bevorzugten optimalen Anwendung wird nur ein einzelnes Element auf dem Bildschirm angezeigt (siehe 2).
-
Erkennt die Bedienvorrichtung 15 anhand eines Verweilens der Blickrichtung auf einem bestimmten Punkt oder innerhalb eines begrenzten Rahmens den Nutzerfokus, kann hier unter der Annahme, dass der Benutzer gerade auf ein einziges angezeigtes Element blickt, die Differenz zwischen dem Fokus und der Position dieses Elements direkt und mittels der Kalibrierdaten 28 angepasst oder ausgeglichen werden.
-
Dabei erfolgt die Berechnung und Anpassung aufgrund der kurz vor und/oder nach einem Berührereignis 25 erkannten Blickpunkten. Mithilfe mathematischer Verfahren, die an sich aus dem Stand der Technik bekannt sind, werden diese dann auf die feststehende Position des angezeigten graphischen Elements kalibriert.
-
Somit ist bei der Bedienvorrichtung die Kalibrierung vor dem Nutzer verborgen und nicht wahrnehmbar durchgeführt, während er bestimmte Bedienabläufe oder Nutzungsschritte 29 ausführt.
-
Da aber nicht auszuschließen ist, dass der Nutzer auch zeitweise außerhalb des gewünschten und angezeigten Bereiches blickt, werden die Messwerte bevorzugt plausibilisiert. Optimiert werden kann die Vorgehensweise noch, indem präsentierte Elemente zunächst sehr klein dargestellt werden und danach auf eine vorbestimmte, finale Größe gezoomt werden. Die Bedienung eines Sliders erlaubt sogar die Auswertung des Nutzerfokus entlang einer klar definierten Linie oder Bewegungsbahn 32 (Sliderverlauf). Dies liefert zum einen präzisere Ergebnisse, da sich die Messwerte zunächst auf einer viel kleineren Fläche konzentrieren, und erhöht zum anderen auch die Wahrscheinlichkeit, dass der Nutzer auf das Element 33 blickt, da mehr Animation seine Aufmerksamkeit einfordert.
-
Eine weitere Ausführungsform ist in 3 veranschaulicht, bei welcher die aktive Kalibrierung vor dem Nutzer verborgen und nicht wahrnehmbar durchgeführt wird. Hierzu ist in 3 über der Zeit t zu drei aufeinander folgenden Zeitschritten T1, T2, T3 jeweils der Anzeigeinhalt 23 des Touchscreens 18 veranschaulicht, während als ein Medienelement ein Video mit einem Tutorial geführt wird, welches dem Nutzer das z.B. Zielsystem erläutert. Dieses kann beliebig, dem Anwendungsfall angepasst gestaltet werden. So kann z.B. eine GUI-Applikation erläutert werden, welche auf einem Kacheldesign basiert. Beim ersten Systemstart gelangt der Nutzer zunächst in das Tutorial, in welchem ihm die Möglichkeiten der Bedienvorrichtung präsentiert werden. Die GUI-Oberfläche wird zunächst nicht angezeigt, sondern nach und nach in den Zeitschritten T1, T2, T3 aufgebaut. Es werden Kacheln in beliebiger Reihenfolge eingeblendet und mit ein paar Worten akustisch vorgestellt. Es ist sehr wahrscheinlich, dass der Nutzer beim Einblenden der jeweils neuen Kachel 34 auf diese blickt. Werden in dieser Zeit Messwerte der Eyetrackereinheit als Blickrichtungsangaben 21 aufgezeichnet, so kann anhand dieser in Verbindung mit der Kachelposition eine Default-Kalibrierung oder Standard-Kalibrierung 35 angepasst werden.
-
Da auch hier nicht auszuschließen ist, dass der Nutzer auch mal eine Kachel nicht anblickt, müssen die Messwerte plausibilisiert werden. Dies ist möglich, da mithilfe der Default-Kalibrierung 35 zwar keine absolute Position des Blicks auf dem Anzeigeinhalt 23 der GUI ermittelt werden kann, jedoch relative Positionen zueinander. Lagen zum Beispiel zwei präsentierte Kacheln 34 nebeneinander, so müssen auch die aufgezeichneten Blickdaten der Blickrichtungsangaben 21 nebeneinander liegen. Nicht plausible Werte können verworfen und bei der Kalibrierung vernachlässigt werden.
-
Optimiert werden kann die vorgestellte Vorgehensweise noch, indem präsentierte Kacheln zunächst sehr klein dargestellt werden und nach kurzer Zeit auf die finale Größe gezoomt werden. Dies liefert zum einen präzisere Ergebnisse, da sich die Messwerte zunächst auf einer viel kleineren Fläche konzentrieren, und erhöht zum anderen auch die Wahrscheinlichkeit, dass der Nutzer auf die Kachel blickt, da mehr Animation seine Aufmerksamkeit einfordert.
-
Ebenfalls kann durch Ausblenden und/oder Abdunkeln bereits vorgestellter Kacheln 34 die Ablenkung des Nutzers reduziert und seine Aufmerksamkeit auf die aktuell präsentierte Kachel gelenkt werden. Dies ist in 3 durch eine gestrichelte Darstellung der bereits zum vorangegangenen Zeitschritt T1, T2 angezeigten Kacheln 34 veranschaulicht.
-
Statt eines komplett leeren Anzeigeinhalts 23 der GUI zum Systemstart, welche sich erst nach und nach befüllt, kann diese auch schon zu Beginn vollständig vorhanden sein, jedoch mit abgedunkelten und/oder verschwommenen Inhalten. Die aktuell präsentierte Kachel würde hervorgehoben und anschließend wieder abgedunkelt werden.
-
Während die Bedienvorrichtung läuft, kann kontinuierlich kalibriert und nachkalibriert werden, ohne dass der Nutzer in der Programmnutzung beeinträchtigt wird. Hierzu kann die betrachtete Oberfläche mit dem Anzeigeinhalt 23 analysiert und auf markante Punkte hin untersucht werden. Dies kann entweder automatisiert während des Betriebs oder bei bekannter Darstellung der Anzeigeinhalte 23 im Voraus durchgeführt werden. Auf die so ermittelten Punkte wird sich im Programmablauf des Nutzungsschritts (zum Beispiel des Nutzungsschritts 29 in 2) die Aufmerksamkeit des Nutzers konzentrieren. Über einen definierten Zeitraum werden Blickdaten als Blickrichtungsangaben 21 gesammelt und als Punktwolke interpretiert. Es wird eine Transformation bestimmt, welche diese Punktwolke fehlerminimierend auf die zuvor ermittelten Punkte matcht oder abbildet. Diese Transformation kann direkt zur Kalibrierungskorrektur der Default-Kalibrierung 35 der Eyetrackereinheit genutzt werden. Des Weiteren kann die Kalibrierung dynamisch zur Laufzeit angepasst werden – wenn sich zum Beispiel der Aufbau ändert oder der Nutzer wechselt – da sie kontinuierlich während der Programmnutzung abläuft.
-
Die Bedienvorrichtung 15 vermeidet somit die aktive Nutzerkalibrierung, welche im Allgemeinen als störend empfunden wird. Des Weiteren wird die Eyetrackereinheit 19 bevorzugt nicht nur einmal zu Beginn kalibriert, was dann keinen Setup- oder Nutzenwechsel mehr ohne Neukalibrierung erlaubt, sondern passt sich adaptiv sich verändernden Verhältnissen an. So kann sich das System bei Nutzerwechsel adaptiv anpassen.
-
Typischerweise enthält eine GUI Bereiche, die vom Nutzer vermehrt angeschaut und auch einige Zeit fixiert werden. Dies können zum Beispiel Button oder Slider sein. Diese Features werden als Interest-Points (Aufmerksamkeits-Punkte) definiert und im Vorfeld festgelegt. lm weiteren Verlauf werden diese Punkte mit ihrer bekannten Anzeigeposition als Kalibrierpunkte genutzt. Wie oben beschreiben bedient der Nutzer die GUI wie gewünscht, nicht zwangsläufig mit seinem Blick, sondern zum Beispiel auch mit einem Eingabeobjekt 30. Es werden während der Bedienung Blickdaten als Blickrichtungsangaben 21 gesammelt und wie oben beschrieben auf die definierten Kalibrierpunkte oder Interest-Points gematcht oder abgebildet, um die Default-Kalibrierung 35 zu korrigieren. Hierfür kann eine kleinste-Fehlerquadrate-Methode verwendet werden oder beispielsweise ein RANSAC-Algorithmus.
-
Es ist ebenfalls möglich, eine Kalibrierung beim Visualisieren von Inhalten durchzuführen, in denen nicht bereits im Vorfeld Features oder Interest-Points extrahiert werden können, wie zum Beispiel beim Betrachten von Fotos oder Videos. In diesem Fall würden Interest-Points mittels Bildverarbeitung auf der Grundlage eines Salienzkriteriums extrahiert werden.
-
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine automatische Eye-Tracking-Kalibrierung bereitgestellt werden kann.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 11
- Vorderräder
- 12
- Fahrersitz
- 13
- Lenkrad
- 14
- Mittelkonsole
- 15
- Bedienvorrichtung
- 16
- Gerät
- 17
- Steuereinheit
- 18
- Touchscreen
- 19
- Eyetrackereinheit
- 20
- Erfassungsbereich
- 21
- Blickrichtungsangabe
- 22
- Grafikdaten
- 23
- Anzeigeinhalt
- 24
- Berührdaten
- 25
- Berührereignis
- 26
- Transformation
- 27
- Koordinaten
- 28
- Kalibrierdaten
- 29
- Nutzungsschritt
- 30
- Eingabeobjekt
- 31
- Wischgeste
- 32
- Bewegungsbahn
- 33
- Element
- 34
- Kachel
- 35
- Default-Kalibrierung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2015/0278599 A1 [0002]
- DE 102014008852 A1 [0003]
- WO 2014/020323 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- David Perra, Rohit Kumar Gupta, Jan-Micheal Frahm, “Adaptive Eye-Camera Calibration for Head-Worn Devices”, CVPR – IEEE Conference on Computer Vision and Pattern Recognition, 2015 [0005]
