DE69432199T2

DE69432199T2 - Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen

Info

Publication number: DE69432199T2
Application number: DE69432199T
Authority: DE
Inventors: Patrick J. Palo Alto Naughton; Chris San Francisco Warth; III Charles H. San Francisco Clanton; Joseph M. Sunnyvale Palrang; James A. Gosling; Edward H. Portola Valley Frank; David A. Palo Alto LaVallee; R. Michael Oakton Sheridan
Original assignee: Sun Microsystems Inc
Current assignee: Sun Microsystems Inc
Priority date: 1993-05-24
Filing date: 1994-04-13
Publication date: 2004-01-08
Anticipated expiration: 2014-04-14
Also published as: US6154209A; US6160551A; JP2005293599A; US7240289B2; JPH0798640A; EP0626635A3; JP4471114B2; US20020060701A1; US6344861B1; EP0626635B1; US5995106A; JP3898235B2; EP0626635A2; DE69432199D1; US5886697A; US6020881A

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf das Gebiet der grafischen Benutzerschnittstellen für Computersysteme und insbesondere auf ein Verfahren und eine Einrichtung zur Bereitstellung einer intuitiven Methodik für einen Anwender, um entfernte Einrichtungen mit einer computergesteuerten objektorientierten Benutzerschnittstelle unter Verwendung animierter grafischer Bilder zu steuern.
2. Technischer Hintergrund
Die meisten populären grafischen Benutzerschnittstellen, die heute verfügbar sind, wie beispielsweise die grafischen Benutzerschnittstellen Xerox Star^®, Apple Macintosh^® und Microsoft Windows, basieren auf der „Schreibtisch-Metapher" bzw. „Desktop Metaphor". In einem Schreibtisch-Metapher-System wird der Anzeigebildschirm als ein virtueller Schreibtisch behandelt. Grafische Symbole, die auf dem virtuellen Schreibtisch (d. h. dem Anzeigebildschirm) angeordnet sind, werden zur Darstellung allgemein bekannter Objekte verwendet, die in einem Büroumfeld zu finden sind, wie beispielsweise Dateien, Dateiordner und Drucker. Diese Schreibtisch-Metapher-Systeme weisen verschiedene Beschränkungen auf, die die Effektivität der Mensch-Maschine-Schnittstelle zwischen dem menschlichen Anwender und dem Computersystem beeinträchtigen.
Ein Problem bei den vorhandenen auf der Schreibtisch-Metapher basierenden grafischen Benutzerschnittstellen ist die Verwendung eines hierarchischen Dateisystems. Die meisten grafischen Benutzerschnittstellen mit Schreibtisch-Metapher basieren auf einem Computer mit einem Dateisystem, in welchem die Computerdateien in einer hierarchischen Struktur organisiert sind. Die Struktur des hierarchischen Dateisy stems weist ein Wurzelverzeichnis und mehrere Unterverzeichnisse in dem Wurzelverzeichnis auf. Jedes Unterverzeichnis kann Unter-Unterverzeichnisse haben und so weiter. Die Struktur des hierarchischen Dateisystems wird auf dem Bildschirm als eine Art von Wurzel-Dateischrank mit Dateiordnern darin grafisch dargestellt. Die Betriebssysteme Microsoft Windows und Apple Macintosh^® verwenden beide hierarchische Dateisysteme, die als Dateiordner dargestellt werden.
Die hierarchische Struktur von Dateiordnern ist für neue Benutzer häufig sehr verwirrend. Beispielsweise können sich viele Benutzer verirren, während sie durch die hierarchischen Dateisysteme navigieren, weil das System der Aufbewahrung von Dateien in Dateiordnern, welche sich in anderen Dateiordnern befinden, die bis zu einer beliebigen Tiefe ineinander angeordnet sind, von der Natur der Sache her verwirrend ist. Benutzer verirren sich, weil jeder Dateiordner aussieht wie jeder andere Dateiordner, und der Benutzer erhält wenig Rückmeldung über seinen Standort innerhalb der Hierarchie des Dateisystems. Ebenso liefert kein Dateiordner Informationen über seinen Inhalt, außer einer benutzerdefinierten Beschriftung. Beispielsweise ist, mit Ausnahme einer kurzen Text-Beschriftung, welche von einem anderen Benutzer definiert worden sein kann, der Benutzer im Allgemeinen nicht in der Lage, zu bestimmen, ob ein geöffneter Ordner ein Buchhaltungs-Dateiordner mit Tabellenkalkulationsdaten oder ein Datenbank-Dateiordner mit einer Kundendatenbank ist. Daher ist das Navigieren durch die komplexe Dateisystemhierarchie schwierig, da die aktuelle grafische Benutzerschnittstelle mit Schreibtisch-Metapher wenig Rückmeldung hinsichtlich des Standorts eines Benutzers innerhalb der Dateihierarchie bietet.
Bei aktuellen auf der Schreibtisch-Metapher basierenden grafischen Benutzerschnittstellensystemen passen bestimmte Anwendungen häufig konzeptionell nicht gut in eine Schreibtisch-Metapher-Umgebung. Insbesondere nicht-bürobezogene An wendungen können für ein auf der Schreibtisch-Metapher basierendes System ungeeignet sein. Beispielsweise müßte in einer Schreibtisch-Metapher eine Anwendung, die ein Fernsehgerät steuert, in einem „Dokument"-Dateiordner auf dem Desktop plaziert werden.
Ein weiteres allgemeines Problem mit Schreibtisch-Metapher-Benutzerschnittstellen besteht darin, daß die Anzeige einer großen Anzahl von Anwendungen auf dem Desktop zu einem überhäuften Desktop führt. Viele Benutzer von Schreibtisch-Metapher-Systemen bewahren eine große Zahl von Anwendungen und Dateien, üblicherweise in Icon-Form, auf dem Anzeigebildschirm. Ein Versuch wurde unternommen, eine grafische Darstellung zu verwenden, die die Art der Anwendung oder Datei identifiziert. Wenn jedoch ein Benutzer eine bestimmte Anwendung oder Datei öffnen möchte, muß der Benutzer den Anzeigebildschirm durchsuchen, um das gewünschte Icon zu finden, gerade so, als wenn der Benutzer versuchen würde, eine bestimmte Dokumentenakte auf einem unordentlichen Schreibtisch zu finden. Icons, die auf einem Desktop plaziert sind, haben keine erkennbare Hierarchie und sind alle gleich. Diese Gleichheit kann einen Benutzer verwirren und Probleme verursachen, wenn der Benutzer von einer Task bzw. Aufgabe zur nächsten wechseln möchte.
Verschiedene Systeme sind zur Verbesserung der Organisation der grafischen Benutzerschnittstelle mit Schreibtisch-Metapher entstanden. Ein System ist das Konzept der „Räume". Siehe Patrick Chan, „Learning Considerations in User Interface Design: The Room Model", Bericht CS-84-16, Universität Waterloo, Abteilung Computerwissenschaften, Ontario, Kanada, Juli 1984; Brenda Laurel, „Computers as Theatre", Addison-Wesley Publishing Co., 1991; Brenda Laurel, "The Art of Human-Computer Interface Design", Addison-Wesley Publishing Co., 1990; US-Patent 5,072,412, Henderson, Jr. et. al; "User Interface with Multiple Workspaces for Sharing Display System Objects", und die hierin zitierten Referenzen.
In Systemen, die auf dem Räume-Konzept basieren, erzeugt der Benutzer verschiedene Räume, wo der Benutzer eine einzelne Aufgabe oder eine Gruppe zusammenhängender Aufgaben ausführt. Jeder Raum repräsentiert einen individuellen virtuellen Schreibtisch mit einer Gruppe zugehöriger Aufgaben. Jeder Raum erhält eine Beschriftung, die den Raum mit dessen Funktionen identifiziert. Ein Benutzer kann beispielsweise einen Postraum, einen Schreibraum mit einem Textverarbeitungssystem und einen Buchhaltungsraum mit einer Tabellenkalkulation erzeugen. Jeder Raum hat nur solche Icons und Fenster, die mit der bestimmten Aufgabe des Raums verbunden sind, sowie alle Fenster, die von allen Räumen benutzt werden, wie beispielsweise eine Uhr.
Um zwischen den Aufgaben in einem System zu wechseln, das das Räume-Konzept verwendet, bewegt sich ein Benutzer zu den verschiedenen Räumen, die mit den verschiedenen Aufgaben verbunden sind. Beispielweise bewegt sich ein Benutzer vom Buchhaltungsraum zum Postraum, um von einer Tabellenkalkulation zum Abrufen einer E-Mail zu gehen. Um sich zwischen den beiden Räumen zu bewegen, wählt ein Benutzer ein Icon aus, das eine Tür repräsentiert, die den aktuellen Raum mit dem anderen Raum verbindet. Benutzer können Türen zwischen allen verfügbaren Räumen erzeugen.
Obwohl das Räume-Konzept zur Lösung des Problems des „überhäuften Desktop" beiträgt, basiert das Räume-Konzept noch auf der allgemeinen Schreibtisch-Metapher. Beispielsweise trägt das Räume-Schnittstellenkonzept nicht zur Vereinfachung der verwirrenden hierarchischen Dateistruktur bei, die zum Speichern der Informationen verwendet wird. Das Räume-Konzept bewirkt auch wenig bei der Lösung der Form- und Funktion-Widersprüchlichkeiten, die sichtbar sind, wenn Anwendungen, die nicht in die Schreibtisch-Metapher hineinpassen, zu dem System hinzugefügt werden.
Bei dem Stand der Technik entsprechenden grafischen Benutzerschnittstellen muß jedes Mal, wenn ein neues Hardwareteil in das System eingeführt wird, ebenfalls ein neues Steuersoftwareteil vom Benutzer hinzugefügt werden. Wenn beispielsweise ein Benutzer von Apple^®, Macintosh^® oder ein Benutzer von Microsoft^® Windows den Wunsch hat, einen neuen Drucker zu dem System hinzuzufügen, muß der Benutzer ebenfalls einen neuen Druckertreiber installieren, um den hinzugefügten Drucker zu steuern. Daher muß jedes Mal, wenn ein Benutzer den Wunsch hat, ein neues Gerät zu dem System hinzuzufügen, der Benutzer auch ein kompliziertes Verfahren befolgen, um die entsprechende Software hinzuzufügen.
Wie beschrieben werden wird, stellt die vorliegende Erfindung eine verbesserte grafische Benutzerschnittstelle bereit, die verschiedene Probleme, die mit den Schreibtisch-Metapher-Systemen verbunden sind, überwindet. Es werden ebenfalls ein Verfahren und eine Einrichtung offenbart, um eine Benutzerschnittstelle einer entfernten Einrichtung zu erhalten, ohne daß der Benutzer die damit verbundene Software laden muß. Die entfernte Einrichtung kann gesteuert werden, indem die Benutzerschnittstelle der entfernten Einrichtung verwendet wird, wie auf dem Anzeigebildschirm der vorliegenden Erfindung angezeigt wird. Obwohl die Benutzerschnittstelle unter Bezugnahme auf die Steuerung entfernter Einrichtungen beschrieben wird, wird aus der folgenden Erörterung klar werden, daß die Benutzerschnittstelle auf eine Vielzahl von Anwendungen in Computer-Arbeitstationen, tragbaren Computern und Handsteuerungssystemen angewendet werden kann.
Weitere Bespiele für verschiedene dem Stand der Technik entsprechende Anordnungen sind in EP-a-0439873 (IBM et. al) und IBM Technical Disclosure Bulletin, Bd. 36, Nr. 4, April 1993, New York, USA, Seiten 215-216, XP002012167, „Animated Command Execution Icon" beschrieben.
ZUSAMMENFASSENDE DARSTELLUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine intuitive grafische Benutzerschnittstelle und ein Verfahren zur Steuerung entfernter Einrichtungen bereit, wie es in den beigefügten Ansprüchen dargelegt wird.
Die grafische Benutzerschnittstelle wird auf einer Handanzeigeeinrichtung angezeigt. Die Handanzeigeeinrichtung umfaßt wenigstens eine zentrale Verarbeitungseinheit (CPU), die mit einem grafischen Anzeigesystem gekoppelt ist. Das grafische Anzeigesystem ist berührungsempfindlich, um dem Benutzer zu gestatten, Informationen unter Verwendung einer Fingerspitze - ohne die Notwendigkeit zusätzlicher Eingabeeinrichtungen, wie beispielweise eine Tastatur - einzugeben. Eine Kommunikationsschaltung ist ebenfalls mit der CPU gekoppelt, die Informationen über ein Kommunikationsmedium überträgt. Die Kommunikationsschaltung wird verwendet, um entfernten Einrichtungen zu steuern und mit diesen zu kommunizieren.
Die grafische Benutzerschnittstelle erzeugt eine Welt von Räumen, die in einer Struktur einer geographischen Karte organisiert sind, durch welche man problemlos navigieren kann, da jeder Raum bekannte geographische Umgebungen bereitstellt. Jeder Raum wird von einem Hintergrundbild repräsentiert, welches Navigations-Orientierungspunkte bereitstellt, die identifizieren, wo der Raum innerhalb der geographischen Kartenstruktur angeordnet ist. Beispielsweise enthält das Hintergrund eines Wohnzimmer-Raums Elemente, die üblicherweise in einem Wohnzimmer zu finden sind, wie beispielsweise eine Lampe, einen Stuhl und einen Tisch. Daher wird die Navigation durch diese „Welt" vereinfacht, weil der Benutzer sich orientieren kann, indem er sich umsieht und die Umgebung überprüft, genau so, wie es eine Person in der realen Welt tun würde.
In jedem Raum stellt die Benutzerschnittstelle grafische Objekte bereit, die vom Benutzer ausgewählt und bearbeitet werden können. Die grafischen Objekte werden als animierte Karikatur-ähnliche grafische Objekte wiedergegeben, die problemlos als Objekte der realen Welt identifizierbar sind, wie beispielsweise ein Fernseher und VCRs. Es gibt mindestens drei Arten von Objekten, die in den Räumen der Benutzerschnittstelle existieren: Datenobjekte, Schaltflächen und Portale. Datenobjekte sind Objekte, die mit einer bestimmten Datenangabe verbunden sind. Schaltflächen sind Objekte, die mit einer bestimmten Funktion oder Aktion verbunden sind; wenn ein Benutzer eine Schaltfläche auswählt, führt die Benutzerschnittstelle die mit der Schaltfläche verbundene Funktion oder Aktion aus. Portale sind Objekte, die in einem ersten Raum angezeigt werden, aber mit einem zweiten Raum verknüpft sind; wenn ein Benutzer ein Portal auswählt, geht der Benutzer durch das Portal und bewegt sich in den zweiten mit diesem Portal verknüpften Raum. Die Benutzerumgebung wird ferner durch die Verwendung eines Klangs erweitert, der mit jeder Benutzeraktion koordiniert wird und die bereitgestellte visuelle Rückmeldung ergänzt.
Um entfernte Einrichtungen der realen Welt zu steuern, sind viele der grafischen Objekte, die auf dem Bildschirm präsentiert werden, entfernten Einrichtungen der realen Welt zugeordnet. Um eine entfernte Einrichtung der realen Welt zu steuern, wählt ein Benutzer das grafische auf dem Anzeigebildschirm bildlich dargestellte Objekt aus, das der bestimmten entfernten Einrichtung zugeordnet ist. Nachdem der Benutzer ein grafisches Objekt ausgewählt hat, das der entfernten Einrichtung zugeordnet ist, zeigt die Handanzeigeeinrichtung eine Benutzerschnittstelle für das Steuern der entfernten Einrichtung an. Der Benutzer kann dann mit der Benutzerschnittstelle der entfernten Einrichtung interagieren. Um die entfernte Einrichtung zu steuern, ruft die vorliegende Erfindung ein Einrichtungstreiberverfahren für die entfernte Einrichtung auf. Das Geräte- bzw. Einrichtungstreiberverfahren kann in Abhängigkeit von der technischen Perfektion der entfernten Einrichtung in der entfernten Einrichtung oder in der lokalen Handanzeigeeinrichtung angeordnet sein.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Ziele, Merkmale und Vorteile der vorliegenden Erfindung werden für einen Fachmann in Anbetracht der folgenden detaillierten Beschreibung deutlich werden, in welcher:
1a einen Überblick über die Fernsteuerungsfunktionalität darstellt, die die vorliegende Erfindung bereitstellt;
1b einen Überblick über die Hardware darstellt, die zur Implementierung der Handanzeigeeinrichtung der vorliegenden Erfindung verwendet wird;
1c eine Blockdarstellung einer intelligenten entfernten Einrichtung darstellt, die von der vorliegenden Erfindung gesteuert wird;
1d eine Blockdarstellung einer einfachen entfernten Einrichtung darstellt, die von der vorliegenden Erfindung gesteuert wird;
1a eine Blockdarstellung einer herkömmlichen elektronischen Einrichtung darstellt, die von der vorliegenden Erfindung ferngesteuert wird;
2a eine Struktur verschiedener geographischer Räume darstellt;
2b–2c ein Muster einer geographischen Kartenstruktur der Räume darstellen, die zur Breitstellung einer Benutzerschnittstelle verwendet wird;
3 eine Ansicht des Weltraum-Raums der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
4 eine erste Ansicht des Erdoberflächen-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
5 eine zweite Ansicht des Erdoberflächen-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
6 eine Ansicht des Ersten-Haus-Raums der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
7 eine Ansicht eines Wohnzimmer-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
8 eine Ansicht eines Fernseh-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
9 eine Ansicht eines Fernsehprogramm-Listenverzeichnis-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
10 eine Ansicht eines Ein- bzw. Einzel-Fernsehprogramm-Beschreibungs-Raums in der Benutzerschnittstelle basierend auf der geographischen Kartenstruktur in 2b und 2c darstellt;
11 eine konzeptionelle Ansicht des Fernsehprogramm-Listenverzeichnis-Raums aus 9 darstellt; 12 eine Ansicht einer Mehrzahl von Objekten darstellt, die nicht auf eine einzelne Bildschirmanzeige passen;
13 eine konzeptionelle Ansicht einer Mehrzahl von Objekten darstellt, die auf einem Objektrad plaziert sind;
14 eine konzeptionelle Ansicht des Objektrads aus 13 darstellt, wo das Objektrad rotiert hat und neue Objekte zeigt;
15 die schnelle Drehgeste darstellt, die angewendet wird, um ein Objektrad schnell zu drehen;
16a eine Aufnehmen-Geste darstellt, die angewendet wird, um ein Objekt von einem Objektrad aufzunehmen;
16b eine Aufnehmen-Geste darstellt, die angewendet wird, um ein Objekt aus einem Raum aufzunehmen;
17a das Assistenten-Portal der vorliegenden Erfindung darstellt, wobei die Kleidung eines Arztes getragen wird, um einen Diagnostik-Modus zu symbolisieren;
17b das Assistenten-Portal der vorliegenden Erfindung darstellt, wobei ein Bleistift gehalten wird, um einen Schreib-Modus zu symbolisieren;
17c das Assistenten-Portal der vorliegenden Erfindung darstellt, wobei versucht wird, den Benutzer wegen eines kürzlich eingetretenen Ereignisses zu alarmieren;
18a eine intelligente Einrichtung darstellt, die ihre grafische Benutzerschnittstelle an eine Anzeigeeinrichtung übermittelt;
18b eine Anzeigeeinrichtung darstellt, die die grafische Benutzerschnittstelle einer intelligenten steuerbaren Einrichtung anzeigt;
18c die Anzeigeeinrichtung darstellt, die die Benutzerinteraktionen mit der Benutzerschnittstelle an die intelligente Einrichtung übermittelt;
18d die intelligente Einrichtung darstellt, die Rückgabewerte oder eine Rückmeldung an die Anzeigeeinrichtung übermittelt;
19a ein konzeptionelles Diagramm der Programmobjekte in der intelligenten Einrichtung darstellt, die an die Anzeigeeinrichtung gesendet werden;
19b ein konzeptionelles Diagramm der Programmobjekte der intelligenten Einrichtung in der Anzeigeeinrichtung darstellt;
19c ein konzeptionelles Diagramm der Anzeigeeinrichtung darstellt, die ein Verfahren in einem Objekt in der entfernten intelligenten Einrichtung aufruft;
19d ein konzeptionelles Diagramm des Verfahrens in einem Objekt in dem Rückgabestatus der entfernten intelligenten Einrichtung darstellt;
20 ein Flußdiagramm der Übertragung der Benutzerschnittstelle einer intelligenten Einrichtung darstellt; 21a ein Zustandsdiagramm des RPC-Managers für einen Client, der einen Aufruf eines fernen Verfahrens verlangt, darstellt;
21b ein Zustandsdiagramm des RPC-Managers für einen Server, der einen Aufruf eines fernen Verfahrens behandelt, darstellt;
21c die Abfolge eines Aufrufs eines fernen Verfahrens darstellt;
22a die einfache Einrichtung darstellt, die ihre grafische Benutzerschnittstelle an eine Anzeigeeinrichtung überträgt;
22b eine Anzeigeeinrichtung darstellt, die die grafische Benutzerschnittstelle der einfachen steuerbaren Einrichtung anzeigt;
22c die Anzeigeeinrichtung darstellt, die einfache Steuercodes an die einfache Einrichtung übermittelt;
22d die einfache Einrichtung darstellt, die Rückgabewerte oder eine Rückmeldung an die Anzeigeeinrichtung übermittelt;
23a ein konzeptionelles Diagramm der Programmobjekte in einer einfachen Einrichtung darstellt, die an die Anzeigeeinrichtung gesendet werden;
23b ein konzeptionelles Diagramm der Programmobjekte der einfachen Einrichtung in der Anzeigeeinrichtung darstellt;
23c ein konzeptionelles Diagramm der Anzeigeeinrichtung darstellt, die ein Verfahren in einem Programmobjekt aufruft und Steuercodes an die einfache Einrichtung übermittelt;
23d ein konzeptionelles Diagramm der entfernten einfachen Einrichtung darstellt, die Statusinformationen zurückgibt;
24 ein Flußdiagramm der Übertragung der Benutzerschnittstelle einer einfachen Einrichtung darstellt.
BEZEICHNUNG UND TERMINOLOGIE
Die folgenden ausführlichen Beschreibungen werden in großem Umfang anhand von Anzeigebildern, Algorithmen und symbolischen Darstellungen der Operationen von Datenbits in einem Computerspeicher präsentiert. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die von den Fachleuten in der Datenverarbeitungstechnik verwendet werden, um das Wesen ihrer Arbeit am effektivsten an andere Fachleute zu übermitteln.
Ein Algorithmus wird hier und allgemein als eine logische Abfolge von Schritten verstanden, die zu einem gewünschten Ergebnis führen. Diese Schritte sind diejenigen, die physikalische Manipulationen physikalischer Größen erfordern. Normalerweise, obwohl nicht notwendigerweise, nehmen diese Größen die Form elektrischer oder magnetischer Signale an, die gespeichert, übermittelt, kombiniert, verglichen, selektiert, ausgewählt, modifiziert und anderweitig verarbeitet werden können. Es erweist sich mitunter als zweckmäßig, hauptsächlich aus Gründen der allgemeinen Verwendung, diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Bilder, Begriffe, Zahlen oder dergleichen zu bezeichnen. Es sei jedoch angemerkt, daß alle diese sowie ähnliche Begriffe mit den geeigneten physikalischen Größen zu verknüpfen sind, und nur zweckmäßige Bezeichnungen sind, die diesen Größen zugeordnet werden.
In dem vorliegenden Fall sind die Operationen Maschinenoperationen, die in Verbindung mit einem menschlichen Anwender ausgeführt werden. Zu den verwendbaren Maschi nen zur Ausführung der Operationen der vorliegenden Erfindung gehören digitale Mehrzweck-Computer oder andere ähnliche Einrichtungen. In allen Fällen sollte der Unterschied zwischen den Verfahrensoperationen der Bedienung eines Computers und dem Verfahren der Berechnung selbst beachtet werden. Die vorliegende Erfindung bezieht sich auf Verfahrensschritte für die Bedienung eines Computers und die Verarbeitung elektrischer oder anderer physikalischer Signale, um andere gewünschte physikalische Signale zu erzeugen.
Die vorliegende Erfindung bezieht sich auch auf eine Einrichtung zur Ausführung dieser Operationen. Diese Einrichtung kann speziell für den erforderlichen Zweck konstruiert sein, oder kann einen Mehrzweck-Computer aufweisen, der gezielt durch ein im Computer gespeichertes Computerprogramm aktiviert oder rekonfiguriert wird. Die hierin dargestellten Algorithmen sind per se nicht auf einen speziellen Computer oder eine spezielle andere Einrichtung bezogen. Insbesondere können verschiedene Mehrzweck-Maschinen mit Programmen gemäß den hierin enthaltenen Lehren verwendet werden, oder es kann sich als zweckmäßiger erweisen, eine speziellere Einrichtung zu konstruieren, um die erforderlichen Verfahrensschritte auszuführen. Die erforderliche Struktur für eine Vielzahl dieser Maschinen wird aus der weiter unten gegebenen Beschreibung deutlich. Zu den Maschinen, die die Funktionen der vorliegenden Erfindung ausführen können, gehören die von dem Zessionar, FirstPerson, Inc., hergestellten Maschinen, sowie die anderer Hersteller von Computersystemen, einschließlich Sun Microsystems, Inc., Mountain View, Kalifornien.
CODIERUNGSDETAILS
Für die Ausführung der verschiedenen hierin beschriebenen Verfahren ist keine bestimmte Programmiersprache angegeben worden. Dies ist teilweise durch die Tatsache begründet, daß nicht alle Sprachen, die genannt werden könnten, universell verfügbar sind. Jeder Benutzer eines bestimmten Computers wird eine Sprache kennen, die für seinen unmittelbaren Zweck am besten geeignet ist. In der Praxis hat es sich als vorteilhaft erwiesen, die vorliegende Erfindung im Wesentlichen in einer höheren Sprache zu implementieren, welche dann in einen maschinen-ausführbaren Objektcode kompiliert wird. Da die Computer- und Monitorsysteme, welche bei der Ausführung der aktuellen Erfindung verwendet werden können, aus vielen verschiedenen Elementen bestehen, ist keine detaillierte Programmauflistung bereitgestellt worden. Es wird davon ausgegangen, daß die Operationen und anderen Prozeduren bzw. Verfahren, die hierin beschrieben und in den zugehörigen Zeichnungen dargestellt werden, ausreichend offenbart worden sind, um einem Fachmann zu gestatten, die aktuelle Erfindung auszuführen.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Es wird ein computerbasiertes Fernsteuerungssystem mit einer intuitiven grafischen Benutzerschnittstelle offenbart. In der folgenden Beschreibung wird für Zwecke der Erläuterung eine spezifische Terminologie dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung zu gewährleisten. Es wird jedoch für einen Fachmann offensichtlich sein, daß diese spezifischen Details nicht erforderlich sind, um die vorliegende Erfindung auszuführen. In anderen Fällen werden bekannte Schaltungen, Funktionen, Prozesse und Einrichtungen in Form von Blockdarstellungen und konzeptionellen Diagrammen gezeigt, um die vorliegende Erfindung nicht unnötigerweise zu verschleiern.
Systemüberblick
1a stellt einen Überblick über das computerbasierte Fernsteuerungssystem der vorliegenden Erfindung dar. Die Hauptkomponenten der vorliegenden Erfindung bestehen aus einer Handanzeigeeinrichtung 170, wie in 1a dargestellt. In dem vorliegenden Ausführungsbeispiel umfaßt die Handanzeigeeinrichtung 170 ein Computersystem mit einer Farbgrafik-Berührungsbildschirmanzeige. Die Handanzeigeeinrichtung 170 ist ausgelegt, um jede beliebige kompatible, entfernte Einrichtung zu steuern, wie beispielsweise ein Thermostat 150, einen Videokassettenrecorder 39 und ein Stereosystem 152. Die Handanzeigeeinrichtung 170 kommuniziert mit den entfernten Einrichtungen unter Verwendung eines Kommunikationsmediums 160.
Das Fernsteuerungssystem der vorliegenden Erfindung, wie in 1a dargestellt, unterscheidet sich wesentlich von den dem Stand der Technik entsprechenden Fernsteuerungssystemen, da es auf modularer objekt-orientierter Software basiert. Die objekt-orientierte Software stellt Eigenschaften bereit, die vorher in dem Stand der Technik entsprechenden Fernsteuerungssystemen nicht verfügbar waren. Wenn beispielsweise ein Anwender (hierin manchmal als „Benutzer" bezeichnet) zu dem System eine neue kompatible, entfernte Einrichtung, wie beispielsweise Thermostat 150, hinzufügt, übermittelt die neue entfernte Einrichtung Informationen über sich selbst an die Handanzeigeeinrichtung 170. Die übermittelten Informationen beinhalten ein Benutzerschnittstellenobjekt, das verwendet werden kann, um eine grafische Benutzerschnittstelle für die entfernte Einrichtung wiederzugeben. Die vorliegende Erfindung verwendet das Benutzerschnittstellenobjekt, um eine grafische Benutzerschnittstelle für die neue entfernte Einrichtung auf der Handanzeigeeinrichtung 170 anzuzeigen. Die übermittelten Informationen können ebenfalls ein Einrichtungstreiberobjekt beinhal ten, das verwendet wird, um die neue entfernte Einrichtung zu steuern. Um alle verfügbaren Benutzerschnittstellenobjekte zu organisieren, erzeugt die Handanzeigeeinrichtung 170 eine „Welt" geographischer Räume, durch welche man unter Verwendung eines Satzes von Gesten problemlos navigieren kann.
Diese Patentbeschreibung wird zuerst die Hardware offenbaren, die benötigt wird, um die Handanzeigeeinrichtung 170 und die kompatiblen entfernten Einrichtungen der vorliegenden Erfindung zu konstruieren. Die geographische Räume und Objekte aufweisende grafische Benutzerschnittstelle, welche auf der Handanzeigeeinrichtung 170 angezeigt wird, wird dann beschrieben. Ein Satz von Gesten, der von den Anwendern verwendet wird, um rund um die Benutzerschnittstelle der vorliegenden Erfindung zu navigieren, wird ebenfalls definiert. Um die Benutzerschnittstellenelemente zu kombinieren, wird eine Reise durch ein Ausführungsbeispiel der Benutzerschnittstelle der vorliegenden Erfindung unternommen, um zu erläutern, wie die Navigationsgesten verwendet werden, um mit den auf der Handanzeigeeinrichtung 170 angezeigten Objekten zu interagieren. Schließlich wird das System zum Gewinnen von Informationen von den entfernten Einrichtungen definiert, so daß die Handanzeigeeinrichtung 170 mit den entfernten externen Einrichtungen kommunizieren und diese steuern kann.
Aufgrund der Beschränkungen einer schriftlichen Patentbeschreibung hinsichtlich der Beschreibung animierter Ereignisse auf einer Schnittstelle, wird der Leser auf ein Videoband mit dem Titel „Green Project User Interface" hingewiesen, das vom Anmelder zusammen mit dem Einreichen der Anmeldung, auf welcher dieses Patent basiert, vorgelegt wurde. Zusätzlich muß auch angemerkt werden, daß die Eigenschaften der vorliegenden Erfindung in den begleitenden Zeichnungen in schwarzweiß dargestellt werden. Jedoch in dem gegenwärtig bevorzugten Ausführungsbeispiel, und wie unten beschrieben, werden Objekte und Eigenschaften in Farbe angezeigt.
Hardware-Konfiguration
Die Handanzeigeeinrichtung 170 der vorliegenden Erfindung weist ein Computersystem auf, wie beispielweise das, das in 1b dargestellt wird. Das Computersystem 170 von 1b enthält eine zentrale Verarbeitungseinheit (CPU) 30, eine Speichereinheit 33 und eine Eingabe/Ausgabe (I/O)-Einheit 34. Diese Elemente sind diejenigen, die üblicherweise in den meisten Mehrzweck-Computern zu finden sind, und in der Tat ist es beabsichtigt, daß das Handcomputersystems 170 für eine ausgedehnte Kategorie von Datenverarbeitungseinrichtungen repräsentativ ist, die in der Lage sind, Grafikanzeigen zu erzeugen.
Mit der Eingabe/Ausgabe(I/O)-Einheit 34 von Computersystem 170 ist eine Farbgrafikbildschirmanzeige 37 gekoppelt. Die Bildschirmanzeige 37 weist teilweise eine Farbrasterbildschirmeinrichtung auf, wie beispielsweise, einen Kathodenstrahlröhren(CRT)-Monitor oder eine Flüssigkristallanzeige (LCD). Die Bildschirmanzeige 37 muß über eine ausreichende Auflösung derart verfügen, daß die Bildschirmanzeige 37 Grafikbilder wiedergeben kann.
In dem bevorzugten Ausführungsbeispiel weist die Bildschirmanzeige 37 ferner ein Berührungsbildschirmanzeigesystem auf. Die Berührungsbildschirmanzeige beinhaltet ein Merkmal bzw. eine Eigenschaft, die das Vorhandensein eines Fingers, der den Anzeigebildschirm 37 berührt, erfassen kann. Ferner kann der Berührungsbildschirm den genauen Ort identifizieren, an dem der Finger den Anzeigebildschirm 37 berührt, so daß der Anzeigebildschirm Fingergesten erfassen kann, die vom Finger eines Benutzers auf dem Anzeigebildschirm 37 ausgeführt werden. Die Berührungsbildschirmanzeige 37 kann einen aus einer Vielzahl von berührungsempfindlichen Anzeigebildschirmen aufweisen, die auf dem Markt handelsüblich sind.
Alternativ kann das Handcomputersystem 170 mit einem herkömmlichen grafischen Anzeigesystem ohne einen berührungsempfindlichen Anzeigeschirm konstruiert werden. Ein derartiges System benötigt ein alternatives Eingabesystem, um die Interaktionen des Benutzers zu erhalten. 1b stellt eine alternative Eingabeeinrichtung 42 dar. Obwohl die Benutzerschnittstelle der vorliegenden Erfindung mit alternativen Eingabeeinrichtungen 42, wie beispielsweise Mäusen, Trackballs und Joysticks, verwendet werden kann, wird das System in dieser Patentbeschreibung als das bevorzugte Ausführungsbeispiel mit einer Berührungsbildschirmanzeige 37 beschrieben.
Im Betrieb erzeugt die CPU 30 durch die Ausführung des Computercodes, der im Speicher 33 gespeichert ist, eine grafische Benutzerschnittstelle und zeigt diese auf der Berührungsbildschirmanzeige 37 an. Der im Speicher 33 gespeicherte Computercode wird hierin nicht offenbart, da die Beschreibung der vorliegenden Erfindung in dieser Patentbeschreibung für einen Fachmann in der Computertechnik ausreichend ist, um die Lehren der Erfindung in einer Vielzahl von Computersystemen unter Verwendung einer der vielen Computersprachen anzuwenden.
Eine externe Kommunikationsschaltung 35 ist mit der Eingabe/Ausgabe(I/O)-Einheit 34 von Computersystem 170, in 1b, gekoppelt. Die externe Kommunikationsschaltung 35 stellt ein System für das Senden und Empfangen von Informationen an das und von dem Handcomputersystem 170 bereit. Die vorliegende Erfindung verwendet die externe Kommunikationsschaltung 35 im Computersystem 170, um mit entfernten Geräten, wie beispielsweise einem Videokassettenrecorder 39 und einem Thermostaten 150, über ein Kommunikationsmedium 160 zu kommunizieren. Die Kommunikationsschaltung 35 kann eine der vielen bekannten Kommunikationstechnologien, wie beispiels weise Funkwellen, leistungsarme, mobile, infrarote Signale oder Datensignale, die auf den vorhandenen Stromleitungen transportiert werden, verwenden.
Um von der vorliegenden Handanzeigeeinrichtung 170 der vorliegenden Erfindung gesteuert zu werden, muß eine entfernte Einrichtung wenigstens über ein Verfahren für das Empfangen von Informationen, die von der Handanzeigeeinrichtung 170 gesendet werden, verfügen. Idealerweise sind die entfernten Einrichtungen intelligente Einrichtungen, die Informationen sowohl senden als auch empfangen können. Die Handanzeigeeinrichtung 170 kann jedoch jede beliebige entfernte Einrichtung steuern, die einem der folgenden drei „Typen" entfernter Einrichtungen entspricht:
Der erste Typ einer entfernten Einrichtung, die von der vorliegenden Erfindung gesteuert werden kann, ist eine „intelligente entfernte Einrichtung", die speziell konzipiert wurde, um mit der Handanzeigeeinrichtung 170 zu arbeiten. In der vorliegenden Erfindung ist eine „intelligente entfernte Einrichtung" als eine entfernte Einrichtung definiert, die einen Mikroprozessor, ein Kommunikationssystem und einen Speicher enthält. 1c stellt eine Blockdarstellung der Komponenten in einer intelligenten entfernten Einrichtung 150 bereit. Wie in 1c dargestellt, umfaßt die intelligente entfernte Einrichtung 150 eine CPU 403, einen Speicher 404, eine Kommunikationsschaltung 401 und eine Einrichtungssteuerschaltung 405.
Die Handanzeigeeinrichtung 170 der vorliegenden Erfindung kommuniziert mit einer intelligenten entfernten Einrichtung 150 über die Kommunikationsschaltung 401 der intelligenten entfernten Einrichtung. Der Speicher 404 speichert Programme und Daten, die von der CPU 403 verwendet werden, einschließlich eines Benutzerschnittstellenobjekts 303 und eines Einrichtungstreiberobjekts 301. Die CPU 403 in der intelligenten entfernten Einrichtung ruft Verfahren in dem Einrichtungstreiberobjekt 301 auf, um die entfernte Einrichtung zu steuern.
Der zweite Typ einer entfernten Einrichtung, die von der vorliegenden Erfindung gesteuert werden kann, ist eine „einfache entfernte Einrichtung", die speziell konzipiert wurde, um mit der Handanzeigeeinrichtung 170 zu arbeiten. In der vorliegenden Erfindung wird eine entfernte Einrichtung als eine „einfache entfernte Einrichtung" definiert, wenn die entfernte Einrichtung keinen Mikroprozessor aufweist, oder die entfernte Einrichtung einen solchen primitiven Prozessor aufweist, daß die Handanzeigeeinrichtung 170 keine Verfahren in einem Einrichtungstreiberobjekt innerhalb der entfernten Einrichtung aufrufen kann.
1d stellt ein Blockdarstellung der Komponenten in einer typischen einfachen entfernten Einrichtung 155 bereit. Wie in 1d dargestellt, umfaßt die einfache entfernte Einrichtung 155 einen Sender 420, einen Empfänger 421, einen Speicher 424 und eine Einrichtungssteuerschaltung 425. Der Emitter 420 in der einfachen entfernten Einrichtung 155 wird verwendet, um den Inhalt des Speichers 424 an die Handanzeigeeinrichtung 170 zu senden. Daher sendet die einfache entfernte Einrichtung 155 sowohl das Benutzerschnittstellenobjekt 353 als auch das Einrichtungstreiberobjekt 351 in dem Speicher 424 in der Weise, daß die Handanzeigeeinrichtung beide Objekte empfängt.
Um die einfache entfernte Einrichtung 155 zu steuern, ruft die Anzeigeeinrichtung 170 ein Verfahren in dem Einrichtungstreiberobjekt 351 auf, um die Interaktionen des Benutzers in einfache vordefinierte Steuercodes zu übersetzen. Die Anzeigeeinrichtung 170 sendet dann die einfachen vordefinierten Steuercodes an die einfache entfernte Einrichtung 155, welche die Steuercodes über Empfänger 421 empfängt und die Informationen an die Einrichtungssteuerschaltung 425 leitet.
Schließlich ist der dritte Typ einer entfernten Einrichtung, die von der vorliegenden Erfindung gesteuert werden kann, eine herkömmliche elektronische Einrichtung, die von gesendeten Signalen, wie beispielsweise Infrarotsignalen, gesteuert werden kann. Daher ist die vorliegende Erfindung mit den meisten existierenden Einrichtungen, die ferngesteuert werden können, abwärtskompatibel. 1e stellt eine typische elektronische Einrichtung 157 dar, die von codierten Signalen gesteuert werden kann. Die Einrichtung hat einen Empfänger 450 für das Empfangen gesendeter codierter Steuersignale und eine Einrichtungssteuerschaltung 455 für das Antworten auf die codierten Steuersignale. Die Handanzeigeeinrichtung 170 steuert die elektronische Einrichtung 157 durch Senden codierter Steuersignale. Die entfernte elektronische Einrichtung 157 empfängt die gesendeten Signale und antwortet entsprechend.
Die Anzeigeinrichtungsbenutzerschnittstelle
Um ein neues Produkt zu erzeugen, das einfach im Gebrauch ist, versuchen Produktdesigner das neue Produkt so zu gestalten, daß es in einer ähnlichen Weise wie ein altes Produkt funktioniert, von dem der vorgesehene Anwender bereits weiß, wie es zu bedienen ist. Beispielsweise sind Tonbandkassettenrecorder seit einer so langen Zeit erhältlich, daß die meisten Menschen wissen, wie ein Tonbandkassettenrecorder zu verwenden ist. Daher sind die Wiedergabe-, Stop-, Rückspulen-, Vorspulen- und Aufnahme-Tasten auf Kassettenrecordern den meisten Menschen bekannt. Die Hersteller von Videokassettenrecordern stellten einfach zu verwendende Videokassettenrecorder her, indem sie sich dieses allgemein bekannte Wissen zunutze machten. Die Videokassettenrecorder sind einfach zu verwenden, da bei den Videokassettenrecordern dieselben Tasten – d. h. die Wiedergabe-, Stop-, Rückspulen-, Vorspulen- und Aufnahme-Tasten – verwendet werden, die für die Bedienung von Tonbandkassettenrecordern verwendet werden.
Um eine Handanzeigeeinrichtung 170 einfach im Gebrauch zu machen, zeigt die vorliegende Erfindung eine intuitive grafische Benutzerschnittstelle auf der Handanzeigeeinrichtung 170 an. Dieser Abschnitt definiert die grafische Benutzerschnittstelle, welche für Benutzer auf einer Handanzeigeeinrichtung 170 bereitgestellt wird.
Um eine grafische Benutzerschnittstelle zu entwerfen, die einfach zu navigieren ist, sollten Designer die grafische Benutzerschnittstelle mit einer Struktur organisieren, die die meisten Benutzer bereits verstehen. Menschen leben in einer dreidimensionalen geographischen Welt. Um in unserer dreidimensionalen geographischen Welt zu überleben, müssen die Menschen lernen, wie man in dem lokalen geographischen Gebiet, einschließlich solcher geographischen Räume wie ihr Haus, ihre Nachbarschaft und ihre Stadt, navigiert. Um dies zu tun, erzeugt jede Person eine mentale Karte der geographischen Räume ihrer relevanten lokalen Welt.
Die mentalen Karten der geographischen Räume, die die Menschen erzeugen, sind de facto geographische Kartenstrukturen. 2a stellt eine typische geographische Kartenstruktur dar. Beispielsweise weiß jeder Mensch auf diesem Planeten, daß er auf der Erde lebt. Jeder Mensch lebt auch in einer bestimmten Stadt, aber jede Person ist sich der Tatsache bewußt, daß andere Städte auf der Erde existieren. Jeder Mensch lebt in einem bestimmten Haus in einer bestimmten Straße, aber jeder Mensch ist sich der Tatsache bewußt, daß es andere Straßen in der Stadt mit anderen Häusern in jeder Straße gibt. Die Identifizierung eines bestimmten Hauses in einer Straße innerhalb einer Stadt auf der Erde ist eine natürlich vorkommende geographische Kartenstruktur, wie in 2a dargestellt.
Die geographische Kartenstruktur kann bis in das Haus ausgedehnt werden. Beispielsweise ist das Wohnzimmer ein Raum von vielen innerhalb des Hauses. Das Fernsehgerät, das Fernsehprogrammverzeichnis und der Videokassettenrecorder sind Objekte innerhalb des Wohnzimmers. Jedes Objekt kann seinen eigenen geographischen Raum haben. Die Kartenstruktur kann auch auf abstrakte Räume sowie auf geographische Räume ausgedehnt werden. Jedes Fernsehprogramm, das in einem Programmverzeichnis aufgeführt ist, hat eine Programmbeschreibung. Die Programmbeschreibung kann als ein Raum innerhalb des Fernsehprogrammverzeichnisses betrachtet werden. Die meisten Menschen verstehen sowohl die Struktur geographischer Räume als auch das Detail, das in jedem geographischen Raum zu finden ist. Daher repräsentiert die de facto geographische Kartenstruktur der Räume eine Struktur, die den meisten Menschen bekannt ist.
Die vorliegende Erfindung verwendet die bekannte geographische Kartenstruktur unserer dreidimensionalen Welt in einer grafischen Benutzerschnittstelle. Die vorliegende Erfindung beschreibt eine Technik der Benutzernavigation in einer beliebig großen und komplexen geographischen Kartenstruktur mit grafischen Hintergrundbildern, die geographische Räume darstellen. Derartige geographische Kartenstrukturen verbessern das Erinnerungsvermögen eines Benutzers für die Organisation komplexer Daten. Der Vorteil der Einbeziehung derartiger geographischer Kartenstrukturen besteht darin, daß die bekannten Strukturen eine größere Anzahl von Menschen in die Lage versetzen, eine Informationsspeicherung zu nutzen, die von einem Computer unterstützt wird.
2b und 2c stellen ein Muster einer geographischen Kartenstruktur dar, die von der vorliegenden Erfindung verwendet wird. In der vorliegenden Erfindung wird jeder Raum in der geographischen Kartenstruktur der 2b und 2c als ein Hintergrundbild auf dem Anzeigebildschirm der Handanzeigeeinrichtung, wie beispielsweise der in 1b dargestellten, repräsentiert. In jedem geographischen Raum sind Objekte angeordnet, die von einem Benutzer ausgewählt und bearbeitet werden können.
Benutzerschnittstellenanzeigeelemente
Die Benutzerschnittstellenumgebung der vorliegenden Erfindung besteht aus zwei Hauptanzeigeelementen: „Räumen" und auswählbaren „Objekten". Jedes Gebiet der geographischen Kartenstruktur der 2b und 2c repräsentiert einen Raum. Der Raum stellt eine geographische Referenz bereit, die den Benutzer über dessen aktuellen Standort innerhalb der geographischen Kartenstruktur informiert. In jedem Raum gibt es ein oder mehrere „Objekte". Ein Benutzer kann die Objekte in jedem Raum auswählen und manipulieren. In dem vorliegenden Ausführungsbeispiel der Handanzeigeeinrichtung 170 mit Berührungsbildschirmanzeige 37 kann ein Benutzer Objekte auswählen, indem er die Objekte berührt, die auf der Berührungsbildschirmanzeige 37 angezeigt werden. Andere Zeigeeinrichtungen als der Finger des Benutzers und andere Eingabeeinrichtungen als ein Berührungsbildschirm könnten die Auswahl und die Benutzereingabe auf eine andere Weise ausführen.
Räume
Jeder Raum in den 2b und 2c weist ein verknüpftes Hintergrundbild auf, das eine entsprechende Symbolik für den Raum enthält. Wenn ein Benutzer einen Raum betritt, wird das Hintergrundbild des Raums auf dem Anzeigebildschirm 37 wiedergegeben. Jedes Hintergrundbild enthält Orientierungspunkte, die dem Benutzer helfen, festzustellen, wo er sich befindet. Beispielsweise wird der Erdoberflächen-Raum 32 von 2b als Hintergrundbild in 4 und 5 dargestellt. Das Erdoberflächen-Hintergrundbild der 4 und 5 ähnelt einer Straße auf der Erdoberfläche, wodurch ein Benutzer informiert wird, daß sich der Benutzer in dem Erd oberflächen-Raum der Kartenstruktur befindet. Das System gibt das Hintergrundbild unter Verwendung ungesättigter oder gedämpfter Farben in der Weise wieder, daß das Hintergrundbild problemlos von auswählbaren Objekten unterschieden werden kann. Das Hintergrundbild für einen Raum kann größer als der Anzeigebildschirm 37 sein; daher stellt die vorliegende Erfindung eine Geste für das „Schwenken" in der Weise bereit, daß sich ein Benutzer in einem Raum bewegen kann, wie später erläutert werden wird.
Objekte
Objekte sind einzelne grafische Icons, die in den Hintergrundbildern der Räume wiedergegeben werden. Jedes Objekt ist tatsächlich ein objekt-orientierter Programmierungstyp eines Objekts, der Datenverfahren bzw. -methoden enthält, welche aufgerufen werden können, um auf die Daten einzuwirken. Ein Benutzer kann jedes der Objekte auswählen und bearbeiten, die in dem Hintergrundbild eines Raums erscheinen. Jedes Objekt weist leuchtende Farben auf und ist schwarz umrandet. Die leuchtenden Farben unterscheiden die Objekte in einem Raum von dem Hintergrundbild des Raums, das unter Verwendung ungesättigter Farben gezeichnet wurde. Wenn ein Benutzer auf ein Objekt zeigt, erzeugt die Benutzerschnittstelle einen Klang für ein „Auswählbares Objekt", der den Benutzer informiert, daß das Objekt ausgewählt und bearbeitet werden kann. Es wird erneut auf 4 Bezug genommen; in dem vorliegenden Beispiel sind die Häuser 47 und 48 Objekte, die von einem Benutzer ausgewählt und bearbeitet werden können.
In der vorliegenden Erfindung wird eine „Aktionsvorwegnahme-Animation" verwendet, um den Benutzer zu informieren, wenn eine Aktion stattfindet. Die Aktionsvorwegnahme-Animation ist eine kurze auf dem Anzeigebildschirm 37 angezeigte Animation, die von der CPU 30 erzeugt wird. In den meisten Fällen besteht die Aktionsvorwegnahme-Animation aus der Ver größerung des Icons eines Objekts in der Weise, daß es den Anschein hat, als ob sich das Icon näher auf den Benutzer zu bewegt, wenn das Objekt ausgewählt wird.
Es wird beispielsweise auf 3 Bezug genommen; wenn das Erd-Portal 100 ausgewählt wird, expandiert das Erd-Portal 100 in der Weise, daß es den Anschein hat, als ob es sich näher auf den Benutzer zu bewegt. Nachdem das Erd-Portal 100 antizipiert bzw. aktionsvorweggenommen wurde, bewegen die Benutzerschnittstellen den Benutzer zu dem Erdoberflächen-Raum 32, der mit dem Erd-Portal 100 verknüpft ist, wie in 4 dargestellt ist.
Wenn ein Benutzer ein Objekt auswählt, indem er für einen vorherbestimmten Mindestzeitraum auf das Objekt zeigt, wird ein Klang erzeugt, das Objekt antizipiert, und die CPU ruft ein Verfahren in dem Objekt auf, welches eine mit dem Objekt verknüpfte Aktion ausführt.
Es gibt mindestens drei Arten von Objekten, die in der Benutzerschnittstelle des vorliegenden Ausführungsbeispiels existieren: Datenobjekte, Schaltflächen und Portale. Das einfachste Objekt ist ein Datenobjekt. Datenobjekte sind Objekte, die mit einem Satz von Daten verknüpft sind. Schaltflächen sind Objekte, die Mittel für die Ausführung von Funktionen bereitstellen. Portale stellen ein Verfahren für die Bewegung zwischen verschiedenen Räumen bereit. Jede Objektart wird unten einzeln erläutert.
Datenobjekte
Ein Datenobjekt ist ein einfaches Objekt, das verwendet wird, um eine Information zu repräsentieren. Ein Datenobjekt kann beispielsweise eine Farbe oder einen Fernsehkanal repräsentieren. Die Datenobjekte enthalten keine Verfahren, die aufgerufen werden können, um eine zugeordnete Aktion oder Funktion auszuführen, wenn das Datenobjekt ausgewählt wird. Ein Datenobjekt kann jedoch auf anderen Objekten abgesetzt werden, die die Informationen in dem Datenobjekt verwenden. Beispielsweise kann ein Fernsehprogrammverzeichnis-Datenobjekt auf einem Videokassettenrecorderobjekt abgesetzt werden, um den Videokassettenrecorder so zu programmieren, daß er das Fernsehprogramm aufzeichnet.
Schaltflächen
Ein Schaltflächenobjekt ist ein spezielles Objekt, das eine zugeordnete Aktion oder Funktion hat. Wenn ein Benutzer eine Schaltfläche auswählt, ruft die CPU 30 das Aktionsverfahren in dem Schaltflächenobjekt auf, um die Ausführung der Aktion oder Funktion, die der Schaltfläche zugeordnet ist, zu veranlassen. Wenn die Schaltfläche ausgewählt wird, antizipiert die CPU auch die Schaltfläche und erzeugt einen Klang für die „Schaltflächenaktion", der die Rückmeldung für den Benutzer bereitstellt, daß die Schaltfläche ausgewählt worden ist. Bestimmte Schaltflächen stellen eine zusätzliche visuelle Rückmeldung bereit, um den Benutzer über die Ergebnisse des von der CPU aufgerufenen Verfahrens, die der Schaltfläche zugeordnete Aktion auszuführen, zu informieren.
Es wird beispielsweise auf 8 Bezug genommen; eine Fernseher-„Ein-"Schalt-Schaltfläche 61 und eine Fernseher„Aus-"Schalt-Schaltfläche 62 werden angezeigt. Wenn ein Benutzer die Fernseher-„Ein-"Schalt-Schaltfläche 61 auswählt, antizipiert die Fernseher-„Ein-"Schalt-Schaltfläche 61, und die CPU 30 erzeugt einen Klang für die „Schaltflächenaktion". Die CPU ruft ebenfalls ein Verfahren in dem Schaltflächenobjekt auf, das die notwendigen Informationen sendet, um ein reales Fernsehgerät einzuschalten, das mit dem in 8 dargestellten Fernseher-Bedienungsfeld verbunden ist.
Wenn das reale Fernsehgerät eine „intelligente entfernte Einrichtung" ist, kann das Fernsehgerät einen Ergebniswert an die Anzeigeeinrichtung zurücksenden, der den Benutzer informiert, ob das Fernsehgerät eingeschaltet wurde oder nicht. Die Benutzerschnittstelle kann dann die Fernseher „Ein-"Schalt-Schaltfläche 61 erhellen und einen „Summ"-Ton erzeugen, um den Benutzer zu informieren, daß das reale Fernsehgerät tatsächlich eingeschaltet wurde.
Schaltflächen können kopiert und in verschiedene Räume verlagert werden, so daß ein Benutzer die „Welt" der Benutzerschnittstelle individuell anpassen kann. Beispielsweise könnten die Fernseher-„Ein-"Schalt-Schaltfläche 61 und die Fernseher-„Aus-"Schalt-Schaltfläche 62 kopiert werden und dann die Schaltflächenkopien aus dem Fernsehsteuerungs-Raum in jeden anderen Raum verlagert werden. Ein Benutzer kann die Kopien dieser Fernseher-„Ein-"Schalt-Schaltfläche 61 und der Fernseher-„Aus-"Schalt-Schaltfläche 62 in dem neuen Raum verwenden, um den Fernseher zu steuern.
Portale
Portale sind Objekte, die ein einfaches Verfahren der Bewegung aus dem aktuellen Raum in einen anderen Raum, der dem Portal zugeordnet ist, bereitstellen. Ein Benutzer bewegt sich aus dem aktuellen Raum in einen anderen Raum, der einem Portal zugeordnet ist, indem er einfach das Portal auswählt. Nachdem der Benutzer das Portal ausgewählt hat, antizipiert das Portal, erzeugt einen „Bewegung-durch-das-Portal-Klang", und die CPU ruft ein Verfahren auf, das den Benutzer in den Raum bewegt, der dem Portal zugeordnet ist.
Es wird beispielsweise auf die geographische Karte von 2b Bezug genommen; um sich aus dem Erdoberflächen-Raum 32 in den Haus-Raum 50 zu bewegen, wählt der Benutzer einfach das Haus-Portal 48 aus. Es wird auf den Erdoberflächen-Raum 32, wie in 4 dargestellt, Bezug genommen; ein Benutzer führt die Bewegung aus, indem er das Haus-Portal 48 innerhalb des Erdoberflächen-Raums 32 auswählt. Nachdem das Haus-Portal 48 ausgewählt worden ist, antizipiert das Haus-Portal 48, erzeugt einen „Bewegung-durch-das-Portal-Klang", und dann wird der Benutzer in den Haus-Raum 50, wie in 6 dargestellt, bewegt.
Portale können kopiert und in der Weise verlagert werden, daß ein Benutzer die „Welt" der Benutzerschnittstelle individuell anpassen kann. Beispielweise wird in 7a ein Fernsehprogrammverzeichnis-Portal 71 in dem Wohnzimmer-Raum 60 dargestellt. Das TV-Programmverzeichnis-Portal 71 ist einem Raum zugeordnet, der TV-Programmverzeichnisinformationen enthält. Ein Benutzer kann eine Kopie des Fernsehprogrammverzeichnis-Portals 71 anfertigen und die Kopie in einen anderen Raum verlagern, in welchem der Benutzer in der Lage sein möchte, auf das Fernsehprogrammverzeichnis zuzugreifen. Der Benutzer kann dann die Kopie des Fernsehprogrammverzeichnis-Portals verwenden, um auf dieselben Informationen zuzugreifen, auf die unter Verwendung des ursprünglichen Fernsehprogrammverzeichnis-Portals zugegriffen werden könnte. Somit wäre ein Benutzer in der Lage, aus verschiedenen Räumen auf dieselben Informationen zuzugreifen.
Es gibt zwei spezielle Portale, die für einen Anwender der Benutzerschnittstelle fast immer verfügbar sind: ein Rückweg-Portal und ein Assistenten-Portal.
Das Rückweg-Portal
Das Rückweg-Portal stellt einen Weg für einen Benutzer bereit, um einen Pfad zurückzuverfolgen, auf dem sich der Benutzer zwischen verschiedenen Räumen bewegt hat. Das Rückweg-Portal 45 besteht aus einem kleinen rechteckigen Einzelbild, das eine Momentaufnahme des vorherigen Raums entlang dem Pfad durch die Räume, auf dem sich der Benutzer bewegt hat, einschließt. Da das Hintergrundbild für einen Raum größer sein kann, als bei einer einzigen Ansicht zu erkennen ist, zeigt das Rückweg-Portal eine Momentaufnahme der Ansicht des vorhergehenden Raums, genauso wie er erschien, als der Benutzer durch ein Portal in diesen vorherigen Raum gegangen ist. Bei dem vorliegenden Ausführungsbeispiel ist das Rückweg-Portal für den Benutzer in jedem Raum in der unteren rechten Ecke des Anzeigebildschirms verfügbar. Falls ge wünscht, kann der Benutzer das Rückweg-Portal an einen anderen Ort auf dem Anzeigebildschirm in der Weise verlagern, daß das Rückweg-Portal dann an dem neuen Ort auf dem Bildschirm in jedem Raum erscheint.
Um sich auf dem aktuellen Pfad einen Schritt rückwärts zu bewegen, wählt der Benutzer das Rückweg-Portal 45. Nach der Auswahl antizipiert die CPU 30 das Rückweg-Portal 45, erzeugt einen „Bewegung-durch-das-Rückweg-Portal"-Klang und bewegt den Benutzer in den Raum, der in dem Rückweg-Portal dargestellt ist. Bei dem vorliegenden Ausführungsbeispiel ist der „Bewegung-durch-das-Rückweg-Portal"-Klang eigentlich derselbe Klang wie der „Bewegung-durch-das-Portal"-Klang mit der Ausnahme, daß er rückwärts gespielt wird. Indem der „Bewegung-durch-das-Portal"-Klang bei der Bewegung durch das Rückweg-Portal rückwärts gespielt wird, wird die Rückwärtsbewegung auf dem aktuellen Pfad für den Benutzer hervorgehoben.
Wenn Benutzer durch Portale gehen, hinterlassen sie eine Spur von unsichtbaren Markierungen. Jede Markierung repräsentiert einen Besuch in einem Raum. Das Rückweg-Portal verwaltet diese Markierungen und erhält sie in der Reihenfolge aufrecht, in der die Räume besucht wurden. Die Markierungen und die Reihenfolge der Markierungen definieren den Pfad, den der Benutzer durch die Welt der Benutzerschnittstelle genommen hat. Somit wird, wenn ein Benutzer durch das Rückweg-Portal geht, der von den Markierungen definierte Pfad jeweils eine Markierung zurückverfolgt. Jedes Mal, wenn der Benutzer durch das Rückweg-Portal in einen Raum geht, wird eine der Markierungen, die von dem Rückweg-Portal verwaltet werden, entfernt.
Es wird beispielsweise auf eine in 2b dargestellte geographische Kartenstruktur Bezug genommen; wenn ein Benutzer in dem Weltraum-Raum 99 startet, sich in den Erdoberflächen-Raum 32 bewegt, und sich dann in den Haus-Raum 50 bewegt, wird ein Pfad von dem Weltraum-Raum 99 in den Erdoberflächen-Raum 32 in den Haus-Raum 50 erzeugt. Nach dem Durchlaufen dieses Pfades zeigt der Anzeigebildschirm 37 den Haus-Raum 50, wie in 6 dargestellt, an. In der unteren rechten Ecke von Haus-Raum 50 befindet sich das Rückweg-Portal 45. Wie in 6 dargestellt, zeigt das Rückweg-Portal 45 eine Miniaturmomentaufnahme des vorherigen Raums entlang dem Raumpfad an. In diesem Fall ist der vorherige Raum entlang dem Raumpfad der Erdoberflächen-Raum 32; daher zeigt das Rückweg-Portal 45 eine Miniaturmomentaufnahme des Erdoberflächen-Raums 32 an, wie er erschien, als der Benutzer durch das Haus-Portal ging. Wenn der Benutzer dann das Rückweg-Portal 45 auswählt, antizipiert das Rückweg-Portal 45, erzeugt den „Bewegung-durch-das-Rückweg-Portal"-Klang und bewegt den Benutzer dann in den Erdoberflächen-Raum 32, wie in 4 dargestellt. Bei Erdoberflächen-Raum 32, wie in 4 dargestellt, zeigt das Rückweg-Portal nun eine Miniaturmomentaufnahme des Weltraum-Raums 99 an, welcher der erste Raum entlang dem Pfad war. Daher stellt das Rückweg-Portal 45 einen „Rückweg " entlang dem Pfad durch die Räume, durch die der Benutzer gegangen ist, bereit.
Die vorliegende Erfindung implementiert das Rückweg-Portal 45 als einen Stapel von Datenstrukturen, wobei jede Datenstruktur einen Zeiger und ein Koordinatenpaar enthält. Der Zeiger in jeder Datenstruktur auf dem Stapel zeigt auf einen Raum, den der Benutzer vorher besucht hat. Das Koordinatenpaar in jeder Datenstruktur auf dem Stapel spezifiziert genau, wo sich der Benutzer in dem Raum, auf den der Zeiger zeigt, aufgehalten hat, als der Benutzer den Raum durch ein Portal verließ. Jedes Mal, wenn der Benutzer sich durch ein Portal aus einem bestimmten Raum herausbewegt, „schiebt" die Benutzerschnittstelle eine Datenstruktur, die den Zeiger auf den Raum und das Koordinatenpaar enthält, welches genau definiert, wo sich der Benutzer in dem Raum aufgehalten hat, als der Benutzer durch das Portal ging, auf den Rückweg-Sta pel. Das Rückweg-Portal 45 zeigt eine Miniaturmomentaufnahme des Raums an, auf den der Zeiger in der Datenstruktur auf der Oberseite des Stapels zeigt. Zur Rückverfolgung entlang dem Pfad durch die Räume „nimmt" die Benutzerschnittstelle jedes Mal, wenn der Benutzer das Rückweg-Portal 45 auswählt, eine Datenstruktur von dem Stapel „weg" und bewegt sich in den Raum, der von dem Zeiger in der Datenstruktur angezeigt wird.
Das Assistenten-Portal
Das Assistenten-Portal ist ein anthropomorphisches Zeichen, das den Benutzer beim Navigieren auf der Benutzerschnittstelle und bei der Behandlung von Ereignissen unterstützt, die in der von der Benutzerschnittstelle erzeugten „Welt" auftreten. Es wird auf den Erdoberflächen-Raum von 4 Bezug genommen; der Assistent ist in der unteren linken Ecke dargestellt. Der Assistent 41 transportiert Objekte für den Benutzer. Diese Transportfunktion wird durch eine Aktentasche repräsentiert, die der Assistent ebenfalls trägt. Ein Benutzer kann auf Objekte zugreifen, die der Assistent transportiert, indem er das Assistenten-Portal 41 auswählt, wodurch er einen Assistenten-Raum betritt, der dem Assistenten-Portal 41 zugeordnet ist. Wenn ein Benutzer das Assistenten-Portal 41 auswählt, antizipiert der Assistent, indem scheinbar die Aktentasche herauszieht und öffnet. Die CPU erzeugt dann den „Bewegung-durch-das-Portal"-Klang und bewegt den Benutzer in den Assistenten-Raum.
Um ein Objekt in die Aktentasche des Assistenten zu legen, nimmt der Benutzer das Objekt auf und „setzt" dann das Objekt auf dem Assistenten-Portal 41 „ab". Das auf dem Assistenten-Portal 41 abgesetzte Objekt ist dann für den Benutzer aus jedem Raum immer verfügbar, indem er den Assistenten-Raum betritt. Der Assistent wird weiter unten in dem Abschnitt „Der Assistent" umfassender diskutiert.
Objektrad
Häufig ist es erforderlich, daß ein Benutzer eine Auswahl unter einer beliebig großen Anzahl von Objekten trifft. Daher muß die Benutzerschnittstelle sowohl ein Verfahren für das Anzeigen einer großen Anzahl von Objekten als auch ein Verfahren bereitstellen, das dem Benutzer gestattet, jedes der angezeigten Objekte auszuwählen.
Es wird beispielsweise auf den in 8 dargestellten Fernsehsteuerungs-Raum 64 Bezug genommen; die Benutzerschnittstelle der vorliegenden Erfindung muß ein Verfahren zum Anzeigen einer beliebigen Anzahl von Fernsehkanälen bereitstellen, aus der der Benutzer auswählen kann. In jedem System ist der Bildschirmplatz sehr gefragt. Wenn der Benutzer unter vielen möglichen Optionen wählen muß, müssen daher die Optionen kompakt präsentiert werden. Wenn bei der vorliegenden Erfindung 500 Fernsehkanalobjekte für einen Benutzer zur Auswahl stehen, würde eine umfassende gleichzeitige Präsentation dieser nicht nur beträchtlichen Bildschirmplatz in Anspruch nehmen, sondern es ginge auch der visuelle Kontext der Liste (d. h. der Grund, weshalb der Benutzer diese Liste zuerst anschaut) verloren. Somit wird ein Verfahren benötigt, das dem Benutzer ein Blättern durch alle verfügbaren Objekte gestattet.
Die Benutzerschnittstelle der vorliegenden Erfindung führt ein „Objektrad" ein, um ein Verfahren bereitzustellen, das dem Benutzer gestattet, eine Auswahl aus einer großen Gruppe von Objekten zu treffen. Bei dem Objektrad werden ein paar sofort zugreifbare Objekte in einem Objektrad auf dem Anzeigebildschirm angezeigt, während die übrigen Objekte in der Gruppe auf dem Bildschirm nicht wiedergegeben werden. Um auf die Objekte zuzugreifen, die auf dem Bildschirm nicht wiedergegeben werden, „dreht" der Benutzer das Objektrad „schnell", um die vorher nicht zugreifbaren Objekte zur Ansicht auf den Anzeigebildschirm zu bewegen.
Es wird auf 12 Bezug genommen; eine große Anzahl von Fruchtobjekten ist zur Auswahl für einen Benutzer verfügbar, aber nur vier Fruchtobjekte passen auf einmal horizontal auf den Anzeigebildschirm 37. Um dem Benutzer den Zugriff auf alle verfügbaren Fruchtobjekte zu ermöglichen, plaziert die vorliegende Erfindung den Streifen mit den Fruchtobjekten auf einem „Objektrad" 38, wie es in dem konzeptionellen Diagramm von 13 angezeigt wird. Einige dieser Fruchtobjekte auf dem Objektrad 38 sind für einen Benutzer auf dem Anzeigebildschirm 37 sofort zugreifbar. Um auf die Objekte zuzugreifen, die auf dem Anzeigebildschirm 37 nicht angezeigt werden, dreht der Benutzer das Objektrad 38. Wenn sich das Objektrad 38 dreht, werden neue Objekte zur Ansicht gebracht und andere Objekte verschwinden aus der Ansicht, wie in 14 dargestellt. Ein Anwender verwendet die Navigationsgesten Zeigen, schnelles Drehen und Aufnehmen, um das Objektrad zu handhaben, das auf der Berührungsbildschirmanzeige 37 präsentiert wird. Diese drei Navigationsgesten werden im folgenden Abschnitt erläutert.
Um den Eindruck des Benutzers zu verstärken, daß ein echtes Rad schnell gedreht wird, folgen Objekträder den Gesetzen der Physik. Beispielsweise verfügen die Objekträder über Masse und daher über Trägheit; Objekträder drehen sich schneller, wenn der Benutzer mehr „Kraft" aufwendet, wenn er das Rad dreht; Objekträder reagieren aus Reibung, da ein sich drehendes Objektrad allmählich zum Stillstand kommt.
Während sich ein Objektrad dreht und sich die Objekte über den Bildschirm bewegen, erzeugt bei dem vorliegenden Ausführungsbeispiel die Benutzerschnittstelle einen „Klick"-Ton. Der von der Benutzerschnittstelle erzeugte „Klick"-Ton simuliert den Ton, den Rasten am Rad eines Spielautomaten hervorrufen, welche das Rad zum Anhalten und zur Ausrichtung zwingen. Wie ein echtes Rad halten die Objekträder der vorliegenden Erfindung immer ausgerichtet und halten niemals zwischen zwei Objektauswahlvorgängen an. Ein Benutzer kann ein sich schnell drehendes Objektrad zu jeder Zeit anhalten, indem er auf ein sich bewegendes Objekt auf dem Objektrad Zeigt, während sich das Objektrad schnell dreht.
Ein Objektrad kann vertikal oder horizontal auf dem Anzeigebildschirm ausgerichtet werden. Bei vertikaler Ausrichtung kann das Objektrad sowohl nach oben als auch nach unten schnell gedreht werden. Bei horizontaler Ausrichtung kann das Objektrad sowohl nach links als auch nach rechts schnell gedreht werden.
Benutzerschnittstellen-Navigationsgesten
Die Navigation und Objekthandhabung in der Benutzerschnittstelle werden unter Verwendung einer Bildschirmzeigereinrichtung ausgeführt. Bei dem bevorzugten Ausführungsbeispiel ist die Handanzeigeeinrichtung 170 mit einer Berührungsbildschirmanzeige 37 konstruiert, und die verwendete Zeigeeinrichtung ist der Finger eines Benutzers. Alternativ kann die Benutzerschnittstelle implementiert werden, indem jede andere Art von Bildschirmzeigereinrichtung verwendet wird, wie beispielsweise eine Maus, ein Trackball oder ein Joystick. Diese Patentbeschreibung beschreibt jedoch nur das bevorzugte Ausführungsbeispiel, das den Finger des Benutzers als Zeigeeinrichtung auf einem Berührungsbildschirm verwendet.
Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung enthält die Handanzeigeeinrichtung 170 teilweise eine Berührungsbildschirmanzeige 37, wie in 1b dargestellt. Die Berührungsbildschirmanzeige 37 erfaßt, wenn ein Finger auf dem Anzeigebildschirm plaziert worden ist und identifiziert, wo der Finger plaziert worden ist. Benutzer wählen Objekte auf dem Berührungsbildschirm aus und handhaben die Objekte, indem sie einen Satz von sechs Navigationsgesten verwenden: Zeigen, Auswählen, Schwenken, schnelles Drehen, Aufnehmen und Absetzen. Jede Navigationsgeste, die von der Benutzerschnittstelle verwendet wird, wird unten einzeln erläutert. (Da die Namen der Navigationsgesten dieselben sind wie Wörter des allgemeinen Sprachgebrauchs, werden in dieser Patentbeschreibung alle Bezugnahmen auf die Navigationsgesten mit großem Anfangsbuchstaben geschrieben.)
Zeigen
Zeigen ist die einfachste Geste in der Benutzerschnittstelle der vorliegenden Erfindung. Ein Anwender verwendet die Zeigen-Geste, um Objekte auszusuchen, die auf dem Anzeigebildschirm wiedergegeben werden. Wenn beispielsweise die Benutzerschnittstelle der vorliegenden Erfindung den Benutzer auffordert, eines der vielen Objekte auszusuchen, die auf dem Anzeigebildschirm wiedergegeben werden, Zeigt der Benutzer auf ein Objekt, um das Objekt auszuwählen.
Ein Benutzer Zeigt auf ein Objekt, indem er einfach einen Finger auf das auf dem Berührungsbildschirm angezeigte Objekt plaziert. Wenn ein Benutzer erfolgreich auf ein Objekt Gezeigt hat, erzeugt die Benutzerschnittstelle einen „Auswählbares-Objekt"-Klang. Der Auswählbares-Objekt-Klang stellt eine Rückmeldung für den Benutzer bereit, die anzeigt, daß der Benutzer erfolgreich auf das Objekt Gezeigt hat.
Auswählen
Die Auswählen-Geste ist der Zeigen-Geste sehr ähnlich. Ein Anwender verwendet die Auswählen-Geste, um ein Objekt ein Verfahren zur Ausführung einer Funktion oder einer mit dem Objekt verknüpften Aktion aufrufen zu lassen. Beispielsweise ruft ein Ausgewähltes Portal ein Verfahren auf, das den Benutzer in den Raum bewegt, der dem Portal zugeordnet ist, und eine Ausgewählte Schaltfläche ruft ein Verfahren auf, das die Aktion oder Funktion ausführt, die der Schaltfläche zugeordnet ist.
Um ein Objekt Auszuwählen, Zeigt ein Benutzer zuerst auf ein Objekt, indem er das Objekt mit einem Finger berührt. Wenn der Benutzer für einen vorherbestimmten Mindestzeitraum weiter auf das Objekt Zeigt, wird das Objekt ein Ausgewähltes Objekt. Nachdem ein Benutzer ein Objekt Ausgewählt hat, „antizipiert" das Objekt, erzeugt einen Klang für die Benutzer-Rückmeldung, und dann wird ein Verfahren in dem Objekt aufgerufen. Wenn das Objekt eine Schaltfläche ist, dann führt das aufgerufene Verfahren eine Funktion aus, die der Schaltfläche zugeordnet ist. Wenn das Objekt ein Portal ist, dann bewegt das aufgerufene Verfahren den Benutzer in den Raum, der diesem Portal zugeordnet ist.
Alternativ kann ein Benutzer ein Objekt auf dem Anzeigebildschirm Auswählen, indem er nacheinander zweimal schnell auf das Objekt Zeigt. Wenn ein Benutzer ein Objekt Auswählt, indem er zweimal schnell auf das Objekt Zeigt, antizipiert das Objekt nicht. Statt dessen erzeugt die Benutzerschnittstelle nur den entsprechenden Rückmeldungs-Klang und führt dann die Aktion aus, die mit dem Objekt verknüpft ist. Dies stellt dem Benutzer ein Verfahren zum schnellen Auswählen eines Objekts zur Verfügung.
Schwenken
Um sich in einem Raum zu bewegen, verwendet ein Benutzer die Schwenken- bzw. Fahren-Navigationsgeste. Ein Benutzer Schwenkt bzw. Fährt durch einen Raum, indem er einen Finger auf das Hintergrundbild eines Raumes plaziert, der auf dem Berührungsanzeigebildschirm 37 angezeigt wird, und mit dem Finger in die gewünschte Bewegungsrichtung gleitet. Die Benutzerschnittstelle der vorliegenden Erfindung reagiert, indem sie einen „Schwenken-Aktiv"-Klang erzeugt und das Hintergrundbild des Raumes und alle Objekte in dem Raum in die entgegengesetzte Richtung der Fingerbewegung bewegt. Durch Bewegung des Raums in die entgegengesetzte Richtung simuliert die Benutzerschnittstelle die Bewegung der Perspektive des Benutzers in die andere Richtung.
4 und 5 stellen die Verwendung der Schwenken-Geste dar. Wenn ein Benutzer seinen Finger auf den Hintergrund von 4 plaziert und dann mit dem Finger auf dem Berührungsbildschirm nach rechts gleitet, wird die Ansicht entsprechend nach rechts schwenken, indem das Hintergrundbild des Raums und alle Objekte in dem Raum nach links bewegt werden. 5 stellt das Ergebnis der Schwenken-nach-Rechts-Operation dar, wo das Haus 48 sich von der rechten Seite des Anzeigebildschirms zur linken Seite des Anzeigebildschirms hinüberbewegt hat.
Das Hintergrundbild für jeden Raum in der vorliegenden Erfindung kann beliebig groß sein. Wenn das Hintergrundbild eines Raums eine endliche Größe hat, stellt die Benutzerschnittstelle der vorliegenden Erfindung eine Rückmeldung bereit, daß die weiteste Ausdehnung des Hintergrundbildes erreicht worden ist. Wenn ein Benutzer in einer Richtung ganz bis zum Ende des Hintergrundbildes Schwenkt, bewegt die Schwenken-Geste den Benutzer nicht weiter in diese Richtung. Um den Benutzer über diese Tatsache zu informieren, erzeugt die Benutzerschnittstelle anstelle des „Schwenken-Aktiv"-Klangs einen „Ende-der-Ausdehnung"-Klang, wenn ein Benutzer versucht, über das Ende eines Hintergrundbildes hinaus zu Schwenken. Der „Ende-der-Ausdehnung"-Klang klingt wie ein „dumpfer Schlag", der erzeugt wird, wenn irgend etwas gegen eine wand stößt. Der „Ende-der-Ausdehnung"-Klang informiert dadurch den Benutzer, daß er das Ende des Hintergrundbildes getroffen hat und nicht weitergehen kann.
Schnelles Drehen
Ein Anwender verwendet die Schnell-Drehen-Geste zum Blättern durch mehrere Objekte, die auf einem Objektrad plaziert sind. Wenn ein Benutzer ein Schnell-Drehen eines Objektrades ausführt, bewegen sich die sichtbaren Objekte auf dem Objektrad über den Anzeigebildschirm und verschwinden an dem einen Ende vom Bildschirm, und vorher unsichtbare Objekte bewegen sich an dem anderen Ende auf den Bildschirm.
Ein Benutzer führt ein Schnell-Drehen eines Objektrades aus, indem er einen Finger auf dem Objektrad plaziert und dann den Finger über den Anzeigebildschirm in eine Richtung parallel zur Bewegung des Objektrades bewegt. 15 stellt die Schnell-Drehen-Geste dar. In 15 plaziert ein Benutzer einen Finger zuerst auf dem Objektrad (wie durch Sternchen 96 gezeigt). Der Benutzer gleitet dann mit dem Finger über das Objektrad (wie durch den Pfeil 97 gezeigt). Diese Fingergeste veranlaßt das Objektrad zu einer Schnellen Drehung in Richtung der Fingerbewegung. Je schneller der Benutzer mit dem Finger über das Objektrad auf der Anzeige gleitet, desto schneller dreht sich das Objektrad. Wenn sich das Objektrad dreht, erscheinen die Objekte auf dem Objektrad an einem Ende des Objektrades, bewegen sich über den Anzeigebildschirm und verschwinden dann am anderen Ende des Objektrades, ähnlich den Figuren, die auf dem Rad eines Spielautomaten erscheinen.
Aufnehmen
Die Aufnehmen-Geste wird verwendet, um ein in einem Raum oder auf einem Rad befindliches Objekt in der Weise aufzunehmen, da ein Benutzer das Objekt durch die von der Benutzerschnittstelle der vorliegenden Erfindung definierte „Welt" transportieren kann. Bei dem bevorzugten Ausführungsbeispiel werden verschiedene Verfahren verwendet, um ein Objekt aus einem Raum oder von einem Objektrad Aufzunehmen. Jedes Verfahren wird unten einzeln erläutert. Es ist jedoch klar, daß dieselbe Geste verwendet werden könnte, um Objekte in beiden Situationen Aufzunehmen.
Die Geste, die verwendet wird, um ein Objekt von einem Objektrad Aufzunehmen, ist in 16a dargestellt. 16a stellt ein Objektrad 91 mit einer Anzahl von Fruchtob jekten zur Auswahl dar. Um eines der auf dem Objektrad 91 angeordneten Fruchtobjekte Aufzunehmen, plaziert ein Benutzer zuerst einen Finger auf dem Objekt (wie durch das Sternchen 92 bezeichnet) und bewegt den Finger in eine Richtung senkrecht zur Bewegung des Objektrades. Die Bewegung des Fingers in eine Richtung senkrecht zur Bewegung des Objektrades wird durch den Pfeil 93 dargestellt. Die senkrechte Fingerbewegung „reißt" das Objekt in der Weise von dem Objektrad los, daß der Benutzer das Objekt bewegen kann. Wenn sich das Objekt von dem Objektrad löst, erzeugt die Benutzerschnittstelle einen „Losreißen"-Klang, der den Benutzer informiert, daß das Objekt von dem Objektrad entfernt worden ist. Wenn ein Objekt Aufgenommen worden ist, wirft das Objekt einen Schatten auf das Hintergrundbild des Raums und bewegt das Objekt in Übereinstimmung mit dem Finger des Benutzers.
Die Geste zum Aufnehmen eines Objekts aus einem Raum wird in 16b dargestellt. 16b stellt einen Raum mit einem Objekt in der Mitte dar. Um das Objekt Aufzunehmen, umkreist ein Benutzer das Objekt mit dem Finger, wie durch den Pfeil 203 dargestellt und berührt dann das Objekt, wie durch das Sternchen 201 dargestellt. Wenn sich das Objekt aus dem Raum löst, erzeugt die Benutzerschnittstelle den Losreißen-Klang, der den Benutzer informiert, daß das Objekt Aufgenommen worden ist. Nachdem ein Objekt von einem Benutzer aus einem Raum Aufgenommen worden ist, verbleibt ein fiktives Bild des Objekts an dem ursprünglichen Ort des Objekts. Das fiktive Bild des Objekts wird in ungesättigten Farben gezeichnet, was dem Benutzer anzeigt, daß das fiktive Objekt nicht Ausgewählt werden kann.
Nachdem ein Benutzer ein Objekt, entweder von einem Objektrad oder aus einem Raum, Aufgenommen hat, erzeugt die Benutzerschnittstelle einen „Transportieren-Objekt"-Klang, der den Benutzer informiert, daß das Objekt transportiert wird. Der Benutzer kann das transportierte Objekt innerhalb eines Raums bewegen, von Raum zu Raum bewegen, oder das transportierte Objekt auf einem anderen Objekt Absetzen.
Absetzen
Die letzte Geste, die zur Interaktion mit der Benutzerschnittstelle der vorliegenden Erfindung verwendet wird, ist das Absetzen. Nachdem ein Benutzer die Aufnehmen-Geste verwendet hat, um ein Objekt aus einem Raum oder von einem Objektrad Aufzunehmen, muß der Benutzer den Finger weiter gegen den Bildschirm drücken, um das Objekt zu transportieren. Der Benutzer bewegt das transportierte Objekt, indem er mit dem Finger über das Berührungsbildschirmanzeigesystem gleitet. Nach der Verlagerung des transportierten Objekts an einen gewünschten Ort, verwendet der Benutzer dann die Absetzen-Geste, um das Objekt an dem gewünschten Ort zu plazieren. Um das Objekt Abzusetzen, hebt der Benutzer den Finger von der Berührungsbildschirmanzeige ab. Wenn der Benutzer ein Objekt Absetzt, fällt das Objekt in das Hintergrundbild eines Raums, als ob es durch die Schwerkraft angezogen wird, und das Objekt wirft keinen Schatten mehr.
Ein Benutzer der vorliegenden Erfindung verwendet die Absetzen-Geste, um eine Reihe verschiedener Funktionen auszuführen. Die Absetzen-Geste kann verwendet werden, um ein Objekt zu kopieren, indem das Objekt aufgenommen und in ein Portal in der Weise Abgesetzt wird, daß eine Kopie des Objekts in dem Raum erzeugt wird, der dem Portal zugeordnet ist. Die Absetzen-Geste kann verwendet werden, um ein Objekt an einen neuen Ort zu verlagern, indem das Objekt aufgenommen und an dem gewünschten Ort Abgesetzt wird. Die Absetzen-Geste kann ebenfalls verwendet werden, um ein Datenobjekt, das Informationen enthält, einem anderen Objekt bereitzustellen, welches die Informationen verwendet, um eine Funktion auszuführen. Die verschiedenen Verwendungsmöglichkeiten der Absetzen-Geste werden unten erläutert.
Um eine Kopie von eine Objekt unter Verwendung der Absetzen-Geste anzufertigen, muß ein Benutzer zuerst das Objekt Aufnehmen und dann das Objekt auf einem Portal Absetzen. Ein Objekt, das aufgenommen worden ist, wird über das Portal transportiert, indem der Finger über den Bildschirm gleitet. Wenn das transportierte Objekt über dem Portal ist, wird das Portal in der Weise hervorgehoben, daß es eine Rückmeldung für den Benutzer bereitstellt, die signalisiert, daß sich das transportierte Objekt über dem Portal befindet. Bei dem vorliegenden Ausführungsbeispiel strahlt das Portal ein grünes Leuchten aus. Um das transportierte Objekt in das Portal Abzusetzen, hebt der Benutzer den Finger von der Berührungsbildschirmanzeige ab. Das Objekt wird dann in der Weise angezeigt, daß es das Portal mit einer entsprechenden Animation passiert. Während der Animation erzeugt die CPU 30 einen „Durch-das-Portal-Gesaugt"-Klangeffekt. Wenn das Objekt vollständig durch das Portal verschwunden ist, ändert sich das in ungesättigten Farben gezeichnete fiktive Bild des Objekts in dem gegenwärtigen Raum wieder in ein Bild mit leuchtenden Farben. Dies liefert eine visuelle Rückmeldung an den Benutzer, daß das ursprüngliche Objekt in dem vorliegenden Raum verbleibt, obwohl eine Kopie des Objekts durch das Portal in einen anderen Raum gesendet worden ist.
Benutzer können Objekte entweder innerhalb eines einzelnen Raums oder von einem Raum in einen anderen bewegen. Um ein Objekt innerhalb eines einzelnen Raums zu bewegen, verwendet der Benutzer zuerst die Aufnehmen-Geste, um ein Objekt aufzunehmen, verlagert das Objekt an den gewünschten neuen Ort und Setzt dann das Objekt unter Verwendung der Absetzen-Geste ab. Nachdem das Objekt Abgesetzt worden ist, verschmilzt das fiktive Bild des Objekts mit dem Abgesetzten Objekt an dem neuen Ort und es entsteht ein einzelnes Bild des Objekts an dem neuen Ort in leuchtenden Farben. Dies informiert den Benutzer, daß das Objekt an einen neuen Ort verlagert worden ist und daß keine Kopie angefertigt worden ist.
Die Bewegung eines Objekts in einen anderen Raum wird ausgeführt, indem das Objekt durch ein Portal in einen anderen Raum transportiert wird. Um ein Objekt in einen anderen Raum zu bewegen, muß ein Benutzer zuerst das Objekt Aufnehmen und dann das Objekt über ein Portal transportieren. Wenn sich das transportierte Objekt über dem Portal befindet, wird das Portal in der Weise hervorgehoben, daß es eine Rückmeldung an den Benutzer bereitstellt, die signalisiert, daß sich das transportierte Objekt über dem Portal befindet, und das Portal strahlt ein grünes Leuchten aus. Um das transportierte Objekt durch das Portal zu bewegen, hält der Benutzer das Objekt über dem Portal für einen vorherbestimmten Mindestzeitraum. Das Portal antizipiert schließlich, indem es den Benutzer und das transportierte Objekt in den Raum bewegt, der dem Portal zugeordnet ist. Das fiktive Bild des in ungesättigten Farben gezeichneten transportierten Objekts wird ebenfalls mit dem Benutzer und dem transportierten Objekt in den Bestimmungsraum bewegt. Wenn der Benutzer das transportierte Objekt Absetzt, indem er seinen Finger von dem Berührungsbildschirmanzeigesystem abhebt, verschmelzen das transportierte Objekt und das fiktive Bild zu einem einzelnen Bild des Objekts in leuchtenden Farben. Dies stellt eine Rückmeldung an den Benutzer bereit, daß das Objekt in den Raum verlagert und nicht kopiert worden ist.
Die Absetzen-Geste kann ebenfalls verwendet werden, um Informationen an ein Objekt bereitzustellen. Ein Benutzer stellt Informationen an ein Objekt bereit, indem er ein Objekt, das Daten enthält (d. h. ein Datenobjekt), auf dem Objekt absetzt, das die Daten verwenden wird.
Um Informationen an ein Objekt bereitzustellen, muß ein Benutzer zuerst ein Datenobjekt Aufnehmen, das die notwendigen Informationen enthält. Der Benutzer transportiert dann das Datenobjekt über das Objekt, welches die Informa tionen verwenden kann. Wenn sich das transportierte Datenobjekt über dem Objekt, das die Informationen verwenden kann, befindet, wird das Objekt, das die Informationen verwenden kann, hervorgehoben, wenn das transportierte Datenobjekt die richtige Objektklasse aufweist. Indem das Objekt, das die Informationen verwenden kann, hervorgehoben wird, stellt es eine Rückmeldung an den Benutzer bereit, daß das transportierte Datenobjekt die richtige Objektklasse aufweist. Um das Datenobjekt in das Objekt, das die Informationen verwenden kann, Abzusetzen, hebt der Benutzer seinen Finger, der zum Transport des Datenobjekts verwendet wurde, von dem Berührungsbildschirm ab. Das Datenobjekt wird dann mit entsprechenden Animations- und Klangeffekten durch und in das Portal geleitet. Wenn das Datenobjekt in dem Empfängerobjekt vollständig verschwunden ist, welches die Informationen verwenden kann, führt dann das Empfängerobjekt die entsprechende Funktion an den bereitgestellten Daten aus.
Beispielsweise kann die Absetzen-Geste verwendet werden, um Fernsehprogramminformationen an das Videokassettenrecorderobjekt bereitzustellen, welches mit einem physischen Videokassettenrecorder in der Weise verknüpft ist, daß sich der Videokassettenrecorder selbst programmiert, um das Fernsehprogramm aufzuzeichnen. Um den Videokassettenrecorder zu programmieren, verwendet ein Benutzer zuerst die Aufnehmen-Geste, um ein Datenobjekt aufzunehmen, das Fernsehprogramminformationen enthält. Der Benutzer transportiert dann ein Fernsehprogrammdatenobjekt über das Videokassettenrecorderobjekt. Das Videokassettenrecorderobjekt modifiziert dann sein Erscheinungsbild, um anzuzeigen, daß es ein „Programmier-Videokassettenrecorder"-Modus ist. Dies informiert den Benutzer, daß der Videokassettenrecorder die Informationen „versteht", die über ihm sind (d. h. der Videokassettenrecorder wird so programmiert, daß er das Fernsehprogramm aufzeichnet, wenn der Benutzer das Fernsehprogrammdatenobjekt auf dem Videokassettenrecorder Absetzt).
Wenn der Benutzer das Fernsehprogrammobjekt in den Videokassettenrecorder Absetzt, erkennt das Videokassettenrecorderobjekt, daß das Fernsehprogrammdatenobjekt Informationen enthält, die er verwenden kann. Der Videokassettenrecorder extrahiert dann die Zeit- und Kanalinformationen aus dem Fernsehprogrammdatenobjekt in der Weise, daß das Videokassettenrecorderobjekt sich selbst so programmiert, daß es das Fernsehprogramm aufzeichnet.
Ein Rundgang durch das vorliegende Ausführungsbeispiel im Betrieb
Um das Aussehen und den Eindruck der Benutzerschnittstelle der vorliegenden Empfindung am besten zu übermitteln, wird ein „Rundgang" durch eine Musterumgebung unter Bezugnahme auf die 3–10 ausgeführt. Die Musterumgebung, die während des Rundgangs erkundet wird, basiert auf der geographischen Kartenstruktur der Räume, die in den 2b und 2c grafisch dargestellt sind. Der Rundgang durch die hierin beschriebene Musterumgebung soll den Schutzumfang der vorliegenden Erfindung nicht einschränken, sondern statt dessen ein Beispiel für ein mögliches Ausführungsbeispiel der vorliegenden Erfindung geben. Aufgrund der Beschränkungen einer schriftlichen Patentbeschreibung hinsichtlich der Beschreibung der animierten Benutzersehnittstelle der vorliegenden Erfindung, wird der Leser aufgefordert, sich ein Videoband mit dem Titel „Green Project User Interface" anzuschauen, das vom Anmelder zusammen mit der. Einreichung der Anmeldung, auf welcher dieses Patent basiert, vorgelegt wurde.
Es wird auf 3 Bezug genommen; wenn der Benutzer die Benutzerschnittstelle der vorliegenden Erfindung zum ersten Mal betritt, positioniert die Benutzerschnittstelle den Benutzer zu Anfang in einem Weltraum-Raum 99. Dieser Raum wird in der geographischen Kartenstruktur der Räume dargestellt, die in 2b grafisch dargestellt sind. Obwohl der Benutzer zu Anfang in dem Weltraum-Raum 99 plaziert wird, wird die Benutzerschnittstelle den Benutzer später als erstes in dem letzten Raum setzen, in dem der Benutzer war, als er die Verwendung der Handanzeigeeinrichtung beendete. Es wird erneut auf 3 Bezug genommen; bei dem Weltraum-Raum 99 gibt die Benutzerschnittstelle ein Erd-Portal 100 mit leuchtenden Farben vor einem dunklen Weltraum-Hintergrundbild auf dem Anzeigebildschirm wieder.
Bald nach dem Betreten der Benutzerschnittstelle erscheint eine Kontur einer Hand 31 auf dem Anzeigebildschirm, um den Benutzer zu unterrichten, wie auf der Benutzerschnittstelle navigiert wird. Die Hand 31, die auf dem Anzeigebildschirm erscheint, ist die Hand des Assistenten. Die Hand 31 des Assistenten streckt einen Finger aus, um den Bildschirm zu berühren und gleitet dann mit dem Finger über den Bildschirm, wodurch der Raum und die Objekte auf der Bildschirmanzeige zum Schwenken und die Benutzerschnittstelle zum Ausgeben des „Schwenken-Aktiv"-Klangs veranlasst werden. Es wird auf 3 Bezug genommen; die Konturhand 31 des Assistenten wird bei der Bewegung über den Bildschirm gezeigt. Durch Berühren des Anzeigebildschirms und Bewegen eines Fingers über den Anzeigebildschirm zeigt die Hand 31 des Assistenten einem neuen Benutzer, wie die Schwenken-Geste verwendet wird, um sich in der Ansicht eines Raums zu bewegen.
Nachdem demonstriert worden ist, wie die Schwenken-Geste verwendet wird, um sich in einem Raum zu bewegen, demonstriert die Hand 31 des Assistenten als nächstes, wie die Zeigen- und Auswählen-Gesten verwendet werden. Der Assistent demonstriert, wie die Zeigen-Geste verwendet wird, um auf ein Objekt zu Zeigen, indem ein Finger auf dem Erd-Portal 100 plaziert wird. Nachdem der Assistent auf das Erd-Portal 100 Gezeigt hat, gibt die Benutzerschnittstelle den „Auswählbares-Objekt"-Klang aus, um eine Rückmeldung bereitzustellen, die den Benutzer informiert, daß das Erd-Portal 100 ein Auswählbares Objekt ist. Der Assistent demonstriert dann, wie die Auswählen-Geste verwendet wird, um ein Objekt Auszuwählen, indem das Zeigen auf das Erd-Portal 100 fortgesetzt wird. Nachdem die Hand 31 des Assistenten für den vorherbestimmten Mindestzeitraum auf das Erd-Portal 100 Gezeigt hat, antizipiert das Erd-Portal 100, und die CPU erzeugt den „Bewegen-durch-das-Portal"-Klang. Das Erd-Portal 100 antizipiert, indem es schnell in der Weise expandiert, daß es den Anschein hat, als ob sich das Erd-Portal 100 näher auf den Benutzer zu bewegt. Der Bildschirm verblaßt dann, und es erscheint ein neues Hintergrundbild, das den Erdoberflächen-Raum 32 anzeigt, der dem Erd-Portal 100 zugeordnet ist, wie in 4 dargestellt.
Bei dem Erdoberflächen-Raum 32 scheint das Assistenten-Portal 41 auf die Berührungsbildschirmanzeige 37 zu „springen" und bewegt sich in die untere linke Ecke des Anzeigebildschirms. Der Assistent 41 ist für den Benutzer immer erreichbar, da der Assistent in jedem Raum außer dem Assistenten-Raum erscheint. Falls gewünscht, kann der Benutzer den Assistenten aus der linken unteren Ecke an einen anderen Ort auf dem Anzeigebildschirm verlagern. Diese Verlagerung des Assistenten verändert den Ort des Assistenten in jedem Raum.
Es wird auf 4 Bezug genommen; in der unteren rechten Ecke der Anzeige befindet sich das Rückweg-Portal 45. Das Rückweg-Portal 45 zeigt eine Einzelbild-Momentaufnahme des Weltraum-Raums 99 aus 3, aus welchem der Benutzer gerade kam. Wenn der Benutzer das Rückweg-Portal 45 Auswählt, bewegt die Benutzerschnittstelle der vorliegenden Erfindung den Benutzer auf dem durchlaufenen Pfad zurück in den Raum, der in dem Rückweg-Portal 45 dargestellt ist. Wenn beispielsweise der Benutzer den Wunsch hat, in den Weltraum-Raum 99 zurückzukehren, der in dem Rückweg-Portal 45 ange zeigt wird, Wählt der Benutzer einfach das Rückweg-Portal 45 aus.
Der Erdoberflächen-Raum 32, der in 4 bildlich dargestellt ist, besteht aus einer Anzahl von Häusern und Gebäuden für die Allgemeinheit, wie beispielsweise Geschäften, Banken, Schulen etc. Jedes Gebäude in dem Erdoberflächen-Raum 32 repräsentiert ein Portal, das von dem Benutzer Ausgewählt werden kann, um den Benutzer zu einem Raum zu bewegen, der dem Portal zugeordnet ist. Beispielweise sind in dem Erdoberflächen-Raum, der in 4 bildlich dargestellt ist, das erste Haus 47 und das zweite Haus 48 Portale, die von dem Benutzer Ausgewählt werden können. Wenn der Benutzer entweder das erste Haus 47 oder das zweite Haus 48 Auswählt, wird der Benutzer in einen zugeordneten Haus-Raum bewegt.
Während sich der Benutzer in dem Erdoberflächen-Raum, der in 4 bildlich dargestellt ist, befindet, kann er sich in dem Raum bewegen, indem er die Schwenken-Geste auf dem Berührungsbildschirm verwendet, wie es von der Hand 31 des Assistenten in 3 demonstriert wurde. Um zu Schwenken, plaziert der Benutzer einfach einen Finger auf dem Bildschirm und bewegt den Finger in die Richtung, in die er sich bewegen möchte. Die Benutzerschnittstelle reagiert auf die Fingerbewegung des Benutzers, indem sie den „Schwenken-Aktiv"-Klang erzeugt und das Hintergrundbild und die Objekte auf dem Bildschirm in die entgegengesetzte Richtung der Fingerbewegung bewegt, wodurch andere Objekte zur Ansicht gebracht werden.
Wenn beispielsweise ein Benutzer, der den Erdoberflächen-Raum 32 im Blick hat, wie in 4 bildlich dargestellt, den Wunsch hat, sich nach rechts zu bewegen, plaziert der Benutzer einfach einen Finger auf dem Hintergrundgebiet des Erdoberflächen-Raums 32 und gleitet mit dem Finger nach rechts. Die Benutzerschnittstelle reagiert in umgekehrter Weise auf die Fingerbewegung des Benutzers, indem sie das Hintergrundbild des Raums und die Objekte in dem Raum nach links bewegt. 5 stellt die Ansicht des Erdoberflächen-Raums 32 bildlich dar, nachdem der Benutzer einen Finger auf das Hintergrundgebiet von 4 plaziert hat und mit dem Finger nach rechts geglitten ist. Ein Erstes-Haus-Portal 47, das in 4 angezeigt wird, hat sich aus dem Blickfeld herausbewegt und ist in 5 nicht sichtbar. Ein Zweites-Haus-Portal 48, das auf der rechten Seite der Ansicht in 4 angezeigt wird, hat sich auf die linke Seite der Ansicht in 5 bewegt und ist nun nur teilweise sichtbar. Ein Bank-Portal 49, das in 4 nicht sichtbar war, hat sich von rechts in die Ansicht bewegt, wie in 5 dargestellt. Das Assistenten-Portal 41 und das Rückweg-Portal 45 bleiben in der Ansicht in derselben unteren linken beziehungsweise rechten Position.
Wenn der Benutzer irgendein Portal aus dem Erdoberflächen-Raum 32 Auswählt, wie in 4 und 5 bildlich dargestellt, antizipiert das Ausgewählte Portal, um eine Rückmeldung an den Benutzer bereitzustellen, und die Benutzerschnittstelle bewegt den Benutzer in einen Raum, der dem Ausgewählten Portal zugeordnet ist. Wenn beispielsweise ein Benutzer an dem Erdoberflächen-Raum 32, der in 4 bildlich dargestellt ist, das Erste-Haus-Portal 47 Auswählt, antizipiert das Haus-Portal 47, und dann bewegt die Benutzerschnittstelle den Benutzer in einen Haus-Raum, der dem Haus-Portal 47 zugeordnet ist. 6 stellt einen Haus-Raum 50 dar, der dem Haus-Portal 47 aus 4 zugeordnet ist.
Der in 6 angezeigte Haus-Raum 50 besteht aus einem Haus mit entfernten Außenwänden, so daß die einzelnen Räume im Inneren des Hauses sichtbar sind. Alle Räume im Inneren des Hauses, wie beispielsweise das in 6 bildlich dargestellte Wohnzimmer 54, Schlafzimmer 53, Badezimmer 55, Mansarde 52 und Küche 56, sind Portale, die von dem Benutzer Ausgewählt werden können. Wie in 6 dargestellt, enthält das Rückweg-Portal 45 eine Miniaturmomentaufnahme des Erdoberflächen-Raums 32, wie er erschien, als der Benutzer den vorhergehenden Raum verließ. Somit enthält das in 6 bildlich dargestellte Rückweg-Portal 45 nicht nur eine Miniaturansicht des Erdoberflächen-Raums 32, sondern auch eine Ansicht des Teils des Erdoberflächen-Raums 32, der in der Ansicht war, als der Benutzer das Haus-Portal 47 aus 4 Auswählte. Um sich in den Erdoberflächen-Raum aus 4 zurückzubewegen, Wählt der Benutzer das Rückweg-Portal 45 aus, das ein Momentaufnahmebild des Erdoberflächen-Raums enthält.
Es wird auf 6 Bezug genommen; wenn der Benutzer das Wohnzimmer-Portal 54 Auswählt, antizipiert das Wohnzimmer-Portal 54, der „Bewegen-durch-das-Portal"-Klang wird erzeugt, und die Benutzerschnittstelle bewegt den Benutzer in einen Wohnzimmer-Raum, der dem Wohnzimmer-Portal 54 zugeordnet ist. Es wird auf 7 Bezug genommen; es wird ein Ausführungsbeispiel eines Wohnzimmer-Raums 60 bildlich dargestellt. In dem Wohnzimmer-Raum 60 aus 7 befinden sich ein Fernsehgerät 73, ein Videokassettenrecorder 75 und ein Fernsehprogramm-Listenverzeichnis 71. Das Fernsehgerät 73, der Videokassettenrecorder 75 und das Fernsehprogramm-Listenverzeichnis 71 sind jeweils Portale, die von dem Benutzer ausgewählt werden können. Das Fernsehgerät-Portal 73 und das Videokassettenrecorder-Portal 75 sind einem realen Fernsehgerät beziehungsweise Videokassettenrecorder zugeordnet.
Wenn ein Benutzer das Fernsehgerät-Portal 73 Auswählt, das in dem Wohnzimmer-Raum 60 von 7 angezeigt wird, antizipiert das Fernsehgerät-Portal 73, und die Benutzerschnittstelle zeigt eine grafische Benutzerschnittstelle an, die dem realen Fernsehgerät zugeordnet ist. 8 stellt den Fernsehsteuerungs-Raum 64 bildlich dar, welcher die grafische Benutzerschnittstelle des Fernsehgeräts in dem vorliegenden Ausführungsbeispiel aufweist. Die im Fernseh-Raum 64 verfügbaren Objekte umfassen eine grüne „Ein"-Schaltflä che 61, eine rote „Aus"-Schaltfläche 62 und verschiedene Fernsehkanal-Schaltflächen 66–69. Die Fernsehkanal-Schaltflächen 66–69 befinden sich auf einem horizontal ausgerichteten Objektrad 63 in der Weise, daß ein Benutzer das Objektrad 63 schnell nach links oder rechts Drehen kann, um zusätzliche Fernsehkanal-Schaltflächen sichtbar zu machen, die auf dem Anzeigebildschirm aktuell nicht angezeigt werden.
Das Ein-Schaltflächenobjekt 61, das Aus-Schaltflächenobjekt 62 und die Fernsehkanal-Schaltflächenobjekte 66–69, die in dem Fernseh-Raum 64 verfügbar sind, sind keine Portale, die den Zugang zu anderen Räumen in der Raum-Karte aus 1b ermöglichen. Statt dessen sind die Ein-Schaltfläche 61, die Aus-Schaltfläche 62 und die Fernsehkanal-Schaltflächen 66–69 Schaltflächen, denen Funktionen zugeordnet sind. Beispielsweise sind die grüne „Ein"-Schaltfläche 61 und die rote „Aus"-Schaltfläche 62 den Funktionen „Schalte das Fernsehgerät ein" beziehungsweise „Schalte das Fernsehgerät aus" zugeordnet. Wenn ein Benutzer entweder die Ein- oder Aus-Schaltfläche Auswählt, antizipiert die Schaltfläche, um eine Rückmeldung für den Benutzer bereitzustellen, daß die Schaltfläche Ausgewählt wurde. Die Handanzeigeeinrichtung sendet dann die entsprechenden Befehle, die das Fernsehgerät ein- oder ausschalten. In ähnlicher Weise antizipiert die Fernsehkanal-Schaltfläche, wenn der Benutzer irgendeine der Fernsehkanal-Schaltflächen 66–69 Auswählt, und die Handanzeigeeinrichtung sendet dann die entsprechenden Befehle an das reale Fernsehgerät, womit das Fernsehgerät auf den Ausgewählten Kanal eingestellt wird. Der Prozeß des Sendens von Befehlen an das physische Fernsehgerät wird im folgenden Abschnitt im Detail erläutert.
Es wird wieder auf 7 Bezug genommen; wenn ein Benutzer das Fernsehprogramm-Listenverzeichnis-Portal 71 Auswählt, antizipiert das Fernsehprogramm-Listenverzeichnis-Portal 71, und die Benutzerschnittstelle bewegt den Benutzer in den Fernsehprogramm-Listenverzeichnis-Raum. 9 stellt den Fernsehprogramm-Listenverzeichnis-Raum der vorliegenden Erfindung bildlich dar. In dem Fernsehprogramm-Listenverzeichnis-Raum von 9 wird dem Benutzer ein zweidimensionaler Bereich von Fernsehprogramm-Listen präsentiert. In dem Bereich sind die Fernsehprogramm-Listen vertikal nach Fernsehkanal und horizontal nach der Zeit geordnet. Jede Fernsehprogramm-Liste ist ein Portal, das von dem Benutzer Ausgewählt werden kann. Jede Fernsehprogramm-Liste kann auch vom Benutzer transportiert werden und auf einem Videokassettenrecorder-Portal in der Weise Abgesetzt werden, daß die Handanzeigeeinrichtung den Videokassettenrecorder so programmiert, daß das Fernsehprogramm aufgezeichnet wird.
Der Fernsehprogramm-Listenverzeichnis-Raum von 9 ist tatsächlich als ein Paar verbundener, vertikal orientierter Objekträder organisiert. Es wird auf 11 Bezug genommen; es wird eine konzeptionelle Darstellung des Fernsehprogramm-Listenverzeichnis-Raums dargestellt. Die Fernsehkanäle aus 9 sind auf einem ersten Objektrad 72 plaziert, wie in 11 dargestellt. Die Fernsehprogrammlisten sind auf einem zweiten Objektrad 85 plaziert. Die zwei Objekträder 72 und 85 sind in der Weise verbunden, daß, wenn der Benutzer ein Objektrad schnell Dreht, sich das andere Objektrad mit derselben Geschwindigkeit dreht, so daß die Fernsehkanäle und die Fernsehprogramm-Listen immer ausgerichtet sind.
Jede Fernsehprogrammliste auf dem Fernsehprogramm-Verzeichnisobjektrad 85 ist ein Portal. Wenn ein Benutzer eines der Fernsehprogrammlisten-Portale Auswählt, antizipiert das Fernsehprogrammlisten-Portal, und die Benutzerschnittstelle bewegt den Benutzer in einen Fernsehprogramminformations-Raum. 10 stellt einen typischen Fernsehprogramminformations-Raum dar. Der Fernsehprogramminformations-Raum enthält eine Uhr 81, ein Datum 82 und einen Fernsehkanal 83, welche den Benutzer informieren, wann das Fernsehprogramm läuft und auf welchem Kanal es läuft. Der Fernsehprogramminformations-Raum enthält ebenfalls eine Beschreibung des Fernsehprogramms, wie in 10 dargestellt.
Der Assistent
Der Assistent ist ein anthropomorphisches Zeichen, das dazu bestimmt ist, einem Benutzer der vorliegenden Erfindung auf eine mehrere zu helfen. Der Assistent unterstützt Benutzer, indem er Hilfe bereitstellt, indem er Zustandsinformationen bereitstellt, indem er den Benutzer bezüglich bestimmter Ereignisse alarmiert, und indem er als Depot wirkt. Jede Funktion, die der Assistent ausführt, wird einzeln erläutert.
Hilfe
Wie vorher in dem Rundgang des vorliegenden Ausführungsbeispiels unter Bezugnahme auf 3 beschrieben wurde, demonstriert der Assistent, wenn ein Benutzer zum ersten Mal die Benutzerschnittstelle der vorliegenden Erfindung betritt, wie die Zeigen-Geste und Auswählen-Geste verwendet werden. Ferner demonstriert der Assistent, wie die Schwenken-Geste verwendet wird, um sich in einem Raum zu bewegen. Der Assistent kann ebenfalls demonstrieren, wie andere Eigenschaften der Benutzerschnittstelle verwendet werden, je nach Notwendigkeit.
Um Benutzer weiter zu unterstützen, transportiert der Assistent ein Hilfe-Handbuch in seiner Aktentaschen, das dem Benutzer jederzeit zur Verfügung steht. Um auf das Hilfe-Handbuch zuzugreifen, Wählt der Benutzer einfach das Assistenten-Portal aus. Der Assistent antizipiert, indem er eine Animation des Assistenten bereitstellt, in der er seine Aktentasche öffnet. Der Benutzer Wählt dann das Hilfe-Handbuch aus der Aktentasche des Assistenten aus.
Zustand- und Modusinformationen
Der Assistent wird ebenfalls verwendet, um den aktuellen Zustand oder Modus der Benutzerschnittstelle auszudrücken. Um den aktuellen Zustand oder Modus auszudrücken, verändert der Assistent seine Kleidung, verändert seinen Ausdruck, oder verändert die Requisiten, die er trägt.
Wenn beispielweise die Benutzerschnittstelle der vorliegenden Erfindung in einen Diagnostik-Modus versetzt wird, wird die Kleidung verändert, die der Assistent trägt, um diese Tatsache zu mitzuteilen. Es wird auf 17a Bezug genommen; der Assistent wird in Arztkleidung dargestellt, um zu symbolisieren, daß sich die Benutzerschnittstelle in einem Diagnostik-Modus befindet.
17b stellt ein anderes Beispiel dafür bereit, wie das Erscheinungsbild des Assistenten Zustandsinformationen mitteilen kann. Wenn sich die Benutzerschnittstelle in einem Schreib-Zustand befindet, wird dem Assistenten ein Bleistift gegeben, um zu symbolisieren, daß sich die Benutzerschnittstelle in einem Schreib-Zustand befindet.
Alarme
Während ein Benutzer die Handanzeigeeinrichtung der vorliegenden Erfindung verwendet, können bestimmte Ereignisse eintreten, die es erforderlich machen, daß der Benutzer unverzüglich informiert wird. Derartige Ereignisse werden üblicherweise als Alarme bezeichnet. Wenn beispielsweise die Handanzeigeeinrichtung mit einem elektronischen Nachrichtendienst gekoppelt ist, sollte die Handanzeigeeinrichtung den Benutzer alarmieren, wenn eine Nachricht eingegangen ist, die an den Benutzer adressiert ist.
In der Benutzerschnittstelle der vorliegenden Erfindung wird der Assistent verwendet, um die Aufmerksamkeit des Benutzers zu erhalten, um den Benutzer über Alarme zu informieren. Um die Aufmerksamkeit des Benutzers zu erhalten, winkt der Assistent mit der Hand. Zusätzlich kann der Assi stent mit beiden Armen winken oder Klänge erzeugen, wenn der Alarm sehr wichtig ist, um weiterhin die Aufmerksamkeit des Benutzers auf sich zu ziehen.
Wenn beispielsweise ein Ereignis eintritt, das die Aufmerksamkeit des Benutzers erfordert, beginnt der Assistent zu winken, wie in 17c dargestellt. Um zu erklären, was den Alarm verursacht hat, kann ferner das Erscheinungsbild des Assistenten verändert werden, wie im vorhergehenden Abschnitt demonstriert, um Informationen über den spezifischen Alarm mitzuteilen. Wenn beispielsweise eine dringende Nachricht eingeht, kann der Assistent mit einer Hand winken, während er in der anderen Hand ein Telegramm hält.
Da Alarme im Allgemeinen wichtiger sind als Zustands- oder Modusinformationen erhalten Alarme den Vorrang gegenüber Zustands- oder Modusinformationen. Wenn das Bild des Assistenten aktuell verwendet wird, um Zustands- oder Modusinformationen mitzuteilen, verändert sich daher beim Eintreten eines wichtigen Ereignisse das Bild des Assistenten, um die Aufmerksamkeit des Benutzers auf sich zulenken und den Benutzer über den Alarm zu informieren. Wenn der Assistent beispielsweise im Schreib-Modus einen Bleistift hält, wie in 17b dargestellt, wird der Assistent beim Eingang einer dringenden Nachricht sofort in die Wink-Animation wechseln, wie in 17c dargestellt, um den Benutzer über die Nachricht zu informieren.
Steuerung entfernter Einrichtungen
Die Handanzeigeeinrichtung der vorliegenden Erfindung ist für die Steuerung entfernter Einrichtungen konzipiert. Dementsprechend ist die Benutzerschnittstelle, die in dem vorhergehenden Abschnitt für die Handanzeigeeinrichtung definiert wurde, so konzipiert, daß sie eine ideale grafische Benutzerschnittstelle für die Steuerung entfernter Geräte ist. Um beispielsweise eine Einrichtung im Wohnzimmer des Benutzers zu steuern, bewegt sich ein Benutzer zuerst in den Wohnzimmer-Raum 60 der Benutzerschnittstelle, wie in 7 dargestellt. Dann Wählt der Benutzer ein Objekt aus, das einer Einrichtung entspricht, die der Benutzer steuern möchte. Wenn der Benutzer beispielsweise den Wunsch hat, ein Fernsehgerät zu steuern, Wählt der Benutzer das Fernseh-Portal 73 aus, das einem realen Fernsehgerät zugeordnet ist. Wenn der Benutzer das Fernseh-Portal 73 Auswählt, antizipiert das Fernseh-Portal 73 und zeigt dann eine grafische Benutzerschnittstelle für die Steuerung des physischen Fernsehgeräts im Wohnzimmer des Benutzers an. 8 stellt ein mögliches Ausführungsbeispiel für einen Satz von Fernsehsteuerungen für das Steuern eines Fernsehgeräts dar. Der Benutzer steuert dann das Fernsehgerät, indem er den Satz von Fernsehsteuerungen verwendet, der auf der Handanzeigeeinrichtung angezeigt wird.
Damit eine entfernte Einrichtung von der Handanzeigeeinrichtung gesteuert werden, muß die Handanzeigeeinrichtung bestimmte Informationen über die entfernte Einrichtung haben. Insbesondere muß die Handanzeigeeinrichtung mit einem Objekt-orientierten Programmierungstyp des Objekts versehen sein, dem die entfernte Einrichtung zugeordnet ist. Das Objekt weist eine Mehrzahl von Verfahren auf, einschließlich eines Verfahrens zum Anzeigen des Objekts auf dem Anzeigebildschirm der Handanzeigeeinrichtung und eines Verfahrens zum Anzeigen der grafischen Benutzerschnittstelle für die entfernte Einrichtung.
Um den Betrieb der vorliegenden Erfindung zu vereinfachen, sendet jede kompatible entfernte Einrichtung automatisch den benötigten Objekt-orientierten Programmierungstyp des Objekts an die Handanzeigeeinrichtung. Wenn eine entfernte Einrichtung das Objekt an die Handanzeigeeinrichtung sendet, ruft die Handanzeigeeinrichtung das Verfahren zum Anzeigen des Objekts auf dem Anzeigebildschirm auf. Der Benutzer kann dann das Objekt in einen entsprechenden Raum be wegen. Wenn der Benutzer das Objekt Auswählt, antizipiert das Ausgewählte Objekt, und dann wird das Verfahren zum Anzeigen der grafischen Benutzerschnittstelle aufgerufen. Das Verfahren zeigt die grafische Benutzerschnittstelle der entfernten Einrichtung auf der Berührungsbildschirmanzeige der Handanzeigeeinrichtung an. Der Benutzer kann dann die entfernte Einrichtung durch Interagieren mit der grafischen Benutzerschnittstelle der entfernten Einrichtung auf der Berührungsbildschirmanzeige steuern.
Die Handanzeigeeinrichtung der vorliegenden Erfindung erhält automatisch eine grafische Benutzerschnittstelle von zwei Typen kompatibler entfernter Einrichtungen. Der erste Typ einer kompatiblen entfernten Einrichtung ist die intelligente entfernte Einrichtung mit einem speziellen Computersteuerungssystem. Der zweite Typ einer kompatiblen entfernten Einrichtung ist eine einfache entfernte Einrichtung, die nur auf einfache codierte Befehle reagieren kann.
Die Handanzeigeeinrichtung interagiert unterschiedlich mit den zwei Typen von kompatiblen entfernten Einrichtungen. Die Handanzeigeeinrichtung kommuniziert mit intelligenten entfernten Einrichtungen unter Verwendung der Peer-to-Peer-Kommunikation mit entferntem Methoden- bzw. Verfahrensaufruf für die Steuerung der entfernten Einrichtung. Die Handanzeigeeinrichtung kommuniziert mit einfachen entfernten Einrichtungen durch Verwenden nur einfacher Steuercodes. Aus der Perspektive des Benutzers können die Unterschiede zwischen intelligenten entfernten Einrichtungen und einfachen entfernten Einrichtungen nicht gesehen werden, und die Interaktion des Benutzers mit der grafischen Benutzerschnittstelle ist für beide Typen von entfernten Einrichtungen identisch. Das Implementierungsdetail, ob die Aktion eines Benutzers einen entfernten Verfahrensaufruf oder die Übertragung von Steuercodes über einen Kommunikationsmechanismus veranlagt, bleibt dem Benutzer verborgen.
Dieser Abschnitt wird erläutern, wie die zwei Typen von entfernten Einrichtungen Informationen an die Handanzeigeeinrichtung senden. Ferner wird ein dritter Typ einer entfernten Einrichtung erläutert. Der dritte Typ der Einrichtung besteht aus irgendeiner elektrischen Einrichtung, die von codierten Infrarotsignalen gesteuert werden kann.
In diesem Abschnitt wird auf objekt-orientierte Programmierungstypobjekte Bezug genommen. Jeder objekt-orientierte Programmierungstyp des Objekts enthält Daten und Verfahren, die aufgerufen werden können, um Funktionen auszuführen. Um die verwendete Terminologie zu vereinfachen, wird der Begriff „Programmobjekt" verwendet, wenn auf einen objektorientierten Programmierungstyp des Objekts Bezug genommen wird. Um Verwirrung zu beseitigen, werden die Objekte, die auf der Berührungsbildschirmanzeige in der Benutzerschnittstelle, die in der vorherigen Benutzerschnittstelle offenbart wurde, in diesem Abschnitt als „Anzeigeobjekte" bezeichnet.
Peer-to-Peer-Kommunikation mit entferntem Verfahrensaufruf
In der vorliegenden Erfindung wird eine entfernte Einrichtung als eine „intelligente entfernte Einrichtung" bezeichnet, wenn diese entfernte Einrichtung einen Mikroprozessor, ein Kommunikationssystem und einen ausreichenden Speicherumfang enthält, so daß sie Verfahren in einem Programmobjekt aufrufen kann. 1c stellt in einer Blockdarstellung die Komponenten in einer intelligenten entfernten Einrichtung dar. Die Handanzeigeeinrichtung der vorliegenden Erfindung kommuniziert mit intelligenten entfernten Einrichtungen in einer Peer-to-Peer-Weise.
Die intelligente entfernte Einrichtung hat eine zugeordnete grafische Benutzerschnittstelle, die Berührungsbildschirm-Steuerelemente, wie beispielsweise Wähleinrichtungen, Schalter, Schieber etc., aufweist. Die grafische Be nutzerschnittstelle der intelligenten entfernten Einrichtung ist in einem Benutzerschnittstellen-Programmobjekt 303 definiert, das im Speicher 404 der intelligenten entfernten Einrichtung gespeichert ist. Wenn eine intelligente entfernte Einrichtung zum ersten Mal eingeschaltet wird, sendet die intelligente entfernte Einrichtung automatisch ihr Benutzerschnittstellen-Programmobjekt 303 an die Handanzeigeeinrichtung. Die Handanzeigeeinrichtung kann dann die Benutzerschnittstelle für die intelligente entfernte Einrichtung, wie sie durch das Benutzerschnittstellen-Programmobjekt definiert ist, anzeigen.
Wenn ein Benutzer mit der grafischen Benutzerschnittstelle der intelligenten entfernten Einrichtung interagiert, die auf der Handanzeigeeinrichtung angezeigt wird, ruft die Handanzeigeeinrichtung Verfahren in einem Einrichtungstreiber-Programmobjekt 301 in der intelligenten entfernten Einrichtung auf, um die entfernte Einrichtung zu steuern. Somit ist die Software, die tatsächlich eine intelligente entfernte Einrichtung „steuert", in der intelligenten entfernten Einrichtung selbst angeordnet.
Das Verfahren, das Benutzerschnittstellen-Programmobjekt 303 von einer intelligenten entfernten Einrichtung an die Handanzeigeeinrichtung zu senden, wird unter Bezugnahme auf die 18a–18d, 19a–19d und das Flußdiagramm in 20 offenbart. 18a–18d stellen auf hoher Ebene dar, wie die intelligente entfernte Einrichtung 150 und die Handanzeigeeinrichtung 170 der vorliegenden Erfindung miteinander kommunizieren. 19a–19d stellen in konzeptioneller Form dar, wie das Benutzerschnittstellen-Programmobjekt 303 in der intelligenten entfernten Einrichtung 150 an die Handanzeigeeinrichtung 170 gesendet wird.
Es wird auf Schritt 101 von 20 Bezug genommen; wenn eine neue intelligente entfernte Einrichtung 150, wie beispielsweise die intelligente Thermostat-Steuereinrichtung in 18a, zum ersten Mal eingeschaltet wird, sendet die neue intelligente entfernte Einrichtung 150 über das Kommunikationsnetzwerk 160, daß sie ein Benutzerschnittstellen-Programmobjekt zu exportieren hat. Wie im Abschnitt über die Hardware dargelegt, kann die Kommunikation auf dem Kommunikationsnetzwerk 160 unter Verwendung von Funkwellen, leistungsarmen, mobilen, infraroten Signalen oder elektrischen Signalen auf den vorhandenen Stromleitungen im Fall eines Echelon®baseLON®-Systems stattfinden. In Schritt 102 empfängt eine Handanzeigeeinrichtung 170 die Schnittstellen-Export-Nachricht. Die Handanzeigeeinrichtung 170 signalisiert über das Kommunikationsnetzwerk 160 an die neue intelligente entfernte Einrichtung 150 zurück und fordert die neue intelligente entfernte Einrichtung 150 auf, mit dem Senden des Benutzerschnittstellenobjekts 303 zu beginnen.
Die intelligente entfernte Einrichtung 150 sendet dann das Benutzerschnittstellenobjekt 303 an die Anzeigeeinrichtung 170, wie in Schritt 103 von 20 spezifiziert und in 18a dargestellt wird. Es wird auf 19a Bezug genommen; die intelligente entfernte Einrichtung 150 sendet auch einen Zeiger (wie durch gepunktete Linien angezeigt) an ein Einrichtungstreiber-Programmobjekt 301 in der intelligenten entfernten Einrichtung 150. Das Benutzerschnittstellen-Programmobjekt 303 definiert, wie die Benutzerschnittstelle für die intelligente entfernte Einrichtung 150 auf einem Anzeigebildschirm erscheinen sollte. Das Benutzerschnittstellen-Programmobjekt 303 ruft Verfahren in einem Einrichtungstreiber-Programmobjekt 301 auf, um die Benutzerschnittstellen-Interaktionen zu behandeln. Das Einrichtungstreiber-Programmobjekt 301 enthält Verfahren, die die aktuelle intelligente entfernte Einrichtung 150 steuern. Es wird auf 19b Bezug genommen; die Anzeigeeinrichtung 170 hat nun eine Kopie des Benutzerschnittstellen-Programmobjekts der intelligenten Einrichtung 313 und einen Einrichtungstreiber-Programmobjektzeiger 311.
Nach dem Empfang des Benutzerschnittstellen-Programmobjekts 313 ruft die Handanzeigeeinrichtung 170 ein Verfahren in dem Benutzerschnittstellen-Programmobjekt 313 auf, das ein Anzeigeobjekt in dem aktuellen Raum wiedergibt, wie in Schritt 104 dargelegt. Die neue intelligente Einrichtung 150 registriert sich auch bei einem entfernten Namen-Server, der mit dem Kommunikationsnetzwerk 160 verbunden ist.
Wenn ein Benutzer das Anzeigeobjekt Auswählt, das der neuen intelligenten entfernten Einrichtung 150 zugeordnet ist, ruft die Handanzeigeeinrichtung 170 ein Verfahren in dem Benutzerschnittstellen-Programmobjekt 313 auf, wie in Schritt 105 dargelegt (das Objekt mit einem aufgerufenen Verfahren ist im Fettdruck dargestellt). Das Verfahren, das in dem Benutzerschnittstellen-Programmobjekt 313 aufgerufen wird, zeigt die grafische Benutzerschnittstelle der entfernten intelligenten Einrichtung auf dem Anzeigeschirm 171 der Anzeigeeinrichtung 170 an, wie in Figur 18b dargestellt. Ein Benutzer kann mit der grafischen Benutzerschnittstelle der entfernten intelligenten Einrichtung, die auf der Anzeigeeinrichtung 170 angezeigt wird, interagieren, wie in Schritt 106 dargelegt.
Der Benutzer steuert die intelligente entfernte Einrichtung 150, indem er mit der grafischen Benutzerschnittstelle, die auf der Handanzeigeeinrichtung 170 angezeigt wird, interagiert. Um die Interaktionen des Benutzers aufzulösen, benötigt das Benutzerschnittstellen-Programmobjekt 313 Steuerungsverfahren in dem Einrichtungstreiber-Programmobjekt 301 der intelligenten entfernten Einrichtung. Um auf die Steuerungsverfahren des Einrichtungstreiber-Programmobjekts 301 der intelligenten entfernten Einrichtung zuzugreifen, verwendet die Handanzeigeeinrichtung 170 den Einrichtungstreiber-Programmobjektzeiger 311. Der Einrichtungstreiber-Programmobjektzeiger 311 ruft die Verfahren in dem realen Einrichtungstreiber-Programmobjekt 301 auf. Das Einrichtungstreiber-Programmobjekt 301 der intelligenten entfernten Einrichtung wird aufgerufen, indem eine Nachricht über das Kommunikationsnetzwerk 160 gesendet wird, wie in 18c und 19c dargestellt (wieder ist das Objekt mit einem aufgerufenen Verfahren im Fettdruck dargestellt). Die aufgerufenen Verfahren in dem Einrichtungstreiber-Programmobjekt 301 der intelligenten entfernten Einrichtung steuern die intelligente Einrichtung 150, wie in Schritt 108 dargelegt.
Schließlich werden in Schritt 109 alle Rückgabewerte oder Rückmeldungen, die von dem Einrichtungstreiber-Programmobjekt 301 in der intelligenten entfernten Einrichtung 150 erzeugt werden, an die Handanzeigeeinrichtung 170 über das Kommunikationsnetzwerk 160 zurückgesendet, wie in 18d und 19d dargestellt. Das Benutzerschnittstellen-Programmobjekt 313 verändert die grafische Benutzerschnittstelle auf dem Anzeigebildschirm 171 als Reaktion auf die Rückgabewerte oder Rückmeldungen, die von Einrichtungstreiber-Programmobjekt 301 in der intelligenten entfernten Einrichtung 150 empfangen wurden.
Ein stabiles Kommunikationsprotokoll über das Kommunikationsnetzwerk 160 ist erforderlich, um entfernte Verfahrensaufrufe zwischen der Handanzeigeeinrichtung 170 und der intelligenten entfernten Einrichtung 150 zu übermitteln. Sowohl die Handanzeigeeinrichtung 170, die den Verfahrensaufruf anfordert, als auch die intelligente entfernte Einrichtung 150, die das Verfahren ausführt, müssen in der Lage sein, einen unterbrochenen Kommunikationspfad zu behandeln. Daher verfügt sowohl die Handanzeigeeinrichtung 170 als auch die intelligente entfernte Einrichtung 150 über einen speziellen Aufruf-einer-entfernten-Prozedur(RPC)-Manager, der den Aufruf entfernter Verfahren behandelt. Es wird auf 19a–19d Bezug genommen; der Aufruf-Manager 309 für eine entfernte Prozedur sendet die Anforderung für den Aufruf eines entfernten Verfahrens für die Handanzeigeeinrichtung 170. Auf der anderen Seite verarbeitet ein Server- Aufruf-Manager 307 für eine entfernte Prozedur den empfangenen Aufruf für das entfernte Verfahren in einer intelligenten entfernten Einrichtung 150.
21a und 21b stellen Zustandsdiagramme dar, die zur Steuerung der Aufruf-einer-entfernten-Prozedur(RPC)-Manager verwendet werden, die den Aufruf entfernter Verfahren sowohl auf der Seite der Handanzeigeeinrichtung 170 als auch auf der Seite der entfernten Einrichtung behandeln. Zusammen genommen offenbaren die Zustandsdiagramme in den 21a und 21b einen Handshake, der zwischen der Handanzeigeeinrichtung 170 und der intelligenten entfernten Einrichtung 150 verwendet wird, um eine zuverlässige Kommunikationen zu sichern.
21a stellt einen Automaten für den Aufruf-einer-entfernten-Prozedur-Manager 309 in der Handanzeigeeinrichtung 170 dar, der die Seite der Anzeigeeinrichtung eines Aufrufs für ein entferntes Verfahren behandelt. Bei der vorliegenden Erfindung verlangt das Benutzerschnittstellen-Programmobjekt 313 in der Handanzeigeeinrichtung 170 Aufrufe für entfernte Verfahren für die Einrichtungstreiber-Programmobjekte 301, die in den intelligenten entfernten Einrichtung angeordnet sind. Es wird auf 21a Bezug genommen; wenn ein Benutzerschnittstellenobjekt den Aufruf eines entfernten Verfahrens verlangt, tritt der RPC-Manager der Handanzeigeeinrichtung in den „Bereit-zum-Senden"-Zustand 403 ein. Der RPC-Manager der Anzeigeeinrichtung setzt dann einen Fehler-Zeitkontroll-Zeitgeber und sendet ein Paket, das eine Nachricht mit einem Verfahrensselektor und zugehörigen Daten enthält. Nach dem Senden des Pakets tritt der RPC-Manager der Anzeigeeinrichtung in einen „Warten-auf-Rückantwort"-Zustand 405 ein. Wenn die richtige Rückantwortnachricht zurückgesendet wird, ist der Verfahrensaufruf abgeschlossen und die Rückantwortnachricht wird bei Zustand 407 analysiert.
Aufrufe für entfernte Verfahren sind nicht immer so problemlos abzuschließen. Wenn das Einrichtungstreiber-Programmobjekt 301 in der intelligenten entfernten Einrichtung 150 mehr Zeit benötigt, um das Verfahren abzuschließen, sendet es eine Nachricht zurück, um mehr Zeit anzufordern. Der RPC-Manager der Anzeigeeinrichtung antwortet, indem er sich in den Zustand 409 bewegt, wo er den Zeitüberschreitungswert erhöht. Wenn der RPC-Manager der Anzeigeeinrichtung bis zu dem Zeitpunkt, wenn der Fehler-Zeitkontroll-Zeitgeber abläuft, keine Rückantwort erhält, bewegt sich der RPC-Manager der Anzeigeeinrichtung in einen „Fehlerbehebung"-Zustand 411. Wenn der Fehler-Zeitkontroll-Zeitgeber weniger oft als eine vorherbestimmte Zahl abläuft, kehrt der RPC-Manager in den „Bereit-zum-Senden"-Zustand 403 zurück. Wenn der Fehler-Zeitkontroll-Zeitgeber einen vorherbestimmten Grenzwert erreicht, gibt der RPC-Manager der Anzeigeeinrichtung den Aufruf für das entfernte Verfahren auf und tritt in einen Fehlgeschlagen-Zustand 413 ein. Der Benutzer wird dann normalerweise über das Kommunikationsproblem informiert.
21b stellt eine Zustandsmaschine bzw. einen Automaten für einen Aufruf-einer-entfernten-Prozedur-Manager 307 in einer intelligenten entfernten Einrichtung dar, der die Seite der entfernten Einrichtung eines Aufrufs für ein entferntes Verfahren behandelt. Der RPC-Manager 307 der entfernten Einrichtung beginnt in einem „Warten-auf-Empfangen"-Zustand 451. Wenn ein Paket empfangen wird, analysiert der RPC-Manager der entfernten Einrichtung das Paket bei Zustand 453. Wenn das empfangene Paket eine neue Nachricht enthält, die einen Verfahrensaufruf anfordert, übergibt der RPC-Manager der entfernten Einrichtung das Paket an ein Objekt, das das Verfahren der Anforderung bei Zustand 455 ausführt. Der RPC-Manager der entfernten Einrichtung sendet dann ein Ergebnis und kehrt in den Wartezustand 451 zurück.
Wenn das empfangene Paket eine Nachricht enthält, die die entfernte Einrichtung bereits gesehen hat, bewegt sich der RPC-Manager der intelligenten entfernten Einrichtung in Zustand 457, wo die intelligente entfernte Einrichtung bestimmt, ob die Methodenaufrufanforderung bereits abgeschlossen war oder ob sie noch an der Anforderung arbeitet. Wenn die intelligente entfernte Einrichtung die Anforderung bereits abgeschlossen hat, sendet das Teilsystem die Ergebnisse bei Zustand 459 erneut und kehrt in den Wartezustand 451 zurück. Wenn andernfalls die intelligente entfernte Einrichtung noch an dem Methodenaufruf arbeitet, bewegt sich der RPC-Manager der entfernten Einrichtung in Zustand 461, wo der RPC-Manager der entfernten Einrichtung mehr Zeit anfordert, um das aufgerufene Verfahren abzuschließen und kehrt dann in den Wartezustand 451 zurück.
21c stellt die Abfolge eines Aufrufs für ein entferntes Verfahren dar, wenn es keine Kommunikationsprobleme gibt. Bei Schritt 501 fordert ein Benutzerschnittstellenobjekt in der Handanzeigeeinrichtung den Aufruf für ein entferntes Verfahren an. Daher sendet das Benutzerschnittstellenobjekt eine Nachricht mit einem Verfahrensselektor und einem Argument an den RPC-Manager der Anzeigeeinrichtung. Der RPC-Manager der Anzeigeeinrichtung verpackt bei Schritt 502 die empfangene Nachricht in ein Paket und sendet das Paket bei Schritt 503 über das Kommunikationsnetzwerk.
Der RPC-Manager der intelligenten entfernten Einrichtung empfängt das gesendete Paket bei Schritt 504. Der RPC-Manager der entfernten Einrichtung entpackt bei Schritt 505 die Nachricht aus dem Paket und richtet das Paket an das Einrichtungstreiber-Programmobjekt in der intelligenten entfernten Einrichtung. Das Einrichtungstreiber-Programmobjekt ruft bei Schritt 506 das Verfahren auf, das von dem Verfahrensselektor in der Nachricht spezifiziert wird. Das Einrichtungstreiber-Programmobjekt erzeugt eine Erwiderungsnachricht, die an den RPC-Manager der entfernten Einrichtung zurückgeleitet wird. Bei Schritt 507 packt der RPC-Manager der entfernten Einrichtung die Erwiderungsnachricht in einen Rückantwortpuffer. Der RPC-Manager der entfernten Einrichtung sendet den Rückantwortpuffer bei Schritt 508.
Der RPC-Manager der Anzeigeeinrichtung empfängt den Rückantwortpuffer bei Schritt 509 und entpackt bei Schritt 510 den Rückantwortpuffer, um einen Rückgabewert zu extrahieren. Der RPC-Manager der Anzeigeeinrichtung liefert den Rückgabewert an das anfordernde Benutzerschnittstellen-Programmobjekt, welches das Verfahren in dem Einrichtungstreiber-Programmobjekt aufgerufen hat. Schließlich analysiert das Benutzerschnittstellen-Programmobjekt den Rückgabewert bei Schritt 511.
Wie dargestellt, kann die vorliegende Erfindung eine intelligente entfernte Einrichtung durch entferntes Aufrufen von Verfahren in einem Einrichtungstreiber-Programmobjekt, das in der intelligenten entfernten Einrichtung angeordnet ist, steuern. Außerdem wird dem Leser klar sein, daß die entfernte Einrichtung ebenfalls entfernt Verfahren in der Anzeigeeinrichtung aufrufen kann. Beispielsweise kann das Einrichtungstreiberobjekt in einer entfernten Einrichtung ein Verfahren in einem Benutzerschnittstellenobjekt in der Anzeigeinrichtung aufrufen, um eine Nachricht anzuzeigen.
Viele entfernte Einrichtungen sind technisch nicht genügend fortgeschritten, um über interne Steuerungsverfahren zu verfügen, die von der Anzeigeeinrichtung aufgerufen werden können. Daher stellt die vorliegende Erfindung andere Verfahren für das Steuern einfacher Einrichtungen bereit.
Steuerung einfacher Einrichtungen
In der vorliegenden Erfindung wird eine entfernte Einrichtung als eine „einfache Einrichtung" definiert, wenn die entfernte Einrichtung keinen Mikroprozessor aufweist, oder wenn die entfernte Einrichtung einen derart primitiven Prozessor aufweist, daß die Anzeigeeinrichtung in der entfernten Einrichtung keine Steuerungsverfahren aufrufen kann. 1d zeigt in Form einer Blockdarstellung die Komponenten einer einfachen entfernten Einrichtung. Um eine einfache Einrichtung zu steuern, sendet die Handanzeigeeinrichtung der vorliegenden Erfindung einfache vordefinierte Steuercodes, anstatt Steuerungsverfahren in der einfachen entfernten Einrichtung aufzurufen. Daher muß die Handanzeigeeinrichtung zur Steuerung einer einfachen entfernten Einrichtung sowohl ein Benutzerschnittstellen-Programmobjekt als auch ein Einrichtungstreiber-Programmobjekt von der einfachen entfernten Einrichtung erhalten.
Ein Beispiel für den Erhalt eines Benutzerschnittstellen-Programmobjekts und eines Einrichtungstreiber-Programmobjekts von einer einfachen entfernten Einrichtung wird unter Bezugnahme auf die 22a–22d, 23a–23d und das Flußdiagramm 24 gegeben. Die 22a–22d stellen auf hoher Ebene dar, wie die einfache entfernte Einrichtung 155 und die Handanzeigeeinrichtung 170 der vorliegenden Erfindung miteinander kommunizieren. Die 23a–23d stellen in konzeptioneller Form dar, wie das Benutzerschnittstellen-Programmobjekt 353 und das Einrichtungstreiber-Programmobjekt 351 der entfernten externen Einrichtung 150 zu der Handanzeigeeinrichtung 170 transportiert und verwendet werden.
Es wird auf 22a Bezug genommen; es wird ein Thermostat dargestellt, der als eine einfache entfernte Einrichtung 155 implementiert ist. Wie von Schritt 124 in 24 spezifiziert wird, sendet die einfache entfernte Einrichtung 155 von 22a sowohl ein Benutzerschnittstellen-Programmobjekt als auch ein Einrichtungstreiber-Programmobjekt an die Handanzeigeeinrichtung 170. Wie in 23a konzeptionell dargestellt, sendet die einfache Einrichtung 155 das Benutzerschnittstellen-Programmobjekt 353 und das Einrichtungstreiber-Programmobjekt 351. Die Übertragung der Programmobjekte erfolgt unter Verwendung von Kommunikationsmitteln 162, die ein Kommunikationsnetzwerk oder jedes an dere Mittel der Informationsübermittlung an die Handanzeigeeinrichtung 170 sein können.
Die Handanzeigeeinrichtung 170 empfängt die Kopie des Benutzerschnittstellen-Programmobjekts 363, das die grafische Benutzerschnittstelle der einfachen Einrichtung beschreibt. Die Handanzeigeeinrichtung 170 ruft dann ein Verfahren in dem Benutzerschnittstellen-Programmobjekt 363 auf, das ein Anzeigeobjekt in einem Raum wiedergibt, der auf der Handanzeigeeinrichtung 170 gezeigt wird. Wenn ein Benutzer das Anzeigeobjekt Auswählt, das der einfachen entfernten Einrichtung 155 zugeordnet ist, ruft die Anzeigeeinrichtung 170 ein Verfahren in dem Benutzerschnittstellen-Programmobjekt 363 auf, wie in Schritt 125 von 24 dargelegt und in 22b dargestellt. Das Verfahren, das in dem Benutzerschnittstellen-Programmobjekt 363 aufgerufen wird, zeigt eine grafische Benutzerschnittstelle an, die der einfachen entfernten Einrichtung auf dem Anzeigebildschirm 171 der Anzeigeeinrichtung 170 zugeordnet ist. Der Benutzer kann dann mit der grafischen Benutzerschnittstelle der einfachen entfernten Einrichtung auf der Anzeigeeinrichtung 170 interagieren, wie in Schritt 127 dargelegt.
Die Interaktionen des Benutzers mit der grafischen Benutzerschnittstelle der einfachen Einrichtung werden von dem Einrichtungstreiber-Programmobjekt 361 der einfachen Einrichtung in der Anzeigeeinrichtung 150 analysiert. Das Einrichtungstreiber-Programmobjekt 361 löst die Interaktionen des Benutzers in Steuercodes auf, auf die die einfache entfernte Einrichtung 155 antworten wird. Wie in 23c dargestellt, analysiert das Einrichtungstreiber-Programmobjekt 361, das in der Anzeigeeinrichtung 170 angeordnet ist, die Aktionen des Benutzers.
Es wird auf 22c und 23c Bezug genommen; die Handanzeigeeinrichtung 170 sendet die Steuercodes an die einfache entfernte Einrichtung 155. Die einfache entfernte Einrichtung 155 verändert sich als Antwort auf die empfangenen Steuercodes, wie in Schritt 130 dargelegt. Wenn schließlich die einfache entfernte Einrichtung 155 und die Anzeigeeinrichtung 170 von einem Kommunikationsnetzwerk miteinander gekoppelt werden, kann die einfache Einrichtung 155 jegliche Rückgabewerte oder Rückmeldungen senden, die von der einfachen entfernten Einrichtung 155 erzeugt werden, wie in 22d dargestellt.
Herkömmliche Einrichtungssteuerung
Existierende entfernte Einrichtungen, die nicht für die Handanzeigeeinrichtung der vorliegenden Erfindung ausgelegt sind, verfügen nicht über ein Benutzerschnittstellen-Programmobjekt, das sie an die Handanzeigeeinrichtung senden können. Beispielsweise stellt 1e eine typische existierende entfernte Einrichtung dar, die nur auf codierte Befehlssignale, wie beispielweise Infrarotsignale, reagieren kann. In derartigen Fällen muß die Handanzeigeeinrichtung manuell über die entfernte Einrichtung informiert werden. Die Handanzeigeeinrichtung verwendet dann ein allgemeines Benutzerschnittstellen-Programmobjekt für den Typ der entfernten Einrichtung.
Wenn beispielweise ein Benutzer über ein herkömmliches Fernsehgerät verfügt, das durch Infrarotsignale gesteuert wird, gibt der Benutzer eine Typennummer des Fernsehgeräts ein, um die Handanzeigeeinrichtung über das herkömmliche Fernsehgerät zu informieren. Die Handanzeigeeinrichtung greift dann auf eine Datenbank zu, um eine Liste der Steuercodes zu erhalten, die das herkömmliche Fernsehgerät versteht. Es wird dann ein Fernsehanzeigeobjekt erzeugt, um das herkömmliche Fernsehgerät zu steuern. Wenn der Benutzer das Fernsehanzeigeobjekt auswählt, ruft die Handanzeigeeinrichtung ein Verfahren auf, das eine allgemeine Fernsehbenutzerschnittstelle anzeigt. Wenn der Benutzer mit der allgemeinen Fernsehbenutzerschnittstelle interagiert, sendet die Anzei geeinrichtung die richtigen Infrarot-Steuercodes, um das Fernsehgerät zu steuern.
Zusammenfassung
Im gehenden wurde eine intuitive grafische Benutzerschnittstelle beschrieben, die auf einer geographischen Kartenstruktur und einem System zur Steuerung entfernter externer elektronischer Einrichtungen basiert. In der Benutzerschnittstelle der vorliegenden Erfindung wird jeder Raum einer geographischen Kartenstruktur auf einer Berührungsbildschirmanzeige als ein Raum wiedergegeben. In jedem Raum befinden sich farbige Icons, „Objekte" genannt, die von dem Benutzer Ausgewählt und gehandhabt werden können. Bestimmte Objekte, die als Portale bezeichnet werden, befördern den Benutzer von einem Raum in einen anderen Raum, wenn sie Ausgewählt werden. Andere Objekte, die als Schaltflächen bezeichnet werden, führen zugeordnete Aktionen oder Funktionen aus, wenn sie Ausgewählt werden. Die Benutzerschnittstelle wird auf einer Handanzeigeeinrichtung angezeigt, die entfernte elektronische Einrichtungen steuern kann. Jede entfernte elektronische Einrichtung sendet ein Benutzerschnittstellen-Programmobjekt an die Anzeigeeinrichtung, das eine grafische Benutzerschnittstelle definiert. Die Handanzeigeeinrichtung zeigt die grafische Benutzerschnittstelle an, die der entfernten Einrichtung zugeordnet ist, wenn ein Benutzer ein Icon auswählt, das der entfernten Einrichtung auf der Berührungsbildschirmanzeige der Anzeigeeinrichtung zugeordnet ist. Es ist in Betracht zu ziehen, daß von einem Durchschnittsfachmann Veränderungen und Modifikationen hinsichtlich der Materialien und Anordnungen der Elemente der vorliegenden Erfindung vorgenommen werden können, ohne den Schutzumfang der Erfindung zu verlassen.

Claims

Ein Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170), wobei das Computersystem eine CPU (30), einen Speicher (33) und einen Graphikanzeigebildschirm (37) aufweist, wobei das Verfahren die Schritte umfaßt: Bereitstellen einer Mehrzahl von Räumen (32, 50, 60 ...), wobei jeder der Räume ein graphisches Hintergrundbild aufweist; Organisieren der Räume (32, 50, 60 ...) in einer gerichteten Graphenstruktur, wobei die Räume miteinander über eine Mehrzahl von Portalen (47, 48, 49, 52, 54, ...) verbunden sind; Lokalisieren der Mehrzahl von Portalen (47, 48, 49 ...) in den Räumen (32, 50, 60 ...), wobei jedes der Portale einen zugehörigen Zielraum derart aufweist, daß das Portal den Raum, in dem es sich befindet, mit dem zugehörigen Zielraum verbindet, wobei jedes der Portale ein graphisches Icon aufweist; Wiedergeben eines graphischen Hintergrundbilds, eines ersten Raums und der in dem ersten Raum angeordneten Portale auf dem Graphikanzeigebildschirm, wobei der erste Raum wenigstens ein erstes Portal aufweist; Empfangen einer Eingabe von einem Benutzer, wobei die Eingabe ein aus den in dem ersten Raum angeordneten Portalen ausgewähltes Portal umfaßt; und Wiedergeben eines graphischen Hintergrundbildes eines dem ausgewählten Portal zugeordneten Zielraums auf dem Graphikanzeigebildschirm (37); so daß sich der Benutzer zwischen den Räumen in der gerichteten Graphenstruktur bewegen kann, indem er die Portale in den Räumen auswählt; und Übertragen ausgewählter Objekte in dem ersten Raum in den Zielraum unter Verwendung eines zweiten Portals, wobei die Schnittstelle Zustandsinformationen an den Benutzer übermittelt, indem sie ein visuelles Erscheinungsbild des zweiten Portals animiert, um die Aufmerksamkeit des Benutzers darauf zu lenken.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 1, wobei ferner die Schritte des Wiedergebens eines Hintergrundbildes die Schritte umfassen: Wiedergeben einer ersten Teilmenge des Hintergrundbildes auf dem Graphikanzeigebildschirm (37), wobei die erste Teilmenge aus einem ersten Ort in dem Hintergrundbild herrührt; Empfangen einer Richtungseingabe von dem Benutzer, wobei die Richtungseingabe eine Bewegungsrichtung umfaßt; und Wiedergeben einer zweiten Teilmenge des Hintergrundbildes auf dem Graphikanzeigebildschirm (37), wobei die zweite Teilmenge aus einem zweiten Ort in dem Hintergrundbild herrührt, wobei der zweite Ort dem ersten Ort plus einem der Bewegungsrichtung entsprechenden Versatz entspricht; so daß dieser Benutzer sich in einem Hintergrundbild, das einem Raum zugeordnet ist, bewegen kann.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 2, wobei ferner der Schritt des Empfangens einer Richtungseingabe von dem Benutzer das Erfassen des Gleitens eines Fingers des Benutzers über den Anzeigebildschirm (37) umfaßt.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 1, ferner umfassend die Schritte: Bereitstellen eines Rückwegportals (45), wobei das Rückwegportal in jedem der Räume (32, 50, 60 ...) angezeigt wird, wobei das Rückwegportal (45) einen Stapel von Daten strukturen aufweist, wobei jede der Datenstrukturen einen Zeiger aufweist, wobei jeder der Zeiger auf einen der Räume verweist; Schieben einer ersten Datenstruktur auf den Rückwegportalstapel, wenn sich der Benutzer in den ersten Raum bewegt, wobei die erste Datenstruktur einen Zeiger auf den ersten Raum enthält; Wegnehmen einer zweiten Datenstruktur von dem Rückwegportalstapel, wenn der Benutzer das Rückwegportal auswählt, wobei die zweite Datenstruktur einen Zeiger auf einen zweiten Raum enthält; und Bewegen des Benutzers in den zweiten Raum, auf den durch den Zeiger in der zweiten Datenstruktur, die von dem Rückwegportalstapel weggenommen worden ist, verwiesen wird; so daß der Benutzer entlang eines Pfades von Räumen zurückgeführt werden kann, durch die sich der Benutzer bewegt.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 4, wobei die Datenstrukturen in dem Rückwegportal (45) ferner eine Koordinate aufweisen, wobei die Koordinate einen Ort in dem ersten Raum identifiziert, an dem der Benutzer war, als der Benutzer den ersten Raum verließ.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 4, wobei das Rückwegportal (45) als Momentaufnahme eines Raumes, auf den durch einen Zeiger in einer Datenstruktur an der Oberseite des Rückwegportalstapels verwiesen wird, wiedergegeben wird.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 1, ferner umfassend die Schritte: Bereitstellen einer Mehrzahl von Schaltflächenobjekten (61, 62, 66, 67, 68, 69), wobei jedem der Schaltflächenobjekte eine Funktion zugeordnet ist; Wiedergeben der Schaltflächenobjekte in den Räumen, wobei die Schaltflächenobjekte graphische Icons umfassen; und Ausführen der Funktion, die einem Schaltflächenobjekt zugeordnet ist, wenn das Schaltflächenobjekt von einem Benutzer ausgewählt wird.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 1, wobei der Anzeigebildschirm (37) ein berührungsempfindlicher Anzeigebildschirm ist.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 8, wobei die Eingabe von dem Benutzer eine Fingerberührung des berührungsempfindlichen Anzeigebildschirms (37) umfaßt.
Das Verfahren zum Bereitstellen einer graphischen Benutzerschnittstelle auf einem Computersystem (170) nach Anspruch 1, wobei das Verfahren ferner die Schritte umfaßt: Wiedergeben eines anthropomorphischen graphischen Zeichens auf der Anzeige; Wecken der Aufmerksamkeit des Benutzers, indem das anthropomorphische graphische Zeichen animiert wird; und Übermitteln von Zustandsinformationen an den Benutzer, indem das visuelle Erscheinungsbild des anthropomorphischen Zeichens geändert wird.