JP3548065B2 - リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 - Google Patents
リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 Download PDFInfo
- Publication number
- JP3548065B2 JP3548065B2 JP32467299A JP32467299A JP3548065B2 JP 3548065 B2 JP3548065 B2 JP 3548065B2 JP 32467299 A JP32467299 A JP 32467299A JP 32467299 A JP32467299 A JP 32467299A JP 3548065 B2 JP3548065 B2 JP 3548065B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- data
- server
- client
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/40—Remote control systems using repeaters, converters, gateways
- G08C2201/41—Remote control of gateways
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/40—Remote control systems using repeaters, converters, gateways
- G08C2201/42—Transmitting or receiving remote control signals via a network
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Computer And Data Communications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、家庭電化製品等の製品端末機器に対し、遠隔地からの操作や確認等を行うための、リモートコントロールシステム、製品端末機器操作方法等に関する。
【０００２】
【従来の技術】
近年、家電製品やオフィス機器等の技術革新に伴い、これらの端末機器が多機能化、複雑化する傾向にある。そのために、これらの端末機器を操作するユーザにとって、端末機器の操作がより困難となり、端末機器に備えられた操作マニュアル等だけでは、端末機器の動かし方を正確に理解することが困難な状況にある。その結果、これらのユーザをサポートするためのカスタマーサポートセンターへの問い合わせ件数が増大し、カスタマーサポートセンターの人員補強等、端末機器を提供する企業にとっては多大な負担が発生していた。
【０００３】
また、これらの問い合わせ件数の増大と共に、家電製品等の端末機器における操作ボタンや操作用スライドの位置、その動かし方を、文字や言葉だけで人に説明することは非常に難しいことも問題となる。普段、使い慣れた家電製品であっても、電話を通して遠隔地から現場にいるユーザに操作を教えることは非常に難しい。その結果、１件あたりの問い合わせに対応するための回答時間も長くなり、カスタマーサポートセンターへの負担は計り知れないものとなっていた。
【０００４】
更にまた、ユーザからの問い合わせは単純な操作説明だけではなく、端末機器における故障等のトラブルに起因する場合もある。かかる場合に、カスタマーサポートセンターでは故障箇所を特定する必要があり、ユーザに過去の操作を質問したり、また、現状の端末機器のトラブル状況をユーザに正確に説明してもらう必要がある。しかしながら、端末機器を熟知していないユーザから過去の操作の説明や、トラブル状況を把握することは困難であり、また、ユーザにとっても、カスタマーサポートセンターの担当者が用いる専門用語に付いて行く事ができずに、しばしば、トラブル修復を断念せざるを得なくなっていた。
【０００５】
一方、故障診断に関しては、従来、遠隔故障診断サービスが存在している。これは、例えば、自動旋盤等の製造機器やファクシミリや複写機等のＯＡ機器において、遠隔地のサービスセンターにてユーザ装置の故障を診断し、素早い対応を実現するものである。より具体的には、ユーザ装置においてアラームの履歴や操作履歴を保存し、主要なトラブルの発生をトリガとしてダイアルアップし、電話回線を介してサービスセンターにエラー状況を送出するものである。
【０００６】
【発明が解決しようとする課題】
ここで、自動旋盤などの工作機械のように、高価で且つ出荷台数が限られるものであれば、個々の機器がそれぞれにサービスセンターと接続される形態を取ることも可能である。しかしながら、家電製品等の大量製品機器に対して全てに接続のための装置や操作を付加することは、コストがかかりすぎることや操作も複雑になってしまうことから妥当ではない。また、現状のＯＡ機器に代表される遠隔故障診断サービスでは、ユーザを介さずにトラブルの診断等を実施する技術に留まっており、端末機器の操作を遠隔的に実施することや、ユーザに対して操作の指示を行うことまでは全く意図されていなかった。
【０００７】
一方、近年、パソコンやＡＶ機器、家電製品等の異なる機器をネットワークにより接続し、相互に接続するためのＪａｖａ技術として、「Ｊｉｎｉ」が開発されている。このソフトウェアは、米サン・マイクロシステムズ社が開発中の分散オブジェクト技術であり、オブジェクト同士が非同期の通信手順を使ってメッセージのやり取りをする機能を提供するソフトなどからなり、処理のスピードなどが異なるさまざまな種類の機器をネットワーク接続することを目的として開発されたソフトウェアである。しかしながら、この「Ｊｉｎｉ」では、ネットワーク接続時、接続された各機器は、搭載されたＪａｖａコードにより自身を選定して機器相互の利用が可能となる手法に留まっており、サーバから各端末機器を制御するための内容については何ら触れられていない。その為、遠隔地からの操作説明の簡単化や、遠隔地からの操作の簡略化を図るためには、解決すべき多くの技術を提供する必要がある。
【０００８】
本発明は以上のような技術的課題を解決するためになされたものであって、その目的とするところは、家電製品等の端末装置に対して、従来の文字や言葉による操作説明の困難さを解決し、遠隔地からの操作説明を簡略化することにある。また他の目的は、遠隔地の複数ユーザ間（例えばクライアントとカスタマー）で端末装置の操作を共有化し、端末装置の現在の状態やそれまでの操作状況を、例えば３次元モデルとして共有化することで、複数ユーザ間での円滑な操作を図ることにある。
更に他の目的は、例えば３次元モデルデータへのユーザ操作に基づき、その操作結果を該当する端末装置に送信し、ユーザによる端末機器の遠隔操作を可能とすることにある。
また更に他の目的は、ユーザからのインタラクションを操作ログとして記録・再生して、迅速にかつ適切に端末装置の問題点把握を行うことにある。
【０００９】
【課題を解決するための手段】
かかる目的のもと、本発明のリモートコントロールシステムは、制御プログラムを有する製品端末機器と、この製品端末機器に接続されて制御データを送信すると共に、製品端末機器に関する３次元モデルデータが登録されたサーバと、このサーバに接続されると共に、サーバから３次元モデルデータを受信するクライアントと、を備え、このクライアントは、サーバから他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータを受信し、端末機器幾何形状データを含む３次元モデルデータに対して操作を加え、この操作により更新された３次元モデル更新データをサーバに対して送信し、このサーバは、クライアントから送信された３次元モデル更新データに基づく制御データを製品端末機器に対して送信することを特徴としている。
この製品端末機器の有する制御プログラムとして、例えばＪｉｎｉ( 商標 )対応の製品端末機器であれば、インタープリタであるＪａｖａ( 商標 )ＶＭ(Virtual Machine)により、製品端末機器上でＪａｖａプログラムを実行させることが可能である。
【００１０】
また、このサーバは、クライアントからの３次元モデル更新データに基づいて製品端末機器に対して操作用制御データを送信し、この製品端末機器は、サーバから送信された操作用制御データを制御プログラムが解釈して製品端末機器を操作すると共に、操作結果を操作結果反映用制御データとしてサーバに対して送信することを特徴とすることもできる。このように構成すれば、例えばネットワーク等を介して接続されたサーバ上の制御用Ｊａｖａプログラムと製品端末機器との間で制御用データの送受信を行うことができ、製品端末機器の操作と操作結果の確認が可能となる点で好ましい。
【００１１】
更に、このサーバは、製品端末機器から送信された操作結果反映用制御データに基づいて製品端末機器の現在状態を３次元モデルデータに反映すると共に、反映された３次元モデルデータをクライアントに対して送信することを特徴とすることもできる。このように構成することで、遠隔地から操作したクライアントに対して操作結果を報告することができる点で優れている。
更に、遠隔からの操作を実際に行わなかった他のクライアントに対しても、反映された３次元モデルデータを送信するように構成することもできる。このように構成すれば、例えばカスタマーサポートセンター等の他のクライアントとで現在の製品端末機器の状態を共有することが可能となる。
尚、本発明における３次元モデルデータを、オンラインヘルプマニュアルの図として利用する場合には、３次元モデルデータは、オンライン取扱説明書の該当する説明文書部分にハイパーリンクを設定するように構成することも可能である。このように構成すれば、３次元モデルデータを簡単に読み出すことで、３次元で図示することが可能となる。
【００１２】
また、本発明のサーバ・クライアントシステムは、接続された製品端末機器に関するＪａｖａプログラムファイルを含む３次元モデルデータが格納されたサーバと、このサーバに対してネットワークを介して接続され、サーバが格納している３次元モデルデータの中から端末機器幾何形状データを含む特定の３次元モデルデータを呼び出して表示する第１のクライアントと、サーバに対してネットワークを介して接続されると共に、この第１のクライアントが呼び出している３次元モデルデータのＵＲＬをウェブブラウザにより指定し、サーバから第１のクライアントと共有する端末機器幾何形状データを含むこの３次元モデルデータをダウンロードして表示する第２のクライアントと、を備えたことを特徴とすることができる。このように構成すれば、サーバにある３次元モデルデータをサーバに接続したクライアント間で共有することが可能となる。このクライアントとしては、製品端末機器のユーザだけでなく、製品端末機器のメーカ担当者によるものも含まれる。
【００１３】
更に、このサーバに格納されたＪａｖａプログラムファイルからなる３次元モデルデータは、製品端末機器を操作するプログラムを含み、第１のクライアントおよび第２のクライアントは、操作された製品端末機器における現在の状態を３次元モデルデータの値に反映して表示することを特徴とすれば、例えば、第１のクライアントであるユーザの操作に基づく製品端末機器の現在状態を、第２のクライアントでも共有することが可能となる。
特に、この第１のクライアントおよびこの第２のクライアントの何れか１つは、製品端末機器のサポートを行うカスタマーサポートセンターのコンピュータ装置であることを特徴とすれば、ユーザとカスタマーサポートセンターとの間で、機器操作に基づく状態を３次元モデルで共有することが可能となり、円滑なコミュニケーションを図ることができる。その結果、例えば、カスタマーサポートセンターによるユーザへの回答時間の短縮化が図れる点で優れている。
【００１４】
また、本発明を適用した製品端末機器の制御用サーバは、内部ネットワークに接続された製品端末機器に対する制御用データの送受信を行うと共に、この製品端末機器の機能を制御するための端末機器機能制御用プログラムと、製品端末機器の幾何形状データと、端末機器機能制御用プログラムにより受信された製品端末機器の操作結果を反映する機器動作データとを含む、クライアントと共有するための３次元モデルデータと、ユーザによる操作を操作イベントとして記録すると共に、必要に応じて再生するモジュールと、を備えたことを特徴としている。このように構成したサーバでは、ユーザによる操作のログを記録することができる。この記録を、例えばカスタマーセンターのクライアントで利用するように構成すれば、ユーザの過去の操作に基づくトラブルへの対処が適切に実行できる点で好ましい。
【００１５】
このモジュールは、ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ：インターネット上で扱う３次元コンピュータグラフィックスを記述するための言語仕様）ブラウザを通して発生するユーザからの操作を、ＶＲＭＬ操作イベントとして記録・再生するソフトウェアを用いて記録すると共に、このＶＲＭＬブラウザを通して再生表示することを特徴とすることもできる。
言い換えれば、このユーザーによる操作は、ＶＲＭＬブラウザにおける３次元モデルデータをＶＲＭＬ形式で記述したデータであるＶＲＭＬコンテンツの操作により表現されることを特徴とすることができる。
更に、外部ネットワークに接続されたクライアントと、この外部ネットワークを介して操作イベントの送受信を行うモジュールと、を更に備えたことを特徴とすれば、外部ネットワークに接続されたクライアントに対してユーザによる操作ログの記録を提供することが可能となり、例えば、ユーザが途中まで操作した段階で、以降の操作手順がわからなくなった場合でも、遠隔地のカスタマーサポートセンターにて操作ログの記録と今の製品状態を把握してもらう等への応用が可能となる。
【００１６】
また、本発明は、クライアントから遠隔地の製品端末機器を操作する製品端末機器操作方法であって、クライアント上のウェブブラウザで製品端末機器に対応するＵＲＬを指定して他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータをダウンロードするステップと、ダウンロードされた端末機器幾何形状データを含む３次元モデルデータをレンダリングすると共に、ＵＲＬの指定で関連付けられている制御プログラムを読み込むステップと、この制御プログラムに基づいてクライアント上でレンダリングされた３次元モデルをユーザが操作することにより、この操作に応じた操作用制御データを製品端末機器に送出するステップと、を含むことを特徴とすることができる。
【００１７】
この操作用制御データを製品端末機器に送出するステップは、クライアントによる３次元モデルの操作によって３次元モデルデータの更新値をサーバに対して送信するステップと、受信した更新値に基づいて、このサーバが製品端末機器に対して操作用制御データを送信するステップと、を含むことを特徴とすることができる。
また、製品端末機器から操作結果反映用制御データをサーバに対して送信するステップと、送信された操作結果反映用制御データを３次元モデルデータに反映してサーバからクライアントに対して送信するステップと、を更に備えたことを特徴とすることもできる。
【００１８】
また、本発明は、複数のクライアント間にて製品機器に関する情報を共有する機器情報共有方法であって、第１のクライアント上のウェブブラウザで製品機器に対応するＵＲＬを指定して製品機器の端末機器幾何形状データを含むモデルデータをダウンロードするステップと、ダウンロードされた端末機器幾何形状データを含むモデルデータをレンダリングするステップと、この第１のクライアント上でレンダリングされたモデルを操作することにより生成された共有用データを送出するステップと、第２のクライアント上のウェブブラウザでＵＲＬを指定してモデルデータをダウンロードするステップと、この第１のクライアントから送出された共有用データを受信すると共に、この共有用データに基づいてモデルデータのデータ値を更新するステップと、更新されたモデルデータをレンダリングするステップと、第２のクライアント上でレンダリングされた更新モデルを操作することにより形成された共有用データを送出するステップとを含むことを特徴としている。これらの構成によれば、文字や言葉ではなく、例えば、現物の製品と同じ幾何形状をした３次元モデルを用いて製品の操作を遠隔的に行うことが可能となり、文字や言葉による操作説明の困難さを解決している。
【００１９】
また、本発明は、コンピュータに実行させるプログラムをこのコンピュータが読取可能に記憶した記憶媒体において、このプログラムは、クライアントと共有するためのネットワークに接続された製品端末機器に関する端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含むこの３次元モデルデータをレンダリングする処理と、呼び出されたこの３次元モデルデータに関連する制御用ファイルを呼び出す処理と、製品端末機器から制御データを受信し、受信したこの制御データを端末機器幾何形状データを含む３次元モデルデータに反映する処理と、をコンピュータに実行させることを特徴とすることもできる。
また、このプログラムは、外部ネットワークに接続されたクライアントからの３次元モデルデータの更新値を受信し、製品端末機器に対して制御データを送信する処理と、を更に備えたことを特徴とすることもできる。
【００２０】
また、本発明は、コンピュータに実行させるプログラムをこのコンピュータが実行可能に記憶した記憶媒体において、このプログラムは、外部ネットワークを介して他のクライアントと共有する端末機器幾何形状データを含む製品端末機器に関する３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含むこの３次元モデルデータをレンダリングする処理と、呼び出された３次元モデルデータに関連する制御用ファイルを呼び出す処理と、呼び出したこの制御用ファイルにより得られたデータを３次元モデルデータに反映する処理と、ユーザによる３次元モデルの操作に基づいて３次元モデルデータの値を変更する処理と、をコンピュータに実行させることを特徴としている。
尚、これらの記憶媒体としては、例えばＣＤ−ＲＯＭやフロッピー( 商標 )ディスク等があり、その種類が問われるものではない。
【００２１】
また、本発明を提供するプログラム伝送装置としては、外部ネットワークを介して端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含む３次元モデルデータをレンダリングする処理と、呼び出された３次元モデルデータに関連する制御用ファイルを呼び出す処理と、呼び出した制御用ファイルにより得られたデータを３次元モデルデータに反映する処理と、ユーザによる３次元モデルの操作に基づいて３次元モデルデータの値を変更する処理とを実行するプログラムを記憶する記憶手段と、この記憶手段からプログラムを読み出してこのプログラムを外部コンピュータに対して送信する送信手段と、を備えたことを特徴としている。この構成では、例えば、本発明を実施しようとするＰＣ（パーソナルコンピュータ）に対してプログラムを転送する場合が含まれる。
【００２２】
【発明の実施の形態】
図１は、本実施の形態におけるシステム構成を示したハードウェア構成図である。同図において、符号１０は家庭内ネットワークシステムを示しており、家電製品等の家電製品端末機器１１と、サーバＰＣ１２がイントラネット等の内部ネットワークであるネットワーク１３を介して接続されている。場合によっては、クライアントＰＣ１４もネットワーク１３に接続される場合がある。また、このサーバＰＣ１２は、インターネット等の外部ネットワークであるネットワーク１７を介して外出先のクライアントＰＣ１５やカスタマーサポートセンターのクライアントＰＣ１６と接続されている。
この家電製品端末機器１１は、ＪａｖａＶＭ（Ｊａｖａ Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：Ｊａｖａ仮想マシン）が動作するＪｉｎｉ対応の端末機器であり、サーバＰＣ１２と制御データの送受信を行っている。尚、ここで制御データとは、家電製品端末機器１１の操作用制御データおよび操作結果反映用制御データを含むものである。また、サーバＰＣ１２は、クライアントＰＣ１４，１５，１６と３次元モデル共有用データの送受信を行っている。
【００２３】
図２は、これらのハードウェア構成におけるデータの流れ（概略）を示したものである。クライアントＰＣ１４，１５，１６は、サーバＰＣ１２に登録された３次元モデルデータの一つを呼び出す。クライアントＰＣ１４，１５，１６による操作はサーバＰＣ１２への３次元モデル共有用データとして反映される。これを受けてサーバＰＣ１２からネットワーク１３を介して操作用制御データが家電製品端末機器１１に対して送られ、結果としてクライアントＰＣ１４，１５，１６による遠隔制御がなされる。遠隔制御の結果は、操作結果反映用制御データとして家電製品端末機器１１からサーバＰＣ１２に送られ、３次元モデル共有用データとしてサーバＰＣ１２からクライアントＰＣ１４，１５，１６に送られている。
【００２４】
次に、本実施の形態におけるソフトウェア構成について説明する。
図３は、本実施の形態におけるソフトウェア構成を示している。ＪａｖａＶＭ２１は、Ｊｉｎｉ対応の家電製品端末機器１１上でＪａｖａプログラムを動作させることができるＪａｖａ Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ（Ｊａｖａ仮想マシン）である。このソフトは、サーバＰＣ１２、家庭内クライアントＰＣ１４、外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６においても、それぞれの実行環境として備えられている。
端末機器制御用Ｊａｖａプログラム２２は、Ｊｉｎｉ対応の家電製品端末機器１１上のＪａｖａＶＭ２１で動作する実行可能ファイルであり、サーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５（後述）とネットワーク１３を介して制御用データの送受信を行い、受信した制御用データに基づいて家電製品端末装置１１を操作し、操作結果をサーバＰＣ１２に送信している。
【００２５】
一方、ウェブブラウザ２３は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６上で動作するＷＷＷブラウザであり、Ｊａｖａプログラムを処理する機能（ＪａｖａＶＭ機能）をサポートしている実行可能モジュールである。例えばＮｅｔｓｃａｐｅ社ＣｏｍｍｕｎｉｃａｔｏｒやＭｉｃｒｏｓｏｆｔ社Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒが該当する。
また、３次元モデルレンダリングブラウザ２４は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６に設けられ、ウェブブラウザ２３にプラグインされる実行可能モジュールであり、３次元モデルデータを読み込みレンダリングする機能（ＪａｖａＶＭ機能）をサポートしたブラウザである。ウェブブラウザ２３と協調してＪａｖａプログラムを処理する機能をサポートしており、例えば、ＩｎｔｅｒＶｉｓｔａ社ＷｏｒｌｄＶｉｅｗ ＶＲＭＬブラウザにあたる。尚、このウェブブラウザ２３と３次元モデルレンダリングブラウザ２４は別々のソフトウェアである必要はなく、両機能をサポートしているブラウザで代替することも可能である。
【００２６】
端末機器機能制御用Ｊａｖａプログラム２５は、サーバＰＣ１２内に設けられ、３次元モデルレンダリングブラウザ２４で表示される端末機器幾何形状データと動作データを含んだ３次元モデルデータを通して、家電製品端末機器１１の機能を制御するための実行可能なＪａｖａプログラムである。前述した端末機器制御用Ｊａｖａプログラム２２とネットワーク１３を介して制御用のデータを送受信している。より具体的には、家電製品端末機器１１の機能を制御する操作用制御データを送信し、操作結果反映用制御データを受信して、３次元モデルレンダリングブラウザ２４の３次元モデルデータに受信結果を反映できるように機能している。
また、機器形状・動作を含んだ３次元モデルデータ２６は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６内に設けられ、３次元モデルレンダリングブラウザ２４で表示される端末機器幾何形状データや機器動作データを含んだ３次元モデルデータである。例えば、ＪａｖａプログラムファイルとＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）ファイルで構成されている。オンラインヘルプ用テキストファイル２７は、サーバＰＣ１２内に設けられ、３次元モデルデータ各部からハイパーリンクされたテキストファイルである。例えば、ＨＴＭＬで記述され、３次元モデル、即ち端末機器の各部の説明を記したウェブページである。３次元モデルに対するユーザのクリック操作により、クリックされた部分の説明がウェブブラウザ２３に表示されるように機能している。
【００２７】
３次元モデル共有クライアント２８は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６内に設けられ、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールとコミュニケーションモジュールの実行可能モジュールからなる。このコミュニケーションモジュールは、ネットワークを介して３次元モデル共有サーバ２９（後述）の３次元モデル共有サーバモジュールと、３次元モデル共有用データ（共有用変更データと共有用更新データ）の送受信を行う。また、このコミュニケーションモジュールは、ネットワークを介して３次元モデル共有サーバ２９のＨＴＴＰサーバモジュールから３次元モデルデータを受信する。尚、３Ｄ Ｏｐｅｒａｔｉｏｎ
Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールについては後述する。
また、３次元モデル共有サーバ２９は、サーバＰＣ１２内にあって、３次元モデル共有サーバモジュール、ＨＴＴＰサーバモジュール、Ｊｉｎｉルックアップサーバモジュールの実行可能モジュールからなる。この３次元モデル共有サーバモジュールは、ネットワークを介して３次元モデル共有クライアント２８のコミュニケーションモジュールと共有用データの送受信を行う。また、ＨＴＴＰサーバモジュールは、ネットワークを介して３次元モデル共有クライアント２８のコミュニケーションモジュールに３次元モデルデータを送信し、また、クライアントＰＣ１４，１５，１６に対して３次元モデル共有クライアント２８や３次元モデルレンダリングブラウザ２４を送信する。Ｊｉｎｉルックアップサーバモジュールは、ネットワークを介してＪｉｎｉ対応の家電製品端末機器１１を登録・管理する。
【００２８】
これらのソフトウェアによるデータの流れを図４に示す。
端末機器制御用Ｊａｖａプログラム２２（家電製品端末機器１１のＪａｖａＶＭ２１上）と端末機器機能制御用Ｊａｖａプログラム２５（サーバＰＣ１２のＪａｖａＶＭ２１上）の間では、端末機器の操作用データと操作結果反映用データが送受信される。また、この端末機器機能制御用Ｊａｖａプログラム２５と３次元モデルレンダリングブラウザ２４（ウェブブラウザ２３内）との間では、同様に端末機器の操作用データと操作結果反映用データが送受信される。この３次元モデルレンダリングブラウザ２４と３次元モデル共有クライアント２８（サーバＰＣ１２、クライアントＰＣ１４，１５，１６のＪａｖａＶＭ２１上）との間では、共有用更新データと共有用変更データが送受信される。また、この３次元モデル共有クライアント２８と３次元モデル共有サーバ２９（サーバＰＣ１２のＪａｖａＶＭ２１上）との間では、同様に共有用更新データと共有用変更データが送受信できるように構成されている。
【００２９】
次に、本実施の形態における処理手順について、（１）データ登録、（２）３次元モデルによる端末操作、（３）３次元モデルによる遠隔地からの端末操作、（４）３次元モデルによるカスタマーサポートセンターからの端末操作、の項目に分けて、フローチャート等を用いて詳細に説明する。
【００３０】
（１）データ登録
図５における概念図および図６のフローチャートを用いて説明する。
家電製品端末機器１１を新しくネットワーク１３に接続する場合、家電製品端末機器１１の動作データや３次元幾何形状データを含んだ３次元モデルデータファイル（例えばＶＲＭＬファイル）とＪａｖａプログラムファイルをサーバＰＣ１２に登録する。このＪａｖａプログラムには端末機器制御用Ｊａｖａプログラム２２と端末機器機能制御用Ｊａｖａプログラム２５が含まれている。図５に示すように、サーバＰＣ１２へは、家電製品端末機器１１のメーカから製品と共に提供されるメディア３１（例えばＣＤ−ＲＯＭや磁気メディア）を介して３次元モデルデータとＪａｖａプログラムが登録できるように構成されている。図６は、このサーバＰＣ１２での処理手順を示すフローチャートである。例えばＣＤ−ＲＯＭからのファイル読み込み等、メディア３１からのファイル読み出しを行う（ステップ１０１）。次に、３次元モデルデータファイルおよびＪａｖａプログラムの登録を、例えばＨＴＴＰサーバモジュールへの格納といった内容で実施する（ステップ１０２）。このとき、３次元幾何形状と動作を表した３次元モデルデータ２６のファイルを主ファイルとし、３次元モデルの操作を行った場合のアクションや家電製品端末機器１１の制御を記述した端末機器機能制御用Ｊａｖａプログラム２５のファイルは主ファイル中に（例えばＶＲＭＬファイルにおけるＵＲＬにより）指定する。更に、この主ファイルに、テキストによる取扱説明としてオンラインヘルプ用テキストファイル２７をハイパーリンクさせることも可能である。
【００３１】
（２）３次元モデルによる端末操作
図７は、サーバＰＣ１２における処理手順を示したフローチャートである。
まず、サーバＰＣ１２では、登録された３次元モデルデータのうちの一つを呼び出す（ステップ１１１）。この呼び出しは、ウェブブラウザ２３から対象となる３次元モデルデータ（操作対象となる家電製品端末機器１１のデータ）を表すＵＲＬを指定することで行う。このＵＲＬは同じサーバＰＣ１２内のＨＴＴＰサーバモジュールのもので、登録されたデータのうちの一つである。実際には、ＨＴＴＰサーバモジュールからのダウンロードとＶＲＭＬブラウザによるファイル読み込みで実行される。次に、例えばＶＲＭＬブラウザによるレンダリングにより３次元モデルデータのレンダリングが行われる（ステップ１１２）。即ち、呼び出された３次元モデルデータのファイルは、３次元モデルレンダリングブラウザ２４により形状がレンダリングされる。このレンダリングと同時に関連Ｊａｖａファイルの呼び出しと読み込みが行われる（ステップ１１３）。即ち、ＵＲＬ指定で関連付けられている端末機器機能制御用Ｊａｖａプログラム２５および機器動作を表す３次元モデルデータ２６のファイルが、例えばＶＲＭＬブラウザによって読み込まれ、ＪａｖａＶＭ２１で実行される。このとき、Ｊｉｎｉ対応の家電製品端末機器１１では、その機器の状態を端末機器制御用Ｊａｖａプログラム２２が取得し、例えばＪａｖａＲＭＩ（Ｒｅｍｏｔｅ Ｍｅｔｈｏｄ Ｉｎｖｏｃａｔｉｏｎ）通信などでサーバＰＣの端末機器機能制御用Ｊａｖａプログラム２５に送信され、この端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態が取得される（ステップ１１４）。また、この端末機器機能制御用Ｊａｖａプログラム２５を通して家電製品端末機器１１の現在の状態が３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１１５）。より具体的には、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）が利用され、ＶＲＭＬブラウザによるレンダリングが行われる。
【００３２】
次に、サーバＰＣ１２におけるユーザからのインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）があった場合を説明する。表示された３次元モデルデータをユーザが操作して３次元モデルデータの値を変更すると（ステップ１２１）、例えばＶＲＭＬブラウザによるＶＲＭＬイベントの発生に対し、例えばＶＲＭＬ−ＪａｖａＡＰＩを利用して端末機器機能制御用Ｊａｖａプログラム２５がデータの更新値を取得する（ステップ１２２）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１２３）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１２４）。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１２５）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１２６）。このように、遠隔制御の結果は、Ｊａｖａプログラムを逆順にフィードバックされ、操作結果を反映した制御データに基づいてサーバＰＣ１２上の３次元モデルレンダリングブラウザ２４の表示に現在の状態として反映することが可能である。この３次元モデル表示終了時には、３次元モデルレンダリングブラウザ２４は終了し、現在の状況と共に３次元モデルはメモリからも削除される。
尚、サーバＰＣ１２上の３次元モデルレンダリングブラウザ２４に表示された３次元モデルをオンラインヘルプファイルとして提供された説明文に従ってユーザが操作すれば、本方法によりその操作は家電製品端末機器１１に伝えられて遠隔操作されるので、従来ある取扱説明書より簡単な操作が可能になる。
【００３３】
（３）３次元モデルによる遠隔地からの端末操作
図８は、クライアントＰＣ１４，１５での処理手順を示したフローチャートである。カスタマーサポートセンターのクライアントＰＣ１６での処理手順については、別に説明する。まず、遠隔地にあるクライアントＰＣ１４，１５で３次元モデルデータを呼び出す（ステップ１３１）。これは、遠隔地にあるクライアントＰＣ１４，１５上のウェブブラウザ２３にて操作対象機器に対応するＵＲＬを指定し、３次元モデルデータファイルをクライアントＰＣ１４，１５にダウンロードする。ＵＲＬは、先に登録したサーバＰＣ上のデータを指している。クライアントＰＣ１４，１５にダウンロードされた３次元モデルデータのファイルは、３次元モデルレンダリングブラウザ２４に読み込まれ、形状がレンダリングされる（ステップ１３２）。また、ＵＲＬ指定で関連付けられているＪａｖａプログラムファイルも呼び出される（ステップ１３３）。ここでは、機器動作を含んだ３次元モデルデータ２６のプログラムだけが呼び出されている。ここで、３次元モデルの共有のためには、データは共有用３次元モデルデータファイル（例えば、ＬｉｖｉｎｇＷｏｒｌｄｓノードを使用したＶＲＭＬファイル）として記述しておき、読み込まれたＪａｖａプログラムはクライアントＰＣ１４，１５のＪａｖａＶＭ２１で実行される。
【００３４】
一方、サーバＰＣ１２では、３次元モデルデータのファイルが呼び出されたので（ステップ１３４）、この同じ３次元モデルデータのファイルを３次元モデルレンダリングブラウザ２４で自動的に読み込みレンダリングし（ステップ１３５）し、３次元モデルデータのファイルを呼び出した先のクライアントＰＣ１４，１５と同じ３次元モデルを共有する。ＵＲＬ指定で３次元モデルデータに関連づけられているＪａｖａプログラムファイル（端末機器機能制御用Ｊａｖａプログラム２５および機器動作を含んだ３次元モデルデータ２６）も呼び出される（ステップ１３６）。次に、端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態を３次元モデルの値として取得する（ステップ１３７）。取得された家電製品端末機器１１の現在状況は、サーバＰＣ１２の３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１３８）。３次元モデルは共有されているので、同じ機器の現在状況がクライアントＰＣ１４，１５の３次元モデルレンダリングブラウザ２４の３次元モデルにも反映され（ステップ１３９）、サーバＰＣ１２およびクライアントＰＣ１４，１５の両者における３次元モデルは同じ状態を示している。
尚、１つのクライアントＰＣでの値の変更は、サーバＰＣ１２を介して他のクライアントＰＣにも伝えられ、３次元モデルデータを読み込んだ時点から３次元モデルを共有できるように構成されている。
【００３５】
次に、クライアントＰＣ１４，１５におけるユーザからのインタラクションがあった場合の処理手順を説明する。表示された３次元モデルデータをユーザが操作して３次元モデルデータの値を変更すると（ステップ１４１）、ユーザの操作は共有された３次元モデルを通してサーバＰＣ１２上の３次元モデルに同じ操作が再現される（ステップ１４２）。このデータの更新値はサーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５により取得される（ステップ１４３）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１４４）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１４５）。このように、再現された操作に応じた制御用データがサーバＰＣ１２から家電製品端末機器１１に送られ、結果として家電製品端末機器１１を遠隔的に操作することが可能となる。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１４６）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１４７）。３次元モデルは共有されているので、同じ機器の現在状況がクライアントＰＣ１４，１５の３次元モデルにも反映され（ステップ１４８）、サーバＰＣ１２およびクライアントＰＣ１４，１５の両者における３次元モデルは同じ状態を示すことが可能となる。
【００３６】
（４）３次元モデルによるカスタマーサポートセンターからの端末操作
図９および図１０は、カスタマーサービスセンターにおけるクライアントＰＣ１６からの端末操作の流れについて示したフローチャートである。
遠隔地に加え、ユーザは、カスタマーサポートセンターと３次元モデルを共有する。前述と同様な手順で、ユーザのクライアントＰＣ１４，１５には３次元モデルが表示されているものとする。クライアントＰＣ１４，１５のユーザは、カスタマーサポートセンターに電話をかけるなどして、今、ユーザ自身がクライアントＰＣ１４，１５で呼び出している３次元モデルデータファイルのＵＲＬをカスタマーサポートセンターに伝える。カスタマーサポートセンターでは、センターのクライアントＰＣ１６上のウェブブラウザ２３により指定されたＵＲＬを呼び出し、３次元モデルデータファイルをダウンロードする （ステップ１５１）。ダウンロードされた３次元モデルデータファイルは、カスタマーサポートセンターのクライアントＰＣ１６の３次元モデルレンダリングブラウザ２４により形状がレンダリングされる（ステップ１５２）。また、ＵＲＬ指定で関連付けられているＪａｖａファイルも読み込まれ、カスタマーサポートセンターのクライアントＰＣ１６のＪａｖａＶＭ２１で実行される（ステップ１５３）。
【００３７】
一方、サーバＰＣ１２では、３次元モデルデータのファイルが呼び出されたので（ステップ１５４）、この同じ３次元モデルデータのファイルを３次元モデルレンダリングブラウザ２４で自動的に読み込みレンダリングし（ステップ１５５）、３次元モデルデータのファイルを呼び出した先であるカスタマーサポートセンターのクライアントＰＣ１６と同じ３次元モデルを共有する。ここで、３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールが関連する記録されたコンテンツ（操作ログ）を取得する（ステップ１５６）。このとき、ユーザの操作ログファイルが残されている場合は、サーバＰＣ１２における３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールは、記録されたコンテンツをカスタマーサポートセンターのクライアントＰＣ１６に送信し（ステップ１５７）、このクライアントＰＣ１６側では、クライアントＰＣ１６の有する３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールでこの記録コンテンツファイルを読み込むように構成されている。更に、ＵＲＬ指定で３次元モデルデータに関連づけられているＪａｖａプログラムファイル（端末機器機能制御用Ｊａｖａプログラム２５および機器動作を含んだ３次元モデルデータ２６）も呼び出される（ステップ１５８）。その後、家電製品端末機器１１に対して状態を問い合わせ、端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態を３次元モデルの値として取得する（ステップ１５９）。取得された家電製品端末機器１１の現在状況は、サーバＰＣ１２の３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１６０）。３次元モデルは共有されていることから、同じ機器の現在状況がカスタマーサポートセンターにおけるクライアントＰＣ１６の３次元モデルにも反映される（ステップ１６１）。
【００３８】
この時点で、家電製品端末機器１１の現在の状態がカスタマーサポートセンターにおけるクライアントＰＣ１６の画面に３次元モデルとして表示される。また、記録されたコンテンツにある各値の変更の内容（ユーザによる操作ログ）も記録コンテンツファイルとしてカスタマーサポートセンターで取得できる。
カスタマーサポートセンターは、これらの、
ｉ） 表示された共有３次元モデルによる現在の家電製品端末機器１１の状態
ｉｉ） ３次元モデルを使って再生される、記録されたコンテンツに基づくそれまでの操作ログ、に加え、
ｉｉｉ） その他。例えば、何らかのプロトコルにより取得する端末機器機能制御用Ｊａｖａプログラム２５からの家電製品端末機器１１に関する固有のデータ等。に基づいて障害解析、コンサルティングなどのサービスを行うことが可能である。
【００３９】
図１０は、さらに家電製品端末機器１１に対してカスタマーサポートセンターから遠隔操作を続ける場合の処理手順を示している。例えば、問題解決のために、３次元モデルを操作して家電製品端末機器１１を制御する場合等に有効である。
カスタマーサポートセンターのクライアントＰＣ１６におけるユーザのコントロールによって、まず、３次元モデルデータ値が変更される（ステップ１７１）。共有された３次元モデルを通してサーバＰＣ１２上の３次元モデルに同じ操作が再現される（ステップ１７２）。このデータの更新値はサーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５により取得される（ステップ１７３）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１７４）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１７５）。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１７６）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１７７）。３次元モデルは共有されているので、同じ機器の現在状況がカスタマーサポートセンターにおけるクライアントＰＣ１６の３次元モデルにも反映され（ステップ１７８）、両者の３次元モデルは同じ状態を示すことが可能となる。
【００４０】
図１１は、今まで説明した本実施の形態における処理の流れを簡単にまとめて説明するための説明図である。
外出先のクライアントＰＣ１５から「▲１▼３次元モデルの操作」がなされると、サーバＰＣ１２を介して家電製品端末機器１１に「▲２▼操作用制御データによる操作」がなされる。家電製品端末機器１１の操作状況は、「▲３▼操作結果の反映」としてサーバＰＣ１２に送信される。この操作結果の反映は、「▲４▼現在の３次元モデルを取得」として外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６に送られる。カスタマーサポートセンターのクライアントＰＣ１６にて「▲５▼問題解決の為の３次元モデル操作」がサーバＰＣ１２に出されると、サーバＰＣ１２から家電製品端末機器１１に対して「▲６▼操作用制御データによる操作」がなされ、その結果は、「▲７▼操作結果の反映」としてサーバＰＣ１２に送られる。また、外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６に対して「▲８▼操作結果を３次元モデルに反映」した形で送信される。
【００４１】
以上説明したように、本実施の形態によれば、クライアントＰＣ１４，１５とサーバＰＣ１２とは３次元モデルを共有できるので、クライアントＰＣ１４，１５の画面に表示されている３次元モデルの状態（即ち、ユーザが使用中の端末機器の状態）と、カスタマーサポートセンターにおけるクライアントＰＣ１６の画面に表示される３次元モデルの状態を同じとすることができる。クライアントＰＣ１４，１５は、何台あったとしても３次元モデルを共有することが可能となる。
また、カスタマーサポートセンターは、家電製品端末機器１１における３次元モデルの現在の状況に応じて、３次元モデルに対して次の操作を続けるか、取得したユーザの操作ログなどに基づいて障害解析を行って結果をユーザに伝えることができる。このとき、本実施の形態における方法とは無関係な音声の伝達により、別に音声を用いて行われる。
更に、前述のようにカスタマーサポートセンターでクライアントＰＣ１６上の３次元モデルに対して続きの操作を行った場合、３次元モデルは共有されているため、その操作はサーバＰＣ１２経由で家電製品端末機器１１を制御するだけでなく、ユーザのクライアントＰＣ１４，１５画面上の３次元モデルにも操作を再現することが可能である。
【００４２】
次に、本実施の形態の３次元モデル共有クライアント２８にて用いられる３ＤＯｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールについて説明する。
この３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールは、それまでのユーザ操作によるオペレーションを記録・再生するためのモジュールである。即ち、ＶＲＭＬコンテンツ（３次元モデルデータをＶＲＭＬ形式で記述したデータ）を用いた３次元モデルデータの協調作業や、ブラウザ単体での自動反復プレゼンテーションを可能にする方法である。ＶＲＭＬブラウザを通して発生するユーザからのインタラクションを、それをＶＲＭＬ操作イベントとして記録再生するソフトウェアにより記録し、ＶＲＭＬブラウザを通して再生表示することによる。この方法は、ＶＲＭＬコンテンツそのものへの操作イベントを記録再生するものであり、ＶＲＭＬブラウザやそれをプラグインとしているウェブブラウザ２３への操作イベントを記録再生するものではない。
【００４３】
図１２は、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールにおけるソフトウェア構成を示す図である。
同図において、ウェブブラウザ２３は、前述した、ＰＣ上で動作するＷＷＷブラウザである。ＶＲＭＬブラウザ５０は、前述した３次元モデルレンダリングブラウザ２４としてのブラウザであり、ウェブブラウザ２３にプラグインされる実行可能モジュールである。３次元モデルをレンダリングする機能と、ＶＲＭＬ−ＪａｖａＡＰＩをサポートしたブラウザである。ウェブブラウザ２３と協調してＪａｖａプログラムを処理する機能（ＪａｖａＶＭ機能）をサポートしている。例えば、ＩｎｔｅｒＶｉｓｔａ社のＷｏｒｌｄＶｉｅｗＶＲＭＬブラウザにあたる。また、３次元モデル共有クライアント２８は記録再生ソフトウェア５１とコミュニケーションモジュール５２を有しており、記録再生ソフトウェア５１は、後述するアルゴリズムを実装した実行可能なＪａｖａプログラムであり、ＪａｖａＶＭ２１で実行される。この記録再生ソフトウェア５１は、記録モジュールと再生モジュールに分かれている。他のＰＣに操作イベントを送る場合には、操作イベントデータとしてコミュニケーションモジュール５２にデータを渡す。このコミュニケーションモジュール５２は、ネットワークを通して、他のＰＣ上のコミュニケーションモジュールと操作イベントデータの送受信を行っている。
【００４４】
図１３は、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた記録・再生システムの概略構成を示す図である。
同図において、ＶＲＭＬファイル６１は、有るフォーマットに従って書かれた格納ファイルであり、３次元モデルデータの「形」と、どのように動かしたかの情報を格納している。また、テキストファイル６２は、どのように動かしたか、の情報が格納されたファイルである。
記録できる情報は、ＶＲＭＬコンテンツに使われるＳＦＮｏｄｅ，ＳＦＩｍａｇｅを除く、各フィールドタイプの値（具体的には、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎとｏｒｉｅｎｔａｔｉｏｎフィールド値、ＮｅｔｗｏｒｋＳｔａｔｅノードのｖａｌｕｅフィールド値）などの変更操作である。ここには、ＵＲＬの変更やオブジェクトの位置の操作、テキストや他のオブジェクトの追加が含まれる。記録される操作情報は、ＶＲＭＬファイル６１だけ、またはＶＲＭＬファイル６１およびテキストファイル６２の両者に保存されるため、ＶＲＭＬオーサリングツールやテキストエディタによって編集することができる。再生は、先に記録された操作情報のＶＲＭＬブラウザ５０による表示・再生により行う。
【００４５】
次に、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールによるデータの流れを、図１４に示すフローチャートを用いて説明する。
クライアントＰＣ１４，１５からユーザー操作は、例えば画面の中の物を掴んで操作する等、ＶＲＭＬコンテンツの操作により表現される（ステップ１８１）。このＶＲＭＬコンテンツは、ＶＲＭＬブラウザ５０における３次元モデルデータをＶＲＭＬ形式で記述したデータである。ここで、前述の記録再生ソフトウェア５１とＶＲＭＬブラウザ５０を連携させるために、ＶＲＭＬブラウザ５０は、ＶＲＭＬのスクリプト（Ｓｃｒｉｐｔ）ノードが使用可能なＶＲＭＬ−ＪａｖａＡＰＩをサポートしている必要がある。次に、このＶＲＭＬコンテンツの操作は、例えば位置が変わる等、ＶＲＭＬイベントとして取得される（ステップ１８２）。次に、ＶＲＭＬイベントは、イベントの受け手であるＶＲＭＬノードに渡され、Ｊａｖａのプログラムに受け渡せる形に変換される（ステップ１８３）。ここで、ＶＲＭＬノードとは、Ｓｃｒｉｐｔノードにより実装されたＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードとＮｅｔｗｏｒｋＳｔａｔｅノードなどであり、記録再生ソフトウェア５１は、これら各Ｓｃｒｉｐｔノードにより実行される。このＶＲＭＬノードから受け渡されたデータは、記録再生ソフトウェア５１により変換されて（ステップ１８４）、ＶＲＭＬファイル６１のみ、またはＶＲＭＬファイル６１およびテキストファイル６２に格納される。
【００４６】
一方、再生する際には、上述の記録と逆の流れとなる。即ち、ＶＲＭＬファイル６１またはテキストファイル６２から記録再生ソフトウェア５１にデータが読み出される（ステップ１９１）。この記録再生ソフトウェア５１では、ＪａｖａのプログラムでＶＲＭＬノードに渡され（ステップ１９２）、ＶＲＭＬノードではＶＲＭＬイベントに変換し（ステップ１９３）、ＶＲＭＬコンテンツの操作の形で再生される（ステップ１９４）。
【００４７】
次に、ＩＳＯ規格のＶＲＭＬフォーマットをもとに、３次元の位置を表すデータの形を具体的に説明する。
以下に説明するインターポレータは、ＩＳＯ規格で表される、例えばカーソルの位置や色の変化、１つの浮動小数点の値が変化する等、状態変化からなる一般的なイベントを所定の枠組みの値で表し、ＶＲＭＬファイル６１に格納される。一方、ＯＮ／ＯＦＦの繰り返し等、インターポレータで定義されていない動きは、独自フォーマットの形でＶＲＭＬファイル６１あるいはテキストファイル６２に格納される。
【００４８】
あるＶＲＭＬノードによりＶＲＭＬイベントとしてＳＦＦｌｏａｔ型フィールド値が記録されるとする。
時刻 ： ｔ１ ｔ２ ｔ３ ｔ４ ｔ５ …… ｔｎ
フィールド値 ： ｖ１ ｖ２ ｖ３ ｖ４ ｖ５ …… ｖｎ
のように、時刻ｔが変化するにつれてＳＦＦｌｏａｔ型フィールド値ｖが変化したとする。この変化は、記録再生Ｊａｖａソフトウェアにより、ＶＲＭＬのインターポレータノードであるＳｃａｌａｒＩｎｔｅｒｐｏｌａｔｏｒノードを用いて、出力のＶＲＭＬファイル６１に対し、次のように記録される。
この「ｋｅｙ」は、スタートからストップまでの時間全体を１と正規化した場合にサンプリング時刻を示している。また「ｋｅｙＶａｌｕｅ」は、そのサンプリング時刻での形態（位置、色等）を示している。
ＶＲＭＬファイル６１において、記録のためにインターポレータノードを利用するフィールド値は、ＳＦＣｏｌｏｒ，ＳＦＦｌｏａｔ，ＳＦＲｏｔａｔｉｏｎ，ＭＦＶｅｃ３ｆ，ＳＦＶｅｃ３ｆの各型であり、これらはそれぞれ、ＣｏｌｏｒＩｎｔｅｒｐｏｌａｔｏｒ，ＳｃａｌａｒＩｎｔｅｒｐｏｌａｔｏｒ，ＯｒｉｅｎｔａｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ，ＣｏｏｒｄｉｎａｔｅＩｎｔｅｒｐｏｌａｔｏｒ，ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒの各インターポレータノードを利用する（ＳＦＢｏｏｌ型は次のＴｉｍｅＳｅｎｓｏｒノードによる）。インターポレータノードを利用できないフィールド値については、独自フォーマットにより、ＶＲＭＬファイル６１あるいはテキストファイル６２に記述される。
【００４９】
記録再生Ｊａｖａソフトウェアは、ＶＲＭＬファイル６１への出力のため、このインターポレータノードの生成と共に、センサノードも生成する。このセンサノードにより、例えば、先のｔ１からｔｎまでの時間間隔は、動作開始時刻と動作終了時刻として、次のようにＶＲＭＬファイル６１に記録される。
ＴｉｍｅＳｅｎｓｏｒ ［ ｓｔａｒｔＴｉｍｅ ｔ１ ｓｔｏｐＴｉｍｅ ｔｎ ］
【００５０】
ＳＦＢｏｏｌ型の値の変化も、インターポレータノードではなく、このＴｉｍｅＳｅｎｓｏｒノードにより記録される。ｓｔａｒｔＴｉｍｅフィールド値指定による動作開始でｉｓＡｃｔｉｖｅフィールド値がＴＲＵＥ（再生される）、ｓｔｏｐＴｉｍｅフィールド値指定による動作終了でｉｓＡｃｔｉｖｅフィールド値がＦＡＬＳＥ（再生されない）になることを利用するものである。
尚、動作再生のためのこれらインターポレータノードとセンサノードの組み合わせは以下のようになる。
センサＴＳをスタートさせることで、インターポレータＳＩに格納された値の変化が再生される。
【００５１】
次に、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた（１）データ準備、（２）データの記録、（３）データの読み込み、（４）操作イベントの再生について、図１５（ａ），（ｂ）および図１６（ａ），（ｂ）を用いて説明する。
ここで、図１５（ａ），（ｂ）は、データの記録および操作イベントの再生における概略構成を説明するための図であり、図１６（ａ） ，（ｂ）は、記録時および再生時における記録再生ソフトウェア５１での処理の流れを示すフローチャートである。
【００５２】
（１）データ準備
３次元モデルデータであるＶＲＭＬコンテンツファイルは、ＬｉｖｉｎｇＷｏｒｌｄｓノードを含んだＶＲＭＬ形式である。このファイルがウェブブラウザ２３にプラグインされたＶＲＭＬブラウザ５０に読み込まれ、ＶＲＭＬブラウザ５０のウィンドウ内に３次元モデルが表示される。この記録再生ソフトウェア５１は、ＶＲＭＬブラウザ５０と協調しながら、ＪａｖａＶＭ２１（図１２参照）上で動作する、ウェブブラウザ２３があるＰＣにインストールされるＪａｖａプログラム、或いは、ネットワーク経由でダウンロードされるＪａｖａプログラムである。
【００５３】
（２）データの記録
図１５（ａ）および図１６（ａ）を用いて説明する。
記録再生ソフトウェア５１は、まず、ＶＲＭＬコンテンツを読み込み（ステップ２０１）、読み込んだＶＲＭＬコンテンツをブラウザで表示する。ユーザからの操作、あるいは、自動で、ＶＲＭＬイベントである操作イベントの取得を開始する（ステップ２０２）。記録再生ソフトウェア５１は、ＶＲＭＬコンテンツ中に指定されたＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎ，ｏｒｉｅｎｔａｔｉｏｎフィールド値とＮｅｔｗｏｒｋＳｔａｔｅノードのｖａｌｕｅフィールド値などの変化を、時刻と共に記録する（ステップ２０４）。ここでは、ローカルユーザ（自己のマシンのユーザ）による操作イベントだけではなく、ネットワークで送られてくる操作イベントも記録の対象となる。それぞれの送られてくる操作イベントは、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードが含まれているファイルのＵＲＬと、そのファイル内でのＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードの順位、ＮｅｔｗｏｒｋＳｔａｔｅノードのタグ（ｔａｇ）フィールドをＩＤとして識別することができる。
【００５４】
記録再生ソフトウェア５１は、コミュニケーションモジュール５２（図１２参照）を通し、必要に応じて、この操作イベントをネットワークに送り出す。他のコンピュータ上の記録再生ソフトウェア５１が、コミュニケーションモジュール５２を介して、この操作イベントを受け取って同じ操作（同じフィールド値の更新）として再生すれば、操作イベント送り側と同じコンテンツ変更を発生させることができる。即ち、同期が取られることになる。
【００５５】
ユーザからの指示あるいは自動で、操作イベントの取得は停止される。取得した時刻とフィールド値の変化は、ＶＲＭＬファイルへの記録のために、前述のインターポレータとセンサとして変換される。また、インターポレータノードを利用できないフィールド値の変化については、独自フォーマットに変換される（ステップ２０５）。記録再生ソフトウェア５１は、蓄積した記録データをＶＲＭＬデータとテキストデータとして、ＶＲＭＬファイル６１とテキストファイル６２に保存する（ステップ２０６）。ＶＲＭＬファイル６１として保存されるデータは、ＳＦＢｏｏｌ，ＳＦＣｏｌｏｒ，ＳＦＦｌｏａｔ，ＳＦＲｏｔａｔｉｏｎ，ＭＦＶｅｃ３ｆ，ＳＦＶｅｃ３ｆについてのものであり、その値の変化は、時刻と共にセンサノードとインターポレータノードを使い、記録も含めた全コンテンツ（ステップ２１２用）として記述される。それ以外のフィールドタイプの場合は、テキストファイル６２として独自のフォーマットで、記録部分コンテンツ（ステップ２１４用）として記述される。以上の流れによって記録時におけるコンテンツ表示が終了する（ステップ２０７）。
【００５６】
（３）データの読み込み
図１５（ｂ）、図１６（ｂ）に示すように、まず、前で全コンテンツとして記述された場合、記録再生ソフトウェア５１により記録も含めて追加された全コンテンツが読み込まれる（ステップ２１２）。あるいは、前で記録部分コンテンツとして記述した場合、記録再生ソフトウェア５１により元のＶＲＭＬコンテンツが読み込まれる（ステップ２１１）。即ち、元のコンテンツファイルと、操作イベントが記録されたテキストフォーマットの記録部分コンテンツファイルが読み込まれる（ステップ２１４）。このとき、元のコンテンツと記録部分コンテンツを関連付けるデータは別に用意される。
【００５７】
（４）操作イベントの再生
図１５（ｂ）、図１６（ｂ）を用いて説明する。ここでは、コンテンツの再生は、時刻管理と共に記録再生ソフトウェア５１が行っている。まず、記録再生ソフトウェア５１は、ステップ２１１またはステップ２１２にて読み込まれたコンテンツをブラウザ表示する（ステップ２１３）。部分的な場合には、元にあったコンテンツの外に、記録部分コンテンツを読み込む（ステップ２１４）。部分的に読み込んだコンテンツと元のコンテンツとの関係を示すために、規格にあるルート（ＲＯＵＴＥ）にて接続する（ステップ２１５）。表示するときは、センサーノードのスタート・ストップによる再生動作開始に応じて、インターポレータにより変化が再生される（ステップ２１６）。次に、センサノードとインターポレータノードなどからの出力を、何秒にどう言う値になるか、を示す時刻と値として取得する（ステップ２１７）。そして、センサノードとインターポレータノードなどからの出力を、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎ，ｏｒｉｅｎｔａｔｉｏｎフィールドやＮｅｔｗｏｒｋＳｔａｔｅノードのフィールドに、値の変化としてセットする。記録再生ソフトウェア５１は、コミュニケーションモジュール５２（図１２参照）を介し、必要に応じて同じ操作イベントをネットワークに送り出す（ステップ２１８）。一方、ネットワークから受け取った操作イベントは、該当のフィールドにセットされることで、協調した自動再生が可能となる。
【００５８】
次に、本実施の形態を用いた使用例について説明する。
前述のように、Ｊｉｎｉ対応の家電製品端末機器１１にＪａｖａが組み込まれると、家庭内ネットワークに繋がれたこれらの家電製品端末機器１１は、外部からの遠隔的な操作も可能となる。そこで、各家電製品メーカーには、製品そのものに関する操作系も含めた３次元モデルを、ＶＲＭＬファイルとＪａｖａファイルによりＣＤ−ＲＯＭで提供させる。尚、必ずしも家電製品端末機器１１自身がＣＤ−ＲＯＭ読み取り装置を備えていて、このＣＤ−ＲＯＭを読めるように構成する必要はない。
【００５９】
各Ｊｉｎｉ対応家電製品端末機器１１は、ネットワーク１３を介し、Ｊｉｎｉルックアップサーバモジュールを持ちコントローラとなるサーバＰＣ１２に認識される。接続された全てのＪｉｎｉ対応の家電製品端末機器１１については、このサーバＰＣ１２によって集中的に管理できることになる。
外出後、帰宅前に、炊飯器のスイッチを入れておきたい、ビデオの予約を忘れたので録画をスタートさせたい、暑いので小窓をちょっと開けておきたい、といった時がある。このような時には、外出先のクライアントＰＣ１５からダイアルアップなどによるネットワークを介して家庭内にある上述のサーバＰＣ１２に接続し、処理をさせたい家電製品端末機器１１を呼び出して、本方法による遠隔操作を行う。
【００６０】
遠隔操作中の画面に表示される操作対象は、実際にその場にいて現物を手で操作するのと同じインターフェイスであることが望ましい。普段、これこれのスイッチをこの順番で押しているという、そのままの操作行為が、遠隔操作中のクライアントＰＣ１５における画面に表示された３次元モデルを通しても同様に行えるということが重要である。即ち、普段、家庭内では目にすることのない長々とした説明文や操作パネルがクライアントＰＣ１５に表示されることは好ましくない。その場にいても操作がままならない高齢者等に対し、遠隔操作中のみ特別な操作を強いることは好ましくなく、更に一層の不便を感じさせてしまうからである。
【００６１】
このように、本方法では、遠隔操作中も、普段、目にするのと同じような形状と、同じような操作系を持ったＶＲＭＬによる３次元モデルを画面上で操作させることが可能である。その操作の結果についても、画面の３次元モデルに反映させて、どのように動いたか、また、どの位置まで開いたか、などをユーザが確認できるように表示する。この３次元モデルは、上述のＣＤ−ＲＯＭなどで提供されるものであり、サーバＰＣ１２は、事前にＣＤ−ＲＯＭからデータを取り込んでおき、一連の操作のユーザインターフェイスについて、表示処理を行ってから操作結果だけを家電製品に反映させる。
【００６２】
次に、外出先から数人の家族が家電製品を操作することを考える。
家族が共に外出している場合、例えば、家族の一人がビデオのスイッチを遠隔で操作したとすると、その操作状態は、常に他の利用者の表示にも反映されている必要がある。ここで、本手法の共有された３次元モデルが使われる。共有された３次元モデルは、どのクライアントＰＣ１５、サーバＰＣ１２においても同じ状態を示している。
途中まで操作した段階で以降の操作手順がわからなくなった場合には、遠隔地のメーカであるカスタマーサポートセンターのクライアントＰＣ１６に連絡をすれば良い。カスタマーサポートセンターにサーバーＰＣ１２経由により今の製品状態を見てもらい、製品の状態が正しいかどうか、次の操作をどう続けるべきかについて、クライアントＰＣ１５のユーザも、操作の状態を同時に見ながら教えてもらうことができる。これも本手法の共有された３次元モデルに基づくものである。
３次元モデルがオンラインヘルプマニュアルとしても作成・提供されていれば、カスタマーサポートセンターのクライアントＰＣ１６まで問い合わせなくても、サーバＰＣ１２上に表示される３次元モデルをウェブブラウザ２３のヘルプ画面に従いながら操作することで、目的の操作を続けることが可能である。
【００６３】
カスタマーサポートセンターのクライアントＰＣ１６では、サーバＰＣ１２で取得できるユーザの操作ログを入手し、問い合わせが来る前の操作の様子や使い勝手を左右していると推測される頻繁な操作の様子のデータを取得することができる。これらのデータは、問題解決のための時間短縮や、次期製品へのフィードバックとして役立てることができる。
【００６４】
以上、詳細に説明したように、本実施の形態によれば、文字や言葉だけで人に説明することが一般的に難しい、例えば家電製品等で操作ボタンや操作用スライドの位置や動かし方を、３次元モデルによって簡単に説明することができる。即ち、普段、使い慣れた家電製品等であっても、電話を通して遠隔地から現場にいる人に操作を教えることは、操作が直感的でなく難しい。しかし、本実施の形態によれば、文字や言葉だけではなく、現物の製品と同じ幾何形状をした３次元モデルを使って製品の操作を遠隔的に行えることから、文字や言葉による操作説明の困難さを解決することができる。
【００６５】
また、本実施の形態によれば、３次元モデルを複数のユーザ間で共有して、操作を視覚的に確認することができる。更に、このユーザ間は、家電製品等のユーザ間だけではなく、ユーザとその家電製品メーカのカスタマーサポートセンター担当者との間でも、製品の現在の状態を示す３次元モデルを共有することが可能である。その結果、それまでの操作状況や次に行うべき操作の指示を、カスタマーサポートセンター担当者とユーザとの間で、現物の製品と同じ幾何形状をした３次元モデルを使ってやり取りすることができる。これにより、製品のユーザが、製品メーカのカスタマーサポートセンター担当者に問題点を伝える際に、操作説明を簡単に行うことが可能となる。
【００６６】
尚、本実施の形態では、３次元モデルを用いた操作について説明してきたが、３次元モデルと同様に、端末機器の操作概要が理解できるものであれば、２次元等のモデルでも代用することも可能である。また、製品端末機器としては、家電製品を中心に説明してきたが、事務機器等の他の製品端末機器においても適用されることは言うまでもない。更に、必ずしも全ての製品端末機器がネットワークに接続されている必要はなく、場合によっては、遠隔操作の機能を外し、接続されていない製品端末機器の情報を３次元モデルデータにて確認することも可能である。
【００６７】
また更に、これらの実施形態を実行するためのソフトウェアは、ＣＤ−ＲＯＭ等の記憶媒体を介してサーバＰＣ１２やクライアントＰＣ１４，１５，１６にインストールすることで実行させることができる。その態様として、例えばサーバＰＣ１２では、図３にて詳述したソフトウェアにおける、端末機器機能制御用Ｊａｖａプログラム２５、３次元モデルデータ２６、オンラインヘルプ用テキストファイル２７、３次元モデル共有クライアント２８、３次元モデル共有サーバ２９をインストールすることが挙げられる。また、クライアントＰＣ１４，１５，１６の態様では、図３に示した３次元モデルデータ２６、３次元モデル共有クライアント２８のインストールの態様が挙げられる。また、予めハードディスク等の記憶媒体にインストールされている場合もある。
【００６８】
また、ＣＤ−ＲＯＭ等の記憶媒体を介さずにネット等を介してソフトウェアをダウンロードすることによっても達成できる。その際には、プログラムを記憶する記憶手段と、そのプログラムを読み出して送信する送信手段をＰＣ等に具備させ、インターネット等に接続されたプログラムを実行する例えばクライアントＰＣ１４，１５，１６からの要求によってそのＰＣにダウンロードさせるように構成すれば良い。また、サーバＰＣ１２が、このようなプログラム伝送装置としての機能を備え、各クライアントＰＣ１４，１５，１６に対しても同様なプログラムインストール方法をもって、これらの実施形態におけるクライアントサーバーシステムを形成することが可能である。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、家電製品等の端末装置に対して、従来の文字や言葉による操作説明の困難さを解決し、遠隔地からの操作説明を簡略化することができる。
また、遠隔地の複数ユーザ間で端末装置の操作を共有化し、端末装置の現在の状態やそれまでの操作状況を、例えば３次元モデルとして共有化することで、複数ユーザ間での円滑な操作を図ることができる。
また、ユーザーによる操作ログを記録・再生することができるので、端末装置の問題点把握等を迅速かつ適切に行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態におけるシステム構成を示したハードウェア構成図である。
【図２】ハードウェア構成におけるデータの流れ（概略）を示す図である。
【図３】本実施の形態におけるソフトウェア構成を示す構成図である。
【図４】ソフトウェア構成によるデータの流れを説明するための図である。
【図５】データ登録時の状態を説明するための概念図である。
【図６】データ登録時におけるサーバＰＣ１２での処理手順を示すフローチャートである。
【図７】３次元モデルによる端末操作の際におけるサーバＰＣ１２における処理手順を示したフローチャートである。
【図８】クライアントＰＣ１４，１５での処理手順を示したフローチャートである。
【図９】カスタマーサービスセンターにおけるクライアントＰＣ１６からの端末操作の流れについて示したフローチャートである。
【図１０】カスタマーサポートセンターから遠隔操作を続ける場合の処理手順を示したフローチャートである。
【図１１】本実施の形態における処理の流れを簡略化して説明するための説明図である。
【図１２】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールにおけるソフトウェア構成を示す図である。
【図１３】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた記録・再生システムの概略構成を示す図である。
【図１４】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールによるデータの流れを示したフローチャートである。
【図１５】（ａ），（ｂ）は、データの記録および操作イベントの再生における概略構成を説明するための図である。
【図１６】（ａ） ，（ｂ）は、記録時および再生時における記録再生ソフトウェア５１での処理の流れを示すフローチャートである。
【符号の説明】
１１…家電製品端末機器、１２…サーバＰＣ、１３…ネットワーク、１４，１５，１６…クライアントＰＣ、１７…ネットワーク、２１…ＪａｖａＶＭ、２２…端末機器制御用Ｊａｖａプログラム、２３…ウェブブラウザ、２４…３次元モデルレンダリングブラウザ、２５…端末機器機能制御用Ｊａｖａプログラム、２６…機器形状・動作を含んだ３次元モデルデータ（３次元モデルデータ）、２７…オンラインヘルプ用テキストファイル、２８…３次元モデル共有クライアント、２９…３次元モデル共有サーバ、３１…メディア、５０…ＶＲＭＬブラウザ、５１…記録再生ソフトウェア、５２…コミュニケーションモジュール、６１…ＶＲＭＬファイル、６２…テキストファイル
【発明の属する技術分野】
本発明は、家庭電化製品等の製品端末機器に対し、遠隔地からの操作や確認等を行うための、リモートコントロールシステム、製品端末機器操作方法等に関する。
【０００２】
【従来の技術】
近年、家電製品やオフィス機器等の技術革新に伴い、これらの端末機器が多機能化、複雑化する傾向にある。そのために、これらの端末機器を操作するユーザにとって、端末機器の操作がより困難となり、端末機器に備えられた操作マニュアル等だけでは、端末機器の動かし方を正確に理解することが困難な状況にある。その結果、これらのユーザをサポートするためのカスタマーサポートセンターへの問い合わせ件数が増大し、カスタマーサポートセンターの人員補強等、端末機器を提供する企業にとっては多大な負担が発生していた。
【０００３】
また、これらの問い合わせ件数の増大と共に、家電製品等の端末機器における操作ボタンや操作用スライドの位置、その動かし方を、文字や言葉だけで人に説明することは非常に難しいことも問題となる。普段、使い慣れた家電製品であっても、電話を通して遠隔地から現場にいるユーザに操作を教えることは非常に難しい。その結果、１件あたりの問い合わせに対応するための回答時間も長くなり、カスタマーサポートセンターへの負担は計り知れないものとなっていた。
【０００４】
更にまた、ユーザからの問い合わせは単純な操作説明だけではなく、端末機器における故障等のトラブルに起因する場合もある。かかる場合に、カスタマーサポートセンターでは故障箇所を特定する必要があり、ユーザに過去の操作を質問したり、また、現状の端末機器のトラブル状況をユーザに正確に説明してもらう必要がある。しかしながら、端末機器を熟知していないユーザから過去の操作の説明や、トラブル状況を把握することは困難であり、また、ユーザにとっても、カスタマーサポートセンターの担当者が用いる専門用語に付いて行く事ができずに、しばしば、トラブル修復を断念せざるを得なくなっていた。
【０００５】
一方、故障診断に関しては、従来、遠隔故障診断サービスが存在している。これは、例えば、自動旋盤等の製造機器やファクシミリや複写機等のＯＡ機器において、遠隔地のサービスセンターにてユーザ装置の故障を診断し、素早い対応を実現するものである。より具体的には、ユーザ装置においてアラームの履歴や操作履歴を保存し、主要なトラブルの発生をトリガとしてダイアルアップし、電話回線を介してサービスセンターにエラー状況を送出するものである。
【０００６】
【発明が解決しようとする課題】
ここで、自動旋盤などの工作機械のように、高価で且つ出荷台数が限られるものであれば、個々の機器がそれぞれにサービスセンターと接続される形態を取ることも可能である。しかしながら、家電製品等の大量製品機器に対して全てに接続のための装置や操作を付加することは、コストがかかりすぎることや操作も複雑になってしまうことから妥当ではない。また、現状のＯＡ機器に代表される遠隔故障診断サービスでは、ユーザを介さずにトラブルの診断等を実施する技術に留まっており、端末機器の操作を遠隔的に実施することや、ユーザに対して操作の指示を行うことまでは全く意図されていなかった。
【０００７】
一方、近年、パソコンやＡＶ機器、家電製品等の異なる機器をネットワークにより接続し、相互に接続するためのＪａｖａ技術として、「Ｊｉｎｉ」が開発されている。このソフトウェアは、米サン・マイクロシステムズ社が開発中の分散オブジェクト技術であり、オブジェクト同士が非同期の通信手順を使ってメッセージのやり取りをする機能を提供するソフトなどからなり、処理のスピードなどが異なるさまざまな種類の機器をネットワーク接続することを目的として開発されたソフトウェアである。しかしながら、この「Ｊｉｎｉ」では、ネットワーク接続時、接続された各機器は、搭載されたＪａｖａコードにより自身を選定して機器相互の利用が可能となる手法に留まっており、サーバから各端末機器を制御するための内容については何ら触れられていない。その為、遠隔地からの操作説明の簡単化や、遠隔地からの操作の簡略化を図るためには、解決すべき多くの技術を提供する必要がある。
【０００８】
本発明は以上のような技術的課題を解決するためになされたものであって、その目的とするところは、家電製品等の端末装置に対して、従来の文字や言葉による操作説明の困難さを解決し、遠隔地からの操作説明を簡略化することにある。また他の目的は、遠隔地の複数ユーザ間（例えばクライアントとカスタマー）で端末装置の操作を共有化し、端末装置の現在の状態やそれまでの操作状況を、例えば３次元モデルとして共有化することで、複数ユーザ間での円滑な操作を図ることにある。
更に他の目的は、例えば３次元モデルデータへのユーザ操作に基づき、その操作結果を該当する端末装置に送信し、ユーザによる端末機器の遠隔操作を可能とすることにある。
また更に他の目的は、ユーザからのインタラクションを操作ログとして記録・再生して、迅速にかつ適切に端末装置の問題点把握を行うことにある。
【０００９】
【課題を解決するための手段】
かかる目的のもと、本発明のリモートコントロールシステムは、制御プログラムを有する製品端末機器と、この製品端末機器に接続されて制御データを送信すると共に、製品端末機器に関する３次元モデルデータが登録されたサーバと、このサーバに接続されると共に、サーバから３次元モデルデータを受信するクライアントと、を備え、このクライアントは、サーバから他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータを受信し、端末機器幾何形状データを含む３次元モデルデータに対して操作を加え、この操作により更新された３次元モデル更新データをサーバに対して送信し、このサーバは、クライアントから送信された３次元モデル更新データに基づく制御データを製品端末機器に対して送信することを特徴としている。
この製品端末機器の有する制御プログラムとして、例えばＪｉｎｉ( 商標 )対応の製品端末機器であれば、インタープリタであるＪａｖａ( 商標 )ＶＭ(Virtual Machine)により、製品端末機器上でＪａｖａプログラムを実行させることが可能である。
【００１０】
また、このサーバは、クライアントからの３次元モデル更新データに基づいて製品端末機器に対して操作用制御データを送信し、この製品端末機器は、サーバから送信された操作用制御データを制御プログラムが解釈して製品端末機器を操作すると共に、操作結果を操作結果反映用制御データとしてサーバに対して送信することを特徴とすることもできる。このように構成すれば、例えばネットワーク等を介して接続されたサーバ上の制御用Ｊａｖａプログラムと製品端末機器との間で制御用データの送受信を行うことができ、製品端末機器の操作と操作結果の確認が可能となる点で好ましい。
【００１１】
更に、このサーバは、製品端末機器から送信された操作結果反映用制御データに基づいて製品端末機器の現在状態を３次元モデルデータに反映すると共に、反映された３次元モデルデータをクライアントに対して送信することを特徴とすることもできる。このように構成することで、遠隔地から操作したクライアントに対して操作結果を報告することができる点で優れている。
更に、遠隔からの操作を実際に行わなかった他のクライアントに対しても、反映された３次元モデルデータを送信するように構成することもできる。このように構成すれば、例えばカスタマーサポートセンター等の他のクライアントとで現在の製品端末機器の状態を共有することが可能となる。
尚、本発明における３次元モデルデータを、オンラインヘルプマニュアルの図として利用する場合には、３次元モデルデータは、オンライン取扱説明書の該当する説明文書部分にハイパーリンクを設定するように構成することも可能である。このように構成すれば、３次元モデルデータを簡単に読み出すことで、３次元で図示することが可能となる。
【００１２】
また、本発明のサーバ・クライアントシステムは、接続された製品端末機器に関するＪａｖａプログラムファイルを含む３次元モデルデータが格納されたサーバと、このサーバに対してネットワークを介して接続され、サーバが格納している３次元モデルデータの中から端末機器幾何形状データを含む特定の３次元モデルデータを呼び出して表示する第１のクライアントと、サーバに対してネットワークを介して接続されると共に、この第１のクライアントが呼び出している３次元モデルデータのＵＲＬをウェブブラウザにより指定し、サーバから第１のクライアントと共有する端末機器幾何形状データを含むこの３次元モデルデータをダウンロードして表示する第２のクライアントと、を備えたことを特徴とすることができる。このように構成すれば、サーバにある３次元モデルデータをサーバに接続したクライアント間で共有することが可能となる。このクライアントとしては、製品端末機器のユーザだけでなく、製品端末機器のメーカ担当者によるものも含まれる。
【００１３】
更に、このサーバに格納されたＪａｖａプログラムファイルからなる３次元モデルデータは、製品端末機器を操作するプログラムを含み、第１のクライアントおよび第２のクライアントは、操作された製品端末機器における現在の状態を３次元モデルデータの値に反映して表示することを特徴とすれば、例えば、第１のクライアントであるユーザの操作に基づく製品端末機器の現在状態を、第２のクライアントでも共有することが可能となる。
特に、この第１のクライアントおよびこの第２のクライアントの何れか１つは、製品端末機器のサポートを行うカスタマーサポートセンターのコンピュータ装置であることを特徴とすれば、ユーザとカスタマーサポートセンターとの間で、機器操作に基づく状態を３次元モデルで共有することが可能となり、円滑なコミュニケーションを図ることができる。その結果、例えば、カスタマーサポートセンターによるユーザへの回答時間の短縮化が図れる点で優れている。
【００１４】
また、本発明を適用した製品端末機器の制御用サーバは、内部ネットワークに接続された製品端末機器に対する制御用データの送受信を行うと共に、この製品端末機器の機能を制御するための端末機器機能制御用プログラムと、製品端末機器の幾何形状データと、端末機器機能制御用プログラムにより受信された製品端末機器の操作結果を反映する機器動作データとを含む、クライアントと共有するための３次元モデルデータと、ユーザによる操作を操作イベントとして記録すると共に、必要に応じて再生するモジュールと、を備えたことを特徴としている。このように構成したサーバでは、ユーザによる操作のログを記録することができる。この記録を、例えばカスタマーセンターのクライアントで利用するように構成すれば、ユーザの過去の操作に基づくトラブルへの対処が適切に実行できる点で好ましい。
【００１５】
このモジュールは、ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ：インターネット上で扱う３次元コンピュータグラフィックスを記述するための言語仕様）ブラウザを通して発生するユーザからの操作を、ＶＲＭＬ操作イベントとして記録・再生するソフトウェアを用いて記録すると共に、このＶＲＭＬブラウザを通して再生表示することを特徴とすることもできる。
言い換えれば、このユーザーによる操作は、ＶＲＭＬブラウザにおける３次元モデルデータをＶＲＭＬ形式で記述したデータであるＶＲＭＬコンテンツの操作により表現されることを特徴とすることができる。
更に、外部ネットワークに接続されたクライアントと、この外部ネットワークを介して操作イベントの送受信を行うモジュールと、を更に備えたことを特徴とすれば、外部ネットワークに接続されたクライアントに対してユーザによる操作ログの記録を提供することが可能となり、例えば、ユーザが途中まで操作した段階で、以降の操作手順がわからなくなった場合でも、遠隔地のカスタマーサポートセンターにて操作ログの記録と今の製品状態を把握してもらう等への応用が可能となる。
【００１６】
また、本発明は、クライアントから遠隔地の製品端末機器を操作する製品端末機器操作方法であって、クライアント上のウェブブラウザで製品端末機器に対応するＵＲＬを指定して他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータをダウンロードするステップと、ダウンロードされた端末機器幾何形状データを含む３次元モデルデータをレンダリングすると共に、ＵＲＬの指定で関連付けられている制御プログラムを読み込むステップと、この制御プログラムに基づいてクライアント上でレンダリングされた３次元モデルをユーザが操作することにより、この操作に応じた操作用制御データを製品端末機器に送出するステップと、を含むことを特徴とすることができる。
【００１７】
この操作用制御データを製品端末機器に送出するステップは、クライアントによる３次元モデルの操作によって３次元モデルデータの更新値をサーバに対して送信するステップと、受信した更新値に基づいて、このサーバが製品端末機器に対して操作用制御データを送信するステップと、を含むことを特徴とすることができる。
また、製品端末機器から操作結果反映用制御データをサーバに対して送信するステップと、送信された操作結果反映用制御データを３次元モデルデータに反映してサーバからクライアントに対して送信するステップと、を更に備えたことを特徴とすることもできる。
【００１８】
また、本発明は、複数のクライアント間にて製品機器に関する情報を共有する機器情報共有方法であって、第１のクライアント上のウェブブラウザで製品機器に対応するＵＲＬを指定して製品機器の端末機器幾何形状データを含むモデルデータをダウンロードするステップと、ダウンロードされた端末機器幾何形状データを含むモデルデータをレンダリングするステップと、この第１のクライアント上でレンダリングされたモデルを操作することにより生成された共有用データを送出するステップと、第２のクライアント上のウェブブラウザでＵＲＬを指定してモデルデータをダウンロードするステップと、この第１のクライアントから送出された共有用データを受信すると共に、この共有用データに基づいてモデルデータのデータ値を更新するステップと、更新されたモデルデータをレンダリングするステップと、第２のクライアント上でレンダリングされた更新モデルを操作することにより形成された共有用データを送出するステップとを含むことを特徴としている。これらの構成によれば、文字や言葉ではなく、例えば、現物の製品と同じ幾何形状をした３次元モデルを用いて製品の操作を遠隔的に行うことが可能となり、文字や言葉による操作説明の困難さを解決している。
【００１９】
また、本発明は、コンピュータに実行させるプログラムをこのコンピュータが読取可能に記憶した記憶媒体において、このプログラムは、クライアントと共有するためのネットワークに接続された製品端末機器に関する端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含むこの３次元モデルデータをレンダリングする処理と、呼び出されたこの３次元モデルデータに関連する制御用ファイルを呼び出す処理と、製品端末機器から制御データを受信し、受信したこの制御データを端末機器幾何形状データを含む３次元モデルデータに反映する処理と、をコンピュータに実行させることを特徴とすることもできる。
また、このプログラムは、外部ネットワークに接続されたクライアントからの３次元モデルデータの更新値を受信し、製品端末機器に対して制御データを送信する処理と、を更に備えたことを特徴とすることもできる。
【００２０】
また、本発明は、コンピュータに実行させるプログラムをこのコンピュータが実行可能に記憶した記憶媒体において、このプログラムは、外部ネットワークを介して他のクライアントと共有する端末機器幾何形状データを含む製品端末機器に関する３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含むこの３次元モデルデータをレンダリングする処理と、呼び出された３次元モデルデータに関連する制御用ファイルを呼び出す処理と、呼び出したこの制御用ファイルにより得られたデータを３次元モデルデータに反映する処理と、ユーザによる３次元モデルの操作に基づいて３次元モデルデータの値を変更する処理と、をコンピュータに実行させることを特徴としている。
尚、これらの記憶媒体としては、例えばＣＤ−ＲＯＭやフロッピー( 商標 )ディスク等があり、その種類が問われるものではない。
【００２１】
また、本発明を提供するプログラム伝送装置としては、外部ネットワークを介して端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、呼び出された端末機器幾何形状データを含む３次元モデルデータをレンダリングする処理と、呼び出された３次元モデルデータに関連する制御用ファイルを呼び出す処理と、呼び出した制御用ファイルにより得られたデータを３次元モデルデータに反映する処理と、ユーザによる３次元モデルの操作に基づいて３次元モデルデータの値を変更する処理とを実行するプログラムを記憶する記憶手段と、この記憶手段からプログラムを読み出してこのプログラムを外部コンピュータに対して送信する送信手段と、を備えたことを特徴としている。この構成では、例えば、本発明を実施しようとするＰＣ（パーソナルコンピュータ）に対してプログラムを転送する場合が含まれる。
【００２２】
【発明の実施の形態】
図１は、本実施の形態におけるシステム構成を示したハードウェア構成図である。同図において、符号１０は家庭内ネットワークシステムを示しており、家電製品等の家電製品端末機器１１と、サーバＰＣ１２がイントラネット等の内部ネットワークであるネットワーク１３を介して接続されている。場合によっては、クライアントＰＣ１４もネットワーク１３に接続される場合がある。また、このサーバＰＣ１２は、インターネット等の外部ネットワークであるネットワーク１７を介して外出先のクライアントＰＣ１５やカスタマーサポートセンターのクライアントＰＣ１６と接続されている。
この家電製品端末機器１１は、ＪａｖａＶＭ（Ｊａｖａ Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：Ｊａｖａ仮想マシン）が動作するＪｉｎｉ対応の端末機器であり、サーバＰＣ１２と制御データの送受信を行っている。尚、ここで制御データとは、家電製品端末機器１１の操作用制御データおよび操作結果反映用制御データを含むものである。また、サーバＰＣ１２は、クライアントＰＣ１４，１５，１６と３次元モデル共有用データの送受信を行っている。
【００２３】
図２は、これらのハードウェア構成におけるデータの流れ（概略）を示したものである。クライアントＰＣ１４，１５，１６は、サーバＰＣ１２に登録された３次元モデルデータの一つを呼び出す。クライアントＰＣ１４，１５，１６による操作はサーバＰＣ１２への３次元モデル共有用データとして反映される。これを受けてサーバＰＣ１２からネットワーク１３を介して操作用制御データが家電製品端末機器１１に対して送られ、結果としてクライアントＰＣ１４，１５，１６による遠隔制御がなされる。遠隔制御の結果は、操作結果反映用制御データとして家電製品端末機器１１からサーバＰＣ１２に送られ、３次元モデル共有用データとしてサーバＰＣ１２からクライアントＰＣ１４，１５，１６に送られている。
【００２４】
次に、本実施の形態におけるソフトウェア構成について説明する。
図３は、本実施の形態におけるソフトウェア構成を示している。ＪａｖａＶＭ２１は、Ｊｉｎｉ対応の家電製品端末機器１１上でＪａｖａプログラムを動作させることができるＪａｖａ Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ（Ｊａｖａ仮想マシン）である。このソフトは、サーバＰＣ１２、家庭内クライアントＰＣ１４、外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６においても、それぞれの実行環境として備えられている。
端末機器制御用Ｊａｖａプログラム２２は、Ｊｉｎｉ対応の家電製品端末機器１１上のＪａｖａＶＭ２１で動作する実行可能ファイルであり、サーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５（後述）とネットワーク１３を介して制御用データの送受信を行い、受信した制御用データに基づいて家電製品端末装置１１を操作し、操作結果をサーバＰＣ１２に送信している。
【００２５】
一方、ウェブブラウザ２３は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６上で動作するＷＷＷブラウザであり、Ｊａｖａプログラムを処理する機能（ＪａｖａＶＭ機能）をサポートしている実行可能モジュールである。例えばＮｅｔｓｃａｐｅ社ＣｏｍｍｕｎｉｃａｔｏｒやＭｉｃｒｏｓｏｆｔ社Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒが該当する。
また、３次元モデルレンダリングブラウザ２４は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６に設けられ、ウェブブラウザ２３にプラグインされる実行可能モジュールであり、３次元モデルデータを読み込みレンダリングする機能（ＪａｖａＶＭ機能）をサポートしたブラウザである。ウェブブラウザ２３と協調してＪａｖａプログラムを処理する機能をサポートしており、例えば、ＩｎｔｅｒＶｉｓｔａ社ＷｏｒｌｄＶｉｅｗ ＶＲＭＬブラウザにあたる。尚、このウェブブラウザ２３と３次元モデルレンダリングブラウザ２４は別々のソフトウェアである必要はなく、両機能をサポートしているブラウザで代替することも可能である。
【００２６】
端末機器機能制御用Ｊａｖａプログラム２５は、サーバＰＣ１２内に設けられ、３次元モデルレンダリングブラウザ２４で表示される端末機器幾何形状データと動作データを含んだ３次元モデルデータを通して、家電製品端末機器１１の機能を制御するための実行可能なＪａｖａプログラムである。前述した端末機器制御用Ｊａｖａプログラム２２とネットワーク１３を介して制御用のデータを送受信している。より具体的には、家電製品端末機器１１の機能を制御する操作用制御データを送信し、操作結果反映用制御データを受信して、３次元モデルレンダリングブラウザ２４の３次元モデルデータに受信結果を反映できるように機能している。
また、機器形状・動作を含んだ３次元モデルデータ２６は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６内に設けられ、３次元モデルレンダリングブラウザ２４で表示される端末機器幾何形状データや機器動作データを含んだ３次元モデルデータである。例えば、ＪａｖａプログラムファイルとＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）ファイルで構成されている。オンラインヘルプ用テキストファイル２７は、サーバＰＣ１２内に設けられ、３次元モデルデータ各部からハイパーリンクされたテキストファイルである。例えば、ＨＴＭＬで記述され、３次元モデル、即ち端末機器の各部の説明を記したウェブページである。３次元モデルに対するユーザのクリック操作により、クリックされた部分の説明がウェブブラウザ２３に表示されるように機能している。
【００２７】
３次元モデル共有クライアント２８は、サーバＰＣ１２およびクライアントＰＣ１４，１５，１６内に設けられ、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールとコミュニケーションモジュールの実行可能モジュールからなる。このコミュニケーションモジュールは、ネットワークを介して３次元モデル共有サーバ２９（後述）の３次元モデル共有サーバモジュールと、３次元モデル共有用データ（共有用変更データと共有用更新データ）の送受信を行う。また、このコミュニケーションモジュールは、ネットワークを介して３次元モデル共有サーバ２９のＨＴＴＰサーバモジュールから３次元モデルデータを受信する。尚、３Ｄ Ｏｐｅｒａｔｉｏｎ
Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールについては後述する。
また、３次元モデル共有サーバ２９は、サーバＰＣ１２内にあって、３次元モデル共有サーバモジュール、ＨＴＴＰサーバモジュール、Ｊｉｎｉルックアップサーバモジュールの実行可能モジュールからなる。この３次元モデル共有サーバモジュールは、ネットワークを介して３次元モデル共有クライアント２８のコミュニケーションモジュールと共有用データの送受信を行う。また、ＨＴＴＰサーバモジュールは、ネットワークを介して３次元モデル共有クライアント２８のコミュニケーションモジュールに３次元モデルデータを送信し、また、クライアントＰＣ１４，１５，１６に対して３次元モデル共有クライアント２８や３次元モデルレンダリングブラウザ２４を送信する。Ｊｉｎｉルックアップサーバモジュールは、ネットワークを介してＪｉｎｉ対応の家電製品端末機器１１を登録・管理する。
【００２８】
これらのソフトウェアによるデータの流れを図４に示す。
端末機器制御用Ｊａｖａプログラム２２（家電製品端末機器１１のＪａｖａＶＭ２１上）と端末機器機能制御用Ｊａｖａプログラム２５（サーバＰＣ１２のＪａｖａＶＭ２１上）の間では、端末機器の操作用データと操作結果反映用データが送受信される。また、この端末機器機能制御用Ｊａｖａプログラム２５と３次元モデルレンダリングブラウザ２４（ウェブブラウザ２３内）との間では、同様に端末機器の操作用データと操作結果反映用データが送受信される。この３次元モデルレンダリングブラウザ２４と３次元モデル共有クライアント２８（サーバＰＣ１２、クライアントＰＣ１４，１５，１６のＪａｖａＶＭ２１上）との間では、共有用更新データと共有用変更データが送受信される。また、この３次元モデル共有クライアント２８と３次元モデル共有サーバ２９（サーバＰＣ１２のＪａｖａＶＭ２１上）との間では、同様に共有用更新データと共有用変更データが送受信できるように構成されている。
【００２９】
次に、本実施の形態における処理手順について、（１）データ登録、（２）３次元モデルによる端末操作、（３）３次元モデルによる遠隔地からの端末操作、（４）３次元モデルによるカスタマーサポートセンターからの端末操作、の項目に分けて、フローチャート等を用いて詳細に説明する。
【００３０】
（１）データ登録
図５における概念図および図６のフローチャートを用いて説明する。
家電製品端末機器１１を新しくネットワーク１３に接続する場合、家電製品端末機器１１の動作データや３次元幾何形状データを含んだ３次元モデルデータファイル（例えばＶＲＭＬファイル）とＪａｖａプログラムファイルをサーバＰＣ１２に登録する。このＪａｖａプログラムには端末機器制御用Ｊａｖａプログラム２２と端末機器機能制御用Ｊａｖａプログラム２５が含まれている。図５に示すように、サーバＰＣ１２へは、家電製品端末機器１１のメーカから製品と共に提供されるメディア３１（例えばＣＤ−ＲＯＭや磁気メディア）を介して３次元モデルデータとＪａｖａプログラムが登録できるように構成されている。図６は、このサーバＰＣ１２での処理手順を示すフローチャートである。例えばＣＤ−ＲＯＭからのファイル読み込み等、メディア３１からのファイル読み出しを行う（ステップ１０１）。次に、３次元モデルデータファイルおよびＪａｖａプログラムの登録を、例えばＨＴＴＰサーバモジュールへの格納といった内容で実施する（ステップ１０２）。このとき、３次元幾何形状と動作を表した３次元モデルデータ２６のファイルを主ファイルとし、３次元モデルの操作を行った場合のアクションや家電製品端末機器１１の制御を記述した端末機器機能制御用Ｊａｖａプログラム２５のファイルは主ファイル中に（例えばＶＲＭＬファイルにおけるＵＲＬにより）指定する。更に、この主ファイルに、テキストによる取扱説明としてオンラインヘルプ用テキストファイル２７をハイパーリンクさせることも可能である。
【００３１】
（２）３次元モデルによる端末操作
図７は、サーバＰＣ１２における処理手順を示したフローチャートである。
まず、サーバＰＣ１２では、登録された３次元モデルデータのうちの一つを呼び出す（ステップ１１１）。この呼び出しは、ウェブブラウザ２３から対象となる３次元モデルデータ（操作対象となる家電製品端末機器１１のデータ）を表すＵＲＬを指定することで行う。このＵＲＬは同じサーバＰＣ１２内のＨＴＴＰサーバモジュールのもので、登録されたデータのうちの一つである。実際には、ＨＴＴＰサーバモジュールからのダウンロードとＶＲＭＬブラウザによるファイル読み込みで実行される。次に、例えばＶＲＭＬブラウザによるレンダリングにより３次元モデルデータのレンダリングが行われる（ステップ１１２）。即ち、呼び出された３次元モデルデータのファイルは、３次元モデルレンダリングブラウザ２４により形状がレンダリングされる。このレンダリングと同時に関連Ｊａｖａファイルの呼び出しと読み込みが行われる（ステップ１１３）。即ち、ＵＲＬ指定で関連付けられている端末機器機能制御用Ｊａｖａプログラム２５および機器動作を表す３次元モデルデータ２６のファイルが、例えばＶＲＭＬブラウザによって読み込まれ、ＪａｖａＶＭ２１で実行される。このとき、Ｊｉｎｉ対応の家電製品端末機器１１では、その機器の状態を端末機器制御用Ｊａｖａプログラム２２が取得し、例えばＪａｖａＲＭＩ（Ｒｅｍｏｔｅ Ｍｅｔｈｏｄ Ｉｎｖｏｃａｔｉｏｎ）通信などでサーバＰＣの端末機器機能制御用Ｊａｖａプログラム２５に送信され、この端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態が取得される（ステップ１１４）。また、この端末機器機能制御用Ｊａｖａプログラム２５を通して家電製品端末機器１１の現在の状態が３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１１５）。より具体的には、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）が利用され、ＶＲＭＬブラウザによるレンダリングが行われる。
【００３２】
次に、サーバＰＣ１２におけるユーザからのインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）があった場合を説明する。表示された３次元モデルデータをユーザが操作して３次元モデルデータの値を変更すると（ステップ１２１）、例えばＶＲＭＬブラウザによるＶＲＭＬイベントの発生に対し、例えばＶＲＭＬ−ＪａｖａＡＰＩを利用して端末機器機能制御用Ｊａｖａプログラム２５がデータの更新値を取得する（ステップ１２２）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１２３）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１２４）。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１２５）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１２６）。このように、遠隔制御の結果は、Ｊａｖａプログラムを逆順にフィードバックされ、操作結果を反映した制御データに基づいてサーバＰＣ１２上の３次元モデルレンダリングブラウザ２４の表示に現在の状態として反映することが可能である。この３次元モデル表示終了時には、３次元モデルレンダリングブラウザ２４は終了し、現在の状況と共に３次元モデルはメモリからも削除される。
尚、サーバＰＣ１２上の３次元モデルレンダリングブラウザ２４に表示された３次元モデルをオンラインヘルプファイルとして提供された説明文に従ってユーザが操作すれば、本方法によりその操作は家電製品端末機器１１に伝えられて遠隔操作されるので、従来ある取扱説明書より簡単な操作が可能になる。
【００３３】
（３）３次元モデルによる遠隔地からの端末操作
図８は、クライアントＰＣ１４，１５での処理手順を示したフローチャートである。カスタマーサポートセンターのクライアントＰＣ１６での処理手順については、別に説明する。まず、遠隔地にあるクライアントＰＣ１４，１５で３次元モデルデータを呼び出す（ステップ１３１）。これは、遠隔地にあるクライアントＰＣ１４，１５上のウェブブラウザ２３にて操作対象機器に対応するＵＲＬを指定し、３次元モデルデータファイルをクライアントＰＣ１４，１５にダウンロードする。ＵＲＬは、先に登録したサーバＰＣ上のデータを指している。クライアントＰＣ１４，１５にダウンロードされた３次元モデルデータのファイルは、３次元モデルレンダリングブラウザ２４に読み込まれ、形状がレンダリングされる（ステップ１３２）。また、ＵＲＬ指定で関連付けられているＪａｖａプログラムファイルも呼び出される（ステップ１３３）。ここでは、機器動作を含んだ３次元モデルデータ２６のプログラムだけが呼び出されている。ここで、３次元モデルの共有のためには、データは共有用３次元モデルデータファイル（例えば、ＬｉｖｉｎｇＷｏｒｌｄｓノードを使用したＶＲＭＬファイル）として記述しておき、読み込まれたＪａｖａプログラムはクライアントＰＣ１４，１５のＪａｖａＶＭ２１で実行される。
【００３４】
一方、サーバＰＣ１２では、３次元モデルデータのファイルが呼び出されたので（ステップ１３４）、この同じ３次元モデルデータのファイルを３次元モデルレンダリングブラウザ２４で自動的に読み込みレンダリングし（ステップ１３５）し、３次元モデルデータのファイルを呼び出した先のクライアントＰＣ１４，１５と同じ３次元モデルを共有する。ＵＲＬ指定で３次元モデルデータに関連づけられているＪａｖａプログラムファイル（端末機器機能制御用Ｊａｖａプログラム２５および機器動作を含んだ３次元モデルデータ２６）も呼び出される（ステップ１３６）。次に、端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態を３次元モデルの値として取得する（ステップ１３７）。取得された家電製品端末機器１１の現在状況は、サーバＰＣ１２の３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１３８）。３次元モデルは共有されているので、同じ機器の現在状況がクライアントＰＣ１４，１５の３次元モデルレンダリングブラウザ２４の３次元モデルにも反映され（ステップ１３９）、サーバＰＣ１２およびクライアントＰＣ１４，１５の両者における３次元モデルは同じ状態を示している。
尚、１つのクライアントＰＣでの値の変更は、サーバＰＣ１２を介して他のクライアントＰＣにも伝えられ、３次元モデルデータを読み込んだ時点から３次元モデルを共有できるように構成されている。
【００３５】
次に、クライアントＰＣ１４，１５におけるユーザからのインタラクションがあった場合の処理手順を説明する。表示された３次元モデルデータをユーザが操作して３次元モデルデータの値を変更すると（ステップ１４１）、ユーザの操作は共有された３次元モデルを通してサーバＰＣ１２上の３次元モデルに同じ操作が再現される（ステップ１４２）。このデータの更新値はサーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５により取得される（ステップ１４３）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１４４）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１４５）。このように、再現された操作に応じた制御用データがサーバＰＣ１２から家電製品端末機器１１に送られ、結果として家電製品端末機器１１を遠隔的に操作することが可能となる。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１４６）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１４７）。３次元モデルは共有されているので、同じ機器の現在状況がクライアントＰＣ１４，１５の３次元モデルにも反映され（ステップ１４８）、サーバＰＣ１２およびクライアントＰＣ１４，１５の両者における３次元モデルは同じ状態を示すことが可能となる。
【００３６】
（４）３次元モデルによるカスタマーサポートセンターからの端末操作
図９および図１０は、カスタマーサービスセンターにおけるクライアントＰＣ１６からの端末操作の流れについて示したフローチャートである。
遠隔地に加え、ユーザは、カスタマーサポートセンターと３次元モデルを共有する。前述と同様な手順で、ユーザのクライアントＰＣ１４，１５には３次元モデルが表示されているものとする。クライアントＰＣ１４，１５のユーザは、カスタマーサポートセンターに電話をかけるなどして、今、ユーザ自身がクライアントＰＣ１４，１５で呼び出している３次元モデルデータファイルのＵＲＬをカスタマーサポートセンターに伝える。カスタマーサポートセンターでは、センターのクライアントＰＣ１６上のウェブブラウザ２３により指定されたＵＲＬを呼び出し、３次元モデルデータファイルをダウンロードする （ステップ１５１）。ダウンロードされた３次元モデルデータファイルは、カスタマーサポートセンターのクライアントＰＣ１６の３次元モデルレンダリングブラウザ２４により形状がレンダリングされる（ステップ１５２）。また、ＵＲＬ指定で関連付けられているＪａｖａファイルも読み込まれ、カスタマーサポートセンターのクライアントＰＣ１６のＪａｖａＶＭ２１で実行される（ステップ１５３）。
【００３７】
一方、サーバＰＣ１２では、３次元モデルデータのファイルが呼び出されたので（ステップ１５４）、この同じ３次元モデルデータのファイルを３次元モデルレンダリングブラウザ２４で自動的に読み込みレンダリングし（ステップ１５５）、３次元モデルデータのファイルを呼び出した先であるカスタマーサポートセンターのクライアントＰＣ１６と同じ３次元モデルを共有する。ここで、３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールが関連する記録されたコンテンツ（操作ログ）を取得する（ステップ１５６）。このとき、ユーザの操作ログファイルが残されている場合は、サーバＰＣ１２における３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールは、記録されたコンテンツをカスタマーサポートセンターのクライアントＰＣ１６に送信し（ステップ１５７）、このクライアントＰＣ１６側では、クライアントＰＣ１６の有する３次元モデル共有クライアント２８の３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールでこの記録コンテンツファイルを読み込むように構成されている。更に、ＵＲＬ指定で３次元モデルデータに関連づけられているＪａｖａプログラムファイル（端末機器機能制御用Ｊａｖａプログラム２５および機器動作を含んだ３次元モデルデータ２６）も呼び出される（ステップ１５８）。その後、家電製品端末機器１１に対して状態を問い合わせ、端末機器機能制御用Ｊａｖａプログラム２５により家電製品端末機器１１の現在状態を３次元モデルの値として取得する（ステップ１５９）。取得された家電製品端末機器１１の現在状況は、サーバＰＣ１２の３次元モデルレンダリングブラウザ２４の３次元モデルに反映される（ステップ１６０）。３次元モデルは共有されていることから、同じ機器の現在状況がカスタマーサポートセンターにおけるクライアントＰＣ１６の３次元モデルにも反映される（ステップ１６１）。
【００３８】
この時点で、家電製品端末機器１１の現在の状態がカスタマーサポートセンターにおけるクライアントＰＣ１６の画面に３次元モデルとして表示される。また、記録されたコンテンツにある各値の変更の内容（ユーザによる操作ログ）も記録コンテンツファイルとしてカスタマーサポートセンターで取得できる。
カスタマーサポートセンターは、これらの、
ｉ） 表示された共有３次元モデルによる現在の家電製品端末機器１１の状態
ｉｉ） ３次元モデルを使って再生される、記録されたコンテンツに基づくそれまでの操作ログ、に加え、
ｉｉｉ） その他。例えば、何らかのプロトコルにより取得する端末機器機能制御用Ｊａｖａプログラム２５からの家電製品端末機器１１に関する固有のデータ等。に基づいて障害解析、コンサルティングなどのサービスを行うことが可能である。
【００３９】
図１０は、さらに家電製品端末機器１１に対してカスタマーサポートセンターから遠隔操作を続ける場合の処理手順を示している。例えば、問題解決のために、３次元モデルを操作して家電製品端末機器１１を制御する場合等に有効である。
カスタマーサポートセンターのクライアントＰＣ１６におけるユーザのコントロールによって、まず、３次元モデルデータ値が変更される（ステップ１７１）。共有された３次元モデルを通してサーバＰＣ１２上の３次元モデルに同じ操作が再現される（ステップ１７２）。このデータの更新値はサーバＰＣ１２上の端末機器機能制御用Ｊａｖａプログラム２５により取得される（ステップ１７３）。この更新値を制御用データとして、例えばＪａｖａＲＭＩ通信により家電製品端末機器１１における端末機器制御用Ｊａｖａプログラム２２に通知する（ステップ１７４）。この制御用データにより端末機器制御用Ｊａｖａプログラム２２がＪｉｎｉ対応の家電製品端末機器１１を制御する（ステップ１７５）。次に、例えばＪａｖａＲＭＩ通信により、サーバＰＣ１２における端末機器機能制御用Ｊａｖａプログラム２５が家電製品端末機器１１の制御結果を端末機器制御用Ｊａｖａプログラム２２から取得する（ステップ１７６）。そして、取得したデータの更新値は、例えば、ＶＲＭＬ−ＪａｖａＡＰＩ（ＪＳＡＩ）を利用したＶＲＭＬブラウザによるレンダリングによって、３次元モデルデータに値が反映される（ステップ１７７）。３次元モデルは共有されているので、同じ機器の現在状況がカスタマーサポートセンターにおけるクライアントＰＣ１６の３次元モデルにも反映され（ステップ１７８）、両者の３次元モデルは同じ状態を示すことが可能となる。
【００４０】
図１１は、今まで説明した本実施の形態における処理の流れを簡単にまとめて説明するための説明図である。
外出先のクライアントＰＣ１５から「▲１▼３次元モデルの操作」がなされると、サーバＰＣ１２を介して家電製品端末機器１１に「▲２▼操作用制御データによる操作」がなされる。家電製品端末機器１１の操作状況は、「▲３▼操作結果の反映」としてサーバＰＣ１２に送信される。この操作結果の反映は、「▲４▼現在の３次元モデルを取得」として外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６に送られる。カスタマーサポートセンターのクライアントＰＣ１６にて「▲５▼問題解決の為の３次元モデル操作」がサーバＰＣ１２に出されると、サーバＰＣ１２から家電製品端末機器１１に対して「▲６▼操作用制御データによる操作」がなされ、その結果は、「▲７▼操作結果の反映」としてサーバＰＣ１２に送られる。また、外出先のクライアントＰＣ１５およびカスタマーサポートセンターのクライアントＰＣ１６に対して「▲８▼操作結果を３次元モデルに反映」した形で送信される。
【００４１】
以上説明したように、本実施の形態によれば、クライアントＰＣ１４，１５とサーバＰＣ１２とは３次元モデルを共有できるので、クライアントＰＣ１４，１５の画面に表示されている３次元モデルの状態（即ち、ユーザが使用中の端末機器の状態）と、カスタマーサポートセンターにおけるクライアントＰＣ１６の画面に表示される３次元モデルの状態を同じとすることができる。クライアントＰＣ１４，１５は、何台あったとしても３次元モデルを共有することが可能となる。
また、カスタマーサポートセンターは、家電製品端末機器１１における３次元モデルの現在の状況に応じて、３次元モデルに対して次の操作を続けるか、取得したユーザの操作ログなどに基づいて障害解析を行って結果をユーザに伝えることができる。このとき、本実施の形態における方法とは無関係な音声の伝達により、別に音声を用いて行われる。
更に、前述のようにカスタマーサポートセンターでクライアントＰＣ１６上の３次元モデルに対して続きの操作を行った場合、３次元モデルは共有されているため、その操作はサーバＰＣ１２経由で家電製品端末機器１１を制御するだけでなく、ユーザのクライアントＰＣ１４，１５画面上の３次元モデルにも操作を再現することが可能である。
【００４２】
次に、本実施の形態の３次元モデル共有クライアント２８にて用いられる３ＤＯｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールについて説明する。
この３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールは、それまでのユーザ操作によるオペレーションを記録・再生するためのモジュールである。即ち、ＶＲＭＬコンテンツ（３次元モデルデータをＶＲＭＬ形式で記述したデータ）を用いた３次元モデルデータの協調作業や、ブラウザ単体での自動反復プレゼンテーションを可能にする方法である。ＶＲＭＬブラウザを通して発生するユーザからのインタラクションを、それをＶＲＭＬ操作イベントとして記録再生するソフトウェアにより記録し、ＶＲＭＬブラウザを通して再生表示することによる。この方法は、ＶＲＭＬコンテンツそのものへの操作イベントを記録再生するものであり、ＶＲＭＬブラウザやそれをプラグインとしているウェブブラウザ２３への操作イベントを記録再生するものではない。
【００４３】
図１２は、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールにおけるソフトウェア構成を示す図である。
同図において、ウェブブラウザ２３は、前述した、ＰＣ上で動作するＷＷＷブラウザである。ＶＲＭＬブラウザ５０は、前述した３次元モデルレンダリングブラウザ２４としてのブラウザであり、ウェブブラウザ２３にプラグインされる実行可能モジュールである。３次元モデルをレンダリングする機能と、ＶＲＭＬ−ＪａｖａＡＰＩをサポートしたブラウザである。ウェブブラウザ２３と協調してＪａｖａプログラムを処理する機能（ＪａｖａＶＭ機能）をサポートしている。例えば、ＩｎｔｅｒＶｉｓｔａ社のＷｏｒｌｄＶｉｅｗＶＲＭＬブラウザにあたる。また、３次元モデル共有クライアント２８は記録再生ソフトウェア５１とコミュニケーションモジュール５２を有しており、記録再生ソフトウェア５１は、後述するアルゴリズムを実装した実行可能なＪａｖａプログラムであり、ＪａｖａＶＭ２１で実行される。この記録再生ソフトウェア５１は、記録モジュールと再生モジュールに分かれている。他のＰＣに操作イベントを送る場合には、操作イベントデータとしてコミュニケーションモジュール５２にデータを渡す。このコミュニケーションモジュール５２は、ネットワークを通して、他のＰＣ上のコミュニケーションモジュールと操作イベントデータの送受信を行っている。
【００４４】
図１３は、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた記録・再生システムの概略構成を示す図である。
同図において、ＶＲＭＬファイル６１は、有るフォーマットに従って書かれた格納ファイルであり、３次元モデルデータの「形」と、どのように動かしたかの情報を格納している。また、テキストファイル６２は、どのように動かしたか、の情報が格納されたファイルである。
記録できる情報は、ＶＲＭＬコンテンツに使われるＳＦＮｏｄｅ，ＳＦＩｍａｇｅを除く、各フィールドタイプの値（具体的には、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎとｏｒｉｅｎｔａｔｉｏｎフィールド値、ＮｅｔｗｏｒｋＳｔａｔｅノードのｖａｌｕｅフィールド値）などの変更操作である。ここには、ＵＲＬの変更やオブジェクトの位置の操作、テキストや他のオブジェクトの追加が含まれる。記録される操作情報は、ＶＲＭＬファイル６１だけ、またはＶＲＭＬファイル６１およびテキストファイル６２の両者に保存されるため、ＶＲＭＬオーサリングツールやテキストエディタによって編集することができる。再生は、先に記録された操作情報のＶＲＭＬブラウザ５０による表示・再生により行う。
【００４５】
次に、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールによるデータの流れを、図１４に示すフローチャートを用いて説明する。
クライアントＰＣ１４，１５からユーザー操作は、例えば画面の中の物を掴んで操作する等、ＶＲＭＬコンテンツの操作により表現される（ステップ１８１）。このＶＲＭＬコンテンツは、ＶＲＭＬブラウザ５０における３次元モデルデータをＶＲＭＬ形式で記述したデータである。ここで、前述の記録再生ソフトウェア５１とＶＲＭＬブラウザ５０を連携させるために、ＶＲＭＬブラウザ５０は、ＶＲＭＬのスクリプト（Ｓｃｒｉｐｔ）ノードが使用可能なＶＲＭＬ−ＪａｖａＡＰＩをサポートしている必要がある。次に、このＶＲＭＬコンテンツの操作は、例えば位置が変わる等、ＶＲＭＬイベントとして取得される（ステップ１８２）。次に、ＶＲＭＬイベントは、イベントの受け手であるＶＲＭＬノードに渡され、Ｊａｖａのプログラムに受け渡せる形に変換される（ステップ１８３）。ここで、ＶＲＭＬノードとは、Ｓｃｒｉｐｔノードにより実装されたＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードとＮｅｔｗｏｒｋＳｔａｔｅノードなどであり、記録再生ソフトウェア５１は、これら各Ｓｃｒｉｐｔノードにより実行される。このＶＲＭＬノードから受け渡されたデータは、記録再生ソフトウェア５１により変換されて（ステップ１８４）、ＶＲＭＬファイル６１のみ、またはＶＲＭＬファイル６１およびテキストファイル６２に格納される。
【００４６】
一方、再生する際には、上述の記録と逆の流れとなる。即ち、ＶＲＭＬファイル６１またはテキストファイル６２から記録再生ソフトウェア５１にデータが読み出される（ステップ１９１）。この記録再生ソフトウェア５１では、ＪａｖａのプログラムでＶＲＭＬノードに渡され（ステップ１９２）、ＶＲＭＬノードではＶＲＭＬイベントに変換し（ステップ１９３）、ＶＲＭＬコンテンツの操作の形で再生される（ステップ１９４）。
【００４７】
次に、ＩＳＯ規格のＶＲＭＬフォーマットをもとに、３次元の位置を表すデータの形を具体的に説明する。
以下に説明するインターポレータは、ＩＳＯ規格で表される、例えばカーソルの位置や色の変化、１つの浮動小数点の値が変化する等、状態変化からなる一般的なイベントを所定の枠組みの値で表し、ＶＲＭＬファイル６１に格納される。一方、ＯＮ／ＯＦＦの繰り返し等、インターポレータで定義されていない動きは、独自フォーマットの形でＶＲＭＬファイル６１あるいはテキストファイル６２に格納される。
【００４８】
あるＶＲＭＬノードによりＶＲＭＬイベントとしてＳＦＦｌｏａｔ型フィールド値が記録されるとする。
時刻 ： ｔ１ ｔ２ ｔ３ ｔ４ ｔ５ …… ｔｎ
フィールド値 ： ｖ１ ｖ２ ｖ３ ｖ４ ｖ５ …… ｖｎ
のように、時刻ｔが変化するにつれてＳＦＦｌｏａｔ型フィールド値ｖが変化したとする。この変化は、記録再生Ｊａｖａソフトウェアにより、ＶＲＭＬのインターポレータノードであるＳｃａｌａｒＩｎｔｅｒｐｏｌａｔｏｒノードを用いて、出力のＶＲＭＬファイル６１に対し、次のように記録される。
ＶＲＭＬファイル６１において、記録のためにインターポレータノードを利用するフィールド値は、ＳＦＣｏｌｏｒ，ＳＦＦｌｏａｔ，ＳＦＲｏｔａｔｉｏｎ，ＭＦＶｅｃ３ｆ，ＳＦＶｅｃ３ｆの各型であり、これらはそれぞれ、ＣｏｌｏｒＩｎｔｅｒｐｏｌａｔｏｒ，ＳｃａｌａｒＩｎｔｅｒｐｏｌａｔｏｒ，ＯｒｉｅｎｔａｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ，ＣｏｏｒｄｉｎａｔｅＩｎｔｅｒｐｏｌａｔｏｒ，ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒの各インターポレータノードを利用する（ＳＦＢｏｏｌ型は次のＴｉｍｅＳｅｎｓｏｒノードによる）。インターポレータノードを利用できないフィールド値については、独自フォーマットにより、ＶＲＭＬファイル６１あるいはテキストファイル６２に記述される。
【００４９】
記録再生Ｊａｖａソフトウェアは、ＶＲＭＬファイル６１への出力のため、このインターポレータノードの生成と共に、センサノードも生成する。このセンサノードにより、例えば、先のｔ１からｔｎまでの時間間隔は、動作開始時刻と動作終了時刻として、次のようにＶＲＭＬファイル６１に記録される。
ＴｉｍｅＳｅｎｓｏｒ ［ ｓｔａｒｔＴｉｍｅ ｔ１ ｓｔｏｐＴｉｍｅ ｔｎ ］
【００５０】
ＳＦＢｏｏｌ型の値の変化も、インターポレータノードではなく、このＴｉｍｅＳｅｎｓｏｒノードにより記録される。ｓｔａｒｔＴｉｍｅフィールド値指定による動作開始でｉｓＡｃｔｉｖｅフィールド値がＴＲＵＥ（再生される）、ｓｔｏｐＴｉｍｅフィールド値指定による動作終了でｉｓＡｃｔｉｖｅフィールド値がＦＡＬＳＥ（再生されない）になることを利用するものである。
尚、動作再生のためのこれらインターポレータノードとセンサノードの組み合わせは以下のようになる。
【００５１】
次に、３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた（１）データ準備、（２）データの記録、（３）データの読み込み、（４）操作イベントの再生について、図１５（ａ），（ｂ）および図１６（ａ），（ｂ）を用いて説明する。
ここで、図１５（ａ），（ｂ）は、データの記録および操作イベントの再生における概略構成を説明するための図であり、図１６（ａ） ，（ｂ）は、記録時および再生時における記録再生ソフトウェア５１での処理の流れを示すフローチャートである。
【００５２】
（１）データ準備
３次元モデルデータであるＶＲＭＬコンテンツファイルは、ＬｉｖｉｎｇＷｏｒｌｄｓノードを含んだＶＲＭＬ形式である。このファイルがウェブブラウザ２３にプラグインされたＶＲＭＬブラウザ５０に読み込まれ、ＶＲＭＬブラウザ５０のウィンドウ内に３次元モデルが表示される。この記録再生ソフトウェア５１は、ＶＲＭＬブラウザ５０と協調しながら、ＪａｖａＶＭ２１（図１２参照）上で動作する、ウェブブラウザ２３があるＰＣにインストールされるＪａｖａプログラム、或いは、ネットワーク経由でダウンロードされるＪａｖａプログラムである。
【００５３】
（２）データの記録
図１５（ａ）および図１６（ａ）を用いて説明する。
記録再生ソフトウェア５１は、まず、ＶＲＭＬコンテンツを読み込み（ステップ２０１）、読み込んだＶＲＭＬコンテンツをブラウザで表示する。ユーザからの操作、あるいは、自動で、ＶＲＭＬイベントである操作イベントの取得を開始する（ステップ２０２）。記録再生ソフトウェア５１は、ＶＲＭＬコンテンツ中に指定されたＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎ，ｏｒｉｅｎｔａｔｉｏｎフィールド値とＮｅｔｗｏｒｋＳｔａｔｅノードのｖａｌｕｅフィールド値などの変化を、時刻と共に記録する（ステップ２０４）。ここでは、ローカルユーザ（自己のマシンのユーザ）による操作イベントだけではなく、ネットワークで送られてくる操作イベントも記録の対象となる。それぞれの送られてくる操作イベントは、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードが含まれているファイルのＵＲＬと、そのファイル内でのＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードの順位、ＮｅｔｗｏｒｋＳｔａｔｅノードのタグ（ｔａｇ）フィールドをＩＤとして識別することができる。
【００５４】
記録再生ソフトウェア５１は、コミュニケーションモジュール５２（図１２参照）を通し、必要に応じて、この操作イベントをネットワークに送り出す。他のコンピュータ上の記録再生ソフトウェア５１が、コミュニケーションモジュール５２を介して、この操作イベントを受け取って同じ操作（同じフィールド値の更新）として再生すれば、操作イベント送り側と同じコンテンツ変更を発生させることができる。即ち、同期が取られることになる。
【００５５】
ユーザからの指示あるいは自動で、操作イベントの取得は停止される。取得した時刻とフィールド値の変化は、ＶＲＭＬファイルへの記録のために、前述のインターポレータとセンサとして変換される。また、インターポレータノードを利用できないフィールド値の変化については、独自フォーマットに変換される（ステップ２０５）。記録再生ソフトウェア５１は、蓄積した記録データをＶＲＭＬデータとテキストデータとして、ＶＲＭＬファイル６１とテキストファイル６２に保存する（ステップ２０６）。ＶＲＭＬファイル６１として保存されるデータは、ＳＦＢｏｏｌ，ＳＦＣｏｌｏｒ，ＳＦＦｌｏａｔ，ＳＦＲｏｔａｔｉｏｎ，ＭＦＶｅｃ３ｆ，ＳＦＶｅｃ３ｆについてのものであり、その値の変化は、時刻と共にセンサノードとインターポレータノードを使い、記録も含めた全コンテンツ（ステップ２１２用）として記述される。それ以外のフィールドタイプの場合は、テキストファイル６２として独自のフォーマットで、記録部分コンテンツ（ステップ２１４用）として記述される。以上の流れによって記録時におけるコンテンツ表示が終了する（ステップ２０７）。
【００５６】
（３）データの読み込み
図１５（ｂ）、図１６（ｂ）に示すように、まず、前で全コンテンツとして記述された場合、記録再生ソフトウェア５１により記録も含めて追加された全コンテンツが読み込まれる（ステップ２１２）。あるいは、前で記録部分コンテンツとして記述した場合、記録再生ソフトウェア５１により元のＶＲＭＬコンテンツが読み込まれる（ステップ２１１）。即ち、元のコンテンツファイルと、操作イベントが記録されたテキストフォーマットの記録部分コンテンツファイルが読み込まれる（ステップ２１４）。このとき、元のコンテンツと記録部分コンテンツを関連付けるデータは別に用意される。
【００５７】
（４）操作イベントの再生
図１５（ｂ）、図１６（ｂ）を用いて説明する。ここでは、コンテンツの再生は、時刻管理と共に記録再生ソフトウェア５１が行っている。まず、記録再生ソフトウェア５１は、ステップ２１１またはステップ２１２にて読み込まれたコンテンツをブラウザ表示する（ステップ２１３）。部分的な場合には、元にあったコンテンツの外に、記録部分コンテンツを読み込む（ステップ２１４）。部分的に読み込んだコンテンツと元のコンテンツとの関係を示すために、規格にあるルート（ＲＯＵＴＥ）にて接続する（ステップ２１５）。表示するときは、センサーノードのスタート・ストップによる再生動作開始に応じて、インターポレータにより変化が再生される（ステップ２１６）。次に、センサノードとインターポレータノードなどからの出力を、何秒にどう言う値になるか、を示す時刻と値として取得する（ステップ２１７）。そして、センサノードとインターポレータノードなどからの出力を、ＰｒｉｖａｔｅＳｈａｒｅｄＯｂｊｅｃｔノードのｐｏｓｉｔｉｏｎ，ｏｒｉｅｎｔａｔｉｏｎフィールドやＮｅｔｗｏｒｋＳｔａｔｅノードのフィールドに、値の変化としてセットする。記録再生ソフトウェア５１は、コミュニケーションモジュール５２（図１２参照）を介し、必要に応じて同じ操作イベントをネットワークに送り出す（ステップ２１８）。一方、ネットワークから受け取った操作イベントは、該当のフィールドにセットされることで、協調した自動再生が可能となる。
【００５８】
次に、本実施の形態を用いた使用例について説明する。
前述のように、Ｊｉｎｉ対応の家電製品端末機器１１にＪａｖａが組み込まれると、家庭内ネットワークに繋がれたこれらの家電製品端末機器１１は、外部からの遠隔的な操作も可能となる。そこで、各家電製品メーカーには、製品そのものに関する操作系も含めた３次元モデルを、ＶＲＭＬファイルとＪａｖａファイルによりＣＤ−ＲＯＭで提供させる。尚、必ずしも家電製品端末機器１１自身がＣＤ−ＲＯＭ読み取り装置を備えていて、このＣＤ−ＲＯＭを読めるように構成する必要はない。
【００５９】
各Ｊｉｎｉ対応家電製品端末機器１１は、ネットワーク１３を介し、Ｊｉｎｉルックアップサーバモジュールを持ちコントローラとなるサーバＰＣ１２に認識される。接続された全てのＪｉｎｉ対応の家電製品端末機器１１については、このサーバＰＣ１２によって集中的に管理できることになる。
外出後、帰宅前に、炊飯器のスイッチを入れておきたい、ビデオの予約を忘れたので録画をスタートさせたい、暑いので小窓をちょっと開けておきたい、といった時がある。このような時には、外出先のクライアントＰＣ１５からダイアルアップなどによるネットワークを介して家庭内にある上述のサーバＰＣ１２に接続し、処理をさせたい家電製品端末機器１１を呼び出して、本方法による遠隔操作を行う。
【００６０】
遠隔操作中の画面に表示される操作対象は、実際にその場にいて現物を手で操作するのと同じインターフェイスであることが望ましい。普段、これこれのスイッチをこの順番で押しているという、そのままの操作行為が、遠隔操作中のクライアントＰＣ１５における画面に表示された３次元モデルを通しても同様に行えるということが重要である。即ち、普段、家庭内では目にすることのない長々とした説明文や操作パネルがクライアントＰＣ１５に表示されることは好ましくない。その場にいても操作がままならない高齢者等に対し、遠隔操作中のみ特別な操作を強いることは好ましくなく、更に一層の不便を感じさせてしまうからである。
【００６１】
このように、本方法では、遠隔操作中も、普段、目にするのと同じような形状と、同じような操作系を持ったＶＲＭＬによる３次元モデルを画面上で操作させることが可能である。その操作の結果についても、画面の３次元モデルに反映させて、どのように動いたか、また、どの位置まで開いたか、などをユーザが確認できるように表示する。この３次元モデルは、上述のＣＤ−ＲＯＭなどで提供されるものであり、サーバＰＣ１２は、事前にＣＤ−ＲＯＭからデータを取り込んでおき、一連の操作のユーザインターフェイスについて、表示処理を行ってから操作結果だけを家電製品に反映させる。
【００６２】
次に、外出先から数人の家族が家電製品を操作することを考える。
家族が共に外出している場合、例えば、家族の一人がビデオのスイッチを遠隔で操作したとすると、その操作状態は、常に他の利用者の表示にも反映されている必要がある。ここで、本手法の共有された３次元モデルが使われる。共有された３次元モデルは、どのクライアントＰＣ１５、サーバＰＣ１２においても同じ状態を示している。
途中まで操作した段階で以降の操作手順がわからなくなった場合には、遠隔地のメーカであるカスタマーサポートセンターのクライアントＰＣ１６に連絡をすれば良い。カスタマーサポートセンターにサーバーＰＣ１２経由により今の製品状態を見てもらい、製品の状態が正しいかどうか、次の操作をどう続けるべきかについて、クライアントＰＣ１５のユーザも、操作の状態を同時に見ながら教えてもらうことができる。これも本手法の共有された３次元モデルに基づくものである。
３次元モデルがオンラインヘルプマニュアルとしても作成・提供されていれば、カスタマーサポートセンターのクライアントＰＣ１６まで問い合わせなくても、サーバＰＣ１２上に表示される３次元モデルをウェブブラウザ２３のヘルプ画面に従いながら操作することで、目的の操作を続けることが可能である。
【００６３】
カスタマーサポートセンターのクライアントＰＣ１６では、サーバＰＣ１２で取得できるユーザの操作ログを入手し、問い合わせが来る前の操作の様子や使い勝手を左右していると推測される頻繁な操作の様子のデータを取得することができる。これらのデータは、問題解決のための時間短縮や、次期製品へのフィードバックとして役立てることができる。
【００６４】
以上、詳細に説明したように、本実施の形態によれば、文字や言葉だけで人に説明することが一般的に難しい、例えば家電製品等で操作ボタンや操作用スライドの位置や動かし方を、３次元モデルによって簡単に説明することができる。即ち、普段、使い慣れた家電製品等であっても、電話を通して遠隔地から現場にいる人に操作を教えることは、操作が直感的でなく難しい。しかし、本実施の形態によれば、文字や言葉だけではなく、現物の製品と同じ幾何形状をした３次元モデルを使って製品の操作を遠隔的に行えることから、文字や言葉による操作説明の困難さを解決することができる。
【００６５】
また、本実施の形態によれば、３次元モデルを複数のユーザ間で共有して、操作を視覚的に確認することができる。更に、このユーザ間は、家電製品等のユーザ間だけではなく、ユーザとその家電製品メーカのカスタマーサポートセンター担当者との間でも、製品の現在の状態を示す３次元モデルを共有することが可能である。その結果、それまでの操作状況や次に行うべき操作の指示を、カスタマーサポートセンター担当者とユーザとの間で、現物の製品と同じ幾何形状をした３次元モデルを使ってやり取りすることができる。これにより、製品のユーザが、製品メーカのカスタマーサポートセンター担当者に問題点を伝える際に、操作説明を簡単に行うことが可能となる。
【００６６】
尚、本実施の形態では、３次元モデルを用いた操作について説明してきたが、３次元モデルと同様に、端末機器の操作概要が理解できるものであれば、２次元等のモデルでも代用することも可能である。また、製品端末機器としては、家電製品を中心に説明してきたが、事務機器等の他の製品端末機器においても適用されることは言うまでもない。更に、必ずしも全ての製品端末機器がネットワークに接続されている必要はなく、場合によっては、遠隔操作の機能を外し、接続されていない製品端末機器の情報を３次元モデルデータにて確認することも可能である。
【００６７】
また更に、これらの実施形態を実行するためのソフトウェアは、ＣＤ−ＲＯＭ等の記憶媒体を介してサーバＰＣ１２やクライアントＰＣ１４，１５，１６にインストールすることで実行させることができる。その態様として、例えばサーバＰＣ１２では、図３にて詳述したソフトウェアにおける、端末機器機能制御用Ｊａｖａプログラム２５、３次元モデルデータ２６、オンラインヘルプ用テキストファイル２７、３次元モデル共有クライアント２８、３次元モデル共有サーバ２９をインストールすることが挙げられる。また、クライアントＰＣ１４，１５，１６の態様では、図３に示した３次元モデルデータ２６、３次元モデル共有クライアント２８のインストールの態様が挙げられる。また、予めハードディスク等の記憶媒体にインストールされている場合もある。
【００６８】
また、ＣＤ−ＲＯＭ等の記憶媒体を介さずにネット等を介してソフトウェアをダウンロードすることによっても達成できる。その際には、プログラムを記憶する記憶手段と、そのプログラムを読み出して送信する送信手段をＰＣ等に具備させ、インターネット等に接続されたプログラムを実行する例えばクライアントＰＣ１４，１５，１６からの要求によってそのＰＣにダウンロードさせるように構成すれば良い。また、サーバＰＣ１２が、このようなプログラム伝送装置としての機能を備え、各クライアントＰＣ１４，１５，１６に対しても同様なプログラムインストール方法をもって、これらの実施形態におけるクライアントサーバーシステムを形成することが可能である。
【００６９】
【発明の効果】
以上説明したように、本発明によれば、家電製品等の端末装置に対して、従来の文字や言葉による操作説明の困難さを解決し、遠隔地からの操作説明を簡略化することができる。
また、遠隔地の複数ユーザ間で端末装置の操作を共有化し、端末装置の現在の状態やそれまでの操作状況を、例えば３次元モデルとして共有化することで、複数ユーザ間での円滑な操作を図ることができる。
また、ユーザーによる操作ログを記録・再生することができるので、端末装置の問題点把握等を迅速かつ適切に行うことが可能となる。
【図面の簡単な説明】
【図１】本実施の形態におけるシステム構成を示したハードウェア構成図である。
【図２】ハードウェア構成におけるデータの流れ（概略）を示す図である。
【図３】本実施の形態におけるソフトウェア構成を示す構成図である。
【図４】ソフトウェア構成によるデータの流れを説明するための図である。
【図５】データ登録時の状態を説明するための概念図である。
【図６】データ登録時におけるサーバＰＣ１２での処理手順を示すフローチャートである。
【図７】３次元モデルによる端末操作の際におけるサーバＰＣ１２における処理手順を示したフローチャートである。
【図８】クライアントＰＣ１４，１５での処理手順を示したフローチャートである。
【図９】カスタマーサービスセンターにおけるクライアントＰＣ１６からの端末操作の流れについて示したフローチャートである。
【図１０】カスタマーサポートセンターから遠隔操作を続ける場合の処理手順を示したフローチャートである。
【図１１】本実施の形態における処理の流れを簡略化して説明するための説明図である。
【図１２】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールにおけるソフトウェア構成を示す図である。
【図１３】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールを用いた記録・再生システムの概略構成を示す図である。
【図１４】３Ｄ Ｏｐｅｒａｔｉｏｎ Ｒｅｃｏｒｄｅｒ ａｎｄ Ｐｌａｙｅｒモジュールによるデータの流れを示したフローチャートである。
【図１５】（ａ），（ｂ）は、データの記録および操作イベントの再生における概略構成を説明するための図である。
【図１６】（ａ） ，（ｂ）は、記録時および再生時における記録再生ソフトウェア５１での処理の流れを示すフローチャートである。
【符号の説明】
１１…家電製品端末機器、１２…サーバＰＣ、１３…ネットワーク、１４，１５，１６…クライアントＰＣ、１７…ネットワーク、２１…ＪａｖａＶＭ、２２…端末機器制御用Ｊａｖａプログラム、２３…ウェブブラウザ、２４…３次元モデルレンダリングブラウザ、２５…端末機器機能制御用Ｊａｖａプログラム、２６…機器形状・動作を含んだ３次元モデルデータ（３次元モデルデータ）、２７…オンラインヘルプ用テキストファイル、２８…３次元モデル共有クライアント、２９…３次元モデル共有サーバ、３１…メディア、５０…ＶＲＭＬブラウザ、５１…記録再生ソフトウェア、５２…コミュニケーションモジュール、６１…ＶＲＭＬファイル、６２…テキストファイル
Claims (17)
- 制御プログラムを有する製品端末機器と、
前記製品端末機器に接続されて制御データを送信すると共に、当該製品端末機器に関する３次元モデルデータが登録されたサーバと、
前記サーバに接続されると共に、当該サーバから３次元モデルデータを受信するクライアントと、を備え、
前記クライアントは、前記サーバから他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータを受信し、当該端末機器幾何形状データを含む３次元モデルデータに対して操作を加え、当該操作により更新された３次元モデル更新データを当該サーバに対して送信し、
前記サーバは、前記クライアントから送信された前記３次元モデル更新データに基づく制御データを前記製品端末機器に対して送信することを特徴とするリモートコントロールシステム。 - 前記サーバは、前記クライアントからの前記３次元モデル更新データに基づいて前記製品端末機器に対して操作用制御データを送信し、
前記製品端末機器は、前記サーバから送信された前記操作用制御データを前記制御プログラムが解釈して当該製品端末機器を操作すると共に、操作結果を操作結果反映用制御データとして当該サーバに対して送信することを特徴とする請求項１記載のリモートコントロールシステム。 - 前記サーバは、前記製品端末機器から送信された前記操作結果反映用制御データに基づいて当該製品端末機器の現在状態を３次元モデルデータに反映すると共に、反映された当該３次元モデルデータを前記クライアントに対して送信することを特徴とする請求項２記載のリモートコントロールシステム。
- 接続された製品端末機器に関するＪａｖａプログラムファイルを含む３次元モデルデータが格納されたサーバと、
前記サーバに対してネットワークを介して接続され、当該サーバが格納している前記製品端末機器に関する３次元モデルデータの中から端末機器幾何形状データを含む特定の３次元モデルデータを呼び出して表示する第１のクライアントと、
前記サーバに対してネットワークを介して接続されると共に、前記第１のクライアントが呼び出している前記３次元モデルデータのＵＲＬをウェブブラウザにより指定し、当該サーバから当該第１のクライアントと共有する端末機器幾何形状データを含む当該３次元モデルデータをダウンロードして表示する第２のクライアントと、を備えたことを特徴とするサーバ・クライアントシステム。 - 前記サーバに格納されたＪａｖａプログラムファイルからなる３次元モデルデータは、前記製品端末機器を操作するプログラムを含み、
前記第１のクライアントおよび前記第２のクライアントは、操作された前記製品端末機器における現在の状態を前記３次元モデルデータの値に反映して表示することを特徴とする請求項４記載のサーバ・クライアントシステム。 - 前記第１のクライアントおよび前記第２のクライアントの何れか１つは、前記製品端末機器のサポートを行うカスタマサポートセンターのコンピュータ装置であることを特徴とする請求項４記載のサーバ・クライアントシステム。
- 内部ネットワークに接続された製品端末機器に対する制御用データの送受信を行うと共に、当該製品端末機器の機能を制御するための端末機器機能制御用プログラムと、
前記製品端末機器の幾何形状データと、前記端末機器機能制御用プログラムにより受信された当該製品端末機器の操作結果を反映する機器動作データとを含む、クライアントと共有するための３次元モデルデータと、
ユーザによる操作を操作イベントとして記録すると共に、必要に応じて再生するモジュールと、を備えたことを特徴とする製品端末機器の制御用サーバ。 - 前記モジュールは、ＶＲＭＬブラウザを通して発生するユーザからの操作を、ＶＲＭＬ操作イベントとして記録・再生するソフトウェアを用いて記録すると共に、当該ＶＲＭＬブラウザを通して再生表示することを特徴とする請求項７記載の製品端末機器の制御用サーバ。
- 前記ユーザによる操作は、前記ＶＲＭＬブラウザにおける３次元モデルデータをＶＲＭＬ形式で記述したデータであるＶＲＭＬコンテンツの操作により表現されることを特徴とする請求項８記載の製品端末機器の制御用サーバ。
- 外部ネットワークに接続されたクライアントと当該外部ネットワークを介して操作イベントの送受信を行うモジュールと、を更に備えたことを特徴とする請求項７記載の製品端末機器の制御用サーバ。
- クライアントから遠隔地の製品端末機器を操作する製品端末機器操作方法であって、
前記クライアント上のウェブブラウザで前記製品端末機器に対応するＵＲＬを指定して他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータをダウンロードするステップと、
ダウンロードされた端末機器幾何形状データを含む前記３次元モデルデータをレンダリングすると共に、前記ＵＲＬの指定で関連付けられている制御プログラムを読み込むステップと、
前記制御プログラムに基づいて前記クライアント上でレンダリングされた３次元モデルをユーザが操作することにより、当該操作に応じた操作用制御データを前記製品端末機器に送出するステップと、を含むことを特徴とする製品端末機器操作方法。 - 前記操作用制御データを前記製品端末機器に送出するステップは、
前記クライアントによる前記３次元モデルの操作によって３次元モデルデータの更新値をサーバに対して送信するステップと、
受信した前記更新値に基づいて、前記サーバが前記製品端末機器に対して操作用制御データを送信するステップと、を含むことを特徴とする請求項１１記載の製品端末機器操作方法。 - 前記製品端末機器から操作結果反映用制御データを前記サーバに対して送信するステップと、
送信された前記操作結果反映用制御データを３次元モデルデータに反映して前記サーバから前記クライアントに対して送信するステップと、を更に備えたことを特徴とする請求項１２記載の製品端末機器操作方法。 - 複数のクライアント間にて製品機器に関する情報を共有する機器情報共有方法であって、
第１のクライアント上のウェブブラウザで前記製品機器に対応するＵＲＬを指定して前記製品機器の端末機器幾何形状データを含むモデルデータをダウンロードするステップと、
ダウンロードされた端末機器幾何形状データを含む前記モデルデータをレンダリングするステップと、
前記第１のクライアント上でレンダリングされたモデルを操作することにより生成された共有用データを送出するステップと、
第２のクライアント上のウェブブラウザで前記ＵＲＬを指定して端末機器幾何形状データを含む前記モデルデータをダウンロードするステップと、
前記第１のクライアントから送出された前記共有用データを受信すると共に、当該共有用データに基づいて前記モデルデータのデータ値を更新するステップと、
を含むことを特徴とする機器情報共有方法。 - コンピュータに実行させるプログラムを当該コンピュータが読取可能に記憶した記憶媒体において、
前記プログラムは、クライアントと共有するためのネットワークに接続された製品端末機器に関する端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、
呼び出された端末機器幾何形状データを含む前記３次元モデルデータをレンダリングする処理と、
呼び出された前記３次元モデルデータに関連する制御用ファイルを呼び出す処理と、
前記製品端末機器から制御データを受信し、受信した当該制御データを端末機器幾何形状データを含む前記３次元モデルデータに反映する処理と、
を前記コンピュータに実行させることを特徴とする記憶媒体。 - 前記プログラムは、外部ネットワークに接続されたクライアントからの３次元モデルデータの更新値を受信し、前記製品端末機器に対して制御データを送信する処理と、を更に備えたことを特徴とする請求項１５記載の記憶媒体。
- コンピュータに実行させるプログラムを当該コンピュータが実行可能に記憶した記憶媒体において、
前記プログラムは、外部ネットワークを介して他のクライアントと共有する端末機器幾何形状データを含む３次元モデルデータを呼び出す処理と、
呼び出された端末機器幾何形状データを含む前記３次元モデルデータをレンダリングする処理と、
呼び出された前記３次元モデルデータに関連する制御用ファイルを呼び出す処理と、
呼び出した前記制御用ファイルにより得られたデータを前記３次元モデルデータに反映する処理と、
ユーザによる３次元モデルの操作に基づいて前記３次元モデルデータの値を変更する処理と、
を前記コンピュータに実行させることを特徴とする記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32467299A JP3548065B2 (ja) | 1999-11-15 | 1999-11-15 | リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 |
| US09/712,576 US7200639B1 (en) | 1999-11-15 | 2000-11-14 | Remote control system, server-client system, server for controlling terminal device, terminal device operating method, device information sharing method, storage media, and program transmission apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32467299A JP3548065B2 (ja) | 1999-11-15 | 1999-11-15 | リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001157282A JP2001157282A (ja) | 2001-06-08 |
| JP3548065B2 true JP3548065B2 (ja) | 2004-07-28 |
Family
ID=18168454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32467299A Expired - Lifetime JP3548065B2 (ja) | 1999-11-15 | 1999-11-15 | リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7200639B1 (ja) |
| JP (1) | JP3548065B2 (ja) |
Families Citing this family (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100413448B1 (ko) * | 2001-07-04 | 2003-12-31 | 엘지전자 주식회사 | 세탁기의 원격제어 시스템 및 그 통신방법 |
| WO2003015449A1 (fr) * | 2001-08-07 | 2003-02-20 | Matsushita Electric Industrial Co., Ltd. | Système et procédé de fourniture de services de communication |
| WO2003015450A1 (fr) * | 2001-08-08 | 2003-02-20 | Matsushita Electric Industrial Co., Ltd. | Appareil de commande de dispositifs et systeme de commande de dispositifs |
| US20050021785A1 (en) * | 2001-10-05 | 2005-01-27 | Hiroshi Nakaji | Control server and remote control system for the same |
| KR20030054796A (ko) * | 2001-12-26 | 2003-07-02 | 엘지전자 주식회사 | 가전 제품의 원격 제어 가상 체험을 위한 서비스 시스템및 서비스 방법 |
| JP4346869B2 (ja) * | 2002-06-26 | 2009-10-21 | パナソニック株式会社 | 電子機器、及び情報処理方法 |
| JP2004135051A (ja) * | 2002-10-10 | 2004-04-30 | Sony Corp | 情報処理システム、サービス提供装置および方法、情報処理装置および方法、記録媒体、並びにプログラム |
| JP4523991B2 (ja) * | 2003-03-25 | 2010-08-11 | 株式会社リコー | 端末装置、方法、システム、及びプログラム |
| JP2004312711A (ja) * | 2003-03-25 | 2004-11-04 | Ricoh Co Ltd | 画像形成装置及び画像形成装置を遠隔のアプリケーションにより操作する方法 |
| JP2004297545A (ja) * | 2003-03-27 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 遠隔制御装置 |
| EP1477908A1 (de) * | 2003-05-14 | 2004-11-17 | Wilfried Beck | Kommunikationssystem sowie Verfahren zum verbesserten Nutzen eines elektrischen Gerätes |
| CA2475335A1 (en) * | 2003-07-22 | 2005-01-22 | At&T Corp. | Method for three-dimensional inventory link |
| US20050071135A1 (en) | 2003-09-30 | 2005-03-31 | Vredenburgh David W. | Knowledge management system for computer-aided design modeling |
| US8751950B2 (en) * | 2004-08-17 | 2014-06-10 | Ice Edge Business Solutions Ltd. | Capturing a user's intent in design software |
| JP3937096B2 (ja) * | 2004-01-30 | 2007-06-27 | 松下電器産業株式会社 | 通信システム、アクセス装置及びトンネル通信管理方法 |
| US20060265661A1 (en) * | 2005-05-20 | 2006-11-23 | Microsoft Corporation | Device metadata |
| US20070283389A1 (en) * | 2006-06-01 | 2007-12-06 | Sharp Laboratories Of America, Inc. | Method and system for helping operate a media-playing set |
| US7567844B2 (en) * | 2006-03-17 | 2009-07-28 | Honeywell International Inc. | Building management system |
| KR101246293B1 (ko) * | 2006-04-24 | 2013-03-21 | 삼성전자주식회사 | 홈 네트워크에서 사용자 인터페이스 방법 및 장치와 그전자기기 및 저장 매체 |
| US9171454B2 (en) * | 2007-11-14 | 2015-10-27 | Microsoft Technology Licensing, Llc | Magic wand |
| EP2245563A4 (en) * | 2008-02-13 | 2012-04-25 | Ice Edge Business Solutions Ltd | RENDERING AND MODIFYING COMPUTER-AIDED DESIGN (CAD) DESIGN ENTITIES IN OBJECT-ORIENTED APPLICATIONS |
| EP2252951B1 (en) | 2008-03-11 | 2021-05-05 | Ice Edge Business Solutions, Ltd. | Automatically creating and modifying furniture layouts in design software |
| US7519663B1 (en) * | 2008-04-08 | 2009-04-14 | International Business Machines Corporation | System for recalling declined meetings |
| US8952894B2 (en) | 2008-05-12 | 2015-02-10 | Microsoft Technology Licensing, Llc | Computer vision-based multi-touch sensing using infrared lasers |
| US8847739B2 (en) * | 2008-08-04 | 2014-09-30 | Microsoft Corporation | Fusing RFID and vision for surface object tracking |
| JP2010288117A (ja) * | 2009-06-12 | 2010-12-24 | Sharp Corp | 画面データ送信端末、画面データ受信端末、画面データ伝送システム、画面データ送信プログラム、画面データ受信プログラム、画面データ送信方法および画面データ受信方法 |
| US8584030B2 (en) * | 2009-09-29 | 2013-11-12 | Honeywell International Inc. | Systems and methods for displaying HVAC information |
| EP2302470A3 (en) | 2009-09-29 | 2014-06-11 | Honeywell International Inc. | Systems and methods for configuring a building management system |
| EP2504783A4 (en) * | 2009-11-24 | 2015-02-25 | Ice Edge Business Solutions Inc | SECURE SHARING OF DESIGN REPRESENTATIONS ON A NETWORK |
| US8532962B2 (en) * | 2009-12-23 | 2013-09-10 | Honeywell International Inc. | Approach for planning, designing and observing building systems |
| US8577505B2 (en) * | 2010-01-27 | 2013-11-05 | Honeywell International Inc. | Energy-related information presentation system |
| US8990049B2 (en) | 2010-05-03 | 2015-03-24 | Honeywell International Inc. | Building structure discovery and display from various data artifacts at scene |
| US8538687B2 (en) | 2010-05-04 | 2013-09-17 | Honeywell International Inc. | System for guidance and navigation in a building |
| US8773946B2 (en) | 2010-12-30 | 2014-07-08 | Honeywell International Inc. | Portable housings for generation of building maps |
| WO2012173741A2 (en) | 2011-06-11 | 2012-12-20 | Dirtt Environmental Solutions Inc. | Automated re-use of structural components |
| US9323871B2 (en) | 2011-06-27 | 2016-04-26 | Trimble Navigation Limited | Collaborative development of a model on a network |
| US9342928B2 (en) | 2011-06-29 | 2016-05-17 | Honeywell International Inc. | Systems and methods for presenting building information |
| EP2780892B1 (en) | 2011-11-15 | 2016-10-05 | Trimble Navigation Limited | Controlling rights to a drawing in a three-dimensional modeling environment |
| EP2780816B1 (en) | 2011-11-15 | 2018-03-21 | Trimble Inc. | Providing a real-time shared viewing experience in a three-dimensional modeling environment |
| US9460542B2 (en) | 2011-11-15 | 2016-10-04 | Trimble Navigation Limited | Browser-based collaborative development of a 3D model |
| EP2783296A4 (en) | 2011-11-22 | 2015-06-03 | Trimble Navigation Ltd | BETWEEN THE WEB BROWSER OF A CLIENT DEVICE AND A SERVER DISTRIBUTED 3D MODELING SYSTEM |
| EP2847961B1 (en) | 2012-05-08 | 2021-10-06 | Nokia Technologies Oy | Method and apparatus for providing immersive interaction via everyday devices |
| US8947437B2 (en) | 2012-09-15 | 2015-02-03 | Honeywell International Inc. | Interactive navigation environment for building performance visualization |
| JP6212373B2 (ja) * | 2013-12-05 | 2017-10-11 | 日本電信電話株式会社 | 操作ログ管理装置及び方法 |
| CN106227059A (zh) * | 2016-10-08 | 2016-12-14 | 三星电子（中国）研发中心 | 基于室内三维模型的智能家居控制方法和设备 |
| AU2018243311B2 (en) | 2017-03-31 | 2021-06-17 | Honeywell International Inc. | Providing a comfort dashboard |
| US11288945B2 (en) | 2018-09-05 | 2022-03-29 | Honeywell International Inc. | Methods and systems for improving infection control in a facility |
| WO2020055895A1 (en) * | 2018-09-10 | 2020-03-19 | Aveva Software, Llc | Visualization and interaction of 3d models via remotely rendered video stream system and method |
| US10978199B2 (en) | 2019-01-11 | 2021-04-13 | Honeywell International Inc. | Methods and systems for improving infection control in a building |
| JP6823688B2 (ja) * | 2019-06-06 | 2021-02-03 | 株式会社ベルシステム２４ホールディングス | 複合現実技術を用いたカスタマーサポート支援装置及び装着型情報処理端末 |
| US11620594B2 (en) | 2020-06-12 | 2023-04-04 | Honeywell International Inc. | Space utilization patterns for building optimization |
| US11914336B2 (en) | 2020-06-15 | 2024-02-27 | Honeywell International Inc. | Platform agnostic systems and methods for building management systems |
| US11783652B2 (en) | 2020-06-15 | 2023-10-10 | Honeywell International Inc. | Occupant health monitoring for buildings |
| US11783658B2 (en) | 2020-06-15 | 2023-10-10 | Honeywell International Inc. | Methods and systems for maintaining a healthy building |
| US11184739B1 (en) | 2020-06-19 | 2021-11-23 | Honeywel International Inc. | Using smart occupancy detection and control in buildings to reduce disease transmission |
| US11823295B2 (en) | 2020-06-19 | 2023-11-21 | Honeywell International, Inc. | Systems and methods for reducing risk of pathogen exposure within a space |
| US12142385B2 (en) | 2020-06-22 | 2024-11-12 | Honeywell International Inc. | Methods and systems for reducing a risk of spread of disease among people in a space |
| US12131828B2 (en) | 2020-06-22 | 2024-10-29 | Honeywell Internationa Inc. | Devices, systems, and methods for assessing facility compliance with infectious disease guidance |
| US11619414B2 (en) | 2020-07-07 | 2023-04-04 | Honeywell International Inc. | System to profile, measure, enable and monitor building air quality |
| US11402113B2 (en) | 2020-08-04 | 2022-08-02 | Honeywell International Inc. | Methods and systems for evaluating energy conservation and guest satisfaction in hotels |
| US11894145B2 (en) | 2020-09-30 | 2024-02-06 | Honeywell International Inc. | Dashboard for tracking healthy building performance |
| US11372383B1 (en) | 2021-02-26 | 2022-06-28 | Honeywell International Inc. | Healthy building dashboard facilitated by hierarchical model of building control assets |
| US11662115B2 (en) | 2021-02-26 | 2023-05-30 | Honeywell International Inc. | Hierarchy model builder for building a hierarchical model of control assets |
| US12142382B2 (en) | 2021-03-01 | 2024-11-12 | Honeywell International Inc. | Airborne infection early warning system |
| US11474489B1 (en) | 2021-03-29 | 2022-10-18 | Honeywell International Inc. | Methods and systems for improving building performance |
| US12038187B2 (en) | 2021-09-28 | 2024-07-16 | Honeywell International Inc. | Multi-sensor platform for a building |
| US12261448B2 (en) | 2022-06-07 | 2025-03-25 | Honeywell International Inc. | Low power sensor with energy harvesting |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4855822A (en) * | 1988-01-26 | 1989-08-08 | Honeywell, Inc. | Human engineered remote driving system |
| JPH07131542A (ja) * | 1993-10-29 | 1995-05-19 | Sanyo Electric Co Ltd | テレコントロールシステムの操作表示方法 |
| JP3859018B2 (ja) * | 1995-07-12 | 2006-12-20 | ソニー株式会社 | ３次元仮想現実空間共有方法、３次元仮想現実空間共有システム、アドレス管理方法、並びにアドレス管理サーバ端末 |
| US5956028A (en) * | 1995-09-14 | 1999-09-21 | Fujitsu Ltd. | Virtual space communication system, three-dimensional image display method, and apparatus therefor |
| US5904724A (en) * | 1996-01-19 | 1999-05-18 | Margolin; Jed | Method and apparatus for remotely piloting an aircraft |
| US6219708B1 (en) * | 1996-05-30 | 2001-04-17 | Multi-Tech Systems, Inc. | System for network resource management |
| US6690654B2 (en) * | 1996-11-18 | 2004-02-10 | Mci Communications Corporation | Method and system for multi-media collaboration between remote parties |
| KR20000064773A (ko) * | 1997-01-24 | 2000-11-06 | 이데이 노부유끼 | 도형 데이터 생성 장치, 도형 데이터 생성 방법 및 그 매체 |
| US6175842B1 (en) * | 1997-07-03 | 2001-01-16 | At&T Corp. | System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing |
| US6138150A (en) * | 1997-09-03 | 2000-10-24 | International Business Machines Corporation | Method for remotely controlling computer resources via the internet with a web browser |
| US6282454B1 (en) * | 1997-09-10 | 2001-08-28 | Schneider Automation Inc. | Web interface to a programmable controller |
| US5999944A (en) * | 1998-02-27 | 1999-12-07 | Oracle Corporation | Method and apparatus for implementing dynamic VRML |
| US6295513B1 (en) * | 1999-03-16 | 2001-09-25 | Eagle Engineering Of America, Inc. | Network-based system for the manufacture of parts with a virtual collaborative environment for design, developement, and fabricator selection |
| US6370582B1 (en) * | 1999-05-28 | 2002-04-09 | Adc Technologies International Pte Ltd. | Method and system for providing cross-platform remote control, monitoring, and up-dating of a facility access controller |
| DE69927590T2 (de) * | 1999-08-31 | 2006-07-06 | Swisscom Ag | Mobiler Roboter und Steuerverfahren für einen mobilen Roboter |
| US6404437B1 (en) * | 1999-09-10 | 2002-06-11 | General Electric Company | Nuclear reactor core performance data visualization system |
-
1999
- 1999-11-15 JP JP32467299A patent/JP3548065B2/ja not_active Expired - Lifetime
-
2000
- 2000-11-14 US US09/712,576 patent/US7200639B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001157282A (ja) | 2001-06-08 |
| US7200639B1 (en) | 2007-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3548065B2 (ja) | リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、および記憶媒体 | |
| US7831967B2 (en) | Method of and apparatus for updating software of network device | |
| US5918012A (en) | Hyperlinking time-based data files | |
| JP4808558B2 (ja) | 連携シナリオ作成支援システム及びその方法並びにプログラム | |
| JP5591673B2 (ja) | 外部通信ネットワークからホームネットワークを制御する方法及び装置 | |
| JP3594231B2 (ja) | 情報制御システム、情報処理支援サーバ、情報処理端末、情報処理方法および記憶媒体 | |
| TW412698B (en) | A remote controlling method, a network server remote controlled by a termianl, and a memory storage medium for HTML files | |
| KR100788693B1 (ko) | 원격 사용자 인터페이스의 상태 정보를 저장하고 복구하는방법 및 장치 | |
| JP4721600B2 (ja) | ブリッジングする多数のホームネットワークソフトウェアアーキテクチャ | |
| JP4309087B2 (ja) | ネットワーク接続機器およびこれを用いたネットワークシステム | |
| JP3280330B2 (ja) | 通信方法、クライアント端末、サーバ、通信システム、通信を制御するためのソフトウエア・プロダクトを格納した記録媒体 | |
| CN101459564A (zh) | 信息处理装置以及家庭网络系统 | |
| JP3202205B2 (ja) | 所定のプロトコールを支援しないディバイスのホームネットワーク連結時のディバイスページの生成方法 | |
| EP1811747B1 (en) | Method and apparatus for storing and restoring state information of remote user interface | |
| US8307082B2 (en) | Method, system architecture and computer software for communication between devices | |
| WO2001071489A1 (en) | Device, system and method for providing web browser access and control of devices on customer premise gateways | |
| JP5238519B2 (ja) | 端末操作履歴記憶システムおよびユーザ端末 | |
| Nikolova et al. | Remote mobile control of home appliances | |
| JPH10222698A (ja) | ３次元仮想空間の通信装置、および通信方法 | |
| JP2007299030A (ja) | Ｇｕｉ表示情報取得用プログラム | |
| JPH11185050A (ja) | 動画表示システム及び記録媒体 | |
| JP2012009069A (ja) | アノテーション利用プログラム、アノテーション利用方法およびアノテーション利用装置 | |
| JP2004094835A (ja) | 制御機器側プロトコル変換方法、制御機器側プロトコル変換装置、制御機器側プロトコル変換プログラムおよび被制御機器側プロトコル変換方法、被制御機器側プロトコル変換装置、被制御機器側プロトコル変換プログラム | |
| JP4147745B2 (ja) | ハイパーテキストホームページによる装置間の相互機能 | |
| JP3832632B2 (ja) | 制御システム、そのプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040225 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20040414 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3548065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080423 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080423 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |