JP2005064755A - リモート制御システム、リモート制御装置、リモート制御端末、被制御装置、リモート制御方法及びプログラム - Google Patents

Abstract

【課題】 家庭内ネットワークによるリモート制御を広くインターネットを通じて利用する事を可能とし、同時に、接続する機器の多様な表示能力、操作性に応じて最も使いやすいリモート制御環境を提供することを課題とする。
【解決手段】 第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信手段と、第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信手段と、第２のネットワークを介してリモート制御端末から第２の制御情報を受信する第２の受信手段と、第２の制御情報に基づいて第１の制御情報を生成し、第１の制御情報を第１のネットワークを介して被制御装置へ送信する第２の送信手段とを有するリモート制御装置が提供される。
【選択図】 図１

Description

本発明は、ネットワークに接続され、被制御装置から操作情報をリモート制御装置に送信し、リモート制御装置からの制御情報により被制御装置がユーザに対してサービスを提供するリモート制御システムに関するものである。

従来単独で稼動していたか、あるいは機器の種類毎の独自の接続によって動作していた家庭内のオーディオ・ビジュアル機器や家電機器を、一つのネットワークによって接続する要求が高まっている。高速のデジタル通信技術によって動画データ、オーディオデータなどリアルタイム性を要求されるデータと、静止画データ、制御データといった通信の信頼性が要求されるデータとを混在した状態で転送することができるネットワーク通信がこれを実現している。

家庭内ネットワークの中心としてユーザインタフェースを提供する機器はテレビであり、接続された機器のリモート操作画面をテレビ画面上に表示し、テレビのリモコン装置によってユーザの操作を入力することによって機器を制御するいわゆるリモート制御サービスが提供されるが、操作画面の表示やユーザ操作に従った機器制御を実行するためのプログラムが機器毎に必要である。ネットワークに接続される機器は多種に及び、また時間を追って新しい機能を有する機種も出現するため、接続される可能性のある全ての機器に対する制御プログラムをテレビ側で準備する事は困難である。

こうした問題を解決するアプローチの一つに、操作パネルの画像データをネットワークに接続された被制御装置から送信し、テレビに代表される表示器を備えたリモート制御装置がこれを受信して、操作者に対して操作パネル画像を表示器に表示すると同時に、操作者の操作入力を被制御装置へ送信することにより被制御装置の制御を行うシステムが提案されている。例えば、下記の特許文献１などである。

特開平11-3314号公報

リモート被制御装置から送られるリモート制御表示データに基づくリモート操作は、リモート表示データとして表示することにより、リモート被制御装置が有するいかなる固有の機能をも操作することが可能となるという大きな特色を有しているが、こうしたリモート制御の利便性を家庭内のみならず、たとえば外出先からなど、もっと遠隔地から制御を行いたいという要望がある。

家庭内ネットワークとして利用されるIEEE1394によるAV機器のネットワークには接続台数や接続されるケーブルの距離に制約があり、ネットワークとして到達できる範囲が限られる。

一方IPをベースとしたネットワークは、オフィス環境で広く普及しているイーサネット（Ｒ）、ATMによる広域ネットワーク、電話網など、様々な物理的接続手段を横断し、極めて広範囲に接続することのできるネットワークであり、社会的インフラとして広く普及している。中でもHTTPプロトコルを利用したいわゆるインターネットは、PCを初め、携帯電話やPHSを介して接続したPDAのみならず、携帯電話自身も接続することが可能であり、家庭内、外出先、屋内、戸外を問わず利用可能な身近な通信手段の一つとなっている。

これらの接続機器は、インターネットに接続する共通の機能を有する反面、それぞれの機器の特徴をなすべく、その表示能力、操作性が大きく異なる。例えば、PCは画素数、色数の多い比較的高性能な表示部を備え、キーボードに加えポインティングによる自由な操作性を有する。他方インターネットに接続できる携帯電話は、限られた表示画素数の表示器と、上下左右への方向キーまたは数字キーに限られた簡便な操作系しか持たない。

これらの装置のそれぞれの表示系、操作系において使いやすい操作環境は異なる。例えばPCではテキストによるメニューからの選択よりグラフィカルなアイコン表示し、マウスポインタで直接選択する方式が直感的で使いやすい。また、携帯電話の小さな表示器はテキストの表示が良好であり、上下方向キーによる選択が好適であろう。

それぞれの表示系、操作系に対する適切な操作環境の差は大きく、リモート被制御装置が提供する一つの操作環境で多くをカバーすることは難しい。接続する多様な機器の表示能力、操作性の差を吸収する仕組みが必要となる。

本発明の目的は、家庭内ネットワークによるリモート制御を広くインターネットを通じて利用する事を可能とし、同時に、接続する機器の多様な表示能力、操作性に応じて最も使いやすいリモート制御環境を提供することにある。

本発明のリモート制御システムは、被制御装置と、第1のネットワークを介して前記被制御装置に接続されるリモート制御装置と、第２のネットワークを介して前記リモート制御装置に接続されるリモート制御端末とを有するリモート制御システムであって、前記被制御装置は、表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を前記第１のネットワークを介して前記リモート制御装置に送信する送信手段と、前記第１のネットワークを介して前記リモート制御装置から受信する第１の制御情報に応じたサービスを提供する提供手段とを有し、前記リモート制御装置は、前記第１のネットワークを介して前記被制御装置から前記第１の操作情報を受信する第1の受信手段と、前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を前記第２のネットワークを介して前記リモート制御端末へ送信する第１の送信手段と、前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、前記第２の制御情報に基づいて前記第１の操作情報を生成して、前記第１の操作情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信手段とを有し、前記リモート制御端末は、前記第２の操作情報に基づいた操作要素を表示器に表示する表示手段と、前記操作要素の一つを選択決定したことを第２の制御情報として前記第２のネットワークを介して前記リモート制御装置へ送信する送信手段とを有することを特徴とする。
また、本発明のリモート制御装置は、第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信手段と、前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信手段と、前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信手段とを有することを特徴とする。
また、本発明のリモート制御端末は、ネットワークを介してリモート制御装置から表示画像情報を含む一つ以上の操作要素から構成される操作情報を受信する受信手段と、前記操作情報に基づいた操作要素を表示器に表示する表示手段と、前記操作要素の一つを選択決定したことを制御情報としてネットワークを介して前記リモート制御装置へ送信する送信手段とを有することを特徴とする。
また、本発明の被制御装置は、表示画像情報を含む一つ以上の操作要素から構成される操作情報をネットワークを介してリモート制御装置へ送信する送信手段と、前記リモート制御装置からネットワークを介して受信する制御情報に応じたサービスを提供する提供手段とを有することを特徴とする。
また、本発明のリモート制御方法は、第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信ステップと、前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信ステップと、前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する受信手段と、前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信ステップとを有することを特徴とする。
また、本発明のプログラムは、第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信ステップと、前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信ステップと、前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信ステップとをコンピュータに実行させるためのプログラムである。

被制御装置から送信されるリモート制御のための第１の操作情報をリモート制御装置が受信して使用することにより、リモート制御装置の側で被制御装置毎に制御アプリケーションソフトウエアを準備することなく、いかなる固有の機能を有する被制御装置をも操作することが可能となる。また、家庭内のネットワーク内から利用するだけでなく、IPによるネットワークを通じて極めて広範囲な遠隔地から操作することが可能となる。

また、類型化された複数の種類の表示データを利用して、接続されるリモート制御端末毎に異なる表示能力、操作環境に適した第２の操作情報をリモート制御端末で使用することが出来、リモート制御端末におけるユーザの操作性を良好なものにすることが可能となる。

以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態にかかるリモート制御システムをあらわすブロック図である。このシステムは、高速シリアルインタフェースによるネットワーク1に接続され、リモコン120によるユーザ操作入力を有するデジタルテレビ（DTV）110、デジタルテレビ110に操作のための表示を行いデジタルテレビ110のリモコン入力に基づいてリモート制御されるデジタルビデオ（VCR）100、デジタルビデオカメラ（DV）131、チューナ132と、公衆回線を含むインターネット2に接続されたMobile PC 140、PDA 151、携帯端末152から構成される。

図2はデジタルテレビを介してリモート制御され、他の被制御装置となるVCR 100の主要な構成を示す図である。104は放送波から所望の放送番組を受信し、また内蔵するデジタルビデオレコーダにより受信した番組または高速シリアルインタフェースによるネットワーク1および図示しないアナログ入出力端子からの入力を録画し、またデジタルビデオレコーダから再生される映像、音声データを含むストリームデータをネットワーク1へ出力するVCR本体部、103はリモート制御のためにデジタルテレビ110に表示する表示データ（GUIデータ）及び操作情報を格納または生成する表示（パネル）データ発生器、102はネットワークを介して通信を行いVCR本体部104と表示データ発生器103を制御する制御部である。また、101は1394高速シリアルバスのインタフェースである1394 I/F部であり、ネットワーク1によって、デジタルテレビ110の1394I/F部、あるいは他の装置の1394I/F部に接続される。

図3はリモコンによるユーザ操作入力を有するデジタルテレビ110の構成を示す図である。111は1394高速シリアルバスのインタフェースである1394 I/F部、113は1394 I/F部111で受信したストリームデータをビデオストリームと音声ストリームに分離して各々のストリームデータをデコードする機能を含むデコーダ、119はデコードされた音声データのD/A変換と増幅及びスピーカを含む音声出力部である。114は1394 I/F部111で受信したリモート制御のための操作データ及び表示データ(GUIデータ)を格納し、GUIデータから変換されたHTMLによる操作ページデータを格納する記憶部、116は赤外線または無線などを使用してユーザの操作入力を行うリモコン制御部、115はリモート制御のための表示データ（GUIデータ）に基づいて接続された被リモート制御機器のリモート制御のための表示（操作パネル）を生成する描画制御部、117はデコーダ113から出力されるビデオデータと描画制御部115から出力される表示を合成して表示デバイス118に表示を行うための画像合成部、124は表示データ記憶部114に格納されたGUIデータを複数のHTMLによる操作パネルデータに変換して表示データ記憶部114に格納する操作データ変換部、123はイーサネット（Ｒ）によるネットワークインタフェース、122はネットワークインタフェース123を通じて受信する要求に応答してHTMLによる操作ページデータを送出し、受信した要求メッセージからユーザの操作内容を抽出するサーバ部、112は1394 I/F部111、デコーダ113、表示データメモリ114、リモコン制御部116、1394I/F 111及び描画制御部115をコントロールする制御部であり、ネットワークに接続されたVCR 100から送信されるストリームデータを受信して表示デバイス118及び音声出力部119に出力する他、表示デバイス118に表示されるリモート制御のための表示とリモコン操作入力、およびサーバ部から抽出される操作入力に基づいて1394I/F 111に接続される被制御装置の制御を行うデジタルテレビ110全体の動作を統合的に制御する。

図4はインターネット2に接続され、DTV 110から受信するHTMLによる操作ページデータを表示し、表示に基づくユーザの操作をDTV 110へ伝える機能を有するリモート制御端末となるMobile PC 140の構成を説明する図である。PCは一般的に全体の制御を司るCPUと、CPUとバスを介して接続される記憶部、描画制御部、表示部、操作入力部、インターネットI/Fを有するが、本実施形態においては、CPUで実行されるアプリケーションソフトウエアとしてHTMLデータを受信し、データを解釈して表示するブラウザ機能が必要である。また表示画面に対するユーザの入力をHTMLデータへの操作としてインターネットI/Fを通じて出力する機能が必要である。図はこうした機能の構成を示すものであり、イーサネット（Ｒ）によるインターネットI/F141、操作入力部142、ブラウザ部143、表示部144、CPUによる制御部145で構成される。

図1に示される他のリモート制御端末であるPDA 151、携帯端末（電話）152においても、それぞれの装置に固有な動作を担う構成要素を持つほか、本実施形態で説明するリモート制御端末としての機能を担う構成要素として、図4と同様の構成を有する。

1394I/F（IEEE1394高速シリアルバス）は、デイジーチェーン方式、ノード分岐方式、及びこれらの組み合わせに対応し、自由度の高い接続を可能としたネットワークバスである。100Mbps、200Mbps、400Mbpsでシリアル転送を行うデータ転送方式で、上位の転送速度を有する機器は下位のデータ転送速度をサポートするため、異なる転送速度を有する機器が混在可能である。また、コマンドなどの制御信号、ファイルデータといった非同期で転送されるデータの転送のためのAsynchronous転送と、ビデオデータや音声信号（いわゆるストリーム データ）等の時間的に連続性を要求されるデータの転送を一定期間(125us)ごとに逐次行うIsochronous転送の２つの転送モードを有する。

AV機器の制御のためのAV/C（Audio Video Control）コマンドがAsynchronous転送の上に構築され、同時にこれらのコマンドによって制御されるAV機器のモデルがAV/C unitまたはsubunitとして定義されている。また、静止画ファイル転送やプリントデータ転送など転送に確実性と高速性を求められるデータ転送のためにはAsynchronous転送によるプロトコルであるAsynchronous Serial Bus Connectionと、この転送のためのコネクションを結ぶ、または解消するための手順と制御コマンドが定義され、使用されている。

Isochronous転送によるストリームデータ転送にはDVフォーマットによる画像/音声データ転送、MPEG2フォーマットによる画像/音声ストリームの転送がある。これらのストリームデータ転送のためのコネクションを結ぶ、または解消するための手順と制御コマンドもまたAsynchronous転送によるAV/Cコマンドとして定義されている。

IPをベースとしたネットワーク2に接続されたサーバ122とブラウザ143は、TPC、HTTPプロトコルスタックの上で、ブラウザからの要求メッセージに対してサーバからのレスポンスメッセージとしてHTMLデータおよび画像データなどを転送する動作を行う。

図5は、リモート制御システムのリモート制御のための表示データ（GUIデータ）の転送と表示、及びリモート制御の手順について、1394ネットワークとインターネット上の通信に注目して説明する図である。本図の説明では1394ネットワーク上の被制御装置の一つであるVCR 100との間の手順を述べているが、ネットワークに他の被制御装置が接続された場合にも同様の通信が行われ、さらにVCR 100と並行しても同様の制御が行われ得る。

図において、デジタルテレビの制御部112は、始めに1394ネットワークに接続されたデバイスに対して、順次AV/C digital Interface Commnad Set仕様（AVC仕様）に基づいたSubunitInfoコマンドを送信し、デバイスが備える機能を調査する（201）。デバイスが本実施形態に係るリモート制御機能を備えていた場合、IEC1212（ANSI/IEEE Std 1212 Control and Status Register(CSR) Architeture for Microcomputer Busses）で規格化されたコンフィギュレーションROMの中の必要な内容を読み出し（202）、デバイスに関する情報、デバイスを代表するデバイスアイコンの画像データなどを獲得する。デジタルテレビの制御部は各デバイスから得られるこの情報からユーザが操作し得る機器のリストおよびデバイスアイコン群を得て表示データメモリ114に格納すると同時に、描画制御部を通じてデバイスアイコン群を表示デバイスに表示してユーザに操作対象の選択を促す。

次に、ユーザのリモコン操作によりこれらのデバイスアイコンの一つとしてVCR 100に対応するデバイスアイコンが選択された場合、デジタルテレビの制御部112は、VCR 100を被リモート制御装置としたセッションを開始するため、AV/CコマンドのGui_update（open）コマンドを発行する（205）。図6(a)にGui_updateコマンドのコマンドフレームを示す。operand[3]に格納されるsubfunctionの値（図6(b)）によりこのコマンドによる被リモート制御装置への指示が指定される。openはリモート制御のセッションの開始、closeはセッションの終了を指示する。startはリモート制御のためのGUIデータの転送を指示する。被リモート制御装置は次にstopの指示があるまでの間、装置の状態や操作の結果によりGUIデータに変更が生じたとき、後述の手順でGUIデータを制御装置へ送信する。restoreは1394ネットワークのバスリセットが発生した際にGUIデータ転送のためのAsynchronous serial bus connectionを復帰する場合に指定される。changeはGUIデータ変更の報告範囲の変更を指定する際に指定する。

Gui_update（open）コマンドを受信したVCR 100の制御部102はコマンドへのレスポンスとしてAsynchronous serial bus connectionに使用すべきplug番号をoperand[0]に格納して返送する。デジタルテレビの制御部112はこのplug番号を用いて、必要なVCR 100の内部コネクション及びVCR 100とDTV110間のコネクションを、Connectコマンド(206)およびAllocate_attachコマンド(207)を発行して確立する。

続いて、デジタルテレビの制御部112はGui_update(start)コマンドを発行してGUIデータの転送の開始を指示し(208)、Push_gui_dataコマンドを発行してVCR 100のGUIデータの転送を指示する(209)。

図6(c)にPush_gui_dataコマンドのコマンドフレームを示す。operand[0]にはGui_update(open)によって獲得したplug番号を指定する。operand[5]のindicatorには図6（ｄ）に示すlevelとwith_data指定を格納する。levelは被リモート制御Push_gui_dataコマンドによる指示で転送される被リモート制御機器のGUIデータの転送範囲を後述するGUIデータの木構造に従って指定する。指定する値は図6(e)に示す2ビットの3値で、00（itself）では後述の要素IDで指定した要素そのものを、01（itself and next level）では要素IDで指定した要素とその要素に属する要素を、10（all level）では01（itself and next level）の範囲と、この範囲に含まれる要素に属する次の要素までを指定する。with_dataは、このビットが1のとき、要素IDとlevelで指定される要素が持つテキスト、イメージ、サウンドなどの実データを指定する。operand[6]からの4バイトには後述するGUIデータの要素を識別する要素IDを格納して、Asynchronous serial bus connectionを通じて転送を指示するGUIデータを指定するが、ルートとなるパネル要素を指定する場合に限りFFFFhで要素IDを代用することが可能である。

Push_gui_dataコマンドを受け取ったVCR 100の制御部102は、コマンドのレスポンスを返送し、VCR 100のパネルデータ発生器103からリモート制御のための表示データをAsynchronous serial bus connectionを通じてデジタルテレビ110へ転送する（210）。転送された表示データは表示データメモリ114に格納された後、制御部112で要素ごとに読み出され、描画制御部115へ送られ画像合成部117を通じて表示デバイス118に表示され、ユーザに対する操作情報（操作パネル）として提供される。

表示データは操作情報として表示される要素の集合であり、パネル要素をルートとした木構造のデータ構造を有する。図7はこうした要素と、各要素に従属する必須データまたは選択データを示す表であり、図8は各要素に対してユーザが取り得る操作であるユーザアクションを示す表である。

パネル要素は、操作要素の集合を示すものであり、リンクとして各要素が有するのIDの列を保持する。また、パネル要素のタイトルとなる文字列データであるラベルへのリンクと、パネルの表示する表示スクリーン上の位置及び大きさデータを有する。また、パネルの背景の色指定、または背景に表示するビットマップデータへのリンク、表示する文字列に対するフォントの選択指定をオプションとして保持する事ができる。また、ビデオ及び音声のストリームを転送するIsochronous転送チャネルデータをオプションとして保持する事ができ、このオプションが指定された場合には、転送されるストリームからデコードされるオーディオビデオデータをパネル要素全体に表示する。

ボタン要素は、ユーザがリモコンによって押す、または離す操作をする事ができる要素であり、押されたときと、離されたときに各々キートップに表示する二つのビットマップデータへのリンクを保持する。ビットマップの大きさはサイズデータで、表示位置は位置データで示される。位置データは、この要素が属するパネル要素内での相対位置を画素単位で指定したものである。また、ボタン要素のタイトル（または機能的な説明）となるラベルへのリンクを保持し、表示する文字列に対するフォントの選択肢をオプションとして保持する事ができる。オプションとして保持することの出来るフォーカスナビゲーションについては後で別に説明する。

テキスト要素は、タイトルや説明を文字列で表示する要素であり、位置、サイズと、ラベルとなるテキストデータへのリンクを保持し、背景色の指定とフォントの選択肢とフォーカスナビゲーションをオプションとして保持する事ができる。

アイコン要素は、ビットマップを表示し、ユーザが選択する事ができる要素であり、ビットマップデータへのリンク、ラベル、位置、サイズとラベルとなるテキストデータへのリンクを保持し、フォントの選択肢、オーディオビジュアル指定とフォーカスナビゲーションをオプションとして保持する事ができる。

アニメーション要素は、複数のビットマップを保持して、これを一定時間間隔で順に切り替えて表示し、ユーザが選択することのできる要素である。位置、サイズと、ラベルとなるテキストデータへのリンクを保持し、フォントの選択肢、フォーカスナビゲーションをオプションとして保持する事ができる。

図9(a)〜(l)はGUIデータを構成する要素のデータ構造を示す図である。図9 (a)はパネル要素、ボタン要素など、要素データのデータ構造である。全ての要素は、表示データの中での識別のために要素IDを保持する。要素タイプは要素の種別を示すコードであり、図10(a)に示す要素タイプが格納される。要素データは、この要素が保持するデータを必須データ、選択データの順に格納する。

図9(b)は必須データまたは選択データとして各要素からリンクされるテキスト、ビットマップ、サウンドなどの実データのデータ構造である。全ての実データは要素と同様に識別のための要素IDを保持する。要素タイプは実データの種別を示すコードで、図10(b)に示すデータタイプが格納される。実データは、テキストデータであれば文字列データが、ビットマップデータであればビットマップデータ列が、サウンドであればサウンドデータ列が格納される。

図9（c）〜(l)は要素データが保持する必須データ、または選択データとなる要素またはデータのリンクデータ構造である。図9(c)はテキスト実データへのリンクであり、要素IDにはリンク先のテキスト実データの要素IDが格納される。図9(d)はビットマップ実データへのリンクであり、要素IDにはビットマップ実データの要素IDが格納される。図9(e)は要素へのリンクであり、要素IDにはパネル要素に属するボタン要素、テキスト要素などの要素の要素IDが格納され、要素タイプは、図10(a)に示す要素タイプが格納される。図9(f)は背景カラーとして指定するカラーデータのデータ構造であり、RGB各8bitで表現されるカラーデータが格納される。

図9(g)は要素の表示位置を指定するデータの構造である。各要素の位置は表示デバイス上の2次元座標系で、要素が属する上位の要素の左上隅を原点とする相対位置として表現される。即ち、要素がルートとなるパネル要素である場合は表示デバイス上の位置が、要素がパネル要素に属するものであればパネル要素上の位置が画素単位で指定される。

図9(h)は要素を表示するサイズを指定するデータ構造であり、「幅」及び「高さ」には要素の大きさを画素単位で表現した値が格納される。

図9(i)は要素で表示されるテキストのフォントサイズを指定するデータ構造であり、図10(d)で示されるフォントコードが格納される。

図9(j)は要素の要素データに選択データを格納する場合のデータ構造であり、「選択データタイプ」に図10(c)に示す選択データタイプを格納し、「選択データ」に背景カラー、フォント、など選択的に付加されるデータ構造が格納される。

図9(k)はパネル要素の背景またはアイコン要素に表示されるオーディオビデオデータを転送するIsochronousチャネルを指定するデータ構造であり、下位6bitにIsochronousチャネルが格納され、上位2bitにはいずれも0Bがセットされる。

図9(l)は要素にフォーカスがあるとき、上下左右の各方向へのフォーカス移動とこの要素に対する選択入力があったとき、フォーカスの移動先となる要素を指定するデータ構造である。図に示すとおり、上下左右の4方向についてフォーカス移動の操作入力があった場合のフォーカスの移動先が要素IDとして、また、要素の選択を行う操作入力があった場合のフォーカスの移動先が要素IDとして格納されている。フォーカスの移動先の要素IDとしてFFFFhが格納されている場合、または自身の要素IDが指定されている場合には、該当する操作入力があってもフォーカスの移動を行わない。

図11はリモート制御のための表示データにおけるデータ構成の一例を木構造で示した図である。また、図12はこのデータの構造のうち、パネル要素のデータ構造を示す図である。こうしたデータがAsynchronous serial bus connectionを通じてデジタルテレビ110へ転送される。

図13にリモート制御のための表示データの表示例（操作パネル）を示す。制御部112は描画制御部115を通じてこうした表示を表示デバイス118に表示する一方、リモコン制御部116を通じてユーザの操作入力を受け付ける。例えば、図13においてVCRの再生を示すPLAYボタン304にユーザの選択候補としてのフォーカスがある事をボタンのハイライト表示313で示し、リモコン操作に応答してフォーカス位置を変更する。この動作をファーカスナビゲーションと呼ぶ。また、フォーカスのあるボタンに対して選択決定のリモコン操作に応答してボタンの表示を解放状態のビットマップ表示から押し下げ状態のビットマップ表示に切り替える動作を行う。

ボタンの押し下げなど、表示要素ごとに許容されたユーザアクションを検知すると、デジタルテレビの制御部112は、User_Actionコマンドを発行して、VCR 100の制御部102に通知する（図5の213）。制御部102は、通知された表示要素ごとにあらかじめ定められたユーザアクションに対応する制御をVCR本体部104に対して行う。表示データ発生器103はVCR本体104の動作状態の変化を反映し、表示データに変化がある場合には、変化のあった表示データをデジタルテレビ110へAsynchronous serial bus connectionによって転送する（図5の214）。VCR本体への制御によっては、Isochronous connectionを通じて新たなストリームデータの転送が開始される（216）。フォーカスナビゲーションを行い、ユーザの操作入力をユーザアクションとして被リモート制御装置に通知する一連の動作をユーザインタラクションと呼ぶ。

図14はユーザインタラクションに使用されるリモコン120を示す図である。リモコン120は表示データ上でフォーカスの移動を指示する方向キー312、313、314、315とフォーカスのある表示要素に対する選択決定を指示する決定キー316を備える。表示要素がボタン要素であるとき、選択決定の指示はボタンの押し下げ（および開放）のユーザアクションを発生し、アイコンおよびアニメーション要素である場合には選択のユーザアクションを発生する。

図のリモコン120は、また、電源のオンオフキー317、音量アップキー318、音量ダウンキー319、メニューキー320を備える。これらのキーに対する操作は、常にDTV110に対する操作となり、リモコン制御部を通じて制御部112に通知されて、DTV110の電源のオンオフ、音量の調節、DTVのメニュー呼び出しの制御に渡される。

続いて、インターネット2に接続されたMobile PC 140によるDTV110を介した遠隔地からのリモート制御の動作について説明する。DTV 110においては、被制御装置から受信したパネルデータを表示データメモリに格納すると共に、インターネット2を通じて接続されたリモート制御端末に送信するためのHTMLデータをパネルデータを基に作成し、保持する。

図5おいてDTV 110はIEEE1394ネットワークに接続された機器ごとにSubunitInfoコマンドの発行(201)とコンフィギュレーションROMへのリード(202)によって得られたユーザが操作し得る機器のリストおよびデバイスアイコンから、HTMLによるデバイス選択のための操作ページデータを操作データ変換部124で作成し、表示データメモリ114にdevicelist.htmlとして格納する。Mobile PCからのDTV 110のサーバ122へのgetメッセージによるアクセス（203）に対するレスポンスメッセージとしてHTMLによる操作ページデータがMobile PC 140のブラウザ部へ転送され（203）、表示部144に表示される。図15はHTMLによるデバイス選択ページのための操作ページデータの例、図16はMobile PC 140の表示部144に表示された操作ページの例である。

ユーザが表示操作ページ上でリモート操作可能なデバイスを表すアイコンの一つを選択すると、操作ページ上でリンクとして指定されたデバイスのパネルを生成するためのプログラムがgetメッセージ(204)を受け取ったサーバ部122で起動され、制御部112を通じて対象となるデバイスに対してGui_Updateコマンドの発行（205）をはじめとするリモート制御の手続きが開始される。デバイスから送られたGUIデータ(210)が表示データメモリ114に格納されると、操作データ変換部124によりHTMLによる操作ページデータに変換され、表示データメモリ114に格納される。サーバ部のプログラムはgetメッセージ(204)に対するレスポンスとして操作ページのデータをMobile PC140のブラウザ部143に送信し（211）、操作ページとして表示部144に表示される。

図17は表示される操作ページの一例である。Mobile PC 140は小型ながらもキーボードおよびポインティングデバイスと、カラーグラフィクス表示可能な液晶ディスプレイを備えて、ディスプレイに表示したアイコンなどのグラフィクス表示要素をマウスカーソルを用いて自由に選択することができる。操作ページはイメージを含むカラーグラフィクス表示によりDTV 110が受信したGUIデータによる操作パネルがほぼそのまま再現されている。

図18はこうした表示能力、操作性を有するリモート操作端末で使用するHTMLによる操作パネルデータをGUIデータから変換する際の変換ルールの例を示す表である。ボタン要素、アイコン要素などイメージデータを有する表示要素は、GUIデータが持つイメージデータをそのまま使用することができる。ボタン要素においてはボタンが離された状態のイメージである開放ビットマップリンクによるイメージデータが使用され、アニメーション要素ではアニメーションを構成するアニメーションビットマップリンクが指す一番目のイメージデータが使用される。操作データ変換部124にその機能があれば、アニメーションを含むGIFファイルに変換して使用することも可能である。

また、各要素に指定された位置、サイズの情報もHTMLによる操作パネルデータに指定される。GUIデータの選択データとしてパネル要素、テキスト要素に与えられる背景カラー、背景ビットマップも指定される。本実施形態においては、その他の必須データおよび選択データはHTMLによる操作ページデータに反映されない。

Mobile PC 140のユーザは表示された操作ページを見て、所望の機能を示す表示要素を選択すると、リンクとして指定されたエレメント種類ごとに定められた処理プログラムがgetメッセージ(212)を受け取ったサーバ部122で起動され、引数として渡された要素IDとアクションコードに基づき制御部112からUserActionコマンドが発行される(213)。被リモート制御であるデバイスからUserActionコマンドに反応して新たに送信されたGUIデータがDTV 100で受信され、表示データメモリ112に格納されると、操作データ変換部124によりHTMLによる操作ページデータに変換され、表示データメモリ114に格納される。サーバ部のプログラムはgetメッセージ(212)に対するレスポンスとして新しい操作ページのデータをMobile PC140のブラウザ部143に送信し（215）、新たな操作ページとして表示部144に表示される。

本実施形態に接続されるリモート制御端末の形態は多種に渡り、その操作環境も大きく異なる。図21、22、23はそれぞれMobile PC（図1の140）、PDA（図1の151）、携帯端末（図1の152）の外観を示す例である。

Mobile PCは、小型ながらもキーボードおよびポインティングデバイスと、カラーグラフィクス表示可能な液晶ディスプレイを備えて、ディスプレイに表示したアイコンなどのグラフィクス表示要素をマウスカーソルを用いて自由に選択することができる。

PDAは図示しない携帯電話/PHSなどに接続し、公衆回線を経由してインターネットに接続される。白黒またはカラーの小面積のディスプレイを備え、ディスプレイ表面に設けられたタッチパネルを通じて操作を行うことが出来る。図24(a)及び(b)はこうしたPDAのようなリモート端末において表示される操作ページの表示例である。図24(a)はリモート制御可能なデバイスのリストであり、リモート制御の対象とするデバイスを選択する画面、図24(b)は被リモート制御デバイスとしてVCRを選択したときのVCR制御のための表示画面であり、図13に示されるGUIデータから変換されたHTMLによる操作ページデータを表示した例である。

また、携帯端末は携帯電話の機能に加え、主にテキストの表示に適した限定的なディスプレイを備え、携帯電話回線網に設けられたサーバを通じてインターネットに接続される。ディスプレイに表示された主にテキストを上下方向のカーソル移動キーで選択し、操作を行うことが出来る。図25(a)はリモート制御可能なデバイスのテキストによるリストであり、リモート制御の対象とするデバイスを選択する画面、図25 (b)は被リモート制御デバイスとしてVCRを選択したときのVCR制御のための操作ページの表示例であり、図13に示されるGUIデータから変換されたテキストで構成されたHTMLによる操作ページデータを表示した例である。

このようにリモート制御端末として接続される機器によってその操作環境は大きく異なり、それぞれの端末でユーザが操作しやすい環境を実現するための操作ページ、あるいは操作ページデータとして適切なものは異なる。このためGUIデータからHTMLデータを変換する際に用いるルールも図18に示したMobilePC向けのルールとは異なるものが必要である。図19はPDA向けの変換ルールの例であり、GUIデータのイメージデータを使用するものの、限定されたPDAのディスプレイが前提となるため、表示位置に関する指定は生かされない。また、イメージデータのサイズも必ずしも指定どおりでなく、適当な大きさにリサイズ、またはクリッピングされ、PDAが表示できる配置で表示されることになる。

また、図20は携帯端末向けの変換ルールの例であり、携帯端末の限られた表示面積と操作選択手段に合わせてGUIデータのテキストデータだけが採用される。ボタン要素、アイコン要素など本来イメージとして表示される要素も、要素につけられたラベルデータによるテキストで代替される。表示される操作ページとしては制約の多いものとなるが、他方では、携帯端末が使用できる場所であればどこからでもリモート制御を行うことができるという利便性を得ることが出来る。

DTVにおいては、こうしたリモート制御端末のいずれから接続された場合でも最も適切な操作ページデータをレスポンスとして送出することが望ましい。本実施形態におけるDTV 110においては、IEEE1394ネットワークに接続されたデバイスの情報またはGUIデータからHTMLによる操作ページデータに変換する場合、類型化されたリモート制御端末に適切となる複数種類の操作ページデータを作成して、そのリモート制御端末の類型を示すURLに分けて格納する。図26はリモート制御端末からアクセスすることができるサーバ部122が管理するディレクトリ構造である。リモート制御端末の形態を代表するディレクトリ名を有する"pc"、"pda"、"cellular"のディレクトリに、それぞれMobile Pc向け、PDA向け、携帯端末向けの操作ページデータを格納している。

リモート端末は、自身の表示と操作の形態を考慮して、最適な操作ページデータを与えると考えられるディレクトリをURLに指定して、DTVのサーバにアクセスする。例えば、先に説明したMobilePcの場合はURL="http://123.45.67.89/pc/devicelist.html"を指定することにより、図16に示す操作ページを得ることが出来る。また、PDAの場合にはURL="http://123.45.67.89/pda/devicelist.html"を指定することにより、図24(a)の操作ページを得ることが出来る。携帯端末の場合にはURL="http://123.45.67.89/cellular/devicelist.html"を指定することにより図25(a)の操作ページを得ることができ、表示された操作ページの中から"VCR"の文字を選択することにより図25(b)のVCRを操作する操作ページを得ることが出来る。

以上のように、本実施形態は、画像データを含む操作要素の集合によって構成される第1の操作パネル情報を第1のネットワークに接続された被制御装置から送信し、表示器を備えたリモート制御装置がこれを受信して操作者に対して操作パネルとして表示すると同時に、操作者の操作入力に基づいて操作要素を選択し操作要素を決定する操作情報を第1のネットワークを通じて被制御装置へ送信して、被制御装置の制御を行うネットワークリモート制御システムであって、リモート制御装置は受信した第1の操作パネル情報から第2のネットワークを通じて送信できるデータ形式に変換した第2の操作パネル情報を格納し、リモート制御端末からの要求に応じて第2のネットワークを通じて第2の操作パネル情報を送信し、表示器を備えたリモート制御端末がこれを受信して操作者に対し操作パネルとして表示すると同時に、操作者の選択操作に基づいて選択情報を第2のネットワークを通じてリモート制御装置へ送信し、リモート制御装置において第1のネットワークを通じて被制御装置へ送信する操作情報に変換する。また、リモート操作装置においては、第1の操作パネル情報から複数の形式に変換された複数の第2の操作パネル情報を格納し、第2のネットワークを通じた要求に従ってそのうちの一つをリモート制御端末に送信することに特徴を有するものである。

本実施形態によるリモート制御システムは、被制御装置100と、第1のネットワークを介して被制御装置に接続されるリモート制御装置110と、第２のネットワークを介してリモート制御装置に接続されるリモート制御端末140とを有する。

被制御装置は、表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を第１のネットワークを介してリモート制御装置に送信する送信手段と、第１のネットワークを介してリモート制御装置から受信する第１の制御情報に応じたサービスを提供する提供手段とを有する。

リモート制御装置は、第１のネットワークを介して被制御装置から第１の操作情報を受信する第1の受信手段と、第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、第２の操作情報を第２のネットワークを介してリモート制御端末へ送信する第１の送信手段と、第２のネットワークを介してリモート制御端末から第２の制御情報を受信する第２の受信手段と、第２の制御情報に基づいて第１の操作情報を生成して、第１の操作情報を第１のネットワークを介して被制御装置へ送信する第２の送信手段とを有する。

リモート制御端末は、第２の操作情報に基づいた操作要素を表示器に表示する表示手段と、操作要素の一つを選択決定したことを第２の制御情報として第２のネットワークを介してリモート制御装置へ送信する送信手段とを有する。

リモート制御装置は、さらに、第１の操作情報に基づいた操作要素を表示器に表示する表示手段を有し、第２の送信手段は、操作要素の一つを選択決定した旨を第１の制御情報として第１のネットワークを介して被制御装置へ送信する。

リモート制御装置は、受信した第１の操作情報に基づいて、複数の第２の操作情報を生成して保持し、そのうちの１つを第２のネットワークを介してリモート制御端末へ送信する。

複数の第２の操作情報のうちの少なくとも１つはテキストからなる操作要素によって構成される操作情報である。また、複数の第２の操作情報のうちの少なくとも１つは画像データからなる操作要素を含む。複数の第２の操作情報は、第２のネットワークにおいて異なるロケーションに保持される。異なるロケーションは、リモート制御端末の特徴を示す名称を含むアドレスによりアクセスできるロケーションである。

第２の操作情報は、第１のネットワークに接続された１つ又は複数の被制御装置のいずれかを選択するための操作情報である。

第１のネットワークは、例えばIEEE1394によるネットワークである。第２のネットワークは、例えばIPによる通信を行うネットワークである。また、第２のネットワークは、例えばTCP及びHTTPによる通信を行うネットワークである。

本実施形態によれば、リモート被制御装置から送信されるリモート制御のためのデータをリモート制御装置が受信して使用することにより、リモート制御装置の側でリモート被制御装置毎に制御アプリケーションソフトウエアを準備することなく、いかなる固有の機能を有するリモート被制御装置をも操作することが可能となるリモートネットワークシステムを、家庭内のネットワーク内から利用するだけでなく、IPによるネットワークを通じて極めて広範囲な遠隔地から操作することが可能となる。

また、類型化された複数の種類の表示データを利用して、接続されるリモート制御端末毎に異なる表示能力、操作環境に適した操作データをリモート制御端末で使用することが出来、リモート制御端末におけるユーザの操作性を良好なものにすることが可能となる。

本実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態によるシステム全体を表すブロック図である。 VCRの構成を説明する図である。 DTVの構成を説明する図である。 リモート制御端末の構成を説明する図である。 リモート制御の手順を説明する図である。 リモート制御のための制御コマンドを説明する図である。 リモート制御のための制御コマンドを説明する図である。 リモート制御のための制御コマンドを説明する図である。 リモート制御のための制御コマンドを説明する図である。 リモート制御のための制御コマンドを説明する図である。 リモート制御のための制御コマンドを説明する図である。 操作情報の要素とその必須データ及び選択データを説明する図である。 操作情報の要素が取り得るユーザアクションを説明する図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータのデータ構造を示す図である。 GUIデータに格納するタイプ、コードを説明する図である。 GUIデータに格納するタイプ、コードを説明する図である。 GUIデータに格納するタイプ、コードを説明する図である。 GUIデータに格納するタイプ、コードを説明する図である。 GUIデータの木構造の例を示す図である。 GUIデータのうちパネル要素の実際のデータ例を示す図である。 リモート制御のためのGUIデータのDTVにおける表示例を示す図である。 リモート制御装置が備えるリモコンを示す図である。 リモート制御端末に送られる操作ページデータを示す図である。 リモート制御端末であるMobil PCに表示される操作ページを示す図である。 リモート制御端末であるMobil PCに表示される操作ページを示す図である。 GUIデータからHTMLによる操作ページデータを作成する際の変換ルールを説明する図である。 GUIデータからHTMLによる操作ページデータを作成する際の変換ルールを説明する図である。 GUIデータからHTMLによる操作ページデータを作成する際の変換ルールを説明する図である。 リモート制御端末であるMobile PCの外観を示す図である。 リモート制御端末であるPDAの外観を示す図である。 リモート制御端末である携帯端末の外観を示す図である。 リモート制御端末であるPDAに表示される操作ページの表示例を示す図である。 リモート制御端末であるPDAに表示される操作ページの表示例を示す図である。 リモート制御端末である携帯端末に表示される操作ページの表示例を示す図である。 リモート制御端末である携帯端末に表示される操作ページの表示例を示す図である。 DTVのサーバ部が管理するURLのディレクトリ構造を示す図である。

符号の説明

1 1394ネットワーク
2 インターネット
100 リモート制御されるVCR
101 1394 I/F部
102 制御部
103 表示データ発生器
104 VCR本体部
110 デジタルテレビ
111 1394 I/F部
112 制御部
113 デコーダ
114 表示データメモリ
115 描画制御部
116 リモコン制御部
117 画像合成部
118 表示デバイス
119 音声出力部
120 リモコン
122 サーバ部
123 ネットワークI/F
124 操作データ変換部
140 リモート制御端末
141 ネットワークI/F
142 操作入力部
143 ブラウザ
144 表示部
145 制御部

Claims (32)

1. 被制御装置と、
   第1のネットワークを介して前記被制御装置に接続されるリモート制御装置と、
   第２のネットワークを介して前記リモート制御装置に接続されるリモート制御端末とを有するリモート制御システムであって、
   前記被制御装置は、
   表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を前記第１のネットワークを介して前記リモート制御装置に送信する送信手段と、
   前記第１のネットワークを介して前記リモート制御装置から受信する第１の制御情報に応じたサービスを提供する提供手段とを有し、
   前記リモート制御装置は、
   前記第１のネットワークを介して前記被制御装置から前記第１の操作情報を受信する第1の受信手段と、
   前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を前記第２のネットワークを介して前記リモート制御端末へ送信する第１の送信手段と、
   前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、
   前記第２の制御情報に基づいて前記第１の操作情報を生成して、前記第１の操作情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信手段とを有し、
   前記リモート制御端末は、
   前記第２の操作情報に基づいた操作要素を表示器に表示する表示手段と、
   前記操作要素の一つを選択決定したことを第２の制御情報として前記第２のネットワークを介して前記リモート制御装置へ送信する送信手段とを有することを特徴とするリモート制御システム。
2. 前記リモート制御装置は、
   さらに、前記第１の操作情報に基づいた操作要素を表示器に表示する表示手段を有し、
   前記第２の送信手段は、前記操作要素の一つを選択決定した旨を第１の制御情報として前記第１のネットワークを介して前記被制御装置へ送信することを特徴とする請求項１記載のリモート制御システム。
3. 前記リモート制御装置は、
   前記受信した第１の操作情報に基づいて、複数の第２の操作情報を生成して保持し、そのうちの１つを前記第２のネットワークを介して前記リモート制御端末へ送信することを特徴とする請求項１又は２記載のリモート制御システム。
4. 前記複数の第２の操作情報のうちの少なくとも１つはテキストからなる操作要素によって構成される操作情報であることを特徴とする請求項３記載のリモート制御システム。
5. 前記複数の第２の操作情報のうちの少なくとも１つは画像データからなる操作要素を含むことを特徴とする請求項３記載のリモート制御システム。
6. 前記複数の第２の操作情報は、前記第２のネットワークにおいて異なるロケーションに保持されることを特徴とする請求項３〜５のいずれか１項に記載のリモート制御システム。
7. 前記異なるロケーションは、前記リモート制御端末の特徴を示す名称を含むアドレスによりアクセスできるロケーションであることを特徴とする請求項６記載のリモート制御システム。
8. 前記第２の操作情報は、前記第１のネットワークに接続された１つ又は複数の前記被制御装置のいずれかを選択するための操作情報であることを特徴とする請求項１〜７のいずれか１項に記載のリモート制御システム。
9. 前記第１のネットワークは、IEEE1394によるネットワークであることを特徴とする請求項１〜８のいずれか１項に記載のリモート制御システム。
10. 前記第２のネットワークは、IPによる通信を行うネットワークであることを特徴とする請求項１〜９のいずれか１項に記載のリモート制御システム。
11. 前記第２のネットワークは、TCP及びHTTPによる通信を行うネットワークであることを特徴とする請求項１〜９のいずれか１項に記載のリモート制御システム。
12. 第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信手段と、
    前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信手段と、
    前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、
    前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信手段と
    を有することを特徴とするリモート制御装置。
13. さらに、前記第１の操作情報に基づいた操作要素を表示器に表示する表示手段を有し、
    前記第２の送信手段は、前記操作要素の一つを選択決定した旨を第１の制御情報として前記第１のネットワークを介して前記被制御装置へ送信することを特徴とする請求項１２記載のリモート制御装置。
14. 前記受信した第１の操作情報に基づいて、複数の第２の操作情報を生成して保持し、そのうちの１つを前記第２のネットワークを介して前記リモート制御端末へ送信することを特徴とする請求項１２又は１３記載のリモート制御装置。
15. 前記複数の第２の操作情報のうちの少なくとも１つはテキストからなる操作要素によって構成される操作情報であることを特徴とする請求項１４記載のリモート制御装置。
16. 前記複数の第２の操作情報のうちの少なくとも１つは画像データからなる操作要素を含むことを特徴とする請求項１４記載のリモート制御装置。
17. 前記複数の第２の操作情報は、前記第２のネットワークにおいて異なるロケーションに保持されることを特徴とする請求項１４〜１６のいずれか１項に記載のリモート制御装置。
18. 前記異なるロケーションは、前記リモート制御端末の特徴を示す名称を含むアドレスによりアクセスできるロケーションであることを特徴とする請求項１７記載のリモート制御装置。
19. 前記第２の操作情報は、前記第１のネットワークに接続された１つ又は複数の前記被制御装置のいずれかを選択するための操作情報であることを特徴とする請求項１２〜１８のいずれか１項に記載のリモート制御装置。
20. 前記第１のネットワークは、IEEE1394によるネットワークであることを特徴とする請求項１２〜１９のいずれか１項に記載のリモート制御装置。
21. 前記第２のネットワークは、IPによる通信を行うネットワークであることを特徴とする請求項１２〜２０のいずれか１項に記載のリモート制御装置。
22. 前記第２のネットワークは、TCP及びHTTPによる通信を行うネットワークであることを特徴とする請求項１２〜２０のいずれか１項に記載のリモート制御装置。
23. ネットワークを介してリモート制御装置から表示画像情報を含む一つ以上の操作要素から構成される操作情報を受信する受信手段と、
    前記操作情報に基づいた操作要素を表示器に表示する表示手段と、
    前記操作要素の一つを選択決定したことを制御情報としてネットワークを介して前記リモート制御装置へ送信する送信手段と
    を有することを特徴とするリモート制御端末。
24. 前記操作情報は、テキストからなる操作要素によって構成される操作情報であることを特徴とする請求項２３記載のリモート制御端末。
25. 前記操作情報は、画像データからなる操作要素を含むことを特徴とする請求項２３記載のリモート制御端末。
26. 前記操作情報は、１又は複数の被制御装置のいずれかを選択するための操作情報であることを特徴とする請求項２３〜２５のいずれか１項に記載のリモート制御端末。
27. 前記ネットワークは、IPによる通信を行うネットワークであることを特徴とする請求項２３〜２６のいずれか１項に記載のリモート制御端末。
28. 前記ネットワークは、TCP及びHTTPによる通信を行うネットワークであることを特徴とする請求項２３〜２６のいずれか１項に記載のリモート制御端末。
29. 表示画像情報を含む一つ以上の操作要素から構成される操作情報をネットワークを介してリモート制御装置へ送信する送信手段と、
    前記リモート制御装置からネットワークを介して受信する制御情報に応じたサービスを提供する提供手段と
    を有することを特徴とする被制御装置。
30. 前記ネットワークは、IEEE1394によるネットワークであることを特徴とする請求項２９記載の被制御装置。
31. 第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信ステップと、
    前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信ステップと、
    前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する受信手段と、
    前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信ステップと
    を有することを特徴とするリモート制御方法。
32. 第１のネットワークを介して被制御装置から表示画像情報を含む一つ以上の操作要素から構成される第１の操作情報を受信する第１の受信ステップと、
    前記第１の操作情報に基づいて一つ以上の操作要素を含む第２の操作情報を生成し、前記第２の操作情報を第２のネットワークを介してリモート制御端末に送信する第１の送信ステップと、
    前記第２のネットワークを介して前記リモート制御端末から第２の制御情報を受信する第２の受信手段と、
    前記第２の制御情報に基づいて第１の制御情報を生成し、前記第１の制御情報を前記第１のネットワークを介して前記被制御装置へ送信する第２の送信ステップと
    をコンピュータに実行させるためのプログラム。

Images