JP2007087100A - 電子機器システム - Google Patents

Abstract

【課題】 多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、遠隔操作用機器を併用してより利便性を向上させることができる電子機器システムを提供する。
【解決手段】 ビデオカメラ２により操作者の画像を撮影し、鏡像変換を行う。操作用アイコンとポインタ４５０を含む操作用画像を生成し、鏡像変換した操作者の画像と、操作用画像とを重ねて表示装置２３に表示する。表示される画面上において、操作者のボタン操作によるユニバーサルリモコン４Ａの発光が検出部１９により検出され、選択されたポインタ４５０がユニバーサルリモコン４Ａの移動にしたがい画面上を移動し、所望の操作用アイコンに重ね合わされる。操作者のボタン操作により操作用アイコンに対応する制御が行われる。
【選択図】 図２９

Description

本発明は電子機器システムに関し、特にテレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うための電子機器システムに関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であり、リモコン操作は１機能を１押しで実行する仕組みが基本となっている。テレビジョン受像機用リモコンを例に取れば「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当する。リモコンはこれまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送では、所望のメニュー画面を選択するためにはリモコンの「上下左右」や「決定」キーを何度も押下する必要がある。またＥＰＧ（電子プログラムガイド）では、マトリクスに配列された案内画面から所望の位置を選択し、録画予約をするためにはさらに何度もキーを押下する必要があり、データ放送での操作と同様リモコン操作は煩雑で使いづらくなっている。

特許文献１には、このような課題を解決するために、マウスまたはこれに類似する位置指定操作装置により得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。

特開２００３−２８３８６６号公報

特許文献１に示された制御装置は、パーソナルコンピュータ（パソコン）のマウス操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものである。したがって、パソコンを利用しない人にとっては使いづらいもので、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま導入することは無理がある。遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。

さらにネットワーク化の進展は、宅内のストレージメディアや宅外のインターネットから得られる多様な情報を、テレビジョン受像機やパソコンのディスプレイに表示することで情報を受容することになる。この場合の操作形態は情報源に依存するため、多様な操作形態に対応する必要があり、家電機器に付属する現状のリモコンでは充分な対応が出来なかった。

以上説明したように、従来のリモコンでは、テレビジョン受像機などの機能の多様化と複雑化に対して、リモコンが肥大化する。データ放送などのメニュー画面の選択操作を従来のリモコンで行うと、ポインティング装置としての役割がより重要となるため、従来のリモコンでは使い勝手の面で難点が多い。またネットワーク化は、ネットワークにつながるあらゆる機器の機能を、表示装置を介して制御することになり、つながる機器の数に比例してリモコンの数が増える問題がある。この問題は、テレビジョン受像機につながるＶＴＲ・ビデオディスク・その他オーディオ機器などでも現実にどのリモコンが該当のリモコンであるか判別がつかなくなるようなことで、現状でもよく経験している現象である。さらにインターネットに至っては、あらゆるウェッブサイトの情報を選択制御することになり、もはや従来のリモコンの形態では限界に達していることは自明である。

これに対して本出願人は、上述した点に着目して、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器の制御装置を提案している。この制御装置はユーザ（操作者）の手の動作をビデオカメラで撮影してその動作から操作内容を識別するものである。しかし、この装置では暗室においては機能を発揮できない問題があったが、自発光機能を具備した手元制御装置（ユニバーサルリモコン）の使用で暗室における問題点を解決すると共に明室においても操作性の向上が図られた。しかしながら、この手元制御装置（ユニバーサルリモコン）の操作においてポインティング機能上の不十分な点が存在した。

本発明はこの点に着目してなされたものであり、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、遠隔操作用機器の使用でより利便性を向上させることができる電子機器システムを提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、表示装置を有する電子機器と、前記表示装置の前に位置する操作者を撮影するビデオカメラと、前記電子機器を遠隔操作するための手元制御機器とを備える電子機器システムであって、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換手段と、少なくとも１つの操作画像と指示画像を含む操作用画像を生成する操作用画像生成手段と、前記鏡像変換された画像の画像信号と、前記操作用画像の画像信号とを混合する混合手段と、該混合手段により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラで撮影され、前記画面上に表示された前記手元制御機器が前記指示画像に重ねられたとき、該指示画像が選択されたことを検出し、該検出後は、前記手元制御機器の動きに追従するように前記指示画像を移動させる表示制御手段と、前記指示画像の位置に応じて前記操作画像の指示動作を検出する指示動作検出手段と、該指示動作検出手段により指示動作が検出された操作画像に対応する、前記電子機器の制御動作を行う機器制御手段とを備えることを特徴とする。

請求項２に記載の発明は、表示装置を有する電子機器と、前記表示装置の前に位置する操作者を撮影するビデオカメラと、前記電子機器を遠隔操作するための手元制御機器とを備える電子機器システムであって、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換手段と、少なくとも１つの操作画像を含む操作用画像を生成する操作用画像生成手段と、前記鏡像変換された画像の画像信号と、前記操作用画像の画像信号とを混合する混合手段と、該混合手段により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラで撮影され、前記画面上に表示された前記手元制御機器が前記操作画像に重ねられたとき、該操作画像が選択されたことを検出し、該検出後は、前記手元制御機器の動きに追従するように前記操作画像を移動させる表示制御手段とを備えることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の電子機器システムにおいて、前記表示制御手段は、前記手元制御機器の動きを検出するための検出枠を分割した複数の検出エリアのそれぞれにおける、前記手元制御機器の画像の面積値を検出する複数個の検出器を備え、該検出器から出力される面積値の総和と、前記検出器から出力される面積値または前記検出枠の中心に対して対称の位置関係にある検出エリアに対応する前記面積値の差分とに応じて、前記手元制御機器の動きベクトルを算出し、該算出された動きベクトルにしたがって、前記指示画像または操作画像の移動制御を行うことを特徴とする。

請求項４に記載の発明は、請求項１に記載の電子機器システムにおいて、前記手元制御機器は、遠隔制御用の赤外線発光手段及び可視光を発光し、その発光内容を変動させる可視光発光手段の少なくとも一方と、前記赤外線発光手段または可視光発光手段を作動させるための操作ボタンとを備え、前記指示動作検出手段は、前記操作ボタンが操作されたときの前記指示画像の位置に応じて前記操作画像の指示動作を検出することを特徴とする。

請求項１に記載の発明によれば、操作者がビデオカメラで撮影され、鏡像変換された画像と、操作画像と指示画像を含む操作画像とが混合され、すなわち重ね合わされて表示装置に表示される。表示装置に映し出された操作者が持つ手元制御機器を表示画面上で指示画像に重ね合わせると、その重ね合わされたことが検出され、検出後は手元制御機器の動きに追従するように指示画像が移動する。したがって、操作者は手元制御機器を移動させることで指示画像を移動させ、指示画像を操作画像に重ね合わせることができる。指示動作検出手段により、指示画像が操作画像に重ね合わされたことが検出され、操作画像に対応する制御動作が行われる。これにより従来の操作内容に応じて多くのボタンの中から１つを選択して押下するという操作が不要になり、手元制御機器の移動と選択確定のための１つの操作で種々の制御動作が可能となる。

請求項２に記載の発明によれば、操作者がビデオカメラで撮影され、鏡像変換された画像と、操作画像を含む操作画像とが混合され、すなわち重ね合わされて表示装置に表示される。表示装置に映し出された操作者が持つ手元制御機器を表示画面上で操作画像に重ね合わせると、その重ね合わされたことが検出され、検出後は手元制御機器の動きに追従するように操作画像が移動する。これにより表示画面上の好きな位置に操作画像を移動させることができ、操作者の好みにあった操作画面を作ることができる。また、例えばボリューム操作のような連続的な移動の制御が可能となる。

請求項３に記載の発明によれば、手元制御機器の動きの検出には、動き検出のための検出枠を分割した複数の検出エリアにおける手元制御機器の画像の面積値が使われる。各検出器から出力された面積値の総和と、検出器から出力される面積値または検出枠の中心に対して対称の位置関係にある検出エリアに対応する面積値の差分とに応じて動きベクトルが算出される。そして算出された動きベクトルにしたがって、指示画像または操作画像の移動制御が行われる。これにより手元制御機器の動きに指示画像または操作画像を正確に追従させることができる。

請求項４に記載の発明によれば、赤外線発光手段または可視光発光手段を発光させる操作ボタンが操作されたときの指示画像の位置に応じて操作画像の指示動作が検出される。これにより操作画像の指示動作を確実に検出することができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。ユーザ（操作者）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン装置４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作する。テレビジョン受像機の周辺機器が多いとリモコンも複数になり、どれが該当するリモコンなのか分からず、不便を強いられる場合を時々経験する。

これに対し、本実施形態では、テレビジョン受像機１にビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を得て、テレビジョン受像機１及びそれに関連する機器の操作が行われる。ユーザ３の動作とは、具体的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択するリモコンを持った動きのことである。

図２は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、基準同期発生器１１、タイミングパルス発生器１２、グラフィックス生成器１６、ビデオカメラ２、鏡像変換器１４、スケーラ１５、第１の混合器１７、画素数変換器２１、第２の混合器２２、表示装置２３、検出部１９、赤外線検出器２４、及び制御情報判断器（ＣＰＵ）２０を備えている。

基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生させる。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号で、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。

鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。したがって、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる手法により鏡像変換が行われる。表示装置２３としてＣＲＴ（Cathode Ray Tube）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。

スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器（ＣＰＵ）２０の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。

グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）とする。また生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは２プレーンである。画素数は、本実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。

第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１o＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

検出部１９は、第１の検出器３１、第２の検出器３２、第３の検出器３３、…第１６の検出器４６からなる。本実施形態では検出部１９に含まれる検出器の数を１６個としているが、検出器の数はこれに限定するものではなく、応用によって変動する。検出器３１〜４６は、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すアイコン、またはリンクを表すアイコンや、ユニバーサルリモコンのマーカ及び制御画面に展開されるカーソルやパーソナルコンピュータのマウスで操作する制御矢印に相当するポインタなどと連携する。これについては後程、詳細に記述する。

制御情報判断器（ＣＰＵ）２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムについては詳細に記述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフト（ＣＰＵ上で展開）処理が混在するが、特にここで示す切り分けに限定するものではない。

画素数変換器２１は、外部から入力される外部入力信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されてくるテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。

第２の混合器２２は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１oと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２oが表される。
Ｍ２o＝α２・Ｍ１o＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１７の出力信号Ｍ１oの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

表示装置２３は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。

赤外線検出器２４は、赤外線リモコンの受光部で制御情報を解読して、制御情報判断器２０に出力する。制御情報判断器２０では、赤外線リモコンからの情報と検出器１９から供給される情報を含めて制御情報を確定する。

以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３は、グラフィックス画像４１０と、ビデオカメラ画像を鏡像変換し、スケーリングによりグラフィックス画像４１０と画素数を一致させたスケーラ出力画像４３０とを示している。スケーラ出力画像４３０にはユーザ３とユニバーサルリモコン４Ａが描かれている。グラフィックス画像４１０は制御を行うためのメニュー画面プレーン４１０ａ及びポインタ（またはカーソル）プレーン４１０ｂの２つからなっており、メニュー画面プレーン４１０ａには３つの四角形でプッシュボタン（操作ボタン）４２０が描かれ、ポインタプレーン４１０ｂにはポインタ４５０が描かれている。一方のスケーラ出力画像４３０は、ユーザ３とユニバーサルリモコン４Ａを撮影し、鏡と同じように表示するものである。スケーラ出力画像４３０の中に破線の四角形で描かれた検出枠４４０は、複数の検出器３１、３２等からなる検出部１９の検出エリアの集合を表したもので、ポインタプレーン４１０ｂに描かれているポインタ４５０と同一の位置に配置され、また同様に３つの破線の四角で描かれたプッシュボタン検出領域４２０ｄはメニュー画面プレーン４１０ａのプッシュボタン４２０と同一の位置に配置されている。本実施形態のポインタはプッシュボタンによる制御にさらに追加される機能で、パーソナルコンピュータのマウスで制御される矢印と同様の役割を担うものであり、ＧＵＩ（グラフィッカルユーザインタフェース）にとって大変重要なものである。

図４は、第１の混合器１７における混合処理を説明するためのイメージ図である。図４（Ａ）はグラフィックス生成器１６で生成される制御メニュー画面プレーン４１０ａ及びポインタプレーン４１０ｂが合成されたものを表しており、ポインタ４５０及びプッシュボタン４２０が含まれている。図４（Ｂ）は、ビデオカメラ２でユーザ３とユニバーサルリモコン４Ａを捉えた画面（鏡像変換、及びスケーラ処理済み）で、検出部１９の各検出器に対応する検出枠４４０（画面上では見えないため破線を使って描いている）が含まれている。第１の混合器１７にて、図４（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面が、図４（Ｃ）に示されている。なお、図４（Ｃ）に表示されるユーザ３とユニバーサルリモコン４Ａの画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように表示装置２３には、ユーザ３の画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これにより、ユーザ本人は、自分の動きと制御メニューの位置を認識することが出来る。制御はユーザ３が操作するリモコンの発光を利用して行う。すなわち、発光しているリモコンの動きが検出され、その検出結果にしたがって画面上のポインタ４５０を移動させ、所望のメニュー画面に展開されている制御情報を持ったアイコンやリンクがはられたアイコンまたは文字情報などのポジションに移動させる。そして、制御が行われる。リモコンの決定ボタンの押下、または決定と同じ機能の動作を介して、該当するアイコンの制御情報が制御情報判断器（ＣＰＵ）２０に出力される。その際グラフィックスのポインタ４５０が機能しているときは、ポインタ４５０の形状または色を変化させて、動作が認識されたことを表示上に表し、ユーザ３にフィードバックする。

図５は、ビデオカメラ２からの画像上に設定している図３に示す検出枠４４０と、検出部１９の検出器３１〜４６との対応関係を示している。検出枠４４０は検出エリア１ａ〜１６ａの１６エリアに分割され、それぞれが第１〜第１６の検出器３１〜４６に対応している。さらに検出エリア１ａ及び６ａを特定するタイミングパルス（水平垂直）が示されている。

各検出器３１〜４６は、図６に示すように、オブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出部５３とを備えている。タイミングゲート器５２は、図５に示したタイミングパルスでビデオカメラ２からの画像信号の通過を制御する。通過する領域は図５に破線の四角形で示す検出枠４４０内である。この検出枠４４０内に限定した信号を、さらにさまざまなフィルタ処理してビデオカメラ２で捉えたユーザ３の手やユニバーサルリモコン４Ａの発光部を抽出する。

オブジェクト抽出器５１は、画像の特徴に添ったフィルタを備えている。本実施形態ではリモコンの発光色を肌色にし、リモコンの発光を検出するためのオブジェクト抽出器５１も肌色に対応したフィルタ処理を行う。オブジェクト抽出器５１は、具体的には、図７に示されるように、特定色フィルタ７１と、階調限定器７２と、合成器７３と、オブジェクトゲート７４を備えている。特定色フィルタ７１を、図８を参照して説明する。図８は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビ信号のすべての色信号はこの座標上のベクトルで表すことができ、極座標で評価できる。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定するものである。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（零度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度零で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。

図８では、特定色フィルタ７１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２の範囲に設定され、また色の濃さは等飽和度線Ｓ２より小さくＳ１より大きい範囲に設定されている。第２象限のこの範囲は本実施形態で抽出する人間の手の色である肌色の領域に相当するが、特にこれに限定するものではない。特定色フィルタ７１は、ビデオカメラ２からくる色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。そのためには色差信号から角度と飽和度を算出して判定する。

角度算出は、一例として図１０に示すような処理によって、入力画素それぞれについて、図８に示す色差平面上でなす角度を算出する。図１０は、角度算出処理をフローチャートにて図示しているが、角度算出処理はソフトウェア、ハードウェアのいずれで実現してもよい。本実施形態では、ハードウェアで実現するようにしている。図１０のステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。ステップＳ４０２にて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値の大きい方をＡ、小さい方をＢとして算出する。

そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２の処理より明らかなように、０〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５にて、角度Ｔ１を、（９０−Ｔ１）に置き換える。これによって、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。

ステップＳ４０３において検出する角度Ｔ１を０〜４５°としているのは、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
さらに、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７にて、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８にて、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９にて、Ｔ＝１８０＋Ｔ１を算出する。第３象限でなければ、ステップＳ４１０にて、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１にて、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、角度ＴをＴ１とする（ステップＳ４１２）。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図８の色差平面上でなす角度Ｔを出力する。

以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面上での角度を０〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１〜第４象限に応じて補正している。

次に色の濃さである飽和度の算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
但し、Ｃｒは、図８に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（ ）は平方根の演算を行う演算子である。

ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトでも演算のステップが多く好ましくないので以下のように近似することも出来る。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）
＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
但し、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい方を選択する処理である。またＶｃはベクトルのスカラ量であり、ここでは飽和度を表す。

以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｓ２より小さくかつＳ１より大きい範囲に入っているか否かを評価する。範囲に入っている信号を通過させるのが、図７に示す特定色フィルタ７１の役割である。

図７の階調限定器７２は、図９に示すように、輝度信号の特定の階調を限定するものである。８ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。

合成器７３は、特定色フィルタ７１と階調限定器７２から入力される信号を、領域パルスに変換する。すなわち、特定色フィルタ７１を通過した信号と、階調限定器７２を通過した信号の両方が存在（ＡＮＤ）する場合に、高レベルとなるパルスを出力する。

合成器７３で生成された領域パルスは、オブジェクトゲート７４に供給される。オブジェクトゲート７４は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させる。領域パルス外の範囲（領域パルスが低レベルであるとき）、すなわち入力信号を通過させない場合は、規定した値の信号を出力する。本実施形態では、通過させない範囲では、黒レベルの輝度信号、及び飽和度ゼロの色差信号を出力する。

図６に示すタイミングゲート器５２は検出器の画面内での領域を限定するもので、図５に示す垂直と水平のパルスで規制している。また図６に示すオブジェクト特徴データ検出部５３は、画像からさまざまな特徴を検出する機能ブロック、すなわち、ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域頻度検出器６３、最小値検出器６４及び最大値検出器６５からなる。この他にも画像を特徴づける項目はあるが本実施形態では、これらの内容にてリモコンの発光を判別すると共にその動作を認識する。

図１１は図６に示すオブジェクト特徴データ検出部５３内のヒストグラム検出器６１及び平均輝度検出器６２の出力データを示す図である。これは８つに区切った階調毎のヒストグラムと、平均輝度（ＡＰＬ）を示し、ＡＰＬについては大きさを感覚的に分かるように矢印で示している。図１１では縦紬に頻度、横軸に階調（明るさ）をとっている。ケース１は特定のステップにリモコンの発光が集中している場合であり、ケース２は分散した場合である。また平均輝度（ＡＰＬ）も特定の値を示している。これらヒストグラムとＡＰＬのデータは制御情報判断器（ＣＰＵ）２０に転送される。

制御情報判断器２０はＣＰＵで実現されておりソフトウェアで処理される。入力されたヒストグラムのデータで黒以外の階調の総和が求められる。この総和は各検出エリアに入ったリモコンの発光面積を表している。これについては後で詳しく述べる。

図１２（Ａ）〜（Ｃ）に示されたリモコンは発光機能を備えており、本実施形態ではユニバーサルリモコンと呼称する。同図（Ａ）はユニバーサルリモコン４Ａの操作するユーザ３に面する表面（おもてめん）を示す平面図であり、本体３０１の上部にユニバーサル決定ボタン３１０が配置されている。ハッチングが付されている長方形の領域３０２には従来のリモコンボタンが配置されており、従来のリモコンと連続性を持っている。ユニバーサル決定ボタン３１０のまわりに上下左右キーを配置し、従来のリモコンの決定キーと共用してもよい。同図（Ｂ）はユニバーサルリモコン４Ａの裏面を示す平面図であり、上部にさまざまな色を発光することができる第１の発光部３０３が配置され、第１の発光部３０３の下側に赤外線リモコン用の第２の発光部３０４が配置されている。同図（Ｃ）はユニバーサルリモコン４Ａの側面図であり、少し傾けた状態が示されている。同図（Ｃ）に示す矢印は発光部３０３及び３０４から出る光をイメージしたものである。このユニバーサルリモコン４Ａの発光部３０３及び３０４をテレビ受像機１の方向に向け、操作ボタンを押下して光を発生させる。

図１３はユニバーサルリモコン４Ａの利用形態を表した図である。同図（Ａ）は本出願人が別に提案しているユニバーサルリモコンを使った制御方法の例を示している。固定されたポジションにあるプッシュボタンにユニバーサルリモコン４Ａをかざして、ユニバーサル決定キー３１０にてユニバーサルリモコン４Ａの第１の発光部３０３を発光させて、プッシュボタンの制御内容を判定するものである。本実施形態ではこの利用形態に加えて、同図（Ｂ）に示す多様な制御画像、例えばさまざまな制御情報を持ったプッシュボタンとは形が異なるもの、表になったもの、さらにリンク情報を持った文字などにも柔軟に対応できるようにしている。パーソナルコンピュータでマウスを使って矢印（ポインタ）を動かしてアイコンを選択することやリンクがはってある文字列や画像をポインタでクリックすることと同じ効果をテレビジョン受像機の遠隔操作において得ることができる。但し本実施形態ではこの遠隔操作はビデオカメラを介して行う。まずポインタを使った操作方法を第１の実施形態として説明する。またアイコンをユニバーサルリモコンでドラッグすることも可能で、これを第２の実施形態として説明する。

第１の実施形態の操作方法を、図１４を使って説明する。図１４（Ａ）〜（Ｄ）はテレビジョン受像機の表示画面に表示されている制御画面が描かれている。制御画面内に示されている四角形のＡ、Ｂ、Ｃ、Ｄは各々制御情報が与えられたアイコンとなっており、図２に示すグラフィックス生成器１６で生成されたものである。四角形Ａ、Ｂ、Ｃ、Ｄに与えられる制御情報は、例えばＣＳ、ＢＳ、地上、インターネットなどメディア情報やメディアの中のチャンネル情報またはインターネットのホームページなどにあるリンク情報など、さまざまなものが考えられる。ポインタ４５０とマーカ４６０はポインティング操作のためにテレビジョン受像機の表示画面に表示されており、これはユニバーサルリモコン４Ａの操作にしたがって表示画面上を移動する。同図（Ａ）はポインティング操作をはじめる直前で図１２（Ａ）に示すユニバーサル決定ボタンを押下して第１の発光部３０３が発光したときの状態を示している。ここで第１の発光部３０３は、ユニバーサル決定ボタン３１０が押下されている期間発光する。第１の発光部３０３の発光をビデオカメラ２で撮影した映像が同図（Ａ）のマーカ４６０となっている。ポインタ４５０は前記グラフィックス生成器１６で生成されているもので、好みの形が作れるが、ここでは四角い枠の中に矢印的な柄を描いてあり左上端がポインティング機能としての指し示す点となっている。

図１４（Ｂ）はユニバーサルリモコン４Ａを動かし、第１の発光部３０３の映像であるマーカ４６０をポインタ４５０に重ね合わせた状態を描いている。マーカ４６０がポインタ４５０に重ね合わされて特定の時間が経過するとポインタ４５０が活性化し、活性化された様子はポインタ４５０の色が変わることで操作しているユーザ３にフィードバックされる。同図（Ｂ）ではポインタ４５０にハッチングを入れて色の変化を表している。これはポインタ４５０の形を変えたり、音を出したりすることによるフィードバックでも同様の効果が得られる。ユーザ３はポインタ４５０の変化をとらえてポインタ４５０の活性化を確認する。活性化したポインタ４５０は重ね合わされているマーカ４６０の動きにしたがって画面上を移動できる状態になっている。同図（Ｂ）のマーカ４６０から四角形Ｃに伸びる矢印は、ユーザ３が所望の制御情報を持ったアイコンである四角形Ｃに向けてユニバーサル決定ボタンを押下しつつ重なり合うポインタ４５０とマーカ４６０を移動しようとしているところを描いている。移動の状態を表したものが同図（Ｃ）で、ユニバーサルリモコン４Ａのポジションを示すマーカ４６０の移動に添ってポインタ４５０がそれに追従して移動する。同図（Ｄ）はポインタ４５０及びマーカ４６０が四角形Ｃにたどり着いたところを描いている。この時ユーザ３はユニバーサル決定ボタン３１０を離し、ユニバーサルリモコン４Ａの第１の発光部３０３は消灯する。同時に第２の発光部３０４から赤外線リモコンの決定コードが出力され、四角形Ｃの制御情報が確定する。ここで言う確定とは、アイコンが持っている情報を発行することで、例えばアイコンが持っている情報が番組のチャンネル切り替え情報であれば、そのチャンネルに画面が切り替わることである。

次に前記したマーカ４６０によるポインタ４５０の移動の手法を実現するための技術的な手段について説明する。図１５は、ビデオカメラ２で撮影され表示装置２３に表示された第１の発光部３０３の映像であるマーカ４６０及び画像の特徴を検出する検出枠４４０の関係を説明するための図である。検出枠４４０は１６の検出エリア１ａ〜１６ａに分けられ、それぞれ図２に示した検出部１９内の第１の検出器３１から第１６の検出器４６に対応している。特に検出枠４４０の中心部に位置する４つまとまった検出エリア６ａ、７ａ、１０ａ、１１ａをポインタ枠４４１とし、図１４（Ａ）に示したポインタ４５０と同様の矢印に似た柄が描かれている。ポインタ枠に対応する第６、第７、第１０、第１１の検出器３６、３７、４０、４１はマーカ４６０を認識するための検出器として機能する。ポインタ４５０の大きさは必ずしもポインタ枠４４１に一致している必要はなくデザイン上自由度があるが、あまりにも大きさが異なるものはマーカ４６０の認識率が悪くなり、またユーザにマーカとポインタとの関係が分かりづらくなるため好ましくない。図１５（Ｂ）はポインタ４５０にマーカ４６０が重ね合わされてポインタ４５０が活性化するまでの状態を示している。ユーザ３への見え方はポインタ４５０がマーカ４６０に捕まえられたような感じになる。この捕まえられた感じをユーザ３はポインタの色や形の変化として認識する。

図１６はユニバーサル決定ボタン３１０の押下及び離す動作と、検出部１９に入った信号の変化について説明するためのタイムチャート図である。同図（Ａ）はユニバーサル決定ボタン３１０を押下している期間を表している。同図（Ｂ）は前記ポインタ枠４４１に対応する第６、第７、第１０、第１１の検出器３６、３７、４０、４１で検出されたヒストグラムの総和の変化を表しており、このヒストグラムの総和はマーカ４６０が覆っているポインタ枠４４１の面積を表している。マーカ４６０の色、すなわちユニバーサルリモコン４Ａの第１の発光部３０３の発光色は本実施形態では黄色とし、検出部１９で適切に検出されるよう、図７に示すオブジェクト抽出器の特定色フィルタ７１の色相及び階調限定器７２の階調は適切に設定されている。

図１６（Ａ）に示す第１の矢印の期間はユニバーサル決定ボタン３１０が押下されている期間を表しており、同図（Ａ）の波形は第１の矢印の期間を通して低レベルになり、ユニバーサルリモコン４Ａの第１の発光部３０３が発光していることを表している。第１の実施形態ではユニバーサルボタン３１０の押下と同時にユーザ３は、画面を見ながらマーカ４６０をポインタ４５０に重ね合わせる。同図（Ｂ）に示す第２の矢印の期間はマーカ４６０が動き始めポインタ４５０に完全に重なるまでの期間を示している。マーカ４６０とポインタ４５０が重なり始めるとポインタ枠４４１を通過するユニバーサルリモコン４Ａの発光の面積が増え、第６、第７、第１０、第１１の検出器３６、３７、４０、４１で検出されるヒストグラムの総和が増加し、やがてマーカ４６０がポインタ４５０を完全に覆った状態になるとヒストグラムの総和は最大になる。この時の第６、第７、第１０、第１１の検出器３６、３７、４０、４１で検出されるヒストグラムの総和の変化が同図（Ｂ）に示されている。

同図（Ｃ）に示す第３の矢印はこのユニバーサルリモコン４Ａの発光が通過するポインタ枠４４１の面積の累積が一定のレベルになるまでの期間を表し、一定のレベルに達した時刻ｔｅでマーカ４６０がポインタ４５０に重ねられたことが認識され活性領域に入る。活性領域は同図（Ｃ）の波形のようにフラグが立てられ、第４の矢印が示す活性領域となる。この時前記したとおりポインタ４５０の色（または形）が変化し、ユーザ３はマーカ４６０がポインタ４５０を捕まえたことを知る。これを知ったユーザ３は、メニュー画面を見ながら所望の制御情報を持った領域までユニバーサルリモコン４Ａを移動させる。この際、検出枠４４０は対応する全検出器が検出したフレーム単位の移動量（ベクトル）に基づいてユニバーサルリモコン４Ａの移動に追従する。そして画面上の所定の領域、本実施形態の場合図１４に示したアイコンＣに移動したところでユーザ３はユニバーサル決定ボタン３１０を離す。この移動の期間が同図（Ａ）に示す第５の矢印であり、時刻ｔｅからユニバーサル決定ボタン３１０を離した時点までの期間である。

前記したとおりユニバーサル決定ボタン３１０を離した時点で通常のリモコンの決定コードがユニバーサルリモコン４Ａの第２の発光部３０４から出力される。同図（Ｄ）に示す第６の矢印はリモコンの決定コードの赤外線が発光している期間であり、またこの期間はテレビジョン受像機がリモコンコードを解読している期間となる。これに要する期間は日常経験している感覚であり実用上障害になるものでないのでここでは言及しない。同図１６（Ｅ）の波形がハイレベルになった時点がリモコンコードが解読され、アイコンＣに付与された制御情報が発行された時点となっている。尚、本実施形態では、画像（アイコン）が持っている制御情報を確定する手段として、赤外線リモコンコードを活用しているが、赤外線リモコン以外のたとえばユニバーサルリモコン４Ａの発光部の面積を変動させて、その変動を解読し、制御情報を確定させる方式を利用しても良い。

図１７は本実施形態のユニバーサルリモコン４Ａと従来のリモコンの操作の違いを説明するための図である。同図（Ａ）は図１４に示されているテレビジョン受像機の表示画面と同じものであり、表示されている四角形のＡ、Ｂ、Ｃ、Ｄは各々制御情報が与えられたアイコンとなっている。いまユーザ３はアイコンＣの制御を所望しておりポインタ４５０をアイコンＣに移動させようとしている。同図（Ａ）に示す矢印Ｙ１は、本実施形態の操作で取りうる経路を表しており、矢印Ｙ２が従来のリモコン操作でとりうる経路を表している。従来のリモコン操作は同図（Ｂ）に示す上下左右決定ボタンで行われる。従来のリモコンでは、「上」、「左」、「決定ボタン」の順序で押下して矢印Ｙ２の経路をたどりアイコンＣにポインタ４５０が導かれる。このとき「上」ボタンでの操作で行き過ぎて矢印Ｙ３のように戻る場合もある。またユーザはリモコンの操作ボタンと画面の両方に注意をはらうことになり、目線が定まらない問題がある。本実施形態ではマーカ４６０がポインタ４５０を捕まえて、マーカ４６０をアイコンＣに向かって直線で動かしポインタ４５０をアイコンＣに導くことができる。また、押下するボタンは一つであり、且つ目線は常に画面に向けられている。方向修正を画面を見ながら行い、マーカ４６０をアイコンＣへ誘導することができる。ユニバーサルリモコン４Ａを使うことで、離れたところにある大画面のテレビジョン受像機に対する遠隔操作において通常のパーソナルコンピュータのマウスの使用と同じ効果を得ることができる。

ポインタ４５０がマーカ４６０を検出して活性化し、所望のアイコンまで移動し、制御が確定されるまでの操作は図１４に示した表示画面と図１６に示したタイムチャート図で説明したとおりである。次にユニバーサルリモコン４Ａの第１の発光部３０３の映像であるマーカ４６０の移動にポインタ４５０を追従させる手法について説明する。図１８はマーカ４６０と検出枠４４０とその内側にあるポインタ枠４４１との移相関係を示した図である。同図（Ａ）〜（Ｊ）にはポインタの移動方向１０通りついて、それぞれマーカ４６０と検出枠４４０の位置関係を想定される操作形態の代表的なものとして表されており、（Ａ）は右へ移動、（Ｂ）は左へ移動、（Ｃ）は上へ移動、（Ｄ）は下へ移動、（Ｅ）は右上へ移動、（Ｆ）は左下へ移動、（Ｇ）は左上へ移動、（Ｈ）は右下へ移動、（Ｉ）は傾いたマーカが右へ移動、（Ｊ）は傾いたマーカが上へ移動するものとなっている。

この中の（Ａ）（Ｅ）（Ｆ）（Ｉ）を使いポインタ４５０をマーカ４６０の移動に追従させる方法についてさらに詳しく説明する。図１９（Ａ）には、検出枠４４０の第１〜第１６の検出器３１〜４６がそれぞれ対応する検出エリア１ａから１６ａの枠の中心（重心）が、基準座標で示されている。この基準座標の値を変化させることで画面内の任意の位置にポインタ４５０を設定することができる。各検出器３１〜４６から制御情報判断器（ＣＰＵ）２０に入力される基準座標データは、配列Ａ（ｙ，ｘ）に代入され、配列の要素ｙ，ｘは同図（Ｂ）に示すように、各検出エリア１ａ〜１６ａの重心の座標を表しており、これは原点からのベクトル先端の座標になっている。本実施形態では各検出器出力の面積値とその座標データから動きベクトル補正値を算出する。

図２０は第１の動きベクトル補正値を算出する手法を説明するための図である。同図に示すフレーム０〜フレーム３がビデオカメラからの映像信号で、１フレームの周期は１／６０秒である。一般にＮＴＳＣの映像信号であればインターレースを順次走査にした画像になる。またインターレースであってもかまわないが、各垂直方向の処理がフィールド単位となるため、奇数ラインと偶数ライン（ライン：水平周期）が別々の処理となるが機能は同一である。

各フレーム内に示されている表ａ０、ａ１、ａ２及びａ３には第１〜第１６の検出器３１〜４６から入力される値が並べられており、その配列は検出枠４４０内の検出エリアの配列と同じになっている。各検出器から入力される値はマーカ４６０が各検出エリアと重なった面積値である。また各検出エリアの座標の値は、
ａ（ｎ，ｙ，ｘ）
で表されている。ここでｎはフレーム番号０、１、２、３で、ｙ，ｘは各検出エリア１ａ〜１６ａの重心の座標である。そして各フレーム内に表示されているグラフは各検出エリアの座標を２次元平面に表現して、前記各検出エリアで検出された面積値を縦棒で示している。

フレーム０の表ａ０は、図１５（Ｂ）に示すポインタ４５０とマーカ４６０の重心が一致している関係のものである。フレーム１の表ａ１及びフレーム２の表ａ２は、ポインタ４５０に対してマーカ４６０すなわちユニバーサルリモコンを右に動かしたために、マーカ４６０の重心がポインタ４５０の重心に対して右にずれた場合に対応する。フレーム３はフレーム２を動きベクトル補正してポインタ４５０の重心をマーカ４６０の重心に一致させ、フレーム０と同様の状態に戻った場合を示す。

このようにマーカ４６０の動きにポインタ４５０を追従させるには、マーカ４６０とポインタ４５０の重心のずれを動きベクトル補正値として算出し、グラフィックス上で生成されるポインタの位置とマーカの位置を検出する検出器１９の検出エリアの位置を補正する。その動きベクトル補正値の第１の算出方法について説明する。図２０の表ａ０に示す各検出エリアの面積値の総和ＡＴＳ０を求める。これはマーカ４６０が検出枠４４０の１６個の検出エリアからはみ出ない限り、またノイズが入らない条件下ではほぼ同一の値を示す。このＡＴＳ０を各フレームに対して一般化すると下記の式（１）で表される。

但しＮ＝Ｍ＝２、ｉ及びｊは整数で本実施形態では、−２、−１、０、１で、座標値は図２０のとおり−３、−１、１、３となる。また、ｎはフレーム番号でフレーム０ではｎが０（零）である。

次に各検出エリアの面積値に対して位置情報を加味した値を求める。図２０では水平方向のｘ軸と垂直方向のｙ軸に分けてｂｘ０及びｂｙ０の配列として記載している。そして配列ｂｘ０及びｂｙ０のそれぞれの総和をとったものがＢＸＳａ０とＢＹＳａ０である。このＢＸＳａ０とＢＹＳａ０を各フレームに対して一般化すると下記の式（２）、（３）で表される。

重心の変動値をｘ軸ではＢＸＧ０、ｙ軸ではＢＹＧ０とし、この重心の変動値を各フレームに対して一般化すると前記式（１）、（２）及び（３）を使い下記式（４）、（５）より求められる。

ポインタ４５０と検出枠４４０を移動させる動きベクトル補正値Ｖｘ，Ｖｙは下記式（６）、（７）で表される。
Ｖｘ（ｎ）＝Ｃｘ・ＢＸＧ（ｎ） （６）
Ｖｙ（ｎ）＝Ｃｙ・ＢＹＧ（ｎ） （７）
尚、Ｃｘ，Ｃｙは変換係数である。

図２０では各検出エリアにマーカ４６０の存在する面積の最大値を９としている。フレーム１及び２ではマーカ４６０が右に移動することで、検出枠４４０に対する相対的な重心が右に移動した場合である。重心の移動量は同図に示すとおりフレーム１及び２ではＢＸＧ１及びＢＸＧ２が０．７５、ＢＹＧ１及び、ＢＹＧ２が０（零）である。これに変換係数Ｃｘ，Ｃｙを掛けたものが動きベクトル補正値となる。このＣｘ，Ｃｙは検出器枠内の画素数やアスペクト比及び追従速度などを踏まえて決定される重要な係数である。上述の計算で求められた動きベクトル補正値Ｖｘ，Ｖｙは、第１〜１６の検出器３１〜４６に対応する検出枠４４０とポインタ４５０のｘ軸方向及びｙ軸方向の移動量となる。

図２１はマーカ４６０がポインタ４５０に対し右上に移動する場合を表している。フレーム１及びフレーム２にマーカ４６０が右上に移動している時の動きベクトル値が示されており、重心の移動量はＢＸＧ１及びＢＸＧ２が０．７５、ＢＹＧ１及びＢＹＧ２が０．７５となり、検出枠４４０とポインタ４５０は右上に移動することになる。

図２２はマーカ４６０がポインタ４５０に対し左下に移動する場合を表している。フレーム１及びフレーム２にマーカ４６０が左下に移動している時の動きベクトル値が示されており、重心の移動量はＢＸＧ１及びＢＸＧ２が−０．７５、ＢＹＧ１及びＢＹＧ２が−０．７５となり、検出枠４４０とポインタ４５０は左下に移動することになる。

図２３は第２の動きベクトル補正値を算出する方法を説明する図である。同図各フレーム内に示されている表ａ０、ａ１、ａ２及びａ３は図２０に示す第１の動きベクトル補正値を算出する方法の内容と同じである。フレーム０の表ａ０は、図１５（Ｂ）に示すポインタ４５０とマーカ４６０の重心が一致している関係のものである。このときポインタ４５０は動かずに停止している状態である。まずこの状態での動きベクトル値を算出する。表ａ０の値は各検出エリア１ａ〜１６ａにマーカ４６０が重なっている部分の面積値である。この値は重心が一致しているので表の原点を中心として対称である。次ぎに表ｂ０は表ａ０に対して以下の式（８）で表される。
ｂ（ｎ，ｙ，ｘ）＝ａ（ｎ，ｘ，ｙ）−ａ（ｎ，−ｘ，−ｙ） （８）
ｘ＝２ｉ＋１， ｙ＝２ｊ＋１
但しｉ，ｊは整数で、本実施形態では、−２，−１，０，１となり、座標値は−３，−１，１，３となる。また、フレーム０ではｎが０（零）である。
数式（８）は原点を対称に差分を求める式である。検出枠４４０とマーカ４６０の重心が一致している場合は差分値が零となる。

図２３のフレーム１は、図１８（Ａ）に示したようにユニバーサルリモコン４Ａを右に移動させた場合に対応する。このとき重心は右に移動し、各検出エリア１ａ〜１６ａの値は表ａ１のとおりとなる。原点対称差分値は表ｂ１のとおりとなり、右側（ｘが正側）に正の値を示し、左側（ｘが負側）に負の値を示す。次に表ｂ１の右側に記載している表ｂｘ１、表ｂｙ１はｘ，ｙの各座標値を含めた値であり、下記式（９）、（１０）により算出される。
ｂｘ（ｎ，ｙ，ｘ）＝ｘ・ｂ（ｎ，ｙ，ｘ） （９）
ｂｙ（ｎ，ｙ，ｘ）＝ｙ・ｂ（ｎ，ｙ，ｘ） （１０）
ｘ＝２ｉ＋１， ｙ＝２ｊ＋１
但しｉ，ｊは整数で、本実施形態では、−２，−１，０，１となり、座標値は−３，−１，１，３となる。また、フレーム１ではｎが１である。
フレーム１のｂｘ（１，ｙ，ｘ）及びｂｙ（１，ｙ，ｘ）は、座標が値に加わりベクトル情報が加味されたことになる。

フレーム１に示しているＢＸＳｂ１及びＢＹＳｂ１の値は、表ｂｘ１及びｂｙ１のそれぞれの総和を求めたものであり、一般化すると下記の式（１１）、（１２）で表される。

重心の移動量ＢＸＧｂ１及びＢＹＧｂ１の値は、数式（１）から求まる配列ａ１の総和ＡＴＳ(ｎ)と前記ＢＸＳｂ(ｎ)を使って一般化された下記数式（１３）、（１４）より求められる。

尚、第１の動きベクトル算出方法のＢＸＳａ(ｎ)及びＢＹＳａ(ｎ)と第２の動きベクトル算出法のＢＸＳｂ(ｎ)及びＢＹＳｂ(ｎ)は、算出結果は同じになるが算出過程が異なるので、ａ，ｂを付加して区別している。

マーカ４６０の移動に対する検出枠４４０の移動量のベクトル補正値Ｖｘ及びＶｙは、第１の動きベクトル算出方法と同様に数式（６）及び（７）で求められる。

フレーム２はマーカ４６０が右に移動する動きに検出枠４４０が図１８（Ａ）に示した状態を保ち等速に動いているときのデータを表しており、フレーム１と同じ結果が得られる。そしてフレーム３はマーカ４６０がストップしてベクトル値が０（零）となった状態が示されている。

図２４のフレーム１及びフレーム２はマーカ４６０が右上に移動している時の動きベクトルの値を示している。
図２５のフレーム１及びフレーム２はマーカ４６０が左下に移動している時の動きベクトルの値を示している。

図２６のフレーム１及びフレーム２は傾いたマーカ４６０が右に移動している時の動きベクトルの値を示している。ユニバーサルリモコン４Ａは人が操作するものであり、マーカ４６０が傾いた状態も考慮しておかなければならないが、重心の移動量が動きベクトルとして補正されるので、前記の数式（８）で算出される原点における対称性が大きく崩れない限り問題はない。

図２７は検出枠４４０とマーカ４６０との４種類の位置関係（第１〜４）を描いたもので、第２の動きベクトル補正値を算出する手法における、動きベクトル検出手法の特徴を説明するための図である。これまでの説明に使った図２０〜２６は時間経過に添ってフレーム単位に描かれていたが、図２７は時間に関係なく、独立して検出枠４４０とマーカ４６０の４種類の位置関係を表している。本実施形態では１６個の限定された検出枠４４０を用いており、特定の領域まで検出枠４４０とマーカ４６０が離れた場合を想定して、マーカ４６０の移動に対応したポインタ４５０の大きな変動に対する保護を掛ける。これについて、ここでは第１の位置関係を用いて具体的に処理内容を説明する。

図２７に示す第１の位置関係にある表ａ１は各検出エリアの面積値を表し、表ｂ１は原点を対称として差分値を求めた値を表し（数式（８）参照）、ＢＸＳｂ１及びＢＹＳｂ１は表ｂ１のそれぞれの値に座標を掛けて総和を取った値（数式（１１）（１２）参照）、ＢＸＧ１及びＢＹＧ１は検出枠を基準にしたマーカ重心値である。ここまでは動きベクトル検出の説明のとおりであるが、特に位置関係を説明するために、下記の処理を付加している。ＡＣＳ１はポインタ枠４４１の検出エリア（図１９（Ａ）に示すａ（１，１），ａ（１，−１），ａ（−１，１），ａ（−１，−１））の総和値であり、ＢＣＳ１は前記ｂ１と同様にポインタ枠４４１の検出エリアの絶対値の総和値であり、ＢＸＣＳ１及びＢＹＣＳ１はｂｘ１及びｂｙ１のポインタ枠４４１の４個の検出エリアの総和値となっている。同図に示す第２〜４の位置関係内の各表及び値についても上記第１の位置関係の説明と同じ方法で求められている。

第１の位置関係はマーカ４６０及び検出枠４４０の重心が一致していて且つポインタ枠４４１の４個の検出エリアがマーカ４６０で満たされている状態である。第２の位置関係はマーカ４６０が検出枠４４０に対して右上に位置して且つポインタ枠４４１の４個の検出エリアから少し外れている状態である。第３の位置関係はマーカ４６０が検出エリア４４０に対して下方に位置して且つポインタ枠４４１の検出エリアから少し外れている状態である。第４の位置関係はマーカ４６０が検出枠４４０に対して右上に位置して且つポインタ枠４４１の検出エリアから大きく外れている状態を示している。

図２７に示されている各部の計算結果を整理したものが図２８に示す表である。図２８の表は、マーカ４６０とポインタ枠４４１の位置関係の４つの場合について、それぞれの場合においてポインタ枠４４１で検出された値から算出された指標と、４つの位置関係の評価が示されている。この評価に基づき算出された動きベクトル補正値が有効であるか否かが判断される。判断の結果は、図１６（Ｃ）の活性化領域を示す活性化パルスに反映される。活性化パルスは動きベクトル補正値に応じてポインタ４５０と検出枠４４０を移動させる制御に対する保護となっている。またこれはマーカ４６０とポインタ４５０の位置関係だけではなく、意図しない信号すなわちノイズなどへの反応を避けるためにも有効となっている。

図２８の表に示すポインタ枠４４１の面積値の総和であるＡＣＳは、第１の位置関係では完全にマーカ４６０がポインタ枠４４１を満たしていて、最大値を示している。その他の位置関係ではマーカ４６０がポインタ枠４４１からはずれるに従いＡＣＳの値は減少している。次に原点対称差分の絶対値の総和であるＢＣＳは、第１の位置関係では原点対称なので０（零）になり、第２及び第３の位置関係では対称性が崩れて大きな値を示している。第４の位置関係ではマーカ４６０がポインタ枠４４１の外に大きくはみ出しているので、結果として０（零）に近い値を示している。第１と第４の位置関係では同じような値を示すのでＢＣＳのみでは評価できない。このためＡＣＳとＢＣＳの値の評価の組合せを用いて、マーカ４６０とポインタ４５０の位置関係検知し、おこなうべき制御内容が判断される。

判断される制御内容は以下の通りである。
１）ユニバーサルリモコン４Ａの検出
これは検出領域に相当し、図１６（Ｃ）に示す第３の矢印の期間である。この期間はユニバーサルリモコン４Ａ（マーカ４６０）が一定期間ポインタ４５０（ポインタ枠４４１）上にかざされていることが判断される期間で、ＡＣＳが一定以上の値をしめし且つ対称性があることを示すＢＣＳの値が一定値以下であることが条件となる。そしてその条件の下で図１６（Ｃ）に示す活性化パルスが立ち上げられる。
２）活性化パルスの保持
これは活性化領域に相当し、図１６（Ｃ）に示す第４の矢印の期間である。この期間は活性化パルスが保持されていて、ユニバーサルリモコン４Ａ（マーカ４６０）を動かして、検出された動きベクトル補正値に添ってポインタ４５０と検出枠４４０がマーカ４６０の動きに追従している期間である。ＡＣＳとＢＣＳの和が一定以上、または各値が一定以上の値を示し続けるときは活性化パルスが保持し続けられる。
３）活性化パルスの断
ユニバーサルリモコン４Ａ（マーカ４６０）の動きが速く、ポインタ４５０が追従できないとき、またはポインタ４４０にマーカ４６０を重ね始める最初の期間や予期せぬノイズ成分が存在したときに相当する。この場合はマーカ４６０とポインタ４５０は第４の位置関係にあり、ポインタ枠４４１で検出される面積ＡＣＳの値が小さければＢＣＳの値が小さく対称性があっても有効でないと判断し、活性化パルスを断とする。図１６（Ｃ）に示す活性化パルスを低レベルにして動きベクトル制御を切る。
以上の３とおりの判断を表にしたものが図２８に示されており、検出可能は○、検出不可は×、活性化パルスを保持するは○、保持しないは×で表している。

さらに図２８の表に示してある原点対称差分値ＢＣＳにかえて、ポインタ枠４４１の４つの検出エリアのｘ軸とｙ軸の座標値を掛けて総和をとったＢＸＣＳ、ＢＹＣＳを評価することで、対称性をｘ軸とｙ軸でそれぞれで評価することができる。例えば第３の位置関係では、ｘ軸については対称性が失われていないので、ｘ軸のみ動きベクトル補正を有効にして、対称性のないｙ軸については無効にするなどの応用が考えられる。このようにポインタ枠４４１を設定することで、ポインタ枠４４１の４つの検出エリアにあるマーカ４６０の面積と、対称性を評価することで動きベクトル補正の有効性を判別することができ、安定した動きベクトル補正を掛けることができる。

以上により、マーカ４６０の動きベクトルを検出して、検出器の検出位置とグラフィックスのポインタ座標を移動させること、すなわち動き補正をかけることにより、きめ細かなポインティング操作を行うことができる。

図２９はこの動きベクトルによる補正信号の流れを加味した構成を示すブロック図である。図２９は図２に示したブロック図と基本的に同じであり、同一機能ブロックについては同じ番号を付している。表示装置２３には、制御情報を含むメニュー画面プレーン４１０ａ及びポインタプレーン４１０ｂがグラフィックス生成器１６において混合された画像と、ユニバーサルリモコン４Ａを持ったユーザ３の鏡像画像とが混合された画像が映し出されている。ユーザ３は所望の制御情報を選択するためにユニバーサルリモコン４Ａのユニバーサル決定ボタン３１０を押下させるとともにマーカ４６０をポインタ４５０に充てて移動させる。ユニバーサルリモコン４Ａの第１の発光部３０３は、ビデオカメラ２によって撮影されて鏡像変換器１４、スケーラ１５を経てグラフィックス生成器１６の画像と混合されてマーカ４６０として表示装置２３に映し出されている。ここで先ず１つ目のループが形成される。このループはユーザ３がユニバーサルリモコン４Ａを操作して所望の位置にポインタ４５０を導くための制御ループとなる。

前記スケーラ１５から得られるユーザ３及びユニバーサルリモコン４Ａの画像は、検出部１９にて図１５等に示す検出枠４４０内の検出エリア１ａ〜１６ａごとにヒストグラム等のデータを制御情報判断器２０に出力する。制御情報判断器２０は動作検出器２０１、制御情報発生器２１０、動きベクトル検出器２０ａ、ループフィルタ２０ｂを備えている。動作検出器２０１はユニバーサルリモコン４Ａの第１の発光部３０３の発光をビデオカメラ２で撮影した映像であるマーカ４６０が、一定期間ポインタ４５０上に配置されることで図１６（Ｃ）に示した活性化領域に入ったことを検出して、動きベクトル検出器２０ａを動作させるフラグを立てる。動きベクトル検出器２０ａは前記図１９〜２４を用いて説明したように動作し、ベクトル補正値を算出する。ループフィルタ２０ｂは、ユーザ３の動作の変動に対して急峻な動きを抑圧する作用と、マーカ４６０以外のものが検出されたインパルス状のノイズを抑圧する作用とを行う。ループフィルタ２０ｂの出力は、検出部１９の検出枠４４０の位置をユニバーサルリモコン４Ａの移動方向にシフトさせる。また、グラフィックス生成器１６のポインタプレーン４１０ｂの位置を同様にシフトさせてメニュー画面プレーン４１０ａと第３の混合器１６ａにて混合する。ここで動きベクトルによる検出部１９の検出枠４４０の移動、及びポインタプレーン４１０ｂの移動を介して第２のループが形成され、ユニバーサルリモコン４Ａの移動量に添ったポインタ４５０の移動を適切に導く制御ループとなる。

図３０は前記ループフィルタの１つの例を示している。同図（Ａ）はループフィルタの構成を示すブロック図であり、ループフィルタは加算器２０ｂ１、乗算器２０ｂ２、減算器２０ｂ３、１垂直周期遅延器２０ｂ４からなる。これの特性は以下の式（１５）で示される。

ｎは０以上の整数で、ｎが０のときはＹ（Ｚ）＝Ｘ（Ｚ）となりフィルタは入力をそのまま出力する。このフィルタは低域通過フィルタで入力信号の急峻な変動を抑圧する作用がある。ユーザ３の意図していないような急峻な動きや、不規則なノイズ成分を抑圧する働きがあり、ｎの値はこれらを踏まえて最適値が決定される。

以上のようにユニバーサルリモコン４Ａの動きベクトルを検出して検出枠４４０の位置とグラフィックス生成器１６のポインタ４５０の位置を補正することで、ユーザ３を介したフィードバックループが形成されて的確な制御が実現できる。

次に第２の実施形態について説明する。第２の実施形態は特定の画像または制御情報を持ったアイコンなどをマーカ４６０を使ってドラッグする応用例で、基本的な技術手法は第１の実施形態と同じである。図３１（Ａ）及び（Ｂ）には、第２の実施形態で取り上げるユニバーサルリモコン４Ｂの操作する表面（おもてめん）が左側に示され、右側にはユニバーサルリモコン４Ｂの発光部を備えた裏面が描かれている。同図に示されているユニバーサルリモコン４Ｂには、第１の実施形態で説明したユニバーサル決定ボタン３１０に加え、ユニバーサル移動ボタン３２０が設けられている。同図の（Ａ）には、ユニバーサル決定ボタン３１０を押下している状態が描かれており、ユニバーサル決定ボタン３１０に格子状のハッチングを入れて表現している。この時、右側に描いたユニバーサルリモコン４Ｂの裏面の第１の発光部３０３と第２の発光部３０４の両方が所定のタイミングで発光している様子が描かれている。第１の発光部３０３及び第２の発光部３０４に描かれているハッチングが、発光を表現している。所定のタイミングとは前記図１６のタイムチャートに記載したとおりである。

同図（Ｂ）にはユニバーサル移動ボタン３２０を押下している状態が描かれており、ユニバーサル移動ボタン３２０に格子状のハッチングを入れて表現している。この時、ユニバーサルリモコン４Ｂの裏面の第１の発光部３０３のみ発光している。第２の発光部３０４は発光することなく、赤外線リモコンによる決定機能は使用されない。ポインタ４５０の移動のみを行うときにユニバーサル移動ボタン３２０を活用する。ユニバーサルリモコン４Ｂの第１の発光部３０３の発光の検出機能でポインタ４５０を移動し、アイコンを選択したあと、そのアイコンの制御情報を確定したいときは左側のユニバーサル決定ボタン３１０を押下すれば制御が確定する。また最初からユニバーサル決定ボタン３１０でアイコンを移動させて押下しているボタンを離すことでそのままアイコンの制御情報を確定させることができる。

図３２はユニバーサルリモコン４Ｂの活用例を説明するための図である。図３２（Ａ）〜（Ｄ）は表示装置２３に表示されたメニュー画面が描かれており、この画面には８つのアイコンＷ１、Ｗ２、Ｘ１、Ｘ２、Ｕ１、Ｕ２、Ｚ１、Ｚ２とポインタ４５０とビデオカメラ２から得られるマーカ４６０とが混合されて描かれている。ポインタ４５０のまわりには画面では見えないが、１６個の検出器３１〜４６と対応する検出枠４４０があり、これは破線を使って描いてある。この検出器３１〜４６は第１の実施形態で詳しく説明したものと全く同じもので、ポインタ４５０をユニバーサルリモコン４Ｂ（マーカ）で遠隔操作するためのものであった。但し第２の実施形態ではポインタ４５０に変わって、マーカ４６０とアイコンとの間でドラッグ＆ドロップ操作を行う。

図３２（Ａ）に示すマーカ４６０は、ユニバーサルリモコン４Ｂのユニバーサル移動ボタン３２０（右ボタン）を押下して第１の発光部３０３が発光しているものの鏡像画像である。図３２（Ａ）〜（Ｄ）ではマーカ４６０を使い、アイコンＵ１をドラッグして画面右上に移動させる操作方法について説明する。同図（Ｂ）はマーカ４６０を移動させてアイコンＵ１に重ねてアイコンが活性化して色が変わったところが描かれている。ユーザ３はアイコンの色の変化でアイコンＵ１がマーカ４６０を認識したことを知る。これと同時にアイコンＵ１のまわりには、ポインタ４６０のまわりにあった１６の検出エリアからなる検出枠４４０が移動する。ここから先の操作ではポインタ４６０が不要になるので画面上からは消しているが、デザイン上消さなくても問題はない。また１６個の検出器３１〜４６はポインタ４６０の検出用に設けたものを流用しているが、これはハードウェアやソフトウェアの規模を抑えるためであり、アイコン用、ポインタ用別々に検出器群を備えても良い。

同図（Ｃ）にはそのままユニバーサルリモコン４Ｂを移動させ、それに添ってアイコンＵ１も移動する様子が描かれている。これは第１の実施形態のポインタ４５０がマーカ４６０の動きにしたがって移動したのと同じ原理が使われており、ただ動かされる対象が、ポインタ４５０からアイコンＵ１に変わっている。そして所望の位置でユニバーサル移動ボタン３２０（右ボタン）を離すことによりトラッキングが切り離される。同図（Ｄ）ではアイコンＵ１が移動してポインタ４５０のまわりに検出枠４４０が戻ったところを描いたものである。ポインタ４５０の位置は同図（Ａ）に示したポジションに戻っても良いが、ここでは移動させたアイコンの上に配置させて、直前に配置したアイコンＵ１を機能させ易いようにしている。機能させるためにはこのままユニバーサル決定ボタン（左ボタン）を押下すれば、第２の発光部３２０から赤外線リモコンの決定コードが送られてアイコンＵ１の制御情報が確定に導かれる。また、最初からユニバーサル決定ボタン３１０（左ボタン）を使って移動させた場合は、移動させてユニバーサル決定ボタン３１０を離したときに制御情報も確定される。

このように左側のユニバーサル決定ボタン３１０にはポインタやアイコンを活性化させ、移動させ、制御の確定まで導く機能が付与されており、一方右側のユニバーサル移動ボタン３２０にはポインタやアイコンを活性化させ、移動させるまでにとどめた機能を付与することでより多様な制御方式となっている。例えばポインタ４５０を使って線を引くような場合は、特に他には制御を必要としないので、ポインタ４５０の移動だけでとどめておきたく、ユニバーサル移動ボタン３２０を使った操作の方が良い。また、ユーザ３が制御するまでには至っていなく、特定のアイコンまたはパーソナルコンピュータの制御のようなコントローラ上でスタンバイ状態にしておきたい場合なども、ポインタ４５０を移動させるだけにとどめておきたい場合である。第２の実施形態はこのような場合に対応するためのもので、より多様な制御方法を提供するものである。第２の実施形態で取り上げたユニバーサルリモコン４Ｂの２つのボタンは、パーソナルコンピュータのマウスの左右に配置した２つのボタンの使い分けによる活用に似た機能を有しており、ユニバーサルリモコンの使い勝手を良くするものとなっている。

上述した実施形態は、特定の制御画像に対するビデオカメラを使った制御方式を、あらゆる形態の制御画像（メニュー画像）に対応させたものである。上述した制御方式を適用することによる効果を、応用例を用いて説明する。図３３はＥＰＧを用いた番組予約画面を表している。この中の特定の番組を指定する場合、各番組の時間枠は番組の長さに応じて画面に占める大きさが異なっているのためきめ細かなポインティング操作が必要である。従来のリモコンでは上下左右キーを押下して所定の番組までポインタを運ぶことになるが、番組情報が多くなればなるほど煩雑な作業となる。上述した制御方式によれば、ポインタを直接目標の番組の箇所に移動できるので使い勝手が向上する。

図３４は記録メディアの再生画像を再生機（プレーヤ）で見る場合の表示画面を表している。同図には再生画面と制御画像（ＧＵＩ）部が同じ画面内に存在している場合が描かれており、制御画像の各々のアイコンはポインタで制御できるものとなっている。画面右側に描かれているボリュームついては第２の実施形態で説明したドラッグ＆ドロップの機能でスライド操作が可能となっている。

図３５はパーソナルコンピュータで標準的に使われている制御方式を表したもので、上述した制御方式で操作が可能なコントローラである。各々説明はしないが、文字入力以外のほとんどの機能を上述した制御方式で扱うことができる。

上述した制御方式の効果を整理すると以下のとおりである。
１）上述した制御方式によれば、従来のリモコンでは複数のボタン押下をともなうため、リモコンと画面を繰り返し見なければならず使い勝手が悪いものであったが、ユニバーサルリモコンの操作は１つまたは２つのボタン操作のみのため、ブラインド操作が可能であり、ユーザは常に画面を見て操作を完了することができる。
２）大画面のテレビジョン受像機を遠隔でポインティング操作することができる。これはパーソナルコンピュータの操作環境（ＧＵＩ）が遠隔で可能なことであり、複雑な操作が簡単に扱える効果がある。
３）デザイン上の自由度があり、見た目の扱い易さ、かっこ良さが追求できる。
４）ＯＮ／ＯＦＦのような２値ではなくボリュームのような連続的な移動の制御が可能である。

データ放送やＥＰＧなどの放送番組内容の多様化、ホームネットワークやインターネットなどメディアの多様化、このようなテレビジョン受像機を取りまく環境が大きく変化してきている。上述した制御方式は、このような環境に適応するテレビジョン受像機及び表示装置を持った電子機器のユーザインターフェースとして有効な方式である。

本発明の電子機器操作方法の概要を説明するための図である。 本発明の一実施形態にかかる電子機器（テレビジョン受像機）の要部の構成を示すブロック図である。 操作者の画像と、操作用画像とを示す図である。 操作者の画像と、操作用画像とを重畳（混合）した状態を説明するための図である。 図２に示す検出器と、表示装置の画面上の検出領域との対応を説明するための図である。 図２に示す検出器の構成を示すブロック図である。 図６に示すオブジェクト抽出器の構成を示すブロック図である。 オブジェクト抽出器で抽出する対象物の色相及び飽和度を説明するための図である。 オブジェクト抽出器で抽出する対象物の輝度信号レベルを示す図である。 色差信号から色相を算出する処理のフローチャートである。 図６に示すオブジェクト特徴データ検出部のヒストグラムとＡＰＬ値を示す図である。 ユニバーサルリモコンの構成例を示す図である。 ユニバーサルリモコンを用いた操作の概要を説明するための図である。 ユニバーサルリモコンを用いたポインタの操作を説明するための図である。 マーカとポインタ及び検出器の関係を説明するための図である。 ユニバーサルリモコンの発光と制御の確定を説明するためのタイムチャートである。 従来のリモコン操作とユニバーサルリモコンの操作の違いを説明するための図である。 ポインタの移動方向に関するマーカとポインタ及び検出枠の位置７関係を説明するための図である。 検出エリアに与えられた重心座標について説明するための図である。 第１の動きベクトル補正値を算出する手法（マーカが右方向へ移動する場合）を説明するための図である。 第１の動きベクトル補正値を算出する手法（マーカが右上方向へ移動する場合）を説明するための図である。 第１の動きベクトル補正値を算出する手法（マーカが左下方向へ移動する場合）を説明するための図である。 第２の動きベクトル補正値を算出する手法（マーカが右方向へ移動する場合）を説明するための図である。 第２の動きベクトル補正値を算出する手法（マーカが右上方向へ移動する場合）を説明するための図である。 第２の動きベクトル補正値を算出する手法（マーカが左下方向へ移動する場合）を説明するための図である。 第２の動きベクトル補正値を算出する手法（傾いたマーカが右方向へ移動する場合）を説明するための図である。 第２の動きベクトル補正値を算出する手法における、動きベクトル検出手法の特徴を説明するための図である。 算出された動きベクトル補正値の有効性判断を説明するための図である。 第２の実施形態の電子機器（テレビジョン受像機）の要部の構成を示すブロック図である。 ループフィルタの構成を示すブロック図である。 第２の実施形態のユニバーサルリモコンの構成を示す図である。 ユニバーサルリモコンを使用したアイコンのドラッグを説明する図である。 実施形態で示した制御方式のＥＰＧ画面での一応用例を示す図である。 実施形態で示した制御方式の一応用例として記録メディア再生画面のボリューム操作を説明するための図である。 実施形態で示した制御方式の一応用例としてパーソナルコンピュータの制御方式と同様に操作できることを説明するための図である。

符号の説明

１ テレビジョン受像機（電子機器）
２ ビデオカメラ
３ ユーザ（操作者）
４Ａ，４Ｂ ユニバーサルリモコン（手元制御機器）
１２ タイミングパルス発生器
１３ 鏡像変換器（鏡像変換手段）
１５ スケーラ（混合手段）
１６ グラフィックス生成器（操作用画像生成手段）
１７ 第１の混合器（混合手段）
１９ 検出部（表示制御手段）
２０ 制御情報判断器（ＣＰＵ）（機器制御手段）
２０ａ 動きベクトル検出器（表示制御手段）
２０ｂ ループフィルタ（表示制御手段）
２２ 第２の混合器（混合手段）
２３ 表示装置
２４ 赤外線検出器（指示動作検出手段）
３１〜４６ 検出器
３１０ ユニバーサル決定ボタン（操作ボタン）
３２０ ユニバーサル移動ボタン
３０３ 第１の発光部（表示制御手段）
３０４ 第２の発光部（赤外線発光手段）
４４０ 検出枠（表示制御手段）
４４１ ポインタ枠（表示制御手段）
４５０ ポインタ（指示画像）
４６０ マーカ（操作画像）
５１ オブジェク抽出器（表示制御手段）
５２ タイミングゲート器（表示制御手段）
５３ オブジェクト特徴データ検出部（表示制御手段）

Claims (4)

1. 表示装置を有する電子機器と、前記表示装置の前に位置する操作者を撮影するビデオカメラと、前記電子機器を遠隔操作するための手元制御機器とを備える電子機器システムであって、
   前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換手段と、
   少なくとも１つの操作画像と指示画像を含む操作用画像を生成する操作用画像生成手段と、
   前記鏡像変換された画像の画像信号と、前記操作用画像の画像信号とを混合する混合手段と、
   該混合手段により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラで撮影され、前記画面上に表示された前記手元制御機器が前記指示画像に重ねられたとき、該指示画像が選択されたことを検出し、該検出後は、前記手元制御機器の動きに追従するように前記指示画像を移動させる表示制御手段と、
   前記指示画像の位置に応じて前記操作画像の指示動作を検出する指示動作検出手段と、
   該指示動作検出手段により指示動作が検出された操作画像に対応する、前記電子機器の制御動作を行う機器制御手段とを備えることを特徴とする電子機器システム。
2. 表示装置を有する電子機器と、前記表示装置の前に位置する操作者を撮影するビデオカメラと、前記電子機器を遠隔操作するための手元制御機器とを備える電子機器システムであって、
   前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換手段と、
   少なくとも１つの操作画像を含む操作用画像を生成する操作用画像生成手段と、
   前記鏡像変換された画像の画像信号と、前記操作用画像の画像信号とを混合する混合手段と、
   該混合手段により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラで撮影され、前記画面上に表示された前記手元制御機器が前記操作画像に重ねられたとき、該操作画像が選択されたことを検出し、該検出後は、前記手元制御機器の動きに追従するように前記操作画像を移動させる表示制御手段とを備えることを特徴とする電子機器システム。
3. 前記表示制御手段は、前記手元制御機器の動きを検出するための検出枠を分割した複数の検出エリアのそれぞれにおける、前記手元制御機器の画像の面積値を検出する複数個の検出器を備え、該検出器から出力される面積値の総和と、前記検出器から出力される面積値または前記検出枠の中心に対して対称の位置関係にある検出エリアに対応する前記面積値の差分とに応じて、前記手元制御機器の動きベクトルを算出し、該算出された動きベクトルにしたがって、前記指示画像または操作画像の移動制御を行うことを特徴とする請求項１または２に記載の電子機器システム。
4. 前記手元制御機器は、遠隔制御用の赤外線発光手段及び可視光を発光し、その発光内容を変動させる可視光発光手段の少なくとも一方と、前記赤外線発光手段または可視光発光手段を作動させるための操作ボタンとを備え、
   前記指示動作検出手段は、前記操作ボタンが操作されたときの前記指示画像の位置に応じて前記操作画像の指示動作を検出することを特徴とする請求項１に記載の電子機器の制御システム。

Images