JP2011239279A - 遠隔制御装置および遠隔制御方法 - Google Patents

Abstract

【課題】リモコンの電池消費を抑えながら、安価な被制御装置でも精度良くユーザのジェスチャ操作の開始点を検出可能とする。
【解決手段】赤外線リモコンからのキーコード信号を１０１で受信するとともに、発光しているリモコンそのものをカメラ１０３で撮影する。位置検出部１０４では、デコード部１０２で受信したタイミング情報を使ってそのときに輝度の変化があった部分を撮影画像から抽出することで簡単かつ高精度にリモコンの位置を検出し、ジェスチャ認識部ではその位置の像の動きを追跡することでユーザ操作を認識する。制御部１１０では、受信したリモコンキーコードによる制御と、認識したユーザ操作による制御の両方を受け付ける。
【選択図】図１

Description

本発明は、離れた位置にいるユーザの操作によって被制御装置を遠隔からコントロールするための遠隔制御装置、および、遠隔制御方法に関する。

従来から、テレビジョン（以降、テレビと称する）、ビデオレコーダ、エアコン等の離れた位置にある被制御装置を遠隔からコントロールするために、赤外線リモコンが使用されていた。このような、赤外線リモコンを使用する遠隔制御方式では、複数のボタンを備えた赤外線リモコン（本文では、以降、リモコンと称する）が使用されてきた。
しかし、近年は、被制御装置の高機能化に伴い、その操作方法はより複雑になってきている。例えば、一般的なリモコン操作であるカーソルボタンによる逐次的なポインタ移動と選択による操作方式では、使い勝手が悪くなってきた。これに対して、ユーザ（操作者）の身振りや手振り（ジェスチャ）をカメラで撮影して画像認識し、その結果によりユーザのコントロールの意図を判断して、被制御装置を制御させるような操作方式が提案されている。

特開平６−７５６９５号公報 特開２００７−１８９６１３号公報 特開２０１０−１７４０５号公報 特開２００７−１９３４０３号公報 特許第４３１８０５６号公報

上述したような、ユーザの身振りや手振りを画像認識で判別する場合には、ユーザの背景にある蛍光灯等の明るい物体や、ユーザ以外の人間や可動物体等の影響による誤認識を防止することが重要である。

例えば、特許文献１および特許文献２では、発光素子を備えたリモコンを被制御装置本体に備えたカメラで撮影し、その位置や動きを検出することによってカーソル移動などを行う制御方式が開示されている。この場合、特許文献１および特許文献２記載の制御方式では、リモコンを常時発光させておくことでリモコンの位置を認識できるようにしている。
しかしながら、リモコン以外の照明や外光などの影響を防ぐためには、リモコンからの光は高輝度で出力しなければならない。従ってリモコンを常時発光させておくとリモコンの電力消費が激しいという問題がある。
また、特許文献１の装置では、リモコンからの光を特定の波長の赤外線とし、被制御装置のカメラには可視光をカットする赤外線フィルタを設けることで外光の影響を低減させて、リモコンの認識精度を向上している。しかし、このようなフィルタを設けたカメラでは、一般的な可視光を撮影することはできない。このため、このカメラを例えばテレビ電話用の撮像手段としても利用することができないという問題もある。

また、特許文献１、特許文献２とは逆に、特許文献３および特許文献４では、被制御装置本体から照射される赤外線、若しくは表示される画像を、リモコン側に備えられたカメラを用いて撮影することでリモコンの指示方向、位置等を入力するポインティングデバイスが開示されている。
しかし、特許文献３および４に記載の装置では、リモコン側にＣＣＤセンサやＣＭＯＳセンサなどの撮像手段と、撮像手段が撮影した画像の解析処理手段を搭載する必要があり、リモコンが高価になったり、電力の消費量が多いという問題がある。

さらに、上述のように、リモコンをユーザが特別に手に持たず、手そのものの動きを認識するジェスチャ操作による制御方式も多数提案されている。例えば、特許文献５では、被制御装置に備えられた三次元カメラ（３Ｄカメラ）によって、ユーザの画像を奥行きも併せて撮影し、所定の奥行き方向の距離上に操作領域平面を仮想的に設定し、設定された平面より手前に突出した部分の物体の形や動作を認識することで制御する遠隔制御装置などが開示されている。
特許文献５では、ユーザ側にリモコンは不要であるが、そのため、リモコン操作をしていないときのユーザのランダムな動きや、ユーザの背景等の物体の動きなどが混在した画像の中から、画像認識によって、ユーザが被制御装置の操作を意図したときのジェスチャのみを抽出する必要がある。これを容易にするためには、ＴＯＦ（Time Of Flight）センサのような、撮影画素の奥行き情報が計測可能な３Ｄカメラが必要となったり、高性能のＣＰＵ（Central Processing Unit）による大量の画像処理で形状認識を行う必要があり、被制御装置が高価になるという問題がある。また、このような３Ｄカメラは、特定の波長の赤外線のみに反応するようになっているので、やはり通常の画像を撮影することはできないという問題もある。即ち、一つの撮像手段を、リモコン操作認識用とテレビ電話用とで兼用することができない。

本発明は、上記のような問題点を解決するためになされたもので、その目的は、リモコンの電池消費を抑えながら、安価な被制御装置でも精度良くユーザの操作を検出可能とした、遠隔制御装置および遠隔制御方法を提供することにある。

上記の課題を解決するため、本発明は、操作者のユーザ操作によってリモコンから発光された赤外線信号を受信する受信手段と、前記受信手段によって受信した赤外線信号をリモコンキーコードとしてデコードし受信タイミング検出するデコード手段と、視野範囲を撮影する撮像手段と、前記撮像手段によって撮影された撮影画像から前記受信タイミングと同期して、前記リモコンから発光された領域を抽出する位置検出手段と、前記位置検出手段によって抽出された前記領域の動きを追跡して、前記操作者のユーザ操作を認識する動き追跡手段と、前記操作者のユーザ操作に応じて被制御装置の制御を行う制御手段とを備え、前記制御手段は、前記受信手段が受信した前記赤外線信号と前記動き追跡手段が認識した前記操作者のユーザ操作の少なくともいずれか一つの指示に従って前記被制御装置を制御する遠隔制御装置である。

また、上記本発明の遠隔制御装置の前記動き追跡手段は、前記位置検出手段によって抽出された前記領域の、位置座標、移動量、移動速度、移動方向、移動軌跡の少なくとも一つの情報を用いてユーザ操作を認識するものである。
また、上記本発明の遠隔制御装置の前記制御手段は、前記デコード手段でデコードした前記赤外線信号が特定のリモコンキーコードであった場合にのみ、その受信タイミングをトリガとして前記動き追跡手段の動き追跡動作を開始するものである。
また、上記本発明の遠隔制御装置の前記制御手段は、映像又は音声のうち少なくとも一つによる警告手段をさらに備え、前記制御手段は、前記位置検出手段が、前記デコード手段によって検出された前記受信タイミングに対応する前記リモコンから発光された領域の特定をできなかった場合には、前記警告手段を制御して操作者へ警告するものである。

上記の課題を解決するため、本発明は、被写体に光を投射する投光手段をさらに備え、前記撮影手段は、環境光のみによる被写体の各画素の輝度を表した輝度画像と、前記投光手段からの光が被写体に反射した反射光を測定して得た被写体の各画素までの距離を表した距離画像の二種類の画像を撮影し、前記制御手段は、前記位置検出手段で前記リモコンの像が検出されるまで前記投光手段から光を投射せずに前記撮影手段で輝度画像を撮影し、前記位置検出手段で前記リモコンの像が検出された後は、前記投光手段から光を投射させて前記撮影手段で距離画像を撮影する遠隔制御装置である。

上記の課題を解決するため、本発明は、リモコンから発光された赤外線信号を受信する受信ステップと、前記受信ステップによって受信した赤外線信号の受信タイミングを検出するタイミング検出ステップと、視野範囲を撮影する撮像ステップと、前記撮像ステップで撮影された撮影画像から前記受信タイミングと同期して前記リモコンから発光された領域を抽出し、前記リモコンから発光された領域を特定してその位置を検出する位置検出ステップと、前記位置検出ステップで検出した領域の動きを追跡してユーザ操作を認識する動き追跡ステップと、前記受信ステップで受信した前記赤外線信号の指示、および、前記動き追跡ステップで認識したユーザ操作のいずれかの指示に従うユーザ操作反映ステップとを備えた遠隔制御方法である。

本発明の遠隔操作装置によれば、撮像手段とは別にリモコンが発光したタイミングを検出するデコード手段があるので、リモコンを常時発光させておく必要がなく、リモコンの電池の消耗を抑えることができる。
また、赤外線信号によるリモコンデコードのタイミング情報を利用して撮影画像を抽出処理するため、撮影画像自体が可視光を撮影した通常の画像であっても、撮影手段に赤外線フィルタを設けるのと同様に外光や照明の影響を排除することができ、安価で精度良く、ユーザ（操作者）の操作を認識することができる。

本発明の一実施形態であるデジタルテレビのリモコンを除いた構成を示すブロック図である。 本発明の一実施形態の遠隔制御装置および遠隔制御方法を説明するための全体図である。 本発明の一実施形態の遠隔制御装置の制御部の処理手順を示すフローチャートである。 本発明の一実施形態の遠隔制御装置の制御部における位置検出部の画像解析処理を示す概念図である。 本発明の一実施形態であるデジタルテレビのリモコンを除いた構成を示すブロック図である。 本発明の一実施形態の遠隔制御装置の制御部の処理手順を示すフローチャートである。

本発明は、赤外線リモコンからのリモコンキーコード信号を受信するデコード手段と共に、リモコンの赤外線の発光そのものを画像として撮影する撮像手段を備えたことを最も主要な特徴とする。
さらに、この撮影した画像の中から、キーコード信号を受信したタイミングと同期して輝度が変化する部分を抽出することでリモコンの像を特定し、その位置の像の動きを追跡することで操作者のユーザ操作を認識する。そして、受信したリモコンキーコードによる制御と、認識したユーザ操作による制御の両方を受け付けるようにした。
以下に本発明の一実施形態を図面等を用いて説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。

図１と図２によって、本発明の実施例１を説明する。図１は、本発明の一実施形態のリモコンを除いたデジタルテレビの構成を示すブロック図である。また、図２は、本発明の一実施形態の遠隔制御装置および遠隔制御方法を説明するための全体図である。
図１および図２において、デジタルテレビ１００は、室内に設置され、デジタルテレビ１００を視聴するユーザである操作者がリモコン２１０を操作して、被制御装置としてのデジタルテレビ１００を制御する。図１の実施例における遠隔制御装置は、赤外線受光部１０１、デコード部１０２、カメラ１０３、位置検出部１０４、ジェスチャ認識部１０５、制御部１１０、表示部１５１、および、パネル１５２から構成される。また、さらに、音声出力部１５３およびスピーカ１５４を含む構成でも良い。
なお、カメラ１０３は、操作者が操作するリモコン２１０の赤外線信号を赤外線受光部１０１が受光できる範囲若しくは受光範囲を含む範囲を、撮影視野範囲（２本の破線で囲まれた範囲）として撮影可能である。

図１において、デジタルテレビ１００のテレビ受信部１５０は、図示しないアンテナ若しくは入力端子からテレビ信号を受信し、その映像を表示部１５１を介してＬＣＤ（Liquid Crystal device）パネル１５２へ、またその音声を音声出力部１５３を介してスピーカ１５４へ出力するものである。即ち、パネル部１５２が画像を表示し、スピーカ１５４が音を出力する。なお、映像表示は、ＬＣＤパネルに限らず、ＰＤＰ等のＦＰＤパネルの他、ＣＲＴでも良いことは勿論である。

図２に示すように、ユーザである操作者２００は、リモコン２１０を手に持ってデジタルテレビ１００を操作する。かつ、操作者２００が操作する様子は、カメラ１０３によって撮影される。カメラ１０３は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等の二次元イメージセンサによって可視光を動画として撮影するカメラであり、操作者２００の画像と共に、背景として、室内に設置された蛍光灯２２０などの照明、並びに、操作者２００以外の被写体も併せて撮影し、撮影した画像（撮影画像）をジェスチャ認識部１０５に出力する。

また、カメラ１０３は、ジェスチャ認識で利用する他にも、撮影画像をエンコーダ１６０および位置検出部１０４に出力する。
エンコーダ１６０は、入力された画像を圧縮して、通信部１６１を介して図示しないインターネットへ出力することにより、テレビ電話として利用することも可能である。また位置検出部１０４については、後述する。
なお、テレビ電話を兼ねる従来のデジタルテレビは、図示しない赤外線リモコンからの赤外線信号を受光する赤外線受光部１０１、デコード部１０２、カメラ１０３、エンコーダ１６０、通信部１６１、制御部１１０、表示部１５１、パネル１５２、テレビ受信部１５０、音声出力部１５３、および、スピーカ１５４から構成される。

さて、操作者２００がテレビを制御することができる操作方法には二種類ある。一つはリモコン２１０のボタンを操作するものであり、もう一つはリモコン２１０を持ったままでジェスチャ操作を行うものである。
ボタン操作については、テレビ１００の赤外線受光部１０１が、リモコン２１０からの赤外線信号を受信しデコード部１０２に出力する。デコード部１０２は、受信した信号を解析して、リモコンキーコードとして制御部１１０に出力する。制御部１１０は、入力されたリモコンキーコードに基づいてテレビ１００を制御処理する。
また、ジェスチャ操作については、カメラ１０３で撮影されて入力された画像が、位置検出部１０４とジェスチャ認識部１０５で解析されてユーザ（操作者）の操作として認識され、制御部１１０で処理される。ジェスチャ認識部１０５が認識した操作情報は、制御部１１０に出力され、制御部１１０は、入力された操作情報に基づいてテレビ１００を制御処理する。

次に図３のフローチャートを用いて、制御部１１０が実行するこれらの処理制御手順を説明する。ここでは、テレビ１００のスピーカ１５４から出力される音の音量調整を行う場合を例にとって説明する。図３は、本発明の一実施形態の遠隔制御装置の制御部が実行する処理手順を示すフローチャートである。
まず最初に、操作者がリモコン２１０のボタンを押すと、そのキーコードが赤外線信号としてリモコン２１０から出力される。デジタルテレビ１００側は、以下のステップＳ３０１〜Ｓ３０８、Ｓ３０９、およびＳ３１０の処理を行う。

ステップＳ３０１では、赤外線受光部１０１にてこのキーコードの赤外線信号を受信し、デコード部１０２でそのキーコードをデコードする。ステップＳ３０１の赤外線受光部１０１がリモコン２１０からの赤外線信号を受信確認する周期は、少なくとも、リモコン信号の発光時間より短い。
次にステップＳ３０２では、デコードしたキーコードを判別し、これがジェスチャ操作用に特別に設けられた「ジェスチャボタン」以外のキーであった場合には、ステップＳ３１０の処理を行う。また、「ジェスチャボタン」のキーであった場合には、ステップＳ３０３以降ステップＳ３０８のジェスチャ認識処理に進む。即ち、「ジェスチャボタン」のキーは、ジェスチャ（ステップＳ３０３〜Ｓ３０８）の処理を開始するタイミング（受信タイミング）を検出する。
ステップＳ３１０では、そのキーコードに対応した個別の操作処理を行い、図３のフローチャートの処理を終了する。例えば、音量アップボタンならば音声出力部１５３を制御してスピーカ１５４の出力音量を１レベル増やし、あるいは音量ダウンボタンならば逆に音声出力部１５３を制御してスピーカ１５４の出力音量を１レベル減らす。操作者は、音量ボタンを複数回押下することで、所望の音量レベルになるように調整を行う。ここまでは、通常のリモコン操作による制御と同じである。

ステップＳ３０３以降、Ｓ３０８までの処理は、上記受信タイミングをトリガとして開始する。
ステップＳ３０３では、カメラ１０３で撮影された画像を解析して、画像中でリモコン２１０が発光している部分を抽出する。このステップＳ３０３の抽出処理について、図４の概念図を用いて説明する。
図４は、時間軸４００に従って時刻ｔが右方向に経過していく様子を示している。時刻ｔ＝０［ｍｓ］において、操作者２００がリモコン２１０のジェスチャボタンを押下し、これによってリモコン２１０からの赤外線信号４５０が、例えば１０８［ｍｓ］の時間出力される。このとき、デコード部１０２は、時刻ｔ＝１０８［ｍｓ］の時点で、このリモコン信号を受信したことを検出し、位置検出部１０４にタイミング信号を出力する。
一方、撮影画像４０１、４０２、４０３は、カメラ１０３が撮影した画像を時系列的に並べたものである。撮影画像４０１は時刻ｔ＝−１１５［ｍｓ］で撮影された画像、撮影画像４０２は時刻ｔ＝１０［ｍｓ］で撮影された画像、撮影画像４０３は時刻ｔ＝１３５［ｍｓ］で撮影された画像である。例えば、撮影のフレーム周期を８［ｆｐｓ］、即ち、１２５［ｍｓ］おきに撮影したとすると、上記撮影画像４０１、４０２、および４０３が取得できる。
ここでリモコン２１０は、図４（ａ）のリモコン信号に示す斜線部のように、１０８［ｍｓ］の時間だけリモコン２１０が発光している。従って、リモコン２１０の光が撮影されるのは、画像４０２のみであり、これが撮影画像４０２の領域４０５として結像されている。その前後の撮影画像４０１と撮影画像４０３には、この発光する領域は撮影されていない。
位置検出部１０４では、これらの連続した画像を次のようにして解析して、リモコン２１０の発光が撮影された領域４３５を抽出する。

まず、後段の処理を簡単にするために、各撮影画像４０１〜４０２の輝度信号を一定の閾値で大小判定して二値化し、二値画像４１１、４１２、および４１３をそれぞれを得る。
ここで、領域４１５はリモコン２１０の発光を撮影した４０５を二値化した領域であり、画像４１２にのみ存在する。また、これに対して領域４１９は、背景にある蛍光灯２２０の画像が二値化された部分であり、画像４１１、４１２、および４１３の全てに存在する。これら以外の画像は、閾値よりも輝度が低く、二値化画像には現れない。
次に、発光タイミング前後の二値画像４１１と４１３の画素ごとの輝度を白黒反転して、反転画像４２１と４２３を生成する。そして、これら二つの反転画像と、発光タイミングの二値画像４１２との３枚の論理積をとり、抽出画像４３２を得る。
この結果、抽出画像４３２には、常時点灯していた領域４１９の部分は消去されており、発光タイミングと同期してリモコン２１０の発光している領域４３５だけが残る。最後に、微小なノイズや常時発光している大きな物体の画像のブレなどの影響を排除するために、抽出画像４３２の中から発光領域の面積が一定の範囲にある部分だけを抽出する。なお、この処理は、二値化する場合にも実行しても良い。
以上のようにして簡単な画像処理を行うことで、リモコン２１０の受信タイミング、と同期して点灯（リモコン２１０の発光）している領域４３５のみを抽出することができる。なお、以降の説明では、この領域４３５のことを「同期発光領域」と呼ぶ。

なお、上記図４の実施例では、発光タイミングとその前後の３枚の画像を用いたが、その代わりに発光タイミングとその前の２枚だけの画像を用いても良い。この場合は、明るく発光しながら移動する物体があった場合に、その進行方向の部分を間違って同期発光領域として誤検出してしまう可能性があるが、反面、発光した後の画像が処理されるのを待つ必要がないため、より高速な検出が可能であり、迅速な応答が求められる場合には有効である。
あるいは、上記図４の実施例では、カメラ１０３の撮影フレームレートを８［ｆｐｓ］としたが、もっと高速に撮影を行うことで、解析に用いる画像の枚数を増やして検出精度を向上させても良い。さらに、カメラ１０３の撮影のフレームレートや出力レートを高速度で行い、解析に用いる画像をその中から所定の周期でサンプリングしても良い。
また、上記図４の実施例では、処理を簡単にするために、撮影画像を二値化して単純な論理演算することで領域を抽出している。しかし、二値化する前の連続量のままで数値演算することにより画像フィルタ処理を行うようにしても良い。また例えば、撮影画像４０１と４０２との差分処理、および撮影画像４０２と４０３との差分処理を行い、２つの差分処理画像の差分画像を二値化処理してリモコン２１０の発光している画像領域を抽出するようにしても良い。

図３のフローチャートに戻り、ステップＳ３０３以降の処理の説明を続ける。ステップＳ３０４では、同期発光領域の存在が抽出されたか否かを所定の周期で判定する。同期発光領域の存在が抽出された場合には、ステップＳ３０５に進み、抽出されなかった場合には、ステップＳ３０９に進む。
ステップＳ３０９では、操作者２００にその旨の警告をする表示を、表示部１５１を介してパネル１５２に表示させ、図３のフローチャートの処理を終了する。これは、例えば、操作者２００がカメラ１０３の撮影範囲の外からリモコン２１０を操作したためにリモコン信号が壁などの反射により受光できたがカメラ１０３からは撮影できなかった場合や、ノイズや外光の影響で誤検出が起こり、うまく認識できなかった場合に発生する。このような場合には、この後の特徴点の追跡が不可能になるので、これを操作者２００に警告し、別の位置から改めてジェスチャボタンを押下するように促す。なお、ステップＳ３０９の警告表示は、警告音の再生に代えても良いし、両者を組み合わせても良い。

ステップＳ３０５では、同期発光領域の重心座標を算出してそれを初期追跡位置とする。
次に、ステップＳ３０６では、撮影された画像中の輝度成分のエッジや領域の頂点を検索することで画像の特徴点を抽出する。この時、ステップＳ３０５で求めた同期発光領域の重心座標の最も近傍にある特徴点を選択し、以降の追跡対象とする。
そしてステップＳ３０７では、特徴点を追跡することによって、操作者２００のジェスチャ操作を認識し、その操作に応じた制御を行う。
例えば、初期追跡位置を原点として左右への動きの量を検出し、スピーカ１５４から出力する音量レベルを動きの分だけ増減させる。右へ動いた場合は音量レベルを増加させ、左へ動かした場合は減少させる。動いた距離と音量レベルの変化量を比例させることで、大きく動かせば、それだけ大きく変化させる。これにより、リモコン２１０の音量調節ボタンを何度も押下して調整するような手間のかかる操作ではなく、直接的に音量を設定できるようにすることができる。
そして、操作者２００は、所望の設定値に調整できた時点で、再びリモコン２１０のジェスチャボタンを押下する。

ステップＳ３０８では、ジェスチャボタンが押下されたか否かを所定の周期で判定する。赤外線受光部１０１およびデコード部１０２を介して、ジェスチャボタンの押下に基づいたリモコンコードを受信した場合には、図３のフローチャートの処理を終了する。また、ジェスチャボタンの押下に基づいたリモコンコードを受信しなかった場合には、ステップＳ３０６にもどり、ステップＳ３０６からの処理に戻って、特徴点の追跡を続ける。
なお、ここではジェスチャ操作による音量設定値の反映は、Ｓ３０８でジェスチャボタンが認識されるまでの間、操作者のジェスチャ操作に応じて随時行うようにしているが、最後に一回だけ行うようにしても良い。

以上説明したように、本発明の実施例１によれば、安価な装置を使って精度良くジェスチャ操作を認識し、かつリモコンの電池の保ちが良い遠隔操作装置および遠隔操作方法を実現できる。即ち、リモコン側は常時発光するのではなく、操作者のボタン操作が行われたときのみ発光すれば良いので、電池の無駄な消費が無い。また、被操作装置側では、通常の安価なＣＣＤセンサカメラやＣＭＯＳセンサカメラが使用することができる。また、このような通常の安価なカメラを利用できるため、前述したテレビ電話機能用のカメラと兼用することが可能となる。
また、追跡対象点の抽出を、赤外線リモコンの受信タイミングを利用して行うので、外部光や複数の人物が同時に動いているような場合においても、誤検出の可能性を低減し精度の良い検出を行うことができる。さらには、検出処理も簡単な画像処理で実現できるようにしたので、安価で低速なマイコンなどを使用することができる。

なお、上記説明では、同期発光領域の位置検出部１０４をデジタルテレビ１００上のソフトウェアプログラムにより実行されることを想定しているが、この他にも専用のハードウェア回路により実現しても良い。
また、ステップＳ３０７でのジェスチャ操作処理では、検出した動きの量と音量レベルの変化速度を対応させても良い。また、左右の動きを検出するのではなく、初期座標を基準とした回転運動を検出してその回転方向によって設定値を変化させたり、運動の軌跡を検出し、予め登録した軌跡パターンと比較して、所定の動作を行わせるようにしても良い。
さらに、図３の実施例では、テレビジョンのスピーカから出力される音の音量調整を行う場合について説明したが、テレビジョンの他の制御であっても良いし、またさらに、テレビジョンに限らず、上記遠隔制御装置を実装可能な被制御装置であれば、本発明が適用可能であることは言うまでもない。

図５と図６によって、本発明の実施例２を説明する。図５は、本発明の一実施形態であるデジタルテレビのリモコンを除いた構成を示すブロック図である。図１と同じ部分には同一符号を付して、重複する説明を省略する。また図６は、本発明の一実施形態の遠隔制御装置の制御部が実行する処理手順を示すフローチャートである。図６は、図２とほぼ同様の手順となっており、図２と対応する部分には同一の符号を付して重複する説明を省略する。

本実施形態の図５のデジタルテレビ５００では、実施例１の図１デジタルテレビ１００におけるＣＣＤセンサによるカメラ１０３に代えて、ＴＯＦセンサ５０３による３次元カメラを用いる。これにより、ジェスチャの認識精度を向上させ、多様で正確な操作を可能としたものである。即ち、図５の実施例における遠隔制御装置は、ＴＯＦセンサ５０３、光源５３０、制御部５１０、赤外線受光部１０１、デコード部１０２、位置検出部１０４、ジェスチャ認識部１０５、表示部１５１、および、パネル１５２から構成される。また、さらに、音声出力部１５３およびスピーカ１５４を含む構成でも良い。

図５において、赤外線照明部５３０は、ＴＯＦセンサ５０３と同期して変調された赤外線を投射して撮影対象を照らす光源である。ＴＯＦセンサ５０３はこの赤外線の反射光の位相を検出して各画素の奥行きを測定し、距離画像を得る。制御部５１０では、後述する手順によって赤外線照明部５３０を制御し、赤外線の照射の有無を選択する。赤外線が照射されていない場合には、ＴＯＦセンサ５０３は通常の赤外線撮影カメラとして機能し、受動的に入射した赤外線の輝度画像を得る。ＴＯＦセンサ５０３は、実施例１におけるテレビ１００のカメラ１０３と同様に、操作者が操作するリモコンの赤外線信号を赤外線受光部１０１が受光できる範囲を撮影可能である。同様に、赤外線照明部５３０は、ＴＯＦセンサ５０３の画像検出範囲全領域について赤外線を照射可能である。
また図６は、本発明の一実施形態の遠隔制御装置の制御部が実行する処理手順を示すフローチャートである。図６も、図３と同様に、制御部１１０が実行するこれらの処理制御手順を説明する。

まず、図５および図６において、初期段階では、赤外線照明５３０を消灯している。この状態では、ＴＯＦセンサ５０３は、画像検出範囲から赤外線照明５３０に起因しない赤外線を受光し、輝度画像として検出する。
図３と同様に、まず最初に、操作者がリモコン２１０のボタンを押すと、そのキーコードが赤外線信号としてリモコン２１０から出力される。デジタルテレビ１００側は、以下のステップＳ３０１〜Ｓ３０４、Ｓ６０５、Ｓ３０５〜Ｓ３０８、Ｓ６５１、Ｓ３０９、およびＳ３１０の処理を行う。

ステップＳ３０４の処理において、同期発光領域の存在が抽出されたか否かを所定の周期で判定する。同期発光領域の存在が抽出された場合には、ステップＳ６５０に進み、抽出されなかった場合には、ステップＳ３０９に進む。
ステップＳ６５０では、赤外線光源５３０を点灯し、ステップＳ３０５に進む。
以下、ステップＳ３０５〜Ｓ３０８は、実施例１の図３と同一なので、説明を省略する。
ただし、ステップＳ３０８では、ジェスチャボタンが押下された場合には、ステップＳ６５１に進む。
ステップＳ６５１の赤外線光源消灯ステップでは、赤外線照明部５３０の点灯を停止（消灯）し、図６のフローチャートの処理を終了する。

以上のように構成することにより、ＴＯＦセンサを用いる場合に必要な赤外線照明５３０を常時点灯させておく必要がなくなり、消費電力を低減することができる。特に、被操作装置が電池駆動のモバイル機器である場合に効果がある。

１００：デジタルテレビ、 １０１：赤外線受光部、 １０： リモコン信号デコード部、 １０３：カメラ、 １０４：位置検出部、 １０５：ジェスチャ認識部、 １１０：制御部、 １５０：テレビ受信部、 １５１：表示部、 １５２：パネル、 １５３：音声出力部、 １５４：スピーカ、 １６０：エンコーダ、 １６１：通信部、 ２００：操作者、 ２１０：リモコン、 ２２０：蛍光灯照明、 ５００：デジタルテレビ、 ５０３：ＴＯＦセンサ、 ５１０：制御部、 ５３０：赤外線照明部。

Claims (6)

1. 操作者のユーザ操作によってリモコンから発光された赤外線信号を受信する受信手段と、
   前記受信手段によって受信した赤外線信号をリモコンキーコードとしてデコードし受信タイミング検出するデコード手段と、
   視野範囲を撮影する撮像手段と、
   前記撮像手段によって撮影された撮影画像から前記受信タイミングと同期して、前記リモコンから発光された領域を抽出する位置検出手段と、
   前記位置検出手段によって抽出された前記領域の動きを追跡して、前記操作者のユーザ操作を認識する動き追跡手段と、
   前記操作者のユーザ操作に応じて被制御装置の制御を行う制御手段とを備え、
   前記制御手段は、前記受信手段が受信した前記赤外線信号と前記動き追跡手段が認識した前記操作者のユーザ操作の少なくともいずれか一つの指示に従って前記被制御装置を制御することを特徴とする遠隔制御装置。
2. 前記動き追跡手段は、前記位置検出手段によって抽出された前記領域の、位置座標、移動量、移動速度、移動方向、移動軌跡の少なくとも一つの情報を用いてユーザ操作を認識する
   ことを特徴とする請求項１に記載の遠隔制御装置。
3. 前記制御手段は、前記デコード手段でデコードした前記赤外線信号が特定のリモコンキーコードであった場合にのみ、その受信タイミングをトリガとして前記動き追跡手段の動き追跡動作を開始する
   ことを特徴とする請求項１から請求項２に記載の遠隔制御装置。
4. 映像又は音声のうち少なくとも一つによる警告手段をさらに備え、
   前記制御手段は、前記位置検出手段が、前記デコード手段によって検出された前記受信タイミングに対応する前記リモコンから発光された領域の特定をできなかった場合には、前記警告手段を制御して操作者へ警告する
   ことを特徴とする請求項１から請求項３に記載の遠隔制御装置。
5. 被写体に光を投射する投光手段をさらに備え、
   前記撮影手段は、環境光のみによる被写体の各画素の輝度を表した輝度画像と、前記投光手段からの光が被写体に反射した反射光を測定して得た被写体の各画素までの距離を表した距離画像の二種類の画像を撮影し、
   前記制御手段は、前記位置検出手段で前記リモコンの像が検出されるまで前記投光手段から光を投射せずに前記撮影手段で輝度画像を撮影し、前記位置検出手段で前記リモコンの像が検出された後は、前記投光手段から光を投射させて前記撮影手段で距離画像を撮影する
   ことを特徴とする請求項１から請求項４に記載の遠隔制御装置。
6. リモコンから発光された赤外線信号を受信する受信ステップと、
   前記受信ステップによって受信した赤外線信号の受信タイミングを検出するタイミング検出ステップと、
   視野範囲を撮影する撮像ステップと、
   前記撮像ステップで撮影された撮影画像から前記受信タイミングと同期して前記リモコンから発光された領域を抽出し、前記リモコンから発光された領域を特定してその位置を検出する位置検出ステップと、
   前記位置検出ステップで検出した領域の動きを追跡してユーザ操作を認識する動き追跡ステップと、
   前記受信ステップで受信した前記赤外線信号の指示、および、前記動き追跡ステップで認識したユーザ操作のいずれかの指示に従うユーザ操作反映ステップとを備えたことを特徴とする遠隔制御方法。

Images