JP5617581B2 - ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体 - Google Patents

Description

本発明は、ジェスチャを認識するジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体に関するものである。

従来、携帯電話、ＰＤＡ（Personal Digital Assistant）、テレビ、録画再生装置、パーソナルコンピュータ、デジタルカメラなどの電子機器に対する入力機能はさまざまな形で実現されてきた。入力機能の実現方法としては、第１に、入力装置（ボタン、タッチパネル）に対象物（手指、タッチペンなど）を接触させて入力を行う方法がある（例えば、特許文献１、２など）。第２に、入力装置（カメラなど）に対象物を認識させて、入力装置あるいは電子機器に非接触で入力を行う方法がある（例えば、特許文献３など）。

第１の接触型の入力実現方法では、確実に、即時に、多様な入力を電子機器に対して行える一方、以下のような不都合な点がある。

画面（タッチパネル）が大きすぎると、対象物（手指など）を画面の端から端まで触れさせることが困難となり、操作性の低下が問題となる。電子機器から離れたところで、画面を閲覧したりして使用しているとき、電子機器に対して操作が必要になったら、電子機器を操作できる場所まで近づかないといけないため不便である。画面に指紋や手の汚れが付着するので、画面の汚れが気になるユーザには不向きな入力方法である。手が濡れていたり、汚れたりしているときは画面に触れず操作できないため不便である。

さらに、プロジェクタ機能を有する電子機器では、電子機器を静置して、スクリーンに表示内容（スライドショーなど）を映写するというユースシーンが想定されるが、スライド（ページ）を繰るなどの操作を行いたいとき画面に触ると、適切なポジションに置いておいた電子機器の位置がずれたりしてスクリーンの映像がぶれて不便である。また、スクリーンのそばでプレゼンテーションを行っているユーザが、電子機器を操作するために移動するのは面倒である。

上述のような不都合が生じる、接触型の入力方法が不向きなユースケースでは、電子機器の入力機能は、特許文献３のような第２の非接触型の入力実現方法が採用されてきた。特許文献３の技術では、カメラで撮像した手の画像データを画像処理して手を認識し、認識した手の動き（ハンドジェスチャ）を検知するジェスチャ認識システムが開示されている。多様なハンドジェスチャを電子機器に認識させることにより、電子機器に接触することなく電子機器に対する操作入力を行うことができる。

特開２００９−０７１７０８号公報（２００９年４月２日公開） 特開２００９−１６８６４７号公報（２００９年７月３０日公開） 特開平０８−３１５１５４号公報（１９９６年１１月２９日公開）

しかしながら、非接触型の入力方法を上述の特許文献３の技術で実現すると、以下のような問題が生じる。

例えば、暗所（夜の屋外、プロジェクタ起動中などに照明がおとされている屋内など）では、カメラによる被写体（手）の撮影が困難であり、手と認識できるような画像データが得られない。よって、特許文献３のシステムは、暗所で使用される電子機器の入力装置には適用できないという問題がある。また、特許文献３のシステムでは、カメラによって撮像された画像を扱うため、処理負荷の高い画像処理を行う必要がある。そのため、高機能の情報処理装置が必要になったり、処理時間が長くなったりするという問題がある。さらに、手の形を認識するために、背景画像と手の画像とを区別する処理が行われるが、手と類似するテクスチャが背景画像にも含まれている場合、正確に手の形状（領域）を抽出することができず、ジェスチャの誤認識が起こる可能性が高い。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、使用場所の明るさを問わずに、高速処理かつ高精度の非接触型の入力機能を実現するジェスチャ認識装置、ジェスチャ認識方法、ジェスチャ認識装置の制御プログラム、および、該制御プログラムを記録した記録媒体を提供することにある。

本発明のジェスチャ認識装置は、上記課題を解決するために、複数の赤外線センサが配置されて構成された温度センサと、上記温度センサの赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定手段と、上記変化領域特定手段が特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識手段とを備えていることを特徴としている。

上記構成によれば、ジェスチャ認識装置において、対象物（手）の動きを検知するための情報は、複数配置された赤外線センサより温度情報として取得される。そして、変化領域特定手段が、温度変化が生じた変化領域を、手を示す領域として特定し、ジェスチャ認識手段が、特定された変化領域の移動軌跡を特定して、手のジェスチャを認識する。

こうして、ジェスチャ認識装置は、データ量が膨大な画像データを扱わずとも、温度情報のみで対象物の動きを分析することができ、ジェスチャを認識することが可能となる。結果として、ジェスチャ認識装置において、処理効率の向上と、処理負荷の低減を実現することができる。つまり、反応速度が速い入力装置を実現することが可能である。

また、本発明のジェスチャ認識装置は、赤外線センサを用いて対象物の表面温度を取得することにより、対象物の温度と周囲の環境温度との違いによって、対象物の動きを検知するものである。したがって、光学系カメラで対象物を撮像してジェスチャを認識する構成では、暗所での使用が制限されるが、本発明のジェスチャ認識装置は、暗所でも制限なく入力装置として機能させることが可能である。

また、光学系カメラを用いたジェスチャ認識では、対象物と背景とのテクスチャに大きな差がない場合に、正確に対象物の位置、形状などを認識できず、ジェスチャの誤認識が増えるという問題がある。一方、本発明のジェスチャ認識装置は、周囲環境温度と異なる表面温度を持つ対象物（手など）を、温度情報に基づいて検知するので、テクスチャの類似による誤認識の問題は起こり得ない。

結果として、本発明のジェスチャ認識装置は、使用場所の明るさを問わずに、高速処理かつ高精度の非接触型の入力機能を実現することが可能になるという効果を奏する。

上記ジェスチャ認識装置は、さらに、上記変化領域特定手段によって特定された変化領域の重心を決定する重心決定手段を備え、上記ジェスチャ認識手段は、上記重心の位置を追跡することにより上記移動軌跡を特定することが好ましい。

これにより、簡素化された処理手順にて変化領域の移動軌跡を特定することが可能となる。

上記ジェスチャ認識装置は、さらに、赤外線センサそれぞれが検知したそれぞれの温度と、所定の基準温度とを比較することにより、赤外線センサごとに温度変化量を算出する変化量算出手段を備え、上記重心決定手段は、赤外線センサごとに得られた上記温度変化量に基づいて、上記変化領域の重心を決定してもよい。

上記構成によれば、上記変化領域の幾何学的形状のみに基づき決定された重心ではなく、温度変化量が考慮されて変化領域の重心が求まる。

このように求められた重心の軌跡を追跡することにより、より正確に実際の手の動きを検知することが可能となり、ジェスチャ認識の精度を向上させることができる。

上記ジェスチャ認識装置は、さらに、上記複数の赤外線センサにおける有効無効の配置パターンを示すマスクを、自装置が接続する電子機器のアプリケーションの種類に関連付けて記憶するマスク記憶部と、上記電子機器が起動中のアプリケーションに関連付けられているマスクを上記マスク記憶部から選択するマスク選択手段とを備え、上記変化領域特定手段は、上記マスク選択手段によって選択されたマスクが有効とする赤外線センサによって検知された温度のみに基づいて変化領域を特定してもよい。

赤外線センサを選択的に用いる構成にすれば、処理すべき情報量を減らして処理速度を早めることができるとともに、特定のジェスチャの認識する場合に、その認識の精度を高めることが可能である。

上記ジェスチャ認識装置は、さらに、上記変化領域特定手段によって特定された変化領域のばらつきを算出するばらつき算出手段を備え、上記ジェスチャ認識手段は、時間の経過に伴う上記ばらつきの増減に基づいて、ジェスチャを認識してもよい。

上記ジェスチャ認識手段は、上記変化領域のばらつきが増加する場合に、両手または指が広がる方向に動いたと認識し、上記変化領域のばらつきが減少する場合に、両手または指が閉じる方向に動いたと認識することができる。

本発明のジェスチャ認識方法は、上記課題を解決するために、複数の赤外線センサが配置されて構成された温度センサから赤外線センサごとの温度を取得する温度取得ステップと、上記温度取得ステップにて取得した、上記赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定ステップと、上記変化領域特定ステップにて特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識ステップとを含むことを特徴としている。

なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明のジェスチャ認識装置は、複数の赤外線センサが配置されて構成された温度センサと、上記温度センサの赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定手段と、上記変化領域特定手段が特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識手段とを備えていることを特徴としている。

本発明のジェスチャ認識方法は、複数の赤外線センサが配置されて構成された温度センサから赤外線センサごとの温度を取得する温度取得ステップと、上記温度取得ステップにて取得した、上記赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定ステップと、上記変化領域特定ステップにて特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識ステップとを含むことを特徴としている。

したがって、使用場所の明るさを問わずに、高速処理かつ高精度の非接触型の入力機能を実現することが可能になるという効果を奏する。

本発明の実施形態におけるジェスチャ認識装置が備えるデータ処理部の要部構成の詳細を示すブロック図である。 本発明の実施形態におけるジェスチャ認識装置が搭載された電子機器（スマートフォン）の外観を示す図である。 上記電子機器に内蔵されるセンサ部の分解斜視図である。 上記センサ部の温度センサチップにおける赤外線検知素子の配置の一例を示す図である。 本発明の実施形態におけるジェスチャ認識装置の要部構成を示すブロック図である。 ジェスチャ認識装置の座標配置部が各センサからの温度をＸＹ座標系にプロットした後の温度情報のデータ構造を模式的に示す図である。 ＸＹ座標系にプロットされた温度情報の具体例を示す図である。 各検知タイミングにおける、（１）スマートフォンと手との位置関係と、（２）当該タイミングにおいて検知、取得された温度情報との関係を示す図である。 図８に示すタイミングＴ_１〜Ｔ_３の期間について、ジェスチャ認識装置の変化量算出部によって生成された情報と、重心決定部によって生成された情報の具体例を示す図である。 ジェスチャ認識装置のジェスチャ認識部が重心の移動軌跡を特定した結果の具体例を示す図である。 各検知タイミングにおける、（１）スマートフォンと手との位置関係と、（２）当該タイミングにおいて検知、取得された温度情報との関係を示す図である。 ジェスチャ認識装置のジェスチャパターン記憶部に記憶されるジェスチャパターンの一例を示す図である。 ジェスチャ認識装置が備えるデータ処理部の各部が実行するジェスチャ認識処理の流れを示すフローチャートである。 ジェスチャ認識装置のジェスチャ認識部によって実行されるジェスチャ認識処理の流れを詳細に示すフローチャートである。 ジェスチャ認識装置のマスク記憶部に記憶されるマスクの具体例を示す図である。 ジェスチャ認識装置のマスク記憶部に記憶されるマスクのデータ構造の一例を示す図である。 本発明の他の実施形態における、ジェスチャ認識装置の座標配置部が各センサからの温度をＸＹ座標系にプロットした後の温度情報のデータ構造を模式的に示す図である。 各検知タイミングにおける、（１）両手の位置関係と、（２）当該タイミングにおいて取得された温度情報および変化領域との関係を示す図である。 図１８に示すタイミングＴ_１、Ｔ_２のタイミングにおいて、ジェスチャ認識装置の変化量算出部によって生成された情報、重心決定部によって生成された情報、および、ばらつき算出部によって生成された情報の具体例を示す図である。 他の実施形態におけるジェスチャ認識装置のジェスチャパターン記憶部に記憶されるジェスチャパターンの一例を示す図である。 他の実施形態におけるジェスチャ認識装置のジェスチャ認識部によって実行されるジェスチャ認識処理の流れを詳細に示すフローチャートである。

≪実施形態１≫
本発明の実施形態について、図面に基づいて説明すると以下の通りである。以下で説明する実施形態では、一例として、本発明のジェスチャ認識装置をスマートフォンに搭載し、ジェスチャ認識装置がスマートフォンの入力機能を実現する。なお、本発明のジェスチャ認識装置は、スマートフォン以外にも、携帯電話、ＰＤＡ、携帯型ゲーム機、電子辞書、電子手帳、デジタルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、ノート型パソコン、テレビ、録画生成装置、家庭用ゲーム機などの各種電子機器に搭載することができ、これらの電子機器の入力機能を担うことができる。

〔ジェスチャ認識装置の構成〕
図２は、本発明の実施形態におけるジェスチャ認識装置の外観を示す図である。本実施形態では、本発明のジェスチャ認識装置は、図２に示すとおり、センサ部２を備え、スマートフォン１００に内蔵されている。

センサ部２は、検知可能範囲（例えば、図２の破線枠内）にある対象物の温度を検知するものである。

図３は、スマートフォン１００に内蔵されるセンサ部２の分解斜視図である。図３に示すとおり、センサ部２は、以下のように構成される。具体的には、基板２１上に、信号処理部７と温度センサチップ６とが搭載され、その上に、これらの精密部品を保護するとともにレンズ２３を固定するための中ケース２２が設けられている。中ケース２２の上には、レンズ２３が搭載され、これら全体を被覆するように外ケース２４が設けられる。

温度センサチップ６は、複数の赤外線検知素子（赤外線センサ）を面上に配置したもので構成されている。各赤外線センサは、赤外線を受け付けたことにより発生する温度上昇に基づいて検知対象物の温度情報を検知する。

図４は、温度センサチップ６における赤外線検知素子の配置の一例を示す図である。温度センサチップ６は、例えば図４に示すように、縦横に４×４個で配置された赤外線センサからなっている。各センサには、例えば、０から１５までの番地が割り当てられており、この番地によって各センサの面上の位置関係が把握されている。

このように、番地によって管理された複数のセンサを面上に配置することによって、上記検知可能範囲にある検知対象物の表面温度を２次元で取得することができる。例えば、図２に示すとおり、ユーザの手が検知可能範囲内において移動すれば、手の表面温度を検知するセンサの位置の違いによって、その移動を検知することができる。

次に、上述のように温度センサチップ６から得られた温度情報を用いてジェスチャ認識処理を行うジェスチャ認識装置の機能的構成について説明する。

図５は、本発明の実施形態におけるジェスチャ認識装置１の要部構成を示すブロック図である。図５に示すとおり、ジェスチャ認識装置１は、温度センサチップ６と信号処理部７とを含むセンサ部２と、センサ部２を含む各部を統括制御する入力制御部３と、記憶部４および一時記憶部８と、コネクタ部５とを含む構成となっている。

信号処理部７は、温度センサチップ６の各センサが受け付ける赤外線から得られた赤外線信号を取得し、信号増幅の処理などを行うものである。信号処理部７は、例えば、特定用途向け集積回路（ＡＳＩＣ；Application Specific Integrated Circuit）などで実現される。

本実施形態では、信号処理部７は、信号選択部１３と信号増幅部１４とを備えている。
信号選択部１３は、温度センサチップ６からの赤外線信号を選択的に取得するものである。具体的には、信号選択部１３は、入力制御部３の制御にしたがって、特定の番地の赤外線センサからの赤外線信号を選択的に取得することができる。

信号増幅部１４は、信号選択部１３によって取得された赤外線信号を、入力制御部３においてデジタル処理可能なように増幅し、入力制御部３に供給するものである。

このようにして信号処理部７によって取得され、処理された赤外線信号は、入力制御部３においてデジタル化されて、温度情報として利用される。

入力制御部３は、ジェスチャ認識装置１の各部の動作を統括制御するものであり、マイクロコンピュータなどで実現される。あるいは、入力制御部３の機能は、スマートフォン１００本体の主制御部が備える構成であってもよい。この場合、スマートフォン１００自体が本発明のジェスチャ認識装置１として機能する。

入力制御部３は、信号処理部７から供給された赤外線信号をアナログ信号からデジタル信号に変換するＡＤ変換部１２と、コネクタ部５を介して、スマートフォン１００本体の主制御部と通信する通信制御部１１と、デジタル化された温度情報を用いてジェスチャ認識処理を実行するデータ処理部１０とを備えている。機能ブロックとしてのデータ処理部１０の構成と動作については別図を参照しながら後に詳述する。

コネクタ部５は、ジェスチャ認識装置１とスマートフォン１００の主制御部とを電気的にかつ通信可能に接続するものである。データ処理部１０がジェスチャを認識した結果は、通信制御部１１およびコネクタ部５を介して、スマートフォン１００本体の主制御部に供給される。反対に、スマートフォン１００が現在何のアプリケーションを起動中であるのかなどのスマートフォン１００の状態に関する情報は、スマートフォン１００の主制御部から供給される。

一時記憶部８は、ジェスチャ認識装置１が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリである。

記憶部４は、入力制御部３が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）入力制御部３が、ジェスチャ認識装置１が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。特に、記憶部４は、ジェスチャ認識装置１がジェスチャ認識処理を実行する際に読み出す各種プログラム、データを記憶する。

このように、ジェスチャ認識装置１において、入力制御部３のデータ処理部１０が、温度センサチップ６から取得された温度情報に基づいて、対象物（ユーザの手など）の動きをジェスチャとして認識し、通信制御部１１がこの認識結果をスマートフォン１００に対する入力として、スマートフォン１００本体に供給する。これに応じて、スマートフォン１００は、認識されたジェスチャに割り当てられた動作を実行することができる。

すなわち、ジェスチャ認識装置１は、スマートフォン１００の非接触型の入力装置として機能することができる。

〔データ処理部の構成〕
図１は、ジェスチャ認識装置１のデータ処理部１０の要部構成の詳細を示すブロック図である。

データ処理部１０は、機能ブロックとして、少なくとも、温度情報取得部３０、座標配置部３１、変化量算出部３２、および、ジェスチャ認識部３４を備える構成となっている。データ処理部１０は、さらに、重心決定部３３を備えていることが好ましい。また、データ処理部１０は、さらに、マスク選択部３５、および、ばらつき算出部３６を備えていてもよい。

そして、記憶部４は、データ処理部１０が識別すべきジェスチャのパターンを記憶するためのジェスチャパターン記憶部４０を少なくとも含んでいる。記憶部４は、さらに、マスク記憶部４１、および、基準値記憶部４２を含んでいてもよい。

上述したデータ処理部１０の各機能ブロックは、ＭＰＵ（micro processing unit）またはＣＰＵ（central processing unit）などの中央演算処理装置が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部４）に記憶されているプログラムをＲＡＭ（random access memory）（一時記憶部８）等に読み出して実行することで実現できる。

温度情報取得部３０は、デジタル変換された温度情報ｄ１を、ＡＤ変換部１２から取得するものである。本実施形態では、温度情報ｄ１は、各センサが検知した温度の値に、０〜１５番地までの各センサの番地が対応付けられたデータ構造となっている。本実施形態では、温度情報取得部３０は、温度センサチップ６の各センサによってリアルタイムで検知された温度情報ｄ１を、一定時間間隔（例えば、０．５秒ごと）に取得して一時記憶部８に随時格納する。このとき、温度情報取得部３０は、検知されたタイミングを識別するタイミング情報Ｔ_ｉ（ｉ＝０、１、２、・・・、ｎ）を、取得する温度情報ｄ１に関連付けておく。

座標配置部３１は、各センサから取得した温度情報を、各センサの配置に対応するように２次元座標上にプロットするものである。本実施形態では、０番地から１５番地までの、４×４＝１６個のセンサの配置に対応するように、各センサから取得した温度情報を、ＸＹ座標系にプロットする。

図６は、座標配置部３１が各センサからの温度をＸＹ座標系にプロットした後の温度情報のデータ構造を模式的に示す図である。

例えば、図４に示すとおりに、温度センサチップ６において、０〜１５番地の１６個の赤外線センサが、縦横４×４個になるように配置されている場合、座標配置部３１は、温度センサチップ６の左下端を原点とし、同じく、ＸＹ座標系の左下端を原点として、各センサの温度をプロットする。

具体的には、１２番地のセンサが検知した温度を、（Ｘ，Ｙ）＝（１，１）の位置にプロットし、その右隣の１３番地のセンサの温度を、（Ｘ，Ｙ）＝（２，１）の位置にプロットする。座標配置部３１は、以降のセンサについても同様に、センサの実際の配置に対応するように、温度をＸＹ座標系にプロットする。最終的に、最右上の３番地のセンサの温度は、（Ｘ，Ｙ）＝（４，４）の位置にプロットされる。

このようにＸＹ座標系にプロットされた温度情報は、タイミング情報Ｔ_ｉと関連付けて一時記憶部８に格納される。図７は、ＸＹ座標系にプロットされた温度情報の具体例を示す図である。図７には、タイミングＴ_０からＴ_ｎまでの間に取得された温度情報のそれぞれについてＸＹ座標系が作成された例を示している。ＸＹ座標系の１６個のセルに格納されている二桁の数字は、各センサが検知した温度（ここでは、単位は、℃）を示している。

変化量算出部３２は、所定の閾値と、上述のように各センサから取得された実際の温度とを比較して、温度変化あるいは検知対象物（手、指など）の有無を判定するものである。さらに、所定の基準値と実際の温度とを比較して、各センサの検知温度の変化量を算出するものである。

変化量算出部３２は、所定の閾値と比較して、各センサの温度が対象物の温度を検知しているのか否かを判断する。例えば、検知対象物としてヒトの手を検知したい場合、ヒトの体温として想定し得る下限値（場合によっては上限値でもよい）を閾値として設定する。ここでは、３３℃と設定されているものとする。

変化量算出部３２は、各センサの温度を閾値３３℃と比較して、３３℃以上の温度が検知されたセンサを、手を検知したセンサとして認識する。つまり、手を検知したセンサの位置を確認すれば、それを、そのまま手が存在する位置として扱うことが可能である。

上記閾値は、目的の検知対象物の性質を考慮して、該対象物を特定するために有効な温度が適宜設定されればよい。設定された閾値は、あらかじめ基準値記憶部４２に記憶されており、変化量算出部３２によって必要に応じて読み出される。

図８は、各検知タイミングにおける、スマートフォン１００と手との位置関係と、当該タイミングにおいて検知、取得された温度情報との関係を示す図である。図８に示すとおり、タイミングＴ_１において、手がセンサ部２の検知範囲の左端に位置しているとする。この場合、座標配置部３１は、図８に示す、タイミングＴ_１が関連付けられたＸＹ座標系を生成する。変化量算出部３２は、ＸＹ座標系の各座標位置に格納されている温度と、閾値３３℃とを比較して、閾値以上の温度の座標位置を特定し、これを手の領域として特定する。変化量算出部３２は、図８に示す例では、上記手の実際の位置と同様に、ＸＹ座標系においても、左端の領域（網点の領域）を、手の領域として特定している。次に、タイミングＴ２において、手がスマートフォン１００（センサ部２）の正面まで移動したとする。この場合、座標配置部３１は、タイミングＴ２が関連付けられたＸＹ座標系を生成する（図８）。そして、変化量算出部３２は、ＸＹ座標系の全面（網点の領域）を、手の領域として特定する。そして、タイミングＴ３において、手がさらに移動して、上記検知範囲の右端まで移動したとする。この場合、座標配置部３１は、図８に示す、タイミングＴ３が関連付けられたＸＹ座標系を生成する。変化量算出部３２は、閾値３３℃以上である右端の領域（網点の領域）を、手の領域として特定する。

さらに、変化量算出部３２は、実際に検知された温度と基準値との差分を、変化量ΔＴとして算出する。変化量算出部３２は、各番地（座標位置）の温度に関して、変化量ΔＴ（Ｘ，Ｙ）をそれぞれ算出する。

ここで、基準値は、上述の対象物を検知するための閾値と同じであってもよいし、対象物が何もないときの環境温度を考慮して適切な値が定められてもよい。本実施形態では、スマートフォン１００の周囲の環境温度が２５℃であることから、基準値が２５℃とあらかじめ定められているものとする。この規定の基準値は、基準値記憶部４２に記憶されており、変化量算出部３２によって必要に応じて読み出される。

なお、この基準値は、動的に更新される構成であってもよい。例えば、温度センサチップ６によって温度が随時測定され、変化量が大きく変動することなく一定時間経過したとする。このとき、データ処理部１０の図示しない平均値算出部が、この期間に測定された温度の平均値を算出し、これを、基準値として基準値記憶部４２に格納してもよい。

また、変化量算出部３２は、各セルの番地ごとに求めた変化量ΔＴ（Ｘ，Ｙ）をすべて合算して、タイミングＴ_ｉにおけるＸＹ座標系の変化量ΔＴ（Ｘ，Ｙ）の合計（以下、ＳＵＭ）を求める。具体的には、本実施形態では、変化量算出部３２は、次式、
ＳＵＭ＝ΔＴ（１，１）＋ΔＴ（１，２）＋ΔＴ（１，３）＋ΔＴ（１，４）＋ΔＴ（２，１）＋ΔＴ（２，２）＋ΔＴ（２，３）＋ΔＴ（２，４）＋ΔＴ（３，１）＋ΔＴ（３，２）＋ΔＴ（３，３）＋ΔＴ（３，４）＋ΔＴ（４，１）＋ΔＴ（４，２）＋ΔＴ（４，３）＋ΔＴ（４，４）
を計算する。

これにより、タイミングＴ_ｉにおける、検出範囲（図２の破線枠内）に生じた全体の変化量（ＳＵＭ）が明らかになる。

変化量算出部３２は、上述のように各セルの番地ごとに求めた変化量ΔＴ（Ｘ，Ｙ）およびその合計ＳＵＭを、タイミングＴ_ｉに関連付けて、ＸＹ座標系にプロットして、一時記憶部８に格納する。

変化量算出部３２によって求められた変化量ΔＴを参照することにより、どのタイミングでどの位置に温度の変化が見られたのかを把握することができる。また、変化量ΔＴおよびＳＵＭは、ジェスチャ認識対象物の有無や、対象物の領域（変化量が大きい領域）の重心の座標位置（Ｇｘ，Ｇｙ）を判断するために後述の各機能ブロックによって読み出され、用いられる。

さらに、変化量算出部３２は、各センサから取得された温度情報に基づいて、いつのタイミングからいつのタイミングまでを、ユーザの操作期間（ユーザがスマートフォン１００に対して入力を行おうとして意図的に手を動かしている期間）として認識すればよいのかを判断することが好ましい。

ユーザが操作している期間を判断する方法のいくつかについて具体的に説明すると以下のとおりである。

第１の方法は、基準値記憶部４２に記憶されている閾値を用いる方法である。変化量算出部３２は、あるタイミングにおけるＸＹ座標系にプロットされた各温度と閾値（例えば、３３℃）とを比較して、３３℃以上を検出したセンサが２個以上ある場合に、変化あり（操作開始）と判断する。そして、３３℃以上を検出したセンサが２個以上ある期間を操作期間として判断することができる。

第２の方法は、検知タイミングごとに求めたＸＹ座標系全体の変化量ＳＵＭおよび基準値記憶部４２に記憶されている基準値を用いる方法である。変化量算出部３２は、基準値をＴａ℃としたとき、（３５℃−Ｔａ℃）×２を変化量の閾値と定め、ＳＵＭが、（３５℃−Ｔａ℃）×２以上である場合に、変化あり（操作開始）と判断する。そして、ＳＵＭが、（３５℃−Ｔａ℃）×２以上である期間を操作期間として判断することができる。

上記構成によれば、変化量算出部３２によって操作期間と判断された期間の温度情報のみに限定して以降のジェスチャ認識処理をすすめることができ、処理にかける情報量を減らすことによって、ジェスチャ認識装置１の処理効率の向上と、処理負荷の低減を実現することができる。

重心決定部３３は、各センサの変化量ΔＴおよびＳＵＭに基づいて、ＸＹ座標系において変化が認められた領域、具体的には、手が検知されるなどして温度上昇があった変化領域（図８の網点の領域）の重心を決定するものである。重心決定部３３は、変化量ΔＴおよびＳＵＭを参照しながら、以下の手順にしたがって、変化領域の重心Ｇの座標（Ｇｘ，Ｇｙ）を決定する。

重心決定部３３は、重心ＧのＸ座標（Ｇｘ）を求める。Ｇｘは、各座標位置の変化量ΔＴに、各座標位置のＸ座標に応じた係数をかけたものを合計し、これを、上記ＳＵＭで割ることによって算出される。具体的には、重心決定部３３は、次式、
Ｇｘ＝｛（ΔＴ（１，１）＋ΔＴ（１，２）＋ΔＴ（１，３）＋ΔＴ（１，４））×１＋（ΔＴ（２，１）＋ΔＴ（２，２）＋ΔＴ（２，３）＋ΔＴ（２，４））×２＋（ΔＴ（３，１）＋ΔＴ（３，２）＋ΔＴ（３，３）＋ΔＴ（３，４））×３＋（ΔＴ（４，１）＋ΔＴ（４，２）＋ΔＴ（４，３）＋ΔＴ（４，４））×４｝÷ＳＵＭ
を計算する。

また、重心決定部３３は、重心ＧのＹ座標（Ｇｙ）を求める。Ｇｙは、各座標位置の変化量ΔＴに、各座標位置のＹ座標に応じた係数をかけたものを合計し、これを、上記ＳＵＭで割ることによって算出される。具体的には、重心決定部３３は、次式、
Ｇｙ＝｛（ΔＴ（１，１）＋ΔＴ（２，１）＋ΔＴ（３，１）＋ΔＴ（４，１））×１＋（ΔＴ（１，２）＋ΔＴ（２，２）＋ΔＴ（３，２）＋ΔＴ（４，２））×２＋（ΔＴ（１，３）＋ΔＴ（２，３）＋ΔＴ（３，３）＋ΔＴ（４，３））×３＋（ΔＴ（１，４）＋ΔＴ（２，４）＋ΔＴ（３，４）＋ΔＴ（４，４））×４｝÷ＳＵＭ
を計算する。

重心決定部３３は、上述のようにして求めたタイミングＴ_ｉにおける変化領域の重心Ｇの座標（Ｇｘ，Ｇｙ）を、タイミングＴ_ｉに関連付けて一時記憶部８に格納する。重心決定部３３は、座標配置部３１が生成したＸＹ座標系に、重心Ｇ（Ｇｘ，Ｇｙ）をプロットしてもよい。

図９は、図８に示すタイミングＴ_１〜Ｔ_３の期間について、変化量算出部３２によって生成された情報と、重心決定部３３によって生成された情報の具体例を示す図である。

変化量算出部３２は、タイミングＴ_１の温度情報（図８のＸＹ座標系Ｔ_１）を取得し、各センサの温度と基準値２５℃との差分を算出して、各センサの変化量ΔＴの値をプロットする。このプロットの結果を、図９のＸＹ座標系Ｔ_１に示す。同様に、図９のＸＹ座標系Ｔ_２、Ｔ_３は、それぞれ、図８に示すタイミングＴ_２、Ｔ_３の温度情報から、変化量ΔＴの値を求めたものを示している。

そして、変化量算出部３２は、さらに、図９のＸＹ座標系Ｔ_１に基づいて、タイミングＴ_１における全体の変化量ＳＵＭを「１０５」と算出する。同様に、タイミングＴ_２における全体の変化量ＳＵＭを「１６８」と算出し、タイミングＴ_３における全体の変化量ＳＵＭを「８４」と算出する。

続いて、重心決定部３３は、上述のようにして求められた各センサの変化量ΔＴとＳＵＭとを用いて、変化領域（図８の網点の領域）の重心Ｇを決定する。図９に示す例では、重心決定部３３は、タイミングＴ_１における重心Ｇの座標（Ｇｘ，Ｇｙ）を、（１．８，２．５）と決定し、タイミングＴ_２における重心Ｇの座標（Ｇｘ，Ｇｙ）を、（２．５，２．５）と決定し、タイミングＴ_３における重心Ｇの座標（Ｇｘ，Ｇｙ）を、（３．５，２．５）と決定する。

この重心Ｇの位置を追尾すれば、対象物（手）がいつのタイミングでどのように動いたのかを後の工程で認識することができる。

以上のように、検知タイミングごとに、変化領域の重心Ｇの座標を特定することにより、変化領域（手）の移動の軌跡を少ない計算量で求めることが可能となるので、重心決定部３３の構成および重心を決定する方法を採用することは、処理効率の向上および処理負荷の低減の観点から好ましい。

なお、対象物（手）のジェスチャを認識するために、手の移動の軌跡を追跡する必要があるが、移動軌跡を追跡する方法として、上述した重心を決定し、重心を追跡する方法は、ほんの一例であり、本発明の構成はこれに限定されない。

ジェスチャ認識部３４は、対象物の位置を追跡して、対象物の移動の軌跡に応じて該対象物の動きをジェスチャとして認識するものである。本実施形態では、具体的には、重心決定部３３によって決定された対象物の重心の位置を追跡して、重心の軌跡を特定し、特定した重心の軌跡に応じて対象物のジェスチャを識別する。

図１０は、ジェスチャ認識部３４が重心の軌跡を特定した結果の具体例を示す図である。なお、図１０に示した重心の軌跡は、ジェスチャ認識部３４が特定する軌跡の一例を説明のために具体的に記載したものであって、実際にはこのような軌跡は、ユーザが目視可能なように提示されるわけではない。

図１０に示すとおり、図９に示すタイミングＴ_１〜Ｔ_３のそれぞれの重心を、１つの座標系にプロットすれば、重心の移動の軌跡が明らかになる。

ジェスチャ認識部３４は、操作期間の開始タイミングＴ_ｓから、・・・、Ｔ_１、Ｔ_２、Ｔ_３、・・・、そして、操作期間の終了タイミングＴ_ｅまでの重心を追跡し、その動きを認識する。図１０に示す例では、Ｔ１の位置からＴ３の位置にかけて、重心が左から右へ移動している。したがって、ジェスチャ認識部３４は、「左から右へ移動」というジェスチャが行われたと認識することができる。ジェスチャ認識部３４は、重心の軌跡に応じて、「右から左へ移動」、「上から下へ移動」、「下から上へ移動」、「時計回りに移動」、「反時計回りに移動」などの各種ジェスチャを識別することができる。

さらに、本発明のジェスチャ認識装置１によれば、ジェスチャ認識部３４は、上述のＸ軸方向またはＹ軸方向の動きのみではなく、Ｚ軸方向の動きを検知し、これをジェスチャとして識別することが可能である。

図１１は、各検知タイミングにおける、スマートフォン１００と手との位置関係と、当該タイミングにおいて検知、取得された温度情報との関係を示す図である。図１１に示すとおり、タイミングＴ_１において、手がセンサ部２の検知範囲の最も遠くに位置しているとする。この場合、座標配置部３１は、図１１に示すとおり、タイミングＴ_１が関連付けられたＸＹ座標系を生成する。手は、スマートフォン１００のセンサ部２からＺ軸上の遠い位置にあるため、センサ部２の温度センサチップ６の面において小さく捉えられる。そのため、温度センサチップ６の全面ではなく、局所において変化領域（網掛けの領域）が特定される。

一方、タイミングＴ_２において、手が、タイミングＴ_１のときよりも、スマートフォン１００に近い位置あるとする。この場合、座標配置部３１は、図１１に示すとおり、タイミングＴ_２が関連付けられたＸＹ座標系を生成する。手は、スマートフォン１００のセンサ部２からＺ軸上の近い位置にあるため、温度センサチップ６の面において大きく捉えられる。図１１に示す例では、温度センサチップ６の全面において大きく捉えられる。そのため、温度センサチップ６の全面において変化領域が特定される。

つまり、変化領域の面積が大きい（閾値３３℃以上のセンサの数が多い）ほど、対象物がスマートフォン１００の近くに位置し、変化領域の面積が小さい（閾値３３℃以上のセンサの数が少ない）ほど、対象物がスマートフォン１００から遠くに位置していると判断することができる。

したがって、ジェスチャ認識部３４は、検知タイミングごとに推移する、変化領域の面積の増減に応じて、対象物のＺ軸方向の動きを追跡し、ジェスチャを識別する。具体的には、ジェスチャ認識部３４は、変化領域の面積の増減に応じて、「手を近づける」、または、「手を遠ざける」などの各種ジェスチャを識別することができる。

本実施形態では、記憶部４は、ジェスチャパターン記憶部４０を備え、ここに、あらかじめ定められたジェスチャのいくつかのパターンを記憶させている。ジェスチャ認識部３４は、重心の軌跡、または、変化領域の増減が、ジェスチャパターン記憶部４０に記憶されているどのジェスチャパターンに合致するのかを判断して、ジェスチャを識別する。

図１２は、ジェスチャパターン記憶部４０に記憶されているジェスチャパターンの一例を示す図である。

図１２に示すとおり、ジェスチャパターン記憶部４０には、ジェスチャ認識部３４が認識し得るいくつかのジェスチャパターンが記憶されている。本実施形態では、これらのジェスチャを識別するためのジェスチャＩＤが、各ジェスチャパターンに対応付けて記憶されている。

例えば、ジェスチャ認識部３４は、図１０に示す重心の軌跡にしたがって、対象物のジェスチャを「左から右へ移動」であると認識した場合には、「左から右へ移動」のジェスチャを示すジェスチャＩＤ「００」を、認識結果ｄ２として、通信制御部１１に出力する（図１参照）。

認識結果ｄ２は、コネクタ部５を介してスマートフォン１００本体（の主制御部）へ入力される。スマートフォン１００の主制御部は、ジェスチャＩＤ「００」が入力されたことに応じて、ジェスチャＩＤ「００」に割り当てられている動作を実行する。

なお、図１２に示すジェスチャのパターンは一例であって、本発明を限定するものではない。本発明のジェスチャ認識部３４は、様々な対象物の動きのパターン（例えば、斜め方向の動きなど）を、図１２に示すジェスチャ以外のジェスチャとして認識してもよい。

〔ジェスチャ認識処理フロー〕
図１３は、本発明のジェスチャ認識装置１が備えるデータ処理部１０の各部が実行するジェスチャ認識処理の流れを示すフローチャートである。図１４は、ジェスチャ認識部３４によって実行されるジェスチャ認識処理の流れを詳細に示すフローチャートである。

本実施形態では、所定期間中の所定の検知タイミング（Ｔ_０、Ｔ_１、Ｔ_２、・・・、Ｔ_ｎ）にて、センサ部２が対象物の温度情報を検知し、随時、データ処理部１０に供給している構成を想定している。

まず、所定の検知タイミングに到達したとき、温度情報取得部３０は、検知タイミングＴ_ｉを取得する（Ｓ１０１）。そして、取得したタイミングＴ_ｉに関連付けられた温度情報ｄ１を、温度センサチップ６から取得する（Ｓ１０２）。座標配置部３１は、取得された温度情報ｄ１に含まれるセンサごとの温度を、各センサの配置と対応するＸＹ座標系にプロットする（Ｓ１０３）。そして、座標配置部３１は、Ｓ１０３のようにして生成したデータを、取得したタイミングＴ_ｉに関連付けて一時記憶部８に格納する（Ｓ１０４）。

変化量算出部３２は、閾値（例えば、３３℃）と、ＸＹ座標系の各座標位置にプロットされた温度とを比較して、３３℃以上を検知したセンサが２個以上あるか否かを判定する（Ｓ１０５）。２個以上ある場合（Ｓ１０５においてＹＥＳ）、変化量算出部３２は、当該タイミングＴ_ｉにおいて、対象物（手）が検知範囲に存在し、タイミングＴ_ｉの時点はユーザが操作している期間に含まれると判断する。そして、変化量算出部３２は、各座標位置の温度の変化量ΔＴをそれぞれ算出し、全座標位置の変化量ΔＴを合計してＳＵＭを算出する（Ｓ１０６）。続いて、重心決定部３３は、変化量ΔＴおよびＳＵＭに基づいて、手の温度を検知したセンサの領域、すなわち変化領域における重心Ｇの座標（Ｇｘ，Ｇｙ）を決定する（Ｓ１０７）。

重心決定部３３は、決定した重心を、Ｓ１０４にて保存されているＸＹ座標系にプロットし、変化量算出部３２は、ＸＹ座標系に変化量ΔＴおよび変化領域をプロットするとともに、ＳＵＭを関連付けて一時記憶部８に保存する（Ｓ１０８）。

一方、３３℃以上を検知したセンサが２個以上ない場合には（Ｓ１０５においてＮＯ）、変化量算出部３２は、当該タイミングＴ_ｉにおいて、対象物（手）が検知範囲に存在しておらず、タイミングＴ_ｉの時点ではユーザは入力操作を行っていないと判断する。そして、Ｓ１０６〜Ｓ１０８の処理を省略する。

データ処理部１０は、ジェスチャ認識を行う所定期間が終了していなければ、すなわち、処理されていない温度情報ｄ１がセンサ部２から供給されていれば（Ｓ１０９においてＮＯ）、タイミングＴ_ｉのｉを１つインクリメントし（Ｓ１１０）、その次の検知タイミングにおける温度情報ｄ１に関して、Ｓ１０２〜Ｓ１０８の処理を繰り返す。

そして、タイミングＴ_ｉがＴ_ｎに到達し、供給されたすべての温度情報ｄ１について処理が完了すれば（Ｓ１０９においてＹＥＳ）、続いて、ジェスチャ認識部３４は、一時記憶部８に格納されたデータに基づいて、検知された手の動きに対応するジェスチャを認識する（Ｓ１１１）。具体的には、上記所定期間（Ｔ_０〜Ｔ_ｎ）における重心位置を追跡して、あるいは、変化領域の面積の増減に応じて、ジェスチャパターン記憶部４０に記憶されているジェスチャパターンの中から、合致するジェスチャを特定する。

ジェスチャ認識部３４は、特定したジェスチャを示すジェスチャＩＤを、認識結果ｄ２として通信制御部１１に出力する（Ｓ１１２）。

ジェスチャ認識部３４がＳ１１１において実行するジェスチャ認識処理の流れを図１４を参照しながら詳細に説明すると以下のとおりである。

まず、ジェスチャ認識部３４は、検知タイミングＴ_ｉごとに決定された重心座標（Ｇｘ，Ｇｙ）に基づいて、手の重心の移動軌跡を取得する（Ｓ２０１）。

ここで、重心の移動距離の長さが十分であれば（Ｓ２０２においてＹＥＳ）、ジェスチャ認識部３４は、手がＸ軸方向またはＹ軸方向に動いたものと判断し、重心の移動軌跡および移動方向を特定する（Ｓ２０３）。

重心の移動方向が、左右方向（Ｘ軸方向）であれば（Ｓ２０４において１）、ジェスチャ認識部３４は、移動軌跡に基づいて、手が左から右へ移動したのか否かを判断する（Ｓ２０５）。手が左から右へ移動したと判断した場合（Ｓ２０５においてＹＥＳ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「００：左から右へ移動」と認識する（Ｓ２０６）。一方、手が右から左へ移動したと判断した場合（Ｓ２０５においてＮＯ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「０１：右から左へ移動」と認識する（Ｓ２０７）。

あるいは、重心の移動方向が、上下方向（Ｙ軸方向）であれば（Ｓ２０４において２）、ジェスチャ認識部３４は、手が上から下へ移動したのか否かを判断する（Ｓ２０８）。手が上から下へ移動したと判断した場合（Ｓ２０８においてＹＥＳ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「１０：上から下へ移動」と認識する（Ｓ２０９）。一方、手が下から上へ移動したと判断した場合（Ｓ２０８においてＮＯ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「１１：下から上へ移動」と認識する（Ｓ２１０）。

あるいは、重心の移動軌跡が円を描くように回転している場合は（Ｓ２０４において３）、ジェスチャ認識部３４は、手が時計回りに移動したのか否かを判断する（Ｓ２１１）。手が時計回りに移動した判断した場合（Ｓ２１１においてＹＥＳ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「３０：時計回りに移動」と認識する（Ｓ２１２）。一方、手が反時計回りに移動したと判断した場合（Ｓ２１１においてＮＯ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「３１：反時計回りに移動」と認識する（Ｓ２１３）。

一方、Ｓ２０２において、重心の移動距離の長さが十分でなければ（Ｓ２０２においてＮＯ）、ジェスチャ認識部３４は、手がＸ軸方向にも、Ｙ軸方向にも動かなかったと判断する。そして、Ｚ軸方向に動いたか否かを判断するための処理へ移行する。すなわち、ジェスチャ認識部３４は、検知タイミングＴ_ｉごとに、変化量算出部３２によって特定された変化領域の面積（センサの数）を取得する（Ｓ２１４）。

ジェスチャ認識部３４は、時間の経過に伴って、変化領域の面積が増加傾向にあるのか否かを判断する（Ｓ２１５）。面積が増加傾向にある場合（Ｓ２１５においてＹＥＳ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「２０：手を近づける」と認識する（Ｓ２１６）。一方、面積が減少傾向にある場合（Ｓ２１５においてＮＯ）、ジェスチャ認識部３４は、この期間に入力されたジェスチャを「２１：手を遠ざける」と認識する（Ｓ２１７）。

なお、図１４に示す例では、重心の移動も、面積の増減も無いケースについて説明していないが、このようなケースは、ジェスチャ認識装置１が対象物を誤認識したか、あるいは、対象物の動きが十分でなく、ジェスチャ認識装置１が対象物が静止しているかのように認識してしまったときに起こりうる。そこで、このようなケースでは、ジェスチャ認識装置１は、スマートフォン１００を介して、基準値や閾値を変更するようにユーザに促すメッセージを表示したり、ジェスチャ認識に失敗した旨を示すエラー表示を行ったり、ジェスチャの再入力を促すメッセージを表示したりすることが好ましい。

以上、これまで述べたように、本発明のジェスチャ認識装置１は、対象物の温度を検知するセンサ部２と、上述の一連のジェスチャ認識処理を実行するデータ処理部１０とを備えていることによって、スマートフォン１００の非接触型の入力装置を実現することができる。

上記構成および方法によれば、ジェスチャ認識装置１において、対象物の動きを検知するための情報は、複数配置された赤外線センサより温度情報として取得される。そして、データ処理部１０は、データ量が膨大な画像データを扱わずとも、温度情報のみで対象物の動きを分析することができ、ジェスチャを認識することが可能となる。結果として、入力装置としてのジェスチャ認識装置１において、処理効率の向上と、処理負荷の低減を実現することができる。つまり、反応速度が速い入力装置を実現することが可能である。

また、本発明のジェスチャ認識装置１は、赤外線センサを用いて対象物の表面温度を取得することにより、対象物の温度と周囲の環境温度との違いによって、対象物の動きを検知するものである。したがって、光学系カメラで対象物を撮像してジェスチャを認識する構成では、暗所での使用が制限されるが、本発明のジェスチャ認識装置１は、暗所でも制限なく入力装置として機能させることが可能である。

また、光学系カメラを用いたジェスチャ認識では、対象物と背景とのテクスチャに大きな差がない場合に、正確に対象物の位置、形状などを認識できず、ジェスチャの誤認識が増えるという問題がある。一方、本発明のジェスチャ認識装置１は、周囲環境温度と異なる表面温度を持つ対象物（手など）を、温度情報に基づいて検知するので、テクスチャの類似による誤認識の問題は起こり得ない。

本発明のジェスチャ認識装置１を、プロジェクタ機能を有する電子機器の入力装置として用いれば、本発明のジェスチャ認識装置１の利点を最大限に享受することができる。

例えば、電子機器のプロジェクタ機能を使って、電子機器に記憶されている写真などのスライドを、離れた所にあるスクリーンに映写してプレゼンテーションを行うというユースケースが想定される。プロジェクタ機能は、一般に、屋内を暗くして利用されるため、従来の光学系カメラを用いたジェスチャ認識の入力装置を、プレゼンテーション中に機能させることは困難であった。しかし、本発明のジェスチャ認識装置１によれば、暗所でも非接触型の入力装置として機能させることが可能であるため、電子機器から離れた位置でプレゼンを行うユーザも、電子機器に触れることなく、スライドの操作を容易に行うことが可能である。

〔変形例〕
上述の実施形態では、ジェスチャ認識装置１は、温度センサチップ６の全面（すべての赤外線センサ）から取得された温度情報を処理して、ジェスチャを認識していた。本発明のジェスチャ認識装置１は、この構成に限らず、温度センサチップ６に配置されている赤外線センサからの温度情報を部分的に用いてジェスチャ認識を行ってもよい。

赤外線センサを選択的に用いる構成にすれば、処理すべき情報量を減らして処理速度を早めることができるとともに、特定のジェスチャの認識する場合に、その認識の精度を高めることが可能である。

スマートフォン１００は、多機能で、様々なアプリケーションを実行するように構成されており、そのアプリケーションに対する指示入力形式は、アプリケーションによって様々である。例えば、書籍閲覧アプリケーションや、スライドショー表示アプリケーションであれば、ページを繰るために左右方向の動きを伴う指示入力が行われるであろうし、Ｗｅｂ閲覧アプリケーションであれば、画面をスクロールさせるために、上下方向の動きを伴う指示入力が行われるであろう。また、音楽再生アプリケーションにおいては、ボリュームの調節のために、ダイヤルを多段階的に回す動きの入力が行われると想定される。

そこで、本発明のジェスチャ認識装置１は、スマートフォン１００が何のアプリケーションを起動中であるのかに基づいて、認識すべきジェスチャを限定し、その限定されたジェスチャの認識に適したジェスチャ認識処理を効率よく実行することができる。そのための構成として、ジェスチャ認識装置１は以下を備えている。

すなわち、図１に示すとおり、本変形例におけるジェスチャ認識装置１のデータ処理部１０は、上述の構成に加えて、さらに、マスク選択部３５を備えている。

マスク選択部３５は、スマートフォン１００本体が起動中のアプリケーションの種類に応じて、認識すべきジェスチャの種類を限定し、その限定されたジェスチャの認識に適したマスクを選択するものである。

本発明におけるマスクとは、温度センサチップ６に配置された赤外線センサのうち、どの赤外線センサからの温度をジェスチャ認識処理に利用するのか、あるいは利用しないのかを示すパターン情報のことである。

マスクは、どのようなジェスチャを認識したいのかに応じて、そのジェスチャを効率よくかつ精度よく認識できるように、あらかじめ設計され、複数種類用意されている。本変形例では、図１に示すとおり、ジェスチャ認識装置１の記憶部４は、マスク記憶部４１を備える。マスク記憶部４１は、複数種類のマスクを記憶しており、アプリケーションごとに参照すべきマスクが対応付けられている。

図１５は、マスクの具体例を示す図である。

図１５に示すシーン５０のように、手を左右方向に動かすジェスチャに特化すれば、温度センサチップ６における赤外線センサ配置面のうち、左端と右端のセンサでタイミングよく手を検知できればジェスチャを効率よく正確に認識することができる。そこで、左右の動きを認識するための「左右検出用マスク」は、配置面の左端の列および右端の列を有効とし、中央の列を無効とするように設計されている。

図１５に示すマスクにおいて、斜線の領域が有効、白地の領域が無効を示している。図４に示す４×４の配置を例に挙げて具体的に説明すると、「左右検出用マスク」は、０、４、８、１２番地、および、３、７、１１、１５番地の赤外線センサからの温度情報だけを利用するように設計されている。

シーン５１のように、手を上下方向に動かすジェスチャに特化すれば、上記配置面のうち、上端と下端のセンサでタイミングよく手を検知できればジェスチャを効率よく正確に認識できる。そこで、上下の動きを認識するための「上下検出用マスク」は、配置面の上端の行および下端の行を有効とし、中央の行を無効とするように設計されている。

図１５に示すとおり、「上下検出用マスク」は、例えば、０〜３番地、および、１２〜１５番地の赤外線センサからの温度情報だけを利用するように設計されている。

シーン５２のように、手を回す動きのジェスチャに特化すれば、上記配置面のうち、外側のセンサで手を検知すれば、回転のジェスチャを効率よく正確に認識できる。そこで、回転を認識するための「回転検出用マスク」は、例えば、０〜４、７、８、１１〜１５番地の赤外線センサからの温度情報だけを利用するように設計されている。

このように、シーン（検出したい手の動き）に応じたマスクが、マスク記憶部４１に複数種類記憶されている。図１６は、マスク記憶部４１に記憶されているマスクのデータ構造の一例を示す図である。

図１６に示すとおり、マスク記憶部４１には、複数種類のマスクが記憶されているとともに、アプリケーションごとに参照すべきマスクの対応付けが記憶されている。

これにより、マスク選択部３５は、スマートフォン１００が起動中のアプリケーションに応じて、常に、最適なマスクを選択することができる。より詳細には、マスク選択部３５は、コネクタ部５および通信制御部１１を介して、スマートフォン１００の主制御部から、スマートフォン１００本体が現在どのアプリケーションを起動中なのかを示す状態情報ｄ３を取得する（図１を参照）。マスク選択部３５は、状態情報ｄ３に基づいて起動中のアプリケーションを特定する。そして、マスク選択部３５は、マスク記憶部４１を参照して、特定したアプリケーションに対応するマスクを選択する。

アプリケーションが特定されれば、そのアプリケーションでは、どのような動きがジェスチャとして入力されるのかが限定される。例えば、Ｗｅｂ閲覧アプリケーションでは、上下方向の動きが入力されるし、書籍閲覧アプリケーションでは、左右方向の動きが入力されるし、音楽再生アプリケーションでは、回転の動きが入力される。

例えば、図１６に示す例では、ＴＶアプリケーション（TV_Channel）には、左右検出用マスクが対応付けられている。つまり、マスク選択部３５は、スマートフォン１００がＴＶアプリケーションを起動中であると判断した場合に、図１５に示す左右検出用マスクを選択する。

マスク選択部３５が左右検出用マスクを選択すれば、データ処理部１０の各部は、左右方向の動きを効率よくかつ正確に認識できるようになる。具体的には、温度情報取得部３０は、有効な領域の赤外線センサからのみ温度を取得し、以降の各部もそれぞれの処理を、有効な領域に格納された温度に対してのみ実行する。

ＴＶアプリケーションの利用中は、ユーザは、チャンネル変更のために専ら左右方向のジェスチャを入力するため、左右方向の動きを効率よくかつ正確に認識できるようにすれば、スマートフォン１００の操作性を向上させることが可能となる。

なお、アプリケーションとマスクとの対応付けに関して、図１６に示す例は、発明を説明するための一例であって、発明の構成を限定する意図はない。アプリケーションに対しては、そのアプリケーションに必要なジェスチャを考慮して、あらかじめ最適なマスクとの対応付けを行っておく。

以上のとおり、マスク選択部３５が選択するマスクは、上述の各動きに特化して、それを効率よくかつ精度よくジェスチャ認識するために設計されたマスクである。よって、アプリケーションごとに適したマスクを選択することにより、そのアプリケーションに対して入力される操作ジェスチャを効率よくかつ精度よく認識することが可能となる。

なお、マスク選択部３５は、選択したマスクに基づいて、有効なセンサの番地を特定し、有効な番地のセンサからのみ赤外線信号を取得するように信号処理部７の信号選択部１３に指示する構成であってもよい。あるいは、マスク選択部３５は、有効な番地のセンサからの温度のみを処理するように、データ処理部１０の各部に指示する構成であってもよい。

≪実施形態２≫
上述の実施形態では、温度センサチップ６を４×４の赤外線センサを配置した構成とした場合に、そこから得られた４×４の温度情報を処理してジェスチャを認識するジェスチャ認識装置１の構成について説明した。

しかし、本発明のジェスチャ認識装置１の構成は、上記に限定されない。温度センサチップ６の赤外線センサの配置は、如何様にも構成することができる。例えば、正方形に限らず長方形や円形状に赤外線センサを配置することも可能である。また、配置する赤外線センサの数を増やして温度センサチップ６を高解像度にしてもよい。この構成によれば、温度情報を用いるだけで、複数の対象物（例えば、両手の動作）を検知したり、対象物の位置だけでなく形状を精細に検知したりできる。このため、画像処理技術のように演算量が膨大にならずに、より多様なジェスチャを識別することが可能となり、電子機器に対して複雑な操作入力を行うことが可能となる。

以下では、温度センサチップ６は、８×８＝６４個の赤外線センサが配置されて構成されているものとし、ジェスチャ認識装置１が、６４個のセンサの温度を処理して両手によるジェスチャを認識する場合のジェスチャ認識装置１の構成、および、ジェスチャ認識方法について説明する。なお、説明の便宜上、上述の実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

〔ジェスチャ認識装置の構成〕
本実施形態におけるジェスチャ認識装置１において、データ処理部１０は、図１に示すとおり、さらに、ばらつき算出部３６を備える構成である。

ばらつき算出部３６は、座標配置部３１、変化量算出部３２、重心決定部３３が生成した各種情報に基づいて、変化領域のばらつきを算出するものである。ばらつき算出部３６は、変化領域のＸ軸方向のばらつき（σｘ^２）と、Ｙ軸方向のばらつき（σｙ^２）とを算出する。

まず、実施形態１で説明したのと同様の方法で、座標配置部３１が、８×８のＸＹ座標系に温度情報をプロットする。図１７は、座標配置部３１が各センサからの温度をＸＹ座標系にプロットした後の温度情報のデータ構造を模式的に示す図である。

次に、変化量算出部３２が、検知タイミングごとに得られたＸＹ座標系の温度情報に基づいて、検知タイミングごとの変化領域を特定する。図１８は、各検知タイミングにおける、両手の位置関係と、当該タイミングにおいて取得された温度情報および変化領域との関係を示す図である。

両手が互いに近くにあるタイミングＴ_１においては、ＸＹ座標系Ｔ_１に示すように、変化領域（網点の領域）は中央にまとまっている。一方、両手が水平方向に離れたタイミングＴ_２においては、ＸＹ座標系Ｔ_２に示すように、変化領域は、左右方向にばらついている。

続いて、変化量算出部３２は、座標位置ごとに変化量ΔＴを求め、さらに、ＳＵＭを求める。重心決定部３３は、変化量ΔＴおよびＳＵＭに基づいて、検知タイミングごとに重心Ｇの座標位置（Ｇｘ，Ｇｙ）を決定する。図１９は、図１８に示すタイミングＴ_１、Ｔ_２のタイミングにおいて、変化量算出部３２によって生成された情報と、重心決定部３３によって生成された情報と、ばらつき算出部３６によって生成された情報との具体例を示す図である。

図１９に示すとおり、各座標位置の変化量ΔＴ（Ｘ，Ｙ）と、変化量の合計ＳＵＭと、変化領域の重心Ｇの座標位置（Ｇｘ，Ｇｙ）とが求まると、これらの値に基づいて、ばらつき算出部３６は、変化領域のばらつきを算出する。具体的には、ばらつき算出部３６は、変化領域のＸ軸方向のばらつき（σｘ^２）と、Ｙ軸方向のばらつき（σｙ^２）とを、それぞれ、次式に基づいて算出する。次式とは、すなわち、
σｘ^２＝｛（ΔＴ（１，１）＋ΔＴ（１，２）＋ΔＴ（１，３）＋ΔＴ（１，４）＋ΔＴ（１，５）＋ΔＴ（１，６）＋ΔＴ（１，７）＋ΔＴ（１，８））×（１−Ｇｘ）＋（ΔＴ（２，１）＋ΔＴ（２，２）＋ΔＴ（２，３）＋ΔＴ（２，４）＋ΔＴ（２，５）＋ΔＴ（２，６）＋ΔＴ（２，７）＋ΔＴ（２，８））×（２−Ｇｘ）＋（ΔＴ（３，１）＋ΔＴ（３，２）＋ΔＴ（３，３）＋ΔＴ（３，４）＋ΔＴ（３，５）＋ΔＴ（３，６）＋ΔＴ（３，７）＋ΔＴ（３，８））×（３−Ｇｘ）＋（ΔＴ（４，１）＋ΔＴ（４，２）＋ΔＴ（４，３）＋ΔＴ（４，４）＋ΔＴ（４，５）＋ΔＴ（４，６）＋ΔＴ（４，７）＋ΔＴ（４，８））×（４−Ｇｘ）＋（ΔＴ（５，１）＋ΔＴ（５，２）＋ΔＴ（５，３）＋ΔＴ（５，４）＋ΔＴ（５，５）＋ΔＴ（５，６）＋ΔＴ（５，７）＋ΔＴ（５，８））×（５−Ｇｘ）＋（ΔＴ（６，１）＋ΔＴ（６，２）＋ΔＴ（６，３）＋ΔＴ（６，４）＋ΔＴ（６，５）＋ΔＴ（６，６）＋ΔＴ（６，７）＋ΔＴ（６，８））×（６−Ｇｘ）＋（ΔＴ（７，１）＋ΔＴ（７，２）＋ΔＴ（７，３）＋ΔＴ（７，４）＋ΔＴ（７，５）＋ΔＴ（７，６）＋ΔＴ（７，７）＋ΔＴ（７，８））×（７−Ｇｘ）＋（ΔＴ（８，１）＋ΔＴ（８，２）＋ΔＴ（８，３）＋ΔＴ（８，４）＋ΔＴ（８，５）＋ΔＴ（８，６）＋ΔＴ（８，７）＋ΔＴ（８，８））×（８−Ｇｘ）｝÷ＳＵＭ
、および、
σｙ^２＝｛（ΔＴ（１，１）＋ΔＴ（２，１）＋ΔＴ（３，１）＋ΔＴ（４，１）＋ΔＴ（５，１）＋ΔＴ（６，１）＋ΔＴ（７，１）＋ΔＴ（８，１））×（１−Ｇｙ）＋（ΔＴ（１，２）＋ΔＴ（２，２）＋ΔＴ（３，２）＋ΔＴ（４，２）＋ΔＴ（５，２）＋ΔＴ（６，２）＋ΔＴ（７，２）＋ΔＴ（８，２））×（２−Ｇｙ）＋（ΔＴ（１，３）＋ΔＴ（２，３）＋ΔＴ（３，３）＋ΔＴ（４，３）＋ΔＴ（５，３）＋ΔＴ（６，３）＋ΔＴ（７，３）＋ΔＴ（８，３））×（３−Ｇｙ）＋（ΔＴ（１，４）＋ΔＴ（２，４）＋ΔＴ（３，４）＋ΔＴ（４，４）＋ΔＴ（５，４）＋ΔＴ（６，４）＋ΔＴ（７，４）＋ΔＴ（８，４））×（４−Ｇｙ）＋（ΔＴ（１，５）＋ΔＴ（２，５）＋ΔＴ（３，５）＋ΔＴ（４，５）＋ΔＴ（５，５）＋ΔＴ（６，５）＋ΔＴ（７，５）＋ΔＴ（８，５））×（５−Ｇｙ）＋（ΔＴ（１，６）＋ΔＴ（２，６）＋ΔＴ（３，６）＋ΔＴ（４，６）＋ΔＴ（５，６）＋ΔＴ（６，６）＋ΔＴ（７，６）＋ΔＴ（８，６））×（６−Ｇｙ）＋（ΔＴ（１，７）＋ΔＴ（２，７）＋ΔＴ（３，７）＋ΔＴ（４，７）＋ΔＴ（５，７）＋ΔＴ（６，７）＋ΔＴ（７，７）＋ΔＴ（８，７））×（７−Ｇｙ）＋（ΔＴ（１，８）＋ΔＴ（２，８）＋ΔＴ（３，８）＋ΔＴ（４，８）＋ΔＴ（５，８）＋ΔＴ（６，８）＋ΔＴ（７，８）＋ΔＴ（８，８））×（８−Ｇｙ）｝÷ＳＵＭ
である。

図１９に示す例では、上述の式にしたがって、ばらつき算出部３６は、タイミングＴ_１におけるＸ軸方向のばらつきσｘ^２を、２．３９４、Ｙ軸方向のばらつきσｙ^２を１．２２２と算出する。また、タイミングＴ_２におけるばらつきσｘ^２を、６．１２５、ばらつきσｙ^２を１．０１８と算出する。

最後に、ジェスチャ認識部３４は、ばらつき算出部３６が算出した検知タイミングごとのばらつきの推移と、変化領域の面積の推移に基づいて、両手のジェスチャを認識する。実施形態１と同様に、両手のジェスチャパターンも、ジェスチャパターン記憶部４０に記憶されている。

図２０は、本実施形態におけるジェスチャパターン記憶部４０に記憶されているジェスチャパターンの一例を示す図である。

図２０に示すとおり、ジェスチャパターン記憶部４０には、図１２に示すジェスチャパターンに加えて、さらに、ジェスチャ認識部３４が認識し得るいくつかの両手のジェスチャパターンが記憶されている。両手を使えば、ユーザは、両手の距離を変える（両手を閉じたり、広げたりする）ことによって、様々な種類のジェスチャを装置に入力することができる。

本実施形態では、ジェスチャ認識部３４は、ばらつき算出部３６が算出したばらつきを参照して、両手がどの方向で閉じられたり、広げられたりしたのかを識別することができる。

ジェスチャ認識部３４は、具体的には、図１９の例にあるように、時間の経過に伴って、Ｘ軸方向のばらつきの値が増加した場合、両手が水平方向に広げられたと判断する。逆に、ばらつきの値が減少した場合、両手が広げられた状態から、水平方向に閉じられたと判断する。同様に、時間の経過に伴って、Ｙ軸方向のばらつきの値が増加した場合、両手が垂直方向に広げられたと判断する。逆に、ばらつきの値が減少した場合、両手が縦に広げられた状態から、垂直方向に閉じられたと判断する。

また、ジェスチャ認識部３４は、Ｘ軸方向のばらつきと、Ｙ軸方向のばらつきとがともに、増加した場合には、両手が斜め方向に広げられたか、あるいは、両手間の距離はそのままで両手がＺ軸方向にて装置に近づけられた可能性があると判断する。この場合、ジェスチャ認識部３４は、さらに、変化領域の面積が増加したか否かによって、斜め方向に広げられたのか、近づけられたのかを判断する。

また、ジェスチャ認識部３４は、Ｘ軸方向のばらつきと、Ｙ軸方向のばらつきとがともに、減少した場合には、両手が斜め方向に閉じられたか、あるいは、両手間の距離はそのままで両手がＺ軸方向にて装置から遠ざけられた可能性があると判断する。この場合、ジェスチャ認識部３４は、さらに、変化領域の面積が減少したか否かによって、斜め方向に閉じられたのか、遠ざけられたのかを判断する。

また、ジェスチャ認識部３４は、Ｘ軸方向のばらつきと、Ｙ軸方向のばらつきとがともに、あまり変化しなかった場合には、両手の距離は変更されず、また、Ｚ軸方向にも動かされていないと判断する。そこで、この場合には、実施形態１の片手のジェスチャ認識手順が適用できるので、図１４に示す手順にて、両手がＸ軸方向またはＹ軸方向にてどのように動いたのかを判断する。

〔ジェスチャ認識処理フロー〕
図２１は、本実施形態のジェスチャ認識部３４によって実行されるジェスチャ認識処理の流れを詳細に示すフローチャートである。

まず、図１３を参照しながら、本実施形態におけるデータ処理部１０の各部が実行するジェスチャ認識処理の流れを説明すると、実施形態１と異なる点は、Ｓ１０７にて、さらに、ばらつき算出部３６が、検知タイミングごとに、ばらつきσＸ^２、σＹ^２を求める点と、Ｓ１０８にて、さらに、タイミングＴ_ｉに関連付けて、ばらつきσＸ^２、σＹ^２が保存される点である。

本実施形態におけるＳ１１１のジェスチャ認識処理について、図２１を参照しながら説明する。

ジェスチャ認識部３４は、まず、所定期間（タイミングＴ_０〜Ｔ_ｎ）のタイミングＴ_ｉごとに、ばらつきσＸ^２、σＹ^２を取得する（Ｓ３０１）。そして、ばらつきの値が時間の経過とともにどのように変化するのか（増加、減少、または、変化なし）を判断する。

ジェスチャ認識部３４は、ばらつきσＸ^２に変化がある場合（Ｓ３０２においてＮＯ）、ばらつきσＸ^２が、増加傾向にあるのか減少傾向にあるのかを判断する（Ｓ３０３）。

ジェスチャ認識部３４は、ばらつきσＸ^２が、減少傾向にある場合（Ｓ３０３においてＮＯ）、次に、ばらつきσＹ^２が減少傾向にあるのか否かを判断する（Ｓ３０４）。

ばらつきσＹ^２が減少傾向にない場合、すなわち、ばらつきσＹ^２が増加傾向にあるか、または、変化なしの場合には（Ｓ３０４においてＮＯ）、Ｘ軸方向の動きを基準にして、上記所定期間に検知された動きを「０３：両手を左右方向に閉じる」ジェスチャとして認識する（Ｓ３０５）。一方、ばらつきσＹ^２が減少傾向にある場合、すなわち、ばらつきσＸ^２、σＹ^２がともに減少傾向にある場合には（Ｓ３０４においてＹＥＳ）、ジェスチャ認識部３４は、タイミングＴ_ｉごとに、変化領域の面積を取得する（Ｓ３０６）。そして、変化領域の面積が、時間の経過とともに減少傾向にあるのか否かを判断する（Ｓ３０７）。面積が減少傾向にない場合、つまり、面積に変化がない場合には（Ｓ３０７においてＮＯ）、上記所定期間に検知された動きを「４３：両手を斜め方向に閉じる」ジェスチャとして認識する（Ｓ３０８）。一方、面積が減少傾向にある場合（Ｓ３０７においてＹＥＳ）、上記所定期間に検知された動きを「２１：手を遠ざける」ジェスチャとして認識する（Ｓ３０９）。

一方、ジェスチャ認識部３４は、ばらつきσＸ^２が、増加傾向にある場合（Ｓ３０３においてＹＥＳ）、次に、ばらつきσＹ^２が増加傾向にあるのか否かを判断する（Ｓ３１０）。

ばらつきσＹ^２が増加傾向にない場合、すなわち、ばらつきσＹ^２が減少傾向にある、または、変化なしの場合には（Ｓ３１０においてＮＯ）、Ｘ軸方向の動きを基準にして、上記所定期間に検知された動きを「０２：両手を左右方向に広げる」ジェスチャとして認識する（Ｓ３１１）。一方、ばらつきσＹ^２が増加傾向にある場合、すなわち、ばらつきσＸ^２、σＹ^２がともに増加傾向にある場合には（Ｓ３１０においてＹＥＳ）、ジェスチャ認識部３４は、タイミングＴ_ｉごとに、変化領域の面積を取得する（Ｓ３１２）。そして、変化領域の面積が、時間の経過とともに増加傾向にあるのか否かを判断する（Ｓ３１３）。面積が増加傾向にない場合、つまり、面積に変化がない場合には（Ｓ３１３においてＮＯ）、上記所定期間に検知された動きを「４２：両手を斜め方向に広げる」ジェスチャとして認識する（Ｓ３１４）。一方、面積が増加傾向にある場合（Ｓ３１３においてＹＥＳ）、上記所定期間に検知された動きを「２０：手を近づける」ジェスチャとして認識する（Ｓ３１５）。

一方、ジェスチャ認識部３４は、Ｓ３０２において、ばらつきσＸ^２に増減が認められない場合には（Ｓ３０２においてＹＥＳ）、次に、ばらつきσＹ^２の増減の有無を判断する（Ｓ３１６）。

ジェスチャ認識部３４は、ばらつきσＹ^２に変化がない場合、すなわち、ばらつきσＸ^２、σＹ^２ともに増減がない場合には（Ｓ３１６においてＹＥＳ）、図１４に示す、重心の軌跡に基づくジェスチャ認識処理を実行してジェスチャを認識する。一方、ジェスチャ認識部３４は、ばらつきσＹ^２に変化がある場合（Ｓ３１６においてＮＯ）、ばらつきσＹ^２が、増加傾向にあるのか減少傾向にあるのかを判断する（Ｓ３１７）。

ジェスチャ認識部３４は、ばらつきσＹ^２が、減少傾向にある場合（Ｓ３１７においてＮＯ）、上記所定期間に検知された動きを「１３：両手を上下方向に閉じる」ジェスチャとして認識する（Ｓ３１８）。一方、ばらつきσＹ^２が、増加傾向にある場合（Ｓ３１７においてＹＥＳ）、ジェスチャ認識部３４は、上記所定期間に検知された動きを「１２：両手を上下方向に広げる」ジェスチャとして認識する（Ｓ３１９）。

上記構成および方法によれば、実施形態１と比較して、より高解像度の温度情報ｄ１を取得することによって、複数の対象物、あるいは、対象物の形状まで認識することが可能となる。したがって、画像処理技術のように膨大な情報量を扱わなくても、さらに、多種多様な操作入力を行える入力装置を実現することが可能となる。

なお上述の実施形態では、ジェスチャ認識装置１が両手の開閉ジェスチャを認識する構成について説明したが、本発明のジェスチャ認識装置１の構成はこれに限定されない。本発明のジェスチャ認識装置１は、上記手順に基づいて、片手の指の開閉ジェスチャを認識することができる。

〔変形例２〕
上述の各実施形態では、センサ部２とジェスチャ認識装置１（スマートフォン１００）とを一体に構成した場合について説明したが、本発明のジェスチャ認識装置１の構成はこれに限定されない。

例えば、センサ部２をジェスチャ認識装置１とは別に遠隔に設置し、適宜の通信手段を用いてセンサ部２の検知信号をジェスチャ認識装置１に取得させる構成も本発明に含まれる。すなわち、ジェスチャ認識装置１は、センサ部２を備えていなくてもよく、この場合には、センサ部２から検知信号を取得する適宜の通信手段を備えていればよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、ジェスチャ認識装置１の各ブロック、特に、データ処理部１０の各部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、ジェスチャ認識装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明のジェスチャ認識装置は、スマートフォン、携帯電話、ＰＤＡ、携帯型ゲーム機、電子辞書、電子手帳、デジタルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、ノート型パソコン、テレビ、録画生成装置、家庭用ゲーム機などの各種電子機器に搭載することができ、これらの電子機器の入力機能を担うことができる。特に、プロジェクタ機能を備えた電子機器の入力装置として、非常に効果的に用いることが可能である。

１ ジェスチャ認識装置
２ センサ部
３ 入力制御部
４ 記憶部
５ コネクタ部
６ 温度センサチップ（温度センサ）
７ 信号処理部
８ 一時記憶部
１０ データ処理部
１１ 通信制御部
１２ ＡＤ変換部
１３ 信号選択部
１４ 信号増幅部
２１ 基板
２２ 中ケース
２３ レンズ
２４ 外ケース
３０ 温度情報取得部
３１ 座標配置部
３２ 変化量算出部（変化領域特定手段／変化量算出手段）
３３ 重心決定部（重心決定手段）
３４ ジェスチャ認識部（ジェスチャ認識手段）
３５ マスク選択部（マスク選択手段）
３６ ばらつき算出部（ばらつき算出手段）
４０ ジェスチャパターン記憶部
４１ マスク記憶部
４２ 基準値記憶部
１００ スマートフォン

Claims (8)

1. 複数の赤外線センサが配置されて構成された温度センサと、
   上記温度センサの赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定手段と、
   上記変化領域特定手段が特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識手段と、
   上記複数の赤外線センサにおける有効無効の配置パターンを示すマスクを、自装置が接続する電子機器のアプリケーションの種類に関連付けて記憶するマスク記憶部と、
   上記電子機器が起動中のアプリケーションに関連付けられているマスクを上記マスク記憶部から選択するマスク選択手段と
   を備え、
   上記変化領域特定手段は、
   上記マスク選択手段によって選択されたマスクが有効とする赤外線センサによって検知された温度のみに基づいて変化領域を特定する
   ことを特徴とするジェスチャ認識装置。
2. 上記変化領域特定手段によって特定された変化領域の重心を決定する重心決定手段を備え、
   上記ジェスチャ認識手段は、上記重心の位置を追跡することにより上記移動軌跡を特定することを特徴とする請求項１に記載のジェスチャ認識装置。
3. 赤外線センサそれぞれが検知したそれぞれの温度と、所定の基準温度とを比較することにより、赤外線センサごとに温度変化量を算出する変化量算出手段を備え、
   上記重心決定手段は、赤外線センサごとに得られた上記温度変化量に基づいて、上記変化領域の重心を決定することを特徴とする請求項２に記載のジェスチャ認識装置。
4. 上記変化領域特定手段によって特定された変化領域のばらつきを算出するばらつき算出手段を備え、
   上記ジェスチャ認識手段は、時間の経過に伴う上記ばらつきの増減に基づいて、ジェスチャを認識することを特徴とする請求項１から３までのいずれか１項に記載のジェスチャ認識装置。
5. 上記ジェスチャ認識手段は、
   上記変化領域のばらつきが増加する場合に、両手または指が広がる方向に動いたと認識し、上記変化領域のばらつきが減少する場合に、両手または指が閉じる方向に動いたと認識することを特徴とする請求項４に記載のジェスチャ認識装置。
6. 複数の赤外線センサが配置されて構成された温度センサから赤外線センサごとの温度を取得する温度取得ステップと、
   上記温度取得ステップにて取得した、上記赤外線センサそれぞれが検知した温度に基づいて、温度変化が生じた変化領域を、手を示す領域として特定する変化領域特定ステップと、
   上記変化領域特定ステップにて特定した変化領域の移動軌跡を特定して、手のジェスチャを認識するジェスチャ認識ステップと、
   上記複数の赤外線センサにおける有効無効の配置パターンを示すマスクを自装置が接続する電子機器のアプリケーションの種類に関連付けて記憶するマスク記憶部から、上記電子機器が起動中のアプリケーションに関連付けられているマスクを選択するマスク選択ステップと
   を含み、
   上記変化領域特定ステップでは、上記マスク選択ステップにて選択されたマスクが有効とする赤外線センサによって検知された温度のみに基づいて変化領域を特定する
   ことを特徴とするジェスチャ認識方法。
7. コンピュータを、請求項１から５までのいずれか１項に記載のジェスチャ認識装置の各手段として機能させるための制御プログラム。
8. 請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images