JP2021128657A - 位置検出方法、位置検出装置及び位置検出システム - Google Patents

Abstract

【課題】ステレオカメラを用いて、指示体による操作の検出精度を向上させる位置検出方法を実現する。
【解決手段】位置検出装置２００は、操作面１３に赤外光を照射させる検出光照射部１３０と、撮像視点が異なる第１カメラ１２１及び第２カメラ１２３により操作面１３を撮像し、操作面１３にキャリブレーションされた左撮像画像及び右撮像画像を取得すると、左撮像画像と右撮像画像との差分画像２４０を生成し、差分画像２４０の視差量が、予め設定された範囲内の領域を、指示体８０の画像が含まれる変化領域２５０として抽出し、抽出された変化領域２５０から指示体８０の先端に対応する領域を、指示体の形状に基づいて検出する先端検出部１６５と、先端検出部１６５の検出結果に基づき、操作面１３における指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報とを出力する判定部１６７とを備える。
【選択図】図３

Description

本発明は、位置検出方法、位置検出装置及び位置検出システムに関する。

従来、指示体により指示された操作面の位置を検出する装置が知られている。例えば、特許文献１に記載の装置は、表示面に表示された画像に向けてパターン光を投射する光投射部と、画像が撮像範囲に入る撮像部と、入力操作を検出する処理部と、を備える。処理部は、パターン光が投射された表示面を撮像部が撮像した撮像画像と、パターン光が投射された表示面であって、指示入力操作の入力操作が行われた表示面を撮像部が撮像した撮像画像とに基づいて入力操作を検出する。

特開２０１６−２１８８９３号公報

しかしながら、１つの撮像部で指示体を検出する場合、指示体と操作面との距離の認識が難しく、操作面に対する操作であったか否かの判定が難しい。このため、ステレオカメラを用いて、指示体による操作の検出精度を向上可能な方法の実現が望まれていた。

上記課題を解決する一態様は、指示体により指示される操作面の位置を検出する位置検出方法であって、前記操作面に対応する方向に赤外光を照射させる照射ステップと、撮像視点が異なり、前記赤外光による画像を撮像する第１撮像部及び第２撮像部により前記操作面を撮像し、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得ステップと、前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成ステップと、前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記指示体の画像が含まれる候補領域として抽出する抽出ステップと、抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出ステップと、前記検出ステップの検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力ステップと、を有する位置検出方法である。

上記位置検出方法において、前記出力ステップは、候補領域に対応する前記第１撮像画像の第１領域画像と、前記候補領域に対応する前記第２撮像画像の第２領域画像とを学習済みニューラルネットワークに入力して、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを検出するステップである構成であってもよい。

上記位置検出方法において、前記出力ステップは、前記第１領域画像から求められる前記指示体の位置を示すデータと、前記第２領域画像から求められる前記指示体の位置を示すデータとを、指示位置座標検出用の前記学習済みニューラルネットワークに入力して指示位置の座標を求める処理、及び、前記第１領域画像から求められる前記指示体の位置を示すデータと、前記第２領域画像から求められる前記指示体の位置を示すデータとを、接触判定用の前記学習済みニューラルネットワークに入力して前記指示体が前記操作面に接触したか否かを判定する処理を含む構成であってもよい。

上記位置検出方法において、前記赤外光の照射方向が異なる複数の前記第１撮像画像及び前記第２撮像画像をニューラルネットワークに入力して学習させ、前記学習済みニューラルネットワークを生成する学習ステップを有する構成であってもよい。

上記位置検出方法において、前記検出ステップは、前記差分画像よりも解像度が小さい第１差分画像と、前記第１差分画像よりも解像度が小さい第２差分画像とを生成し、予め設定されたサイズの図形を前記第２差分画像の前記候補領域に重畳させ、前記図形が領域内に収まる前記候補領域の前記差分画像を除去し、前記第２差分画像で画像を除去した領域に対応する前記第１差分画像の領域の画像を除去し、前記図形を前記第１差分画像の前記候補領域に重畳させ、前記図形が領域内に収まる前記候補領域の前記差分画像を除去し、前記差分画像が残った領域に基づいて前記指示体の先端を検出する構成であってもよい。

上記課題を解決する別の一態様は、指示体により指示される操作面の位置を検出する位置検出装置であって、前記操作面に対応する方向に赤外光を照射させる照射制御部と、撮像視点が異なり、前記赤外光による画像を撮像する第１撮像部及び第２撮像部により前記操作面を撮像し、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得部と、前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成部と、前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記指示体の画像が含まれる候補領域として抽出する抽出部と、抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出部と、前記検出部の検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力部と、を有する位置検出装置である。

上記課題を解決する別の一態様は、撮像視点が異なり、赤外光による画像を取得する第１撮像部及び第２撮像部を備える撮像装置と、操作面に対応する方向に前記赤外光を照射する検出光照射装置と、前記第１撮像部及び前記第２撮像部により前記操作面を撮像した画像であって、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得部と、前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成部と、前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記操作面に対する操作を行う指示体の画像が含まれる候補領域として抽出する抽出部と、抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出部と、前記検出部の検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力部と、を備える位置検出装置と、を有する位置検出システムである。

インタラクティブプロジェクションシステムの斜視図。 プロジェクターの設置状態を示す側面図。 プロジェクターの構成を示すブロック図。 左矩形画像及び右矩形画像を示す図。 全体フローを示すフローチャート。 キャリブレーション画像の一例を示す図。 左抽出画像及び右抽出画像を矩形に変換する変換方法を説明する説明図。 指先領域の検出処理を示すフローチャート。 差分画像を示す図。 正領域及び負領域を除去した状態を示す図。 モルフォロジー変換後の差分画像を示す図。 変化領域に図形を重畳した状態を示す図。 差分画像の外周に接する変化領域の画像を除去した状態を示す図。 変化領域に図形を重畳した状態を示す図。 差分画像の外周に接する変化領域の画像を除去した状態を示す図。 第１変化領域を示す図。 差分画像から、指先領域を中心に特定の領域を切り出した図。 指の先端位置を特定する処理の詳細を示すフローチャート。 放射状に描画された線分を示す図である。 輪郭線の長さが最小の区間と、検出範囲とを示す図。 指先領域の先端位置を示す図。 左切出画像及び右切出画像を示す図。 位置検出部の構成を示すブロック図。 指の腹の位置を検出する位置検出部の動作を示すフローチャート。 曲率がしきい値以上の区間を示す図。 輪郭線に直交する複数の法線を描画した状態を示す図。

以下、本発明の実施形態について図面を参照しながら説明する。

Ａ−１．位置検出システムの構成
図１は、位置検出システムの一例であるインタラクティブプロジェクションシステム１の斜視図である。
インタラクティブプロジェクションシステム１は、プロジェクター１００と、プロジェクター１００が画像を投射する投射面１０とを備える。以下では、投射面１０の法線方向であって投射面１０の前方をＺ軸方向、投射面１０に沿う鉛直上方向をＹ軸方向、Ｚ軸方向とＹ軸方向に垂直な方向をＸ軸方向と仮定して説明する。投射面１０は、Ｚ＝０のＸＹ面に対応する。投射面１０は、プロジェクター１００により投射される画像光３０が表示される表示面であり、プロジェクター１００は、表示装置の一例である。

プロジェクター１００は、画像データに対応した画像光３０を生成し、生成した画像光３０を投射面１０に投射する。また、プロジェクター１００は、インタラクティブ機能を備える。インタラクティブ機能とは、投射面１０に対する指示体８０の操作位置を検出し、検出した操作位置に基づいて、指示体８０の位置や軌跡に対応した画像を表示させたり、表示させた画像に変更を加えたりする機能である。

プロジェクター１００は、画像光３０を投射口から投射する投射部１１０と、投射面１０を撮像する第１カメラ１２１及び第２カメラ１２３と、指示体８０の検出に用いる検出光２０を照射する検出光照射部１３０とを備える。第１カメラ１２１は、本発明の第１撮像部に対応し、第２カメラ１２３は、本発明の第２撮像部に対応する。

本実施形態では、プロジェクター１００が画像光３０を投射する投射面１０が、平面で構成されるスクリーンである場合について説明するが、投射面１０は壁面等に固定された平面を利用してもよい。また、投射面１０は、吊り上げ式や立ち上げ式等の幕状のスクリーンであってもよい。また、室内の壁面や、ホワイトボード、黒板等を投射面１０として利用することも可能である。また、投射面１０の前面は、指示体８０を用いた操作の入力に使用される操作面１３として利用される。

図２は、インタラクティブプロジェクションシステム１の側面図である。
本実施形態のプロジェクター１００は、壁面に固定されて投射面１０の前方かつ上方に設置され、斜め下方の投射面１０に向けて画像光３０を投射する。プロジェクター１００によって画像光３０が投射される投射面１０の領域を投射領域１５という。また、プロジェクター１００は、検出光２０を、操作面１３に対応する方向に照射する。検出光２０は、指示体８０の検出に用いられる光であり、本実施形態では赤外光が用いられる。赤外光を用いることにより、可視光を主とする画像光３０の影響を受けずに指示体８０を検出でき、また、画像光３０による表示にも影響を与えない。検出光２０は、投射面１０の少なくとも一部を含む範囲に照射される。本実施形態では、投射面１０の全体をカバーする範囲に投射される。操作面１３に対応する方向とは、指示体８０の操作を撮像部１２０により検出可能な方向である。より具体的には、操作面１３から所定距離以内に近づいた指示体８０で反射した反射光を、撮像部１２０が撮像可能な方向である。

第１カメラ１２１及び第２カメラ１２３は、プロジェクター１００の異なる位置に配置される。第１カメラ１２１及び第２カメラ１２３は、異なる撮像視点から投射面１０を撮像することによりステレオカメラとして機能する。本実施形態では、第１カメラ１２１は、投射面１０に対応してプロジェクター１００の投射部１１０の左側に配置され、第２カメラ１２３は、投射面１０に対応してプロジェクター１００の投射部１１０の右側に配置される。第１カメラ１２１は、左カメラであり、第１カメラ１２１の撮像画像を左撮像画像と称する。また、第２カメラ１２３は、右カメラであり、第２カメラ１２３の撮像画像を、右撮像画像と称する。

プロジェクター１００は、第１カメラ１２１及び第２カメラ１２３により投射面１０を撮像して、検出光２０が指示体８０で反射した反射光を検出する。インタラクティブプロジェクションシステム１では、１つ又は複数の非発光の指示体８０を利用可能である。指示体８０には、指やペンなどの非発光の物体を使用可能である。非発光の指示体８０は、赤外光を反射するものであれば特に制限されず、本実施形態では使用者の手指を指示体８０として用いる例について説明する。

第１カメラ１２１及び第２カメラ１２３は、それぞれ投射面１０の全体を撮影可能に設定され、投射面１０を背景とした指示体８０の画像をそれぞれ撮影する機能を有する。すなわち、第１カメラ１２１と第２カメラ１２３は、検出光照射部１３０から照射された検出光２０のうち、投射面１０と指示体８０で反射された光を受光することによって指示体８０を含む画像を作成する。第１カメラ１２１と第２カメラ１２３で撮影された２つの画像を用いると、三角測量等によって指示体８０の３次元位置を求めることが可能である。なお、カメラの台数は３以上でもよい。

Ａ−２．プロジェクターの構成
図３は、プロジェクター１００の構成を示すブロック図である。
プロジェクター１００は、投射部１１０、撮像部１２０、検出光照射部１３０、操作受付部１３５、入力インターフェース１４１、画像処理部１４３、フレームメモリー１４５、位置検出部１５０及び制御部１７０を備える。位置検出部１５０及び制御部１７０は、位置検出装置２００として動作する。投射部１１０は、表示部の一例である。

投射部１１０は、光源１１１、光変調装置１１３及び光学ユニット１１５を備える。

光源１１１には、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源が使用される。また、光源１１１として、ＬＥＤ（Light Emitting Diode）やレーザー光源等の固体光源を用いてもよい。

光変調装置１１３は、光源１１１が発する光を変調して画像光３０を生成する光変調素子を備える。光変調素子には、例えば、透過型の液晶ライトバルブや、反射型の液晶ライトバルブ、デジタルミラーデバイス等を用いることができる。

光学ユニット１１５は、レンズやミラー等の光学素子を備え、光変調装置１１３により生成された画像光３０を拡大して投射面１０に投射する。画像光３０が投射面１０で結像した画像が使用者に視認される。

撮像部１２０は、第１カメラ１２１及び第２カメラ１２３を備える。
第１カメラ１２１及び第２カメラ１２３は、レンズ等の光学系にて集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備える。第１カメラ１２１及び第２カメラ１２３は、検出光２０が指示体８０で反射した反射光を撮像可能に配置される。また、第１カメラ１２１及び第２カメラ１２３には、検出光２０の反射光を受光するための赤外線フィルターが取り付けられる。

第１カメラ１２１及び第２カメラ１２３は、操作面１３を含む範囲を撮像する。第１カメラ１２１及び第２カメラ１２３は、所定のフレームレートで操作面１３を含む範囲を撮像し、生成した撮像画像を位置検出部１５０に出力する。使用者が指示体８０を投射面１０に近づけると、撮像部１２０の撮像画像には、検出光照射部１３０が照射する検出光２０が指示体８０で反射した反射光が撮像される。

検出光照射部１３０は、赤外光を発する光源として、ＬＤ（Laser Diode）又はＬＥＤを有する。また、検出光照射部１３０は、光源が発する赤外光を投射面１０に向けて拡散させる光学部品を備えてもよい。検出光照射部１３０は、検出光２０を出射する１つの出射口を設けて、この出射口を第１カメラ１２１と第２カメラ１２３の間の位置に設置してもよい。また、検出光照射部１３０は、２つ以上の出射口を設けて、第１カメラ１２１と第２カメラ１２３のそれぞれに対応した位置に設置してもよい。例えば、第１カメラ１２１と第２カメラ１２３のそれぞれに隣接して出射口を設け、発光と撮影のタイミングを調整することにより、撮影画像におけるコントラストを向上できる。

操作受付部１３５は、不図示のリモコンにより送信される赤外線信号を受光する。操作受付部１３５は、リモコンから受光した赤外線信号に対応した操作信号を制御部１７０に出力する。操作信号は、操作されたリモコンのスイッチに対応した信号である。

入力インターフェース１４１は、外部装置との接続インターフェースである。入力インターフェース１４１は、ケーブルを接続するコネクター、及び信号処理を行うインターフェース回路を備える。入力インターフェース１４１は、接続された外部装置から供給された画像データを受信する。入力インターフェース１４１は、受信した画像データを画像処理部１４３に出力する。

画像処理部１４３は、入力された画像データをフレームメモリー１４５に展開する。フレームメモリー１４５は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成される。

画像処理部１４３は、フレームメモリー１４５に展開した画像データに対して画像処理を行う。画像処理部１４３が行う画像処理には、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等が含まれる。画像処理部１４３は、制御部１７０により指定された処理を実行し、必要に応じて、制御部１７０から入力されるパラメーターを使用して処理を行う。また、画像処理部１４３は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。画像処理部１４３は、フレームメモリー１４５から画像データを読み出し、読み出した画像データを投射部１１０に出力する。

画像処理部１４３及びフレームメモリー１４５は、例えば、集積回路により構成される。集積回路には、ＬＳＩ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System-on-a-chip）等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、制御部１７０と集積回路とが組み合わされた構成であってもよい。

位置検出部１５０は、第１記憶部１５１と、画像処理プロセッサー１６０とを備える。
第１記憶部１５１は、例えば、揮発性、不揮発性、又は揮発性及び不揮発性の半導体記憶装置により構成される。第１記憶部１５１は、画像処理プロセッサー１６０が実行する制御プログラム１５５を記憶する。また、第１記憶部１５１は、後述するキャリブレーション画像２０１やキャリブレーションデータを記憶する。

画像処理プロセッサー１６０は、例えば、ＧＰＵ（Graphics Processing Unit）等のリアルタイムなデジタル画像処理に用いられる専用のプロセッサーにより構成される。また、画像処理プロセッサー１６０は、例えば、ＤＳＰ（Digital Signal Processor）や、集積回路、その他のデジタル回路により構成してもよい。集積回路には、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＳｏＣ等が含まれる。

位置検出部１５０は、機能ブロックとして、キャリブレーションデータ生成部１６１、先端検出部１６５及び判定部１６７を備える。これらの機能ブロックは、画像処理プロセッサー１６０が制御プログラムに記述された命令セットを実行して、データの演算や制御を行うことにより実現される機能をブロックにより便宜的に示したものである。

位置検出部１５０には、第１カメラ１２１によって撮像された左撮像画像と、第２カメラ１２３によって撮像された右撮像画像とが入力される。図４に、左撮像画像及び右撮像画像の一例を示す。図４に示す左撮像画像及び右撮像画像は、指示体８０である使用者の指を撮像した画像である。より詳細には、図４は、第１カメラ１２１及び第２カメラ１２３が、同じタイミングで、操作面１３を背景として、指、手及び腕を含む範囲をそれぞれ撮像した画像である。図４には、左カメラである第１カメラ１２１の左撮像画像に対応した左矩形画像２３５と、右カメラである第２カメラ１２３の右撮像画像に対応した右矩形画像２３７とを示されている。左矩形画像２３５は、左撮像画像を、キャリブレーションデータ生成部１６１が生成したキャリブレーションデータを用いて変形した画像である。右矩形画像２３７は、右撮像画像を、キャリブレーションデータを用いて変形した画像である。左矩形画像２３５及び右矩形画像２３７の詳細については後述する。

キャリブレーションデータ生成部１６１は、キャリブレーションデータを生成する。キャリブレーションデータには、第１範囲情報、第２範囲情報、第１画像変換係数及び第２画像変換係数が含まれる。

第１範囲情報は、左撮像画像における投射領域１５の範囲を示す情報である。第２範囲情報は、右撮像画像における投射領域１５の範囲を示す情報である。第１画像変換係数は、第１範囲情報に基づいて左撮像画像から抽出した画像の形状を矩形に変換する係数である。第２画像変換係数は、第２範囲情報に基づいて右撮像画像から抽出した画像の形状を矩形に変換する係数である。キャリブレーションデータの生成方法の詳細については、後述する。

先端検出部１６５は、本発明の取得部、抽出部及び出力部に対応し、本発明の取得ステップ、生成ステップ、抽出ステップ及び検出ステップに対応した処理を実行する。取得ステップは、後述の図５のステップＳ４、Ｓ５、及びステップＳ６の一部を含んだ処理に対応する。生成ステップは、図５のステップＳ６、特に図８のステップＳ６０２に対応する処理を含む。抽出ステップは、図５のステップＳ６、特に図８のステップＳ６０３及びＳ６０４に対応する処理を含む。検出ステップは、図５のステップＳ７に対応する処理を含む。

先端検出部１６５が実行する取得ステップに対応した処理は、操作面１３にキャリブレーションされた撮像画像である図４の左矩形画像２３５及び右矩形画像２３７を取得する処理である。操作面１３にキャリブレーションされた撮像画像とは、操作面１３における視差が０となるように調整された画像を意味する。先端検出部１６５は、第１範囲情報を用いて、左撮像画像から投射領域１５に対応する画像を切り出し、切り出した画像を、第１画像変換係数を用いて左矩形画像２３５に変換する。また、先端検出部１６５は、第２範囲情報を用いて、右撮像画像から投射領域１５に対応する画像を切り出し、切り出した画像を、第２画像変換係数を用いて右矩形画像２３７に変換する。左矩形画像２３５と右矩形画像２３７とは、矩形の画像であって、操作面１３の位置であるＺ＝０の位置で視差が０となるように調整された画像である。また、左矩形画像２３５と右矩形画像２３７とにおける視差は、操作面１３の前方、すなわちＺ軸の正方向に離れた物体ほど、視差が大きくなる。左矩形画像２３５と右矩形画像２３７との操作面１３での視差が０に調整される理由については後述する。

先端検出部１６５が実行する生成ステップに対応した処理は、左矩形画像２３５と、右矩形画像２３７とに基づいて、図９に示す差分画像２４０を生成する処理である。本実施形態の先端検出部１６５は、左矩形画像２３５から右矩形画像２３７を減算することで差分画像２４０を生成するが、右矩形画像２３７から左矩形画像２３５を減算して差分画像２４０を生成してもよい。減算は、例えば、一方の画像の画素の画素値から他方の画像の対応する画素の画素値を減ずる処理である。

先端検出部１６５が実行する抽出ステップに対応した処理は、左撮像画像と右撮像画像との視差量が、予め設定された範囲内の領域を図９に示す変化領域２５０として抽出する処理である。前述したように左矩形画像２３５及び右矩形画像２３７は操作面１３での視差が０になるように調整された画像であって、差分画像２４０は、左矩形画像２３５から右矩形画像２３７を減算して生成される。このため、視差が０となる操作面１３に接している物体の接触点及びその近辺は、差分画像２４０には検出されない。差分画像２４０において、接触点及びその近辺の画像は、背景である操作面１３の画像と区別がつかなくなる。例えば、指示体８０の先端が操作面１３に接触している場合、この指示体８０の先端は差分画像２４０には検出されない。また、差分画像２４０には、左矩形画像２３５と右矩形画像２３７での視差が０ではなく、操作面１３の近くに位置する指示体８０等の像が検出される。

さらに、先端検出部１６５は、抽出ステップに対応した処理として、変化領域２５０から指先が撮像された領域である図１６に示す指先領域２７０を抽出する。ここでは、先端検出部１６５は、変化領域２５０から腕等の画像を除去して指先に対応する領域である指先領域２７０を抽出する。

先端検出部１６５が実行する検出ステップに対応した処理は、指示体８０の形状に基づいて、指示体８０である指の先端位置を検出する処理である。生成ステップ、抽出ステップ及び検出ステップの詳細については、図９〜図２２を参照しながら後述する。

判定部１６７は、本発明の出力ステップを含んだ処理を実行する。判定部１６７は、先端検出部１６５が検出した指先領域２７０に基づいて、指示体８０が操作面１３に接触したか否かを判定する。判定部１６７は、学習済みのニューラルネットワークを備え、このニューラルネットワークに基づいて、指先の位置や、指先が操作面１３に接触しているか否かを判定する。判定部１６７が実行する処理は、図５のステップＳ８及びステップＳ９に対応する処理を含む。

制御部１７０は、第２記憶部１７５及びプロセッサー１８０を備えるコンピューター装置である。第２記憶部１７５は、ＲＡＭ（Random access memory）等の揮発性の記憶装置と、ＲＯＭ（Read Only Memory）やフラッシュメモリー等の不揮発性の記憶装置とを備える。第２記憶部１７５は、プロセッサー１８０が実行する制御プログラムを記憶する。制御プログラムには、例えば、ファームウェアが含まれる。

プロセッサー１８０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により構成される演算処理装置である。プロセッサー１８０は、制御プログラムを実行してプロジェクター１００の各部を制御する。プロセッサー１８０は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、プロセッサー１８０は、第２記憶部１７５の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、プロセッサー１８０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、プロセッサー１８０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。

制御部１７０は、機能ブロックとして撮像制御部１８１及び操作実行部１８３を備える。これらの機能ブロックは、プロセッサー１８０が制御プログラムに記述された命令セットを実行して、データの演算や制御を行うことにより実現される機能をブロックにより便宜的に示したものである。

撮像制御部１８１は、検出光照射部１３０に検出光を照射させて、撮像部１２０に撮像を実行させる。撮像部１２０は、予め設定されたフレームレートで投射面１０を含む範囲を撮像して撮像画像を生成する。撮像部１２０が生成した撮像画像は、位置検出部１５０に入力される。撮像制御部１８１は、本発明の照射制御部に対応する。照射制御部が実行する処理は、図５のステップＳ４に対応する。

操作実行部１８３には、操作面１３における指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報とが位置検出部１５０から入力される。操作実行部１８３は、位置検出部１５０から入力される情報に基づいて、操作を検出し、検出した操作に対応した処理を実行する。例えば、操作実行部１８３は、操作面１３に接触させた指示体８０を、操作面１３上で移動させる操作が検出された場合、移動する指示体８０の軌跡に対応した画像を投射領域１５に描画する。操作実行部１８３が実行する処理は、図５のステップＳ１０に対応する。

Ａ−３.全体処理フロー
図５は、プロジェクター１００の動作を示すフローチャートである。
図５を参照しながらプロジェクター１００の動作について説明する。
まず、制御部１７０は、プロジェクター１００の設置時、又はプロジェクター１００の起動時であるか否かを判定する（ステップＳ１）。例えば、操作受付部１３５がリモコンに設けられた所定ボタンに対応した信号を受信した場合に、制御部１７０は、プロジェクター１００の設置時であると判定してもよい。また、プロジェクター１００の工場出荷後、プロジェクター１００の電源が最初にオンされた場合に、制御部１７０は、プロジェクター１００の設置時であると判定してもよい。制御部１７０は、設置時又は起動時ではない場合（ステップＳ１／ＮＯ）、ステップＳ４の処理に移行する。

また、制御部１７０は、設置時又は起動時である場合（ステップＳ１／ＹＥＳ）、位置検出部１５０にキャリブレーションを実行させる（ステップＳ２）。制御部１７０は、キャリブレーション画像２０１を投射部１１０に投射させ、撮像部１２０に撮像を実行させる。位置検出部１５０は、撮像部１２０によって撮像された左撮像画像及び右撮像画像に基づいてキャリブレーションデータを生成する（ステップＳ３）。生成したキャリブレーションデータは、第１記憶部１５１に記憶される。

キャリブレーションデータの生成が終了し、操作受付部１３５により操作を受け付けると、制御部１７０は、検出光照射部１３０に検出光の照射を開始させ、撮像部１２０に撮像を開始させる（ステップＳ４）。ステップＳ４は、本発明の照射ステップに相当する。

位置検出部１５０は、第１カメラ１２１から左撮像画像が入力され、第２カメラ１２３から右撮像画像が入力されたか否かを判定する（ステップＳ５）。位置検出部１５０は、撮像画像の入力がない場合（ステップＳ５／ＮＯ）、左撮像画像及び右撮像画像の入力があるまで処理の開始を待機する。

位置検出部１５０は、左撮像画像及び右撮像画像が入力されると（ステップＳ５／ＹＥＳ）、左撮像画像及び右撮像画像を処理して差分画像２４０を生成する。また、位置検出部１５０は、生成した差分画像２４０から指示体８０に対応する変化領域２５０を抽出して指先領域２７０を検出する（ステップＳ６）。次に、位置検出部１５０は、検出した指先領域２７０から指示体８０である指の先端位置２５５を特定する（ステップＳ７）。

位置検出部１５０は、指示体８０の先端位置２５５を特定すると、特定した先端位置２５５に基づいて指示体８０と操作面１３との接触・非接触を判定する（ステップＳ８）。さらに、位置検出部１５０は、先端位置２５５の操作面１３における座標を判定する（ステップＳ９）。位置検出部１５０は、接触・非接触の判定結果と、先端位置２５５の操作面１３における座標とを制御部１７０に出力する。

制御部１７０は、位置検出部１５０から入力された接触・非接触の判定結果と、操作面１３における座標とに基づき、処理を実行する（ステップＳ１０）。
例えば、制御部１７０は、位置検出部１５０から接触を示す情報が連続して入力された場合、操作面１３の座標に基づいて指示体８０の移動の軌跡を示す軌跡データを生成し、生成した軌跡データに対応した図形等の画像を投射領域１５に投射して表示させる。また、制御部１７０は、接触を示す情報が入力された場合、入力された操作面１３の座標にアイコンを表示しているか否かを判定する。制御部１７０は、入力された操作面１３の座標にアイコンが表示されている場合、このアイコンに対応づけられた操作を、指示体８０の操作に対応づける。例えば、アイコンがペンの場合、制御部１７０は、指示体８０の先端が操作面１３に接触した位置の軌跡を示す軌跡データを生成し、生成した軌跡データに対応した図形等の画像を投射領域１５に投射して表示させる。また、アイコンが消しゴムであれば、入力された操作面１３の座標に対応する操作面１３の位置に表示させた図形等の画像の表示を消去する。

Ａ−４.ステレオキャリブレーション
次に、図６及び図７を参照しながらキャリブレーションについて説明する。
図６は、キャリブレーション画像２０１の一例を示す図である。
まず、制御部１７０の制御により、図７に示すキャリブレーション画像２０１を投射部１１０に投射させ、キャリブレーション画像２０１が投射された投射面１０を第１カメラ１２１及び第２カメラ１２３に撮像させる。

図６に示すようにキャリブレーション画像２０１は、予め設定された形状のマーク２０５が、キャリブレーション画像２０１の縦方向及び横方向に等間隔で配置された画像である。本実施形態では、キャリブレーション画像２０１として、黒色の背景に、マーク２０５としての白色のドットをキャリブレーション画像２０１の縦方向及び横方向に等間隔で配置した画像を用いる。

キャリブレーションデータ生成部１６１は、キャリブレーション画像２０１が投射された投射面１０を第１カメラ１２１で撮像した左撮像画像と、投射面１０を第２カメラ１２３で撮像した右撮像画像とを取得する。
キャリブレーションデータ生成部１６１は、第１範囲情報を参照して、投射領域１５に対応する左撮像画像の領域を抽出する。同様に、キャリブレーションデータ生成部１６１は、第２範囲情報を参照して、投射領域１５に対応する右撮像画像の領域を抽出する。抽出された投射領域１５に対応する左撮像画像の領域を左抽出画像２３１といい、抽出された投射領域１５に対応する右撮像画像の領域を右抽出画像２３３という。

図７は、左抽出画像２３１及び右抽出画像２３３の形状を矩形に変形する変形方法を示す図である。
図７の上段に、左抽出画像２３１及び右抽出画像２３３を示す。第１カメラ１２１と投射面１０との関係、及び第２カメラ１２３と投射面１０との関係により、左撮像画像及び右撮像画像は、矩形画像となる。また、左抽出画像２３１と右抽出画像２３３は、第１カメラ１２１と第２カメラ１２３との関係において、マーク２０５がずれた画像となる。
キャリブレーションデータ生成部１６１は、第１記憶部１５１が記憶するキャリブレーション画像２０１と、左抽出画像２３１及び右抽出画像２３３とを比較して第１画像変換係数及び第２画像変換係数を決定する。具体的には、左抽出画像２３１及び右抽出画像２３３の変形方法は同一であるため、以下では、左抽出画像２３１の変形方法について説明する。

キャリブレーションデータ生成部１６１は、キャリブレーション画像２０１のマーク２０５の位置と、左抽出画像２３１のマークの位置とを比較し、キャリブレーション画像２０１の頂点と、左抽出画像２３１の頂点とを比較する。キャリブレーションデータ生成部１６１は、これらの比較結果に基づき、左抽出画像２３１をキャリブレーション画像２０１と同一の矩形に変形するための変形量である、引き延ばし方向及び引き延ばし量を第１画像変換係数として決定する。同様に、キャリブレーションデータ生成部１６１は、キャリブレーション画像２０１のマーク２０５の位置と、右抽出画像２３３のマークの位置とを比較し、キャリブレーション画像２０１の頂点と、右抽出画像２３３の頂点とを比較する。キャリブレーションデータ生成部１６１は、これらの比較結果に基づき、右抽出画像２３３をキャリブレーション画像２０１と同一の矩形に変形するための変形量である、引き延ばし方向及び引き延ばし量を第２画像変換係数として決定する。

第１画像変換係数は、左抽出画像２３１の各マーク２０５の位置が、キャリブレーション画像２０１に形成されたマーク２０５の位置に一致するように左抽出画像２３１の形状を変換する係数である。また、第２画像変換係数は、右抽出画像２３３の各マーク２０５の位置が、キャリブレーション画像２０１に形成されたマーク２０５の位置に一致するように右抽出画像２３３の形状を変換する係数である。このため、第１画像変換係数により変換された左抽出画像２３１と、第２画像変換係数により変換された右抽出画像２３３とは、キャリブレーション画像２０１に一致するように変換される。このため、投射面１０での視差が０となるように左抽出画像２３１及び右抽出画像２３３が変換される。投射面１０での視差が０となるように変換された左抽出画像２３１及び右抽出画像２３３は、本発明の操作面にキャリブレーションされた第１撮像画像と第２撮像画像に相当する。また、キャリブレーションは、第１カメラ１２１の座標系と第２カメラ１２３の座標系とを、投射面１０の座標系に対応させるステレオキャリブレーションとも言える。

Ａ−５．指先領域の検出
図８は、図５のステップＳ６の指先領域の検出処理を示すフローチャートである。
指先領域の検出は、操作面１３の全体の撮像画像から、操作面１３に接触又は接近した指示体８０の先端を含む領域である図１６の指先領域２７０を検出する処理である。
図８に示すフローチャートを参照しながら、指先領域２７０の検出処理の詳細について説明する。まず、位置検出部１５０は、第１カメラ１２１の左撮像画像を取得すると、キャリブレーションデータを用いて、左撮像画像から左抽出画像２３１を抽出し、抽出した左抽出画像２３１の形状を矩形に変形して左矩形画像２３５を生成する（ステップＳ６０１）。同様に、位置検出部１５０は、第２カメラ１２３の右撮像画像を取得すると、キャリブレーションデータを用いて、右撮像画像から右抽出画像２３３を抽出し、右抽出画像２３３の形状を矩形に変形して右矩形画像２３７を生成する（ステップＳ６０１）。

次に、位置検出部１５０は、差分画像２４０を生成する（ステップＳ６０２）。位置検出部１５０は、左矩形画像２３５から右矩形画像２３７を減算して差分画像２４０を生成する。

図９は、差分画像２４０を示す図である。
差分画像２４０には、変化領域２５０が含まれる。変化領域２５０は、左矩形画像２３５と右矩形画像２３７との視差量が、予め設定された範囲内となる領域である。差分画像２４０は、左矩形画像２３５から右矩形画像２３７を減算した画像である。このため、投射面１０の位置であるＺ＝０の位置にあり、視差が０となる物体は、差分画像２４０には表示されない。また、投射面１０から離れた位置に存在する物体ほど、視差が大きくなり、左矩形画像２３５における物体の位置と、右矩形画像２３７における物体の位置との差が大きくなる。図９では、変化領域２５０は、指示体８０である指と、手、腕等が撮像された領域に対応する。また、図９の差分画像２４０には、投射面１０等の状態による投射面１０の反射光のノイズや、外光等の映り込みのノイズとして、正領域２４５及び負領域２４７の孤立領域が検出される。

図１０は、差分画像２４０に含まれる正領域２４５及び負領域２４７を除去した状態を示す図である。
位置検出部１５０は、生成した差分画像２４０に含まれる正領域２４５及び負領域２４７の孤立領域を除去する（ステップＳ６０３）。位置検出部１５０は、差分画像２４０において、正領域２４５だけが孤立して存在する画像の領域と、負領域２４７だけが孤立して存在する画像の領域とを除去する。差分画像２４０は、左矩形画像２３５から右矩形画像２３７を減算して生成した画像である。例えば、左矩形画像２３５の画素値が右矩形画像２３７の画素値よりも大きい場合、差分画像２４０には正領域２４５が生じる。また、対応する画像において、右矩形画像２３７の画素値が左矩形画像２３５の画素値よりも大きい場合、差分画像２４０には負領域２４７が生じる。

孤立して存在する正領域２４５及び負領域２４７を除去することで、差分画像２４０には、正領域２４５と負領域２４７とが予め設定された距離以下で近接して存在する領域だけが残る。この正領域２４５と負領域２４７とが近接して存在する領域が変化領域２５０となる。変化領域２５０は、左矩形画像２３５と右矩形画像２３７との視差量が、予め設定された範囲内の領域であり、投射面１０の近くに存在する物体が撮像された領域である。

図１１は、モルフォロジー変換後の差分画像２４０を示す図である。
位置検出部１５０は、差分画像２４０の変化領域２５０に膨張収縮のモルフォロジー変換を行って、孤立点を除去し、穴が空いた領域の穴埋めを行う（ステップＳ６０４）。図１１には、モルフォロジー変換において、孤立点を除去し、穴が空いた領域を穴埋めした後の差分画像２４０が示されている。差分画像２４０に、モルフォロジー変換や穴埋め等の処理を行って生成された変化領域２５０が、本発明の候補領域に対応する。候補領域は、変化領域２５０において、操作面１３に接触又は接近した指示体８０の先端を含む領域である。

次に、位置検出部１５０は、モルフォロジー変換後の差分画像２４０の解像度を変換して、１／２解像度、１／４解像度、及び１／８解像度の差分画像２４０をそれぞれ生成する(ステップＳ６０５)。１／２解像度の差分画像２４０を第１差分画像２４０Ａとし、この第１差分画像２４０Ａに検出される変化領域２５０を第１変化領域２５０Ａとする。また、１／４解像度の差分画像２４０を第２差分画像２４０Ｂとし、この第２差分画像２４０Ｂに検出される変化領域２５０を第２変化領域２５０Ｂとする。また、１／８解像度の差分画像２４０を第３差分画像２４０Ｃとし、この第３差分画像２４０Ｃに検出される変化領域２５０を第３変化領域２５０Ｃとする。

図１２は、図１１のモルフォジー変換された差分画像２４０が１／８の解像度に変換された第３差分画像２４０Ｃを示す図である。また、図１２は、第３変化領域２５０Ｃに図形３００を重畳した状態を示す図である。
位置検出部１５０は、切り出し処理を実行する（ステップＳ６０６）。位置検出部１５０は、予め設定された大きさの図形３００を、１／８解像度の第３差分画像２４０Ｃ上で移動させながら、図形３００が内部に完全に収まる第３変化領域２５０Ｃを検出する。先端検出部１６５は、図形３００が収まる第３変化領域２５０Ｃを検出すると、この図形３００が重なった第３変化領域２５０Ｃの画像を削除する。図１２は、図形３００に重なる第３変化領域２５０Ｃの画像を削除した状態を示す。位置検出部１５０は、この処理を図形３００が収まる第３変化領域２５０Ｃがなくなるまで繰り返す。次に、位置検出部１５０は、第３変化領域２５０Ｃのうち、第３差分画像２４０Ｃの外周に接する領域を除去する。図１３は、第３差分画像２４０Ｃの外周に接する第３変化領域２５０Ｃの画像を除去した状態を示す図である。

位置検出部１５０は、１／８解像度の第３差分画像２４０Ｃの解像度を１／４に変換する（ステップＳ６０７）。その後、位置検出部１５０は、１／４解像度に変換した第３差分画像２４０Ｃと、１／４解像度の第２差分画像２４０Ｂとの論理積を計算する（ステップＳ６０８）。これにより、１／４解像度の第２差分画像２４０Ｂであって、１／８解像度の第３変化領域２５０Ｃにおいて除去した画像が除去された第２差分画像２４０Ｂが生成される。

図１４は、第２差分画像２４０Ｂを示す図であり、第２変化領域２５０Ｂに図形３００を重畳した状態が示されている。
位置検出部１５０は、切り出し処理を実行する（ステップＳ６０９）。位置検出部１５０は、図形３００を、１／４解像度の第２差分画像２４０Ｂ上で移動させながら、図形３００が内部に完全に収まる第２変化領域２５０Ｂを検出する。図形３００の大きさは、１／８解像度の第３差分画像２４０Ｃにおいて画像の除去に使用した図形３００の大きさと同一である。先端検出部１６５は、図形３００が収まる第２変化領域２５０Ｂを検出すると、この図形３００が重なった第２変化領域２５０Ｂの画像を削除する。位置検出部１５０は、この処理を図形３００が収まる第２変化領域２５０Ｂがなくなるまで繰り返す。次に、位置検出部１５０は、第２変化領域２５０Ｂのうち、第２差分画像２４０Ｂの外周に接する領域を除去する。図１５に、第２差分画像２４０Ｂの外周に接する第２変化領域２５０Ｂの画像を除去した状態を示す。

次に、位置検出部１５０は、１／４解像度の第２差分画像２４０Ｂの解像度を１／２に変換する（ステップＳ６１０）。その後、位置検出部１５０は、１／２解像度に変換した第２差分画像２４０Ｂと、１／２解像度の第１差分画像２４０Ａとの論理積を計算する（ステップＳ６１１）。これにより、１／２解像度の第１差分画像２４０Ａであって、１／８解像度の第３変化領域２５０Ｃ、及び１／４解像度の第２変化領域２５０Ｂにおいて除去した画像が除去された第１差分画像２４０Ａが生成される。

図１６は、第１差分画像２４０Ａを示す図である。
位置検出部１５０は、切り出し処理を実行する（ステップＳ６１２）。位置検出部１５０は、予め設定された大きさの図形３００を、１／２解像度の第１差分画像２４０Ａ上で移動させながら、図形３００が内部に完全に収まる第１変化領域２５０Ａを検出する。図形３００の大きさは、１／８解像度の第３差分画像２４０Ｃ、及び１／４解像度の第２差分画像２４０Ｂにおいて画像の除去に使用した図形３００の大きさと同一である。位置検出部１５０は、図形３００が収まる第１変化領域２５０Ａを検出すると、この図形３００が重なった第１変化領域２５０Ａの画像を削除する。位置検出部１５０は、この処理を図形３００が収まる第１変化領域２５０Ａがなくなるまで繰り返す。位置検出部１５０は、除去されずに残った第１変化領域２５０Ａを指先領域２７０として検出する（ステップＳ６１３）。図１７は、差分画像２４０から、指先領域２７０を中心に特定の領域を切り出した図である。これにより、ノイズ等の影響により誤検出することなく、操作面１３の全体の撮像画像から、操作面１３に接触又は接近した指示体８０の先端を含む領域である指先領域２７０を検出することができる。

Ａ−６．先端位置の特定
図１８は、図６のステップＳ７の指の先端位置を特定する処理の詳細を示すフローチャートである。指の先端位置を特定は、ステップＳ６で検出された指先領域２７０をもとに、図２１に示される指先領域２７０の先端位置２５５を算出し、左撮像画像と右撮像画像とのそれぞれから先端位置２５５に対応する領域を切り出す処理である。
図１８に示すフローチャートを参照しながら指の先端位置を特定する処理について説明する。図１９は、図１７に対応した指先領域２７０を示し、放射状の線分２８０を描画した図である。
まず、位置検出部１５０は、検出した指先領域２７０の重心座標を計算する（ステップＳ７０１）。位置検出部１５０は、指先領域２７０の重心座標を計算すると、計算した指先領域２７０の重心座標を始点とし、重心座標を中心に放射状に複数の線分２８０を第１差分画像２４０Ａに描画する（ステップＳ７０２）。このとき、位置検出部１５０は、図１８に示すように、隣接する線分２８０同士のなす角度θ１が一定となるように複数の線分２８０を描画する。

図２０は、輪郭線の長さが最小の区間Ｓと、検出範囲Ｄとを示す図である。
位置検出部１５０は、隣接する２本の線分２８０によって区切られた指先領域２７０の輪郭線の長さをそれぞれ算出し、算出した輪郭線の長さが最小の区間を特定する（ステップＳ７０３）。図２０に示す区間Ｓを輪郭線の長さが最小の区間と仮定する。

次に、位置検出部１５０は、特定した区間Ｓに基づいて検出範囲Ｄを設定する（ステップＳ７０４）。例えば、図２０に示す角度θ２に対応した輪郭線の範囲が、検出範囲Ｄに対応する。検出範囲Ｄは、区間Ｓを含み、区間Ｓで区切られた輪郭線の両側を含む範囲である。

次に、位置検出部１５０は、設定した検出範囲Ｄ内で、指先領域２７０の曲率が最も大きい位置を検出する（ステップＳ７０５）。位置検出部１５０は、検出した曲率が最も大きい位置を先端位置２５５とする。図２１は、指先領域２７０の先端位置２５５を示す図である。位置検出部１５０は、先端位置２５５の検出に対応した差分画像２４０の元となる左矩形画像２３５から、この先端位置２５５を中心にして所定範囲の画像を切り出す。また、位置検出部１５０は、先端位置２５５の検出に対応した差分画像２４０の元となる右矩形画像２３７から、この先端位置２５５を中心にして所定範囲の画像を切り出す。左矩形画像２３５から切り出された画像を左切出画像２４１といい、右矩形画像２３７から切り出された画像を右切出画像２４３という。所定範囲は、指示体８０のサイズや形状によって設定される。
図２２は、左切出画像２４１及び右切出画像２４３を示す図である。左切出画像２４１は、本発明の第１領域画像に対応し、右切出画像２４３は、本発明の第２領域画像に対応する。これにより、操作面１３の全体の撮像した左撮像画像及び右撮像画像から、操作面１３に接触又は接近した指示体８０の先端を含む所定範囲の画像である第１領域画像及び第２領域画像をそれぞれ切り出すことができる。

Ａ−７．接触・非接触及び先端位置の座標の判定
次に、ステップＳ７で切り出された第１領域画像及び第２領域画像を入力として処理を行うことにより、指示体８０の操作面１３への接触又は非接触を高精度で判定し、指示体８０先端位置の座標の検出をする。
図２３は、判定部１６７の詳細な構成を示す図である。
判定部１６７は、図５のステップＳ８及びステップＳ９に対応する処理を実行する。判定部１６７は、第１位置検出ネットワーク３１１と、第２位置検出ネットワーク３１３と、タッチ判定ネットワーク３１５と、ＸＹ座標検出ネットワーク３１７とを備える。

第１位置検出ネットワーク３１１は、ＡＩ（Artificial Intelligence）であり、学習済みのニューラルネットワークを構成するソフトウェア、又はソフトウェア及びハードウェアにより構成される。本実施形態の第１位置検出ネットワーク３１１は、学習済みのニューラルネットワークとして畳み込みニューラルネットワークを備える。第１位置検出ネットワーク３１１には、先端検出部１６５から左切出画像２４１が入力される。第１位置検出ネットワーク３１１は、左切出画像２４１をニューラルネットワークに入力して、左切出画像２４１における指先の位置を示す情報、すなわち、指先の位置を示す左切出画像２４１の座標を出力する。

第２位置検出ネットワーク３１３は、ＡＩであり、学習済みのニューラルネットワークを構成するソフトウェア、又はソフトウェア及びハードウェアで構成される。本実施形態の第２位置検出ネットワーク３１３は、学習済みのニューラルネットワークとして畳み込みニューラルネットワークを備える。第２位置検出ネットワーク３１３には、先端検出部１６５から右切出画像２４３が入力される。第２位置検出ネットワーク３１３は、右切出画像２４３をニューラルネットワークに入力して、右切出画像２４３における指先の位置を示す情報、すなわち、指先の位置を示す右切出画像２４３の座標を出力する。

タッチ判定ネットワーク３１５は、ＡＩであり、学習済みのニューラルネットワークを構成するソフトウェア、又はソフトウェア及びハードウェアで構成される。本実施形態のタッチ判定ネットワーク３１５は、学習済みのニューラルネットワークとして畳み込みニューラルネットワークを備える。タッチ判定ネットワーク３１５には、第１位置検出ネットワーク３１１及び第２位置検出ネットワーク３１３から指先の位置を示す情報が入力される。タッチ判定ネットワーク３１５は、指先の位置を示す情報をニューラルネットワークに入力して、指先が操作面１３に接触しているか否かを判定した判定結果を出力する。タッチ判定ネットワーク３１５は、指先が操作面１３に接触していると判定した場合には、接触を示す情報を出力し、指先が操作面１３に接触していないと判定した場合には、非接触を示す情報を出力する。タッチ判定ネットワーク３１５は、接触又は非接触を示す情報を制御部１７０に出力する。これにより、指示体８０の操作面１３への接触が、高速かつ高精度に検出される。

ＸＹ座標検出ネットワーク３１７は、ＡＩであり、学習済みのニューラルネットワークを構成するソフトウェア、又はソフトウェア及びハードウェアで構成される。本実施形態のＸＹ座標検出ネットワーク３１７は、学習済みのニューラルネットワークとして畳み込みニューラルネットワークを備える。ＸＹ座標検出ネットワーク３１７は、第１位置検出ネットワーク３１１及び第２位置検出ネットワーク３１３から指先の位置を示す情報が入力される。ＸＹ座標検出ネットワーク３１７は、指先の位置を示す情報をニューラルネットワークに入力して、指先の操作面１３での位置を示す座標情報を出力する。すなわち、ＸＹ座標検出ネットワーク３１７は、左切出画像２４１及び右切出画像２４３の座標に基づき、操作面１３に予め設定された座標を示す座標値を出力する。ＸＹ座標検出ネットワーク３１７は、操作面１３の座標を示す座標値を制御部１７０に出力する。これにより、指示体８０による操作面１３への指示位置が、高速かつ高精度に検出される。

そして、制御部１７０には、位置検出部１５０から接触又は非接触を示す情報と、操作面１３の座標を示す座標値とが入力される。制御部１７０は、図５のステップＳ１０に対応する処理を実行する。

Ｂ−１．変形例１
使用者が、使用者の指を指示体８０として操作を行う場合、指示体８０の先端ではなく、指の腹を操作面１３に接触させて操作を行う場合も多い。このため、位置検出部１５０は、使用者の指を指示体８０として操作を行う場合、指の腹の位置を特定し、特定した腹の位置を指示体８０の操作位置２９５として検出してもよい。この処理について図２４に示すフローチャートを参照しながら説明する。

図２４は、指の腹の位置を検出する位置検出部１５０の動作を示すフローチャートである。
まず、位置検出部１５０は、１／２解像度の第１差分画像２４０Ａにおいて、画像が除去されずに残った第１変化領域２５０Ａを指先領域２７０と判定する。次に。位置検出部１５０は、指先領域２７０を構成する輪郭線のうち、曲率がしきい値以上の区間を検出する（ステップＳ７１１）。

図２５は、曲率がしきい値以上の区間２９０を示す図である。位置検出部１５０は、曲率がしきい値以上の区間２９０を検出すると、検出した区間２９０に含まれる輪郭線に直交する複数の法線を第１差分画像２４０Ａに描画する（ステップＳ７１２）。

図２６は、輪郭線に直交する複数の法線を描画した状態を示す図である。位置検出部１５０は、輪郭線に直交する複数の法線を描画すると、法線同士が交差し、密集度が最も高い位置を、指示体８０の操作位置２９５として特定する（ステップＳ７１３）。

Ｂ−２．変形例２
上述した位置検出部１５０が備える第１位置検出ネットワーク３１１、第２位置検出ネットワーク３１３、タッチ判定ネットワーク３１５、及び、ＸＹ座標検出ネットワーク３１７に、学習ステップを実行してもよい。学習ステップでは、検出光照射部１３０とは異なる方向から赤外光を照射した状態で、第１カメラ１２１、第２カメラ１２３により撮像した撮像画像を、学習用データセットとして各ニューラルネットワークに入力して、学習を実行させる。学習用データセットは、赤外光の異なる複数の第１撮像画像及び第２撮像画像を含む。例えば、検出光照射部１３０とは異なる、移動可能な赤外線光源を用い、検出光照射部１３０とは異なる第１の方向から赤外光を投射面１０に投射して第１カメラ１２１及び第２カメラ１２３に撮像を実行させ、撮像画像を取得する。この処理を、赤外線光源の位置を変えながら複数回実行し、それぞれ異なる第２の方向、第３の方向、第４の方向、・・・、から赤外光を投射面１０に投射した撮像画像を取得する。これらの複数の撮像画像を含む学習用データセットをニューラルネットワークに入力することにより、学習を実行させればよい。また、学習用データセットには、指示体８０である指又は指先の位置、座標、接触しているか否かの判定結果をラベルとして付加しておき、ニューラルネットワークに教師あり学習を実行させる。

位置検出部１５０が学習ステップを実行することで、赤外光の照射方向が変更されても、指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かの判定精度を維持できる。
この学習ステップは、上述した図５のフローチャートにおいて、ステップＳ１の前に実行してもよいが、位置検出部１５０に学習済みニューラルネットワークを実装する前に実行してもよい。また、プロジェクター１００とは異なる装置において学習ステップを実行し、学習済みニューラルネットワークを生成し、この学習済みニューラルネットワークをプロジェクター１００にインストールしてもよい。

以上説明したように本実施形態の位置検出装置２００は、制御部１７０と、位置検出部１５０とを備える。制御部１７０は、赤外光を操作面１３に対応する方向に照射させる。位置検出部１５０は、先端検出部１６５と、判定部１６７とを備える。

先端検出部１６５は、撮像部１２０が撮像した左撮像画像及び右撮像画像を取得する。
左撮像画像及び右撮像画像は、撮像視点が異なる第１カメラ１２１及び第２カメラ１２３により操作面１３を撮像した撮像画像であり、赤外光により撮像した画像である。

先端検出部１６５は、取得した左撮像画像及び右撮像画像に基づいて、操作面１３にキャリブレーションされた左矩形画像２３５及び右矩形画像２３７を生成する。
詳細には、先端検出部１６５は、左撮像画像から右撮像画像を減算して生成した差分画像２４０のうち、左矩形画像２３５と右矩形画像２３７との視差量が、予め設定された範囲内の領域を、指示体８０の画像が含まれる変化領域２５０として抽出する。また、先端検出部１６５は、抽出した変化領域２５０から指示体８０の先端に対応する領域を、指示体８０の形状に基づいて検出する。
判定部１６７は、先端検出部１６５の検出結果に基づき、操作面１３における指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報とを出力する。
従って、ステレオカメラで操作面１３を撮像した撮像画像に基づいて、指示体８０の先端を検出し、操作面１３における指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報とを出力することができる。また、第１カメラ１２１及び第２カメラ１２３により赤外光による画像を撮像することで、操作面１３に表示された画像光や、照明、外光等の影響を低減して、操作面１３に接触した指示体８０を誤検出することなく特定できる。特定された指示体８０の先端に対応した領域を、第１カメラ１２１及び第２カメラ１２３のそれぞれの撮像画像から抽出し、指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報を出力することができる。これにより、指示体８０の操作面１３への接触、及び指示体８０による操作面１３の指示位置が、高速かつ高精度に検出される。

また、先端検出部１６５は、差分画像２４０よりも解像度が小さい第１差分画像２４０Ａと、第１差分画像２４０Ａよりも解像度が小さい第２差分画像２４０Ｂとを生成する。
先端検出部１６５は、予め設定されたサイズの図形３００を第２差分画像２４０Ｂの第２変化領域２５０Ｂに重畳させ、図形３００が領域内に収まる第２変化領域２５０Ｂの第２差分画像２４０Ｂを除去する。
また、先端検出部１６５は、第２差分画像２４０Ｂで画像を除去した領域に対応する第１差分画像２４０Ａの領域の画像を除去する。
先端検出部１６５は、図形３００を第１差分画像２４０Ａの第１変化領域２５０Ａに重畳させ、図形３００が領域内に収まる第１変化領域２５０Ａの差分画像を除去し、差分画像が残った領域に基づいて指示体８０の先端を検出する。
従って、指示体８０の先端の検出精度を高めることができる。

また、判定部１６７は、変化領域２５０に対応する左切出画像２４１と、変化領域２５０に対応する右切出画像２４３とを学習済みニューラルネットワークに入力して、操作面１３における指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かを示す情報とを検出する。
従って、指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かの判定精度を高めることができる。

また、判定部１６７は、指示位置座標検出用の学習済みニューラルネットワークであるＸＹ座標検出ネットワーク３１７を含む。判定部１６７は、左切出画像２４１から求められる指示体８０の位置を示すデータと、右切出画像２４３から求められる指示体８０の位置を示すデータとをＸＹ座標検出ネットワーク３１７に入力して指示位置の座標を求める処理を実行する。
また、判定部１６７は、接触判定用の学習済みニューラルネットワークであるタッチ判定ネットワーク３１５を含む。判定部１６７は、左切出画像２４１から求められる指示体８０の位置を示すデータと、右切出画像２４３から求められる指示体８０の位置を示すデータとを、タッチ判定ネットワーク３１５に入力して指示体８０が操作面１３に接触したか否かを判定する処理を実行する。
従って、指示位置座標検出用と、接触判定用とに用意された別々の学習済みニューラルネットワークに基づき、指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かの判定とを行う。このため、指示体８０の指示位置と、指示体８０が操作面１３に接触したか否かの判定精度をさらに高めることができる。

上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形が可能である。
例えば、上述した実施形態では、位置検出部１５０と、制御部１７０とを備える位置検出装置２００の構成について説明したが、位置検出部１５０単独で、位置検出装置２００として動作させることも可能である。
また、上述した実施形態では、プロジェクター１００が撮像部１２０を備える構成を説明したが、プロジェクター１００とは別体で撮像部１２０を設けてもよい。また、上述した実施形態では、プロジェクター１００が検出光照射部１３０を備える構成を説明したが、プロジェクター１００とは別体で検出光照射部１３０を設けてもよい。例えば、撮像部１２０を単独で動作する撮像装置として構成し、撮像装置とプロジェクター１００とを有線又は無線で接続してもよい。また、検出光照射部１３０を単独で動作する検出光照射装置として構成し、検出光照射装置とプロジェクター１００とを有線又は無線で接続してもよい。この場合、撮像装置、検出光照射装置及び位置検出装置２００は、本発明の位置検出システムを構成する装置として機能する。
また、上述した実施形態では、プロジェクター１００が表示装置である構成の位置検出装置システムを説明したが、表示装置をフラットパネルディスプレイ（ＦＰＤ）としてもよい。この場合、ＰＦＤの表示部を操作面１３とし、ＰＦＤの表示部に対応して位置検出装置２００を設け、位置検出システム又は表示システムを構成してもよい。

また、図３に示すプロジェクター１００の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクターの他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

また、図５、図８、図１８及び図２４に示すフローチャートの処理単位は、プロジェクター１００の処理を理解容易にするために、主な処理内容に応じて分割したものである。図５、図８、図１８及び図２４のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１７０や位置検出部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、位置検出方法を、プロジェクター１００が備えるコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ−ｒａｙは、登録商標である。

１…インタラクティブプロジェクションシステム、１０…投射面、１３…操作面、１５…投射領域、２０…検出光、３０…画像光、８０…指示体、１００…プロジェクター、１１０…投射部、１１１…光源、１１３…光変調装置、１１５…光学ユニット、１２０…撮像部、１２１…第１カメラ、１２３…第２カメラ、１３０…検出光照射部、１３５…操受付部、１４１…入力インターフェース、１４３…画像処理部、１４５…フレームメモリー、１５０…位置検出部、１５１…第１記憶部、１６０…画像処理プロセッサー、１６１…キャリブレーションデータ生成部、１６５…先端検出部、１６７…判定部、１７０…制御部、１７５…第２記憶部、１８０…プロセッサー、１８１…撮像制御部、１８３…操作実行部、２００…位置検出装置、２０１…キャリブレーション画像、２０５…マーク、２３１…左抽出画像、２３３…右抽出画像、２３５…左矩形画像、２３７…右矩形画像、２４０…差分画像、２４０Ａ…第１差分画像、２４０Ｂ…第２差分画像、２４０Ｃ…第３差分画像、２４０…変化領域、２５０Ａ…第１変化領域、２５０Ｂ…第２変化領域、２５０Ｃ…第３変化領域、２４５…正領域、２４７…負領域、２６１…左切出画像、２６３…右切出画像、２７０…指先領域、２７５…先端位置、２８０…線分、２９０…区間、２９５…操作位置、３１１…第１位置検出ネットワーク、３１３…第２位置検出ネットワーク、３１５…タッチ判定ネットワーク、３１７…ＸＹ座標検出ネットワーク。

Claims (7)

1. 指示体により指示される操作面の位置を検出する位置検出方法であって、
   前記操作面に対応する方向に赤外光を照射させる照射ステップと、
   撮像視点が異なり、前記赤外光による画像を撮像する第１撮像部及び第２撮像部により前記操作面を撮像し、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得ステップと、
   前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成ステップと、
   前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記指示体の画像が含まれる候補領域として抽出する抽出ステップと、
   抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出ステップと、
   前記検出ステップの検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力ステップと、
   を有する位置検出方法。
2. 前記出力ステップは、候補領域に対応する前記第１撮像画像の第１領域画像と、前記候補領域に対応する前記第２撮像画像の第２領域画像とを学習済みニューラルネットワークに入力して、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを検出するステップである、請求項１記載の位置検出方法。
3. 前記出力ステップは、前記第１領域画像から求められる前記指示体の位置を示すデータと、前記第２領域画像から求められる前記指示体の位置を示すデータとを、指示位置座標検出用の前記学習済みニューラルネットワークに入力して指示位置の座標を求める処理、及び、前記第１領域画像から求められる前記指示体の位置を示すデータと、前記第２領域画像から求められる前記指示体の位置を示すデータとを、接触判定用の前記学習済みニューラルネットワークに入力して前記指示体が前記操作面に接触したか否かを判定する処理を含む、請求項２記載の位置検出方法。
4. 前記赤外光の照射方向が異なる複数の前記第１撮像画像及び前記第２撮像画像をニューラルネットワークに入力して学習させ、前記学習済みニューラルネットワークを生成する学習ステップを有する、請求項２又は３記載の位置検出方法。
5. 前記検出ステップは、前記差分画像よりも解像度が小さい第１差分画像と、前記第１差分画像よりも解像度が小さい第２差分画像とを生成し、
   予め設定されたサイズの図形を前記第２差分画像の前記候補領域に重畳させ、前記図形が領域内に収まる前記候補領域の前記差分画像を除去し、
   前記第２差分画像で画像を除去した領域に対応する前記第１差分画像の領域の画像を除去し、
   前記図形を前記第１差分画像の前記候補領域に重畳させ、前記図形が領域内に収まる前記候補領域の前記差分画像を除去し、前記差分画像が残った領域に基づいて前記指示体の先端を検出する、請求項１から４のいずれか１項に記載の位置検出方法。
6. 指示体により指示される操作面の位置を検出する位置検出装置であって、
   前記操作面に対応する方向に赤外光を照射させる照射制御部と、
   撮像視点が異なり、前記赤外光による画像を撮像する第１撮像部及び第２撮像部により前記操作面を撮像し、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得部と、
   前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成部と、
   前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記指示体の画像が含まれる候補領域として抽出する抽出部と、
   抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出部と、
   前記検出部の検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力部と、
   を有する位置検出装置。
7. 撮像視点が異なり、赤外光による画像を取得する第１撮像部及び第２撮像部を備える撮像装置と、
   操作面に対応する方向に前記赤外光を照射する検出光照射装置と、
   前記第１撮像部及び前記第２撮像部により前記操作面を撮像した画像であって、前記操作面にキャリブレーションされた第１撮像画像と第２撮像画像とを取得する取得部と、
   前記第１撮像画像と前記第２撮像画像との差分画像を生成する生成部と、
   前記差分画像のうち、前記第１撮像画像と前記第２撮像画像との視差量が、予め設定された範囲内の領域を、前記操作面に対する操作を行う指示体の画像が含まれる候補領域として抽出する抽出部と、
   抽出された前記候補領域から前記指示体の先端に対応する領域を、前記指示体の形状に基づいて検出する検出部と、
   前記検出部の検出結果に基づき、前記操作面における前記指示体の指示位置と、前記指示体が前記操作面に接触したか否かを示す情報とを出力する出力部と、を備える位置検出装置と、
   を有する位置検出システム。

Images