JP6286836B2 - 投影システム、投影装置、投影方法、及び投影プログラム - Google Patents

Description

本発明は、投影システム、投影装置、投影方法、及び投影プログラムに関する。

近年、投影装置は、多くの人が同時に閲覧可能な表示面積を有することから、例えば、デジタルサイネージなどに利用される。このような利用場面では、閲覧者とのインタラクティブ性が求められる。そこで、例えば、特許文献１には、指先により表示画面をポイティングする技術が開示されている。また、特許文献２には、投影画像に対する被写体のインタラクションに応じた処理を行う技術が開示されている。

しかしながら、従来の技術では、閲覧者が直感的な操作を行うことができない。

例えば、デジタルサイネージは、不特定多数の人に対して行動を喚起し、広告、集客、又は販売促進などを行いたい店舗や施設などに導入されることが多い。そのため、導入先では、対象者が電子機器の操作になれているかどうかに関係なく、多くの人が表示情報と関わり、その内容に興味をもってもらい、顧客価値を向上させたい。つまり、不特定多数の人を対象とするデジタルサイネージの利用場面では、対象者が表示情報と積極的に関われる直感的な操作を可能とする環境が求められている。このような利用場面に対して、従来の技術では、電子機器の操作にある程度慣れている人を対象とする技術であり、不慣れな人にとっては、どのように操作すればよいのか分かりづらく、扱いにくいという問題がある。このようなことから、不特定多数の人にも取り扱いが容易な操作性が必要となる。

本発明は、上記に鑑みてなされたものであって、不特定多数の人にも取り扱いが容易な操作性を実現できる投影システム、投影装置、投影方法、及び投影プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る投影システムは、画像を投影する投影部と、前記投影部によって投影される画像に対する検知領域の撮像画像を取得する撮像部と、前記撮像部により取得された撮像画像に基づき、前記投影部により投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識部と、前記撮像部により取得された撮像画像に基づき、前記物体認識部によって検知された前記対象者による前記手の動きを認識する動作認識部と、前記物体認識部によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定部と、前記決定部により決定された加工条件に従い、前記動作認識部によって認識された指示動作に応じて加工画像を生成する加工部と、前記投影部によって投影される画像に対して前記加工部によって生成された加工画像を重畳した合成画像を生成して前記投影部による投影を制御する制御部と、を備える。

本発明によれば、不特定多数の人にも取り扱いが容易な操作性を実現できるという効果を奏する。

図１は、第１の実施形態に係る投影システムの構成例を示す図である。 図２は、第１の実施形態に係る投影システムの概略図である。 図３は、第１の実施形態に係るＰＣの構成例を示す図である。 図４は、第１の実施形態に係る投影機能の構成例を示す図である。 図５は、第１の実施形態に係る決定情報のデータ例を示す図である。 図６は、第１の実施形態に係る撮像装置の処理手順例を示すフローチャートである。 図７は、第１の実施形態に係るＰＣの処理手順例を示すフローチャートである。 図８は、第１の実施形態に係るサーバの処理手順例を示すフローチャートである。 図９は、第１の実施形態に係る投影装置の処理手順例を示すフローチャートである。 図１０は、第１の実施形態に係る画像加工決定時の処理手順例を示すフローチャートである。 図１１は、第１の実施形態に係る加工画像生成時の処理手順例を示すフローチャートである。 図１２は、変形例１に係る投影機能の構成例を示す図である。 図１３は、変形例２に係る投影機能の構成例を示す図である。 図１４は、変形例２に係る投影装置の構成例を示す図である。 図１５は、変形例２に係る投影システムの概略図である。

以下に、添付図面を参照して、投影システム、投影装置、投影方法、及び投影プログラムの実施形態を詳細に説明する。

［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る投影システム１０００の構成例を示す図である。図１に示すように、本実施形態に係る投影システム１０００は、ＰＣ（Personal Computer）１００、投影装置２００、サーバ３００、及び撮像装置４００などを備え、データ伝送路Ｎを介して相互に接続されている。

本実施形態に係るＰＣ１００は、演算装置を備え情報処理機能を有する機器であり、情報処理装置などに相当する。なお、ＰＣ１００には、タブレットなどの情報端末も含まれる。本実施形態に係る投影装置２００は、光学系の投影エンジンを備え投影機能を有する機器であり、プロジェクタなどに相当する。本実施形態に係るサーバ３００は、演算装置や大容量の記憶装置を備えサーバ機能を有する機器であり、サーバ装置やユニット装置などに相当する。本実施形態に係る撮像装置４００は、光学系の撮像エンジンを備え撮像機能を有する機器であり、カメラや撮像センサなどに相当する。データ伝送路Ｎは、例えば、ＬＡＮ（Local Area Network）、イントラネット、イーサネット（登録商標）、又はインターネットなどの各種ネットワーク通信路に相当する。なお、ネットワーク通信路では、有線又は無線を問わない。また、データ伝送路Ｎには、ＵＳＢ（Universal Serial Bus）などの各種バス通信路も含まれる。

図２は、本実施形態に係る投影システム１０００の概略図である。本実施形態に係る投影システム１０００は、次のようなサービスを提供する。

投影装置２００は、例えばスクリーンなどの投影面Ｓに対して画像を投影する。撮像装置４００は、投影装置２００と投影面Ｓとの間に設置され、対象者の操作や操作時に使用された物体を撮像する。つまり、撮像装置４００の撮像領域は、対象者の操作や操作時に使用された物体を検知するための検知領域Ａに相当し、検知領域Ａの位置は、撮像装置４００の設置位置を調整することにより変更できる。よって、本実施形態に係る投影システム１０００の導入先では、対象者の操作検知や操作時の物体検知を、情報を表示する投影面Ｓに対して最適な位置で行えるように、撮像装置４００の設置位置を調整すればよい。つまり、導入先では、撮像装置４００の設置位置を、対象者が表示情報を閲覧しながら自然に操作可能な位置に調整すればよい。

このような位置に配置された撮像装置４００は、検知領域Ａの撮像画像のデータをＰＣ１００に送信する。これを受けてＰＣ１００は、受信した撮像画像から、対象者の操作や操作時に使用された物体を認識し、認識結果に基づき、物体を使用した対象者の操作が投影画像に反映されるような画像加工を行う。その後、ＰＣ１００は、加工画像のデータを投影装置２００に送信する。このときＰＣ１００は、サーバ３００に対して、投影画像の元データを投影装置２００に送信するように要求する。これを受けてサーバ３００からは、投影装置２００に対して投影画像の元データが送信される。その結果、投影装置２００は、例えば、サーバ３００から受信した投影画像の元データと、ＰＣ１００から受信した加工画像のデータとを合成し（元データに対して加工画像のデータを重畳し）、再投影する。

＜装置構成＞
図３は、本実施形態に係るＰＣ１００の構成例を示す図である。図３に示すように、本実施形態に係るＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、主記憶装置１０２、補助記憶装置１０３、通信ＩＦ（interface）１０４、及び外部ＩＦ１０５などを備え、バスＢを介して相互に接続される。

ＣＰＵ１０１は、装置全体の制御や搭載機能を実現するための演算装置である。主記憶装置１０２は、プログラムやデータなどを所定の記憶領域に保持する記憶装置（メモリ）である。主記憶装置１０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。また、補助記憶装置１０３は、主記憶装置１０２より容量の大きい記憶領域を備える記憶装置である。補助記憶装置１０３は、例えば、ＨＤＤ（Hard Disk Drive）やメモリカード（Memory Card）などの不揮発性の記憶装置である。なお、補助記憶装置１０３には、例えば、フレキシブルディスク（ＦＤ）、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）などの記憶媒体が含まれる。よって、ＣＰＵ１０１は、例えば、補助記憶装置１０３から主記憶装置１０２上に、プログラムやデータを読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する。

通信ＩＦ１０４は、装置をデータ伝送路Ｎに接続するインタフェースである。これにより、ＰＣ１００は、投影装置２００、サーバ３００、又は撮像装置４００とデータ通信が行える。外部ＩＦ１０５は、装置と外部機器１０６との間でデータを送受信するためのインタフェースである。外部機器１０６には、例えば、処理結果などの各種情報を表示する表示装置（例えば「液晶ディスプレイ」）や操作入力を受け付ける入力装置（例えば「テンキー」や「タッチパネル」）などがある。また、外部機器１０６には、例えば、大容量の記憶領域を備える外部記憶装置や各種記憶媒体の書き込み又は読み取りを行うドライブ装置なども含まれる。

以上のように、本実施形態に係る投影システム１０００では、上記構成により、デジタルサイネージなどの利用場面で求められるインタラクティブな投影機能を提供することができる。

＜機能構成＞
本実施形態に係る投影機能について説明する。本実施形態に係る投影システム１０００は、撮像画像から、対象者の操作（指示動作）や操作時（動作時）に使用された物体（対象物体）を認識する。このとき投影システム１０００は、例えば文具などの不特定多数の人が使用目的を知っている物体を認識する。これを受けて投影システム１０００は、認識結果に基づき、物体を使用した操作が投影画像に反映される画像加工条件を決定する。その結果、投影システム１０００は、決定した画像加工条件に従って、投影画像を加工し再投影する。本実施形態に係る投影システム１０００は、このような投影機能を有している。

不特定多数の人を対象とするデジタルサイネージの利用場面では、対象者が表示情報と積極的に関われる直感的な操作を可能とする環境が求められている。しかし、従来の技術では、電子機器の操作にある程度慣れている人を対象とした技術であり、不慣れな人にとっては、どのように操作すればよいのか分かりづらく、扱いにくいという問題があった。このようなことから、不特定多数の人にも取り扱いが容易な操作性が必要となる。

そこで、本実施形態に係る投影機能では、撮像画像から、対象者の操作や操作時に使用された物体を認識し、認識結果に基づき、対象者の想定している操作結果が投影画像に反映される仕組みとした。

これにより、本実施形態に係る投影システム１０００は、対象者が直感的な操作を行うことができ、不特定多数の人にも取り扱いが容易な操作性を実現できる。その結果、本実施形態に係る投影システム１０００の導入先では、多くの人が表示情報と関わることができ、その内容に興味をもってもらえる。つまり、本実施形態に係る投影システム１０００は、導入先が求める顧客価値の向上を実現する環境を提供できる。

以下に、本実施形態に係る投影機能の構成とその動作について説明する。図４は、本実施形態に係る投影機能の構成例を示す図である。図４に示すように、本実施形態に係る投影機能は、認識部１１、画像加工決定部１２、画像加工部１３、画像制御部２１、画像投影部２２、及び決定情報保持部９１などを有する。本実施形態では、ＰＣ１００が、認識部１１、画像加工決定部１２、画像加工部１３、及び決定情報保持部９１を有し、投影装置２００が、画像制御部２１及び画像投影部２２を有する。

《ＰＣ１００の機能》
認識部１１は、対象者の操作や操作時に使用された物体を認識する。よって、認識部１１は、動作認識部１１１と物体認識部１１２とを有する。

動作認識部１１１は、撮像装置４００から受信した撮像画像から、操作時に対象者が行った動作を認識する。本実施形態では、例えば、次のような方法で認識する。動作認識部１１１は、例えば、検知領域Ａの撮像画像から、操作時の対象者の手を検知し、検知結果に基づき、手の動き（操作時の対象者の動き）を検出する。このとき動作認識部１１１は、所定のデータ変換処理により動きを検出する。動作認識部１１１は、検知領域Ａ内を移動する手の動きを検出した場合、検出結果（指示動作の検出結果）を複数の座標値に変換する。その結果、動作認識部１１１は、動作開始位置（以下「操作開始位置」という）から動作終了位置（以下「操作終了位置」という）までの移動量（操作開始位置から操作終了位置までの座標値）を得る。動作認識部１１１は、上記方法により、操作時の対象者の動きを認識する。

物体認識部１１２は、撮像装置４００から受信した撮像画像から、操作時に対象者が使用した物体を認識する。本実施形態では、例えば、次のような方法で認識する。物体認識部１１２は、例えば、検知領域Ａの撮像画像から、操作時の対象者の手を検知し、検知結果に基づき、手が持つ物体（操作時に使用された物体）を検出する。つまり、物体認識部１１２は、物体を持つ対象者の手を検知し、手が持つ物体を検出する。このとき物体認識部１１２は、所定の画像処理により物体を検出する。例えば、物体認識部１１２には、操作時に使用する文具など（不特定多数の人が使用目的を知っている物体など）の認識したい物体の特徴をデータ化し、特徴データとして予め記憶しておく。なお、ここでいう特徴データには、例えば、物体の画像データや物体の形状データなどがある。物体認識部１１２は、検知領域Ａの撮像画像に対して画像処理を行い、例えば、色、濃度、画素の変化といった画像特徴の抽出結果（対象物体の検出結果）を、記憶している特徴データと比較し、抽出結果が特徴データと一致するか否かを判定する。その結果、物体認識部１１２は、抽出結果が一致した特徴データに対応する物体を認識物体とし、物体を識別する情報（以下「物体識別情報」という）を得る。なお、特徴データは、例えば、ＰＣ１００が備える補助記憶装置１０３の所定の記憶領域に記憶する構成であってもよい。この場合、物体認識部１１２は、物体認識時に補助記憶装置１０３にアクセスし、特徴データを参照すればよい。物体認識部１１２は、上記方法により、操作時に使用された物体を認識する。

このように、本実施形態では、撮像装置４００が、対象者の動作指示や対象物体を検出する検出装置に相当し、撮像画像が検出情報に相当する。よって、認識部１１は、検出装置により取得された検出情報に基づき、投影画像に対する対象者の動作指示と対象物体とを認識する。

画像加工決定部１２は、操作時の投影画像に対して実施する画像加工条件（操作時の投影画像に対してどのような画像加工を実施するのか）を決定する。画像加工決定部１２は、操作時に使用された物体の認識結果に基づき、物体を使用した操作が投影画像に反映される画像加工条件を決定する。本実施形態では、例えば、次のような方法で決定する。画像加工決定部１２は、決定情報保持部９１にアクセスし、物体の認識結果に基づき、決定情報保持部９１が保持する決定情報を参照し、認識した物体に対応する画像加工条件を特定することで、画像加工条件を決定する。なお、決定情報保持部９１は、ＰＣ１００が備える補助記憶装置１０３の所定の記憶領域に相当する。

ここで、本実施形態に係る決定情報について説明する。
（決定情報）
図５は、本実施形態に係る決定情報９１Ｄのデータ例を示す図である。図５に示すように、本実施形態に係る決定情報９１Ｄは、物体識別及び画像加工条件などの情報項目を有し、各情報項目が対応付けられている。物体識別項目は、物体識別情報が定義される項目である。項目値には、例えば、赤ペン、黒ペン、赤マジック、黒マジック、消しゴム、はさみ、又はカッターなどの文具名や製品コード（製品識別子）などがある。また、画像加工条件項目は、物体に対応する画像加工の１又は複数の条件情報（以下「画像加工条件情報」という）が定義される項目である。項目値には、例えば、線描画、部分消去、又は分割などの画像加工種別値、及び、赤、黒、ポイント数などの画像加工属性値などがある。このように、本実施形態に係る決定情報９１Ｄは、物体識別情報と画像加工条件情報とが対応付けて定義される定義情報に相当する。

本実施形態に係る決定情報９１Ｄでは、上記データ構成により、認識対象の物体と、認識対象の物体を操作時に使用した場合の投影画像に対する画像加工条件とが対応付けて定義できる。より具体的には、物体を操作時に使用した場合の投影画像に対して実施する画像加工の種別と画像加工の属性とを対応付けて定義できる。よって、ＰＣ１００では、物体を認識する前に（投影システム１０００を稼働する前に）、認識した物体に対して実施する画像加工の条件設定（物体を使用した操作を投影画像に反映する画像加工の条件設定）を予め受け付ける。これにより、ＰＣ１００には、受け付けた条件設定が決定情報９１Ｄの情報項目値として登録される。画像加工決定部１２は、このようにして設定された物体識別情報と画像加工条件情報とを参照し、物体識別情報に対応付けて定義される画像加工条件情報を特定することで、物体を使用した操作が投影画像に反映される画像加工条件を決定する。

例えば、画像加工決定部１２が、図５に示す決定情報９１Ｄを参照する場合には、次のように画像加工条件が決定される。例えば、物体認識部１１２が、操作時に使用された物体として「赤ペン」を認識したとする。この場合、画像加工決定部１２は、物体の認識結果「赤ペン」に基づき、決定情報９１Ｄの物体識別情報を参照し、該当する物体識別情報の有無により、認識した「赤ペン」が、予め登録されている物体（操作時に使われることが想定される物体）か否かを判定する。その結果、画像加工決定部１２は、認識した「赤ペン」が、予め登録されている物体であると判定した場合（該当する物体識別情報が存在する場合）、該当する物体識別情報に対応付けて定義される画像加工条件情報を特定する。その結果、画像加工決定部１２は、認識した「赤ペン」に対応する画像加工種別値「線描画」と、画像加工属性値「赤」及び「１．５［ｐｔ］」とを特定する。これにより、画像加工決定部１２は、認識した「赤ペン」に対して、１．５［ｐｔ］の赤線を描画する画像加工条件を決定する。同様にして、画像加工決定部１２は、物体認識部１１２により「消しゴム」が認識された場合、認識した「消しゴム」に対して、画像を部分消去する画像加工条件を決定する。また、画像加工決定部１２は、物体認識部１１２により「はさみ」又は「カッター」が認識された場合、画面を分割する画像加工条件を決定する。画像加工決定部１２は、上記方法により、操作時の投影画像に対して実施する画像加工条件を決定する。

画像加工部１３は、投影画像に対する加工画像を生成する。画像加工部１３は、決定した画像加工条件に従って、加工画像を生成する。本実施形態では、例えば、次のような方法で生成する。画像加工部１３は、例えば、投影画像と同じサイズの透明画像を生成する。次に画像加工部１３は、画像加工決定部１２が決定した画像加工条件に従い、透明画像に対して、動作認識部１１１で得た移動量に基づく描画処理を行う。例えば、画像加工部１３は、画像加工決定部１２が、認識した「赤ペン」に対して、１．５［ｐｔ］の赤線を描画する画像加工を決定した場合、操作開始位置から操作終了位置までの座標値に基づき、透明画像に、１．５［ｐｔ］の赤線画像を描画する。また、画像加工部１３は、画像加工決定部１２が、認識した「消しゴム」に対して、画像を部分消去する画像加工を決定した場合、操作開始位置から操作終了位置までの座標値に基づき、透明画像に、消去領域に相当する白画像を描画する。また、画像加工部１３は、画像加工決定部１２が、認識した「はさみ」又は「カッター」に対して、画像を分割する画像加工を決定した場合、操作開始位置から操作終了位置までの座標値に基づき、透明画像に、分割線に相当する白線を描画する。画像加工部１３は、このような方法により、対象者の想定している操作結果を投影画像に反映する加工画像を生成する。その後、画像加工部１３は、生成した加工画像のデータを投影装置２００に送信する。また、画像加工部１３は、サーバ３００に対して、投影画像の元データを投影装置２００に送信するように要求する。

《投影装置２００の機能》
画像制御部２１は、画像の投影を制御する。画像制御部２１は、加工画像に基づき、投影面Ｓへの画像の投影を制御する。本実施形態では、例えば、次のような方法で制御する。画像制御部２１は、サーバ３００から受信した投影画像の元データとＰＣ１００から受信した加工画像のデータとを合成する。このとき画像制御部２１は、投影画像の元データに対して、加工画像のデータを重畳し、投影画像と加工画像との合成画像を生成する。例えば、画像制御部２１は、画像加工部１３が、１．５［ｐｔ］の赤線画像が描画された加工画像を生成した場合、投影画像上に１．５［ｐｔ］の赤線画像が重畳された合成画像を生成する。また、画像制御部２１は、画像加工部１３が、消去領域に相当する白画像が描画された加工画像を生成した場合、投影画像上に白画像が重畳され、重畳部分が消去領域に対応した合成画像を生成する。また、画像制御部２１は、画像加工部１３が、分割線に相当する白線が描画された加工画像を生成した場合、投影画像上に白線が重畳され、白線により分割された合成画像を生成する。画像制御部２１は、上記方法により、対象者の想定している操作結果が投影画像に反映された合成画像を生成し、投影面Ｓへの画像の投影を制御する。

画像投影部２２は、投影エンジンにより画像を投影する。画像投影部２２は、画像制御部２１により制御された画像（例えば「合成画像」）を投影エンジンに転送し、画像の投影を指示することで、画像を投影する。

以上のように、本実施形態に係る投影機能は、上記各機能部が連携動作することで実現される。具体的には、ＰＣ１００、投影装置２００、及びサーバ３００などの各機器において、プログラムを実行することで、上記各機能部が連携動作する。

上記プログラムは、実行環境の各装置（コンピュータ）が読み取り可能な記憶媒体に、インストール可能な形式又は実行可能な形式のファイルで記録され提供される。例えば、ＰＣ１００の場合には、プログラムは、上記各機能部を含むモジュール構成となっており、ＣＰＵ１０１が補助記憶装置１０３の記憶媒体からプログラムを読み出し実行することで、主記憶装置１０２のＲＡＭ上に各機能部が生成される。なお、プログラムの提供方法は、この限りでない。例えば、プログラムを、インターネットなどに接続された外部機器に格納し、データ伝送路Ｎ経由でダウンロードする方法であってもよい。また、主記憶装置１０２のＲＯＭや補助記憶装置１０３のＨＤＤなどに予め組み込んで提供する方法であってもよい。

以下に、本実施形態に係る投影システム１０００の処理（各装置間における搭載機能部の連携動作）について、フローチャートを用いて説明する。

《撮像装置４００の処理》
図６は、本実施形態に係る撮像装置４００の処理手順例を示すフローチャートである。図６に示すように、本実施形態に係る撮像装置４００は、検知領域Ａを撮像し（ステップＳ１０１）、撮像画像のデータをＰＣ１００に送信する（ステップＳ１０２）。このとき撮像装置４００からＰＣ１００に送信されるデータは、静止画や動画などを問わず、検知領域Ａの撮像画像が含まれるデータであればよい。

《ＰＣ１００の処理》
図７は、本実施形態に係るＰＣ１００の処理手順例を示すフローチャートである。図７に示すように、本実施形態に係るＰＣ１００は、撮像装置４００から送信された検知領域Ａの撮像画像のデータを受信する（ステップＳ２０１）。

これを受けてＰＣ１００は、物体認識部１１２により、操作時に対象者が使用した物体を認識する（ステップＳ２０２）。このとき物体認識部１１２は、受信した検知領域Ａの撮像画像から、操作時の対象者の手を検知し、検知結果に基づき、手が持つ物体（操作時に使用された物体）を検出する。これにより、物体認識部１１２は、検出した物体の物体識別情報を得る。

次にＰＣ１００は、動作認識部１１１により、操作時に対象者が行った動作を認識する（ステップＳ２０３）。このとき動作認識部１１１は、受信した検知領域Ａの撮像画像から、操作時の対象者の手を検知し、検知結果に基づき、手の動き（操作時の対象者の動き）を検出する。これにより、動作認識部１１１は、検出した動きに対応する移動量（操作開始位置から操作終了位置までの座標値）を得る。

次にＰＣ１００は、画像加工決定部１２により、操作時の投影画像に対して実施する画像加工条件を決定する（ステップＳ２０４）。このとき画像加工決定部１２は、決定情報保持部９１にアクセスし、認識部１１による物体の認識結果に基づき、決定情報保持部９１が保持する決定情報９１Ｄを参照する。その結果、画像加工決定部１２は、決定情報９１Ｄにおいて、認識した物体の物体識別情報に対応づけられた画像加工条件情報を特定し、認識した物体に対応する画像加工条件を決定する。

次にＰＣ１００は、画像加工部１３により、投影画像に対する加工画像を生成する（ステップＳ２０５）。このとき画像加工部１３は、画像加工決定部１２により決定された画像加工条件に従って、画像描画を行い、加工画像を生成する。

次にＰＣ１００は、生成した加工画像のデータを投影装置２００に送信する（ステップＳ２０６）。このときＰＣ１００は、サーバ３００に対して、投影画像の元データを投影装置２００に送信するように要求する。

《サーバ３００の処理》
図８は、本実施形態に係るサーバ３００の処理手順例を示すフローチャートである。図８に示すように、本実施形態に係るサーバ３００は、ＰＣ１００から送信されたデータを受信する（ステップＳ３０１）。このときの受信データは、投影装置２００への投影画像の元データの送信要求（リクエストコマンド）である。よって、サーバ３００では、該当するリクエストコマンドを受信することにより、データ送信要求を受け付ける。

これを受けてサーバ３００は、投影画像の元データを投影装置２００に送信する（ステップＳ３０２）。

《投影装置２００の処理》
図９は、本実施形態に係る投影装置２００の処理手順例を示すフローチャートである。図９に示すように、本実施形態に係る投影装置２００は、サーバ３００から送信された投影画像の元データと、ＰＣ１００から送信された加工画像のデータとを受信する（ステップＳ４０１）。

これを受けて投影装置２００は、画像制御部２１により、加工画像に基づき、投影面Ｓへの画像の投影を制御する（ステップＳ４０２）。このとき画像制御部２１は、例えば、投影画像の元データに対して、加工画像のデータを重畳し、投影画像と加工画像との合成画像を生成する。

次に投影装置２００は、画像投影部２２により、画像制御部２１により制御された画像を投影する（ステップＳ４０３）。このとき画像投影部２２は、例えば、合成画像を投影エンジンに転送し、画像の投影を指示する。

このように、本実施形態に係る投影システム１０００は、検知領域Ａの撮像画像から、対象者の操作や操作時に使用された物体を認識し、認識結果に基づき、物体を使用した操作が投影画像に反映される画像加工条件を決定する。その結果、本実施形態に係る投影システム１０００は、決定した画像加工条件に従って、投影画像を加工し再投影する。これにより、本実施形態に係る投影システム１０００では、対象者の想定している操作結果が投影画像に反映される。

次に、本実施形態に係るＰＣ１００で実行される画像加工決定処理と画像加工処理について、フローチャートを用いてその詳細を説明する。

《画像加工決定時の処理》
図１０は、本実施形態に係る画像加工決定時の処理手順例を示すフローチャートである。図１０に示す処理は、図７のステップＳ２０４（画像加工決定部１２）の詳細処理に相当する。

図１０に示すように、本実施形態に係る画像加工決定部１２は、決定情報保持部９１にアクセスし、認識した物体の物体識別情報に基づき、決定情報９１Ｄを参照する（ステップＳ２０４１）。

画像加工決定部１２は、物体識別情報に基づく参照結果から、認識物体が決定情報９１Ｄに登録済みの物体か否かを判定する（ステップＳ２０４２）。このとき画像加工決定部１２は、認識した物体の物体識別情報と一致する値が、決定情報９１Ｄの物体認識項目の項目値に存在するか否かを判定することで、登録済みの物体か否かを判定する。

その結果、画像加工決定部１２は、認識物体が決定情報９１Ｄに登録済みの物体と判定した場合（ステップＳ２０４２：ＹＥＳ）、認識した物体に対応する画像加工条件を決定する（ステップＳ２０４３）。このとき画像加工決定部１２は、認識した物体の物体識別情報と一致した物体認識項目に対応づけられた画像加工条件項目の項目値（画像加工条件情報）を特定することで、操作時の投影画像に対して実施する画像加工条件を決定する。

一方、画像加工決定部１２は、認識物体が決定情報９１Ｄに未登録の物体と判定した場合（ステップＳ２０４２：ＮＯ）、認識した物体に対応する画像加工条件を決定しない。

このように、本実施形態に係る画像加工決定部１２は、操作時に使用された物体が決定情報９１Ｄに登録済みの物体であった場合に、投影画像の画像加工を決定する。

《加工画像生成時の処理》
図１１は、本実施形態に係る加工画像生成時の処理手順例を示すフローチャートである。図１１に示す処理は、図７のステップＳ２０５（画像加工部１３）の詳細処理に相当する。

図１１に示すように、本実施形態に係る画像加工部１３は、操作時の投影画像に対して実施する画像加工条件を決定されたか否かを判定する（ステップＳ２０５１）。このとき画像加工部１３は、画像加工決定部１２から画像加工条件情報を受け取ったか否かを判定することで、画像加工が決定されたか否かを判定する。

その結果、画像加工部１３は、操作時の投影画像に対して実施する画像加工条件を決定されたと判定した場合（ステップＳ２０５１：ＹＥＳ）、決定された画像加工条件に従った画像加工を行う（ステップＳ２０５２）。このとき画像加工部１３は、画像加工条件に従い、動作認識部１１１で得た移動量に基づく画像描画を行い、加工画像を生成する。

一方、画像加工部１３は、操作時の投影画像に対して実施する画像加工条件を決定されていないと判定した場合（ステップＳ２０５１：ＮＯ）、画像加工を行わない。

このように、本実施形態に係る画像加工部１３は、画像加工決定部１２により画像加工が決定された場合、操作時の投影画像に対して実施する画像加工を行う。

＜まとめ＞
以上のように、本実施形態に係る投影システム１０００によれば、認識部１１が、撮像画像から、対象者の操作や操作時に使用された物体を認識する。このとき認識部１１は、例えば文具などの不特定多数の人が使用目的を知っている物体を認識する。これを受けて投影システム１０００は、画像加工決定部１２が、認識結果に基づき、物体を使用した操作が投影画像に反映される画像加工条件を決定する。次に投影システム１０００は、画像加工部１３が、決定した画像加工条件に従って、加工画像を生成する。その結果、投影システム１０００では、画像制御部２１が、加工画像に基づき、投影面Ｓへの画像の投影を制御し、画像投影部２２が、制御された画像を投影する。

すなわち、本実施形態に係る投影システム１０００は、撮像画像から、対象者の操作や操作時に使用された物体を認識し、認識結果に基づき、対象者の想定している操作結果が投影画像に反映される環境を提供する。

これにより、本実施形態に係る投影システム１０００では、電子機器に不慣れな人であっても、操作時に使用する物体の使用目的から、直感的に操作を行うことができる。その結果、本実施形態に係る投影システム１０００の導入先では、多くの人が表示情報と関わることができ、その内容に興味をもってもらえる。つまり、本実施形態に係る投影システム１０００は、導入先に対して、顧客価値を向上する環境を提供することができる。

なお、上記実施形態では、投影システム１０００の機能が、ソフトウェアの実装により実現する例を説明したが、この限りでない。例えば、上記各機能部の一部又は全部を、ハードウェア（例えば「回路」）の実装により実現してもよい。

また、上記実施形態では、操作時に使用される物体として文具を例に説明したが、この限りでない。上記実施形態で想定する操作時に使用される物体は、不特定多数の人が使用目的を知っている物体であればよい。

以下に、上記実施形態に対する変形例を説明する。なお、以下の説明では、上記実施形態と同じ事項に同一符号を付してその説明を省略し、異なる事項について説明する。

［変形例１］
図１２は、本変形例１に係る投影機能の構成例を示す図である。図１２に示すように、本変形例１に係る投影機能は、外部記憶装置（外部ストレージ）５００が、決定情報保持部９１を有する。外部記憶装置５００は、例えば、ＰＣ１００が備える通信ＩＦ１０４又は外部ＩＦ１０５を介して、データ通信可能である。このように、決定情報保持部９１は、ＰＣ１００が備える補助記憶装置１０３の所定の記憶領域でなくてもよい。つまり、決定情報保持部９１は、画像加工決定部１２からアクセス可能な記憶領域であればよい。

このように、本変形例１に係る投影機能では、上記実施形態と同様の効果を奏すとともに、画像加工決定部１２を有する複数のＰＣ１００に対して、画像加工を決定するための決定情報９１Ｄを共有することで、決定情報９１Ｄの管理を簡素化できる。

［変形例２］
図１３は、本変形例２に係る投影機能の構成例を示す図である。図１３に示すように、本変形例２に係る投影機能は、投影装置２００が、画像制御部２１及び画像投影部２２に加えて、認識部１１、画像加工決定部１２、画像加工部１３、及び決定情報保持部９１などを有する。この場合、本変形例２に係る投影機能は、例えば、図１４に示す装置構成の投影装置２００でプログラムが実行されることにより、各機能が連携動作することで実現される。

図１４は、本変形例２に係る投影装置２００の構成例を示す図である。図１４に示すように、本変形例２に係る投影装置２００は、ＣＰＵ２０１、メモリコントローラ２０２、メインメモリ２０３、及びホスト−ＰＣＩ（Peripheral Component Interconnect）ブリッジ２０４などを備える。

メモリコントローラ２０２は、ホスト・バス８０を介して、ＣＰＵ２０１、メインメモリ２０３、及びホスト−ＰＣＩブリッジ２０４に接続される。

ＣＰＵ２０１は、投影装置２００の全体制御を行う演算装置である。メモリコントローラ２０２は、メインメモリ２０３の読み込み又は書き込みを制御する制御回路である。メインメモリ２０３は、例えば、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、又は描画用メモリなどとして用いる半導体メモリである。

ホスト−ＰＣＩブリッジ２０４は、周辺デバイスやＰＣＩデバイス２０５を接続するためのブリッジ回路である。ホスト−ＰＣＩブリッジ２０４は、ＨＤＤ ＩＦ７０を介して、メモリカード２０６に接続される。また、ホスト−ＰＣＩブリッジ２０４は、ＰＣＩバス６０を介して、ＰＣＩデバイス２０５に接続される。また、ホスト−ＰＣＩブリッジ２０４は、ＰＣＩバス６０及びＰＣＩスロット５０を介して、通信カード２０７、無線通信カード２０８、及びビデオカード２０９に接続される。

メモリカード２０６は、基本ソフトウェア（ＯＳ：Operating System）のブートデバイスとして利用される記憶メディアである。通信カード２０７及び無線通信カード２０８は、装置をネットワーク又は通信回線に接続し、データ通信を制御する通信制御装置である。ビデオカード２０９は、接続された表示装置に映像信号を出力し、画像の表示を制御する表示制御装置である。なお、本変形例２に係る投影装置２００で実行される制御プログラムは、メインメモリ２０３の格納用メモリなどに予め組み込まれて提供される。

このように、本変形例２に係る投影機能では、上記実施形態と同様の効果を奏すとともに、投影装置２００単体により上記機能を実現することで、例えば、図１５に示すようにシステムを簡素化できる。

図１５は、本変形例２に係る投影システム１０００の概略図である。図１５に示すように、本変形例２に係る投影システム１０００では、撮像装置４００が、検知領域Ａの撮像画像のデータを投影装置２００に送信する。これを受けて投影装置２００は、受信した撮像画像から、対象者の操作や操作時に使用された物体を認識し、認識結果に基づき、物体を使用した対象者の操作が投影画像に反映されるような画像加工を行う。その後、投影装置２００は、サーバ３００に対して、投影画像の元データを送信するように要求する。これを受けてサーバ３００からは、投影装置２００に対して投影画像の元データが送信され、投影装置２００は、例えば、サーバ３００から受信した投影画像の元データと加工画像のデータとを合成し（元データに対して加工画像のデータを重畳し）、再投影する。

最後に、上記実施形態に挙げた形状や構成に、その他の要素との組み合わせなど、ここで示した要件に、本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１１ 認識部
１１１ 動作認識部
１１２ 物体認識部
１２ 画像加工決定部
１３ 画像加工部
２１ 画像制御部
２２ 画像投影部
９１ 決定情報保持部
１００ ＰＣ（情報処理装置）
２００ 投影装置
３００ サーバ
４００ 撮像装置
１０００ 投影システム

特許第３１１４８１３号公報 特開２０１１−１８８０２４号公報

Claims (7)

1. 画像を投影する投影部と、
   前記投影部によって投影される画像に対する検知領域の撮像画像を取得する撮像部と、
   前記撮像部により取得された撮像画像に基づき、前記投影部により投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識部と、
   前記撮像部により取得された撮像画像に基づき、前記物体認識部によって検知された前記対象者による前記手の動きを認識する動作認識部と、
   前記物体認識部によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定部と、
   前記決定部により決定された加工条件に従い、前記動作認識部によって認識された指示動作に応じて加工画像を生成する加工部と、
   前記投影部によって投影される画像に対して前記加工部によって生成された加工画像を重畳した合成画像を生成して前記投影部による投影を制御する制御部と、
   を備えることを特徴とする投影システム。
2. 前記動作認識部は、
   前記手の動きの検出結果を複数の座標値に変換し、動作開始位置から動作終了位置までの移動量を得て、
   前記加工部は、
   前記決定部により決定された加工条件に従って、前記動作認識部で得た前記移動量に基づく描画処理を行い、加工画像を生成する、
   ことを特徴とする請求項１に記載の投影システム。
3. 前記物体認識部は、
   前記対象物体の検出結果に基づき、前記対象物体の物体識別情報を得て、
   前記決定部は、
   前記対象物体と、前記対象物体に対する前記加工条件を表す加工条件情報とが対応付けて定義される定義情報を参照し、前記物体認識部で得た前記物体識別情報に対応付けて定義される前記加工条件情報を特定し、前記加工条件を決定する、
   ことを特徴とする請求項１に記載の投影システム。
4. 情報処理装置と、画像を投影する投影装置と、前記投影装置によって投影される画像に対する検知領域の撮像画像を取得する撮像部と、を備える投影システムであって、
   前記情報処理装置が、
   前記撮像部により取得された撮像画像に基づき、投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識部と、
   前記撮像部により取得された撮像画像に基づき、前記物体認識部によって検知された前記対象者による前記手の動きを認識する動作認識部と、
   前記物体認識部によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定部と、
   前記決定部により決定された加工条件に従い、前記動作認識部によって認識された指示動作に応じて加工画像を生成する加工部と、
   を備え、
   前記投影装置が、
   画像を投影する投影部と、
   前記投影部によって投影される画像に対して前記加工部によって生成された加工画像を重畳した合成画像を生成して前記投影部による投影を制御する制御部と、
   を備える、
   ことを特徴とする投影システム。
5. 画像を投影する投影部と、
   前記投影部によって投影される画像に対する検知領域の撮像画像を取得する撮像部と、
   前記撮像部により取得された撮像画像に基づき、前記投影部により投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識部と、
   前記撮像部により取得された撮像画像に基づき、前記物体認識部によって検知された前記対象者による前記手の動きを認識する動作認識部と、
   前記物体認識部によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定部と、
   前記決定部により決定された加工条件に従い、前記動作認識部によって認識された指示動作に応じて加工画像を生成する加工部と、
   前記投影部によって投影される画像に対して前記加工部によって生成された加工画像を重畳した合成画像を生成して前記投影部による投影を制御する制御部と、
   を備えることを特徴とする投影装置。
6. 画像を投影する投影工程と、
   前記投影工程によって投影される画像に対する検知領域の撮像画像を取得する撮像工程と、
   前記撮像工程により取得された撮像画像に基づき、前記投影工程により投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識工程と、
   前記撮像工程により取得された撮像画像に基づき、前記物体認識工程によって検知された前記対象者による前記手の動きを認識する動作認識工程と、
   前記物体認識工程によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定工程と、
   前記決定工程により決定された加工条件に従い、前記動作認識工程によって認識された指示動作に応じて加工画像を生成する加工工程と、
   前記投影工程によって投影される画像に対して前記加工工程によって生成された加工画像を重畳した合成画像を生成して前記投影工程による投影を制御する制御工程と、
   を含むことを特徴とする投影方法。
7. コンピュータに、
   画像を投影する投影工程と、
   前記投影工程によって投影される画像に対する検知領域の撮像画像を取得する撮像工程と、
   前記撮像工程により取得された撮像画像に基づき、前記投影工程により投影される画像に対して動作を行う対象者の手を検知し、検知した手で把持されている対象物体を認識する物体認識工程と、
   前記撮像工程により取得された撮像画像に基づき、前記物体認識工程によって検知された前記対象者による前記手の動きを認識する動作認識工程と、
   前記物体認識工程によって認識された対象物体に基づき、前記画像に対して実施する加工条件を決定する決定工程と、
   前記決定工程により決定された加工条件に従い、前記動作認識工程によって認識された指示動作に応じて加工画像を生成する加工工程と、
   前記投影工程によって投影される画像に対して前記加工工程によって生成された加工画像を重畳した合成画像を生成して前記投影工程による投影を制御する制御工程と、
   を実行させる投影プログラム。

Images