JP6739847B2 - 画像表示制御装置および画像表示制御用プログラム - Google Patents

Description

本発明は、画像表示制御装置および画像表示制御用プログラムに関し、特に、ヘッドマウントディスプレイに対して描き出される仮想空間における画像の表示を制御する装置に用いて好適なものである。

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術が広く活用されている。ＶＲの応用例は様々であるが、ユーザがゴーグル型のＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して描き出された３次元仮想空間の中で、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。ＶＲは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。

ゴーグル型のＨＭＤを用いたＶＲが持つ魅力の１つは、ＨＭＤの外の現実世界が完全にシャットアウトされるため、ユーザが仮想現実の世界に没頭できるという点である。しかしながら、現実世界が完全にシャットアウトされることがＶＲの魅力となることがある反面、デメリットとなることもある。例えば、ＨＭＤを装着すると外界を見ることが全くできないため、ＨＭＤに描き出された仮想空間の中を歩くようにしてユーザが実際に歩いていると、周囲にある障害物に衝突することがある。

従来、このような問題を解決することを目的とした技術が提案されている（例えば、特許文献１，２参照）。特許文献１に記載のシステムでは、ＨＭＤに搭載されたカメラにより撮影される外界の画像から、ＨＭＤを装着したユーザにとっての障害物を検出し、検出された障害物からユーザまでの距離を計算する。そして、検出された障害物から置換した仮想オブジェクトを、ＨＭＤに表示される仮想空間内で障害物までの距離に応じた位置に合成する。

特許文献２においても、ＨＭＤに表示される画像において、ユーザの近傍に机などの障害物が存在することをユーザに報知するために、机に対応する仮想オブジェクトを仮想空間の画像に重畳させて表示することが開示されている。

特開２０１３−２５７７１６号公報 特開２０１７−１０２２９８号公報

上記特許文献１，２に記載の技術によれば、ユーザは、ＨＭＤに表示されている仮想空間画像の外界にある障害物の存在位置を、仮想空間画像に重畳して表示される障害物の仮想オブジェクトにより把握することができるので、ユーザはＨＭＤを装着したままの状態で障害物を避けて行動することが可能となる。これにより、現実世界が完全にシャットアウトされることに伴うＶＲのデメリットの１つが回避される。

しかしながら、上記特許文献１，２に記載の技術を用いても、ユーザがＨＭＤを装着したままの状態で、現実世界における作業を行うことができないという問題があった。例えば、ＨＭＤに表示された仮想空間画像を見ながら、興味のあるものを備忘録として書き取るために手元でメモをとるとか、スマートフォンを操作するといったことはできない。そのため、従来は、仮想空間画像の再生をいったん停止してＨＭＤを外し、所要の作業を行った後、再びＨＭＤを装着して仮想空間画像の再生を再開するといった面倒な作業を行う必要があった。

本発明は、このような問題を解決するために成されたものであり、ユーザがＨＭＤを装着したままの状態で、現実世界における作業を簡単に行うことができるようにすることを目的とする。

上記した課題を解決するために、本発明では、仮想空間画像が表示されているヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、ヘッドマウントディスプレイから所定距離以内に存在する対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該対象物が含まれる所定範囲の撮影画像を仮想空間画像に重畳して表示させるようにしている。

上記のように構成した本発明によれば、ヘッドマウントディスプレイに搭載されたカメラに写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像に重畳して表示されるので、ユーザは、ヘッドマウントディスプレイを装着したままの状態でも、仮想空間画像に重畳して表示された撮影画像を見ながら所要の作業を適切に行うことができる。このように、本発明によれば、ユーザがヘッドマウントディスプレイを装着したままの状態でも、現実世界における作業を簡単に行うことができる。

第１の実施形態による画像表示制御装置の機能構成例を示すブロック図である。 本実施形態による対象物検出部の処理内容を説明するための図である。 第１の実施形態による画像重畳部の処理内容を説明するための図である。 第１の実施形態による画像表示制御装置の動作例を示すフローチャートである。 第２の実施形態による画像表示制御装置の機能構成例を示すブロック図である。 第２の実施形態による画像重畳部の処理内容を説明するための図である。 第２の実施形態による画像表示制御装置の動作例を示すフローチャートである。 第２の実施形態において重畳領域を可変設定する変形例を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による画像表示制御装置１００の機能構成例を示すブロック図である。第１の実施形態による画像表示制御装置１００は、ＶＲ画像記憶部３００に記憶されている仮想空間画像を再生してＨＭＤ２００に表示させるものである。ＨＭＤ２００には、姿勢検出センサ２０１およびカメラ２０２が搭載されている。第１の実施形態による画像表示制御装置１００は、これら姿勢検出センサ２０１およびカメラ２０２の出力に基づいて、ＨＭＤ２００に表示させる画像を制御する。

図１に示すように、第１の実施形態の画像表示制御装置１００は、その機能構成として、画像再生部１１、撮影画像取得部１２、対象物検出部１３、位置検出部１４および画像重畳部１５を備えている。これら各機能ブロック１１〜１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像表示制御用プログラムが動作することによって実現される。

画像再生部１１は、ＶＲ画像記憶部３００に記憶されている仮想空間画像を再生してＨＭＤ２００に表示させる。仮想空間画像が表示されるＨＭＤ２００には、ジャイロセンサや加速度センサから成る姿勢検出センサ２０１が搭載されており、ＨＭＤ２００を装着したユーザの頭の動きを検出することが可能となっている。画像再生部１１は、姿勢検出センサ２０１により検出されたユーザの頭の動きに応じて、ＨＭＤ２００の表示上に実現される仮想空間画像の視界が動的に変わるように、仮想空間画像の表示を制御する。

撮影画像取得部１２は、ＨＭＤ２００に搭載されたカメラ２０２により撮影された現実世界の画像を取得する。カメラ２０２は、ＨＭＤ２００の前面または上面に搭載され、ＨＭＤ２００の前方を一定の周期で常時撮影する。撮影画像取得部１２は、カメラ２０２により撮影された現実世界の画像を動画像（時系列に連続する複数のフレーム画像の集合）として取得する。

対象物検出部１３は、撮影画像取得部１２により取得された動画像から、ＨＭＤ２００から所定距離以内に存在する対象物を検出する。例えば、対象物検出部１３は、公知の画像認識技術を用いて、撮影画像取得部１２により取得された動画像のフレーム画像毎に、フレーム画像内に含まれている物体を検出する。そして、公知の測距技術を用いて、検出した物体についてＨＭＤ２００からの距離を測定し、所定距離以内に存在する物体のみを上記対象物として検出する。

ここで、対象物検出部１３は、フレーム画像内に含まれている全ての物体を検出の対象としてもよいが、一定の条件を満たす物体のみを検出するようにしてもよい。例えば、所定の大きさ以上で写っている物体のみ検出するようにしてもよいし、フレーム画像の周縁部の所定範囲を除く中央領域に写っている物体のみ検出するようにしてもよい。また、検出した物体までの距離の測定は、ステレオカメラまたは単眼カメラによる撮影画像を用いて物体までの距離を測定する公知の手法により行うことが可能である。

なお、ここでは撮影画像を解析して物体までの距離を測定する例について説明したが、この手法に限定されるものではない。例えば、レーザや赤外線、超音波等を用いた距離センサをＨＭＤ２００に搭載し、これらによって物体までの距離を測定するようにしてもよい。その他、物体までの距離を測定する種々の公知技術を適用することが可能である。

図２は、対象物検出部１３の処理内容を説明するための図である。図２において、ＡＲで示す網掛け領域は、ＨＭＤ２００が搭載するカメラ２０２の撮影範囲を示している。この撮影範囲ＡＲ内に存在する物体ＯＢＴ１，ＯＢＴ２が、カメラ２０２による撮影画像の中に含まれることになる。そして、この撮影画像が撮影画像取得部１２により取得される。対象物検出部１３は、撮影画像取得部１２により取得された撮影画像内に含まれる物体ＯＢＴ１，ＯＢＴ２とＨＭＤ２００（カメラ２０２）との距離ｄ１，ｄ２をそれぞれ検出し、それが所定距離以下である物体ＯＢＴ１のみを対象物として検出する。なお、ｄ１≦所定距離、ｄ２＞所定距離であるものとする。

位置検出部１４は、対象物検出部１３により検出された対象物のＨＭＤ２００に対する相対位置を検出する。相対位置とは、ＨＭＤ２００から対象物までの方向および距離を含む情報である。検出した対象物までの距離は、上述した公知の方法により検出することが可能である。また、検出した対象物への方向は、撮影範囲ＡＲと撮影画像内に写っている対象物の位置との関係から公知の画像認識技術により検出することが可能である。

なお、ここでは撮影画像を解析して対象物の相対位置を検出する例について説明したが、この手法に限定されるものではない。例えば、レーダやＬｉＤＡＲなどを用いた位置検出センサをＨＭＤ２００に搭載し、当該位置検出センサによって対象物の相対位置を検出するようにしてもよい。その他、対象物の相対位置を検出する種々の公知技術を適用することが可能である。

画像重畳部１５は、対象物検出部１３により所定距離以内の位置に対象物が検出されている間、対象物が含まれる所定範囲の画像を仮想空間画像に重畳して表示させる。ここで、画像重畳部１５は、位置検出部１４により検出された対象物の相対位置に基づいて、対象物が含まれる所定範囲の画像を、仮想空間画像において相対位置に応じた位置（以下、「実世界対応位置」という）に重畳して表示させる。画像重畳部１５は、この処理をフレーム画像毎に行う。すなわち、画像重畳部１５は、対象物が含まれる所定範囲の撮影画像を動画として仮想空間画像の実世界対応位置に重畳して表示させる。

ここで、対象物が含まれる所定範囲とは、例えば、撮影画像（各フレーム画像）に対する画像認識により把握される対象物の輪郭線が内接する矩形領域を基準領域とし、当該基準領域から左右方向および上下方向にそれぞれ所定幅の拡張領域を付加した領域の範囲とする。なお、対象物が撮影画像の周縁部に位置しているために、何れかの方向に所定幅の拡張領域を付加できない場合は、その方向に関しては、付加できる範囲で最大の幅の拡張領域を付加するようにしてよい。以下、撮影画像に設定される対象物が含まれる所定範囲を「抽出範囲」という。

ＨＭＤ２００から所定距離以内の対象物が対象物検出部１３により１つのみ検出されている場合は、画像重畳部１５は、その１つの対象物に対して抽出範囲を設定すればよい。一方、対象物検出部１３により複数の対象物が検出され、かつ、当該複数の対象物が撮影画像上で重なっている場合または接している場合は、画像重畳部１５は、複数の対象物ごとに抽出範囲を設定するようにしてもよいし、当該複数の対象物を１つの対象物とみなして、みなした１つの対象物に対して抽出範囲を設定するようにしてもよい。なお、複数の対象物を１つの対象物とみなした場合、当該みなした１つの対象物のＨＭＤ２００に対する相対位置は、元の複数の対象物について検出された相対位置のうち何れか１つを採用する。例えば、ＨＭＤ２００から最も近い相対位置を採用する。

対象物検出部１３により複数の対象物が検出された場合でも、当該複数の対象物が撮影画像上で離間しているときは、画像重畳部１５は、複数の対象物ごとに抽出範囲を設定する。なお、複数の対象物ごとに抽出範囲を設定した場合に、当該複数の抽出範囲どうしに重なりが生じる場合には、当該複数の対象物を１つの対象物とみなして、みなした１つの対象物に対して抽出範囲を設定するようにしてもよい。あるいは、重なりが生じた複数の抽出範囲が内接する１つの大きな抽出範囲を設定するようにしてもよい。以上、抽出範囲の設定方法についていくつかのパターンを説明したが、これらは一例であり、これ以外の方法で抽出範囲を設定してもよい。

また、実世界対応位置とは、撮影画像から抽出して仮想空間画像に重畳して表示させる対象物の仮想空間における位置であって、仮想空間画像を表示している仮想空間におけるユーザの仮想視点から重畳表示させる対象物までの方向および距離を、現実世界におけるＨＭＤ２００から対象物までの方向および距離（位置検出部１４により検出されるもの）と一致させるようにして仮想空間上に設定した位置のことをいう。

図３は、画像重畳部１５の処理内容を説明するための図である。このうち、図３（ａ）は、撮影画像取得部１２により取得された１フレームの撮影画像を示している。また、図３（ｂ）は、撮影画像に設定された抽出範囲の画像を仮想空間画像に重畳して表示させた状態を示している。なお、ここでは説明を分かりやすくするために、カメラ２０２により撮影される撮影画像の画角（視界）と、ＨＭＤ２００の表示画面に表示される仮想空間画像の画角（視界）とが同じものとして図示しているが、必ずしも両者の画角は同じでなくてもよい。ただし、（撮影画像の画角）≦（仮想空間画像の画角）となるようにすることを要する。仮想空間画像の画角が撮影画像の画角より小さいと、撮影画像の周縁部に写っている対象物を仮想空間画像の実世界対応位置に重畳して表示させることができないことが生じるからである。

図３（ａ）に示す撮影画像には、人（ＨＭＤ２００を装着しているユーザ）の手ＯＢＴ１１および当該ユーザが手に把持しているスマートフォンＯＢＴ１２が写っている。人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２は、ＨＭＤ２００から所定距離以内の位置に存在する対象物である。なお、撮影画像内には人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２以外の物体（ＨＭＤ２００から所定距離以内にはない非対象物）も写っているが、図示を省略している。また、ＨＭＤ２００から所定距離以内の位置には、人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２以外の物体は存在しないものとする。

人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２は、対象物検出部１３により、ＨＭＤ２００から所定距離以内に存在する対象物として検出される。ここで、人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２は、撮影画像上で重なっている。よって、画像重畳部１５は、人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２を１つの対象物とみなす。そして、みなした１つの対象物の輪郭線が内接する矩形領域を基準領域３１とし、当該基準領域３１から左右方向および上下方向に拡張領域を付加した領域を抽出範囲３２として設定する。なお、図３（ａ）の例では、下方向に拡張領域を付加していない。これは、ＨＭＤ２００を装着しているユーザの手が撮影画像の下端まで写っているため、基準領域３１の下端が撮影画像の下端に接していて、それより下方に拡張する領域が存在しないためである。

さらに、画像重畳部１５は、図３（ｂ）に示すように、上記のように設定した抽出範囲３２内の画像ＰＴを抽出し、当該抽出した画像ＰＴを、仮想空間画像ＶＲＰの実世界対応位置（すなわち、位置検出部１４により現実世界において検出された対象物の相対位置に対応する仮想空間上の位置）に重畳して表示させる。重畳させた画像ＰＴには矩形枠が表示されており、仮想空間画像ＶＲＰに別の画像が重畳されていることが一目で分かるようにしている。

画像重畳部１５は、図３に示す処理をフレーム画像毎に行う。これにより、ＨＭＤ２００には、仮想空間画像ＶＲＰが動画として表示されるとともに、ＨＭＤ２００から所定距離以内の位置に対象物（人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２）が検出されている間、撮影画像から抽出された当該対象物を含む画像ＰＴが仮想空間画像ＶＲＰ上の実世界対応位置に動画として表示される。これにより、ユーザは、ＨＭＤ２００を外すことなく、実世界対応位置に動画として表示される現実世界の撮影画像ＰＴを見て、スマートフォンの操作を適切に行うことができる。

なお、図３では、ユーザがスマートフォンを把持して操作している状態を例に挙げて説明したが、スマートフォンの操作に限定されるものでないことは言うまでもない。例えば、ＨＭＤ２００を外すことなく家電のリモコンを操作したり、腕時計の時間を確認したり、手帳にメモ書きをしたりすることが可能である。また、図３では、基準領域３１から左右方向および上下方向に拡張領域を付加した領域を抽出範囲３２として設定しているが、基準領域３１をそのまま抽出範囲として設定するようにしてもよい。

また、ここでは、対象物が含まれる矩形の範囲を抽出範囲とする例について説明したが、本発明はこれに限定されない。例えば、対象物（複数の対象物が重なっている場合または接している場合は、当該複数の対象物を１つとみなしたものでもよい）の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。

図４は、以上のように構成した第１の実施形態による画像表示制御装置１００の動作例を示すフローチャートである。図４に示すフローチャートは、ユーザが仮想空間画像の再生を指示したときに開始する。なお、この図４に示すフローチャートは、対象物検出部１３、位置検出部１４および画像重畳部１５によって実行される処理の一例を示している。これと並行して、画像再生部１１によって仮想空間画像の再生および表示が継続して実行されている。

画像再生部１１によって仮想空間画像の再生および表示が開始されると、撮影画像取得部１２は、カメラ２０２により撮影された１フレームの画像を取得する（ステップＳ１）。そして、対象物検出部１３は、撮影画像取得部１２により取得された画像から、ＨＭＤ２００から所定距離以内に存在する対象物を検出する（ステップＳ２）。

次いで、位置検出部１４は、ＨＭＤ２００から所定距離以内に存在する対象物が対象物検出部１３により検出されたか否かを判定する（ステップＳ３）。ここで、ＨＭＤ２００から所定距離以内の対象物が検出されなかった場合、処理はステップＳ１に戻り、次のフレームの撮影画像の処理に移る。一方、ＨＭＤ２００から所定距離以内の対象物が検出された場合、位置検出部１４は、その検出された対象物のＨＭＤ２００に対する相対位置を検出する（ステップＳ４）。

次いで、画像重畳部１５は、位置検出部１４により検出された対象物の相対位置に基づいて、対象物が含まれる所定範囲（抽出範囲）の画像を、仮想空間画像上の実世界対応位置（相対位置に応じた位置）に重畳して表示させる（ステップＳ５）。その後、画像再生部１１による仮想空間画像の再生が終了したか否かが判定され（ステップＳ６）、再生が終了していない場合はステップＳ１に戻り、再生が終了した場合は、図４に示すフローチャートの処理を終了する。

以上詳しく説明したように、第１の実施形態では、仮想空間画像が表示されているＨＭＤ２００に搭載されたカメラ２０２により撮影された現実世界の動画像から、ＨＭＤ２００から所定距離以内に存在する対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該対象物が含まれる所定範囲の画像を仮想空間画像の実世界対応位置に重畳して表示させるようにしている。

このように構成した第１の実施形態によれば、ＨＭＤ２００に搭載されたカメラ２０２に写る範囲の手元でユーザが所要の作業を行うと、ユーザの手と作業対象物（スマートフォンやリモコン、腕時計、メモ帳など）とが含まれる所定範囲の撮影画像が仮想空間画像の実世界対応位置に重畳して表示されるので、ユーザは、ＨＭＤ２００を装着したままの状態でも、その実世界対応位置に表示された画像を見ながら所要の作業を適切に行うことができる。これにより、第１の実施形態によれば、ユーザがＨＭＤ２００を装着したままの状態でも、現実世界における作業を簡単に行うことができるようになる。

なお、上記第１の実施形態では、ＨＭＤ２００から所定距離以内の位置に対象物が検出されたか否かを１フレーム画像毎に判定し、検出された場合には抽出範囲の画像を仮想空間画像に重畳して表示させるようにしている。このため、ＨＭＤ２００から所定距離以内の場所で単にユーザが手を動かしただけの場合や、何かの物体がほんのわずかな時間だけＨＭＤ２００から所定距離以内の位置に存在しただけの場合にも、ユーザの手や物体が含まれる抽出範囲の画像が仮想空間画像に重畳して表示される。しかし、このようにわずかな時間だけ所定距離以内の位置に存在する物体を仮想空間画像にその都度重畳して表示させると、その表示がユーザにとっては煩わしく感じることがある。

そこで、わずかな時間だけ所定距離以内の位置に存在する物体については、その物体を含む所定範囲の画像を仮想空間画像に重畳して表示させないようにしてもよい。この場合、対象物検出部１３は、所定距離以内の位置に所定時間以上継続して存在する対象物を検出する。そして、画像重畳部１５は、所定距離以内の位置に所定時間以上継続して存在する対象物が対象物検出部１３により検出された場合に、それ以降で所定距離以内の位置に対象物が検出されている間、対象物が含まれる所定範囲（抽出範囲）の画像を仮想空間画像に重畳して表示させる。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図５は、第２の実施形態による画像表示制御装置１００’の機能構成例を示すブロック図である。なお、この図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図５に示すように、第２の実施形態による画像表示制御装置１００’は、図１に示した位置検出部１４および画像重畳部１５に代えて、対象物判定部１６および画像重畳部１７を備えている。

対象物判定部１６は、対象物検出部１３により検出された対象物に人の手が含まれるか否かを判定する。例えば、対象物判定部１６は、公知のパターン認識技術を用いて、対象物検出部１３により検出された対象物に人の手が含まれるか否かを判定することが可能である。あるいは、人の手について機械学習により作成した学習モデルを用いて、対象物検出部１３により検出された対象物に人の手が含まれるか否かを判定するようにしてもよい。対象物判定部１６は、この判定をフレーム画像毎に行う。

画像重畳部１７は、対象物判定部１６により対象物に人の手が含まれると判定された場合、その対象物がＨＭＤ２００から所定距離以内の位置に検出されている間、人の手が含まれる所定範囲の画像を仮想空間画像の所定領域に重畳して表示させる。画像重畳部１７は、この処理をフレーム画像毎に行う。すなわち、画像重畳部１７は、人の手が含まれる所定範囲の画像を動画として仮想空間画像の所定領域に重畳して表示させる。

ここで、仮想空間画像の所定領域とは、仮想空間画像が表示されるＨＭＤ２００の表示画面の全領域の中で、あらかじめ決められた位置のあらかじめ決められた大きさの矩形領域をいう。例えば、表示画面の左下コーナーにおける所定の大きさの矩形領域とすることが可能である。以下、これを「重畳領域」という。

また、人の手が含まれる所定範囲とは、例えば、撮影画像（各フレーム画像）に対する画像認識により把握される人の手の輪郭線が内接する矩形領域を基準領域とし、当該基準領域から左右方向および上方向に所定幅の拡張領域を付加した領域の範囲とする。下方向に拡張領域を付加しないのは、ＨＭＤ２００を装着しているユーザの手が撮影画像に写っている場合は、撮影画像の下端までユーザの手が写っているため、基準領域の下端が撮影画像の下端に接していて、それより下方に拡張する領域が存在しないためである。なお、第１の実施形態と同様、対象物が撮影画像の周縁部に位置しているために、左また右の何れかの方向に所定幅の拡張領域を付加できない場合は、その方向に関しては、付加できる範囲で最大の幅の拡張領域を付加するようにしてよい。

人の手の輪郭線が内接する基準領域に対して拡張領域を付加するのは、ユーザが何かを手に把持している場合に、その把持物も所定範囲の中に含まれるようにするためである。すなわち、ユーザの手および把持物が含まれる範囲の画像を撮影画像から抽出して仮想空間画像の所定領域に重畳して表示させるようにするためである。これが第２の実施形態における「抽出範囲」に相当する。

抽出範囲における矩形の縦横比は、仮想空間画像上に設定される重畳領域の矩形の縦横比と同じとなるようにするのが好ましい。この場合、抽出範囲の縦横比が重畳領域の縦横比と同じとなるように、撮影画像の基準領域に対して拡張領域を付加する。ただし、このようにすることが必須ではない。例えば、基準領域から左右方向および上方向に所定長さの拡張領域を付加して抽出範囲を設定し、抽出範囲内の画像を適宜拡大または縮小することにより、拡縮された画像の縦横比が重畳領域の縦横比と同じとなるようにしてもよい。

図６は、画像重畳部１７の処理内容を説明するための図である。このうち、図６（ａ）は、撮影画像取得部１２により取得された１フレームの撮影画像を示している。また、図６（ｂ）は、撮影画像に設定された抽出範囲の画像を仮想空間画像の重畳領域に重畳して表示させた状態を示している。

図６（ａ）に示す撮影画像には、人（ＨＭＤ２００を装着しているユーザ）の手ＯＢＴ１１および当該ユーザが手に把持しているスマートフォンＯＢＴ１２が写っている。人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２は、ＨＭＤ２００から所定距離以内の位置に存在する対象物である。なお、撮影画像内には人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２以外の物体（ＨＭＤ２００から所定距離以内にはない非対象物）も写っているが、図示を省略している。また、ＨＭＤ２００から所定距離以内の位置には、人の手ＯＢＴ１１およびスマートフォンＯＢＴ１２以外の物体は存在しないものとする。

人の手ＯＢＴ１１は、対象物検出部１３により、ＨＭＤ２００から所定距離以内に存在する対象物として検出され、対象物判定部１６により、その対象物が人の手であると判定される。画像重畳部１７は、人の手ＯＢＴ１１の輪郭線が内接する矩形領域を基準領域６１とし、当該基準領域６１から左右方向および上方向に拡張領域を付加した領域を抽出範囲６２として設定する。図６（ａ）のように、抽出範囲６２の中には、人の手ＯＢＴ１１によって把持されているスマートフォンＯＢＴ１２も含まれている。

さらに、画像重畳部１７は、図６（ｂ）に示すように、上記のように設定した抽出範囲６２内の画像ＰＴを抽出し、当該抽出した画像ＰＴを、仮想空間画像ＶＲＰの左下コーナーの位置に所定の大きさで設定した重畳領域６３に重畳して表示させる。このとき、重畳領域６３の大きさに合うように画像ＰＴを適宜拡大または縮小する。重畳領域６３には矩形枠が表示されており、仮想空間画像ＶＲＰに別の画像が重畳されていることが一目で分かるようにしている。

画像重畳部１７は、図６に示す処理をフレーム画像毎に行う。これにより、ＨＭＤ２００には、仮想空間画像ＶＲＰが動画として表示されるとともに、ＨＭＤ２００から所定距離以内の位置に対象物が検出されている間、撮影画像から抽出された人の手を含む（把持物がある場合はそれも含む）画像ＰＴが重畳領域６３に動画として表示される。これにより、ユーザは、ＨＭＤ２００を外すことなく、重畳領域６３に動画として表示される現実世界の撮影画像ＰＴを見て、スマートフォンの操作を適切に行うことができる。

なお、撮影画像取得部１２により取得された撮影画像の中から、ＨＭＤ２００から所定距離以内に存在する人の手が対象物として検出されない場合は、画像重畳部１７の処理は実行しない。よって、この場合にＨＭＤ２００には仮想空間画像ＶＲＰのみが表示画面の全域に表示され、重畳領域６３は設定されない（重畳領域６３の矩形枠も画像ＰＴも表示されない）。これにより、ユーザが手元で所要の作業をしていないときは、余計な画像は表示させず、仮想空間画像ＶＲＰだけを表示画面の全域に見やすく表示させることができる。また、ユーザが手元で何かの作業対象物を操作しているのではなく、何かの物体が偶然にＨＭＤ２００から所定距離以内の場所に存在して対象物検出部１３により対象物として検出されることがあっても、画像重畳部１７の処理は実行されない。よって、この場合もＨＭＤ２００には仮想空間画像ＶＲＰのみが表示画面の全域に表示され、余計な画像が重畳して表示されることを防ぐことができる。

なお、図６においても、ユーザがスマートフォンを把持して操作している状態を例に挙げて説明したが、スマートフォンの操作に限定されるものでないことは言うまでもない。例えば、ＨＭＤ２００を外すことなく家電のリモコンを操作したり、腕時計の時間を確認したり、手帳にメモ書きをしたりすることが可能である。

また、第２の実施形態においても、対象物（複数の対象物が重なっている場合または接している場合は、当該複数の対象物を１つとみなしたものでもよい）の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。この場合においても、仮想空間画像の中に矩形の重畳領域６３を設定し、輪郭線に沿って切り出される範囲の画像を重畳領域６３に表示させるようにしてよい。あるいは、仮想空間画像の中に矩形の重畳領域６３を設定せずに、輪郭線に沿って切り出される範囲の画像を仮想空間画像に重畳して表示させるようにしてもよい。

図７は、以上のように構成した第２の実施形態による画像表示制御装置１００’の動作例を示すフローチャートである。図７に示すフローチャートは、ユーザが仮想空間画像の再生を指示したときに開始する。なお、この図７に示すフローチャートは、対象物検出部１３、対象物判定部１６および画像重畳部１７によって実行される処理の一例を示している。これと並行して、画像再生部１１によって仮想空間画像の再生および表示が継続して実行されている。

画像再生部１１によって仮想空間画像の再生および表示が開始されると、撮影画像取得部１２は、カメラ２０２により撮影された１フレームの画像を取得する（ステップＳ１１）。そして、対象物検出部１３は、撮影画像取得部１２により取得された画像から、ＨＭＤ２００から所定距離以内に存在する対象物を検出する（ステップＳ１２）。

次いで、対象物判定部１６は、ＨＭＤ２００から所定距離以内に存在する対象物が対象物検出部１３により検出されたか否かを判定する（ステップＳ１３）。ここで、ＨＭＤ２００から所定距離以内の対象物が検出されなかった場合、処理はステップＳ１１に戻り、次のフレームの撮影画像の処理に移る。一方、ＨＭＤ２００から所定距離以内の対象物が検出された場合、対象物判定部１６は、その検出された対象物に人の手が含まれるか否かを判定する（ステップＳ１４）。

ここで、対象物に人の手が含まれていない場合、処理はステップＳ１１に戻り、次のフレームの撮影画像の処理に移る。一方、対象物に人の手が含まれると判定された場合、画像重畳部１７は、人の手が含まれる所定範囲（抽出範囲）の画像を仮想空間画像の所定領域（重畳領域）に重畳して表示させる（ステップＳ１５）。その後、画像再生部１１による仮想空間画像の再生が終了したか否かが判定され（ステップＳ１６）、再生が終了していない場合はステップＳ１１に戻り、再生が終了した場合は、図７に示すフローチャートの処理を終了する。

以上詳しく説明したように、第２の実施形態では、仮想空間画像が表示されているＨＭＤ２００に搭載されたカメラ２０２により撮影された現実世界の動画像から、ＨＭＤ２００から所定距離以内に存在する人の手を含む対象物が検出された場合に、所定距離以内の位置に対象物が検出されている間、当該人の手が含まれる所定範囲の画像を仮想空間画像の所定領域に重畳して表示させるようにしている。

このように構成した第２の実施形態によれば、ＨＭＤ２００に搭載されたカメラ２０２に写る範囲の手元でユーザが所要の作業を行うと、その手が含まれる所定範囲の撮影画像が仮想空間画像の所定領域に重畳して表示されるので、ユーザは、ＨＭＤ２００を装着したままの状態でも、その所定領域に表示された画像を見ながら所要の作業を適切に行うことができる。これにより、第２の実施形態によれば、ユーザがＨＭＤ２００を装着したままの状態でも、現実世界における作業を簡単に行うことができるようになる。

また、第２の実施形態では、人の手以外の何かの物体が偶然にＨＭＤ２００から所定距離以内の場所に存在しているだけであれば、その物体を含む所定範囲の撮影画像が仮想空間画像の所定領域に重畳して表示されることはない。これにより、ユーザが手元で作業をしていないときに余計な画像が仮想空間画像に重畳して表示されることを防ぎ、仮想空間画像だけを表示画面の全域に見やすく表示させることができる。

なお、第２の実施形態においても第１の実施形態と同様に、処理時間より短い間だけ所定距離以内の位置に存在する物体については、その物体を含む所定範囲の画像を仮想空間画像に重畳して表示させないようにしてもよい。このようにすれば、ＨＭＤ２００に搭載されたカメラ２０２に写る範囲の手元でユーザが所要の作業を行った場合にほぼ限定して、その手が含まれる所定範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させることができる。

上記第２の実施形態では、人の手が含まれる抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させる例について説明したが、第１の実施形態と同様に、人の手が含まれる抽出範囲の撮影画像を仮想空間画像の実世界対応位置に重畳して表示させるようにしてもよい。また、第１の実施形態のように設定した抽出範囲の撮影画像を、第２の実施形態のように仮想空間画像の所定領域に重畳して表示させるようにしてもよい。さらに、第１の実施形態のように人の手を含むか否かを問わず対象物検出部１３により検出された対象物を含む範囲に設定した抽出範囲の撮影画像を、第２の実施形態のように仮想空間画像の所定領域に重畳して表示させるようにしてもよい。

また、上記第２実施形態では、人の手が含まれる所定範囲を抽出範囲として、当該抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させる例について説明したが、本発明はこれに限定されない。例えば、対象物判定部１６が、対象物検出部１３により検出された対象物に人の手および当該に手による把持物が含まれるか否かを判定し、人の手および把持物が含まれると判定された場合に、画像重畳部１７が、人の手および把持物が含まれる所定範囲を抽出範囲として、当該抽出範囲の撮影画像を仮想空間画像の所定領域に重畳して表示させるようにしてもよい。

この場合、第１の実施形態と同様に、ユーザの手および把持物を１つの対象物とみなし、みなした１つの対象物に対して抽出範囲を設定するようにしてよい。例えば、抽出範囲は、撮影画像に対する画像認識により把握される人の手および把持物の輪郭線が内接する矩形領域の範囲とすることが可能である。あるいは、人の手および把持物の輪郭線が内接する矩形領域を基準領域とし、当該基準領域から左右方向に所定幅および上方向に所定高さの拡張領域を付加した領域を抽出範囲としてもよい。このように、撮影画像内から人の手に加えて把持物まで認識して、その把持物まで含まれる範囲を抽出範囲とすることにより、把持物が比較的大きなものであっても、抽出範囲内に把持物から確実に含まれるようにすることができる。

なお、対象物判定部１６により対象物に人の手および把持物が含まれるか否かを判定する例において、画像重畳部１７は、対象物に人の手および把持物が含まれると判定された場合に、人の手および把持物が含まれる所定範囲の画像であって、人の手および把持物以外の物体が含まれない画像を仮想空間画像に重畳して表示させるようにしてもよい。

例えば、上記のように矩形領域の範囲を抽出範囲として設定した場合に、その抽出範囲の中に、ＨＭＤ２００から所定距離以内にある人の手および把持物以外の物体（すなわち、ＨＭＤ２００からの距離が所定距離より長い位置にある物体）が遠景として写っているときは、その遠景の物体を抽出範囲の画像ＰＴから消去した上で仮想空間画像に重畳して表示させるようにする。ここでいう遠景の物体の消去とは、例えば、画像認識により検出した当該物体の領域を、その周囲の遠景の画像から生成される推定の遠景画像（その物体がないとした仮定した場合における遠景の推定画像）に置き換えることをいう。

あるいは、ユーザの手および把持物を１つの対象物とみなし、みなした１つの対象物の輪郭線に沿って切り出される範囲を抽出範囲とするようにしてもよい。この場合において、画像重畳部１７は、図６（ｂ）のように仮想空間画像に矩形の重畳領域６３を設定し、その重畳領域６３の中に上記のように輪郭線に沿って切り出した抽出範囲の画像を表示させる。なお、矩形の重畳領域６３は設定せずに、輪郭線に沿って切り出した抽出範囲の画像を仮想空間画像に重畳して表示させるようにしてもよい。

また、人の手および把持物が含まれる所定範囲を抽出範囲とする例において、対象物検出部１３により検出された対象物に人の手が含まれていて、把持物が含まれていない場合には、撮影画像の一部を抽出して仮想空間画像に重畳させる処理は実行しないようにしてよい。ユーザが把持物に対して所要の操作をしているという状況ではなく、ユーザの手が偶然に撮影された可能性があるからである。逆に、対象物検出部１３により検出された対象物に人の手が含まれていて、把持物が含まれていない場合においても、上記第２の実施形態と同様に人の手が含まれる所定範囲の画像を抽出して仮想空間画像に重畳させるようにしてもよい。把持物ではなく、例えば腕時計型のウェアラブル端末を操作している可能性もあり得るからである。

また、上記第２の実施形態では、重畳領域が仮想空間画像の固定位置（図６の例では左下コーナーの位置）に設定されている例について説明したが、重畳領域の位置をユーザの意思により変更可能に構成してもよい。例えば、ＨＭＤ２００に視線検出センサを搭載する。そして、画像重畳部１７が、視線検出センサにより検出されるユーザの視線に応じて、所定範囲（抽出範囲）の撮影画像を仮想空間画像に重畳させる際の所定領域（重畳領域）の位置を変更する。

例えば、図８のように、仮想空間画像の全領域を縦横の４象限に４分割し、ユーザの視線が位置する象限のコーナーに重畳領域を設定することが一例として考えられる。すなわち、ユーザが右上の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部１７は、仮想空間画像の右上コーナーの位置に重畳領域６３ＲＵを設定する。ユーザが右下の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部１７は、仮想空間画像の右下コーナーの位置に重畳領域６３ＲＤを設定する。ユーザが左上の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部１７は、仮想空間画像の左上コーナーの位置に重畳領域６３ＬＵを設定する。ユーザが左下の象限に視線を向けたことが視線検出センサにより検出されたときは、画像重畳部１７は、仮想空間画像の左下コーナーの位置に重畳領域６３ＬＤを設定する。

また、上記第１および第２の実施形態では、画像表示制御装置１００，１００’とＨＭＤ２００とを別体として構成する例について説明したが、ＨＭＤ２００が画像表示制御装置１００，１００’を備える構成としてもよい。この場合、ＶＲ画像記憶部３００もＨＭＤ２００が備えるようにしてもよいし、

その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 画像再生部
１２ 撮影画像取得部
１３ 対象物検出部
１４ 位置検出部 １５，１７ 画像重畳部
１６ 対象物判定部
１００，１００’ 画像表示制御装置
２００ ＨＭＤ
２０１ 姿勢検出センサ
２０２ カメラ

Claims (5)

1. 仮想空間画像を再生してヘッドマウントディスプレイに表示させる画像再生部と、
   上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出部と、
   上記対象物検出部により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳部と、
   上記対象物検出部により検出された上記対象物に人の手および当該に手による把持物が含まれるか否かを判定する対象物判定部とを備え、
   上記画像重畳部は、上記対象物判定部により上記対象物に人の手が含まれないと判定された場合、および、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定部により判定された場合は上記仮想空間画像に対する画像の重畳は行わず、上記対象物判定部により上記対象物に人の手および把持物が含まれると判定された場合は、上記人の手および把持物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる
   ことを特徴とする記載の画像表示制御装置。
2. 仮想空間画像を再生してヘッドマウントディスプレイに表示させる画像再生部と、
   上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出部と、
   上記対象物検出部により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳部と、
   上記対象物検出部により検出された上記対象物に人の手および当該に手による把持物が含まれるか否かを判定する対象物判定部とを備え、
   上記画像重畳部は、上記対象物判定部により上記対象物に人の手が含まれないと判定された場合は上記仮想空間画像に対する画像の重畳は行わず、上記対象物判定部により上記対象物に人の手および把持物が含まれると判定された場合は、上記人の手および把持物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させ、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定部により判定された場合は、上記人の手が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる
   ことを特徴とする記載の画像表示制御装置。
3. 上記画像重畳部は、上記所定範囲の画像を動画として上記仮想空間画像に重畳して表示させることを特徴とする請求項１または２に記載の画像表示制御装置。
4. 仮想空間画像を再生してヘッドマウントディスプレイに表示させる画像再生手段、
   上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出手段、
   上記対象物検出手段により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳手段、および
   上記対象物検出手段により検出された上記対象物に人の手および当該に手による把持物が含まれるか否かを判定する対象物判定手段
   としてコンピュータを機能させ、
   上記画像重畳手段は、上記対象物判定手段により上記対象物に人の手が含まれないと判定された場合、および、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定手段により判定された場合は上記仮想空間画像に対する画像の重畳は行わず、上記対象物判定手段により上記対象物に人の手および把持物が含まれると判定された場合は、上記人の手および把持物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる
   ことを特徴とする画像表示制御用プログラム。
5. 仮想空間画像を再生してヘッドマウントディスプレイに表示させる画像再生手段、
   上記ヘッドマウントディスプレイに搭載されたカメラにより撮影された現実世界の動画像から、上記ヘッドマウントディスプレイから所定距離以内に存在する対象物を検出する対象物検出手段、
   上記対象物検出手段により上記所定距離以内の位置に上記対象物が検出されている間、上記対象物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる画像重畳手段、および
   上記対象物検出手段により検出された上記対象物に人の手および当該に手による把持物が含まれるか否かを判定する対象物判定手段
   としてコンピュータを機能させ、
   上記画像重畳手段は、上記対象物判定手段により上記対象物に人の手が含まれないと判定された場合は上記仮想空間画像に対する画像の重畳は行わず、上記対象物判定手段により上記対象物に人の手および把持物が含まれると判定された場合は、上記人の手および把持物が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させ、上記対象物に人の手が含まれていて把持物が含まれていないと上記対象物判定手段により判定された場合は、上記人の手が含まれる所定範囲の画像を上記仮想空間画像に重畳して表示させる
   ことを特徴とする画像表示制御用プログラム。