JP2017204674A - 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】表示画像の画角、精細度、表示の即時性を共に良好にする。【解決手段】装着機構部１０４は、ユーザの頭部にヘッドマウントディスプレイ１００を固定する。出力機構部１０２の前面には、左右の視点から画像を撮影する第１カメラ１４０と、それより広い視野で低解像度の画像を撮影する第２カメラ１４２を設ける。撮影された狭角画像と広角画像、またはそれに基づく２種類の画像をデータ上、あるいは光学的に合成することにより、画像領域によって精細度の異なる広角画像を、ヘッドマウントディスプレイ１００を装着したユーザに見せる。【選択図】図１

Description

この発明は、表示画像の生成を伴う情報処理に利用される撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法に関する。

ヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイを用いた画像表現をより高品質で臨場感あるものにするための要請として、表示画像の広画角化、および高精細化が挙げられる。扱うデータ量を一定とした場合、それらのパラメータはトレードオフの関係にある。一方を保ったまま他方を改善したり、双方を改善したりする場合、処理すべきデータ量が増加する。そのため、画像処理やデータ伝送に時間を要し、ユーザの実際の動きと表示にずれが生じるなどの問題も起こり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、表示画像の画角、精細度、表示の即時性を共に良好にすることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は撮像装置に関する。この撮像装置は、表示画像の生成に用いる画像を所定のレートで撮影する撮像装置であって、被写空間を撮影する第１カメラと、当該被写空間を、第１カメラより広い視野かつ低い解像度で撮影する第２カメラと、第１カメラおよび第２カメラが撮影した画像のデータを逐次出力する出力部と、を備えたことを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記撮像装置と、第１カメラが撮影した画像と第２カメラが撮影した画像を合成してなる表示画像を表示するディスプレイと、を備えたことを特徴とする。

本発明のさらに別の態様もヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、それぞれに画像を表示する第１ディスプレイおよび第２ディスプレイと、第１ディスプレイおよび第２ディスプレイによって表示された画像をそれぞれユーザの目の方向に反射させる第１反射鏡および第２反射鏡と、を備え、第１反射鏡は、第２反射鏡より小さく、ユーザの目と第２反射鏡の間に配置されることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、上記撮像装置と、当該撮像装置が出力した画像のデータを取得し、第１カメラが撮影した画像と第２カメラが撮影した画像を合成して表示画像を生成し、表示装置に出力する情報処理装置と、を備えたことを特徴とする。

本発明のさらに別の態様も情報処理システムに関する。この情報処理システムは、上記ヘッドマウントディスプレイと、第１ディスプレイおよび第２ディスプレイに表示させる画像を生成し、ヘッドマウントディスプレイに出力する情報処理装置と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、被写空間を撮影する第１カメラと、当該被写空間を、第１カメラより広い視野かつ低い解像度で撮影する第２カメラが撮影した画像のデータを取得するステップと、第１カメラが撮影した画像と第２カメラが撮影した画像を合成して表示画像を生成するステップと、表示画像のデータを表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、表示画像の画角、精細度、表示の即時性を共に良好にすることができる。

第１実施形態のヘッドマウントディスプレイの外観図である。 第１実施形態における第１カメラと第２カメラの視野を説明するための図である。 第１実施形態のヘッドマウントディスプレイの機能構成図である。 第１実施形態の情報処理システムの構成図である。 第１実施形態の情報処理装置の内部回路構成を示す図である。 第１実施形態における情報処理装置の機能ブロックを示す図である。 第１実施形態における画像生成部が、撮影画像を用いて表示画像を生成する手順を模式的に示す図である。 第１実施形態において立体視を実現するために画像生成部が最終的に生成する画像を例示する図である。 第２実施形態のヘッドマウントディスプレイの内部構造例を模式的に示す側面図である。 第２実施形態のヘッドマウントディスプレイの内部構造の別の例を模式的に示す側面図である。 第２実施形態における情報処理装置の機能ブロックを示す図である。 第２実施形態において瞳孔の向きによって２つの画像に生じるずれを説明するための図である。

第１実施形態
図１は、本実施の形態におけるヘッドマウントディスプレイの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

ヘッドマウントディスプレイ１００は、出力機構部１０２の前面に、視野の異なる第１カメラ１４０、第２カメラ１４２を備える。第１カメラ１４０、第２カメラ１４２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、ヘッドマウントディスプレイ１００を装着したユーザの顔の向きに対応する視野で、実空間を所定のフレームレートで撮影する。

第１カメラ１４０は、既知の間隔を有する２つのカメラを左右に配置したステレオカメラで構成する。また第２カメラ１４２のレンズは、当該ステレオカメラの２つのレンズの中点を通る垂直線上に配置する。同図ではステレオカメラより上方に配置されているが、位置をそれに限定する主旨ではない。第２カメラ１４２は、第１カメラ１４０の各カメラより視野が広いカメラである。

したがって両者を同程度の画素数とした場合、第２カメラ１４２が撮影した画像は、第１カメラ１４０がそれぞれの視点から撮影した画像より解像度が低くなる。本実施の形態では、比較的解像度が低くても視野の広い画像と、視野が狭くても解像度の高い画像を同時に撮影し、両者を相補完的に用いることで、処理するデータ量を抑えつつ必要な処理や表示を可能にする。以後、前者を「広角画像」、後者を「狭角画像」と呼ぶ。

第１カメラ１４０、第２カメラ１４２が撮影した画像は、ヘッドマウントディスプレイ１００における表示画像の少なくとも一部として使用できるほか、仮想世界の生成に必要な画像解析のための入力データとすることもできる。例えば撮影画像を表示画像とすれば、ユーザは目の前の実空間を直接見ているのと同じ状態となる。また、視野内にある机などの実物体上に滞留したり実物体とインタラクションしたりするオブジェクトを撮影画像上に描画して表示画像とすることにより、ＡＲ（Augmented Reality：拡張現実）を実現できる。

さらに、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢を撮影画像から特定し、それに対応するように視野を変化させて仮想世界を描画することによりＶＲ（Virtual Reality：仮想現実）も実現できる。撮影画像からカメラの位置や姿勢を推定する技術には、ｖ−ＳＬＡＭ(Visual Simultaneous Localization And Mapping)などの一般的な技術を適用できる。頭部の回転角や傾きは、ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサによって計測してもよい。撮影画像の解析結果とモーションセンサの計測値を相補完的に利用してもよい。

図２は、第１カメラ１４０と第２カメラ１４２の視野を説明するための図である。具体的には、ヘッドマウントディスプレイ１００を装着したユーザ３５０の視点と各カメラの視野との関係を、（ａ）の俯瞰図、（ｂ）の前面図で表している。第１カメラ１４０は、ユーザ３５０の両眼に対応する左右の視点から、視野３５２ａ、３５２ｂに含まれる空間を撮影する。第２カメラ１４２は、それらより広い視野３５４に含まれる空間を撮影する。図示する例では、ユーザ３５０の眉間付近を視点としている。

（ａ）に示す一点鎖線ＡＡ’の位置における視野を前方から見た場合、（ｂ）に示すような視野となる。すなわち第１カメラ１４０の視野３５２ａ、３５２ｂは、ユーザ３５０の両眼を中心とする円形であり、第２カメラ１４２の視野３５４は、ユーザ３５０の両眼より下方を中心とする略円形である。

すなわち、第２カメラ１４２のレンズの位置をユーザの眉間付近とした場合、第２カメラ１４２の光軸が水平面より下方に傾斜していることになる。一般に、同じ目の位置でもユーザの目線はいくらか下方に向いていることが多いため、このような光軸とすることでそれに対応させることができる。ただし第２カメラ１４２の光軸の方向をこれに限定する主旨ではない。視野の広い第２カメラ１４２を別途、設けることにより、第１カメラ１４０の視野を狭めても、必要な情報を得ることができる。

これにより、第１カメラ１４０の画素数を増やさずとも、第１カメラ１４０の視野に対して解像度の高い画像が得られる。また視野を狭めることにより、第１カメラ１４０の視点とユーザ３５０の実際の視点との距離Ｄを小さくできる。これにより、第１カメラ１４０が撮影する画像は、ユーザがヘッドマウントディスプレイ１００を介さずに見た状態に近くなる。したがって、例えば第１カメラ１４０が撮影した視差画像をそのまま立体視用の視差画像として表示すれば、よりリアリティを感じさせることができる。

図３は、ヘッドマウントディスプレイ１００の機能構成図である。制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。第１カメラ１４０、第２カメラ１４２は、撮影画像のデータを制御部１０に供給する。ディスプレイ３０は液晶ディスプレイなどであり、制御部１０から画像信号を受け取り表示する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

モーションセンサ６４は、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。モーションセンサ６４は、ジャイロセンサ、加速度センサ、地磁気センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。制御部１０は、画像や音声データをディスプレイ３０や図示しないヘッドホンに供給して出力させたり、通信制御部４０に供給して外部に送信させたりすることができる。

図４は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース３００で情報処理装置２００に接続される。情報処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、情報処理装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

情報処理装置２００は基本的に、ヘッドマウントディスプレイ１００の第１カメラ１４０、第２カメラ１４２が撮影した画像のデータを取得し、所定の処理を実施したうえ表示画像を生成してヘッドマウントディスプレイ１００に送信する処理を所定のレートで繰り返す。これによりヘッドマウントディスプレイ１００には、ユーザの顔の向きに応じた視野で、ＡＲやＶＲなど様々な画像が表示される。なおこのような表示の最終的な目的は、ゲーム、仮想体験、動画鑑賞など様々に考えられる。情報処理装置２００はそのような目的に応じた処理を適宜、行ってよいが、それら自体には一般的な技術を適用できる。

図５は情報処理装置２００の内部回路構成を示している。情報処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや有線又は無線ＬＡＮなどのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより情報処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、本実施の形態における情報処理装置２００の機能ブロックを示している。なおここで示した情報処理装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００の制御部１０に実装してもよい。また図６および後述する図１１に示す機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置２００は、ヘッドマウントディスプレイ１００の第１カメラ１４０、第２カメラ１４２から撮影画像のデータを取得する撮影画像取得部２５０、取得したデータを格納する画像記憶部２５２、撮影画像を解析し必要な情報を取得する画像解析部２５４、画像解析の結果に基づく情報処理を行う情報処理部２５６、情報処理の結果として表示すべき画像のデータを生成する画像生成部２５８、および生成されたデータを出力する出力部２６２を備える。

撮影画像取得部２５０は、第１カメラ１４０および第２カメラ１４２が撮影した画像のデータを所定のレートで取得し、復号処理など必要な処理を施して画像記憶部２５２に格納する。ここで第１カメラ１４０から取得するデータは、ステレオカメラによって左右の視点から撮影された視差画像のデータである。

画像解析部２５４は、撮影画像のデータを逐次、画像記憶部２５２から読み出し、所定の解析処理を実施することにより必要な情報を取得する。代表的な解析処理として、上述のｖ−ＳＬＡＭ等の技術によってヘッドマウントディスプレイ１００を装着しているユーザの頭部の位置や姿勢を取得することや、デプス画像を生成することが挙げられる。デプス画像とは、被写体のカメラからの距離を、撮影画像上の対応する像の画素値として表した画像であり、被写体の実空間での位置や動きを特定するために用いられる。

デプス画像を生成する際、画像解析部２５４は第１カメラ１４０が左右の視点から撮影した視差画像を利用する。すなわち視差画像から対応点を抽出し、両者間の視差に基づき三角測量の原理で被写体の距離を算出する。第１カメラ１４０の視野を一般的なカメラより狭くしても、それによって生成されたデプス画像を用いて行う後段の処理への影響は小さい。これは、広い視野で撮影された視差画像を用いて被写体の距離を求めても、視野の端にある物ほど左右の視点と当該物を頂点とする三角形が細長くなり、算出される距離に十分な精度が得られにくくなるためである。

画像解析部２５４はそのほか、一般的な画像解析を適宜、実施してよい。例えば生成したデプス画像に基づき、被写空間にある実物体を計算上の３次元空間におけるオブジェクトとしてモデル化したり、実物体を追跡したり認識したりしてよい。ここでなすべき処理はゲームなどの情報処理や表示の内容などに依存して決定する。解析の内容によって、第１カメラ１４０が撮影した狭角画像、第２カメラ１４２が撮影した広角画像のうちのどちらかを解析対象に選択する。

例えばユーザが注目している対象物について詳細な情報を得たい場合、解像度の高い狭角画像を用いるのが有効である。ユーザの目の位置に対応する位置に第１カメラ１４０を設けることにより、第１カメラ１４０の視野はユーザの注目対象を含んでいる可能性が高い。したがってその視野で高い解像度が得られている狭角画像を用いれば、人物や物体を同定するための画像認識処理などを高精度に行える。

一方、注目対象から外れた視野の端については、詳細な情報を必要とする可能性が低いため、解像度の低い広角画像を用いて解析を行うことにより、効率的に必要な情報が得られる。例えば広角画像を利用することにより、視野空間に侵入してきた物を検出したり、撮影条件や処理条件の調整などの目的で画像全体の明るさを取得したりすることが、少ない処理の負荷で実現できる。

情報処理部２５６は、画像解析部２５４が行った解析の結果を利用して、所定の情報処理を実施する。例えばモデル化された実物体とコンピュータグラフィクスで描画すべき仮想オブジェクトとのインタラクションを物理的に求めたり、表示画像にゲームの要素を加えたり、ユーザのジェスチャを解釈して所定の機能を実現したりする。ここでなすべき処理も、ゲームなどの情報処理や表示の内容などに依存して決定する。

画像生成部２５８は、情報処理部２５６が行った処理の結果として表示すべき画像を生成する。例えばＡＲを実現する場合、画像生成部２５８は、画像記憶部２５２から撮影画像のデータを読み出し、情報処理部２５６が求めた動きが表現されるよう、撮影画像上に仮想オブジェクトを描画する。画像生成部２５８は画像合成部２６０を含む。画像合成部２６０は、第１カメラ１４０が撮影した狭角画像と第２カメラ１４２が撮影した広角画像を合成する。

すなわち、第２カメラ１４２が撮影した広い視野の画像のうち、第１カメラ１４０の視野に対応する領域については第１カメラ１４０が撮影した画像に置き換える。なお両者の画像は同じ被写体の像が同じ大きさで表されるように適宜、拡縮する。典型的には、広角画像を拡大して狭角画像に像の大きさに合わせた後、両者をつなげる。このようにすることで、中心付近など所定の領域で解像度が高い広角な画像が得られる。ＡＲを実現する場合は、合成前、あるいは合成後に仮想オブジェクトを描画する。

なお合成対象は撮影画像に限らない。すなわち広角画像と狭角画像に対応する視野で画像が得られれば、その一部あるいは全部が画像生成部２５８によって描画されたものであっても同様に合成できる。例えば被写体を全てオブジェクトとして描画したグラフィクス画像であってもよい。また、ヘッドマウントディスプレイ１００に視差画像を表示し立体視を実現する場合は、左眼視用、右眼視用の２つの合成画像を生成し、さらに両者を左右に並べて最終的な表示画像とする。出力部２６２は、画像生成部２５８から表示画像のデータを取得し、ヘッドマウントディスプレイ１００に逐次送信する。

図７は、画像生成部２５８が、撮影画像を用いて表示画像を生成する手順を模式的に示している。まず画像３７０ａ、３７０ｂは、第１カメラ１４０が左右の視点から撮影した狭角画像である。画像３７２は、第２カメラ１４２が撮影した広角画像である。図示する例では３つの画像３７０ａ、３７０ｂ、３７２は同程度のサイズを有するが、場合によっては、画像３７２はさらに小さいサイズでもよい。

画像生成部２５８の画像合成部２６０は上述のように、同じ被写体の像が同じ大きさになるように、かつディスプレイのサイズに対応するように、画像のサイズを調整する。例えば広角画像３７２を拡大する（Ｓ１０）。そして拡大した画像のうち、狭角画像３７０ａまたは３７０ｂによって表される領域のデータを、狭角画像３７０ａまたは３７０ｂに置き換える（Ｓ１２、Ｓ１４）。これにより、中心付近の領域が高精細な広角の画像３７４が生成される。

なお同図では画像３７４として１つの画像のみを表しているが、左視点の狭角画像３７０ａと右視点の狭角画像３７０ｂをそれぞれ独立に、対応する位置で拡大画像と合成すれば、左眼視用と右眼視用の表示画像を生成でき、立体視が可能になる。図８は、そのようにして立体視を実現するために画像生成部２５８が最終的に生成する画像を例示している。

表示画像３８０は、左右に分割してなる領域のうち左側の左眼視用領域３８２ａと右側の右眼視用領域３８２ｂにより構成される。それぞれの領域の画像を、眼前に設けたレンズで視野を拡大して見ることにより、ユーザの視野全体にわたり立体的に見える画像世界を体験できる。この場合、画像生成部２５８は、レンズによる画像の歪みを考慮して逆の歪み補正をかける。補正前の画像は、図７で説明したように生成された、左眼視用画像と右眼視用画像である。

すなわち左眼視用領域３８２ａに表された画像のうち、中心付近の領域３８４ａは第１カメラ１４０の左視点のカメラが撮影した画像であり、それ以外が第２カメラ１４２が撮影した画像である。また右眼視用領域３８２ｂに表された画像のうち、中心付近の領域３８４ｂは第１カメラ１４０の右視点のカメラが撮影した画像であり、それ以外は第２カメラ１４２が撮影した画像である。第２カメラ１４２が撮影した画像は、左眼視用、右眼視用としてクリッピングすることにより表示領域がずれているが、画像としては同じものを使用している。

視野の異なる画像のつなぎ合わせにはステッチングなどの既存技術を利用できる。また、広角画像を拡大した画像と狭角画像では解像度が異なるため、図において点線で表したつなぎ目の近傍は、両者の中間状態で表して解像度を徐々に変化させていくことによりつなぎ目を視認されにくくする。２つの画像の中間状態の生成にはモーフィングの技術を利用できる。なお厳密には広角画像と狭角画像ではカメラの視点が異なるため、特に近距離にある物は見かけ上の差が生じるが、つなぎ目を中間状態で表すことにより連続性を演出できる。

以上述べた本実施の形態によれば、視野の異なる第１カメラ、第２カメラを導入し、これらにより撮影された狭角画像と広角画像を、画像解析や画像表示に相補完的に利用することにより、個々の撮影画像の画素数を抑えることができる。結果として、扱うデータ量を増大させずに、より広い視野の情報を処理対象としたり表示対象としたりすることができる。人は元来、視野のうち特に注目している領域が限定的であり、そのような注目領域における詳細な情報と周辺の大雑把な情報とを統合して視覚情報を得ている。狭角高解像度画像と広角低解像度画像を利用した表示は、そのような特性に合致したものであるため、違和感が少なく、必要な部分の精細度を維持しつつ表示の広角化と即時性を両立させることができる。

なおユーザの視点に近い第１カメラで撮影した高解像度の画像をヘッドマウントディスプレイに対するユーザの視野中心に配置することは、ユーザが見る世界を疑似的に作り出すうえで最も有効と考えられる。一方、本実施の形態はそれに限らず、例えば第１カメラ１４０と第２カメラ１４２を備えた撮像装置をヘッドマウントディスプレイ１００とは別に設けてもよい。また表示装置はヘッドマウントディスプレイに限らない。例えば、ユーザが撮像装置を頭部に装着し、当該撮像装置が撮影した画像を上述のように合成して、別途用意した据え置き型のディスプレイに表示させてもよい。

このようにしても、ユーザが顔を向けている重要な対象については詳細に示された広角画像を、処理の負荷を少なく即時表示できる。また立体視を必要としない場合、狭角高解像度の画像を撮影する第１カメラはステレオカメラでなくてもよい。いずれにしろ第１カメラが撮影する重要な対象については画像解析を詳細に行えるため、データ量を抑えながら広角画像を表示し、かつ必要な情報を得たり重要な部分を高精細に表したりすることができる。

第２実施形態
第１実施形態では、解像度の異なる画像を合成することにより表示画像を生成した。本実施の形態では、ヘッドマントディスプレイ側で光学的に画像を合成する機構を設ける。ヘッドマウントディスプレイの外観形状や情報処理システムの構成、情報処理装置の内部回路構成は第１実施形態と同様でよい。以後、第１実施形態と異なる点に着目して説明する。図９は本実施の形態のヘッドマウントディスプレイ４００の内部構造例を模式的に示す側面図である。

ヘッドマウントディスプレイ４００は、ディスプレイに表示させた画像を反射鏡によって反射させることにより観察者の眼球に到達させる形式の表示装置である。このような光の反射を利用したヘッドマウントディスプレイは、特開２０００−３１２３１９、特開平８−２２０４７０、特開平７−３３３５５１などに開示されるように周知である。本実施の形態のヘッドマウントディスプレイ４００は、ディスプレイおよび反射鏡のセットを２つ設けることにより、２つの画像を光学的に合成する。

すなわち第１ディスプレイ４０２が表示する画像を第１反射鏡４０６で反射させ、第２ディスプレイ４０４が表示する画像を第２反射鏡４０８で反射させる。そして双方を、レンズ４１０を介してユーザの目４１２に到達させる。第１反射鏡４０６は、第２反射鏡４０８より小さく、ユーザの眼球と第２反射鏡４０８の間に、第２反射鏡４０８と重なるように配置する。このような構成とすることで、第２反射鏡４０８から反射した画像のうち、第１反射鏡４０６で隠れる部分についてはユーザには見えず、第１反射鏡４０６から反射した画像によって置換されることになる。

このような構成のヘッドマウントディスプレイ４００において、第１ディスプレイ４０２および第２ディスプレイ４０４に、狭角画像および広角画像をそれぞれ表示させれば、両画像が合成された状態で視認される。例えば第１実施形態の第１カメラ１４０が撮影した狭角画像４１４を第１ディスプレイ４０２に、第２カメラ１４２が撮影した広角画像４１６を第２ディスプレイ４０４に、それぞれ表示させれば、第１実施形態で実現したような、一部の領域で解像度の高い広角の画像を見せることができる。

この場合、反射鏡で画像が拡大され、第１ディスプレイ４０２が表示する画像の拡大率と、第２ディスプレイ４０４が表示する画像の拡大率は、光学的な設計によって独立に制御できる。そのため、より拡大して見せたい広角画像４１６であっても、それを表示するディスプレイ自体は小さくできる。したがって製造コストを抑えつつ、特に広角画像４１６において、拡大処理やデータ伝送などに要する負荷の軽減効果が高くなる。

図１０は、ヘッドマウントディスプレイ４２０の内部構造の別の例を模式的に示す側面図である。この例でも、第１ディスプレイ４２２が表示する画像を第１反射鏡４２６で反射させ、第２ディスプレイ４２４が表示する画像を第２反射鏡４２８で反射させる。そして双方を、レンズ４３０を介してユーザの目４３２に到達させる。ただしこの例では、第１ディスプレイ４２２が図９のヘッドマウントディスプレイ４００の構成と同様、上方から画像を入射させるのに対し、第２ディスプレイ４２４は下方から画像を入射させる。

このようにすると、限られた空間であってもディスプレイと反射鏡の角度の自由度が増し拡大率を上げられるため、図９で説明した処理の負荷軽減に加え、ディスプレイの小型化による低コスト化も図れる。この場合も、第２反射鏡４２８が反射した画像のうち、第１反射鏡４２６によって見えない部分が、第１反射鏡４２６が反射した画像に置換される。例えば第１実施形態の第１カメラ１４０が撮影した狭角画像４１４を第１ディスプレイ４２２に、第２カメラ１４２が撮影した広角画像４１６を第２ディスプレイ４０４に表示させれば、第１実施形態で実現したような、一部の領域で解像度の高い広角の画像を見せることができる。

図９や図１０で側面図により示したディスプレイと反射鏡のセットを、左眼視用、右眼視用としてそれぞれ設け、広角画像を適宜クリッピングした画像に、左視点、右視点の撮影画像をそれぞれ合成すれば、図８で示したのと同様の画像を見せることができる。また、図示する例では光学系として凹面鏡とレンズのみを示しているが、自由曲面鏡を用いたりプリズムやさらなる反射鏡を組み合わせたりすることにより、装置の小型化や高精度な歪み補正を実現できる。このような光学系は、屈曲光学系のカメラやプロジェクタなどで実用化されている。

ヘッドマウントディスプレイ４００、４２０の機能的な構成は、図３で示したヘッドマウントディスプレイ１００と同様でよい。ただしディスプレイ３０として、上述のとおり、第１ディスプレイ、第２ディスプレイの２つを設ける。図１１は、本実施の形態における情報処理装置２００ａの機能ブロックを示している。情報処理装置２００ａのうち第１実施形態の図６で示した情報処理装置２００と同じ機能を有するブロックには同じ符号を付して説明を省略する。

情報処理装置２００ａの画像生成部２７０は、情報処理部２５６が行った処理の結果として表示すべき画像を生成する。この機能は基本的に、第１実施形態と同様であるが、画像生成部２７０は画像合成部２６０の代わりに、第１画像生成部２７２および第２画像生成部２７４を備える。第１画像生成部２７２および第２画像生成部２７４は、ヘッドマウントディスプレイ４００の第１ディスプレイ４０２、第２ディスプレイ４０４、あるいはヘッドマウントディスプレイ４２０の第１ディスプレイ４２２、第２ディスプレイ４２４に表示すべき画像を独立に生成する。

ヘッドマウントディスプレイ４００、４２０にて視差画像により立体視を実現する場合、第１画像生成部２７２は、左眼視用狭角画像および右眼視用狭角画像を生成し、第２画像生成部２７４は、左眼視用広角画像および右眼視用広角画像を生成する。撮影画像を表示させる態様では、左眼視用狭角画像および右眼視用狭角画像として、第１カメラ１４０が撮影した左右の視点からの狭角画像を利用する。一方、第２画像生成部２７４は、第２カメラ１４２が撮影した広角画像を左眼視用、右眼視用に適宜クリッピングする。

また、図９、図１０で示した光学系に合わせて、反射およびレンズ透過を経たときに正常な画像が見えるように、拡縮処理、クリッピング、歪み補正などを適宜実施する。ディスプレイ、反射鏡、およびレンズからなる個々の系での補正計算には、実用化されている技術を適用できる。また画像の拡縮率やクリッピングすべき領域など必要なパラメータは、ヘッドマウントディスプレイ４００、４２０における反射鏡の重なり具合、反射鏡の大きさ、ディスプレイの大きさ、ディスプレイと反射鏡の距離などに応じてあらかじめ決定できる。

さらに第１実施形態と同様、２つの反射鏡による画像の境界が自然に見えるように、第１画像生成部２７２は、生成した表示画像の周辺を、モーフィングなどによって低解像度の画像との中間状態としてもよい。あるいは第２画像生成部２７４が、生成した表示画像のうち第１反射鏡によって隠蔽される領域周辺を高解像度画像との中間状態としてもよいし、両者を組み合わせてもよい

出力部２７６は、画像生成部２７０から表示画像のデータを取得し、ヘッドマウントディスプレイ４００またはヘッドマウントディスプレイ４２０に逐次送信する。第１実施形態が、１フレームに対し１つの表示画像のデータを送信するのに対し、第２実施形態では、立体視させる場合であれば合計４つの表示画像のデータを送信することになる。ただし光学的に拡大されることを踏まえると、送信すべき個々の画像のデータは比較的小さいサイズとなる。

これまで述べたように２つの表示画像を物理的に重ねた場合、厳密には瞳孔の向きによって両者の重なりに見かけ上のずれが生じる。図１２は、瞳孔の向きによって２つの画像に生じるずれを説明するための図であり、ヘッドマウントディスプレイ４００の内部における第１反射鏡４０６、第２反射鏡４０８とユーザの目４１２を俯瞰した様子を模式的に示している。ユーザの瞳孔がａの向きにあるとき、第１反射鏡４０６の際において、第２反射鏡４０８の画像のうちＡの部分が見える。

一方、ユーザの瞳孔がｂの向きにあるとき、同じ第１反射鏡４０６の際において、第２反射鏡４０８の画像のうちＢの部分が見える。したがって、例えば瞳孔がａの位置にあるときに２つの反射鏡による画像がつながって見えるように画像の表示領域を調整した場合、瞳孔がｂの位置にあるときには両者が不連続に見えることになる。ただし瞳孔がｂの位置にあるとき、当該際は視野の端になるため、大きな違和感とはなりにくい。例えば瞳孔が正面を向いているときに第１反射鏡４０６の全ての際で２つの画像がつながって見えるように表示領域を調整すれば、瞳孔の向きに関わらず、ずれを最小限に抑えることができる。

一方、そのようなずれが生じないように、瞳孔の向きに合わせて表示すべき画像の領域を調整するようにしてもよい。例えばヘッドマウントディスプレイ４００、４２０に、注視点検出器を設ける。注視点検出器は、赤外線照射機構により照射され瞳孔において反射した赤外線を検出し、それにより特定される瞳孔の向きなどから注視点を検出する装置である。この検出結果を利用して瞳孔の向きを特定し、２つの画像が常につながって見えるように瞳孔の向きの変化に応じて表示領域をずらす。

この場合、情報処理装置２００ａが注視点検出器の検出結果を取得する。そして第１画像生成部２７２または第２画像生成部２７４が、表示画像としてクリッピングする画像上の領域を、瞳孔の向きに応じて変化させる。例えば瞳孔が、位置ａからｂの方向へ動くとき、第２画像生成部２７４は、矢印Ｃの方向に画像が動くように表示画像のクリッピング領域を変化させる。このようにすることで、第１反射鏡４０６の際に見える第２反射鏡４０８の画像の位置が常に同じとなり、２つの反射鏡の間隙によって生じる違和感を低減させられる。

第２実施形態においても、表示対象は撮影画像に限らない。すなわち、全面をコンピュータグラフィクスで描画するＶＲなどの技術においても本実施の形態を適用できる。この場合、画像において重要な部分、例えばユーザが注視している領域について第１画像生成部２７２が高解像度で描画し、第２画像生成部２７４が広角の全体画像を低解像度で描画する。そして前者を第１ディスプレイに、後者を第２ディスプレイに表示させることにより、両者を光学的に合成して見せることができる。

このようにしても、全領域を高解像度で描画するより、描画処理やデータ伝送の負荷が少ない。すなわち必要な部分の精細度を維持したまま、表示の広角化と即時性を両立できる。このような態様においては、ヘッドマウントディスプレイに第１カメラ１４０と第２カメラ１４２の一方、あるいは双方を設けなくてもよい。またカメラをヘッドマウントディスプレイとは別の装置としてもよい。

以上述べた本実施の形態によれば、ディスプレイに表示させた画像を反射鏡によってユーザの目に到達させるヘッドマウントディスプレイにおいて、サイズの異なる反射鏡をユーザから見て重なるように配置し、それぞれに別の画像を投影する。ここで、より大きな反射鏡に広角画像を拡大するように反射させ、それより手前に配置した小さい反射鏡に狭角画像を反射させることにより、両者が合成されて見えるようにする。

これにより、ディスプレイに表示させる画像自体のサイズは小さくても広い視野に広角な画像を見せることができるとともに、重要な領域については高精細に表すことができる。そのため処理や伝送の負荷が軽く、必要な精細度を保ちながら、より広角な画像を即時に表示させることができる。また画角の異なるカメラをヘッドマウントディスプレイに設ける態様と組み合わせることで、内部での画像処理を最小限として表示画像を出力できるため、よりレイテンシの少ない画像表示を実現できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ ヘッドマウントディスプレイ、 １４０ 第１カメラ、 １４２ 第２カメラ、 ２００ 情報処理装置、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２５０ 撮影画像取得部、 ２５２ 画像記憶部、 ２５４ 画像解析部、 ２５６ 情報処理部、 ２５８ 画像生成部、 ２６０ 画像合成部、 ２６２ 出力部、 ２７０ 画像生成部、 ２７２ 第１画像生成部、 ２７４ 第２画像生成部、 ４００ ヘッドマウントディスプレイ、 ４０２ 第１ディスプレイ、 ４０４ 第２ディスプレイ、 ４０６ 第１反射鏡、 ４０８ 第２反射鏡、 ４２０ ヘッドマウントディスプレイ、 ４２２ 第１ディスプレイ、 ４２４ 第２ディスプレイ、 ４２６ 第１反射鏡、 ４２８ 第２反射鏡。

Claims (17)

1. 表示画像の生成に用いる画像を所定のレートで撮影する撮像装置であって、
   被写空間を撮影する第１カメラと、
   前記被写空間を、前記第１カメラより広い視野かつ低い解像度で撮影する第２カメラと、
   前記第１カメラおよび前記第２カメラが撮影した画像のデータを逐次出力する出力部と、
   を備えたことを特徴とする撮像装置。
2. 前記第１カメラは、既知の間隔を有する左右の視点から視差のある２つの動画を撮影し、
   前記第２カメラは、前記左右の視点の中点を通る垂直線上の視点から１つの動画を撮影することを特徴とする請求項１に記載の撮像装置。
3. ユーザの頭部への固定を実現する装着機構部をさらに備え、
   前記第１カメラおよび第２カメラの視野は、ユーザの顔の向きに応じて変化することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２カメラの光軸は、水平面より下方に傾斜していることを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 請求項１から４のいずれかに記載の撮像装置と、
   前記第１カメラが撮影した画像と前記第２カメラが撮影した画像を合成してなる表示画像を表示するディスプレイと、
   を備えたことを特徴とするヘッドマウントディスプレイ。
6. それぞれに画像を表示する第１ディスプレイおよび第２ディスプレイと、
   前記第１ディスプレイおよび第２ディスプレイによって表示された画像をそれぞれユーザの目の方向に反射させる第１反射鏡および第２反射鏡と、
   を備え、
   前記第１反射鏡は、前記第２反射鏡より小さく、ユーザの目と前記第２反射鏡の間に配置されることを特徴とするヘッドマウントディスプレイ。
7. 前記第１ディスプレイは、前記第２ディスプレイが表示する画像の一部を、前記第２ディスプレイが表示する画像より高い解像度で表示することを特徴とする請求項６に記載のヘッドマウントディスプレイ。
8. 前記第１ディスプレイが表示する画像と前記第２ディスプレイが表示する画像は、前記第１反射鏡および前記第２反射鏡によって、異なる拡大率で拡大されることを特徴とする請求項６または７に記載のヘッドマウントディスプレイ。
9. ユーザの左右の目に対し、左眼視用の画像および右眼視用の画像をそれぞれ視認させる、前記第１ディスプレイ、第２ディスプレイ、第１反射鏡、第２反射鏡により構成される２組の表示機構を備えたことを特徴とする請求項６から８のいずれかに記載のヘッドマウントディスプレイ。
10. ユーザの顔の向きに応じた視野で被写空間を撮影する第１カメラと、
    前記被写空間を、前記第１カメラより広い視野かつ低い解像度で撮影する第２カメラと、
    をさらに備え、
    前記第１ディスプレイは前記第１カメラが撮影した画像に基づく画像を表示し、前記第２ディスプレイは前記第２カメラが撮影した画像に基づく画像を表示することを特徴とする請求項６から９のいずれかに記載のヘッドマウントディスプレイ。
11. ユーザの瞳孔の向きを取得する検出器をさらに備え、
    前記第１ディスプレイおよび前記第２ディスプレイのいずれかは、ユーザの瞳孔の向きに応じて表示領域が変化する画像を表示することを特徴とする請求項６から１０のいずれかに記載のヘッドマウントディスプレイ。
12. 請求項１から４のいずれかに記載の撮像装置と、
    前記撮像装置が出力した画像のデータを取得し、前記第１カメラが撮影した画像と前記第２カメラが撮影した画像を合成して表示画像を生成し、表示装置に出力する情報処理装置と、
    を備えたことを特徴とする情報処理システム。
13. 前記情報処理装置は、前記第１カメラが既知の間隔を有する左右の視点から撮影した視差のある２つの画像を、前記第２カメラが前記左右の視点の中点を通る垂直線上の視点から撮影した１つの画像にそれぞれ合成することにより、立体視用の視差画像を生成し出力することを特徴とする請求項１２に記載の情報処理システム。
14. 前記情報処理装置は、前記第１カメラが撮影した画像と前記第２カメラが撮影した画像のいずれかを選択的に用いて画像解析を行い、当該解析結果を前記表示画像に反映させることを特徴とする請求項１２または１３に記載の情報処理システム。
15. 請求項６から１１のいずれかに記載のヘッドマウントディスプレイと、
    前記第１ディスプレイおよび前記第２ディスプレイに表示させる画像を生成し、前記ヘッドマウントディスプレイに出力する情報処理装置と、
    を備えたことを特徴とする情報処理システム。
16. 被写空間を撮影する第１カメラと、前記被写空間を、前記第１カメラより広い視野かつ低い解像度で撮影する第２カメラが撮影した画像のデータを取得するステップと、
    前記第１カメラが撮影した画像と前記第２カメラが撮影した画像を合成して表示画像を生成するステップと、
    前記表示画像のデータを表示装置に出力するステップと、
    を含むことを特徴とする情報処理装置による情報処理方法。
17. 被写空間を撮影する第１カメラと、前記被写空間を、前記第１カメラより広い視野かつ低い解像度で撮影する第２カメラが撮影した画像のデータを取得する機能と、
    前記第１カメラが撮影した画像と前記第２カメラが撮影した画像を合成して表示画像を生成する機能と、
    前記表示画像のデータを表示装置に出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。