JP4810295B2 - 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体に関し、特に、複合現実感に係る技術に関する。

現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ: Mixed Reality）の技術を応用したシステム（ＭＲシステム）が数多く知られている。このようなＭＲシステムは、カメラなどの撮像装置によって撮影した現実世界の画像（実写画像）に対し、ＣＧで描画した仮想空間の画像（仮想画像）を結合した複合現実感画像を、ＨＭＤなどの表示装置に表示する。これにより、ＭＲシステムのユーザに複合現実感を提供している。ただし、ＣＧはコンピュータグラフィックス（Computer Graphics）の略称であり、ＨＭＤはヘッドマウントディスプレイ（Head-Mounted Display）の略称である。

これらのＭＲシステムは、実写画像の変化に追従させるかたちで仮想画像を生成するために、ユーザの視点位置姿勢をリアルタイムで取得する必要がある。この視点位置姿勢の取得には、６自由度位置姿勢センサ装置が広く用いられている。ＭＲシステムは、６自由度位置姿勢センサ装置によって計測したユーザの視点位置姿勢を仮想空間での仮想の視点位置姿勢に変換し、ＣＧによって仮想画像を描画して、実写画像と結合する。これにより、ＭＲシステムのユーザは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

ＭＲシステムを使用するユーザは、ＨＭＤなどの頭部固定型ディスプレイ装置を装着するのが一般的である。ＨＭＤには、観察者の視点位置姿勢と光学的に略一致するように、ビデオカメラが内蔵されている。ＨＭＤを利用したＭＲシステムでは、ＨＭＤを装着したユーザ（観察者）自身の視点の位置姿勢で実写画像を撮像し、同じ位置姿勢から観測される仮想空間画像を生成するため、観察者の没入感を高めることが可能となる。

一方、ＨＭＤを利用したＭＲシステムでは、複合現実感画像を観察することができるのは、ＨＭＤを装着した観察者のみであり、ＨＭＤを装着しない第三者は複合現実感画像を観察することができない。そのため、観察者に提示している複合現実感画像と同じ画像を、ＣＲＴやプロジェクタ、大型ディスプレイなどの据え置き型ディスプレイ装置に表示させ、不特定の第三者に提示することが行われる。これによって、ＨＭＤを装着しない第三者も、ＨＭＤを装着した観察者と同様の複合現実感を体験することが可能となる。

このとき、第三者は、観察者の視点で生成された複合現実感画像を観察する。観察者が移動したり、頭を傾けた場合には、仮に第三者が静止していたとしても、第三者には、観察者の位置姿勢の変化に応じた複合現実感画像が提示される。従って、例えば、観察者が、物体をのぞき込むなど、頭を傾けるような動作を取る場合は、観察者のＨＭＤに傾いた複合現実感画像が提示されるのと同時に、第三者が見る据え置き型ディスプレイ装置に対しても、傾いた複合現実感画像が提示されることになる。この複合現実感画像は、観察者のＨＭＤに表示されるべく生成されているため、当然、観察者にとっては適切な複合現実感画像である。しかし、このときの第三者は、観察者と同じ傾きで据え置き型ディスプレイを見るわけではないため、第三者にとっては、自らの頭の傾きとは一致しない、不自然に傾いた複合現実感画像であるように知覚されることになる。さらに、ＨＭＤを装着する観察者は、時々刻々と頭部の位置姿勢を変化させているため、据え置き型ディスプレイ装置を観察する第三者にとっては、前述した不自然さが増長され、提示される複合現実感画像に違和感を感じる場合がある。

すなわち、以上述べたようなＭＲシステムにおいて、頭を傾けている観察者にとっては適切な複合現実感画像であっても、観察者とは視点の位置姿勢の異なる第三者にとっては、適切ではない複合現実感画像となる場合がある。そのため、観察者に対しては観察者の位置姿勢変化に応じた複合現実感画像を提示しながらも、第三者に対しては、観察者の位置姿勢変化による傾きがない複合現実感画像を提示することが求められていた。

特許文献１には、撮像面の姿勢を検出することによって、記録される画像の上下を一定に保つように制御する電子カメラが開示されている。
特開平１０−１６４４２６号公報

しかしながら、特許文献１に開示された電子カメラが行う処理は、撮像手段の回転方向、角度を検出し、当該検出に基づいて画像を回転するのみである。このため、ＨＭＤを装着する観察者と、ＨＭＤを装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することができなかった。

本発明は、上記の課題に鑑みてなされたものであり、ＨＭＤを装着する観察者と、ＨＭＤを装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明によれば、表示装置に接続された情報処理装置であって、
撮像装置により撮像された実画像を取得する取得手段と、
前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
前記実画像の傾きを検出する検出手段と、
検出された前記実画像の傾きに基づいて、前記実画像及び前記仮想画像を補正する補正手段と、
それぞれ補正された前記実画像及び前記仮想画像に基づいて合成画像を生成する合成手段と、
前記合成画像を前記表示装置へ出力する出力手段と、
を備えることを特徴とする情報処理装置が提供される。

また、本発明によれば、表示装置に接続された情報処理装置であって、
撮像装置により撮像された実画像を取得する取得手段と、
前記実画像の傾きを検出する検出手段と、
検出された前記実画像の傾きに基づいて、前記実画像を補正する補正手段と、
前記撮像装置の姿勢と検出された前記実画像の傾きとに基づいて、仮想画像を生成する生成手段と、
補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成手段と、
前記合成画像を前記表示装置へ出力する出力手段と、
を備えることを特徴とする情報処理装置が提供される。

また、本発明によれば、表示装置に接続された情報処理装置であって、
撮像装置により撮像された実画像を取得する取得手段と、
前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
前記実画像及び前記仮想画像に基づいて合成画像を生成する合成手段と、
前記実画像の傾きを検出する検出手段と、
検出された前記実画像の傾きに基づいて、前記合成画像を補正する補正手段と、
補正された前記合成画像を前記表示装置へ出力する出力手段と、
を備えることを特徴とする情報処理装置が提供される。

また、本発明によれば、表示装置に接続された情報処理装置であって、
撮像装置により撮像された実画像を取得する取得手段と、
前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
前記実画像の傾きを検出する検出手段と、
検出された前記実画像の傾きに基づいて、前記実画像を補正する補正手段と、
補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成手段と、
補正された前記合成画像を前記表示装置へ出力する出力手段と、
を備えることを特徴とする情報処理装置が提供される。

本発明によれば、ＨＭＤを装着する観察者と、ＨＭＤを装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能な技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
（画像処理装置の概略構成）
第１実施形態では、ＨＭＤを装着し複合現実感を体験している観察者が観察する映像を、ＨＭＤと据え置き型のディスプレイとに出力する構成について説明する。この場合、ＨＭＤには通常の複合現実感画像を、据え置き型のディスプレイには、傾きが補正された複合現実感画像を表示する。

図１０は本実施形態に係る画像処理装置のハードウェア構成の概略を示すブロック図である。図１０中の矩形は本実施形態に係る構成を実現するモジュールを示し、矢印は、画像または信号のモジュール間での流れを示している。

複合現実感提示装置（情報処理装置）１００は、本実施形態における画像処理装置の主要な機能を果たすモジュールである。複合現実感提示装置１００は、ＨＭＤ２００が備える撮像部１０１、位置姿勢計測部１０２からの入力を元に複合現実感画像を生成し、ＨＭＤ２００および据え置き型ディスプレイ装置３００に出力する。なお、ＨＭＤ２００が備える撮像部１０１、位置姿勢計測部１０２については後述する。

なお、複合現実感提示装置１００は、実際には、パーソナルコンピュータやワークステーション等の情報処理装置により実現することができる。この場合、複合現実感提示装置１００は、装置全体の処理を制御するＣＰＵや、ＲＡＭ、ＲＯＭ、（ハード）ディスク装置等の記憶装置を備えており、プログラムコードの実行により処理を制御する。ただし、複合現実感提示装置１００の実現方法はこれに限られず、例えば、同等の処理を行う半導体集積回路として構成することも可能である。

以下に詳細に説明するように、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、ＨＭＤ２００（撮像部１０１）の姿勢に基づいて仮想画像を生成し、実画像の傾きを検出する検出する。更に、検出された実画像の傾きに基づいて、実画像及び仮想画像を補正し、それぞれ補正された実画像及び仮想画像に基づいて合成画像を生成し、合成画像を据え置き型ディスプレイ装置３００へ出力する。

ＨＭＤ２００（第２表示装置）は、観察者が頭部に装着あるいは固定して用いるＨＭＤなどのディスプレイ装置であり、ＨＭＤ２００に入力される画像を観察者の眼前に光学的に表示する。本実施形態では、ＨＭＤ２００は内部にビデオカメラを備えており、当該ビデオカメラは、観察者の視点位置姿勢と光学的に略一致するように設置されている。ＨＭＤ２００に内蔵されるビデオカメラは、観察者の視点位置から観測される実写画像を取得し、複合現実感提示装置１００に出力する。また、ＨＭＤ２００は、観察者の視点位置姿勢を計測する機能を備えており、計測した位置姿勢の情報を複合現実感提示装置１００に出力する。なお、ＨＭＤ２００は観察者が頭部に装着する形態のディスプレイ装置に限られるものではない。例えば、観察者が手などの部位で把持して観察する形態のディスプレイ装置でもＨＭＤ２００と同じ機能を果たすことが可能である。

据え置き型ディスプレイ装置（表示装置）３００は、プラズマディスプレイなどの大型のディスプレイ装置であり、複合現実感提示装置１００から出力される画像を、画面に表示する。据え置き型ディスプレイ装置３００は、ＨＭＤ２００を使用している観察者以外の第三者に対し、複合現実感画像を観察することを可能にする。

尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

また、本実施形態では、説明の便宜のため、本実施形態に係る画像処理装置を上記の３つのモジュールで実現した構成について述べるが、画像処理装置の構成はこれに限られない。例えば、上記の３つのモジュールを同一の装置により実現するように構成してもよい。或いは、例えば、複合現実感提示装置１００を、ＨＭＤ２００又は据え置き型ディスプレイ装置３００の中に組み込んで実現するように構成してもよい。或いは、例えば、複合現実感提示装置１００の機能を、複数の情報処理装置上で仮想的に実現される構成要素に分散し、当該情報処理装置の並列処理により実現するようにしてもよい。

（画像処理装置の機能構成）
次に、本実施形態にかかる画像処理装置の機能構成について、図１を参照して説明する。図１は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。

図１において、撮像部１０１は、観察者視点から観測される実写画像（実画像）を取得する。本実施形態においては、ＨＭＤ２００にビデオカメラが内蔵されており、撮像部１０１の機能を実現している。撮像部１０１が取得した実写画像は画像回転部１０６ａおよび第１画像合成部１０７に出力される。

位置姿勢計測部１０２は、ＨＭＤ２００に備えられ、観察者視点の３次元空間中での位置および姿勢を計測し、傾き検出部１０４および仮想画像生成部１０５に出力する。位置姿勢計測部１０２は、６自由度センサなどの計測機器によって実現されるが、これに限られるものではない。例えば、空間中に配置された、３次元位置が既知である指標（マーカ）を撮像部１０１に撮像させ、撮像された画像中から指標の座標を検出することによって、視点の位置および姿勢を算出することが可能である。このようにして算出した位置および姿勢を傾き検出部１０４や仮想画像生成部１０５に出力するようにしてもよい。この場合、位置姿勢計測部１０２は、撮像部１０１から実写画像を入力することとなる。

仮想情報記憶部１０３は、仮想画像生成部１０５が仮想画像を生成するための仮想空間情報を保持しており、仮想画像の生成時に仮想画像生成部１０５に仮想空間情報を供給する。本実施形態では、仮想世界に配置されるＣＧオブジェクトの３次元形状の情報、配置情報、光源情報、物体の材質、テクスチャ画像など、仮想空間を３次元ＣＧとして描画するために必要な情報を仮想空間情報として保持している。ただし、３次元形状の情報には、頂点座標、面の構成情報、法線ベクトル等が含まれる。

傾き検出部１０４は、位置姿勢計測部１０２からＨＭＤ２００を装着した観察者の視点の姿勢に係る情報を入力し、当該姿勢の情報に基づいて実写画像の傾きを検出し、画像回転部１０６ａ、ｂに出力する。本実施形態においては、ＨＭＤ２００に取り付けられている位置姿勢計測部１０２から入力された姿勢の情報から、視線を回転軸としたときの回転角であるロール角を抽出することによって、実写画像の傾きを検出する。このロール角の抽出は、位置姿勢計測部１０２から入力された姿勢の情報から、三次元空間中の回転行列を算出し、この行列をロール角・ピッチ角・ヨー角の各成分に分解することによって行う。傾き検出部１０４は、この抽出したロール角を画像回転部１０６ａ、ｂに出力する。なお、位置姿勢計測部１０２が計測する姿勢にロール角が含まれ、位置姿勢計測部１０２がロール角を直接出力できる場合には、傾き検出部１０４は、入力したロール角をそのまま画像回転部１０６ａ、ｂに出力する。本実施形態では画像回転部を２つ備え、傾き検出部１０４はロール角を２つの画像回転部１０６ａ、ｂの両方に対して出力する。

仮想画像生成部１０５は、位置姿勢計測部１０２および仮想情報記憶部１０３からの情報をもとに、ＣＧを描画して仮想画像を生成する。仮想画像生成部１０５は、生成した仮想画像を画像回転部１０６ｂおよび画像合成部１０７に出力する。より具体的には、仮想画像生成部１０５は、位置姿勢計測部１０２から入力された位置姿勢を仮想空間を観測する視点として設定する。そして、その視点に基づいて仮想情報記憶部１０３が保持しているＣＧオブジェクトを仮想空間に配置した後に、ＣＧでレンダリングを行うことによって、仮想画像を生成する。

画像回転部１０６ａまたは１０６ｂのそれぞれは、傾き検出部１０４から入力される画像の傾きに基づいて、撮像部１０１または仮想画像生成部１０５から出力される画像に対して、画像の傾きを打ち消すような回転変換を適用する。本実施形態においては、傾き検出部１０４から観察者視点でのロール角（視線を回転軸としたときの回転角）が入力されるので、入力された画像はロール角の逆方向に回転することになる。

図２は画像回転部１０６が行う処理について説明する図である。例えば、画像回転部１０６に回転前画像１０と、ロール角−４５°が入力されたものとする。画像回転部１０６は、図２の回転前画像１０に対し、ロール角−４５°を打ち消すように、回転変換を行う。すなわち、画像回転部１０６は、回転前画像１０を＋４５°回転させ、回転後画像２０を出力する。

回転前画像１０の各画素の座標を(ｕ,ｖ)^T、回転後画像２０の各画素の座標を(ｕ',ｖ')^T、入力したロール角をθとしたとき、回転後画像２０の各画素は以下の式で求められる。ただし、(ｕ,ｖ)^T＝(０,０)^Tを回転中心とする。

回転中心は、例えば、画像の中央または画像中で対応する撮像部１０１の光学中心の座標などを用いることができる。撮像部１０１の光学中心は、撮像部１０１のキャリブレーションなどで算出することが可能である。この光学中心の算出の具体的な手法は、公知であるため、説明を省略する。

本実施形態に係る画像処理装置は２つの画像回転部１０６ａ、１０６ｂ（これらをまとめて１０６で示す）を備える。１つ目の画像回転部（第１画像回転部）１０６ａは、撮像部１０１が出力する実写画像および傾き検出部１０４が出力するロール角を入力し、回転後画像２０を２つ目の画像合成部（第２画像合成部）１０８に出力する。２つ目の画像回転部（第２画像回転部）１０６ｂは、仮想画像生成部１０５が出力する仮想画像および傾き検出部１０４が出力するロール角を入力し、回転後画像２０を２つ目の画像合成部（第２画像合成部）１０８に出力する。

第１画像合成部（第２合成手段）１０７は、撮像部１０１が取得した実写画像に仮想画像生成部１０５が生成した仮想画像を重畳し、複合現実感画像を生成する。第２画像合成部１０８は、第１画像回転部１０６ａが出力する回転後の実写画像に、第２画像回転部１０６ｂが出力する回転後の仮想画像を重畳し、複合現実感画像を生成する。第１画像合成部１０７によって生成された複合現実感画像は第１表示部１０９に、第２画像合成部１０８によって生成された複合現実感画像は第２表示部１１０にそれぞれ出力される。

上記のように、本実施形態に係る画像処理装置は２つの画像合成部１０７、１０８を備える。第１画像合成部１０７は、撮像部１０１が出力する実写画像と、仮想画像生成部１０５が出力する仮想画像とを入力し、生成された複合現実感画像を第１表示部１０９に出力する。第２画像合成部１０８（第１合成手段）は、２つの画像回転部１０６ａ、１０６ｂが出力する回転後画像２０をそれぞれ入力し、生成された複合現実感画像を第２表示部１１０に出力する。本実施形態において、第１画像合成部１０７、第２画像合成部１０８では、まず実写画像の上に仮想画像を重畳する。仮想画像のうち、背景となる部分については重畳処理を行わない。仮想画像の背景以外の部分が実写画像に重畳される。この重畳処理の結果、第１画像合成部１０７、第２画像合成部１０８が生成する複合現実感画像は、実写画像の上に、仮想空間のＣＧが存在する部分についてのみ、仮想画像が重畳されることになる。

なお、仮想画像のうち、仮想空間のＣＧが存在する部分についても、適宜、重畳しない部分を設けるようにして、特別な効果を持たせるようにしてもよい。例えば、実写画像から特定の色が存在する部分のみ、仮想画像を重畳させないような処理を行うことによって、仮想空間のＣＧが常に現実の物体の前に観測されるような現象を回避することが可能となる。なお、このような処理は、例えば、特開２００３−２９６７５９号公報に開示されている手法を用いて実行することができる。なお、本実施形態において、第１画像合成部１０７、第２画像合成部１０８は、画像を入力および出力する先のモジュールが異なるだけであり、処理内容は同一である。

第１表示部（第２出力手段）１０９は、第１画像合成部１０７が出力する複合現実感画像を入力し、表示する。第２表示部（第１出力手段）１１０は、第２画像合成部１０８が出力する複合現実感画像を入力し、表示する。第１表示部１０９はＨＭＤ２００に備えられており、ＨＭＤ２００を使用している観察者の視点から観測される複合現実感画像を表示する。すなわち、画像回転部１０６による回転変換を適用しない複合現実感画像を表示する。第２表示部１１０は据え置き型のディスプレイ装置３００に備えられており、ＨＭＤ２００を使用している観察者の視点から観測され、画像の傾きを除去した複合現実感画像を表示する。すなわち、画像回転部１０６による回転変換を適用した複合現実感画像を表示する。本実施形態では、第２表示部１１０には第１表示部１０９よりも大型のディスプレイ装置を用いる。このことにより、ＨＭＤ２００を装着している観察者が見ている複合現実感画像を、ＨＭＤ２００を装着しない第三者に対して、提示することができるようになる。

（基本処理）
以上のような構成を備えた本実施形態に係る画像処理装置の制御について、図３を参照して以下説明する。図３は、本実施形態の画像処理装置が行う処理の流れを示すフローチャートである。なお、同フローチャートに従ったプログラムコードは、画像処理装置が備える不図示のディスク装置やＲＡＭなどの記憶装置内に格納され、ＣＰＵにより読み出され、実行される。

まず、ステップＳ１０１０において、本実施形態に係る画像処理装置を起動し、必要な初期化を行う。必要な初期化には、ＣＰＵがプログラムコードや仮想空間情報をディスク装置から読み出し、ＲＡＭに格納する処理が含まれる。

次に、ステップＳ１０２０において、撮像部１０１は、ＨＭＤ２００を装着している観察者視点からの実写画像を取得する。

次に、ステップＳ１０３０において、位置姿勢計測部１０２は、ＨＭＤ２００を装着している観察者視点の位置姿勢を計測する。

次に、ステップＳ１０４０において、傾き検出部１０４は、ステップＳ１０２０において取得された実写画像の傾きを検出する。

次に、ステップＳ１０５０において、仮想画像生成部１０５は、ステップＳ１０３０において計測された位置姿勢を視点としてＣＧによって仮想空間の描画を行い、仮想画像を生成する。

次に、ステップＳ１０６０において、画像回転部１０６は、ステップＳ１０２０において取得された実写画像およびステップＳ１０５０において生成された仮想画像に回転変換を適用する。

次に、ステップＳ１０７０において、第１画像合成部１０７、第２画像合成部１０８は、実写画像および仮想画像を入力し、実写画像に仮想画像を重畳した複合現実感画像を生成する。先述したように、本実施形態では２つの画像合成部１０７、１０８を備え、第１画像合成部１０７は、ステップＳ１０２０において取得された実写画像とステップＳ１０５０において生成された仮想画像とを合成し、第１表示部１０９に出力する。第２画像合成部１０８は、ステップＳ１０２０において取得された実写画像とステップＳ１０６０において回転変換を適用された仮想画像とを合成し、第２表示部１１０に出力する。

次に、ステップＳ１０８０において、本処理を終了するか否かを判断し、ＹＥＳの場合は、本実施形態における処理を終了する。または、ＮＯの場合は、ステップＳ１０２０に戻り、処理を継続する。

なお、本実施形態において、ステップＳ１０２０からステップＳ１０８０までの一連の処理は、短時間のうちに行われ、これらの処理を一回完了するまでに要する時間は、通常、数ミリ秒から数百ミリ秒程度以内である。従って、本実施形態に係る画像処理装置は、ステップＳ１０２０からステップＳ１０８０までの処理を繰り返し実行することによって、短時間のうちに変化する複合現実感画像を連続的に表示する。それゆえ、観察者および第三者は複合現実感画像を一連の動画像として認識することが可能である。

以上、本実施形態における制御の流れについて説明したが、この順序は一例であり、一部の処理については順序を変更することが可能である。例えば、ステップＳ１０２０の処理はステップＳ１０６０よりも先に、ステップＳ１０３０はステップＳ１０４０よりも先に、ステップＳ１０４０はステップＳ１０６０よりも先に行われればよく、これらの条件を満たす範囲で任意に処理の順序を変更してもよい。ただし、ステップＳ１０１０、ステップＳ１０７０、ステップＳ１０８０については、順序を変更することはできない。

以上述べたように、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、ＨＭＤ２００（撮像部１０１）の姿勢に基づいて仮想画像を生成し、実画像の傾きを検出する検出する。更に、検出された実画像の傾きに基づいて、実画像及び仮想画像を補正し、それぞれ補正された実画像及び仮想画像に基づいて合成画像を生成し、合成画像を据え置き型ディスプレイ装置３００へ出力する。このため、据え置き型ディスプレイ装置３００には、検出された実画像の傾きに基づいて、補正された画像が出力することになる。従って、第１実施形態に係る構成によれば、頭部固定型表示装置（ＨＭＤ）を装着する観察者と、頭部固定型表示装置を装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能となる。

［第２実施形態］
第２実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正された複合現実感画像を表示する。第２実施形態の構成や制御の多くは第１実施形態と同じであるが、実写画像の傾きを検知する手法が第１実施形態と第２実施形態とで異なっている。第１実施形態に係る構成では、ＨＭＤ２００に備えられている位置姿勢計測部１０２によって取得された位置姿勢を用いて実写画像の傾きを検知しているが、第２実施形態に係る構成では、撮像部１０１から撮像された実写画像そのものを用いて傾きを検知する。

図４は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態に係る機能構成（図１）と比較すると、傾き検出部１０４は、位置姿勢計測部１０２から姿勢を入力する代わりに、撮像部１０１から実写画像を入力する点で異なっている。以下、本実施形態の構成について、第１実施形態と異なる部分についてのみ説明する。

本実施形態では、撮像部１０１は、取得した実写画像を画像回転部１０６ａ、画像合成部１０７、傾き検出部１０４に出力する。また、本実施形態では、位置姿勢計測部１０２は、計測した位置姿勢情報を、仮想画像生成部１０５に出力する。

本実施形態において、傾き検出部１０４は、撮像部１０１から実写画像を入力し、画像の傾きを検出する。傾き検出部１０４は、検出した傾きを画像回転部１０６に出力する。傾き検出部１０４は、撮像部１０１から入力した画像から、視線を回転軸としたときの回転角であるロール角を算出する。傾き検出部１０４は、抽出したロール角を画像回転部１０６に出力する。

本実施形態において、傾き検出部１０４がロール角を算出する処理について、以下説明する。傾き検出部１０４は、撮像部１０１から入力した実写画像からオプティカルフローを算出する。オプティカルフローは画像上の各点の移動速度を示すものである。オプティカルフローを算出する手法については、勾配法、ブロックマッチング法などの複数の手法が広く知られている。このオプティカルフローの移動ベクトルの始点をＡ、終点をＢ、画像中心をＯとする。本実施形態では、各移動ベクトルについて∠ＡＯＢのなす角を求め、この平均値をロール角として画像回転部１０６に出力する。

なお、本実施形態では、傾き検出部１０４が画像中のオプティカルフローに基づきロール角を算出しているが、これに限られるものではない。撮像部１０１が取得する画像から、観察者の視線周りの回転角を得られる手法であれば、いかなる手法を用いても、傾き検出部１０４の機能を実現することができる。

以上述べたように、本実施形態に係る構成においては、取得された実写画像を解析して傾きを検出する。このため、たとえ、ＨＭＤ１００が、姿勢を検出することができなくても、実写画像の傾きを検出して、適切に画像の補正を実行することが可能である。したがって、第２実施形態に係る構成によれば、頭部固定型表示装置を装着する観察者と、頭部固定型表示装置を装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能となる。なお、本実施形態において説明した実写画像の傾きを検出する手法は、第１実施形態に係る構成だけではなく後述する第３実施形態に係る構成においても適用可能であることは言うまでもない。

［第３実施形態］
第３実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正された複合現実感画像を表示する。第３実施形態の構成や制御の多くは第１実施形態と同じであるが、仮想画像の傾きを補正する手法が第１実施形態と第３実施形態とで異なっている。第１実施形態に係る構成では、生成した仮想画像を回転させて補正するのに対して、第３実施形態に係る構成では、仮想空間を描画する姿勢を補正して、仮想画像を生成する。すなわち、傾きが補正された状態の仮想画像を生成する。

図５は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態の構成（図１）と比較すると、画像回転部１０６が１つになり、第２仮想画像生成部１１１が新たに追加されている。

本実施形態においては、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、この実画像の傾きを検出し、検出された実画像の傾きに基づいて、実画像を補正する。さらに、撮像部１０１（ＨＭＤ２００）の姿勢と検出された実画像の傾きとに基づいて、仮想画像を生成し、補正された実画像と、仮想画像とに基づいて合成画像を生成し、合成画像を据え置き型ディスプレイ装置３００へ出力する。

以下、本実施形態の構成および制御について、第１実施形態と異なる部分についてのみ説明する。本実施形態では、位置姿勢計測部１０２は、計測した位置姿勢情報を、傾き検出部１０４、仮想画像生成部１０５、及び、第２仮想画像生成部１１１に出力する。また、本実施形態では、傾き検出部１０４は、検出した傾きを画像回転部１０６および第２仮想画像生成部１１１に出力する。

第２仮想画像生成部１１１は、位置姿勢計測部１０２、仮想情報記憶部１０３、傾き検出部１０４からの情報をもとに、ＣＧを描画して仮想画像を生成する。生成された仮想画像は第２画像合成部１０８に送られる。第２仮想画像生成部１１１は、仮想画像生成部１０５と同様に、観察者視点に基づいて仮想情報記憶部１０３が保持しているＣＧオブジェクトを仮想空間に配置し、ＣＧでレンダリングを行い、仮想画像を生成する。このとき、傾き検出部１０４からのロール角をもとに、位置姿勢計測部１０２から入力される姿勢からロール角の成分を除去する。具体的には、姿勢を表す三次元回転行列Ｒからロール角・ピッチ角・ヨー角を算出し、ピッチ角・ヨー角から再度三次元回転行列Ｒ’を算出する。すなわち、Ｒから求められる角度のうち、ロール角のみを破棄して（ロール角成分を０にして）Ｒ’を再構成する。結果として、第２仮想画像生成部１１１は、観察者の視線まわり（仮想画像の画像面上）の回転を除去した仮想画像を生成することになる。

位置姿勢計測部１０２が計測する姿勢にロール角が含まれており、位置姿勢計測部１０２がロール角を直接出力できる場合には、第２仮想画像生成部１１１では、入力したロール角を０°に設定して、ＣＧのレンダリングを行えばよい。この場合、傾き検出部１０４からの入力は不要となる。

本実施形態において、第２画像合成部１０８は、画像回転部１０６が出力する実写画像に対する回転後画像２０と、第２仮想画像生成部１１１から出力される仮想画像とをそれぞれ入力し、生成された複合現実感画像を第２表示部１１０に出力する。

なお、本実施形態に係る画像処理装置は、図３のステップＳ１０５０において、仮想画像生成部１０５および第２仮想画像生成部１１１は仮想画像を生成する。

上記のように、本実施形態においては、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、この実画像の傾きを検出し、検出された実画像の傾きに基づいて、実画像を補正する。さらに、撮像部１０１（ＨＭＤ２００）の姿勢と検出された実画像の傾きとに基づいて、仮想画像を生成し、補正された実画像と、仮想画像とに基づいて合成画像を生成し、合成画像を据え置き型ディスプレイ装置３００へ出力する。

従って、本実施形態に係る構成では、第１実施形態と異なり、ＣＧを描画する視点を回転させ、仮想画像自体を回転させないため、仮想画像には回転に伴う欠損が生じない。このため、本実施形態に係る構成によれば、頭部固定型表示装置を装着する観察者と、頭部固定型表示装置を装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能となる。

［第４実施形態］
第４実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正された複合現実感画像を表示する。第４実施形態の構成や制御の多くは第１実施形態と同じであるが、第１実施形態のように、実写画像と仮想画像とを各々補正するのではなく、第４実施形態に係る構成では、実写画像に仮想画像を重畳した後に、画像の傾きを補正している。

図６は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態と比較すると、画像回転部１０６が１つになっており、第２画像合成部１０８が存在しない。

本実施形態では、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、撮像部１０１（ＨＭＤ２００）の姿勢に基づいて仮想画像を生成し、実画像及び仮想画像に基づいて合成画像を生成し、実画像の傾きを検出する。さらに、検出された実画像の傾きに基づいて、合成画像を補正し、補正された合成画像を据え置き型ディスプレイ装置３００へ出力する。

以下、本実施形態の構成および制御について、第１実施形態と異なる部分についてのみ説明する。本実施形態では、仮想画像生成部１０５は、生成した仮想画像を画像合成部１０７に出力する。また、本実施形態では、第１画像合成部１０７は、撮像部１０１が出力する実写画像および仮想画像生成部１０５が出力する仮想画像とを入力し、生成された複合現実感画像を第１表示部１０９および画像回転部１０６に出力する。また、本実施形態では、画像回転部１０６は、第１画像合成部１０７が出力する複合現実感画像および傾き検出部１０４が出力するロール角とを入力し、回転後画像２０を第２表示部１１０に出力する。

以上のような構成を備えた本実施形態の制御について、以下説明する。図７は、本実施形態の画像処理装置が行う処理の流れを示すフローチャートである。第１実施形態の制御（図３）と比較すると、ステップＳ１０６０の処理が削除され、ステップＳ１０７５の処理が追加されている。

ステップＳ１０７０において、第１画像合成部１０７は、実写画像および仮想画像を入力し、実写画像に仮想画像を重畳した複合現実感画像を生成し、画像回転部１０６および第１表示部１０９に出力する。

次に、ステップＳ１０７５において、画像回転部１０６は、ステップＳ１０７０で生成された複合現実感画像に回転変換を適用し、第２表示部１１０に出力する。そして、ステップＳ１０８０へ進む。

上記のように、本実施形態では、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、撮像部１０１（ＨＭＤ２００）の姿勢に基づいて仮想画像を生成し、実画像及び仮想画像に基づいて合成画像を生成する。さらに、実画像の傾きを検出し、検出された実画像の傾きに基づいて、合成画像を補正し、補正された合成画像を据え置き型ディスプレイ装置３００へ出力する。

このように、本実施形態に係る構成においては、画像の補正処理は第１画像合成部１０７から出力される合成画像のみに対してなされるため、比較的簡易な構成で本実施形態に係る構成を実現することが可能である。以上述べたように、本実施形態に係る構成によれば、頭部固定型表示装置を装着する観察者と、頭部固定型表示装置を装着しない第三者に対して、それぞれ適切な複合現実感画像を提示することが可能となる。

［第５実施形態］
第５実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、通常の複合現実感画像、または、傾きが補正された複合現実感画像を表示する。第５実施形態の構成や制御の多くは第１実施形態と同じであるが、第５実施形態では、第１実施形態とは異なり、第２表示部１１０に表示される複合現実感画像に対して、画像の傾きを補正するか補正しないかをユーザが選択するための機能構成が追加されている。

図８は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態と比較すると、選択部１１２が追加されている。以下、本実施形態の構成および制御について、第１実施形態と異なる部分についてのみ説明する。

選択部１１２は、傾き検出部１０４の処理を有効にするか、無効にするかをユーザが選択するためのユーザインタフェースとして機能する。選択部１１２は、選択結果を示す制御信号を傾き検出部１０４に出力する。本実施形態では、スイッチ、キーボード、マウスなどのユーザが操作するための入力デバイスが、画像処理装置に接続される。ユーザの選択肢には、「画像の傾きを補正する」、又は、「画像の傾きを補正しない」の２種類が存在し、選択部１１２は入力デバイスへのユーザの入力に基づいて、傾き検出部１０４の処理の有効／無効を切り換える。選択部１１２は、これらの選択肢をディスプレイに表示し、ユーザの選択を受け付ける。ユーザが「画像の傾きを補正する」を選択した場合には、選択部１１２は、傾き検出部１０４に対して、処理を有効にする旨の制御信号を出力する。ユーザが「画像の傾きを補正しない」を選択した場合には、選択部１１２は、傾き検出部１０４に対して、処理を無効にする旨の制御信号を出力する。

本実施形態では、傾き検出部１０４は、選択部１１２から制御信号を入力し、検出した傾きを画像回転部１０６および第２仮想画像生成部１１１に出力する。傾き検出部１０４は、選択部１１２から入力した制御信号が、傾き検出部１０４の処理を無効にするものであった場合には、傾き検出部１０４は、ロール角として０°を画像回転部１０６に出力する。そうでない場合の傾き検出部１０４の処理内容は、他の実施形態と同様である。

以上述べたように、第５実施形態に係る構成によれば、第２表示部１１０に表示される複合現実感画像に対して、ユーザが画像の傾きを補正するか補正しないかを任意に選択することが可能となる。なお、本実施形態では、第１実施形態の構成に選択部１１２を追加した構成を例示的に説明したが、他の実施形態の構成に選択部１１２を追加し、ユーザが、補正することを選択した場合にのみ、上記の補正処理を行うようにしてもよい。

［第６実施形態］
第６実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、通常の複合現実感画像、または、傾きが補正された複合現実感画像を表示する。第６実施形態の構成や制御の多くは第１実施形態および第５実施形態と同じである。しかし、第６実施形態では、第１実施形態とは異なり、第２表示部１１０に表示される複合現実感画像に対して、画像の傾きを補正するか補正しないかをユーザが選択するための機能構成が追加されている。さらに、第５実施形態では、傾き検出部１０４を制御することによって、画像の傾きの補正の有無を切り換えていたが、第６実施形態では、傾きを補正した画像と補整しない画像との出力を切り換えることによって、結果的に画像の傾きの補正の有無を切り換える。

図９は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態と比較すると、選択部１１２が追加されている。以下、本実施形態の構成および制御について、第１実施形態と異なる部分についてのみ説明する。

本実施形態において、選択部１１２は、２つの画像合成部１０７、１０８から各々複合現実感画像を入力し、いずれかの複合現実感画像を選択して、第２表示部１１０に出力する。ただし、この複合現実感画像の選択はユーザの指示入力に基づいて行う。
即ち、選択部１１２は、画像の補正を行うか否かをユーザが選択するためのユーザインタフェースとしても機能する。

本実施形態では、スイッチ、キーボード、マウスなどのユーザが操作するための入力デバイスが、画像処理装置に接続される。ユーザの操作には「画像の傾きを補正する」または「画像の傾きを補正しない」の２種類があり、選択部１１２は入力デバイスへのユーザの入力に基づいて、いずれかの複合現実感画像を選択する。選択部１１２は、これらの選択肢をディスプレイに表示し、ユーザの選択を受け付ける。ユーザが「画像の傾きを補正する」を入力した場合には、選択部１１２は、２番目の画像合成部（第２画像合成部）１０８からの入力される複合現実感画像を出力する。ユーザが「画像の傾きを補正しない」を入力した場合には、選択部１１２は、１番目の画像合成部（第１画像合成部）１０７から入力される複合現実感画像を出力する。

以上述べたように、第６実施形態によれば、第２表示部１１０に表示される複合現実感画像に対して、ユーザが画像の傾きを補正するか補正しないかを任意に選択することが可能となる。なお、本実施形態では、第１実施形態の構成に選択部１１２を追加した構成を例示的に説明したが、他の実施形態の構成に選択部１１２を追加し、ユーザが、補正することを選択した場合にのみ、上記の補正処理を行うようにしてもよい。

［第７実施形態］
第７実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、通常の複合現実感画像、または、傾きが補正された複合現実感画像を表示する。第７実施形態の構成や制御の多くは第５実施形態と同じである。しかし、第７実施形態では、第５実施形態とは異なり、第２表示部１１０に表示される複合現実感画像に対して、仮想情報記憶部１０３が保持するＣＧの属性に応じて、画像の傾きを補正するか補正しないかを自動的に制御するための機能構成が追加されている。

図１１は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第５実施形態と比較すると、選択部１１２は、仮想情報記憶部１０３から入力を受ける点で相違する。以下、本実施形態の構成および制御について、第５実施形態と異なる部分についてのみ説明する。

選択部１１２は、傾き検出部１０４の処理を有効にするか、無効にするかを選択する。選択部１１２は、選択結果を示す制御信号を傾き検出部１０４に出力する。本実施形態では、選択部１１２は、仮想情報記憶部１０３の内容に応じて、傾き検出部１０４の処理の有効・無効を選択する。本実施形態では、仮想情報記憶部１０３が、文字情報を含むＣＧオブジェクトを仮想画像生成部１０５に出力する場合には、傾き検出部１０４の処理を無効にする。それ以外の場合には、傾き検出部１０４の処理を有効にする。なお、選択部１１２が行う、傾き検出部１０４の処理の有効・無効の判断は、例えば、仮想情報記憶部１０３に仮想情報に係るオブジェクトの種類を示す情報を格納しておき、当該情報に基づいて実行するように構成することができる。あるいは、例えば、公知の文字認識技術を利用して仮想情報を解析し、文字を認識することができた場合は傾き検出部１０４の処理を無効とし、認識できなかった場合は有効とすることができる。

本実施形態では、仮想画像生成部１０５は、ＨＭＤ２００を装着した観察者に対して、視点移動が伴う場合でも、文字情報が移動しないようなかたちで、常に第１表示部１１０に表示される画像中の向きを基準として文字情報の仮想画像を生成する。そのため、本実施形態では、仮想情報記憶部１０３が、文字情報を含むＣＧオブジェクトを仮想画像生成部１０５に出力する場合には、画像の傾きを補正しないようにすることで、文字情報を含む複合現実感画像を第２表示部１１０に適切に表示制御する。文字情報を含まない複合現実感画像については、第１実施形態と同様に、傾きを補正する。

なお、本実施形態では、選択部１１２は、仮想情報記憶部１０３が、文字情報を含むＣＧオブジェクトを仮想画像生成部１０５に出力する場合に、傾き検出部１０４の処理を無効にする選択を行っているが、これに限られない。例えば、文字以外の他の属性に応じて、有効・無効の判定を選択するようにしてもよい。

また、第６実施形態の選択部１１２に対して、仮想情報記憶部１０３から入力を受けるようにして、選択部１１２は、２つの画像合成部１０７から各々複合現実感画像を入力し、複合現実感画像を選択して、第２表示部１１０に出力するようにしてもよい。このとき、画像の傾きを補正する処理の有無に関する制御は、本実施形態のように行う。その場合においても、同様の効果が得られることは言うまでもない。

以上述べたように、第７実施形態によれば、画像の傾きを補正するか補正しないかの切り替えを、仮想情報記憶部１０３が保持するＣＧオブジェクトの属性に応じて、自動的に制御することが可能となる。なお、本実施形態では、第１実施形態の構成に選択部１１２を追加した構成を例示的に説明したが、他の実施形態の構成に選択部１１２を追加し、ユーザが、補正することを選択した場合にのみ、上記の補正処理を行うようにしてもよい。

［第８実施形態］
第８実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、通常の複合現実感画像、または、傾きが補正された複合現実感画像を表示する。第８実施形態の構成や制御の多くは第３実施形態と同じであるが、第８実施形態では、第３実施形態とは異なり、仮想情報記憶部１０３が保持するＣＧの属性に応じて、特定の属性のＣＧの部分のみ画像の傾きを補正しない。

図１２は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第３実施形態と比較すると、さらに第３仮想画像生成部１１３が追加されている。以下、本実施形態の構成および制御について、第３実施形態と異なる部分についてのみ説明する。

第３仮想画像生成部１１３は、位置姿勢計測部１０２および仮想情報記憶部１０３からの情報をもとに、ＣＧを描画して仮想画像を生成する。第３仮想画像生成部１１３は、生成した仮想画像を第２画像合成部１０８に出力する。第３仮想画像生成部１１３の具体的な処理内容については仮想画像生成部１０５と同じであるが、本実施形態では、仮想情報記憶部１０３が保持するＣＧオブジェクトのうち、文字情報を含むＣＧオブジェクトについてのみ描画を行う。

本実施形態において、第２仮想画像生成部１１１は、仮想情報記憶部１０３が保持するＣＧオブジェクトのうち、文字情報を含まないＣＧオブジェクトについてのみ描画を行う。それ以外の処理の詳細については、第３実施形態と同じである。なお、文字情報の有無の判断は、第７実施形態において説明した手法を用いて実行することができる。

第２画像合成部１０８は、画像回転部１０６が出力する実写画像に対する回転後画像２０と、第２仮想画像生成部１１１が出力する傾きが補正された仮想画像、第３仮想画像生成部１１３が出力する傾きが補正されない仮想画像とをそれぞれ入力する。そして、生成された複合現実感画像を第２表示部１１０に出力する。

本実施形態では、仮想情報記憶部１０３が保持するＣＧオブジェクトのうち、文字情報を含まないＣＧオブジェクトについては傾きの補正を行い、文字情報を含むＣＧオブジェクトについては傾きの補正を行わないようにしているが、これに限られない。例えば、文字情報以外の他の属性を用いて、傾きの補正を行うＣＧオブジェクトと傾きの補正を行わないＣＧオブジェクトを分類してもよい。

以上述べたように、第８実施形態によれば、仮想情報記憶部１０３が保持するＣＧの属性に応じて、画像の傾きを補正するか否かを自動判定し、当該判定に基づいて補正処理を制御する。即ち、画像の傾きを補正しないことが望ましいＣＧについては画像の傾きを補正せず、それ以外のＣＧについては、画像の傾きを補正した状態の複合現実感画像を提示する。これにより、ＣＧの属性に応じて適切な画像を据え置き型ディスプレイ装置３００に提供することができる。なお、本実施形態では、第１実施形態の構成に選択部１１２を追加した構成を例示的に説明したが、他の実施形態の構成に選択部１１２を追加し、ユーザが、補正することを選択した場合にのみ、上記の補正処理を行うようにしてもよい。

［第９実施形態］
第９実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正された複合現実感画像を表示する。第９実施形態の構成や制御の多くは第１実施形態と同じであるが、第９実施形態では、第１実施形態とは異なり、実写画像のみ傾きの補正を行い、仮想画像については傾きの補正を行わない。例えば、仮想情報記憶部１０３が保持するＣＧオブジェクトが文字情報のみであると判定できる場合には、実写画像についてのみ傾きの補正を行う。

図１３は本実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。第１実施形態と比較すると、画像回転部１０６が１つになっている点で異なっている。以下、本実施形態の構成について、第１実施形態と異なる部分についてのみ説明する。

本実施形態では、複合現実感提示装置１００は、撮像部１０１により撮像された実画像を取得し、撮像部１０１（ＨＭＤ２００）の姿勢に基づいて仮想画像を生成し、実画像の傾きを検出し、検出された実画像の傾きに基づいて、実画像を補正する。さらに、補正された実画像と、仮想画像とに基づいて合成画像を生成し、補正された合成画像を据え置き型ディスプレイ装置３００へ出力する。

本実施形態において、仮想画像生成部１０５は、位置姿勢計測部１０２および仮想情報記憶部１０３からの情報をもとに、ＣＧを描画して仮想画像を生成する。仮想画像生成部１０５は、生成した仮想画像を第１画像合成部１０７に出力する。

本実施形態において、第２画像合成部１０８は、画像回転部１０６が出力する回転後の実写画像に仮想画像生成部１０５が出力する補正がなされていない仮想画像を重畳する。第２画像合成部１０８によって生成された複合現実感画像は第２表示部１１０に出力される。

以上述べたように、第９実施形態に係る構成によれば、ＣＧオブジェクトが文字情報のみであると規定できるような場合については、実写画像についてのみ傾きの補正を行うことが可能となる。

［第１０実施形態］
第１０実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正された複合現実感画像を表示する。第１０実施形態の構成や制御の多くは第１実施形態と同じであるが、第１０実施形態では、第１実施形態とは異なり、傾きの補正を適用した複合現実感画像に対し、有効領域のトリミング処理を行う点が異なる。本実施形態に係る構成においては、このような処理により、複合現実感画像の欠損を生じさせないようにすることが可能である。

本実施形態に係る画像処理装置の機能構成の概略は、第１実施形態（図１）と同じである。以下、本実施形態の構成について、第１実施形態と異なる部分についてのみ説明する。

本実施形態において、第２画像合成部１０８は、２つの画像回転部１０６が出力する回転後の実写画像に、もう１つの画像回転部１０６が出力する回転後の仮想画像を重畳し、さらにトリミング処理を行い、複合現実感画像を生成する。第２画像合成部１０８は、生成した複合現実感画像を第２表示部１１０に出力する。本実施形態において、第２画像合成部１０８が行うトリミング処理について、以下、説明する。

本実施形態において、画像回転部１０６が出力する回転後の複合現実感画像には、欠損が生じている。図１４は、回転前画像１１を回転させた画像である回転後画像２１に欠損が生じている様子を模式的に示した図である。回転後画像２１の斜線部で示された領域については、回転前画像１１に存在しない領域であるため、回転後画像２１で表現することができない。そのため、回転後画像２１に欠損が生じる。

本実施形態では、図１５のように、回転後画像２０の有効領域をトリミングすることによって、トリミング後画像３０を得る。図１５は、第２画像合成部１０８が行うトリミング処理について説明する図である。ここで、トリミングとは、据え置き型ディスプレイ装置３００へ出力する画像と据え置き型ディスプレイ装置３００の表示領域との重複部分に含まれる矩形画像を抜き出す処理をいう。ただし、この矩形画像の一辺はこの表示領域のいずれかの一辺と並行である。

一般的に、回転後画像２０の有効領域は、画像を回転させる角度（ロール角）によって異なる。本実施形態では、回転後画像２０に対して、回転角とは無関係に、常にロール角９０°となるときの有効領域をトリミングする。その結果、任意の回転角について、欠損の生じないトリミング後画像３０を得ることができる。

また、本実施形態では、第１実施形態における画像処理装置の構成に追加するかたちで、複合現実感画像のトリミングを行っているが、第２、第４〜９実施形態における構成においても適用が可能である。ただし、第４実施形態における構成で適用する場合には、画像回転部１０６が先述のトリミング処理を行うことになる。

以上述べたように、本実施形態に係る構成においては、出力画像と据え置き型ディスプレイ装置３００の表示領域との重複部分に含まれる矩形画像を、この矩形画像の一辺はこの表示領域のいずれかの一辺と並行となるように、抜き出して出力する。このため、本実施形態に係る構成によれば、画像の回転に伴う欠損のない複合現実感画像を提示することが可能となる。

［第１１実施形態］
第１１実施形態に係る画像処理装置は、ＨＭＤを装着し複合現実感を体験している観察者の映像をＨＭＤ２００と据え置き型のディスプレイ３００とに出力する。このとき、ＨＭＤ２００には通常の複合現実感画像を、据え置き型のディスプレイ３００には、傾きが補正されている複合現実感画像を表示する。第１１実施形態の構成や制御の多くは第１実施形態と同じであるが、第１１実施形態では、第１実施形態とは異なり、ある基準値からの相対的な画像の傾きを検知し、補正する点で異なっている。例えば、ＨＭＤ２００を装着した観察者が、ある物体をのぞき込んでいるなど、観察者の頭部が傾いている状態を基準として、据え置き型ディスプレイ装置３００に表示される複合現実感画像の傾きを補正することが可能となる。すなわち、据え置き型ディスプレイ装置３００に表示される複合現実感画像が基準値だけ傾いている状態を一定に保つ。

本実施形態における概略機能構成は、第１実施形態（図１）と同じである。以下、本実施形態の構成について、第１実施形態と異なる部分についてのみ説明する。

本実施形態において、傾き検出部１０４は、位置姿勢計測部１０２からＨＭＤ２００を装着したユーザの視点の姿勢を入力し、実写画像の傾きを検出し、画像回転部１０６に出力する。本実施形態においては、ＨＭＤ２００に取り付けられている位置姿勢計測部１０２から入力した姿勢から、視線を回転軸としたときの回転角であるロール角を抽出することによって、実写画像の傾きを検出する。このとき、抽出したロール角から、回転基準値を減算し、減算後の値を画像回転部１０６に送出する。この回転基準値は、複合現実感提示装置１００の内部に備えられている不図示のディスク装置やＲＡＭなどに保持されており、本実施形態における画像処理装置の初期化時に値が設定される。なお、この回転基準値については、画像処理装置に別途入力手段を設け、ユーザからの操作によって、回転基準値を変更できるようにしてもよい。

以上述べたように、第１１実施形態に係る構成によれば、据え置き型ディスプレイ装置３００に表示される複合現実感画像が基準値だけ傾いている状態を一定に保つことが可能となる。

［その他の実施形態］
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

第１実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 画像回転部が行う処理について説明する図である。 画像処理装置が行う処理の流れを示すフローチャートである。 第２実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 第３実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 第４実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 画像処理装置が行う処理の流れを示すフローチャートである。 第５実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 第６実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 画像処理装置のハードウェア構成の概略を示すブロック図である。 第７実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 第８実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 第９実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。 回転後画像に欠損が生じている様子を模式的に示した図である。 トリミング処理について説明する図である。

Claims (17)

1. 表示装置に接続された情報処理装置であって、
   撮像装置により撮像された実画像を取得する取得手段と、
   前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
   前記実画像の傾きを検出する検出手段と、
   検出された前記実画像の傾きに基づいて、前記実画像及び前記仮想画像を補正する補正手段と、
   それぞれ補正された前記実画像及び前記仮想画像に基づいて合成画像を生成する合成手段と、
   前記合成画像を前記表示装置へ出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 表示装置に接続された情報処理装置であって、
   撮像装置により撮像された実画像を取得する取得手段と、
   前記実画像の傾きを検出する検出手段と、
   検出された前記実画像の傾きに基づいて、前記実画像を補正する補正手段と、
   前記撮像装置の姿勢と検出された前記実画像の傾きとに基づいて、仮想画像を生成する生成手段と、
   補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成手段と、
   前記合成画像を前記表示装置へ出力する出力手段と、
   を備えることを特徴とする情報処理装置。
3. 表示装置に接続された情報処理装置であって、
   撮像装置により撮像された実画像を取得する取得手段と、
   前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
   前記実画像及び前記仮想画像に基づいて合成画像を生成する合成手段と、
   前記実画像の傾きを検出する検出手段と、
   検出された前記実画像の傾きに基づいて、前記合成画像を補正する補正手段と、
   補正された前記合成画像を前記表示装置へ出力する出力手段と、
   を備えることを特徴とする情報処理装置。
4. 表示装置に接続された情報処理装置であって、
   撮像装置により撮像された実画像を取得する取得手段と、
   前記撮像装置の姿勢に基づいて仮想画像を生成する生成手段と、
   前記実画像の傾きを検出する検出手段と、
   検出された前記実画像の傾きに基づいて、前記実画像を補正する補正手段と、
   補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成手段と、
   補正された前記合成画像を前記表示装置へ出力する出力手段と、
   を備えることを特徴とする情報処理装置。
5. 前記情報処理装置は、更に、第２表示装置に接続され、
   前記出力手段は、更に、前記実画像と前記仮想画像とに基づいて第２合成画像を生成し、当該第２合成画像を前記第２表示装置へ出力する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示装置は据え置き型ディスプレイであり、前記第２表示装置は持ち運び可能なディスプレイである
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記検出手段は、
   ６自由度センサにより計測される前記撮像装置の姿勢、前記実画像に含まれるマーカ画像に基づく解析、又は、前記実画像により算出されるオプティカルフローのいずれかに基づいて前記検出を行う
   ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. ユーザにより補正処理を行う旨の指示が入力された場合に前記補正を行う
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記仮想画像が文字を含むか否かを判定する判定手段を更に備え、
   前記補正手段は、前記判定手段において、前記仮想画像が文字を含まないと判定された場合に前記補正を行う
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
10. 前記表示装置へ出力する画像と該表示装置の表示領域との重複部分に含まれる矩形画像であって、該矩形画像の一辺は該表示領域のいずれかの一辺と並行である、矩形画像を抜き出す抜出手段を更に備え、
    前記出力手段は、前記抜出手段において抜き出された前記矩形画像を前記表示装置へ出力する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記補正は画像の回転を伴うことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを格納したコンピュータで読み取り可能な記憶媒体。
14. 表示装置に接続された情報処理装置が行う情報処理方法であって、
    前記情報処理装置が備える取得手段が、撮像装置により撮像された実画像を取得する取得工程と、
    前記情報処理装置が備える生成手段が、前記撮像装置の姿勢に基づいて仮想画像を生成する生成工程と、
    前記情報処理装置が備える検出手段が、前記実画像の傾きを検出する検出工程と、
    前記情報処理装置が備える補正手段が、検出された前記実画像の傾きに基づいて、前記実画像及び前記仮想画像を補正する補正工程と、
    前記情報処理装置が備える合成手段が、それぞれ補正された前記実画像及び前記仮想画像に基づいて合成画像を生成する合成工程と、
    前記情報処理装置が備える出力手段が、前記合成画像を前記表示装置へ出力する出力工程と、
    を有することを特徴とする情報処理方法。
15. 表示装置に接続された情報処理装置が行う情報処理方法であって、
    前記情報処理装置が備える取得手段が、撮像装置により撮像された実画像を取得する取得工程と、
    前記情報処理装置が備える検出手段が、前記実画像の傾きを検出する検出工程と、
    前記情報処理装置が備える補正手段が、検出された前記実画像の傾きに基づいて、前記実画像を補正する補正工程と、
    前記情報処理装置が備える生成手段が、前記撮像装置の姿勢と検出された前記実画像の傾きとに基づいて、仮想画像を生成する生成工程と、
    前記情報処理装置が備える合成手段が、補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成工程と、
    前記情報処理装置が備える出力手段が、前記合成画像を前記表示装置へ出力する出力工程と、
    を有することを特徴とする情報処理方法。
16. 表示装置に接続された情報処理装置が行う情報処理方法であって、
    前記情報処理装置が備える取得手段が、撮像装置により撮像された実画像を取得する取得工程と、
    前記情報処理装置が備える生成手段が、前記撮像装置の姿勢に基づいて仮想画像を生成する生成工程と、
    前記情報処理装置が備える合成手段が、前記実画像及び前記仮想画像に基づいて合成画像を生成する合成工程と、
    前記情報処理装置が備える検出手段が、前記実画像の傾きを検出する検出工程と、
    前記情報処理装置が備える補正手段が、検出された前記実画像の傾きに基づいて、前記合成画像を補正する補正工程と、
    前記情報処理装置が備える出力手段が、補正された前記合成画像を前記表示装置へ出力する出力工程と、
    を有することを特徴とする情報処理方法。
17. 表示装置に接続された情報処理装置が行う情報処理方法であって、
    前記情報処理装置が備える取得手段が、撮像装置により撮像された実画像を取得する取得工程と、
    前記情報処理装置が備える生成手段が、前記撮像装置の姿勢に基づいて仮想画像を生成する生成工程と、
    前記情報処理装置が備える検出手段が、前記実画像の傾きを検出する検出工程と、
    前記情報処理装置が備える補正手段が、検出された前記実画像の傾きに基づいて、前記実画像を補正する補正工程と、
    前記情報処理装置が備える合成手段が、補正された前記実画像と、前記仮想画像とに基づいて合成画像を生成する合成工程と、
    前記情報処理装置が備える出力手段が、補正された前記合成画像を前記表示装置へ出力する出力工程と、
    を有することを特徴とする情報処理方法。

Images