JP2009237878A - 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム - Google Patents

Abstract

【課題】マーカー・トラッキングを用いた強化現実感を実現する際に、撮影する場所や物体等に付されたマーカーが目障りになることを防止する。
【解決手段】現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、カメラ装置は、不可視光の映像が判別可能な現実映像を撮像する撮像手段を備え、映像処理装置は、マークの映像であるマーク映像の、撮像された現実映像中における位置、当該マークの向き、当該マークの撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、撮像された現実映像に重ねる仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、判別された状態に対応させて決定する重畳態様決定手段と、を備える。
【選択図】図１

Description

本発明は、現実世界の映像上に仮想物の映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成し、Augmented Realityを実現する複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラムの技術分野に関する。

現実世界（または、実空間上に存在する物体）の映像に、仮想的な物体（以下、「仮想物」と称する）の映像を重ね合わせることによって、その仮想物があたかも現実世界の中に存在するかのような映像を提供し、現実世界を強化する技術は、Augmented Reality（以下、「ＡＲ」または「強化現実感」と称する）と呼ばれている（例えば、特許文献１乃至３）。

かかる強化現実感においては、重ね合わされた映像としての仮想物の位置や向き、撮影するカメラからの距離（見者の視点からの距離）等（以下、「重畳態様」と称する）が不自然にならないよう、重ね合わせる対象となる場所や物体等の位置や向き（姿勢）、カメラからの距離等（以下、単に「状態」と称する）を正確に把握し、この状態に対応させて仮想物の映像の重畳態様を決定する必要がある。

こうした観点から、従来、予め決められた図形等をボードや紙等に印刷したマーカーを、その状態を把握したい場所や物体等に配し、撮影された映像を解析してマーカーの位置や向き、カメラからの距離等を判別することにより、場所や物体等の状態を間接的に把握するマーカー・トラッキングと呼ばれている手法が広く用いられている。
特開２００４−２１３６７３号公報 特表２００４−５３４９６３号公報 特表２００５−５０７１０９号公報

しかしながら、マーカーを配した映像を撮影すると、見者等の立場からすれば本来不必要であるマーカーが、撮影された映像中には当然の如く映ってしまうという問題があった。

また、マーカーが配された場所や物体を、映像としてではなく、肉眼で直接見る場合においても、そのマーカーが目障りとなる。

本発明は、以上の問題に鑑みてなされたものであり、その目的の一例は、撮影する場所や物体等に付されたマーカーが目障りになることを防止することを可能とする複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラムを提供することにある。

上記課題を解決するために、請求項１に記載の発明は、カメラ装置と映像処理装置とを備え、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムであって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記カメラ装置は、前記不可視光の映像が判別可能な前記現実映像を撮像する撮像手段を備え、前記映像処理装置は、前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、を備えることを特徴とする。

この発明によれば、現実世界の空間上には、不可視光を少なくとも反射または放射するマークが付され、カメラ装置が、不可視光の映像が判別可能な前記現実映像を撮像し、映像処理装置が、マーク映像の、現実映像中における位置、マークの向き、マークの撮像手段からの距離、のうち少なくとも一つの状態を判別し、現実映像に重ねる仮想物映像の重畳態様を、判別された状態に対応させて決定する。

従って、マークは肉眼では直接見ることが出来ないので、マークが付された現実の場所や物体等を直接見たときに目障りとなることを防止することが出来る。

請求項２に記載の発明は、請求項１に記載の複合映像生成システムにおいて、前記カメラ装置の前記撮像手段は、可視光の映像と前記不可視光の映像とが判別可能な前記現実映像を撮像し、前記映像処理装置は、前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記現実映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする。

この発明によれば、カメラ装置が、可視光の映像と不可視光の映像とが判別可能な現実映像を撮像し、映像処理装置が、決定された重畳態様に基づいて、仮想物映像を生成し当該仮想物映像を現実映像に重ねて複合映像を生成するので、一のカメラ装置でシステムを構成することが可能となり、安価にシステムを構成することが出来る。

請求項３に記載の発明は、請求項２に記載の複合映像生成システムにおいて、前記重畳態様決定手段は、前記仮想物映像を前記撮像された現実映像に重ねることによって前記マーク映像が隠れるように、前記重畳位置を決定することを特徴とする。

この発明によれば、生成された複合画像上においてマークが見えなくなり、複合画像上においてもマークが目障りになることを防止することが出来る。

請求項４に記載の発明は、請求項２に記載の複合映像生成システムにおいて、前記映像処理装置は、前記撮像された現実映像における前記マーク映像が占める領域を特定し、前記領域の外側の映像に基づいて前記領域内における現実世界の映像を補完することによって、当該現実映像中における前記マーク映像を消去するマーク映像消去手段を更に備えることを特徴とする。

この発明によれば、生成された複合画像上においてマークが見えなくなり、複合画像上においてもマークが目障りになることを防止することが出来る。

請求項５に記載の発明は、請求項１に記載の複合映像生成システムにおいて、前記カメラ装置は、可視光及び前記不可視光のうち可視光の映像のみが判別可能な前記現実映像である可視光映像を撮像する可視光カメラ装置と、可視光及び前記不可視光のうち当該不可視光の映像のみが判別可能な前記現実映像である不可視光映像を撮像する不可視光カメラ装置と、を備え、前記映像処理装置の前記マーク判別手段は、前記撮像された不可視光映像に基づいて前記状態を判別し、前記映像処理装置は、前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記可視光映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする。

この発明によれば、可視光カメラ装置が、可視光及び不可視光のうち可視光の映像のみが判別可能な可視光映像を撮像し、不可視光カメラ装置が、可視光及び不可視光のうち当該不可視光の映像のみが判別可能な不可視光映像を撮像し、映像処理装置が、不可視光映像に基づいて、マーク映像の、現実映像中における位置、マークの向き、マークの撮像手段からの距離、のうち少なくとも一つの状態を判別し、決定された重畳態様に基づいて、仮想物映像を生成し当該仮想物映像を可視光映像に重ねて複合映像を生成する。

従って、マークは肉眼では直接見ることが出来ないので、マークが付された現実の場所や物体等を直接見たときに目障りとなることを防止することが出来るとともに、生成された複合画像上においてマークが見えなくなり、複合画像上においてもマークが目障りになることを防止することが出来る。

請求項６に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムにおける重畳態様決定方法であって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記カメラ装置が、前記不可視光の映像が判別可能な前記現実映像を撮像し、前記映像処理装置が、前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別し、前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定することを特徴とする。

請求項７に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置であって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、カメラ装置により撮像された、前記不可視光の映像が判別可能な前記現実映像を取得する取得手段と、前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、を備えることを特徴とする。

請求項８に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置に含まれるコンピュータによって実行される映像処理プログラムであって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記コンピュータを、カメラ装置により撮像された、前記不可視光の映像が判別可能な前記現実映像を取得する取得手段、前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段、前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段、として機能させることを特徴とする。

本発明によれば、マークは肉眼では直接見ることが出来ないので、マークが付された現実の場所や物体等を直接見たときに目障りとなることを防止することが出来る。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、ＡＲシステムに対して本発明を適用した場合の実施形態である。

［１．第１実施形態］
［１．１ ＡＲシステムの構成及び機能概要］
先ず、第１実施形態に係るＡＲシステムＳ１の構成及び機能概要について、図１を用いて説明する。

図１は、第１実施形態に係るＡＲシステムＳ１の概要構成の一例を示す図である。

図１に示すように、ＡＲシステムＳ１は、カメラ装置の一例としての可視光・赤外線カメラ１と、映像処理装置の一例としてのＰＣ（Personal Computer）２と、ディスプレイ３と、を含んで構成されている。

可視光・赤外線カメラ１とＰＣ２とは、ビデオケーブル等によって接続されている。また、ＰＣ２とディスプレイ３とは、ディスプレイケーブル等によって接続されている。

このような構成のＡＲシステムＳ１においては、図１に示すように、現実に存在する空間ＲＳ上にマーカーＭを配し、このマーカーＭを含む映像を可視光・赤外線カメラ１によって撮影し、ＰＣ２が、画像解析を行うことによって撮影画像中におけるマーカーＭの位置、姿勢、ユーザ視点からの距離等を判別するようになっている。そして、ＰＣ２は、この判別結果に基づいて、仮想物の位置、姿勢、ユーザ視点からの距離等を決定し、決定された情報に基づいて仮想物の画像を生成し、これを撮影画像に対して重ね合わせ合成することにより、現実世界を仮想物で強化した画像を生成するようになっている。

マーカーＭは、例えば、シールやボード等の表面に、所定の形状の図形等（マークの一例）が赤外線インクを用いて印刷されて、構成されている。この赤外線インクは、例えば、波長０．７〜２．５μｍ程度の近赤外線（不可視光線の一例）を反射する性質を有している。従って、印刷された図形等（以下、「赤外線マーク」と称する）は、肉眼では確認することは出来ないが、可視光・赤外線カメラ１によって、その映像をとらえることが出来る。

また、マーカーＭは、一つのみ配しても良いし、複数配しても良いが、複数配する場合には、どのマーカーであるかを識別可能とするために、形状が互いに異なる赤外線マークが夫々印刷されるようにすることが望ましい。更に、マーカーＭは、対象となる場所や物体に対して、その上に置いても良いし、貼り付けても良いし、棒などで立てかけておくようにしても良い。また、マーカーＭのシールやボード等自体を人目に触れさせたくない場合には、例えば、対象となる場所や物体に赤外線マークを直接印刷しても良いし、赤外線を反射する塗料で所定の形状に塗装しても良い。

可視光・赤外線カメラ１は、例えば、撮影用レンズ、可視光線から赤外線までの感度分布を有するＣＣＤ（Charge Coupled Device Image Sensor）、ＣＣＤからの映像信号をデジタル化して、映像信号をビデオケーブルを介して出力するドライバチップ等により構成され、空間ＲＳ上の物体等を撮影し、これにより得られた映像信号を、ビデオケーブルを介してＰＣ２に供給するようになっている。

ここで、上記ＣＣＤは、マーカーＭを撮影可能とするために、赤外線マーカーに印刷された赤外線インクの反射特性に対応した感度を有するように（本実施形態においては、例えば、０．７〜２．５μｍの範囲の波長うち何れかの波長の赤外線を少なくとも検出可能なように）構成する必要がある。

ディスプレイ３は、例えば、液晶パネル等により構成されており、ＰＣ２からディスプレイケーブルを介して供給された映像信号に対応する映像を画面に表示するようになっている。

［１．２ ＰＣ２の構成及び機能］
次に、ＰＣ２の構成及び機能について、図２を用いて説明する。

図２は、第１実施形態に係るＰＣ２の概要構成の一例を示す図である。

図２に示すように、ＰＣ２は、可視光・赤外線カメラ１からの映像信号が入力される映像入力部２１と、生成された画像データに対応する映像信号をディスプレイ３に出力する映像出力部２２と、ユーザからの操作指示を受け付け、その指示内容を指示信号としてシステム制御部２５に出力する操作部２３（例えば、キーボード、マウス等）と、各種プログラム及びデータ等を記憶する記憶手段の一例としての記憶部２４（例えば、ハードディスクドライブ等）と、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えるシステム制御部２５と、を備え、システム制御部２５と各部とは、システムバス２６を介して接続されている。

記憶部２５には、マーカー形状データ１０２、仮想物形状データ１０４等が記憶されている。マーカー形状データ１０２は、マーカーＭに印刷された赤外線マークの形状を示すデータであり、例えば、頂点の位置、線分データ、面データ等によって構成されている。また、仮想物形状データ１０４は、マーカーＭに対応させて画面に表示させる仮想物の形状を示すデータであり、具体的には、例えば、頂点の位置、線分データ、面データ、各面の色彩や光の反射率を示すデータ等によって構成されている。

また、記憶部２５には、画像データとしての仮想物の表面に貼り付けられる模様等を表すテクスチャデータ、マーカーＭを基準とする座標における仮想物の相対的な座標や姿勢等を示すデータが、必要に応じて記憶されている。

更に、記憶部２５には、ＡＲシステム用プログラムが記憶されている。

システム制御部２５は、本実施形態において、マーク判別手段、重畳態様決定手段、マーク映像消去手段、複合映像生成手段等の一例を構成している。そして、システム制御部２５は、ＣＰＵが、ＲＯＭや記憶部２４に記憶された各種プログラムを読み出し実行することによりＰＣ２の各部を統括制御するとともに、ＡＲシステム用プログラムを読み出し実行することにより上記各手段等として機能するようになっている。

［１．３ ＡＲシステム用プログラムのソフトウエア構成］
次に、ＡＲシステム用プログラムのソフトウエア構成について、図３及び図４を用いて説明する。

図３は、第１実施形態に係るＡＲシステム用プログラムのソフトウエア構成とデータフローとの一例を示す図である。また、図４（ａ）及び（ｂ）は、ＡＲ画像データ１０５の生成例を示す図である。

図３に示すように、ＡＲシステム用プログラムは、キャプチャプログラム５１、トラッキングプログラム５２、同期プログラム５３及び描画プログラム５４を含んで構成されている。

キャプチャプログラム５１は、システム制御部２５が、映像入力部２１によって映像信号から変換された所定フォーマットの撮影画像データ１０１（現実映像の一例）を、トラッキングプログラム５２と同期プログラム５３とに分配するためのプログラムである。

トラッキングプログラム５２は、システム制御部２５を重畳態様決定手段として機能させるためのプログラムである。具体的に、システム制御部２５は、マーカー形状データ１０２を用いて撮影画像データ１０１を画像解析することによって、この撮影画像データ１０１からマーカーＭの赤外線マークの画像を抽出し、赤外線マークの画像中における座標（重畳位置の一例）、姿勢（例えば、マーカーＭを基準とする座標系におけるＸ軸、Ｙ軸、Ｚ軸の方向）、ユーザ（見者の一例）視点からの距離を判別し、これらの情報をトラッキングデータとして同期プログラム５３に供給する。なお、マーカーＭの座標、姿勢、ユーザ視点からの距離を、以下、「マーカー状態」と称する（状態の一例）。

同期プログラム５３は、システム制御部２５が、キャプチャプログラム５１から供給された撮影画像データ１０１のタイムスタンプと、トラッキングプログラム５２から供給されたトラッキングデータ１０３のタイムスタンプ（トラッキングプログラム５２において画像解析が行われた撮影画像データのタイムスタンプと同一のタイプスタンプが付加されている）とをチェックし、タイムスタンプが同時刻である撮影画像データ１０１とトラッキングデータ１０３とを対応付けて同時に描画プログラム５４に供給するためのプログラムである。

描画プログラム５４は、システム制御部２５を重畳態様決定手段、マーク映像消去手段及び複合映像生成手段として機能させるためのプログラムである。具体的には、ステム制御部２５は、撮影画像データ１０１に重ねて表示させる仮想物画像データとしての仮想物の座標、姿勢（例えば、仮想物を基準とした座標系におけるＸ軸、Ｙ軸、Ｚ軸の方向）、ユーザ視点からの距離を、トラッキングデータが示すマーカー状態に対応させて決定する。

例えば、システム制御部２５は、仮想物がマーカーＭ上に接するように仮想物の座標を決定したり、マーカーＭの法線方向に仮想物としての上方向を合わせるように姿勢を決定したり、ユーザ視点から仮想物までの距離を、ユーザ視点からマーカーＭまでの距離としたりする。

このとき、ステム制御部２５は、仮想物によってマーカーＭを隠すように予め設定されている場合（例えば、マーカーＭの座標と同一の座標が、当該仮想物について予め設定されている場合等）には、そのマーカーＭを隠すように仮想物の座標（または、姿勢、ユーザ視点からの距離）を決定する。これによって、例えば、図４（ａ）に示すように、仮想物の画像ＶＯがマーカーＭの画像（図１を参照）の上に重ね合わされることとなる。なお、仮想物の座標、姿勢、ユーザ視点からの距離を、以下「重畳態様」と称する。

また、ステム制御部２５は、仮想物によってマーカーＭを隠すようには設定されていない場合には、画像修復あるいはインペインティングと呼ばれる技術等を用いて、撮影画像データ１０１によって表示される撮影画像中からマーカーＭが視覚的に判別できないようにこのマーカーＭの画像を消去する。例えば、もしマーカーＭが無かったとすれば、この領域には、マーカーＭによって隠されていた場所あるいは物体（の一部または全部）が映るはずである。そうすると、この領域の周囲の画像の等輝度線（輝度が同一である画素を結ぶ線）は、その方向性を維持しながらマーカーＭの領域内にまで延長して描かれているものと考えられる。換言すると、マーカーＭの領域の周囲にある画像中の場所や物体によって表現されている模様は、そのマーカーＭの領域内においても維持されているものと考えられる。

システム制御部２５は、こうした方向性を画像解析によって画素毎に判別し、この方向性に従って、マーカーＭの領域の周囲にある画素データに基づいてこの領域内を塗りつぶしていく。システム制御部２５は、このようにしてマーカーＭの領域に映るはずである場所や物体の画像を補完するのである。これによって、例えば、図４（ｂ）に示すように、マーカーＭの画像が消去される。なお、図中の破線は、便宜上マーカーＭの位置を示すために示したのであり、実際にはこの破線は残らない。

また、システム制御部２５は、仮想物形状データ１０４に基づいて、仮想物画像データを、決定した重畳態様で生成する。そして、システム制御部２５は、この仮想物画像データを、決定した位置で撮影画像データ１０１に重ね合わせ合成し、現実世界と仮想物とが複合したＡＲ画像データ（複合映像野市例）を生成する。このＡＲ画像データは、例えば、動画像の一部を構成するフレームデータとして出力される。

なお、ＡＲシステム用プログラムは、例えば、ネットワークを介してサーバ装置等から取得されるようにしても良いし、ＣＤ（Compact Disc）−ＲＯＭ等の記録媒体に記録されてドライブ装置等から読み込まれるようにしても良い。

［１．４ ＡＲシステムの動作］
次に、ＡＲシステムＳ１の動作について、図５を用いて説明する。

図５は、第１実施形態に係るＰＣ２のシステム制御部２５の処理例を示すフローチャートである。

先ず、ユーザ等の操作によって可視光・赤外線カメラ１が撮影を開始する。可視光・赤外線カメラ１がマーカーＭをとらえると、その赤外線マークＭの映像を含んだ可視光・赤外線映像を撮影し、映像信号をＰＣ２に出力する。

ＰＣ２においては、映像入力部２１が、入力された映像信号を撮影画像データ１０１に変換し、この撮影画像データ１０１をシステム制御部２５に出力する。

そして、システム制御部２５は、図５に示すように、映像入力部２１から撮影画像データ１０１が供給された場合には、この撮影画像データ１０１を解析して、マーク状態を判別し、その結果をトラッキングデータ１０３として生成する（ステップＳ１）。

次いで、システム制御部２５は、撮影画像データ１０１とトラッキングデータ１０３との同期を行う（ステップＳ２）。具体的に、システム制御部２５は、撮影画像データ１０１の供給とトラッキングデータ１０３の生成とを監視し、タイムスタンプが同一時刻である撮影画像データ１０１とトラッキングデータ１０３が揃ったら、これらのデータを対応付けして、ＲＡＭまたは記憶部２４に記憶させる。

次いで、システム制御部２５は、同期された撮影画像データ１０１とトラッキングデータ１０３とを認識すると、このトラッキングデータ１０３等に基づいて仮想物の重畳態様を決定する（ステップＳ３）。このとき、システム制御部２５は、仮想物でマーカーＭを隠す場合には、仮想物でマーカーＭが隠れるようこの仮想物の座標等を決定する。

次いで、システム制御部２５は、撮影画像データ１０１に基づいて、決定した重畳態様となる仮想物画像データを生成する（ステップＳ４）。

次いで、システム制御部２５は、仮想物でマーカーＭを隠すか否かを判定する（ステップＳ５）。このとき、システム制御部２５は、仮想物でマーカーＭを隠す場合には（ステップＳ５：ＹＥＳ）、ステップＳ７に移行する。

一方、システム制御部２５は、仮想物でマーカーＭを隠さない場合には（ステップＳ５：ＮＯ）、上述した方法等を用いて、撮影画像データ１０１の画像中におけるマーカーＭの領域を塗りつぶして、マーカーＭを画像から消去し（ステップＳ６）。ステップＳ７に移行する。

ステップＳ７において、システム制御部２５は、撮影画像データ１０１に仮想物画像データを重ね合わせ合成してＡＲ画像データを生成し、このＡＲ画像データをＲＡＭまたは記憶部２４に記憶させる（ステップＳ７）。

生成されたＡＲ画像データは、映像出力部２２により映像信号に変換されて、ディスプレイ３に出力される。そして、ディスプレイ３は、供給された映像信号に対応する映像を画面上に表示する。これによって例えば、図４（ａ）または（ｂ）に示すような映像が画面に表示される。

以上説明したように、本実施形態によれば、所定の波長の赤外線を反射する赤外線マークが印刷されたマーカーＭが現実世界の空間上に配置され、可視光・赤外線カメラ１が、光のうち所定の波長の赤外線映像が視覚的に判別可能な映像を撮影して、この映像に対応する映像信号を出力し、ＰＣ２のシステム制御部２５が、この映像信号に対応する撮影画像データ１０１中におけるマーカーＭの映像の座標、姿勢、ユーザ視点からの距離を判別し、撮影画像データ１０１中に重ね合わせる仮想物画像データとしての仮想物の座標、姿勢、ユーザ視点からの距離を、判別されたマーカーＭの状態に対応させて決定する。

従って、マーカーＭに印刷された赤外線マークは、肉眼では直接見ることが出来ないので、マーカーＭが配置された場所や物体等を直接見たときに目障りとなることを防止することが出来る。

また、可視光・赤外線カメラ１が、赤外線映像に加えて可視光映像も視覚的に判別可能な映像を撮影し、ＰＣ２のシステム制御部２５が、決定された重畳態様に基づいて仮想物画像データを生成し、この仮想物画像データを画像データ１０１に重ね合わせ合成してＡＲ画像データ１０５を生成するので、一台のカメラでシステムを構成することが可能となり、後述する第２実施形態に係るＡＲシステムＳ２と比べて、安価にシステムを構成することが出来る。

また、ＰＣ２のシステム制御部２５が、仮想物の画像でマーカーＭの画像が隠れるよう、仮想物の座標等を決定するので、ディスプレイ３の表示画面上において赤外線マークが見えなくなり、画面上においてもマーカーＭが目障りになることを防止することが出来る。

また、ＰＣ２のシステム制御部２５が、撮影画像データ１０１の画像中においてマーカーＭの画像が占める領域を特定し、特定された領域内における現実世界の画像をこの領域の周囲の画像に基づいて補完することによってマーカーＭを消去するので、ディスプレイ３の表示画面上において赤外線マークが見えなくなり、画面上においてもマーカーＭが目障りになることを防止することが出来る。

［１．５ ＡＲシステムの適用例］
上記ＡＲシステムＳ１の可視光・赤外線カメラ１及びディスプレイ３を、例えば、赤外線映像を撮影可能なカメラを内蔵するノート型ＰＣ（ノートパソコン）、カメラ内蔵の携帯電話機等に適用することが出来る。このとき、マーカー状態の判別、重畳態様の決定、仮想物画像データ及びＡＲ画像データの生成は、ノートパソコンや携帯電話機側で行っても良いし（ノートパソコンや携帯電話機がＰＣ２の構成を含む）、例えば、有線または無線による通信手段を用いて、撮影画像データ等をサーバ装置に転送し、サーバ装置側で処理を行って、生成されたＡＲ画像データをノートパソコンや携帯電話機側に送っても良い（サーバ装置がＰＣ２の構成を含む）。

また、上記ＡＲシステムＳ１のディスプレイ３をヘッドマウントディスプレイ等に適用することが出来る。この場合において、ヘッドマウントディスプレイのディスプレイ部は、可視光を透過することなく、ヘッドマウントディスプレイを装着したユーザの視界に入るべき現実世界の画像に仮想物の画像を複合させたＡＲ画像を表示させるように構成する。また、この場合において、カメラはユーザの頭部に装着させたりヘッドマウントディスプレイに内蔵させるようにし、且つ、カメラの撮影範囲とユーザの視野範囲とが合うように設定する。

また、これらの場合には、カメラまたはヘッドマウントディスプレイの位置や向きが動的に変化するので、キャリブレーション（カメラまたはヘッドマウントディスプレイのワールド座標系（現実空間の座標系）における座標や向きを動的に検出すること）を行うようにすることが望ましい。

［２．第２実施形態］
次に、第２実施形態について説明する。上記説明した第１実施形態においては、１台のカメラを用いる場合について説明したが、第２実施形態のいては、２台のカメラを用いるようになっている。

［２．１ ＡＲシステムの構成及び機能概要］
先ず、第２実施形態に係るＡＲシステムＳ２の構成及び機能概要について、図６を用いて説明する。

図６は、第２実施形態に係るＡＲシステムＳ２の概要構成の一例を示す図であり、同図において、図１と同様の要素については同様の符号を付してある。

図６に示すように、ＡＲシステムＳ２は、可視光カメラ装置の一例としての通常カメラ１ａと、赤外線カメラ装置の一例としての赤外線カメラ１ｂと、映像処理装置の一例としてのＰＣ（Personal Computer）２と、ディスプレイ３と、を含んで構成されている。

通常カメラ１ａとＰＣ２、及び、赤外線カメラ１とＰＣ２とは、夫々ビデオケーブル等によって接続されている。

通常カメラ１ａは、例えば、撮影用レンズ、可視光線周波数領域の感度分布を有するＣＣＤ、ＣＣＤからの映像信号から赤外線周波数成分をカットするフィルタ、赤外線周波数成分がカットされた映像信号をデジタル化して、映像信号をビデオケーブルを介して出力するドライバチップ等により構成され、空間ＲＳ上の物体等を撮影し（マーカーＭに印刷された赤外線マークは映らない）、これにより得られた映像信号を、ビデオケーブルを介してＰＣ２に供給するようになっている。

赤外線カメラ１ｂは、例えば、撮影用レンズ、赤外線線周波数領域の感度分布を有するＣＣＤ、ＣＣＤからの映像信号から可視光線周波数成分をカットするフィルタ、可視光線周波数成分がカットされた映像信号をデジタル化して、映像信号をビデオケーブルを介して出力するドライバチップ、赤外線を撮影対象に照射する赤外線ＬＥＤ（Light-Emitting Diode）等により構成され、空間ＲＳ上の物体等を撮影し（マーカーＭに印刷された赤外線のみが映る）、これにより得られた映像信号を、ビデオケーブルを介してＰＣ２に供給するようになっている。

この通常カメラ１ａと赤外線カメラ１ｂとは、その撮影角度が互いに合うように夫々配置されている。

なお、ＰＣ２とディスプレイ３の基本的な構成は第１実施形態の場合と基本的に同様であるが、ＰＣ２の映像入力部２１は、通常カメラ１ａから供給された映像信号を後述する通常撮影画像データ１０１ａに変換する一方、赤外線カメラ１ｂから供給された映像信号を後述する赤外線画像データ１０１ｂに変換するようになっている。

［２．２ ＡＲシステム用プログラムのソフトウエア構成］
次に、ＡＲシステム用プログラムのソフトウエア構成について、図７を用いて説明する。

図７は、第２実施形態に係るＡＲシステム用プログラムのソフトウエア構成とデータフローとの一例を示す図であり、同図において、図３と同様の要素については同様の符号を付してある。

図７に示すように、ＡＲシステム用プログラムのソフトウエア構成は、第１実施形態に係るＡＲシステム用プログラムのソフトウエア構成と基本的に同様である。

ここで、キャプチャプログラム５１は、システム制御部２５が、映像入力部２１によって映像信号から変換された通常撮影画像データ１０１ａ（可視光映像の一例）と赤外線画像データ１０１ｂ（不可視光映像の一例）とを、トラッキングプログラム５２と同期プログラム５３とに分配するためのプログラムである。具体的に、システム制御部２５は、通常撮影画像データ１０１ａを同期プログラム５３に供給する一方、赤外線画像データ１０１ｂをトラッキングプログラム５２に供給する。

トラッキングプログラム５２は、赤外線画像データ１０１ｂに基づいて、当該データの画像中におけるマーカーＭのマーカー状態を判別し、この情報をトラッキングデータとして同期プログラム５３に供給する。

同期プログラム５３は、システム制御部２５が、キャプチャプログラム５１から供給された通常撮影画像データ１０１ａのタイムスタンプと、トラッキングプログラム５２から供給されたトラッキングデータ１０３のタイムスタンプとをチェックし、タイムスタンプが同時刻である通常撮影画像データ１０１ａとトラッキングデータ１０３とを対応付けて同時に描画プログラム５４に供給するためのプログラムである。

描画プログラム５４は、ステム制御部２５が、通常撮影画像データ１０１ａに重ねて表示させる仮想物画像データとしての仮想物の重畳状態を決定し、この重畳態様に基づいて、仮想物画像データを生成するとともに、この仮想物画像データを、通常撮影画像データ１０１ａに重ね合わせ合成し、ＡＲ画像データを生成するためのプログラムである。ここで、通常撮影画像データ１０１ａの画像には、マーカーＭの画像が映らないので、描画プログラム５４は、マーカーＭの画像を仮想物の画像で隠したり、マーカーＭの画像を消去するようにはプログラムされていない。

［２．３ ＡＲシステムの動作］
次に、ＡＲシステムＳ２の動作について、図８を用いて説明する。

図８は、第２実施形態に係るＰＣ２のシステム制御部２５の処理例を示すフローチャートである。

先ず、ユーザ等の操作によって通常カメラ１ａと赤外線カメラ１ｂとが撮影を開始する。通常カメラ１ａにはマーカーＭに印刷された赤外線マークはとらえられず、撮影対象の場所や物体の映像を撮影し、映像信号をＰＣ２に出力する。赤外線カメラ１ｂは、マーカーＭをとらえると、その赤外線マークＭの映像のみを含んだ赤外線映像を撮影して映像信号をＰＣ２に出力するが、マーカーＭが撮影範囲内に入っていない場合には、何も映っていない赤外線映像を撮影して映像信号をＰＣ２に出力する。

ＰＣ２においては、映像入力部２１が、通常カメラ１ａから入力された映像信号を通常撮影画像データ１０１ａに変換し、赤外線カメラ１ｂから入力された映像信号を赤外線画像データ１０１ｂに変換し、これらのデータをシステム制御部２５に出力する。

そして、システム制御部２５は、図８に示すように、映像入力部２１から赤外線画像データ１０１ｂが供給された場合には、この赤外線画像データ１０１ｂを解析して、マーク状態を判別し、その結果をトラッキングデータ１０３として生成する（ステップＳ１１）。

次いで、システム制御部２５は、通常撮影画像データ１０１ａとトラッキングデータ１０３との同期を行う（ステップＳ１２）。

次いで、システム制御部２５は、同期された通常撮影画像データ１０１ａとトラッキングデータ１０３とを認識すると、このトラッキングデータ１０３等に基づいて仮想物の重畳態様を決定する（ステップＳ１３）。

次いで、システム制御部２５は、仮想物形状データ１０４に基づいて、決定した重畳態様となる仮想物画像データを生成する（ステップＳ１４）。

次いでシステム制御部２５は、通常撮影画像データ１０１ａに仮想物画像データを重ね合わせ合成してＡＲ画像データを生成し、このＡＲ画像データをＲＡＭまたは記憶部２４に記憶させる（ステップＳ１５）。

生成されたＡＲ画像データは、映像出力部２２により映像信号に変換されて、ディスプレイ３に出力される。そして、ディスプレイ３は、供給された映像信号に対応する映像を画面上に表示する。この画面上には、マーカーＭは映らない。

以上説明したように、本実施形態によれば、所定の波長の赤外線を反射する赤外線マークが印刷されたマーカーＭが現実世界の空間上に配置され、通常カメラ１ａが、光のうち可視光のみが判別可能な映像を撮影して、この映像に対応する映像信号を出力し、赤外線カメラ１ｂが、光のうち赤外線のみが判別可能な映像を撮影して、この映像に対応する映像信号を出力し、ＰＣ２のシステム制御部２５が、赤外線カメラ１ｂからの映像信号に対応する通常撮影画像データ１０１ａ中におけるマーカーＭの映像の座標、姿勢、ユーザ視点からの距離を判別し、赤外線カメラ１ｂからの映像信号に対応する中に重ね合わせる仮想物画像データとしての仮想物の座標、姿勢、ユーザ視点からの距離を、判別されたマーカーＭの状態に対応させて決定し、決定された重畳態様に基づいて仮想物画像データを生成し、この仮想物画像データを通常撮影画像データ１０１ａに重ね合わせ合成してＡＲ画像データ１０５を生成する。

従って、マーカーＭに印刷された赤外線マークは、肉眼では直接見ることが出来ないので、マーカーＭが配置された場所や物体等を直接見たときに目障りとなることを防止することが出来るとともに、ディスプレイ３の表示画面上において赤外線マークが見えなくなり、画面上においてもマーカーＭが目障りになることを防止することが出来る。

また、通常撮影画像データ１０１ａにはマークＭに印刷された赤外線マークは映らないので、仮想物の画像でマーカーＭの画像を隠したり、マーカーＭの画像を消去する必要が無くなり、仮想物の重畳態様を決定する自由度が向上することが出来たり、ＡＲ画像データの画質の劣化を防止することが出来たり、処理を簡素化することが出来る。

また、赤外線画像データ１０１ｂには、赤外線マーク以外は映らないので、マーカー状態を容易に判別することが出来る。

なお、上記各実施形態においては、波長０．７〜２．５μｍ程度の赤外線を反射する赤外線インクでマーカーＭに赤外線マークを印刷していたが、例えば、これ以外の波長の赤外線を反射するインクで印刷しても良いし、紫外線を反射するインクで印刷しても良い。つまり、肉眼では認識することが出来ないようなインクで印刷されれば良い。このとき、可視光・赤外線カメラ１や赤外線カメラ１ｂの感度分布は、インクの反射特性に対応させれば良い。また、赤外線等を反射するインクや塗料を用いる以外にも、例えば、赤外線等を自ら放射するインクや塗料を用いても良い。

また、上記各実施形態においてＰＣ２のシステム制御部２５は、マーカー状態として、マーカーＭの座標、姿勢、ユーザ視点からの距離を決定していたが、これらのうちの一つまたは二つのみを判別しても良い。

また、上記各実施形態においてＰＣ２のシステム制御部２５は、重畳態様として、仮想物の座標、姿勢、ユーザ視点からの距離を決定していたが、これらのうちの一つまたは二つのみを判別しても良い。

また、上記各実施形態においては、ディスプレイ３に動画像をリアルタイムで表示していたが、例えば、ＰＣ２のＲＡＭや記憶部２４等に記憶しておいて後で表示させても良いし、また、静止画を表示するようにしても良い。また、ディスプレイ３で画像を表示する以外にも、例えば、プリンタ装置にて印刷しても良いし、書き込み可能なＤＶＤ（Digital Versatile Disk）等の記録媒体にＡＲ画像データ１０５を記録しておいて、後でこのデータを利用しても良い。

また、上記各実施形態においては、カメラで撮影された映像をリアルタイムでＰＣ２に出力するようにしていたが、例えば、カメラ側において書き込み可能なＤＶＤやメモリカード等の記録媒体に撮影画像データ等を記録しておき、ドライブ装置を介してＰＣ２に読み込ませるようにしても良い。

第１実施形態に係るＡＲシステムＳ１の概要構成の一例を示す図である。 第１実施形態に係るＰＣ２の概要構成の一例を示す図である。 第１実施形態に係るＡＲシステム用プログラムのソフトウエア構成とデータフローとの一例を示す図である。 ＡＲ画像データ１０５の生成例を示す図であり、（ａ）は、仮想物でマーカーＭを隠す場合の図であり、（ｂ）は、マーカーＭを消去する場合の図である。 第１実施形態に係るＰＣ２のシステム制御部２５の処理例を示すフローチャートである。 第２実施形態に係るＡＲシステムＳ２の概要構成の一例を示す図である。 第２実施形態に係るＡＲシステム用プログラムのソフトウエア構成とデータフローとの一例を示す図である。 第２実施形態に係るＰＣ２のシステム制御部２５の処理例を示すフローチャートである。

符号の説明

１ カメラ
１ａ 通常カメラ
１ｂ 赤外線カメラ
２ ＰＣ
３ ディスプレイ
２１ 映像入力部
２２ 映像出力部
２３ 操作部
２４ 記憶部
２５ システム制御部
２６ システムバス
５１ キャプチャプログラム
５２ トラッキングプログラム
５３ 同期プログラム
５４ 描画プログラム
Ｍ マーカー
ＲＳ 現実空間
ＶＯ 仮想物
Ｓ１、Ｓ２ ＡＲシステム

Claims (8)

1. カメラ装置と映像処理装置とを備え、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムであって、
   現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
   前記カメラ装置は、
   前記不可視光の映像が判別可能な前記現実映像を撮像する撮像手段を備え、
   前記映像処理装置は、
   前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、
   前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、
   を備えることを特徴とする複合映像生成システム。
2. 請求項１に記載の複合映像生成システムにおいて、
   前記カメラ装置の前記撮像手段は、
   可視光の映像と前記不可視光の映像とが判別可能な前記現実映像を撮像し、
   前記映像処理装置は、
   前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記現実映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする複合映像生成システム。
3. 請求項２に記載の複合映像生成システムにおいて、
   前記重畳態様決定手段は、前記仮想物映像を前記撮像された現実映像に重ねることによって前記マーク映像が隠れるように、前記重畳位置を決定することを特徴とする複合映像生成システム。
4. 請求項２に記載の複合映像生成システムにおいて、
   前記映像処理装置は、
   前記撮像された現実映像における前記マーク映像が占める領域を特定し、前記領域の外側の映像に基づいて前記領域内における現実世界の映像を補完することによって、当該現実映像中における前記マーク映像を消去するマーク映像消去手段を更に備えることを特徴とする複合映像生成システム。
5. 請求項１に記載の複合映像生成システムにおいて、
   前記カメラ装置は、
   可視光及び前記不可視光のうち可視光の映像のみが判別可能な前記現実映像である可視光映像を撮像する可視光カメラ装置と、
   可視光及び前記不可視光のうち当該不可視光の映像のみが判別可能な前記現実映像である不可視光映像を撮像する不可視光カメラ装置と、を備え、
   前記映像処理装置の前記マーク判別手段は、前記撮像された不可視光映像に基づいて前記状態を判別し、
   前記映像処理装置は、
   前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記可視光映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする複合映像生成システム。
6. 現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムにおける重畳態様決定方法であって、
   現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
   前記カメラ装置が、
   前記不可視光の映像が判別可能な前記現実映像を撮像し、
   前記映像処理装置が、
   前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別し、
   前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定することを特徴とする重畳態様決定方法。
7. 現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置であって、
   現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
   カメラ装置により撮像された、前記不可視光の映像が判別可能な前記現実映像を取得する取得手段と、
   前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、
   前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、
   を備えることを特徴とする映像処理装置。
8. 現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置に含まれるコンピュータによって実行される映像処理プログラムであって、
   現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
   前記コンピュータを、
   カメラ装置により撮像された、前記不可視光の映像が判別可能な前記現実映像を取得する取得手段、
   前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段、
   前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段、
   として機能させることを特徴とする映像処理プログラム。

Images