JP5818773B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、物体との距離を測定して表示画像を生成するために用いて好適な画像処理装置、画像処理方法、及びプログラムに関する。

従来、赤外線のような光線を物体に反射させ、光線が反射して戻ってくる時間を計測することによって、対象物体と装置との距離を計測するＴＯＦ（Time of Flight）方式の距離計測方式が知られている。この距離計測方式を採用したセンサとして、ＴＯＦ方式の距離センサがある。

このＴＯＦ方式の距離センサは、照射した光と反射して戻ってきた光との位相差を検出して対象物までの距離を測定する。例えば、特許文献１に記載されているように、照射した光の強度を１周期に対して４回計測することにより検出された発光信号と放射された変調信号との間の位相差を求めて距離を測定する。また、距離センサによっては、２次元に配列されたセンサアレイで前述の距離計測を同時に処理するため、距離データを逐次１２Ｈｚ〜２９Ｈｚの速度で１７６×１４４の解像度の距離画像として出力することができる。

特表平１０−５０８７３６号公報 特開２００３−２９６７５９号公報

H. Tamura, H. Yamamoto and A. Katayama: "Mixed reality: Future dreams seen at the border between real and virtual worlds," Computer Graphics and Applications, vol.21, no.6, pp.64-70, 2001. 林建一, 加藤博一, 西田正吾: 境界線ベースステレオマッチングを用いた実物体と仮想物体の前後判定, 日本バーチャルリアリティ学会論文誌, Vol.10, No.3, pp.371-380, 2005.9 Hirokazu Kato, Mark Billinghurst, Ivan Poupyrev, Kenji Imamoto, Keihachiro Tachibana, "Virtual Object Manipulation on a Table-Top AR Environment", Proc. of IEEE and ACM International Symposium on Augmented Reality 2000, pp.111-119 (2000) Qingxiong Yang, Ruigang Yang, James Davis and David Nister, "Spatial-Depth Super Resolution for Range Images ", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2007, Pages: 1-8

しかし、ＴＯＦ方式の距離センサは、対象物体が静止していることを前提に設計されているため、対象物体が動く場合には、対象物体の距離計測値に大きな誤差が生じる。すなわち、距離センサが、距離を計測する１つの過程において異なるタイミングでサンプリングして最終的な距離を決定しているため、対象物体が高速で移動すると、検出された発光信号が変形し、放射された変調信号との位相差を正しく求めることができない。

ここで、図９に示す人の手４０２Ｌまでの距離を距離計測装置で計測している状況を例に説明する。図１０は、距離計測装置と手４０２Ｌとが静止している状態で手４０２Ｌまでの距離を計測し、出力された距離データから生成される３次元ポリゴンメッシュ１０１０の表示結果を示す模式図である。このように計測対象が静止している状態であれば、比較的精度を高く距離を計測することができる。しかし、対象物体の手４０２Ｌが移動を始めると、輪郭部分に大きな計測誤差が発生する。

図１１は、手４０２Ｌが左方向に移動している状態で手４０２Ｌまでの距離を計測した場合の３次元ポリゴンメッシュ１０１０の表示結果を示す模式図である。また、図１２は、図１１に示す手４０２Ｌの断面１１１０を横から見た模式図である。図１１及び図１２で示すように、進行方向の輪郭の距離計測値は距離計測装置の手前側に計測誤差が大きくなり、進行方向の逆の輪郭領域では、距離計測装置の奥側に計測誤差が大きくなる。輪郭部で誤差が拡大するのは、距離計測の１過程において異なる時間で複数回サンプリングするときに、移動する対象物体の輪郭部分の信号が、対象物体から反射した正しい信号と対象物体以外の場所から反射した誤りの信号とを統合して生成されるからである。すなわち、照射した光の信号と受光した信号との位相差を計測するときに、誤った受光信号で比較するために距離計測の誤差が拡大する。また、同様の理由で、装置自身が動く場合も正しく位相差を求められないため、装置自身を人体に取り付けて移動させるような場面では、装置が動くたびに大きな計測誤差が発生する。

さらに、別の課題として、光線を反射して距離を計測するＴＯＦ方式の距離計測装置では、発光した光線が戻ってくる量で距離を測定するため、光線を吸収するような素材や、反射率の高い素材の物体の距離を計測すると距離精度は著しく低下する。特に、表面の色が黒っぽい物体では光線を吸収しやすい。また、表面の粒度が細かく光線を多く反射する場合は、スペキュラ成分としてカメラ画像で最高輝度の白い領域となる場合が多い。

本発明は前述の問題点に鑑み、計測対象の物体または装置自身が動く場合に、距離計測値の誤差を低減できるようにすることを目的としている。

本発明の画像処理装置は、物体までの距離を計測し、第１の距離データとして生成する距離計測手段と、前記物体を含む撮像画像を取得する画像取得手段と、前記距離計測手段の移動速度および移動方向を取得する取得手段と、前記撮像画像から前記物体の輪郭領域を抽出する抽出手段と、前記取得手段によって取得された前記距離計測手段の移動速度および移動方向に基づいて、前記抽出された輪郭領域を拡大する拡大手段と、前記拡大手段によって拡大された輪郭領域に基づいて、前記第１の距離データにおける計測値の信頼度を算出する信頼度算出手段と、前記信頼度算出手段によって算出された信頼度に基づいて前記第１の距離データの計測値から信頼度の高い領域を抽出し、前記第１の距離データよりも信頼度の高い第２の距離データを生成する第１の補正手段と、を備えることを特徴とする。

本発明によれば、計測対象の物体または装置自身が動く場合に、距離計測値の誤差を低減することができる。

実施形態に係る画像処理装置を含むＭＲ提示システムの機能構成例を示すブロック図である。 第１の実施形態におけるＭＲ提示システムの具体的な構成を示すブロック図である。 第１の実施形態に係る画像処理装置を含むＭＲ提示システムの処理手順の一例を示すフローチャートである。 ＭＲ提示システムの動作時の使用環境を示す模式図である。 ＭＲ空間で手を表示する一例を説明する模式図である。 ＭＲ空間で手を表示する他の一例を説明する模式図である。 ＭＲ空間で手を表示するその他の一例を説明する模式図である。 ＴＯＦ方式の距離計測を行ってＭＲシステムに用いる場合の課題を説明する模式図である。 カメラ画像の一例を示す模式図である。 左手のポリゴンメッシュの一例を示す模式図である。 左手が移動しているときの計測誤差が大きいポリゴンメッシュの一例を示す模式図である。 図１１に示す左手の断面の様子を説明する図である。 実施形態に係る信頼度画像の一例を示す図である。 第１の実施形態における距離計測値の補正の流れを説明する模式図である。 第２の実施形態に係る画像処理装置を含むＭＲ提示システムの処理手順の一例を示すフローチャートである。 第３の実施形態に係る画像処理装置を含むＭＲ提示システムの処理手順の一例を示すフローチャートである。 第３の実施形態における信頼度が高い領域のポリゴンメッシュの一例を示す模式図である。

（第１の実施形態）
以下、添付図面を参照して、本発明の最適な実施形態について詳細に説明する。以下の説明においては、ビデオシースルー（Video See-Through）型のヘッドマウントディスプレイ（ＨＭＤ）を用いた複合現実感（Mixed Reality：ＭＲ）提示システムに本発明の画像処理装置を適用した場合について説明する。

ＭＲ提示システムでは、現実空間の画像とコンピュータグラフィックス等の仮想空間の画像とを合成した合成画像を、ユーザ（ＭＲ体験者）に提示することができる。この合成画像を提示することにより、ＣＡＤモデルなどの現実にはない物体が、あたかもその場にあるかのようにユーザに提示することができるようになる。なお、ＭＲ技術の詳細については、例えば、非特許文献１に開示されている。

＜ＭＲを実現するための現実空間と仮想物体との位置合わせについて＞
ＭＲ空間を表現するためには、現実空間中に定義した基準座標系（重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系）とカメラ座標系との間の、相対的な位置姿勢を推定することが不可欠である。これは、仮想物体を現実空間上の位置に合わせて描画するには、基準座標系に対するカメラの実際のカメラパラメータと同一のカメラパラメータで仮想物体の画像を生成しなければならないからである。

ここで、カメラパラメータとは、焦点距離や主点などのカメラ内部パラメータと、カメラの位置及び姿勢を表すカメラ外部パラメータとを指す。本実施形態では、焦点距離が不変となるカメラを利用するため、カメラ内部パラメータは固定値となり、予め用意しておくことが可能である。

例えば、現実のテーブル上のある位置に仮想物体を重畳表示する場合には、テーブルに基準座標系を定義し、その基準座標系におけるカメラの位置姿勢を求めればよい。なお、以下では、基準座標系とカメラとの間の相対的な位置姿勢を、便宜的に「カメラ位置姿勢」と呼称する。基準座標系とカメラとの間の相対的な位置姿勢とは、一意に変換可能でありかつ本質的に同一の事象を表す情報を総称するものである。例えば、基準座標系に対するカメラ位置姿勢、カメラに対する基準座標系の位置姿勢、あるいは、これらを表現可能なデータ形式（例えば、基準座標系からカメラ座標系への座標変換行列や、カメラ座標系から基準座標系への座標変換行列）といったものである。

＜ＭＲ空間で手を表示する従来技術１：単純な上書き合成＞
ビデオシースルー型のＨＭＤでＭＲを体験する場合に、カメラで得られたカメラ画像を背景として仮想物体をその上に合成表示することが一般的に実施されている。

以下、図４に示すように、ＭＲ体験者４０３がＨＭＤ１００を頭部に装着し、直方体の３次元モデルである仮想物体４０１があたかも現実空間にあるかのように提示されている状態の例について説明する。ただし、図４においては、ＭＲ体験者４０３の手４０２Ｌ、４０２Ｒが仮想物体４０１に接触しているものとする。また、図５は、ＭＲ体験者４０３がＨＭＤ１００に内蔵されているディスプレイから提示されている画像を示す模式図である。図５においては、仮想物体４０１が、カメラ画像として撮影された自分の手４０２Ｌ、４０２Ｒよりも手前に表示されることを示している。ＭＲ体験者４０３自身は、仮想物体４０１と自分の手４０２Ｌ、４０２Ｒとの距離感覚を掴んでいるのに、図５に示すように自分の距離感覚とは違う映像を提示されると違和感を生じる場合がある。

＜ＭＲ空間で手を表示する従来技術２：色領域抽出による仮想物体非表示＞
この違和感を軽減するために、肌色領域を画像中から抽出し、肌色領域には仮想物体４０１の画像を上書きしないで表示することが、例えば特許文献２に開示されている。図６には、肌色領域に仮想物体４０１の画像を描画しない場合の模式図を示す。

＜ＭＲ空間で手を表示する従来技術３：距離データを用いた領域抽出と仮想物体非表示＞
しかし、図６に示す手４０２Ｌには、リストバンド４１０があり、リストバンド４１０の領域６１０は肌色ではないため、仮想物体４０１の画像が描画されてしまう。そこで、非特許文献２に記載の技術では、背景との画像差分で得た領域の輪郭線を、ステレオ法により距離計測し、前後判定（Ｚバッファによる比較）を行うことにより奥行きを考慮した描画を可能にしている。非特許文献２に記載の手法では、色ではなく、背景との画像差分によって仮想物体４０１の画像を表示しない領域を決定するため、リストバンド４１０の部分に仮想物体４０１の画像は表示されず、体験者の違和感を軽減する。また、非特許文献２に記載の手法では、輪郭線のカメラとの距離を求めることにより仮想物体４０１との接触領域を推定することができるため、図７に示すような違和感の少ない映像を生成することができる。

＜ＴＯＦ方式の画像処理装置をＭＲシステムに用いる場合の課題＞
しかし、前述したように、従来のＴＯＦ方式の距離計測装置では、対象物体との相対位置が変わると計測精度が落ちる場合がある。特に、図４に示すように、頭部に距離計測部１５０を取り付ける場合は、計測方向の対象物体との相対位置のずれが大きくなる。図１１で示すように手４０２Ｌと距離計測結果から得た３次元ポリゴンメッシュ１０１０の誤差が大きいと、図７に示したような映像は得られず、図８に示すように仮想物体４０１の画像も一部８１０が欠けた映像が生成される。

本実施形態のでは、図４で示すように距離計測部１５０と計測対象との相対位置が動的に変化する場合に発生する距離計測値の誤差を低減する。そして、図８に示すような距離計測の誤差による没入感の阻害を軽減するＭＲ提示システムについて説明する。

図１４は、本実施形態における、距離計測値の補正の流れに沿った処理画像を示す模式図である。以下に、この処理の流れの概略を示す。
まず、本実施形態では、カメラ１０１で撮影されたカメラ画像１４０１から、カメラ画像１４０１の夫々の画素における距離計測値の信頼度を示す信頼度画像１３０５を生成する。

次に、信頼度画像１３０５に、距離データを画像に表現した距離画像１４０５の距離計測値をマッピングし、高信頼度距離画像１４１０を生成する。ただし、単純にマッピングするのではなく、対応する画素の信頼度に応じてマッピングすることにより、対象物体が動いている場合の誤差を排除しながら距離計測値をマッピングする。なお、距離画像１４０５は、距離計測部１５０において第１の距離データとして距離測定値を画像に表現したものである。

さらに、高信頼度距離画像１４１０において、本来のカメラ画像１４０１の対象物体の領域に対して欠けている領域を、カメラ画像１４０１から抽出した輪郭線まで補間及び補外し、最終的な補正距離画像１４２０を生成する。以上のような流れによりカメラ画像１４０１と距離画像１４０５とを利用して、動いている対象物体の距離計測誤差を補正する。なお、信頼度画像１３０５、高信頼度距離画像１４１０、及び補正距離画像１４２０の生成方法の詳細については後述する。

＜構成＞
図１は、本実施形態に係る画像処理装置を含むＭＲ提示システムの機能構成例を示すブロック図である。本実施形態においては、ＭＲ体験者４０３に、仮想物体４０１をあたかもその場にあるように体験させることを目的とする。仮想物体４０１の存在感を出すためには、図７に示すように、ＭＲ体験者４０３が感じる自分の手４０２Ｌ、４０２Ｒと仮想物体４０１との距離感覚と、提示される映像とが近いことが望ましい。

図１において、ＨＭＤ１００には、カメラ１０１、表示部１０３及び距離計測部１５０が取り付けられており、これらはＨＭＤ１００に固定されている。距離計測部１５０は、光線を物体に反射させ、光線が反射して戻ってくる時間を計測することによって対象物体と装置との距離を計測するＴＯＦ方式のものである。本実施形態では、図２に示すように、カメラ１０１及び表示部１０３は右目用及び左目用として２つずつＨＭＤ１００の本体内に設けられており、カメラ１０１Ｒ及び表示部１０３Ｒは右目用であり、カメラ１０１Ｌ及び表示部１０３Ｌは左目用である。これにより、このＨＭＤ１００を頭部に装着したＭＲ体験者４０３の右目及び左目には、それぞれ独立した画像を提示することができ、ステレオでもって画像を提示することができる。

本実施形態では、カメラ１０１Ｒが撮影した現実空間の撮像画像と、ワークステーション１６０が生成した右目用の仮想空間の画像とが重畳された画像（以下、ＭＲ画像と呼称する）を表示部１０３Ｒにより右目に提示する。さらに、カメラ１０１Ｌが撮影した現実空間の撮像画像と、ワークステーション１６０が生成した左目用の仮想空間の画像とが重畳されたＭＲ画像を表示部１０３Ｌにより左目に提示する。その結果、ＭＲ体験者４０３はＭＲ画像をステレオで観察することができる。なお、以下に説明する処理の本質はステレオ画像でＭＲ画像をＭＲ体験者４０３に提示することに限定されるものではない。すなわち、１つのカメラ及び表示部を両目で共有してモノラル画像を観察する場合や、単眼のみに表示する場合であってもよい。

また、ＭＲ体験者４０３にＭＲ画像を提示するための手段として本実施形態ではＨＭＤ１００を用いるが、以下に説明する処理の本質はこの装置に限定されるものではなく、カメラ１０１と表示部１０３とを少なくとも１対有する装置であればよい。さらには、カメラ１０１及び表示部１０３は互いに固定されている必要もない。ただし、カメラ１０１及び距離計測部１５０は、同一の環境を計測するように近づけて固定する必要がある。

次に、図１に示すワークステーション１６０について説明する。
記憶部１０９は、画像取得手段であるカメラ１０１で撮影されたカメラ画像と、距離計測部１５０により生成された前述の距離画像とを記憶する。また、記憶部１０９は、本実施形態におけるＭＲ提示システムの処理に必要な情報を保持しており、処理に応じて情報の読み出しや更新を行う。ＭＲ提示システムの処理に必要な情報とは、例えば、カメラ画像、前フレームのカメラ画像、距離画像、カメラ１０１の位置姿勢の情報、及び距離計測部１５０の位置姿勢の履歴情報がある。さらには、予め校正したカメラ画像及び距離画像のホモグラフィ変換行列、焦点距離や、主点位置、レンズ歪み補正パラメータなどのカメラ内部パラメータ、マーカ定義情報、及びカメラ画像の輪郭情報がある。さらに、距離計測部１５０の速度の情報、距離計測部１５０の移動方向の情報、前述した信頼度画像、高信頼度距離画像、補正距離画像、仮想物体４０１のモデル情報などの情報がある。なお、本実施形態では、これらの項目を利用することに限定されるものではなく、処理する内容に応じて増減させてもよい。

また、記憶部１０９は、複数のカメラ画像を保持する領域を備えており、動画のフレームとして各々のカメラ画像を格納する。

カメラ位置姿勢推定部１０８は、記憶部１０９に格納されたカメラ画像からカメラ１０１及び距離計測部１５０の位置姿勢を求める。本実施形態では、例えば、図９に示すように、カメラ１０１が撮影したカメラ画像１４０１に映る矩形のマーカ４００Ａ、４００Ｂをカメラ画像１４０１から検出し、矩形の４頂点の座標を利用してカメラ１０１の位置姿勢を求める。矩形のマーカ４００Ａ、４００Ｂから相対的なカメラ１０１の位置姿勢を求める方法は、例えば非特許文献３に記載されているカメラ位置姿勢推定方法を利用すればよい。すなわち、画像内におけるマーカの矩形領域の４頂点とカメラ座標の原点とを結んでできる四角錘のうち、側面の４つの法線で隣りあう法線の外積方向を用いて基準座標系におけるマーカの３次元姿勢を算出する。さらに、３次元姿勢から幾何計算により３次元位置も求められる。これらの結果からカメラ１０１の位置姿勢を行列として保持する。

なお、カメラの位置姿勢を求めるのに、矩形のマーカを用いることに限定されるものではなく、磁気センサや光学センサなど、動いている頭部の位置姿勢を計測できる方法であれば適用可能である。

次に、予め計測して記憶部１０９に格納されているカメラ１０１と距離計測部１５０との相対位置姿勢を表す行列に、この行列をかけることによって距離計測部１５０の位置姿勢の情報を得る。そして、ここで得られたカメラ１０１の位置姿勢及び距離計測部１５０の位置姿勢の情報は記憶部１０９に格納される。ただし、距離計測部１５０の位置姿勢の情報は、位置姿勢を記録した時間とともに、距離計測部１５０の位置姿勢の履歴として格納される。また、記憶部１０９にこれらの情報が格納されると、直前の距離計測部１５０の位置姿勢と現在の距離計測部１５０の位置姿勢との差分から移動速度及び移動方向を算出することができ、記憶部１０９に格納される。このようにカメラ位置姿勢推定部１０８は、速度検出手段及び移動方向検出手段として機能する。

信頼度算出部１０５は、記憶部１０９に格納されたカメラ画像と距離計測部１５０の位置姿勢の履歴情報とに基づいて、距離計測部１５０が計測した距離計測値の信頼度を表す信頼度画像を生成する。信頼度は、０から２５５の間の整数値で決定され、信頼度の値が高い方が、距離計測値としての信頼度が高いとみなす。信頼度算出部１０５では、カメラ画像の各画素における信頼度を１画素ずつ決定し、最終的には図１４に示すような信頼度を輝度値とするグレイスケールの画像として信頼度画像を記憶部１０９に格納する。

距離データ補正部１０６は、まず、記憶部１０９に格納された信頼度画像の画素に、距離計測部１５０の距離画像の距離計測値を対応付ける。この対応付け処理では、距離画像と信頼度画像とで解像度が異なる場合は、例えば、非特許文献４に記載されている方法を用いて、距離画像を超解像度化した結果の距離画像を対応付ければよい。すなわち、距離画像を超解像化する場合に、単純に補間するのではなく、カメラ画像の対応画素における色や輝度の差分値に基づいて補間する。

次に、信頼度画像に格納されている信頼度に応じて対応付けた距離計測値を取捨選択する。本実施形態では、例えば、予め信頼度に閾値を設定し、閾値を超える信頼度に対応する距離計測値のみを残し、残りの距離計測値は使用しないように設定する。このように選択した距離計測値は、カメラ画像の各画素に対応する高信頼度距離画像として記憶部１０９に格納される。なお、このように信頼度に閾値を設定して距離計測値を除去することに限定されるものではない。例えば、信頼度画像において信頼度のヒストグラムを生成し、信頼度が１２８以上でヒストグラムの頻度が高い上位１０個の信頼度に対応する距離計測値のみを選択してもよい。

次に、図１４に示す概要によって信頼度から選択して更新された高信頼度距離画像は、除去された部分の距離計測値が欠落しているため、内挿補間及び外挿補外によりカメラ画像から得た輪郭線の部分まで欠落領域を埋める。そして、欠落領域を埋めた画像を補正距離画像として記憶部１０９に格納する。

仮想画像生成部１１０は、カメラ位置姿勢推定部１０８から出力されるカメラ１０１の位置姿勢の情報に基づいて、この視点の位置姿勢から見える仮想物体の画像を生成（描画）する。ただし、仮想物体の画像を生成するときに、現在描画する場所のＺバッファ値と、距離データ補正部１０６で生成された補正距離画像に対応する画素における距離計測値とを比較する。具体的には、Ｚバッファ値が距離計測値よりも大きい場合のみ仮想物体の画像を描画する。このように処理することによって、画像合成部１１１でカメラ画像と合成するときに、図７に示すように、仮想物体４０１よりも手前にある現実の対象物体の手４０２Ｌ、４０２Ｒが仮想物体４０１の画像に上書きされずに体験者に提示することができる。

画像合成部１１１は、記憶部１０９が保持しているカメラ画像と、仮想画像生成部１１０によって生成された仮想物体の画像（仮想空間の画像）とを合成した画像（ＭＲ画像）を生成する。この合成については、カメラ画像上に仮想空間の画像を重畳することにより行われる。そして、画像合成部１１１は、ＭＲ画像をＨＭＤ１００の表示部１０３に出力する。これにより、表示部１０３には、カメラ１０１の位置姿勢に応じた現実空間の画像と仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ１００を頭部に装着したＭＲ体験者に、このＭＲ画像を提示することができる。

なお、図１において、ＨＭＤ１００に取り付けられているハードウェアを除くすべての機能は、ワークステーション１６０の機能構成に含まれるものとする。このワークステーション１６０の基本的なハードウェア構成としては、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、キーボード、及びマウスを備えている。ＣＰＵはＲＡＭやＲＯＭに格納されているプログラムやデータを用いて、ワークステーション１６０全体の制御を行うとともに、ＭＲ画像を生成し、ＨＭＤ１００の表示部１０３に出力するまでの一連の処理を実行する。

ＲＡＭは、外部記憶装置や記憶媒体ドライブ装置から読み出されたプログラムやデータを一時的に記憶するためのエリアを備えるとともに、ＣＰＵが各種の処理を実行するために用いるワークエリアも備える。ＲＯＭは、ブートプログラムなど、ワークステーション１６０全体の制御を行うためのプログラムやデータ等を格納する。キーボード、マウスは、各種の指示をＣＰＵに入力することができる。ハードディスクドライブ装置等に代表される大容量情報記憶装置は、ＯＳ（オペレーティングシステム）や、ＣＰＵが上記ＭＲ画像を生成して表示部１０３に出力するまでの一連の処理を実行するために必要なプログラムやデータを格納する。格納されるプログラムやデータはＲＡＭに読み出され、ＣＰＵの実行対象となる。

なお、図１に示した信頼度算出部１０５、距離データ補正部１０６、カメラ位置姿勢推定部１０８、仮想画像生成部１１０、及び画像合成部１１１はプログラムにより実装してもよい。その場合、このプログラムを外部記憶装置に保存しておき、必要に応じてＲＡＭに読み出し、ＣＰＵがこのプログラムに従って処理を実行する。これにより、ワークステーション１６０は、以上に説明したＭＲ画像を生成して表示部１０３に出力するまでの一連の処理を実行することができる。

＜処理の手順＞
次に、本実施形態における処理の手順について、図３のフローチャートを参照しながら説明する。なお、図３に示すフローチャートの処理は、ＭＲ画像を１枚描画するごとに繰り返し行われる処理である。

まず、カメラ１０１からカメラ画像が入力されると処理を開始する。そして、ステップＳ３０１において、記憶部１０９は、カメラ画像として現在保存されている画像を前フレームのカメラ画像の領域にコピーする。そして、カメラ１０１にて撮影された新規のカメラ画像を記憶部１０９の現在のカメラ画像の領域に格納する。

次に、ステップＳ３０２において、記憶部１０９は、距離計測部１５０で生成される距離画像を記憶部１０９に格納する。ここで、距離画像は、例えば図１４に示すような距離画像１４０５であり、カメラ画像と同じ解像度を持ち、０×００００〜０×ＦＦＦＦの値をとる１６ビットのグレイスケール画像を用いる。

次に、ステップＳ３０３において、カメラ位置姿勢推定部１０８は、カメラ画像に映っているマーカを検出し、前述した方法を利用してカメラ１０１の位置姿勢と距離計測部１５０の位置姿勢とを推定する。そして、ステップＳ３０４において、カメラ位置姿勢推定部１０８は、記憶部１０９に格納された距離計測部１５０の位置姿勢の履歴情報から、距離計測部１５０の移動速度及び移動方向を算出して記憶部１０９に格納する。

次に、ステップＳ３０５において、信頼度算出部１０５は、カメラ画像と、距離計測部１５０の移動速度及び移動方向とによって輪郭領域を決定する。この処理の詳細について、図１３及び図１４を参照しながら説明する。

まず、図１４におけるカメラ画像１４０１に対して、例えばソーベル・オペレータを適用し、図１３に示すような輪郭線１３１０、１３２０、１３４０を抽出する。なお、輪郭線を抽出する方法としてソーベル・オペレータを適用することに限定されるものではなく、画像から輪郭線を抽出できる方法であれば他の方法も適用可能である。また、本実施形態では、頭部が移動している最中の距離計測値の誤差を低減することを目的としているため、カメラ画像１４０１にブラーが生じている状態でも輪郭を正しく抽出できるオペレータが望ましい。

さらに、記憶部１０９に格納されている距離計測部１５０の移動速度及び移動方向に比例して、抽出した輪郭線を膨張させる。例えば、記憶部１０９に格納されている距離計測部１５０の移動速度に比例して膨張量を増やす。距離計測部１５０による距離計測値は、対象物体である手４０２Ｌ、４０２Ｒが時系列的に高速で動くと、対象物体の輪郭における誤差領域が拡大する性質を持つ。このため、信頼度を下げる領域も性質に合わせて拡大させて誤差領域を除去する必要がある。なお、対象物体の形状が時系列的に変化する場合も同様である。

また、記憶部１０９に格納されている距離計測部１５０の移動方向からカメラ画像１４０１における対象物体の移動方向を画像の縦方向及び横方向を成分とする２次元ベクトルとして推定する。例えば、予め３次元空間上に仮想の参照点を配置し、カメラ１０１の直前に計測した位置姿勢とカメラ内部パラメータとから透視投影変換して３次元上の点を投影面に射影して前フレームの投影点とする。次に、現在のカメラ１０１の位置姿勢とカメラ内部パラメータとから３次元参照点を透視投影して求めた投影面上の点を現在の投影点とする。このように求めた前フレームの投影点と現在の投影点との画像上でのベクトル差を前述した対象物体の移動方向を示す２次元ベクトルとすればよい。なお、距離画像１４０５における対象物体の移動方向を算出すべきであるが、本実施形態では、距離計測部１５０及びカメラ１０１は同一方向に設置されていることを前提としている。

さらに、この２次元ベクトルの縦成分の量を縦の膨張率に比例させ、２次元ベクトルの横成分の量を横の膨張率に比例させる。対象物体である手４０２Ｌ、４０２Ｒが一方向に高速で動くと、距離計測値は移動方向に垂直な輪郭領域の誤差領域が拡大する性質を持つため、該当領域の信頼度を下げて誤差領域を除去する必要がある。以上のような処理により、カメラ画像１４０１に対して図１３に示すような輪郭領域１３１５が算出される。

次に、ステップＳ３０６において、信頼度算出部１０５は、カメラ画像において、指定された誤差を拡大する色の領域（以後、誤差拡大色領域と呼ぶ）を抽出する。図１４に示す例では、まず、カメラ画像１４０１から黒い領域を抽出する。黒い領域の抽出には、例えば、予め設定した閾値よりも画素の輝度が低い領域を抽出する。そして、スペキュラ成分として距離計測値の誤差を拡大する最高輝度領域の白い領域を抽出する。例えば、カメラ画像１４０１の輝度成分が８ビットで表現されている場合は、輝度値が２５５の領域を抽出する。このようにして、カメラ画像１４０１の黒いリストバンドの領域に対して、図１３におけるリストバンドの輪郭線１３２０の誤差拡大色領域１３２５を抽出する。

次に、ステップＳ３０７において、信頼度算出部１０５は、記憶部１０９に格納されている前フレームのカメラ画像と現在のカメラ画像との差分を求めて差分領域を抽出する。差分領域は、例えば、前フレームのカメラ画像の輝度成分と現在のカメラ画像の輝度成分とを比較し、予め定めた閾値よりも差が大きい場合に対象領域として抽出する。この処理は、距離計測部１５０が静止している状態で対象が高速移動する場合に出る計測誤差が、前フレームのカメラ画像と現在のカメラ画像との差分領域に類似することを利用している。

次に、ステップＳ３０８において、信頼度算出部１０５は、ステップＳ３０５で算出した輪郭領域、ステップＳ３０６で算出した誤差拡大色領域、及びステップＳ３０７で算出した差分領域を利用して信頼度画像を生成する。以下、図１３に示す信頼度画像１３０５を生成する処理の詳細について説明する。

信頼度画像１３０５は、例えば、カメラ画像１４０１と同じ解像度を持ち、０〜２５５の整数値をとる８ビットのグレイスケール画像を用いる。なお、信頼度画像１３０５は８ビットのグレイスケール画像に限定されるものではない。まず、信頼度画像１３０５の全画素の初期値として信頼度を２５５に設定する。次に、ステップＳ３０５で算出した輪郭領域に対応する信頼度画像１３０５の夫々の画素（信頼度）から特定の数値を減算して信頼度を下げる。このように輪郭領域における信頼度を下げて信頼度画像１３０５を更新する。なお、後述する信頼度に応じて距離画像を抽出する処理で計測誤差の高い領域を抽出できるパラメータであればそれ以外の数値を用いてもよい。また、ステップＳ３０５で最初に求めた輪郭線における信頼度が一番低く、輪郭領域の外側へ行くに従って信頼度が高くなるように、減算する値に重みをつけてもよい。

次に、ステップＳ３０６で算出した誤差拡大色領域に対応する信頼度画像１３０５の信頼度から特定の値を減算して信頼度をさらに下げる。さらに、ステップＳ３０７で算出した画像差分領域に対応する信頼度画像１３０５の信頼度から特定の値を減算して信頼度をさらに下げる。上記の減算により、信頼度が負になる場合は、信頼度に０を設定する。以上のような処理により、図１３に示すような信頼度画像１３０５を算出し、信頼度算出部１０５が記憶部１０９に格納する。なお、輪郭線１３１０、１３２０、１３４０は説明の便宜上掲載しているものであり、実際の信頼度画像１３０５には記録されないものである。

次に、ステップＳ３０９において、距離データ補正部１０６は、記憶部１０９に格納されている信頼度画像と距離画像とを用いて、第１の補正として第２の距離データである高信頼度距離画像を生成する。以下、この処理の詳細について図１３及び図１４に示す例を参照しながら説明する。

図１４に示す高信頼度距離画像１４１０は、例えば、カメラ画像１４０１と同じ解像度を持ち、０×００００〜０×ＦＦＦＦの値をとる１６ビットのグレイスケール画像を用いる。なお、高信頼度距離画像１４１０は８ビットのグレイスケール画像に限定されるものではない。高信頼度距離画像１４１０の全画素の初期値として０×ＦＦＦＦ（無限遠を示す値）を設定する。そして、信頼度画像１３０５の各画素値にあたる信頼度の値が、予め設定した信頼度の閾値を上回るかどうかを判定する。

次に、閾値を上回った信頼度画像１３０５に対応する距離画像１４０５の距離計測値を求め、高信頼度距離画像１４１０の値として設定する。なお、信頼度画像１３０５に対応する距離画像１４０５の距離計測値を求めるためには、距離画像１４０５の画像座標系からカメラ画像１４０１の画像座標系へ変換するホモグラフィ変換行列を利用する。ホモグラフィ変換行列は、予め記憶部１０９に格納されているものとする。

なお、カメラ画像１４０１及び高信頼度距離画像１４１０は同じ画像座標系であるため、カメラ画像１４０１から変換する必要はない。また、距離画像１４０５の解像度が高信頼度距離画像１４１０の解像度よりも低い場合は、高信頼度距離画像１４１０に距離計測値を疎にマッピングしたあとに、距離計測値を補間すればよい。このように算出した高信頼度距離画像１４１０は、距離データ補正部１０６によって記憶部１０９に格納される。

次に、ステップＳ３１０において、距離データ補正部１０６は、第２の補正として、ステップＳ３０９で求めた高信頼度距離画像を、ステップＳ３０５で最初に求めた輪郭線まで補間処理または補外処理によって補正する。図１４に示す例の場合、手４０２Ｌ及びリストバンド４１０の輪郭線１３１０、１３２０、１３４０は、高信頼度距離画像１４１０の輪郭１４１１、１４１２、１４１３とは異なる。そこで、ステップＳ３１０では、高信頼度距離画像１４１０の輪郭を輪郭線１３１０、１３２０、１３４０まで拡張する。

まず、距離データ補正部１０６は、高信頼度距離画像１４１０の輪郭線上において、カメラ画像１４０１の輪郭線のある水平方向に向かって距離計測値をコピーして補外する。例えば、図１４に示す拡大図Ｋ３０において、高信頼度距離画像１４１０の輪郭線１４１３上にある距離計測値をカメラ画像１４０１の輪郭線１３４０に到達するまで右水平方向に同じ値をコピーしていく。距離計測値を水平方向にコピーするのは、距離計測部１５０が計測する距離画像は水平方向の差が少ないことを仮定しているためである。なお、水平方向に同じ値をコピーすることに限定されるものではなく、例えば、輪郭線１４１３の内側（左側）の５画素における距離計測値の微分値の平均を求め、同じ微分値になるように輪郭線１４１３から輪郭線１３４０までの距離計測値を決定してもよい。

次に、垂直方向に高信頼度距離画像１４１０を拡張する。垂直方向に拡張する場合も水平方向の処理と同様に、垂直方向に距離計測値をコピーしていく。さらに、輪郭線１３１０、１３２０、１３４０の内部が補正できているかどうかを判定する。図１４に示す例では、上記の処理で、リストバンド４１０の内側の領域１４１２（輪郭線に囲まれた閉領域で内部の距離計測値が０×ＦＦＦＦに設定されている領域）が補正されないことが検出される。この判定によって未補正領域が見つかった場合は、カメラ画像１４０１の輪郭線上の距離計測値を垂直方向に補間する。すなわち、距離データ補正部１０６は、リストバンド４１０の輪郭線１３２０の内側の距離計測値を、垂直方向に補間していく。

このように、距離データ補正部１０６は、カメラ画像１４０１の対象物体の輪郭線まで高信頼度距離画像１４１０を補間及び補外することにより、第３の距離データである補正距離画像１４２０を算出し、記憶部１０９に格納する。なお、前述した補間及び補外処理を用いて補正距離画像１４２０を算出することに限定されるものではなく、例えば、高信頼度距離画像１４１０を暈すなど、対象物体の輪郭まで正しく補正できる方法であれば他の方法も適用可能である。

次に、ステップＳ３１１において、仮想画像生成部１１０は、記憶部１０９に格納されている仮想物体の３次元モデル情報と補正距離画像とを利用して仮想物体画像を生成する。図１４に示す補正距離画像１４２０を用いた例では、まず、仮想物体の３次元モデル情報をレンダリングし、仮想物体画像の色情報とＺバッファ値とを生成する。ここで、仮想物体画像はカメラ画像１４０１と同一の解像度でレンダリングされるものとする。なお、カメラ画像と仮想物体画像とが同一の解像度であることに限定されるものではなく、仮想物体画像の解像度に合わせてカメラ画像をスケーリング変換してもよい。

次に、仮想物体画像のＺバッファ値を１６ビットで表現できるように変換し、補正距離画像１４２０の距離計測値と対応する仮想物体画像のＺバッファ値とを比較する。この比較の結果、Ｚバッファ値に対して距離計測値が小さい場合は、仮想物体よりも対象物体が手前にあると仮定して、仮想物体画像の色情報の透明度を１に設定する。逆に、Ｚバッファよりも距離計測値が大きい場合は、仮想物体の奥に対象物体があると仮定して、仮想物体の色情報の透明度は変更しないようにする。このようにして得られた透明度を含む仮想物体画像は、画像合成部１１１に出力される。

次に、ステップＳ３１２において、画像合成部１１１は、カメラ画像と、ステップＳ３１１で生成した仮想物体画像とを合成する。ただし、合成処理時には、カメラ画像を背景として仮想物体画像を上書きする。このとき、透明度に応じて背景であるカメラ画像の色と混合する。そして、ステップＳ３１２において、画像合成部１１１は、ステップＳ３１２で生成した合成画像をＨＭＤ１００の表示部１０３に出力する。

以上のように本実施形態によれば、このような処理により、図７に示すような仮想物体と現実の物体とが自然に干渉している提示映像を生成することができる。ＨＭＤ１００を装着するＭＲ体験者４０３が感じる距離感覚に近い映像を提示するので、ＭＲ体験者４０３の没入間の阻害を軽減することができる。

（第２の実施形態）
前述した第１の実施形態では、カメラ画像１４０１と距離計測部１５０の移動速度及び移動方向の情報に基づいて信頼度を決定した。これに対して本実施形態では、距離計測部１５０から得られる距離データの計測履歴を利用して距離計測値の信頼度を求める方法について説明する。なお、本実施形態における画像処理装置を利用したＭＲ提示システムの構成は、第１の実施形態で説明した図１と基本的には同様である。異なる点としては、本実施形態における信頼度算出部１０５では、信頼度を算出する際に、カメラ画像を利用せず、距離画像１４０５の情報から信頼度を算出する点である。

図１５は、本実施形態における画像処理装置を利用したＭＲ提示システムの処理手順の一例を示すフローチャートである。なお、図３と同一番号のものは、第１の実施形態と同一の処理を行うため、第１の実施形態と異なる処理のみを説明する。

ステップＳ３０１の処理が行われると、ステップＳ１５０１において、距離計測部１５０が、記憶部１０９に現在格納されている距離画像を距離画像の履歴として保存し、さらに距離計測部１５０から得られた新たな距離画像を記憶部１０９に格納する。

ステップＳ１５０２においては、信頼度算出部１０５が、記憶部１０９に格納された現在の距離画像と前フレームの距離画像とを比較し、差分領域を算出する。この処理は、距離計測結果の誤差が距離画像の差分領域に多く発生する性質を利用して、その領域の信頼度を下げることによって誤差の影響を低減することを目的としている。

次に、ステップＳ１５０３において、信頼度算出部１０５は、距離画像における輪郭領域を算出し、輪郭領域の画素（以後、輪郭画素と呼ぶ）ごとに、以下の処理を実施する。まず、現フレームにおける輪郭画素と１フレーム前の距離画像の輪郭領域において一番近い輪郭画素とを対応付ける。さらに、１フレーム前の輪郭画素と２フレーム前の輪郭領域とを比較して１フレーム目の輪郭画素に一番近い画素を対応する輪郭画素とする。同様に５フレーム前までの輪郭画素を対応付けていく。この処理を現フレームの全輪郭領域の画素に対して行う。

次に、各輪郭領域の画素ごとに対応付けた５フレーム前までの距離計測値の差分値（微分値）を求める。そして、各フレームにおける差分値の絶対値が閾値を超えて、かつ、差分値の分散が閾値以内である場合に、対象画素の領域を輪郭部変化領域として保存する。この処理は、対象物体が移動するときの距離画像における輪郭線の距離計測値の誤差が、線形的に増加または減少する性質を利用して距離計測誤差を特定するための処理である。すなわち、対象物体の輪郭画素における距離計測値の履歴が線形的に増加・減少している場合は誤差が大きいと判断し、信頼度を下げることによって誤差の影響を低減することを目的としている。

次に、ステップＳ１５０４において、信頼度算出部１０５が、ステップＳ１５０２で得た距離画像における差分領域と、ステップＳ１５０３で算出した輪郭部変化領域とに対応する信頼度画像の領域の信頼度を減少させる。

このように、カメラ画像を利用せずに、距離画像における距離計測値の履歴情報を利用して信頼度を算出し、信頼度の低い領域を除去・補正することにより、ＭＲ体験者４０３が感じる距離感に近い映像を提示することができる。

（第３の実施形態）
第１の実施形態では、距離計測部１５０が距離画像を算出し、距離画像と信頼度画像とに基づいて高信頼度距離画像を生成した。これに対して本実施形態では、距離計測部１５０が距離画像ではなく、距離画像から変換したポリゴンメッシュを出力する場合に、ポリゴンメッシュと信頼度画像とから高信頼度距離画像を生成する例について説明する。ここで、ポリゴンメッシュとは、距離画像で求めた距離計測値を３次元空間上の点として配置し、各点を接続して仮想物体として描画可能なポリゴンとして再構成したデータを指す。

本実施形態における画像処理装置を利用したＭＲ提示システムの構成は、第１の実施形態と同一である。ただし、以下の点が異なる。記憶部１０９では、距離画像１４０５の代わりにポリゴンメッシュ情報を保持しており、距離データ補正部１０６ではポリゴンメッシュを入力してポリゴンメッシュのデータを補正する。また、仮想画像生成部１１０では、ポリゴンメッシュを利用して仮想物体を描画する。

図１６は、本実施形態における画像処理装置を利用したＭＲ提示システムの処理手順の一例を示すフローチャートである。なお、図３と同一番号のものは、第１の実施形態と同一の処理を行うため、第１の実施形態と異なる処理のみを説明する。

ステップＳ１６０１においては、距離データ補正部１０６は、まず、記憶部１０９に格納されたカメラ内部パラメータを利用して、ポリゴンメッシュ情報の３次元頂点をカメラ画像の投影面に射影する。そして、信頼度画像とポリゴンメッシュの頂点とを対応付ける。次に、信頼度画像の信頼度のうち、予め指定した閾値に満たない領域に対応するポリゴンメッシュの頂点を削除する。例えば、図１１に示すような誤差を持つ３次元ポリゴンメッシュ１０１０は、図１７に示すポリゴンメッシュ１７１０のように頂点が削除される。

次に、ステップＳ１６０２において、距離データ補正部１０６は、ステップＳ１６０１の処理により残った頂点のうち、ポリゴンメッシュの輪郭となる頂点を１点選択する。そして、カメラ画像の輪郭線上で最も近い点を作成して、その点の距離計測値をその頂点の距離計測値にコピーする。さらに、新規作成した頂点と隣接する頂点とを接続し、ポリゴンメッシュを更新する。同様にメッシュの輪郭となる頂点全てについて、カメラ画像の輪郭線上に新規のメッシュ頂点を作成して接続する。

さらに、カメラ画像の輪郭線内にポリゴンメッシュの頂点があるかどうかを検証し、頂点がない場合は、輪郭線上にあるポリゴンメッシュの頂点同士を接続して穴を埋める。例えば、リストバンドの誤差拡大色領域１３２５にはポリゴンメッシュの頂点がないため、リストバンドの輪郭線１３２０にあるポリゴンメッシュの頂点同士を接続して穴を埋める。このようにしてカメラ画像の輪郭領域と一致するポリゴンメッシュが得られたときに、距離データ補正部１０６は、ポリゴンメッシュを記憶部１０９に格納する。

次に、ステップＳ１６０３において、仮想画像生成部１１０は、記憶部１０９に格納された仮想物体のモデル情報、更新されたポリゴンメッシュ情報、及びカメラ１０１の位置姿勢に基づいて、仮想物体画像を生成する。このとき、ポリゴンメッシュの情報のレンダリング表示属性において透明度を１に設定した状態で透明オブジェクトとして描画する。この処理において、Ｚバッファの比較処理ではポリゴンメッシュの情報と仮想物体のモデル情報との奥行きを比較することにより、仮想物体よりも手前にある現実物体が仮想物体の画像へ上書きされずにＭＲ体験者４０３に表示されるようにする。

このように、距離計測部１５０の出力を距離画像ではなくポリゴンメッシュで扱う場合であっても、ＭＲ体験者４０３が感じる距離感に近い映像を提示することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体も本発明に含まれる。

１０１ カメラ
１０５ 信頼度算出部
１０６ 距離データ補正部
１５０ 距離計測部

Claims (12)

1. 物体までの距離を計測し、第１の距離データとして生成する距離計測手段と、
   前記物体を含む撮像画像を取得する画像取得手段と、
   前記距離計測手段の移動速度および移動方向を取得する取得手段と、
   前記撮像画像から前記物体の輪郭領域を抽出する抽出手段と、
   前記取得手段によって取得された前記距離計測手段の移動速度および移動方向に基づいて、前記抽出された輪郭領域を拡大する拡大手段と、
   前記拡大手段によって拡大された輪郭領域に基づいて、前記第１の距離データにおける計測値の信頼度を算出する信頼度算出手段と、
   前記信頼度算出手段によって算出された信頼度に基づいて前記第１の距離データの計測値から信頼度の高い領域を抽出し、前記第１の距離データよりも信頼度の高い第２の距離データを生成する第１の補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記距離計測手段は、光線が物体に反射して戻ってきた時間を計測することにより前記第１の距離データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記信頼度算出手段は、前記拡大手段によって拡大された輪郭領域に対応する前記第１の距離データにおける計測値の信頼度を、前記輪郭領域以外の領域に対応する前記第１の距離データにおける計測値よりも低くなるように、前記第１の距離データにおける計測値の信頼度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 更に、前記撮像画像から閾値よりも低い輝度値をもつ色領域を抽出する第２の抽出手段を備え、
   前記信頼度算出手段は、前記拡大手段によって拡大された輪郭領域に対応する前記第１の距離データにおける計測値の信頼度および前記色領域に対応する前記第１の距離データにおける計測値の信頼度を、前記輪郭領域以外の領域に対応する前記第１の距離データにおける計測値および前記色領域以外の領域に対応する前記第１の距離データにおける計測値の信頼度よりも低くなるように、前記信頼度を算出することを特徴とする請求項３に記載の画像処理装置。
5. さらに、前記第１の補正手段によって生成された第２の距離データを、補間または補外により第３の距離データを生成する第２の補正手段を備えることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. さらに、前記第３の距離データと仮想物体の３次元モデル情報とを用いて前記画像取得手段の位置姿勢に基づいた仮想画像を生成する仮想画像生成手段と、
   前記画像取得手段によって得られた撮像画像と前記仮想画像生成手段によって生成された仮想画像とを合成する合成手段と、
   前記合成手段によって合成された合成画像を提示する提示手段と、
   を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記仮想画像生成手段は、前記仮想物体のＺバッファと、前記第３の距離データとを比較して、前記仮想物体を描画する領域を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記第３の距離データは、３次元の点から構成されるポリゴンであり、
   前記仮想画像生成手段は、前記ポリゴンを透明オブジェクトとして描画することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の距離データは、前記距離計測手段によって計測された距離を２次元に示す距離画像であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記第１の距離データは、３次元の点から構成されるポリゴンであることを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 物体までの距離を計測し、第１の距離データとして生成する距離計測手段と、前記物体を含む撮像画像を取得する画像取得手段とを備えた画像処理装置の画像処理方法であって、
    前記距離計測手段の移動速度および移動方向を取得する取得工程と、
    前記撮像画像から前記物体の輪郭領域を抽出する抽出工程と、
    前記取得工程において取得された前記距離計測手段の移動速度および移動方向に基づいて、前記抽出された輪郭領域を拡大する拡大工程と、
    前記拡大工程において拡大された輪郭領域に基づいて、前記第１の距離データにおける計測値の信頼度を算出する信頼度算出工程と、
    前記信頼度算出工程において算出された信頼度に基づいて前記第１の距離データの計測値から信頼度の高い領域を抽出し、前記第１の距離データよりも信頼度の高い第２の距離データを生成する第１の補正工程と、
    を備えることを特徴とする画像処理方法。
12. 物体までの距離を計測し、第１の距離データとして生成する距離計測手段と、前記物体を含む撮像画像を取得する画像取得手段とを備えた画像処理装置を制御するためのプログラムであって、
    前記距離計測手段の移動速度および移動方向を取得する取得工程と、
    前記撮像画像から前記物体の輪郭領域を抽出する抽出工程と、
    前記取得工程において取得された前記距離計測手段の移動速度および移動方向に基づいて、前記抽出された輪郭領域を拡大する拡大工程と、
    前記拡大工程において拡大された輪郭領域に基づいて、前記第１の距離データにおける計測値の信頼度を算出する信頼度算出工程と、
    前記信頼度算出工程において算出された信頼度に基づいて前記第１の距離データの計測値から信頼度の高い領域を抽出し、前記第１の距離データよりも信頼度の高い第２の距離データを生成する第１の補正工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images