JP7184203B2 - 画像処理装置、３次元計測システム、画像処理方法 - Google Patents

Description

本発明は、画像処理装置に関し、特に画像から高精度な３次元情報を得るための技術に関する。

画像を用いて物体の３次元情報を取得する手法の一つに、アクティブ計測と呼ばれる手法がある（非特許文献１参照）。アクティブ計測は、物体表面にパターン光を投影するため、画像特徴が少ない物体（例えば、表面にテクスチャがない物体など）でも高精度に３次元計測が可能であるという利点をもち、パッシブ計測に比べて実用性に優れる。

P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.

しかしながら、アクティブ計測は、物体のエッジ近傍において計測精度が低下しやすいという固有の課題をもつ。エッジ部分では物体の高さが不連続となるため、投影されるパターンもエッジを挟んで不連続となる。そうすると、エッジの近傍でパターンの誤認識が発生しやすくなり、物体表面上の点を背景の点と誤認したり、逆に背景の点を物体表面上の点と誤認したりしてしまい、誤った高さ情報が出力されるのである。図１８は、アクティブ計測で得られた３次元情報（点群データ）と実際の物体のエッジ（外形）とのズレを模式的に示している。エッジから点群がはみ出している箇所や、点群が欠けている箇所があることがわかる。

アクティブ計測の用途や目的によっては、このような３次元情報と実際の形状のあいだのわずかなズレ（以下単に「計測誤差」と呼ぶ）が無視できないケースも想定される。例えば、アクティブ計測によって物体の外形を認識し、その認識結果をピッキングロボットの把持制御に利用する場面においては、計測誤差がピック又はプレースの不具合を招く可能性がある。具体的には、物体の外形を過大認識した結果、当該物体とその周囲のあいだにハンドを挿入する隙間がないと誤判定し、ピック又はプレースの動作を中断してしまったり、逆に、物体の外形を過小認識した結果、当該物体を把持するときにハンドと物体の干渉が発生してしまうなどの不具合が想定される。また、アクティブ計測によって物体の位置や姿勢を認識しながら、部材の嵌合や組付けを行う場面においては、ミクロンオーダーの位置決めが必要となるため、上記のような計測誤差は致命的となる。また、表面に位置決め用のマーク（突起や溝など）が設けられている部材などでは、アクティブ計測で得られた３次元情報に現れている表面の凹凸が、位置決め用のマークなのか計測誤差による凹凸なのか判別がつかず、位置決め用のマークを認識できない可能性もある。

本発明は、上記実情に鑑みてなされたものであり、物体のエッジ部分におけるパターンの誤認に起因して生じる計測誤差を排除ないし低減するための技術を提供することを目的とする。

本発明の一側面は、対象物にパターン光を投影して撮影された画像を用いて、各画素に奥行距離に関する情報が関連付けられたデータであるマップを生成するマップ生成手段と、前記対象物にパターン光を投影せずに撮影された画像を用いて、前記対象物のエッジを検出するエッジ検出手段と、奥行距離が不連続となる位置が前記対象物のエッジの位置に合致するように、前記検出されたエッジに基づいて前記マップを修正する修正手段と、を有することを特徴とする画像処理装置を提供する。

マップ生成手段により生成されるマップは、対象物にパターン光を投影して撮影された画像から奥行距離を復元したものであるため、その原理上、パターンの誤認に起因する計測誤差を含んでいる可能性がある。一方、エッジ検出手段により生成されるエッジの情報は、パターン光を投影せずに撮影された画像から得られる情報であるため、パターンの誤認に起因する誤差は含まない。したがって、検出されたエッジの位置を基準にしてマップを修正することによって、マップに含まれる計測誤差を排除ないし低減することができ、従来よりも高精度なマップを得ることができる。

前記マップ生成手段が前記マップを生成する手法は問わない。例えば、前記マップ生成手段は、前記対象物にパターン光を投影し異なる視点から撮影された複数の画像を用いて、ステレオマッチングにより、前記マップを生成するものであってもよい。ステレオマッチングは、異なる視点から撮影された２枚の画像のあいだの視差に基づき三角計測の原理で奥行距離を算出する方法である。ステレオマッチングによれば、空間分解能の高い３次元計測を精度よく行うことができる。ステレオマッチングの場合、前記マップは、視差マップ、デプスマップなどであってもよい。

あるいは、前記マップ生成手段は、前記対象物にパターン光を投影して撮影された画像を用いて、空間符号化パターン方式により、前記マップを生成するものであってもよい。空間符号化パターン方式は、カメラの画素と符号化パターンの対応点の関係から三角計測の原理で奥行距離を算出する方法であり、１枚の画像から３次元情報を得ることができる。空間符号化パターン方式によれば、３次元計測を高速かつ精度よく行うことができる。空間符号化パターン方式の場合、前記マップは、デプスマップなどであってもよい。

あるいは、前記マップ生成手段は、前記対象物にパターン光を投影し異なる視点から撮影された第１画像と第２画像からなる画像ペアを取得する取得手段と、ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うステレオマッチング手段と、を有してもよい。一般的なステレオマッチングでは、比較画像の全体から対応点の探索を行うため、高解像度の画像を用いると不可避的に処理時間が長くなってしまう。これに対し、上記構成では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。

前記視差予測手段は、空間符号化パターン方式により得られた距離情報に基づいて、視差を予測してもよい。空間符号化パターン方式は、ステレオマッチングと同じ解像度のイメージセンサを用いた場合、ステレオマッチングよりも格段に短い処理時間で距離情報を得ることができるからである。なお、空間符号化パターン方式の測距の空間分解能は、ステレオマッチング方式に比べて低いものの、視差の予測に用いる目的であれば必要十分といえる。

前記マップ生成手段は、複数の画像ペアのそれぞれから前記ステレオマッチング手段により生成された複数の視差マップを合成することにより、合成視差マップを生成する視差マップ合成手段をさらに有するとよい。この場合、前記修正手段は、前記合成視差マップ、または、前記合成視差マップから変換されたデプスマップを修正するとよい。複数の画像ペアから得られた視差マップを合成することで、計測のばらつきを低減することができ、高精度かつ信頼性の高いマップを安定して得ることができる。

前記視差予測手段は、複数の予測視差を生成し、前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いてもよい。このように予測視差の生成（計測）も複数回行うことによって、精度及びロバスト性を向上することができる。

前記対象物にパターン光を投影せずに撮影された画像は、前記対象物に均一光を投影して撮影された画像であってもよい。例えば、白色の均一光源などを用いてもよい。

本発明の第二側面は、パターン光を投影する第１投光部、および、１つ以上のカメラを少なくとも有するセンサユニットと、前記センサユニットから取り込まれる画像を用いて処理を行う、第一側面に係る画像処理装置と、を有することを特徴とする３次元計測システムを提供する。この構成によれば、対象物のエッジ部分におけるパターンの誤認に起因する計測誤差が排除ないし低減された、３次元情報を得ることができる。

本発明は、上記手段の少なくとも一部を有する画像処理装置又は３次元計測システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む画像処理方法、３次元計測方法、測距方法、画像処理装置の制御方法、３次元計測システムの制御方法などとして捉えてもよく、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えてもよい。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、物体のエッジ部分におけるパターンの誤認に起因して生じる計測誤差を排除ないし低減することが可能である。

図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。 図２は、３次元計測システムの計測処理の流れを示すフローチャートである。 図３は、計測処理で用いられる画像及びマップを模式的に示す図である。 図４は、画像処理装置により実行されるマップ修正処理のフローチャートである。 図５は、マップ修正処理の一例を模式的に示す図である。 図６は、本発明の第１実施形態に係る３次元計測システムの機能ブロック図である。 図７は、パターン投光部の構成例を示す図である。 図８は、本発明の第２実施形態に係る３次元計測システムの機能ブロック図である。 図９は、第２実施形態の計測処理の流れを示すフロー図である。 図１０は、第２実施形態の後処理の流れを示すフロー図である。 図１１は、本発明の第３実施形態に係る３次元計測システムの機能ブロック図である。 図１２は、第３実施形態の計測処理の流れを示すフロー図である。 図１３は、本発明の第４実施形態に係る３次元計測システムの機能ブロック図である。 図１４は、第４実施形態の計測処理の流れを示すフロー図である。 図１５は、本発明の第５実施形態に係る３次元計測システムの機能ブロック図である。 図１６は、第５実施形態の計測処理の流れを示すフロー図である。 図１７は、第５実施形態の計測処理のタイミングチャートである。 図１８は、アクティブ計測で得られた３次元情報（点群データ）と実際の物体のエッジ（外形）とのズレを模式的に示す図である。

＜適用例＞
図１は、本発明の適用例の一つである３次元計測システムの構成例を模式的に示す図である。３次元計測システム１は、画像センシングによって対象物１２の３次元形状を計測するためのシステムであり、概略、センサユニット１０と画像処理装置１１から構成される。センサユニット１０は、少なくとも、パターン光を投影する第１投光部と非パターン光を投影する第２投光部と１つ以上のカメラ（イメージセンサや撮像装置とも呼ばれる）を備えており、必要に応じて他のセンサや照明を備える場合もある。センサユニット１０の出力は画像処理装置１１に取り込まれる。画像処理装置１１は、センサユニット１０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置１１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。画像処理装置１１の処理結果は、例えば、ディスプレイなどの出力装置に出力されたり、外部に転送されて、検査や他の装置の制御等に利用される。このような３次元計測システム１は、例えば、コンピュータビジョン、ロボットビジョン、マシンビジョンをはじめとして、幅広い分野に適用される。特に、本開示に係る３次元計測システム１では対象物１２の高精度な３次元情報を得ることができるため、物体のピッキング、位置決め、組み立て、検査などを行う各種の産業用ロボットの制御に好ましく適用することができる。

図１の構成はあくまで一例であり、３次元計測システム１の用途に応じてそのハードウェア構成は適宜設計すればよい。例えば、センサユニット１０と画像処理装置１１は無線で接続されてもよいし、センサユニット１０と画像処理装置１１が一体の装置で構成されていてもよい。また、センサユニット１０と画像処理装置１１をＬＡＮ又はインターネット等の広域ネットワークを介して接続してもよい。また、１つの画像処理装置１１に対し複数のセンサユニット１０を設けてもよいし、逆に、１つのセンサユニット１０の出力を複数の画像処理装置１１に提供してもよい。さらに、センサユニット１０をロボットや移動体に取り付けるなどしてセンサユニット１０の視点を移動可能にしてもよい。

＜計測処理の流れ＞
図２及び図３を参照して、３次元計測システム１による計測処理の大まかな流れを説明する。図２は３次元計測システム１の計測処理の流れを示すフローチャートであり、図３は計測処理で用いられる画像及びマップを模式的に示す図である。

ステップＳ２００において、センサユニット１０（第１投光部）から対象物１２にパターン光を投影する。パターン光のパターンは、固定のパターンでもよいし、ランダムパターンでもよいし、位相シフト法などで用いられる縞状のパターンでもよい。３次元情報の復元アルゴリズムに合わせて、適切なパターンを選べばよい。

ステップＳ２０１において、センサユニット１０（カメラ）が、パターン光が投影された対象物１２を撮影する。得られた画像３０（以後、パターンが投影された画像という意味で「パターン画像」とも呼ぶ。）は画像処理装置１１に取り込まれる。

ステップＳ２０２において、画像処理装置１１（マップ生成手段）が、ステップＳ２０１で取り込まれたパターン画像３０から３次元情報の復元を行い、各画素に奥行距離に関する情報が関連付けられたデータであるマップ３１を生成する。「奥行距離に関する情報」は、奥行距離（デプス）そのものでもよいし、奥行距離に換算可能な情報（例えば視差情報）でもよい。

次に、ステップＳ２０３において、センサユニット１０（第２投光部）から対象物１２に非パターン光を投影する。例えば、白色の均一光で対象物１２を照明してもよい。なお、十分に明るい環境の場合は、対象物１２の照明を行わなくてもよい。

ステップＳ２０４において、センサユニット１０（カメラ）が、対象物１２を撮影する。得られた画像３２（以後、パターンが投影されていない画像という意味で「非パターン画像」とも呼ぶ。）は画像処理装置１１に取り込まれる。

ステップＳ２０５において、画像処理装置１１（エッジ検出手段）が、ステップＳ２０４で取り込まれた非パターン画像３２を用いて、対象物１２のエッジを検出する。エッジ検出には、例えば微分フィルタやラプラシアンフィルタなど、どのような手法を適用してもよい。

ステップＳ２０６において、画像処理装置１１（修正手段）が、ステップＳ２０５で得られたエッジ３３の情報に基づいて、ステップＳ２０２で得られたマップ３１を修正する。ステップＳ２０２の処理で３次元情報が正確に復元されている場合には、マップ３１内の奥行距離が不連続となる位置は、ステップＳ２０５で検出されたエッジ３３の位置と一致するはずである。しかしながら、対象物１２のエッジ部分においてパターンを誤認し３次元情報の復元に誤差が生じると、マップ３１中の奥行距離が不連続となる位置とエッジの位置にズレが発生する。そこでステップＳ２０６では、奥行距離が不連続となる位置がエッジの位置に合致するように、マップ３１の修正を行う。

ステップＳ２０７において、画像処理装置１１（３次元情報生成手段）は、修正後のマップ３４をもとに出力用の３次元情報（例えば点群データ）を生成する。このような処理によれば、パターンの誤認に起因する計測誤差を排除ないし低減することができるため、高精度かつ高信頼の３次元情報を生成することが可能となる。

＜マップの修正＞
図４及び図５を参照して、ステップＳ２０６のマップ修正処理の一例を具体的に説明する。図４は画像処理装置１１により実行されるマップ修正処理のフローチャートであり、図５はマップ修正処理の一例を模式的に示す図である。

ステップＳ４００において、画像処理装置１１が、マップ５０に対して奥行距離に基づくセグメンテーションを行い、対象物１２に相当する領域５１を抽出する。セグメンテーションの方法は問わない。例えば、奥行距離に基づきマップ５０を二値化又はＮ値化したのちラベリング処理を行ってもよいし、奥行距離が略同一又は連続で且つ空間的に連続している領域を抽出してもよい。

ステップＳ４０１において、画像処理装置１１が、マップ５０から抽出された領域５１に対し、エッジ検出（図２のステップＳ２０５）で得られたエッジ５２を重ね合わせる。そして、画像処理装置１１は、エッジ５２によって領域５１を分割し（ステップＳ４０２）、各分割領域５３ａ～５３ｃの面積（画素数）Ｓを計算する（ステップＳ４０３）。

ステップＳ４０４において、画像処理装置１１は、各分割領域５３ａ～５３ｃの面積Ｓを所定の閾値Ｘと比較し、閾値Ｘよりも面積Ｓが小さい分割領域５３ａ、５３ｃは計測誤差と判定する。ステップＳ４０５において、画像処理装置１１は、計測誤差と判定された分割領域５３ａ、５３ｃを除去する修正をマップ５０に施し、修正後のマップ５４を出力する。分割領域を除去する操作は、例えば、分割領域内の画素の奥行距離の値を背景領域の奥行距離の値に置き換える操作でもよいし、マップ５０が点群データの場合（つまり、奥行距離の情報をもつ点の集合の場合）であれば分割領域内の点群を削除する操作でもよい。以上の処理によって、パターンの誤認に起因するマップの計測誤差を排除ないし低減することができる。

＜第１実施形態＞
図６を参照して、本発明の第１実施形態に係る３次元計測システム１の構成例について説明する。第１実施形態では、空間符号化パターン方式により対象物１２の３次元情報が生成される。

（センサユニット）
センサユニット１０は、第１カメラ１０１、パターン投光部（第１投光部）１０３、照明部（第２投光部）１０４、画像転送部１０５、駆動制御部１０６を有する。

第１カメラ１０１は、対象物１２を撮影し画像データを取得する撮像装置である。第１カメラ１０１としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。

パターン投光部１０３は、空間符号化パターン方式の測距で用いるパターン光を対象物１２に投影するための投光装置であり、プロジェクタとも呼ばれる。空間符号化パターン方式の測距では、例えば、距離を特定するための規則性のあるパターン（符号化されたパターン）が用いられる。図７にパターン投光部１０３の構成例を模式的に示す。パターン投光部１０３は、例えば、光源部１８０、導光レンズ１８１、パターン生成部１８２、投写レンズ１８３などから構成される。光源部１８０としては、ＬＥＤ、レーザー、ＶＣＳＥＬ（Vertical cavity Surface-emitting Laser）などを用いることができる。導光レンズ１８１は光源部１８０からパターン生成部１８２に光を導くための光学素子であり、レンズ又はガラスロッドなどを用いることができる。パターン生成部１８２は、合成パターンを生成する部材ないし装置であり、フォトマスク、回折光学素子（例えばＤＯＥ（Diffractive Optical Element））、光変調素子（例えば、ＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣｏＳ（Liquid Crystal on Silicon）、ＭＥＭＳ（Micro Electro Mechanical Systems））などを用いることができる。投写レンズ１８３は生成されたパターンを拡大し投写する光学素子である。

照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。例えば白色ＬＥＤ照明などが用いられる。もしくはパターン投光部１０３と同じ波長帯の照明でもよい。

画像転送部１０５は、第１カメラ１０１で撮影された画像データを画像処理装置１１へ転送する。駆動制御部１０６は、第１カメラ１０１、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。

（画像処理装置）
画像処理装置１１は、画像取得部１１０、パターン復号部（マップ生成手段）１１１、エッジ検出部（エッジ検出手段）１１２、マップ修正部（修正手段）１１３を有する。

画像取得部１１０は、センサユニット１０から必要な画像データを取り込む機能を有する。画像取得部１１０は、パターン光を投影して撮影された画像（パターン画像）はパターン復号部１１１へ送り、非パターン光を投影して撮影された画像（非パターン画像）はエッジ検出部１１２へ送る。パターン復号部１１１は、空間符号化パターン方式によって、パターン画像から奥行距離の情報（デプス情報）を取得する。パターン復号部１１１からはデプスマップが出力される。エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する。マップ修正部１１３は、検出されたエッジに基づいてデプスマップを修正し、修正後のデプスマップを出力する。このデプスマップは、例えば、対象物１２の形状認識、物体認識などに利用される。

画像処理装置１１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、上述した各種の機能が実現される。ただし、画像処理装置１１の構成はこれに限られず、上述した機能のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。以後の実施形態でも同様である。

以上述べた本実施形態の構成によれば、空間符号化パターン方式を利用するので、３次元計測を高速かつ精度よく行うことができる。加えて、非パターン画像から検出されたエッジの位置を基準にしてデプスマップを修正するので、パターンの誤認に起因する計測誤差を排除ないし低減することができ、従来よりも高精度なデプスマップを得ることができる。

＜第２実施形態＞
図８を参照して、本発明の第２実施形態に係る３次元計測システム１の構成例について説明する。第２実施形態では、ステレオマッチングにより対象物１２の３次元情報が生成される。

（センサユニット）
センサユニット１０は、第１カメラ１０１、第２カメラ１０２、パターン投光部（第１投光部）１０３、照明部（第２投光部）１０４、画像転送部１０５、駆動制御部１０６を有する。

第１カメラ１０１と第２カメラ１０２は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている。２つのカメラ１０１、１０２で同時に撮影を行うことで、異なる視点から撮影した画像ペアを得ることができる（第１カメラ１０１の画像を第１画像、第２カメラ１０２の画像を第２画像と呼ぶ）。２つのカメラ１０１、１０２は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１０１、１０２としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。

パターン投光部１０３は、いわゆるアクティブステレオ測距で用いるパターン光を対象物１２に投影するための投光装置であり、プロジェクタとも呼ばれる。アクティブステレオ測距では、例えば、第１実施形態と同様に距離を特定するための規則性のあるパターン（符号化されたパターン）が用いられてもよいし、ランダムドットなどの規則性のないパターンが用いられてもよい。照明部１０４は、一般的な可視光画像を撮影するために用いられる均一照明である。パターン投光部１０３及び照明部１０４の具体的な構成は第１実施形態と同じでよい。

画像転送部１０５は、第１カメラ１０１で撮影された第１画像のデータ、及び、第２カメラ１０２で撮影された第２画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像と第２画像を別々の画像データとして転送してもよいし、第１画像と第２画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。駆動制御部１０６は、第１カメラ１０１、第２カメラ１０２、パターン投光部１０３、及び、照明部１０４を制御するユニットである。なお、画像転送部１０５と駆動制御部１０６は、センサユニット１０側ではなく、画像処理装置１１側に設けてもよい。

（画像処理装置）
画像処理装置１１は、画像取得部１１０、前処理部８００、対応点探索部（マップ生成手段）８０１、エッジ検出部（エッジ検出手段）１１２、マップ修正部（修正手段）１１３、視差マップ後処理部８０２、デプスマップ生成部８０３を有する。

画像取得部１１０は、パターン光を投影して撮影された第１画像と第２画像からなるステレオ画像ペアは前処理部８００へ送り、非パターン光を投影して撮影された画像はエッジ検出部１１２へ送る。前処理部８００は、第１画像と第２画像に対して、必要な前処理を行う機能を有する。対応点探索部８０１は、第１画像と第２画像の対応点を探索し、その探索結果に基づき視差マップを生成する機能を有する。エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する機能を有し、マップ修正部１１３は、検出されたエッジに基づいて視差マップを修正し、修正後の視差マップを出力する機能を有する。視差マップ後処理部８０２は、視差マップに対して必要な後処理を行う機能を有する。デプスマップ生成部８０３は、視差マップの視差情報を距離情報に変換し、デプスマップを生成する機能を有する。

（マップ生成）
図９を参照して、第２実施形態におけるマップ生成処理の流れを説明する。図９は、図２のステップＳ２０２、Ｓ２０５、Ｓ２０６の詳細を示すフロー図である。

ステップＳ９００において、画像取得部１１０が、センサユニット１０から第１画像と第２画像を取得する。第１画像及び第２画像はそれぞれ、パターン投光部１０３から対象物１２にパターン光を投影した状態で、第１カメラ１０１及び第２カメラ１０２で撮影された画像である。なお、センサユニット１０からサイドバイサイド画像形式のデータが取り込まれた場合は、画像取得部１１０がサイドバイサイド画像を第１画像と第２画像に分割する。画像取得部１１０は、前処理部８００に第１画像と第２画像を送る。

ステップＳ９０１において、前処理部８００が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。平行化処理とは、２つの画像の間の対応点が画像中の同じ水平ライン（又は垂直ライン）上に存在するように、一方又は両方の画像を幾何変換する処理である。平行化処理によりエピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、後段の対応点探索の処理が簡単になる。なお、センサユニット１０から取り込まれる画像の平行度が十分高い場合には、ステップＳ９０１の平行化処理は省略してもよい。

ステップＳ９０２において、前処理部８００が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ハッシュ特徴量は、注目画素を中心とする局所領域の輝度特徴を表すものであり、ここでは、８要素のビット列からなるハッシュ特徴量を用いる。このように、各画像の輝度値をハッシュ特徴量に変換しておくことで、後段の対応点探索における局所的な輝度特徴の類似度計算が極めて効率化される。

ステップＳ９０３において、対応点探索部８０１が、第１画像と第２画像の間で対応点の探索を行い、各画素の視差を求める。対応点探索部８０１は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップである。

次にステップＳ９１０において、画像取得部１１０が、センサユニット１０から非パターン画像を取得する。非パターン画像は、照明部１０４から対象物１２に非パターン光（均一照明など）を投影した状態で、第１カメラ１０１又は第２カメラ１０２で撮影された画像である。

ステップＳ９１１において、エッジ検出部１１２は、非パターン画像に対し平行化処理（レクティフィケーション）を行う。なお、画像の平行度が十分高い場合には、平行化処理は省略してもよい。ステップＳ９１２において、エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する。

そして、ステップＳ９１３において、マップ修正部１１３が、ステップＳ９１２で検出されたエッジを基準として、ステップＳ９０３で生成された視差マップを修正する。マップ修正処理の詳細は図４で示したとおりである。

（後処理）
図１０を参照して、第２実施形態における後処理の流れを説明する。図１０は、図２のステップＳ２０７の詳細を示すフロー図である。

ステップＳ１０００において、視差マップ後処理部８０２が、視差マップの後処理を行う。対応点探索によって推定された視差マップには誤計測点や計測抜けなどが含まれるため、後処理として、周囲の画素の視差情報に基づき誤計測点の修正や計測抜けの補完を行う。

ステップＳ１００１において、デプスマップ生成部８０３が、視差マップの各画素の視差情報を奥行距離情報に変換し、デプスマップを生成する。このデプスマップ（点群データ）は、例えば、対象物１２の形状認識、物体認識などに利用される。

以上述べた本実施形態の構成によれば、ステレオマッチングを利用するので、空間分解能の高い３次元計測を精度よく行うことができる。加えて、非パターン画像から検出されたエッジの位置を基準にして視差マップを修正するので、パターンの誤認に起因する計測誤差を排除ないし低減することができ、従来よりも高精度な視差マップを得ることができる。なお、本実施形態では、視差マップに対しマップ修正処理を施したが、視差マップからデプスマップへの変換処理を先に行い、デプスマップに対しマップ修正処理を施してもよい。

＜第３実施形態＞
図１１を参照して、本発明の第３実施形態に係る３次元計測システム１の構成例について説明する。第３実施形態では、複数の画像ペアについてステレオマッチングを行い、各画像ペアから生成された視差マップを合成することにより、計測の精度及びロバスト性を向上する。以下の説明では、第２実施形態と異なる構成を主に説明し、第２実施形態と同様の構成については説明を省略する。

（センサユニット）
センサユニット１０は、第１カメラ１０１、第２カメラ１０２、第３カメラ１１００、第４カメラ１１０１、パターン投光部（第１投光部）１０３、照明部（第２投光部）１０４、画像転送部１０５、駆動制御部１０６を有する。本実施形態のセンサユニット１０は４つのカメラを備えており、１回の投影で４つの視点の画像を同時に撮影できる。

第３カメラ１１００と第４カメラ１１０１は、いわゆるステレオカメラを構成するカメラ対であり、所定の距離だけ離れて配置されている（第３カメラ１１００の画像を第３画像、第４カメラ１１０１の画像を第４画像と呼ぶ）。２つのカメラ１１００、１１０１は、互いの光軸が交差し、且つ、水平ライン（又は垂直ライン）が同一平面上にくるように、配置されるとよい。このような配置をとることで、エピポーラ線が画像の水平ライン（又は垂直ライン）と平行になるため、ステレオマッチングにおける対応点を同じ位置の水平ライン（又は垂直ライン）内から探索すればよく、探索処理の簡易化が図れるからである。なお、カメラ１１００、１１０１としては、モノクロのカメラを用いてもよいし、カラーのカメラを用いてもよい。

画像転送部１０５は、第１カメラ１０１～第４カメラ１１０１で撮影された第１画像～第４画像のデータを、画像処理装置１１へ転送する。画像転送部１０５は、第１画像～第４画像を別々の画像データとして転送してもよいし、第１画像～第４画像を繋ぎ合わせてサイドバイサイド画像を生成し単一の画像データとして転送してもよい。

（画像処理装置）
画像処理装置１１は、画像取得部１１０、前処理部８００、対応点探索部（マップ生成手段）８０１、視差マップ合成部（視差マップ合成手段）１１０３、エッジ検出部（エッジ検出手段）１１２、マップ修正部（修正手段）１１３、視差マップ後処理部８０２、デプスマップ生成部８０３を有する。視差マップ合成部１１０３は、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する機能を有する。

（マップ生成）
図１２を参照して、第３実施形態におけるマップ生成処理の流れを説明する。図１２は、図２のステップＳ２０２、Ｓ２０５、Ｓ２０６の詳細を示すフロー図である。

ステップＳ１２００において、画像取得部１１０が、センサユニット１０から第１画像～第４画像を取得する。第１画像～第４画像はそれぞれ、パターン投光部１０３から対象物１２にパターン光を投影した状態で、第１カメラ１０１、第２カメラ１０２、第３カメラ１１００、及び第４カメラ１１０１で撮影された画像である。なお、センサユニット１０からサイドバイサイド画像形式のデータが取り込まれた場合は、画像取得部１１０がサイドバイサイド画像を第１画像～第４画像に分割する。本実施形態では、第１画像と第２画像を第１の画像ペア、第３画像と第４画像を第２の画像ペアとして、ステレオマッチングに利用する。

ステップＳ１２０１において、前処理部８００が、第１画像～第４画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ１２０２において、前処理部８００が、平行化された第１画像～第４画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。

ステップＳ１２０３において、対応点探索部８０１が、第１の画像ペアである第１画像と第２画像の間で対応点の探索を行い、視差マップ１を生成する。続いて、ステップＳ１２０４において、対応点探索部８０１が、第２の画像ペアである第３画像と第４画像の間で対応点の探索を行い、視差マップ２を生成する。

ステップＳ１２０５において、視差マップ合成部１１０３が、第１の画像ペアから得られた視差マップ１と第２の画像ペアから得られた視差マップ２を合成し、合成視差マップを生成する。合成方法は特に限定されないが、例えば、視差マップ１と視差マップ２の両方で視差が得られている場合はそれらの平均値を合成視差とし、視差マップ１と視差マップ２のいずれか一方だけで視差が得られた場合はその値をそのまま合成視差とすればよい。

次にステップＳ１２１０において、画像取得部１１０が、センサユニット１０から非パターン画像を取得する。非パターン画像は、照明部１０４から対象物１２に非パターン光（均一照明など）を投影した状態で、第１カメラ１０１又は第２カメラ１０２で撮影された画像である。

ステップＳ１２１１において、エッジ検出部１１２は、非パターン画像に対し平行化処理（レクティフィケーション）を行う。なお、画像の平行度が十分高い場合には、平行化処理は省略してもよい。ステップＳ１２１２において、エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する。

そして、ステップＳ１２１３において、マップ修正部１１３が、ステップＳ１２１２で検出されたエッジを基準として、ステップＳ１２０５で生成された合成視差マップを修正する。マップ修正処理の詳細は図４で示したとおりである。

以上述べた本実施形態の構成によれば、複数の画像ペアから得られた視差マップを合成することで、計測のばらつきを低減することができる。したがって、第２実施形態の構成よりもさらに高精度かつ信頼性の高いマップを安定して得ることができる。

なお、本実施形態では、合成視差マップに対しマップ修正処理を施したが、合成視差マップからデプスマップへの変換処理を先に行い、デプスマップに対しマップ修正処理を施してもよい。また、本実施形態では、２組の画像ペアを用いたが、３組以上の画像ペアを用いてもよい。また、同じ画像を２つ以上の画像ペアで利用してもよい。例えば、第１画像～第３画像の３枚の画像を用いて、第１画像と第２画像のペア、第１画像と第３画像のペア、第２画像と第３画像のペアの３組の画像ペアを形成してもよい。また、画像ペアごとに撮影条件を異ならせてもよい。例えば、本実施形態の構成において、第１カメラと第２カメラの露光時間と、第３カメラと第４カメラの露光時間を異ならせることにより、いわゆるハイダイナミックレンジ（ＨＤＲ）撮影に準じた効果が得られ、計測のロバスト性を向上できる。また、本実施形態のように２組のステレオカメラを用いるのではなく、１組のステレオカメラで複数回の撮影を行うことにより複数組の画像ペアを取得してもよい。この場合も、撮影回ごとに撮影条件（露光時間やパターン光の点灯時間など）を異ならせることで、計測のロバスト性を向上することができる。

さらに、非パターン光投影時にも、複数のカメラで同時に撮影を行うことで複数の非パターン画像を取得し、それぞれの非パターン画像から検出されたエッジ情報を合成することで、高精度なエッジ情報を生成することも好ましい。エッジ情報の精度を向上することにより、修正マップの精度及び信頼性をさらに向上することができる。

＜第４実施形態＞
図１３を参照して、本発明の第４実施形態に係る３次元計測システム１の構成例について説明する。第４実施形態では、空間符号化パターン方式とステレオマッチングを組み合わせて対象物１２の３次元情報を高速かつ高精度に求める。

センサユニット１０の構成は第２実施形態と同じでよい。画像処理装置１１は、画像取得部１１０、パターン復号部１３００、視差予測部１３０１、前処理部８００、探索範囲設定部１３０２、対応点探索部８０１、エッジ検出部（エッジ検出手段）１１２、マップ修正部（修正手段）１１３、視差マップ後処理部８０２、デプスマップ生成部８０３を有する。パターン復号部１３００は、空間符号化パターン方式によって、第１画像から距離情報を取得する機能をもつ。視差予測部１３０１は、パターン復号部１３００で得られた距離情報に基づき第１画像と第２画像の間の視差を予測し参考視差マップを出力する機能を有する。探索範囲設定部１３０２は、予測視差に基づいて対応点の探索範囲を設定する機能を有する。それ以外の構成は第２実施形態と実質的に同じであるため説明を割愛する。

（マップ生成）
図１４を参照して、第４実施形態におけるマップ生成処理の流れを説明する。図１４は、図２のステップＳ２０２、Ｓ２０５、Ｓ２０６の詳細を示すフロー図である。なお、第２実施形態のマップ生成処理（図９）と同じ処理については同一のステップ番号を付し、詳しい説明を割愛する。

ステップＳ９００において、画像取得部１１０が、センサユニット１０から第１画像と第２画像を取得する。ステップＳ９０１において、前処理部８００が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ９０２において、前処理部８００が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。

ステップＳ１４００において、パターン復号部１３００が、第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。

ステップＳ１４０１において、視差予測部１３０１が、ステップＳ１４００で得られた各点の距離情報に基づき、各点を平行化された第１画像の画像座標系に射影したときの２次元座標と、同じ点を平行化された第２画像の画像座標系に射影したときの２次元座標とを計算し、２つの画像の間での座標の差を計算する。この差が予測視差である。視差予測部１３０１は、ステップＳ１４００で距離情報が得られたすべての点についての予測視差を求め、そのデータを参考視差マップとして出力する。

ステップＳ１４０２において、探索範囲設定部１３０２が、予測視差に基づいて、第１画像及び第２画像に対し、対応点の探索範囲を設定する。探索範囲の大きさは、予測の誤差を考慮して決定される。例えば、予測の誤差が±１０画素である場合には、マージンを含めても、予測視差を中心とした±２０画素程度を探索範囲に設定すれば十分と考えられる。仮に水平ラインが６４０画素である場合に、探索範囲を±２０画素（つまり４０画素）に絞り込むことができれば、水平ライン全体を探索するのに比べて探索処理を単純に１／１６に削減することができる。

ステップＳ１４０３において、対応点探索部８０１が、設定された探索範囲に限定して第１画像と第２画像の間で対応点の探索を行い、各画素の視差を求める。対応点探索部８０１は、対応点の検出に成功した点（画素の座標）に視差情報を関連付けた視差データを生成する。この情報が視差マップである。

次にステップＳ１４１０において、画像取得部１１０が、センサユニット１０から非パターン画像を取得する。非パターン画像は、照明部１０４から対象物１２に非パターン光（均一照明など）を投影した状態で、第１カメラ１０１又は第２カメラ１０２で撮影された画像である。

ステップＳ１４１１において、エッジ検出部１１２は、非パターン画像に対し平行化処理（レクティフィケーション）を行う。なお、画像の平行度が十分高い場合には、平行化処理は省略してもよい。ステップＳ１４１２において、エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する。

そして、ステップＳ１４１３において、マップ修正部１１３が、ステップＳ１４１２で検出されたエッジを基準として、ステップＳ１４０３で生成された視差マップを修正する。マップ修正処理の詳細は図４で示したとおりである。

以上述べた本実施形態では、予測された視差に基づき対応点の探索範囲が限定される。これにより、探索範囲を格段に狭くできるため、対応点の探索に要する時間を大幅に短縮することができる。また、ステレオマッチング、つまり対応点探索の成功率及び精度の向上も期待できる。したがって、本実施形態によれば、空間分解能の高い３次元計測を、高速かつ高精度に行うことができる。

なお、本実施形態では、視差の予測のために空間符号化パターン方式による測距を行ったが、ステレオマッチングよりも高速に測距ないし視差予測が可能な方法であれば、空間符号化パターン方式以外の手法で測距ないし視差予測を行ってもよい。例えば、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向／Photometric Stereo）、照度差方式、レーザー共焦点方式、白色共焦点方式、光干渉方式、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式、Depth from focusing方式、Depth from defocus方式、Depth from zoom方式、光時間差（TOF）測定方式、光位相差（TOF）測定方式等が挙げられる。また、本実施形態では、視差マップに対しマップ修正処理を施したが、視差マップからデプスマップへの変換処理を先に行い、デプスマップに対しマップ修正処理を施してもよい。

また、第３実施形態で述べた構成（複数の画像ペアを用いることによる視差マップの精度向上や、複数の非パターン画像を用いることによるエッジ情報の精度向上など）を第４実施形態に組み合わせてもよい。

＜第５実施形態＞
図１５を参照して、本発明の第５実施形態に係る３次元計測システム１の構成例について説明する。第５実施形態は、第４実施形態の方法（空間符号化パターン方式とステレオマッチングの組み合わせ）の変形例であり、予測視差の生成とステレオマッチング（視差マップの生成）をともに複数回行うことで、計測の精度及びロバスト性をさらに向上する。以下の説明では、第４実施形態と異なる構成を主に説明し、第４実施形態と同様の構成については説明を省略する。

センサユニット１０の構成は第４実施形態と同じでよい。画像処理装置１１は、画像取得部１１０、パターン復号部１３００、視差予測部１３０１、前処理部８００、探索範囲設定部１３０２、対応点探索部８０１、視差マップ合成部１１０３、エッジ検出部（エッジ検出手段）１１２、マップ修正部（修正手段）１１３、視差マップ後処理部８０２、デプスマップ生成部８０３を有する。視差マップ合成部１１０３は、複数の画像ペアのそれぞれから生成された複数の視差マップを合成することにより合成視差マップを生成する機能を有する。

（マップ生成）
図１６及び図１７を参照して、第５実施形態におけるマップ生成処理の流れを説明する。図１６は、図２のステップＳ２０２、Ｓ２０５、Ｓ２０６の詳細を示すフロー図である。図１７は、タイミングチャートである。

駆動制御部１０６からの開始信号をトリガとして、１回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ１６００、Ｓ１６０１において、画像取得部１１０が、第１画像及び第２画像からなる第１の画像ペアを取得する。画像取得部１１０は、パターン復号部１３００に第１画像を送り、前処理部８００に第１画像と第２画像を送る。

続いて、駆動制御部１０６からの開始信号をトリガとして、２回目の計測が実施される。まずパターン投光部１０３が点灯し、所定のパターン照明を対象物１２に投影する。そして、第１カメラ１０１と第２カメラ１０２で同時に撮像が行われ、画像転送部１０５から第１画像及び第２画像の転送が行われる。ステップＳ１６１０、Ｓ１６１１において、画像取得部１１０が、第１画像及び第２画像からなる第２の画像ペアを取得する。画像取得部１１０は、パターン復号部１３００に第２画像を送り、前処理部８００に第１画像と第２画像を送る。

２回目の計測と並列に、１回目の計測で得られた第１の画像ペアに対する画像処理が開始される。ステップＳ１６０２において、前処理部８００が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ１６０３において、前処理部８００が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。

ステップＳ１６０４において、パターン復号部１３００が、第１画像を解析しパターンを復号することによって、第１画像上の複数の点における奥行方向の距離情報を取得する。

ステップＳ１６０５において、視差予測部１３０１が、ステップＳ１６０４で得られた各点の距離情報に基づき予測視差を求め、そのデータを参考視差マップとして出力する。なお、第１画像に対する処理は、第１画像の転送が完了した時点から開始してもよい。

２回目の計測で得られた第２の画像ペアの転送が完了すると、第２の画像ペアに対する画像処理が開始される。ステップＳ１６１２において、前処理部８００が、第１画像及び第２画像に対し平行化処理（レクティフィケーション）を行う。ステップＳ１６１３において、前処理部８００が、平行化された第１画像及び第２画像の各画素についてハッシュ特徴量を計算し、各画素の値をハッシュ特徴量に置き換える。ステップＳ１６１４において、パターン復号部１３００が、第２画像を解析しパターンを復号することによって、第２画像に基づく距離情報を取得する。そして、ステップＳ１６１５において、視差予測部１３０１が、距離情報に基づいて予測視差を計算する。

理論上は、１回目（ステップＳ１６０５）で得られる予測視差と２回目（ステップＳ１６１５）で得られる予測視差は同じになるはずであるが、実際は完全に同一にはならない。１回目と２回目では異なるカメラ（視点）で撮影された画像を用いるため、画像の見え（つまり画像情報）に差異があるからである。それゆえ、１回目と２回目で予測視差の値に差が生じたり、一方は視差の予測に成功したが他方は失敗するということもあり得る。そこで、ステップＳ１６２０において、視差予測部１３０１が１回目の予測視差と２回目の予測視差を合成し、合成予測視差を求める。合成方法は特に限定されないが、例えば、１回目と２回目の両方で予測視差が得られている場合はそれらの平均値を合成予測視差とし、１回目と２回目のいずれか一方だけで予測視差が得られた場合はその値をそのまま合成予測視差とすればよい。

ステップＳ１６２１において、探索範囲設定部１３０２が、合成予測視差に基づいて、第１の画像ペアと第２の画像ペアのそれぞれに対し、対応点の探索範囲を設定する。

ステップＳ１６２２において、対応点探索部８０１が、第１の画像ペアの間で対応点の探索を行い、各画素の視差を求め、視差マップ１を生成する。同様に、ステップＳ１６２３において、対応点探索部８０１が、第２の画像ペアの間で対応点の探索を行い、視差マップ２を生成する。

ステップＳ１６２４において、視差マップ合成部１１０３が、第１の画像ペアから得られた視差マップ１と第２の画像ペアから得られた視差マップ２を合成し、合成視差マップを生成する。合成方法は特に限定されないが、例えば、視差マップ１と視差マップ２の両方で視差が得られている場合はそれらの平均値を合成視差とし、視差マップ１と視差マップ２のいずれか一方だけで視差が得られた場合はその値をそのまま合成視差とすればよい。

続いて、駆動制御部１０６からの開始信号をトリガとして、非パターン画像の撮影が行われる。まず照明部１０４が点灯し、均一照明を対象物１２に投影する。そして、第１カメラ１０１又は第２カメラ１０２で撮像が行われ、画像転送部１０５から非パターン画像の転送が行われる（図１７は、第１カメラで非パターン画像を撮影する場合のシーケンスを示している。）。ステップＳ１６３０において、画像取得部１１０が、非パターン画像を取得する。画像取得部１１０は、エッジ検出部１１２に非パターン画像を送る。

ステップＳ１６３１において、エッジ検出部１１２は、非パターン画像に対し平行化処理（レクティフィケーション）を行う。なお、画像の平行度が十分高い場合には、平行化処理は省略してもよい。ステップＳ１６３２において、エッジ検出部１１２は、非パターン画像から対象物１２のエッジを検出する。

そして、ステップＳ１６３３において、マップ修正部１１３が、ステップＳ１６３２で検出されたエッジを基準として、ステップＳ１６２４で生成された合成視差マップを修正する。以後の処理は前述の実施形態と同様である。

以上述べた本実施形態の構成によれば、第４実施形態と同様の作用効果に加え、次のような利点を有する。第一に、複数の画像ペアから得られた視差マップを合成することから、計測のばらつきを低減することができる。第二に、第１画像と第２画像の両方から視差を予測することで、高精度な予測視差を得ることができる。仮に一方の画像の情報が欠損していたとしても、他方の画像を使って視差を予測できる可能性が高い。したがって、対応点の探索範囲をより適切に設定でき、精度及びロバスト性をさらに向上することができる。

＜変形例＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、エッジ検出用の画像を撮影する際に非パターン光で対象物１２を照明しているが、十分に明るい環境の下では、そのような専用の照明を行わずに（つまり非パターン光を照射せずに）エッジ検出用の画像を撮影してもよい。すなわち、エッジ検出用の画像は、測距用のパターンが投影されていない状態で撮影された画像であればよく、エッジ検出用の画像の撮影時に非パターン光を照射するか否かは重要ではない。

また、上記実施形態では、アクティブ計測の例として、空間符号化パターン方式（第１実施形態）、ステレオマッチング（第２及び第３実施形態）、空間符号化パターン方式とステレオマッチングのハイブリッド（第４及び第５実施形態）の３種類の３つの方式を例示したが、本発明はこれら以外のアクティブ計測に対しても適用可能である。例えば、第１実施形態のように１つの投光装置と１つのカメラからなる計測系において、パターン光として、ランダムドットパターン、グレイパターン、時間符号化されたパターンなどを用いてもよい。

上記実施形態では、ステレオマッチングにハッシュ特徴量を利用したが、対応点の類似度評価には他の手法を用いてもよい。例えば、類似度の評価指標としてはＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣ（Normalized Correlation）などによる左右画像の画素の類似度計算法がある。また、上記実施形態では、視差の予測とステレオマッチングとで共通するカメラの画像を用いたが、それぞれ異なる三次元計測用のカメラ画像を用いてもよい。

＜付記＞
対象物（１２）にパターン光を投影して撮影された画像を用いて、各画素に奥行距離に関する情報が関連付けられたデータであるマップを生成するマップ生成手段（１１１，８０１）と、
前記対象物（１２）にパターン光を投影せずに撮影された画像を用いて、前記対象物のエッジを検出するエッジ検出手段（１１２）と、
奥行距離が不連続となる位置が前記対象物（１２）のエッジの位置に合致するように、前記検出されたエッジに基づいて前記マップを修正する修正手段（１１３）と、
を有することを特徴とする画像処理装置（１１）。

１：３次元計測システム
１０：センサユニット
１１：画像処理装置
１２：対象物

Claims (13)

1. 対象物にパターン光を投影して撮影された画像を用いて、各画素に奥行距離に関する情報が関連付けられたデータであるマップを生成するマップ生成手段と、
   前記対象物にパターン光を投影せずに撮影された画像を用いて、前記対象物のエッジを検出するエッジ検出手段と、
   奥行距離が不連続となる位置が前記対象物のエッジの位置に合致するように、前記検出されたエッジに基づいて前記マップを修正する修正手段と、
   を有することを特徴とする画像処理装置。
2. 前記修正手段は、前記マップから前記対象物の領域を抽出し、当該領域を前記検出されたエッジによって複数の分割領域に分割し、前記複数の分割領域のうち所定の閾値より小さい分割領域を除外することによって、前記マップを修正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記マップ生成手段は、前記対象物にパターン光を投影し異なる視点から撮影された複数の画像を用いて、ステレオマッチングにより、前記マップを生成するものである
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記マップ生成手段は、前記対象物にパターン光を投影して撮影された画像を用いて、空間符号化パターン方式により、前記マップを生成するものである
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記マップ生成手段は、
   前記対象物にパターン光を投影し異なる視点から撮影された第１画像と第２画像からなる画像ペアを取得する取得手段と、
   ステレオマッチングとは異なる方式により前記第１画像と前記第２画像の間の視差を予測する視差予測手段と、
   予測された視差に基づき、ステレオマッチングにおける対応点の探索範囲を設定する設定手段と、
   前記第１画像と前記第２画像を用い、前記設定された探索範囲に限定したステレオマッチングを行うステレオマッチング手段と、
   を有する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記視差予測手段は、空間符号化パターン方式により得られた距離情報に基づいて、視差を予測する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記マップ生成手段は、複数の画像ペアのそれぞれから前記ステレオマッチング手段により生成された複数の視差マップを合成することにより、合成視差マップを生成する視差マップ合成手段をさらに有する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記修正手段は、前記合成視差マップ、または、前記合成視差マップから変換されたデプスマップを修正する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記視差予測手段は、複数の予測視差を生成し、
   前記設定手段は、前記複数の予測視差を合成した合成予測視差を、前記複数の画像ペアの探索範囲の設定に用いる
   ことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記対象物にパターン光を投影せずに撮影された画像は、前記対象物に均一光を投影して撮影された画像である
    ことを特徴とする請求項１～９のうちいずれか１項に記載の画像処理装置。
11. パターン光を投影する第１投光部、および、１つ以上のカメラを少なくとも有するセンサユニットと、
    前記センサユニットから取り込まれる画像を用いて処理を行う、請求項１～１０のうちいずれか１項に記載の画像処理装置と、
    を有することを特徴とする３次元計測システム。
12. コンピュータを、請求項１～１０のうちいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. 対象物にパターン光を投影して撮影された画像を用いて、各画素に奥行距離に関する情報が関連付けられたデータであるマップを生成するステップと、
    前記対象物にパターン光を投影せずに撮影された画像を用いて、前記対象物のエッジを検出するステップと、
    奥行距離が不連続となる位置が前記対象物のエッジの位置に合致するように、前記検出されたエッジに基づいて前記マップを修正するステップと、
    を有することを特徴とする画像処理方法。

Images