JPH10508107A - 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法 - Google Patents

Abstract

(57)【要約】 物体（２２）の深さをマッピングする方法及び装置は、投射された光パターンを用いて観察用光軸（２４）に沿って物体（２２）に選択した格子縞を形成する。撮像光学系（３２，３４）は投射された光パターンを用いて物体（２２）の第１及び第２の画像を撮像し、画像中の投射パターンのデフォーカスを比較して物体（２２）の素子部分の相対深さを決定する。

Description

【発明の詳細な説明】 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを 用いる物体の３次元形状を決定する装置及び方法発明の背景 １．発明の分野 本発明は２次元画像から３次元構造体すなわち物体をマッピングする技術、特 に能動型照明を用いて深さ情報を再生する技術に関するものである。 ２．関連技術の説明 コンピータの分野で最も関連する課題は、２次元画像から３次元画像を再生す ることである。この課題について多くの解決策が提案されており、これらの提案 は受動型と能動型のカテゴリーに分類される。シェーディング及びテキスチャか ら形状を決定する能動型の技術は単一画像から構造を抽出しようとする。この技 術は依然として研究中であり、他の技術を補足することが期待されているが、際 立つ程の技術として作用することはできない。動きから立体構造を抽出するよう な他の能動型の方法は単一画像固有の形状のあいまいさを解消するため多重観察 を利用している。これらの方法における主要な課題は、相関性及び特徴追跡であ る。さらに、能動型のアルゴリズムは、物体認識の姿勢評価のような高レベルの 認識作業に必要な精度及び強度を表示する必要がある。 従来、物体の高品質３次元マッピングは時間経過すなわち光細条化に基づく能 動型センサを利用することからだけ得られている。実際の見地より、光細条化の 方法は好ましい試みである。被写体を能動的な放射で撮像する構造決定方法は種 々の課題に対して強力で安価な解決策となる。しかしながら、固有の欠点、すな わち速度に関する欠点がある。十分な空間解像度を有する深さマッピングを達成 するためには、多数（Ｎ本）の細条が用いられる。全ての細条を同時に投射すれ ば、特定の細条を所定の画像点と関連付け、三角法により深さを計算するのに必 要な処理することが不可能になる。古典的な試みは、各細条について多重画像を 得ることである。多重画像を必要とすると、マッピングに必要な時間が増加して しまう。 フォーカス分析は、被写体の２個又はそれ以上の画像を同一の撮像点から異な る光学的条件設定で撮像し、相関性又は特徴追跡に必要なものを取り出している ので、動きから立体構造を決定する方法よりも多数の利点を有している。しかし ながら、２個の画像間の差異をとらえることは極めて難解であり、また、デフォ ーカスから深さを決定する従来の方法は、フォーカス分析中に含まれる光学的要 素及び検出機構について粗い近似を用いているため、制限された範囲でしか成功 していない。 デフォーカスから深さを決定する基本的事項は、合焦した画像と非合焦画像と の間の関係をとることである。図１は基本の画像形成形態を示す。物点Ｐから出 射し、開口直径ａを有する絞りＡを通過した全ての光線はレンズにより屈折し結 像面Ｉ_f上の点に集束する。薄いレンズの場合、物体までの距離ｄと、レンズの 焦点距離ｆと、結像点までの距離ｄ_iとの関係はガウシアンレンズの法則により 与えられる。 点Ｐを含む物体上の各点は像面Ｉ_f上の単一点上に投影されて鮮明な合焦画像 が形成される。一方Ｉ₁又はＩ₂のようなセンサ面が像焦点面と一致せずこれから 偏位している場合、点Ｐからのレンズにより受光されたエネルギーはセンサ面上 の小部分上に亘って分布する。互いに異なる程度にデフォーカスした２個の被写 体は同一の画像要素を発生するので、単一画像は深さ評価を行なうために十分な 情報を含んでいない。深さに対する解決策は、既知の物理的な距離βだけ離間し た像面Ｉ₁及びＩ₂上に形成される２個の画像を用いることにより得られる。この 課題は、２個の画像中の各被写体点の相対的なぼけを分析し各像について合焦画 像までの距離を計算することにより得られる。この場合、ｄｉ＝γ−αを用いる ことにより、レンズの法則（１）から被写体点の深さｄが得られる。この手法は 簡単なように見えるが、実際の値を用いると種々の技術的課題が発生する。 第１に、相対的なデフォーカスを決定する問題がある。周波数ドメインとして 、ぼけは被写体のテキスチャのローパスフィルタリングとして観測することがで きる。相対的なぼけは、原理的に周波数分析により評価することができる。一方 、局部的な被写体のテキスチャは未知であり可変なものである。ぼけの効果は周 波数に依存するので、被写体のテキスチャを構成する全周波数による全てのぼけ について検討することは有意義ではない。この見地によれば、ほぼ単一周波数に されている狭帯域フィルタを用いて２個またはそれ以上の画像のデフォーカスに 起因する相対的な減衰を評価するを示唆する。被写体の優勢な周波数が未知であ り空間テキスチャに変化する可能性がある場合、処理の複雑さに加えて複雑なフ ィルタリング技術を用いなければならない。この複雑さによりリアルタイムの用 途については実際的ではなくなってしまう。 デフォーカス技術による深さに関する第２の課題は、テキスチャのない表面に 関することである。撮像された表面がテキスチャのない（例えば、白の紙）場合 、デフォーカス及びフォーカス画像は同一の画像となり、いかなる数のフィルタ も相対的なぼけの評価に有効ではない。特に、組織形成されている場合、この課 題は、注目する被写体上に照明パターンを投射すること、すなわち被写体に強制 的にテキスチャを形成することに到達する。この照明光の投射は、過去において デフォーカスからの深さ及び斜視的投影下でのパターンサイズの歪みからの深さ について示唆されている。 例えば、ジロッド等による文献“デップス フロム デフォーカス オブ ス トラクチャド ライト”、プロシーディングス オブ ザ ＳＰＩＥ オプティ カル ソカイアティ ｖｏｌ．１１９４、第２０９〜２１５頁（１９９０）には 、デフォーカスの範囲検出装置からの深さ検出において組織化された光源を用い ることが記載されている。この既知の装置では、光パターン（垂直方向に離間し た複数のライン）を大口径のレンズを経て物体表面に投影している。そして、大 口径光源のデフォーカシング効果から取り出された結像特性を有する単一画像を 検出している。この文献は、異方性の絞り、例えばスリット又はＴ字状の絞りを 用い、光源と関連して比較することによりカメラの限界のある視野深度に起因す る系統的な誤差を除去することを示唆している。 同様に、エイ．ペントランド等による文献“シンプル レンズ カメラズ ベ ースドオン フォーカスエラー”ジャーナル オブ オプティカル ソサイアテ ィ オブ アメリカ ｖｏｌ．１１、第２９２５〜２９３４頁（１９９４）には 、簡単なスライドプロジェクタを介して被写体上に光パターンを投射し、このパ ターンのぼけを測定し、このぼけを既知の（合焦した）オリジナルの光パターン と比較して深さを評価することが記載されている。 特に、これらの提案された解決策は、単一画像からデフォーカスを評価するこ とに基づいている。結果として、これらの解決策では、物体の固有のテキスチャ 特性に起因するデフォーカス中の変化が考慮されていない。 多重撮像光学系について検討する場合、倍率とフォーカスとの関係を考慮する 必要がある。図１に示す撮像光学系において、点ｐの有効結像位置は、センサ面 が偏位するにしたがって光線Ｒに沿って移動する。したがって、面Ｉ₁に形成さ れたデフォーカス画像は面Ｉ_fに形成される合焦した画像よりも大きく、これら の画像は面Ｉ₂上に形成される画像よりも大きい。これにより、点ｐの未知の被 写体座標に依存する点ｐょ結像座標に偏位が生じてしまう。結像面Ｉ₁及びＩ₂の 対応する画像部分のデフォーカスを比較してぼけを評価する必要があるので、こ のデフォーカスによる画像倍率の変化は、デフォーカスから深さを決定する際の 相関性に関する問題が生じてしまう。この問題は、モータ駆動されるズームレン ズの正確な倍率較正の必要性が示唆されている従来の技術及び画像ドメインの整 列誤差補正が提案されて従来の技術の多くにおいて過小評価されている。この較 正によるアプローチは、多くのオフ−ザ−シェルフレンズの場合煩雑で且つ実行 不能である。 本発明の概要 本発明の目的は、２次元画像から３次元物体をマッピングする装置及び方法を 提供する。 本発明の別の目的は、能動型照明を用いてフォーカス分析に基づいて深さ情報 を再生する装置及び方法を提供する。 本発明の別の目的は、安価なオフ−ザ−シェルフ撮像及び処理ハードウェアを 用いるシステムを提供する。 本発明の別の目的は、精度が改善された深さ情報決定システムを提供する。 さらに、本発明の別の目的は、異なる焦点レベルに対応する２個の被写体像を 用いるデフォーカス方法から深さを求めて深さ情報を再生するシステムを提供す ることにある。 さらに、本発明の目的は、必要な光学的、検出及び計算要素の分析に基づくデ フォーカス分析から深さを決定する装置及び方法を提供する。 これらの及び他の目的は以下の説明に基づいて明らかにされ、本発明は、デフ ォーカスから深さにより物体の３次元構造を測定する方法を提供する。本発明の 方法は、被写体を予め選択した照明パターンで照明し、及び少なくとも２個の被 写体の画像を検出し、検出した画像を異なる撮像パラメータで形成することを要 件とする。検出画像の対応する要素部分間の相対的なぼけを測定し、これにより ３次元構造の対応する要素部分の相対深さを決定する。 また、本発明は、デフォーカスによる深さから物体の３次元構造をマッピング する装置を提供する。この装置は、物体を予め選択した照明パターンで照明する 能動型照明手段と、照明手段に光学的に結合され、少なくとも２個の物体の像を 検出するセンサ手段とを含み、検出した画像を異なる撮像パラメータを用いて取 り出す。また、この装置は、センサ手段に結合され、検出した画像間の相対的な ぼけを測定する深さ測定手段を含み、物体の要素部分の深さを決定する。 好ましくは、画像は、定倍率画像検出により予め定めた幅のＸ×ｙの画素を有 するアレイとして検出し、相対的なぼけはＸ×Ｙの画素アレイに亘って画素対画 素で測定し、深さ情報はＸ×Ｙアレイに亘って画素対画素の関係で得られる。 一実施例として、被写体は、予め選択した照明パターンを有するスペクトラル フィルタによりフィルタされるキセノン光源により照明する。スペクトラルフィ ルタは、検出された各画像要素に対して多重空間周波数を発生させる照明パター ンを発生するように選択することができる。別の実施例として、光源を単色レー ザ光源とし、レーザ光により形成した被写体の少なくとも２個の深さ画像及び外 光により形成された被写体の少なくとも１個の輝度画像を形成する。この実施例 において、検出したレーザ光画像間の相対的なぼけを測定する。 好ましくは、予め選択した照明パターンは、デフォーカスの微小な変化により 測定された相対的なぼけに大きな変化が生ずるように最適にする。最適化された 照明パターンは矩形グリッドパターンの形態をとり、２個の直交する方向におい て画素アレイ素子幅のほぼ２倍の等しいグリッド周期及び検出アレイに対してほ ぼ零に等しい整列誤差位相シフトを有するように選択する。或いは、最適化され た照明パターンは、２個の直交する方向において、画素幅のほぼ４倍に等しい周 期及び検出アレイに対してπ／φにほぼ等しい整列誤差位相シフトを有すること ができる。 好適実施例において、第１の画像が検出された被写体の焦点面の前側に対応す る位置に結像し、第２の画像が焦点面の後側に対応する位置に結像した２個の画 像を検出することができる。 照明パターン及び被写体像が同一の光路を通過するようにハーフミラー光学素 子を設けることができる。 照明パターン及び被写体像の両方を制御された偏光方向に偏光させる偏光素子 を用いて物体からの鏡面反射をフィルタすることができる。 有益なものとして、検出された画像を画素対画素でディジタル信号に変換し、 次にコンボルブして各検出された被写体画像について画素毎に照明パターンの基 本周波数に対応するパワー測定信号を決定する。パワー測定信号は、好ましくは 画素対画素に基づいて整列誤差について補正し、グリッドの検出画素と照明との 間の整列誤差によりパワー測定信号に導入された誤差を補正する。補正は、各パ ワー測定信号にパワー測定信号の４個の隣接するパワー測定信号の２乗の和を画 素毎に乗算することにより効果的なものとすることができる。さらに、パワー測 定信号は画素毎に正規化することができる。 他方の検出された画像のパワー測定信号を、画素対画素で他方の検出された画 像の決定されたパワー測定値と比較して各画素における深さ情報を決定すること ができる。この比較についてルックアップテーブルマッピングを利用することが できる。 画素対画素の深さ情報は、深さマップとして配置し、ビットマップされたワー クステーションにワイヤフレームとして表示することができる。レーザ光による 深さ画像及び外光による輝度画像の両方が検出される場合、輝度画像は深さマッ プと同時に表示され、この結果検出された被写体の３次元構造及び実際の被写体 像をテキスチャマップとして同時に表示される。 上記技術に基づき、テキスチャが形成された表面及びテキスチャが形成されて いる表面の両方を、画像センサに対して整列した最適な照明パターンを用いて再 生することができる。さらに、デーフォーカスから深さを決定する撮像技術にお いて定倍率デフォーカシングを行なう。したがって、正確で、高解像度の深さマ ップをフレームレートで行なうリアルタイム３次元撮像が行なわれる。 添付図面は本発明の好適実施例を図示し本発明の原理を説明するように作用す る。 図１はレンズを用いて画像を形成する状態を示す簡単化された線図である。 図２は本発明の光学系の部分構成を示す簡単化した線図である。 図２Ａは図２の装置に用いる画像検出器を示す平面図である。 図３は図２の装置に用いる画像検出器を示す平面図である。 図４Ａ及び４Ｂは図２の実施例に用いる投射スクリーン用の矩形グリッドの好 適な構成を示す。 図５は本発明のシステムを最適化するための空間ドメイン関数及び周波数ドメ イン関数を示す線図である。 図６は適合されたフォーカス演算子の決定を示す線図である。 図７は正規化されたデフォーカス因子を像面と合焦した像面の間の距離の関数 として示すグラフである。 図８は図２の装置の光学素子のフィルタ位置を変えた光学系を示す線図である 。 図９は選択可能なフィルタの平面図である。 図１０Ａ〜１０ＤＨ本発明の装置の偏光制御の変形例を示す。 図１１Ａ〜１１Ｆはグリッドパターン及び適合したスパッタリングを用いて深 さ決定の２個のレンジを形成する例を示す。 図１２Ａ〜１２Ｄはグリッドパターンの変形例及びその周波数応答を示す。 図１３は２個の異なる絞りを用いて撮像された物体の深さを決定する装置の簡 単化された線図である。 図１４は一定面積の可変絞りの対を示す平面図である。 図１５は画素アレイに対するグリッドパターンの整列誤差を示す。 図１６は物体の深さ情報及び画像を再生する装置である。 図１７Ａ〜１７Ｅは位相シフトグリッドスクリーン及びその照明及び空間周波 数応答を示す。 好適実施例の説明 図面を参照して本発明の好適実施例を詳細に説明する。 図２は物体２２の３次元画像を視野内にマッピングする装置１０を示す簡単化 された光学系の線図である。装置１０は、好ましくはキセノンランプ、ストロボ 光源又はレーザ光源のような高輝度の光源１２を含む。光源１２は、照明光とし て物体２２上に投影されるべき２次元グリットを有する半透明スクリーン１４を 照明する。レンズ１６、絞り１８及びビームスプリッタ２０を適切に配置し、ス クリーン１４の画像をし光軸２４に沿って物体２２上に投影する。この能動型照 明は、装置１０から見て物体２２に対して良好に規定されたテキスチャを形成す る。デフォーカスによる測定深さとの関連において、物体２２の規定されたテキ スチャを有する要素画像部分だけが測定でき、そのデフォーカスは装置１０にお いて観測できる。グリッド照明パターンは物体２２上に良好に規定されたテキス チャを形成する。 装置１０は、光源１２からの光が同一の光路を経て投射されるように配置され 、これにより物体２２が観測される。このために、ビームスプリッタ反射器２０ を設け、照明光を物体２２の方向に投射する。平面ミラーとして図示した反射器 ２０はプリズム型のビームスプリッタとすることができる。 物体２２から光軸２４に沿って反射した照明グリッドパターンの光はビームス プリッタ２０を通過して検出装置２５に入射する。装置２５は焦点面絞り２６及 びテレセントリック光学系と称せられ像面に不変の画像倍率を与えるレンズ２８ を含む。第２のビームスプリッタ３０により物体２２の像は画像検出器３２及び ３４に入射し、これら画像検出器はレンズ２８から光軸に沿って互いに異なる光 路長を有し、異なるデフォーカスで同一倍率の画像対を形成する。 単一のレンズを用いるテレセントリックレンズ系の特性は図３との関連におい て説明することにする。図１に基づいて説明したように、物体上の点Ｐは、レン ズ２８によりレンズ２８からの結像距離ｄ_iに対応する焦点面Ｉ_f上の点Ｑとして 結像する。結像距離ｄ_iはレンズ式（１）によりレンズ２８から物体上の点Ｐ までの物体距離ｄと関係付けられる。焦点面Ｉ_fから距離αだけ離間した像面Ｉ₁ において、物点Ｐをデフォーカスすることによる拡大された円形に対応するぼけ た画像が形成される。同様に、像面Ｉ₁から距離βだけ離れた像面Ｉ₂に点Ｐのぼ けた画像が形成される。像面Ｉ₁及びＩ₂は焦点面Ｉ_fをはさんで互いに対向する 側に位置する。レンズ２８の前側にレンズ２８の焦点距離ｆだけ離れて絞り２６ が配置されている構成において、テレセントリック光学系の対物レンズは、像面 Ｉ₁及びＩ₂に形成される像の大きさが焦点面Ｉ_f上に投影される理想像に等しく なるように作用する。これは、Ｒ’で図示したレンズ２８の後側の屈折した画像 光路の光中心が光軸２４に平行になることから明らかである。勿論、当業者は、 この装置の位置が選択したレンズの光学特性に依存することを考慮するであろう 。実際に、あるレンズはテレセントリックとなるように製造されており、付加的 な絞りは不要である。 図２の装置１０において、像面３２及び３４は、例えば像面Ｉ₁及びＩ₂にそれ ぞれ対応するレンズ２８から互いに異なる光路長で位置する。テレセントリック 光学系を用いるので、これら像面で検出される像は理想的な画像サイズを有する と共にレンズ２８から像面まで光路長が異なることによる異なるデフォーカス量 の画像要素の対応する位置を有する。 図２Ａは、好ましくは電荷結合装置（ＣＣＤ）とするイメージセンサ３２，３ ４の入射側から見た平面図である。好適な配置形態として、像面は画像検出セル ３６で構成し、これらのセルはｘ及びｙ方向に沿って規則的な間隔Ｐ_X及びＰ_Yで ５１２×４８０のアレイの形態に配置する。このＣＣＤ画像検出器は、信号サン プリング素子のディジタルの性質により本発明のシステムに用いるのに好適であ る。これにより２個の像面の画素の正確な識別が増強され、画素間の相関をとる ことができる。或いは、テレビジョン受像管のような他の画素サンプリング装置 を適当なＡ／Ｄ変換器と共に用いることができる。一方、このようなアナログ装 置を用いることにより、本発明の装置における深さ検出のデフォーカス効果が低 下するおそれがある。 図４Ａは本発明による好適実施例のスクリーン１４の平面図である。このスク リーン１４は、ガラス基板上に例えばフォトエッチング技術により形成すること ができ、ｂ_x×ｂ_yのサイズでｔ_x及びｔ_yの周期で交互に形成した透明素子と不透 明素子との市松模様のグリッドを有する。このグリッドは、グリッド１４の正方 形の市松模様の黒及び白の個別の部分が、物体２２で反射した後、検出器アレイ ３２及び３４の画像検出素子３６に対応するサイズ及び周期で光画像検出器３２ 及び３４に入射するように適切に選択する。従って、光検出器アレイに投影され るグリッド画像の照明グリッド周期（ｔ_x，ｔ_y）はアレイの画素の間隔（ｐ_x， ｐ_y）の２倍とし、これは画像の検出された画素に対応する。当業者は、検出器 ３２及び３４の個別の画素上のデフォーカス画像が、アレイ３２及び３４が理想 の焦点面からずれているため、理想の画像からデフォーカスしていることを認識 する。各画素及び各検出器アレイに対するデフォーカス量は、対応する検出器ア レイについての物空間における理想的な合焦面Ｆからの対応する物点の距離Ｓの 関数である。検出器アレイ３２，３４の検出画素３６の各々の画像強度を検出す ることにより、焦点面Ｆからの対応する物点の距離に起因する投影されたグリッ ドのデフォーカス量を検出器アレイ３２，３４上の各デフォーカス画像について 取り出すことができる。従って、後述するデフォーカス因子の２個の測定値が物 体の各要素区域毎に得られ、後述するように、このデフォーカス因子を用いて画 像に対応する物体部分の深さとしてマッピングすることができる正規化されたデ フォーカス測定値を計算する。 最適プロセス 本発明の方法及び装置の動作原理を一層良好に説明するため、本発明の装置及 び方法の最適因子を決定する分析技術を理解することが有益である。この分析技 術は照明機能及び撮像機能の両方を考慮して、デフォーカスの決定から深さに含 まれる物理的因子及び計算因子を分析すること及び変化する物空間の要件につい ての適用を考慮する。 重要な役割を果たす５個の因子すなわち要件がある。これらをモデル化して処 理する前にこれらの要件について簡単に説明する。 １．照明パターン： 物体を照明するために用いる正確なパターンは最終の格子形態を決定する。こ の格子の空間特性及び空間周波数特性は深さ測定の手法つまり深さ評価の精度を 決定する。最高の深さ精度を達成するように最適化することはこの構成のパラメ ータである。 ２．光学伝達関数： レンズ絞り２６が有限のサイズを有することは、撮像系により検出可能な空間 周波数の範囲を制限する。この制限は照明パターンの最適化について重要な役割 を果たす。初期検査に際し、光学伝達関数（ＯＴＦ）は有用な照明パターンの範 囲に厳格な制約を課すように見える。一方、発明者の判断によれば、このＯＴＦ による範囲の制限により結像誤差のような重大な問題を回避することができる。 ３．デフォーカス形成： 表面の深さｄは像面のデフォーカス（又は、デフォーカスがないこと）に直接 関連する。この現象によりデフォーカスから深さを再生することができる。デフ ォーカスが基本的にローパス空間フィルタであることは周知である。一方、この 現象の現実的なモデルは焦点分析について不可避である。本発明の目的は、各物 点Ｐについての最良の焦点面Ｉ_fを評価することにより像面Ｉ₁及びＩ₂の２個の 画像から深さを決定することである。 ４．画像検出： 形状再生のための２個の画像は、勿論個別のものである。検出器面上に形成さ れる連続画像と計算に用いるアレイの離散画像との間の関係は、画像検出器３２ ，３４の検出素子（画素）３６の形状及び配置形態により決定する。図示のよう に、最終の照明パターン１４はセンサアレイ上の各画素のサイズｐ_x，ｐ_yに対応 する。従って、画素検知の正確なモデルは照明の最適化に必須である。 ５．焦点演算子： ２個の画像のデフォーカスの相対的な程度はフォーカス演算子を用いて評価す る。この演算子は典型的にはハイパスフィルタであり、個別の画素に適用する。 興味のあることとして、最良の照明パターンは用いるフォーカス演算子の因子に 依存する。 上記全ての因子は一緒になって物点Ｐの深さｄとその焦点測定値との間の関係 を決定する。従って、最良の照明グリッド１４はフォーカス測定関数の感度及び 強度を最大にするものとして機能する。この各要件を達成することは、空間的及 びフーリェドメインとしてモデル化される。この装置においてテレセントリック レンズ（図３）を用いているので、そのパラメータを各モデルの設定に用いる。 一方、因子ｆ／ａ′をＤ_i／ａで単に置き換えることにより、以下の全ての説明 は古典的なレンズ系（図２）にも適用することができる。 照明パターン 照明グリード１４のパラメータを決定する前に、照明モデルを規定する必要が ある。このモデルは多数の可能な照明パターンを含むように多様化する必要があ る。モデルを規定するに際し、他の要素の特性を考慮することが有意義である。 簡単に説明すると、用いる画像センサ３２，２４は、図２Ａに示すような矩形の 空間アレイとして配置した矩形の検出素子３ｂを有する。これを考慮し、以下の 照明モデルを規定する。モデルの基本構成ブロックは、均一な強度を有する矩形 の照明されたパッチすなわちセルとする。 ここで、²II( )は２次元矩形関数である。この照明セルの未知のパラメータは セルの長さ及び幅ｂ_x及びｂ_yである。 このセルは２次元グリッド上に繰り返し形成され図４Ａ及び４Ｂに示す周期的 なパターンを構成するものとする。この周期は必須のものである。この理由は、 最終目標が、深さ精度の空間不変性を達成すること、すなわち相対距離にかかわ らず全ての画像区域が同一の格子形態の特性を有する必要があるためである。周 期性グリッドは以下のように規定される。 ここで²III( )は２次元シャー関数てあり、２ｔ_x及び２ｔ_yはｘ及びｙ方向のグ リッドの周期を決定する。このグリッドは矩形ではないが、ｘｙ面上で垂直及び 水平方向において対称である。最終の照明パターンｉ（ｘ，ｙ）はセルｉ_c （ｘ，ｙ）をグリッドｉ_g（ｘ，ｙ）を用いてコンボルブすることにより得られ る。 従って、正確なパターンは４図のパラメータ、すなわちｂ_x，ｂ_y，ｔ_x及びｔ_yに より決定される。上記照明グリッドは限定的なものではない。例えば、ｂ_x，ｂ_y ，２ｔ_x及び２ｔ_yはそれぞれ伸ばして水平方向及び垂直方向に繰り返された照明 細条及び非照明細条を得ることができる。或は、これらを調整して大きな又は小 さな照明パッチを有する市松模様の照明を得ることができる。ｂ_x，ｂ_y，ｔ_x及 びｔ_yについての正確な値は後述する最適化処理により評価される。実際に、最 適化により決定された照明パターンを用いる同一パターンを有するスクリーンを 作成する。 最適化処理は、空間ドメイン及び周波数ドメイン（ｕ，ｖ）についての装置の 各構成要素の分析を必要とする。照明セル、グリッド及びパターンのフーリェ変 換はそれぞれＩ_c（ｕ，ｖ）、Ｉ_g（ｕ，ｖ）、及びＩ（ｕ，ｖ）として表示され 、以下の式が成立する。 光学伝達関数 照明された表面の隣接する点は互いに干渉する光波を反射して回折効果をおこ す。回折角は表面のテキスチャの空間周波数とともに増大する。撮像光学系２５ （図２）のレンズ絞り２６は有限の半径ａ′を有しているので、表面から出射す る高次回折光を通過させない。この効果は撮像光学系の解像度に制約を課し、こ れは光学伝達関数（ＯＴＦ）により特徴付けられる。 ここで、（ｕ，ｖ）はレンズの像側から見た２次元表面テキスチャの空間周波数 であり、ｆはレンズの焦点距離であり、λは入射光の波長である。上記式より、 限界２ａ′／λｆ以下の空間周波数の光だけが光学系により結像されること明ら かである（図５）。これは、照明パターンの周波数に制限を課すことになる。さ らに、上記周波数限界を用いて、照明パターンにより生じた高次高調波のうち所 望の次数のものをカットオフすることができる。要するに、ＯＴＦは不用なもの であると共に有用なものであり、検出可能な周波数範囲を制限すると共に、擬態 及び高次高調波による有害な効果を最小にすることができる。デフォカシング 図３を参照するに、αは表面上の点Ｐの合焦した像面Ｉ_fセンサ面Ｉ₁上に形成 されるデフォーカスした像との間の距離である。表面上の点から放出され撮像光 学系により集められた光エネルギーは、センサ面上の円形パッチ上に均一に分布 する。ピルボックスとも称せられているこのパッチはデフォーカスの関数である （図７）。 ここで、同様に、ａ′はテレセントリックレンズ絞りの半径である。フーリェド メインとして、上記デフォーカス関数は以下の式により与えられる。 ここで、Ｊ₁は１次ベッセル関数である。上記式から明らかなように、デフォー カスはローパスフィルタとして作用する。このフィルタの帯域幅は、ｘが減少す るにしたがって、すなわちセンサ面Ｉ₁が焦点面Ｉ_fに近づくにしたがって増加す る。α＝０の限界の場合、Ｈ（ｕ，ｖ）は完全に合焦した画像の形成を減衰させ ることなく全ての周波数の光を通過させる。デフォーカスした画像において、全 ての周波数が同時に減衰する。合焦又はデフォーカスからの受動的な深さの場合 、これは重大な問題を示すことになり、未知の物体の種々の周波数が種々の（及 び未知の）倍率及び位相を有するように束縛される。従って、各周波数を個別に 分析する細条状のフォーカス演算子の多数の組を用いることなく画像領域のデフ ォーカスの程度を評価することは困難である。 これは同様に、デフォーカスつまり深さを強固に評価することができる単一の 優勢な周波数を有する照明パターンを有することが望ましいことを示している。画像検出 画像センサは典型的なＣＣＤセンサアレイを用いるものとする。このセンサは 矩形検知素子３６（画素）の矩形アレイ３２，３４．としてモデル化することが できる。各センサ３６の量子効率は画素領域全体に亘って均一であるとする。ｍ （ｘ，ｙ）はセンサ面上に形成される連続画像とする。有限の画素領域は、連続 する画像が（ｘ，ｙ）を平均化する効果を有する。空間ドメインとして、平均化 関数は矩形セルとする。 ここで、ω_x及びω_yは検知素子３６の幅及び高さである。Ｓ_c（ｘ，ｙ）を用い てｍ（ｘ，ｙ）のコンボルーションをサンプリングすることにより個別の画像が 得られる。このサンプリング周波は矩形グリッドとする。 ここで、ｐ_x及びｐ_yは２個の空間的寸法としての個別のサンプル間の間隔であ り、（φ_x，φ_y）はグリッドの位相シフトである。従って、最終の個別の画像は 以下のようになる。 パラメータω_x，ω_y ｐ_x及びｐ_yは全て用いた特定の画像センサにより決定され る。これらのパラメータは既知であり、アレイの最適化を行なった後に置換する 。他方において、サンプリング関数の位相シフト（φ_x，φ_y）は照明パターンに 関するものであり、最適化の処理中に照明パラメータとして検討する。これらの 位相パラメータの重要性を認識するため、検知グリッドに関する高周波数の照明 パターンの簡単な変換に起因する個別画像中の変化を想到することができる。 フーリェドメインにおいて、上記平均化及びサンプリングの関数は以下の通り である。 最終の個別画像は以下のようになる。 フォーカス演算子 デフォーカシングは合焦画像中の高周波成分を抑制する効果を有しているから 、焦点演算子が画像中の高周波成分に応答することは望ましいことである。照明 を最適化するため、ランプラシアンを用いる。一方、取り出されたパターンは対 称的なフォーカス演算子の大きなクラスについての最適性を残すことになる。空 間ドメインとして、個別のランプラシアンは以下のようになる。 ここで、ｑ_x及びｑ_yは個別のランプラシアン核の隣接する素子間の間隔である。 最適化において、これらの間隔は照明パラメータに関係する。個別のラプラシア ンのフーリェ変換は以下の通りである。 フォーカス演算子の必要な個別の性質は犠牲を伴なう。この必要な個別の性質は 演算子の帯域を広げる傾向にある。一旦パターンが決定されると、上記フィルタ は、基本照明周波数に対して感度を最大にすると共に視野の固有のテキスチャ又 は画像ノイズに起因するスプリアス周波数の効果を最小にするように適合する。 フォーカス測定 フォーカス測定は、単にフォーカス演算子の出力である。これは上述したよう にモデル化された要件の全てを介してデフォーカス（つまり、深さｄ）に関係付 けられる。照明パターン（ｉ_c×ｉ_g）は、像形成のために用いた光学系と同様な 光学系を介して投影される。この結果、このパターンも、光学伝達関数Ｏ及びア レイデフォーカス関数ｈにより課せられる制限を受ける。従って、被写体上に投 影されるテキスチャは以下のようになる。 ここで、α′は照明された点の深さに依存する照明自身のデフォーカスを表わす 。一方、一旦表面パッチに入射した照明パターンは表面テキスチャの役割を果た し、照明のデフォーカスα′は深さ評価についてのいかなる効果も有しない。投 影されたテキスチャは被写体により反射し光学系により像面上に投影されて個別 の像を発生する。 ここで、０^*2＝０×０である。最終のフォーカス測定関数ｇ（Ｘ，Ｙ）は個別の ラプラシアンを上記個別の画像に適用した結果である。 ラプラシアン核の隣接する重み間の距離は画像サンプリング関数Ｓ_gの周期の整 数倍とする必要があるので、上記式は以下のようにみなすことができる。 ここで、ｇ_o＝ｉ^★ｏ^{*2 ★}ｈ′^★ｈ^★ｓ_c ^★ｌ．同一のことがフーリェドメイ ンにも適用することができ、 上記事項により、デフォーカスパラメータαの値についてフォーカス演算子の最 終の出力が与えられる。以下の説明において最良の照明パターンの決定が用いら れる。 最適化 本発明の装置において、照明グリッドは高パワー光源及び被写体を撮像するた めに用いる光学系と同一のテレセントリックレンズを用いて物体２２上に投影す る。これにより、投影される照明は表面のテキスチャについて主要な要因である 表面自体のテキスチャよりも一層強いものであるとすることができる。この結果 、本発明をテキスチャを有しない表面だけでなくテキスチャを有する表面につい ても適用することができる。照明最適化の課題は以下のように定型化される。照 明パラメータ（ｂ_x，ｂ_y，ｔ_x，ｔ_y）と、センサパラメータ（ｗ_x，ｗ_y，ｐ_x， ｐ_y，φ_x，φ_y）と、別個のラプラシアンパラメータ（ｇ_x，ｇ_y）との間の密な 関係を確立してフォーカス測定ｇ（Ｘ，Ｙ）の感度、強度及び空間解像度を最大 にする。感度が高いことは、フォーカスの程度の僅かな変化によりｇ（Ｘ，Ｙ） が大きく変化することを意味する。これにより、画像ノイズがある場合の高い深 さ評価精度、すなわち高い信号対ノイズ比が達成される。強度を増すことにより 、同一程度のデフォーカスを有する全ての画素センサ３６がその像面上の位置に かかわらず同一のフォーカス測定関数を発生することになる。最後に、高空間解 像度はフォーカス演算子のサイズを最小にすることにより達成される。これによ り、急激な深さ変化（表面の不連続性）を高精度で検出することができる。 平坦化効果を最小にし計算された深さの空間解像度を最大にするため、個別の ラプラシアンの支持（すなわち、スパン）はできるだけ小さくする必要がある。 このためには、照明パターンの周波数をできるだけ高くする必要がある。一方、 セクション４．２で説明した光学伝達関数は、光学系によって撮像される最高の 空間周波数に制限を課す。この最高のとり得る周波数は２ａ′／λｆであり、テ レアントリックレンズの開口数により決定される。照明グリッドパターンは周期 的であるため、そのフーリェ変換は離散的でなければならない。これは零の周波 数成分を有することができるが、無視することができる。この理由は、２次導関 数の和であるラプラシアン演算子が最終画像中の零周波数成分を除去するからで ある。従って、本発明の対物レンズは照明パターンの基本空間周波数（１／ｔ_x ，１／ｔ_y）を最大にするようにされている。この周波数を最大にすると共に高 の全てのより高い周波数が押し出される。残されている事項は、画像が４単位の 基本周波数（±１／ｔ_x，±１／ｔ_y）だけを有する表面のテキスチャである。結 果として、これらは、フォーカス測定関数Ｇ（ｕ，ｖ）の分析において考慮すべ き周波数である。 最終的なフォーカス測定関数Ｇ（ｕ，ｖ）について検討する前に、画像サンプ リングに先立つフォーカス測定Ｇ_o（ｕ，ｖ）について検討する。上記理由によ り、２次元のＧ_o（ｕ，ｖ）を、（１／ｔ_x，１／ｔ_y）， （１／ｔ_x，−１／ｔ_y ），（−１／ｔ_x，１／ｔ_y）及び（−１／ｔ_x，−１／ｔ_y）における四個の個 別のスパイクまで減少する。Ｇ_oの全ての要素（Ｉ，Ｏ，Ｈ，Ｓ_c及びＬ）はｕ＝ ０及びｖ＝０を中心にして反射対称であり、 ここで、 従って、周波数ドメインとして画像サンプリングに先立つフォーカス測定関数は 以下にまで減少する。 画像ドメイン中の関数ｇ₀（Ｘ，Ｙ）はＧ₀（ｕ，ｖ）の反転フーリェ変換になる 。 ｇ₀（Ｘ，Ｙ）は係数Ｇ₀（１／ｔ_x，１／ｔ_y）だけ重み付けされた余弦関数であ る。デフォーカス関数ｈ、フォーカス測定関数ｇ₀（Ｘ，Ｙ）の係数Ｇ₀（１／ｔ_x ，１／ｔ_y）を小さくする効果を有する。明らかに、深さ（又はデフォーカス） に対するフォーカス測定の感度は、この系の未知のパラメータに対して係数Ｇ₀ （１／ｔ_x，１／ｔ_y）を最大にすることにより最適にされる。この最適化処理は 以下のように要約される。 ｔ_x及びｔ_yは式（２５）の全ての要素において見い出されるので、最初の２個 の部分導関数（式（２８））を評価するのは困難である。幸運なことに、式（２ ９）及び（３０）の導関数は、系のパラメータ間の関数を得るのに十分である。 以下の結果はフォーカス測定関数ｇ（Ｘ，Ｙ）の感度及び空間解像度を最大にす る。 次に、ｇ（Ｘ，Ｙ）の空間強度について検討する。撮像された表面は平坦であり イメージセンサに対して平行であると想定する。次に、画像サンプリングを行な い画像の全ての個別のサンプリング点におけるｇ（Ｘ，Ｙ）の同一の絶対値を発 生させる。これにより、照明のパラメータと検出パラメータとが関係付けられ、 式（２７）の余弦関数の積の正確なサンプリングが行なわれる。最終的なフォー カス測定関数は以下の通りである。 上式式中の２個のコサインがそれらのピーク値でサンプルされると、ｇ（Ｘ，Ｙ ）の全てのサンプルは同一の絶対値を有する。このサンプルは以下の場合に可能 になる。 及び 或は、これらのコサインはπ／２の周期及びπ／４の位相シフトを用いてサンプ ルすることができ、これにより第２の解が得られる。 上記式は図４Ａ及び４Ｂに示す２個の解を与え、これらの解は共に市松模様の 照明パターンであるが、照明セルの基本周波数及びサイズ、画像センサに対する 位相シフトにおいて相違する。式（３１）、（３２）、（３４）、（３５）によ り図４Ａに示すグリッドパターンが得られる。この場合、グリッド画像及び検出 器は零位相シフトで記録され、照明セルの画像はセンサ素子と（画素）と同一の サイズ及び形状を有する。図４Ｂに示す第２の解はサンプリング解（３６）及び （３７）を用いて得られ、センサ素子の２倍のサイズの照明セル画像及びセンサ 素子サイズの半分の位相シフトを有するフィルタパターンを発生する。 適合したフォーカス演算子 照明を最適化するため、ラプラシアン演算子を用いる。得られる照明パターン は単一ドメイン絶対周波数（１／ｔ_x，１／ｔ_y）だけを有する。これを与えれば 、さらにフォーカス演算子を改良して被写体の物理的テキスチャ又は画像ノイズ により生ずる他の全ての周波数の効果を最小にすることができる。この目的のた め、３×３の個別のラプラシアンの特性について検討する（図６Ａ及び６Ｂ参照 ）。ラプラシアンが（１／ｔ_x，１／ｔ_y）、（１／ｔ_x，−１／ｔ_y）、（−１／ ｔ_x，１／ｔ_y）及び（−１／ｔ_x，−１／ｔ_y）においてピークを有することを介 して、図６Ｂに示すように、このラプラシアンが式（２３）のフォーカス測定関 数Ｇに寄与する他のスプリアス周波数を許容する広い帯域幅を有することが理解 される。ここで、上記周波数空間の４個の座標における鮮明なピークを用いて細 いバント演算子をさがす。 この演算子個別のものであり、有限の支持（スパン）を有するものとすれば、 適合できる範囲に限界がある。この課題を解決するため、以下の条件を課すこと にする。（ａ）計算された深さの空間解像度を最大にするため、演算子核を３× ３とする。（ｂ）照明パターンの基本周波数は対称な４元配置を有するので、フ ォーカス演算子は回転対称とすべきである。これら２個の条件により演算子は図 ６Ｃに示す構造を有する。（ｃ）演算子は画像輝度のいかなるＤＣ成分に対して も応答すべきである。この最後の条件は、演算子の全ての要素の和が零に等しい 場合に満足される。 基本周波数に対する演算子の応答が零でないことが避けられない場合、 式（３２）が与えられる場合、上記式は以下の式になる。 式（３８）及び（４０）はｂが零でないこと意味する。一般性が失われない場合 、ｂ＝−１に設定する。この場合、式（３８）はａ＝４（１−ｃ）を与える。適 合した演算子は、図６Ｄに示すように、未知のパラメータｃにより決定される。 この場合の課題は、演算子のフーリェ変換が（１／ｔ_x，１／ｔ_y）において先鋭 なピークを有するようにｃを適切に見出すことである。先鋭度の粗い測定は、（ １／ｔ_x，１／ｔ_y）に関するパワーの２次モーメント‖Ｌ（ｕ，ｖ）²‖により 決定される。 上記の式は∂Ｍ／∂Ｃ＝０の場合、すなわち図６Ｅに示すＣ＝０．６５８のと きに最小になる。得られた適合フォーカス演算子は図６Ｆに示す応答を有し、個 別のラプラシアンよりも大幅に先鋭である。演算子が３×３で離散的であるとす れば、このピークの先鋭度には限界がある。上記誘導により、連続するドメイン 及び離散的ドメインにおける設計する適合演算子間の基本的に差異に到達する。 一般的に、連続するドメインにおいて最適であると思われる演算子は離散的な画 像の場合副次的な最適度にとどまる。 ２個の画像からの深さ 深さ評価は、図３に示す異なる有効焦点長に対応する被写体Ｉ₁（Ｘ，Ｙ）及 びＩ₂（Ｘ，Ｙ）の２個の画像を用いる。各被写体点の深さは、被写体点に対す る合焦面Ｉ_fの偏位αを評価することにより行なう。適合したフォーカス演算子 を両方の画像について適用して式（３３）からフォーカス測定画像ｇ₁（Ｘ，ｙ ）及びｇ₂（Ｘ，Ｙ）を得ると、 式（２３）より、パラメータαにより影響受けるＧ₀の因子だけがデフォーカス 関数Ｈとなることが理解される。 上記測定値は境界されていない。これは、計算上の見地より、以下の正規化を 用いることにより容易に補正される課題を示す。 図７に示すように、ｑはαの単調関数であり、−ｐ≦ｑ≦ｐ、ｐ≦１となる。 実際には、上記関係は予め計算し、核像点について計算されたｑを特有のαにマ ッピングするルックアップテーブルとして記憶することができる。 αは合焦した画像の位置を表すので、レンズの法則（１）により対応する被写 体点の深さが得られる。前のセクションにおいて設計され適合したフォーカス演 算子は線形フィルタとなる。簡単な画像処理ハードウェアを用いて被写体の深さ マップをリアルタイムで計算することができる。 リアルタイムレンジセンサ 上記結果に基づき、図２に示すリアルタイムフォーカスレンジセンサを用いる 。被写体は、テレセントリックに変換するための付加的な絞り２６が設けられて いる標準の１２．５ｍｍのフジノンレンズ２８を用いて撮像する。レンズ２８を 通過する光線は、ビーム分割プリズム３０を用いて２方向に分割する。これによ り、ソニーＸＣ−７７−ＲＲの８ビットＣＣＤカメラ３２，３４を用いて同時に 検出される２個の画像が発生する。２台のカメラの位置は、一方のカメラが前ピ ン画像を撮影し他方のカメラが後ピン画像を撮影するように正確に配置する。こ の設定において、２台のＣＣＤカメラの有効焦点距離間の０．２５ｍｍの変位は 約３０ｃｍのセンサ視野深度に変換される。このセンサの検出可能な範囲は、セ ンサの変位又は撮像光学系の焦点距離を変化させることにより変えることができ る。 図４Ｂに示す照明グリッドはＶＬＳＩにおいて広く用いられているマイクロリ ソグラフィを用いてガラスプレート上にエッチングされる。このグリッド１４を ３００Ｗのキセノンアークランプの光路上に配置した。発生した照明パターンは 画像を形成するために用いたレンズと同一のテレセントリックレンズ１６を用い て投影した。ハーフミラーを用いて、画像を得るために用いた光路と同一の光路 を介して照明パターンを被写体上に投影する。この結果、照明パターンは２台の ＣＣＤカメラ３２，３４にほぼ完全に記憶される。さらに、上記配置構成により 、センサに感じられる各被写体点も照明パターンにより照明され、影従って非検 出区域の発生が回避される。 ２台のＣＣＤカメラ３２，３４からの画像は、ＭＶ２００ データキューブ画 像処理ハードウェアを用いてディジタル化及び処理する。この構成は、２個の８ ビットデジタイザ、２個のＡ／Ｄ変換器及び１個の１２ビットコンボルーバと等 価なものを含む。このハードウェアにより、２個の画像の同時デジタル化、２個 の画像の適合したフォーカスエッチングを用いるコンボルーション、及び２５６ ×２４０の深さマッピングが可能になり、これら全ては３３ｍ秒の単一のフレー ム時間内で３３ｍ秒の遅延で行うことができる。ルックアップテーブルを用いて フォーカス測定関数（ｇ₁及びｇ₂）の各対を特有の深さ評価ｄにマッピングする 。或いは、２個の画像が順次撮像される場合、５１２×４８０の深さマッピング を同一のレートで計算することができる。同時画像収集が明らかに有利である。 この理由は、このように構成することにより、センサが両方の照明の変化及びフ レーム間の被写体構造の変化に対してより感度が小さくなるからである。この処 理ハードウェアに僅かな付加的な構成を加えることにより、同時撮像を利用して 30Hzで５１２×４８０の深さマッピングを行うことができる。センサ２５により 発生した深さマップはＤＥＣアルファワークステーションにフレーム速度でワイ ヤフレームとして表示することができる。 好適実施例の変形例 センサ１０の変形として、デフォーカス効果が照明光の色成分の関数となるこ とがある。多くのレンズは種々の波長に対して僅かに異なる焦点距離を有し、従 って、デフォーカスからの深さ決定の精度が照明のスペクトラル特性及び物体の 反射面の色に応じて変化する可能性がある。この理由は、深さ決定がレンズ２８ の焦点距離ｆに依存するからである。この誤差源は、図２に示すスペクトラル帯 域フィルタ３８を設けて撮像すべき反射光のある成分だけを通過させることによ り回避することができる。帯域フィルタは撮像波長の範囲を制限し、これにより レンズの焦点距離の色変化が制限される。このフィルタの他の取りうる位置は図 ８の３８’、３８''、及び３８'''として示す。 照明源１２がレーザの場合、フィルタはレーザ周波数の光を通過させ多くの周 辺光を除去する狭帯域とすることが好ましく、これによりレンズの色収差効果及 び投影されたグリッドパターンではなく周辺光によるテキスチャの変化の効果の 両方を除去することができる。 オーバラップしないスペクトラル特性を有する多色の被写体の場合、スペクト ラルフィルタの帯域を適切な帯域が用いられるように変化させ又は制御して種々 の物体区域の深さを測定することができる。この目的のため、電子的なフィルタ 又は図９に示すフィルタホィール１０１を用いることができる。 ある場合においては、マッピングすべき物体は鏡面反射及び拡散反射する表面 又は構造を含むことができる。鏡面反射はデフォーカス測定装置から深さにおけ るネガティブの効果を発生させる。第１に、鏡面反射は画像センサ３２，３４を て飽和させ易く、合焦情報及びデフォーカス情報が喪失してしまう。第２に、鏡 面反射から取り出されたデフォーカス値からの深さが反射表面ではなく反射源の 深さを表してしまう。最後に、鏡面反射点の法線が照明方向と光軸方向２４に二 等分せず、表面点がセンサ方向に照明光を発生しなくなってしまう。 必要な場合、図１０Ａから１０Ｄに示す偏光フィルタを用いてセンサ画像から 鏡面反射の効果を除去することができる。図１０Ａにおいて、偏光フィルタ４４ は照明光を矢印Ｖで示す垂直方向に偏光する。従って、鏡面反射光は主として垂 直偏光を有し、センサ撮像光学系に水平偏光Ｈを与えるように配置した水平偏光 フィルタ４２により除去される。 図１０Ｂに示す変形例は垂直偏光したレーザ光源４５を用い、このレーザ光源 からレンズ４７を介してグリッド１４に投射して垂直偏光の照明をおこなう。偏 光フィルタ４２は鏡面反射から撮像光学系を保護する。図１０Ｃに示す別の変形 例はプリズムの半反射性ビームプリッタ４６による効果を利用し、垂直偏光した 照明光を物体に向けて反射させ、垂直偏光した光を撮像光学系に向けて通過させ る。図１０Ｄに示す最後の構成は、垂直偏光子４８及び１／４波長板５０を用い て円偏光した光を発生させる。偏光子４８を通過した照明光は垂直偏光した光と なり円偏光子５０により右回りの円偏光に変換させる。左回りの円偏光した鏡面 反射光は偏光子５０により水平偏光に変換され垂直偏光子４８によりフィルタさ れる。拡散反射光は右回り円偏光成分を含み、この光は偏光子５０により垂直偏 光に変換され偏光子４８を通過して撮像光学系に入射する。 好適実施例について説明したように、図４Ａ及び４Ｂに示す照明パターンは、 光学伝達関数により課せらる限界外の高周波と共にｘ及びｙ空間における単一基 本空間周波数の光を含む。一方、光学伝達関数の限界内の測定可能な多重空間周 波数を有する照明グリッドパターンを用いることも可能である。このような多重 周波数グリッドパターンを図１１Ａに示し、このパターンでは一方の市松模様の グリッドが他方のグリッドの空間周波数の２倍の空間周波数を有する２個の市松 模様グリッドを重ね合せる。生じたデフォーカス関数の検出は、図１１Ｂに示す ように、適合したフィルタにより周波数ドメインとして濾波した。この結果図１ １Ｃ及び１１Ｄに示すように、異なるデフォーカス周波数のパワー変化を画素毎 に検出する適合した多重フォーカス演算子が生ずる。デフォーカス弁別関数ｇを 図１１Ｅ及び１１Ｆにそれぞれ示す。高周波数デフォーカス関数により一層高い 感度が生ずるが、その範囲は減少する。より低い周波数のデフォーカス関数から より低い深さ感度が生ずるが、その範囲は増加する。従って、図１１Ａの多重周 波数グリッドを用いることにより、デフォーカスから可変解像度の深さを得るこ とができる。 別のグリッドパターンを図１２Ａ及び１２Ｃに示すと共に、それらの周波数応 答をそれぞれず１２Ｂ及び１２Ｄに示す。図１２Ａのパターンは図１１Ａのパタ ーンと同様な二重周波数応答性を有しているが、種々のパターン配列を利用して いる。図１２Ｃのグリッドはｘ及びｙ座標系における種々の周波数応答を示す。 絞りの変化 上述した装置及び方法は、撮像レンズから異なる距離で配置した２個のセンサ 画像を用いて画像中に異なるデフォーカス量を発生させている。撮像レンズにつ いてほぼ同一の像面に形成される２個の画像について異なる絞りサイズ及び形状 を用いることにより異なるデフォーカスの画像を形成することができる。例えば 、小さな絞り開口ａは大きな絞り開口よりも画像中により小さいデフォーカス効 果を発生することはすでに認識されている。 絞りの変化に対する試みは、ビームスプリッタ３０及びセンサアレイ３２を除 いた図２の装置を用いることである。物体２２の第１の画像は絞り２６の第１の セッティングを利用してセンサアレイ３４上に形成され、第２の画像は絞り２６ の異なるセッティングを利用して順次形成される。好ましくは、零濃度フィルタ をより大きな絞り設定と共に用いてより多い光量を補正する。２個の絞り設定間 のデフォーカス因子の変化を用いてデフォーカスによる画像要素の深さを決定す る。 図１３に示す別の試みは、センサユニット対６０，６２の外部にビームスプリ ッタ５７を設ける。ユニット６０，６２は同一のセンサアレイ６４，６６及び６ ８，７０を有する。ユニット６０は小さい絞り開口を有し、ユニット６２は大き な絞り開口７４及び大きな絞りを用いることによる光量の増加を補正するニュー トラル濃度フィルタ７６を有する。或いは、順次又は同時撮像装置において、同 様な透明区域の大きさを有するが、図１４に示すような異なる形状を有する２個 の絞りを用いることができる。絞り形状の差異により光学伝達関数、すなわち焦 点深度が変化するが、同一の画像輝度が維持される。 レジストレーション 図２の装置１０の較正は、センサのフィールド焦点面に位置する平坦な表面上 に投影される画像グリッドと共にセンサアレイ３２，３４を整列させることによ り達成されるが、デフォーカス関数の計算において整列誤差を補償することもで きる。４Ｂに示す型式の照明パターンのセンレアレイに対する整列誤差を図１５ に示し、図１５において照明パターンは、式（３７）で与えられる正常な位相オ フセット値±ｔ_n／８及びｔ_y／８から△φＸ及び△φＹだけずれている。この場 合、整列誤差が生じているセンサ中の各センサ素子の出力はｃｏｓ△φＸｃｏｓ △φＹの誤差を有し、この誤差は深さマップ誤差を発生させる。 この整列誤差は、コンボルブされた画像に別の演算子を適用して、（φ_x、φ_y ）＝（０，０），（０，π／２），（π／０，０）及び（π／２，π／２）の 位相シフトに対応する４個の隣接する素子におけるコンボルブされた画像の２乗 の和をとることにより補償することができる。この結果、デフォーカス用のルッ クアップテーブルに直接適用でき、又は正規化され又はルックアップテーブルに 適用される前に平方根関数により変形することができるパワー測定値が生ずる。 １次元パターン（細条）の場合、上記処理をパターン細条と直交する方向の２ 個の隣接する素子点に適用することだけが必要である。 位相がπ／２だけ相異する（サイン又はコサイン）フォーカス測定データを発 生する２個の適合した演算子を数値的に構成することも可能である。これらのコ ンボルブされた画像を組み合せて画素に対応する位置の２乗和を計算して、１次 元又は２次元グリッドパターンの整列位相から独立したフォーカス測定値を得る ことができる。 共通撮像 ある用途において、被写体の深さマップ及び輝度画像の両方を有することが望 まれている。これに関して、デフォーカスから深さ計算のために用いた画像を利 用して投射された照明光と関連する空間周波数を取り除くことにより正規の輝度 画像をコンピュータ再生することができる。これは、簡単なコンボリューション 処理を利用して外光照明のもとで画像を発生させることにより達成できる。さら に、各画像点の深さは既知であるから、コンボリューションとして設けることが できるぼかし処理を全ての点において最高に合焦した輝度画像に適用することが できる。共通の照明及び撮像の場合、計算された合焦画像は計算された深さマッ プと共に記録され適当なメモリに記憶される。これにより、高速テキスチャマッ ピングだけでなく物体認識のような可視処理についての幾何学的及び写真的な被 写体特性の結合再生を利用できる。３次元格子マップはビットマップされたワー クステーションにフレームレートでワィヤフレームとして表示することができる 。 図１６はテレビジョンカメラ８０の輝度画像検出及びセンサ２５による深さ検 出のための装置を示し、この装置は図２の実施例とすることができる。この装置 において、種々のフィルタ又はシーケンス技術を用いて輝度画像の照明パターン の効果を除去することができる。例えば、ビームスプリッタ８２は照明パターン に対応する周波数の光を深さセンサ２５に向けて通過させ他の光をカメラ８０に 向けて反射する選択性反射器とすることができる。或いは、フィルタ８４を配置 して照明光を吸収し他の光を反射することができ、フィルタ８６が照明光をフィ ルタセンサ２５に向けて通過させることができる。このようなフィルタリングは 、例えばレーザパターン照明のような狭い帯域の場合に特に実際的である。 図４Ａ及び４Ｂに示す透過性グリッドスクリーンを用いる変形例では、位相パ ターングリッドを用い、この位相パターングリッドおいては図１７Ａに示す透過 性の位相が交互に９０゜シフトしたグリッド素子を有する矩形素子の市松模様の グリッドを設ける。この位相グリッドは、図１７Ｂに示す交互に強め合うと共に 弱め合う投影される干渉パターンを形成し、この結果図１７Ｃに示す周波数ドメ インパターンが発生し、このパターンは適合したフィルタコンボリューションに より分析して図１７Ｄ及び１７Ｅに示すデフォーカス分析のための個別の周波数 応答を形成することができる。位相シフトグリッドの利点は、透過性グリッドパ ターンに比べてグリッド照明によるエネルギー損失がほとんどないことである。 照明グリッドパターンを設けることに関連して、前述したように、レーザは以 下の理由により好適な光源である。すなわち、（１）フィルタリングが容易であ り、検出画像中に色収差のない狭い帯域照明である。（２）単一周波数光のため きレンズ、フィルタ及びミラーを含む表面を良好に制御できる。（３）エネルギ ー損失のない偏光した光を利用できる。（４）低いパワーの制御可能な光源を利 用できる。 図１８は、センサアレイ３２，３４で受光した画像情報から画像深さマップを 決定する工程を示すフロー線図である。画像センサデータはディジタルフォーマ ットに変換され、上述した方法によりコンボルブされて各画像の各素子について のデフォーカス測定値の決定を行う。選択的に、上述したずれ補正をデフォーカ ス測定値ｇ₀及びｇ₁の到達した際の処理において行うことができる。次に、デフ ォーカス測定値を点対点の方法で結合して２個の画像の正規化された相対的なぼ けを決定し、計算又はルックアップテーブルを用いて点対点に基づいて物体の深 さを決定し、所望の深さマップを得る。 さらに、本発明のある実施例では、用途のダイナミック性に応じて画像を同時 に発生させたが、画像を順次発生させることもでき、この場合物体の位置は一定 に維持したまま、画像間隔、レンズ位置及び／又はしぼり画像間で変えることが できる。 本発明は上述した実施例だけに限定されず、本発明の精神から逸脱しない範囲 において種々の変形や変更が可能である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野口 稔 神奈川県横浜市戸塚区矢部町1393 ベルハ イム１−10 (72)発明者 渡辺 正浩 アメリカ合衆国 ニューヨーク州 10027 ニューヨーク ウエスト ワンハンドレ ッドトゥエンティス ストリート 433 アパートメント 97

Claims (1)

1. 【特許請求の範囲】 １．デフォーカスから深さにより３次元構造体をマッピングするに際し、 （ａ）前記構造体を予め選択した照明パターンで照明する工程と、 （ｂ）前記照明された構造体の異なる撮像パラメータで形成した少なくとも２ 個の画像検出する工程と、 （ｃ）前記検出した画像の対応する素子部分間の相対的なぼけを決定し、これ により前記３次元構造体の対応する素子部分の深さを決定する工程とを具える３ 次元構造体のマッピング方法。 ２．請求項１に記載の方法において、前記照明を２次元照明パターンを用いて行 う方法。 ３．請求項２に記載の方法において、前記照明を、市松模様を構成する矩形の透 明素子及び不透明素子からなり選択した水平方向及び垂直方向グリッド間隔を有 する矩形グリッドを用いて行う方法。 ４．請求項３に記載の方法において、前記検出を、前記検出された画像の水平方 向及び垂直方向グリッド間隔の整数倍の水平方向及び垂直方向アレイ間隔を有す る検出素子アレイを用いて行う方法。 ５．請求項１に記載の方法において、前記少なくとも２個の画像がテレセントリ ックレンズ系により形成される方法。 ６．デフォーカスから深さを用いて３次元構造体をマッピングするに際し、 （ａ）前記構造体を、光軸に沿って投射された矩形グリッドを含む照明パター ンを用いて照明する工程と、 （ｂ）一定倍率の撮像光学系を用いて、前記光軸方向から前記照明された構造 体の少なくとも２個の画像を検出し、これら画像を、前記撮像光学系の焦点面に 対して異なる位置の少なくとも２個の結像面で検出する工程と、 （ｃ）前記検出した画像の対応する素子部分間の相対的なぼけを決定し、これ により前記３次元構造体の対応する素子部分の深さを決定する工程とを具える３ 次元構造体のマッピング方法。 ７．請求項６に記載の方法において、前記画像を、各方向に選択した素子間隔で 矩形パターンに配置した検出素子の第１及び第２の検出アレイを用いて行う方法 。 ８．請求項７に記載の方法において、前記矩形グリッドが、選択したグリッド周 期の市松模様のパターンを有する方法。 ９．請求項８に記載の方法において、前記グリッド周期を前記検出アレイ上にグ リッド画像を形成するように選択し、前記グリッド周期を前記対応する素子間隔 の整数倍とした方法。 １０．請求項９に記載の方法において、前記グリッド周期を、前記素子間隔の２ 倍にほぼ等しい周期のグリッド画像を形成するように選択し、前記グリッド画像 を２個の直交する方向において前記アレイに整列させる方法。 １１．請求項９に記載の方法において、前記グリッド画像の周期を、前記画素幅 の４倍にほぼ等しくすると共に前記アレイ上において前記グリッド画像周期の１ ／８だけシフトさせた方法。 １２．請求項６に記載の方法において、前記光源を単色レーザ光源とした方法。 １３．請求項９に記載の方法において、前記検出工程において、前記レーザ光に より検出された被写体の少なくとも２個の深さ画像及び外光により検出された被 写体の少なくとも１個の輝度画像を検出し、前記決定工程において、前記検出さ れたレーザ光の画像間の相対的なぼけを測定する方法。 １４．請求項６に記載の方法において、第１の画像を前記焦点面よりも前側の位 置で検出し、第２の画像を前記焦点面よりも後側の位置で検出する方法。 １５．請求項６に記載の方法において、前記照明グリッドを、多重空間周波数の パターンを発生する照明パターンを発生するように選択した方法。 １６．請求項６に記載の方法において、前記照明工程が、前記被写体を照明する 前に照明パターンを反射するハーフミラー光学素子を用い、前記検出工程が、前 記被写体を検出する前に前記ハーフミラー光学素子を介して被写体像を通過させ 、前記照明パターン及び被写体像が共通の光軸に沿って形成される方法。 １７．請求項６に記載の方法において、前記照明工程が、偏光光学素子を用いて 、前記被写体を照明する前に照明パターンの光を偏光し、前記検出工程が、前記 被写体の検出の前に偏光光学素子を介して被写体像を通過させる方法。 １８．請求項６に記載の方法において、前記決定工程が、さらに （ｉ）前記検出した画像を画素対画素によりディジタル信号に変換し、 （ｉｉ）前記ディジタル信号を画素対画素でコンボルブして、各検出した被写 体像の各画素における照明パターンの基本周波数に対応するパワー測定信号を決 定することを含む方法。 １９．請求項１８に記載の方法において、前記測定工程が、さらに （ｉｉｉ）前記パワー測定信号を、画素対画素で整列誤差について補正し、前 記アレイの検出画素と照明パターンとの間の整列誤差により導入された誤差を補 正することを含む方法。 ２０．請求項１９に記載の方法において、前記補正工程が、隣接する４個の画素 の測定信号の２乗の和をとることを含む方法。 ２１．請求項１８に記載において、前記測定工程が、さらに （ｉｉｉ）前記パターン測定信号を画素対画素で正規化することを含む方法。 ２２．請求項１８に記載において、前記測定工程が、さらに （ｉｉｉ）前記検出した一方の画像のパターン測定信号を、前記検出した他方 の画像の決定したパターン測定信号と画素対画素に基づいて比較して、前記各画 素の深さ情報を決定する方法。 ２３．請求項６に記載の方法において、前記決定工程が、深さ情報を画素対画素 で深さマップとして配置することを含む方法。 ２４．さらに、深さマップをワィヤフレーム画像として表示する工程を有する請 求項２３に記載の方法。 ２５．請求項１３に記載の方法において、前記決定工程が、前記画素対画素の深 さ情報を深さマップとして配置することを含み、さらに、検出された輝度画像及 び深さマップからマッピングされた３次元表示の構造を構成する工程を含む方法 。 ２６．デフォーカスから深さにより被写体の３次元構造を測定する装置であって 、 （ａ）被写体を予め選択した照明パターンを用いて照明する能動型照明手段と 、（ｂ）前記照明手段に選択的に結合され、前記被写体の少なくとも２個の画像 を検出し、少なくとも一方の画像を、他方の画像とは異なる光学的パラメー タ又は撮像パラメータで検出するセンサ手段と、 （ｃ）前記センサ手段に結合され、前記検出した画像間の相対的なぼけを測定 する深さ測定手段と、 （ｄ）前記深さ測定手段に検出され、前記検出した画像間の相対的なぼけから 検出した被写体の３次元構造を再生する被写体再生手段とを具える３次元構造測 定装置。 ２７．請求項２６に記載の装置において、前記センサ手段が複数のセンサを有し 、各センサが予め定めた幅を有するＸ×Ｙ個の画素を有してＸ×Ｙの検出グリッ ドを構成し、前記深さ装置手段が、Ｘ×Ｙ画素のグリッドにわたって画素対画素 で前記相対的なぼけを測定し、前記Ｘ×Ｙグリッド内の各画素について深さ情報 を得る装置。 ２８．請求項２７に記載の装置において、前記能動型照明手段が、 （ｉ）照明ベース部材と、 （ｉｉ）照明ベース部材に結合された光源と、 （ｉｉｉ）照明ベース部材に結合され、前記予め選択した照明パターンを有す るスペクトラルフィルタとを具え、前記光源からの光がスペクトラルフィルタを 通過して前記予め選択した照明パターンを形成する装置。 ２９．請求項２８に記載の装置において、前記スペクトラルフィルタの予め選択 した照明パターンを、前記センサ手段により形成されたデフォーカスの僅かな変 化により前記深さ測定手段により測定された相対的なぼけが大きく変化するよう に最適化した装置。 ３０．請求項２９に記載の装置において、前記最適化された照明パターンを矩形 のグリッドパターンとした装置。 ３１．請求項３０に記載の装置において、前記最適化された照明パターンが、２ 個の直交する方向において、前記画素の幅の２倍にほぼ等しい周期及び前記検出 グリッドに関して零にほぼ等しい位相シフトを有するパターンを具える装置。 ３２．請求項３０に記載の装置において、前記最適化された照明パターンが、２ 個の直交する方向において、前記画素の幅の４倍にほぼ等しい周期及び前記検出 グリッドに関して１／８にほぼ等しい位相シフトを有するパターンを具える 装置。 ３３．請求項２８に記載の装置において、前記光源をキセノンランプとした装置 。 ３４．請求項２８に記載の装置において、前記光源を単色レーザとした装置。 ３５．請求項３４に記載の装置において、前記センサ手段がさらに、 （ｉ）センサベース部材と、 （ｉｉ）前記センサベース部材に結合され、前記レーザ光により形成された被 写体の深さ像を検出する第１及び第２の深さセンサと、 （ｉｉｉ）前記センサベース部材に結合され、外光により形成された被写体の 像を検出する少なくとも１個の輝度センサとを具え、前記深さ測定手段が検出さ れたレーザ光の画像間の相対的なぼけを測定する装置。 ３６．請求項２６に記載の装置において、前記センサ手段がさらに、 （ｉ）センサベース部材と、 （ｉｉ）前記センサベース部材に結合されると共に前記照明手段に光学的に結 合され、被写体の像を受光するレンズと、 （ｉｉｉ）前記センサベース部材に結合されると共に前記レンズに光学的に結 合され、前記被写体の像を２個の分割被写体像に分割するビームスプリッタと、 （ｉｖ）前記センサベースに結合された第１及び第２のセンサとを具え、第１ の分割被写体像が第１のセンサに入射するように第１のセンサをビームスプリッ タに光学的に結合し、第２の分割被写体像が第２のセンサに入射するように第２ のセンサをビームスプリッタに光学的に結合した装置。 ３７．請求項３６に記載の装置において、前記センサ手段がさらに、 （ｖ）前記レンズとビームスプリッタとの間の位置において前記センサベース 部材に結合されると共に前記レンズ及びビームスプリッタに光学的に結合された 開口を有する光学素子を具え、前記レンズに入射した画像が前記開口を経てビー ムスプリッタに入射する装置。 ３８．請求項３６に記載の装置において、前記第１のセンサが前記焦点面の前側 に位置し、前記第２のセンサが焦点面の後側に位置する装置。 ３９．請求項３８に記載の装置において、前記スペクトラルフィルタが、前記第 １及び第２のセンサにより検出された各画像について多重空間周波数を発生て きる照明パターンを含む装置。 ４０．請求項２６に記載の装置において、さらに、 （ｅ）前記能動型照明手段及びセンサ手段に結合した支持部材と、 （ｆ）前記能動型照明手段とセンサ手段との光学的な交差点において前記支持 部材に結合したハーフミラーとを具え、前記予め選択した照明パターンが被写体 を照明する前にハーフミラーにより反射され、前記被写体像がセンサ手段により 検出される前にハーフミラーを通過し、前記照明パターン及び被写体像が共通の 光路を通過する装置。 ４１．請求項２６に記載の装置において、さらに、 （ｅ）前記能動型照明手段及びセンサ手段に結合した支持部材と、 （ｆ）前記能動型照明手段とセンサ手段との光学的な交差点において前記支持 部材に結合したハーフミラーとを具え、前記予め選択した照明パターンが被写体 を照明する前にハーフミラーを通過し、前記被写体像がセンサ手段により検出さ れる前にハーフミラーで反射し、前記照明パターン及び被写体像が共通の光路を 通過する装置。 ４２．請求項２６に記載の装置において、さらに、 （ｅ）前記能動型照明手段及びセンサ手段に結合した支持部材と、 （ｆ）前記能動型照明手段とセンサ手段との光学的な交差点において前記支持 部材に結合した偏光フィルタとを具え、前記予め選択した照明パターンが被写体 を照明する前に前記偏光フィルタで反射し、前記被写体像がセンサ手段により検 出される前に前記偏光フィルタを通過し、前記被写体に入射する照明パターン及 び検出された被写体像の光が共に制御された偏光方向に偏光されている装置。 ４３．請求項２７に記載の装置において、前記深さ測定手段がさらに、 （ｉ）前記センサ手段に結合され、検出した画像を画素対画素の関係でディジ タル信号に変換するアナログ対ディジタル変換器と、 （ｉｉ）前記アナログ対ディジタル変換器に結合され、前記ディジタル信号を 画素対画素の関係でコンボルビングして、各検出した被写体像について各画素の 照明パターンの基本周波数に対応するパワー測定信号を取り出すコンボルビ ング手段とを具える装置。 ４４．請求項４３に記載の装置において、前記深さ測定手段がさらに、 （ｉｉｉ）前記コンボルビング手段に結合され、前記パワー測定信号を画素対 画素の関係で整列誤差について補正する整列誤差補正手段を具え、前記グリッド の検出画素と照明パターンの検出画素との間の整列誤差により前記パワー測定信 号に導入された誤差を補正する装置。 ４５．請求項４４に記載の装置において、前記整列誤差補正手段が、各パワー測 定信号に、パワー測定信号の４個の隣接するパワー測定信号の２乗の和を画素毎 に乗算する計算手段を含む装置。 ４６．請求項４３に記載の装置において、前記深さ測定手段がさらに、 （ｉｉｉ）前記コンボルビング手段に結合され、前記パワー測定信号を画素毎 に正規化する正規化手段を具える装置。 ４７．請求項４３に記載の装置において、前記深さ測定手段がさらに、 （ｉｉｉ）前記コンボルビング手段に結合され、前記検出された一方の画像の パワー測定信号を、他方の検出された画像の決定したパワー測定信号と画素毎に 比較して各画素の深さ情報を決定する比較手段を具える装置。 ４８．請求項４７に記載の装置において、前記比較手段がルックアップテーブル を含む装置。 ４９．請求項２７に記載の装置において、前記被写体再生手段が、前記深さ測定 手段に結合され、前記取り出した被写体の画素毎の深さ情報を深さマップとして 記憶するマップ記憶手段を具える装置。 ５０．請求項４９に記載の装置において、さらに、 （ｅ）前記被写体再生手段に結合され、前記深さマップをワィヤフレームとし てビットマップされたワークステーションに表示する表示手段を具える装置。 ５１．請求項３５に記載の装置において、前記被写体再生手段が、前記深さ測定 手段及び輝度センサに結合され、取り出した画素毎の深さ情報及び輝度情報を記 憶する３次元テキストマップ記憶手段を具えると共に、さらに、 （ｅ）前記被写体再生手段に結合され、前記３次元テキストマップををワィヤ フレームとしてビットマップされたワークステーションに表示する表示手段を 具える装置。