JPH08149516A - ３次元画像復元装置 - Google Patents

Abstract

(57)【要約】 【目的】 人などの物体を静止させることなく動いた状
態で画像を得、この画像から３次元形状画像を復元する
ことができる３次元画像復元装置を得る。 【構成】 ３次元物体を立体的な画像として復元する３
次元画像復元装置を、前記物体が移動して通過する空間
に固定されたスリット光又はパターン光などの光を照射
する投光部と、前記光が照射された前記移動物体の画像
を時間的に順に複数画像得る撮像部と、該撮像部により
得た各画像から前記投光部により照射されている部分の
輪郭を抽出する輪郭抽出部10と、前記各画像から物体の
移動方向を検出する移動方向検出部11と、前記輪郭抽出
部より抽出された輪郭を前記移動方向検出より検出した
移動方向を基に補正し、補正された各輪郭から３次元画
像を合成する復元部12とから構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元画像復元装置に
関し、例えば、人の顔のような３次元形状を画像に復元
することができる３次元画像復元装置に関する。

【０００２】

【従来の技術】例えば、人が建物に入館するときに顔の
形状等の固有性を利用した個人識別又は個人照合が行わ
れることがある。この顔の固有性を利用した個人照合シ
ステムを実現する上で、２次元正面顔の情報に加えて３
次元形状の情報を併用することは照合精度の向上に効果
的である。

【０００３】従来の３次元形状の情報を得るための既存
の立体計測装置は、人を立ち止まらせて顔を静止させ、
その顔の上に投光器から光を走査させ、顔の上に投射さ
れた光を投光器の位置と異なる角度にある撮像部により
画像を得る構造をとる。

【０００４】

【発明が解決しようとする課題】上記従来の立体計測装
置による３次元画像復元装置では、光を走査させる必要
があるため、装置が高価、大型となる上に、人を静止さ
せなければならず、実際の使用は困難であった。本発明
は、上記従来の装置における課題を解決するためになさ
れたものであり、簡単な装置で、人などの物体を静止さ
せることなく動いた状態で画像を得、この画像から３次
元形状を復元することができる３次元画像復元装置を得
ることを目的とするものである。

【０００５】

【課題を解決するための手段】本発明は、上記目的を達
成するため、３次元物体を立体的な画像として復元する
３次元画像復元装置を、前記物体が移動して通過する空
間に固定されたスリット光又はパターン光などの光を照
射する投光部と、前記光が照射された前記移動物体の画
像を時間的に順に複数画像得る撮像部と、該撮像部によ
り得た各画像から前記投光部により照射されている部分
の輪郭を抽出する輪郭抽出部と、前記各画像から物体の
移動方向を検出する移動方向検出部と、前記輪郭抽出部
より抽出された輪郭を前記移動方向検出部より検出した
移動方向を基に補正し、補正された各輪郭を用いて３次
元画像を合成する復元部とから構成する。

【０００６】また、本発明の別の態様は、前記物体が移
動して通過する空間に固定された複数の光を照射する投
光部と、前記光が照射された前記移動物体の画像を時間
的に順に複数画像得る撮像部と、該撮像部により得た各
画像から前記投光部により照射されている部分の輪郭を
抽出する輪郭抽出部と、前記各画像から物体の移動速度
を検出する移動ベクトル検出部と、前記輪郭抽出部より
抽出された輪郭を前記移動ベクトル検出部より検出した
移動速度を基に合成して３次元画像を合成する復元部と
から構成する。

【０００７】

【作用】本発明の第１の態様においては、移動する物体
が投光部の光照射範囲に入ると、投光部が照射するスリ
ット光又はパターン光がその物体に照射される。物体の
移動に伴い物体上の光の照射された位置が移動する。撮
像部は、前記移動物体の画像を時間的に順に撮像する
（図５）。

【０００８】輪郭抽出部により、撮像部から得た各画像
から物体上に照射された光の輪郭を抽出する。復元部は
複数の輪郭を１つの画像上に並べることにより３次元画
像を復元する。ただ、本発明における物体は移動をして
いるため、得られた複数の輪郭は、撮像部からの距離が
それぞれ異なることとなる。このため、物体を静止させ
て得た３次元画像と比較すると、各輪郭の画像上の大き
さ、位置、向き等が異なることとなる。これに対処する
ため、各輪郭ごとに、物体の移動方向による復元誤差を
補正する。

【０００９】移動方向検出部は、各画像の輪郭ごとに移
動方向を検出する。復元部はその移動方向を基に各輪郭
を補正し、補正した各輪郭を１つの画像上に並べる。こ
のようにして得られた３次元画像は、静止した物体上に
光を走査させて得た３次元画像に近い品質の画像が得ら
れる（図６）。本発明の別の態様においては、各輪郭を
１つの画像上に並べる際に、輪郭相互の間隔を物体の移
動速度に対応させて並べる。

【００１０】物体の移動速度を検出するには、投光部が
複数の同一パターンの光をほぼ平行に照射する。それぞ
れの光は、物体の移動に伴い、物体上にそれぞれ時間的
な差をもって同一の輪郭を描く。したがって、それぞれ
の光ごとに３次元画像を復元し、各３次元画像の相関を
とるか、あるいは各輪郭を対比させてパターンマッチン
グをとることにより、物体が各パターン光間を移動した
時間を検出し、物体の速度を検出する。

【００１１】

【実施例】

（実施例１）以下、本発明の３次元画像復元装置を、顔
の３次元形状の復元装置に適用した例について、図を用
いて説明する。本例の復元装置は、人が建物に入館する
ときに顔の形状や配置等の固有性を利用して個人照合を
行うための個人照合システムに適用される。

【００１２】図１は、３次元画像復元装置の構成を示す
ブロック図である。図１において、１は入力部２を制御
する制御部、２はスリット光を投光し、画像を取り込む
入力部、７はデータ処理部、１５は電気錠等の鍵を開閉
する手段である。入力部２は、図２のように構成され
る。図において、Ｍは扉に向かって矢印方向に移動して
いる人、３は人を検知し、かつ人までの距離を計測する
ためのセンサ、４は斜め方向から縦スリット光Ｊを投光
するスリット光源、５はスリット光の当たった顔画像を
正面から撮影するＴＶカメラ、６は人Ｍの頭上に配置さ
れ、頭部の平面画像を撮影するＴＶカメラである。

【００１３】ＴＶカメラ５は、扉の横などの、人Ｍが建
物に入館するときに近づいてくる位置に配置される。ス
リット光源４は、人Ｍがカメラ５に近づくとき、その顔
に斜めに縦スリット光を投光するように、カメラ５から
離れた位置に配置される。データ処理部７は、図１に示
すように次のものを具備する。８は人Ｍまでの距離が測
定範囲内であるか否かを判定する距離計測部、９は高速
度で撮影された時系列画像を一時的に蓄積するバッファ
ー部、１０は顔画像から顔の目、鼻等の凹凸部を検出す
る凹凸検出部、１１は顔の位置、姿勢を算出する運動検
出部、１２は顔凹凸形状の復元部である。

【００１４】また、１３は照合用の顔の３次元形状を記
憶してある個人形状記憶部、１４は３次元形状を比較す
る個人形状照合部である。次に、図３及び図４のフロー
チャートを用いて、図１及び図２に示した装置の動作を
説明する。ステップＳ１１で、人Ｍが近づいて来たこと
をセンサ３が検知すると、制御部１が動作を開始し、ス
リット光源４が縦スリット光Ｊを投光する。

【００１５】同時に、ステップＳ１２とステップＳ１３
で、近づいて来る人Ｍの画像を２台のＴＶカメラ５，６
が、相互に同期をとって、極めて短い間隔で人Ｍを撮影
し、画像を取り込む。以下、ＴＶカメラ５による画像を
画像Ａ、ＴＶカメラ６による画像を画像Ｂという。ステ
ップＳ１４では、距離計測部８において、センサ３によ
り測定した人Ｍの顔までの距離が、計測可能な距離の範
囲内にあるか否かを判定する。ここで、範囲外であれ
ば、画像の蓄積は行わずに、ステップＳ１２，ステップ
Ｓ１３に戻り、ＴＶカメラ５，６から次の画像を取り込
む。範囲内であれば、ステップＳ１５へ進み、ＴＶカメ
ラ５，６の撮影した画像Ａ，Ｂを所定量だけバッファー
部９に蓄積する。

【００１６】ＴＶカメラ５による画像Ａを図５に示す。
図は、複数の画像Ａのうち代表的な９枚の画像（ａ）〜
（ｉ）を撮影順に並べて示している。（ａ）に示すよう
に、顔Ｃに投射されたスリット光は、投光器４とは異な
った角度から撮影するＴＶカメラ５により観測すると、
顔Ｃの凹凸にしたがって変形したスリット線Ｄ（Ｄ_a〜
Ｄ_i ）となる。なお、図を見やすくするために、（ｂ）
〜（ｉ）においては、参照符号Ｄのみを示している。

【００１７】凹凸検出部１０は、ステップＳ１６で、蓄
積された順番でバッファー部９から画像Ａ，Ｂを読み出
す。ステップＳ１７では、ＴＶカメラ５の画像Ａからス
リット線Ｄを検出する。このスリット線Ｄの検出は、公
知のように、隣接するフレームとの引算処理により行う
ことができる。

【００１８】スリット線が検出されなければ、ステップ
Ｓ１６へ戻り次の画像Ａ，Ｂを取り込む。スリット線が
検出されるとステップＳ１７からステップＳ１８へ、ス
テップＳ１６からステップＳ１９へ進む。ステップＳ１
８では、スリット線Ｄ上の各点の座標を演算する。ＴＶ
カメラ５とスリット光源４の位置及び向きは既知である
から、スリット線Ｄ上の各点の３次元座標は光切断法に
より演算する。

【００１９】次に、運動検出部１１において、顔の並進
位置、奥行き距離、ピッチ角、ロール角、及びヨー角を
演算する。各演算を説明するために図７〜図９を参照す
る。図７は頭上に配置されたＴＶカメラ６で撮影された
平面図、図８は、正面に配置されたＴＶカメラ５で撮影
された正面図、図９は説明のための側面図を示す。

【００２０】カメラ座標系Ｘ，Ｙ，Ｚを図２に示すよう
に設定すると、ヨー角は、図７に示すＺ軸と顔の向きの
なす角度２１である。ピッチ角は、図９に示すＹ軸に対
する顔平面の傾き２４である。ロール角は、図８に示す
Ｘ軸に対する顔の傾き２７である。ステップＳ１９で
は、図７に示す画像Ｂの頭部平面図から、頭部の中心点
１８と鼻の頂点１９の座標を検出し、ステップＳ２０
で、この２点１８，１９を通る直線２０のＺ軸となす角
度から、ヨー角２１が算出される。

【００２１】ステップＳ２１で、図８に示すように、画
像Ａにおけるスリット線Ｄを直線２３で近似する。ステ
ップＳ２２では、図８の直線２３を含む平面のうち、ヨ
ー角２１（図７）をもつ顔平面１６が一意に決定され
る。ステップＳ２３で、顔平面１６のＹ軸との傾きとし
て図９に示すピッチ角２４が算出される。ステップＳ２
４で図８の平面１６上の両目の点２５と顔平面１６の座
標から両目の座標（Ｘ，Ｙ，Ｚ）を計算する。ステップ
Ｓ２５で、両目２５，２５を通る直線２６のＸ軸に対す
る傾きからロール角２７が算出され、両目の中間点１７
の座標（ｘ，ｙ，ｚ）を計算することにより、顔の並進
位置（ｘ，ｙ）と奥行き距離（ｚ）が決まる。

【００２２】次に、復元部１２において、ステップＳ１
８で得たスリット線Ｄ上の各点の座標を、図１０に示す
ように、前もって定めた基準面２８の位置に移動し、張
りつける作業を行う。図１０は、人Ｍの移動により平面
１６_a 〜１６_d 及びそのスリット線Ｄ_a 〜Ｄ_d の奥行き
が異なること、及び、復元部１２により各スリット線Ｄ
_a 〜Ｄ_d が基準面２８に移動させられることを示してい
る。

【００２３】ステップＳ２６では、スリット線Ｄの３次
元座標に対して、ステップＳ１６〜ステップＳ２５で算
出した運動パラメータをもとに、基準面２８に重なるよ
うに顔の位置、姿勢を戻すような座標変換を施す。ステ
ップＳ２７では、バッファー部９に未処理の画像が残っ
ているかどうかを調べ、残っていれば次々とステップＳ
１６〜２６を繰り返す。残っていなければ復元作業を終
了してステップＳ２８へ進む。

【００２４】ステップＳ２８では、復元された各凹凸像
１６の間を周りの値で補間する処理を施す。この段階
で、図６に示す顔全体の３次元画像が得られる。ステッ
プＳ２９では、ステップＳ２８までで復元された顔３次
元画像と、あらかじめ個人形状記憶部１３に記憶してお
いた顔３次元画像とを照合し、同じ形状であるか否かを
判定する。同じ形状であると判定されれば、鍵開閉手段
１５により、扉を解錠する。同じでなければ、必要な処
理を行う。そして、処理を終了する。

【００２５】（実施例２）次に、本発明の実施例２につ
いて図を用いて説明する。本例は、復元部１２が時系列
凹凸像を画像上に並べる際に、人Ｍの移動ベクトルすな
わち速度と方向を推定し、この移動ベクトルに基づいて
３次元画像の復元を行う。なお、各図において、前述の
実施例１と同一の機能を有するものには同一の符号を付
して、重複する説明を省略する。

【００２６】図１１は、３次元画像復元装置の構成を示
すブロック図である。図１１において、３１は入力部３
２を制御する制御部、３２はスリット光を投光し、画像
を取り込む入力部、３７はデータ処理部、１５は電気錠
等の鍵を開閉する手段である。入力部３２は、図１２の
ように構成される。ここでは、前述の実施例１の図２と
異なる点についてのみ説明する。

【００２７】図１２においては、スリット光源３４は、
２つのほぼ平行なスリット光Ｅ，Ｆを投光する。なお、
このスリット光の数は２つに限らず、２つ以上の任意の
数を使用することができる。また、別の態様として、１
つのスリット光を照射するスリット光源を複数使用して
も良い。これらの２つのスリット光は、異なる波長λ，
γを有する。

【００２８】また、正面に配置されたＴＶカメラ５と並
んで、もう１台のＴＶカメラ３６が配置される。ＴＶカ
メラ５には波長λのフィルタが取り付けられ、ＴＶカメ
ラ３６には波長γのフィルタが取り付けられる。したが
って、各ＴＶカメラ５，３６の画像には、顔に投射され
たスリット光Ｅ又はＦのみが撮影される。以下の説明に
おいては、ＴＶカメラ５による画像を画像Ｇ、ＴＶカメ
ラ３６による画像を画像Ｈという。

【００２９】図１１のデータ処理部３７は、前述の実施
例１の図１のデータ処理部７とほぼ同様に構成される
が、運動検出部４１は顔の並進ベクトルを算出し、復元
部４２は並進ベクトルに基づいて顔３次元形状を復元す
る。次に、図１３，１４のフローチャートを用いて本実
施例の装置の動作を説明する。

【００３０】ステップＳ４１で、人Ｍが近づいて来たこ
とをセンサ３が検知すると、制御部３１が動作を開始
し、ステップＳ４２でスリット光源３４が２つの縦スリ
ット光Ｅ，Ｆを投光し始める。ステップＳ４３で、近づ
いて来る人Ｍの画像を２台のＴＶカメラ５，３６が、相
互に同期をとって、極めて短い間隔で撮影し、画像を取
り込む。

【００３１】ステップＳ４４では、距離計測部８におい
て、センサ３により測定した人Ｍの顔までの距離が、計
測可能な距離の範囲内にあるか否かを判定する。ここ
で、範囲外であれば、画像の蓄積は行わずに、ステップ
Ｓ４３に戻り、次の画像を取り込む。範囲内であれば、
ステップＳ４５へ進む。ステップＳ４５では、ＴＶカメ
ラ５，３６の撮影した画像Ｇ，Ｈを所定量だけバッファ
ー部９に蓄積する。

【００３２】次に、凹凸検出部１０は、ステップＳ４６
で、バッファー部９から蓄積された順番でペア画像Ｇ，
Ｈを読み出し、ＴＶカメラ５の画像Ｇ及びＴＶカメラ３
６の画像Ｈからスリット線を検出する。前述のように、
画像Ｇにはスリット光Ｅによるスリット線のみが撮影さ
れ、画像Ｈにはスリット光Ｆによるスリット線のみが撮
影されている。

【００３３】ステップＳ４７では、スリット線上の各点
の座標を演算する。ＴＶカメラ５，３６とスリット光源
３４の位置及び向きは既知であるから、スリット線上の
各点の３次元座標は光切断法により演算できる。波長λ
のスリット光Ｅが顔表面に当たった形状を、波長λのバ
ンドパスフィルタを通して観測したＴＶカメラ５のスリ
ット線の３次元形状Ｓ_Ek（ｋは時刻、ｋ＝０，１，２，
_....）を計測する。

【００３４】また、波長γのスリット光Ｆが顔表面に当
たった形状を、波長γのバンドパスフィルタを通して観
測するＴＶカメラ３６のスリット線の３次元形状Ｓ
_Fk（ｋは時刻、ｋ＝０，１，２，_....）を計測する。ス
テップＳ４８では、運動検出部４１が、顔の並進ベクト
ルを計算する。本例では、人Ｍが一定の並進ベクトルｖ
で進むと仮定して並進ベクトルｖを求める。図１５に示
すように、人Ｍは、並進ベクトルｖに応じた時間をおい
て、２つのスリット光Ｆ，Ｅを順次横断する。

【００３５】並進ベクトルｖに対してＴＶカメラ５，３
６による観測の時間間隔を十分小さくとり、細かい３次
元間隔でスリット光信号を観測し、ある並進時間Ｌ後に
｛Ｓ _Ek｝とほぼ同じ形状が｛Ｓ_Fk｝に現れるのを検出す
る。すなわち、ベクトルｖ×並進時間Ｌを除いて、Ｓ_Ek
＝Ｓ_FL+k（ｋ＝Ｍ_,..,Ｎ）となるような３次元スリット
線の組、｛Ｓ_Ek，Ｓ_FL+k｝（ｋ＝Ｍ_,..,Ｎ）を検出す
る。図１５，図１６はこの組を検出する手法を説明する
ものである。

【００３６】図１５に示す方法は、波長λのスリット光
Ｅが顔を最初に切断するときの鼻頭でのＰと、波長γの
スリット光Ｆが顔を最初に切断するときの鼻頭での点Ｑ
を、ＴＶカメラ５の画像Ｇの一つとＴＶカメラ３６の画
像Ｈの一つから得る。並進ベクトルｖは、点Ｐと点Ｑが
得られた時間間隔Ｌと、点Ｐと点Ｑの間の距離ＰＱから
求めることができる。

【００３７】また、他の方法としては、図１６に示す方
法もある。３次元時系列切断形状｛Ｓ_Ek｝（ｋ＝Ｍ_,..,
Ｎ）と、｛Ｓ_FL＋ｋ｝（ｋ＝Ｍ_{,. .,}Ｎ）を３次元並進運
動してずらし、マッチングを施し、相関値が最も大きく
なったときの時間Ｌでの並進ベクトルＶを求め，時間Ｌ
で割ることによって、並進ベクトルｖを求める。

【００３８】ステップＳ４９では、復元部４２におい
て、スリット光Ｅでのスリット線形状Ｓ_Ek（ｋ＝０，
１，２，_....）を順に−ｖｋ並進運動して並び合わせる
ことによって、顔の立体形状を復元する。ステップＳ５
０では、バッファー部９に未処理の画像が残っているか
どうかを調べ、残っていれば次々とステップＳ４３〜４
９を繰り返す。残っていなければ復元作業を終了する。

【００３９】ステップＳ５１では、復元された各凹凸像
１６の間を周りの値を基にスプライン曲面で補間して顔
３次元形状を得る。ステップＳ５２では、あらかじめ個
人形状記憶部１３に記憶しておいた顔３次元画像を読み
出す。ステップＳ５３では、ステップＳ５１までで復元
された顔３次元画像と、個人形状記憶部１３から読み出
した顔３次元画像とを照合し、ステップＳ５４で人Ｍが
登録された者であるか否かを判定する。

【００４０】ステップＳ５４では、照合の結果、同じ形
状であると判定されれば、ステップＳ５５で、鍵開閉手
段１５により扉を解錠する。同じでなければ、処理を終
了する。

【００４１】

【発明の効果】本発明によれば、簡単な装置で、人など
の物体を静止させることなく動いた状態で画像を得、こ
の画像から３次元形状を画像に復元することができる３
次元画像復元装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の３次元画像復元装置の実施例１の構成
を示すブロック図。

【図２】図１の入力部の構成を示す図。

【図３】図１の装置の動作を説明するためのフローチャ
ート（その１）。

【図４】図１の装置の動作を説明するためのフローチャ
ート（その２）。

【図５】図２のＴＶカメラによる画像を示す図。

【図６】図１の装置により復元された３次元画像を示す
図。

【図７】図１の装置におけるヨー角の求め方を説明する
ための図。

【図８】図１の装置におけるロール角の求め方を説明す
るための図。

【図９】図１の装置におけるピッチ角の求め方を説明す
るための図。

【図１０】図１の装置における各スリット線の復元イメ
ージを示す図。

【図１１】本発明の３次元画像復元装置の実施例２の構
成を示すブロック図。

【図１２】図１１の入力部の構成を示す図。

【図１３】図１１の装置の動作を説明するためのフロー
チャート（その１）。

【図１４】図１１の装置の動作を説明するためのフロー
チャート（その１）。

【図１５】図１１の装置における移動ベクトルを検出す
る第１の方法を説明するための図。

【図１６】図１１の装置における移動ベクトルを検出す
る第２の方法を説明するための図。

【符号の説明】

１，３１…制御部 ２，３２…入力部 ３…センサ ４，３４…スリット光源 ５，３６…ＴＶカメラ ６…ＴＶカメラ ８…距離計測部 ９…バッファー部 １０…凹凸検出部 １１，４１…運動検出部 １２，４２…復元部 １３…個人形状記憶部 １４…個人形状照合部 １６…顔平面 １７…両目の中間点 １８…頭部の中心点 １９…鼻の頂点 ２０…頭部の中心と鼻頂点を通る直線 ２１…ヨー角 ２３…近似した直線 ２４…ピッチ角 ２５…両目 ２６…両目を通る直線 ２７…ロール角 ２８…基準面 Ｃ…顔 Ｄ…スリット線 Ｅ，Ｆ，Ｊ…スリット光 Ｐ，Ｑ…特徴点 Ｍ…人

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 15/00

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ３次元物体を立体的な画像として復元す
   る３次元画像復元装置において、前記物体が移動して通
   過する空間に固定された光を照射する投光部と、前記光
   が照射された前記移動物体の画像を時間的に順に複数画
   像得る撮像部と、該撮像部により得た各画像から前記投
   光部により照射されている部分の輪郭を抽出する輪郭抽
   出部と、前記各画像から物体の移動方向を検出する移動
   方向検出部と、前記輪郭抽出部より抽出された輪郭を前
   記移動方向検出より検出した移動方向を基に補正し、補
   正された各輪郭を用いて３次元画像を合成する復元部と
   を具備することを特徴とする３次元画像復元装置。
2. 【請求項２】 前記投光部は、スリット光の光源又はパ
   ターン光の光源からなることを特徴とする請求項１記載
   の３次元画像復元装置。
3. 【請求項３】 ３次元物体を立体的な画像として復元す
   る３次元画像復元装置において、前記物体が移動して通
   過する空間に固定された複数の光を照射する投光部と、
   前記光が照射された前記移動物体の画像を時間的に順に
   複数画像得る撮像部と、該撮像部により得た各画像から
   前記投光部により照射されている部分の輪郭を抽出する
   輪郭抽出部と、前記各画像から物体の移動速度を検出す
   る移動ベクトル検出部と、前記輪郭抽出部より抽出され
   た輪郭を前記移動ベクトル検出部より検出した移動速度
   を基に合成して３次元画像を合成する復元部とを具備す
   ることを特徴とする３次元画像復元装置。