JP2001338280A - ３次元空間情報入力装置 - Google Patents
３次元空間情報入力装置Info
- Publication number
- JP2001338280A JP2001338280A JP2000160262A JP2000160262A JP2001338280A JP 2001338280 A JP2001338280 A JP 2001338280A JP 2000160262 A JP2000160262 A JP 2000160262A JP 2000160262 A JP2000160262 A JP 2000160262A JP 2001338280 A JP2001338280 A JP 2001338280A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- projection
- information input
- input device
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 ステレオ法とパターン投影法を融合し、汎用
的で高精度な計測ができる３次元空間情報入力装置を提
供する。 【解決手段】 投影指令部２１ｃがパターン投影指令を
発すると、輝度値変化投影パターン生成部２１ｂにより
投影パターンが決定される。決定された投影パターンは
投影部２１ａから撮像対象に投影される。パターンが投
影された撮像対象の画像は撮像部２２，２３によって取
り込まれ、３次元空間情報取得部２４に渡される。３次
元空間情報取得部２４の対応点検出部２４ｂは両画像の
対応点マッチングを行い、マッチングにより得られた３
次元空間情報を出力部２５に渡す。
的で高精度な計測ができる３次元空間情報入力装置を提
供する。 【解決手段】 投影指令部２１ｃがパターン投影指令を
発すると、輝度値変化投影パターン生成部２１ｂにより
投影パターンが決定される。決定された投影パターンは
投影部２１ａから撮像対象に投影される。パターンが投
影された撮像対象の画像は撮像部２２，２３によって取
り込まれ、３次元空間情報取得部２４に渡される。３次
元空間情報取得部２４の対応点検出部２４ｂは両画像の
対応点マッチングを行い、マッチングにより得られた３
次元空間情報を出力部２５に渡す。
Description
【０００１】
【発明の属する技術分野】本発明は画像を用いた３次元
空間情報の計測技術に関する。
空間情報の計測技術に関する。
【０００２】
【従来の技術】従来の３次元空間情報入力技術は受動的
方法と能動的方法の２つに大別することができる。受動
的方法の代表的な例としてはステレオ法、能動的方法の
代表的な例としてはパターン投影法を挙げることができ
る。以下、各々の方法について簡単に説明する。
方法と能動的方法の２つに大別することができる。受動
的方法の代表的な例としてはステレオ法、能動的方法の
代表的な例としてはパターン投影法を挙げることができ
る。以下、各々の方法について簡単に説明する。
【０００３】ステレオ法は、２台の撮像装置をある間隔
で配置し、同一の撮像対象に対する両者の画像内におけ
る投影位置の違い、すなわち対応点の差から三角測量に
よって撮像対象の位置を求める方法である。
で配置し、同一の撮像対象に対する両者の画像内におけ
る投影位置の違い、すなわち対応点の差から三角測量に
よって撮像対象の位置を求める方法である。
【０００４】最も簡単な例として焦点距離が等しいカメ
ラを、光軸が平行になるようにかつ互いの画像面が同一
平面に並ぶように配置した場合を図１１に示す。
ラを、光軸が平行になるようにかつ互いの画像面が同一
平面に並ぶように配置した場合を図１１に示す。
【０００５】図１１において基本となる座標系として２
台のカメラの光学中心間の中点を原点とするＸ−Ｙ−Ｚ
座標系、各々のカメラの座標系としてｘR−ｙR−ｚR座
標系、ｘL−ｙL−ｚL座標系を定める。１１１は左に並
べたカメラの光学中心、同様に１１２は右に並べたカメ
ラの光学中心、また１１３は左のカメラの画像、同様に
１１４は右のカメラの画像を示している。このとき撮像
対象Ｐの位置をＸ，Ｙ，Ｚとすると以下の関係式が成立
する。
台のカメラの光学中心間の中点を原点とするＸ−Ｙ−Ｚ
座標系、各々のカメラの座標系としてｘR−ｙR−ｚR座
標系、ｘL−ｙL−ｚL座標系を定める。１１１は左に並
べたカメラの光学中心、同様に１１２は右に並べたカメ
ラの光学中心、また１１３は左のカメラの画像、同様に
１１４は右のカメラの画像を示している。このとき撮像
対象Ｐの位置をＸ，Ｙ，Ｚとすると以下の関係式が成立
する。
【０００６】
【数１】
【０００７】ただし、ｆはカメラの焦点距離、ｂはカメ
ラの基線長（光学中心間の距離）、ｄは同一の撮像対象
に対する各画像内における投影点ＰL、ＰRの投影位置の
差、すなわち視差で、
ラの基線長（光学中心間の距離）、ｄは同一の撮像対象
に対する各画像内における投影点ＰL、ＰRの投影位置の
差、すなわち視差で、
【０００８】
【数２】
【０００９】である。したがって、ｆ，ｂが既知であれ
ば、撮像対象Ｐの座標（Ｘ，Ｙ，Ｚ）は左右の画像１１
３，１１４上の投影位置の違いから求めることができ
る。すなわちステレオ法において最も重要な課題は、複
数の画像間において同一撮像対象である点を見つけるこ
と、すなわち対応点のマッチングである。
ば、撮像対象Ｐの座標（Ｘ，Ｙ，Ｚ）は左右の画像１１
３，１１４上の投影位置の違いから求めることができ
る。すなわちステレオ法において最も重要な課題は、複
数の画像間において同一撮像対象である点を見つけるこ
と、すなわち対応点のマッチングである。
【００１０】一般的な対応点マッチングの手法を図１２
に示す。図１２において１２１は左のカメラで撮像した
画像、１２２は右のカメラで撮像した画像、１２３，１
２４はこれから対応点を見つけようとする観測点１２
６，１２７の周辺にある大きさで設定した探索ウィンド
ウ、１２５は探索範囲である。当然のことながら対応点
マッチングは同一の撮像対象を投影している画素同士の
対応を取ることが最も望ましい。しかしながら、単独の
画素ではそれに対応する画素を見つけることが困難であ
る。そこで対応点を決定するときに自分の周りの画素の
対応も調べて、最も一致度（例えば濃度値の差の自乗
和）が高い点を選択する。図１２では左画像１２１の観
測点１２６の周りに周辺画素を含む探索ウィンドウ１２
３を設定し、右画像１２２の内で探索ウィンドウ１２４
が最も一致する場所を探索範囲１２５内で探索する。
に示す。図１２において１２１は左のカメラで撮像した
画像、１２２は右のカメラで撮像した画像、１２３，１
２４はこれから対応点を見つけようとする観測点１２
６，１２７の周辺にある大きさで設定した探索ウィンド
ウ、１２５は探索範囲である。当然のことながら対応点
マッチングは同一の撮像対象を投影している画素同士の
対応を取ることが最も望ましい。しかしながら、単独の
画素ではそれに対応する画素を見つけることが困難であ
る。そこで対応点を決定するときに自分の周りの画素の
対応も調べて、最も一致度（例えば濃度値の差の自乗
和）が高い点を選択する。図１２では左画像１２１の観
測点１２６の周りに周辺画素を含む探索ウィンドウ１２
３を設定し、右画像１２２の内で探索ウィンドウ１２４
が最も一致する場所を探索範囲１２５内で探索する。
【００１１】パターン投影法は、ある撮像対象に特定の
パターンを投影し、撮像対象上の投影パターンの変化を
パターンの投影方向と異なる方向のカメラで撮影し、解
析することによって撮像対象の位置を求める方法であ
る。
パターンを投影し、撮像対象上の投影パターンの変化を
パターンの投影方向と異なる方向のカメラで撮影し、解
析することによって撮像対象の位置を求める方法であ
る。
【００１２】典型的なパターンの投影例として、水平格
子を撮像対象に投影する場合の計測系の配置を図１３に
示す。図１３において、基本となる座標系として原点を
ＯとするＸ−Ｙ−Ｚ座標系、カメラの座標系としてｘ−
ｙ−ｚ座標系を定める。１３０はパターン投影装置のレ
ンズ、１３１は投影する格子パターン、１３２は光源、
１３３は基本座標系のＸ−Ｚ平面に投影されたパター
ン、１３４はカメラのレンズ、１３５はカメラの撮像面
を示す。このときパターン投影装置の光軸はＹ軸に一致
しており、カメラは光軸が原点を通るようにＹ−Ｚ平面
上に配置されているものとする。撮像対象Ｔの位置を
Ｘ，Ｙ，Ｚとし、Ｔのカメラ画像上の投影位置ｔの座標
をｘ，ｙとする。パターン投影装置のレンズ１３０の中
心と、第Ｎ番目の投影格子がＹ−Ｚ平面上で成す角をθ
Nとすると、Ｔとｔの間に次の関係式が成立する。
子を撮像対象に投影する場合の計測系の配置を図１３に
示す。図１３において、基本となる座標系として原点を
ＯとするＸ−Ｙ−Ｚ座標系、カメラの座標系としてｘ−
ｙ−ｚ座標系を定める。１３０はパターン投影装置のレ
ンズ、１３１は投影する格子パターン、１３２は光源、
１３３は基本座標系のＸ−Ｚ平面に投影されたパター
ン、１３４はカメラのレンズ、１３５はカメラの撮像面
を示す。このときパターン投影装置の光軸はＹ軸に一致
しており、カメラは光軸が原点を通るようにＹ−Ｚ平面
上に配置されているものとする。撮像対象Ｔの位置を
Ｘ，Ｙ，Ｚとし、Ｔのカメラ画像上の投影位置ｔの座標
をｘ，ｙとする。パターン投影装置のレンズ１３０の中
心と、第Ｎ番目の投影格子がＹ−Ｚ平面上で成す角をθ
Nとすると、Ｔとｔの間に次の関係式が成立する。
【００１３】
【数３】
【００１４】である。したがって、投影されている水平
格子が第何番目の水平格子であるかが分かれば、撮像対
象の座標（Ｘ，Ｙ，Ｚ）はカメラへの投影位置から求め
ることができる。
格子が第何番目の水平格子であるかが分かれば、撮像対
象の座標（Ｘ，Ｙ，Ｚ）はカメラへの投影位置から求め
ることができる。
【００１５】
【発明が解決しようとする課題】しかしながら、受動的
方法の代表であるステレオ法では複数の画像間の対応点
マッチングが曖昧になってしまうという問題点がある。
ステレオ法では異なる視点方向から同一の撮像対象を撮
像するのであるから、同一の部分を撮像していても、視
点の違いによる幾何学的歪み、カメラの特性の違い、ラ
ンダムノイズなどにより、完全に一致することは無い。
また、一方のカメラに写っていて、もう一方のカメラに
写っていないオクルージョン領域がある場合は全画素を
対応させることは不可能である。奥行きの差が存在して
いるエッジ部分には必ずオクルージョンが生じるため、
撮像対象のエッジ部分は特に曖昧になりやすい。これら
対応点マッチングの曖昧さは、誤った計測結果を生じさ
せる。また、対応点マッチングのための画像処理には一
般に大きな計算コストを要する。
方法の代表であるステレオ法では複数の画像間の対応点
マッチングが曖昧になってしまうという問題点がある。
ステレオ法では異なる視点方向から同一の撮像対象を撮
像するのであるから、同一の部分を撮像していても、視
点の違いによる幾何学的歪み、カメラの特性の違い、ラ
ンダムノイズなどにより、完全に一致することは無い。
また、一方のカメラに写っていて、もう一方のカメラに
写っていないオクルージョン領域がある場合は全画素を
対応させることは不可能である。奥行きの差が存在して
いるエッジ部分には必ずオクルージョンが生じるため、
撮像対象のエッジ部分は特に曖昧になりやすい。これら
対応点マッチングの曖昧さは、誤った計測結果を生じさ
せる。また、対応点マッチングのための画像処理には一
般に大きな計算コストを要する。
【００１６】能動的方法の代表であるパターン投影法
は、本質的にパターンが投影されている部分に対してし
か測定ができないため、密な測定を行うためにはパター
ンをずらして測定を複数回行うなどの工夫を要する。し
かし密な測定のため工夫を行うと、計測に時間を要し、
動物体の計測ができない。他にも表面が滑らかな物体に
対してはパターンの対応付けが容易であるが、奥行きに
差が存在しているエッジ部分ではパターンの像が不連続
となり対応付けが困難になるといった問題点がある。一
般的に能動的方法による計測は、受動的方法による計測
に比べて、計測の精度や信頼度は高くなるが、計測対象
への制限（滑らかな物体、計測領域が小さい）等が生じ
やすく、ある特定の条件さえ満足できれば良い工業計測
向けである。
は、本質的にパターンが投影されている部分に対してし
か測定ができないため、密な測定を行うためにはパター
ンをずらして測定を複数回行うなどの工夫を要する。し
かし密な測定のため工夫を行うと、計測に時間を要し、
動物体の計測ができない。他にも表面が滑らかな物体に
対してはパターンの対応付けが容易であるが、奥行きに
差が存在しているエッジ部分ではパターンの像が不連続
となり対応付けが困難になるといった問題点がある。一
般的に能動的方法による計測は、受動的方法による計測
に比べて、計測の精度や信頼度は高くなるが、計測対象
への制限（滑らかな物体、計測領域が小さい）等が生じ
やすく、ある特定の条件さえ満足できれば良い工業計測
向けである。
【００１７】これら従来の３次元空間情報入力技術は外
乱光に弱く、特に能動的方法では通常照明下での計測は
非常に困難を要する。
乱光に弱く、特に能動的方法では通常照明下での計測は
非常に困難を要する。
【００１８】本発明の目的は、ステレオ法とパターン投
影法を融合し、以上述べた従来の問題を解決した汎用的
で高精度な計測ができる３次元空間情報入力装置を提供
することにある。
影法を融合し、以上述べた従来の問題を解決した汎用的
で高精度な計測ができる３次元空間情報入力装置を提供
することにある。
【００１９】
【課題を解決するための手段】本発明は距離計測にステ
レオ法を用い、対応点マッチングの曖昧さを解決するた
めに、パターンを構成する１つの画素あるいは隣接する
数個の画素で構成される領域ごとに、輝度または色の時
間的変化が異なるように輝度または色を変化させる手段
と、撮像装置によって取得された複数の画像間の同じ時
間的変化をする画素を対応点として抽出することによっ
て対応点マッチングする手段を備える。あるいは、非可
視領域の光によるパターンを構成する１つの画素あるい
は隣接する数個の画素で構成される領域ごとに、パター
ンの時間的変化が異なるようにパターンを変化させる手
段と、前記撮像装置によって取得された複数の画像間の
同じ時間的変化をする画素を抽出することによって対応
点マッチングする手段を備える。
レオ法を用い、対応点マッチングの曖昧さを解決するた
めに、パターンを構成する１つの画素あるいは隣接する
数個の画素で構成される領域ごとに、輝度または色の時
間的変化が異なるように輝度または色を変化させる手段
と、撮像装置によって取得された複数の画像間の同じ時
間的変化をする画素を対応点として抽出することによっ
て対応点マッチングする手段を備える。あるいは、非可
視領域の光によるパターンを構成する１つの画素あるい
は隣接する数個の画素で構成される領域ごとに、パター
ンの時間的変化が異なるようにパターンを変化させる手
段と、前記撮像装置によって取得された複数の画像間の
同じ時間的変化をする画素を抽出することによって対応
点マッチングする手段を備える。
【００２０】なお、理想的には投影するパターンの全部
の基本単位の輝度または色の時間的変化が相互に異なる
のが好ましいが、対応点マッチングの探索範囲内に同一
の時間的変化が現れて混同しない範囲であれば、同じ時
間的変化を含むパターンの組み合わせを繰り返し利用し
ても問題はない。ただし、探索範囲は計測範囲、ＣＣＤ
の画素数や大きさ、レンズの口径、焦点距離、カメラの
基線長に影響を受けて変化するので、個々のシステムご
とにパターンの組み合せを決める必要がある。
の基本単位の輝度または色の時間的変化が相互に異なる
のが好ましいが、対応点マッチングの探索範囲内に同一
の時間的変化が現れて混同しない範囲であれば、同じ時
間的変化を含むパターンの組み合わせを繰り返し利用し
ても問題はない。ただし、探索範囲は計測範囲、ＣＣＤ
の画素数や大きさ、レンズの口径、焦点距離、カメラの
基線長に影響を受けて変化するので、個々のシステムご
とにパターンの組み合せを決める必要がある。
【００２１】本発明によれば、複数のパターンを時間的
に変化させて投影するため、ある撮像領域における複数
のパターンの時間的変化を、その撮像領域の空間におけ
るコードとして割り付けることが可能となる。対応点マ
ッチングに用いる撮像領域のコードは隣接単位画素ごと
に異なるため、対応点が一意に定まる確率が大幅に向上
する。また、コードとコードを比較し、同一のコードを
見つけることによって対応点マッチングを行うため、複
雑な画像処理を必要とせず、処理が高速となる。
に変化させて投影するため、ある撮像領域における複数
のパターンの時間的変化を、その撮像領域の空間におけ
るコードとして割り付けることが可能となる。対応点マ
ッチングに用いる撮像領域のコードは隣接単位画素ごと
に異なるため、対応点が一意に定まる確率が大幅に向上
する。また、コードとコードを比較し、同一のコードを
見つけることによって対応点マッチングを行うため、複
雑な画像処理を必要とせず、処理が高速となる。
【００２２】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。第１の実施の形態 図１は本発明の第１の実施形態（請求項１記載の発明に
対応する実施形態）の光学系を説明するための図であ
る。図１では最も簡単な例として、焦点距離が等しい撮
像装置１，２を、光軸が平行になるようにかつ互いの画
像面が同一平面に並ぶように配置し、その間に置いたパ
ターン投影装置３でパターン４を撮像対象５に投影した
場合を示す。なお、図１では説明を簡単にする撮像装置
１，２を平行に配置しているが、位置関係が既知であり
同一の撮像対象を取り込める配置であれば、どのように
配置しても構わない。同様に、パターン投影装置３も撮
像装置で撮像する空間にパターンを投影できるのであれ
ば、どのように配置しても構わない。なお撮像装置１，
２とパターン投影装置３の位置関係は既知である必要は
ない。
て図面を参照して説明する。第１の実施の形態 図１は本発明の第１の実施形態（請求項１記載の発明に
対応する実施形態）の光学系を説明するための図であ
る。図１では最も簡単な例として、焦点距離が等しい撮
像装置１，２を、光軸が平行になるようにかつ互いの画
像面が同一平面に並ぶように配置し、その間に置いたパ
ターン投影装置３でパターン４を撮像対象５に投影した
場合を示す。なお、図１では説明を簡単にする撮像装置
１，２を平行に配置しているが、位置関係が既知であり
同一の撮像対象を取り込める配置であれば、どのように
配置しても構わない。同様に、パターン投影装置３も撮
像装置で撮像する空間にパターンを投影できるのであれ
ば、どのように配置しても構わない。なお撮像装置１，
２とパターン投影装置３の位置関係は既知である必要は
ない。
【００２３】図１において基本となる座標系として２台
の撮像装置１，２の光学中心間の中点を原点とするＸ−
Ｙ−Ｚ座標系、各々の撮像装置１，２の座標系としてｘ
R−ｙR−ｚR座標系、ｘL−ｙL−ｚL座標系を定める。１
１は左に並べた撮像装置１の光学中心、１２は右に並べ
た撮像装置２の光学中心、また１３は左の撮像装置１の
画像、１４は右の撮像装置２の画像を示している。ま
た、３ａはパターンを投影する光源、３ｂは時間的に変
化するパターンを生成する素子を示す。パターン４上の
格子は投影されたｎ×ｍの単位画素で構成される領域を
示す。投影されたパターン４の拡大図４′に示すよう
に、隣接する領域ごとにパターンは異なる。ここでは領
域を１×１の単位画素で構成したとする。投影パターン
４の構成例は後述する、撮像対象５上に投影された画素
１７の位置をＰ（Ｘ，Ｙ，Ｚ）とし、左右の撮像装置
１，２の画像１３，１４への投影位置１５，１６の座標
をそれぞれＰL（ｘL，ｙL），ＰR（ｘR，ｙR）とする。
このときＰの位置は、式（１）〜（３）で示される。３
次元空間情報取得部６は、撮像装置１，２からの画像１
３，１４を取り込み、対応点マッチングを行ってＰの位
置計算を行う。また、撮像装置１，２とパターン投影装
置３に対して動作要求を行う。計算されたＰの位置、す
なわち３次元空間情報は出力部７に出力される。
の撮像装置１，２の光学中心間の中点を原点とするＸ−
Ｙ−Ｚ座標系、各々の撮像装置１，２の座標系としてｘ
R−ｙR−ｚR座標系、ｘL−ｙL−ｚL座標系を定める。１
１は左に並べた撮像装置１の光学中心、１２は右に並べ
た撮像装置２の光学中心、また１３は左の撮像装置１の
画像、１４は右の撮像装置２の画像を示している。ま
た、３ａはパターンを投影する光源、３ｂは時間的に変
化するパターンを生成する素子を示す。パターン４上の
格子は投影されたｎ×ｍの単位画素で構成される領域を
示す。投影されたパターン４の拡大図４′に示すよう
に、隣接する領域ごとにパターンは異なる。ここでは領
域を１×１の単位画素で構成したとする。投影パターン
４の構成例は後述する、撮像対象５上に投影された画素
１７の位置をＰ（Ｘ，Ｙ，Ｚ）とし、左右の撮像装置
１，２の画像１３，１４への投影位置１５，１６の座標
をそれぞれＰL（ｘL，ｙL），ＰR（ｘR，ｙR）とする。
このときＰの位置は、式（１）〜（３）で示される。３
次元空間情報取得部６は、撮像装置１，２からの画像１
３，１４を取り込み、対応点マッチングを行ってＰの位
置計算を行う。また、撮像装置１，２とパターン投影装
置３に対して動作要求を行う。計算されたＰの位置、す
なわち３次元空間情報は出力部７に出力される。
【００２４】以下、図２を用いて各部の動作を詳細に説
明する。本実施形態の３次元空間情報入力装置はパター
ン投影部２１と２つの撮像部２２，２３と３次元空間情
報取得部２４と出力部２５で構成される。パターン投影
部２１は投影部２１ａと輝度値変化投影パターン生成部
２１ｂと投影指令部２１ｃで構成される。投影指令部２
１ｃがパターン投影指令を発すると、輝度値変化投影パ
ターン生成部２１ｂにより投影パターンが決定される。
決定されたパターンは投影部２１ａから撮像対象に投影
される。撮像部２２，２３は、それぞれカメラ２２ａ，
２３ａと、画像メモリ２２ｂ，２３ｂと、撮像指令部２
２ｃ，２３ｃで構成され、パターンが投影された撮像対
象の画像を取り込む。撮像部２２，２３によって取り込
まれた撮像対象のデータは３次元空間情報取得部２４に
渡される。３次元空間情報取得部２４は制御部２４ａと
対応点検出部２４ｂで構成される。制御部２４ａは投影
指令部２１ｃや撮像指令部２２ｃ，２３ｃが指令を出す
時間を制御し、対応点検出部２４ｂに対応点マッチング
を行わせる。対応点マッチングにより得られた３次元空
間情報は出力部２５に渡される。渡された３次元空間情
報は、各画素毎の値を濃淡値で表した画像データとして
ディスプレイに表示したり、他の画像処理系へ数値デー
タとして出力する。
明する。本実施形態の３次元空間情報入力装置はパター
ン投影部２１と２つの撮像部２２，２３と３次元空間情
報取得部２４と出力部２５で構成される。パターン投影
部２１は投影部２１ａと輝度値変化投影パターン生成部
２１ｂと投影指令部２１ｃで構成される。投影指令部２
１ｃがパターン投影指令を発すると、輝度値変化投影パ
ターン生成部２１ｂにより投影パターンが決定される。
決定されたパターンは投影部２１ａから撮像対象に投影
される。撮像部２２，２３は、それぞれカメラ２２ａ，
２３ａと、画像メモリ２２ｂ，２３ｂと、撮像指令部２
２ｃ，２３ｃで構成され、パターンが投影された撮像対
象の画像を取り込む。撮像部２２，２３によって取り込
まれた撮像対象のデータは３次元空間情報取得部２４に
渡される。３次元空間情報取得部２４は制御部２４ａと
対応点検出部２４ｂで構成される。制御部２４ａは投影
指令部２１ｃや撮像指令部２２ｃ，２３ｃが指令を出す
時間を制御し、対応点検出部２４ｂに対応点マッチング
を行わせる。対応点マッチングにより得られた３次元空
間情報は出力部２５に渡される。渡された３次元空間情
報は、各画素毎の値を濃淡値で表した画像データとして
ディスプレイに表示したり、他の画像処理系へ数値デー
タとして出力する。
【００２５】図３に投影パターンを光の輝度変化で構成
した一例を示す。３１は投影パターンのイメージ、３２
は拡大図、３３，３４はパターンの波形である。３３，
３４に示すように、投影時間の間の投影パターンは輝度
が強いか弱いか、すなわち１または０で表現される。
した一例を示す。３１は投影パターンのイメージ、３２
は拡大図、３３，３４はパターンの波形である。３３，
３４に示すように、投影時間の間の投影パターンは輝度
が強いか弱いか、すなわち１または０で表現される。
【００２６】図４はパターンを時間的に変化させて投影
した場合を説明するための図である。パターンを時間的
に変化させる回数を４とする。４１〜４４はそれぞれ時
刻ｔ 1〜ｔ4に投影されたパターンを示す。このとき各時
刻ｔ1〜ｔ4における投影パターン４１〜４４上の、ある
領域とその隣接領域のパターン変化に注目する。４５，
４６は、それぞれの領域（４５は右上の領域、４６は右
端の列の真中の領域）のパターン変化を示す。時刻ｔ1
〜ｔ4に投影パターンを読み込んだとすると、４５は１
００１の４ビットの信号となる。同様に、４６は０１０
１の４ビットの信号となる。
した場合を説明するための図である。パターンを時間的
に変化させる回数を４とする。４１〜４４はそれぞれ時
刻ｔ 1〜ｔ4に投影されたパターンを示す。このとき各時
刻ｔ1〜ｔ4における投影パターン４１〜４４上の、ある
領域とその隣接領域のパターン変化に注目する。４５，
４６は、それぞれの領域（４５は右上の領域、４６は右
端の列の真中の領域）のパターン変化を示す。時刻ｔ1
〜ｔ4に投影パターンを読み込んだとすると、４５は１
００１の４ビットの信号となる。同様に、４６は０１０
１の４ビットの信号となる。
【００２７】このように時間的に異なる投影パターンを
用いることにより、パターンの異なる領域の種類を増や
すことが可能となる。図４の例では１または０で判別さ
れる２種類の輝度信号が４ビットにデータ長が伸びたこ
とにより２4の種類に増加している。このとき最大で投
影パターンは２4に分割が可能である。パターンの時間
的変化を抽出することにより、対応点が一意に決まる確
率が大幅に向上する。時系列方向の投影パターンの組み
合わせによる空間の領域へのパターン割付を空間のコー
ド化と呼ぶ。
用いることにより、パターンの異なる領域の種類を増や
すことが可能となる。図４の例では１または０で判別さ
れる２種類の輝度信号が４ビットにデータ長が伸びたこ
とにより２4の種類に増加している。このとき最大で投
影パターンは２4に分割が可能である。パターンの時間
的変化を抽出することにより、対応点が一意に決まる確
率が大幅に向上する。時系列方向の投影パターンの組み
合わせによる空間の領域へのパターン割付を空間のコー
ド化と呼ぶ。
【００２８】空間コード化は撮像領域全体に行っている
ため、対応点が見つからない点はオクルージョンである
と判断できる。
ため、対応点が見つからない点はオクルージョンである
と判断できる。
【００２９】第１の実施形態のパターン投影装置を実現
する素子の例として、強誘電性液晶を用いた透過型デバ
イスや、マイクロミラーをマトリクス状に配列したＤＭ
Ｄ（Digital Micromirror Device）が存在する。本発明
では時系列方向にパターンをコード化するため、一回の
計測に数コマを要するがこれらのデバイスは通常の動画
フレーム数よりも数倍以上高速な動作が可能なので、動
物体の計測も可能である。第２の実施の形態 図５は本発明の第２の実施形態（請求項３記載の発明に
対応する実施形態）を示すブロック図である。本実施形
態の３次元空間情報入力装置はパターン投影部５１と２
つの撮像部５２，５３と３次元空間情報取得部５４と出
力部５５で構成される。パターン投影部５１は投影部５
１ａと色値変化投影パターン生成部５１ｂと投影指令部
５１ｃで構成される。投影指令部５１ｃがパターン投影
指令を発すると、色値変化投影パターン生成部５１ｂに
より投影パターンが決定される。決定されたパターンは
投影部５１ａから撮像対象に投影される。撮像部５２，
５３は、それぞれカラーカメラ５２ａ，５３ａと画像メ
モリ５２ｂ，５３ｂと撮像指令部５２ｃ，５３ｃで構成
され、パターンが投影された撮像対象の画像を取り込
む。撮像部５２，５３によって取り込まれた撮像対象の
データは３次元空間情報取得部５４に渡される。３次元
空間情報取得部５４は制御部５４ａと対応点検出部５４
ｂで構成される。制御部５４ａは投影指令部５１ｃや撮
像指令部５２ｃ，５３ｃが指令を出す時間を制御し、対
応点検出部５４ｂに対応点マッチングを行わせる。対応
点マッチングにより得られた３次元空間情報は出力部５
５に渡される。渡された３次元空間情報は、各画素毎の
値を濃淡値で表した画像データとしてディスプレイに表
示したり、他の画像処理系へ数値データとして出力す
る。
する素子の例として、強誘電性液晶を用いた透過型デバ
イスや、マイクロミラーをマトリクス状に配列したＤＭ
Ｄ（Digital Micromirror Device）が存在する。本発明
では時系列方向にパターンをコード化するため、一回の
計測に数コマを要するがこれらのデバイスは通常の動画
フレーム数よりも数倍以上高速な動作が可能なので、動
物体の計測も可能である。第２の実施の形態 図５は本発明の第２の実施形態（請求項３記載の発明に
対応する実施形態）を示すブロック図である。本実施形
態の３次元空間情報入力装置はパターン投影部５１と２
つの撮像部５２，５３と３次元空間情報取得部５４と出
力部５５で構成される。パターン投影部５１は投影部５
１ａと色値変化投影パターン生成部５１ｂと投影指令部
５１ｃで構成される。投影指令部５１ｃがパターン投影
指令を発すると、色値変化投影パターン生成部５１ｂに
より投影パターンが決定される。決定されたパターンは
投影部５１ａから撮像対象に投影される。撮像部５２，
５３は、それぞれカラーカメラ５２ａ，５３ａと画像メ
モリ５２ｂ，５３ｂと撮像指令部５２ｃ，５３ｃで構成
され、パターンが投影された撮像対象の画像を取り込
む。撮像部５２，５３によって取り込まれた撮像対象の
データは３次元空間情報取得部５４に渡される。３次元
空間情報取得部５４は制御部５４ａと対応点検出部５４
ｂで構成される。制御部５４ａは投影指令部５１ｃや撮
像指令部５２ｃ，５３ｃが指令を出す時間を制御し、対
応点検出部５４ｂに対応点マッチングを行わせる。対応
点マッチングにより得られた３次元空間情報は出力部５
５に渡される。渡された３次元空間情報は、各画素毎の
値を濃淡値で表した画像データとしてディスプレイに表
示したり、他の画像処理系へ数値データとして出力す
る。
【００３０】図６に投影パターンを光の色変化で構成し
た一例を示す。６１は投影パターンのイメージ、６２は
拡大図を示す。図に示すように色の変化は赤成分（Ｒ）
・緑成分（Ｇ）・青成分（Ｂ）のそれぞれの輝度の強さ
の割合で決定される。図４に示すように時間的に各画素
のパターンを変化させて投影することにより、時間的パ
ターンの変化を抽出し、対応点が一意に決まる確率が大
幅に向上する。第３の実施の形態 図７は本発明の第３の実施形態（請求項２、請求項４記
載の発明に対応する実施形態）の投影パターンを示す図
である。７１，７２はカメラ、７３はパターン投影装
置、７４は投影パターン、７５は投影パターンの拡大図
を示す。投影パターン７４，７５の格子の濃度の違い
は、輝度あるいは色の時間的変化が異なることを示すも
のとする。投影パターンの領域は単一の画素で構成さ
れ、空間のコード化を３ビットで行ったとする。図１に
示した光学配置と同様の配置をとり、横方向の画素の輝
度あるいは色の時間的変化が異なるようにパターンを投
影する。このとき拡大図７５に示すように、横方向の時
間的変化のパターンは２3画素ずつ横方向にずれて繰り
返す。
た一例を示す。６１は投影パターンのイメージ、６２は
拡大図を示す。図に示すように色の変化は赤成分（Ｒ）
・緑成分（Ｇ）・青成分（Ｂ）のそれぞれの輝度の強さ
の割合で決定される。図４に示すように時間的に各画素
のパターンを変化させて投影することにより、時間的パ
ターンの変化を抽出し、対応点が一意に決まる確率が大
幅に向上する。第３の実施の形態 図７は本発明の第３の実施形態（請求項２、請求項４記
載の発明に対応する実施形態）の投影パターンを示す図
である。７１，７２はカメラ、７３はパターン投影装
置、７４は投影パターン、７５は投影パターンの拡大図
を示す。投影パターン７４，７５の格子の濃度の違い
は、輝度あるいは色の時間的変化が異なることを示すも
のとする。投影パターンの領域は単一の画素で構成さ
れ、空間のコード化を３ビットで行ったとする。図１に
示した光学配置と同様の配置をとり、横方向の画素の輝
度あるいは色の時間的変化が異なるようにパターンを投
影する。このとき拡大図７５に示すように、横方向の時
間的変化のパターンは２3画素ずつ横方向にずれて繰り
返す。
【００３１】図８に対応点の探索例を示す。図８におい
て、８１は左のカメラ７１で撮像した画像、８２は右の
カメラ７２で撮像した画像、８３，８４はこれから対応
点を見つけようとする観測点、８５は左の画像８１の右
の画像８２に対するエピポーラライン、８６は探索範囲
である。図１に示す光学配置をとったとき、対応点は必
ずエピポーラライン８５上に存在する。対応点マッチン
グを行うときのエピポーラライン８５上の探索範囲８６
を４画素とすると、時間的変化が同一のパターンは２3
画素ずれて投影されているのであるから、探索範囲に同
じ時間的変化をする画素がある可能性は低い。したがっ
て上記のように繰り返し投影することにより、長さの短
いコードで空間コード化を可能とし、対応点が一意に決
まる確率が大幅に向上する対応点マッチングを行うこと
ができる。
て、８１は左のカメラ７１で撮像した画像、８２は右の
カメラ７２で撮像した画像、８３，８４はこれから対応
点を見つけようとする観測点、８５は左の画像８１の右
の画像８２に対するエピポーラライン、８６は探索範囲
である。図１に示す光学配置をとったとき、対応点は必
ずエピポーラライン８５上に存在する。対応点マッチン
グを行うときのエピポーラライン８５上の探索範囲８６
を４画素とすると、時間的変化が同一のパターンは２3
画素ずれて投影されているのであるから、探索範囲に同
じ時間的変化をする画素がある可能性は低い。したがっ
て上記のように繰り返し投影することにより、長さの短
いコードで空間コード化を可能とし、対応点が一意に決
まる確率が大幅に向上する対応点マッチングを行うこと
ができる。
【００３２】また、探索範囲に同じ時間的変化をする画
素がある可能性は低いので対応点が見つからない場合
は、オクルージョンと判断できる。第４の実施の形態 図９は第４の実施形態（請求項５記載の発明に対応する
実施形態）を示すブロック図である。本実施形態の３次
元空間情報入力装置はパターン投影部９１と２つの撮像
部９２，９３と３次元空間情報取得部９４と出力部９５
で構成される。パターン投影部９１は投影部９１ａと投
影パターン生成部９１ｂと投影指令部９１ｃで構成され
る。投影指令部９１ｃがパターン投影指令を発すると、
投影パターン生成部９１ｂにより投影パターンが決定さ
れる。パターンは非可視領域の光の強度変化で構成され
る。決定されたパターンは投影部９１ａから非可視領域
の光源を用いて撮像対象に投影される。非可視領域の光
源としては、例えば赤外光を使用する。撮像部９２，９
３は、それぞれ赤外線カメラ（可視領域も撮像できる）
９２ａ，９３ａと画像メモリ９２ｂ，９３ｂと撮像指令
部９２ｃ，９３ｃで構成され、パターンが投影された撮
像対象を取り込む。撮像部９２，９３によって取り込ま
れた撮像対象のデータは３次元空間情報取得部９４に渡
される。３次元空間情報取得部９４は制御部９４ａと対
応点検出部９４ｂで構成される。制御部９４ａは投影指
令部９１ｃや撮像指令部９２ｃ，９３ｃが指令を出す時
間を制御し、対応点検出部９４ｂに対応点マッチングを
行わせる。対応点マッチングにより得られた３次元空間
情報は出力部９５に渡される。渡された３次元空間情報
は、各画素毎の値を濃淡値で表した画像データとしてデ
ィスプレイに表示したり、他の画像処理系へ数値データ
として出力する。
素がある可能性は低いので対応点が見つからない場合
は、オクルージョンと判断できる。第４の実施の形態 図９は第４の実施形態（請求項５記載の発明に対応する
実施形態）を示すブロック図である。本実施形態の３次
元空間情報入力装置はパターン投影部９１と２つの撮像
部９２，９３と３次元空間情報取得部９４と出力部９５
で構成される。パターン投影部９１は投影部９１ａと投
影パターン生成部９１ｂと投影指令部９１ｃで構成され
る。投影指令部９１ｃがパターン投影指令を発すると、
投影パターン生成部９１ｂにより投影パターンが決定さ
れる。パターンは非可視領域の光の強度変化で構成され
る。決定されたパターンは投影部９１ａから非可視領域
の光源を用いて撮像対象に投影される。非可視領域の光
源としては、例えば赤外光を使用する。撮像部９２，９
３は、それぞれ赤外線カメラ（可視領域も撮像できる）
９２ａ，９３ａと画像メモリ９２ｂ，９３ｂと撮像指令
部９２ｃ，９３ｃで構成され、パターンが投影された撮
像対象を取り込む。撮像部９２，９３によって取り込ま
れた撮像対象のデータは３次元空間情報取得部９４に渡
される。３次元空間情報取得部９４は制御部９４ａと対
応点検出部９４ｂで構成される。制御部９４ａは投影指
令部９１ｃや撮像指令部９２ｃ，９３ｃが指令を出す時
間を制御し、対応点検出部９４ｂに対応点マッチングを
行わせる。対応点マッチングにより得られた３次元空間
情報は出力部９５に渡される。渡された３次元空間情報
は、各画素毎の値を濃淡値で表した画像データとしてデ
ィスプレイに表示したり、他の画像処理系へ数値データ
として出力する。
【００３３】図１０は可視領域の光源による計測と、非
可視領域の光源による計測の比較を示す図である。１０
１，１０２は可視領域の光源による計測を行った場合の
カメラ、１０３は可視領域の光源を持つパターン投影装
置、１０４は撮像対象、１０５は可視領域の光源による
投影パターンを示す。同様に、１０６，１０７は非可視
領域の光源による計測を行った場合のカメラ、１０８は
非可視領域の光源パターン投影装置、１０９は撮像対象
を示す。非可視領域の光源による計測の場合は、投影パ
ターンが通常のカメラには撮像されないので実写画像に
影響を与えない。それに対して可視領域の光源による計
測の場合は投影パターンが撮像されてしまうため実写画
像に影響を与える。また、非可視領域の光源による投影
パターンは人間の目に知覚できるため、撮像対象の動作
に影響を与える。
可視領域の光源による計測の比較を示す図である。１０
１，１０２は可視領域の光源による計測を行った場合の
カメラ、１０３は可視領域の光源を持つパターン投影装
置、１０４は撮像対象、１０５は可視領域の光源による
投影パターンを示す。同様に、１０６，１０７は非可視
領域の光源による計測を行った場合のカメラ、１０８は
非可視領域の光源パターン投影装置、１０９は撮像対象
を示す。非可視領域の光源による計測の場合は、投影パ
ターンが通常のカメラには撮像されないので実写画像に
影響を与えない。それに対して可視領域の光源による計
測の場合は投影パターンが撮像されてしまうため実写画
像に影響を与える。また、非可視領域の光源による投影
パターンは人間の目に知覚できるため、撮像対象の動作
に影響を与える。
【００３４】光源を非可視領域に設定することによっ
て、パターンを照射しても実写画像に影響を与えないよ
うにすることができる。
て、パターンを照射しても実写画像に影響を与えないよ
うにすることができる。
【００３５】
【発明の効果】以上述べたように、本発明によれば、対
応点マッチングが曖昧にならず一意に決定することがで
き、かつ高速な処理が可能である。特に １）請求項１記載の発明は、撮像する空間の領域を投影
パターンの輝度値を用いて時間的に画素単位でコード化
することができ、ステレオ視における対応点マッチング
が曖昧にならず一意に決定でき、また、オクルージョン
の判断が容易に可能となる。 ２）請求項２記載の発明は、空間の領域を輝度値の時間
的変化を用いたコードでコード化するときに、コードの
数を実際の領域の数より少なくすることができる。 ３）請求項３記載の発明は、撮像する空間の領域を投影
パターンの色の変化を用いて時間的に画素単位でコード
化することができ、ステレオ視における対応点マッチン
グが曖昧にならず一意に決定でき、また、オクルージョ
ンの判断が容易に可能となる。 ４）請求項４記載の発明は、空間の領域を色の時間的変
化を用いたコードでコード化するときに、コードの数を
実際の領域の数より少なくすることができる。 ５）請求項５記載の発明は、実写画像に影響を与えずに
計測が可能な３次元空間情報入力装置が実現できる。
応点マッチングが曖昧にならず一意に決定することがで
き、かつ高速な処理が可能である。特に １）請求項１記載の発明は、撮像する空間の領域を投影
パターンの輝度値を用いて時間的に画素単位でコード化
することができ、ステレオ視における対応点マッチング
が曖昧にならず一意に決定でき、また、オクルージョン
の判断が容易に可能となる。 ２）請求項２記載の発明は、空間の領域を輝度値の時間
的変化を用いたコードでコード化するときに、コードの
数を実際の領域の数より少なくすることができる。 ３）請求項３記載の発明は、撮像する空間の領域を投影
パターンの色の変化を用いて時間的に画素単位でコード
化することができ、ステレオ視における対応点マッチン
グが曖昧にならず一意に決定でき、また、オクルージョ
ンの判断が容易に可能となる。 ４）請求項４記載の発明は、空間の領域を色の時間的変
化を用いたコードでコード化するときに、コードの数を
実際の領域の数より少なくすることができる。 ５）請求項５記載の発明は、実写画像に影響を与えずに
計測が可能な３次元空間情報入力装置が実現できる。
【図１】本発明の第１の実施形態における光学系を示す
図である。
図である。
【図２】本発明の第１の実施形態の３次元空間情報入力
装置のブロック図である。
装置のブロック図である。
【図３】投影パターンを光の輝度変化で構成する場合の
説明図である。
説明図である。
【図４】パターン投影を時間的に変化させて投影した場
合の説明図である。
合の説明図である。
【図５】本発明の第２の実施形態の３次元空間情報入力
装置のブロック図である。
装置のブロック図である。
【図６】投影パターンを光の色変化で構成した一例を示
す図である。
す図である。
【図７】本発明の第３の実施形態の３次元空間情報入力
装置のブロック図である。
装置のブロック図である。
【図８】第３の実施形態における対応点の探索例を示す
図である。
図である。
【図９】本発明の第４の実施形態の３次元空間情報入力
装置のブロック図である。
装置のブロック図である。
【図１０】可視領域の光源による計測と非可視領域の光
源による計測の比較を示す図である。
源による計測の比較を示す図である。
【図１１】ステレオ法の原理を説明するための図であ
る。
る。
【図１２】対応点マッチングの方法を説明するための図
である。
である。
【図１３】パターン投影法の原理を説明するための図で
ある。
ある。
１，２ 撮像装置 ３ パターン投影装置 ３ａ 光源 ３ｂ 素子 ４ 投影されたパターン ４′ パターン４の拡大図 ５ 撮像対象 ６ ３次元空間情報取得部 ７ 出力部 １１，１２ 光学中心 １３，１４ 撮像装置の画像 １５，１６ 撮像対象５の投射位置 １７ 投影されたパターンの１画素 ２１ パターン投影部 ２１ａ 投影部 ２１ｂ 輝度値変化投影パターン生成部 ２１ｃ 投影指令部 ２２，２３ 撮像部 ２２ａ，２３ａ カメラ ２２ｂ，２３ｂ 画像メモリ ２２ｃ，２３ｃ 撮像指令部 ２４ ３次元空間情報取得部 ２４ａ 制御部 ２４ｂ 対応点検出部 ２５ 出力部 ３１ 投影パターン４のイメージ例 ３２ イメージ例３１の拡大図 ３３，３４ パターンの波形 ４１〜４４ 時刻ｔ1〜ｔ4における投影パターン ４５ 時刻ｔ1〜ｔ4におけるある領域の投影パターン
の変化の波形 ４６ 時刻ｔ1〜ｔ4における隣接領域の投影パターン
の変化の波形 ５１ パターン投影部 ５１ａ 投影部 ５１ｂ 色値変化投影パターン生成部 ５１ｃ 投影指令部 ５２，５３ 撮像部 ５２ａ，５３ａ カラーカメラ ５２ｂ，５３ｂ 画像メモリ ５２ｃ，５３ｃ 撮像指令部 ５４ ３次元空間情報取得部 ５４ａ 制御部 ５４ｂ 対応点検出部 ５５ 出力部 ６１ 投影パターンを光の色変化で構成したときの投
影パターンのイメージ ６２ イメージ６１の拡大図 ７１，７２ カメラ ７３ パターン投影装置 ７４ 投影パターン ７５ 投影パターン７４の拡大図 ８１ カメラ７１の画像 ８２ カメラ７２の画像 ８３ 画像８１上の点 ８４ 画像８２上の点 ８５ エピポーラライン ８６ 探索範囲 ９１ パターン投影部 ９１ａ 投影部 ９１ｂ 投影パターン生成部 ９１ｃ 投影指令部 ９２，９３ 撮像部 ９２ａ，９３ａ 赤外線カメラ ９２ｂ，９３ｂ 画像メモリ ９２ｃ，９３ｃ 撮像指令部 ９４ ３次元空間情報取得部 ９４ａ 制御部 ９４ｂ 対応点検出部 ９５ 出力部 １０１ 可視領域の光源による計測を行なった場合の
カメラ １０２ 可視領域の光源による計測を行なった場合の
カメラ １０３ パターン投影装置 １０４ 撮像対象 １０６ 非可視領域の光源による計測を行なった場合
のカメラ １０７ 非可視領域の光源による計測を行なった場合
のカメラ １０８ パターン投影装置 １０９ 撮像対象
の変化の波形 ４６ 時刻ｔ1〜ｔ4における隣接領域の投影パターン
の変化の波形 ５１ パターン投影部 ５１ａ 投影部 ５１ｂ 色値変化投影パターン生成部 ５１ｃ 投影指令部 ５２，５３ 撮像部 ５２ａ，５３ａ カラーカメラ ５２ｂ，５３ｂ 画像メモリ ５２ｃ，５３ｃ 撮像指令部 ５４ ３次元空間情報取得部 ５４ａ 制御部 ５４ｂ 対応点検出部 ５５ 出力部 ６１ 投影パターンを光の色変化で構成したときの投
影パターンのイメージ ６２ イメージ６１の拡大図 ７１，７２ カメラ ７３ パターン投影装置 ７４ 投影パターン ７５ 投影パターン７４の拡大図 ８１ カメラ７１の画像 ８２ カメラ７２の画像 ８３ 画像８１上の点 ８４ 画像８２上の点 ８５ エピポーラライン ８６ 探索範囲 ９１ パターン投影部 ９１ａ 投影部 ９１ｂ 投影パターン生成部 ９１ｃ 投影指令部 ９２，９３ 撮像部 ９２ａ，９３ａ 赤外線カメラ ９２ｂ，９３ｂ 画像メモリ ９２ｃ，９３ｃ 撮像指令部 ９４ ３次元空間情報取得部 ９４ａ 制御部 ９４ｂ 対応点検出部 ９５ 出力部 １０１ 可視領域の光源による計測を行なった場合の
カメラ １０２ 可視領域の光源による計測を行なった場合の
カメラ １０３ パターン投影装置 １０４ 撮像対象 １０６ 非可視領域の光源による計測を行なった場合
のカメラ １０７ 非可視領域の光源による計測を行なった場合
のカメラ １０８ パターン投影装置 １０９ 撮像対象
フロントページの続き (72)発明者 昼間 香織 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 上平 員丈 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2F065 AA04 DD06 DD07 DD12 FF01 FF02 FF05 FF09 GG21 GG25 HH06 HH07 JJ03 JJ05 JJ26 NN08 QQ24 QQ31 SS13 5B057 BA15 DA07 DB03 DB05 DB06 DC25 DC32
Claims (5)
- 【請求項１】 パターン投影装置と、このパターン投影
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 パターンを構成する１つの画素あるいは隣接する数個の
画素で構成される領域ごとに、輝度の時間的変化が異な
るように輝度を変化させる手段と、前記撮像装置によっ
て取得された複数の画像間の同じ時間的変化をする画素
を対応点として抽出することによって対応点マッチング
する手段を備えることを特徴とする３次元空間情報入力
装置。 - 【請求項２】 投影パターンを構成する１つの画素ある
いは隣接する数個の画素で構成される領域の輝度の時間
的変化が、少なくとも１方向の隣接する領域では異な
る、請求項１記載の３次元空間情報入力装置。 - 【請求項３】 パターン投影装置と、このパターン投影
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 パターンを構成する１つの画素あるいは隣接する数個の
画素で構成される領域ごとに、色の時間的変化が異なる
ように色を変化させる手段と、前記撮像装置によって取
得された複数の画像間の同じ時間的変化をする画素を対
応点として抽出することによって対応点マッチングする
手段を備えることを特徴とする３次元空間情報入力装
置。 - 【請求項４】 投影パターンを構成する１つの画素ある
いは隣接する数個の画素で構成される領域の色の時間的
変化が、少なくとも１方向での隣接する領域では異な
る、請求項３記載の３次元空間情報入力装置。 - 【請求項５】 パターン投影装置と、このパターン投影
装置が投影したパターンを異なる視点から撮像する複数
の撮像装置を有し、パターンが投影された撮像対象の３
次元空間上の位置を前記撮像装置によって取得した複数
の画像による対応点マッチングにより抽出し、さらに三
角測量の原理を用いて位置を求める３次元空間情報入力
装置において、 非可視領域の光によるパターンを構成する１つの画素あ
るいは隣接する数個の画素で構成される領域ごとに、パ
ターンの時間的変化が異なるようにパターンを変化させ
る手段と、前記撮像装置によって取得された複数の画像
間の同じ時間的変化をする画素を対応点として抽出する
ことによって対応点マッチングする手段を備えることを
特徴とする３次元空間情報入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000160262A JP2001338280A (ja) | 2000-05-30 | 2000-05-30 | ３次元空間情報入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000160262A JP2001338280A (ja) | 2000-05-30 | 2000-05-30 | ３次元空間情報入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001338280A true JP2001338280A (ja) | 2001-12-07 |
Family
ID=18664478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000160262A Pending JP2001338280A (ja) | 2000-05-30 | 2000-05-30 | ３次元空間情報入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001338280A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193962A (ja) * | 2002-12-11 | 2004-07-08 | Sony Corp | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
| JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| JP2007101275A (ja) * | 2005-09-30 | 2007-04-19 | Topcon Corp | 三次元計測用投影装置及びシステム |
| JP2007101276A (ja) * | 2005-09-30 | 2007-04-19 | Topcon Corp | 三次元計測用投影装置及びシステム |
| WO2008123604A1 (ja) * | 2007-03-29 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | 表面検査装置 |
| JP2011252835A (ja) * | 2010-06-03 | 2011-12-15 | Myuu Skynet:Kk | 三次元形状計測装置 |
| WO2016207442A1 (de) * | 2015-06-26 | 2016-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und vorrichtung zum berührungslosen vermessen einer objektoberfläche |
| JP2018004357A (ja) * | 2016-06-29 | 2018-01-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
| JP2020537242A (ja) * | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | 複数の可動センサを含むセンサシステムの校正 |
| JP2021507205A (ja) * | 2017-12-14 | 2021-02-22 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | プロジェクタとカメラモジュールを用いた３ｄ−周辺把握 |
| WO2022181129A1 (ja) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | 光出力制御装置、および光出力制御方法、並びにプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191281A (ja) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 空間パタ−ンコ−ド化方法 |
| JPH0942940A (ja) * | 1995-08-03 | 1997-02-14 | Canon Inc | ３次元物体の形状計測方法及び装置 |
| JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
-
2000
- 2000-05-30 JP JP2000160262A patent/JP2001338280A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63191281A (ja) * | 1987-02-04 | 1988-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 空間パタ−ンコ−ド化方法 |
| JPH0942940A (ja) * | 1995-08-03 | 1997-02-14 | Canon Inc | ３次元物体の形状計測方法及び装置 |
| JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4539015B2 (ja) * | 2002-12-11 | 2010-09-08 | ソニー株式会社 | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
| JP2004193962A (ja) * | 2002-12-11 | 2004-07-08 | Sony Corp | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
| JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| JP2007101276A (ja) * | 2005-09-30 | 2007-04-19 | Topcon Corp | 三次元計測用投影装置及びシステム |
| JP2007101275A (ja) * | 2005-09-30 | 2007-04-19 | Topcon Corp | 三次元計測用投影装置及びシステム |
| WO2008123604A1 (ja) * | 2007-03-29 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | 表面検査装置 |
| JP2011252835A (ja) * | 2010-06-03 | 2011-12-15 | Myuu Skynet:Kk | 三次元形状計測装置 |
| WO2016207442A1 (de) * | 2015-06-26 | 2016-12-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und vorrichtung zum berührungslosen vermessen einer objektoberfläche |
| JP2018004357A (ja) * | 2016-06-29 | 2018-01-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
| JP2020537242A (ja) * | 2017-10-08 | 2020-12-17 | マジック アイ インコーポレイテッド | 複数の可動センサを含むセンサシステムの校正 |
| JP2021507205A (ja) * | 2017-12-14 | 2021-02-22 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | プロジェクタとカメラモジュールを用いた３ｄ−周辺把握 |
| WO2022181129A1 (ja) * | 2021-02-24 | 2022-09-01 | ソニーグループ株式会社 | 光出力制御装置、および光出力制御方法、並びにプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| US6781618B2 (en) | Hand-held 3D vision system | |
| Zhang et al. | Rapid shape acquisition using color structured light and multi-pass dynamic programming | |
| RU2521725C2 (ru) | Система и способ трехмерного измерения формы материальных объектов | |
| US7103212B2 (en) | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN105026997B (zh) | 投影系统、半导体集成电路及图像修正方法 | |
| US5589942A (en) | Real time three dimensional sensing system | |
| US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
| US20190133692A1 (en) | Systems and methods for obtaining a structured light reconstruction of a 3d surface | |
| JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| CN106767526A (zh) | 一种基于激光mems振镜投影的彩色多线激光三维测量方法 | |
| KR20230065978A (ko) | 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체 | |
| JP4193342B2 (ja) | ３次元データ生成装置 | |
| US6980210B1 (en) | 3D stereo real-time sensor system, method and computer program therefor | |
| JP4110501B2 (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| CN112602118A (zh) | 图像处理装置和三维测量系统 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| JP2001183120A (ja) | ３次元入力方法及び３次元入力装置 | |
| JPH11223516A (ja) | ３次元画像撮像装置 | |
| JP3446020B2 (ja) | 形状計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040312 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040312 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040312 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040609 |