JPH1023465A

JPH1023465A - 撮像方法及び装置

Info

Publication number: JPH1023465A
Application number: JP8194102A
Authority: JP
Inventors: Masayoshi Sekine; 正慶関根; Masakazu Matsugi; 優和真継; Shigeki Okauchi; 茂樹岡内; Sunao Kurahashi; 直倉橋; Motohiro Ishikawa; 基博石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-05
Filing date: 1996-07-05
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】画像を記憶する記憶手段の記憶容量を最小限
に止めることができると共に、画像に対して施す処理の
時間を短縮することができ、しかも撮影後の処理や表示
を行う際に不都合を生じることがないようにした撮像方
法及び装置を提供する。【解決手段】被写体画像を撮像する撮像素子１１４，
１１５と、情報を記憶処理する映像信号記憶回路１２
０，１２１と、被写体と撮像装置本体との相対的関係を
検出する姿勢検出センサー１２８と、前記記憶処理動作
を制御する処理制御回路１２９とを具備し、処理制御回
路１２９は、姿勢検出センサー１２８の出力に応じて前
記記憶処理動作を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動的に画像を撮
影し、撮影画像から被写体の立体形状、表面のテクスチ
ャ画像を出力及び選択的に撮影画像を表示するため画像
を順次記憶するようにした撮像装置に関する。

【０００２】

【従来の技術】従来、複数の画像を利用して、立体物の
形状を取得する例として、「複数の基線長を利用したス
テレオマッチング」（電子情報通信学会論文誌D-II Vo
l. J75-D-II No.8 pp.1317-1327 1992年８月）に記載さ
れている。

【０００３】この従来例では、１つの撮像ユニットをレ
ールに載せて平行移動させて複数枚の画像を撮影し、相
互の画像相関を利用して形状解析をしている。

【０００４】その他に、複数の撮像ユニットを１つの装
置に収めた複眼撮像装置を使って、同時に撮像された２
組の視差画像の相関を利用して立体物の形状を解析する
技術として、特公平７−９６７３号がある。この従来例
では、ロボットアームに撮像装置を固定し、指示通りに
撮像装置を移動させて画像を取り込んでいる。

【０００５】これに対し、撮影者が自由に撮像装置本体
を持ち運び、任意の被写体の形状を解析できる従来の撮
像装置について述べる。

【０００６】図９は携帯自在な従来の自動撮像装置の構
成と使用状況の概念を示す図である。同図において、１
０１は撮像される被写体（本実施の形態ではコップ）
で、パッド１０２の上に載っており、この被写体１０１
を撮影しているものとして説明する。パッド１０２には
複数の輝点マーク１０３ａ，１０３ｂ，１０３ｃが刻印
されており、これらの位置関係は既知であり、後述する
撮像装置９００内に予め記憶されている。

【０００７】９００は携帯自在な撮像装置で、撮影レン
ズ１１０，１１１、採光絞り兼用のシャッター１１２，
１１３、光電変換を行う撮像素子１１４，１１５、この
撮像素子１１４，１１５を制御する制御回路１１６，１
１７、撮像素子１１４，１１５から得られる信号を処理
する映像信号処理回路１１８，１１９、この映像信号処
理回路１１８，１１９から出力される映像信号を記憶す
る映像信号記憶回路１２０，１２１、対応点抽出回路１
２２、撮像パラメータ検出回路１２３、既知のパッド輝
点位置関係を記憶しているＲＯＭ（リードオンリーメモ
リ）１２４、立体情報統合回路１２５、この立体情報統
合回路１２５により統合された立体情報を一時記憶する
バッファ回路１２６，１２７からなる。

【０００８】この撮像装置９００は、対応点抽出回路１
２２によって得られた２つの映像信号から対応点を抽出
して各時刻ごとの距離画像を求めると同時に、撮像パラ
メータ検出回路１２３及びＲＯＭ１２４によって撮像パ
ラメータ（輝点座標から求めたパッドと撮像装置９００
の位置関係及び正確な焦点距離等）を求める。立体情報
統合回路１２５は、これら距離画像と撮像パラメータ及
びこれらの時系列変化情報を基に、被写体１０１の立体
形状データとテクスチャ画像データを算出し、バッファ
回路１２６，１２７に格納する。

【０００９】なお、図９において、１４０は撮像装置９
００から出力される被写体１０１の立体形状の数値デー
タ、１４１は被写体１０１の表面テクスチャの展開画像
データである。この出力データはパソコン（パーソナル
コンピュータ）等に転送して、パソコン内でテクスチャ
マッピングを行うことで立体的なＣＧ（コンピュータグ
ラフィックス）として表示することが可能であり、この
画像は表示する角度・サイズ等を瞬時に変更したり、変
形及び加工といった処理を加えることができる。また、
視点が僅かにずれた２つのＣＧを生成し、立体ディスプ
レイに出力することにより、立体画像を見ることができ
る。この場合は、立体画像を自由に回転及び変形させる
ことができるので、より現実感を得ることができる。

【００１０】この撮像装置９００においては、対応点抽
出回路１２２及び立体情報統合回路１２５の処理が最も
複雑で処理時間がかかり、回路規模及び消費電力共に非
常に大きい。また、この撮像装置９００では、この複雑
な処理を撮影しながら順次処理を進める逐次処理モード
と、撮影しながら映像信号記憶回路１２０，１２１に必
要な画像を取り込んで、撮影終了後にまとめて処理を行
う一括処理モードとがある。また、この撮像装置９００
は、上述した従来例のような大がかりな位置決め装置を
必要とせず、撮影者が自由に撮像装置９００を持ち運
び、特別な準備なく手軽に被写体１０１の形状を解析で
きるという特徴がある。

【００１１】

【発明が解決しようとする課題】しかしながら、上述し
た従来例にあっては、以下のような問題点があった。

【００１２】即ち、一般に、撮影者の操作では上述した
従来例の位置決め装置のように一定速度で正確な位置決
めをすることができない。例えば、一定時間ごとに画像
画像記憶回路に取り込んで画像処理を行った場合、必要
以上に低速で移動した箇所では冗長な情報が増え、非常
に大きな画像メモリ容量が必要となり、形状解析に長い
時間を要してしまう。更には、解析した立体形状のデー
タも不必要に細かくなり、後のＣＧ生成にも必要以上の
処理時間と記憶容量を要してしまう。逆に、撮影者が高
速に撮像装置を動かした場合、立体形状を解析するため
に必要な情報が不足し、解析精度が低下する。最悪の場
合、被写体の特定の側面の画像が取得できなければ、そ
の部分の形状情報が欠落してしまうことがある。

【００１３】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その目的と
するところは、画像を記憶する記憶手段の記憶容量を最
小限に止めることができると共に、画像に対して施す処
理の時間を短縮することができ、しかも撮影後の処理や
表示を行う際に不都合を生じることがないようにした撮
像方法及び装置を提供しようとするものである。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に請求項１記載の撮像方法は、被写体画像を撮像する撮
像ステップと、情報を記憶処理する記憶処理ステップ
と、被写体と撮像装置本体との相対的関係を検出する撮
像条件検出ステップと、前記記憶処理動作を制御する制
御ステップとを具備し、前記制御ステップは、前記撮像
条件検出ステップの出力に応じて前記記憶処理動作を制
御することを特徴とするものである。

【００１５】また、上記目的を達成するために請求項２
記載の撮像方法は、被写体画像を撮像する撮像ステップ
と、前記撮像ステップで撮像した撮像画像を解析処理す
る画像解析処理ステップと、被写体と撮像装置本体との
相対的関係を検出する撮像条件検出ステップと、前記画
像解析処理動作を制御する画像解析処理制御ステップと
を具備し、前記画像解析処理制御ステップは、前記撮像
条件検出ステップの出力に応じて前記画像解析処理動作
を制御することを特徴とするものである。

【００１６】また、上記目的を達成するために請求項３
記載の撮像方法は、請求項１記載の撮像方法において、
前記記憶処理制御ステップは、前記被写体と撮像装置本
体との相対的関係に関する情報を前記撮像ステップで撮
像した撮像画像と共に前記記憶処理ステップで記憶する
ように制御することを特徴とするものである。

【００１７】また、上記目的を達成するために請求項４
記載の撮像方法は、請求項２記載の撮像方法において、
前記画像解析処理ステップは、複数の画像を用いて被写
体の立体形状及び表面画像を取得する解析演算を行うこ
とを特徴とするものである。また、上記目的を達成する
ために請求項５記載の撮像方法は、請求項１または２記
載の撮像方法において、前記撮像条件検出ステップは、
撮像装置本体の角度及び平行移動の運動を検出するセン
サーを用いて行うことを特徴とするものである。

【００１８】また、上記目的を達成するために請求項６
記載の撮像方法は、請求項１または２記載の撮像方法に
おいて、前記撮像条件検出ステップは、撮像装置本体で
撮像した被写体画像及びその周囲の画像を解析し、前記
撮像ステップで撮像した撮像画像の状態変化によって前
記撮像装置本体の角度及び平行移動の運動を検出するこ
とを特徴とするものである。

【００１９】また、上記目的を達成するために請求項７
記載の撮像方法は、請求項１または２記載の撮像方法に
おいて、前記撮像条件検出ステップは、前記撮像装置本
体で撮像した被写体画像及びその周囲の画像を解析し、
画像を解析する際に発生するエラー信号を基に被写体と
撮像装置本体との相対的位置関係の変化を検出すること
を特徴とするものである。

【００２０】また、上記目的を達成するために請求項８
記載の撮像方法は、請求項１または２記載の撮像方法に
おいて、前記撮像条件検出ステップは、前記撮像装置本
体で撮像した被写体画像を解析し、被写体のオクルージ
ョン状態の変化を検出することを特徴とするものであ
る。

【００２１】また、上記目的を達成するために請求項９
記載の撮像方法は、請求項１または２記載の撮像方法に
おいて、前記撮像条件検出ステップは、前記撮像装置本
体で撮像した被写体画像を解析し、時系列被写体画像間
の重複領域面積を検出することを特徴とするものであ
る。

【００２２】また、上記目的を達成するために請求項１
０記載の撮像方法は、請求項１または２記載の撮像方法
において、前記撮像条件検出ステップは、前記撮像装置
本体で撮像した被写体画像を解析し、被写体の距離画像
の変化を検出することを特徴とするものである。

【００２３】また、上記目的を達成するために請求項１
１記載の撮像方法は、請求項２記載の撮像方法におい
て、前記撮像条件検出ステップは、記憶処理及び解析処
理を行わない期間においては、前記撮像ステップ及び画
像解析処理ステップを停止させることを特徴とするもの
である。

【００２４】また、上記目的を達成するために請求項１
２記載の撮像装置は、被写体画像を撮像する撮像手段
と、情報を記憶処理する記憶処理手段と、被写体と撮像
装置本体との相対的関係を検出する撮像条件検出手段
と、前記記憶処理手段を制御する記憶処理制御手段とを
具備し、前記記憶処理制御手段は、前記撮像条件検出手
段の出力に応じて前記記憶処理手段を制御することを特
徴とするものである。

【００２５】また、上記目的を達成するために請求項１
３記載の撮像装置は、被写体画像を撮像する撮像手段
と、前記撮像手段で撮像した撮像画像を解析処理する画
像解析処理手段と、被写体と撮像装置本体との相対的関
係を検出する撮像条件検出手段と、前記画像解析処理手
段を制御する画像解析処理制御手段とを具備し、前記画
像解析処理制御手段は、前記撮像条件検出手段の出力に
応じて前記画像解析処理手段を制御することを特徴とす
るものである。

【００２６】また、上記目的を達成するために請求項１
４記載の撮像装置は、請求項１２記載の撮像装置におい
て、前記記憶処理制御手段は、前記被写体と撮像装置本
体との相対的関係に関する情報を前記撮像手段で撮像し
た撮像画像と共に前記記憶処理手段に記憶するように制
御することを特徴とするものである。

【００２７】また、上記目的を達成するために請求項１
５記載の撮像装置は、請求項１３記載の撮像装置におい
て、前記画像解析処理手段は、複数の画像を用いて被写
体の立体形状及び表面画像を取得する解析演算を行うこ
とを特徴とするものである。また、上記目的を達成する
ために請求項１６記載の撮像装置は、請求項１２または
１３記載の撮像装置において、前記撮像条件検出手段
は、撮像装置本体の角度及び平行移動の運動を検出する
センサーにより構成されていることを特徴とするもので
ある。

【００２８】また、上記目的を達成するために請求項１
７記載の撮像装置は、請求項１２または１３記載の撮像
装置において、前記撮像条件検出手段は、前記撮像装置
本体で撮像した被写体画像及びその周囲の画像を解析
し、前記撮像手段で撮像した撮像画像の状態変化によっ
て前記撮像装置本体の角度及び平行移動の運動を検出す
ることを特徴とするものである。

【００２９】また、上記目的を達成するために請求項１
８記載の撮像装置は、請求項１２または１３記載の撮像
装置において、前記撮像条件検出手段は、前記撮像装置
本体で撮像した被写体画像及びその周囲の画像を解析
し、画像を解析する際に発生するエラー信号を基に被写
体と撮像装置本体との相対的位置関係の変化を検出する
ことを特徴とするものである。

【００３０】また、上記目的を達成するために請求項１
９記載の撮像装置は、請求項１２または１３記載の撮像
装置において、前記撮像条件検出手段は、前記撮像装置
本体で撮像した被写体画像を解析し、被写体のオクルー
ジョン状態の変化を検出することを特徴とするものであ
る。

【００３１】また、上記目的を達成するために請求項２
０記載の撮像装置は、請求項１２または１３記載の撮像
装置において、前記撮像条件検出手段は、前記撮像装置
本体で撮像した被写体画像を解析し、時系列被写体画像
間の重複領域面積を検出することを特徴とするものであ
る。

【００３２】また、上記目的を達成するために請求項２
１記載の撮像装置は、請求項１２または１３記載の撮像
装置において、前記撮像条件検出手段は、前記撮像装置
本体で撮像した被写体画像を解析し、被写体の距離画像
の変化を検出することを特徴とするものである。

【００３３】また、上記目的を達成するために請求項２
２記載の撮像装置は、請求項１３記載の撮像装置におい
て、前記撮像条件検出手段は、記憶処理及び解析処理を
行わない期間においては、前記撮像手段及び画像解析処
理手段を停止させることを特徴とするものである。

【００３４】

【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図８に基づき説明する。

【００３５】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図６に基づき説明する。図１は、
本発明の第１の実施の形態に係る撮像装置である自動撮
像装置１００の構成と使用状況の概念を示す図を示す図
であり、同図において、上述した従来例の図９と同一部
分には同一符号が付してある。図１において図９と異な
る点は、図９の構成に姿勢検出センサー１２８、処理制
御回路１２９及び被写体認識回路１３０を付加したこと
である。なお、図１において１４２，１４３は信号線で
ある。

【００３６】本発明の自動撮像装置１００では、撮像条
件検出手段として複数の手段が使用可能であり、例えば
図１おける姿勢検出センサー１２８、撮像パラメータ検
出回路１２３、被写体認識回路１３０及び対応点抽出回
路１２２が相当する。

【００３７】以下、各構成要素を使用した場合の動作に
ついて説明する。

【００３８】まず、一括処理モードの動作を例に挙げて
説明する。自動撮像装置１００では、姿勢検出センサー
１２８によって常に回転角度や移動量を検出しており、
処理制御回路１２９は自動撮像装置１００が所定の位置
及び角度だけ変化するごとに、映像信号を映像信号記憶
回路１２０，１２１に取り込むように処理制御する。そ
して、被写体１０１の周りを１周回したことを姿勢検出
センサー１２８によって検出した場合、処理制御回路１
２９は映像信号記憶回路１２０，１２１から画像を取り
出し、対応点抽出回路１２２、撮像パラメータ検出回路
１２３及び立体情報統合回路１２５の一括処理を開始さ
せる。

【００３９】図２は姿勢検出センサー１２８の詳細構成
を示す図である。同図に示すように３個の小型振動ジャ
イロ２０１，２０２，２０３が互いに直交するように配
置されており、それぞれ自動撮像装置１００の回転角速
度（ピッチ、ヨー、ロール）を独立に検出している。積
分器２０３，２０４，２０５は検出値をそれぞれ積分
し、自動撮像装置１００の回転角度に変換する。撮影者
が被写体１０１を常に画面に収まるように撮影している
場合、この自動撮像装置１００自体の回転角度は自動撮
像装置１００が被写体１０１の周りをどの程度周回した
かという情報にほぼ匹敵する。この情報を基に処理制御
回路１２９はピッチ方向、ヨー方向のいずれかの角度が
所定の角度変化した場合に、画像を記憶するように制御
する。ロール方向の変化は直接的には処理制御に関わら
ないが、自動撮像装置１００が大きくロールし、ピッチ
とヨーの情報が混合して出力されてしまうような場合
に、これらの出力を正確に分離するために使用される。
この角速度センサーを使用した構成は、非常に小型に構
成することができ且つセンサーの感度が高く、積分回数
が１度だけなので非常に精度が高いという効果を奏す
る。

【００４０】姿勢検出センサー１２８は、その他に加速
度センサーで加速度を検出してもよい。

【００４１】図３は姿勢検出センサー１２８を構成する
加速度センサー３０１，３０２，３０３，３０４，３０
５，３０６の配置を示す図であり、一般的に加速度セン
サーは直線方向の振動のみの検出であるため、同図に示
すように２個１組として平行に配置する。３１０〜３１
５はそれぞれ２回積分を行う積分回路であり、それぞれ
の加速度センサー出力を２回積分し、位置移動量を算出
する。２個１組の加速度センサーからチャンネルからの
積分出力を互いに加算することで、２個１組の加速度セ
ンサーの取り付け方向の並進成分（Ｘ，Ｙ，Ｚ）、互い
に減算することで回転成分（α，β，γ）を求めること
ができる。そのため、加算回路３２０，３２１，３２２
と、減算回路３３０，３３１，３３２が設けられてい
る。

【００４２】処理制御回路１２９では、自動撮像装置１
００が被写体１０１に対してどれだけ相対的に移動した
かを判断し、映像信号記憶回路１２０，１２１に画像を
取り込むタイミングを制御する。この検出方式は、セン
サー構成が複雑であるが、自動撮像装置１００の全ての
自由度（横Ｘ、縦Ｙ、前後Ｚ、ピッチα、ヨーβ、ロー
ルγ）を同時に検出することができるため、正確に被写
体１０１に対する視点変化を検出することができるとい
う効果を奏する。

【００４３】更に、非接触体に２物体間の相対位置関係
を検出する幾つかの方法について、”Survey of helmet
tracking technologies”SPIE Vol. 1456 Large-Scree
n-Projection,Avionic,and Helmet-Mounted Displays(1
991)p.86（以下、資料と称する）に各方式の原理、特質
等について説明がある。

【００４４】自動撮像装置１００の姿勢検出センサー１
２８にも、これらの原理は適応可能である。この資料に
カメラで撮像した輝点像から相対位置を解析する概念が
記載されているが、自動撮像装置１００にこの手法を適
応する場合、図１における信号線１４２，１４３を使用
して撮像パラメータ検出回路１２３を映像信号記憶回路
１１８，１１９を介さずに常に動作させる。この撮像パ
ラメータ検出回路１２３で既知の輝点パターンの像を解
析し、自動撮像装置１００の移動量及び姿勢を検出す
る。

【００４５】図４は自動撮像装置１００の画像記憶タイ
ミングの一例を示す図である。同図において、４００は
撮影者が手持ちで自動撮像装置１００を被写体１０１の
周りを移動させた場合の軌跡である。４０１は撮影を開
始した位置で、最初の画像を記憶するタイミングの位置
である。続いて４０２，４０３，４０４，４０５，…４
０９は、移動量（Ｘ，Ｙ）、或いは撮像系が被写体１０
１を向いているという前提で回転角（α，β）が所定の
量だけ変化があったタイミングの位置で、この位置４０
２，４０３，４０４，４０５，…４０９のタイミングで
画像を記憶する。１回転し終わった位置４０９のタイミ
ングでは座標Ｘ、回転角βは位置４０１の値と同等にな
るが、その他の値（Ｙ，Ｚ，α，γ）は必ずしも一致し
ない。しかし、自動撮像装置１００では開始点と終了点
が厳密に一致している必要はなく、Ｙ，Ｚ，αが所定の
値より小さいときは、Ｘ及びβが一致した時点で画像取
り込みを終了する。

【００４６】自動撮像装置１００は必ずしも地面に水平
な面内に運動させて撮影するわけではなく、被写体１０
１の上を通るような撮影方法もある。図４の４１０は撮
影者が手持ちで自動撮像装置１００を被写体１０１の上
を通るように移動させて撮影した場合の軌跡である。４
１１，４１２，４１３，…４１９は記憶するタイミング
の位置である。この撮影モードの場合は、Ｘ，βではな
く、Ｙ，αの値を検出して画像取り込み制御を行い、α
が１８０度変化した時点で画像取り込みを終了する。

【００４７】図５は上記図４の位置４０１〜４０５のタ
イミングで画像取り込みを行った場合の入力画像の一例
を示す図である。同図（ａ），（ｂ），（ｃ）からも分
かるように被写体１０１を僅かに異なった視点から順次
眺めたような時系列画像となる。

【００４８】図６は上記とは異なった画像の取り込みタ
イミングの一例を示す図である。この例では撮像倍率を
大きく設定した撮像ユニットを用いて被写体１０１が画
面に入り切らないような撮影方法をとった場合で、自動
撮像装置１００をほぼＸ方向に移動させて撮影した状況
を示している。このような撮影方法においては、各画面
で過去に撮影した画像と重複領域が所定の面積になった
とき、即ち図６（ｂ），（ｃ）で斜線で示している部分
が所定の面積になるタイミングで、撮影画像を映像信号
記憶回路１２０，１２１に取り込む。この方式は撮像倍
率を大きく設定しているため、被写体１０１の詳細な画
像や形状が解析でき、更に処理制御回路１２９の作用で
途切れのない画像を安定して取り込むことができる。

【００４９】以上、自動撮像装置１００の位置及び角度
から信号の記憶・処理の制御を行う場合を例として説明
したが、以下に述べるように被写体１０１の画像自体を
解析して記憶・処理の制御を行ってもよい。

【００５０】例えば、図１における被写体認識回路１３
０を使用する。この被写体認識回路１３０は映像信号の
時系列的変化から、被写体画像の変化を検出する。例え
ば、過去の画像との差分を検出し、その差分が所定量の
値になったとき映像信号を取り込む。この方法は直接的
に自動撮像装置１００の動きを検出しているのではない
ため、処理タイミングの精度は低いが処理が簡単でセン
サーを新たに設ける必要がないため、自動撮像装置１０
０全体を小型にすることができる。

【００５１】更に、図１における対応点抽出回路１２２
を常時動作させて、この対応点抽出回路１２２から出力
される距離画像データを解析することで処理制御を行っ
てもよい。自動撮像装置１００が所定量移動した場合、
検出された距離画像もそれに伴って変化する。この距離
画像の時間変化が所定量になった場合画像取り込みを行
えばよい。この方法では、被写体１０１に凹凸が大きい
部分があった場合、撮像系の位置変化が少なくても大き
な信号が出力されるため、凹凸があると狭い間隔で、そ
うでないときは広い間隔で画像取り込みを行うという動
作になる。一般的に、凹凸部は詳細に形状解析したいの
で、この方法によれば、より効率的な画像取り込みを行
うことができる。

【００５２】同様に図１における対応点抽出回路１２２
から出力されるエラー信号を利用する方法もある。ここ
でいうエラー信号とは、左右撮像ユニットから得られた
映像信号の対応点を画素ごとに見つける際に、対応点が
正しく見つけられなかった画素位置を示す情報である。
このような現象は、一方の撮像ユニットでは見えている
部分が、他方の撮像ユニットでは見えないという、所謂
オクルージョンが発生している場合、照明からの直接反
射光が一方だけの撮像ユニットに入射する等、左右の撮
像ユニットで照明条件が著しく異なる場合、被写体１０
１の表面が平坦でテクスチャがないため対応点を探すこ
とができない場合等がある。しかし、これらの撮像条件
は、撮像装置の視点を変えれば容易に対応点抽出が行え
てエラーが生じない場合がある。

【００５３】自動撮像装置１００では、このような対応
点抽出回路１２２のエラー出力が時系列的に変化するタ
イミングで処理制御を行い画像取り込みを行う。この方
式では、オクルージョン等により一時刻では正確に検出
できなかった被写体１０１の特徴を、他の時刻の画像で
情報を補うことができるので、凹凸が激しい被写体等で
も効率よく立体形状を抽出することができる。

【００５４】次に処理制御回路１２９が制御する処理の
流れについて説明する。上記説明では、一括処理モード
における映像信号記憶回路１２０，１２１への画像取り
込みタイミングについて説明したが、自動撮像装置１０
０は、被写体１０１を撮影しながら形状抽出処理を行う
逐次処理モードも有している。この場合も必要以上に多
くの画像を処理することは対応点抽出回路１２２，１２
３及び立体情報統合回路１２５の演算量が増え、信号線
１４０，１４１からの出力データが大きくなるため、バ
ッファ回路１２６，１２７も大きな記憶容量が必要とな
ってしまう。

【００５５】そこで、上述した姿勢検出センサー１２８
及び撮影画像の情報を利用して、処理制御回路１２９は
対応点抽出回路１２２，１２３及び立体情報統合回路１
２５の処理開始時刻を制御する。具体的には、図４にお
ける軌跡４００に沿って自動撮像装置１００が移動した
場合、まず、位置４０１で撮影した画像を対応点抽出回
路１２２，１２３で処理して距離画像を抽出する。続い
て、たとえ位置４０２に移動する前に処理が終了して
も、その間に取得した画像を処理せずに対応点抽出回路
１２２，１２３を停止させる。その間、撮像素子１１
４，１１５から得られる映像信号は読み捨てるか、更に
はシャッター１１２，１１３を閉じ、撮像素子１１４，
１１５の走査を停止させる。このことで、自動撮像装置
１００内で消費電力が大きい画像処理回路や撮像素子１
１４，１１５周辺の回路の消費電力を削減することがで
きる。続いて、自動撮像装置１００が図４における位置
４０２に位置した場合、撮像素子１１４，１１５の垂直
走査開始に合わせて対応点抽出回路１２２，１２３及び
立体情報統合回路１２５の処理を開始させる。

【００５６】ここで、自動撮像装置１００の移動が速く
処理が間に合わない場合、映像信号記憶回路１２０，１
２１には処理しきれなかった画像を順次記憶しておく。
処理制御回路１２９は対応点抽出回路１２２，１２３の
処理が終了したことを検出して、次の画像を映像信号記
憶回路１２０，１２１から処理回路へ転送する。

【００５７】上述した実施の形態では、２つの撮像ユニ
ットを用いた場合を例示して説明したが、本発明の画像
取り込みタイミング制御に関しては、１つの撮像ユニッ
トを用いて立体形状を解析するようにした装置に関して
も同様に適応することができる。

【００５８】以上詳述したように本実施の形態に係る撮
像装置によれば、被写体１０１と撮像装置１００との位
置・角度関係及び被写体画像の変化の状態に応じて、画
像取り込み制御及び処理開始制御を行うことで、映像信
号記憶回路１２０，１２１、バッファ回路１２６，１２
７の容量を最小限に削減することができ、複雑な画像処
理工程を最小限の時間で処理することができるという効
果を奏する。

【００５９】（第２の実施の形態）次に本発明の第２の
実施の形態を図７及び図８に基づき説明する。

【００６０】本実施の形態は、被写体の周りを周回する
ように撮影して画像情報をそのまま記憶し、ＣＧではな
く取り込んだ画像をそのまま選択して表示するシステム
に適応したものである。ここでは臨場感を得やすくする
ため２つの撮像ユニットを設け、立体ディスプレイで立
体画表示を行う場合を例示するが、本発明の画像取り込
みタイミングについては、撮像ユニットは１つの系にお
いても同様である。

【００６１】図７は本実施の形態に係る撮像装置７００
の構成及び画像取得時の操作概念を示す図であり、同図
において上述した第１の実施の形態における図１と同一
部分には同一符号が付してある。図７において図１と異
なる点は、図１の構成から対応点抽出回路１２２、撮像
パラメータ検出回路１２３、ＲＯＭ１２４、立体情報統
合回路１２５、バッファ回路１２６，１２７等の立体画
像解析に関する回路を削除すると共に、図１の構成に撮
像条件記憶回路７０２を付加したことである。

【００６２】本実施の形態において映像信号記憶回路１
２０，１２１は撮像条件記憶回路７０２と共に撮像装置
７００から着脱可能な記憶ユニット７０１に収まってお
り、撮影が終了した後には、この記憶ユニット７０１を
取り外して別個に持ち運べるようになっている。

【００６３】本実施の形態に係る撮像装置７００では、
姿勢検出センサー１２８で検出した撮像位置・角度の情
報を、撮影画像と同時に撮像条件記憶回路７０２に記憶
する。

【００６４】本実施の形態に係る撮像装置７００におけ
るその他の構成及び作用は上述した第１の実施の形態に
係る撮像装置１００と同一であるから、その説明は省略
する。

【００６５】図８は本実施の形態に係る撮像装置７００
で撮影した画像を表示する画像表示手段の構成を示す図
である。同図において、８０１は画像再生部、８０２は
立体ディスプレイ、８０３は３次元マウス、８０４は座
標比較回路である。記憶ユニット７０１には被写体１０
１の周囲の画像とその撮影方向と位置の情報が記憶され
ている。そして、３次元マウス８０３を用いて操作者が
被写体１０１を観測したい方向を指示すると、座標比較
回路８０４は指示した観測方向の画像が撮像条件記憶回
路７０２に記憶されているか否かを判断する。そして、
指示した観測方向の画像が記憶されている場合は映像信
号記憶回路１２０，１２１から画像データを取り出して
立体ディスプレイ８０３に表示する。また、指示した観
測方向の画像が記憶されていない場合はそれに最も近い
画像を見つけて立体ディスプレイ８０３に表示する。

【００６６】このような撮像・表示システムは、立体画
像を数値情報として算出するのではなく、記憶した画像
を操作者が希望する視点方向の画像を選択して表示する
もので、離散的ではあるがほぼ任意の方向から見た被写
体画像を瞬時に表示することができるので、あたかもそ
こに実物体があるかのように感じることができる。

【００６７】以上詳述したように本実施の形態に係る撮
像装置７００によれば、操作者が一定の速度で周回しな
くても、適切な位置で画像を適宜取り込むので、表示画
像の観察者の指示に比較的近い画像を常に提供すること
ができるという効果を奏する。

【００６８】

【発明の効果】以上詳述したように本発明の請求項１及
び請求項１２の撮像方法及び装置によれば、画像表示及
び立体形状解析に使用する画像を、常に必要最小限な容
量を記憶するように動作するので、記憶処理手段の記憶
容量を小さく、立体形状解析処理手段の動作時間を短縮
することができ、必要な画像をとり損なうことなく、装
置全体のコンパクト化及び低価格化を実現することがで
きるという効果を奏する。

【００６９】また、本発明の請求項２及び請求項１３の
撮像方法及び装置によれば、立体形状解析に使用する画
像を、常に必要最小限な画像のみ解析処理するように動
作するので、立体形状解析の動作時間を短縮し、必要な
画像を取り損なうことなく、装置全体のコンパクト化及
び低価格化を実現することができるという効果を奏す
る。

【００７０】また、本発明の請求項３及び請求項１４の
撮像方法及び装置によれば、撮像画像と、その画像を撮
像したときの撮像装置の位置情報等が同時に記憶される
ように動作するので、画像再生時に観察者が指示した希
望する観測方向情報と容易に比較でき、瞬時に適切な画
像を表示することができるという効果を奏する。

【００７１】また、本発明の請求項４及び請求項１５の
撮像方法及び装置によれば、被写体の立体形状と表面画
像の情報を取得できるので、コンピュータグラフィック
スでテクスチャマッピング等の手法により被写体像を生
成することにより、観測方向や距離、立体形状や表面状
態を観察者により自由に変更することができるという効
果を奏する。

【００７２】また、本発明の請求項５及び請求項１６の
撮像方法及び装置によれば、撮像装置が被写体に対して
所定の位置・角度関係だけ移動する度に画像を記憶・処
理するように動作するので、簡単な装置構成で空間上に
ほぼ定間隔なサンプリング位置を設けることができると
いう効果を奏する。

【００７３】また、本発明の請求項６及び請求項１７の
撮像方法及び装置によれば、撮像画像の状態が変化する
度に画像を記憶・処理するように動作するので、被写体
構造の複雑さに応じて画像をサンプリングする間隔が適
切に変化するという効果を奏する。

【００７４】また、本発明の請求項７及び請求項１８の
撮像方法及び装置によれば、画像を解析する際に生じる
エラー信号が変化する度に画像を記憶・処理するように
動作するので、ある時刻で解析できなかった被写体領域
の形状情報を、異なった時刻の画像で解析した情報で補
うことができるため、常に正確な立体形状データを出力
することができるという効果を奏する。

【００７５】また、本発明の請求項８及び請求項１９の
撮像方法及び装置によれば、特定方向から撮像した画像
では写らなかった被写体領域を、他方向から撮像した被
写体領域画像で補うように動作するので、複雑な形状の
被写体に対しても解析ができない領域が非常に少なく、
全体的に精度の高い情報を出力できるという効果を奏す
る。

【００７６】また、本発明の請求項９及び請求項２０の
撮像方法及び装置によれば、常に画像間の重腹部が所定
の面積になるように画像を記憶・処理するように動作す
るので、特に高倍率撮像を行った場合に、画像同志のつ
なぎ目解析を画像から所定の精度で行うことができ且つ
必要な画像を取り損なうことがないという効果を奏す
る。

【００７７】また、本発明の請求項１０及び請求項２１
の撮像方法及び装置によれば、距離画像が所定の量だけ
変化した場合に画像を記憶・処理するように動作するの
で、立体形状が複雑な被写体領域でより多くのサンプリ
ングを行い、精度の高い立体形状データを出力すること
ができるという効果を奏する。

【００７８】更に、本発明の請求項１１及び請求項２２
の撮像方法及び装置によれば、画像記憶・処理を行わな
い期間には、消費電力が比較的多い撮像手段及び画像解
析手段を停止させるよう動作するため、消費電力を大幅
に節約することができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る撮像装置の構
成と使用状況の概念を示す図である。

【図２】同装置における姿勢検出センサーの構成を示す
図である。

【図３】同装置における姿勢検出センサーを構成する加
速度センサーの配置構成を示す図である。

【図４】同装置における画像取り込みタイミングの一例
を示す図である。

【図５】同装置における撮像画像の一例を示す図であ
る。

【図６】同装置における撮像画像の一例を示す図であ
る。

【図７】本発明の第２の実施の形態に係る撮像装置の構
成と使用状況の概念を示す図である。

【図８】同装置における立体画像表示手段の構成を示す
図である。

【図９】従来の撮像装置の構成と使用状況の概念を示す
図である。

【符号の説明】

１００自動撮像装置１０１被写体１０２パッド１０３ａパッド上の輝点１０３ｂパッド上の輝点１０３ｃパッド上の輝点１１０撮像レンズ１１１撮像レンズ１１２シャッター１１３シャッター１１４撮像素子１１５撮像素子１１６制御回路１１７制御回路１１８映像信号処理回路１１９映像信号処理回路１２０映像信号記憶回路１２１映像信号記憶回路１２２対応点抽出回路１２３撮像パラメータ検出回路１２４ＲＯＭ１２５立体情報統合回路１２６バッファ回路１２７バッファ回路１２８姿勢検出センサー１２９処理制御回路１３０被写体認識回路１４０信号線１４１信号線１４２信号線１４３信号線２０１小型振動ジャイロ２０２小型振動ジャイロ２０３小型振動ジャイロ２０４積分器２０５積分器２０６積分器３０１加速度センサー３０２加速度センサー３０３加速度センサー３０４加速度センサー３０５加速度センサー３０６加速度センサー３１０積分器３１１積分器３１２積分器３１３積分器３１４積分器３１５積分器３２０加算回路３２１加算回路３２２加算回路３３０減算回路３３１減算回路３３２減算回路７０２撮像条件記憶回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者石川基博東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】被写体画像を撮像する撮像ステップと、
情報を記憶処理する記憶処理ステップと、被写体と撮像
装置本体との相対的関係を検出する撮像条件検出ステッ
プと、前記記憶処理動作を制御する制御ステップとを具
備し、前記制御ステップは、前記撮像条件検出ステップ
の出力に応じて前記記憶処理動作を制御することを特徴
とする撮像方法。
【請求項２】被写体画像を撮像する撮像ステップと、
前記撮像ステップで撮像した撮像画像を解析処理する画
像解析処理ステップと、被写体と撮像装置本体との相対
的関係を検出する撮像条件検出ステップと、前記画像解
析処理動作を制御する画像解析処理制御ステップとを具
備し、前記画像解析処理制御ステップは、前記撮像条件
検出ステップの出力に応じて前記画像解析処理動作を制
御することを特徴とする撮像方法。
【請求項３】前記記憶処理制御ステップは、前記被写
体と撮像装置本体との相対的関係に関する情報を前記撮
像ステップで撮像した撮像画像と共に前記記憶処理ステ
ップで記憶するように制御することを特徴とする請求項
１記載の撮像方法。
【請求項４】前記画像解析処理ステップは、複数の画
像を用いて被写体の立体形状及び表面画像を取得する解
析演算を行うことを特徴とする請求項２記載の撮像方
法。
【請求項５】前記撮像条件検出ステップは、撮像装置
本体の角度及び平行移動の運動を検出するセンサーを用
いて行うことを特徴とする請求項１または２記載の撮像
方法。
【請求項６】前記撮像条件検出ステップは、撮像装置
本体で撮像した被写体画像及びその周囲の画像を解析
し、前記撮像ステップで撮像した撮像画像の状態変化に
よって前記撮像装置本体の角度及び平行移動の運動を検
出することを特徴とする請求項１または２記載の撮像方
法。
【請求項７】前記撮像条件検出ステップは、前記撮像
装置本体で撮像した被写体画像及びその周囲の画像を解
析し、画像を解析する際に発生するエラー信号を基に被
写体と撮像装置本体との相対的位置関係の変化を検出す
ることを特徴とする請求項１または２記載の撮像方法。
【請求項８】前記撮像条件検出ステップは、前記撮像
装置本体で撮像した被写体画像を解析し、被写体のオク
ルージョン状態の変化を検出することを特徴とする請求
項１または２記載の撮像方法。
【請求項９】前記撮像条件検出ステップは、前記撮像
装置本体で撮像した被写体画像を解析し、時系列被写体
画像間の重複領域面積を検出することを特徴とする請求
項１または２記載の撮像方法。
【請求項１０】前記撮像条件検出ステップは、前記撮
像装置本体で撮像した被写体画像を解析し、被写体の距
離画像の変化を検出することを特徴とする請求項１また
は２記載の撮像方法。
【請求項１１】前記撮像条件検出ステップは、記憶処
理及び解析処理を行わない期間においては、前記撮像ス
テップ及び画像解析処理ステップを停止させることを特
徴とする請求項２記載の撮像方法。
【請求項１２】被写体画像を撮像する撮像手段と、情
報を記憶処理する記憶処理手段と、被写体と撮像装置本
体との相対的関係を検出する撮像条件検出手段と、前記
記憶処理手段を制御する記憶処理制御手段とを具備し、
前記記憶処理制御手段は、前記撮像条件検出手段の出力
に応じて前記記憶処理手段を制御することを特徴とする
撮像装置。
【請求項１３】被写体画像を撮像する撮像手段と、前
記撮像手段で撮像した撮像画像を解析処理する画像解析
処理手段と、被写体と撮像装置本体との相対的関係を検
出する撮像条件検出手段と、前記画像解析処理手段を制
御する画像解析処理制御手段とを具備し、前記画像解析
処理制御手段は、前記撮像条件検出手段の出力に応じて
前記画像解析処理手段を制御することを特徴とする撮像
装置。
【請求項１４】前記記憶処理制御手段は、前記被写体
と撮像装置本体との相対的関係に関する情報を前記撮像
手段で撮像した撮像画像と共に前記記憶処理手段に記憶
するように制御することを特徴とする請求項１２記載の
撮像装置。
【請求項１５】前記画像解析処理手段は、複数の画像
を用いて被写体の立体形状及び表面画像を取得する解析
演算を行うことを特徴とする請求項１３記載の撮像装
置。
【請求項１６】前記撮像条件検出手段は、撮像装置本
体の角度及び平行移動の運動を検出するセンサーにより
構成されていることを特徴とする請求項１２または１３
記載の撮像装置。
【請求項１７】前記撮像条件検出手段は、前記撮像装
置本体で撮像した被写体画像及びその周囲の画像を解析
し、前記撮像手段で撮像した撮像画像の状態変化によっ
て前記撮像装置本体の角度及び平行移動の運動を検出す
ることを特徴とする請求項１２または１３記載の撮像装
置。
【請求項１８】前記撮像条件検出手段は、前記撮像装
置本体で撮像した被写体画像及びその周囲の画像を解析
し、画像を解析する際に発生するエラー信号を基に被写
体と撮像装置本体との相対的位置関係の変化を検出する
ことを特徴とする請求項１２または１３記載の撮像装
置。
【請求項１９】前記撮像条件検出手段は、前記撮像装
置本体で撮像した被写体画像を解析し、被写体のオクル
ージョン状態の変化を検出することを特徴とする請求項
１２または１３記載の撮像装置。
【請求項２０】前記撮像条件検出手段は、前記撮像装
置本体で撮像した被写体画像を解析し、時系列被写体画
像間の重複領域面積を検出することを特徴とする請求項
１２または１３記載の撮像装置。
【請求項２１】前記撮像条件検出手段は、前記撮像装
置本体で撮像した被写体画像を解析し、被写体の距離画
像の変化を検出することを特徴とする請求項１２または
１３記載の撮像装置。
【請求項２２】前記撮像条件検出手段は、記憶処理及
び解析処理を行わない期間においては、前記撮像手段及
び画像解析処理手段を停止させることを特徴とする請求
項１３記載の撮像装置。