JP6322126B2 - 変化検出装置、変化検出方法、および、変化検出プログラム - Google Patents

Description

本発明は、変化検出装置、変化検出方法、および、変化検出プログラムに関する。

近年、動的なセンシング情報を取得するための新たなセンサプラットフォームとして、画像センサを搭載した無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が実用化されつつある。ＵＡＶを用いたシステムは、有人の航空機を用いる場合に比べて、人的および物的被害を伴う墜落事故の影響が軽微であることに加え、運用コストの安さと騒音の大きさの点でも有利であるため、実用化に向けて、研究開発が盛んに行われている。

ＵＡＶは衛星や航空機に比べ、低空から機動的に高解像度で画像撮影できるため、豊富な情報を含む最新の地域画像が利用可能となる。主な用途としては、監視・偵察等、防衛分野への適用、災害発生時の被害状況の確認などが挙げられる。これらの分野では、元の状況からの変化を検出する処理が必要となるが、過去画像と、ＵＡＶで新たに撮影した空撮画像を照合して、差分比較を行う作業は、時に膨大な量となる。よって、人的作業ではなく、自動処理によって変化領域を検出する技術の導入が重要である。

過去に撮影した時点と、新たに撮影した時点で、季節や撮影時刻が異なると、日照条件の違いが生じる。画像の特徴点ベースで変化を検出しようとすると、日照条件の違いによる影の変化を差分として検出する可能性がある。ここで、有効と考えられる手段として、過去と現在の三次元形状を推定してから比較する方法である。

図１３（ａ）は、三次元形状を推定することで影の影響を除去できることを示す図である。ＵＡＶ１ｘで過去に撮影した画像（過去画像）は、太陽が高いため影が短く、ＵＡＶ１ｙで現在に撮影した画像（現在画像）は、太陽が低いため影が長い状況になる。このとき、画像から三次元形状を復元してから比較を行うことで、影の影響を排除して現在画像にのみ存在する変化領域１００ｘのみを検出することが可能になる。撮影した連続画像を、順次三次元復元する手法は、非特許文献１で開示されている。

図１３（ｂ）は、三次元形状のスケールが不定になることを示す図である。三次元形状を比較するときは、スケールが同一となるように位置合わせなどの調整が行われる。しかし、同じ被写体（ビル）であっても、遠方からのカメラ４０１ｘで撮影した場合と、近接からのカメラ４０１ｙで撮影した場合とで三次元形状同士のスケールが異なると、三次元形状間の位置合わせが上手くいかない場合がある。三次元上で一致点を探索する問題となり、スケール合わせ、回転、並進の全てが未知の状況では、探索が困難となるためである。

図１４は、比較例における変化検出処理を示すフローチャートである。以下、図１５を適宜参照しつつ、図１４の処理を説明する。
図１５は、比較例における変化検出処理で発生する歪みによる誤検出を示す図である。過去に風景１０１ｘを撮影した結果の過去画像群１０２ｘと、現在に風景１０１ｙを撮影した結果の現在画像群１０２ｙとを対象として、図１４の処理が行われる。
ここで、図１４のフローチャートは、処理を３種類に分けており、左列から順に、過去画像群１０２ｘだけを対象とした処理、過去画像群１０２ｘと現在画像群１０２ｙとの両画像を対象とした処理、現在画像群１０２ｙだけを対象とした処理である。

過去画像群１０２ｘから特徴点が検出され（Ｓ１１ｘ）、それらのＳ１１ｘの特徴点は過去画像群１０２ｘの画像間でマッチングされる（Ｓ１２ｘ）。そして、マッチングされた特徴点から、ＭＶＳ（多眼ステレオ）の手法を用いて、三次元点群の算出とカメラ位置姿勢の推定とが行われる（Ｓ１３ｘ）ことで、過去画像群１０２ｘに写っている三次元形状が復元される（Ｓ２２ｘ）。現在画像群１０２ｙからも同様に、三次元形状が復元される。

なお、過去画像と現在画像について、個別に三次元形状を復元する場合は、別センサの情報を利用したり、絶対的な尺度を図るためのマーカーを写したりして、それらを基準にスケールを合わせる方法が取られている。例えば、特許文献１では、マーカーを用いて過去画像と現在画像の三次元の位置合わせを行う手法について開示されている。

特開２００９−１２２３１５号公報

鈴木太郎, 目黒淳一, 天野嘉春, 橋詰匠, 廣川類, 辰己薫, 佐藤幸一, 瀧口純一, "小型自律飛行ロボットを用いた情報収集・計測による防災システムの構築," 第13回ロボティクスシンポジア予稿集, vol.13, pp.388-394, Mar. 2008.

独立した試行で復元された三次元形状は、異なる空間に投影写像され、同一被写体を写したものであっても、大きさが異なる場合がある。画像のみの情報では絶対的な尺度が得られず、小さいものを近くから撮ったか、大きいものを遠くから撮ったか確定できないためである。
前記した図１３（ｂ）では、推定されるカメラの位置姿勢と三次元特徴点がいくつもの組み合わせを取りうることを示唆している。例えば画像群１で三次元点群を算出したときは、スケールの小さい座標が得られるように、三次元特徴点とカメラの位置姿勢の推定処理が収束し、画像群２で三次元点群を算出したときには、スケールの大きい座標が得られるように処理が収束する。

スケールが異なる三次元形状同士の比較は、変化領域を検出するための位置合わせができないため、スケール合わせが必要になる。スケールを合わせる方法は、ＧＰＳ（Global Positioning System）を用いて、グラウンドトゥルースデータを得る方法や、固定の間隔でマーカーを設置、あるいは被写体自体のサイズが既知であることを活かして、その長さをもとに拡大縮小を行って絶対尺度を得る方法などがある。
例えば、過去の三次元形状１０３ｘを三次元形状１０４ｘとして拡大することで、現在の三次元形状１０３ｙに合うようにスケールを合わせてから（Ｓ３０ｘ）、それらの三次元形状間を比較し、比較結果である形状の差分を図１３（ａ）の変化領域１００ｘのようにして出力する（Ｓ３１ｘ）。

ここで、２つの異なる時点で撮影した画像から復元した三次元形状を比較する場合に、過去画像と現在画像のそれぞれを三次元形状復元する過程で重畳されるスケールと歪みの誤差が、変化領域として誤検出される。
例えば、図１５の符号１０５ｘに示すように、図１４の処理で復元される三次元形状は、特徴点の誤対応やノイズに起因して、カメラ位置姿勢の推定の誤差が蓄積して、歪みが生じていることがある。過去画像を用いて復元した三次元形状１０４ｘと、現在画像を用いて復元した三次元形状１０３ｙとでは、独立に異なる空間へ投影写像されていることから、歪み方が異なることが予想される。
またスケール不定を解消するための、倍率処理自体にも基準にする座標がずれている場合などに、誤差が累積し歪みを拡大する。累積した歪みは三次元形状を比較するときに、変化領域として誤検出される。このような問題を排除するためには、歪みを抑制するか、歪みの影響をなくす必要がある。

そこで、本発明は、異なる撮影条件で撮影された被写体間の差分を高精度に検出することを、主な課題とする。

前記課題を解決するために、本発明の変化検出装置は、
それぞれ異なる条件で撮影された第１画像群と第２画像群とが格納される記憶手段と、
前記第１画像群の第１画像内の非変化領域と、前記第２画像群の第２画像内の非変化領域とが対応する領域として撮影されている場合に、前記第１画像と前記第２画像との組み合わせと、その組み合わせの画像を撮影したときのカメラの位置および姿勢とを抽出する推定部と、
前記第１画像から検出される特徴点集合と、前記第１画像以外の前記第１画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第１の形状データを作成し、
前記第２画像から検出される特徴点集合と、前記第２画像以外の前記第２画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第２の形状データを作成する形状復元部と、
それぞれ作成された前記第１の形状データと前記第２の形状データとを比較して、その比較結果として形状が不一致である箇所を変化領域として出力する形状比較部とを有することを特徴とする。
その他の手段は、後記する。

本発明によれば、異なる撮影条件で撮影された被写体間の差分を高精度に検出することができる。

本発明の一実施形態に関する変化検出システムの装置図である。 本発明の一実施形態に関する検出装置の機能ブロック図である。 本発明の一実施形態に関する変化検出のメイン処理を示すフローチャートである。 本発明の一実施形態に関する変化検出のメイン処理の処理データを示す説明図である。 本発明の一実施形態に関する図５（ａ）は、特徴点検出部による特徴点検出処理を示す説明図である。図５（ｂ）は、特徴点マッチング部による特徴点マッチング処理を示す説明図である。図５（ｃ）は、三次元点群推定部による三次元特徴点の推定処理を示す説明図である。 本発明の一実施形態に関する特徴点ＤＢを示す構成図である。 本発明の一実施形態に関する特徴点マッチング部の処理を示すフローチャートである。 本発明の一実施形態に関する画像対応ＤＢを示す構成図である。 本発明の一実施形態に関する点群計算順制御部の処理を示すフローチャートである。 本発明の一実施形態に関する図１０（ａ）は、三次元点群ＤＢを示す構成図である。図１０（ｂ）は、カメラ位置ＤＢを示す構成図である。 本発明の一実施形態に関する三次元点補間部の処理を示すフローチャートである。 本発明の一実施形態に関するカメラ位置姿勢情報に着目して三次元点補間部の処理を示す説明図である。図１２（ａ）は、過去画像と現在画像から生成した三次元点群を示す。図１２（ｂ）は、現在画像の三次元点群を取り除いた三次元点群の部分集合を示す。 図１３（ａ）は、三次元形状を推定することで影の影響を除去できることを示す図である。図１３（ｂ）は、三次元形状のスケールが不定になることを示す図である。 比較例における変化検出処理を示すフローチャートである。 比較例における変化検出処理で発生する歪みによる誤検出を示す図である。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。以下の説明において、図中で同じ符号番号がついたものは、同様の動作を行うため、説明を省略する。同様の動作を行うが、一部動作が異なるものについては、数字の末尾にハイフンおよびアルファベットをつけて派生形であることを表す。

図１は、変化検出システムの装置図である。変化検出システムは、単眼のカメラとＵＡＶといった廉価な装置の組み合わせで取得した空撮画像から、その空撮画像内に撮影されている三次元形状の変化を検出する。この検出処理により、例えば、災害発生時の被害状況を確認させることができる。

撮影装置１は、ＵＡＶやＵＧＶ（Unmanned Ground Vehicle）などの移動体であり、三次元化に必要な視差が取れるよう、周囲を撮影する。
検出装置２は、撮影装置１から空撮画像を含めた各種データを集約して、三次元形状の変化を検出する。そのため、検出装置２は、例えば、ローカルＰＣやサーバーなどの演算能力が撮影装置１よりも高いコンピュータとして構成される。なお、検出装置２は、撮影装置１から充分な画像数が転送された場合に検出処理を開始してもよいし、画像を受け取る度に検出処理を開始してもよい。

撮影装置１は、カメラ４０１と、記憶装置４０２と、ＭＰＵ（Micro-Processing Unit）４０３と、ＤＳＰ（Digital Signal Processor）４０４と、ＮＷ Ｉ／Ｆ４０５とを有する（内蔵または外部接続する）。
カメラ４０１は、例えば、航空写真の撮影用カメラや監視カメラなど、移動したり回転したりするカメラである。
カメラ４０１で撮影した画像は、記憶装置４０２に書き込まれる。記憶装置４０２は、SDカードやフラッシュのような耐衝撃性の高い半導体メモリであることが望ましいが、大容量化のためＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）であってもよい。
ＭＰＵ４０３およびＤＳＰ４０４は、撮影装置１の動作などを制御する。ＮＷ Ｉ／Ｆ４０５は、有線および無線ネットワークに接続するためのインタフェースである。撮影した画像は、ＮＷ Ｉ／Ｆ４０５を介して、検出装置２に転送される。

検出装置２は、表示装置４１１と、記憶装置４１２と、ＣＰＵ（Central Processing Unit）４１３と、ＧＰＵ（Graphics Processing Unit）４１４と、メモリ４１５と、ＮＷ Ｉ／Ｆ４１６とを有する（内蔵または外部接続する）。
ＮＷ Ｉ／Ｆ４１６は、有線および無線ネットワークに接続する接続するためのインタフェースである。ＮＷ Ｉ／Ｆ４１６は、撮影装置１から送信される画像情報を記憶装置４１２に保存する。記憶装置４１２は、大容量のＨＤＤやＳＳＤや、半導体メモリ、光メディアなどを利用する。

ＣＰＵ４１３は、記憶装置４１２に格納されたプログラムをメモリ４１５へと読み出し、そのプログラムを実行することで、図２で後記する変化検出に関する各処理部を構成する。さらに、記憶装置４１２には、各処理部の処理対象である各データベース（図２で後記する）のデータ内容が記録されている。また、ＧＰＵ４１４は、ＣＰＵ４１３が実行する処理のうち、処理が重いグラフィック処理を肩代わりする。

なお、撮影装置１内に検出装置２の機能も含める形態（１筐体化）も考えられる。そのときには、ＧＰＵ４１４で行う処理をＤＳＰ４０４に実行させるために、ＤＳＰ４０４にアクセラレータを用意するなどにより高速化することが望ましい。１筐体化により、撮影装置１、検出装置２間のデータ通信量を削減できる。一般に、特徴点に関する情報は画像情報よりもデータサイズが大きくなるため、最終結果である三次元形状比較の結果を転送するとよい。

さらに、検出装置２の機能のうちの比較結果を表示する機能（表示装置４１１など）だけを検出装置２内に残し、その他の機能を撮影装置１内に含める形態としてもよい。これにより、比較結果はデータ量が小さいので、劣悪な通信環境の場合でも、わずかにでも通信環境が回復すれば、三次元形状比較結果を得ることができる。

図２は、検出装置２の機能ブロック図である。
図２の各処理部（画像取得部１０１、特徴点検出部１０２、特徴点マッチング部１０３、点群計算順制御部１０４、三次元点群推定部１０５、三次元点群分類部１０６、三次元点補間部１０７、三次元形状復元部１０８、三次元形状比較部１０９、および、結果出力部１１０）は、図１の検出装置２（ＣＰＵ４１３またはＧＰＵ４１４）によって実行される。
なお、大まかに処理部を分類するため、画像処理部３０１は特徴点検出部１０２と特徴点マッチング部１０３とを有し、三次元点群処理部３０２は点群計算順制御部１０４と三次元点群推定部１０５とを有し、三次元形状処理部３０３は三次元点補間部１０７と三次元形状復元部１０８とを有する。
図２の各データベース（ＤＢ：Data Base）のデータ（画像ＤＢ２０１、特徴点ＤＢ２０２、画像対応ＤＢ２０３、三次元点群ＤＢ２０４、カメラ位置ＤＢ２０５、三次元形状ＤＢ２０６、および、画像群別画像対応ＤＢ２０７）は、図１の検出装置２（記憶装置４１２）に格納される。

図３は、変化検出のメイン処理を示すフローチャートである。
図４は、変化検出のメイン処理の処理データを示す説明図である。
以下、適宜図３、図４を参照しつつ、図２の各構成要素を説明する。

画像取得部１０１は、ＮＷ Ｉ／Ｆ４１６を介して、１つ以上のカメラ４０１の撮影データを取得する。画像取得部１０１は、過去に撮影（図４の符号１１１ａ）された画像群１を、画像ＤＢ１（２０１−Ａ）に書き出す。画像取得部１０１は、現在に撮影（図４の符号１１１ｂ）された画像群２を、画像ＤＢ２（２０１−Ｂ）に書き出す。
なお、画像ＤＢ１と画像ＤＢ２は、比較対象となる画像群を明示するため、分類して記載しているが、同一記憶装置媒体に保存されていてもよい。例えば、画像群１は過去画像であり、画像群２は現在画像を想定するが、同一地点を撮影する条件の異なる二つの画像群としても同様である。

撮影時刻が異なるデータを比較するならば、カメラ４０１の数は１つでもよいし、同一撮影時刻に画像取得して比較する場合や、撮影条件の異なるカメラ４０１で画像取得したい場合には、カメラ４０１を複数具備するとよい。
以下、図３では、画像ＤＢ１（２０１−Ａ）内の過去画像を対象とする処理（左列）と、画像ＤＢ２（２０１−Ｂ）内の現在画像を対象とする処理（右列）と、過去画像および現在画像の両画像を対象とする処理（中央列）とに分けて説明する。

特徴点検出部１０２は、画像ＤＢ２０１に保存された画像に対して、特徴点検出処理（Ｓ１１ａ，Ｓ１１ｂ）を実行する（詳細は、図５（ａ））。具体的には、特徴点検出部１０２は、特徴点の強度情報である特徴量を計算した後、フィルタリングや閾値によって、後段処理に使用する特徴点（TRUEの特徴点）か否か（FALSEの特徴点）を判断する。最も単純なフィルタリングの例としては、特定の座標の特徴点を無視するように、強制的にマスキングするものが挙げられる。

特徴点マッチング部１０３は、Ｓ１１ａで検出された過去画像の特徴点と、Ｓ１１ｂで検出された現在画像の特徴点とを対象として、特徴点マッチング処理（Ｓ１２、詳細は図５（ｂ）および図７）を実行し、その結果を画像対応ＤＢ２０３に書き出す。特徴点マッチング部１０３は、同一被写体を観察した２つの画像から、対応する点をそれぞれ探索して視差を算出する。特徴点マッチング部１０３は、視差から面積相関の計算式を使用して数値化する。この数値化処理を特徴点マッチングという。特徴点マッチング部１０３は、現在画像と過去画像それぞれの三次元形状を復元する前に、過去画像と現在画像をまとめて特徴点マッチングを行う（図４の符号１１２）。
更に、前記特徴点マッチングの結果とカメラの位置と姿勢の情報をもとに三次元の情報を求める処理をステレオマッチングと呼ぶ。ステレオマッチングは、三次元点群処理部３０２で、カメラ位置と姿勢の推定と一体となって行われる。

なお、過去画像と現在画像とでは大きく変化が起きている可能性があるため、特徴点のマッチングを行うためには、非変化領域のみをよく検出する特徴点を使うことが望ましい。そこで、特徴点マッチング部１０３は、例えば、道路および交差点のように一般的に、変更がおきづらく、かつ広域を覆った部分が強く検出されるように各特徴点に対してフィルタリングをかけるとよい。さらに、各特徴点のもつ特長量に閾値を設定し、閾値以下の特徴点を除去することで、過去画像群と現在画像群の間で共通部分を抽出するように、特徴点のマッチングの精度を向上できる。
あるいは、過去画像と現在画像で同じ場所を示す特徴点の対応関係を人の手で与えてもよい。教師あり学習のように対応関係の正解を予め学習させることで、マッチングの精度を向上できる。画像間のマッチング精度が向上すると、三次元形状の復元精度の向上にもよい効果を与える。

点群計算順制御部１０４は、Ｓ１２でマッチングされた特徴点群に対して、Ｓ１４で三次元点群を算出する計算順の決定処理（Ｓ１３、詳細は図９）を実行する。

三次元点群推定部１０５は、画像群１と画像群２とで共通する非変化領域について、三次元点群の算出処理と、カメラ位置姿勢の推定処理と（Ｓ１４、詳細は図５（ｃ））を実行する。この２つの処理は互いに関連しており、同時に実行される。
Ｓ１４では、三次元点群推定部１０５は、点群計算順制御部１０４により指定された画像と、特徴点の対応付け関係を用いて、三次元点群の推定とカメラ位置姿勢の推定を実施する。新しい画像を追加して復元するたびに、三次元点群の推定結果を、カメラ位置姿勢の推定結果を更新する。

三次元点群推定部１０５は、カメラ間の位置関係が未知の条件で、三次元特徴点の推定を行う。ＳｆＭ（Structure from Motion）は単眼カメラで撮影した画像群から、三次元点群を取得する手法として有力である。単眼カメラは、安価、軽量かつ小型のため、ＵＡＶでの空撮のように積載制限の厳しい撮影に向いている。
ＳｆＭにおける、三次元特徴点とカメラの位置姿勢を推定は、バンドル調整と呼ばれる手法を用いて、推定した三次元特徴点を各画像上に逆投影し、元の特徴点との誤差を最小化するように求める。ロバストに三次元特徴点とカメラ位置姿勢の算出を行うため、ＲＡＮＳＡＣ（Random Sample Consensus）などの手法を導入して、特徴点の誤対応と推測されるものを除外する方法も利用される。

三次元点群推定部１０５は、画像群１と画像群２に共通の特徴点を使ってＳｆＭを実行する事で、三次元点群を投影する。一方、三次元点群推定部１０５は、画像群１のみと対応する特徴点、画像群２のみと対応する特徴点もＳｆＭによって、同一空間に三次元点群として投影する。
このように、三次元点群推定部１０５は、画像群１と画像群２を混ぜてＳｆＭを実施することで、両方に共通の特徴点から導かれる三次元点群と、当該三次元点群の算出に使用した画像のカメラ位置姿勢の推定結果を共通化できる。両方の画像に含まれる三次元点群は、非変化領域に相当する。

まず、Ｓ１４のうちの三次元点群の算出処理について説明する。三次元点群推定部１０５は、特徴点ＤＢ２０２と画像対応ＤＢ２０３に保存されたデータを用いて、画像群１と画像群２に共通の領域、すなわち非変化領域の三次元点群を算出し、その結果を三次元点群ＤＢ２０４に書き出す（図４の符号１１４）。この算出処理は、ステレオマッチングによって得られる２つの特徴点と各カメラを結ぶエピポーラ線の交差する点を三次元特徴点として推定する処理である。

次に、Ｓ１４のうちのカメラ位置姿勢の推定処理について説明する。カメラ間の位置関係は、回転と並進で表現される。三次元点群推定部１０５は、同一被写体を撮影した複数の画像とその特徴点マッチング結果を用いて、カメラ間の位置関係およびそれぞれのカメラ姿勢を推定し、その結果をカメラ位置ＤＢ２０５に書き出す。カメラ位置と姿勢の推定結果によって、三次元特徴点を算出する際のエピポーラ線も調整されるため、カメラ位置姿勢の推定処理は、三次元特徴点の推定処理と一体となって行われる。

三次元点群分類部１０６は、Ｓ１４で推定された三次元点群の分類処理（Ｓ１５）を実行し、その結果を画像群別画像対応ＤＢ２０７に書き出す。以下が分類された三次元点の種類である。
・三次元点Ａ＝画像群１のみを用いて推定された三次元点群（過去だけに写る変化領域のTRUE特徴点）
・三次元点Ｂ＝画像群２のみを用いて推定された三次元点群（現在だけに写る変化領域のTRUE特徴点）
・三次元点Ｃ＝画像群１と画像群２との両方を用いて推定された三次元点群（過去と現在とで共通に写る非変化領域のTRUE特徴点）
・三次元点Ｄ＝Ｓ１４で他の特徴点と対応づけられなかったTRUE特徴点
・三次元点Ｅ＝特徴点検出部１０２によって検出されたものの、その特徴量が小さいなどの理由によりフィルタリングされてしまい、Ｓ１４の推定処理に使用されなかった特徴点（FALSEの特徴点）

三次元点補間部１０７は、三次元点群の補間処理（Ｓ２１ａ，Ｓ２１ｂ、詳細は図１１）を実行する。
Ｓ２１ａの過去画像についての補間処理では、三次元点補間部１０７は、非変化領域（三次元点Ｃ）を基礎として、その基礎に過去だけに写る変化領域の特徴点（三次元点Ａ、三次元点Ｄ、三次元点Ｅ）を追加（補間）する。
なお、図４の符号１１５ａは、三次元点Ｃおよび三次元点Ａの特徴点が示す三次元点群を立体的に示したものであり、図４の符号１２１ａは、符号１１５ａに対して、三次元点Ｄ、三次元点Ｅの特徴点を補間することで、符号１２２ａなどにおいて過去だけに写る被写体が補間されている旨を示す。

Ｓ２１ｂの現在画像についての補間処理では、三次元点補間部１０７は、非変化領域（三次元点Ｃ）を基礎として、その基礎に現在だけに写る変化領域の特徴点（三次元点Ｂ、三次元点Ｄ、三次元点Ｅ）を追加（補間）する。
なお、図４の符号１１５ｂは、三次元点Ｃおよび三次元点Ｂの特徴点が示す三次元点群を立体的に示したものであり、図４の符号１２１ｂは、符号１１５ｂに対して、三次元点Ｄ、三次元点Ｅの特徴点を補間することで、符号１２２ｂなどにおいて現在だけに写る被写体が補間されている旨を示す。

三次元形状復元部１０８は、補間処理（Ｓ２１ａ，Ｓ２１ｂ）によって構成された過去と現在それぞれの三次元点群から、三次元形状の復元処理（Ｓ２２ａ，Ｓ２２ｂ）を実行し、その結果を三次元形状ＤＢ２０６に書き出す。なお、復元される形状データは、三次元に限定されず二次元などの他の表現方法を用いてもよい。
ここで、得られた三次元特徴点は、一般に非常に疎で、誤対応に伴うノイズを多く含んでいる。そのため、三次元形状復元部１０８は、ノイズを除去し、点群を密にして三次元形状を復元するＭＶＳ（Multi-View Stereo）と呼ばれる手法を施してから、三次元形状を復元する。さらに詳細な三次元形状を得たい場合には、三次元形状復元部１０８は、画像のメッシュを張り付けて、サーフェスを復元する。ただし、三次元形状比較部１０９が三次元形状比較を行う際は、サーフェスの復元を省略し、密な三次元点群の比較で代用可能である。

三次元形状比較部１０９は、Ｓ２２ａで復元された過去の三次元形状と、Ｓ２２ｂで復元された現在の三次元形状とで、三次元形状を比較する（Ｓ３１）。
ここで、三次元形状ＤＢ２０６に格納される過去の三次元形状と現在の三次元形状とは、同じスケール（カメラ姿勢）の非変化領域（三次元点Ｃ）を基礎としているので、従来のようなスケール合わせ処理は省略可能である（省略しなくてもよい）。

Ｓ３１において、まず、三次元形状比較部１０９は、スケールが合った状態で、三次元形状同士の位置合わせを行う（図４の符号１３１）。位置合わせのアルゴリズムには、例えば、ＩＣＰ（Iterative Closest Point）と呼ばれる、２つの三次元点の間の距離を最小化するアルゴリズムが使用される。
なお、過去画像の三次元形状と現在画像の三次元形状は、スケールが共通化されていること、全体としての歪みがあっていることから、三次元の位置合わせが容易である。さらに、同一の歪み方をしているため、歪みに関する成分が打ち消しあうことが期待できる。よって、歪み方の違いとスケール不定補正のための拡大縮小の誤差を変化として誤検出せずに済む。

そして、三次元形状比較部１０９は、スケールと位置があった三次元形状同士を比較して、それらの差分を検出する（図４の符号１３１ａ）。差分検出とは、三次元形状内のある座標からみて、比較対象の三次元形状内の一定以上離れている座標に、位置合わせで一致する対応点が見つからなかった領域を変化領域として検出し、その変化領域に該当しない非変化領域も検出する処理である。
さらに、三次元形状比較部１０９は、検出した変化領域の情報と、非変化領域の情報とを結果出力部１１０に渡す。

結果出力部１１０は、三次元形状比較部１０９の検出結果である変化領域の情報と、非変化領域の情報とを、表示装置４１１に対して出力する（Ｓ３１）。ここで、結果出力部１１０は、変化領域と非変化領域とを色分けしたり、変化領域だけを強調表示するなど、ユーザの望む形に整形加工して、可視化したりファイル書き出しを行ってもよい。

図５（ａ）は、特徴点検出部１０２による特徴点検出処理を示す説明図である。特徴点は、際立って検出できる画像上の点のことであり、画素情報の勾配などで規定される。特徴点の例として、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＫＡＺＥ（日本語で「風」を意味する）などがある。図５（ａ）では、同じ風景について、やや左側から撮影した左画像と、やや右側から撮影した右画像とで、それぞれ特徴点（破線の丸で示す）が検出される。
図５（ｂ）は、特徴点マッチング部１０３による特徴点マッチング処理を示す説明図である。特徴点マッチング部１０３は、左画像と右画像とで、対応する特徴点同士を対応付ける（矢印で対応関係を図示）。

図５（ｃ）は、三次元点群推定部１０５による三次元特徴点の推定処理を示す説明図である。
三次元点群推定部１０５は、画像デプスを三角測量することによって、特徴点ペアの三次元位置（以降、三次元特徴点）を求めることが可能である。図中では２枚の画像を用いて説明しているが、３枚以上の画像から同一の特徴点を求めてもよい。このとき、カメラパラメータ（左カメラ位置、右カメラ位置など）が分かっていれば、三次元の特徴点の座標は一意に定まる。
しかし、カメラパラメータのいずれかが欠けていて、推定で補っている場合には、エピポーラ線が交差せず、一意な三次元座標が求められない。更に、完璧にカメラパラメータが既知の状況は少ないため、一意な三次元座標が求まるようにカメラパラメータを推定し直すような処理が行われる。

ここでカメラパラメータとは、ピクセルの数、センサのサイズ、レンズの歪みなどカメラのスペックに加えて、それぞれの画像が、どの場所からどの方向に向かって撮影されたか、撮影時のフォーカス設定などの情報を指す。例えば、どの場所からどの方向に向かって撮影されたかといった情報は、事後に推定する性質のいわゆる外部パラメータである。三次元特徴点の位置を一意に定めることは、カメラパラメータ推定問題に帰着する。

なお、三次元点群推定部１０５が三次元特徴点を推定する技術として、ステレオビジョンやＳｆＭと呼ばれる技術がある。ここで、ステレオビジョンは、カメラ間の位置関係が既知の条件下で、同時撮影した画像から三次元特徴点の推定を行うものを意図している。ステレオビジョンは、カメラパラメータが既知のカメラを複数並べた、ステレオカメラを利用する。このステレオカメラは、同時撮影したカメラの位置と姿勢といった外部パラメータの一部と、内部パラメータが既知である。よって、単眼カメラとＳｆＭとの組み合わせより、ステレオカメラを用いたステレオビジョンのほうが、精度が高い三次元形状の復元処理を期待できる。

図６は、特徴点ＤＢ２０２を示す構成図である。
特徴点検出部１０２は、特徴点に関する情報をテーブル化し、特徴点ＤＢ２０２に書き込む。
特徴点ＤＢ２０２には、フィルタリングや閾値による間引きを行う前の素の特徴点の情報（特徴量１）と、たとえば広域で疎に対応付けが行われるようにフィルタリングした特徴点の情報（特徴量２）が保持される。
特徴点検出部１０２は、特徴量１と特徴量２のいずれかあるいは両方を用いて、特徴量の大きさを閾値と比較して、特徴量の大きさが閾値を上回ることにより、三次元点群処理部３０２で使用する特徴点であると判断した場合にはTRUEを書き込む。それ以外はFALSEを書き込む。FALSEとなった特徴点も、三次元形状処理部３０３で使用することになるため情報として、特徴点ＤＢ２０２に保持しておく。

図７は、特徴点マッチング部１０３の処理を示すフローチャートである。図７の処理により、特徴点マッチング部１０３は、特徴量１と特徴量２のいずれかあるいは両方を用いて、画像間の特徴点の対応付けを行う。

Ｓ２０１では、特徴点マッチング部１０３は、特徴点ＤＢ２０２にアクセスして、特徴点検出部１０２が検出した特徴点に関する情報などの各画像のデータを取得する。
Ｓ２０２〜Ｓ２０７では、特徴点マッチング部１０３は、Ｓ２０１で読み込んだ各画像のデータを順に選択するループを実行する。
Ｓ２０３では、特徴点マッチング部１０３は、ループで選択した画像の特徴点について、特徴点ＤＢ２０２に記憶している閾値判定結果が「TRUE」か「FALSE」か判定する。Ｓ２０３でＹｅｓなら（「TRUE」なら）Ｓ２０４に進み、Ｎｏなら（「FALSE」なら）マッチング処理を実施せずにＳ２０７に進む。

Ｓ２０４では、特徴点マッチング部１０３は、特徴量１に加えて特徴量２もマッチング処理に使うか否かを判定する。Ｓ２０４でＹｅｓならＳ２０５に進み、ＮｏならＳ２０６に進む。
Ｓ２０５では、特徴点マッチング部１０３は、特徴量２を用いた特徴点マッチング処理を行う。
Ｓ２０６では、特徴点マッチング部１０３は、特徴量１を用いた特徴点マッチング処理を行う。
Ｓ２０８では、特徴点マッチング部１０３は、Ｓ２０５，Ｓ２０６で得られたマッチング結果（特徴点の対応関係）を、画像対応ＤＢ２０３に書き出す。

図８は、画像対応ＤＢ２０３を示す構成図である。なお、画像群別画像対応ＤＢ２０７も画像対応ＤＢ２０３と同じ形式であり、画像＃と特徴点＃ごとに、対応付けられた画像＃と特徴点＃とをリストアップしたものである。
特徴点マッチング部１０３は、特徴量１を用いて対応付けを行った場合と、特徴量２を用いて対応付けを行った場合の対応関係について、画像対応ＤＢ２０３に書き込む。
画像対応ＤＢ２０３は、対応する画像と特徴点と特徴量との組み合わせをリストアップした構造になっている。特徴量１および特徴量２それぞれで対応する画像と特徴点との組み合わせを取得する。特徴点の検出とマッチングは一般に処理が重いため、高速化する場合には、後段処理を行っている間にパイプライン的に処理したり、マルチコアを利用したりして並列演算するとよい。
さらに、ユーザが検出装置２に対して事前に設定する情報として、特徴量１と特徴量２の使用方法によって優先順を決めておくとよい。たとえば、画像の広域に特徴量が分散し、非変化領域をよく表す特徴量を特徴量２とするならば、特徴量２は三次元点群処理部３０２の処理で、異なる画像群の画像同士を対応付けることに適していることから、特徴量１よりも優先的に処理するように設定される。なお、特徴点マッチング部１０３による対応付け処理により、対応する画像と特徴点の組み合わせが所定の数以下の画像は、三次元点群の算出に使わなくてもよい。

特徴量１を用いた場合、画像＃３の特徴点＃１は対応付けされるが（｛３，１｝）、特徴量２を用いた場合には対応付けされないといったパタンがある。特徴量を両方使用する場合、特徴量１を用いた画像間の対応付けは、三次元形状処理部３０３で使用し、特徴量２を用いた画像間の対応付けは、三次元点群処理部３０２で使用する使い方が考えられる。これは、特徴量２が非変化領域の特徴点を表し、特徴量１が画像群１と画像群２のそれぞれにしか存在しない領域の特徴点を有することを想定した使い方である。
このように、過去画像同士あるいは現在画像同士で照合する場合に使用する画像特徴量と、複数の過去画像と複数の現在画像とを照合する場合に使用する画像特徴量とは、同じ特徴量を用いてもよいし、異なる特徴量を用いてもよい。

図９は、点群計算順制御部１０４の処理を示すフローチャートである。
Ｓ３０１では、点群計算順制御部１０４は、画像対応ＤＢ２０３にアクセスし、画像と特徴点との組み合わせを巡回検索して読み込む。
Ｓ３０２〜Ｓ３０５では、点群計算順制御部１０４は、Ｓ３０１で読み込んだ各画像のデータを順に選択するループを実行する。

Ｓ３０３では、点群計算順制御部１０４は、ループで選択した画像群１と画像群２とのなかから、２画像間で対応する特徴点が充分多い画像ペアを検出する。Ｓ３０３でＹｅｓならＳ３０４に進み、ＮｏならＳ３０５に進む。対応付けする特徴点が多くとも、同じカメラ位置で回転のみが異なる画像は、視差がとれず三次元点群算出に失敗する事がある。そのため、特徴点の対応付けが十分あることを前提として、ホモグラフィ行列のサポート数の少ない画像ペアを選んでも良い。
Ｓ３０４では、点群計算順制御部１０４は、Ｓ３０３の画像ペアを、三次元点群算出を行う初期画像ペア候補として選定する。
Ｓ３０６では、点群計算順制御部１０４は、Ｓ３０４で選出された画像ペアと、特徴点マッチングの類似性の高い画像を選択し、逐次的に三次元特徴点が算出されるように、三次元点群推定の実行順を決定する。この実行順は、多くの計算済みの三次元点を共有する画像から順に復元するような順番である。

図１０（ａ）は、三次元点群ＤＢ２０４を示す構成図である。三次元点群ＤＢ２０４には、三次元点ごとに、その三次元座標と、各三次元点を構成するときに採用した画像番号と特徴点番号の組み合わせと、三次元点の所属画像群とが対応づけられている。
三次元点群分類部１０６は、三次元点の所属判断結果を三次元点群ＤＢ２０４に書き出す。所属画像群の例として、三次元点＃１は、画像群１（画像＃１〜X-1）と画像群2（画像＃X〜Y）の両方の特徴点から算出されている（三次元点Ｃ）ため、三次元点群１と三次元点群２の両方に属する。一方、三次元点＃３は、画像群１の特徴点のみで算出できた点（三次元点Ａ）であるため、三次元点群１にのみ所属する。図中には記していないが、画像群２の特徴点のみで算出された点（三次元点Ｂ）もある。バンドル調整の結果、誤対応としてはじかれる点（三次元点Ｄ）は、リストから削除してよい。
なお、三次元点群１と三次元点群２は、特徴点検出部１０２において、閾値判定がFALSEになった特徴点を用いて復元できる三次元点（三次元点Ｅ）を含んでいない。

図１０（ｂ）は、カメラ位置ＤＢ２０５を示す構成図である。カメラ位置ＤＢ２０５には、推定した各画像のカメラ位置、焦点距離、回転と並進で与えられるカメラの姿勢情報などのカメラパラメータが記憶される。

図１１は、三次元点補間部１０７の処理を示すフローチャートである。
Ｓ４０１では、三次元点補間部１０７は、特徴点ＤＢ２０２にアクセスし、画像と特徴点との組み合わせを読み込む。
Ｓ４０２では、三次元点補間部１０７は、「FALSE」と判定された画像と特徴点の組み合わせを探し、FALSEと判定された特徴点についても、同一画像群の中で、画像ペアを探し、特徴点の対応付けを実施する。このとき、画像群をまたがって広域にわたって非変化領域の特徴点の対応付けを行うことを主目的とした特徴量２と、画像群内で精度高く特徴点の対応付けを行うことを主目的とした特徴量１を想定した場合、特徴量１による対応付けを優先して使用してもよい。

Ｓ４０３では、三次元点補間部１０７は、三次元点群の補間を行う順番を決定する。例えば、三次元点補間部１０７は、三次元点群ＤＢ２０４に保存されている画像＃と特徴点＃の組み合わせと、画像群別画像対応ＤＢ２０７に保存されている画像＃と特徴点の組み合わせとを比較して、重複する特徴点の数が多かった画像ペアから順に、三次元点群の補間を開始する。

Ｓ４０４〜Ｓ４０７では、三次元点補間部１０７は、Ｓ４０１で読み込んだ各画像のデータを順に選択するループを実行する。
Ｓ４０５では、三次元点補間部１０７は、カメラ位置ＤＢ２０５にアクセスし、各画像のカメラ位置姿勢情報を参照し、三次元点の補間を行う際のカメラ位置姿勢の初期値としてセットする。三次元点群ＤＢ２０４に保存されている三次元点の座標も初期値としてセットする。
三次元点群処理部３０２に関与しなかった画像（画像Ｚとする）は、カメラの位置姿勢の推定が未だ行われていない。そのため、本ステップであらたにカメラ位置姿勢の推定を行う。ただし、三次元点群処理部３０２で使用された画像（画像Ｙとする）と、画像Ｚを用いて三次元点群とカメラの位置姿勢を推定する場合、画像Ｙのカメラ位置姿勢は、画像群の間で共有しているため固定する事が望ましい。よって、画像Ｚのカメラ位置姿勢の推定には、既知のカメラ位置姿勢情報に基づいた制限がかかる。

Ｓ４０６では、三次元点補間部１０７は、Ｓ４０５で制限（推定）されたカメラ位置姿勢をもとに閾値判定で「FALSE」となった特徴点を用いて復元される三次元点群の存在範囲を大きく限定しつつ、三次元点群の欠落部分を「TRUE」となった特徴点に対して補間（追加）する。つまり、三次元点補間部１０７は、過去画像と現在画像の照合結果、作成した三次元形状を固定し、カメラの位置姿勢の変化範囲を限定することで、所定閾値を下回った画像を含む過去画像あるいは現在画像のみで作成する三次元形状の位置を拘束する。換言すると、補間する三次元点としては、補間先の非変化領域の三次元点に対して、カメラの位置姿勢の変化範囲が所定分だけ狭い三次元点が使用されるが、その範囲外の三次元点は補間処理から除外される。
閾値判定で「FALSE」となった特徴点を用いて三次元点群を補間するとき、バンドル調整による各画像のカメラ位置姿勢、三次元点群の全体修正は許容してよい。ただし、修正幅は所定以下に収まるように制限する。初期値として設定されたカメラ位置姿勢と三次元点群を大きく変化させるような三次元点は補間せず、アウトライア（外れ値）としてはじくとよい。

図１２は、カメラ位置姿勢情報に着目して三次元点補間部１０７の処理を示す説明図である。
符号５０１は、過去画像の推定カメラ位置姿勢である。過去画像の特徴点同士で推定したカメラ位置姿勢を５０１−Ａとする。
符号５０２は、現在画像の推定カメラ位置姿勢である。現在画像の特徴点同士で推定したカメラ位置姿勢を５０２−Ａとする。

カメラ位置姿勢５０１−Ａ，５０２−Ａは、閾値判定でTRUEとなった特徴点を用いて生成される。過去と現在画像の充分な対応付けが行われなかったもの、例えば対応する特徴点数が所定の数あるいは比率を満たさない場合などが該当する。
カメラ位置姿勢５０１−Ｃ，５０２−Ｃは、閾値判定でFALSEとなり、画像を混ぜて三次元点群を算出するときには使用されず、後の三次元点群の補間に使用される。
カメラ位置姿勢５０１−Ｂ，５０２−Ｂは、過去画像と現在画像のそれぞれから充分な特徴点の対応付けが行われたカメラ位置姿勢である。

図１２（ａ）の符号５０３は、過去画像と現在画像から生成した三次元点群である。三次元点群分類部１０６は、過去画像と現在画像の両方を使って得られた各画像のカメラ位置姿勢の推定結果（５０１−Ｂ、５０２−Ｂ）を保持しつつ、過去画像と現在画像の両方を使って得られた三次元点群を、過去画像から得られた三次元点群と、現在画像から得られた三次元点群に分類する。
三次元点群５０３は、現在画像と過去画像の両方に含まれる非変化領域の三次元点群を主な構成要素としたものであるが、過去画像にのみ含まれる領域の三次元点群、現在画像にのみ含まれる三次元点群も一部含むと考えられる。

三次元点群分類部１０６は、過去画像から得られた三次元点群を得るために、三次元点群ＤＢ２０４にアクセスし、使用した画像と特徴点の組み合わせを検査し、現在画像の特徴点を所定の数以上含むものを、三次元点群５０３から排除する。同様に現在画像から得られた三次元点群は、過去画像の特徴点を所定数以上使って得られたものを三次元点群５０３から取り除くことで得られる。

図１２（ｂ）の符号５０４は、現在画像の三次元点群を取り除いた三次元点群の部分集合である。分類された三次元点群５０４（過去の三次元点群のみ描写）のスケールは、同一空間への写像処理によって生成された三次元点群５０３の部分集合であるためスケールは一致している。また、過去画像と現在画像の両方の情報を用いて、各画像のカメラ位置姿勢（５０１−Ｂ、５０２−Ｂ）を推定しているため、過去画像と現在画像で、歪み方も同一である。

分類した三次元点群は、過去画像と現在画像の両方に含まれていた、非変化領域に関する点群を主構成とする三次元点群であるから、過去画像および現在画像それぞれにのみ存在する領域に関する情報が欠けている。あるいは、分類によって三次元点群が欠落する場合も考えられる。
そこで、三次元点補間部１０７は、三次元点群５０３に使われなかった三次元点群の情報を使い、過去画像ないし現在画像のみを用いて、三次元点群を再度算出し、過去ないし現在画像に存在する領域を補間する。

推定したカメラ位置姿勢（５０１−Ｂ、５０２−Ｂ）および三次元点群（５０３）の歪みは、その部分集合である過去と現在の三次元点群およびカメラ位置姿勢で共通化されている。よって、三次元点補間部１０７は、共通化されたカメラ位置姿勢と、分類されたそれぞれの時刻の三次元点群を基準とし、過去画像ないし現在画像のみで算出した三次元点群を追加し、バンドル調整によってカメラ位置姿勢を調整する。

全体としての歪みは過去と現在で一度共通化されているから、過去と現在のそれぞれのカメラの位置姿勢と三次元点群が、バンドル調整によって、調整されても差分をとった時の誤差は小さいと考えられる。そのため、三次元点補間部１０７は、バンドル調整する際に、調整幅に制限を設けた上で許容してよい。制限幅を超えないと三次元点群が補間出来ない場合には、当該三次元点群は補間しないようにはじくような制限をかけるとよい。

以上図１２で説明した三次元点補間部１０７による補間処理は、複数の画像をつなげてひとつの大きな画像を作り上げるモザイキング画像の比較にも転用が可能である。２つの異なる時刻で撮影した画像群から、過去画像と、現在画像のそれぞれからモザイキング画像を作成して変化を検出するケースを考える。
検出装置２は、現在画像と過去画像を混ぜた画像群に対して特徴点マッチングをおこない、カメラ位置姿勢の推定を行ってから、各画像にのみ含まれる画像情報で補間する。ここで、モザイキング画像を作成する際には、画像間の特徴点の対応付けから、カメラ位置姿勢推定と画像のアフィン変換を行いつつ画像を結合する。三次元形状復元の代わりにモザイキング画像を生成するとみなせば、モザイキング画像同士の位置合わせと変化検出を容易化することが可能と考えられる。

以上説明した本実施形態では、検出装置２は、現在と過去の空撮画像の全てを使ってスケール不定の三次元点群を生成し、過去画像とマッチングしない現在画像は破棄する。検出装置２は、生成したスケール不定三次元点群から、現在と過去のスケール不定三次元点群に分類し、現在のスケール不定三次元点群を、破棄した現在画像も再利用して穴埋めする。検出装置２は、復元した過去画像の三次元形状と、復元した現在画像の三次元形状とを比較する。

ここで、画像ＤＢ２０１内の画像群１（過去画像）と、画像群２（現在画像）との比較において、三次元形状復元部１０８が、過去と現在とで同じ非変化領域（一度、同じ空間に投影した三次元点群である三次元点Ｃ）を基礎とした三次元形状を比較対象として復元する。これにより、両三次元形状は、スケールと歪みがほぼ一致していることが期待できるので、位置合わせも容易である。
つまり、三次元形状の復元処理に伴って発生してしまう歪みを解消するのではなく、過去と現在とで同じように歪みが発生してしまうことを許容するが、それらは形状比較処理では同じとみなされる。よって、過去と現在とで同じように含まれる歪みは、差分検出という用途ではさほど問題にはならず、誤検出に影響しないで済む。

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１ 撮影装置
２ 検出装置（変化検出装置）
１０１ 画像取得部
１０２ 特徴点検出部
１０３ 特徴点マッチング部
１０４ 点群計算順制御部
１０５ 三次元点群推定部（推定部）
１０６ 三次元点群分類部
１０７ 三次元点補間部
１０８ 三次元形状復元部（形状復元部）
１０９ 三次元形状比較部（形状比較部）
１１０ 結果出力部
２０１ 画像ＤＢ（記憶手段）
２０２ 特徴点ＤＢ
２０３ 画像対応ＤＢ
２０４ 三次元点群ＤＢ
２０５ カメラ位置ＤＢ
２０６ 三次元形状ＤＢ
２０７ 画像群別画像対応ＤＢ

Claims (8)

1. それぞれ異なる条件で撮影された第１画像群と第２画像群とが格納される記憶手段と、
   前記第１画像群の第１画像内の非変化領域と、前記第２画像群の第２画像内の非変化領域とが対応する領域として撮影されている場合に、前記第１画像と前記第２画像との組み合わせと、その組み合わせの画像を撮影したときのカメラの位置および姿勢とを抽出する推定部と、
   前記第１画像から検出される特徴点集合と、前記第１画像以外の前記第１画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第１の形状データを作成し、
   前記第２画像から検出される特徴点集合と、前記第２画像以外の前記第２画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第２の形状データを作成する形状復元部と、
   それぞれ作成された前記第１の形状データと前記第２の形状データとを比較して、その比較結果として形状が不一致である箇所を変化領域として出力する形状比較部とを有することを特徴とする
   変化検出装置。
2. 前記形状復元部は、前記第１画像以外の前記第１画像群の各画像および前記第２画像以外の前記第２画像群の各画像として、前記抽出したカメラの位置および姿勢を基準として所定の変化範囲内のカメラの撮影画像を用いることを特徴とする
   請求項１に記載の変化検出装置。
3. 前記形状復元部は、前記推定部が同じ領域を撮影していると判断したときの画像特徴量と、各画像から特徴点を検出するときの画像特徴量とで、それぞれ異なる画像特徴量を使用することを特徴とする
   請求項１または請求項２に記載の変化検出装置。
4. 前記形状比較部は、前記第１の形状データと前記第２の形状データとを比較する前に、各形状データで対応する特徴点の間の距離を最小化するように位置合わせを行うことを特徴とする
   請求項１または請求項２に記載の変化検出装置。
5. 前記形状データは、三次元の立体形状であることを特徴とする
   請求項１または請求項２に記載の変化検出装置。
6. 前記形状データは、二次元のモザイキング画像であることを特徴とする
   請求項１または請求項２に記載の変化検出装置。
7. 変化検出装置は、記憶手段と、推定部と、形状復元部と、形状比較部とを有しており、
   前記記憶手段には、それぞれ異なる条件で撮影された第１画像群と第２画像群とが格納されており、
   前記推定部は、前記第１画像群の第１画像内の非変化領域と、前記第２画像群の第２画像内の非変化領域とが対応する領域として撮影されている場合に、前記第１画像と前記第２画像との組み合わせと、その組み合わせの画像を撮影したときのカメラの位置および姿勢とを抽出し、
   前記形状復元部は、
   前記第１画像から検出される特徴点集合と、前記第１画像以外の前記第１画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第１の形状データを作成し、
   前記第２画像から検出される特徴点集合と、前記第２画像以外の前記第２画像群の各画像から検出される特徴点集合とをもとに、前記抽出したカメラの位置および姿勢から見た第２の形状データを作成し、
   前記形状比較部は、それぞれ作成された前記第１の形状データと前記第２の形状データとを比較して、その比較結果として形状が不一致である箇所を変化領域として出力することを特徴とする
   変化検出方法。
8. 請求項７に記載の変化検出方法を、コンピュータである前記変化検出装置に実行させるための変化検出プログラム。