JP5149984B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。

視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影する拡大観察装置などの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。

例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。

一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。

また、カメラの焦点位置を変化させながら複数の静止画像を撮影し、これらの静止画像を合成することによって、全焦点画像や表面形状データを作成する技術が知られている。全焦点画像は、カメラの実視野よりも被写界深度が深く、視野全体にピントの合った合成画像であり、焦点の位置の異なる複数の静止画像間で画素値を比較し、ピントの合った焦点位置の画素値を抽出することによって作成される。一方、表面形状データは、検査対象物表面の凹凸や段差を示す高低差情報であり、静止画像間の画素値の比較によりピントの合った焦点位置を判定することによって作成される。

一般に、全焦点画像及び表面形状データでは、ピントの合う範囲、すなわち、被写界深度よりも大きな凹凸や段差を識別することができ、従って、ピントの合う範囲が狭いほど高品質な画像データが得られるが、カメラの実視野は狭くなってしまう。そこで、この様にして作成される複数の全焦点画像を張り合わせれば、モザイク画像として広視野の全焦点画像を得ることができる。ところが、撮影中の視野を動画像としてこの様なモザイク画像上の適切な位置に表示させるために、画像間のパターンマッチングによってフレーム画像の位置合わせを行おうとすると、オーバーラップ部分のピンボケによって位置合わせができない場合があるという問題があった。オーバーラップ部分のピンボケを解消する方法として、カメラの焦点位置を所定の範囲内で変化させてピントの合った焦点位置を探索する機能、いわゆるオートフォーカス機能を利用する方法が考えられる。しかし、この方法では、フレーム画像の位置合わせ時に、カメラを制御して焦点位置を変化させ、焦点位置を変更するごとにパターンマッチングを行って位置合わせ可能な焦点位置を探索しなければならないので、位置合わせに要する時間が長くなってしまうという問題があった。

本発明は、上記事情に鑑みてなされたものであり、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置を提供することを目的とする。特に、システム構成を複雑化させることなく、撮影中の視野を全焦点画像からなるモザイク画像上の適切な位置に表示させることができる撮像装置を提供することを目的とする。また、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制でき、位置合わせの精度を向上させることができる撮像装置を提供することを目的とする。

本発明による撮像装置は、検査対象物を載せたまま異なる２方向に移動可能な可動ステージと、上記可動ステージと対向配置され、上記可動ステージに載置された検査対象物を撮影して、連続する複数のフレーム画像を生成するカメラと、上記カメラの焦点位置を変更する焦点位置変更手段と、上記焦点位置変更手段により上記カメラの焦点位置を変更しながら、焦点位置の異なる２以上の静止画像を取得する静止画像取得手段と、上記静止画像取得手段により取得された２以上の静止画像を合成して、上記カメラの実視野と比べて被写界深度の深い全焦点画像を生成する全焦点画像生成手段と、上記全焦点画像生成手段により生成された全焦点画像を表示部に表示させる全焦点画像表示手段と、上記全焦点画像生成手段により生成された全焦点画像の各画素における合焦位置に基づいて、該全焦点画像の高さデータを取得する高さデータ取得手段と、上記高さデータ取得手段により取得された高さデータに基づいて、上記表示部に表示された全焦点画像と該全焦点画像が生成された後に上記カメラにより生成されたフレーム画像とのオーバーラップ部分の少なくとも一部に対応する合焦位置を求めて、求めた合焦位置に基づいて上記焦点位置変更手段を制御する焦点位置制御手段と、上記オーバーラップ部分において、上記表示部に表示された全焦点画像と、上記焦点位置制御手段により上記焦点位置変更手段が制御された後に上記カメラにより生成されたフレーム画像とから特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段により抽出された特徴量を比較して、上記表示部に表示された全焦点画像と上記カメラにより生成されたフレーム画像との相対位置を判定する相対位置判定手段と、を備えて構成される。これにより、位置合わせの精度を向上させることができる。

本発明による他の撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラの焦点位置を変更する焦点位置変更手段と、上記カメラ及び上記焦点位置変更手段を制御して焦点位置の異なる２以上の静止画像を取得する静止画像取得手段と、上記２以上の静止画像を合成して、上記カメラの実視野よりも深度の深い全焦点画像を生成する全焦点画像生成手段と、上記全焦点画像の各画素における合焦位置に基づいて、上記検査対象物の高さ形状データを生成する高さ形状データ生成手段と、上記全焦点画像の少なくとも一部に対応する合焦位置を上記高さ形状データから求めて、上記フレーム画像の焦点位置が上記合焦位置と略一致するように上記焦点位置変更手段を制御する焦点位置制御手段と、上記焦点位置変更手段を制御して取得された上記フレーム画像と、上記全焦点画像又は上記全焦点画像を構成する複数の静止画像に基づいて抽出される画像を基準画像として当該基準画像とから特徴量を抽出する特徴量抽出手段と、上記特徴量の比較によって上記フレーム画像及び上記基準画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記全焦点画像に対する表示位置を更新し、上記全焦点画像上に上記動画像を表示するライブ画像表示手段と、上記ライブ画像表示手段により上記動画像として表示されているフレーム画像に対応する新たな全焦点画像を取得し、上記全焦点画像と連結してモザイク画像を生成するモザイク画像生成手段とを備えて構成される。この撮像装置では、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及び基準画像間の相対位置を判定し、その判定結果に基づいて全焦点画像上の適切な位置に動画像が表示される。この様な構成によれば、撮影中の視野が動画像として全焦点画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及び基準画像間の相対的位置関係を判断するので、システム構成を複雑化させることなく、撮影中の視野を全焦点画像上の適切な位置に表示させることができる。また、全焦点画像の少なくとも一部の合焦位置を高さ形状データから求め、フレーム画像の焦点位置が合焦位置と略一致するように焦点位置変更手段を制御してフレーム画像を取得するので、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制することができる。

本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、過去の相対位置の判定結果に基づいて上記フレーム画像及び上記基準画像間の重複領域を推定し、
上記焦点位置制御手段は、上記重複領域の合焦位置を上記高さ形状データから求め、上記フレーム画像の焦点位置が当該合焦位置と略一致するように上記焦点位置変更手段を制御するように構成される。この様な構成によれば、フレーム画像及び基準画像間の重複領域の合焦位置と略一致するようにカメラの焦点位置を予め調整してフレーム画像を取得し、基準画像との位置合わせを行うので、位置合わせの精度を向上させることができる。

本発明による他の撮像装置は、上記構成に加え、上記焦点位置制御手段が、上記重複領域の合焦位置を求める際に、フレーム画像と基準画像との重複領域において合焦部分の面積が最も大きくなるような焦点位置を合焦位置と判断するように構成される。

本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記全焦点画像を構成する焦点位置の異なる複数の静止画像のうち、上記重複領域において合焦部分の面積が最も大きい静止画像を上記基準画像として特徴量を抽出するように構成される。

本発明による他の撮像装置は、上記構成に加え、上記フレーム画像と同じ撮影条件で撮影された焦点位置の異なる複数の基準画像候補を取得する基準画像候補取得手段を備え、上記特徴量抽出手段が、上記基準画像候補の中で上記重複領域において合焦部部分の面積が最も大きい基準画像候補を基準画像として特徴量を抽出するように構成される。

本発明による他の撮像装置は、上記構成に加え、上記特徴量抽出手段が、上記全焦点画像を上記基準画像として特徴量を抽出するように構成される。

本発明による他の撮像装置は、上記構成に加え、上記高さ形状データを連結して、上記カメラの実視野よりも広い範囲のモザイク形状データを生成するモザイク形状データ生成手段を備えて構成される。

本発明による他の撮像装置は、上記構成に加え、上記モザイク画像及び上記モザイク形状データに基づいて、合焦部分の面積が最大となる焦点位置の画像として上記基準画像を生成する基準画像生成手段を備えて構成される。この様な構成によれば、ピントの合った画像領域の面積が最大となる焦点位置の画像を基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。

本発明による他の撮像装置は、上記構成に加え、上記相対位置判定手段が、上記重複領域内の特徴量の比較では相対位置が判定できなかった場合に、上記フレーム画像全体の特徴量と上記基準画像全体の特徴量とを比較することによって上記相対位置を判定し、上記基準画像生成手段が、フレーム画像全体の特徴量と基準画像全体の特徴量との比較によっても相対位置が判定できなかった場合に、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像として新たな基準画像を生成するように構成される。この様な構成によれば、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像を新たな基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。また、第１０の本発明による撮像装置は、上記構成に加え、上記動画像を構成するフレーム画像を縮小して位置合わせ用フレーム画像を生成し、上記基準画像を縮小して位置合わせ用基準画像を生成する位置合わせ用縮小手段と、上記動画像を構成するフレーム画像を縮小して表示用フレーム画像を生成し、上記モザイク画像を縮小して表示用モザイク画像を生成する表示用縮小手段とを備え、上記特徴量抽出手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像から特徴量を抽出し、上記相対位置判定手段が、上記位置合わせ用フレーム画像及び上記位置合わせ用基準画像間の相対位置を判定し、上記ライブ画像表示手段が、上記表示用モザイク画像上に上記表示用フレーム画像によって構成される動画像をライブ画像として表示し、上記モザイク画像生成手段が、上記位置合わせ用基準画像よりも高い解像度で上記全焦点画像及び上記モザイク画像間の相対位置を推定して当該全焦点画像を当該モザイク画像に張り合わせ、新たなモザイク画像を生成するように構成される。

本発明による撮像装置によれば、撮影中の視野が動画像として全焦点画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及び基準画像間の相対的位置関係を判断するので、システム構成を複雑化させることなく、撮影中の視野を全焦点画像上の適切な位置に表示させることができる。また、全焦点画像の少なくとも一部の合焦位置を高さ形状データから求め、フレーム画像の焦点位置が合焦位置と略一致するように焦点位置変更手段を制御してフレーム画像を取得するので、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制することができる。従って、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させる際に、フレーム画像の位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制でき、位置合わせの精度を向上させることができる。

本発明の実施の形態１による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。 図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。 図２のシステム本体部１００におけるライブ位置合わせ部１２８の構成例を示したブロック図であり、マッチング処理部１２８ｃ内の機能構成が示されている。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用のモザイク画像Ａ３が示されている。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。 図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。 図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。

＜拡大観察装置＞
図１は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。

カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、着脱式のレンズユニット、円筒形状の筐体内に配置されたＣＣＤイメージセンサー、照明装置、カメラ２１０の焦点位置を変更する手段としてのフォーカス機構などにより構成されている。

可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。

可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。

具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。

コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。

システム本体部１００は、カメラ２１０によって撮影された動画像をライブ画像としてディスプレイ１１０上に表示し、複数の静止画像からなる全焦点画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。

＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、表示用縮小部１２１，１３４、表示用モザイク画像記憶部１２２、ライブ画像更新部１２３、保存用モザイク画像記憶部１２４、モザイク形状データ記憶部１２５、基準画像生成部１２６、基準画像記憶部１２７、ライブ位置合わせ部１２８、静止画像取得部１２９、全焦点画像生成部１３０、モザイク画像生成部１３１、高さ形状データ生成部１３２、モザイク形状データ生成部１３３及び焦点位置制御部１３５を備えて構成される。

表示用縮小部１２１は、カメラ２１０からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部１２３へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。

表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。

保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。モザイク形状データ記憶部１２５は、モザイク形状データを保持する画像データ保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。

基準画像生成部１２６は、保存用モザイク画像記憶部１２４及びモザイク形状データ記憶部１２５から保存用モザイク画像及びモザイク形状データをそれぞれ読み出し、これらの画像データに基づいてフレーム画像の位置合わせ用の基準画像を生成する動作を行っている。この基準画像は、フレーム画像とモザイク画像との間の相対的位置関係を判定するための画像であり、保存用モザイク画像の一部に対応する特定の焦点位置の画像となっている。基準画像記憶部１２７は、基準画像生成部１２６によって生成された基準画像を保持する基準画像保持手段である。

ライブ位置合わせ部１２８は、位置合わせ用縮小部１２８ａ，１２８ｂ及びマッチング処理部１２８ｃからなり、カメラ２１０から連続して得られるフレーム画像と基準画像記憶部１２７から読み出した基準画像とをそれぞれ縮小してマッチング処理する動作を行っている。

位置合わせ用縮小部１２８ａは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２８ｃへ出力する動作を行っている。位置合わせ用縮小部１２８ｂは、基準画像記憶部１２７から読み出した基準画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用基準画像を生成し、マッチング処理部１２８ｃへ出力する動作を行っている。

マッチング処理部１２８ｃは、位置合わせ用フレーム画像及び位置合わせ用基準画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部１２３へ出力する動作を行っている。

ライブ画像更新部１２３では、ライブ位置合わせ部１２８からの相対位置情報に基づいて、表示用フレーム画像及び表示用基準画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更する動作が行われる。

静止画像取得部１２９は、コンソール３００からの取込み指示に基づいてカメラ２１０を制御し、カメラ２１０の焦点の位置を変更させながら複数の静止画像を取得し、全焦点画像生成部１３０へ出力する動作を行っている。具体的には、カメラ２１０のフォーカス機構が、静止画像取得部１２９からのＦ（フォーカス）制御信号に基づいて制御され、カメラ２１０からの静止画データとして焦点位置の異なる複数の静止画像が取得される。

全焦点画像生成部１３０は、静止画像取得部１２９によって取得された複数の静止画像を合成することによって、全焦点画像を生成する動作を行っている。全焦点画像は、カメラ２１０の実視野よりも被写界深度が深く、視野全体にピントの合った合成画像である。具体的には、焦点位置の異なる複数の静止画像間で画素値を比較し、ピントの合った焦点位置の画素値を抽出することによって生成される。なお、ここでいう全焦点画像には、数ピクセル程度のピントの合っていない画素を含む画像も含まれるものとする。

モザイク画像生成部１３１は、保存用位置合わせ部１３１ａ及び画像連結部１３１ｂからなり、複数の全焦点画像を張り合わせることによって保存用モザイク画像を生成する動作を行っている。

保存用位置合わせ部１３１ａは、全焦点画像生成部１３０によって生成された全焦点画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、全焦点画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用基準画像よりも高い解像度で全焦点画像及び保存用モザイク画像間の相対位置が推定される。

画像連結部１３１ｂは、保存用位置合わせ部１３１ａによる判定結果に基づいて、全焦点画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、全焦点画像生成部１３０によって生成された全焦点画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１３１ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。

全焦点画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、全焦点画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、画像間のオーバーラップ部分について画素値のブレンディング処理が行われる。

ブレンディング処理は、画像間で画素値をブレンディング、すなわち、加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。画像間で画素値をブレンディングする際に用いる重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められる。

高さ形状データ生成部１３２は、静止画像取得部１２９によって取得された複数の静止画像に基づいて、検査対象物の高さ形状データを生成する動作を行っている。高さ形状データは、検査対象物表面の凹凸や段差を示す高低差情報であり、例えば、基準面からの高さの２次元分布からなる。具体的には、焦点位置の異なる複数の静止画像間で画素値を比較してピントの合った焦点位置を判定することによって生成される。

モザイク形状データ生成部１３３は、高さ形状データ生成部１３２によって生成された複数の高さ形状データを連結することによって、カメラ２１０の実視野よりも広い範囲のモザイク形状データを生成する動作を行っている。具体的には、まず、高さ形状データ生成部１３２によって生成された高さ形状データとモザイク形状データ記憶部１２５から読み出したモザイク形状データとを連結する際の相対的位置関係が、保存用位置合わせ部１３１ａによる相対位置の判定結果に基づいて判断される。そして、この相対的位置関係に基づいて高さ形状データ生成部１３２からの高さ形状データとモザイク形状データとを連結し、新たなモザイク形状データを生成してモザイク形状データ記憶部１２５内のモザイク形状データを更新する動作が行われる。

焦点位置制御部１３５は、全焦点画像の少なくとも一部に対応する合焦位置を高さ形状データに基づいて判定し、フレーム画像の焦点位置が上記合焦位置と略一致するようにカメラ２１０のフォーカス機構を制御する動作を行っている。

表示用縮小部１３４は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を所定の縮小率で縮小して表示用モザイク画像を生成する動作を行っている。

ここで、ライブ位置合わせ部１２８は、保存用位置合わせ部１３１ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。

基準画像生成部１２６では、位置合わせ用の基準画像が、例えば、最後に張り合わされた全焦点画像に対応する画像領域を保存用モザイク画像から抽出し、抽出した画像領域と対応するモザイク形状データとから作成される。ここでは、ピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置の画像として、基準画像を生成する動作が行われるものとする。つまり、ピントの合った画像領域の面積が最大となる焦点位置の画像を基準画像とすることにより、フレーム画像の位置合わせの精度を向上させることができる。

なお、基準画像生成部１２６では、モザイク画像を構成する全焦点画像がフレーム画像よりも輝度の分解能の高い高分解能画像、或いは、輝度のダイナミックレンジの広いＨＤＲ（ハイダイナミックレンジ）画像である場合、モザイク画像の一部に対応する基準画像を生成する際に、画像データのフォーマットを変換する処理、例えば、１６ビットの画像データを８ビットの画像データに変換する処理が行われる。

なお、本実施の形態では、基準画像生成部１２６が記憶されている全焦点画像とモザイク形状データからフレーム画像の位置合わせの対象となる基準画像を生成するようにしたが、この基準画像は全焦点画像を構成する複数の静止画像の中からピントの合っている画像領域の面積の最も大きい静止画像を選択するようにしても良いし、全焦点画像そのものを基準画像とするようなものであっても良い。

また、全焦点画像の撮影時に取得される静止画像とフレーム画像とで撮像条件（輝度の階調値など）が異なり、そのままでは後述するマッチング処理ができない場合は、全焦点画像撮影時にフレーム画像と同じ撮像条件で焦点位置の異なる複数の静止画像を取得して基準画像の候補画像とし、これらの候補画像の中からピントの合っている画像領域の面積の最も大きい静止画像を基準画像として選択するようにしても良い。

＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるライブ位置合わせ部１２８の構成例を示したブロック図であり、マッチング処理部１２８ｃ内の機能構成の一例が示されている。このマッチング処理部１２８ｃは、特徴量抽出部１４１及び相対位置判定部１４２により構成される。

特徴量抽出部１４１は、位置合わせ用フレーム画像と位置合わせ用基準画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。

相対位置判定部１４２は、比較部１４３、相対位置演算部１４４及び重複領域推定部１４５からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定する動作を行っている。比較部１４３は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用基準画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４４へ出力する動作を行っている。

特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。

相対位置演算部１４４は、比較部１４３による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用基準画像間の相対位置を判定し、その判定結果を重複領域推定部１４５へ出力し、相対位置情報をライブ画像更新部１２３へ出力する動作を行っている。

重複領域推定部１４５は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用基準画像との重複領域を定め、この重複領域が現在のフレーム画像と基準画像との重複領域であると判断する動作が行われる。

比較部１４３では、重複領域推定部１４５によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４４へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、マッチング処理の対象となっている位置合わせ用基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４４へ出力する動作が行われる。

つまり、相対位置演算部１４４は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。

また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４４へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。

ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。

一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。

ここでは、特徴量抽出部１４１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４５によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。

また、ライブ画像更新部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４４による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。

また、特徴量抽出部１４１では、位置合わせ用基準画像のうち、重複領域推定部１４５によって推定された重複領域について、重複領域に対応するモザイク形状データに基づいて、重複領域内でピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置を判定する。そして、この焦点位置の判定結果に基づいてカメラ２１０を制御することによって基準画像と焦点位置が略同一のフレーム画像を取得する動作が行われる。カメラ２１０のフォーカス機構は、特徴量抽出部１４１からのＦ制御信号に基づいて制御される。

このように、本実施の形態では重複領域推定部１４５によって推定されたフレーム画像と基準画像との重複領域における合焦位置を、モザイク形状データに基づいて判定するため、可動ステージ２３０がユーザにより移動されてフレーム画像と位置合わせの対象となる基準画像の相対位置が変化しても、常に重複領域における合焦位置にカメラ２１０の焦点位置が合わされるので、撮像対象に凹凸があり合焦位置が変化するような場合でも位置合わせに必要な重複領域のピンボケが回避できる。

また、焦点位置の異なる２以上の静止画像の中から、推定された重複領域におけるモザイク形状に最もピントが一致している静止画像を基準画像として自動的に選択し、この基準画像に対してフレーム画像を位置合わせするようにしてもよい。このようにすることで、重複領域におけるモザイク形状に対して最もピントの合った基準画像と、最もピントの合ったフレーム画像の位置合わせが可能となる。

また、基準画像生成部１２６では、フレーム画像全体の特徴量と基準画像全体の特徴量との比較によっても相対位置が判定できなかった場合に、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像として新たな基準画像を生成する動作が行われる。これにより、相対位置が判定できた最後のフレーム画像と焦点位置が略同一の画像を新たな基準画像として用いてフレーム画像の位置合わせを行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。

＜ライブ画面＞
図４及び図５は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図４には、カメラ２１０によって撮影された動画像Ａ１及び表示用のモザイク画像Ａ３が示されている。また、図５には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。

動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。

表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像であり、複数の全焦点画像からなる。

ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。

つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。

＜パターンマッチング＞
図６（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、位置合わせ用の基準画像Ｂ１及びフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図６（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図６（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。

基準画像Ｂ１は、作成中のモザイク画像の一部に対応する画像であり、パターンマッチングの処理対象として保存用モザイク画像から予め抽出される。例えば、最後に連結された全焦点画像が基準画像Ｂ１として抽出される。或いは、保存用モザイク画像に対して最後に連結された全焦点画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された全焦点画像に隣接する他の全焦点画像が基準画像Ｂ１として抽出される。

基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。

特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。

特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。

図７（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。図７（ａ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から求められた両画像の重複領域Ｂ４が示されている。また、図７（ｂ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された基準画像及び第ｎフレーム画像の重複領域Ｂ５，Ｂ６が示されている。

基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。

すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。

類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。

本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせに対して、重複領域内の特徴点について比較を行う図７の方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用基準画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図６の方法が採用される。

図８及び図９のステップＳ１０１〜Ｓ１２４は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、基準画像生成部１２６は、最後に張り合わされた全焦点画像に対応する画像領域を保存用モザイク画像から抽出し、抽出した画像領域と対応するモザイク形状データとから、ピントの合った隣接画素からなる単一の画像領域の面積が最大となる焦点位置の画像として、基準画像を生成する（ステップＳ１０１）。

次に、特徴量抽出部１４１は、カメラ２１０のフォーカス機構を制御して焦点位置を調整し、基準画像と焦点位置が略同一の位置合わせ用フレーム画像を取得する（ステップＳ１０２，Ｓ１０３）。そして、取得した位置合わせ用フレーム画像が、最初のフレーム画像であれば、画像全体から特徴点を抽出する（ステップＳ１０４，Ｓ１０５）。

次に、相対位置判定部１４２は、各画像の全特徴点について比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置を判定する（ステップＳ１０６）。このとき、相対位置が判定できなければ、基準画像を位置合わせに成功した最後のフレーム画像と焦点位置が略同一の画像に変更し、変更後の基準画像全体に含まれる全特徴点とフレーム画像の全特徴点とを比較することによって相対位置を判定する（ステップＳ１０７，Ｓ１１２，Ｓ１１３）。

そして、相対位置が判定できてフレーム画像の位置合わせに成功すれば、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１１４，Ｓ１１６，Ｓ１１７）。変更後の基準画像全体の特徴点とフレーム画像全体の特徴点との比較によっても相対位置が判定できず、位置合わせに失敗した場合には、マッチングエラーが報知される（ステップＳ１１４，Ｓ１１５）。

ステップＳ１０７において相対位置が判定できてフレーム画像の位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される、（ステップＳ１０７，Ｓ１１６，Ｓ１１７）。

一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部１４２は、前回の位置合わせの結果、すなわち、１フレーム前の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の重複領域を推定する（ステップＳ１０４，Ｓ１０８，Ｓ１０９）。特徴量抽出部１４１は、この推定された重複領域から特徴点を抽出する。

次に、相対位置判定部１４２は、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する（ステップＳ１１０）。このとき、相対位置が判定できなければ、ステップＳ１０５以降の処理手順が実行される（ステップＳ１１１）。

ステップＳ１１１において相対位置が判定できて位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される（ステップＳ１１１，Ｓ１１６，Ｓ１１７）。

静止画像取得部１２９は、ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて、焦点位置の異なる複数の静止画像を取得する（ステップＳ１１８，Ｓ１２０）。全焦点画像生成部１３０は、これらの静止画像を合成し、全焦点画像を生成する（ステップＳ１２１）。

モザイク画像生成部１３１は、全焦点画像と保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を推定し、その推定結果に基づいて両画像を連結する処理を行って保存用モザイク画像を更新する（ステップＳ１２２〜Ｓ１２４）。

ステップＳ１０２からＳ１１８までの処理手順は、撮影終了が指示されるまで繰り返される（ステップＳ１１９）。

本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、フレーム画像及び基準画像から抽出した特徴量の比較によってフレーム画像及びモザイク画像間の相対的位置関係を判断するので、システム構成を複雑化させることなく、撮影中の視野を全焦点画像からなるモザイク画像上の適切な位置に表示させることができる。また、位置合わせ用の基準画像と焦点位置が略同一のフレーム画像を取得してフレーム画像の位置合わせを行うので、オートフォーカス機能を利用する方法に比べて位置合わせに要する時間を増大させることなく、画像間のオーバーラップ部分にピンボケが生じるのを抑制することができる。

また、特徴量の比較を行う際、過去の相対位置の判定結果に基づいてフレーム画像と基準画像との間の重複領域を推定し、この重複領域内の特徴量について比較を行うので、フレーム画像と基準画像との位置合わせの精度を向上させることができる。

なお、本実施の形態では、カメラ２１０のフォーカス機構を制御することによって焦点位置の異なる複数の静止画像が取得される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０がｚ軸方向に移動させることができ、可動ステージ２３０のｚ軸方向における位置を検出する位置センサーを備え、可動ステージ２３０をｚ軸方向に移動させながら焦点位置の異なる静止画像を取得するものも本発明には含まれる。

また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用基準画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用基準画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。

１ 拡大観察装置
１００ システム本体部
１１０ ディスプレイ
１１１ ライブ画面
１２１，１３４ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ モザイク形状データ記憶部
１２６ 基準画像生成部
１２７ 基準画像記憶部
１２８ ライブ位置合わせ部
１２８ａ，１２８ｂ 位置合わせ用縮小部
１２８ｃ マッチング処理部
１２９ 静止画像取得部
１３０ 全焦点画像生成部
１３１ モザイク画像生成部
１３１ａ 保存用位置合わせ部
１３１ｂ 画像連結部
１３２ 高さ形状データ生成部
１３３ モザイク形状データ生成部
１３５ 焦点位置制御部
１４１ 特徴量抽出部
１４２ 相対位置判定部
１４３ 比較部
１４４ 相対位置演算部
１４５ 重複領域推定部
２００ カメラ部
２１０ カメラ
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ フレーム画像
Ｂ３ 特徴点

Claims (9)

1. 検査対象物を載せたまま異なる２方向に移動可能な可動ステージと、
   上記可動ステージと対向配置され、上記可動ステージに載置された検査対象物を撮影して、連続する複数のフレーム画像を生成するカメラと、
   上記カメラの焦点位置を変更する焦点位置変更手段と、
   上記焦点位置変更手段により上記カメラの焦点位置を変更しながら、焦点位置の異なる２以上の静止画像を取得する静止画像取得手段と、
   上記静止画像取得手段により取得された２以上の静止画像を合成して、上記カメラの実視野と比べて被写界深度の深い全焦点画像を生成する全焦点画像生成手段と、
   上記全焦点画像生成手段により生成された全焦点画像を表示部に表示させる全焦点画像表示手段と、
   上記全焦点画像生成手段により生成された全焦点画像の各画素における合焦位置に基づいて、検査対象物の高さデータを取得する高さデータ取得手段と、
   上記高さデータ取得手段により取得された高さデータに基づいて、上記表示部に表示された全焦点画像と該全焦点画像が生成された後に上記カメラにより生成されたフレーム画像とのオーバーラップ部分の少なくとも一部に対応する合焦位置を求めて、求めた合焦位置に基づいて上記焦点位置変更手段を制御する焦点位置制御手段と、
   上記オーバーラップ部分において、上記表示部に表示された全焦点画像と、上記焦点位置制御手段により上記焦点位置変更手段が制御された後に上記カメラにより生成されたフレーム画像とから特徴量を抽出する特徴量抽出手段と、
   上記特徴量抽出手段により抽出された特徴量を比較して、上記表示部に表示された全焦点画像と上記カメラにより生成されたフレーム画像との相対位置を判定する相対位置判定手段と、
   を備えることを特徴とする撮像装置。
2. 上記相対位置判定手段の判定結果に基づいて、上記表示部に表示された全焦点画像上に上記カメラにより生成されたフレーム画像を表示させるフレーム画像表示手段を備えることを特徴とする請求項１記載の撮像装置。
3. 上記フレーム画像表示手段により表示されているフレーム画像に対応して、上記静止画像取得手段および上記全焦点画像生成手段により新たな全焦点画像を取得し、上記全焦点画像表示手段により表示されている全焦点画像と連結して全焦点モザイク画像を生成するモザイク画像生成手段を備えることを特徴とする請求項２記載の撮像装置。
4. 上記モザイク画像生成手段により生成された全焦点モザイク画像を保持する第１の画像記憶部と、
   上記第１の画像記憶部から読み出された全焦点モザイク画像を上記表示部用に所定の縮小率で縮小する表示用縮小部と、
   上記表示用縮小部で縮小された全焦点モザイク画像を保持する第２の画像記憶部と、を備え、
   上記モザイク画像生成手段は、取得した新たな全焦点画像を、上記第１の画像記憶部に記憶された全焦点モザイク画像と連結して新たな全焦点モザイク画像を生成し、
   上記全焦点画像表示手段は、上記第２の画像記憶部に記憶された全焦点モザイク画像を表示部に表示させることを特徴とする請求項３記載の撮像装置。
5. 上記焦点位置制御手段は、上記カメラの焦点位置が求めた合焦位置と略一致するように上記焦点位置変更手段を制御し、
   上記特徴量抽出手段は、上記オーバーラップ部分において、上記表示部に表示された全焦点画像と、上記カメラの焦点位置が上記焦点位置制御手段により求められた合焦位置と略一致する状態にて上記カメラにより生成されたフレーム画像とから特徴量を抽出することを特徴とする請求項１から４のいずれか記載の撮像装置。
6. 上記焦点位置制御手段は、上記相対位置判定手段によって過去に判定されたフレーム画像の相対位置と、該相対位置に対応する高さデータとに基づいて、上記焦点位置変更手段を制御することを特徴とする請求項１から５のいずれか記載の撮像装置。
7. 上記相対位置判定手段は、過去に相対位置が判定されたフレーム画像に関する相対位置の判定結果に基づいて、上記表示部に表示された全焦点画像と現在のフレーム画像とのオーバーラップ部分を推定し、
   上記焦点位置制御手段は、上記高さデータ取得手段により取得された高さデータに基づいて上記オーバーラップ部分における合焦位置を求め、上記カメラの焦点位置が該合焦位置と略一致するように上記焦点位置変更手段を制御することを特徴とする請求項１から６のいずれか記載の撮像装置。
8. 上記焦点位置制御手段は、上記オーバーラップ部分における合焦位置を求める際に、上記オーバーラップ部分において合焦部分の面積が最も大きくなる焦点位置を合焦位置として求めることを特徴とする請求項７記載の撮像装置。
9. 検査対象物を載せたまま異なる２方向に移動可能な可動ステージと、
   上記可動ステージと対向配置され、上記可動ステージに載置された検査対象物を撮影して、連続する複数のフレーム画像を生成するカメラと、
   上記カメラの焦点位置を変更する焦点位置変更手段と、
   上記焦点位置変更手段により上記カメラの焦点位置を変更しながら、焦点位置の異なる２以上の静止画像を取得する静止画像取得手段と、
   上記静止画像取得手段により取得された２以上の静止画像を合成して、上記カメラの実視野と比べて被写界深度の深い全焦点画像を生成する全焦点画像生成手段と、
   上記全焦点画像生成手段により生成された全焦点画像を表示部に表示させる全焦点画像表示手段と、
   上記全焦点画像生成手段により生成された全焦点画像を構成する焦点位置の異なる複数の静止画像のうち、上記表示部に表示された全焦点画像と該全焦点画像が生成された後に上記カメラにより生成されたフレーム画像とのオーバーラップ部分において合焦部分の面積が最大となる静止画像の焦点位置に基づいて、上記焦点位置変更手段を制御する焦点位置制御手段と、
   上記オーバーラップ部分において、上記表示部に表示された全焦点画像と、上記焦点位置制御手段により上記焦点位置変更手段が制御された後に上記カメラにより生成されたフレーム画像とから特徴量を抽出する特徴量抽出手段と、
   上記特徴量抽出手段により抽出された特徴量を比較して、上記表示部に表示された全焦点画像と上記カメラにより生成されたフレーム画像との相対位置を判定する相対位置判定手段と、
   を備えることを特徴とする撮像装置。