JP6045429B2 - 撮像装置、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、被検査物を撮像することにより得られた画像から、該被検査物表面の構造を示す情報を取得する撮像装置、画像処理装置及び画像処理方法に関する。

基板等の被検査物表面に発生した傷の検査方法として、直接目視による検査、顕微鏡による検査、カメラ等で撮像された画像による検査等が知られている。これらの傷の検査方法においては、被検査物表面の傷が微小である場合、高倍率に拡大して観察する必要があるため、一度に観察可能な範囲が狭くなり、検査に長時間を要するといった問題がある。

また、被検査物表面を着色液によって着色し、傷等の微小な凹部に着色液を充填して観察を行う傷の検査方法も知られている。しかしながら、この傷の検査方法においては、着色液が被検査物表面に劣化等の影響を及ぼすおそれがある。また、検査後に着色液の除去等の作業が必要であり、非常に手間がかかる。

そのため、被検査物表面の微小な傷を検査するために、被検査物に斜めに光を照射して該被検査物を撮像することにより得られた画像を観察する技術が提案されている。例えば、特許文献１には、被検査物に対して互いに異なる複数の方向から光を照射し、傷部分の凹凸により生じる明暗に基づいて傷を検出する技術が開示されている。また、特許文献２には、被検査物に対する光の照明方向が互いに異なる複数の画像を合成することにより、傷部分の凹部の輪郭が強調された合成画像を生成する技術が開示されている。これらの技術によれば、被検査物表面に非接触且つ比較的短時間での傷の検査が可能である。

特開２００９−９７９７７号公報 特開２０００−１２５２８９号公報

ところで、被検査物に様々な方向から光を照射して撮像を行う場合、光源の向きや位置、指向性等の条件によっては、得られた画像にシェーディング（輝度のムラ）が発生することがある。しかしながら、特許文献１及び２においてはシェーディングが考慮されていないため、画像にシェーディングが発生している場合、傷部分の凹凸により生じる明暗とシェーディングによる明暗とを区別することができない。また、傷部分の凹凸による明暗に基づき、計算機等を用いて傷の自動検出を行う場合、シェーディングが傷の検出精度を低下させてしまうおそれもある。

画像に発生しているシェーディングを、白板等を撮影することにより事前に取得したシェーディング特性を用いて補正する技術も知られているが、この場合、白板を撮影する手間及び工程が増えてしまう。

本発明は、上記に鑑みてなされたものであって、照明方向が互いに異なる複数の画像をもとに、シェーディング補正の手間を要することなく、被検査物表面の構造に関する情報を簡単且つ精度良く取得することができる撮像装置、画像処理装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体に対し、異なる複数の方向から光を順次照射する照明部と、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像し、複数の照明方向にそれぞれ対応する複数の画像の画像情報を生成する撮像部と、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出部と、抽出された前記領域画像を合成する合成処理部と、を備えることを特徴とする。

上記撮像装置において、前記複数の照明方向は、直交関係にある少なくとも２つの方向を含む、ことを特徴とする。

上記撮像装置において、前記領域画像抽出部は、前記複数の画像の各々に生じるシェーディング特性を推定するシェーディング特性推定部を備え、前記シェーディング特性推定部が推定した前記シェーディング特性に基づき、前記少なくとも２つの領域画像を抽出する、ことを特徴とする。

上記撮像装置において、前記照明部は、前記撮像視野に対して互いに異なる位置に配置され、各々が前記被写体を照射する光を発光する複数の光源又は複数の光源群を有し、前記シェーディング特性推定部は、前記複数の光源又は前記複数の光源群のうち、前記複数の画像の各々が撮像された際に発光した光源又は光源群の位置及び／又は向きに基づいて前記シェーディング特性を推定することを特徴とする。

上記撮像装置において、前記シェーディング特性推定部は、前記複数の画像の各々の輝度情報に基づいて前記シェーディング特性を推定することを特徴とする。

上記撮像装置において、前記合成処理部は、前記少なくとも２つの領域画像を合成することにより、前記複数の照明方向の各々に依存する構造に関する情報を取得することを特徴とする。

上記撮像装置において、前記合成処理部は、前記少なくとも２つの領域画像を加重平均処理により合成することを特徴とする。

上記撮像装置において、前記合成処理部は、前記少なくとも２つの領域画像を差分処理により合成することを特徴とする。

上記撮像装置において、前記領域画像抽出部は、前記複数の画像の各々を前記複数の照明方向に応じて複数の領域に分割することにより、複数の領域画像を設定する画像領域分割部を備え、前記少なくとも２つの画像の間で対応する領域画像を選択することにより、前記少なくとも２つの領域画像を抽出することを特徴とする。

本発明に係る画像処理装置は、被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理装置において、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出部と、抽出された前記領域画像を合成する合成処理部と、を備えることを特徴とする。

本発明に係る画像処理方法は、被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理方法において、前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出ステップと、抽出された前記領域画像を合成する合成処理ステップと、を含むことを特徴とする。

本発明によれば、照明方向が互いに異なる複数の画像から、各画像における光の照明方向に関する情報に基づいて合成処理の対象とする領域画像を抽出するので、シェーディング補正の手間を要することなく、被検査物表面の構造に関する情報を、簡単且つ精度良く取得することが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の構成例を示す模式図である。 図２は、図１に示す領域画像抽出部の構成を示すブロック図である。 図３は、本発明の実施の形態１に係る撮像方法を示すフローチャートである。 図４は、照明方向が互いに異なる複数の画像を取得するステップを説明する図である。 図５は、異方向照明画像群を示す模式図である。 図６は、被検査物に凹凸のある構造が存在する場合に現れる照明方向に応じた影を説明する模式図である。 図７は、異方向照明画像群の各画像を領域分割するステップを説明する模式図である。 図８は、図７に示す画像を単純平均処理により合成した合成画像を示す模式図である。 図９は、工業用顕微鏡により取得された顕微鏡画像を加重平均処理により合成した例を示す写真である。 図１０は、図７に示す画像を差分処理により合成した合成画像を示す模式図である。 図１１は、本発明の実施の形態２に係る撮像装置の構成例を示す模式図である。 図１２は、図１１に示す領域画像抽出部の構成を示すブロック図である。 図１３は、本発明の実施の形態２に係る撮像方法を示すフローチャートである。 図１４は、図４に示す撮像部の視野を各光源の方向から順次照明して撮像を行うことにより取得した画像を示す模式図である。

以下、本発明に係る撮像装置、画像処理装置及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

以下においては、本発明に係る撮像装置の構成として、基板検査等を行う工業用顕微鏡に本発明に係る画像処理装置を組み合わせた例を挙げるが、本発明に係る撮像装置は、ディジタルカメラ等、被写体を撮像して画像情報を生成する種々の画像取得手段に対し、本発明に係る画像処理装置を組み合わせて構成することが可能である。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。図１に示すように、実施の形態１に係る撮像装置１は、被写体である検査対象物（被検査物）１０に対し、互いに異なる複数の方向から光を照射する分割光源部１１と、該分割光源部１１の動作を制御する分割光源制御部１２と、被検査物１０を撮像して画像情報（画像データ）を生成する撮像部１３と、該撮像部１３により生成された画像情報に基づき、被検査物１０の画像に画像処理を施す画像処理装置１００とを備える。

分割光源部１１は、後述する撮像部１３の視野に対して互いに異なる位置に設けられた複数の光源１１ａ〜１１ｄを有する照明部である。光源１１ａ〜１１ｄは、分割光源制御部１２の制御の下で順次発光し、被検査物１０を互いに異なる方向から順次照明する。

分割光源部１１の構成として、本実施形態においては、図１に示すような複数の点光源（光源１１ａ〜１１ｄ）の組み合わせを用いるが、被検査物に対して複数の方向から照明光を照射する構成であれば、これに限定されるものではない。例えば、点光源にレンズ等の光学系を組み合わせた複数の平行光源の組み合わせであっても良いし、或いは、複数の点光源をリング状に配置したリング照明を用いても良い。リング照明は、工業用顕微鏡等の分野において用いられる照明手段であり、複数の点光源を複数の領域に分割し、各領域に含まれる点光源群を同時に発光させることにより、点光源群の重心位置に仮想的な１つの光源が存在するものとみなして、撮像部１３の視野との相対的な位置関係や向きを考えることができる。

分割光源制御部１２は、画像処理装置１００が備える制御部１０７（後述）の制御の下で、発光させる光源１１ａ〜１１ｄを順次切り替える。また、分割光源制御部１２は、発光した光源１１ａ〜１１ｄの撮像部１３との相対的な位置関係や被検査物１０に照射している向き等の情報を、撮像部１３において撮像が行われた際の照明方向に関する情報として画像処理装置１００に送信する。

撮像部１３は、例えばＣＣＤやＣＭＯＳ等の撮像素子及び対物レンズ等の光学系を備え、画像処理装置１００が備える制御部１０７（後述）の制御の下で、光源１１ａ〜１１ｄの発光と同期して被検査物１０を撮像する。より詳細には、撮像部１３は、光源１１ａ〜１１ｄのいずれかから出射し、被検査物１０により反射された光を、対物レンズ等の光学系を介して撮像素子の受光面において受光し、光電変換により被検査物１０の像を表す電気信号を生成する。撮像部１３はさらに、生成した電気信号にＡ／Ｄ変換処理を施すことにより、デジタルの画像情報（画像データ）を生成し、画像処理装置１００に出力する。

画像処理装置１００は、撮像部１３から出力された画像データに所定の画像処理を施すことにより被検査物１０の画像を生成すると共に、該画像に基づいて被検査物１０表面に生じている傷等の凹凸のある構造に関する情報を取得する。画像処理装置１００は、入力部１０１と、外部インタフェース（Ｉ／Ｆ）部１０２と、記憶部１０３と、領域画像抽出部１０４と、合成処理部１０５と、出力部１０６と、これらの各部を制御する制御部１０７とを備える。

入力部１０１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスに対するユーザの操作に応じた信号を制御部１０７に出力する。

外部インタフェース部１０２は、当該画像処理装置１００に対して外部装置を接続するためのインタフェースであり、実施の形態１においては、分割光源制御部１２及び撮像部１３が、外部インタフェース部１０２を介して画像処理装置１００に接続される。外部インタフェース部１０２は、制御部１０７から出力された撮像動作の制御信号を撮像部１３に送信すると共に、撮像部１３から出力された画像データを受け取り、該画像データにフォーマット変換等の処理を施すことにより表示用の画像データを生成して記憶部１０３に記憶させる。また、外部インタフェース部１０２は、制御部１０７から出力された、分割光源部１１の発光動作の制御信号を分割光源制御部１２に送信すると共に、分割光源制御部１２から出力された照明方向に関する情報を受け取り、画像データと関連付けて記憶部１０３に記憶させる。

記憶部１０３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置を含む記録装置等によって構成される。記憶部１０３は、外部インタフェース部１０２を介して入力された画像データや各種情報を記憶すると共に、制御部１０７が実行する各種制御プログラムや、該プログラムの実行中に使用される各種情報を記憶する。

領域画像抽出部１０４は、被検査物１０に対する照明方向が互いに異なる複数の画像から、後段の合成処理部１０５において処理対象とする領域画像を抽出する。ここで、領域画像とは、各画像内の一部である部分的な画像のことである。

図２は、領域画像抽出部１０４の詳細な構成を示すブロック図である。図２に示すように、領域画像抽出部１０４は、シェーディング特性推定部１１０と、画像領域分割部１１１と、領域画像選択部１１２とを備える。

シェーディング特性推定部１１０は、分割光源制御部１２から出力された照明方向に関する情報に基づいて、被検査物１０に対する照明方向に応じたシェーディング特性を推定する。

画像領域分割部１１１は、分割光源制御部１２から出力された上記照明方向に関する情報に基づき、各画像を複数の領域に分割する。この分割された各領域が、上述した領域画像として設定される。なお、撮像部１３が撮像する際の複数の照明方向が予め決まっている場合には、画像領域分割部１１１は、照明方向に関する情報を用いることなく、予め決められた方法で各画像を分割しても良い。

領域画像選択部１１２は、シェーディング特性推定部１１０により推定されたシェーディング特性に基づいて、複数の画像の各々を分割して得られた領域画像のうちから、被検査物１０表面の共通の領域が写った領域画像であって、後述する合成処理部１０５に合成処理を実行させる領域画像のペアを選択する。

合成処理部１０５は、領域画像抽出部１０４により抽出された領域画像のペアに合成処理を施すことにより、合成画像を生成する。合成処理部１０５は、領域画像のペアに対する合成処理として、加重平均処理又は差分処理を実行することが可能であり、いずれの処理を実行するかについては、事前に設定されている。また、差分処理を実行する場合には、出力方式として、差分画像そのもの又は差分画像から凹凸の構造を抽出した結果（検査結果）を出力することが可能であり、いずれを出力するかについては、事前に設定されている。なお、合成処理部１０５が実行する合成処理や出力方式を、入力部１０１を用いてユーザが外部から指定できる構成としても良い。

出力部１０６は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等の表示装置を含み、合成処理部１０５により合成された合成画像や検査結果等を表示する。なお、実施の形態１においては、表示装置を画像処理装置１００の内部に備える構成としているが、外部インタフェース部１０２を介して画像処理装置１００の外部に表示装置を設ける構成としても良い。

制御部１０７は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１０３に記憶された各種制御プログラムを読み込むことにより、記憶部１０３に記憶された各種情報に基づき、画像処理装置１００及び撮像装置１全体の動作を統括的に制御する。具体的には、制御部１０７は、被検査物１０表面の構造に関する情報を取得するための動作を、分割光源制御部１２、撮像部１３及び画像処理装置１００内の各部を実行させる。

次に、実施の形態１に係る撮像方法を説明する。図３は、実施の形態１に係る撮像方法を示すフローチャートである。
まず、ステップＳ１において、画像処理装置１００は、分割光源部１１の光源１１ａ〜１１ｄを順次発光させると共に、光源１１ａ〜１１ｄの発光と同期して撮像部１３に撮像を実行させることにより、被検査物１０に対する視野の少なくとも一部が共通し、且つ照明方向が互いに異なる複数の画像（以下、異方向照明画像群ともいう）を取得する。なお、実施の形態１においては、被検査物１０に対する視野が一致する画像を取得するものとする。

実施の形態１においては、図４に示すように、撮像部１３の視野１３ａを光源１１ａにより上辺方向から照明し、光源１１ｂにより下辺方向から照明し、光源１１ｃにより左辺方向から照明し、光源１１ｄにより右辺方向から照明し、これらの各方向からの照明と同期して、視野１３ａ内の被検査物１０を４回撮像する動作を１サイクルとする。なお、図４においては、光源１１ａが発光している状態を示している。

照明方向の数及び方向としては、直交関係にある少なくとも２つの照明方向が含まれていれば、特に限定されない。例えば図４においては、視野１３ａを４つの辺の方向から順次照明しているが、４つの光源１１ａ〜１１ｄを視野１３ａの４つの頂点の近傍にそれぞれ配置し、該視野１３ａを４つの頂点の方向から順次照明しても良い。

ステップＳ２において、上記１サイクルの撮像動作により順次生成された異方向照明画像群の画像データが、撮像部１３から画像処理装置１００に順次入力されると共に、各画像の撮像時に発光した光源１１ａ〜１１ｄの位置情報（光源位置情報）が、照明方向に関する情報として分割光源制御部１２から画像処理装置１００に順次入力される。

図５は、画像処理装置１００に入力された画像データに対応する異方向照明画像群を示す模式図である。詳細には、図５（ａ）に示す画像２１は、光源１１ａにより視野１３ａを図の上方向から照明して撮像された画像である。図５（ｂ）に示す画像２２は、光源１１ｂにより視野１３ａを図の下方向から照明して撮像された画像である。図５（ｃ）に示す画像２３は、光源１１ｃにより視野１３ａを図の左方向から照明して撮像された画像である。図５（ｄ）に示す画像２４は、光源１１ｄにより視野１３ａを図の右方向から照明して撮像された画像である。

ここで、図６に示すように、被検査物１０の表面に傷等の凹凸のある構造１０ａが存在する場合、該構造１０ａを斜めから照明すると、照明方向に応じた影が現れる。このため、被検査物１０を写した異方向照明画像群内の各画像には、照明方向、即ち、発光した光源１１ａ〜１１ｄの位置に応じた明暗が現れる。この明暗は、構造１０ａが照明方向と直交する方向に延びる場合に最も強く現れ、構造１０ａが照明方向と平行な方向に延びる場合にはほとんど現れない。

従って、視野１３ａを図の上下方向から照明した画像２１、２２には、実線で示す左右方向に延びる構造の影が強く現れ、破線で示す上下方向に延びる構造の影はほとんど現れない。一方、視野１３ａを図の左右方向から照明した画像２３、２４には、実線で示す上下方向に延びる構造の影が強く現れ、破線で示す左右方向に延びる構造の影はほとんど現れない。従って、同一の視野１３ａを、直交関係にある２つの方向を含む複数方向から照明して複数回撮像を行うことにより、構造１０ａの特異的な差が最も現れる複数の画像を取得することができる。

なお、被検査物１０を斜めから照明すると、傷等の凹凸の構造部分で乱反射が発生するため、乱反射の像を観察することにより当該構造を確認することも可能であるが、実施の形態１においては、簡易な演算処理を行うために、画像内の影から凹凸の構造を検出する。

ステップＳ３において、画像領域分割部１１１は、分割光源制御部１２から出力された光源位置情報に基づき、異方向照明画像群の各画像を領域分割する。具体的には、照明方向と直交する方向に各画像２１〜２４を分割する。例えば図５に示す異方向照明画像群の場合、図の上下方向及び左右方向から照明を行っているので、図７の一点鎖線で示すように、各画像２１〜２４の縦方向及び横方向を各々２分割することにより、４つの矩形の領域に分割する。それにより、画像２１〜２４から、領域画像２１ａ〜２１ｄ、２２ａ〜２２ｄ、２３ａ〜２３ｄ、２４ａ〜２４ｄがそれぞれ得られる。

ここで、画像の分割数は４つに限定されず、例えば縦方向及び横方向のいずれか又は両方を３分割以上とするなど、任意に設定して良い。また、例えば光源１１ａ〜１１ｄを視野１３ａの頂点近傍に配置する場合には、各画像を、照明方向と直交する２つの対角線により４つの三角形の領域に分割しても良い。

なお、視野１３ａに対する照明方向や画像の分割方法が予め決まっている場合には、画像領域分割部１１１は、光源位置情報を用いることなく、予め決められた方法に従って画像分割を行えば良い。

ステップＳ４において、シェーディング特性推定部１１０は、分割光源制御部１２から出力された光源位置情報に基づき、異方照明画像群の各画像におけるシェーディング特性を推定する。ここで、例えば工業用顕微鏡等において、光源から出射する照明光の強度は、該光源の直下において最も強く、光源との距離が離れるに従って低下する。そのため、図５（ａ）〜（ｄ）に示すように、各画像２１〜２４には、被検査物１０と光源１１ａ〜１１ｄとの距離が近い領域ほど明るく、該距離が離れた領域ほど暗くなるというシェーディングが発生する。そこで、シェーディング特性推定部１１０は、各画像２１〜２４が撮像された際の視野１３ａと光源１１ａ〜１１ｄとの位置関係から、各画像２１〜２４に発生しているシェーディング特性を推定する。例えば画像２１の場合、視野１３ａの上方の光源１１ａにより照明されたため、上方が明るく、下方が暗いというシェーディング特性が推定される。

このようなシェーディング特性は、照明方向別の複数のシェーディング特性を予め記憶部１０３に記憶させておき、シェーディング特性推定部１１０が光源位置情報に基づいて、該当するシェーディング特性を記憶部１０３から読み出すようにしても良い。或いは、シェーディング特性推定部１１０は、ある光源（例えば光源１１ａ）の位置に対応する１種類のシェーディング特性を予め保持しておき、このシェーディング特性を光源位置情報に基づいて回転させることにより、各画像２２〜２４におけるシェーディング特性を推定しても良い。
このように、光源位置情報を用いることにより、各画像２１〜２４に発生しているシェーディング特性を、計算コストを要することなく推定することができる。

ステップＳ５において、領域画像選択部１１２は、ステップＳ３における領域分割により得られた領域画像２１ａ〜２１ｄ、２２ａ〜２２ｄ、２３ａ〜２３ｄ、２４ａ〜２４ｄ（図７参照）から、ステップＳ４において推定されたシェーディング特性に基づき、続いて実行される合成処理の対象とする領域画像群を選択する。

詳細には、領域画像選択部１１２は、被検査物１０表面の共通の領域が写った複数の領域画像のうち、領域画像間のシェーディング特性の差が小さい領域画像のペアを複数組選択する。領域画像間のシェーディング特性の差の大小は、例えば、２つの領域画像において対応する画素間におけるシェーディング特性値の差分の２乗和又は絶対値和を算出することにより判断することができる。

図７の場合、画像２１〜２４の左上の領域画像２１ａ、２２ａ、２３ａ、２４ａのうちでは、領域画像２１ａ、２３ａのペアがシェーディング特性の差が小さい。従って、領域画像２１ａ、２３ａのペアが、合成処理の対象として選択される。同様に、画像２１〜２４の右上の領域画像２１ｂ、２２ｂ、２３ｂ、２４ｂからは、領域画像２１ｂ、２４ｂのペアが選択される。同様に、画像２１〜２４の右下の領域画像２１ｃ、２２ｃ、２３ｃ、２４ｃからは、領域画像２２ｃ、２４ｃのペアが選択される。同様に、画像２１〜２４の左下の領域画像２１ｄ、２２ｄ、２３ｄ、２４ｄからは、領域画像２２ｄ、２３ｄのペアが選択される。

なお、同じ位置の領域画像に対し、シェーディング特性の差が小さい領域画像のペアが複数存在する場合には、輝度が高い方のペアを選択することが好ましい。例えば領域画像２１ａ、２２ａ、２３ａ、２４ａの場合、領域画像２２ａ、２４ａのペアもシェーディング特性の差は小さいが、合成処理の対象としては、より輝度が高い領域画像２１ａ、２３ａのペアが選択される。

このように、シェーディング特性の差が小さい領域画像のペアを選択することにより、続いて実行される合成処理において、シェーディングの影響を抑制することができる。
なお、ステップＳ３における領域分割方法が固定されている場合、各領域画像に生じるシェーディング特性も、照明方向及び領域画像の位置ごとに一定となる。この場合、領域画像の位置ごとに、照明方向が互いに異なる領域画像に発生するシェーディング特性の差を予め算出し、シェーディング特性の差が最小となる照明方向のペアを求めておいても良い。それにより、ステップＳ５においては、光源位置情報のみに基づいて、合成処理の対象とする領域画像のペアを簡単に選択できるようになる。

ステップＳ６において、合成処理部１０５は、ステップＳ５において選択された領域画像群に対する合成処理として、例えば、加重平均処理と差分処理とのうち、事前設定されている処理を選択する。

合成処理として加重平均処理が事前設定されている場合（ステップＳ６：加重平均処理）、合成処理部１０５は、ステップＳ５において選択された領域画像群に対し、ペアごとに加重平均処理を施す（ステップＳ７）。

例えば、ペアとして選択された一方の領域画像（例えば領域画像２１ｂ）内の座標（ｘ，ｙ）における画素の画素値をＩ_u（ｘ，ｙ）、他方の領域画像（例えば領域画像２４ｂ）内の同じ位置の画素の画素値をＩ_r（ｘ，ｙ）、各領域画像の各画素に与えられる重みを０．５ずつ（即ち、単純平均）とする場合、加重平均画像内の画素の画素値Ｉ_a（ｘ，ｙ）は次式（１）によって与えられる。

また、合成処理部１０５は、選択された領域画像群の各領域画像の各画素においてエッジ量を算出し、ペアとなる領域画像間で対応する各画素におけるエッジ量の差に基づく重みｗ（ｘ，ｙ）をつけて加重平均処理を行っても良い。この場合、加重平均画像内の画素の画素値Ｉ_w（ｘ，ｙ）は次式（２）によって与えられる。

式（２）において、重みｗ（ｘ，ｙ）は、ペアとして選択された一方の領域画像（例えば領域画像２１ｂ）のエッジ量が他方の領域画像（例えば領域画像２４ｂ）のエッジ量に対して十分に大きい場合、１に近づくように設定され、反対に、一方の領域画像のエッジ量が他方の領域画像のエッジ量に対して十分小さい場合、０に近づくように設定される。これより、加重平均画像においては、エッジ量が大きい領域画像の画素値の寄与が大きくなる。

このように、領域画像のエッジ量に応じた加重平均処理を行うことにより、凹凸の構造を示す画素の画素値と、該構造を示さない画素の画素値との平均化を避けることができ、構造がより鮮明に現れた合成画像を得ることができる。

続くステップＳ８において、合成処理部１０５は、ステップＳ７における加重平均処理により得られた合成画像（加重平均画像）を出力する。それに応じて、出力部１０６は、合成画像を画面表示する。
その後、撮像装置１における一連の処理は終了する。

一方、ステップＳ６において、合成処理として差分処理が事前設定されている場合（ステップＳ６：差分処理）、合成処理部１０５はステップＳ５において選択された領域画像群に対し、ペアごとに差分処理を施す（ステップＳ９）。

続くステップＳ１０において、合成処理部１０５は、出力方式として、差分画像の出力又は構造を抽出した検査結果の出力を、事前設定に従って選択する。

出力方式として差分画像の出力が選択された場合（ステップＳ１０：差分画像）、合成処理部１０５は、ステップＳ９において得られた差分画像を出力する（ステップＳ１１）。それに応じて、出力部１０６は、差分画像を画面表示する。

ここで、差分画像においては、処理対象の領域画像間で画素値の差が大きい画素では明度が高くなり、画素値の差が小さい画素では明度が低くなる。そのため、照明方向に依存する構造（縦方向の傷や横方向の傷）が存在する場合、該構造は明度の高い画素領域として現れる。
その後、撮像装置１における一連の処理は終了する。

一方、ステップＳ１０において検査結果の出力が選択された場合（ステップＳ１０：検査結果）、合成処理部１０５は、ステップＳ９において得られた差分画像に対して閾値処理を施す（ステップＳ１２）。上述したように、照明方向に依存する構造は明度の高い画素領域として現れるため、閾値処理により差分画像から構造を抽出し、該構造の有無を自動判別することができる。

ここで、被検査物１０を撮像して得られた画像から傷等の構造を抽出する際には、エッジ検出が行われることが多い。しかしながら、被検査物１０の表面に、傷等の構造の他に、文字や図柄といったテクスチャ成分が存在する場合、エッジ検出では構造のみを精度良く抽出することが困難である。

それに対し、実施の形態１の場合、照明方向が異なる２つの領域画像間では、シェーディング特性の違いを除けば、照明方向に依存する構造の違いが存在するだけである。即ち、テクスチャ成分については共通であるため、２つの領域画像の差分を取ることで、被検査物１０表面の構造のみを精度良く抽出することが可能となる。

続くステップＳ１３において、合成処理部１０５は、構造の抽出結果を出力する。具体的には、合成処理部１０５は、差分画像に対する閾値処理の結果、所定の閾値以上の画素値を有する画素が検出された場合、凹凸のある構造が存在すると判定し、判定結果として例えば、検出された画素の位置情報を出力する。反対に、合成処理部１０５は、閾値以上の画素値を有する画素が検出されなかった場合、凹凸のある構造は存在しないと判定し、「傷なし」といった判定結果を出力する。これに応じて、出力部１０６は、合成処理部１０５から出力された判定結果を画面表示する。
その後、撮像装置１における一連の処理は終了する。

図８（ａ）は、図７に示す画像２１〜２４から選択された領域画像のペアに対し、重みｗ（ｘ，ｙ）を０．５として加重平均処理（ステップＳ７参照）を施すことにより得られた合成画像を示す模式図である。図８（ａ）に示すように、この合成画像においては、凹凸の構造を表す影が、もとの画像２１〜２４の照明方向によらず鮮明に現れている。また、シェーディング特性を考慮して加重平均を取る領域画像のぺアを選択したことにより、合成画像全体においてシェーディングの影響を抑制することができ、構造を明確に識別することが可能となっている。

図８（ｂ）に、図５に示す画像２１と画像２４とを、シェーディング特性を考慮することなく単純平均処理により合成した画像の模式図を比較として示す。図８（ｂ）に示すように、照明方向が互い異なる画像同士を合成することにより、構造の方向依存性を抑制することができる。しかしながら、この合成画像においては、画像２１、２４に生じたシェーディングの影響がさらに強くなっているため、シェーディングの影響により明度が低下した領域（例えば、図の左下の領域）においては、構造の視認性が低下している。

図９は、工業用顕微鏡により取得された顕微鏡画像を合成した例を示す写真である。図９（ａ）は、視野の上方から照明を行った画像の右上の領域画像（図７（ａ）の領域画像２１ｂに相当）であり、図９（ｂ）は、視野の右方から照明を行った画像の右上の領域画像（図７（ｄ）の領域画像２４ｂに相当）であり、図９（ｃ）は、これらの領域画像の加重平均画像である。

図９（ａ）に示す領域Ｐ内には、略横方向に延びる傷が観察されるが、図９（ｂ）の同領域Ｐ内には、同じ傷は観察されない。即ち、図９（ａ）の領域Ｐ内に見られる傷は、照明方向に依存する傷である。また、図９（ｂ）に示す領域Ｑ内には、略縦方向に延びる傷が観察されるが、図９（ａ）の同領域Ｑ内には、同じ傷は観察されない。即ち、図９（ｂ）の領域Ｑ内に見られる傷は、照明方向に依存する傷である。これらの領域画像の加重平均画像においては、領域Ｐ及び領域Ｑ内の傷を共に、鮮明に観察することができる。

図１０は、図７に示す画像２１〜２４から選択された領域画像のペア（ステップＳ５参照）に対して差分処理（ステップＳ９参照）を施すことにより得られた合成画像を示す模式図である。上述したとおり、この合成画像においては照明方向に依存する構造が明度の高い（即ち、白っぽい）画素領域として現れている。

以上説明したように、実施の形態１によれば、照明方向が互いに異なる複数の画像の各々を複数の領域画像に分割し、シェーディング特性に基づいて選択された領域画像同士を合成（加重平均処理又は差分処理）するので、シェーディングによる影響を低減しつつ、照明方向に依存する構造を精度良く抽出することができる。従って、シェーディング補正等の計算負荷の高い処理を行うことなく、被検査物表面の構造に関する情報を簡単且つ高精度に取得することが可能となる。

また、従来の傷の検査においては、照明方向が互いに異なる複数の画像の各々を観察する必要があったが、実施の形態１によれば、被検査物表面の構造が抽出された合成画像（加重平均画像若しくは差分画像）や構造の検出結果のみを確認すれば良いので、被検査物１０の検査に要する時間や手間の削減を図ることが可能となる。

なお、実施の形態１においては、被検査物表面の構造として傷を検出する場合を説明したが、検出対象は傷に限定されず、例えば偏光に応じて光学異方性等が異なる構造を検出する場合であっても、実施の形態１を適用することができる。

また、実施の形態１においては、撮像部１３の視野１３ａに対し、４つの辺に対応する４つの点光源を設けて照明を行ったが、光源の種類や数や配置を適宜変更することで、検出精度をさらに向上させることも可能である。例えば、上述したように、光源１１ａ〜１１ｄの代わりに複数の平行光源を用いても良いし、リング光源を用いても良い。また、複数の光源を順次発光させる代わりに、フィルタを順次切り替えることにより、視野１３ａに対する照明方向を切り替えても良い。

また、実施の形態１においては、シェーディング特性を考慮し、１つの領域に対して、２つの画像から２つの領域画像を抽出し合成処理を施したが、これに限らず、１つの領域に対して、３つ以上の画像からシェーディングの影響の差が少ない３つ以上の領域画像を抽出し合成処理を施すことも可能である。

また、実施の形態１においては、事前設定された内容に従って合成処理や出力方式を選択したが（ステップＳ６、Ｓ１０参照）、ユーザが入力部１０１を用いて指示情報を入力することにより、合成処理部１０５に実行させる合成処理や出力方式を指定するようにしても良い。

また、上述した各画像に対する処理は、ソフトウェアにより実行される構成としても良いし、ハードウェアにより実行される構成としても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１１は、本発明の実施の形態２に係る撮像装置の構成を示す模式図である。図１１に示すように、実施の形態２に係る撮像装置２は、図１に示す画像処理装置１００の代わりに、画像処理装置２００を備える。なお、分割光源部１１、分割光源制御部１２及び撮像部１３の構成及び動作は実施の形態１と同様である。

画像処理装置２００は、図１に示す画像処理装置１００が備える領域画像抽出部１０４の代わりに、領域画像抽出部２０１を備える。図１２は、領域画像抽出部２０１の詳細な構成を示すブロック図である。

図１２に示すように、領域画像抽出部２０１は、シェーディング特性推定部２０２と、画像領域分割部１１１と、領域画像選択部１１２とを備える。このうち、画像領域分割部１１１及び領域画像選択部１１２の動作は実施の形態１と同様である。

シェーディング特性推定部２０２は、撮像部１３から画像処理装置２００に入力されて記憶部１０３に記憶された画像データに基づき、照明方向が互いに異なる複数の画像の各々に生じているシェーディング特性を推定する。この際、シェーディング特性推定部２０２は、実施の形態１とは異なり、分割光源制御部１２からの光源位置情報を用いることなく、画像そのものの輝度情報を用いてシェーディング特性を推定する。

次に、実施の形態２に係る撮像方法を説明する。図１３は、実施の形態２に係る撮像方法を示すフローチャートである。なお、図１３に示すステップＳ１〜Ｓ３は、実施の形態１と共通である（図３参照）。

ステップＳ３に続くステップＳ２０において、シェーディング特性推定部２０２は、異方照明画像群の各画像の輝度情報に基づき、当該画像のシェーディング特性を推定する。ここで、シェーディングは、画像における低周波の輝度変動とみなすことができる。そのため、画像内の各画素の画素値を輝度値に変換した輝度画像に対し、ローパスフィルタ処理を施すことにより、シェーディング特性を抽出することができる。或いは、モフォロジによるトップハット処理又はボトムハット処理等の公知技術により、シェーディング特性を抽出しても良い。

続くステップＳ２１において、領域画像選択部１１２は、ステップＳ３における領域分割により得られた領域画像２１ａ〜２１ｄ、２２ａ〜２２ｄ、２３ａ〜２３ｄ、２４ａ〜２４ｄ（図７参照）から、ステップＳ２０において推定されたシェーディング特性に基づき、続いて実行される合成処理の対象とする領域画像群を選択する。なお、領域画像群の選択方法は、実施形態１と同様である（ステップＳ５参照）。
以降のステップＳ６〜Ｓ１３の処理は、実施の形態１と同様である。

図１４（ａ）〜（ｄ）は、撮像部１３の視野１３ａ（図４参照）を各光源１１ａ〜１１ｄの方向から順次照明して撮像を行うことにより取得した画像を示す模式図である。なお図１４においては、ステップＳ３において各画像を８分割にする例を示している。

撮像装置２において実際に撮像を行う際には、例えば光源１１ａ〜１１ｄの経年劣化や指向性等の影響により、画像に表れるシェーディングが変化する。例えば、図１４（ａ）においては、視野１３ａ（図４参照）を図の上方から照明する光源１１ａの光が下方まで十分に届かなかったため、画像３１には全体的に暗くなるシェーディングが生じている。また、図１４（ｂ）においては、視野１３ａを図の下方から照明する光源１１ｂの光が広範囲に届いていたため、画像３２には全体的に明るくなるシェーディングが生じている。このような場合、予め取得されたシェーディング特性を光源位置情報に基づいて読み出すシェーディング特性の推定方法では、実際に生じているシェーディング特性との誤差が大きくなってしまう。そのため、後段の合成処理（ステップＳ７、Ｓ９）におけるシェーディングの影響を効果的に低減するためには、処理対象である画像３１〜３４からシェーディング特性を直接求めることが好ましい。

以上説明したように、実施の形態２によれば、処理対象である画像３１〜３４の輝度情報に基づいてシェーディング特性を推定するので、光源１１ａ〜１１ｄの光量や指向性が変化している場合であっても、後段の合成処理の対象とする最適な領域画像のペア（例えば、領域画像３２ａと領域画像３４ａ）を選択することができる。従って、被検査物１０表面の構造に関する情報を精度良く取得することが可能となる。

本発明は、上述した各実施の形態１及び２並びに変形例そのままに限定されるものではなく、各実施の形態１及び２並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１及び２並びに変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

１、２ 撮像装置
１０ 被検査物
１０ａ 構造
１１ 分割光源部
１１ａ〜１１ｄ 光源
１２ 分割光源制御部
１３ 撮像部
１３ａ 視野
２１〜２４、３１〜３４ 画像
２１ａ〜２１ｄ、２２ａ〜２２ｄ、２３ａ〜２３ｄ、２４ａ〜２４ｄ、３２ａ、３４ａ
領域画像
１００、２００ 画像処理装置
１０１ 入力部
１０２ 外部インタフェース（Ｉ／Ｆ）部
１０３ 記憶部
１０４、２０１ 領域画像抽出部
１０５ 合成処理部
１０６ 出力部
１０７ 制御部
１１０、２０２ シェーディング特性推定部
１１１ 画像領域分割部
１１２ 領域画像選択部

Claims (11)

1. 被写体に対し、異なる複数の方向から光を順次照射する照明部と、
   前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像し、複数の照明方向にそれぞれ対応する複数の画像の画像情報を生成する撮像部と、
   前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出部と、
   抽出された前記領域画像を合成する合成処理部と、
   を備えることを特徴とする撮像装置。
2. 前記複数の照明方向は、直交関係にある少なくとも２つの方向を含む、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記領域画像抽出部は、
   前記複数の画像の各々に生じるシェーディング特性を推定するシェーディング特性推定部を備え、
   前記シェーディング特性推定部が推定した前記シェーディング特性に基づき、前記少なくとも２つの領域画像を抽出する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記照明部は、前記撮像視野に対して互いに異なる位置に配置され、各々が前記被写体を照射する光を発光する複数の光源又は複数の光源群を有し、
   前記シェーディング特性推定部は、前記複数の光源又は前記複数の光源群のうち、前記複数の画像の各々が撮像された際に発光した光源又は光源群の位置及び／又は向きに基づいて前記シェーディング特性を推定することを特徴とする請求項３に記載の撮像装置。
5. 前記シェーディング特性推定部は、前記複数の画像の各々の輝度情報に基づいて前記シェーディング特性を推定することを特徴とする請求項３に記載の撮像装置。
6. 前記合成処理部は、前記少なくとも２つの領域画像を合成することにより、前記複数の照明方向の各々に依存する構造に関する情報を取得することを特徴とする請求項１に記載の撮像装置。
7. 前記合成処理部は、前記少なくとも２つの領域画像を加重平均処理により合成することを特徴とする請求項１又は６に記載の撮像装置。
8. 前記合成処理部は、前記少なくとも２つの領域画像を差分処理により合成することを特徴とする請求項１又は６に記載の撮像装置。
9. 前記領域画像抽出部は、
   前記複数の画像の各々を前記複数の照明方向に応じて複数の領域に分割することにより、複数の領域画像を設定する画像領域分割部を備え、
   前記少なくとも２つの画像の間で対応する領域画像を選択することにより、前記少なくとも２つの領域画像を抽出することを特徴とする請求項１に記載の撮像装置。
10. 被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理装置において、
    前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出部と、
    抽出された前記領域画像を合成する合成処理部と、
    を備えることを特徴とする画像処理装置。
11. 被写体に対し、異なる複数の方向から光を順次照射し、前記被写体に前記光が照射されるごとに、撮像視野の少なくとも一部が共通するように前記被写体を撮像することにより生成された画像情報に基づき、複数の照明方向にそれぞれ対応する複数の画像を処理する画像処理方法において、
    前記複数の画像の各々が撮像された際の前記光の照明方向に関する情報に基づき、前記複数の画像のうちの少なくとも２つの画像から、前記被写体の共通の領域が写った部分的な画像である少なくとも２つの領域画像をそれぞれ抽出する領域画像抽出ステップと、
    抽出された前記領域画像を合成する合成処理ステップと、
    を含むことを特徴とする画像処理方法。