JP2021118414A - 拡張焦点深度画像検出装置および拡張焦点深度画像検出方法 - Google Patents

Abstract

【課題】簡単な構成で点像分布関数のノイズ成分を低減できる拡張焦点深度画像検出装置および拡張焦点深度画像検出方法を提供する。
【解決手段】拡張焦点深度画像検出装置は、焦点深度が周期的に変化する液体共振式レンズであるレンズシステム３と、レンズシステム３を通してワーク９の画像を検出する画像検出部４と、画像検出部４の検出画像を処理して拡張焦点深度画像を検出する画像処理部と、ワーク９から画像検出部４までの光路上に配置された符号化絞り３４と、を有する。
【選択図】図３

Description

本発明は拡張焦点深度画像検出装置および拡張焦点深度画像検出方法に関する。

液体共振式の可変焦点レンズを用いて拡張焦点深度（ＥＤＯＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｏｃｕｓ）画像を検出する拡張焦点深度画像測定装置が知られている（特許文献１，２参照）。
液体共振式レンズは、周期的な駆動信号により内部の液体に定在波を生じさせ、同心円状の粗密によりレンズとしての屈折性能を得ており、その焦点深度は動作中、周期的に変化し続ける。

特許文献１，２の装置では、画像露光中にＥＤＯＦ焦点範囲全体にわたって予備画像を収集し、ぼけている可能性のあるこの予備画像を処理してクリアな画像を決定している。予備画像に対する処理としては、予備画像の焦点範囲に対応した点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いたデコンボリューションなどが行われる。
ＰＳＦは、本来の画像の周囲に拡がるぼけ成分の分布を示すものといえ、二次元画像でのピンぼけは、本来の画像とＰＳＦとの畳み込み演算（重畳積分；コンボリューション）の結果として表すことができる。

予備画像として、ＥＤＯＦ焦点範囲の全体にわたって光学的に合成された１枚の二次元画像を撮像すると、この二次元画像は、ＥＤＯＦ焦点範囲内の各合焦位置において、有限な被写界深度（ぼけを生じない領域）を持つ光学系の画像情報（合焦した画像情報）と、ＰＳＦとの畳み込み演算によりピンぼけした画像情報との両方を含んでいる。
つまり、カメラの露光時間内で合焦位置をＥＤＯＦ焦点範囲の全体にわたって周期的に変化させたとすると、時間的にある瞬間毎に合焦位置が変化することで、ＥＤＯＦ焦点範囲内での合焦した画像情報と、ＰＳＦとの畳み込み演算によるピンぼけ画像情報との両方が含まれる。

特開２０１５−１０４１３６号公報 特開２０１８−８４８２１号公報

前述した液体共振式レンズを通して検出した検出画像ｊの劣化過程（ぼけ成分の発生）は、理想的な画像ｉ（ぼけ成分を含まない本来の画像）とぼけ関数ｋとのコンボリューションとして表され、デコンボリューションを行うためのＰＳＦは、ノイズをｎとして以下のようにモデル化される。
ｊ＝ｋ＊ｉ＋ｎ
この式をフーリエ変換することで、周波数空間では以下のように表される。
Ｊ＝Ｋ・Ｉ＋Ｎ
Ｊ／Ｋ＝Ｉ＋Ｎ／Ｋ
液体共振式レンズでは、既知の光学パラメータでぼけ画像を生成しているため、ＰＳＦの逆関数Ｋ−１が理論値として既知である。
したがって、周波数空間での全焦点画像Ｊ／Ｋを逆フーリエ変換することで、液体共振式レンズを通して取得した撮像画像から、全焦点画像ｉを生成（復元）できる。
しかし、ＰＳＦの周波数空間での値Ｋが小さい値になると、ノイズ成分Ｎが大きくなる。その場合、画像にはリンギングや大きいノイズが発生するという問題があった。

一方、全焦点画像ｉ中に発生するノイズは、検出画像ｊ中のシーンそのもの（本来の画像）なのか、奥行きによるぼけの結果から発生するぼけ成分なのか、そのままでは判別できず、ノイズ成分Ｎとして除去することができなかった。
前述したデコンボリューションの際には、演算処理するためのパラメータを固定する必要がある。例えば、ＰＳＦは、レンズの開口数、屈折率、照明光の波長、検出画像の画素数などの情報から推定している。
しかし、液体共振式の焦点距離可変レンズでは、屈折性能を与える内部液体の共振状態が微小に変動することが避けられない。このような変動は、内部液体の状態であること、また共振が高速であることから、パラメータに用いる情報として検出すること、あるいは所定値に制御したりすることが難しい。
このため、液体共振式の焦点距離可変レンズを用いたＥＤＯＦ画像検出においては、簡単な構成でＰＳＦでのノイズ成分Ｎを低減できるようにすることがより必要であった。

本発明の目的は、簡単な構成で点像分布関数のノイズ成分を低減できる拡張焦点深度画像検出装置および拡張焦点深度画像検出方法を提供することにある。

本発明の拡張焦点深度画像検出装置は、焦点深度が周期的に変化する液体共振式レンズと、前記液体共振式レンズを通してワークの画像を検出する画像検出部と、前記画像検出部の検出画像を処理して拡張焦点深度画像を検出する画像処理部と、前記ワークから前記画像検出部までの光路上に配置された符号化絞りと、を有することを特徴とする。

このような本発明では、液体共振式レンズおよび符号化絞りを通してワークの画像を検出する。この際、画像を検出するカメラなどの絞りとして、符号化絞り（Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ）つまり符号化したパターンマスクを使用する。これにより、拡張焦点深度画像（ＥＤＯＦ画像）を検出する処理において、適用する点像分布関数（ＰＳＦ）の周波数特性を適切に制御し、ノイズ成分Ｎを抑制して広帯域のＰＳＦを実現できる。その結果として、ＥＤＯＦ画像の安定化を図り、信頼性を向上させることができる。

なお、本発明で用いる符号化絞りとしては、下記文献に記載されるものが利用できる。
長原，「符号化撮像」，情報処理学会 ＩＰＳＪ ＳＩＧ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．２０１０−ＣＶＩＭ−１７１ Ｎｏ．１４， ２０１０
なかでも、Ｖｅｅｒａｒａｐｈａｇｅｎによる「ぼけ復元最適化絞り」、Ｚｈｏｕによる画像のノイズレベルに応じた「ぼけ復元最適化絞り」、Ｌｅｖｉｎによる「ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ）絞り」が利用でき、これらを組み合わせた「ぼけと復元最適化絞り」とすることもできる。

本発明の拡張焦点深度画像検出装置において、前記符号化絞りは、遺伝的アルゴリズムを使用して、前記画像処理部での前記拡張焦点深度画像の検出処理でのデコンボリューションカーネルが自然画像の周波数成分に近くなるように設定されることが好ましい。
このような本発明では、より自然画像に近いＥＤＯＦ画像を生成することができる。

本発明の拡張焦点深度画像検出装置において、前記符号化絞りは、前記ワークから前記画像検出部までの光路の瞳の位置、または瞳の共役な位置に配置されていることが好ましい。
このような本発明では、点像分布関数のノイズ成分を低減するための符号化絞りを、光量調整のための開口絞りとして兼用することができる。

本発明の拡張焦点深度画像検出方法は、焦点深度が周期的に変化する液体共振式レンズ、および光路上に配置された符号化絞りを通してワークの画像を検出し、検出された画像を処理して拡張焦点深度画像を検出することを特徴とする。
このような本発明では、前述した本発明の拡張焦点深度画像検出装置と同様の効果が得られる。

本発明によれば、簡単な構成でＰＳＦでのノイズ成分Ｎを低減できる拡張焦点深度画像検出装置および拡張焦点深度画像検出方法を提供できる。

本発明の一実施形態の画像検出装置の全体構成を示すブロック図。 前記実施形態の画像検出装置の制御系の構成を示すブロック図。 前記実施形態の画像検出装置の光学系の構成を示す模式図。 前記実施形態で用いる符号化絞りを示す平面図。 前記実施形態で用いる符号化絞りのマスク効果を示すグラフ。

以下、本発明の一実施形態を図面に基づいて説明する。
図１には、本発明に基づく拡張焦点深度画像検出装置１（画像検出装置１）が示されている。
画像検出装置１は、焦点距離を周期的に変化させつつ撮像領域におかれたワーク９の表面の画像を検出するものであり、当該表面に交差する同じ光軸Ａ上に配置された対物レンズ２、レンズシステム３および画像検出部４を備えている。
さらに、画像検出装置１は、ワーク９の表面を連続照明する連続照明部５と、レンズシステム３および連続照明部５の動作を制御するレンズ制御部６と、レンズ制御部６を操作するための制御用ＰＣ７とを備えている。

対物レンズ２は、既存の凸レンズまたは凸レンズとして機能する組み合わせレンズで構成される。
レンズシステム３は、液体共振式の焦点距離可変レンズであり、レンズ制御部６から入力される駆動信号Ｃｆに応じて屈折率が変化する。駆動信号Ｃｆは、レンズシステム３に定在波を発生させる周波数の交流であって、正弦波状の交流信号である。
画像検出装置１において、焦点位置Ｐｆまでの焦点距離Ｄｆは、対物レンズ２の焦点距離を基本としつつ、レンズシステム３の屈折率を変化させることで、任意に変化させることができる。画像検出装置１においては、駆動信号Ｃｆは正弦波状の交流信号であり、焦点位置Ｐｆおよび焦点距離Ｄｆも正弦波状に周期的に変動する。

画像検出部４は、既存のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサあるいは他の形式のカメラ等で構成され、レンズシステム３から入射されるワーク９の画像を、所定の信号形式の検出画像Ｉｍとして制御用ＰＣ７へ出力する。
連続照明部５は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子で構成され、レンズ制御部６の制御のもとでワーク９の表面を連続照明する。

画像検出装置１において、レンズシステム３の駆動、連続照明部５の発光および画像検出部４の画像検出は、レンズ制御部６からの駆動信号Ｃｆおよび発光信号Ｃｉおよび画像検出信号Ｃｃにより制御される。これらを制御するレンズ制御部６の設定などを操作するために、制御用ＰＣ７が接続されている。

図２には、レンズ制御部６および制御用ＰＣ７を含む本実施形態の制御系の構成が示されている。
レンズ制御部６は、レンズシステム３および連続照明部５の動作を制御するハードウェアで構成された専用ユニットであり、レンズシステム３に駆動信号Ｃｆを出力する駆動制御部６１と、連続照明部５に発光信号Ｃｉを出力する発光制御部６２と、画像検出部４に画像検出信号Ｃｃを出力する画像検出制御部６３とを有する。

駆動制御部６１は、レンズシステム３に駆動信号Ｃｆを出力するとともに、駆動信号Ｃｆに基づいてレンズシステム３が振動した際に、レンズシステム３に加えられる有効電力あるいは駆動電流から、レンズシステム３の振動状態Ｖｆを検出する。そして、レンズシステム３の振動状態Ｖｆを参照して駆動信号Ｃｆの周波数を調整することで、レンズシステム３の現在の共振周波数にロックすることができる。

発光制御部６２は、連続照明部５に発光信号Ｃｉを出力し、撮像領域のワーク９に対する連続照明の明るさやオンオフを制御する。
画像検出制御部６３は、画像検出部４に画像検出信号Ｃｃを出力し、画像検出のオンオフを制御する。なお、画像検出オンからオフまでの期間に画像検出部４で検出された１フレーム分の検出画像Ｉｍは、制御用ＰＣ７に送られて処理される。

本実施形態では、画像検出信号Ｃｃは所定の期間継続され、その間、ワーク９が連続照明されるとともに、焦点位置Ｐｆが駆動信号Ｃｆに応じて周期的に変動する。
従って、画像検出部４で検出される検出画像Ｉｍは、焦点位置Ｐｆの変動範囲、つまり対物レンズ２およびレンズシステム３の合焦範囲全体にわたるフォーカルスイープ画像となる。

制御用ＰＣ７は、レンズ制御部６に各種設定操作などを行うレンズ操作部７１と、画像検出部４から検出画像Ｉｍを取り込んで処理する画像処理部７２と、画像検出装置１に対するユーザの操作を受け付ける操作インターフェイス７３とを有する。
制御用ＰＣ７は、汎用のパーソナルコンピュータで構成され、専用のソフトウェアを実行することで、所期の機能を実現している。すなわち、レンズ操作ソフトウェアを実行することで、レンズ制御部６を制御するレンズ操作部７１の機能が実現される。また、画像処理ソフトウェアを実行することで、画像検出部４からの検出画像Ｉｍを処理する画像処理部７２の機能が実現される。これらのレンズ操作ソフトウェアおよび画像処理ソフトウェアは、制御用ＰＣ７の表示画面および入力装置を用いた操作インターフェイス７３を介してユーザが操作することができる。

制御用ＰＣ７においては、画像検出部４からの検出画像Ｉｍを処理する画像処理部７２において、拡張焦点深度画像の検出処理を行う。この際、拡張焦点深度画像の検出処理において使用する点像分布関数（ＰＳＦ）は、光学系に基づいた理論的なＰＳＦ、または実測したＰＳＦを基にしたデコンボリューションカーネルが予め指定されている。

図３には、対物レンズ２およびレンズシステム３を含む本実施形態の光学系の構成が示されている。
ワーク９と画像検出部４との間に対物レンズ２およびレンズシステム３が設置されることは先に図１で説明した通りである。さらに、対物レンズ２の出射側には第１リレーレンズ３１が設置され、レンズシステム３の入射側には第２リレーレンズ３２が設置され、レンズシステム３の出射側には第３リレーレンズ３３が設置されている。
ワーク９からの光は、対物レンズ２で平行光とされ、第１リレーレンズ３１で絞られたのち、第２リレーレンズ３２で再び平行光とされる。第２リレーレンズ３２からの平行光に対して、レンズシステム３による高い周波数で屈折が加えられ、第３リレーレンズ３３から画像検出部４で画像として検出される。

本実施形態の光学系においては、対物レンズ２の出射側の位置Ｐに瞳が形成され、レンズシステム３の入射側が瞳の共役な位置Ｐｒとなる。
この位置Ｐｒには、符号化絞り３４が配置されている。

符号化絞り３４は、遮光性のシートに特殊なパターンの開口部を形成したものであり、遺伝的アルゴリズムを使用して、画像処理部７２における拡張焦点深度画像の検出処理でのデコンボリューションカーネルが、自然画像の周波数成分に近くなるように設定されている。
このようなパターンとしては、例えば次の文献に記載されている。
長原，「符号化撮像」，情報処理学会 ＩＰＳＪ ＳＩＧ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．２０１０−ＣＶＩＭ−１７１ Ｎｏ．１４， ２０１０

本実施形態では、図５に示すようなパターンの符号化絞り３４が用いられる。
図４（Ａ）は、円形の開口部を有する通常絞り３４Ａである。
図４（Ｂ）の符号化絞り３４Ｂは、Ｌｅｖｉｎによる「ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ）絞り」である。
図４（Ｃ）の符号化絞り３４Ｃは、Ｖｅｅｒａｒａｐｈａｇｅｎによるによる「ぼけ復元最適化絞り」である。
図４（Ｄ）の符号化絞り３４Ｄは、Ｚｈｏｕによる画像のノイズレベルに応じた「ぼけ復元最適化絞り」である。

図５には、本発明の光学系において、前述した通常絞り３４Ａおよび符号化絞り３４Ｂ〜３４Ｄを用いた際の周波数特性が示されている。
対物レンズ２およびレンズシステム３を含む本実施形態の光学系においては、通常絞り３４Ａに対して符号化絞り３４Ｂ〜３４Ｄを用いることで、奥行き方向のぼけ形状が多く変化し、周波数特性をコントロールすることができる。

具体的には、符号化絞り３４Ｄ（Ｚｈｏｕ）を用いた場合、図５の特性３５Ｄのように広帯域の絞りとなり、他の特性３５Ａ〜３５Ｃに比べても、高周波帯域の情報を多く通過させることができる。
通常絞り３４Ａによる特性３５Ａでは、ゼロに達する複数のノッチが表れるとともに、高周波領域でのレベル低下が顕著である。
符号化絞り３４Ｂ（Ｌｅｖｉｎ）による特性３５Ｂでは、複数のゼロに至るノッチが表れ、高周波領域でのレベル低下もみられるが、中間帯域にノッチのない部分が得られる。
符号化絞り３４Ｃ（Ｖｅｅｒａｒａｐｈａｇｅｎ）による特性３５Ｃでは、高周波領域でのレベル低下が見られるが、ゼロに達しないノッチを解消できる。
符号化絞り３４Ｄによる特性３５Ｄでは、デコンボリューションではゼロ交差を避けることができるため、自然画像に近いＥＤＯＦ画像を生成できる。
このように、符号化絞り３４Ｄ（Ｚｈｏｕ）が最も良好な周波数特性を示すとともに、他の符号化絞り３４Ｂ，３４Ｃでも通常絞り３４Ａに対して十分に優れた周波数特性が得られる。

以上説明した本実施形態においては、以下の効果が得られる。
本実施形態では、液体共振式レンズであるレンズシステム３、および符号化絞り３４を通して、ワーク９の画像（検出画像Ｉｍ）を検出する。この際、検出画像Ｉｍを検出する画像検出部４の絞りとして、符号化絞り３４（Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ）つまり符号化したパターンマスク（符号化絞り３４Ｂ〜３４Ｄ）を使用する。
これにより、拡張焦点深度画像（ＥＤＯＦ画像）を検出する処理において、適用するＰＳＦの周波数特性（特性３５Ａ〜３５Ｄ）を適切に制御し、ノイズ成分Ｎを抑制して広帯域のＰＳＦを実現できる。その結果として、ＥＤＯＦ画像の安定化を図り、信頼性を向上させることができる。

本実施形態では、符号化絞り３４が、遮光性のシートに特殊なパターンの開口部を形成したものであり、遺伝的アルゴリズムを使用して、画像処理部７２における拡張焦点深度画像の検出処理でのデコンボリューションカーネルが、自然画像の周波数成分に近くなるように設定されている。
このため、画像処理部７２における拡張焦点深度画像の検出処理で生成されるＥＤＯＦ画像を、より自然画像に近いＥＤＯＦ画像とすることができる。

本実施形態では、符号化絞り３４が、ワーク９から画像検出部４までの光路の瞳の位置Ｐ、または瞳の共役な位置Ｐｒに配置されている。
このため、点像分布関数のノイズ成分を低減するための符号化絞り３４を、光量調整のための開口絞りとして兼用することができる。

本発明は、拡張焦点深度画像検出装置および拡張焦点深度画像検出方法に利用できる。

１…画像検出装置（拡張焦点深度画像検出装置）、２…対物レンズ、３…レンズシステム（液体共振式の焦点距離可変レンズ）、３１…第１リレーレンズ、３２…第２リレーレンズ、３３…第３リレーレンズ、３４Ａ…通常絞り，３５Ｂ，３５Ｃ，３５Ｄ…符号化絞り、３５Ａ，３５Ｂ，３５Ｃ，３５Ｄ…特性、４…画像検出部、５…連続照明部、６…レンズ制御部、６１…駆動制御部、６２…発光制御部、６３…画像検出制御部、７…制御用ＰＣ、７１…レンズ操作部、７２…画像処理部、７３…操作インターフェイス、９…ワーク、Ｃｃ…画像検出信号、Ｃｆ…駆動信号、Ｃｉ…発光信号、Ｄｆ…焦点距離、ｉ…全焦点画像、Ｉｍ…検出画像、ｊ…検出画像、ｋ…関数、Ｋ…値、Ｎ…ノイズ成分、Ｐ…瞳の位置、Ｐｆ…焦点位置、Ｐｒ…瞳の共役位置、Ｖｆ…振動状態。

Claims (4)

1. 焦点深度が周期的に変化する液体共振式レンズと、
   前記液体共振式レンズを通してワークの画像を検出する画像検出部と、
   前記画像検出部の検出画像を処理して拡張焦点深度画像を検出する画像処理部と、
   前記ワークから前記画像検出部までの光路上に配置された符号化絞りと、を有することを特徴とする拡張焦点深度画像検出装置。
2. 請求項１に記載の拡張焦点深度画像検出装置において、
   前記符号化絞りは、遺伝的アルゴリズムを使用して、前記画像処理部での前記拡張焦点深度画像の検出処理でのデコンボリューションカーネルが自然画像の周波数成分に近くなるように設定されることを特徴とする拡張焦点深度画像検出装置。
3. 請求項１または請求項２に記載の拡張焦点深度画像検出装置において、
   前記符号化絞りは、前記ワークから前記画像検出部までの光路の瞳の位置、または瞳の共役な位置に配置されていることを特徴とする拡張焦点深度画像検出装置。
4. 焦点深度が周期的に変化する液体共振式レンズ、および光路上に配置された符号化絞りを通してワークの画像を検出し、
   検出された画像を処理して拡張焦点深度画像を検出することを特徴とする拡張焦点深度画像検出方法。

Images