JP7229439B1 - 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム - Google Patents

Abstract

撮像対象物の傾斜の推定を簡易な構成かつ短時間で行う。
傾斜推定システム３０は、画像に写った撮像対象物の傾斜を推定するシステムであって、画像から複数の部分画像である推定対象画像を取得する推定対象画像取得部３１と、特徴量出力モデルを用いて推定対象画像から特徴量を出力して、複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定部３２と、それらの合焦時の焦点位置から撮像対象物の傾斜を推定する傾斜推定部３３とを備え、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。

Description

本発明は、画像に写った撮像対象物の傾斜を推定する傾斜推定システム、傾斜推定方法及び傾斜推定プログラム、並びに半導体検査システム及び生体観察システムに関する。

従来、撮像対象物の撮像を行う際に撮像対象物の傾斜、例えば、撮像方向に対する傾斜を推定することが提案されている。例えば、特許文献１には、半導体デバイスの検査を行うために半導体デバイスを撮像する際、半導体デバイスの傾斜を推定することが示されている。推定された傾斜は、半導体デバイスの姿勢を調整するために用いられる。特許文献１では、専用のレンズ（例えば、リレーレンズ系）及びスキャナ等を含むの光学系によって撮像対象物の傾斜を推定している。

国際公開第２０１７／１５４８９５号

特許文献１に示されたように特別な光学系によって撮像対象物の傾斜を推定する場合、装置内に特別な光学系を設けるための構成（例えば、レンズターレット）及び空間が必要となる。また、特別な光学系を用意するためのコストが必要となる。また、特許文献１に示された方法では、ターレットの切替、レーザスキャン及び位置合わせ等の処理が必要となり、傾斜の推定に長時間を要していた。

本発明の一実施形態は、上記に鑑みてなされたものであり、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる傾斜推定システム、傾斜推定方法及び傾斜推定プログラム、並びにそれらに関連する半導体検査システム及び生体観察システムを提供することを目的とする。

上記の目的を達成するために、本発明の一実施形態に係る傾斜推定システムは、画像に写った撮像対象物の傾斜を推定する傾斜推定システムであって、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、を備え、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。

本発明の一実施形態に係る傾斜推定システムでは、画像の複数の部分画像である推定対象画像それぞれから、複数の推定対象画像それぞれに対応する合焦時の焦点位置が推定されて、撮像対象物の傾斜が推定される。従って、撮像対象物が写った画像が得られれば、撮像対象物の傾斜を短時間で推定することができる。また、焦点位置の推定に用いられる特徴量出力モデルは、焦点位置の推定に適切な特徴量を出力することができ、これを用いることで適切に撮像対象物の傾斜を推定することができる。従って、本発明の一実施形態に係る傾斜推定システムによれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。

焦点位置推定手段は、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。この構成によれば、焦点位置推定モデルを用いることで、確実かつ適切に焦点位置を推定することができる。その結果、確実かつ適切に撮像対象物の傾斜を推定することができる。

傾斜推定システムでは、傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段を更に備えることとしてもよい。この構成によれば、適切な傾斜での撮像対象物の撮像を行うことができる。

本発明の一実施形態に係る半導体検査システム及び生体観察システムは、上述した傾斜推定システムを備える構成することができる。即ち、本発明の一実施形態に係る半導体検査システムは、上記の傾斜推定システムと、傾斜推定システムに係る撮像対象物として半導体デバイスが載置される載置部と、半導体デバイスを検査する検査部と、を備える。また、本発明の一実施形態に係る生体観察システムは、上記の傾斜推定システムと、傾斜推定システムに係る撮像対象物として生体サンプルが載置される載置部と、生体サンプルを観察する観察部と、を備える。

ところで、本発明の一実施形態は、上記のように傾斜推定システムの発明として記述できる他に、以下のように傾斜推定方法及び傾斜推定プログラムの発明としても記述することができる。

即ち、本発明の一実施形態に係る傾斜推定方法は、画像に写った撮像対象物の傾斜を推定する傾斜推定方法であって、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得ステップと、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得ステップにおいて取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定ステップと、焦点位置推定ステップにおいて推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定ステップと、を含み、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。

焦点位置推定ステップにおいて、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。

傾斜推定方法は、傾斜推定ステップにおいて推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御ステップを更に含むこととしてもよい。

また、本発明の一実施形態に係る傾斜推定プログラムは、コンピュータを、画像に写った撮像対象物の傾斜を推定する傾斜推定システムとして動作させる傾斜推定プログラムであって、当該コンピュータを、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、として機能させ、特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる。

焦点位置推定手段は、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、焦点位置推定モデルは、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成されることとしてもよい。

傾斜推定プログラムは、コンピュータを、傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段としても機能させることとしてもよい。

本発明の一実施形態によれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。

本発明の実施形態に係る特徴量出力モデル生成システム及び傾斜推定システムの構成を示す図である。 検査装置の一部の構成の例を示す図である。 焦点位置毎の撮像される画像の例である。 機械学習による特徴量出力モデルの生成を説明するための図である。 特徴量出力モデルの生成の生成に用いられる既存の学習済モデルを示す図である。 デフォーカス画像及びフォーカス画像の例を示す図である。 画像に対する推定対象画像の例を示す図である。 撮像対象物の傾斜の推定を説明するための図である。 本発明の実施形態に係る特徴量出力モデル生成システムで実行される処理である特徴量出力モデル生成方法を示すフローチャートである。 本発明の実施形態に係る傾斜推定システムで実行される処理である傾斜推定方法を示すフローチャートである。 本発明の実施形態に係る特徴量出力モデル生成プログラムの構成を、記録媒体と共に示す図である。 本発明の実施形態に係る傾斜推定プログラムの構成を、記録媒体と共に示す図である。

以下、図面と共に本発明に係る傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る傾斜推定システムであるコンピュータ１０を示す。コンピュータ１０は、画像に対する情報処理を行う装置（システム）である。具体的には、コンピュータ１０は、検査装置４０及び観察装置５０の少なくとも何れかによって撮像される画像に対する情報処理を行う。なお、コンピュータ１０は、検査装置４０及び観察装置５０以外の装置によって撮像された画像に対する情報処理を行ってもよい。即ち、コンピュータ１０は、検査装置４０及び観察装置５０以外の撮像を行う装置に対して適用されてもよい。

検査装置４０は、半導体デバイスを撮像して、撮像した画像に基づいて半導体デバイスを検査する装置である。例えば、検査装置４０は、半導体デバイスの故障解析を行う。検査対象の半導体デバイスは、例えば、μＬＥＤ（Light Emitting Diode）が敷き詰められたウエハである。故障解析は、例えば、発光解析、発熱解析、パターン画像を用いた解析又はレーザによる解析（ＯＢＩＲＣＨ、ＯＢＩＣ又はＤＡＬＳ等）によって行われる。検査装置４０は、従来の検査装置であってもよい。以下に説明する構成も全て従来の検査装置が備えるものでよい。

図２に、例えば、発光解析を行う検査装置４０の一部の構成を示す。図２に示すように検査装置４０は、カメラ４１と、載置部４２と、光源４３と、光学系４４と、対物レンズ４５と、ステージ４６とを備えている。カメラ４１は、撮像対象物である半導体デバイスを撮像する撮像装置である。カメラ４１は、例えば、ＩｎＧａＡｓカメラである。載置部４２は、撮像対象物である半導体デバイスを載置するための構成である。図２において、載置部４２に載置されている標準サンプル６０は、検査対象物ではなく、後述する焦点位置に応じた画像に対応するものである。標準サンプル６０は、人工的な模様（例えば、図２に示すように放射状の縞模様）が施されたサンプルである。

載置部４２は、載置されている撮像対象物の撮像方向に対する傾斜（姿勢）を制御可能に構成されている。例えば、載置部４２は、撮像対象物を載置する載置面の撮像方向に対する傾斜が可変であるように構成されている。このように載置部４２は、撮像対象物のチルト補正を行うことができる。載置部４２としては、撮像対象物の傾斜を制御可能な従来のものを用いることができる。撮像対象物の撮像時の傾斜は、後述するようにコンピュータ１０によって制御される。

光源４３は、撮像対象物に照射される照射光を出力する装置である。光源４３は、特定の波長（例えば、標準波長である１１００ｎｍ、並びに標準波長とは異なる波長である９００ｎｍ及び１３００ｎｍ）の照射光を出力するものであってもよい。また、複数の光源４３を用意しておく等、照射光の波長を切り替えられるようになっていてもよい。光学系４４は、光源４３から出力された照射光を、撮像対象物である半導体デバイスに照射するための光学系である。対物レンズ４５は、カメラ４１による撮像に用いられる対物レンズであり、例えば、固浸レンズ（ＳＩＬ）である。ステージ４６は、カメラ４１による撮像時の焦点位置を調整するための部材である。ステージ４６は、撮像方向（焦点位置方向、Ｚ軸方向）だけでなく三次元の何れの方向に移動できるもの（即ち、ＸＹＺステージ）であってもよい。検査装置４０における撮像時の焦点位置は、後述するようにコンピュータ１０によって制御される。検査装置４０は、上述した構成によって得られた画像を用いて、半導体デバイスの検査部を行う検査部を備えている。

なお、検査装置４０の構成は、上述したものである必要はなく、解析方法によっては、異なるものが用いられてもよい。例えば、発熱解析では、照明（光源４３）を不要として、撮像装置（カメラ４１）としてＩｎＳｂカメラを用いてもよい。また、パターン画像を用いた解析を行う場合には、照明（光源４３）として、インコヒーレント光源又はコヒーレント光源を用い、撮像装置として、二次元検出器、若しくは光走査を行う装置及びフォトダイオードを用いてもよい。レーザ解析を行う場合には、照明（光源４３）として、インコヒーレント光源又はコヒーレント光源を用い、撮像装置として、半導体デバイスの電気特性取得装置を用いてもよい。

観察装置５０は、スライドガラスに載せられた生体サンプルを撮像して、撮像した生体サンプルの画像を観察する装置である。観察装置５０は、従来の観察装置であってもよい。例えば、観察装置５０は、上述した従来のバーチャルスライドスキャナである。観察装置５０は、撮像対象物である生体サンプルを撮像する撮像装置と、撮像対象物である生体サンプルを載置する載置部と、撮像された画像によって生体サンプルを観察する観察部とを備えている。観察装置５０における撮像時の焦点位置は、後述するようにコンピュータ１０によって制御される。観察装置５０の載置部も、上述した検査装置４０の載置部４２と同様に載置されている撮像対象物の撮像方向に対する傾斜（姿勢）を制御可能に構成されている。

検査装置４０及び観察装置５０による撮像は、撮像対象物の傾斜が適切な状態で行われる必要がある。撮像対象物の傾斜が適切な状態とは、例えば、撮像対象物の撮像対象となる面が撮像方向に対して垂直となっている状態、即ち、撮像対象物が撮像方向に対して傾いていない状態である。撮像対象物の検査又は観察を適切に行うためである。例えば、故障解析の対象である半導体デバイスは、プロセスの処理で裏面を研磨される。研磨時の歪み及びプロセス起因の応力によってサンプルである半導体デバイスの表面には、反り及び歪みが発生している。半導体デバイスが傾いていると、例えば、固浸レンズの接触で問題があるため、撮像時における傾斜を補正すること、即ち、チルト補正が必要となる。なお、撮像対象物の傾斜は、上記以外の原因で生じるものであってもよい。

検査装置４０及び観察装置５０による撮像は、撮像対象物に焦点があった状態で行われる必要がある。撮像対象物の検査又は観察を適切に行うためである。図３に、焦点位置に応じた撮像された画像の例を示す。この画像は、図２に示す標準サンプル６０を撮像したものである。図３（ａ）は、合焦時の焦点位置で撮像した画像である。図３（ｂ）は、焦点位置が、合焦時の焦点位置から１００μｍ離れた場合の画像である。図３（ｃ）は、焦点位置が、図３（ｂ）の場合よりも更に離れた場合の画像である。図３（ｄ）は、焦点位置が、図３（ｃ）の場合よりも更に離れて合焦時の焦点位置から５００μｍ離れた場合の画像である。即ち、図３（ａ）は、フォーカス画像の例であり、図３（ｂ）～（ｄ）はデフォーカス画像の例である。

コンピュータ１０は、検査装置４０及び観察装置５０による撮像が、撮像対象物の傾斜が適切な状態で行われるようにするための情報処理を行う。コンピュータ１０は、検査装置４０及び観察装置５０による撮像が、撮像対象物に焦点があった状態で行われるようにするための情報処理を行ってもよい。コンピュータ１０は、機能的な構成として、機械学習によって学習済モデルを生成する特徴量出力モデル生成システム２０と、特徴量出力モデル生成システム２０によって生成された学習済モデルを用いて上記の撮像を可能にするための情報処理を行う傾斜推定システム３０とを含む。特徴量出力モデル生成システム２０は、詳細には後述するように、画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを生成するシステム（装置）である。傾斜推定システム３０は、詳細には後述するように、画像に写った撮像対象物の傾斜を推定するシステム（装置）である。なお、本実施形態では、撮像を行う装置として、検査装置４０及び観察装置５０を示すが、撮像対象物の撮像を行う装置（システム）であれば上記以外のものが用いられてもよい。

コンピュータ１０は、例えば、ＣＰＵ（Central Processing Unit）、メモリ、通信モジュール等のハードウェアを含む従来のコンピュータである。また、コンピュータ１０は、複数のコンピュータを含むコンピュータシステムであってもよい。また、コンピュータ１０は、クラウドコンピューティングで構成されていてもよい。コンピュータ１０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。コンピュータ１０と検査装置４０及び観察装置５０とは、情報の送受信が可能なように互いに接続されている。

引き続いて、本実施形態に係るコンピュータ１０に含まれる特徴量出力モデル生成システム２０と傾斜推定システム３０との機能を説明する。図１に示すように特徴量出力モデル生成システム２０は、学習用画像取得部２１と、特徴量出力モデル生成部２２と、焦点位置推定モデル生成部２３とを備えて構成される。

特徴量出力モデル生成システム２０の各機能を説明する前に特徴量出力モデル生成システム２０によって生成される学習済モデルを説明する。特徴量出力モデル生成システム２０によって生成される学習済モデルは、特徴量出力モデル及び焦点位置推定モデルの２つである。

特徴量出力モデルは、画像に基づく情報を入力して当該画像の特徴量を出力するモデルである。特徴量出力モデルへの入力に用いられる画像は、検査装置４０及び観察装置５０によって撮像された画像の部分画像である。特徴量出力モデルからの出力である特徴量は、入力に係る画像の特徴を示す情報である。本実施形態では、当該特徴は、画像が撮像された際の焦点位置を反映したものである。即ち、特徴量出力モデルは、光学的な特徴に係る光学モデルである。当該特徴量は、例えば、予め設定された次元数（例えば、１０２４次元）のベクトルである。当該特徴量は、後述するように焦点位置推定モデルへの入力に用いられる。

特徴量出力モデルは、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、特徴量出力モデルは、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であってもよい。

特徴量出力モデルには、入力層に画像に基づく情報を入力するためのニューロンが設けられる。例えば、特徴量出力モデルに入力される情報は、画像の各画素の画素値である。この場合、入力層には、画像の画素の数のニューロンが設けられ、それぞれのニューロンには対応する画素の画素値が入力される。後述するように特徴量出力モデルに入力される情報に係る画像は、予め設定されたサイズの画像（例えば、２２４×２２４画素の画像）とされる。

なお、特徴量出力モデルに入力される情報は、画像に基づくものであれば各画素の画素値以外であってもよい。例えば、当該情報は、撮像環境による影響を軽減するために画像に対して従来の画像処理等の前処理を行って得られる、特徴量出力モデルへの入力用の特徴量としてもよい。このような前処理を行うことで、機械学習の効率及び生成される特徴量出力モデルの精度の向上等を図ることができる。

特徴量出力モデルには、出力層に特徴量を出力するためのニューロンが設けられる。例えば、特徴量のベクトルの次元数のニューロンが設けられる。

焦点位置推定モデルは、特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定するモデルである。焦点位置推定モデルは、例えば、入力される特徴量に係る画像が撮像された際の焦点位置と、合焦時の焦点位置との差分を示す情報を、合焦時の焦点位置の推定結果として出力する。差分は、例えば、合焦時の焦点位置に対応する焦点距離から、特徴量に係る画像が撮像された際の焦点位置に対応する焦点距離を引いた値である。即ち、この場合、合焦時の焦点位置の位置を０とした座標系における画像が撮像された際の焦点位置を示す値が出力値となる。合焦時の焦点位置とは、入力される特徴量に係る画像に写った撮像対象物に焦点をあわせて撮像するための焦点位置である。入力される特徴量に係るデフォーカス画像を撮像した際の焦点位置から、上記の差分だけ焦点位置を変更して撮像することでフォーカス画像を撮像することができる。

この場合、上記の差分の候補を予め設定しておき、焦点位置推定モデルは、それらの候補について候補が妥当である度合いを示す値を出力してもよい。例えば、差分の候補を＋５０μｍ、０μｍ、－５０μｍ、－１００μｍ、…として、焦点位置推定モデルは、それぞれの候補に対して妥当である度合いを示す値を出力する。例えば、当該値が最も高い候補を上記の差分とする。あるいは、焦点位置推定モデルは、上記の差分の値自体を出力するものであってもよい。

あるいは、焦点位置推定モデルは、合焦時の焦点位置自体を示す情報（例えば、合焦時の焦点位置に対応する焦点距離）を出力してもよい。この場合、合焦時の焦点位置自体の候補を予め設定しておき、焦点位置推定モデルは、それらの候補について候補が妥当である度合いを示す値を出力してもよい。あるいは、焦点位置推定モデルは、上記の合焦時の焦点位置の値自体を出力するものであってもよい。

焦点位置推定モデルは、例えば、ニューラルネットワークを含んで構成される。ニューラルネットワークは、多層のものであってもよい。即ち、焦点位置推定モデルは、深層学習（ディープラーニング）によって生成されてもよい。また、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。

焦点位置推定モデルには、入力層に特徴量を入力するためのニューロンが設けられる。例えば、入力層には、特徴量出力モデルの出力層に設けられたニューロンに対応するニューロンが設けられる。即ち、入力層には、特徴量出力モデルの出力層に設けられた数のニューロンが設けられる。焦点位置推定モデルには、上述した合焦時の焦点位置の推定結果を出力するためのニューロンが設けられる。例えば、候補の数のニューロン（候補毎の値を出力する場合）又は１つのニューロン（上記の差分又は合焦時の焦点位置自体を出力する場合）が設けられる。

なお、特徴量出力モデル及び焦点位置推定モデルは、ニューラルネットワーク以外によって構成されていてもよい。

特徴量出力モデル及び焦点位置推定モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。特徴量出力モデル及び焦点位置推定モデルは、例えば、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、コンピュータのＣＰＵが、メモリに記憶されたモデルからの指令に従って動作する。例えば、コンピュータのＣＰＵが、当該指令に従って、モデルに対して情報を入力して、モデルに応じた演算を行って、モデルから結果を出力するように動作する。具体的には、コンピュータのＣＰＵが、当該指令に従って、ニューラルネットワークの入力層に情報を入力して、ニューラルネットワークにおける学習済の重み付け係数等のパラメータに基づく演算を行って、ニューラルネットワークの出力層から結果を出力するように動作する。

学習用画像取得部２１は、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像を取得する学習用画像取得手段である。学習用画像取得部２１は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像を、学習用画像として取得してもよい。学習用画像取得部２１は、特定の波長の光を撮像対象物に照射した際の画像を、学習用画像として取得してもよい。学習用画像取得部２１は、取得する学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報を取得する。

例えば、学習用画像取得部２１は、検査装置４０又は観察装置５０によって撮像された画像を取得する。この画像は、学習用画像用の撮像対象物が写っているものである。学習用画像用の撮像対象物は、例えば、図２に示す標準サンプル６０であってもよい。あるいは、学習用画像用の撮像対象物は、その他のもの（例えば、検査装置４０又は観察装置５０によって撮像するもの）であってもよい。例えば、図４に示すように、学習用画像取得部２１は、取得した画像７０から部分画像を切り出して学習用画像７１とする。学習用画像７１は、上述した２つの学習済モデルを生成するための機械学習に用いられる画像である。そのため、学習用画像取得部２１は、適切に学習済モデルを生成できる程度の数の複数の学習用画像７１を取得する。

本実施形態は、デフォーカス画像から合焦時の焦点位置を推定するものであるため、複数の学習用画像７１には、デフォーカス画像が含まれるようにする。また、当該デフォーカス画像は、複数であり、それらに係る焦点位置は、様々な位置であってもよい。即ち、それらに係る焦点位置に対応する焦点距離は、様々な距離であってもよい。また、複数の学習用画像７１には、フォーカス画像が含まれていてもよい。図４では、取得した画像７０が３つである例を示している。図４の画像７０を示した部分の縦方向は、撮像方向（焦点位置方向、Ｚ軸方向）である。

学習用画像７１は、特徴量出力モデルへの入力に用いられる画像に対応する。この場合、特徴量出力モデルは、検査装置４０又は観察装置５０によって撮像された画像全体ではなく、当該画像の、学習用画像７１と同じサイズである部分画像に基づく情報を入力する。従って、学習用画像取得部２１は、特徴量出力モデルの入力に用いられる、予め設定されたサイズの部分画像である学習用画像７１を取得した画像７０から切り出す。画像７０における、学習用画像７１が切り出される位置は、撮像対象物が写っている部分である。但し、学習用画像７１には、撮像対象物が写っていない学習用画像７１が含まれていてもよい。画像７０における学習用画像７１が切り出される位置は、予め設定されていてもよい。また、画像７０に対して画像認識を行って撮像対象物が写っていると推定される位置を学習用画像７１が切り出される位置としてもよい。

図４に示すように、学習用画像取得部２１は、１つの画像７０から複数の学習用画像７１を切り出してもよい。画像７０から複数の学習用画像７１を切り出す場合、学習用画像７１の位置が重複していてもよい。

検査装置４０又は観察装置５０では、撮像が行われて学習用画像７１の元となる画像が生成される。その際、例えば、検査装置４０又は観察装置５０では、撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）を固定して、焦点位置が異なる複数回の連続した撮像が行われる。その際、図４に示すように、一定の間隔（ステップ）（ΔＺ）で焦点位置が異なるようにされる。検査装置４０又は観察装置５０における学習用画像７１のための撮像は、上記以外の方法で行われてもよい。

また、学習用画像取得部２１は、検査装置４０又は観察装置５０以外から画像７０を取得してもよい。

また、上記の通り、学習用画像７１は、撮像対象物からの放射を検出した画像（発光・発熱解析に用いられる画像）、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像（パターン解析に用いられる画像）、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像（レーザ解析に用いられる画像）であってもよい。また、学習用画像７１は、特定の波長の光（例えば、検査に用いる特定の波長の光）を撮像対象物に照射した際の画像であってもよい。これらは、検査装置４０又は観察装置５０で通常用いられる画像の種別である。但し、１組の特徴量出力モデル及び焦点位置推定モデルを生成する場合には、何れかの種別の画像のみを学習用画像７１としてもよい。この場合、生成される１組の特徴量出力モデル及び焦点位置推定モデルは、特定の画像の種別に対応したものとなる。

発光解析で用いられる光の波長は、検査装置４０の駆動電圧及び設計ルールによって異なる。また、実際の光学系では、調整及び光学素子の特性に起因した波長毎の焦点ずれが生じる。また、パターン像（画像）を観察する焦点位置と異なる位置で検出感度が最大になる場合がある。これらを考慮して、上記のように特定の波長毎の画像を用いて、波長毎の特徴量出力モデルを生成してもよい。例えば、標準波長（１１００ｎｍ）及び標準波長とは異なる波長（９００ｎｍ、１３００ｎｍ）毎の画像を用いて、波長毎の特徴量出力モデルを生成してもよい。

また、１組の特徴量出力モデル及び焦点位置推定モデルを生成する場合には、検査装置４０又は観察装置５０の何れかの機種（種別）によって撮像された画像（部分画像も含む）のみを学習用画像７１としてもよい。この場合、生成される１組の特徴量出力モデル及び焦点位置推定モデルは、特定の機種の検査装置４０又は観察装置５０に対応したものとなる。即ち、特徴量出力モデル及び焦点位置推定モデルは、検査装置４０又は観察装置５０の特徴を反映したものとなる。このように学習用画像を、特定の種別の画像又は特定の機種の検査装置４０又は観察装置５０に対応するものにすることで、より精度の高い学習済モデルとすることができる。あるいは、焦点位置推定モデルについては、複数の画像の種別又は機種で共通したものとしてもよい。

各学習用画像７１には、学習用画像７１の撮像時の焦点位置に係る焦点位置情報が対応付けられている。焦点位置情報は、例えば、上記の焦点位置を示す情報である。但し、焦点位置情報は、焦点位置に係る情報であり、上述した学習済モデルの生成に用いることができるものであれば上記以外のものであってもよい。焦点位置情報は、例えば、検査装置４０又は観察装置５０における画像の撮像時の情報として得られる。例えば、学習用画像取得部２１は、焦点位置情報が対応付けられた画像を検査装置４０又は観察装置５０から受信して取得する。

また、学習用画像取得部２１は、取得する学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報を取得する。合焦位置情報は、例えば、合焦時の焦点位置を示す情報である。但し、合焦位置情報は、合焦時の焦点位置に係る情報であり、上述した学習済モデルの生成に用いることができるものであれば上記以外のものであってもよい。合焦位置情報は、従来の合焦時の焦点位置を測定する方法等で得られる。例えば、学習用画像取得部２１は、測定によって得られた合焦位置情報のユーザによるコンピュータ１０に対する入力操作を受け付けることで合焦位置情報を取得する。

学習用画像取得部２１は、取得した各情報を特徴量出力モデル生成部２２及び焦点位置推定モデル生成部２３に出力する。

特徴量出力モデル生成部２２は、学習用画像取得部２１によって取得された学習用画像７１から、機械学習によって特徴量出力モデルを生成する特徴量出力モデル生成手段である。特徴量出力モデル生成部２２は、互いに異なる２つの学習用画像７１に対応付けられた焦点位置情報に応じて当該２つの学習用画像７１の特徴量を比較して、比較結果に基づいて機械学習を行う。特徴量出力モデル生成部２２は、互いに異なる２つの学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの学習用画像７１の特徴量の差分が小さくなるように、かつ、互いに異なる２つの学習用画像７１が互いに異なる焦点位置に係るものである場合、当該２つの学習用画像７１の特徴量の差分が大きくなるように機械学習を行ってもよい。

特徴量出力モデル生成部２２は、以下のように特徴量出力モデルを生成する。特徴量出力モデル生成部２２は、学習用画像取得部２１から学習用画像７１、及び当該学習用画像７１に係る焦点位置情報を入力する。特徴量出力モデル生成部２２は、入力した複数の学習用画像７１から選択した２つの学習用画像７１を１つのセットとして用いて、特徴量出力モデル生成のための機械学習を行う。機械学習に用いられるセットには、互いに同一の焦点位置に係る学習用画像７１のセットと、互いに異なる焦点位置に係る学習用画像７１のセットとの両方が含まれるようにする。例えば、同一の焦点位置に係る学習用画像７１のセットは、例えば図４に示すように同一の画像７０から切り出された学習用画像７１であってもよい。学習用画像７１のセットの選択は、上記の条件を満たすように予め設定された方法で行われればよい。また、学習用画像７１のセットは、撮像方向（Ｚ軸方向）以外の撮像時の位置（ＸＹ）が同一の画像７０から選択されてもよい。

特徴量出力モデル生成部２２は、選択したセットの学習用画像７１に基づく情報を、特徴量出力モデルへの入力として機械学習を行う。図４に示すように１つのセットの学習用画像７１それぞれを特徴量出力モデル８０に入力すると、学習用画像７１それぞれについて特徴量が出力として得られる。図４では、特徴量であるベクトルの各要素の値を棒グラフで示している。この際、一方の学習用画像７１を入力する特徴量出力モデル８０を学習対象として、もう一方の学習用画像７１を入力する特徴量出力モデル８０を比較対象とする。但し、これらの特徴量出力モデル８０は、学習途中の同一のものである。

特徴量出力モデル生成部２２は、焦点位置情報を参照して、出力される２つの特徴量を比較して比較結果に基づいて機械学習を行う。特徴量出力モデル生成部２２は、焦点位置情報によって示される２つの学習用画像７１の焦点位置が互いに同一の焦点位置である（即ち、同一平面である）場合、当該２つの学習用画像７１の特徴量の差分が小さくなるように機械学習を行う。特徴量出力モデル生成部２２は、焦点位置情報によって示される２つの学習用画像の焦点位置が互いに異なる焦点位置である（即ち、Ｚ位置が異なる）場合、当該２つの学習用画像７１の特徴量の差分が大きくなるように機械学習を行う。なお、同一の画像から切り出された２つの学習用画像７１である場合、２つの学習用画像７１の焦点位置は互いに同一の焦点位置となる。また、２つの学習用画像７１の焦点位置が互いに同一であるとみなせる程近接している場合も、２つの学習用画像７１の焦点位置は互いに同一の焦点位置であるとみなしてもよい。

即ち、同一の焦点面にある画像から切り出された部分画像同士の特徴量は、切り出し位置によらず相関が大きくなるようにされる。一方で、異なる焦点面にある画像から切り出された部分画像同士の特徴量は、相関が小さくなるようにされる。このように機械学習されることで、特徴量出力モデルから出力される特徴量は、焦点位置に応じた特徴を反映したものとなる。

具体的には、２つの学習用画像７１の焦点位置が互いに同一の焦点位置である場合、特徴量出力モデル生成部２２は、以下のｌｏｓｓ＿ｘｙを損失関数として機械学習を行う。

ここで、ｉ（０～ｎ）は、特徴量のベクトルの要素を示すサフィックス（添え字）である。特徴量のベクトルのチャンネル数（次元数）は、ｎ＋１である。Ｆ_ｔ０～Ｆ_ｔｎは、学習対象の特徴量出力モデル８０から出力される特徴量のベクトルの各要素の値である。Ｆ_ｃ０～Ｆ_ｃｎは、比較対象の特徴量出力モデル８０から出力される特徴量のベクトルの各要素の値である。ＳＤ_ｉは、各特徴量の要素ｉについての標準偏差である。上記のように差分を標準偏差で割ってｅｒｒｏｒ_ｉを算出することで、チャンネル毎の差分のばらつきを揃えている。損出は、各チャンネルの誤差の平均（の正の平方根）である。

２つの学習用画像７１の焦点位置が互いに異なる焦点位置である場合、特徴量出力モデル生成部２２は、以下のｌｏｓｓ＿ｚを損失関数として機械学習を行う。

即ち、この場合の損出関数は、２つの学習用画像７１の焦点位置が互いに同一の焦点位置である場合の損失関数の逆数である。損失関数に基づく機械学習自体、即ち、特徴量出力モデルのパラメータの更新は、従来と同様に行われればよい。なお、損出関数は、必ずしも上記である必要はなく、上述した基準に沿ったものであればよい。

特徴量出力モデル生成部２２は、学習用画像７１のセットの選択と機械学習とを繰り返し行って特徴量出力モデルを生成する。例えば、特徴量出力モデル生成部２２は、従来と同様に特徴量出力モデルの生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、上記の繰り返しを行って特徴量出力モデルを生成する。

特徴量出力モデル生成部２２は、機械学習で生成された既存の学習済モデルを利用して特徴量出力モデルを生成してもよい。既存の学習済モデルとしては、本実施形態に係る特徴量出力モデルと同様に、画像に基づく情報を入力するモデルが用いられる。即ち、本実施形態に係る特徴量出力モデルと入力が共通である既存の学習済モデルを利用してもよい。既存の学習済モデルは、例えば、画像認識を行うためのモデルであり、具体的には、ＲｅｓＮｅｔ、ＶＧＧ、Ｍｏｂｉｌｅ Ｎｅｔ等である。特徴量出力モデルの生成には、既存の学習済モデルの一部が用いられる。図５に示すように、既存の学習済モデル８１の出力側の層を削除して、既存の学習済モデル８１の中間層までの部分を特徴量出力モデルの生成に用いる。特徴量出力モデルの生成に用いられる既存の学習済モデル８１には、中間層の全てが含まれていてもよいし、中間層の一部のみが含まれていてもよい。

特徴量出力モデル生成部２２は、既存の学習済モデルの上記の一部を入力して、機械学習の開始時点での特徴量出力モデルとする。即ち、特徴量出力モデル生成部２２は、既存の学習済モデルの上記の一部を、特徴量出力モデルの初期パラメータとして用いてファインチューニングを行う。また、学習済モデルの上記の一部の出力側に、新たな出力層を加えたものを機械学習の開始時点での特徴量出力モデルとしてもよい。また、新たな出力層を加える場合、学習済モデルの上記の一部の出力側と新たな出力層との間に、新たな中間層を加えたものを機械学習の開始時点での特徴量出力モデルとしてもよい。

なお、特徴量出力モデル生成部２２は、既存の学習済モデルを利用せずに特徴量出力モデルを生成してもよい。例えば、従来の機械学習と同様にランダムの値を初期パラメータとしたモデルを機械学習の開始時点での特徴量出力モデルとしてもよい。

既存の学習済モデルを特徴量出力モデルの生成に用いることで、以下の利点がある。学習時間を大幅に短縮することができる。少ない学習用画像７１でも精度の高い特徴量出力モデル、即ち、より適切な特徴量を出力することができる特徴量出力モデルを生成することができる。上述した既存の学習済モデルは、既に抽象度の低い特徴を分離する能力を獲得している。従って、新たな学習用画像７１を用いた抽象度の高い特徴を中心とした学習するだけよいためである。

特徴量出力モデル生成部２２は、生成した特徴量出力モデルを焦点位置推定モデル生成部２３及び傾斜推定システム３０に出力する。なお、生成した特徴量出力モデルは、本実施形態での用途以外に用いられてもよい。その場合、例えば、特徴量出力モデル生成部２２は、特徴量出力モデルを用いる他の装置又はモジュールに特徴量出力モデルを送信又は出力する。あるいは、特徴量出力モデル生成部２２は、コンピュータ１０又はその他の装置に生成した特徴量出力モデルを記憶させて、特徴量出力モデルを用いる他の装置又はモジュールに利用できるようにしてもよい。

焦点位置推定モデル生成部２３は、学習用画像取得部２１によって取得された合焦位置情報から、機械学習によって、焦点位置推定モデルを生成する焦点位置推定モデル生成手段である。焦点位置推定モデルは、上述したように特徴量出力モデル生成部２２によって生成される特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定するものである。

焦点位置推定モデル生成部２３は、以下のように焦点位置推定モデルを生成する。焦点位置推定モデル生成部２３は、学習用画像取得部２１から学習用画像７１、及び当該学習用画像７１に係る合焦位置情報を入力する。焦点位置推定モデル生成部２３は、特徴量出力モデル生成部２２から特徴量出力モデルを入力する。

焦点位置推定モデル生成部２３は、学習用画像７１に基づく情報を特徴量出力モデルに入力して、特徴量出力モデルからの出力である当該学習用画像７１の特徴量を取得する。焦点位置推定モデル生成部２３は、取得した特徴量を焦点位置推定モデルへの入力として、入力した特徴量に係る学習用画像７１の合焦位置情報に基づく情報を焦点位置推定モデルの出力として機械学習を行う。合焦位置情報に基づく情報は、焦点位置推定モデルの出力に対応する情報とされる。焦点位置推定モデルが、上述した候補毎の値を出力するものであった場合、合焦位置情報に基づく情報は、例えば、合焦位置情報に該当する候補の値を１として、合焦位置情報に該当しない候補の値を０とした候補毎の値（ワンホットベクトル）である。焦点位置推定モデルが、上述した差分又は焦点位置自体の値を出力するものであった場合、合焦位置情報に基づく情報は、合焦位置情報自体又は合焦位置情報から算出される当該値である。焦点位置推定モデル生成部２３は、機械学習を行う前に焦点位置推定モデルの出力に相当する合焦位置情報に基づく情報を生成する。

機械学習自体、即ち、焦点位置推定モデルのパラメータの更新は、従来と同様に行われればよい。焦点位置推定モデル生成部２３は、従来と同様に焦点位置推定モデルの生成が予め設定した条件に基づいて収束するまで、あるいは予め設定された規定回数、機械学習の処理の繰り返しを行って焦点位置推定モデルを生成する。

焦点位置推定モデル生成部２３は、生成した焦点位置推定モデルを傾斜推定システム３０に出力する。なお、生成した焦点位置推定モデルは、本実施形態での用途以外に用いられてもよい。その場合、例えば、焦点位置推定モデル生成部２３は、焦点位置推定モデルを用いる他の装置又はモジュールに焦点位置推定モデルを送信又は出力する。あるいは、焦点位置推定モデル生成部２３は、コンピュータ１０又はその他の装置に生成した焦点位置推定モデルを記憶させて、焦点位置推定モデルを用いる他の装置又はモジュールに利用できるようにしてもよい。以上が、特徴量出力モデル生成システム２０の機能である。

引き続いて、本実施形態に係る傾斜推定システム３０の機能を説明する。図１に示すように傾斜推定システム３０は、推定対象画像取得部３１と、焦点位置推定部３２と、傾斜推定部３３と、制御部３４とを備えて構成される。

傾斜推定システム３０は、検査装置４０又は観察装置５０において撮像された画像に写った撮像対象物の傾斜を推定する。そのために、傾斜推定システム３０は、検査装置４０又は観察装置５０において撮像対象物の撮像が行われる際に合焦時の焦点位置を推定する。この推定は、まず、検査装置４０又は観察装置５０において撮像対象物の撮像（傾斜推定用の撮像）が行われる。この撮像では、焦点位置は、必ずしも撮像対象物に焦点があったもの、即ち、合焦時の焦点位置である必要はない。従って、この撮像で得られる画像はデフォーカス画像であってもよい。例えばこの画像は、図６（ａ）に示すようなデフォーカス画像であってもよい。図６は、半導体デバイスの画像である。図６（ａ）に示すデフォーカス画像は、撮像時の焦点位置が合焦時の焦点位置から＋５ｎｍである場合の画像である。

傾斜推定システム３０は、この画像から、画像の複数の位置における合焦時の焦点位置を推定する。傾斜推定システム３０は、推定された、画像の複数の位置における合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する。また、推定された合焦時の焦点位置を用いて、検査装置４０又は観察装置５０において撮像が行われることで、撮像対象物に焦点があった画像、即ち、フォーカス画像を得ることができる。例えば図６（ｂ）に示すようなフォーカス画像が得られる。図６（ｂ）に示すフォーカス画像は、図６（ａ）のデフォーカス画像に対応するものである。

推定対象画像取得部３１は、撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段である。推定対象画像は、傾斜推定システム３０において合焦時の焦点位置の推定に用いられる画像である。また、推定対象画像は、特徴量出力モデルへの入力に用いられる画像である。即ち、推定対象画像は、上述した学習用画像７１に対応する。

推定対象画像取得部３１は、検査装置４０又は観察装置５０によって撮像された画像を取得する。この際の検査装置４０又は観察装置５０による撮像は、上記の傾斜推定用の撮像である。例えば、推定対象画像取得部３１は、取得した画像から複数の部分画像を切り出して推定対象画像とする。

推定対象画像取得部３１は、特徴量出力モデルの入力に用いられる、予め設定されたサイズの部分画像である推定対象画像を取得した画像から切り出す。画像における、推定対象画像が切り出される位置は、撮像対象物が写っている部分である。画像における推定対象画像が切り出される位置は、予め設定されていてもよい。例えば、図７に示すように、推定対象画像取得部３１は、画像９０を、予め設定されたサイズに区切った複数の部分画像を推定対象画像９１としてもよい。図７に示す例では、３×３の９つの推定対象画像９１が、画像から切り出されて取得される。上記のように推定対象画像９１が切り出される場合、画像９０全体に撮像対象物が写っていれば、画像９０全体から推定対象画像９１が切り出されればよいし、画像９０の一部に撮像対象物が写っていれば、その一部から推定対象画像９１が切り出されればよい。また、画像に対して画像認識を行って撮像対象物が写っていると推定される位置を推定対象画像が切り出される位置としてもよい。傾斜推定システム３０は、画像における推定対象画像が切り出された位置が、後述の機能でも用いられるように構成されている。

また、推定対象画像の種別は、上述した学習用画像と同様の種別である。例えば、推定対象画像は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像であってよい。また、推定対象画像は、特定の波長の光（例えば、検査に用いる特定の波長の光）を撮像対象物に照射した際の画像であってもよい。

推定対象画像取得部３１は、取得した複数の推定対象画像を焦点位置推定部３２に出力する。

焦点位置推定部３２は、特徴量出力モデルを用いて、推定対象画像取得部３１によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段である。焦点位置推定部３２は、焦点位置推定モデルを用いて、特徴量出力モデルから出力される特徴量から推定対象画像に対応する合焦時の焦点位置を推定してもよい。

焦点位置推定部３２は、特徴量出力モデル生成システム２０によって生成された特徴量出力モデル及び焦点位置推定モデルを入力して記憶しておき、推定に利用する。焦点位置推定部３２は、推定対象画像取得部３１から複数の推定対象画像を入力する。

焦点位置推定部３２は、推定対象画像に基づく情報を特徴量出力モデルへ入力し、特徴量出力モデルからの出力である推定対象画像の特徴量を取得する。焦点位置推定部３２は、取得した特徴量を焦点位置推定モデルへ入力し、焦点位置推定モデルからの出力である、推定対象画像に対応する合焦時の焦点位置を示す情報を当該焦点位置の推定結果として取得する。焦点位置推定部３２は、複数の推定対象画像毎に、推定対象画像に対応する合焦時の焦点位置を示す情報を取得する。焦点位置推定部３２は、取得した複数の推定対象画像に対応する合焦時の焦点位置を示す情報を傾斜推定部３３に出力する。

傾斜推定部３３は、焦点位置推定部３２によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定する傾斜推定手段である。傾斜推定部３３は、例えば、検査装置４０又は観察装置５０における撮像方向に対する撮像対象物の傾斜を推定する。傾斜推定部３３は、以下のように撮像対象物の傾斜を推定する。

傾斜推定部３３は、焦点位置推定部３２から、複数の推定対象画像それぞれに対応する合焦時の焦点位置を示す情報を入力する。本実施形態では、推定対象画像に対応する合焦時の焦点位置に対応する撮像方向における位置が、撮像対象物の位置であるものとされる。推定対象画像は、画像における複数の位置から切り出されているため、画像における推定対象画像の各位置での撮像方向における撮像対象物の位置を得ることができる。それら複数の撮像対象物の位置から、撮像対象物の傾きを推定する。

例えば、傾斜推定部３３は、撮像方向と垂直な面における座標軸毎の撮像対象物の傾きを推定する。傾斜推定部３３は、図７に示すような画像９０の推定対象画像９１の各辺と平行な２つの座標軸であるＸ軸及びＹ軸毎に撮像対象物の傾きを推定する。例えば、傾斜推定部３３は、図８（ａ）に示すような、撮像方向（Ｚ軸方向）と垂直な面（図中のハッチングした面）に対するＸ軸における撮像対象物の傾斜の角度θ_１、及び図８（ｂ）に示すような、撮像方向（Ｚ軸方向）と垂直な面（図中のハッチングした面）に対するＹ軸における撮像対象物の傾斜の角度θ_２を推定する。

図８には、各推定対象画像９１から推定された合焦時の焦点位置を示す情報（具体的には、画像が撮像された際の焦点位置と、合焦時の焦点位置との差分）を示す（＋２、０、－２、＋３、０及び－３等の値である）。図８（ａ）は、撮像対象物が、Ｘ軸方向に傾斜している場合、具体的には、右側が下がっている場合の例を示している。図８（ｂ）は、撮像対象物が、Ｙ軸方向に傾斜している場合、具体的には、手前側が下がっている場合の例を示している。

傾斜推定部３３は、角度θ_１及び角度θ_２を以下の式によって算出する。

ここで、ｘは、画像における推定対象画像の位置に応じた角度θ_１の算出に用いるＸ軸方向の長さである。ｚ_１は、ｘに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。ｙは、画像における推定対象画像の位置に応じた角度θ_２の算出に用いるＹ軸方向の長さである。ｚ_２は、ｙに対応する撮像方向（Ｚ軸方向）の合焦時の焦点位置のずれの大きさである。

ｘ及びｙは、図７に示すように推定対象画像の位置に基づいて定まる。例えば、ｘは、傾斜の推定に用いられるＸ軸方向に互いに離れた、予め設定された２つの推定対象画像Ｐ_ａ，Ｐ_ｂの位置（例えば、推定対象画像の中心座標Ｐ_{ｃｅｎｔｅｒ}）のＸ軸方向の差である。即ち、ｘ＝｜Ｐ_ｂ－Ｐ_ａ｜（Ｘ軸成分のみ）である。ｙは、傾斜の推定に用いられるＹ軸方向に互いに離れた、予め設定された２つの推定対象画像Ｐ_ａ，Ｐ_ｃの位置（例えば、推定対象画像の中心座標Ｐ_{ｃｅｎｔｅｒ}）のＹ軸方向の差である。即ち、ｙ＝｜Ｐ_ｃ－Ｐ_ａ｜（Ｘ軸成分のみ）である。なお、画像における推定対象画像の位置が、予め設定されている場合には、上記のｘ及びｙは、一定値となるため、予め傾斜推定部３３に記憶されていてもよい。

ｚ_１及びｚ_２は、図８に示すように推定対象画像それぞれに対応する合焦時の焦点位置によって算出される。例えば、ｚ_１は、上記の２つの推定対象画像Ｐ_ａ，Ｐ_ｂに対応する合焦時の焦点位置Ｚ_ａ，Ｚ_ｂの差である。即ち、ｚ_１＝｜Ｚ_ｂ－Ｚ_ａ｜である。ｚ_１は、上記の２つの推定対象画像Ｐ_ａ，Ｐ_ｃに対応する合焦時の焦点位置Ｚ_ａ，Ｚ_ｃの差である。即ち、ｚ_２＝｜Ｚ_ｃ－Ｚ_ａ｜である。

撮像対象物の傾斜に用いる推定対象画像は、上記以外であってもよい。例えば、撮像対象物の傾斜に用いる推定対象画像は、以下のようにされて、傾斜が推定されてもよい。撮像対象物が写った画像を、それぞれが複数の推定対象画像を含むように複数の領域に分割する。例えば、画像を３×３の矩形の領域に分割する。領域（Ｐ_ａ）毎の複数の推定対象画像（Ｐ_ａ１，Ｐ_ａ２，Ｐ_ａ３，…）それぞれに対応する合焦時の焦点位置（Ｚ_ａ１，Ｚ_ａ２，Ｚ_ａ３，…）から外れ値を除去する。外れ値を除去した後の合焦時の焦点位置のうちの中央値（Ｚ_{ｍｅｄｉａｎ}）を取る。当該中央値（Ｚ_{ｍｅｄｉａｎ}）及び当該中央値（Ｚ_{ｍｅｄｉａｎ}）に対応する推定対象画像（Ｐ_{ａｍｅｄｉａｎ}）を、領域（Ｐ_ａ）を代表する合焦時の焦点位置及び推定対象画像として傾斜を推定する。

傾斜推定部３３は、焦点位置推定部３２によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜を推定するのであれば、上記以外の方法で傾斜を推定してもよい。また、傾斜推定部３３は、上述した角度θ_１及び角度θ_２以外を撮像対象物の傾斜として推定してもよい。傾斜推定部３３は、推定した撮像対象物の傾斜を示す情報を制御部３４に出力する。また、傾斜推定部３３は、撮像対象物の傾斜の推定に用いた推定対象画像に対応する合焦時の焦点位置を示す情報も制御部３４に出力してもよい。

制御部３４は、傾斜推定部３３によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段である。制御部３４は、焦点位置推定部３２によって推定された焦点位置に基づいて、撮像対象物の撮像時の焦点位置を制御してもよい。

制御部３４は、傾斜推定部３３から、撮像対象物の傾斜を示す情報を入力する。また、制御部３４は、傾斜推定部３３から、推定対象画像に対応する合焦時の焦点位置を示す情報を入力してもよい。制御部３４は、検査装置４０又は観察装置５０に対して、入力した情報によって示される撮像対象物の傾斜が撮像の際に解消されるように制御する。具体的には、制御部３４は、入力した情報によって示される撮像対象物の傾斜と逆に撮像対象物を傾斜させるように検査装置４０又は観察装置５０を制御する。制御を受けた検査装置４０又は観察装置５０は、例えば、載置部を動作させて撮像の際の撮像対象物の傾斜を調整する。このように制御部３４は、検査装置４０又は観察装置５０におけるチルト補正の制御を行う。これによって、検査装置４０又は観察装置５０によって撮像される画像は、撮像対象物の傾斜が適切な状態での画像となる。

また、制御部３４は、検査装置４０又は観察装置５０に対して、撮像の際の焦点位置が、入力した情報によって示される合焦時の焦点位置となるように制御する。例えば、制御部３４は、複数の推定対象画像のうち、予め設定された推定対象画像に対応する合焦時の焦点位置となるように制御する。制御を受けた検査装置４０又は観察装置５０は、例えば、ステージ４６を動作させて撮像の際の焦点位置を調整する。これによって、検査装置４０又は観察装置５０によって撮像される画像はフォーカス画像となる。このように制御部３４は、検査装置４０又は観察装置５０におけるオートフォーカスの制御を行う。以上が、傾斜推定システム３０の構成である。

引き続いて、図９及び図１０のフローチャートを用いて、本実施形態に係るコンピュータ１０で実行される処理（コンピュータ１０が行う動作方法）を説明する。まず、図９のフローチャートを用いて、特徴量出力モデル及び焦点位置推定モデルを生成する際に実行される処理、即ち、本実施形態に係る特徴量出力モデル生成システム２０で実行される処理である特徴量出力モデル生成方法を説明する。

本処理では、まず、学習用画像取得部２１によって、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像が取得される（Ｓ０１、学習用画像取得ステップ）。また、学習用画像取得部２１によって、学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報が取得される。続いて、特徴量出力モデル生成部２２によって、学習用画像から機械学習によって特徴量出力モデルが生成される（Ｓ０２、特徴量出力モデル生成ステップ）。この際、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像７１の特徴量が比較されて、比較結果に基づいて機械学習が行われる。続いて、焦点位置推定モデル生成部２３によって、合焦位置情報から、機械学習によって、焦点位置推定モデルが生成される（Ｓ０３、焦点位置推定モデル生成ステップ）。

生成された特徴量出力モデル及び焦点位置推定モデルは、特徴量出力モデル生成システム２０から傾斜推定システム３０に出力される。傾斜推定システム３０では、特徴量出力モデル及び焦点位置推定モデルが記憶されて、以下の処理で用いられる。以上が、本実施形態に係る特徴量出力モデル生成システム２０で実行される処理である特徴量出力モデル生成方法である。

続いて、図１０のフローチャートを用いて、推定対象画像に対応する合焦時の焦点位置を推定する際に実行される処理、即ち、本実施形態に係る傾斜推定システム３０で実行される処理である傾斜推定方法を説明する。

本処理では、まず、推定対象画像取得部３１によって、撮像対象物が写った画像が取得されて、当該画像から複数の部分画像である推定対象画像が取得される（Ｓ１１、推定対象画像取得ステップ）。推定対象画像は、検査装置４０又は観察装置５０の傾斜推定用の撮像によって得られた画像に基づくものである。続いて、焦点位置推定部３２によって、特徴量出力モデルが用いられて、複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量が出力される。続いて、焦点位置推定部３２によって、焦点位置推定モデルが用いられて、複数の推定対象画像それぞれの特徴量から推定対象画像それぞれに対応する合焦時の焦点位置が推定される（Ｓ１２、焦点位置推定ステップ）。

続いて、傾斜推定部３３によって、複数の推定対象画像それぞれに対応する合焦時の焦点位置から、画像に写った撮像対象物の傾斜が推定される（Ｓ１３、傾斜推定ステップ）。続いて、制御部３４によって、推定された上記の撮像対象物の傾斜に基づいて、検査装置４０又は観察装置５０による撮像対象物の新たな撮像時の傾斜が制御される（Ｓ１４、制御ステップ）。これによって、検査装置４０又は観察装置５０によって撮像される画像は、撮像対象物の傾斜が適切な状態での画像となる。また、この際、制御部３４によって、推定された上記の焦点位置に基づいて、検査装置４０又は観察装置５０による撮像対象物の撮像時の焦点位置が制御されてもよい。これによって、検査装置４０又は観察装置５０によって撮像される画像はフォーカス画像となる。以上が、本実施形態に係る傾斜推定システム３０で実行される処理である傾斜推定方法である。

本実施形態では、機械学習によって、画像の特徴量を出力する特徴量出力モデルが生成される。この際、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、機械学習は比較結果に基づいて行われる。当該生成によれば、例えば、画像に基づく情報を入力する既存の学習済モデルを利用することで、短時間で特徴量出力モデルを生成することができる。即ち、本実施形態によれば、焦点位置の推定等の画像に基づく推定に用いる学習済モデルである特徴量出力モデルを短時間の学習で生成可能とすることができる。

但し、上述したように特徴量出力モデルの生成には、必ずしも既存の学習済モデルが利用される必要はない。その場合でも、焦点位置に応じた適切な特徴量を出力することができる特徴量出力モデルを生成することができる。

また、上述したように、特徴量出力モデル生成のための機械学習は、互いに異なる２つの学習用画像が互いに同一の焦点位置に係るものである場合、当該２つの学習用画像の特徴量の差分が小さくなるように、かつ、互いに異なる２つの学習用画像が互いに異なる焦点位置に係るものである場合、当該２つの学習用画像の特徴量の差分が大きくなるように行われてもよい。この構成によれば、確実かつ適切に特徴量出力モデルを生成することができる。但し、機械学習は、必ずしも上記のように行われる必要はなく、２つの学習用画像の特徴量の比較結果に基づいて行われればよい。

また、上述したように、学習用画像及び推定対象画像は、撮像対象物からの放射を検出した画像、撮像対象物に光を照射した際の撮像対象物からの光を検出した画像、又は撮像対象物に光を照射した際の撮像対象物の電気特性を検出した画像であってもよい。更には、学習用画像及び推定対象画像は、特定の波長の光を撮像対象物に照射した際の画像であってもよい。これらの構成によれば、用いられる画像に種類に応じた適切な特徴量出力モデルの生成、及び特徴量出力モデルの利用を行うことができる。但し、学習用画像及び推定対象画像は、上記のものに限られず、焦点位置に応じた画像であればよい。

また、本実施形態のように、特徴量出力モデル生成システム２０は、焦点位置推定モデルを生成する焦点位置推定モデル生成部２３を更に備えていてもよい。この構成によれば、画像から合焦時の焦点位置を推定する焦点位置推定モデルを生成することができる。即ち、この構成によれば、特徴量出力モデルとあわせて、画像に基づく焦点位置の推定に用いる学習済モデルを短時間の学習で生成可能とすることができる。

但し、特徴量出力モデル生成システム２０は、焦点位置推定モデル生成部２３を備えていなくてもよい。即ち、特徴量出力モデル生成システム２０は、特徴量出力モデルのみを生成する構成であってもよい。また、生成される特徴量出力モデルは、合焦時の焦点位置の推定以外の用途に用いられてもよい。

本発明に係る傾斜推定システム３０では、画像の複数の部分画像である推定対象画像それぞれから、複数の推定対象画像それぞれに対応する合焦時の焦点位置が推定されて、撮像対象物の傾斜が推定される。従って、撮像対象物が写った画像が得られれば、撮像対象物の傾斜を短時間で推定することができる。特別な光学系によって撮像対象物の傾斜を推定する場合に必要であった、装置内に特別な光学系を設けるための構成（例えば、レンズターレット）及び空間が不要となる。また、特別な光学系を用意するコストも不要となる。また、ターレットの切替、レーザスキャン及び位置合わせ等の処理も不要となる。その場合と比べて撮像対象物の傾斜の推定時間を大幅に短縮することができる。

また、焦点位置の推定に用いられる特徴量出力モデルは、焦点位置の推定に適切な特徴量を出力することができ、これを用いることで適切に撮像対象物の傾斜を推定することができる。従って、本発明に係る傾斜推定システムによれば、撮像対象物の傾斜の推定を簡易な構成かつ短時間で行うことができる。

本実施形態に係る傾斜推定システム３０では、合焦時の焦点位置の推定に上述した特徴量出力モデルが利用される。従って、本実施形態によれば、画像に基づく合焦時の焦点位置の推定を短時間の準備時間で行うことができる。また、本実施形態に係る傾斜推定システム３０によれば、１回の傾斜推定用の撮像によって合焦時の焦点位置を推定することができる。そのため、焦点位置を変えながら複数回の撮像を行って合焦時の焦点位置を探索する場合と比べて、迅速に合焦時の焦点位置を推定することができる。その結果、迅速に撮像対象物の傾斜を推定することができる。

また、合焦時の焦点位置の推定には、上述した焦点位置推定モデルが用いられてもよい。この構成によれば、確実かつ適切に合焦時の焦点位置を推定することができる。その結果、確実かつ適切に撮像対象物の傾斜を推定することができる。但し、合焦時の焦点位置の推定には、上述した焦点位置推定モデルが用いられる必要はなく、特徴量出力モデルから出力される特徴量から推定が行われればよい。

また、本実施形態のように、傾斜推定システム３０は、推定された撮像対象物の傾斜に基づいて、検査装置４０又は観察装置５０における撮像対象物の撮像時の傾斜を制御する制御部３４を更に備えていてもよい。この構成によれば、検査装置４０又は観察装置５０において適切な傾斜での撮像対象物の撮像を行うことができる。。但し、傾斜推定システム３０は、制御部３４を備えていなくてもよい。即ち、傾斜推定システム３０は、撮像対象物の傾斜を推定するものであればよい。

また、本実施形態に係る傾斜推定システム３０と、上述した検査装置４０又は観察装置５０とを含めて一連のシステムとして構成することができる。即ち、本実施形態に係る半導体検査システムは、傾斜推定システム３０と、検査装置４０とを含むシステムとしてもよい。また、本実施形態に係る生体観察システムは、傾斜推定システム３０と、観察装置５０とを含むシステムとしてもよい。

なお、本実施形態では、コンピュータ１０は、特徴量出力モデル生成システム２０と、傾斜推定システム３０とを含むこととしたが、特徴量出力モデル生成システム２０と、傾斜推定システム３０とが独立してそれぞれ実施されてもよい。

引き続いて、上述した一連の特徴量出力モデル生成システム２０及び傾斜推定システム３０による処理を実行させるための特徴量出力モデル生成プログラム及び傾斜推定プログラムを説明する。図１１に示すように、特徴量出力モデル生成プログラム２００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体２１０に形成されたプログラム格納領域２１１内に格納される。記録媒体２１０は、非一時的な記録媒体であってもよい。

特徴量出力モデル生成プログラム２００は、学習用画像取得モジュール２０１と、特徴量出力モデル生成モジュール２０２と、焦点位置推定モデル生成モジュール２０３とを備えて構成される。学習用画像取得モジュール２０１と、特徴量出力モデル生成モジュール２０２と、焦点位置推定モデル生成モジュール２０３とを実行させることにより実現される機能は、上述した特徴量出力モデル生成システム２０の学習用画像取得部２１と、特徴量出力モデル生成部２２と、焦点位置推定モデル生成部２３との機能とそれぞれ同様である。

図１２に示すように、傾斜推定プログラム３００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記録媒体３１０に形成されたプログラム格納領域３１１内に格納される。記録媒体３１０は、非一時的な記録媒体であってもよい。なお、記録媒体３１０は、記録媒体２１０と同一であってもよい。

傾斜推定プログラム３００は、推定対象画像取得モジュール３０１と、焦点位置推定モジュール３０２と、傾斜推定モジュール３０３と、制御モジュール３０４とを備えて構成される。焦点位置推定モジュール３０２と、傾斜推定モジュール３０３と、制御モジュール３０４とを実行させることにより実現される機能は、上述した傾斜推定システム３０の推定対象画像取得部３１と、焦点位置推定部３２と、傾斜推定部３３と、制御部３４との機能とそれぞれ同様である。

なお、特徴量出力モデル生成プログラム２００及び傾斜推定プログラム３００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、特徴量出力モデル生成プログラム２００及び傾斜推定プログラム３００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の処理が行われる。

１０…コンピュータ、２０…特徴量出力モデル生成システム、２１…学習用画像取得部、２２…特徴量出力モデル生成部、２３…焦点位置推定モデル生成部、３０…傾斜推定システム、３１…推定対象画像取得部、３２…焦点位置推定部、３３…傾斜推定部、３４…制御部、４０…検査装置、４１…カメラ、４２…載置部、４３…光源、４４…光学系、４５…対物レンズ、４６…ステージ、５０…観察装置、２００…特徴量出力モデル生成プログラム、２０１…学習用画像取得モジュール、２０２…特徴量出力モデル生成モジュール、２０３…焦点位置推定モデル生成モジュール、２１０…記録媒体、２１１…プログラム格納領域、３００…傾斜推定プログラム、３０１…推定対象画像取得モジュール、３０２…焦点位置推定モジュール、３０３…傾斜推定モジュール、３０４…制御モジュール、３１０…記録媒体、３１１…プログラム格納領域。

Claims (11)

1. 画像に写った撮像対象物の傾斜を推定する傾斜推定システムであって、
   撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、
   画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、
   前記焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、を備え、
   前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定システム。
2. 前記焦点位置推定手段は、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
   前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項１に記載の傾斜推定システム。
3. 前記傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段を更に備える請求項１又は２に記載の傾斜推定システム。
4. 請求項１～３の何れか一項に記載の傾斜推定システムと、
   前記傾斜推定システムに係る撮像対象物として半導体デバイスが載置される載置部と、
   前記半導体デバイスを検査する検査部と、
   を備える半導体検査システム。
5. 請求項１～３の何れか一項に記載の傾斜推定システムと、
   前記傾斜推定システムに係る撮像対象物として生体サンプルが載置される載置部と、
   前記生体サンプルを観察する観察部と、
   を備える生体観察システム。
6. 画像に写った撮像対象物の傾斜を推定する傾斜推定方法であって、
   撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得ステップと、
   画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得ステップにおいて取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定ステップと、
   前記焦点位置推定ステップにおいて推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定ステップと、を含み、
   前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定方法。
7. 前記焦点位置推定ステップにおいて、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
   前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項６に記載の傾斜推定方法。
8. 前記傾斜推定ステップにおいて推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御ステップを更に含む請求項６又は７に記載の傾斜推定方法。
9. コンピュータを、画像に写った撮像対象物の傾斜を推定する傾斜推定システムとして動作させる傾斜推定プログラムであって、
   当該コンピュータを、
   撮像対象物が写った画像を取得して、当該画像から複数の部分画像である推定対象画像を取得する推定対象画像取得手段と、
   画像に基づく情報を入力して当該画像の特徴量を出力する特徴量出力モデルを用いて、前記推定対象画像取得手段によって取得された複数の推定対象画像それぞれから複数の推定対象画像それぞれの特徴量を出力して、出力された特徴量から複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定する焦点位置推定手段と、
   前記焦点位置推定手段によって推定された複数の推定対象画像それぞれに対応する合焦時の焦点位置から、前記画像に写った撮像対象物の傾斜を推定する傾斜推定手段と、として機能させ、
   前記特徴量出力モデルは、撮像時の焦点位置に係る焦点位置情報が対応付けられた複数の学習用画像から、機械学習によって生成され、互いに異なる２つの学習用画像に対応付けられた焦点位置情報に応じて当該２つの学習用画像の特徴量が比較されて、比較結果に基づいて機械学習が行われる傾斜推定プログラム。
10. 前記焦点位置推定手段は、前記特徴量出力モデルから出力される特徴量を入力して、当該特徴量に係る画像に対応する合焦時の焦点位置を推定する焦点位置推定モデルを用いて複数の推定対象画像それぞれに対応する合焦時の焦点位置を推定し、
    前記焦点位置推定モデルは、前記学習用画像それぞれに対応する合焦時の焦点位置に係る合焦位置情報から、機械学習によって生成される請求項９に記載の傾斜推定プログラム。
11. 前記コンピュータを、
    前記傾斜推定手段によって推定された撮像対象物の傾斜に基づいて、撮像対象物の撮像時の傾斜を制御する制御手段としても機能させる請求項９又は１０に記載の傾斜推定プログラム。

Images