JP7595480B2 - 電子機器、電子機器の制御方法およびプログラム - Google Patents

Description

本発明は、電子機器、電子機器の制御方法およびプログラムに関する。

カメラ等の撮像装置が撮像した画像から被写体のパターン（例えば、被写体としての人物の顔領域）を検出する技術が用いられている。関連する技術として、特許文献１の技術が提案されている。特許文献１の技術は、画像から人物の顔を検出する顔領域検出とＡＦ／ＡＥ／ＷＢ評価値の検出とを同一フレームに対して行うことで、人物の顔の焦点調節と露出制御とを高精度に行うこと実現している。

また、近年では、画像から被写体の検出に、深層学習されたニューラルネットワークが用いられている。画像認識等に好適なニューラルネットワークとしてＣＮＮ（畳み込みニューラルネットワーク）が用いられている。例えば、非特許文献１には、ＣＮＮを適用して画像中の物体を検出する技術（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）が提案されている。また、非特許文献２には、画像中の領域を意味的に分割する技術（Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）が提案されている。

特開２００５－３１８５５４号公報

"Ｌｉｕ，ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ． Ｉｎ： ＥＣＣＶ２０１６" "Ｃｈｅｎ ｅｔ．ａｌ， ＤｅｅｐＬａｂ： Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｓ， Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ， ａｎｄ Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦｓ， ａｒＸｉｖ， ２０１６"

近年では、瞳分割機能を用いて位相差検出を行い、検出した位相差情報を用いて焦点調節を行う方式が用いられている。撮影を行う際に、被写体が何らかの物体に遮蔽されると、画像中の被写体領域に遮蔽領域が生じることがある。被写体領域における遮蔽領域の分布方向によっては、遠近競合が生じることがある。遠近競合が生じると、焦点調節精度が低下するという問題がある。特許文献１の技術は、かかる問題を解決するものではない。

そこで、本発明は、被写体領域に遮蔽領域が存在する場合に焦点調節精度の低下の発生を抑制することを目的とする。

上記目的を達成するために、本発明の電子機器は、瞳分割した光が入射する複数の光電変換部が配列された複数の画素を有する撮像素子を用いて撮像した画像を取得する手段と、前記画像から被写体および当該被写体の遮蔽領域を検出する手段と、前記瞳分割の方向と前記遮蔽領域の分布の方向とに応じて、位相差情報に基づく焦点調節の制御を行う手段と、を備える。

本発明によれば、被写体領域に遮蔽領域が存在する場合に焦点調節精度の低下の発生を抑制することができる。

デジタルカメラの一例を示す図である。 撮像素子の画素の配列および画素の瞳分割の方向の一例を示す図である。 遮蔽領域の尤度を推論するＣＮＮの一例を示す図である。 第１実施形態における焦点調節の処理の流れの一例を示すフローチャートである。 画像データ、被写体領域および遮蔽領域の分布の一例を示す図である。 画素の瞳分割の方向がＹ方向である場合の一例を示す図である。 第２実施形態における焦点調節の処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、電子機器としてのデジタルカメラＣの一例を示す図である。デジタルカメラＣは、レンズ交換式一眼レフカメラである。デジタルカメラＣは、レンズ交換式ではないカメラであってもよい。また、電子機器は、デジタルカメラには限定されず、例えば、スマートフォンやタブレット端末等の任意のデバイスであってもよい。

デジタルカメラＣは、撮像光学系であるレンズユニット１００およびカメラ本体１２０を有する。レンズユニット１００は、図１の中央に点線で示されるマウントＭ（レンズマウント）を介して、カメラ本体１２０に着脱可能に装着される。レンズユニット１００は、光学系および駆動制御系を有する。光学系は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３およびフォーカスレンズ１０４（フォーカスレンズ群）を含む。レンズユニット１００は、被写体の光学像を形成する撮影レンズである。

第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り１０２は、撮影時の光量を調節する機能として機能するとともに、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り１０２および第２レンズ群１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節が実施される。

駆動制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２およびフォーカスアクチュエータ１１３を有する。また、駆動制御系は、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ（ＭＰＵ：マイクロプロセッサ）１１７およびレンズメモリ１１８を有する。

ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第２レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径の制御や開閉動作の制御を行う。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を変化させる。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。

レンズＭＰＵ１１７は、レンズユニット１００に関する各種の演算や制御を行うことで、ズーム駆動回路１１４や絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、カメラＭＰＵ１２５との間でコマンドやデータに関する通信を行う。例えば、レンズＭＰＵ１１７は、フォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置や、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径等の情報を含む。また、レンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５およびフォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点検出に必要な光学情報が予め記憶されている。カメラＭＰＵ１２５は、例えば、内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。

カメラ本体１２０は、レンズユニット１００と同様、光学系および駆動制御系を有する。光学系は、光学ローパスフィルタ１２１および撮像素子１２２を含む。レンズユニット１００の第１レンズ群１０１、絞り１０２、第２レンズ群１０３およびフォーカスレンズ１０４と、カメラ本体１２０の光学ローパスフィルタ１２１とにより撮像光学系が構成される。光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減するフィルタである。

撮像素子１２２は、ＣＭＯＳイメージセンサと周辺回路とを含んで構成される。撮像素子１２２は、撮像光学系からの入射光を受光する。撮像素子１２２には、横方向にｍ画素、縦方向にｎ画素（ｎ、ｍは２以上の整数）が配置される。撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦ（オートフォーカス）を行うことが可能である。画像処理回路１２４は、撮像素子１２２が出力する画像データから、位相差ＡＦ用のデータと、表示用および記録用の画像データとを生成する。

駆動制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差検出部１２９、認識部１３０および通信部１３１を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像データに対し、例えば、γ変換やホワイトバランス調整処理、色補間処理、圧縮符号化処理等のデジタルカメラで行われる一般的な画像処理を行う。また、画像処理回路１２４は、位相差ＡＦ用の信号も生成する。

カメラＭＰＵ１２５は、カメラ本体１２０に関する各種の演算や制御等を行う。カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差検出部１２９、認識部１３０および通信部１３１を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７との間でコマンドやデータに関する通信を行う。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、各種の要求を行う。例えば、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、レンズ位置の情報やレンズユニット１００に固有の光学情報等を要求する。また、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対して、所定の駆動量での絞り、フォーカスレンズ、ズーム駆動等を要求する。

カメラＭＰＵ１２５は、ＲＯＭ１２５ａ、ＲＡＭ１２５ｂおよびＥＥＰＲＯＭ１２５ｃを内蔵する。ＲＯＭ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２５ａは、撮像動作を制御するプログラムを格納する。ＲＡＭ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２５ｂは、変数を一時的に記憶する。ＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１２５ｃは、各種のパラメータを記憶する。

表示器１２６は、ＬＣＤ（ＬＣＤ： ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等から構成され、カメラの撮影モードに関する情報や撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ群１２７は、電源スイッチやレリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。メモリ１２８は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。

撮像面位相差検出部１２９は、画像処理回路１２４から取得した焦点検出用データを用いて位相差検出方式で焦点検出処理を行う。画像処理回路１２４は、二対の瞳領域を通過する光束で形成される各対の像データを焦点検出用データとして生成する。そして、撮像面位相差検出部１２９は、生成された各対の像データのずれ量に基づいて、焦点ずれ量を検出する。撮像面位相差検出部１２９は、専用のＡＦセンサを用いることなく、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。撮像面位相差検出部１２９は、カメラＭＰＵ１２５の一部により実現されてもよいし、専用の回路やＣＰＵ等により実現されてもよい。

認識部１３０は、画像処理回路１２４から取得した画像データに基づき被写体認識を行う。認識部１３０は、被写体認識として、目的とする被写体が画像データの何れの位置に存在するかを検出する被写体検出、および被写体領域と被写体が遮蔽された遮蔽領域とに分割する領域分割を行う。本実施形態では、認識部１３０は、遮蔽情報の分布方向と焦点ずれ量（像ずれ量）の検出方向とに基づき、焦点調節に利用する位相差情報の領域を決定する。以下、像ずれ量の検出方向を、位相差情報の瞳分割方向と称することがある。

本実施形態の認識部１３０は、ＣＮＮ（畳み込みニューラルネットワーク）を用いて、被写体検出および領域分割を行うものとする。本実施形態では、被写体検出には、被写体検出についての深層学習がされたＣＮＮが用いられ、領域分割には、領域分割についての深層学習がされたＣＮＮが用いられるものとする。ただし、認識部１３０は、被写体検出および領域分割の両者についての深層学習がされたＣＮＮを用いてもよい。

認識部１３０は、カメラＭＰＵ１２５から画像を取得し、被写体検出の深層学習がされたＣＮＮに入力する。ＣＮＮの推論処理により、出力結果として被写体が検出される。また、認識部１３０は、認識された被写体の画像を、領域分割の深層学習がされたＣＮＮに入力する。ＣＮＮの推論処理により、出力結果として、被写体の画像における遮蔽領域が検出される。認識部１３０は、カメラＭＰＵ１２５により実現されてもよいし、専用の回路やＣＰＵ等により実現されてもよい。また、認識部１３０は、ＣＮＮによる推論処理を行うため、推論処理の演算処理に用いられるＧＰＵを内蔵していることが好ましい。

ＣＮＮの深層学習について説明する。ＣＮＮの深層学習は、任意の手法で行われ得る。被写体検出についてのＣＮＮの深層学習について説明する。例えば、ＣＮＮの深層学習は、正解としての被写体が写った画像を教師データとし、多くの学習用画像を入力データとして用いた教師あり学習により実現される。このとき、ＣＮＮの深層学習には、誤差逆伝搬法等の手法が適用される。

ＣＮＮの深層学習は、例えば、サーバ等の所定のコンピュータにより行われてもよい。この場合、カメラ本体１２０の通信部１３１が所定のコンピュータと通信を行うことにより、深層学習されたＣＮＮを、所定のコンピュータから取得してもよい。そして、カメラＭＰＵ１２５が、通信部１３１により取得されたＣＮＮを、認識部１３０にセットする。これにより、認識部１３０は、深層学習されたＣＮＮを用いて、被写体検出を行うことができる。デジタルカメラＣが、深層学習に適した高性能なＣＰＵやＧＰＵ、或いは深層学習に特化した専用プロセッサ等を内蔵している場合、デジタルカメラＣがＣＮＮの深層学習を行ってもよい。ただし、ＣＮＮの深層学習には豊富なハードウェア資源を要することから、外部装置（所定のコンピュータ）がＣＮＮの深層学習を行い、デジタルカメラＣが、深層学習されたＣＮＮを取得して使用することが好ましい。

被写体検出は、ＣＮＮではなく、任意の手法を用いて実現されてもよい。例えば、被写体検出は、ルールベースに基づく手法により実現されてもよい。また、被写体検出には、深層学習されたＣＮＮ以外にも、任意の手法により機械学習された学習済みモデルが用いられてもよい。例えば、サポートベクターマシンやロジスティクス回帰等の任意の機械学習アルゴリズムにより機械学習された学習済みモデルを用いて、被写体検出が実現されてもよい。

次に、撮像面位相差検出部１２９の動作について説明する。図２は、撮像素子１２２の画素の配列および画素の瞳分割の方向の一例を示す図である。図２（Ａ）は、２次元のＣ－ＭＯＳエリアセンサの垂直方向（Ｙ方向）６行および水平方向（Ｘ方向）８列の範囲を、レンズユニット１００側から観察した状態を示している。撮像素子１２２には、ベイヤー配列のカラーフィルタが設けられ、奇数行の画素には左から順に緑（Ｇ）と赤（Ｒ）とのカラーフィルタが交互に配置され、偶数行の画素には左から順に青（Ｂ）と緑（Ｇ）とのカラーフィルタが交互に配置される。画素２１１において、円で示されるオンチップマイクロレンズ（マイクロレンズ２１１ｉ）の内側には、光電変換部が複数配列されている。図２（Ｂ）の例では、画素２１１のオンチップマイクロレンズの内側に、４つの光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄが配置されている。

画素２１１において、光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄは、Ｘ方向およびＹ方向に２分割され、個々の光電変換部の光電変換信号の読み出しが可能であり、各光電変換部の光電変換信号の和を独立して読み出すことも可能である。個々の光電変換部における光電変換信号は、位相差ＡＦ用のデータとして用いられる。また、個々の光電変換部における光電変換信号は、３Ｄ（３－Ｄｉｍｅｎｓｉｏｎａｌ）画像を構成する視差画像の生成に用いられることもある。光電変換信号の和は、通常の撮影画像データを生成する際に用いられる。

位相差ＡＦを行う場合の画素信号について説明する。本実施形態においては、図２（Ａ）のマイクロレンズ２１１ｉを介して、光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄで撮影光学系の射出光束が瞳分割される。図２（Ｂ）の２つの点線で示される領域はそれぞれ光電変換部２１２Ａおよび光電変換部２１２Ｂを示す。光電変換部２１１Ａは光電変換部２１１ａおよび２１１ｃにより構成され、光電変換部２１１Ｂは光電変換部２１１ａおよび２１１ｄにより構成される。像ずれ量（位相差）に基づく焦点検出を行うために、光電変換部２１１ａと２１１ｃとが出力した信号を加算した加算信号と、光電変換部２１１ａと２１１ｄとが出力した信号を加算したもの加算信号とが対として用いられる。これにより、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を行うことできる。

ここでは、Ｘ方向の像ずれ量に基づく焦点検出による位相差ＡＦに着目して説明する。同一画素行に配置された所定範囲内の複数の画素２１１について、光電変換部２１２Ａに属する光電変換部２１１ａと２１１ｃとの加算信号をつなぎ合わせて編成した像をＡＦ用Ａ像とする。また、光電変換部２１２Ｂに属する光電変換部２１２ｂと２１１ｄとの加算信号をつなぎ合わせて編成した像をＡＦ用Ｂ像とする。光電変換部２１２Ａおよび２１２Ｂの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の出力を加算して算出した疑似的な輝度（Ｙ）信号が用いられる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像、ＡＦ用Ｂ像が編成されてもよい。以上のようにして生成されたＡＦ用Ａ像とＡＦ用Ｂ像との一対の像信号の相対的な像ずれ量を相関演算により検出することで、一対の像信号の相関度であるプレディクション［ｂｉｔ］を検出することができる。カメラＭＰＵ１２５は、プレディクションに変換係数を乗ずることで、所定領域のデフォーカス量［ｍｍ］を検出することができる。光電変換部２１２Ａと２１２Ｂとの出力信号の和は、一般的には、出力画像の１画素（出力画素）を形成する。

認識部１３０の被写体検出および遮蔽情報の領域分割について説明する。本実施形態では、認識部１３０は、画像から人物の顔を検出（認識）する。画像から人物の顔を検出する手法としては、任意の手法（例えば、非特許文献１の手法）を適用できる。ただし、認識部１３０は、人物の顔ではなく、人物の全身や動物、乗り物等の焦点調節の対象となり得る被写体を検出してもよい。

認識部１３０は、検出された被写体領域に対して、遮蔽領域に関する領域分割を行う。領域分割の手法としては、任意の手法（例えば、非特許文献２の手法）を適用できる。認識部１３０は、深層学習されたＣＮＮを用いて、各画素領域に遮蔽領域の確からしさ（尤度）を推論する。ただし、上述したように、認識部１３０は、任意の機械学習アルゴリズムにより機械学習された学習済みモデルを用いて、遮蔽領域の尤度を推論してもよいし、ルールベースに基づいて遮蔽領域の尤度を判定してもよい。遮蔽領域の尤度の推論にＣＮＮが用いられる場合、ＣＮＮは、遮蔽領域を正例、遮蔽領域以外の領域を負例として深層学習が行われる。これにより、ＣＮＮから、各画素領域における遮蔽領域の尤度が推論結果として出力される。

図３は、遮蔽領域の尤度を推論するＣＮＮの一例を示す図である。図３（Ａ）は、ＣＮＮに対して入力する入力画像の被写体領域の一例を示す。被写体領域３０１は、上述した被写体検出により画像から検出される。被写体領域３０１には、被写体検出の検出対象である顔領域３０２が含まれる。図３（Ａ）の顔領域３０２には、２つの遮蔽領域（遮蔽領域３０３および３０４）が含まれている。遮蔽領域３０３は深度差のない領域であり、遮蔽領域３０４は深度差がある領域である。遮蔽領域はオクルージョン、遮蔽領域の分布はオクルージョン分布とも称される。

図３（Ｂ）は、遮蔽情報の定義例を示す。図３（Ｂ）の１番から３番の各画像は、白領域と黒領域とに分割されており、白領域は正例を示し、黒領域は負例を示す。図３（Ｂ）において被写体領域の画像を画像分割した遮蔽情報は、何れもＣＮＮの深層学習を行う際に用いられる教師データの候補を想定した画像である。以下、図３（Ｂ）の各遮蔽情報のうち、本実施形態において、何れの遮蔽情報が教師データに用いられるかについて説明する。

図３（Ｂ）のうち１番の画像は、被写体領域（顔領域）と被写体以外の領域とに領域分割し、被写体領域を正例とし、被写体領域以外の領域を負例とした場合の遮蔽情報の一例を示す。図３（Ｂ）のうち２番は、被写体に対する前景の遮蔽領域とそれ以外の領域とに領域分割し、前景の遮蔽領域を正例とし、被写体に対する前景の遮蔽領域以外の領域を負例とした場合の遮蔽情報の一例を示す。図３（Ｃ）のうち３番は、被写体に対して遠近競合を招く遮蔽領域とそれ以外の領域とに領域分割し、遠近競合を招く遮蔽領域を正例とし、遠近競合を招く遮蔽領域以外の領域を負例とした場合の遮蔽情報の一例を示す。

図２（Ｂ）の例では、光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄは、Ｘ方向において２つに瞳分割される。この場合、画像中の遮蔽領域がＹ方向に向かって分布していると、遠近競合が生じやすい。従って、遠近競合が生じやすい遮蔽領域の教師データ（教師画像）は、画素中の複数の光電変換部の瞳分割方向に基づき、生成することができる。

図３（Ｂ）の１番のように、画像中における人物の顔は、視認性のパターンが特徴的であり、パターンの分散が小さいため、高精度に領域を分割することが可能である。例えば、被写体としての人物を検出するＣＮＮを生成する際の学習処理における教師データとしては、図３（Ｂ）の１番の遮蔽情報は好適である。検出精度という観点では、図３（Ｂ）の３番の遮蔽情報より図３（Ｂ）の１番の遮蔽情報の方が、好適である。ただし、遠近競合を招く遮蔽領域を検出するＣＮＮを生成する際の学習処理における教師データとしては、図３（Ｂ）の３番のような画像が好適である。遠近競合を招く遮蔽領域を検出するＣＮＮを生成する際の学習処理における教師データとしては、焦点検出で利用されるＡ像、Ｂ像の視差画像が用いられてもよい。また、遮蔽情報は、上記の例には限らず、遮蔽領域と遮蔽領域外の領域とに分割する任意の手法に基づいて生成されてもよい。

図３（Ｃ）は、ＣＮＮの深層学習の流れを示している。本実施形態では、学習用の入力画像３１０としてＲＧＢ画像が用いられる。また、教師画像としては、図３（Ｃ）に示されるような教師画像３１４（遮蔽情報の教師画像）が用いられる。教師画像３１４は、図３（Ｂ）の遠近競合を招く遮蔽情報の画像である。

学習用の入力画像３１０は、ニューラルネットワークシステム３１１（ＣＮＮ）に入力される。ニューラルネットワークシステム３１１は、例えば、入力層と出力層との間に、畳み込み層とプーリング層とが交互に積層された層構造および当該層構造の後段に全結合層が接続された多層構造を採用することができる。図３（Ｃ）の出力層３１２からは、入力画像のうちの遮蔽領域の尤度を示すスコアマップが出力される。当該スコアマップは、出力結果３１３の形式で出力される。

ＣＮＮの深層学習では、出力結果３１３と教師画像３１４との間の誤差が損失値３１５として算出される。損失値３１５は、例えば、交差エントロピーや二乗誤差等の手法を用いて算出される。そして、損失値３１５の値が漸減するように、ニューラルネットワークシステム３１１の各ノードの重みやバイアス等の係数パラメータが調整される。多くの学習用の入力画像３１０を用いて、ＣＮＮの深層学習が十分に行われることにより、ニューラルネットワークシステム３１１は、未知の入力画像が入力された際、より高い精度の出力結果３１３を出力するようになる。つまり、ニューラルネットワークシステム３１１（ＣＮＮ）は、未知の入力画像が入力されたときに、遮蔽領域と遮蔽領域以外の領域とを領域分割した遮蔽情報を出力結果３１３として、高い精度で出力するようになる。なお、遮蔽領域（重なった物体の領域）を特定した教師データを作成するためには多くの作業を要する。このため、ＣＧを利用して教師データを作成することや、物体画像を切り出して重畳する画像合成を用いて教師データを作成することも考えられる。

上述したように、教師画像３１４としては、深度差がある領域（被写体の前景であり、深度差が所定値以上の領域）を遮蔽領域とした図３（Ｂ）の３番の画像を適用する例を説明した。ここで、教師画像３１４としては、深度差がない領域（被写体の前景であり、深度差が所定値未満の領域）を遮蔽領域とした図３（Ｂ）の２番のような画像が適用されてもよい。図３（Ｂ）の２番のような画像が教師画像３１４として用いられたとしても、ＣＮＮに未知の入力画像が入力されたときに、ＣＮＮは遠近競合を招く領域を推論することができる。ただし、図３（Ｂ）の３番のような深度差がある領域を遮蔽領域とした画像が教師画像３１４として用いられる方が、ＣＮＮにより遠近競合を招く遮蔽領域を推論する精度が向上する。

遮蔽領域の検出にはＣＮＮではなく、任意の手法を適用できる。例えば、遮蔽領域の検出は、ルールベースに基づく手法により実現されてもよい。また、遮蔽領域の検出には、深層学習されたＣＮＮ以外にも、任意の手法により機械学習された学習済みモデルが用いられてもよい。例えば、サポートベクターマシンやロジスティクス回帰等の任意の機械学習アルゴリズムにより機械学習された学習済みモデルを用いて、遮蔽領域が検出されてもよい。この点は、被写体検出と同様である。

次に、焦点調節の処理について説明する。図４は、第１実施形態における焦点調節の処理の流れの一例を示すフローチャートである。焦点調節を行う際、カメラＭＰＵ１２５は、撮像面位相差検出部１２９における位相差の瞳分割方向と、認識部１３０による遮蔽領域の方向とに基づき、焦点調節のため参照領域を決定する。

Ｓ４０１で、認識部１３０は、例えば、被写体検出を行うＣＮＮを用いて、カメラＭＰＵ１２５を介して画像処理回路１２４から取得した画像から被写体を検出する。認識部１３０は、ＣＮＮ以外の手法を用いて、画像から被写体を検出してもよい。Ｓ４０２で、認識部１３０は、画像から検出された被写体の領域内にある遮蔽領域を検出する。このとき、認識部１３０は、画像処理回路１２４から取得した画像を入力画像として、図３で説明したＣＮＮに入力する。ＣＮＮが十分に訓練されている場合、ＣＮＮから出力される出力結果としての画像は、遮蔽領域と遮蔽領域以外の領域とを区別可能な画像になっている。認識部１３０は、ＣＮＮから出力された画像から、遮蔽領域を検出する。

Ｓ４０３で、認識部１３０は、検出された遮蔽領域の分布方向を判定する。認識部１３０は、例えば、Ｘ方向のエッジ積分値とＹ方向のエッジ積分値とを比較して、積分値が小さい方向を遮蔽領域の分布方向と判定してもよい。図５は、画像データ、被写体領域および遮蔽領域の分布の一例を示す図である。

図５（Ａ）は、デジタルカメラＣと被写体との間にＸ方向に延在する遮蔽物（例えば、棒等）が存在している場合の一例を示す図である。画像処理回路１２４から取得される画像５００（画像データ）には、被写体５０１を遮蔽するように遮蔽物５０２が映り込んでいる。認識部１３０は、画像５００から被写体領域５１０の画像を検出する。被写体領域５１０には、被写体５１１と遮蔽物５１２とが含まれる。遮蔽物５１２は、被写体５１１をＸ方向に遮蔽している。

認識部１３０は、被写体領域５１０を含む画像５００をＣＮＮに入力すると、被写体領域５１０の推論結果として出力結果５２０を出力する。出力結果５２０には、遮蔽領域５２２と遮蔽領域以外の領域５２１とが含まれる。遮蔽領域５２２は、遮蔽物５１２に対応した分布を有している。図５（Ａ）の例では、遮蔽領域５２２は、Ｘ方向に分布している。認識部１３０は、出力結果５２０におけるＸ方向のエッジ積分値とＹ方向のエッジ積分値とを比較して、積分値が小さいＸ方向を遮蔽領域の分布方向と判定する。

図５（Ｂ）は、デジタルカメラＣと被写体との間にＹ方向に延在する遮蔽物が存在している場合の一例を示す図である。画像処理回路１２４から取得される画像５５０には、被写体５５１を遮蔽するように遮蔽物５５２が映り込んでいる。認識部１３０は、画像５５０から被写体領域５６０を検出する。被写体領域５６０には、被写体５６１と遮蔽物５６２とが含まれる。遮蔽物５６２は、被写体５１１をＹ方向に遮蔽している。

認識部１３０が、被写体領域５６０を含む画像５５０をＣＮＮに入力すると、被写体領域５６０の推論結果として、出力結果５７０を出力する。出力結果５７０には、遮蔽領域５７２と遮蔽領域以外の領域５７１とが含まれる。認識部１３０は、図３（Ａ）と同様の方法で、遮蔽領域の分布方向を判定する。図３（Ｂ）の例では、認識部１３０は、遮蔽領域の分布方向がＹ方向であると判定する。以上により、認識部１３０は、遮蔽領域の分布方向を判定できる。

図４に戻り、Ｓ４０４以降の処理について説明する。Ｓ４０４で、カメラＭＰＵ１２５は、Ｓ４０３の判定結果に基づき、遮蔽領域の分布方向がＸ方向であるか、またはＹ方向であるかを判定する。カメラＭＰＵ１２５は、Ｓ４０４で、遮蔽領域の分布方向がＸ方向であると判定した場合、フローをＳ４０５に進める。一方、カメラＭＰＵ１２５は、Ｓ４０４で、遮蔽領域の分布方向がＹ方向であると判定した場合、フローをＳ４０６に進める。Ｓ４０４で、カメラＭＰＵ１２５は、遮蔽領域の分布方向が完全にＸ方向と一致していなくても、Ｘ方向を基準として所定の角度範囲内であれば、遮蔽領域の分布方向がＸ方向であると判定してもよい。同様に、Ｓ４０４で、カメラＭＰＵ１２５は、遮蔽領域の分布方向が完全にＹ方向と一致していなくても、Ｙ方向を基準として所定の角度範囲内であれば、遮蔽領域の分布方向がＹ方向であると判定してもよい。

Ｓ４０５で、カメラＭＰＵ１２５は、被写体が検出された領域（被写体領域）を対象にして像ずれ量に基づき焦点調節の制御を行う。遮蔽領域の分布方向がＸ方向である場合、Ｘ方向に像ずれ量（位相差）に遠近競合が生じる可能性が低い。この場合、撮像面位相差検出部１２９は、被写体領域の全体を参照して、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を実施する。そして、カメラＭＰＵ１２５は、撮像面位相差検出部１２９が検出した像ずれ量に基づき焦点調節の制御を行う。なお、撮像面位相差検出部１２９は、被写体領域のうち遮蔽領域を除外して、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を実施してもよい。Ｓ４０５の処理が行われた後、図４のフローチャートは終了する。

Ｓ４０６で、カメラＭＰＵ１２５は、被写体領域から遮蔽領域を除外した領域を対象にして像ずれ量に基づき焦点調節の制御を行う。遮蔽領域の分布方向がＹ方向である場合、Ｘ方向に像ずれ量（位相差）に遠近競合が生じる可能性が高い。この場合、撮像面位相差検出部１２９は、被写体領域から遮蔽領域を除外した領域を参照して、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を実施する。

撮像面位相差検出部１２９は、被写体領域の中に、複数の相関演算ブロックがあり、且つ遮蔽領域を含まないブロックが存在する場合、その相関演算の像ずれ量に基づき焦点検出を実施する。一方、撮像面位相差検出部１２９は、被写体領域の中に、複数の相関演算ブロックがあり、且つ遮蔽領域を含まないブロックが存在しない場合、相関演算の算出位置が遮蔽領域を含まないようにずらして、像ずれ量の算出を行う。そして、撮像面位相差検出部１２９は、算出された像ずれ量に基づき焦点検出を実施する。Ｓ４０６の処理が行われた後、図５のフローチャートは終了する。

以上、第１実施形態によれば、撮像された画像の被写体領域のうち遮蔽領域の分布方向を検出し、検出された遮蔽領域の分布方向と撮像素子の各画素の瞳分割の方向とに応じて、焦点検出に用いる領域が制御される。これにより、被写体領域に遮蔽領域が存在する場合であっても、遠近競合に起因した焦点調節精度の低下が生じることが抑制される。第１実施形態では、図２（Ｂ）のように、撮像素子１２２の各画素の瞳分割の方向が、Ｘ方向である例を示したが、Ｙ方向である場合にも第１実施形態を適用できる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、デジタルカメラＣは、水平方向（Ｘ方向）の像ずれ量と垂直方向（Ｙ方向）の像ずれ量との両方を算出可能である。このため、デジタルカメラＣは、瞳分割の方向をＸ方向とＹ方向とに切り替えることが可能である。第２実施形態の構成は、第１実施形態で説明した図１の構成と同様であるため、説明を省略する。

Ｘ方向の像ずれ量の算出については、第１実施形態と同様である。Ｙ方向の像ずれ量の算出について説明する。図６は、画素２１１の瞳分割の方向がＹ方向である場合の一例を示す図である。図２（Ｂ）と同様、画素２１１において、光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄは、Ｘ方向およびＹ方向に２分割されている。光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄのうち、光電変換部２１２Ｃは光電変換部２１１ａおよび２１１ｂにより構成される。光電変換部２１１ａ、２１１ｂ、２１１ｃおよび２１１ｄのうち、光電変換部２１２Ｄは光電変換部２１１ｃおよび２１１ｄにより構成される。

第２実施形態では、光電変換部２１２Ｃに属する光電変換部２１１ａと２１１ｂとの出力信号を加算した加算信号と、光電変換部２１２Ｄに属する光電変換部２１１ｃと２１１ｄとの出力信号を加算した加算信号とが、対として用いられる。これにより、Ｙ方向の像ずれ量（位相差）に基づく焦点検出を行うことできる。相関演算については、対とする方向がＸ方向ではなくＹ方向であるという点だけで、第１実施形態と同様である。

また、第２実施形態では、画素２１１の瞳分割の方向をＸ方向とＹ方向とで切り替えられる。例えば、カメラＭＰＵ１２５の制御により、撮像素子駆動回路１２３が、光電変換部２１２Ａおよび２１２Ｂから出力信号を読み出すか、または第２実施形態の光電変換部２１２Ｃおよび２１２Ｄから出力信号を読み出すかを切り替えてもよい。これにより、画素２１１の瞳分割の方向をＸ方向とＹ方向とで切り替えることができる。

図７は、第２実施形態における焦点調節の処理の流れの一例を示すフローチャートである。Ｓ７０１～Ｓ７０３までは、図４のＳ４０１～Ｓ４０３と同様であるため、説明を省略する。ただし、ＣＮＮに対する深層学習は、遮蔽領域がＸ方向に分布している教師画像および遮蔽領域がＹ方向に分布している教師画像の両者が用いられる。これにより、未知の入力画像を入力として、ＣＮＮを用いて、出力結果としてＸ方向およびＹ方向に分布する遮蔽領域の存在の尤度を推論できる。ＣＮＮの深層学習については、第１実施形態と同様である。

Ｓ７０４で、カメラＭＰＵ１２５は、Ｓ８０３の判定結果に基づき、遮蔽領域の分布方向がＸ方向であるか、またはＹ方向であるかを判定する。カメラＭＰＵ１２５は、Ｓ７０４で、遮蔽領域の分布方向がＸ方向であると判定した場合、フローをＳ７０５に進める。一方、カメラＭＰＵ１２５は、Ｓ７０４で、遮蔽領域の分布方向がＹ方向であると判定した場合、フローをＳ７０６に進める。

Ｓ７０５で、カメラＭＰＵ１２５は、瞳分割の方向を切り替えて、Ｘ方向の像ずれ量に基づき焦点調節の制御を行う。遮蔽領域の分布方向がＸ方向である場合、Ｘ方向において像ずれ量（位相差）に遠近競合が生じる可能性が低い。この場合、撮像面位相差検出部１２９は、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を実施する。Ｓ７０５では、撮像面位相差検出部１２９は、Ｙ方向の像ずれ量（位相差）に基づく焦点検出を実施しない。そして、カメラＭＰＵ１２５は、撮像面位相差検出部１２９が検出した像ずれ量に基づき焦点調節の制御を行う。Ｓ７０５の処理が行われた後、図５のフローチャートは終了する。

Ｓ７０６で、カメラＭＰＵ１２５は、瞳分割の方向を切り替えて、Ｙ方向の像ずれ量に基づき焦点調節の制御を行う。遮蔽領域の分布方向がＹ方向である場合、Ｙ方向において像ずれ量（位相差）に遠近競合が生じる可能性が低い。この場合、撮像面位相差検出部１２９は、Ｙ方向の像ずれ量（位相差）に基づく焦点検出を実施する。Ｓ７０６では、撮像面位相差検出部１２９は、Ｘ方向の像ずれ量（位相差）に基づく焦点検出を実施しない。そして、カメラＭＰＵ１２５は、撮像面位相差検出部１２９が検出した像ずれ量に基づき焦点調節の制御を行う。Ｓ４０６の処理が行われた後、図５のフローチャートは終了する。

以上、第２実施形態によれば、画素２１１の瞳分割の方向をＸ方向とＹ方向とで切り替え可能な構成において、遮蔽領域の分布方向に応じて、瞳分割の方向を行い、位相差情報に基づく焦点調節の制御が行われる。これにより、遮蔽領域の分布方向がＸ方向とＹ方向との何れの方向であっても、被写体領域に遮蔽領域が存在する場合における遠近競合に起因した焦点調節精度の低下が生じることが抑制される。

カメラＭＰＵ１２５は、遮蔽領域を除く被写体領域においてコントラストのある方向（コントラストの高い方向）に基づく方向を、焦点調節の制御を行うときの位相差情報の方向として優先的に選択してもよい。この場合、カメラＭＰＵ１２５は、瞳分割の方向および遮蔽領域の分布方向ではなく、遮蔽領域を除く被写体領域のコントラストがある方向の像ずれ量（位相差）に基づき、焦点調節を行う。被写体領域のコントラストがなければ、遠近競合を回避できたとしても、目的とする被写体を検出できず、焦点調節ができなくなる。このため、カメラＭＰＵ１２５は、遮蔽領域を除く被写体領域のコントラストがある方向の像ずれ量に基づき、焦点調節を行う。この点は、第１実施形態と同様である。

また、カメラＭＰＵ１２５は、遮蔽領域のコントラストが低い場合（コントラストを示す値が所定の閾値より低い場合）には、Ｓ７０４の判定結果に応じたＳ７０５およびＳ７０６の処理を実行しなくてもよい。デジタルカメラＣが撮像したときに、遮蔽物により被写体領域に遮蔽領域が生じたとしても、遮蔽物および遮蔽物と被写体との境界において、遠近競合による影響が低いためである。これにより、Ｓ７０４の判定結果に応じたＳ７０５、Ｓ７０６の処理を省略することができる。

＜変形例＞
上述した各実施形態では、遮蔽領域を正例、遮蔽領域以外の領域を負例として教師画像を用いた教師あり学習により機械学習を行い、画像から遮蔽領域の分布方向を検出する例について説明した。この点、各実施形態において、教師なし学習により機械学習された学習済みモデルが用いられてもよい。この場合、例えば、被写体を遮蔽する遮蔽領域がＸ方向に分布する学習用の画像および被写体を遮蔽する遮蔽領域がＹ方向に分布する学習用の画像が、機械学習に用いられる。当該学習用の画像を用いて、教師なし学習の機械学習が行われることにより、各実施形態で用いられる学習済みモデルが生成されてもよい。そして、生成された学習済みモデルが、遮蔽領域の検出に用いられる。

例えば、被写体領域の被写体を遮蔽する遮蔽領域がＸ方向に分布する画像が、上記の学習済みモデルに入力されると、画像からＸ方向に分布する遮蔽領域が特徴量として抽出され、入力された画像は遮蔽領域がＸ方向に分布する画像に分類される。同様に、被写体領域の被写体を遮蔽する遮蔽領域がＹ方向に分布する画像が、上記の学習済みモデルに入力されると、画像からＹ方向に分布する遮蔽領域が特徴量として抽出され、入力された画像は遮蔽領域がＹ方向に分布する画像に分類される。以上により、遮蔽領域の分布方向を判定できる。

遮蔽領域を検出する学習済みモデルとして、教師なし学習により機械学習された学習済みモデルが用いられることで、教師データ（教師画像）を用意する必要がなくなる。教師なし学習の機械学習アルゴリズムとしては、例えば、クラスタリングや主成分分析等を適用できる。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０ カメラ本体
１２２ 撮像素子
１２５ カメラＭＰＵ
１２９ 撮像面位相差検出部
１３０ 認識部
２１１ 画素
２１１ａ～ｄ 光電変換部
３１１ ニューラルネットワークシステム
Ｃ デジタルカメラ

Claims (14)

1. 瞳分割した光が入射する複数の光電変換部が配列された複数の画素を有する撮像素子を用いて撮像した画像を取得する手段と、
   前記画像から被写体および当該被写体の遮蔽領域を検出する手段と、
   前記瞳分割の方向と前記遮蔽領域の分布の方向とに応じて、位相差情報に基づく焦点調節の制御を行う手段と、を備える電子機器。
2. 前記瞳分割の方向と前記遮蔽領域の分布の方向とが異なる場合、前記遮蔽領域の位相差情報を除外して前記焦点調節の制御が行われる、請求項１に記載の電子機器。
3. 前記瞳分割の方向と前記遮蔽領域の分布の方向とが同じ場合、前記遮蔽領域の位相差情報を除外することなく前記焦点調節の制御が行われる、請求項１に記載の電子機器。
4. 前記瞳分割の方向は、複数の方向に切り替え可能であり、
   前記遮蔽領域の分布の方向に応じた方向に前記瞳分割の方向が切り替えられて、前記焦点調節の制御が行われる、請求項１乃至３のうち何れか１項に記載の電子機器。
5. 切り替えられた前記瞳分割の方向と異なる方向の位相差情報は前記焦点調節の制御に用いられない、請求項４に記載の電子機器。
6. 前記瞳分割の方向は、水平方向と垂直方向とに切り替え可能である、請求項４または５に記載の電子機器。
7. 前記瞳分割の方向と前記遮蔽領域の分布の方向とに基づく前記焦点調節の制御よりも、前記遮蔽領域を除外した被写体領域のコントラストのある方向における位相差情報に基づく焦点調節の制御が優先的に行われる、請求項１乃至６のうち何れか１項に記載の電子機器。
8. 前記遮蔽領域のコントラストを示す値が所定の閾値より低い場合、前記瞳分割の方向と前記遮蔽領域の分布の方向とに基づく前記焦点調節の制御が行われない、請求項１乃至７のうち何れか１項に記載の電子機器。
9. 被写体領域の遮蔽領域を正例とし、当該遮蔽領域以外の領域を負例とした複数の教師画像を用いて機械学習された学習済みモデルに、撮像された前記画像を入力して得られる遮蔽領域の尤度に基づき、前記画像から遮蔽領域が検出される、請求項１乃至８のうち何れか１項に記載の電子機器。
10. 前記教師画像の遮蔽領域は、前記教師画像の被写体領域に存在する前景の領域である、請求項９に記載の電子機器。
11. 前記教師画像の遮蔽領域は、深度差が所定値以上の領域である、請求項１０に記載の電子機器。
12. 被写体領域の遮蔽領域が水平方向に分布する複数の学習用の画像と垂直方向に分布する複数の学習用の画像とを用いて教師なし学習により機械学習された学習済みモデルに、撮像された前記画像を入力して、前記画像から遮蔽領域が検出される、請求項１乃至８のうち何れか１項に記載の電子機器。
13. 瞳分割した光が入射する複数の光電変換部が配列された複数の画素を有する撮像素子を用いて撮像した画像を取得する工程と、
    前記画像から被写体および当該被写体の遮蔽領域を検出する工程と、
    前記瞳分割の方向と前記遮蔽領域の分布の方向とに応じて、位相差情報に基づく焦点調節の制御を行う工程と、を備える電子機器の制御方法。
14. 請求項１乃至１２のうち何れか１項に記載の電子機器の各手段をコンピュータに実行させるためのプログラム。