JP6593629B2

JP6593629B2 - 画像処理装置、固体撮像素子、および電子機器

Info

Publication number: JP6593629B2
Application number: JP2015177294A
Authority: JP
Inventors: 貴晶中川; 宏真土井; 理央山崎; 秀男岡本; 員弘近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-09-09
Filing date: 2015-09-09
Publication date: 2019-10-23
Anticipated expiration: 2035-09-09
Also published as: WO2017043031A1; JP2017055231A; US10701281B2; US20180249090A1

Description

本開示は、画像処理装置、固体撮像素子、および電子機器に関し、特に、より高速に画像処理を行うことができるようにした画像処理装置、固体撮像素子、および電子機器に関する。

近年、放送事業に従事していない一般の撮像者が自分自身を撮像した動画像を、ストリーミング技術などを用いてリアルタイムに配信するサービス（いわゆるインターネット生放送や動画放送など）の利用が増加している。

一般的に、自分撮りやポートレートなどのように人物を中心とした撮像を行う場合、その人物だけにピントを合わせ、背景をぼかして撮像する撮像手法が好まれて用いられる。従来、このような撮像手法は、プロフェッショナルな映画撮影やドラマ撮影などで採用されており、高価な機材や一眼レフのカメラなどが必要であった。

これに対し、静止画像を中心に、測距情報を活用した画像処理を施すことで、撮像後にボケ味やピント位置を変化させる手法が提案されている。例えば、特許文献１には、測距情報に基づいて、撮影された画像に対してユーザの指やタッチペンなどにより指示された位置に対応する部分にピントが合うように合焦した画像を生成する手法が提案されている。

特開２０１５−７９５１９号公報

上述したように、従来より、静止画像に対して撮像後にボケ味やピント位置を変化させる画像処理が行われているが、同様の画像処理を動画像に適用させることは困難であった。例えば、動画像に対して画像処理を行う場合、１フレームごとにピントを合わせたい場所を入力操作により設定する必要があり、ピントを合わせたい被写体以外の部分をリアルタイムにぼかす画像処理を行うための十分な処理速度を確保することは困難であった。また、動画像において１フレームごとにデプスマップの演算を行う後段の演算処理は重くなり、そのような演算処理をリアルタイムに行うことは困難であった。

本開示は、このような状況に鑑みてなされたものであり、より高速に画像処理を行うことができるようにするものである。

本開示の一側面の画像処理装置は、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とを備え、前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う。

本開示の一側面の固体撮像素子は、画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とを有するロジック基板とを備え、前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う。

本開示の一側面の電子機器は、画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とを有するロジック基板とを有する固体撮像素子を備え、前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う。

本開示の一側面においては、動画像を撮像する撮像部から連続的に出力される画像を処理対象として、画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域が特定され、処理対象の画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、画像に写されている主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習が行われる。また、画像に写されている主被写体以外の他の被写体までの距離に基づいて、他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算が行われ、求められたぼかし量が保持され、処理対象の画像に対して、算出されたぼかし量、または、保持されているぼかし量で、他の被写体が写されている領域をぼかす画像処理が施される。さらに、特定の領域として、主被写体よりも遠い位置にある他の被写体が写されている領域である背景領域が認識され、背景領域に従って、ぼかし量の演算およびぼかし量の保持に対する指示が行われる。

本開示の一側面によれば、より高速に画像処理を行うことができる。

本技術を適用した固体撮像素子の第１の実施の形態の構成例を示すブロック図である。画像処理について説明する図である。画像処理を説明するフローチャートである。固体撮像素子の第２の実施の形態の構成例を示すブロック図である。固体撮像素子の第３の実施の形態の構成例を示すブロック図である。画像処理について説明する図である。固体撮像素子の第４の実施の形態の構成例を示すブロック図である。画像処理について説明する図である。切り抜きの対象とする被写体について説明する図である。本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。イメージセンサを使用する使用例を示す図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

＜固体撮像素子の第１の実施の形態＞

図１は、本技術を適用した固体撮像素子の第１の実施の形態の構成例を示すブロック図である。

図１において、固体撮像素子１１は、センサ基板１２およびロジック基板１３が電気的および機械的に積層されて構成される積層型CMOS（Complementary Metal Oxide Semiconductor）イメージセンサである。そして、固体撮像素子１１は、センサ基板１２により撮像された画像に対してロジック基板１３において画像処理が施された出力画像を、図示しない後段の信号処理回路に出力する。

センサ基板１２は、画素アレイ部２１および距離測定部２２を備えて構成され、ロジック基板１３は、主被写体特定部３１、相対距離算出部３２、背景領域学習部３３、ぼかし量演算部３４、ぼかし量保持部３５、および、ぼかし処理部３６を備えて構成される。

画素アレイ部２１には、複数の画素がアレイ状に配置された撮像部であり、図示しない光学系を介して被写体の像が結像される。そして、画素アレイ部２１は、所定の露光時間における画素の受光量に基づいて撮像される画像を、ロジック基板１３の主被写体特定部３１および背景領域学習部３３に供給する。また、画素アレイ部２１は、所定のフレームレートで画像を撮像することによって動画像を撮像することができ、画素アレイ部２１から連続的に出力される画像を逐次的に処理対象として、ロジック基板１３における画像処理が行われる。なお、画素アレイ部２１で撮像される画像が、手前から奥へと広い範囲で焦点が合うように撮像されるように、固体撮像素子１１が実装される撮像装置では、被写界深度が深い（例えば、レンズの絞り値が大きい）光学系が用いられる。

距離測定部２２は、画素アレイ部２１により撮像される動画像の１フレームごとに、画像に写されている被写体までの距離（以下、適宜、被写体距離と称する）を測定し、画像の全面に亘る被写体距離を、ロジック基板１３の相対距離算出部３２に供給する。例えば、距離測定部２２は、図示しない光学系により集光される光の位相差に基づいて被写体距離を測定する位相差画素が、画素アレイ部２１の一部の画素に替えて配置された構成とすることができる。また、距離測定部２２は、図示しない発光部から被写体に向かってパルス状に赤外線が出力され、被写体で反射した赤外線を受光する受光器により構成することができ、赤外線を受光するタイミングに基づいて被写体距離を測定することができる。または、距離測定部２２として、複数の撮像部を利用したステレオカメラを採用してもよく、距離測定部２２による被写体距離の測定方法は、特定の技術に限定されることはない。

主被写体特定部３１は、画素アレイ部２１から供給される動画像の１フレームごとに、画像に写されている被写体のうち、ピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定し、相対距離算出部３２に供給する。

例えば、主被写体特定部３１は、顔検出部４１および骨格認識部４２を有して構成される。顔検出部４１は、画像に写されている顔を検出し、画像において最も大きく写されている顔の人物を主被写体として特定し、主被写体領域を設定する。また、骨格認識部４２は、顔検出部４１により主被写体として特定された人物の骨格を認識し、その人物の身体が写されている領域が含まれるとともに、その人物が手に持っている物体が写されている領域が含まれるように主被写体領域を設定する。

相対距離算出部３２は、距離測定部２２から供給される画像の全面に亘る被写体距離に基づいて、主被写体特定部３１により特定された主被写体領域における被写体距離を基準とし、主被写体以外の被写体に対する相対的な距離を示す相対距離情報を算出する。ここで、以下、画像の被写体領域以外の領域のうち、主被写体よりも遠い位置にある被写体が写されている領域を背景領域と称し、被写体よりも近い位置にある被写体が写されている領域を前景領域と称する。

例えば、相対距離算出部３２は、主被写体領域の被写体距離を基準とし、背景領域に写されている被写体までの相対距離情報がプラスの値となるように算出し、前景領域に写されている被写体までの相対距離情報がマイナスの値となるように算出する。そして、相対距離算出部３２は、算出した相対距離情報を、ぼかし量演算部３４に供給する。

背景領域学習部３３は、画素アレイ部２１から供給される動画像を用いた学習を行い、例えば、動画像のフレーム間の差分に基づいて背景領域を認識する。即ち、背景領域学習部３３は、画素アレイ部２１から１フレーム分の画像が供給されると、処理対象となっている画像と、その画像の前に処理対象となっていた特定の画像（例えば、１フレーム前の画像）との差分により被写体の動きを求める。そして、背景領域学習部３３は、被写体の動きが所定の大きさ以下（被写体の動きがないものを含む）である領域を背景領域として認識する。

さらに、背景領域学習部３３は、前のフレームから継続して今回のフレームでも背景領域として認識された領域を継続背景領域とする。また、背景領域学習部３３は、今回のフレームで新たに背景領域として認識された領域を新規背景領域とする。また、背景領域学習部３３は、前のフレームでは背景領域として認識していたが、今回のフレームでは背景領域から除外された領域を除外背景領域とする。

そして、背景領域学習部３３は、継続背景領域については、ぼかし量の演算を停止するようにぼかし量演算部３４に対する指示を行うとともに、保持しているぼかし量をぼかし処理部３６に供給するようにぼかし量保持部３５に対する指示を行う。また、背景領域学習部３３は、新規背景領域については、ぼかし量演算部３４が求めたぼかし量をぼかし量保持部３５にも供給して保持させるように、ぼかし量演算部３４に対する指示を行う。また、背景領域学習部３３は、除外背景領域については、保持しているぼかし量を破棄するようにぼかし量保持部３５に対する指示を行う。

ぼかし量演算部３４は、相対距離算出部３２から供給される相対距離情報に基づいて、ぼかし量演算対象領域において、ぼかし処理部３６で生成される出力画像におけるぼかしの大きさを表すぼかし量を求める演算を行い、ぼかし処理部３６に供給する。ここで、ぼかし量演算対象領域は、画素アレイ部２１において撮像された画像のうちの、ぼかし量の演算を行う対象となる領域を示す。

例えば、ぼかし量演算部３４は、主被写体領域、主被写体と同等の距離（相対距離情報が規定値以下）にある被写体が写されている領域、および、背景領域学習部３３において継続背景領域と認識された領域を除いた領域を、ぼかし量演算対象領域とする。即ち、ぼかし量演算部３４は、主被写体領域、主被写体と同等の距離にある被写体が写されている領域、および、背景領域学習部３３において継続背景領域と認識された領域については、ぼかし量を求める演算を行わない。また、ぼかし量演算部３４は、求めたぼかし量のうち、背景領域学習部３３において新規背景領域と認識された領域におけるぼかし量を、ぼかし量保持部３５に供給して保持させる。

ぼかし量保持部３５は、ぼかし量演算部３４から供給されるぼかし量を保持し、背景領域学習部３３により継続背景領域と認識された領域のぼかし量を、ぼかし処理部３６に供給する。また、ぼかし量保持部３５は、背景領域学習部３３により除外背景領域と認識された領域のぼかし量を破棄する。

ぼかし処理部３６は、ぼかし量演算部３４から供給されるぼかし量、および、ぼかし量保持部３５から供給されるぼかし量に基づいて、主被写体特定部３１を介して供給される画素アレイ部２１により撮像された画像の背景領域および前景領域をぼかした出力画像を生成して出力する。例えば、ぼかし処理部３６は、ガウシアンフィルタ（移動平均フィルタ）を適用することで、主被写体との相対的な距離に応じた大きさで、画像の背景領域および前景領域をぼかす画像処理を行う。

以上のように、固体撮像素子１１は、背景領域学習部３３により背景領域を認識することで、継続的に背景領域であると認識された領域については、ぼかし量演算部３４によるぼかし量の演算が行われないようにすることができる。このように、ぼかし量演算部３４による演算を削減することで、固体撮像素子１１は、ロジック基板１３における画像処理をより高速に行うことができる。これにより、固体撮像素子１１は、センサ基板１２から連続的に出力される画像に対して、主被写体に対する背景領域および前景領域がぼかされた高級感のある出力画像を生成することができ、そのような出力画像をリアルタイムにプレビューすることが可能となる。

また、固体撮像素子１１は、主被写体特定部３１により主被写体を特定することで、例えば、１フレームごとにピントを合わせたい被写体を入力操作させることなく、意図した被写体にピントが合わされた出力画像を生成することができる。また、固体撮像素子１１は、主被写体だけにピントを合わせるのではなく、主被写体と並んでいる被写体や、主被写体が手に持っている物体なども主被写体と同様にぼかされることのない出力画像を生成することができる。

ここで、図２を参照して、固体撮像素子１１のロジック基板１３において行われる画像処理について説明する。

図２の上側に示すような画像が画素アレイ部２１により撮像されたとき、主被写体特定部３１は、顔検出部４１により最も大きく写されている顔の人物を主被写体として特定する。例えば、図２の下側の画像では、主被写体特定部３１により主被写体として特定された人物の顔が丸印で囲われており、相対距離算出部３２は、その主被写体の被写体距離を基準として、画像に写されている被写体の相対距離情報を算出する。

即ち、図２の下側の画像に示すように、主被写体の人物と並んでいる人物の相対距離情報は０と求められる。また、背景領域に写されている建物の相対距離情報は、それらの建物に対する被写体距離に基づいて、５、１０、＜１０（１０以上）と求められる。また、画像の右下の前景領域に写されている花の相対距離情報は、その花に対する被写体距離に基づいて、−２と求められる。

ここで、ぼかし量演算部３４は、相対距離情報が０（相対距離情報が０に近い規定値以下を含む）と求められた被写体が写されている領域について、ぼかし量演算対象領域に含まれないものとし、ぼかし量を求める演算を行わない。

また、例えば、固体撮像素子１１が固定されている場合には、背景領域に写されている被写体までの被写体距離は変化しないと考えられる。従って、ぼかし量演算部３４は、背景領域学習部３３において継続背景領域と認識された領域について、ぼかし量演算対象領域に含まれないものとし、ぼかし量保持部３５に保持されているぼかし量を用いて継続背景領域をぼかした出力画像が生成される。

このように、固体撮像素子１１では、背景領域として継続している領域については、ぼかし量保持部３５に常にぼかし量を保持させておくことで、各フレームにおける演算処理を削減することができる。

次に、図３は、固体撮像素子１１のロジック基板１３において行われる画像処理を説明するフローチャートである。

例えば、画素アレイ部２１において動画像の撮像が行われ、その動画像の１フレーム分の画像がロジック基板１３に供給されると処理が開始される。ステップＳ１１において、主被写体特定部３１は、画像に写されている被写体の顔および骨格に基づいて主被写体領域を特定し、その特定した主被写体領域を相対距離算出部３２に供給する。

ステップＳ１２において、相対距離算出部３２は、距離測定部２２から供給される被写体距離に基づいて、ステップＳ１１で主被写体特定部３１から供給される主被写体領域における被写体距離を基準とした相対距離情報を算出し、ぼかし量演算部３４に供給する。

ステップＳ１３において、背景領域学習部３３は、画素アレイ部２１から供給される動画像のフレーム間の差分に基づいて背景領域を認識する。さらに、背景領域学習部３３は、１フレーム前の画像において認識された背景領域との比較に基づいて、継続背景領域、新規背景領域、および除外背景領域を特定する。

ステップＳ１４において、ぼかし量演算部３４は、ステップＳ１２で相対距離算出部３２から供給される相対距離情報に従って、ぼかし量演算対象領域のぼかし量を求める演算を行い、求めたぼかし量をぼかし処理部３６に供給する。このとき、上述したように、主被写体領域、主被写体と同等の距離にある被写体が写されている領域、および、背景領域学習部３３において継続背景領域と認識された領域については、ぼかし量を求める演算は行われない。また、ぼかし量演算部３４は、背景領域学習部３３において新規背景領域と認識された領域におけるぼかし量を、ぼかし量保持部３５に供給する。

ステップＳ１５において、ぼかし量保持部３５は、ステップＳ１３で背景領域学習部３３により継続背景領域と認識された領域のぼかし量を、ぼかし処理部３６に供給する。また、ぼかし量保持部３５は、ステップＳ１４でぼかし量演算部３４から供給されるぼかし量を保持し、ステップＳ１３で背景領域学習部３３により除外背景領域と認識された領域のぼかし量を破棄する。

ステップＳ１６において、ぼかし処理部３６は、画素アレイ部２１により撮像された画像に対し、ステップＳ１４でぼかし量演算部３４から供給されるぼかし量、および、ステップＳ１５でぼかし量保持部３５から供給されるぼかし量に基づいた大きさで背景領域および前景領域をぼかした出力画像を生成する。ぼかし処理部３６が出力画像を出力すると処理は終了され、次の１フレームの画像が供給されるまで待機した後、同様の処理が繰り返して行われる。

以上のように、固体撮像素子１１は、主被写体特定部３１により主被写体を特定し、背景領域学習部３３により背景領域を認識することで、所望の被写体にピントを合わせて背景および前景がぼかされた出力画像を生成する画像処理をより高速に行うことができる。

＜固体撮像素子の第２の実施の形態＞

次に、図４は、固体撮像素子の第２の実施の形態の構成例を示すブロック図である。なお、図４では、固体撮像素子１１Ａを構成するブロックのうち、図１の固体撮像素子１１と共通するものについては同一の符号を付し、その詳細な説明は省略する。

即ち、固体撮像素子１１Ａは、センサ基板１２およびロジック基板１３Ａが積層されて構成され、図１と同様に、センサ基板１２は、画素アレイ部２１および距離測定部２２を備えて構成される。

ロジック基板１３Ａは、図１のロジック基板１３と同様に、主被写体特定部３１、相対距離算出部３２、背景領域学習部３３、ぼかし量演算部３４、および、ぼかし処理部３６を備えるのに加えて、距離変化予測部３７およびぼかし量調整部３８を備えて構成される。

距離変化予測部３７は、処理対象のフレームよりも前の複数フレーム分の画像における背景領域の相対距離情報に基づいて、固体撮像素子１１が固定されずに動いている場合に、背景領域の相対距離情報の変化を予測する。例えば、距離変化予測部３７は、複数フレーム分の画像における背景領域の相対距離情報の変化量が一定である場合、その変化量に従って、処理対象のフレームの景領域の相対距離情報を予測する。

ぼかし量調整部３８は、図１のぼかし量保持部３５と同様に、背景領域のぼかし量を保持するとともに、距離変化予測部３７により予測された背景領域の相対距離情報の変化に応じて調整したぼかし量を、ぼかし処理部３６に供給する。例えば、ぼかし量調整部３８は、距離変化予測部３７が背景領域の相対距離情報に変化がないと予測した場合には、図１のぼかし量保持部３５と同様に、保持しているぼかし量をそのまま、ぼかし処理部３６に供給する。

このように構成される固体撮像素子１１Ａでは、固体撮像素子１１が固定されずに動いている場合に、距離変化予測部３７が背景領域の相対距離情報の変化を予測し、その変化に従って、ぼかし量調整部３８がぼかし量を調整することができる。これにより、ぼかし量演算部３４によるぼかし量の演算を毎フレームに対して行うことを回避することができ、ロジック基板１３Ａにおける画像処理をより高速に行うことができる。

＜固体撮像素子の第３の実施の形態＞

次に、図５は、固体撮像素子の第３の実施の形態の構成例を示すブロック図である。なお、図５では、固体撮像素子１１Ｂを構成するブロックのうち、図１の固体撮像素子１１と共通するものについては同一の符号を付し、その詳細な説明は省略する。

即ち、固体撮像素子１１Ｂは、センサ基板１２およびロジック基板１３Ｂが積層されて構成され、図１と同様に、センサ基板１２は、画素アレイ部２１および距離測定部２２を備えて構成される。

ロジック基板１３Ｂは、図１のロジック基板１３と同様に、相対距離算出部３２、背景領域学習部３３、ぼかし量演算部３４、ぼかし量保持部３５、および、ぼかし処理部３６を備えるのに加えて、主被写体特定部３１Ｂを備えて構成される。即ち、ロジック基板１３Ｂは、図１の主被写体特定部３１に替えて主被写体特定部３１Ｂを備える点で、図１のロジック基板１３と異なる構成とされており、主被写体特定部３１Ｂは、主被写体指定部５１および主被写体追従部５２を有して構成される。

主被写体指定部５１は、図示しない操作部に対してユーザが操作を行う（例えば、タッチパネルに対してユーザがタッチする）と、その操作により主被写体として指示された被写体を指定する。即ち、図１の主被写体特定部３１では、顔検出により主被写体が特定されていたが、主被写体特定部３１Ｂでは、人物以外の被写体（自動車やオートバイなど）を主被写体として指定することができる。

主被写体追従部５２は、主被写体指定部５１により指定された主被写体の色および形に基づいて、主被写体の動きに追従して、主被写体を特定し続ける処理を行う。例えば、主被写体が移動することによって画像上の位置が変わったとしても、主被写体追従部５２が主被写体の動きを追従することで、主被写体を基準とした相対距離情報に基づいて、背景領域および前景領域がぼかされた出力画像が生成される。

このように構成される固体撮像素子１１Ｂにおいても、図１の固体撮像素子１１と同様に、ぼかし量保持部３５に保持されている背景領域のぼかし量を使用して、ぼかし量演算部３４による演算を削減することで、より高速に画像処理を行うことができる。

図６を参照して、固体撮像素子１１Ｂのロジック基板１３Ｂにおいて行われる画像処理について説明する。

図６の上側に示すような画像が画素アレイ部２１により撮像されたとき、ユーザが任意の花を指示すると、主被写体指定部５１は、ユーザにより指示された花を主被写体として特定する。例えば、図６の下側の画像では、主被写体指定部５１により主被写体として特定された花が丸印で囲われており、相対距離算出部３２は、その主被写体の被写体距離を基準として、画像に写されている被写体の相対距離情報を算出する。

即ち、図６の下側の画像に示すように、主被写体の花と並んで左下にある花の相対距離情報は０と求められる。また、背景領域に写されている草原や山、空などの相対距離情報は、それらに対する被写体距離に基づいて、５、１０、＜１０（１０以上）と求められる。また、画像の右下の前景領域に写されている花の相対距離情報は、その花に対する被写体距離に基づいて、−５と求められる。このような相対距離情報に基づいて、固体撮像素子１１Ｂは、背景領域および前景領域がぼかされた出力画像を生成することができる。

その後、固体撮像素子１１Ｂは、撮像する画像の構図が変わったとしても、主被写体追従部５２により主被写体として特定された花が追従され、背景領域および前景領域がぼかされた出力画像を生成することができる。

＜固体撮像素子の第４の実施の形態＞

次に、図７は、固体撮像素子の第４の実施の形態の構成例を示すブロック図である。なお、図７では、固体撮像素子１１Ｃを構成するブロックのうち、図１の固体撮像素子１１と共通するものについては同一の符号を付し、その詳細な説明は省略する。

即ち、固体撮像素子１１Ｃは、センサ基板１２およびロジック基板１３Ｃが積層されて構成され、図１と同様に、センサ基板１２は、画素アレイ部２１および距離測定部２２を備えて構成される。

ロジック基板１３Ｃは、図１のロジック基板１３と同様に主被写体特定部３１を備えるのに加えて、固定被写体学習部６１、切り抜き領域特定部６２、および切り抜き処理部６３を備えて構成される。

固定被写体学習部６１は、画素アレイ部２１から供給される動画像を用いた学習を行い、例えば、動画像のフレーム間の差分に基づいて、画像において固定の位置にある被写体が写されている領域（以下、固定被写体領域と称する）を認識して、切り抜き領域特定部６２に供給する。即ち、固定被写体学習部６１は、画素アレイ部２１から１フレーム分の画像が供給されると、その前のフレームの画像との差分により被写体の動きを求め、固定的な被写体が写されている領域を固定被写体領域として認識する。

切り抜き領域特定部６２は、主被写体特定部３１により特定された主被写体領域、距離測定部２２から供給される画像の全面に亘る被写体距離、固定被写体学習部６１により認識された固定被写体領域に基づいて、画像から特定の被写体を切り抜くための切り抜き領域を特定する。例えば、切り抜き領域特定部６２は、主被写体領域とともに、被写体距離に基づいて特定される主被写体と並んでいる人物が写されている領域を切り抜き領域に含めることができる。このとき、切り抜き領域特定部６２は、主被写体と同等の距離にある物体であっても、固定被写体学習部６１により固定被写体領域と認識された領域が、切り抜き領域に含まれないようにすることができる。

切り抜き処理部６３は、主被写体特定部３１を介して供給される画素アレイ部２１により撮像された画像から、切り抜き領域特定部６２により特定された切り抜き領域を切り抜く画像処理を行う。これにより、切り抜き処理部６３は、主被写体と、主被写体の人物と並んでいる人物とを切り抜いた出力画像を生成して、図示しない後段の信号処理回路に出力する。

このように構成される固体撮像素子１１Ｃは、距離測定部２２により測定された被写体距離と、固定被写体学習部６１により認識された固定被写体領域との両方に基づいて、切り抜きの対象とする被写体を正確に切り抜くことができる。

ここで、図８を参照して、固体撮像素子１１Ｃのロジック基板１３Ｃにおいて行われる画像処理について説明する。

図８の上側に示すような画像が画素アレイ部２１により撮像されたとき、主被写体特定部３１は、顔検出部４１により最も大きく写されている顔の人物を主被写体として特定し、骨格認識部４２により特定される人物の身体が含まれるように主被写体領域が設定される。例えば、図８の中央の画像では、主被写体特定部３１により主被写体として特定された人物の全体が丸印で囲われている。ここで、切り抜き領域特定部６２は、例えば、最初に主被写体として特定された被写体までの距離を基準距離として、画像に写されている被写体の相対距離情報を算出する。

即ち、図８の中央の画像に示すように、最初に主被写体として特定された被写体と同等の距離にある他の被写体の相対距離情報は０と求められる。また、背景領域に写されている被写体の相対距離情報は、それらの被写体に対する被写体距離に基づいて、１０、＜１０（１０以上）と求められる。

ここで、固体撮像素子１１Ｃでは、最初に主被写体として特定された被写体までの距離を基準距離として処理が行われ、図８の下側の画像に示すように、主被写体が移動して、主被写体までの距離が変化（０から２に変化）したとする。このとき、相対距離情報が０であった他の被写体が固定的であれば、その他の被写体の相対距離情報は０のままである。

従って、固定被写体学習部６１が、固定被写体領域を認識して切り抜き領域特定部６２に供給することで、切り抜き領域特定部６２は、主被写体と同等の距離にある他の被写体は切り抜き領域に含まれないように切り抜き領域を特定することができる。つまり、固体撮像素子１１Ｃでは、主被写体と同等の距離にある物体でも、距離情報が一定期間変化しないものは、背景と同様に切り抜きの対象としないものと認識して、その物体の切り抜きが行われないようにすることができる。

図９を参照して、切り抜きの対象とする被写体についてさらに説明する。

図９は、縦軸が被写体距離を示し、横軸が時間を示しており、背景、固定被写体、主被写体、移動被写体についての被写体距離の変化を表す図である。

固体撮像素子１１Ｃでは、図９に示すような被写体距離に基づいて、被写体距離が一定である背景および固定被写体と、被写体距離が変化する主被写体および移動被写体とを分離することができ、主被写体および移動被写体のみを切り抜くことができる。つまり、固体撮像素子１１Ｃでは、被写体距離が主被写体の近傍に在り、かつ、基準距離から所定範囲内で時間経過に対して揺らぎがある画素だけ切り抜くことで、主被写体と、主被写体の近傍に移動したときの移動被写体とを正確に切り抜くことができる。

例えば、背景差分などの画像解析で移動する被写体のみを切り抜く画像処理を行う場合、照明変化や影などの影響を受け易いため、被写体を正確に切り抜くことができなかった。また、被写体距離情報のみに基づいて被写体を切り抜く場合、被写体と同等の距離にあるものも切り抜かれてしまうため、切り抜きの対象とした人物のみを正確に切り抜くことができなかった。

これに対し、固体撮像素子１１Ｃは、上述したように、切り抜き領域特定部６２が、被写体距離を用いるとともに、固定被写体学習部６１により認識された固定被写体領域が切り抜き領域に含まれないようにすることで、動いている被写体のみを正確に切り抜くことができる。

なお、上述した実施の形態において、固体撮像素子１１では、動画像の１フレームごとにぼかし量を求める演算が行われているが、例えば、画像に写されている被写体の動きが少ない場合には、数フレームごとにぼかし量を求める演算を行うようにしてもよい。また、本技術は、固体撮像素子１１のようなぼかし処理や、固体撮像素子１１Ｃのような切り抜き処理などの処理以外の画像処理に適用することができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

＜電子機器の構成例＞

なお、上述したような各実施の形態の固体撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

図１０は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

図１０に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。

撮像素子１０３としては、上述した各実施の形態の固体撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

このように構成されている撮像装置１０１では、上述した各実施の形態の固体撮像素子１１を適用することで、例えば、背景および前景が効果的にぼかされた画像をリアルタイムにプレビューすることができる。

＜イメージセンサの使用例＞

図１１は、上述のイメージセンサ（固体撮像素子１１）を使用する使用例を示す図である。

上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

なお、本技術は以下のような構成も取ることができる。
（１）
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、
処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と
を備える画像処理装置。
（２）
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
をさらに備え、
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う
上記（１）に記載の画像処理装置。
（３）
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像から継続して前記背景領域として認識された継続背景領域について、前記ぼかし量を求める演算を停止するように前記ぼかし量演算部に対する指示を行うとともに、前記ぼかし量保持部が保持している前記ぼかし量を前記ぼかし処理部に供給するように前記ぼかし量保持部に対する指示を行う
上記（２）に記載の画像処理装置。
（４）
前記学習部は、処理対象の前記画像の背景領域のうち、処理対象の前記画像で新たに前記背景領域として認識された新規背景領域について、前記ぼかし量演算部が求めた前記ぼかし量を前記ぼかし量保持部に保持させるように前記ぼかし量演算部に対する指示を行う
上記（２）に記載の画像処理装置。
（５）
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像では前記背景領域として認識していたが、処理対象の前記画像では前記背景領域として認識されなくなった除外背景領域について、保持している前記ぼかし量を破棄するように前記ぼかし量保持部に対する指示を行う
上記（２）に記載の画像処理装置。
（６）
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
処理対象の前記画像の前に処理対象とされた複数フレーム分の前記画像における前記背景領域に写されている前記他の被写体までの距離に基づいて、処理対象の前記画像の前記背景領域に写されている前記他の被写体までの距離の変化を予測する距離変化予測部と、
前記距離変化予測部により予測された前記距離の変化に応じて、前記背景領域における前記ぼかし量を調整するぼかし量調整部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量調整部により調整されたぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
をさらに備える上記（１）に記載の画像処理装置。
（７）
前記主被写体特定部は、前記画像に写されている人物の顔を検出する顔検出部を有しており、前記顔認識部により検出された顔の人物を前記主被写体として特定する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
前記主被写体特定部は、前記顔検出部により前記主被写体として特定された顔の人物の骨格を認識する骨格認識部を有しており、前記画像に写されている前記主被写体の身体が含まれるように前記主被写体領域を特定する
上記（７）に記載の画像処理装置。
（９）
前記主被写体特定部は、前記骨格認識部により認識された骨格の人物が手に持っている物体が含まれるように前記主被写体領域を特定する
上記（８）に記載の画像処理装置。
（１０）
前記主被写体特定部は、
ユーザの操作によって指示された、前記画像に写されている任意の物体を主被写体として指定する主被写体指定部と、
前記主被写体指定部により指定された前記主被写体の動きに追従する主被写体追従部と
を有する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（１１）
前記学習部は、前記特定の領域として、前記画像において固定の位置にある被写体が写されている領域である固定被写体領域を認識し、
前記画像に写されている被写体までの距離と、前記学習部により認識された前記固定被写体領域とに基づいて、前記画像から前記主被写体領域を切り抜く画像処理を行う切り抜き処理部をさらに備える
上記（１）に記載の画像処理装置。
（１２）
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と
を備える固体撮像素子。
（１３）
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部とを有するロジック基板と
を有する固体撮像素子を備える電子機器。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１固体撮像素子，１２センサ基板，１３ロジック基板，２１画素アレイ部，２２距離測定部，３１主被写体特定部，３２相対距離算出部，３３背景領域学習部，３４ぼかし量演算部，３５ぼかし量保持部，３６ぼかし処理部，３７距離変化予測部，３８ぼかし量調整部，４１顔検出部，４２骨格認識部，５１主被写体指定部，５２主被写体追従部，６１固定被写体学習部，６２切り抜き領域特定部，６３切り抜き処理部

Claims

動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、
処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と、
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
を備え、
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う
画像処理装置。
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像から継続して前記背景領域として認識された継続背景領域について、前記ぼかし量を求める演算を停止するように前記ぼかし量演算部に対する指示を行うとともに、前記ぼかし量保持部が保持している前記ぼかし量を前記ぼかし処理部に供給するように前記ぼかし量保持部に対する指示を行う
請求項１に記載の画像処理装置。
前記学習部は、処理対象の前記画像の背景領域のうち、処理対象の前記画像で新たに前記背景領域として認識された新規背景領域について、前記ぼかし量演算部が求めた前記ぼかし量を前記ぼかし量保持部に保持させるように前記ぼかし量演算部に対する指示を行う
請求項１に記載の画像処理装置。
前記学習部は、処理対象の前記画像の背景領域のうち、前記前フレーム画像では前記背景領域として認識していたが、処理対象の前記画像では前記背景領域として認識されなくなった除外背景領域について、保持している前記ぼかし量を破棄するように前記ぼかし量保持部に対する指示を行う
請求項１に記載の画像処理装置。
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、
前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、
処理対象の前記画像の前に処理対象とされた複数フレーム分の前記画像における前記背景領域に写されている前記他の被写体までの距離に基づいて、処理対象の前記画像の前記背景領域に写されている前記他の被写体までの距離の変化を予測する距離変化予測部と、
前記距離変化予測部により予測された前記距離の変化に応じて、前記背景領域における前記ぼかし量を調整するぼかし量調整部と、
処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量調整部により調整されたぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部と
をさらに備える請求項１に記載の画像処理装置。
前記主被写体特定部は、前記画像に写されている人物の顔を検出する顔検出部を有しており、前記顔検出部により検出された顔の人物を前記主被写体として特定する
請求項１に記載の画像処理装置。
前記主被写体特定部は、前記顔検出部により前記主被写体として特定された顔の人物の骨格を認識する骨格認識部を有しており、前記画像に写されている前記主被写体の身体が含まれるように前記主被写体領域を特定する
請求項６に記載の画像処理装置。
前記主被写体特定部は、前記骨格認識部により認識された骨格の人物が手に持っている物体が含まれるように前記主被写体領域を特定する
請求項７に記載の画像処理装置。
前記主被写体特定部は、
ユーザの操作によって指示された、前記画像に写されている任意の物体を主被写体として指定する主被写体指定部と、
前記主被写体指定部により指定された前記主被写体の動きに追従する主被写体追従部と
を有する
請求項１に記載の画像処理装置。
前記学習部は、前記特定の領域として、前記画像において固定の位置にある被写体が写されている領域である固定被写体領域を認識し、
前記画像に写されている被写体までの距離と、前記学習部により認識された前記固定被写体領域とに基づいて、前記画像から前記主被写体領域を切り抜く画像処理を行う切り抜き処理部をさらに備える
請求項１に記載の画像処理装置。
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とを有するロジック基板と
を備え、
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う
固体撮像素子。
画像の撮像に用いられる複数の画素が配置された撮像部が設けられたセンサ基板と、
動画像を撮像する撮像部から連続的に出力される画像を処理対象として、前記画像においてピントを合わせる対象とする被写体である主被写体が写されている主被写体領域を特定する主被写体特定部と、処理対象の前記画像と、その画像の前に処理対象とされた特定の画像である前フレーム画像との差分に基づいて、前記画像に写されている前記主被写体以外の他の被写体の動きが所定の大きさ以下である特定の領域を認識する学習を行う学習部と、前記画像に写されている前記主被写体以外の他の被写体までの距離に基づいて、前記他の被写体が写されている領域をぼかす際のぼかしの大きさを表すぼかし量を求める演算を行うぼかし量演算部と、前記ぼかし量演算部により求められた前記ぼかし量を保持するぼかし量保持部と、処理対象の前記画像に対して、前記ぼかし量演算部により算出された前記ぼかし量、または、前記ぼかし量保持部に保持されているぼかし量で、前記他の被写体が写されている領域をぼかす画像処理を施すぼかし処理部とを有するロジック基板と
を有する固体撮像素子を備え、
前記学習部は、前記特定の領域として、前記主被写体よりも遠い位置にある前記他の被写体が写されている領域である背景領域を認識し、前記背景領域に従って、前記ぼかし量演算部および前記ぼかし量保持部に対する指示を行う
電子機器。