JP7410088B2 - 撮像素子、撮像装置、画像データ出力方法、及びプログラム - Google Patents

Description

本開示の技術は、撮像素子、撮像装置、画像データ出力方法、及びプログラムに関する。

特開２０１７－１８８７６０号公報には、メモリ基板と信号処理基板とが積層された積層型撮像素子が開示されている。メモリ基板は、画素基板が出力する画素信号を一時的に蓄えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリを有する。信号処理基板は、メモリ基板に蓄えられた画像信号に対する各種信号処理を実行する。特開２０１７－１８８７６０号公報に記載の積層型撮像素子では、信号処理基板は、各種信号処理を施した画像信号を画像処理部に出力する。画像処理部は、信号処理基板から入力された画像信号に対してデモザイク処理を施す。また、画像処理部は、デモザイク処理後の画像信号を表示部に対して表示させ、かつ、記憶部に対して記憶させる。

特開２０１５－１７７３０１号公報には、撮像部及び画像処理部を備えたデジタルカメラが開示されている。特許文献２に記載のデジタルカメラでは、撮像部が画像処理部に接続されており、画像処理部が電気的に撮像部の後段に位置する。そのため、撮像部により撮像されることで得られた画像データは撮像部から画像処理部に出力される。画像処理部は、画像データを用いて予め定められた演算処理を行い、演算結果に基づいてＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式のオートホワイトバランス処理を行う。また、画像処理部は、撮像部から提供されたＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）評価値を用いてＡＦ処理を行う。

再公表２０１３－１６４９１５号公報には、撮像素子及びシステム制御部を備えた撮像装置が開示されている。撮像素子はシステム制御部に接続されている。システム制御部は電気的に撮像素子の後段に位置する。システム制御部は、画像処理部を備えており、撮像素子は、画像信号をシステム制御部の画像処理部に引き渡す。画像処理部は、ワークメモリを用いて種々の画像処理を施し、画像データを生成する。ここで生成された画像データは、記録部に記録され、かつ、表示信号に変換されて表示部に表示される。

特許文献４には、入射光を受光して光電変換する撮像手段と、撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶可能な記憶手段と、複数のＡＤ変換手段により変換されたデジタル画像データのサイズを変更する処理手段と、前記デジタル画像データを外部に出力する出力手段と、を備えた撮像素子（５０６）が開示されている。

特許文献４に記載の撮像素子（５０６）では、複数のＡＤ変換手段から記憶手段までの間でデジタル画像データがパラレルに伝送され、処理手段により、第１のデジタル画像データと、第１のデジタル画像データよりもサイズの小さい第２のデジタル画像データと、が生成される。そして、出力部により、第１のデジタル画像データ及び第２のデジタル画像データが外部（５０７）に出力される場合に、第１のデジタル画像データが記憶手段に記憶されると共に、出力手段により、第２のデジタル画像データが第１のデジタル画像データよりも優先されて外部（５０７）に出力される。

また、特開２０１８－３８０７３号公報に記載の撮像素子（５０６）では、撮像手段により第１の動画と、第１の動画よりもフレームレートが高い第２の動画が撮像される。そして、出力手段により第１の動画に対応する第１のデジタル画像データ及び第２の動画に対応する第２のデジタル画像データが外部に出力される場合に、第２のデジタル画像データが記憶手段に記憶されると共に、出力手段により、第１のデジタル画像データが第２のデジタル画像データよりも優先されて外部（５０７）に出力される。

特開２０１７－１８８７６０号公報、特開２０１５－１７７３０１号公報、再公表２０１３－１６４９１５号公報、及び特開２０１８－３８０７３号公報に記載の技術は何れも、電気的に撮像素子の後段に位置する処理部（以下、「後段の処理部」と称する）に対して撮像素子から画像データが転送される。そして、後段の処理部は、撮像素子から転送された画像データに対して各種処理を施すことで表示用の画像データと記録用の画像データとを生成して出力する。

しかしながら、後段の処理部では、撮像素子からの画像データの受信以外にも様々な画像処理を行っているため、撮像素子から転送される画像データのデータ量が増大すると、データ量が増大した分だけ、後段の処理部での処理負荷が大きくなる。後段の処理部での処理負荷が大きくなると、消費電力も増大する。

後段の処理部の処理負荷を軽減する方法としては、例えば、図１７に示すように、後段の処理部として第１ＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）及び第２ＬＳＩを用いて画像データを分散処理する方法が考えられる。

図１７に示す例では、撮像素子の一例であるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが、被写体を撮像することで、被写体の画像を示す画像データを生成する。ＣＭＯＳイメージセンサは、１２０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で単一の出力ラインを介して第１ＬＳＩに画像データを出力する。第１ＬＳＩは、ＣＭＯＳイメージセンサから入力された画像データをＤＲＡＭに格納する。そして、第１ＬＳＩは、ＤＲＡＭから画像データを読み出し、読み出した画像データをＰＣＩ－ｅｘｐｒｅｓｓ等のシリアル通信技術を用いて第２ＬＳＩに転送する。

しかし、この場合、第１ＬＳＩとＤＲＡＭとの間での処理負荷、及び第１ＬＳＩと第２ＬＳＩとの間での処理負荷により消費電力が増大する虞がある。

本発明の一つの実施形態は、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる撮像素子、撮像装置、画像データ出力方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子であって、被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行い、かつ、前記撮像素子に内蔵された処理部と、前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能であり、かつ、前記撮像素子に内蔵された記憶部と、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、前記出力部は、第１出力ライン及び第２出力ラインを有し、前記第１出力ラインは、前記外部に設けられた第１出力先に接続され、前記第２出力ラインは、前記外部に設けられた第２出力先に接続され、前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とが異なっている、撮像素子である。

従って、本開示の技術に係る第１の態様の撮像素子は、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる。

本開示の技術に係る第２の態様は、第１出力ラインに対して適用される出力フレームレートは、第２出力ラインに対して適用される出力フレームレートよりも高く、前記第１出力ラインの消費電力は、前記第２出力ラインの消費電力より大きい、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第２の態様の撮像素子は、第１信号処理部に対して、第２信号処理部で実行される処理よりも高速な処理を実行させることができる。

本開示の技術に係る第３の態様は、第１出力ラインから出力される出力用画像データの１フレーム分の出力データ量は、第２出力ラインから出力される出力用画像データの１フレーム分の出力データ量よりも少なく、前記第１出力ラインの消費電力は、前記第２出力ラインの消費電力より小さい、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第３の態様の撮像素子は、第１出力ラインでの出力に要する消費電力を、第２出力ラインでの出力に要する消費電力よりも低減することができる。

本開示の技術に係る第４の態様は、ｎを予め定められた正の実数とした場合、第１出力ラインに対して適用される出力フレームレートは、第２出力ラインに対して適用される出力フレームレートのｎ倍であり、第１出力ラインから出力される出力用画像データの１フレーム分の出力データ量は、第２出力ラインから出力される出力用画像データの１フレーム分の出力データ量の１／ｎ倍である、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第４の態様の撮像素子は、消費電力の低減に寄与する出力フレームレート及び出力データ量を定めることができる。

本開示の技術に係る第５の態様は、第１出力ラインと第２出力ラインとで、出力用画像データのビット数を異ならせることで前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とを異ならせる、第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第５の態様の撮像素子は、出力部から第１信号処理部に出力用画像データが出力される場合に要する時間と、出力部から第２信号処理部に出力用画像データが出力される場合に要する時間とを異ならせることができる。

本開示の技術に係る第６の態様は、第１出力ラインから出力される出力用画像データのビット数は、第２出力ラインから出力される出力用画像データのビット数よりも小さい、第５の態様に係る撮像素子である。

従って、本開示の技術に係る第６の態様の撮像素子は、出力部から第１信号処理部に出力用画像データが出力される場合に要する時間を、出力部から第２信号処理部に出力用画像データが出力される場合に要する時間よりも短くすることができる。

本開示の技術に係る第７の態様は、第１出力ラインから出力される出力用画像データは、表示用の画像データであり、第２出力ラインから出力される出力用画像データは、記録用の画像データである、第２の態様から第６の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第７の態様の撮像素子は、第１信号処理部に対して表示用の画像データを処理させ、かつ、第２信号処理部に対して記録用の画像データを処理させることができる。

本開示の技術に係る第８の態様は、第２出力ラインから出力される出力用画像データは、撮像素子内で撮像画像データに対して画像処理が行われて得られた画像データである、第１の態様から第７の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第８の態様の撮像素子は、撮像画像データに対する全ての画像処理が第２信号処理部で実行される場合に比べ、第２信号処理部にかかる画像処理の負荷を軽減することができる。

本開示の技術に係る第９の態様は、撮像画像データは、互いに異なる画素が間引かれた複数の間引き画像を示す複数の間引き画像データであり、画像処理は、複数の間引き画像データを合成する処理を含む処理である、第８の態様に係る撮像素子である。

従って、本開示の技術に係る第９の態様の撮像素子は、撮像画像データとして間引き無しの撮像画像データのみを用いるに比べ、データ量に起因する消費電力の増大を抑制することができる。

本開示の技術に係る第１０の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１０の態様の撮像素子は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、撮像素子内での処理の高速化を実現することができる。

本開示の技術に係る第１１の態様は、本開示の技術の第１の態様から第１０の態様の何れか１つの態様に係る撮像素子と、撮像素子に含まれる出力部により出力された出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む、撮像装置である。

従って、本開示の技術に係る第１１の態様の撮像装置は、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる。

本開示の技術に係る第１２の態様は、被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行う処理部と、前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能な記憶部と、第１出力ライン及び第２出力ラインを有する出力部と、が内蔵された撮像素子の画像データ出力方法であって、前記第１出力ラインを、前記撮像素子の外部に設けられた第１出力先信号処理部に接続し、前記第２出力ラインを、前記外部に設けられた第２出力先信号処理部に接続し、前記出力部が、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記外部に出力し、前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とで、前記出力用画像データの出力フレームレートと前記出力用画像データの出力データ量とのうちの少なくとも一方を異ならせることを含む、画像データ出力方法である。

従って、本開示の技術に係る第１２の態様の画像データ出力方法は、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる。

本開示の技術に係る第１３の態様は、被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行う処理部と、前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能な記憶部と、第１出力ライン及び第２出力ラインを有する出力部と、が内蔵された撮像素子に含まれる前記出力部としてコンピュータを機能させるプログラムであって、前記第１出力ラインは、前記撮像素子の外部に設けられた第１出力先信号処理部に接続され、前記第２出力ラインは、前記外部に設けられた第２出力先信号処理部に接続され、前記出力部は、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記外部に出力し、前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とで、前記出力用画像データの出力フレームレートと前記出力用画像データの出力データ量とのうちの少なくとも一方が異なっている、プログラムである。

従って、本開示の技術に係る第１３の態様のプログラムは、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる。

本開示の技術に係る第１４の態様は、撮像素子であって、被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行う、撮像素子に内蔵されたプロセッサと、前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能であり、かつ、撮像素子に内蔵されたメモリと、を含み、プロセッサは、メモリに記憶された撮像画像データに基づく出力用画像データを出力し、第１出力ライン及び第２出力ラインを有し、第１出力ラインは、外部に設けられた第１出力先に接続され、第２出力ラインは、外部に設けられた第２出力先に接続され、第１出力ラインの消費電力と第２出力ラインの消費電力とが異なっている、撮像素子である。

本発明の一つの実施形態によれば、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる、という効果が得られる。

実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 実施形態に係る撮像装置の背面側を示す背面図である。 実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る撮像装置のハイブリッドファインダーの構成の一例を示す概略構成図である。 実施形態に係る撮像装置に含まれる撮像装置本体のハードウェア構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 実施形態に係る表示用画像データ生成処理の流れの一例を示すフローチャートである。 実施形態に係る記録用画像データ生成処理の流れの一例を示すフローチャートである。 実施形態に係る出力回路処理の流れの一例を示すフローチャートである。 画像データの処理の流れの一例を示す状態遷移図である。 実施形態に係る撮像装置によって実行されるシーケンシャル処理の一例を示すタイムチャートである。 図１２に示すシーケンシャル処理の第１変形例を示すタイムチャートである。 図１２に示すシーケンシャル処理の第２変形例を示すタイムチャートである。 実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。 従来技術に係る撮像装置に含まれるＣＭＯＳイメージセンサにより被写体が撮像されることで得られた画像データの転送形態の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、撮像装置１０がマニュアルフォーカスモードの場合に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴って、フォーカスレンズ１６は光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替えレバー２３が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像は、ファインダー切替レバー２３を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、光電変換素子で撮像されることにより得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。

撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。

レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示用撮像モードと記録用撮像モードとに大別される。

表示用撮像モードでは、連続的な撮像により得られた連続する複数フレーム分の表示用画像データに基づくライブビュー画像が後述の第１ディスプレイ４０及び／又は第２ディスプレイ８０（図３参照）に表示される動作モードである。表示用画像データは、ライブビュー画像用の画像データであり、後述の第１処理回路１００（図３参照）により、被写体の画像を示す撮像画像データに基づいて生成される。撮像画像データとは、後述の光電変換素子９２（図６参照）により被写体が撮像されることで得られた画像データを指す。なお、以下では、説明の便宜上、撮像画像データにより示される画像を「撮像画像」と称する。

記録用撮像モードは、ライブビュー画像が後述の第１ディスプレイ４０及び／又は第２ディスプレイ８０に表示され、かつ、記録用画像データが後述の記録用装置２１８（図５参照）に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、後述の処理回路９４により撮像画像データに基づいて生成される。

撮像モードが設定されると、先ず、撮像装置１０は、表示用撮像モードになる。表示用撮像モードでは、レリーズボタン２５が押圧操作された場合に、撮像装置１０は、表示用撮像モードから記録用撮像モードに移行する。ここで、レリーズボタン２５が押圧操作された場合とは、半押し状態の場合及び全押し状態の場合を指す。

撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ－Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。

タッチパネル・ディスプレイ３０は、第１ディスプレイ４０及びタッチパネル４２（図３も参照）を備えている。第１ディスプレイ４０としては、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが挙げられる。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に撮像されることで得られた単一フレームの撮像画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。

十字キー３２は、１つ又は複数のメニューの選択、ズーム及びコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目などを消去する場合、指定内容を取消す場合、及び１つ前の操作状態に戻す場合等に操作される。

撮像装置１０は、記録用撮像モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。

一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４４（図１も参照）と、マウント４４に対応する交換レンズ１４側のマウント４６と、を含む。交換レンズ１４は、マウント４４にマウント４６が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、絞り４７及びモータ４９を含む。絞り４７は、フォーカスレンズ１６よりも撮像装置本体１２側に配置されており、モータ４９に接続されている。絞り４７は、モータ４９の動力を受けて作動することで露出を調節する。

撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。

モータ４９，５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４９，５０の一例として、ステッピングモータを適用している。従って、モータ４９，５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ４９，５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ４９及びモータ５０のうちの少なくとも１つは撮像装置本体１２に設けられていてもよい。

撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、第１後段回路１００、及び第２後段回路２００を備えている。第１後段回路１００は、本開示の技術に係る「第１信号処理部」の一例である。第２後段回路２００は、本開示の技術に係る「第２信号処理部」の一例である。

操作部５４は、第１後段回路１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は、上述した操作内容信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作内容信号に応じた処理を実行する。

第１後段回路１００及び第２後段回路２００は何れも、撮像素子２０から送り出されるデータを受け取る側の回路である。第１後段回路１００は、第１出力ライン１０２を介して撮像素子２０に接続されており、撮像素子２０から第１出力ライン１０２を介して送り出されるデータを受け取り、受け取ったデータに対して各種処理を施す。第２後段回路２００は、第２出力ライン２０２を介して撮像素子２０に接続されており、撮像素子２０から第２出力ライン２０２を介して送り出されるデータを受け取り、受け取ったデータに対して各種処理を施す。

なお、以下では、説明の便宜上、第１後段回路１００及び第２後段回路２００を区別して説明する必要がない場合、符号を付さずに単に「後段回路」と称する。本実施形態では、後段回路として、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩが挙げられる。

第１後段回路１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、入力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５６、一次記憶部５８、二次記憶部６０、画像処理部６２、外部Ｉ／Ｆ６３、第１表示制御部６４、第２表示制御部６６、位置検出部７０、デバイス制御部７４、及び接続Ｉ／Ｆ１０４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されている。但し、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、タッチパネル４２、入力Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、外部Ｉ／Ｆ６３、第１表示制御部６４、第２表示制御部６６、接続Ｉ／Ｆ１０４、及び操作部５４は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、第１後段回路１００の全体を制御する。本実施形態に係る撮像装置１０では、撮像装置１０がオートフォーカスモードの場合に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、撮像装置１０がオートフォーカスモードの場合に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、ＣＰＵ５２は、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を指す。

二次記憶部６０には、各種プログラムが記憶されている。ＣＰＵ５２は、二次記憶部６０から各種プログラムを読み出し、読み出した各種プログラムを一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した各種プログラムに従って第１後段回路１００の全体を制御する。

入力Ｉ／Ｆ５６は、撮像素子２０に第１出力ライン１０２を介して接続されている。入力Ｉ／Ｆ５６には、撮像画像データに基づく表示用画像データが撮像素子２０から入力される。

ＣＰＵ５２は、撮像素子２０から入力Ｉ／Ｆ５６を介して表示用画像データを取得し、取得した表示用画像データを画像処理部６２に出力する。

画像処理部６２は、ＣＰＵ５２から入力された表示用画像データに対して信号処理を施し、信号処理を施した表示用画像データをＣＰＵ５２の制御下で第１表示制御部６４及び／又は第２表示制御部６６に出力する。

第１表示制御部６４は、第１ディスプレイ４０に接続されており、第１ディスプレイ４０に対して、表示用画像データに基づく画像等を表示させる。第２表示制御部６６は、第２ディスプレイ８０に接続されており、第２ディスプレイ８０に対して、表示用画像データに基づく画像等を表示させる。第２ディスプレイ８０としては、液晶ディスプレイ又は有機ＥＬディスプレイが挙げられる。

なお、以下では、説明の便宜上、第１後段回路１００が、第１ディスプレイ４０及び第２ディスプレイ８０に対して１２０ｆｐｓでライブビュー画像等の動画像を表示させることを前提として説明する。

外部Ｉ／Ｆ６３は、外部表示装置（図示省略）に接続されている。外部表示装置としては、例えば、ディスプレイ付きのスマートデバイス及び／又はディスプレイ付きのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が挙げられる。

接続Ｉ／Ｆ１０４は、第２後段回路２００に接続されており、ＣＰＵ５２は、接続Ｉ／Ｆ１０４を介して第２後段回路２００との間で各種情報の入出力を行う。各種情報の入出力には、例えば、再生用画像を示す再生用画像信号の第２後段回路２００からの入力、並びに、タッチパネル４２及び／又は操作部５４によって受け付けられた各種指示の内容を示す指示内容信号の第２後段回路２００への出力等が含まれる。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ４９，５０に接続されている。

デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ４９，５０を制御する。

一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。

また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される電子像及び／又は各種情報とを合成する。

第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼レンズ８６から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼レンズ８６から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。

なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。ここで言う「表示制御部」は、本開示の技術に係る「制御部」の一例である。

一例として図５に示すように、第２後段回路２００は、ＣＰＵ２０４、一次記憶部２０６、二次記憶部２０８、画像処理部２１０、外部Ｉ／Ｆ２１２、入力Ｉ／Ｆ２１４、及び接続Ｉ／Ｆ２１６を含む。本実施形態では、ＣＰＵ２０４として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０４に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ２０４によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

本実施形態では、画像処理部２１０がＡＳＩＣによって実現されている。但し、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部２１０は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

なお、以下では、説明の便宜上、第２後段回路２００では、６０ｆｐｓで画像データの処理が行われることを前提として説明する。

ＣＰＵ２０４、一次記憶部２０６、二次記憶部２０８、画像処理部２１０、外部Ｉ／Ｆ２１２、入力Ｉ／Ｆ２１４、及び接続Ｉ／Ｆ２１６は、バス２２０を介して相互に接続されている。

ＣＰＵ２０４は、第２後段回路２００の全体を制御する。一次記憶部２０６とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部２０８とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤを指す。

二次記憶部２０８には、各種プログラムが記憶されている。ＣＰＵ２０４は、二次記憶部２０８から各種プログラムを読み出し、読み出した各種プログラムを一次記憶部２０６に展開する。ＣＰＵ２０４は、一次記憶部２０６に展開した各種プログラムに従って第２後段回路２００の全体を制御する。

入力Ｉ／Ｆ２１４は、撮像素子２０に第２出力ライン２０２を介して接続されている。入力Ｉ／Ｆ２１４には、撮像画像データに基づく記録用画像データが撮像素子２０から入力される。

ＣＰＵ２０４は、撮像素子２０から入力Ｉ／Ｆ２１４を介して記録用画像データを取得し、取得した記録用画像データを画像処理部２１０に出力する。

画像処理部２１０は、ＣＰＵ２０４から入力された記録用画像データに対して信号処理を施し、信号処理を施した記録用画像データをＣＰＵ２０４の制御下で二次記憶部２０８及び／又は外部Ｉ／Ｆ２１２に出力する。二次記憶部２０８は、画像処理部２１０から入力された記録用画像データを記憶する。

外部Ｉ／Ｆ２１２は、記録用装置２１８に接続されている。記録用装置２１８は、画像データを記録する装置である。記録用装置２１８としては、例えば、メモリカード、スマートデバイス、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＰＣ、サーバ、及びプリンタ等が挙げられる。外部Ｉ／Ｆ６３は、画像処理部２１０から入力された記録用画像データを記録用装置２１８に出力する。記録用装置２１８は、画像処理部２１０から外部Ｉ／Ｆ２１２を介して入力された記録用画像データを記録する。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳイメージセンサである。一例として図６に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。なお、メモリ９６は、本開示の技術に係る「記憶部」の一例である。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭが採用されている。但し、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

本実施形態では、処理回路９４は、ＡＳＩＣによって実現されている。但し、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ７２を作動させずに、電子シャッタ機能を働かせることで実現される。

処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、光電変換素子９２により被写体が撮像されることで得られた撮像画像データを読み出す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを第１後段回路１００の入力Ｉ／Ｆ５６及び第２後段回路２００の入力Ｉ／Ｆ２１４に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。また、本実施形態では、出力用画像データの一例として、記録用画像データ及び表示用画像データが採用されている。

処理回路９４は、撮像画像データに対して第１処理と第２処理とを行う。第１処理とは、光電変換素子９２から撮像画像データを読み出し、読み出した撮像画像データをメモリ９６に記憶し、メモリ９６から撮像画像データを取得し、取得した撮像画像データに対して画像処理を施すことで出力用画像データを生成する処理を指す。第２処理とは、出力用画像データを撮像素子２０の外部に出力する処理を指す。ここで言う「撮像素子２０の外部」とは、例えば、後段回路を指す。

撮像素子２０では、第１フレームレートで被写体が撮像される。処理回路９４は、第１フレームレートで第１処理を行い、本開示の技術に係る出力フレームレートの一例である第２フレームレートで第２処理を行う。なお、本実施形態では、第１フレームレートとして、１２０ｆｐｓが採用されている。

第２フレームレートは、高フレームレートと低フレームレートとに大別される。高フレームレートとは、低フレームレートよりも高いフレームレートを指す。本実施形態では、高フレームレートの一例として、１２０ｆｐｓが採用されており、低フレームレートの一例として、６０ｆｐｓが採用されている。

一例として図７に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、デジタル処理回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含む。処理回路９４は、デバイス制御部７４を介してＣＰＵ５２の制御下で動作する。

光電変換素子駆動回路９４Ａは、光電変換素子９２及びデジタル処理回路９４Ｂに接続されている。メモリ９６は、デジタル処理回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄ及びメモリ９６に接続されている。出力回路９４Ｄは、第１出力ライン１０２を介して第１後段回路１００の入力Ｉ／Ｆ５６に接続されている。また、出力回路９４Ｄは、第２出力ライン２０２を介して第２後段回路２００の入力Ｉ／Ｆ２１４に接続されている。

光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。デジタル処理回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出されたアナログの撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。メモリ９６は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、メモリ９６から撮像画像データを取得し、取得した撮像画像データに対して信号処理を施す。

撮像画像データは、間引き撮像画像を示す間引き撮像画像データと間引き無し撮像画像を示す間引き無し撮像画像データとに類別される。

間引き撮像画像データは、光電変換素子９２からインターレースで読み出された画像データである。間引き撮像画像データは、第１間引き撮像画像を示す第１間引き撮像画像データと、第２間引き撮像画像を示す第２間引き撮像画像データとに類別される。第１間引き撮像画像及び第２間引き撮像画像は、互い違いの水平ラインを画素ラインとして有する垂直１／２間引き画像である。なお、ここで言う「水平ライン」とは、水平状に配列された画素のラインを指す。

垂直１／２間引き画像は、一例として図１１に示すように、垂直方向に画像の水平ラインを１ライン飛ばしで間引きした画像である。図１１に示す例では、奇数フレームの垂直１／２間引き画像の間引きラインと偶数フレームの垂直１／２間引き画像の間引きラインとが垂直方向で互い違いになっている。すなわち、垂直１／２間引き画像は、２フレーム分の読み出す周期を１周期とした場合、１周期内で１フレーム毎に垂直方向に水平ラインを１ラインずつずらして間引きされた画像である。

図１１に示す例では、奇数フレームの垂直１／２間引き画像が第１間引き撮像画像であり、偶数フレームの垂直１／２間引き画像が第２間引き撮像画像である。本実施形態では、第１間引き撮像画像の一例として、撮像画像のうちの垂直方向の奇数番目の水平ラインが間引かれた画像が挙げられており、第２間引き撮像画像の一例として、撮像画像のうちの垂直方向の偶数番目の水平ラインが間引かれた画像が挙げられている。

間引き無し画像とは、画素の間引きがされていない画像を指す。間引き無し画像は、第１間引き撮像画像と第２間引き撮像画像とが合成されることによって生成される。すなわち、１周期内の第１間引き撮像画像と第２間引き撮像画像とを一組の間引き画像とした場合、１つの組内において、第１間引き撮像画像の間引き位置に第２間引き撮像画像を組み込むことによって間引き無し画像が得られる。

なお、図１１に示す例では、ｍを自然数とした場合の第ｍ組の第１間引き撮像画像データが“ｍＡ”と表記され、第ｍ組の第２間引き撮像画像データが“ｍＢ”と表記され、間引き無し撮像画像データが“ｍＡ ＆ ｍＢ”と表記されている。

画像処理回路９４Ｃは、間引き撮像画像データに対して画素数及び画素位置を変えることなく必要な信号処理を施してから、信号処理を施した間引き撮像画像データを表示用画像データとして出力回路９４Ｄに出力する。

画像処理回路９４Ｃは、間引き無し撮像画像データに対して画素数及び画素位置を変えることなく必要な信号処理を施してから、信号処理を施した間引き無し撮像画像データを記録用画像データとして出力回路９４Ｄに出力する。

一例として表１に示すように、出力回路９４Ｄは、画像処理回路９４Ｃから入力された間引き撮像画像データを、高フレームレートで第１出力ライン１０２を介して第１後段回路１００の入力Ｉ／Ｆ５６に出力する。また、出力回路９４Ｄは、画像処理回路９４Ｃから入力された間引き無し撮像画像データを、低フレームレートで第２出力ライン２０２を介して第２後段回路２００の入力Ｉ／Ｆ２１４に出力する。なお、下記の表１に示す間引き撮像画像データのデータ量及び間引き無し撮像画像データのデータ量は、本開示の技術に係る「出力データ量」の一例である。

次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。なお、以下では、説明の便宜上、表示用画像データの１画素当たりのビット数が記録用画像データの１画素当たりのビット数と同じであることを前提として説明する。

先ず、撮像装置１０が表示用撮像モードの場合の処理回路９４によって実行される表示用画像データ生成処理について図８を参照して説明する。なお、表示用画像データ生成処理は、処理回路９４によって第１フレームレートで実行される。ここでは、説明の便宜上、第１フレームレートが１２０ｆｐｓであることを前提として説明する。

図８に示す表示用画像データ生成処理では、先ず、ステップ３００で、光電変換素子駆動回路９４Ａは、光電変換素子９２から間引き撮像画像データを読み出し、その後、表示用画像データ生成処理はステップ３０２へ移行する。

ステップ３０２で、処理回路９４は、ステップ３００で読み出された間引き撮像画像データが第１間引き撮像画像データか否かを判定する。ステップ３０２において、ステップ３００で読み出された間引き撮像画像データが第１間引き撮像画像データの場合は、判定が肯定されて、表示用画像データ生成処理はステップ３０４へ移行する。ステップ３０２において、ステップ３００で読み出された間引き撮像画像データが第２間引き撮像画像データの場合は、判定が否定されて、表示用画像データ生成処理はステップ３０６へ移行する。

ステップ３０４で、デジタル処理回路９４Ｂは、ステップ３００で読み出された第１間引き撮像画像データをメモリ９６に記憶し、その後、表示用画像データ生成処理はステップ３０８へ移行する。

ステップ３０６で、デジタル処理回路９４Ｂは、メモリ９６に対して、既に記憶されている第１間引き撮像画像データの隙間に第２間引き撮像画像データを記憶させ、その後、表示用画像データ生成処理はステップ３０８へ移行する。ここで、「第１間引き撮像画像データの隙間」とは、第１間引き撮像画像データのうちの間引かれたラインの箇所を指す。本実施形態において、第１間引き撮像画像データのうちの間引かれたラインの箇所とは、撮像画像のうちの垂直方向の奇数番目の水平ラインの箇所を指す。

従って、本ステップ３０６では、例えば、図１１に示すように、第ｎ組の第１間引き撮像画像のうちの間引かれた水平ラインの箇所に対して、同組の第２間引き撮像画像のうち、位置が対応する水平ラインを組み込むように、第２間引き撮像画像データがメモリ９６に記憶される。なお、ここで言う「第２間引き撮像画像のうち、位置が対応する水平ライン」とは、撮像画像のうちの垂直方向の偶数番目の水平ラインの箇所を指す。

ステップ３０８で、画像処理回路９４Ｃは、メモリ９６に記憶された最新の間引き撮像画像データを読み出し、読み出した間引き撮像画像データを表示用画像データとして出力回路９４Ｄに出力し、その後、表示用画像データ生成処理はステップ３１０へ移行する。

ステップ３０８では、メモリ９６に記憶された最新の間引き画像データとして、ステップ３０４でメモリ９６に記憶された第１間引き撮像画像データ、又は、ステップ３０６でメモリ９６に記憶された第２間引き撮像画像データが読み出される。

なお、本ステップ３０８の処理が実行されることで第ｍ組の第１間引き撮像画像データが出力回路９４Ｄに出力された場合、第１間引き撮像画像データはメモリ９６に保持される。そして、本ステップ３０８の処理が実行されることで第ｍ組の第２間引き撮像画像データが出力回路９４Ｄに出力された場合、第ｍ組の第１及び第２間引き撮像画像データがメモリ９６から画像処理回路９４Ｃによって消去される。つまり、第１間引き撮像画像データは、同組の第２間引き撮像画像データが出力回路９４Ｄに出力されるのを待ってから第２間引き撮像画像データと共にメモリ９６から画像処理回路９４Ｃによって消去される。

ステップ３１０で、処理回路９４は、表示用画像データ生成処理を終了する条件である表示用画像データ生成処理終了条件を満足したか否かを判定する。表示用画像データ生成処理終了条件としては、例えば、表示用画像データ生成処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。表示用画像データ生成処理終了条件としては、例えば、表示用画像データ生成処理が開始されてからレリーズボタン２５が押されることなく、予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。

ステップ３１０において、表示用画像データ生成処理終了条件を満足していない場合は、判定が否定されて、表示用画像データ生成処理はステップ３００へ移行する。ステップ３１０において、表示用画像データ生成処理終了条件を満足した場合は、判定が肯定されて、処理回路９４は表示用画像データ生成処理を終了する。

次に、撮像モードが設定された状態で静止画像用の撮像が行われる場合に処理回路９４によって実行される記録用画像データ生成処理について図９を参照して説明する。なお、記録用画像データ生成処理は処理回路９４によって第１フレームレートで実行される。ここでは、説明の便宜上、第１フレームレートが１２０ｆｐｓであることを前提として説明する。

図９に示す記録用画像データ生成処理では、先ず、ステップ３５０で、画像処理回路９４Ｃは、撮像モードが記録用撮像モードか否かを判定する。ステップ３５０において、撮像モードが表示用撮像モードの場合は判定が否定されて、記録用画像データ生成処理はステップ３５８へ移行する。ステップ３５０において、撮像モードが記録用撮像モードの場合は判定が肯定されて、記録用画像データ生成処理はステップ３５２へ移行する。

ステップ３５２で、画像処理回路９４Ｃは、レリーズボタン２５が全押し状態か否かを判定する。ステップ３５２において、レリーズボタン２５が全押し状態でない場合は、判定が否定されて、記録用画像データ生成処理はステップ３５０へ移行する。ステップ３５２において、レリーズボタン２５が全押し状態の場合は、判定が肯定されて、記録用画像データ生成処理はステップ３５４へ移行する。

ステップ３５４で、画像処理回路９４Ｃは、メモリ９６に第１間引き撮像画像データ及び第２間引き撮像画像データが記憶されているか否かを判定する。ステップ３５４において、メモリ９６に第１間引き撮像画像データ及び第２間引き撮像画像データが記憶されていない場合は、判定が否定されて、記録用画像データ生成処理はステップ３５２へ移行する。ステップ３５４において、メモリ９６に第１間引き撮像画像データ及び第２間引き撮像画像データが記憶されている場合は、判定が肯定されて、記録用画像データ生成処理はステップ３５６へ移行する。

ステップ３５６で、画像処理回路９４Ｃは、現時点でメモリ９６に記憶されている第１及び第２間引き撮像画像データをメモリ９６から読み出す。間引き無し撮像画像データは、第１間引き撮像画像データに対して第２間引き撮像画像データが組み込まれることによって生成される。本ステップ３５６で、画像処理回路９４Ｃは、間引き無し撮像画像データを記録用画像データとして出力回路９４Ｄに出力し、その後、記録用画像データ生成処理はステップ３５８へ移行する。

なお、現時点でメモリ９６に記憶されている第１及び第２間引き撮像画像データとは、表示用画像データ生成処理に含まれるステップ３０６の処理が実行されることにより現時点でメモリ９６に記憶されている第１及び第２間引き撮像画像データを指す。

ステップ３５８で、処理回路９４は、記録用画像データ生成処理を終了する条件である記録用画像データ生成処理終了条件を満足したか否かを判定する。記録用画像データ生成処理終了条件としては、例えば、記録用画像データ生成処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。記録用画像データ生成処理終了条件としては、例えば、記録用画像データ生成処理が開始されてからレリーズボタン２５が押されることなく、上述した予め定められた時間を超えたとの条件が挙げられる。

ステップ３５８において、記録用画像データ生成処理終了条件を満足していない場合は、判定が否定されて、記録用画像データ生成処理はステップ３５０へ移行する。ステップ３５８において、記録用画像データ生成処理終了条件を満足した場合は、判定が肯定されて、処理回路９４は記録用画像データ生成処理を終了する。

次に、出力回路９４Ｄによって実行される出力回路処理について図１０を参照して説明する。

図１０に示す出力回路処理では、先ず、ステップ４００で、出力回路９４Ｄは、画像処理回路９４Ｃから画像データが入力されたか否かを判定する。ステップ４００において、画像データが入力されていない場合は、判定が否定されて、ステップ４００の判定が再び行われる。ステップ４００において、画像データが入力された場合は、判定が肯定されて、出力回路処理はステップ４０２へ移行する。

ステップ４０２で、出力回路９４Ｄは、画像処理回路９４Ｃから入力された画像データが表示用画像データか否かを判定する。ステップ４０２において、画像処理回路９４Ｃから入力された画像データが表示用画像データの場合は、判定が肯定されて、出力回路処理はステップ４０４へ移行する。ステップ４０２において、画像処理回路９４Ｃから入力された画像データが記録用画像データの場合は、判定が否定されて、出力回路処理はステップ４０６へ移行する。

ステップ４０４で、出力回路９４Ｄは、表示用画像データを高フレームレートで第１後段回路１００の入力Ｉ／Ｆ５６に出力し、その後、出力回路処理はステップ４０８へ移行する。ここで言う「高フレームレート」は、１２０ｆｐｓである。

すなわち、表示用画像データ生成処理が１２０ｆｐｓで実行され、表示用画像データが１２０ｆｐｓで出力回路９４Ｄに出力されるので、本ステップ４０４では、一例として図１１に示すように、表示用画像データが１２０ｆｐｓで第１後段回路１００に出力される。

ステップ４０６で、出力回路９４Ｄは、記録用画像データを低フレームレートで第２後段回路２００の入力Ｉ／Ｆ２１４に出力し、その後、出力回路処理はステップ４０８へ移行する。ここで言う「低フレームレート」は、６０ｆｐｓである。

記録用画像データ生成処理のステップ３５６の処理が実行されることで出力される記録用画像データは、一組の第１間引き撮像画像データ及び第２間引き撮像画像データが揃うのを待ってから画像処理回路９４Ｃから出力回路９４Ｄに出力される。そのため、一組の第１間引き撮像画像データ及び第２間引き撮像画像データを揃えるには、撮像素子２０のフレームレートが１２０ｆｐｓなので、１／６０ｓ（秒）を要する。よって、本ステップ４０６では、一例として図１１に示すように、記録用画像データが６０ｆｐｓで第２後段回路２００に出力される。

ステップ４０８で、出力回路９４Ｄは、出力回路処理を終了する条件である出力回路処理終了条件を満足したか否かを判定する。出力回路処理終了条件としては、例えば、出力回路処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。出力回路処理終了条件としては、例えば、出力回路処理が開始されてからレリーズボタン２５が押されることなく、上述した予め定められた時間を超えたとの条件が挙げられる。

ステップ４０８において、出力回路処理終了条件を満足していない場合は、判定が否定されて、出力回路処理はステップ４００へ移行する。ステップ４０８において、出力回路処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは出力回路処理を終了する。

処理回路９４により図８に示す表示用画像データ生成処理、図９に示す記録用画像データ生成処理、及び図１０に示す出力回路処理が実行されることで、一例として図１２に示すシーケンシャル処理が実行される。

なお、図１２には、第１組目の画像データと第２組目の画像データとが例示されているが、第３組目以降の画像データは、第１組目の画像データ及び第２組目の画像データと同様なので省略されている。

ここで、第１組目とは、１フレーム目及び２フレーム目の組を指し、第２組目とは、３フレーム目及び４フレーム目の組を指す。第１組目の画像データとは、第１組目の第１間引き撮像画像データ（１Ａ）、第２間引き撮像画像データ（１Ｂ）、表示用画像データ（１Ａ，１Ｂ）、及び記録用画像データ（１Ａ ＆ １Ｂ）を指す。第２組目の画像データとは、第２組目の第１間引き撮像画像データ（２Ａ）、第２間引き撮像画像データ（２Ｂ）、表示用画像データ（２Ａ，２Ｂ）、及び記録用画像データ（２Ａ ＆ ２Ｂ）を指す。

ここで、図１２に示すシーケンシャル処理について、第１組目の画像データを例に挙げて説明する。先ず、撮像モードが設定されると、ステップＳ１では、光電変換素子９２により１フレーム目の露光が行われる。１フレーム目の露光が行われた後、ステップＳ２では、処理回路９４により、１フレーム目の各種処理が行われる。すなわち、ステップＳ２で、処理回路９４は、光電変換素子９２から１フレーム目の第１間引き撮像画像データ（１Ａ）を読み出し、読み出した１フレーム目の第１間引き撮像画像データ（１Ａ）をメモリ９６に記憶し、メモリ９６から１フレーム目の第１間引き撮像画像データ（１Ａ）を取得する。そして、ステップＳ３で、処理回路９４は、メモリ９６から取得した１フレーム目の第１間引き撮像画像データ（１Ａ）を１フレーム目の表示用画像データとして第１後段回路１００に出力する。

一方、ステップＳ４では、１フレーム目の表示用画像データ（１Ａ）の第１後段回路１００への出力中に、２フレーム目の露光が行われる。２フレーム目の露光が行われた後、ステップＳ５では、処理回路９４により、２フレーム目の各種処理が行われる。すなわち、ステップＳ５で、処理回路９４は、光電変換素子９２から２フレーム目の第２間引き撮像画像データ（１Ｂ）を読み出し、読み出した２フレーム目の第２間引き撮像画像データ（１Ｂ）をメモリ９６に記憶し、メモリ９６から２フレーム目の第２間引き撮像画像データ（１Ｂ）を取得する。そして、ステップＳ６で、処理回路９４は、メモリ９６から取得した２フレーム目の第２間引き撮像画像データ（１Ｂ）を２フレーム目の表示用画像データとして第１後段回路１００に出力する。

ステップＳ７で、処理回路９４は、２フレーム目の表示用画像データ（１Ｂ）の出力の開始と共に、第１間引き撮像画像データ及び第２間引き撮像画像データの合成データである記録用画像データ（１Ａ ＆ １Ｂ）の第２後段回路２００への出力を開始する。

ここで、表示用画像データの出力時間をｔ１とし、記録用画像データの出力時間をｔ２とした場合、出力時間ｔ１と出力時間ｔ２は、“ｔ１＜ｔ２”の関係を満たしている。出力時間ｔ２は出力時間ｔ１の２倍以上であってもよい。なお、本実施形態では、６０ｆｐｓでライブビュー画像が表示されるので、“ｔ２＜１／６０ｓ”の関係を満たす必要がある。

出力時間ｔ１は、短いほど実像とライブビュー画像との間の時間的なずれが小さくなる。出力時間ｔ２は、出力時間ｔ１よりも長いが、記録用画像データは表示用画像データのように表示に供されるわけではないので、表示用画像データの出力時間をｔ２にする場合に比べ、ユーザにとってデメリットは少ない。

第１出力ライン１０２での表示用画像データのフレームレートは１２０ｆｐｓであるのに対し、第２出力ラインでの記録用画像データのフレームレートは６０ｆｐｓである。すなわち、記録用画像データの第２後段回路２００への伝送速度は、表示用画像データの第１後段回路１００への伝送速度よりも遅い。よって、記録用画像データの第２後段回路２００への伝送に要する消費電力は、表示用画像データの第１後段回路１００への伝送に要する消費電力に比べ、少ない。

また、一例として図１３に示すように、画像処理回路９４Ｃが記録用画像データ（１Ａ ＆ １Ｂ，２Ａ ＆ ２Ｂ）に対して時間ｔ_ａ内で加工処理を施し、出力回路９４Ｄが、加工処理済みの記録用画像データ（１Ａ ＆ １Ｂ，２Ａ ＆ ２Ｂ）を第２後段回路２００に出力するようにしてもよい。加工処理では、メモリ９６に記憶されている撮像画像データが画像処理回路９４Ｃにより参照される。加工処理としては、例えば、欠陥補正、オートホワイトバランス、及びゲイン調整等のうちの少なくとも１つの処理が挙げられる。また、図５に示す画像処理部２１０により実行される複数の処理のうちの少なくとも１つの処理を画像処理回路９４Ｃに担わせるようにしてもよい。

以上説明したように、撮像装置１０では、出力回路９４Ｄが第１出力ライン１０２及び第２出力ライン２０２を有している。第１出力ライン１０２は第１後段回路１００に接続され、第２出力ライン２０２は第２後段回路２００に接続されている。そして、撮像装置１０では、一例として上記の表１に示すように、第１出力ライン１０２と第２出力ライン２０２とで、出力用画像データの出力フレームレートと出力用画像データのデータ量との双方が異なっている。従って、撮像装置１０は、撮像素子から単一の出力ラインのみを介して後段の単一の処理部のみに対して一定のフレームレートで且つ一定のデータ量で出力用画像データが出力される場合に比べ、出力用画像データの処理に要する消費電力を低減することができる。

また、撮像装置１０では、一例として上記の表１に示すように、第１出力ライン１０２に対して適用されるフレームレートが、第２出力ライン２０２に対して適用されるフレームレートよりも高い。従って、撮像装置１０は、第１後段回路１００に対して、第２後段回路２００で実行される処理よりも高速な処理を実行させることができる。

また、撮像装置１０では、一例として上記の表１に示すように、第１出力ライン１０２から出力される出力用画像データの１フレーム分の出力データ量が、第２出力ライン２０２から出力される出力用画像データの１フレーム分の出力データ量よりも少ない。従って、撮像装置１０は、第１出力ライン１０２での出力に要する消費電力を、第２出力ライン２０２での出力に要する消費電力よりも低減することができる。

また、撮像装置１０では、第１出力ライン１０２から出力される出力用画像データは表示用画像データであり、第２出力ライン２０２から出力される出力用画像データは記録用画像データである。従って、撮像装置１０は、第１後段回路１００に対して表示用画像データを処理させ、かつ、第２後段回路２００に対して記録用画像データを処理させることができる。

また、撮像装置１０では、第２出力ライン２０２から出力される出力用画像データは、撮像素子２０内で撮像画像データに対して画像処理が行われて得られた画像データである。従って、撮像装置１０は、撮像画像データに対する全ての画像処理が第２後段回路２００で実行される場合に比べ、第２後段回路２００にかかる画像処理の負荷を軽減することができる。

また、撮像装置１０では、撮像画像データとして第１間引き撮像画像データ及び第２間引き撮像画像データが用いられる。そして、撮像装置１０では、撮像素子２０内で第１間引き撮像画像データと第２間引き撮像画像データとの合成データが生成され、生成された合成データが記録用画像データとして用いられる。従って、撮像装置１０は、撮像画像データとして間引き無しの撮像画像データのみを用いるに比べ、データ量に起因する消費電力の増大を抑制することができる。

また、撮像装置１０では、撮像素子２０として、光電変換素子９２にメモリ９６が積層された積層型撮像素子が用いられている。従って、撮像装置１０は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、撮像素子２０内での処理の高速化を実現することができる。

なお、上記実施形態では、第２フレームレートとして高フレームレートと低フレームレートとを例示したが、本開示の技術はこれに限定されない。例えば、第１出力ライン１０２及び第２出力ライン２０２の各々に対して適用される第２フレームレートとデータ量とを下記の表２に示すように規定してもよい。表２によれば、ｎを予め定められた正の実数とした場合、第１出力ライン１０２に対して適用される第２フレームレートは、第２出力ライン２０２に対して適用される第２フレームレートのｎ倍である。この場合、第１出力ライン１０２から出力される出力用画像データの１フレーム分の出力データ量は、第２出力ライン２０２から出力される出力用画像データの１フレーム分の出力データ量の１／ｎ倍である。従って、撮像装置１０は、消費電力の低減に寄与する第２フレームレート及びデータ量を定めることができる。

なお、ｎは、第１フレームレート、第１後段回路１００の処理能力、及び第２後段回路２００の処理能力等に応じて定められる。この場合、例えば、ｎと、第１フレームレート、第１後段回路１００の処理能力を示す指標、及び第２後段回路２００の処理能力を示す指標とが対応付けられた対応テーブルからｎが導出されるようにしてもよい。また、ｎを従属変数とし、第１フレームレート、第１後段回路１００の処理能力を示す指標、及び第２後段回路２００の処理能力を示す指標を独立変数とした演算式からｎが算出されるようにしてもよい。また、ｎは、タッチパネル４２及び／又は操作部５４によって受け付けられた指示に従って応じて定められた可変値であってあってもよいし、固定値であってもよい。

また、上記実施形態では、表示用画像データの１画素当たりのビット数が記録用画像データの１画素当たりのビット数と同じであることを例示したが、本開示の技術はこれに限定されない。例えば、表示用画像データ及び記録用画像データを共に間引き無し撮像画像データとし、一例として図１４に示すように、表示用画像データの１画素当たりのビット数を１２ビットとし、記録用画像データの１画素当たりのビット数を１４ビットとしてもよい。また、表示用画像データを間引き撮像画像データとし、記録用画像データを間引き無し撮像画像データとし、表示用画像データの１画素当たりのビット数を記録用画像データの１画素当たりのビット数よりも小さくしてもよい。

このように、撮像装置１０では、第１出力ライン１０２と第２出力ライン２０２とで、出力用画像データのビット数を異ならせることで出力用画像データのデータ量を異ならせるようにしてもよい。これにより、撮像装置１０は、出力回路９４Ｄから第１後段回路１００に表示用画像データが出力される場合に要する時間と出力回路９４Ｄから第２後段回路２００に記録用画像データが出力される場合に要する時間とを異ならせることができる。

また、処理回路９４内では、１画素当たりのビット数がＡビットの間引き撮像画像データ又は間引き無し撮像画像データが処理され、出力回路９４Ｄにより、１画素当たりのビット数をＢ（＜Ａ）ビット（図１４に示す例では、１２ビット）とした表示用画像データが第１後段回路１００に出力されるようにしてもよい。このように、撮像装置１０では、Ｂビットの表示用画像データが出力されることで、Ａビット（図１４に示す例では、１４ビット）の表示用画像データが出力される場合に比べ、表示用画像データの出力に要する時間が短くなる。この結果、表示用画像データの出力に要する時間が短くなった分だけ消費電力が低減される。

また、処理回路９４は、既定条件を満足した場合に、一例として図１４に示す１４ビットの表示用画像データから、一例として図１４に示す１２ビットの表示用画像データに変更するようにしてもよい。ここで、既定条件としては、例えば、タッチパネル４２及び／又は操作部５４によって、表示用画像データのビット数を小さくする指示が受け付けられたとの条件、及び／又は第１後段回路１００の連続稼働時間が既定時間（例えば、３０分）に達したとの条件が挙げられる。

また、上記実施形態では、静止画像用の撮像が行われる場合に記録用画像データが出力回路９４Ｄに出力される形態例を挙げて説明したが、動画像用の撮像が行われる場合に記録用画像データが出力回路９４Ｄに出力されるようにしてもよい。この場合、図９に示す記録用画像データ生成処理に含まれるステップ３５２の処理が不要になる。

また、上記実施形態では、間引き撮像画像として、垂直１／２間引き画像を例示したが、本開示の技術はこれに限定されず、例えば、ｚを３以上の自然数とした場合、間引き撮像画像は、垂直１／ｚ間引き画像であってもよい。例えば、間引き撮像画像として垂直１／３間引き画像を採用した場合には、第１出力ライン１０２に対して適用される第２フレームレートを１８０ｆｐｓとするのが好ましい。この場合、第２出力ライン２０２に対して適用される第２フレームレートは６０ｆｐｓでよい。

また、上記実施形態では、第１出力ライン１０２と第２出力ライン２０２とでフレームレート及びデータ量を異ならせる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１出力ライン１０２と第２出力ライン２０２とでフレームレート又はデータ量が異なっていればよい。

また、上記実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、上述した表示用画像データ生成処理、記録用画像データ生成処理、及び出力回路処理のうちの少なくとも１つの処理（以下、「撮像素子内処理」と称する。）は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図１５に示すように、撮像素子内処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述した撮像素子内処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ２０Ａ１によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

なお、記憶媒体７００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてコンピュータ２０Ａにダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。

上記実施形態で説明した撮像素子内処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像素子内処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像素子内処理を実行する。

撮像素子内処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、撮像素子内処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図１６に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図１６に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、ＰＣ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記実施形態で説明した撮像素子内処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

1. 撮像素子であって、
   被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行い、かつ、前記撮像素子に内蔵された処理部と、
   前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能であり、かつ、前記撮像素子に内蔵された記憶部と、
   前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
   前記出力部は、第１出力ライン及び第２出力ラインを有し、
   前記第１出力ラインは、前記外部に設けられた第１出力先に接続され、
   前記第２出力ラインは、前記外部に設けられた第２出力先に接続され、
   前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とが異なっており、
   ｎを予め定められた正の実数とした場合、
   前記第１出力ラインに対して適用される出力フレームレートは、前記第２出力ラインに対して適用される出力フレームレートのｎ倍であり、
   前記第１出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量は、前記第２出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量の１／ｎ倍である、
   撮像素子。
2. 前記第１出力ラインに対して適用される出力フレームレートは、前記第２出力ラインに対して適用される出力フレームレートよりも高く、
   前記第１出力ラインの消費電力は、前記第２出力ラインの消費電力より大きい、請求項１に記載の撮像素子。
3. 前記第１出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量は、前記第２出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量よりも少なく、
   前記第１出力ラインの消費電力は、前記第２出力ラインの消費電力より小さい、請求項１に記載の撮像素子。
4. 前記第１出力ラインと前記第２出力ラインとで、前記出力用画像データのビット数を異ならせることで、前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とを異ならせる請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記第１出力ラインから出力される前記出力用画像データのビット数は、前記第２出力ラインから出力される前記出力用画像データのビット数よりも小さい請求項４に記載の撮像素子。
6. 前記第１出力ラインから出力される前記出力用画像データは、表示用の画像データであり、
   前記第２出力ラインから出力される前記出力用画像データは、記録用の画像データである請求項２から請求項５の何れか一項に記載の撮像素子。
7. 前記第２出力ラインから出力される前記出力用画像データは、前記撮像素子内の前記処理部で前記撮像画像データに対して画像処理が行われて得られた画像データである請求項１から請求項６の何れか一項に記載の撮像素子。
8. 前記撮像画像データは、互いに異なる画素が間引かれた複数の間引き画像を示す複数の間引き画像データであり、
   前記画像処理は、前記複数の間引き画像データを合成する処理を含む処理である請求項７に記載の撮像素子。
9. 前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項８の何れか一項に記載の撮像素子。
10. 請求項１から請求項９の何れか一項に記載の撮像素子と、
    前記撮像素子に含まれる前記出力部により出力された前記出力用画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、
    を含む撮像装置。
11. 被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行う処理部と、前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能な記憶部と、第１出力ライン及び第２出力ラインを有する出力部と、が内蔵された撮像素子の画像データ出力方法であって、
    前記第１出力ラインを、前記撮像素子の外部に設けられた第１出力先に接続し、
    前記第２出力ラインを、前記外部に設けられた第２出力先に接続し、
    前記出力部が、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記外部に出力し、
    前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とが異なっており、
    ｎを予め定められた正の実数とした場合、
    前記第１出力ラインに対して適用される出力フレームレートは、前記第２出力ラインに対して適用される出力フレームレートのｎ倍であり、
    前記第１出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量は、前記第２出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量の１／ｎ倍である
    ことを含む画像データ出力方法。
12. 被写体が撮像されることで得られた撮像画像データに対してＡ／Ｄ変換を行う処理部と、前記処理部にて前記Ａ／Ｄ変換が行われることで得られた前記撮像画像データを記憶可能な記憶部と、第１出力ライン及び第２出力ラインを有する出力部と、が内蔵された撮像素子に含まれる前記出力部としてコンピュータを機能させるプログラムであって、
    前記第１出力ラインは、前記撮像素子の外部に設けられた第１出力先に接続され、
    前記第２出力ラインは、前記外部に設けられた第２出力先に接続され、
    前記出力部は、前記記憶部に記憶された前記撮像画像データに基づく出力用画像データを前記外部に出力し、
    前記第１出力ラインの消費電力と前記第２出力ラインの消費電力とが異なっており、
    ｎを予め定められた正の実数とした場合、
    前記第１出力ラインに対して適用される出力フレームレートは、前記第２出力ラインに対して適用される出力フレームレートのｎ倍であり、
    前記第１出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量は、前記第２出力ラインから出力される前記出力用画像データの１フレーム分の出力データ量の１／ｎ倍である、
    プログラム。