JP2022008593A - 撮像素子、撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力する撮像素子、撮像装置、撮像方法及びプログラムを提供する。【解決手段】撮像素子は、第１フレームレートで撮像された画像データを読み出す読出部と、画像データを記憶する記憶部と、処理を行う処理部と、処理された画像データを第１フレームレートより低い第２フレームレートで出力する出力部と、を内蔵する。読出部は、複数のフレームの各々の画像データを並行して読み出す。記憶部は、読出部により並行して読み出された画像データの各々を並行して記憶する。処理部は、記憶部に記憶された複数のフレームの各々の画像データを用いて１フレーム分の出力画像データを生成する生成処理を行う。【選択図】図６

Description

本開示の技術は、撮像素子、撮像装置、撮像方法及びプログラムに関する。

特開２０１５－１２６０４３号公報には、複数のセンサが配置されて成るセンサ部を有する第１半導体チップ、及び、センサによって取得された信号を処理する信号処理部を有する第２半導体チップを備えた電子デバイスが開示されている。特開２０１５－１２６０４３号公報に記載の電子デバイスでは、第１半導体チップと第２半導体チップとが積層されている。

特開２０１５－１２６０４３号公報に記載の電子デバイスでは、各センサからセンサ行毎に読み出された信号に対してセンサ列単位で並列にＡＤ変換を含む所定の信号処理が行われ、デジタル化された画像データがメモリ部にパイプライン転送される。このようにして大量の情報を処理する一方、電子デバイス全体として、低消費電力化を図ることができ、その結果、熱ノイズに起因したセンサの性能低下の抑制も図ることができるとされている。

特開２０１７－２２５０８４号公報には、複数の画素が第１画素領域と第２領域とに大別された撮像素子が開示されている。特開２０１７－２２５０８４号公報に記載の撮像素子において、第１画素領域は、第１露光時間で撮像し、第１画像信号を生成する画素領域である。第２領域は、第１露光時間より長い第２露光時間で撮像し、被写体に関する情報が抽出される第２画像信号を生成する画素領域である。

本開示の技術に係る一つの実施形態は、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる撮像素子、撮像装置、撮像方法及びプログラムを提供する。

第１の態様に係る撮像素子は、第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、かつ、撮像素子に内蔵された読出部と、読出部により読み出された画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データに対して処理を行い、かつ、撮像素子に内蔵された処理部と、処理部で処理された画像データを第２フレームレートで出力し、かつ、撮像素子に内蔵された出力部と、を含み、第１フレームレートは、第２フレームレートよりも高いフレームレートであり、読出部は、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶部は、読出部により並行して読み出された画像データの各々を並行して記憶し、処理部は、記憶部に記憶されている複数のフレームの各々の画像データを用いて１フレーム分の出力画像データを生成する生成処理を行い、出力部は、生成処理により生成された出力画像データを第２フレームレートで出力する。

これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。

第２の態様に係る撮像素子において、第１フレームレートは、露光時間に連動して変更される。

これにより、被写体の明るさの変化に対応することができる。

第３の態様に係る撮像素子において、第１フレームレートは、露光時間が短くなるに従って高くなる。

これにより、比較的明るい被写体に対応することができる。

第４の態様に係る撮像素子において、撮像のための露光は、露光開始後、読出部による少なくとも１画素分の画像データの読出処理が完了してから再開される。

これにより、露光時間に関わらず、前回の露光と次回の露光との間の露光しない時間を比較的短くすることができる。

第５の態様に係る撮像素子において、読出部は、画像データの読出速度を、画像データを並行して読み出すフレームの数に応じて変更する。

これにより、画像データを滞りなく処理することができる。

第６の態様に係る撮像素子において、読出部は、画像データの読出速度を、画像データを並行して読み出すフレームの数と、読み出された画像データをＡＤ変換するＡＤ変換回路の個数と、に応じて変更する。

これにより、ＡＤ変換回路の数に限りがある場合でも、画像データを滞りなく処理することができる。

第７の態様に係る撮像素子において、読出部は、画像データをＡＤ変換処理する場合のデータ量を、画像データを並行して読み出すフレームの数と、読み出された画像データをＡＤ変換するＡＤ変換回路の個数と、に応じて変更する。

これにより、ＡＤ変換回路の数に限りがある場合でも、画像データを滞りなく処理することができる。

第８の態様に係る撮像素子において、記憶部は、複数の画像データの各々を個別に記憶する複数の記憶領域を含む。

これにより、複数の画像データを並行して記憶することができる。

第９の態様に係る撮像素子において、生成処理は、記憶部に記憶されている複数のフレームの各々の画像データの少なくとも一部を画素単位で加算平均した１フレーム分の画像データを生成する処理である。

これにより、過露光及び画質劣化を抑制することができる。

第１０の態様に係る撮像素子において、生成処理は、複数の画像データから、画像データの一部である部分画像データを組み合わせることにより、１フレーム分の出力画像データを生成する。

これにより、一部が時間的に新しい出力画像データを出力することができる。

第１１の態様に係る撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された撮像素子である。

これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。

第１２の態様に係る撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である。

これにより、光電変換素子と記憶部とが積層されていない撮像素子に比べ、光電変換素子と記憶部との間での処理にかかる負荷が軽減される。

第１３の態様に係る撮像装置は、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む。

これにより、出力部により出力された複数の画像データに基づく画像をユーザに視認させることができる。

第１４の態様に係る撮像方法は、第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す工程と、読み出された画像データを記憶する工程と、画像データに対して処理を行う工程と、処理された画像データを第１フレームレートよりも低い第２フレームレートで出力する工程と、を含む撮像方法であって、読み出す工程は、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶する工程は、並行して読み出された画像データの各々を並行して記憶し、処理を行う工程は、記憶されている複数のフレームの各々の画像データを用いて１フレーム分の出力画像データを生成し、出力する工程は、生成された出力画像データを第２フレームレートで出力する。

これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。

第１５の態様に係るプログラムは、コンピュータに、第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す手順と、読み出された画像データを記憶する手順と、画像データに対して処理を行う手順と、処理された画像データを第１フレームレートよりも低い第２フレームレートで出力する手順と、を実行させるプログラムであって、読み出す手順は、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、記憶する手順は、並行して読み出された画像データの各々を並行して記憶し、処理を行う手順は、記憶されている複数のフレームの各々の画像データを用いて１フレーム分の出力画像データを生成し、出力する手順は、生成された出力画像データを第２フレームレートで出力する。

これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。

本開示の一実施形態に係る撮像素子は、画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、画像データに対して処理を行い、処理部で処理された画像データを、第１フレームレートより低い第２フレームレートで出力するプロセッサを含み、プロセッサは、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、複数のフレームの各々の画像データを並行して読み出し、並行して読み出された画像データの各々を並行してメモリに記憶させ、記憶されている複数のフレームの各々の画像データを用いて１フレーム分の出力画像データを生成し、生成された出力画像データを第２フレームレートで出力する。

第１実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 メモリの複数の記憶領域を示す図である。 第１実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 撮像素子の露光、読み出し、記憶、及び出力の動作を簡略化して示した概念図である。 撮像素子の露光からリセットまでの動作の一例を示す詳細説明図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 従来技術での動画像の見え方を説明する概略図である。 第１実施形態に係る撮像素子の露光、読み出し、記憶、及び出力の一例を示す動作概念図である。 第１実施形態に係る撮像処理の一例を示すフローチャートである。 第１実施形態に係る露光読出処理の一例を示すフローチャートである。 第１実施形態に係る出力画像生成処理の一例を示すフローチャートである。 第１実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第１実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第１実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第１実施形態に係る撮像素子から出力される動画像の見え方を説明する概略図である。 第１実施形態に係るＡＤ変換カラムが１つの画像データをＡＤ変換する動作の概念図である。 第１実施形態に係るＡＤ変換カラムが２つの画像データをＡＤ変換する動作の概念図である。 第１実施形態に係るＡＤ変換カラムが３つの画像データをＡＤ変換する動作の概念図である。 第１実施形態に係るＡＤ変換カラムが４つの画像データをＡＤ変換する動作の概念図である。 撮像素子の露光時間が短い場合の問題の一例を示す概略図である。 図１２に示す問題を解決する第２実施形態に係る撮像素子のＡＤ変換処理の一例を示す概略図である。 第２実施形態に係る露光読出処理の一例を示すフローチャートである。 第３実施形態に係る露光読出処理の一例を示すフローチャートである。 第４実施形態に係る読出処理及び出力の一例を示す概略図である。 第５実施形態に係る読出処理及び出力の一例を示す概略図である。 第５実施形態の変形例に係る読出処理及び出力の一例を示す概略図である。 第５実施形態に係る出力画像生成処理の一例を示すフローチャートである。 プログラムが記憶された記憶媒体から、プログラムが各実施形態に係る撮像素子にインストールされる態様の一例を示す概念図である。 各実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。

先ず、以下の説明で使用される用語について説明する。以下の説明において、「ＡＤ」とは、“Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ”の略称である。「ＯＶＦ」とは、“Ｏｐｔｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒ”の略称である。「ＥＶＦ」とは、“Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ”の略称である。「ＡＥ」とは、“Ａｕｔｏ Ｅｘｐｏｓｕｒｅ”の略称である。「ＣＭＯＳ」とは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。「ＣＣＤ」とは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称である。「ＬＳＩ」とは、“Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ”の略称である。「ＣＰＵ」とは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称である。「ＲＯＭ」とは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」とは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「Ｉ／Ｆ」とは、“Ｉｎｔｅｒｆａｃｅ”の略称である。「ＡＳＩＣ」とは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＰＬＤ」とは“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称である。「ＦＰＧＡ」とは、“Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称である。「ＳＳＤ」とは“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称である。「ＵＳＢ」とは“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称である。「ＣＤ－ＲＯＭ」とは“Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＩＣ」とは“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＯＶＦ」とは“Ｏｐｔｉｃａｌ Ｖｉｅｗｆｉｎｄｅｒ”の略称である。「ＥＶＦ」とは“Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗｆｉｎｄｅｒ”の略称である。「ＨＤＤ」とは、“Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ”の略称である。「ＤＲＡＭ」とは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「ＳＲＡＭ」とは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「ＰＣ」とは、“Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ”の略称である。「ｆｐｓ」とは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称である。

［第１実施形態］
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含む。交換レンズ１４は、手動操作により光軸Ｌ１方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。ＥＶＦは第２ディスプレイ８０を含む。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴って、フォーカスレンズ１６は光軸Ｌ１方向に移動する。フォーカスレンズ１６は、被写体距離に応じた合焦位置で停止される。なお、本実施形態において、「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ１６の光軸Ｌ１上での位置を指す。

撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０が設けられている。タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２を備えている。第１ディスプレイ４０又は第２ディスプレイ８０は、本開示の技術に係る「表示部」の一例である。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。

撮像装置１０は、撮像装置本体１２に備えられたマウント４４と、マウント４４に対応する交換レンズ１４側のマウント４６と、を含む。交換レンズ１４は、マウント４４にマウント４６が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、絞り４７を含む。絞り４７は、フォーカスレンズ１６よりも撮像装置本体１２側に配置されており、モータ４９に接続されている。絞り４７は、モータ４９の動力を受けて作動することで露出を調節する。

交換レンズ１４は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。

モータ４９，５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４９，５０の一例として、ステッピングモータを適用している。従って、モータ４９，５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。

撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路９０としてＩＣが採用されている。ＩＣの一例としては、ＬＳＩが挙げられる。

後段回路９０は、ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。ＣＰＵ５２は、本開示の技術に係る「制御部（制御プロセッサ）」の一例である。

なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣによって実現されている。ただし、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも２つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、撮像装置１０の全体を制御する。本実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、ＣＰＵ５２は、オートフォーカスモード時に、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、撮像モードにおいて、ＡＥ情報により示される画像の明るさに応じた露光時間（シャッタスピード）及び絞り値を導出する。そして、導出した露光時間及び絞り値となるように関係各部を制御することによって露出状態の設定を行う。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤを指す。

二次記憶部６０には、撮像プログラム６０Ａが記憶されている。ＣＰＵ５２は、二次記憶部６０から撮像プログラム６０Ａを読み出し、読み出した撮像プログラム６０Ａを一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した撮像プログラム６０Ａに従って撮像から表示までの処理を実行する。

操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力される。ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体光は、フォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ４９，５０に接続されている。デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ４９，５０を制御する。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳイメージセンサである。一例として図２Ａに示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０は、少なくとも光電変換素子９２とメモリ９６が１チップ化されていることが好ましい。少なくとも光電変換素子９２とメモリ９６が１チップ化されていることにより、光電変換素子９２とメモリ９６とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。図２Ａには、光電変換素子９２と処理回路９４とメモリ９６とが積層されて１チップ化された撮像素子２０を示している。具体的には、光電変換素子９２及び処理回路９４は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路９４及びメモリ９６も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。

撮像素子２０は、光電変換素子９２にメモリ９６が積層された積層型撮像素子である。光電変換素子９２にメモリ９６が積層されていることにより、光電変換素子９２とメモリ９６とが積層されていない撮像素子に比べ、光電変換素子９２とメモリ９６との間での処理にかかる負荷が軽減される。

一例として図３に示すように、処理回路９４は、本開示の技術に係る「プロセッサ」の一例であり、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含む。処理回路９４は、デバイス制御部７４を介してＣＰＵ５２の制御下で動作する。

光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。

光電変換素子駆動回路９４Ａは、ＣＰＵ５２の制御下で、光電変換素子９２を制御し、光電変換素子９２から撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示すアナログの画像データを指す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出されたアナログの画像データをＡＤ変換によりデジタル化し、デジタル化した画像データをメモリ９６に記憶する。メモリ９６は、複数フレームの画像データを記憶可能である。画像処理回路９４Ｃは、メモリ９６に記憶された画像データに対して処理を施す。光電変換素子駆動回路９４Ａは、本開示の技術に係る「読出部」の一例である。メモリ９６は、本開示の技術に係る「記憶部」の一例である。画像処理回路９４Ｃは、本開示の技術に係る「処理部」の一例である。出力回路９４Ｄは、本開示の技術に係る「出力部」の一例である。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭが採用されているが、本開示の技術はこれに限らず、ＳＲＡＭであってもよい。

本実施形態では、処理回路９４は、ＡＳＩＣによって実現されている。ただし、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも２つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサ（以下、画素という場合もある）を有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６列×３２６５行”画素分のフォトダイオードが挙げられる。なお、以下では、画素の行をラインという場合がある。

光電変換素子９２は、カラーフィルタを備えている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から、画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、デモザイクとは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤイメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆる露光時間を指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像等の動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ７２を作動させずに、電子シャッタ機能を働かせることで実現される。

処理回路９４は、デバイス制御部７４を介してＣＰＵ５２によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られたフレーム毎のアナログの画像データを読み出す。アナログの画像データは、光電変換素子９２に蓄積された信号電荷に基づくデータである。処理回路９４は、光電変換素子９２から読み出したアナログの画像データに対してＡＤ変換を行う。処理回路９４は、アナログの画像データに対してＡＤ変換を行うことで得たデジタルの画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６からデジタルの画像データを取得し、取得した画像データを処理して出力画像データとして後段回路９０のＩ／Ｆ５６に出力する。以下、アナログ又はデジタルの画像データを単に「画像データ」と称する。

第１フレームレートは、光電変換素子９２において露光を開始してから、露光により撮像した１フレームの画像データを光電変換素子９２から読み出し、読み出した画像データをＡＤ変換し、ＡＤ変換された画像データをメモリ９６に記憶するまでの時間に関するフレームレートである。第２フレームレートは、１フレームの出力画像データを撮像素子２０の外部に出力するために要する時間に関するフレームレートである。ここで言う「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。第１フレームレートは、第２フレームレートよりも高いフレームレートである。

第１実施形態では、第２フレームレートの一例として、６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用されている。ただし、本開示の技術はこれに限定されず、“第２フレームレート＜第１フレームレート”の関係性を満たしていれば、第２フレームレートは変更可能である。また、第１フレームレートは、第２フレームレート以下にならない範囲内で変更可能である。以下において、第２フレームレートで出力する１フレーム分の出力期間を単に「出力期間」と称する。第２フレームレートが上述の６０ｆｐｓであった場合、出力期間は６０分の１秒（１６．６６７ミリ秒）である。

撮像素子２０の１回の露光で１つのフレームの画像データが得られる。第１実施形態では、露光と画像データの読出処理はライン毎にローリングシャッタ方式で行われる。１ラインの露光が終了すると、そのラインの電荷の読み出し、ＡＤ変換、ＡＤ変換された画像データのメモリ９６への記憶及びリセットが実行される。読み出しからリセットまでを画像データの読出処理と称する。

ここで第１実施形態に係る撮像素子２０の詳細な動作を説明する前に、第１フレームレートと第２フレームレートとを同じとしたときの問題について説明する。

一例として図４Ａに示すように、第１フレームレートと第２フレームレートが同じ６０ｆｐｓで読出処理及び出力を行う場合を説明する。図４Ａの横軸は時間であり、第１フレームから第４フレームまで、被写体の明るさが次第に明るくなり、過露光を抑制するため露光時間がＴ１，Ｔ２，Ｔ３，Ｔ４と次第に短くなった場合を想定する。１フレーム目の露光時間Ｔ１は例えば６０分の１秒であるが、２フレーム目の露光時間Ｔ２はＴ１より短い。３フレーム目の露光時間Ｔ３はＴ２より短く、４フレーム目の露光時間Ｔ４はＴ３より短い。

図４Ａでは、光電変換素子９２の第１ラインから第Ｎラインの露光の開始時点、つまり露光のためのリセットを１本の斜線で示している。しかし詳細には図４Ｂに示すように、リセット後の露光、読み出し、ＡＤ変換、メモリへの記憶、及びリセットまでの動作がライン毎に行われる。画像データのメモリ９６への記憶は、ＡＤ変換が終了してから行われるため、時間的には露光時間とは重ならないが、説明のため露光の開始時点を示す斜線と同じ期間に太い斜線で示している。さらに、記憶された画像データの出力を同じ期間に太い斜線で示している。以下の説明では、簡略化のために図４Ｂに示す動作を図４Ａに示すように表す。

図４Ａに示すように、露光時間がＴ１である場合、まず第１ラインが時間Ｔ１だけ露光し、露光後に読み出し及びＡＤ変換が行われ、１ライン分の画像データとしてメモリ９６に記憶される。第２ラインは第１ラインよりも遅れて時間Ｔ１だけ露光し、露光後に読み出し、及びＡＤ変換が行われ、１ライン分の画像データとしてメモリ９６に記憶される。この読出処理が最後の第Ｎラインまで順次行われ、全ラインの画像データが第１フレームの画像データとしてメモリ９６に記憶される。この動作が各フレームで繰り返される。

露光時間が短くなっても第１フレームレートは変わらないため、例えば第１ラインは、第２フレームのための露光時間Ｔ２の露光後に読み出し及びリセットが行われた後は、第３フレームのための露光が開始されるまで時間ＴＡだけ待つことになる。同様に、第１ラインは、第３フレームのための露光時間Ｔ３の露光後の読み出し及びリセットが行われた後、第４フレームのための露光が開始されるまで時間ＴＢだけ待ち時間が生じる。また、第１ラインは、第４フレームのための露光時間Ｔ４の露光後の読み出し及びリセットが行われた後、第５フレームのための露光が開始されるまで時間ＴＣだけ待ち時間が生じる。

このように、露光時間が短くなるほど、次のフレームの露光が開始されるまでの待ち時間が長くなる。待ち時間は、第１ラインから最後の第Ｎラインまで共通して発生する。そのため、動いている被写体を撮像する場合、この待ち時間の間に被写体が移動してしまう。そのため、第２フレームから第４フレームまでをフレーム毎に示すと、例えば図５Ａから図５Ｃに示すような断続的な画像となる。これを動画像として出力した場合、図５Ｄに示すように、被写体が不連続に移動するような、ぎこちない動きに感じられる。

動画像で滑らかな動きを表示するためには、１フレームの露光時間を出力期間に近づけることが考えられる。１フレームの露光時間を出力期間に近づけることを、時間開口を広げるとも称する。時間開口を広げることにより、上記の待ち時間が短くなるため、１つのフレーム画像の被写体の動きと次のフレームの被写体の動きがつながり、被写体が連続して滑らかに動くように見える。しかし、過露光を抑制するために、被写体が明るくなるほど露光時間が短く設定されることになるため、時間開口を広げることが難しい場合がある。

以上のような問題を解決する、第１実施形態に係る撮像素子２０の動作について説明する。第１実施形態では、第１フレームレートは、露光時間に連動して、第２フレームレートよりも高いフレームレートに変更される。これにより、被写体の明るさの変化に対応することができる。より具体的には、露光時間が短くなるに従って、第１フレームレートが高く変更される。これにより、比較的明るい被写体に対応することができる。ただし、第１フレームレートは、露光時間が出力期間より短い場合にのみ、第２フレームレートよりも高い値に変更される。第１フレームレートを第２フレームレートより高く変更するということは、出力期間内に複数回、つまり１回より多く露光するということである。

一例として図６に示すように、被写体が時間経過につれて明るくなる場合を想定する。図６の横軸は時間を表す。第２フレームレートは６０ｆｐｓとする。被写体が次第に明るくなると、露光Ｅ１からＥ６の露光時間はＴ１からＴ６のように次第に短くなる。しかし、本実施形態では、図４Ａに示す方法とは異なり、露光と読出処理は、待ち時間を設けることなく連続して行われる。そうすると、１つの出力期間において、複数フレームの画像データが並行して読み出される場合がある。例えば図に示す第３フレームの出力期間においては、最大で露光Ｅ３、Ｅ４及びＥ５に係る３フレームの画像データが並行して読み出され、記憶されている。つまり、光電変換素子駆動回路９４Ａは、画像データが１フレーム分出力される期間として第２フレームレートで規定された出力期間内に、撮像された複数のフレームの各々の画像データを並行して読み出す。

撮像のための露光は、前回の露光開始後、光電変換素子駆動回路９４Ａによる１ライン分の画像データの読出処理が完了してから再開される。特に、前回の露光による画像データの読出処理が完了してから、待ち時間を置かずに再開されることが好ましい。これにより、常時露光している状態に近づけることができ、露光時間に関わらず、前回の露光と次回の露光との間の露光しない時間を比較的短くすることができる。なお、第１実施形態では画像データを１ラインずつ読み出すが、１画素分ずつ読み出してもよい。

図２Ｂに示すように、メモリ９６は、画像データの各々を個別に記憶する複数の記憶領域である第１領域９６Ａ、第２領域９６Ｂ、第３領域９６Ｃ、・・・を有する。以下、「記憶領域」を「領域」とも称する。図６に示すように、最初の露光Ｅ１（露光時間Ｔ１）によって得られた画像データは、光電変換素子駆動回路９４Ａによって読み出され、ＡＤ変換回路９４ＢによってＡＤ変換される。そして、ＡＤ変換された画像データがメモリ９６の第１領域９６Ａに記憶される。記憶された画像データは、出力回路９４Ｄにより第１フレームの出力画像データとして出力され、例えば第１ディスプレイ４０に表示される。これにより、出力回路９４Ｄにより出力された複数の画像データに基づく画像をユーザに視認させることができる。

第１ラインの画像データの読み出し後に画像データはリセットされて読出処理が終了する。読出処理が終了すると、待ち時間を置かずに第２の露光Ｅ２（露光時間Ｔ２）が開始される。これを露光と読出処理が連続して行われると称する。以上の処理はライン毎に行われる。

露光Ｅ２によって得られた画像データは、読み出され、ＡＤ変換された後、メモリ９６の、第１領域９６Ａとは異なる第２領域９６Ｂに記憶される。露光Ｅ２によって得られた画像データの読み出し後、画像データはリセットされ、露光Ｅ３が開始される。露光Ｅ３によって得られた画像データの読み出しは、図６に示すように露光Ｅ２の読み出しの途中から時間的に重なる。そのため、露光Ｅ３によって得られた画像データは、露光Ｅ２によって得られた画像データの記憶処理が実行されているメモリ９６の第２領域９６Ｂとは異なる第１領域９６Ａに記憶される。つまり、メモリ９６は、光電変換素子駆動回路９４Ａによって並行して読み出された画像データの各々を並行して記憶する。

以上のように、露光Ｅ１から露光Ｅ６まで、露光と読出処理が連続して行われる。メモリ９６への記憶処理は、メモリ９６に設けられた第１領域９６Ａ、第２領域９６Ｂ、第３領域９６Ｃ、・・・のうち、記憶処理が並行して実行されるように異なる領域を選択して実行される。露光と読出処理を連続して行うことで、１つの出力期間内に複数の画像、つまり１枚より多くの画像を撮像することができる。

第２フレーム用の出力画像データは、露光Ｅ２によって得られた画像データが出力される。第３フレーム用の出力画像データは、露光Ｅ３によって得られた画像データと、露光Ｅ４によって得られた画像データとが合成された画像データである。また、第４フレーム用の出力画像データは、露光Ｅ５によって得られた画像データと、露光Ｅ６によって得られた画像データとが合成された画像データである。画像処理回路９４Ｃは、メモリ９６に記憶された複数のフレームの各々の画像データを合成することにより、１フレーム分の出力画像データを生成する生成処理を行う。

画像データを合成する出力画像データの生成処理は、公知の方法で行うことができる。例えば、画像処理回路９４Ｃは、メモリ９６に記憶されている複数のフレームの各々の画像データの少なくとも一部を画素単位で加算平均した１フレーム分の画像データを生成する。例えば加算平均する画像データのうちの１つにノイズが乗っていた場合、加算平均することによりノイズが低減されるので、画質劣化を防止できる。また、単に加算しただけでは、画素値が大きくなって過露光となるおそれがあるが、加算平均をすることにより過露光を防止できる。合成処理は、複数の画像データの、少なくとも一部の共通する画素に対して行うことができる。合成された出力画像データは、メモリ９６に記憶される。なお、出力画像データをメモリ９６以外の記憶装置に記憶させてもよい。

出力回路９４Ｄは、画像処理回路９４Ｃにより生成されメモリ９６に記憶された出力画像データを第２フレームレートで後段回路９０に出力する。ＣＰＵ５２は、出力された出力画像データを一次記憶部５８に記憶し、第１表示制御部６４によって第１ディスプレイ４０に表示させる。

以上の処理をフローチャートを用いて説明する。まず、後段回路９０のＣＰＵ５２が行う撮像処理を図７を用いて説明する。ステップＳ１０において、ＣＰＵ５２は、ＡＥ情報により示される画像の明るさに応じた露光時間を導出し、一次記憶部５８に記憶する。次にステップＳ１１において、ＣＰＵ５２は、記憶した露光時間をデバイス制御部７４に出力する。次にステップＳ１２において、ＣＰＵ５２は、第２フレームレートに従った垂直同期信号の出力タイミングであるか否かを判定する。ステップＳ１２において、判定が否定された場合はステップＳ１５へ移行する。ステップＳ１２において、判定が肯定された場合は、ステップＳ１３へ移行し、ＣＰＵ５２は、デバイス制御部７４に垂直同期信号を出力する。次にステップＳ１４において、ＣＰＵ５２は、撮像素子２０から入力された出力画像データを、第１表示制御部６４を制御して第１ディスプレイ４０に表示させる。その後、撮像処理はステップＳ１５に移行する。

ステップＳ１５において、ＣＰＵ５２は、撮像終了条件が成立したか否かを判定する。判定が肯定された場合は、撮像終了条件が成立したことをデバイス制御部７４に出力した後、撮像処理を終了する。判定が肯定された場合とは、例えばユーザが操作部５４から撮像終了を指示した場合である。ステップＳ１５において、判定が否定された場合はステップＳ１０に戻る。以上の処理は、ＣＰＵ５２が撮像プログラム６０Ａを実行することによって実行される。

次に、ＣＰＵ５２の制御により撮像素子２０が実行する露光読出処理について図８を用いて説明する。まずステップＳ１６において、光電変換素子駆動回路９４Ａは、ＣＰＵ５２からデバイス制御部７４に入力された露光時間を取得する。次にステップＳ１７において、光電変換素子駆動回路９４Ａは、取得した露光時間で露光するように光電変換素子９２を制御する。次にステップＳ１８において、光電変換素子駆動回路９４Ａは、露光により得られた画像データを読み出す。そしてＡＤ変換回路９４Ｂは、読み出された画像データのＡＤ変換処理を行い、ＡＤ変換した画像データをメモリ９６に記憶する。次にステップＳ１９において、光電変換素子駆動回路９４Ａは、露光終了条件が成立したか否かを判定する。露光終了条件が成立するとは、例えば撮像終了条件が成立したことがＣＰＵ５２からデバイス制御部７４に入力されたことである。判定が肯定された場合は、光電変換素子駆動回路９４ＡとＡＤ変換回路９４Ｂは、露光読出処理を終了する。判定が否定された場合はステップＳ１６に戻る。

次に、ＣＰＵ５２の制御により撮像素子２０が実行する出力画像生成処理について図９を用いて説明する。ステップＳ２０において、画像処理回路９４Ｃは、ＣＰＵ５２からデバイス制御部７４に垂直同期信号が入力されたか否かを判定する。判定が否定された場合は、ステップＳ２０を繰り返す。判定が肯定された場合は、ステップＳ２１に移行して、画像処理回路９４Ｃは、その時点でメモリ９６に記憶されている出力可能な画像データが複数あるか否かを判定する。出力可能な画像データが複数記憶されている場合は、判定が肯定されてステップＳ２２に移行し、画像処理回路９４Ｃは、複数の画像データを合成して１つの出力画像データを生成する。生成された出力画像データは、メモリ９６又はその他の記憶部に記憶される。ステップＳ２１において、判定が否定された場合は、ステップＳ２３に移行し、画像処理回路９４Ｃは、１つの画像データから１つの出力画像データを生成する。生成された出力画像データは、メモリ９６又はその他の記憶部に記憶される。

次にステップＳ２４において、出力回路９４Ｄは、生成された出力画像データを後段回路９０のＩ／Ｆ５６に出力する。次にステップＳ２５において、画像処理回路９４Ｃは、出力画像生成終了条件が成立したか否かを判定する。出力画像生成終了条件が成立するとは、例えば撮像終了条件が成立したことがＣＰＵ５２からデバイス制御部７４に入力されたことである。ステップＳ２５において、判定が肯定された場合は、画像処理回路９４Ｃは、出力画像生成処理を終了する。判定が否定された場合はステップＳ２０に戻る。

以上説明したように、複数の画像データを用いて１フレーム分の出力画像データを生成することにより、１つの出力期間における被写体の移動の軌跡（残像）が映った画像を得ることができる。例えば、図６に示した第２フレームは露光時間がＴ２であり、図１０Ａに示すように露光時間Ｔ２で撮像された被写体が映る。図６に示した第３フレームは、露光Ｅ３と露光Ｅ４での画像を合成するため、露光時間Ｔ３とＴ４を合計した時間での被写体の移動の軌跡が映った図１０Ｂに示す画像が得られる。同様に、第４フレームは、露光Ｅ５と露光Ｅ６での画像を合成するため、露光時間Ｔ５とＴ６を合計した時間での被写体の移動の軌跡が映った図１０Ｃに示す画像が得られる。これらを動画像としてみると、図１０Ｄに示すように、被写体が滑らかに移動するように見える。

画像処理回路９４Ｃが出力画像データを合成する場合、１出力フレーム内の露光時間を合計すると出力期間にできるだけ近い露光時間となるような画像データを足し合わせて合成することが好ましい。このようにすることにより、出力期間に相当する時間内の被写体の移動の軌跡を１出力フレームに合成することができ、より自然な動画像を得ることができる。

上記の処理により得られた出力画像データは、メモリ９６又はその他の記憶部に記憶される。また、ライブビュー画像として第１ディスプレイ４０に表示される。

第１実施形態に係る撮像素子２０によれば、出力期間により近い合計露光時間の画像データを合成することができる。これにより、出力時のフレームレートに相当する露光時間よりも短い露光時間で撮像された画像をそのまま出力する場合に比べ、滑らかな動画像を出力できる。

［第２実施形態］
露光時間が短くなるにつれて、１つの出力期間に露光する回数は増加する。そのため、１つの出力期間において並行して読み出す画像データの数が増加する。一方、ＡＤ変換を行うＡＤ変換回カラムの数は限られる場合がある。１つの出力期間において並行して読み出す画像データの数が、同時にＡＤ変換を行うことができる画像データの数よりも多くなると、ＡＤ変換が滞り、並行して画像データの読み出しをすることができない。そこで、本実施形態においては、光電変換素子駆動回路９４Ａは、画像データの読出速度を、並行して読み出す画像データの数に応じて変更する。換言すれば、画像データの読出速度を、画像データを並行して読み出すフレームの数に応じて変更する。なお、読出速度とは、読出処理を行う速度である。これにより、画像データを滞りなく処理することができる。

具体的には、本実施形態においては、光電変換素子駆動回路９４Ａは、画像データの読出速度を、画像データを並行して読み出すフレーム、つまり画像データの数と、読み出された画像データをＡＤ変換するＡＤ変換回路、つまりＡＤ変換カラムの個数と、に応じて変更する。

第２実施形態では、図１１Ａに示すように、撮像素子２０は、ＡＤ変換回路９４Ｂとして、Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｂ０，Ｂ１，Ｂ２及びＢ３の合計８個のＡＤ変換カラムを有している。撮像素子２０は、同時に２個のＡＤ変換カラムを１組として使用して２ラインのＡＤ変換処理を並行して実行する。ＡＤ変換カラムの組は、ＡＤ変換カラムＴ０とＢ０、ＡＤ変換カラムＴ１とＢ１、ＡＤ変換カラムＴ２とＢ２、及びＡＤ変換カラムＴ３とＢ３の４組である。なお、以下では、８個のＡＤ変換カラムＴ０～Ｔ３，Ｂ０～Ｂ３を特に区別する必要がない場合は、ＡＤ変換回路９４Ｂと称する。

図１１Ａに示すように、第１画像の画像データだけをＡＤ変換する場合は、８個のＡＤ変換カラムのうち、ＡＤ変換カラムＴ０とＢ０の１組を用いて、２ラインを並行してＡＤ変換する。また、図１１Ｂに示すように、第１画像及び第２画像の２つの画像データをＡＤ変換する場合は、ＡＤ変換カラムＴ０とＢ０、及びＡＤ変換カラムＴ１とＢ１の２組を用いて、２つの画像データをそれぞれ２ラインずつ並行してＡＤ変換する。同様に、図１１Ｃに示すように、第１画像から第３画像までの３つの画像データをＡＤ変換する場合は、図１１Ｂに示す例にＡＤ変換カラムＴ２とＢ２の１組を加えて３組のＡＤ変換カラムで３つの画像データを並行してＡＤ変換する。同様に、図１１Ｄに示すように、第１画像から第４画像までの４つの画像データをＡＤ変換する場合は、さらにＡＤ変換カラムＴ３とＢ３の１組を加えて４つの画像データを並行してＡＤ変換する。

以上のようにＡＤ変換カラムを使用することにより、最大で８ライン、４フレーム分の画像データを並行してＡＤ変換処理を行うことができる。換言すれば、最大で８ライン、４フレーム分の画像データを並行して読出処理を行うことができる。

ここで一例として図１２に示すように、露光時間が、予め定められた第１閾値より短い、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８と連続的に推移した場合を考える。露光時間がＴ１からＴ３までは、第１閾値以上の露光時間である。第１閾値は、並行してＡＤ変換処理が可能なフレーム数の画像を１つの出力期間に取得する露光時間として設定できる。

この場合、図１２の点線の枠で示した時間ＴＸにおいて、Ｔ４からＴ８の露光時間の画像データの読出処理が重なり、１０ライン、つまり５フレーム分の画像データの読出処理を行う必要がある。しかし、前述のように、ＡＤ変換カラムは、８ライン、つまり４フレーム分の画像データへのＡＤ変換処理が限界であるので、５フレーム分の画像データを並行してＡＤ変換処理することはできない。

そこで、画像データの読出速度を低下させて読出処理する。こうすることで、５フレーム分以上の画像データを並行して読出処理する。具体的には、図１２で説明した場合において、露光時間がＴ１からＴ３までに露光された画像データに対しては、通常時のＡＤ変換の処理速度で処理する。一方、露光時間が予め定められた第１閾値より短いＴ４からＴ８で露光された画像データに対しては、通常時よりもＡＤ変換の処理速度を低くして処理する。

ここで、画像データのＡＤ変換の処理速度を低くするとは、１フレーム分の画像データのライン毎のＡＤ変換が連続して行われるのではなく、断続的に行われるということである。４組のＡＤ変換カラムが、ある時点で同時にＡＤ変換できるライン数は８ラインであり、並行してＡＤ変換処理が可能な画像データ数は４つまでである。そこで、例えば５フレーム分の画像データをＡＤ変換処理する場合は、５フレーム分の画像データのライン毎に４組のＡＤ変換カラムを順番に割り当ててＡＤ変換処理する。そのため、ある時点ではＡＤ変換処理されていない画像データが生じる。その結果、１つの画像データのＡＤ変換の処理速度は見かけ上低くなる。

具体的には、図１３に示すように、並行してＡＤ変換処理をすべき５フレーム分の画像データを第１データから第５データとする。最初のＡＤ変換処理１では第１データから第４データまでの第１ラインＬ１（以下、第１ラインをＬ１、第２ラインをＬ２のように称する。）及びＬ２をＡＤ変換する。第５データはＡＤ変換しない。次のＡＤ変換処理２では、第２データから第４データのＬ３及びＬ４と、第５データのＬ１及びＬ２をＡＤ変換する。第１データはＡＤ変換しない。次のＡＤ変換処理３では、第３データと第４データのＬ５及びＬ６と、第５データと第１データのＬ３及びＬ４をＡＤ変換する。第２データはＡＤ変換しない。このような処理を行うと、１つの画像データあたりのＡＤ変換処理時間は、見かけ上長くなる。そのため、各画像データの読出処理時間も、通常時の読出処理時間よりも長くなるが、５フレーム分の画像データを並行して読出処理することができる。

第２実施形態に係る露光読出処理を、図１４を用いて説明する。図１４において、第１実施形態で説明した図８と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップＳ１６とステップＳ１７は図８で説明したフローと同様である。次に、ステップＳ３２において、ＡＤ変換回路９４Ｂは、露光時間が予め定められた第１閾値よりも短いか否かを判定する。判定が肯定された場合、ステップＳ３４に移行する。ステップＳ３４において、ＡＤ変換回路９４Ｂは、ＡＤ変換の処理速度を低くしてＡＤ変換処理を行う。その後、露光読出処理はステップＳ１９に移行する。一方、ステップＳ３２において、判定が否定された場合は、ステップＳ３６に移行し、ＡＤ変換回路９４Ｂは、通常時のＡＤ変換の処理速度でＡＤ変換処理を行う。その後、露光読出処理はステップＳ１９に移行する。ステップＳ１９以降は図８で説明したフローと同じである。

以上説明したとおり、並行してＡＤ変換が可能な画像データ数を超える数の画像データの読出処理を行う場合は、各画像データのＡＤ変換の処理速度を通常時のＡＤ変換の処理速度よりも低くすることで、画像データを並行して読出処理を行うことができる。

なお、上記のＡＤ変換カラムＴ０～Ｔ３，Ｂ０～Ｂ３の数は例示であり、８個に限らない。ＡＤ変換カラムの数を増やせば、当然ながらより多くのフレームの画像データをＡＤ変換処理することが可能である。ただし、コストが嵩むため、無暗にＡＤ変換カラムの数を増やすことは好ましくない。このため本実施形態では、画像データを滞りなく処理するために、ＡＤ変換カラムの数を適当な数に絞って、画像データの読出速度を低下させている。

以上説明した第２実施形態によれば、ＡＤ変換カラムの数に限りがある場合でも、画像データを滞りなく処理することができる。

［第３実施形態］
第２実施形態で説明したように、読出処理のＡＤ変換処理を行うＡＤ変換カラムの数には限りがある。本実施形態では、画像データをＡＤ変換処理する場合のデータ量を、画像データを並行して読み出すフレームの数と、読み出された画像データをＡＤ変換するＡＤ変換カラムの数に応じて変更する。具体的には、画像データを並行して読み出すフレームの数が増えた場合、画像データをＡＤ変換処理する場合のデータ量である変換ビット精度を小さくする。変換ビット精度を下げると、ＡＤ変換処理の処理時間を少なくすることができるため、同じ時間内でより多くのフレーム分の画像データをＡＤ変換することができる。変換ビット精度は、１回のＡＤ変換処理で処理する画像データのビット数である。

例えば、露光時間が第２閾値より長い場合（露光時間＞第２閾値）、変換ビット精度を１４ビットとする。また、露光時間が第２閾値以下で、かつ第３閾値より長い場合（第３閾値＜露光時間≦第２閾値）、変換ビット精度を１２ビットとする。さらに、露光時間が第３閾値以下の場合（露光時間≦第３閾値）、変換ビット精度を１０ビットとする。第２閾値は、例えば１出力期間の３分の１の時間である。また、第３閾値は、例えば１出力期間の５分の１の時間である。

露光時間が短くなるほど、画像データを並行して読み出すフレームの数は増大する。そして、本実施形態では、前述のように、露光時間が短くなるほど、ＡＤ変換処理の変換ビット精度を下げている。すなわち、ＡＤ変換処理の変換ビット精度を、画像データを並行して読み出すフレームの数に応じて変更している。変換ビット精度が小さいほど処理データが少なくなるため、ＡＤ変換処理の処理時間は短くなる。

なお、説明した変換ビット精度の数値は例示であり、具体的な数値は説明した数値に限られない。露光時間によって画像データのＡＤ変換処理を何フレーム分並行して行う必要があるかは、ＡＤ変換カラムの数と処理能力、及び第２フレームレートによる。また、変換ビット精度を変更してどの程度ＡＤ変換処理の処理時間を短くすることができるかは、ＡＤ変換カラムの処理能力による。そのため、これらの数値を考慮して、ＡＤ変換処理の変換ビット精度、および変換ビット精度を変更する第２閾値、第３閾値を適宜設定する。また、閾値の数は２つに限られない。例えば閾値を１つとして、２つの変換ビット精度を規定してもよい。

上述のＡＤ変換の変換ビット精度を変更する露光読出処理について、図１５を用いて説明する。図１５において、第１実施形態で説明した図８と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップＳ１６とステップＳ１７は図８と同様である。次に、ステップＳ５２において、ＡＤ変換回路９４Ｂは、露光時間が予め定められた第２閾値以下であるか否かを判定する。露光時間が第２閾値以下である場合は、ステップＳ５４に移行する。一方、露光時間が第２閾値より長い場合は、ステップＳ５８に移行する。

ステップＳ５８において、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａが読み出した画像データに対し、１４ビットの変換ビット精度でＡＤ変換処理を行う。ＡＤ変換回路９４Ｂは、ＡＤ変換した画像データをメモリ９６に記憶し、露光読出処理はステップＳ１９に移行する。

ステップＳ５４において、ＡＤ変換回路９４Ｂは、露光時間が予め定められた第３閾値以下であるか否かを判定する。露光時間が第３閾値以下である場合は、ステップＳ５６に移行する。ステップＳ５６において、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａが読み出した画像データに対し、１０ビットの変換ビット精度でＡＤ変換処理を行う。ＡＤ変換回路９４Ｂは、ＡＤ変換した画像データをメモリ９６に記憶し、露光読出処理はステップＳ１９に移行する。

一方、ステップＳ５４において、露光時間が第３閾値以下ではない場合は、ステップＳ６０に移行する。ステップＳ６０において、ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａが読み出した画像データに対し、１２ビットの変換ビット精度でＡＤ変換処理を行う。ＡＤ変換回路９４Ｂは、ＡＤ変換した画像データをメモリ９６に記憶し、露光読出処理はステップＳ１９に移行する。ステップＳ１９以降は第１実施形態の図８で説明したフローと同じである。

以上説明した第３実施形態によれば、ＡＤ変換カラムの数に限りがある場合でも、画像データを滞りなく処理することができる。また、第２実施形態のように、画像データの読出速度を通常時よりも低下させないため、ローリング歪みが増大する懸念もない。

［第４実施形態］
長時間撮像すると記憶する画像データが増加し、メモリ９６の記憶容量を圧迫する。本実施形態では、ＣＰＵ５２は、メモリ９６に記憶した画像データのうち、出力した出力画像データを合成するのに使用した画像データを、その出力画像データを出力した後、削除する。これにより、メモリ９６の有効利用を図ることができる。

一例として図１６に示すように、第１フレームとして出力した出力画像データは、露光Ｅ１で得られて記憶された画像データＤ１に基づき作成されたものである。そこで、画像データＤ１は、第１フレームが出力された後、削除される。なお、図１６では、削除処理は斜線を入れた枠で示している。同様に、第２フレームとして出力した出力画像データの作成に用いられた露光Ｅ２に基づく画像データＤ２は、第２フレームの出力画像データが出力された後、削除される。第３フレームの出力画像データは、露光Ｅ３とＥ４に基づく画像データＤ３と画像データＤ４を合成したものである。そこで、画像データＤ３と画像データＤ４は、第３フレームが出力された後、削除される。同様に、第４フレームの出力画像データに用いられた画像データＤ５と画像データＤ６は、第４フレームが出力された後、削除される。画像データＤ５と画像データＤ６は、画像データＤ１が削除されたメモリ９６の第１領域９６Ａと、画像データＤ２が削除されたメモリ９６の第２領域９６Ｂにそれぞれ記憶されていたものである。画像データを出力後にメモリ９６から削除することで、メモリ９６の有効利用を図ることができる。

［第５実施形態］
露光時間が短くなって、複数の露光による画像データから１つの出力画像データを合成する場合、どの時点での画像を合成して出力画像データを作成するかにより、出力される画像にタイムラグが生じる場合がある。タイムラグとは、露光された時間と出力された時間との差である。出力するタイミングからより離れた時点で露光された画像データを用いて合成すると、出力された画像のタイムラグがより大きくなる。

本実施形態では、複数の画像データから、画像データの一部である部分画像データを組み合わせる。具体的には、例えば出力期間よりも前に露光した、又は出力期間よりも前に露光が開始された画像データを出力画像データとして出力する場合を考える。この場合、画像処理回路９４Ｃは、出力画像データの出力の途中から、それまで出力された出力画像データの残りの画像データに、より出力時に近い時期に露光された画像データの部分画像データを組み合わせて出力画像データを生成する。より出力時に近い時期に露光された画像データは、例えば出力中に新しく記憶されつつある画像データである。また、組み合わせる部分画像データは、それまで出力された出力画像データの残りの画像データと画素位置が対応する部分画像データである。この方法により、一部が時間的に新しい出力画像データを出力することができる。

一例として図１７に示すように、露光Ｅ１に基づいてメモリ９６に記憶された画像データＤ１のうち、第１ラインから第ｎラインまでの部分画像データ４Ａが第３フレームとして出力されつつある。部分画像データ４Ａが出力され終わった時点で、第３フレームで出力可能な露光Ｅ２に基づく画像データＤ２がメモリ９６に記憶されつつあるので、画像処理回路９４Ｃが画像データＤ２を画像データＤ１と合成する。なお、ｎは、ライン数をＮとした場合、２以上でＮより小さい整数である。

具体的には、画像処理回路９４Ｃは、露光Ｅ１に基づく画像データＤ１のうち、第（ｎ＋１）ラインから第Ｎライン（最終ライン）までの部分画像データ４Ｂと、露光Ｅ２に基づく画像データＤ２のうち、第（ｎ＋１）ラインから第Ｎラインまでの部分画像データ４Ｃとを合成して部分画像データ４Ｄを生成する。出力回路９４Ｄは、生成された部分画像データ４Ｄを、部分画像データ４Ａに続けて出力する。合成は、例えば加算平均による合成である。

以上説明したとおり、画像データＤ１及び時間的に新しい画像データＤ２の、画素が共通する部分画像データを組み合わせて合成することにより、第３フレームとして、一部が時間的に新しい出力画像データを出力することができる。

［変形例］
第５実施形態において、出力画像データを途中から新しく記憶された画像データと合成する代わりに、出力中に記憶した画像データに差し替えることができる。

一例として図１８に示すように、第３フレームは、露光Ｅ１に基づく画像データＤ１のうち、部分画像データ４Ａを出力した後、露光Ｅ２に基づく画像データＤ２のうちの部分画像データ４Ｃに差し替えて出力する。部分画像データ４Ａと部分画像データ４Ｃは、上述したとおりである。これにより、第３フレームとして、一部が時間的に新しい出力画像データを出力することができる。

第５実施形態とその変形例の出力画像生成処理について、図１９を用いて説明する。図１９において、第１実施形態で説明した図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。ステップＳ２０、Ｓ２１、Ｓ２２及びＳ２３については、図９で説明したフローと同じである。次にステップＳ７０において、出力回路９４Ｄは、出力画像データの出力を開始する。次にステップＳ７２において、画像処理回路９４Ｃは、途中から出力可能な新しい画像データがあるか否かを判定する。判定が肯定された場合は、出力画像生成処理はステップＳ７４に移行し、画像処理回路９４Ｃは、新しい画像データの一部である部分画像データを合成するか、又は部分画像データに差替えて残りの出力用の部分画像データを新たに生成する。次に、ステップＳ７６において、出力回路９４Ｄは、生成された残りの部分画像データを出力する。

一方、ステップＳ７２において、判定が否定された場合は、出力画像生成処理はステップＳ７６に移行して、出力回路９４Ｄは、残りの出力画像データを出力する。ステップＳ７６の後、出力画像生成処理はステップＳ２５に移行する。ステップＳ２５以降は、図９で説明したフローと同じである。

以上説明した第５実施形態によれば、一部が時間的に新しい出力画像データを出力することができる。

例えば、図２０に示すように、上述した撮像処理、露光読出処理、及び出力画像生成処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるための各種のプログラム２００を記憶媒体２１０に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体２１０のプログラム２００がコンピュータ２０Ａにインストールされる。コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム２００に従って、上述した撮像処理、露光読出処理、及び出力画像生成処理等を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。

なお、記憶媒体２１０の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム２００を記憶させておき、プログラム２００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム２００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム２００に従って処理回路９４を制御するようにすればよい。

上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２１に示すスマートデバイス３００に対して本開示の技術を適用するようにしてもよい。図２１に示すスマートデバイス３００は、本開示の技術に係る撮像装置の一例である。スマートデバイス３００には、上記各実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス３００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス３００に限らず、ＰＣ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部（ディスプレイ）」として用いるようにしてもよい。

また、上記の各実施形態で説明した撮像処理、露光読出処理、及び出力画像生成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (15)

1. 撮像素子であって、
   第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力するプロセッサと、
   前記画像データを記憶するメモリと、を含み、
   前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートであり、
   前記プロセッサは、前記画像データが１フレーム分出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの前記画像データを並行して読み出し、
   前記メモリは、前記プロセッサにより並行して読み出された前記画像データを並行して記憶し、
   前記プロセッサは、前記メモリに記憶されている複数のフレームの前記画像データを用いて１フレーム分の出力画像データを生成する生成処理を行い、前記生成処理により生成された前記出力画像データを前記第２フレームレートで出力する
   撮像素子。
2. 前記第１フレームレートは、露光時間に連動して変更される請求項１に記載の撮像素子。
3. 前記第１フレームレートは、露光時間が短くなるに従って高くなる請求項２に記載の撮像素子。
4. 撮像のための露光は、露光開始後、前記プロセッサによる少なくとも１画素分の前記画像データの読出処理が完了してから再開される請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記プロセッサは、前記画像データの読出速度を、前記画像データを並行して読み出す前記フレームの数に応じて変更する請求項１から請求項４の何れか一項に記載の撮像素子。
6. 前記プロセッサは、前記画像データの読出速度を、前記画像データを並行して読み出す前記フレームの数と、読み出された前記画像データをＡＤ変換するＡＤ変換回路の個数と、に応じて変更する請求項５に記載の撮像素子。
7. 前記プロセッサは、前記画像データをＡＤ変換処理する場合のデータ量を、前記画像データを並行して読み出す前記フレームの数と、読み出された前記画像データをＡＤ変換するＡＤ変換回路の個数と、に応じて変更する請求項５に記載の撮像素子。
8. 前記メモリは、前記複数の画像データを個別に記憶する複数の記憶領域を含む請求項１から請求項７の何れか一項に記載の撮像素子。
9. 前記生成処理は、前記メモリに記憶されている前記複数のフレームの前記画像データの少なくとも一部を画素単位で加算平均した１フレーム分の画像データを生成する処理である請求項１から請求項８の何れか一項に記載の撮像素子。
10. 前記生成処理は、複数の前記画像データから、前記画像データの一部である部分画像データを組み合わせることにより、１フレーム分の出力画像データを生成する請求項１から請求項９の何れか一項に記載の撮像素子。
11. 少なくとも光電変換素子と前記メモリとが１チップ化された請求項１から請求項１０の何れか一項に記載の撮像素子。
12. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１１に記載の撮像素子。
13. 請求項１から請求項１２の何れか一項に記載の撮像素子と、
    前記プロセッサにより出力された前記出力画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサと、
    含む撮像装置。
14. 第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す工程と、
    前記画像データを記憶する工程と、
    前記画像データに対して処理を行う工程と、
    処理された前記画像データを前記第１フレームレートよりも低い第２フレームレートで出力する工程と、を含む撮像方法であって、
    前記読み出す工程は、前記画像データが１フレーム分出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの前記画像データを並行して読み出し、
    前記記憶する工程は、並行して読み出された前記画像データを並行して記憶し、
    前記処理を行う工程は、記憶されている複数のフレームの前記画像データを用いて１フレーム分の出力画像データを生成し、
    前記出力する工程は、生成された前記出力画像データを前記第２フレームレートで出力する、撮像方法。
15. コンピュータに、
    第１フレームレートで被写体が撮像されることで得られるフレーム毎の画像データを読み出す手順と、
    前記画像データを記憶する手順と、
    前記画像データに対して処理を行う手順と、
    処理された前記画像データを前記第１フレームレートよりも低い第２フレームレートで出力する手順と、を実行させるためのプログラムであって、
    前記読み出す手順は、前記画像データが１フレーム分出力される期間として前記第２フレームレートで規定された出力期間内に、複数のフレームの前記画像データを並行して読み出し、
    前記記憶する手順は、並行して読み出された前記画像データを並行して記憶し、
    前記処理を行う手順は、記憶されている複数のフレームの前記画像データを用いて１フレーム分の出力画像データを生成し、
    前記出力する手順は、生成された前記出力画像データを前記第２フレームレートで出力する、プログラム。

Images