JP2023051391A

JP2023051391A - 撮像装置、撮像制御方法、及び撮像制御プログラム

Info

Publication number: JP2023051391A
Application number: JP2021162017A
Authority: JP
Inventors: 秀昭國分; Hideaki Kokubu
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2023-04-11
Anticipated expiration: 2041-09-30
Also published as: US20230098738A1; JP7656524B2; US11861874B2

Abstract

【課題】撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。【解決手段】デジタルカメラ１００は、焦点検出用画素６１ｂ及び焦点検出用画素６１ｃを含む画素群が配置される第１受光領域（画素ライン６３）と、上記焦点検出用画素を含まない画素群が配置される第２受光領域（画素ライン６２）とを含む撮像素子５と、システム制御部１１と、を備え、システム制御部１１は、第１露光時間（露光時間ＥＸ１）にて撮像素子５に撮像を行わせる記録用撮像制御と、上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間（露光時間ＥＸ２）として撮像素子５に撮像を行わせる表示用撮像制御）と、を行う。【選択図】図４

Description

本発明は、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。

特許文献１には、ライブビュー表示のための撮像用信号を読み出すライブビュー用読み出しモードと、焦点検出用信号及び自動露光用測光情報に用いるための撮像用信号を固体撮像素子から読み出す焦点検出・自動露光用読み出しモードとを含む２つ以上の読み出しモードをフレーム毎に順次循環的に繰り返して行う固体撮像装置が記載されている。

特許文献２には、焦点検出用画素を含む行と、焦点検出用画素を含まない、撮像用画素からなる行とを有する撮像素子を有する撮像装置が記載されている。この撮像装置は、測光手段による測光結果に基づいて、撮像用画素のための第１の電荷蓄積時間と、焦点検出用画素のための第１の電荷蓄積時間より長い第２の電荷蓄積時間とを演算し、焦点検出用画素を含まない行を第１の電荷蓄積時間で、焦点検出用画素を含む行を第２の電荷蓄積時間で駆動し、第１の電荷蓄積時間で駆動された行の撮像用画素から得られた画像信号を周期的に更新して表示し、第２の電荷蓄積時間で駆動された行の焦点検出用画素から得られた画像信号に基づいて、位相差方式の焦点検出処理を行う。

特許文献３には、複数の画素の全画素の信号を読み出す全画素読み出しモードと、複数の画素の信号を間引いて読み出す間引き読み出しモードとを切り替える切り替え部と、切り替え部により間引き読み出しモードに切り替えられた場合に、画像生成のために用いられる撮像行と、焦点検出用画素を有する焦点検出行とで、独立して電荷の蓄積制御を行う制御部とを備える撮像装置が記載されている。

特開２００９－０８９１０５号公報特開２０１５－０６８９５９号公報特開２０１０－２１９９５８号公報

本開示の技術に係る一つの実施形態の撮像装置は、焦点検出用画素を含む画素群が配置される第１受光領域と、上記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子と、プロセッサと、を備え、上記プロセッサは、第１露光時間にて上記撮像素子に撮像を行わせる第１制御と、上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間として上記撮像素子に撮像を行わせる第２制御と、を行う、ものである。

本開示の技術に係る一つの実施形態の撮像制御方法は、焦点検出用画素を含む画素群が配置される第１受光領域と、上記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御方法であって、第１露光時間にて上記撮像素子に撮像を行わせる第１制御と、上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間として上記撮像素子に撮像を行わせる第２制御と、を行う、ものである。

本開示の技術に係る一つの実施形態の撮像制御プログラムは、焦点検出用画素を含む画素群が配置される第１受光領域と、上記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御プログラムであって、プロセッサに、第１露光時間にて上記撮像素子に撮像を行わせる第１制御と、上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間として上記撮像素子に撮像を行わせる第２制御と、を行わせる、ものである。

本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。図１に示す撮像素子５の概略構成を示す平面模式図である。相関演算結果を示す曲線の一例を示す図である。図１に示すデジタルカメラ１００の連写モード時における動作を説明するためのタイミングチャートの一例を示す図である。デジタルカメラ１００の動作の第一変形例を説明するためのタイミングチャートである。デジタルカメラ１００の動作の第二変形例を説明するためのタイミングチャートである。画素ライン６３を露光する際に用いるプログラム線図の一例を示す図である。画素ライン６３を露光する際に用いるプログラム線図の一例を示す図である。スマートフォン２００の外観を示すものである。図９に示すスマートフォン２００の構成を示すブロック図である。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

図１に示すデジタルカメラ１００は、撮像レンズ１、絞り２、レンズ制御部４、レンズ駆動部８、及び絞り駆動部９を有するレンズ装置４０と、本体部１００Ａと、を備える。本体部１００Ａは、撮像部５０と、システム制御部１１と、操作部１４と、表示装置２２と、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read only memory）等を含むメモリ１６と、メモリ１６へのデータ記録及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、デジタル信号処理部１７と、記録媒体２１へのデータ記録及び記録媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、を備える。

レンズ装置４０は、本体部１００Ａに着脱可能なものであってもよいし、本体部１００Ａと一体化されたものであってもよい。撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ等を含む。このフォーカスレンズは、撮像レンズ１及び絞り２を含む撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、電気的な制御により、光軸方向の主点の位置を変更可能な液体レンズが用いられてもよい。

レンズ装置４０のレンズ制御部４は、本体部１００Ａのシステム制御部１１と有線又は無線によって通信可能に構成される。レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、絞り駆動部９を介して絞り２の絞り値を制御したりする。

撮像部５０は、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像する撮像素子５と、撮像素子５を駆動する撮像素子駆動部１０と、を備える。

撮像素子５は、複数の画素６１が二次元状に配置された撮像面６０（図２参照）を有し、撮像光学系によってこの撮像面６０に結像される被写体像をこの複数の画素６１によって画素信号に変換して出力する。撮像素子５は、ＣＭＯＳ（complementary metal-oxide semiconductor）イメージセンサが好適に用いられる。以下では撮像素子５がＣＭＯＳイメージセンサであるものとして説明する。

デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を画像信号として出力させる。

撮像素子駆動部１０は、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することで、撮像素子５を駆動する。撮像素子駆動部１０は、ハードウェア的な構成は、半導体素子等の回路素子を組み合わせて構成された電気回路である。

システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、後述する表示面２２ｂと一体化されたタッチパネルと、各種ボタン等が含まれる。

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。システム制御部１１の実行するプログラムは、メモリ１６のＲＯＭに格納されている。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:PLD）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

表示装置２２は、有機ＥＬ（electroluminescence）パネル又は液晶パネル等で構成される表示面２２ｂと、表示面２２ｂの表示を制御する表示コントローラ２２ａと、を備える。

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２ａは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示す撮像素子５の概略構成を示す平面模式図である。撮像素子５は、複数の画素６１が行方向Ｘとこれに直交する列方向Ｙに二次元状に配置された撮像面６０を有する。複数の画素６１には、撮像光学系の瞳領域の行方向Ｘに並ぶ異なる２つの部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する焦点検出用画素６１ｂと、この一対の光束の他方を受光し受光量に応じた信号を検出する焦点検出用画素６１ｃと、この一対の光束の両方を受光し受光量に応じた信号を検出する通常画素６１ａと、が含まれる。

図２の例では、撮像面６０には、通常画素６１ａが行方向Ｘに複数個配列されてなる画素ライン６２と、焦点検出用画素６１ｂと焦点検出用画素６１ｃが交互に行方向Ｘに配列されてなる画素ライン６３と、が列方向Ｙに交互に配列されている。画素ライン６３には、焦点検出用画素６１ｂと焦点検出用画素６１ｃのペアが複数含まれていればよく、このペア以外に通常画素６１ａが含まれる場合もある。以下では、画素ライン６２と画素ライン６３のことを区別しない場合に単に画素ラインとも記載する。撮像素子５には、更に、撮像面６０に配列された画素６１を駆動する駆動回路６４と、撮像面６０に配列された各画素ラインの各画素６１から信号線に読み出される画素信号を処理する信号処理回路６５と、を備える。

以下では、図２において撮像面６０の列方向Ｙの一端側（図中の上側）の端部を上端といい、撮像面６０の列方向Ｙの他端側（図中の下側）の端部を下端という。撮像面６０における各画素ライン６３が配置される領域が第１受光領域を構成する。撮像面６０における各画素ライン６２が配置される領域が第２受光領域を構成する。

駆動回路６４は、撮像素子駆動部１０からの信号に基づいて、各画素ラインを独立に駆動し、各画素ラインに含まれる各画素６１のリセット（光電変換素子に蓄積されている電荷の排出）と、この各画素６１の光電変換素子に蓄積された電荷に応じた画素信号の信号線への読み出し等を行う。

信号処理回路６５は、画素ラインの各画素６１から信号線に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換してデータバス２５（図１参照）に出力する。信号処理回路６５は、撮像素子駆動部１０によって制御される。

デジタル信号処理部１７は、撮像素子５からデータバス２５に出力された画素信号群にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像データを生成する。

デジタルカメラ１００は、１回の撮像指示に応じて複数の撮像画像データを連続して生成して記録媒体２１に記録する連写モードを搭載している。

システム制御部１１は、連写モードにおいては、撮像素子駆動部１０によって撮像素子５をローリングシャッタ方式により駆動して被写体を撮像させる。ローリングシャッタ方式の駆動は、ローリングリセット駆動と、ローリング読み出し駆動と、を含む。ローリングリセット駆動は、画素ラインの各画素６１をリセットしてその各画素６１の露光を開始する処理を、画素ラインを変えながら順次行う駆動である。ローリング読み出し駆動は、露光されている画素ラインの各画素６１から信号を読み出して、その画素ラインの露光を終了する処理を、画素ラインを変えながら順次行う駆動である。

システム制御部１１は、連写モードにおいては、撮像指示を受けると、撮像画像データの記録、表示面２２ｂへのライブビュー画像の表示、及び焦点検出に用いるための画素信号を撮像素子５から出力させる記録用撮像制御を連続して行う。また、システム制御部１１は、この複数回の記録用撮像制御のそれぞれの間において、表示面２２ｂへのライブビュー画像の表示及び焦点検出に用いるための画素信号を撮像素子５から出力させる表示用撮像制御を少なくとも１回行う。記録用撮像制御は第１制御を構成し、表示用撮像制御は第２制御を構成する。

焦点検出とは、同一の画素ライン６３に含まれる各焦点検出用画素６１ｂから出力された第１画素信号群と各焦点検出用画素６１ｃから出力された第２画素信号群との相関演算を行い、その相関演算の結果に基づいて、対象被写体に合焦させるために必要なフォーカスレンズの駆動量を導出する処理を言う。

相関演算とは、第１画素信号群からなるデータ波形と、第２画素信号群からなるデータ波形とをシフト量ｄずらしたときの２つのデータ波形によって囲まれる面積Ｓ［ｄ］を、シフト量ｄを複数の値で変えて演算する処理である。

図３は、相関演算結果を示す曲線の一例を示す図である。図３の横軸はシフト量ｄを示し、図３の縦軸は面積Ｓ［ｄ］を示す。面積Ｓ［ｄ］が最小値ｍｉｎとなるときのシフト量ｄ＝ｄ１に基づいてデフォーカス量を導出することで、フォーカスレンズの駆動量を導出可能となる。面積Ｓ［ｄ］の最大値ｍａｘは、対象被写体に依存しており、例えばコントラストの高い被写体（≒明るい条件）であれば最大値ｍａｘは大きくなり、コントラストの低い被写体（≒暗い条件）であれば最大値ｍａｘは小さくなる。最大値ｍａｘと最小値ｍｉｎの差が小さくなると、最小値ｍｉｎを決定しにくくなることから、この最大値ｍａｘの大きさが、フォーカスレンズの駆動量の導出精度（換言すると焦点検出精度）に影響を与える。

システム制御部１１は、記録用撮像制御においては、画素ライン６２及び画素ライン６３の露光時間を第１露光時間（後述の露光時間ＥＸ１）として撮像素子５による撮像を行わせる。第１露光時間は、ユーザによって設定された露出、又は、被写体の明るさ等により自動で設定された露出に基づいて決まる値である。

システム制御部１１は、表示用撮像制御においては、画素ライン６２の露光時間を上記の第１露光時間とし、且つ、画素ライン６３の露光時間を第２露光時間（後述の露光時間ＥＸ２）として撮像素子５による撮像を行わせる。第２露光時間は、上述した最小値ｍｉｎの検出精度を十分に確保できる露出条件によって決まる値であり、第１露光時間と同じ値になる場合もあれば、第１露光時間よりも大きい値になる場合もある。ただし、焦点検出用画素６１ｂと焦点検出用画素６１ｃは、通常画素６１ａよりも受光量が少ないことから、第２露光時間は第１露光時間よりも長くなることがほとんどである。

図４は、図１に示すデジタルカメラ１００の連写モード時における動作を説明するためのタイミングチャートの一例を示す図である。

図４の上段には、撮像素子５の各画素ラインの駆動タイミングが示されている。図４の上段において、縦軸は画素ラインの列方向Ｙの位置を示している。この駆動タイミングにて示される実線の斜め線ＲＲ（一部のみ符号を付してある）は、ローリング読み出し駆動によって各画素ラインの露光が終了されるタイミングを示している。この駆動タイミングにて示される破線の斜め線ＲＳ１（一部のみ符号を付してある）は、各画素ラインのリセット（露光開始）が行われるタイミングを示している。この駆動タイミングにて示される一点鎖線の斜め線ＲＳ２（一部のみ符号を付してある）は、各画素ライン６３のリセット（露光開始）が行われるタイミングを示している。この駆動タイミングにて示される破線の斜め線ＲＳ３（一部のみ符号を付してある）は、各画素ライン６２のリセット（露光開始）が行われるタイミングを示している。斜め線ＲＲとこの右隣の斜め線ＲＲとで囲まれる期間が、制御周期としての１フレーム期間を構成している。図４では、記録用撮像制御が実行されるフレーム期間をフレーム期間７１とし、表示用撮像制御が実行されるフレーム期間をフレーム期間７２として示している。図４の例では、システム制御部１１は、撮像指示を受けると、記録用撮像制御（フレーム期間７１）、表示用撮像制御（フレーム期間７２）、及び表示用撮像制御（フレーム期間７２）をこの順で行う処理を繰り返し実行する。

記録用撮像制御が行われるフレーム期間７１では、斜め線ＲＳ１とこの右隣の斜め線ＲＲとで囲まれる期間が、全ての画素ラインの露光時間ＥＸ１を示している。フレーム期間７１における露光時間ＥＸ１での撮像によって撮像素子５の各画素６１から出力された画素信号群は、撮像画像データの生成と、ライブビュー画像の生成と、焦点検出と、に用いられる。

表示用撮像制御が行われるフレーム期間７２では、斜め線ＲＳ２とこの右隣の斜め線ＲＲとで囲まれる期間が、画素ライン６３の露光時間ＥＸ２を示し、斜め線ＲＳ３とこの右隣の斜め線ＲＲとで囲まれる期間が、画素ライン６２の露光時間ＥＸ１を示している。図４に示すように、露光時間ＥＸ２は、露光時間ＥＸ１よりも長くなっている。フレーム期間７２における露光時間ＥＸ２での撮像によって各画素ライン６３から出力された画素信号群は、焦点検出に用いられる。フレーム期間７２における露光時間ＥＸ１での撮像によって各画素ライン６２から出力された画素信号群は、ライブビュー画像の生成に用いられる。

図４の“表示更新”の項目に示す矩形は、表示面２２ｂに表示されたライブビュー画像の更新が行われる期間を示している。図４の“ＡＦ（オートフォーカス）演算”の項目に示す矩形は、焦点検出が行われる期間を示している。図４の“予測演算”の項目に示す矩形は、それまでの過去の焦点検出で得たフォーカスレンズの駆動量に基づいて、これより後の記録用撮像制御の露光開始タイミングにおけるフォーカスレンズの駆動量を予測する処理が行われる期間を示している。図４の“フォーカスレンズ駆動”の項目に示す矩形は、予測演算の結果に基づいてフォーカスレンズの駆動が行われる期間を示している。

システム制御部１１は、撮像指示を受けるまでは、記録用撮像制御（ただし露光時間はＥＸ１でなくともよい）を続けて実行し、これによって得た画素信号群に基づいて、ライブビュー画像の表示、焦点検出、及び予測演算を繰り返し行う。そして、システム制御部１１は、撮像指示を受けると、その時点で予測していた最初のフレーム期間７１の開始時点での駆動量にしたがってフォーカスレンズを駆動し、焦点制御を行う（図４中のステップＳ０）。

撮像指示を受けた後、システム制御部１１は、最初のフレーム期間７１において記録用撮像制御を実行する。システム制御部１１は、その記録用撮像制御を終了すると、続けて２回の表示用撮像制御を行う。また、システム制御部１１は、その記録用撮像制御で得た画素ライン６２の画素信号群に基づいてライブビュー画像を生成し、これを表示面２２ｂに表示させて表示を更新する（図４中のステップＳ２）。また、システム制御部１１は、その記録用撮像制御で得た画素ライン６３の画素信号群に基づいて焦点検出を実行し（図４中のステップＳ３）、それによって得たフォーカスレンズの駆動量と、過去の焦点検出で得たフォーカスレンズの駆動量とに基づいて、２回目のフレーム期間７１の露光開始時におけるフォーカスレンズの駆動量を予測する（図４中のステップＳ４）。

システム制御部１１は、２回目のフレーム期間７１における露光の開始までに、ステップＳ４で予測した駆動量でのフォーカスレンズの駆動が完了できる場合には、２回目のフレーム期間７１の露光開始までに、その予測した駆動量にしたがってフォーカスレンズを駆動して合焦制御を行う。なお、図４は、２回目のフレーム期間７１における露光の開始までに、ステップＳ４で予測した駆動量でのフォーカスレンズの駆動が完了できない場合を示している。このような場合には、システム制御部１１は、最初のフレーム期間７１が終了すると、最初のフレーム期間７１中のステップＳ１にて予測していた２回目のフレーム期間７１の露光開始時の駆動量にしたがって、フォーカスレンズを駆動する（図４のステップＳ５）。

システム制御部１１は、撮像指示後の最初のフレーム期間７２が終了すると、そのフレーム期間７２の撮像で得た画素ライン６２の画素信号群に基づいてライブビュー画像を生成し、これを表示面２２ｂに表示させて表示を更新する（図４中のステップＳ６）。また、システム制御部１１は、最初のフレーム期間７２が終了すると、そのフレーム期間７２の撮像で得た画素ライン６３の画素信号群に基づいて焦点検出を実行し（図４中のステップＳ７）、それによって得たフォーカスレンズの駆動量と、過去の焦点検出で得たフォーカスレンズの駆動量（少なくともステップＳ３で求められた駆動量）とに基づいて、３回目のフレーム期間７１の露光開始時におけるフォーカスレンズの駆動量を予測する（図４中のステップＳ８）。

システム制御部１１は、撮像指示後の２回目のフレーム期間７２が終了すると、そのフレーム期間７２の撮像で得た画素ライン６２の画素信号群に基づいてライブビュー画像を生成し、これを表示面２２ｂに表示させて表示を更新する（図４中のステップＳ９）。また、システム制御部１１は、２回目のフレーム期間７２が終了すると、そのフレーム期間７２の撮像で得た画素ライン６３の画素信号群に基づいて焦点検出を実行し（図４中のステップＳ１０）、それによって得たフォーカスレンズの駆動量と、過去の焦点検出で得たフォーカスレンズの駆動量（ステップＳ３とステップＳ７で得た駆動量を含む）とに基づいて、３回目のフレーム期間７１の露光開始時におけるフォーカスレンズの駆動量を予測する（図４中のステップＳ１１）。そして、システム制御部１１は、ステップＳ１１で予測した駆動量にしたがってフォーカスレンズを駆動する（図４中のステップＳ１２）。以降は、ステップＳ２～ステップＳ１２と同じ動作が繰り返される。

以上のように、デジタルカメラ１００によれば、フレーム期間７１においては記録に適した露出で撮像が行われるため、高品質の撮像画像データを記録することができる。また、フレーム期間７２において、画素ライン６２についてはフレーム期間７１と同じ露光時間ＥＸ１にて撮像が行われ、この画素ライン６２から出力される画素信号群に基づいてライブビュー画像が更新される。このため、ライブビュー画像の明るさを一定にすることができ、連写中のライブビュー画像の品質を向上させることができる。また、フレーム期間７２において、画素ライン６３については、焦点検出に適した露光時間ＥＸ２にて撮像が行われ、この画素ライン６３から出力される画素信号群に基づいて焦点検出が行われる。このため、この焦点検出の結果を用いた合焦制御の精度を向上させることができる。

（デジタルカメラ１００の動作の第一変形例）
図５は、デジタルカメラ１００の動作の第一変形例を説明するためのタイミングチャートである。この第一変形例では、フレーム期間７２にて設定される露光時間ＥＸ２を、１フレーム期間あたりの上限値（以下、最長露光時間と記載）よりも長くする場合の動作例を示している。

図５では、図４に示す斜め線ＲＲのうち、フレーム期間７２とその次のフレーム期間７２の境界を構成している斜め線ＲＲが太い実線に変更されている。この太い斜め線ＲＲは、画素ライン６２のみから画素信号を読み出し、画素ライン６３からは画素信号の読み出しを行わないローリング読み出し駆動が行われるタイミングを示している。また、図５では、図４に対し、３つ目、６つ目、及び９つ目のフレーム期間７２における画素ライン６３からの画素信号の読み出し（つまり、太い斜め線ＲＲの直後の斜め線ＲＳ２）が省略されている。

図５に示す変形例の動作では、フレーム期間７１の直後のフレーム期間７２の終了タイミングにおいては、画素ライン６３からの画素信号の読み出しは行われない。このため、図４に示されていたステップＳ７及びステップＳ８は削除されている。そして、フレーム期間７１の後の２回目のフレーム期間の終了タイミングにおいては、画素ライン６３からの画素信号の読み出しが行われる。このように、図５の変形例では、画素ライン６３に対する露光を２回のフレーム期間にわたって継続させることで、露光時間ＥＸ２を最長露光時間よりも長くしている。

第一変形例によれば、露光時間ＥＸ２を最長露光時間よりも長くできるため、暗い被写体であっても、合焦制御を高精度に行うことが可能となる。また、画素ライン６２からの画素信号の読み出しはフレーム期間毎に行われるため、露光時間ＥＸ２が長くなっても、ライブビュー画像の更新頻度は落ちることがない。この結果、連写中のライブビュー画像の品質を高めることができる。

（デジタルカメラ１００の動作の第二変形例）
図６は、デジタルカメラ１００の動作の第二変形例を説明するためのタイミングチャートである。この第二変形例では、フレーム期間７２にて設定される露光時間ＥＸ２を、図５の例よりもさらに長くする場合の動作例を示している。

図６は、フレーム期間７１と次のフレーム期間７１との間に、３つのフレーム期間７２が存在する点が図４とは大きく異なる。また、図６では、ステップＳ５が、ステップＳ４にて予測された駆動量にしたがってフォーカスレンズを駆動する処理に変更されている。また、図６は、この３回のフレーム期間７２同士の境界を構成している斜め線ＲＲが太線となっている。この太い斜め線ＲＲは、画素ライン６２のみから画素信号を読み出し、画素ライン６３からは画素信号の読み出しを行わないローリング読み出し駆動が行われるタイミングを示している。また、図６では、この３つのフレーム期間７２のうちの最初のフレーム期間７２においてのみ斜め線ＲＳ２で示されるローリングリセット駆動が行われ、３つのフレーム期間７２のうちの最初のフレーム期間７２以外のフレーム期間７２では斜め線ＲＳ２で示されるローリングリセット駆動は行われない。つまり、フレーム期間７１の後の３回のフレーム期間７２にわたって、画素ライン６３の露光が継続されるようになっている。

図６に示す変形例の動作では、フレーム期間７１の直後の２回のフレーム期間７２の終了タイミングにおいては、画素ライン６３からの画素信号の読み出しは行われない。このため、図４に示されていたステップＳ７、ステップＳ８、ステップＳ１０、及びステップＳ１１は削除されている。そして、フレーム期間７１の後の３回目のフレーム期間の終了タイミングにおいては、画素ライン６２及び画素ライン６３からの画素信号の読み出しが行われる。そして、この画素信号に基づくライブビュー画像の更新（ステップＳ２１）と、この画素信号に基づく焦点検出（ステップＳ２２）と、この焦点検出結果と過去の焦点検出結果に基づく、３回目のフレーム期間７１の露光開始時におけるフォーカスレンズの駆動量の予測（ステップＳ２３）とが行われる。

その後、２回目のフレーム期間７１が終了すると、ステップＳ２に相当するステップＳ２４、ステップＳ３に相当するステップＳ２５、及びステップＳ４に相当するステップＳ２６が行われる。そして、システム制御部１１は、ステップＳ２６で予測した駆動量にしたがってフォーカスレンズを駆動する（ステップＳ２７）。以降は、ステップＳ６、ステップＳ９、ステップＳ２１、ステップＳ２２、及びステップＳ２３と同様の処理が繰り返される。

このように、図６の変形例では、画素ライン６３に対する露光を３回のフレーム期間にわたって継続させることで、露光時間ＥＸ２を最長露光時間よりも長くしている。この変形例によれば、露光時間ＥＸ２を図５の例よりも更に長くできるため、より暗い被写体に対しての合焦制御を高精度に行うことが可能となる。また、画素ライン６２からの画素信号の読み出しはフレーム期間毎に行われるため、露光時間ＥＸ２が長くなっても、ライブビュー画像の更新頻度は落ちることがない。この結果、連写中のライブビュー画像の品質を高めることができる。

（デジタルカメラ１００の好ましい例）
ここでは、フォーカスレンズの駆動量の予測方法の好ましい例を説明する。例えば、図４のステップＳ１１では、システム制御部１１は、ステップＳ３で導出された駆動量と、ステップＳ７で導出された駆動量と、ステップＳ１０で導出された駆動量と、に基づいてフォーカスレンズの駆動量を予測する。システム制御部１１は、これら３つの駆動量から、重み付け最小二乗法によって、駆動量の時間変化を示す一次関数を求め、この一次関数から、予測するタイミングにおける駆動量を予測値として導出する。

システム制御部１１は、この重み付け最小二乗法で３つの駆動量のそれぞれに設定される重みづけ係数を、焦点検出に適した露光時間での撮像によって得られた画素信号に基づいて導出された第１駆動量（図４の例では、ステップＳ７とステップＳ１０にてそれぞれ得られる駆動量）については相対的に大きい値とし、記録に適した露光時間での撮像によって得られた画素信号に基づいて導出された第２駆動量（図４の例では、ステップＳ３にて得られる駆動量）については、第１駆動量に対する重みづけ係数よりも小さい値とする。このようにすることで、フレーム期間７１で行われる撮像の露出が焦点検出に適していない場合であっても、駆動量の予測精度を高めることができる。

なお、第２駆動量の重みづけ係数は、固定値とするのではなく可変としてもよい。例えば、システム制御部１１は、フレーム期間７１で行われた撮像の撮像条件（撮像感度又は焦点検出に適した露出との露出差）に基づいて、この重みづけ係数を変更する。システム制御部１１は、この撮像条件が焦点検出の精度を確保できる状態であれば、第２駆動量の重みづけ係数を大きい値とし、この撮像条件が焦点検出の精度を確保できない状態であれば、第２駆動量の重みづけ係数を小さい値とする。例えば、撮像感度が高い状態では、ノイズが増えることによって焦点検出の精度が低下する傾向にある。そこで、システム制御部１１は、撮像感度が閾値未満のときには第１駆動量の重みづけ係数を第２駆動量の重みづけ係数と同じにし、撮像感度が閾値以上のときには、その撮像感度の大きさに反比例させて第１駆動量の重みづけ係数を小さくする。また、システム制御部１１は、露出差が閾値未満のときには第１駆動量の重みづけ係数を第２駆動量の重みづけ係数と同じ値にし、露出差が閾値以上のときには、その露出差の大きさに反比例させて第１駆動量の重みづけ係数を小さくする。このようにすることで、駆動量の予測精度を高めることができる。

（デジタルカメラ１００の別の好ましい例）
第一変形例と第二変形例では、露光時間ＥＸ２を最長露光時間よりも長くできる一方、露光時間ＥＸ２が最長露光時間以下のときと比べると、焦点検出の頻度が低下したり、連写のフレームレートが低下したりする。そのため、露光時間ＥＸ２を最長露光時間以下におさめながら、フォーカスレンズの駆動量の予測精度を高められるようにすることが好ましい。

例えば、システム制御部１１は、露光時間ＥＸ２を最長露光時間に設定しても、対象被写体の明るさに応じて決まる画素ライン６３の適正露出（焦点検出に適した露出）が得られない場合には、フレーム期間７２での撮像における撮像素子５の撮像感度を増加させる。

図７は、撮像感度とＦ値が所定値の場合における露出値（ＥＶ（Exposure Value）値）と露光時間に相当するＴＶ（time value）値との関係を定義したプログラム線図の一例を示している。図７では、上述した最長露光時間がＴＶ５．６である場合のプログラム線図を示している。図７に示すように、画素ライン６３の適正露出がＥＶ２３からＥＶ８付近までの範囲では、ＴＶ値（露光時間）の調整によってその適正露出が実現される。画素ライン６３の適正露出がＥＶ７．５以下になると、ＴＶ５．６は維持したまま、撮像感度を上記所定値から既定の上限値までの間で変化させることで、その適正露出が実現される。図中の太破線が撮像感度の増加によるプログラム線図の変化を示している。そして、画素ライン６３の適正露出が更に低下してＥＶ５．５を下回ると、撮像感度を既定の上限値に設定しても、ＴＶ値を下げない限りは適正露出を実現することができない。このため、ＴＶ値がＴＶ５．６よりも小さい値へと変更されて、その適正露出が確保される（図７中の左側の太実線）。ＴＶ値がＴＶ５．６よりも小さい値へと変更されることは、すなわち、図４に示す動作（画素ライン６３の露光を１つのフレーム期間７２内で終了させる動作）から、図５又は図６に示す動作（画素ライン６３の露光を複数のフレーム期間７２に亘って継続させる動作）に切り替わることを意味する。

このように、露光時間ＥＸ２を最長露光時間に設定したとしても、焦点検出のための適正露出が実現できない場合には、最長露光時間を延ばさずともその適正露出が実現できる範囲で、撮像感度を増加させることで、露光時間ＥＸ２が最長露光時間を超える機会を減らすことができる。これにより、焦点検出の頻度の低下と連写のフレームレートの低下を極力防ぎながら、合焦制御の精度を確保することができる。

なお、以上の説明では、撮像感度を既定の上限値まで増加させても適正露出が実現できない場合には、露光時間ＥＸ２を最長露光時間よりも大きい値に変更するものとした。しかし、撮像感度を既定の上限値まで増加させて適正露出が実現できない場合でも、状況によっては、焦点検出の精度を確保できる場合がある。例えば、適正露出が実現できない状態で画素ライン６３による撮像を行った場合でも、この撮像によって得られる図３に示した曲線の最大値ｍａｘが大きければ、最小値ｍｉｎの決定を高精度に行うことができ、焦点検出の精度は確保できる。

そこで、システム制御部１１は、露光時間ＥＸ２を最長露光時間に設定し且つ撮像感度を既定の上限値に設定しても画素ライン６３の適正露出が得られない場合には、直前の撮像（フレーム期間７１での撮像）において画素ライン６３から出力された画素信号に基づく情報が既定条件を満たす限り、露光時間ＥＸ２を最長露光時間に設定し且つ撮像感度を既定の上限値に設定して表示用撮像制御を行う。既定条件とは、例えば、画素ライン６３から出力された画素信号に基づく相関演算の結果を示す曲線の最大値ｍａｘと最小値ｍｉｎの比（ｍａｘ／ｍｉｎ）が閾値を超えること、又は、最大値ｍａｘと最小値ｍｉｎの差（ｍａｘ－ｍｉｎ）が閾値を超えること、等である。

図８は、撮像感度とＦ値が所定値の場合における露出値とＴＶ値との関係を定義したプログラム線図の一例を示している。図８では、上述した最長露光時間がＴＶ５．６である場合のプログラム線図を示している。図８に示すように、適正露出がＥＶ２３からＥＶ８付近までの範囲では、ＴＶ値の調整によってその適正露出が実現される。適正露出がＥＶ７．５以下になると、ＴＶ５．６は維持したまま、撮像感度を上記所定値から既定の上限値までの間で変化させることで、その適正露出が実現される（図中の太破線）。そして、適正露出が更に低下してＥＶ５．５を下回ると、既定条件が満たされている場合には、撮像感度は既定の上限値に設定され、且つ、露光時間ＥＸ２は最長露光時間に設定されたまま、つまり、適正露出よりも露出が低いアンダー露光の状態で、表示用撮像制御が行われる（図中の細い破線）。一方、適正露出がＥＶ５．５を下回り且つ既定条件が満たされていない場合には、ＴＶ値を下げない限りは焦点検出精度を確保できず、また適正露出を実現することができない。このため、ＴＶ値がＴＶ５．６よりも小さい値へと変更されて、その適正露出が確保される（図８中の左側の太い実線）。

このように、露光時間ＥＸ２を最長露光時間に設定し且つ撮像感度を既定の上限値まで増加させても適正露出の確保が難しい場合には、既定条件を満たす限り、アンダー露光での表示用撮像制御を行うことで、露光時間ＥＸ２が最長露光時間を超える機会を減らすことができる。これにより、焦点検出の頻度の低下と連写のフレームレートの低下を極力防ぎながら、合焦制御の精度を確保することができる。

次に、本発明の撮像装置の別実施形態であるスマートフォンの構成について説明する。

図９は、スマートフォン２００の外観を示すものである。図９に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

図１０は、図９に示すスマートフォン２００の構成を示すブロック図である。

図１０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＮＳＳ（Global Navigation Satellite System）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）等を表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図９に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図９に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、MicroSD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association:IrDA）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）等）又はネットワーク（例えば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）等）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

ＧＮＳＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＮＳＳ衛星ＳＴ１～ＳＴｎから送信されるＧＮＳＳ信号を受信し、受信した複数のＧＮＳＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＮＳＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。主制御部２２０のマイクロプロセッサはシステム制御部１１と同様の機能を持つ。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける撮像部５０を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

図９に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

また、ＧＮＳＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＮＳＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、合焦制御を高頻度にて行うことができる。

以上説明してきたように、本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。

（１）
焦点検出用画素（焦点検出用画素６１ｂ及び焦点検出用画素６１ｃ）を含む画素群が配置される第１受光領域（画素ライン６３）と、上記焦点検出用画素を含まない画素群が配置される第２受光領域（画素ライン６２）とを含む撮像素子（撮像素子５）と、
プロセッサ（システム制御部１１）と、を備え、
上記プロセッサは、
第１露光時間（露光時間ＥＸ１）にて上記撮像素子に撮像を行わせる第１制御（記録用撮像制御）と、
上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間（露光時間ＥＸ２）として上記撮像素子に撮像を行わせる第２制御（表示用撮像制御）と、を行う、
撮像装置。

（２）
（１）に記載の撮像装置であって、
上記第２露光時間と上記第１露光時間は異なる、
撮像装置。

（３）
（２）に記載の撮像装置であって、
上記第２露光時間は、上記第１露光時間より長い、
撮像装置。

（４）
（１）から（３）のいずれかに記載の撮像装置であって、
上記第１受光領域と上記第２受光領域は、それぞれ複数の画素ラインから構成される、
撮像装置。

（５）
（１）から（４）のいずれかに記載の撮像装置であって、
上記プロセッサは、
上記第１制御を複数回行い、
上記第１制御と次の上記第１制御の間に、上記第２制御を少なくとも１回行う、
撮像装置。

（６）
（５）に記載の撮像装置であって、
上記プロセッサは、
上記第１制御と次の上記第１制御の間に、複数回の上記第２制御を連続して行い、
上記第１受光領域に対する露光を上記複数回の第２制御間で継続させる、
撮像装置。

（７）
（６）に記載の撮像装置であって、
上記プロセッサは、
上記複数回の第２制御の開始後における上記第２受光領域の画素群からの信号の出力を、上記複数回の第２制御ごとに行わせる、
撮像装置。

（８）
（１）から（７）のいずれかに記載の撮像装置であって、
上記プロセッサは、
上記第１制御によって上記撮像素子から出力される信号に基づく画像データを記録及び表示に使用し、
上記第２制御によって上記第２受光領域の画素群から出力される信号に基づく画像データを記録及び表示のうちの表示のみに使用する、
撮像装置。

（９）
（８）に記載の撮像装置であって、
上記プロセッサは、
上記第１制御によって上記第１受光領域の画素群から出力される第１信号を、上記撮像素子と被写体との間に配置されるフォーカスレンズの駆動に使用し、
上記第２制御によって上記第１受光領域の画素群から出力される第２信号を、上記フォーカスレンズの駆動に使用する、
撮像装置。

（１０）
（９）に記載の撮像装置であって、
上記プロセッサは、
上記第１制御によって上記第１受光領域の画素群から出力される上記第１信号に基づいて決められる上記フォーカスレンズの第１駆動量と、その第１制御の後の上記第２制御によって上記第１受光領域の画素群から出力される上記第２信号に基づいて決められる上記フォーカスレンズの第２駆動量と、に基づいて、それより後の上記第１制御における上記フォーカスレンズの駆動量を予測し、
上記駆動量の予測に用いる上記第１駆動量の重みづけ係数を、上記第２駆動量の重みづけ係数よりも小さくする、
撮像装置。

（１１）
（１０）に記載の撮像装置であって、
上記プロセッサは、上記第１駆動量の上記重みづけ係数を上記第１制御における撮像条件に基づいて制御する、
撮像装置。

（１２）
（１）から（１１）のいずれかに記載の撮像装置であって、
上記プロセッサは、
上記第２露光時間を、上記撮像素子により撮像される被写体の明るさに応じて設定し、
上記第１制御を複数回行い、
上記第１制御と次の上記第１制御の間に少なくとも１回の上記第２制御を行い、
上記第２露光時間を１回の上記第２制御あたりの上限値（最長露光時間）に設定しても、１回の上記第２制御において、上記被写体の明るさに応じて決まる上記第１受光領域の適正露出が得られない場合に、上記第２制御における上記撮像素子の撮像感度を増加させる、
撮像装置。

（１３）
（１２）に記載の撮像装置であって、
上記プロセッサは、
上記第２露光時間を上記上限値に設定し且つ上記撮像感度を既定の上限値に設定しても上記適正露出が得られない場合には、上記第１制御と次の上記第１制御の間に複数回の上記第２制御を連続して行い且つ上記第１受光領域に対する露光を上記複数回の第２制御間で継続させる、
撮像装置。

（１４）
（１２）に記載の撮像装置であって、
上記プロセッサは、
上記第２露光時間を上記上限値に設定し且つ上記撮像感度を既定の上限値に設定しても上記適正露出が得られない場合には、上記焦点検出用画素から出力された信号に基づく情報が既定条件を満たす限り、上記第２露光時間を上記上限値に設定し且つ上記撮像感度を上記既定の上限値に設定して上記第２制御を行う、
撮像装置。

（１５）
（１４）に記載の撮像装置であって、
上記プロセッサは、
上記第２露光時間を上記上限値に設定し且つ上記撮像感度を上記既定の上限値に設定しても上記適正露出が得られず、且つ、上記既定条件が満たされない場合には、上記第１制御と次の上記第１制御の間に複数回の上記第２制御を連続して行い且つ上記第１受光領域に対する露光を上記複数回の第２制御間で継続させる、
撮像装置。

（１６）
焦点検出用画素を含む画素群が配置される第１受光領域と、上記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御方法であって、
第１露光時間にて上記撮像素子に撮像を行わせる第１制御と、
上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間として上記撮像素子に撮像を行わせる第２制御と、を行う、
撮像制御方法。

（１７）
焦点検出用画素を含む画素群が配置される第１受光領域と、上記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御プログラムであって、
プロセッサに、
第１露光時間にて上記撮像素子に撮像を行わせる第１制御と、
上記第２受光領域の露光時間を上記第１露光時間とし、上記第１受光領域の露光時間を第２露光時間として上記撮像素子に撮像を行わせる第２制御と、を行わせる、
撮像制御プログラム。

１撮像レンズ
２絞り
４レンズ制御部
５撮像素子
８レンズ駆動部
９絞り駆動部
１０撮像素子駆動部
１１システム制御部
１４，２０７操作部
１５メモリ制御部
１６メモリ
１７デジタル信号処理部
２０外部メモリ制御部
２１記録媒体
２２ａ表示コントローラ
２２ｂ表示面
２２表示装置
２４制御バス
２５データバス
４０レンズ装置
５０撮像部
６０撮像面
６１ａ通常画素
６１ｂ，６１ｃ焦点検出用画素
６１画素
６２，６３画素ライン
６４駆動回路
６５信号処理回路
７１，７２フレーム期間
１００Ａ本体部
１００デジタルカメラ
２００スマートフォン
２０１筐体
２０２表示パネル
２０３操作パネル
２０４表示入力部
２０５スピーカ
２０６マイクロホン
２０８カメラ部
２１０無線通信部
２１１通話部
２１２記憶部
２１３外部入出力部
２１４ＧＮＳＳ受信部
２１５モーションセンサ部
２１６電源部
２１７内部記憶部
２１８外部記憶部
２２０主制御部

Claims

焦点検出用画素を含む画素群が配置される第１受光領域と、前記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子と、
プロセッサと、を備え、
前記プロセッサは、
第１露光時間にて前記撮像素子に撮像を行わせる第１制御と、
前記第２受光領域の露光時間を前記第１露光時間とし、前記第１受光領域の露光時間を第２露光時間として前記撮像素子に撮像を行わせる第２制御と、を行う、
撮像装置。
請求項１に記載の撮像装置であって、
前記第２露光時間と前記第１露光時間は異なる、
撮像装置。
請求項２に記載の撮像装置であって、
前記第２露光時間は、前記第１露光時間より長い、
撮像装置。
請求項１から３のいずれか１項に記載の撮像装置であって、
前記第１受光領域と前記第２受光領域は、それぞれ複数の画素ラインから構成される、
撮像装置。
請求項１から４のいずれか１項に記載の撮像装置であって、
前記プロセッサは、
前記第１制御を複数回行い、
前記第１制御と次の前記第１制御の間に、前記第２制御を少なくとも１回行う、
撮像装置。
請求項５に記載の撮像装置であって、
前記プロセッサは、
前記第１制御と次の前記第１制御の間に、複数回の前記第２制御を連続して行い、
前記第１受光領域に対する露光を前記複数回の第２制御間で継続させる、
撮像装置。
請求項６に記載の撮像装置であって、
前記プロセッサは、
前記複数回の第２制御の開始後における前記第２受光領域の画素群からの信号の出力を、前記複数回の第２制御ごとに行わせる、
撮像装置。
請求項１から７のいずれか１項に記載の撮像装置であって、
前記プロセッサは、
前記第１制御によって前記撮像素子から出力される信号に基づく画像データを記録及び表示に使用し、
前記第２制御によって前記第２受光領域の画素群から出力される信号に基づく画像データを記録及び表示のうちの表示のみに使用する、
撮像装置。
請求項８に記載の撮像装置であって、
前記プロセッサは、
前記第１制御によって前記第１受光領域の画素群から出力される第１信号を、前記撮像素子と被写体との間に配置されるフォーカスレンズの駆動に使用し、
前記第２制御によって前記第１受光領域の画素群から出力される第２信号を、前記フォーカスレンズの駆動に使用する、
撮像装置。
請求項９に記載の撮像装置であって、
前記プロセッサは、
前記第１制御によって前記第１受光領域の画素群から出力される前記第１信号に基づいて決められる前記フォーカスレンズの第１駆動量と、当該第１制御の後の前記第２制御によって前記第１受光領域の画素群から出力される前記第２信号に基づいて決められる前記フォーカスレンズの第２駆動量と、に基づいて、それより後の前記第１制御における前記フォーカスレンズの駆動量を予測し、
前記駆動量の予測に用いる前記第１駆動量の重みづけ係数を、前記第２駆動量の重みづけ係数よりも小さくする、
撮像装置。
請求項１０に記載の撮像装置であって、
前記プロセッサは、前記第１駆動量の前記重みづけ係数を前記第１制御における撮像条件に基づいて制御する、
撮像装置。
請求項１から１１のいずれか１項に記載の撮像装置であって、
前記プロセッサは、
前記第２露光時間を、前記撮像素子により撮像される被写体の明るさに応じて設定し、
前記第１制御を複数回行い、
前記第１制御と次の前記第１制御の間に少なくとも１回の前記第２制御を行い、
前記第２露光時間を１回の前記第２制御あたりの上限値に設定しても、１回の前記第２制御において、前記被写体の明るさに応じて決まる前記第１受光領域の適正露出が得られない場合に、前記第２制御における前記撮像素子の撮像感度を増加させる、
撮像装置。
請求項１２に記載の撮像装置であって、
前記プロセッサは、
前記第２露光時間を前記上限値に設定し且つ前記撮像感度を既定の上限値に設定しても前記適正露出が得られない場合には、前記第１制御と次の前記第１制御の間に複数回の前記第２制御を連続して行い且つ前記第１受光領域に対する露光を前記複数回の第２制御間で継続させる、
撮像装置。
請求項１２に記載の撮像装置であって、
前記プロセッサは、
前記第２露光時間を前記上限値に設定し且つ前記撮像感度を既定の上限値に設定しても前記適正露出が得られない場合には、前記焦点検出用画素から出力された信号に基づく情報が既定条件を満たす限り、前記第２露光時間を前記上限値に設定し且つ前記撮像感度を前記既定の上限値に設定して前記第２制御を行う、
撮像装置。
請求項１４に記載の撮像装置であって、
前記プロセッサは、
前記第２露光時間を前記上限値に設定し且つ前記撮像感度を前記既定の上限値に設定しても前記適正露出が得られず、且つ、前記既定条件が満たされない場合には、前記第１制御と次の前記第１制御の間に複数回の前記第２制御を連続して行い且つ前記第１受光領域に対する露光を前記複数回の第２制御間で継続させる、
撮像装置。
焦点検出用画素を含む画素群が配置される第１受光領域と、前記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御方法であって、
第１露光時間にて前記撮像素子に撮像を行わせる第１制御と、
前記第２受光領域の露光時間を前記第１露光時間とし、前記第１受光領域の露光時間を第２露光時間として前記撮像素子に撮像を行わせる第２制御と、を行う、
撮像制御方法。
焦点検出用画素を含む画素群が配置される第１受光領域と、前記焦点検出用画素を含まない画素群が配置される第２受光領域とを含む撮像素子を制御する撮像制御プログラムであって、
プロセッサに、
第１露光時間にて前記撮像素子に撮像を行わせる第１制御と、
前記第２受光領域の露光時間を前記第１露光時間とし、前記第１受光領域の露光時間を第２露光時間として前記撮像素子に撮像を行わせる第２制御と、を行わせる、
撮像制御プログラム。