JP6296767B2 - 撮像装置及び画像信号処理方法 - Google Patents

Description

本発明は、画像信号を２つ以上の経路から同時に出力することができる撮像センサを備える撮像装置と、この撮像装置で実行される画像信号処理方法に関する。

ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いた撮像装置には、ライブビュー機能を有するものがある。ライブビュー機能とは、撮像素子から連続的に読み出された画像信号に基づく画像を、撮像装置の背面等に設けられた液晶ディスプレイ等の表示装置に、順次、出力することによって、被写体像の確認を行うことができる機能である。

撮像装置の電源としてバッテリを使用する場合、撮影待機状態ではライブビュー表示のための消費電力を抑えることが望ましいが、その一方で、高精細なライブビュー表示が望まれる場面もある。そこで、無操作状態のライブビュー表示と撮影準備状態（例えば、シャッタボタンが半押しされて、被写体に対するＡＦ動作等が行われる状態）とで、ライブビュー表示方式を切り替える技術が知られている。

高精細なライブビュー表示のための技術が、例えば、特許文献１に提案されている。特許文献１では、画素に対する露光時間を行単位等の画素領域単位で異なるように制御して高感度画素情報と低感度画素情報を取得し、これらの異なる感度の画素情報に基づいて出力画素値を決定することにより、広ダイナミックレンジ画像の生成を可能としている。

しかし、従来の撮像装置では、撮影画角を切り替える等してライブビュー表示又は動画記録の撮像駆動モードを切り替えると、撮像駆動モードが切り替わる際にタイムラグが発生し、その間の画像が得られなくなる。これにより、ライブビュー表示又は記録動画のフリーズ（同じ画像の表示時間が延び、また、同じ画像が連続記録される現象）が生じてしまう。

これに対する技術が、例えば、特許文献２に提案されている。特許文献２に記載された技術では、電子ズーム倍率に応じて撮像駆動モードを切り替えて画像変倍を行う撮像装置において、撮像駆動モードを切り替える前後に跨る画像データに撮像素子からの読み出し行毎に露光時間差に応じたゲイン補正を施す。これにより、撮像駆動モードを切り替える前後に跨る画像データに連続性を持たせた、ライブビュー表示または動画記録のための画像データを得ている。

特開２０１２−１０５２２５号公報 特開２００７―２２８４３３号公報

しかしながら、上記特許文献２に記載された技術では、撮像駆動モードの切り替え時のゲイン補正制御が複雑になるという問題がある。また、部位によってゲイン補正のゲイン倍率が異なること等によって、補正後に得られるフレーム画像の画質が、他の補正されていないフレーム画像の画質と比べて、低下するおそれがあるという問題がある。

本発明は、ライブビュー表示または動画記録のフリーズや画質の悪化を発生させることなく、ライブビュー表示または動画記録の撮像駆動モードを切り替えることを可能にする技術を提供することを目的とする。

本発明に係る撮像装置は、行方向と列方向に並べられた複数の画素を有する撮像素子と、前記撮像素子の所定の行の画素から画像信号を読み出す第１の撮像モードと、前記撮像素子からの画像信号の読み出し行が前記第１の撮像モードでの画像信号の読み出し行とは異なる第２の撮像モードの少なくとも一方の撮像モードで前記撮像素子を駆動する駆動手段と、前記第１の撮像モードにより前記撮像素子から読み出された画像信号と前記第２の撮像モードにより前記撮像素子から読み出された画像信号とを別々に出力する第１の出力経路と第２の出力経路とを有する出力手段と、前記第１の出力経路から出力される前記第１の撮像モードでの画像信号を表示手段における画像表示および／または記憶手段に対する記録に用いている状態から、前記画像表示および／または前記記録に用いる画像信号を前記第１の撮像モードでの画像信号から前記第２の撮像モードでの画像信号へ切り替えるときに、前記第２の出力経路からの前記第２の撮像モードでの画像信号の出力を開始した後、前記画像表示および／または前記記録に用いる画像信号の取得先を前記第１の出力経路から前記第２の出力経路へ切り替える制御手段とを備えることを特徴とする。

本発明によれば、第１の出力経路と第２の出力経路を通じて異なる画像信号を取得することができる撮像素子を備える撮像装置において、撮像駆動モードを切り替える際に、画像信号の取得先を第１の出力経路と第２の出力経路との間で切り替える。これにより、ライブビュー表示または動画記録の撮像駆動モードを切り替えても、ライブビュー表示または動画記録のフリーズや画質の悪化の発生を防止することができる。

本発明の実施形態に係るデジタルカメラの外観を背面側から見て示す斜視図である。 図１のデジタルカメラのハードウェア構成を示すブロック図である。 図１のデジタルカメラの撮像部が備える撮像素子の構造を表す概略斜視図（ａ）とその構成を示すブロック図（ｂ）である。 図１のデジタルカメラにおける画角切り替え時における、撮像素子からの信号の読み出し行を模式的に説明する図である。 図４に示した各撮像モードでの画角を示す図である。 図１のデジタルカメラを用いた動画撮影中にズーム操作を行ったときに実行される画像信号処理のフローチャートである。 図１のデジタルカメラにおいて、図４に示す画角Ａの撮像駆動モードから画角Ｂ１の撮像駆動モードへの切り替えの形態を模式的に示すタイミングチャートである。 図１のデジタルカメラにおいて、図４に示す画角Ｂ１の撮像駆動モードから画角Ｃの撮像駆動モードへの切り替えの形態を模式的に示すタイミングチャートである。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る撮像装置として、コンパクトタイプのデジタルカメラ（以下「デジタルカメラ」という）を取り上げることとするが、本発明はこれに限定されるものではない。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るデジタルカメラ１００の外観を背面側から見て示す斜視図である。

デジタルカメラ１００の背面には、画像や各種情報を表示する表示部１０１が設けられている。表示部１０１は、例えば、液晶ディスプレイ或いは有機ＥＬディスプレイ等であり、タッチパネルとして入力機能を備えることにより操作部として機能するものであってもよい。また、デジタルカメラ１００の背面には、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２と、被写体に対する撮影モード等を切り替えるモード切り替えスイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。なお、操作部１０２の一部は、デジタルカメラ１００の上面にも設けられており、例えば、ズーム操作を行うズームレバーがデジタルカメラ１００の上面に設けられている。操作部１０２、コントローラホイール１０３及びモード切り替えスイッチ１０４の機能等の詳細については、図２を参照して後述する。

デジタルカメラ１００の上面には、撮影指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源オン／電源オフを切り替える電源スイッチ１２２とが設けられている。シャッタボタン１２１の機能の詳細については、図２を参照して後述する。

デジタルカメラ１００の側面には、接続ケーブル１１１及びコネクタ１１２を介して、外部装置を接続することができるようになっている。デジタルカメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して、外部装置に画像データ（静止画データ、動画データ）を出力することができる。

デジタルカメラ１００の下面には、蓋１３１により開閉可能な記憶媒体スロット（不図示）が設けられており、記憶媒体スロットには、メモリカード等の記憶媒体１３０を挿抜することができるようになっている。記憶媒体スロットに格納された記憶媒体１３０は、デジタルカメラ１００の制御部（図２を参照して説明するシステム制御部２１０）と通信可能である。なお、記憶媒体１３０は、記憶媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、カメラ本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１と、撮像光学系を構成する撮影レンズ２０２及びシャッタ２０３と、撮像部２０４と、ＡＦ評価値検出部２０５と、ストロボ２１７とを備える。

バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮影レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成される。シャッタ２０３は、絞り機能を備え、露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子を有する。撮像素子は、具体的には、ＣＣＤセンサやＣＭＯＳセンサである。また、撮像部２０４は、Ａ／Ｄ変換処理機能を備えており、撮像素子から出力されるアナログ電気信号をデジタル信号（デジタル画像データ）へ変換する。

ＡＦ評価値検出部２０５は、撮像部２０４により生成されたデジタル信号から得られるコントラスト情報等からＡＦ評価値を算出し、得られたＡＦ評価値を後述のシステム制御部２１０へ撮像部２０４を通して出力する。ストロボ２１７を撮影時に発光させることにより、低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。

デジタルカメラ１００は、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９、システム制御部２１０、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３及び表示部１０１を備える。

画像処理部２０６とメモリ制御部２０７は、撮像部２０４においてＡ／Ｄ変換処理により生成されたデジタル信号を受信する。画像処理部２０６は、撮像部２０４から受信するデータ（デジタル画像データ）又はメモリ制御部２０７から受信するデータに対し、所定の画素補間や縮小等のリサイズ処理、色変換処理等の信号処理を行う。また、画像処理部２０６では、撮影した画像の画像データを用いて所定の演算処理が行われ、システム制御部２１０は、画像処理部２０６が生成した演算結果を用いて露光制御やフォーカス制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、調光処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。なお、画像処理部２０６ではＡＦ処理が行われるが、このとき撮像部２０４が備えるＡＦ評価値検出部２０５の出力が用いられることもある。

撮像部２０４から出力されるデジタル信号（デジタル画像データ）は、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、この他にも、撮像部２０４によって取得されてＡ／Ｄ変換された画像データや、表示部１０１に表示する画像データを格納する。メモリ２０９は、所定枚数の静止画像や所定時間の動画像、音声データを格納することができる十分な記憶容量を備えている。また、メモリ２０９は、画像表示用メモリ（ビデオメモリ）を兼ねている。

メモリ２０９に格納されている画像表示用のデジタルデータは、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより表示部１０１に画像が表示される。表示部１０１は、前述の通り、液晶ディスプレイ等の表示器であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。なお、撮像部２０４によってアナログ信号から変換されてメモリ２０９に蓄積されるデジタル信号を、Ｄ／Ａ変換器２０８においてアナログ信号に変換して表示部１０１に逐次転送して表示することにより、電子ビューファインダ機能を実現することができる。即ち、こうして、スルー画像表示を行うことができるようになっている。

不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリであり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭ等である。不揮発性メモリ２１１には、システム制御部２１０が実行するプログラムや動作用の定数等が記憶される。なお、ここでいうプログラムとは、後述する各フローチャートを実行するためのプログラムを指す。

システム制御部２１０は、不揮発性メモリ２１１に記憶されている各種のプログラムを実行することにより、デジタルカメラ１００の全体的な動作を制御し、その一例として、後述する各種の処理を実行する。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数や変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。

図２に示される操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切り替えスイッチ１０４、電源スイッチ１２２は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、表示部１０１に表示される種々の機能アイコンの選択等に用いられ、所定の機能アイコンが選択されることにより、場面毎に、適宜、機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして用いられる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指示するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

なお、コントローラホイール１０３は、回転操作が検出できる操作部材であれば、部材自体が回転するものや、部材自体は回転しないがタッチセンサで回転操作を検出するものなど、どのようなものでもよい。

なお、図１を参照して説明したように、操作部１０２は、デジタルカメラ１００の上面に設けられたズームレバーを含む。ズームレバーは、撮影レンズ２０２の光学ズーム動作に用いられる他、光学ズーム動作の限界を超えてズーム操作が行われた場合に電子ズームへと動作を切り替え、更に、電子ズームのズーム倍率を変化させる操作に用いられる。

シャッタボタン１２１は、第１スイッチＳＷ１と、第２スイッチＳＷ２とを有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でＯＮとなり、これにより、撮影準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がＯＮになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、調光処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でＯＮとなり、これにより、撮影開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がＯＮになった信号を受信すると、撮像部２０４からの信号読み出しから記憶媒体１３０への画像データの書き込みまでの一連の撮影動作を行う。

モード切り替えスイッチ１０４は、デジタルカメラ１００の動作モードを、静止画記憶モード、動画記憶モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画記憶モードには、例えば、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ１０４の操作により、静止画撮影モードに含まれるこれらのモードのいずれかに、直接、切り替えることができるようになっている。但し、このような構成に限定されず、例えば、モード切り替えスイッチ１０４で静止画撮影モードに切り替えた後に、他の操作部材を用いて静止画撮影モードに含まれる前出のモードのいずれかに切り替えるようにしてもよい。同様に、動画撮影モードにも、複数のモードが含まれていてもよい。

デジタルカメラ１００は、電源部２１４と、電源制御部２１５を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプター等であり、電源制御部２１５へ電力を供給する。電源制御部２１５は、電池検出回路やＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等により構成されている。電源制御部２１５は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記憶媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記憶媒体１３０が記憶媒体スロット（不図示）に装着された際に、記憶媒体１３０とシステム制御部２１０との間の通信を可能にするための記憶媒体Ｉ／Ｆ２１６を備える。記憶媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

図３（ａ）は、撮像部２０４が備える撮像素子の構造を表す概略斜視図であり、図３（ｂ）は、図３（ａ）の撮像素子の構成を示すブロック図である。

撮像素子は、複数の画素３０１が形成されて光入射側に配置される第１のチップ３０と、列走査回路３１３ａ，３１３ｂや行走査回路３１２等の画素駆動回路及びＡＦ評価値検出部２０５（これらを「周辺回路」と称する）が形成された第２のチップ３１とからなる。撮像素子は、第１のチップ３０が第２のチップ３１の上に積層されて構成されている。第１のチップ３０に画素３０１を形成し、第２のチップ３１に周辺回路を形成することにより、周辺回路と画素３０１の製造プロセスを分けることができ、これにより、周辺回路部の配線の細線化、高密度化による高速化、小型化、高機能化を実現することができる。

第１のチップ３０は、マトリクス状に行方向と列方向に一定の間隔で配置された複数の画素３０１を有する。また、第１のチップ３０は、各画素３０１に行方向（水平方向）に接続された転送信号線３０３と、リセット信号線３０４及び行選択信号線３０５と、各画素３０１の列方向に接続された列信号線３０２ａ，３０２ｂとを有する。列信号線３０２ａ，３０２ｂはそれぞれ、読み出し行単位によって接続先が区別されている。画素接続方式に関しては、図４を参照して後述する。

第２のチップ３１は、列信号線３０２ａ，３０２ｂがそれぞれ接続されるカラムＡＤＣブロック３１１と、各行を走査する行走査回路３１２と、各列を走査する列走査回路３１３ａ，３１３ｂを有する。また、第２のチップ３１は、タイミング制御回路３１４と、水平信号線３１５ａ，３１５ｂと、フレームメモリ３１７と、ＡＦ評価値検出部２０５と、スイッチ３１６とを有する。

タイミング制御回路３１４は、システム制御部２１０からの制御信号を受けて、行走査回路３１２、列走査回路３１３ａ，３１３ｂ及びカラムＡＤＣブロック３１１のそれぞれのタイミングを制御する。水平信号線３１５ａ，３１５ｂは、列走査回路３１３ａ，３１３ｂにより制御されるタイミングに従い、カラムＡＤＣブロック３１１からのデジタル信号を転送する。フレームメモリ３１７は、水平信号線３１５ｂから出力される画像信号であるＡＦ評価値検出用撮像信号を一時的に記憶する。ＡＦ評価値検出部２０５（適宜、図２参照）は、フレームメモリ３１７から出力されるＡＦ評価値検出用撮像信号からＡＦ評価値を検出する。スイッチ３１６は、水平信号線３１５ｂに出力されたＡＦ評価値検出用撮像信号を、ＡＦ評価値検出部２０５へ出力するか又は画像処理部２０６へ出力するかを切り替える。

撮像素子において、画素３０１は、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３及び選択トランジスタＭ４を含む。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴであるとする。

転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、転送信号線３０３、リセット信号線３０４及び行選択信号線３０５が接続されている。これらの信号線は、行方向に延在して、同一行に含まれる画素３０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。選択トランジスタＭ４のソースには、列信号線３０２ａ又は列信号線３０２ｂが、行単位で分かれて接続されている。

フォトダイオードＰＤは、光電変換により生成された電荷を蓄積し、そのＰ側は接地され、そのＮ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送されるが、フローティングディフュージョンＦＤには寄生容量があるので、この部分に電荷が蓄積される。

増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものである。選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続され、選択トランジスタＭ４のソースは列信号線３０２ａ又は列信号線３０２ｂに接続されている。選択トランジスタＭ４がＯＮしたときに、フローティングディフュージョンＦＤの電圧に対応する電圧が列信号線３０２ａ又は列信号線３０２ｂに出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２は、フローティングディフュージョンＦＤの電圧を電源電圧Ｖｄｄにリセットする。

以下の説明では、列信号線３０２ａから水平信号線３１５ａへ画像信号（撮像信号）を出力する経路（第１の出力経路）をチャンネル１（以下「Ｃｈ１」と記す）と称することとする。また、列信号線３０２ｂから水平信号線３１５ｂへ画像信号（撮像信号）を出力する経路（第２の出力経路）をチャンネル２（以下「Ｃｈ２」と記す）と称することとする。本実施形態では、撮像素子に対する画像信号の読み出しに用いる選択行の異なる２つの撮像駆動モードを実行し、各撮像駆動モードで読み出された画像信号をＣｈ１，Ｃｈ２から別々に出力させることができる。

次に、図４を参照して、列信号線３０２ａ，３０２ｂの画素選択について説明する。図４は、デジタルカメラ１００における画角切り替え時における、撮像素子からの信号の読み出し行（撮像行）を模式的に説明する図である。図４の左側には、撮像素子の画素３０１の配列を、画素配列に対応して配置されるベイヤー配列を有するカラーフィルタの各色（Ｒ，Ｇ（Ｇｂ，Ｇｒ），Ｂ）で示している。図４の右側には、以下に説明する画角Ａ，Ｂ１，Ｂ２，Ｃでの撮像モードでの選択行の例が示されている。

画角Ａでの撮像では、行番号１，２が読み出し行となっている。画角Ｂ１での撮像では行番号３，４，７，８が読み出し行となっており、画角Ｂ２での撮像では行番号１，２，５，６が読み出し行となっている。このように、画角Ｂ１，Ｂ２での撮像モードは、画角Ａでの撮像モードと比較すると、読み出し行の間引き率が異なる。画角Ｂ１での撮像と画角Ｂ２での撮像とでは、読み出し行は異なるが、行数は同じであり、図５を参照して後述する通り、実際に撮像する画角は同じとなる。画角Ｃでの撮像では、行番号１〜８が読み出し行となっている。よって、画角Ｃでの撮像モードは、画角Ａ，Ｂ１，Ｂ２での撮像モードと比較して、読み出し行の間引き率が異なる。本実施形態では、読み出し走査を、行単位で順次行い、８行単位で繰り返すものとする。

また、本実施形態では、画角Ａでの撮像、画角Ｂ１での撮像、画角Ｂ２での撮像、画角Ｃでの撮像はいずれも、同じ行数を撮像する。即ち、間引き行数に応じて、撮像面内の撮像範囲（画角）が異なる。図５は、図４に示した各撮像モードでの画角を示す図である。画角Ａでは、撮像面全体を２／８行間引きで撮像する。画角Ｂ１，Ｂ２では、撮像面の１／２の領域を４／８行間引きで撮像する。画角Ｃでは、撮像面の１／４の領域を間引きなしで撮像する。なお、画角Ｂ１，Ｂ２及び画角Ｃの画角は、必ずしも撮像面の中心部を切り出していなくてもよい。

図６は、デジタルカメラ１００を用いた動画撮影中にズーム操作を行ったときに実行される画像信号処理のフローチャートである。図６のフローチャートに示す各処理は、システム制御部２１０の制御下において実行される。

先ず、ステップＳ６０１において、システム制御部２１０は、動画撮影の終了操作が行われた否かを判断する。終了操作が行われた場合（Ｓ６０１でＹＥＳ）、システム制御部２１０は、動画撮影を終了させる。終了操作が行われていない場合（Ｓ６０１でＮＯ）、システム制御部２１０は、処理をステップＳ６０２へ進める。

ステップＳ６０２において、システム制御部２１０は、ズームレバーが操作されたか否かを判断する。システム制御部２１０は、ズームレバーが操作されていない場合（Ｓ６０２でＮＯ）、処理をステップＳ６０１へ戻し、ズームレバーが操作された場合（Ｓ６０２でＹＥＳ）、処理をステップＳ６０３へ進める。ステップＳ６０３において、システム制御部２１０は、ステップＳ６０２で行われたズームレバーの操作が光学ズーム操作であるか否かを判断する。システム制御部２１０は、光学ズーム操作ではない場合（Ｓ６０３でＮＯ）、処理をステップＳ６０４へ進め、光学ズーム操作である場合（Ｓ６０３でＹＥＳ）、処理をステップＳ６０５へ進める。

なお、ステップＳ６０３では、撮影レンズ２０２のズームレンズがズーム倍率の上限位置へ到達している状態でさらにズーム倍率を上げるようにズームレバーが操作されたときと、電子ズーム動作中のズームレバー操作であったときに、光学ズーム操作ではないと判断する。そして、ステップＳ６０３の判断は、撮影レンズ２０２に対するズームレンズ制御によって光学ズーム動作が可能な場合に実行され、光学ズーム動作が不可能な場合にはスキップされることとなる。この場合、処理はステップＳ６０２からステップＳ６０４へ進むことになり、ステップＳ６０５の処理も行われないこととなる。

ステップＳ６０４において、システム制御部２１０は、ステップＳ６０２でのズームレバー操作によって画角を切り替えるために撮像素子の撮像駆動モードを切り替える必要があるか否かを判断する。ステップＳ６０４では、その時点における電子ズーム倍率に応じて制御内容を変える必要がある。そのため、システム制御部２１０は、電子ズーム倍率と入力されたズームレバー操作に基づき、画角Ｂ１，Ｂ２及び画角Ｃの領域を跨がない場合（Ｓ６０４でＮＯ）、処理をステップＳ６０６へ進める。一方、システム制御部２１０は、画角Ｂ１，Ｂ２又は画角Ｃの領域を跨ぐ場合（Ｓ６０４でＹＥＳ）、処理をステップＳ６０７へ進める。

ステップＳ６０５において、システム制御部２１０は、光学ズーム動作を行う。ステップＳ６０６において、システム制御部２１０は、画像処理部２０６において、画像データの所定領域を切り出して記憶することで電子ズーム処理を行う。ステップＳ６０７において、システム制御部２１０は、撮像駆動モードを切り替える。具体的には、画角Ａの駆動から画角Ｂ１又は画角Ｂ２の駆動へ、又は、画角Ｂ１又は画角Ｂ２の駆動から画角Ｃの駆動へ、又は、画角Ｃの駆動から画角Ｂ１又は画角Ｂ２の駆動へ、或いは画角Ｂ１又は画角Ｂ２の駆動から画角Ａの駆動へと切り替える。ステップＳ６０５，Ｓ６０６，Ｓ６０７の各処理の終了後、システム制御部２１０は、処理をステップＳ６０１へ戻す。

図７及び図８を参照して、ステップＳ６０７の具体例について説明する。

図７は、デジタルカメラ１００において画角Ａの撮像駆動モードから画角Ｂ１の撮像駆動モードへの切り替えの形態を模式的に示すタイミングチャートである。図７の例では、画角Ａの撮像駆動モードが第１の撮像モードとなり、画角Ｂ１の撮像駆動モードが第２の撮像モードとなる。

図７に示す垂直同期信号は、Ｃｈ１，Ｃｈ２から出力可能な高速のフレームレート出力が実現可能なタイミングで出力されている。垂直同期信号に同期して撮像素子の画素３０１に対する露光が行われ（撮像面露光）、撮像部２０４から１フレームの画像信号（撮像信号）が出力される。

最初に、撮像面露光によりＣｈ１から画角Ａの画像信号が出力され、この画像信号を用いて動画のライブビュー表示と記録とが行われており、Ｃｈ２からは画像信号は出力されていないものとする。なお、撮像素子が備える複数の画素３０１の１行毎の撮像駆動及び信号出力は、水平同期信号（不図示）に同期して制御されている。行走査回路３１２により撮像面の上部行から下部行に向かって、順次、リセット信号線３０４への信号入力によりリセット処理が行われ、露光時間経過後に、順次、カラムＡＤＣブロック３１１によりＡ／Ｄ変換が行われることで、画像信号が出力される。このような撮像面露光を、図７では横軸を時間に取って、平行四辺形で表現している。

Ｃｈ１から出力された画像信号は、画像処理部２０６において現像・画処理（画像処理）され、メモリ制御部２０７による信号制御によりメモリ２０９のビデオメモリ領域に蓄積される。また、Ｃｈ１から出力された画像信号は、画像処理部２０６においてエンコード処理され、メモリ２０９に保存される。メモリ２０９のビデオメモリ領域に蓄積された画像データは、Ｄ／Ａ変換器２０８を通してアナログ信号に変換されて表示部１０１に供給され、これによりライブビュー表示が行われる。また、メモリ２０９に保存された画像データは、記憶媒体１３０に記録され、これにより動画の記録が行われる。

動画のライブビュー表示及び記録を画角Ａから画角Ｂ１へ切り替える場合、先ず、Ｃｈ１から画角Ａの画像信号が出力されている状態で、Ｃｈ２から画角Ｂ１の画像信号が出力されるように、画角Ｂ１での撮像駆動モードでの駆動を開始する。そして、Ｃｈ２から出力される画像信号がライブビュー表示及び記録に使用可能となった時点で、動画のライブビュー表示及び記録のための画像信号の取得先をＣｈ１からＣｈ２へと切り替える。これにより、Ｃｈ２から出力される画像信号を用いて、ライブビュー表示と記憶媒体１３０に対する動画の記録とを行うことができる。なお、Ｃｈ２から出力される画像信号のライブビュー表示及び記録のための信号処理は、先に説明したＣｈ１から出力される画像信号のライブビュー表示及び記録のための信号処理と同じである。

なお、画角Ａの画像信号がＣｈ１から出力されてからライブビュー表示と記録のために信号処理されて表示部１０１と記憶媒体１３０へ出力されるまでの時間は、画角Ｂ１の画像信号がＣｈ２から出力されてからライブビュー表示と記録のために信号処理されて表示部１０１と記憶媒体１３０へ出力されるまでの時間と同じであることが好ましい。

以上の制御により、動画撮影中に、画角Ａでの撮像駆動モードから画角Ｂ１での撮像駆動モードへ切り替える電子ズームが行われても、記憶媒体１３０に記録される動画に途切れが生じることを防止することがき、また、ライブビュー表示に途切れが生じることを防止することができる。

図８は、デジタルカメラ１００において、画角Ｂ１の撮像駆動モードから画角Ｃの撮像駆動モードへの切り替えの形態を模式的に示すタイミングチャートである。図８の例では、画角Ｂ１の撮像駆動モードが第１の撮像モードとなり、画角Ｂ２の撮像駆動モードが第２の撮像モードとなり、画角Ｃの撮像駆動モードは、画角Ｂ１の撮像駆動モードと画角Ｂ２の撮像駆動モードとを同時に実行することで実現される。

最初に、Ｃｈ２から画角Ｂ１の画像信号が出力され、この画像信号を用いて動画のライブビュー表示と記録とが行われており、Ｃｈ１からは画像信号は出力されていないものとする。所定のタイミングで、Ｃｈ１から画角Ｂ２の画像信号が出力されるように、画角Ｂ２での撮像駆動モードでの駆動を開始する。そして、Ｃｈ１から出力される画像信号がライブビュー表示及び記録に使用可能となった時点で、Ｃｈ１から出力される画像信号とＣｈ２から出力される画像信号とを画像処理部２０６において合成し、生成された合成信号を画像信号として現像以降の処理を行う。このように画角Ｂ１の読み出し行と画角Ｂ２の読み出し行とを合成することにより、間引きのない画角Ｃの画像信号を合成することができ、合成された画像信号を用いることで、フリーズの生じないライブビュー表示及び記録を行うことができる。

画角Ｂ１の画像信号がＣｈ２から出力されてからライブビュー表示と記録のために信号処理されて表示部１０１と記憶媒体１３０へ出力されるまでの時間は、画角Ｂ１の画像信号がＣｈ２から出力されてから合成信号がライブビュー表示と記録のために信号処理されて表示部１０１と記憶媒体１３０へ出力されるまでの時間と同じであることが好ましい。

なお、Ｃｈ１から画角Ｂ１の画像信号が出力されている状態で、Ｃｈ２から画角Ｂ２の画像信号が出力されるようにし、Ｃｈ１とＣｈ２からそれぞれ出力される画像信号を画像処理部２０６において合成することで、画角Ｃの画像信号を得ることもできる。また、先に画角Ｂ２の画像信号が出力されている状態で、画角Ｂ１の画像信号が出力されるようにした場合にも、同様に、画角Ｃの画像信号を得ることができる。

以上の制御により、動画撮影中に画角Ｂ１での撮像駆動モードから画角Ｃでの撮像駆動モードへ切り替える電子ズームが行われても、記憶媒体１３０に記憶される動画に途切れが生じることを防止することがき、また、ライブビュー表示に途切れが生じることを防止することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、画角Ａから画角Ｃへの切り替えは、図７に示した処理の後に、図８に示した処理を行うことにより実現することができる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 表示部
１０２ 操作部
１３０ 記憶媒体
２０４ 撮像部
２０６ 画像処理部
２１０ システム制御部

Claims (5)

1. 行方向と列方向に並べられた複数の画素を有する撮像素子と、
   前記撮像素子の所定の行の画素から画像信号を読み出す第１の撮像モードと、前記撮像素子からの画像信号の読み出し行が前記第１の撮像モードでの画像信号の読み出し行とは異なる第２の撮像モードの少なくとも一方の撮像モードで前記撮像素子を駆動する駆動手段と、
   前記第１の撮像モードにより前記撮像素子から読み出された画像信号と前記第２の撮像モードにより前記撮像素子から読み出された画像信号とを別々に出力する第１の出力経路と第２の出力経路とを有する出力手段と、
   前記第１の出力経路から出力される前記第１の撮像モードでの画像信号を表示手段における画像表示および／または記憶手段に対する記録に用いている状態から、前記画像表示および／または前記記録に用いる画像信号を前記第１の撮像モードでの画像信号から前記第２の撮像モードでの画像信号へ切り替えるときに、前記第２の出力経路からの前記第２の撮像モードでの画像信号の出力を開始した後、前記画像表示および／または前記記録に用いる画像信号の取得先を前記第１の出力経路から前記第２の出力経路へ切り替える制御手段とを備えることを特徴とする撮像装置。
2. 前記第２の撮像モードでの読み出し行の間引き率が、前記第１の撮像モードでの読み出し行の間引き率とは異なることを特徴とする請求項１記載の撮像装置。
3. 前記第１の撮像モードでの画像信号が前記第１の出力経路から出力されてから前記画像表示および／または前記記録のための信号処理を施されて前記表示手段および／または前記記憶手段へ出力されるまでの時間は、前記第２の撮像モードでの画像信号が前記第２の出力経路から出力されてから前記画像表示および／または前記記録のための信号処理を施されて前記表示手段および／または前記記憶手段へ出力されるまでの時間と同じであることを特徴とする請求項１又は２に記載の撮像装置。
4. 行方向と列方向に並べられた複数の画素を有する撮像素子と、
   前記撮像素子の所定の行の画素から画像信号を読み出す第１の撮像モードと、前記撮像素子からの画像信号の読み出し行が前記第１の撮像モードでの画像信号の読み出し行とは異なる第２の撮像モードの少なくとも一方の撮像モードで前記撮像素子を駆動する駆動手段と、
   前記第１の撮像モードにより前記撮像素子から読み出された画像信号と前記第２の撮像モードにより前記撮像素子から読み出された画像信号とを別々に出力する第１の出力経路と第２の出力経路とを有する出力手段と、
   前記第１の出力経路から出力される画像信号と前記第２の出力経路から出力される画像信号とを合成する合成手段と、
   前記第１の出力経路から出力される前記第１の撮像モードでの画像信号を表示手段における画像表示および／または記憶手段に対する記録に用いている状態から、前記画像表示および／または前記記録に用いる画像信号を前記第１の撮像モードでの画像信号から前記第１の撮像モードでの画像信号と前記第２の撮像モードでの画像信号との合成信号へ切り替えるときに、前記第２の出力経路からの前記第２の撮像モードでの画像信号の出力を開始した後、前記合成手段により前記第１の出力経路から出力される画像信号と前記第２の出力経路から出力される画像信号とを合成し、前記合成された画像信号を前記画像表示および／または前記記録に用いる制御手段とを備え、
   前記第１の撮像モードでの画像信号が前記第１の出力経路から出力されてから前記画像表示または前記記録のための信号処理を施されて前記表示手段および／または前記記憶手段へ出力されるまでの時間は、前記第１の撮像モードでの画像信号が前記第１の出力経路から出力されてから前記合成手段により合成された画像信号が前記画像表示または前記記録のための信号処理を施されて前記表示手段および／または前記記憶手段へ出力されるまでの時間と同じであることを特徴とする撮像装置。
5. 行方向と列方向に並べられた複数の画素を有する撮像素子から第１の出力経路と第２の出力経路とを含む複数の出力経路を通して画像信号を取得し、取得した画像信号を用いて表示手段に画像表示を行いおよび／または前記取得した画像信号を記憶手段に記録する画像信号処理方法であって、
   前記撮像素子の所定の行の画素から画像信号を読み出す第１の撮像モードで前記第１の出力経路から出力される画像信号を前記画像表示および／または前記記録に用いている状態から、前記画像表示および／または前記記録に用いる画像信号を前記撮像素子からの画像信号の読み出し行が前記第１の撮像モードでの画像信号の読み出し行とは異なる第２の撮像モードでの画像信号へ切り替える場合に、
   前記第１の撮像モードにより前記第１の出力経路から出力される画像信号を前記画像表示および／または前記記録に用いるステップと、
   前記第２の出力経路から前記第２の撮像モードでの画像信号の出力を開始するステップと、
   前記画像表示および／または前記記録に用いる画像信号の取得先を前記第１の出力経路から前記第２の出力経路へ切り替えるステップとを有することを特徴とする画像信号処理方法。

Images