[go: up one dir, main page]

JP6375607B2 - 電子機器、電子機器の制御方法、及び制御プログラム - Google Patents

電子機器、電子機器の制御方法、及び制御プログラム Download PDF

Info

Publication number
JP6375607B2
JP6375607B2 JP2013203501A JP2013203501A JP6375607B2 JP 6375607 B2 JP6375607 B2 JP 6375607B2 JP 2013203501 A JP2013203501 A JP 2013203501A JP 2013203501 A JP2013203501 A JP 2013203501A JP 6375607 B2 JP6375607 B2 JP 6375607B2
Authority
JP
Japan
Prior art keywords
image
imaging
unit
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013203501A
Other languages
English (en)
Other versions
JP2015070476A (ja
Inventor
朗 木下
朗 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013203501A priority Critical patent/JP6375607B2/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN201480053867.1A priority patent/CN105637856B/zh
Priority to US15/025,737 priority patent/US10136059B2/en
Priority to PCT/JP2014/076050 priority patent/WO2015046565A1/ja
Priority to EP14849181.4A priority patent/EP3054670B1/en
Priority to CN201910711941.9A priority patent/CN110365909B/zh
Publication of JP2015070476A publication Critical patent/JP2015070476A/ja
Application granted granted Critical
Publication of JP6375607B2 publication Critical patent/JP6375607B2/ja
Priority to US16/167,747 priority patent/US10735650B2/en
Priority to US16/905,052 priority patent/US11196923B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、電子機器、電子機器の制御方法、及び制御プログラムに関する。
裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
特開２００６―４９３６１号公報
しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
本発明の態様では、画像の表示倍率が変更される場合に消費電力を抑制することを目的とする。
本発明の態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、表示部に表示された第１画像の表示倍率を変更する倍率変更部と、倍率変更部によって表示倍率が変更されると、倍率変更部による表示倍率の変更に基づいて、電荷蓄積条件及び読出条件の一方又は双方を、第１撮像領域と第２撮像領域とで互いに異なる条件で制御する撮像制御部と、を備える電子機器が提供される。また、本発明の態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御方法であって、表示部に表示された第１画像の表示倍率を変更することと、表示倍率が変更されると、第１画像の表示倍率の変更に応じて、電荷蓄積条件及び読出条件の一方又は双方を、第１撮像領域と第２撮像領域とで互いに異なる条件に変更することと、を含む電子機器の制御方法が提供される。また、本発明の態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御装置に、表示部に表示された第１画像の表示倍率を変更する倍率変更処理と、倍率変更処理によって表示倍率が変更されると、倍率変更処理による第１画像の表示倍率の変更に応じて、電荷蓄積条件及び読出条件の一方又は双方を、第１撮像領域と第２撮像領域とで互いに異なる条件に変更する撮像制御処理と、を実行させる制御プログラムが提供される。本発明の第１態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、表示部に表示された第１画像及び第２画像の表示倍率を変更する倍率変更部と、倍率変更部によって表示倍率が変更された場合、第１撮像領域と第２撮像領域とで電荷蓄積条件又は読出条件を変更する撮像制御部と、を備える電子機器が提供される。
本発明の第２態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御方法であって、表示部に表示された第１画像及び第２画像の表示倍率を変更することと、表示倍率が変更された場合、第１撮像領域と第２撮像領域とで電荷蓄積条件又は読出条件を変更することと、を含む電子機器の制御方法が提供される。
本発明の第３態様によれば、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御装置に、表示部に表示された第１画像及び第２画像の表示倍率を変更する倍率変更処理と、倍率変更処理によって表示倍率が変更された場合、第１撮像領域と第２撮像領域とで電荷蓄積条件又は読出条件を変更する撮像制御処理と、を実行させる制御プログラムが提供される。
本発明の態様によれば、画像の表示倍率が変更される場合に消費電力を抑制することができる。
電子機器としてのデジタルカメラの概略構成を示す横断面図である。 積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 電子機器としてのデジタルカメラの構成を示すブロック図である。 図６に示す画像処理部及びシステム制御部の機能ブロック図である。 光学ズームを行った場合の表示例を示す図である。 電子ズームを行った場合の表示例を示す図である。 第１実施形態に係る撮像処理を示すフローチャートである。 図１０に示す光学ズーム対応の制御を示すフローチャートである。 撮像領域における中央領域と周辺領域とを示す図である。 図１０に示す電子ズーム対応の制御を示すフローチャートである。 撮像領域における拡大対象領域を示す図である。 第２実施形態に係る撮像処理を示すフローチャートである。 図１５に示す光学ズーム対応の制御を示すフローチャートである。 光学ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。 図１５に示す電子ズーム対応の制御を示すフローチャートである。 電子ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。 第３実施形態に係る電子ズーム対応の制御を示すフローチャートである。 第３実施形態における電子ズームを行った場合の表示例を示す図である。 第３実施形態における電子ズームを行った場合の他の表示例を示す図である。 第４実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することもある。なお、以下の各実施形態では、電子機器としてレンズ交換式のデジタルカメラを例に挙げて説明する。
＜第１実施形態＞
図１は、電子機器としてのデジタルカメラの概略構成を示す横断面図である。本実施の形態のデジタルカメラ（電子機器）１は、交換式レンズとしてのレンズ部１０と、カメラ本体としてのカメラボディ２とを有している。レンズ部１０は、マウント部８０を介してカメラボディ２に装着される。カメラボディ２にはマウント部８０を介して種々の撮影光学系を有するレンズ部１０が装着可能である。なお、レンズ部１０内における撮影光学系（レンズ１１ａ、ズーミング用レンズ１１ｂ、フォーカシング用レンズ１１ｃ）のことを撮影光学系１１という。
レンズ部１０は、レンズ１１ａ、ズーミング用レンズ１１ｂ、フォーカシング用レンズ１１ｃ、絞り１１ｄ、レンズ駆動制御装置１５などを備えている。レンズ駆動制御装置１５は、ＣＰＵ（Central Processing
Unit）、メモリ、駆動制御回路などを有している。レンズ駆動制御装置１５は、電気接点８０Ａを介してカメラボディ２側のシステム制御部７０との通信により、レンズ１１ａの特性（レンズのサイズなど）に関するレンズ情報の送信と、制御情報（ズーミング用レンズ１１ｂの移動量、フォーカシング用レンズ１１ｃの移動量、絞り１１ｄの絞り値など）の受信とを行う。
また、レンズ駆動制御装置１５は、システム制御部７０から送信される制御情報に基づいて、撮影光学系１１の焦点調節を行うために、駆動制御回路にフォーカシング用レンズ１１ｃの駆動制御を実行させる。また、レンズ駆動制御装置１５は、システム制御部７０から送信される制御情報に基づいて、ズーミング調節を行うために、ズーミング用レンズ１１ｂの駆動制御を駆動制御回路に実行させる。絞り１１ｄは、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置１５は、システム制御部７０から送信される制御情報に基づいて、絞り１１ｄの開口径調節を行うために、絞り１１ｄの駆動制御を駆動制御回路に実行させる。
なお、駆動制御回路がズーミング用レンズ１１ｂの駆動制御を実行することにより、焦点位置を変えずに焦点距離が変化し、表示部５０に表示される画像の表示倍率が変更（拡大又は縮小）される。このようにズーミング用レンズ１１ｂの移動によって画像の表示倍率を変更することを光学ズームという。
カメラボディ２は、積層型撮像素子を含む撮像部２０、画像処理部３０、表示部５０、記憶部６０、システム制御部７０などを備えている。レンズ部１０を通過した光束により、撮像部２０の撮像素子の受光面上に被写体像が形成される。この被写体像は撮像素子により光電変換され、撮像素子の各画素の画素信号が画像処理部３０に送られる。画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。表示部５０は、画像処理部３０が生成した画像データを表示する。記憶部６０は、画像処理部３０が生成した画像データを記憶する。
なお、「画像データ」は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）を構成するデータであり、画像処理部３０において画像処理が行われる前のデータ（すなわちＲＡＷデータ）と画像処理が行われた後のデータとを含む。また、「ＲＡＷデータ」とは、画像処理部３０において画像処理が行われる前の画像データのことをいう。また、「画像データ」のことを「画像信号」ということがある。
また、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部７０は、デジタルカメラ１の全体の処理及び動作を制御する。このシステム制御部７０は、ＣＰＵ（Central Processing Unit）を有する。なお、システム制御部７０の処理及び動作の詳細については後述する（図６及び図７参照）。また、カメラボディ２内の構成の詳細についても後述する（図６参照）。
図２は、積層型撮像素子の断面図である。この積層型撮像素子１００は、図１に示す撮像部２０内に設けられている撮像素子である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図３に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。
図３は、撮像チップの画素配列と単位グループを説明する図である。図３では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域（撮像領域）１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図３に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図３の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図４は、撮像チップの単位グループに対応する回路図である。図４において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図２のトランジスタ１０５に対応する。
上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。
各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。
各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。
ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
図４に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。
このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。
図５は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。
マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。
演算回路４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図５では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子１００の画素領域１１３Ａ（図３参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率（画素間引き率）、画素信号を加算する加算行数又は加算列数（画素加算数）、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度（シャッタースピード）ともいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。
また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、電荷蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、電荷蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが電荷蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは電荷蓄積条件に含まれる。
また、本実施形態において、読出条件とは、撮像素子１００における画素信号の読み出しに関する条件のことをいう。具体的には、読出条件は、上記した制御パラメータのうち、間引き率、及び画素信号を加算する加算数（加算行数又は加算列数）のことをいう。これら間引き率及び加算数に応じて、撮像素子１００から出力される画素信号の数が変化する。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した電荷蓄積条件及び読出条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率、画素信号を加算する加算行数又は加算列数）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。
図６は、第１実施形態に係るデジタルカメラ（電子機器）の構成を示すブロック図である。図６に示すように、電子機器としてのデジタルカメラ１は、カメラボディ２と、レンズ部１０とを備える。上述したように、レンズ部１０は、カメラボディ２に対して着脱可能な交換式レンズである。従って、デジタルカメラ１は、レンズ部１０を備えていなくてもよい。ただし、レンズ部１０はデジタルカメラ１と一体構成であってもよい。レンズ部１０は、カメラボディ２に接続された状態において、被写体からの光束を撮像部２０へ導く。
レンズ部１０は、上述したように、レンズ駆動制御装置１５を有している（図１参照）。また、レンズ部１０は、撮影光学系１１としての複数のレンズ群、つまり、レンズ１１ａ、ズーミング用レンズ１１ｂ、及びフォーカシング用レンズ１１ｃを有している。レンズ駆動制御装置１５は、レンズ部１０がカメラボディ２に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ２のシステム制御部７０に送信する。また、レンズ駆動制御装置１５は、レンズ部１０がカメラボディ２に接続された場合に、システム制御部７０から送信される制御情報を受信する。レンズ駆動制御装置１５は、制御情報に基づいて、ズーミング用レンズ１１ｂ、フォーカシング用レンズ１１ｃ、及び絞り１１ｄの駆動制御を行う。
図６に示すように、カメラボディ２は、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。
撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおいてブロック単位で領域を設定する。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０は、以下の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。
本実施形態では、画像処理部３０は、上記した処理のほかに、システム制御部７０により指示された所定領域の画像データを切り出す処理（トリミング処理）を行う。なお、システム制御部７０は、画像処理部３０により切り出された所定領域の画像データを表示部５０に出力させ、その所定領域の画像データに基づく画像を表示部５０の表示パネル（表示画面）５１に拡大表示させる制御を行う。このように、画像の一部を切り出して拡大表示することを電子ズーム又はデジタルズームという。
また、本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。また、本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体の特徴点を検出する処理を行う。ここで、「特徴点」とは、主要被写体の特徴的な部分をいう。特徴点は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。
画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどの表示パネル（表示画面）５１を有している。表示部５０の表示パネル５１上にはタッチパネル５１が形成されている。タッチパネル５１は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。
操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動作の撮影時に押されるスイッチ）、光学ズームスイッチ（光学ズーム時に押されるスイッチ）、電子ズームスイッチ（電子ズーム時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部７０は、デジタルカメラ１の全体の処理及び動作を制御する。上述したように、このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の電荷蓄積条件を駆動部２１に対して指示する。
また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。
また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
また、システム制御部７０は、使用者による光学ズームスイッチの操作に応じて、ズーミング用レンズ１１ｂの移動を指示する制御信号をレンズ駆動制御装置１５に出力する。レンズ駆動制御装置１５は、システム制御部７０から出力された制御情報に基づいて駆動制御回路を制御することにより、ズーミング用レンズ１１ｂを駆動させる。これにより、表示パネル５１に表示される画像の表示倍率が変更される。また、システム制御部７０は、使用者による電子ズームスイッチなどの操作に応じて、画像を切り出す領域を指示する指示信号を画像処理部３０に出力する。これにより、画像処理部３０により切り出された領域の画像データに基づく画像が、所定の表示倍率で表示部５０の表示パネル５１に拡大表示される。また、システム制御部７０は、制御情報をレンズ駆動制御装置１５に出力することにより、レンズ駆動制御装置１５にフォーカシング用レンズ１１ｃの駆動制御及び絞り１１ｄの駆動制御を実行させる。
図７は、図６に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、画像処理部３０は、画像生成部３１、被写体検出部（第１検出部）３２、及び特徴点検出部（第２検出部）３３を含む。画像生成部３１は、撮像部２０から出力される各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。被写体検出部３２は、画像生成部３１で生成した画像データから主要被写体（例えば人物の顔）を検出する。例えば、被写体検出部３２は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような公知の顔検出機能を用いて主要被写体の検出を行う。特徴点検出部３３は、画像生成部３１で生成した画像データから主要被写体の特徴点（例えば人物の目）を検出する。例えば、特徴点検出部３３は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような公知の特徴点検出機能を用いて特徴点の検出を行う。
また、システム制御部７０は、第１倍率変更部（倍率変更部）７１、第２倍率変更部（倍率変更部）７２、撮像制御部７３、及び表示制御部７４を含む。第１倍率変更部７１は、使用者による光学ズームスイッチの操作に応じて光学ズームを実行する処理部である。第２倍率変更部７２は、使用者による電子ズームスイッチの操作などに応じて電子ズームを実行する処理部である。
撮像制御部７３は、撮像素子１００の画素領域（撮像領域）１１３Ａにおいてブロック単位で複数の領域を設定する。また、撮像制御部７３は、複数の領域についての撮像条件（電荷蓄積条件及び読出条件を含む）を設定する。また、撮像制御部７３は、使用者によるレリーズスイッチや動画スイッチの操作に応じて、駆動部２１に撮像素子１００の駆動制御を実行させる。また、撮像制御部７３は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、駆動部２１に撮像素子１００の駆動制御を実行させる。表示制御部７４は、画像生成部３１によって生成された画像データを表示部５０に出力させ、表示パネル５１に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。
次に、第１倍率変更部７１による光学ズームの動作について説明する。図８は、光学ズームを行った場合の表示例を示す図である。なお、図８（Ａ）及び（Ｂ）に示すように、表示部５０の表示パネル５１上にタッチパネル５２が形成されている。また、図８（Ａ）及び（Ｂ）に示すように、撮影光学系１１の光軸（光学中心）Ｏが表示パネル５１の中心に位置している。また、図８（Ａ）に示す表示例では、人物の画像Ｃ１が表示パネル５１の略中央に表示されている。使用者は、光学ズームスイッチを特定方向に操作することにより人物の画像Ｃ１を拡大させ、光学ズームスイッチを特定方向と反対の方向に操作することにより人物の画像Ｃ１を縮小させることができる。
第１倍率変更部７１は、使用者によって光学ズームスイッチが特定方向に操作されたことを示す信号を受け取る。第１倍率変更部７１は、その特定方向に対応する方向（図８（Ａ）に示す場合は、人物の画像Ｃ１を拡大する方向）にズーミング用レンズ１１ｂを移動させることを指示する制御信号をレンズ駆動制御装置１５に出力する。レンズ駆動制御装置１５は、第１倍率変更部７１から送信された制御信号に基づいて、特定方向に対応する方向にズーミング用レンズ１１ｂを移動させる。ズーミング用レンズ１１ｂが移動することによって、撮像素子１００の撮像面における人物の被写体像が光軸を中心に拡大される。図８（Ｂ）に示す表示例では、使用者による光学ズームスイッチの操作に応じて拡大された人物の画像Ｃ１が表示パネル５１に表示されている。
また、第２倍率変更部７２による電子ズームの動作について説明する。図９は、電子ズームを行った場合の表示例を示す図である。なお、図９（Ａ）及び（Ｂ）においても、表示部５０の表示パネル５１上にタッチパネル５２が形成されている。また、図９（Ａ）に示すように、撮影光学系１１の光軸（光学中心）Ｏが表示パネル５１の中心に位置している。また、図９（Ａ）に示す表示例では、人物の画像Ｃ２が表示パネル５１の左下に表示されている。使用者は、例えばタッチパネル５２を指でなぞるなどを行うことにより、電子ズームで拡大表示される領域５１０を選択する。図９（Ａ）に示す場合は、電子ズームで拡大表示される領域５１０は表示パネル５１の左下の領域である。以下、電子ズームで拡大表示される領域のことを拡大対象領域という。そして、使用者は、電子ズームスイッチを操作することにより拡大対象領域５１０を拡大させることができる。
第２倍率変更部７２は、使用者によるタッチパネル５２の操作に応じて選択された拡大対象領域５１０を示す信号を受け取る。そして、撮像制御部７３は、使用者によって電子ズームスイッチが操作されたことを示す信号を受け取ると、拡大対象領域５１０の切り出し（トリミング）を指示する信号を画像処理部３０に出力する。画像生成部３１は、第２倍率変更部７２により指示された拡大対象領域５１０の画像データを切り出す処理を行う。また、画像生成部３１は、切り出した拡大対象領域５１０の画像データを表示部５０に出力する。図９（Ｂ）に示すように、表示部５０は、拡大対象領域５１０の画像データに基づく画像（人物の画像Ｃ２）を表示パネル５１の全面に拡大表示する。なお、図９（Ａ）に示す例では、使用者は表示パネル５１の左下の領域を拡大対象領域５１０として選択していた。しかし、使用者は表示パネル５１の任意の領域を選択することが可能である。
次に、第１実施形態に係る撮影動作について説明する。図１０は、第１実施形態に係る撮像処理（メイン処理）を示すフローチャートである。図１０に示す処理は、デジタルカメラ１の電源が投入された後、使用者がライブビュー画像の撮影を開始するために操作部５５の操作を行うこと、及び使用者が動画の撮影を開始するための操作部５５（動画スイッチ）の操作を行うことにより実行される。すなわち、図１０に示す処理は、ライブビュー画像及び動画の撮影時に実行される処理である。
図１０に示す処理において、まず、撮像制御部７３は、撮影動作を開始する（ステップＳ１）。すなわち、撮像制御部７３は、駆動部２１に指示信号を出力することにより、駆動部２１に所定の撮像条件（電荷蓄積条件、読出条件を含む）で撮像素子１００の駆動制御を実行させる。次に、システム制御部７０は、使用者により光学ズームスイッチの操作が行われているか否かを判定する（ステップＳ２）。システム制御部７０が光学ズームスイッチの操作が行われていると判定した場合は、第１倍率変更部７１及び撮像制御部７３は、光学ズーム対応の制御を実行する（ステップＳ３）。
図１１は、図１０に示す光学ズーム対応の制御（ステップＳ３）を示すフローチャートである。また、図１２は、撮像領域における中央領域と周辺領域とを示す図である。図１１に示す処理において、第１倍率変更部７１は、使用者による光学ズームスイッチの操作に基づいて光学ズームを実行する（ステップＳ１０）。すなわち、第１倍率変更部７１は、光学ズームスイッチの操作量に応じた制御信号をレンズ駆動制御装置１５に出力する。次に、撮像制御部７３は、画素領域（撮像領域）１１３Ａにおいて、光学ズームによる倍率変動（拡大又は縮小）の中心（光軸）Ｏを含む領域２００（図１２（Ａ）参照）を表示パネル５１の画面中央に指定する（ステップＳ１１）。ここで、光学ズームによる倍率変動の中心Ｏを含む領域のことを中央領域という。図１２（Ａ）に示す例では、中央領域２００は光軸Ｏを中心とした円形の領域とされている。また、図１２（Ａ）に示すように、画素領域１１３Ａにおける中央領域２００以外の領域を周辺領域２１０という。
次に、撮像制御部７３は、光学ズームにおける倍率変動の速度に応じて中央領域２００のサイズを調整（変更）する（ステップＳ１２）。ここで、倍率変動の速度とは、光学ズームで画像が倍率変動（拡大又は縮小）される速度のことをいう。第１倍率変更部７１は、光学ズームスイッチからの信号に基づいて、単位時間あたりにおける光学ズームスイッチの操作量を検知する。そして、第１倍率変更部７１は、第１倍率変更部７１は、光学ズームスイッチの操作量により倍率変動の速度を判断する。なお、光学ズームスイッチの操作量は、ズーミング用レンズ１１ｂの移動量（駆動量）に対応する。撮像制御部７３は、倍率変動の速度に応じた中央領域２００を指定する指示信号を駆動部２１に出力する。
次に、撮像制御部７３は、駆動部２１に指示信号を出力することにより、画素領域１１３Ａにおける領域（中央領域２００、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させる（ステップＳ１３）。
使用者が光学ズームスイッチを操作して表示パネル５１に表示される画像（被写体像）を拡大又は縮小しているとき、その画像は表示パネル５１の中央部よりも周辺部において速く径方向に流れる。従って、周辺部において画像が速く流れているときは、使用者が周辺部の画像を認識することが困難であり、周辺部の画像を注視することも少ない。一方、使用者は光学ズームで画像を拡大又は縮小しているときは、表示パネル５１の中央部の画像に注目している。また、倍率変動の速度が速くなるほど画像が速く流れ、使用者はより狭い範囲の中央部の画像に注目する。
このことから、撮像制御部７３は、ステップＳ１２において、光学ズームにおける倍率変動の速度に応じて、使用者が注目していると想定される中央領域２００のサイズを調整する。例えば、撮像制御部７３は、倍率変動の速度が速いほど中央領域２００の範囲を狭くし、倍率変動の速度が遅いほど中央領域２００の範囲を広くする。撮像制御部７３は、倍率変動の速度に応じた中央領域２００を指示する指示信号を出力する。
また、撮像制御部７３は、ステップＳ１３において、使用者が注目している中央領域２００において高いフレームレートで画素信号の読み出しを実行させ、使用者が注目していない周辺領域２１０において低いフレームレートで画素信号の読み出しを実行させる。例えば、ライブビュー画像の撮像時において、撮像制御部７３は、中央領域２００のフレームレートとして６０ｆｐｓを指示する指示信号を駆動部２１に出力し、周辺領域２１０のフレームレートとして３０ｆｐｓを指示する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７３からの指示信号に基づいて、中央領域２００において６０ｆｐｓで画素信号の読み出しを行い、周辺領域２１０において３０ｆｐｓで画素信号の読み出しを行う。これにより、表示パネル５１の周辺部（周辺領域２１０に対応する領域）よりも中央部（中央領域２００に対応する領域）において動きの滑らかなライブビュー画像が表示される。
なお、撮像制御部７３は、ステップＳ１３において、領域（中央領域２００、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させる代わりに、領域ごとに異なる間引き率で画素信号の読み出しを実行させるようにしてもよい。例えば、ライブビュー画像の撮像時において、撮像制御部７３は、中央領域２００の間引き率として０．５を指示する指示信号を駆動部２１に出力する。また、撮像制御部７３は、周辺領域２１０の間引き率として０．８を指示する指示信号を駆動部２１に出力する。駆動部２１は、中央領域２００において間引き率０．５で画素信号の読み出しを行い、周辺領域２１０において間引き率０．８で画素信号の読み出しを行う。これにより、表示パネル５１の周辺部よりも中央部において解像度の高いライブビュー画像が表示される。
また、撮像制御部７３は、ステップＳ１３において、領域（中央領域２００、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させる代わりに、領域ごとに異なる加算数（加算行数又は加算列数）で画素信号の加算処理を実行させるようにしてもよい。例えば、ライブビュー画像の撮像時において、撮像制御部７３は、中央領域２００の加算数として「２」を指示する指示信号を駆動部２１に出力する。また、撮像制御部７３は、周辺領域２１０の加算数として「５」を指示する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７３からの指示信号で指示された加算数による加算処理を演算回路４１６に実行させる。演算回路４１６は、中央領域２００に対応する画素メモリ４１５に格納された２行又は２列の画素信号を加算する。また、演算回路４１６は、周辺領域２１０に対応する画素メモリ４１５に格納された５行又は５列の画素信号を加算する。これにより、表示パネル５１の周辺部よりも中央部において解像度の高いライブビュー画像が表示される。
また、撮像制御部７３は、ステップＳ１３において、領域（中央領域２００、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させるとともに、領域ごとに異なる間引き率で画素信号の読み出しを実行させるようにしてもよい。また、撮像制御部７３は、ステップＳ１３において、領域（中央領域２００、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させるとともに、領域ごとに異なる加算数で画素信号の加算処理を実行させるようにしてもよい。
上記した図１２（Ａ）では、撮像制御部７３は、画素領域１１３Ａにおいて１つの中央領域２００を設定していた。しかし、このような構成に限定されない。例えば、図１２（Ｂ）に示すように、撮像制御部７３は、画素領域１１３Ａにおいて２つの中央領域２０１，２０２を設定してもよい。すなわち、撮像制御部７３は、円形の中央領域２０１の周囲にリング状の中央領域２０２を設定するようにしてもよい。
この場合においても、撮像制御部７３は、ステップＳ１２において、光学ズームにおける倍率変動の速度に応じて、２つの中央領域２０１，２０２のサイズをそれぞれ調整（変更）する。ただし、撮像制御部７３は、中央領域２０１，２０２のいずれか一方だけについてサイズの調整を行ってもよい。
また、撮像制御部７３は、ステップＳ１３において、画素領域１１３Ａにおける領域（中央領域２０１，２０２、周辺領域２１０）ごとに異なるフレームレートで画素信号の読み出しを実行させる。例えば、撮像制御部７３は、使用者が最も注目している中央領域２０１において最も高いフレームレート（例えば６０ｆｐｓ）で画素信号の読み出しを実行させる。また、撮像制御部７３は、中央領域２０２において中央領域２０１よりも低いフレームレート（例えば３０ｆｐｓ）で画素信号の読み出しを実行させる。また、撮像制御部７３は、使用者が注目していない周辺領域２１０において低いフレームレート（例えば１５ｆｐｓ）で画素信号の読み出しを実行させる。上記したように、撮像制御部７３は、領域ごとにフレームレートを変更することに代えて、又は領域ごとにフレームレートを変更することともに、領域ごとに間引き率又は加算数（加算行数又は加算列数）を変更してもよい。また、撮像制御部７３は、画素領域１１３Ａにおいて３つ以上の中央領域を設定してもよい。
図１０の説明に戻り、システム制御部７０は、使用者により光学ズームスイッチの操作が行われていないと判定した場合は（ステップＳ２のＮＯ）、電子ズームスイッチの操作が行われたか否かを判定する（ステップＳ４）。システム制御部７０が電子ズームスイッチの操作が行われたと判定した場合は、第２倍率変更部７２及び撮像制御部７３は、電子ズーム対応の制御を実行する（ステップＳ５）。
図１３は、図１０に示す電子ズーム対応の制御（ステップＳ５）を示すフローチャートである。また、図１４は、撮像領域における拡大対象領域を示す図である。図１３に示す処理において、第２倍率変更部７２は、画素領域（撮像領域）１１３Ａにおいて、使用者によるタッチパネル５２の操作に応じて選択された拡大対象領域２２０（図１４参照）を指定する（ステップＳ２１）。このとき、第２倍率変更部７２は、拡大対象領域２２０の切り出しを指示する信号を画像処理部３０に出力する。なお、拡大対象領域２２０と表示パネル５１の全領域とで縦横比が異なる場合、電子ズームによる拡大後に画像の形が歪んでしまう。そこで、第２倍率変更部７２は、表示パネル５１の縦横比と同じとなるような拡大対象領域２２０を指定する。
次に、撮像制御部７３は、第２倍率変更部７２がステップＳ２１で指定した拡大対象領域２２０に対して、電子ズームの拡大率に応じた間引き率で画素信号の読み出しを実行させる（ステップＳ２２）。ここで、拡大率とは、拡大対象領域の面積と表示パネル５１の全画面の面積との比をいう。また、「拡大率に応じた間引き率」としては、例えば、電子ズームによる拡大後の画像の解像度が拡大前の画像の解像度と同じ又は近くなるような間引き率とする。
一般に、ライブビュー画像や動画では、使用者から高解像度の撮像が要求されない。従って、ライブビュー画像や動画の撮像中においては、所定の間引き率で画素信号の読み出しが行われる。例えば、ライブビュー画像の撮像中において間引き率０．７５で画素信号の読み出しが行われる。つまり、すべての画素のうちの１／４の画素において画素信号の読み出しが行われる。しかし、電子ズームは、画像の一部を切り出して表示部５０に拡大表示するものである。従って、電子ズームにより画像を拡大すると、画像の解像度（つまり画素密度）が低下し、画質が低下する。この場合、電子ズームの拡大率によっては、画質の低下が目立ってしまうおそれがある。そこで、撮像制御部７３は、ステップＳ２２において、電子ズームの拡大率に応じた間引き率で画素信号の読み出しを実行させる。
例えば、電子ズームで画像を２倍に拡大するものとする。また、電子ズーム前の間引き率が０．７５であり、電子ズーム後の間引き率が０．５であるとする。つまり、電子ズーム前は１／４の画素で画素信号の読み出しが行われ、電子ズーム後は１／２の画素で画素信号の読み出しが行われる。この場合は、電子ズームによる拡大の前後で画像の解像度が変化しないことになる。これにより、電子ズーム後の画像の解像度の低下が防止される。
ステップＳ２２の具体的な処理として、撮像制御部７３は、使用者により選択された拡大対象領域２２０の面積と表示パネル５１の全画面の面積との比により拡大率を算出する。そして、撮像制御部７３は、算出した拡大率と、電子ズーム前の間引き率とに基づいて、電子ズーム後の間引き率を算出する。また、撮像制御部７３は、電子ズーム後の間引き率を指示する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７３により指示された間引き率で拡大対象領域２２０からの画素信号の読み出しを行う。
次に、撮像制御部７３は、画素領域１１３Ａにおける拡大対象領域２２０以外の領域からの画素信号の読み出しを行わないように設定する（ステップＳ２３）。本実施形態では、電子ズーム後は、拡大対象領域２２０以外の領域の画像は表示パネル５１に表示されず、画素信号の読み出しを行う必要がないからである。
なお、撮像制御部７３は、ステップＳ２２において、拡大率に応じた間引き率で画素信号の読み出しを行うことに代えて、拡大率に応じた加算数（加算行数又は加算列数）で画素信号の加算処理を実行させるようにしてもよい。例えば、電子ズームによる拡大前の加算数が「４」であり、拡大率が２倍である場合において、撮像制御部７３は、電子ズームによる拡大後の加算数として「２」を指示する指示信号を駆動部２１に出力する。このような構成によっても、電子ズームによる拡大の前後で画像の解像度が変化しないようにすることができる。
図１０の説明に戻り、システム制御部７０が使用者により電子ズームスイッチの操作が行われていないと判定した場合は（ステップＳ４のＮＯ）、撮像制御部７３は、通常の読み出し制御を実行する（ステップＳ６）。すなわち、撮像制御部７３は、ライブビュー画像の撮像時や動画の撮像時における通常の撮像条件（例えば適正露出となるような撮像条件）を指示する指示信号を駆動部２１に出力する。駆動部２１は、すべての画素領域１１３Ａにおいて通常の撮像条件で撮像を実行させる。
撮像部２０は、ステップＳ３，Ｓ５，Ｓ６で読み出した各画素の画素信号を画像処理部３０に出力する。画像生成部３１は、各画素の画素データに対して種々の画像処理を施すことにより、所定のファイル形式の画像データを生成する。このとき、画像生成部３１は、電子ズームスイッチの操作が行われている場合は、第２倍率変更部７２により指示された拡大対象領域２２０の画像データを切り出す処理を行う。
次に、表示制御部７４は、画像生成部３１によって生成された画像データを表示部５０に出力させ、表示パネル５１に画像（動画、ライブビュー画像）を表示させる（ステップＳ７）。このとき、表示制御部７４は、電子ズームスイッチの操作が行われている場合は、画像生成部３１により切り出された拡大対象領域２２０の画像を表示パネル５１の全面に表示させる（図９参照）。
次に、システム制御部７０は、動画の撮影が行われている場合は、画像生成部３１で生成された画像データを記憶部６０に記憶させる（ステップＳ８）。その後、システム制御部７０は、撮影終了か否かを判定する（ステップＳ９）。システム制御部７０は、使用者がライブビュー画像の撮影を終了するために操作部５５の操作を行った場合、又は使用者が動画の撮影を終了するための操作部５５（動画スイッチ）の操作を行った場合に、撮影終了と判定する。システム制御部７０は、撮影終了と判定するまで、図１０に示す処理（ステップＳ１〜Ｓ９の処理）を所定間隔ごとに繰り返し実行する。
以上に説明したように、第１実施形態では、第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部５０と、第１画像を示す第１画像データを生成する第１撮像領域と第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部２０と、表示部５０に表示された第１画像及び第２画像の表示倍率を変更する倍率変更部７１，７２と、倍率変更部７１，７２によって表示倍率が変更された場合、第１撮像領域と第２撮像領域とで電荷蓄積条件又は読出条件を変更する撮像制御部７３とを備える。
ここで、「第１表示領域」の一例としては、光学ズームの場合は撮像素子１００上の中央領域２００（又は中央領域２０１，２０２）に対応する表示パネル５１上の領域である。電子ズームの場合は撮像素子１００上の拡大対象領域２２０に対応する表示パネル５１上の領域である。また、「第２表示領域」の一例としては、光学ズームの場合は撮像素子１００上の周辺領域２１０に対応する表示パネル５１上の領域である。電子ズームの場合は撮像素子１００上の拡大対象領域２２０以外の領域に対応する表示パネル５１上の領域である。また、「第１撮像領域」の一例としては、光学ズームの場合は撮像素子１００上の中央領域２００（又は中央領域２０１，２０２）である。電子ズームの場合は撮像素子１００上の拡大対象領域２２０である。また、「第２撮像領域」の一例としては、光学ズームの場合は撮像素子１００上の周辺領域２１０である。電子ズームの場合は撮像素子１００上の拡大対象領域２２０以外の領域である。
このような構成によれば、光学ズーム又は電子ズームで画像の表示倍率が変更される場合に消費電力を抑制することができる。すなわち、光学ズームの場合においては、撮像制御部７３が第２撮像領域（周辺領域２１０）において第１撮像領域（中央領域２００）よりも低いフレームレートで信号の読み出しを行う。これにより、画素領域１１３Ａにおいて一律に高いフレームレートで信号の読み出しが行われる場合よりも消費電力を低減させることができる。また、電子ズームの場合において、撮像制御部７３が第２撮像領域（拡大対象領域２２０以外の領域）からの信号の読み出しを行わないことにより、消費電力を低減させることができる。
なお、倍率変更部７２が「第２画像の表示倍率を変更する」ということには、第２画像を表示しないことを含む。また、撮像制御部７３が「第１撮像領域と第２撮像領域とで電荷蓄積条件又は読出条件を変更する」ということには、第１撮像領域において所定の電荷蓄積条件又は読出条件で信号の読み出しを行い、第２撮像領域において信号の読み出しを行わないことも含む。
また、第１実施形態では、撮像制御部７３は、電荷蓄積条件又は読出条件として、フレームレート、画素間引き率、及び画素加算数のうち、少なくとも１つを変更する。このような構成によれば、撮像制御部７３が第１撮像領域と第２撮像領域とでフレームレートを変更する場合は、第１画像と第２画像とで動きの滑らかさを変化させることができる。また、撮像制御部７３が第１撮像領域と第２撮像領域とで画素間引き率又は画素加算数を変更する場合は、第１画像と第２画像の解像度を異ならせることができる。
また、第１実施形態では、撮像制御部７３は、第１撮像領域に対する第２撮像領域について、フレームレートの低下、画素間引き率の増加、画素加算数の増加のうち、少なくとも１つを行う。このような構成によれば、撮像制御部７３が第１撮像領域と第２撮像領域とでフレームレートを変更する場合は、表示部５０における第２画像よりも第１画像の動きを滑らかにすることができる。また、撮像制御部７３が第１撮像領域と第２撮像領域とで画素間引き率又は画素加算数を変更する場合は、第２画像よりも第１画像の解像度を高くすることができる。
また、第１実施形態では、種類が異なる複数の倍率変更部７１，７２を有し、撮像制御部７３は、倍率変更部７１，７２に応じて異なる電荷蓄積条件又は読出条件で撮像させるように制御する。このような構成によれば、撮像制御部７３は、光学ズームに適した領域ごとに電荷蓄積条件又は読出条件で撮像させることができるとともに、電子ズームに適した領域ごとの電荷蓄積条件又は読出条件で撮像させることもできる。
また、第１実施形態では、倍率変更部７３は、撮影光学系１１を移動させて画像の表示倍率を変化させる光学ズームを含む。このような構成によれば、光学ズームで画像の表示倍率が変化することに合わせて第１撮像領域と第２撮像領域との電荷蓄積条件又は読出条件を異ならせることができる。また、第１実施形態では、第１撮像領域は、撮影光学系の光軸を含む領域である。このような構成によれば、光軸を含む第１撮像領域について動きの滑らかな画像や解像度の高い画像を取得することができる。
また、第１実施形態では、倍率変更部７３は、撮像した画像の一部を切り出して拡大する電子ズームを含む。このような構成によれば、電子ズームで画像の表示倍率が変化することに合わせて第１撮像領域と第２撮像領域との電荷蓄積条件又は読出条件を異ならせることができる。また、第１実施形態では、撮像制御部７３は、倍率変更部７２が電子ズームにより第１画像の表示倍率を変更する場合、第２撮像領域について撮像しないように制御する。このような構成によれば、確実に消費電力を抑制することができる。
また、第１実施形態では、撮像制御部７３は、倍率変更部７１による表示倍率の変更に応じて第１撮像領域を変更する。このような構成によれば、倍率変更部７１によって画像が拡大又は縮小される速度に応じて使用者が注目する第１撮像領域が変更されるとともに、使用者により視認が困難な第２撮像領域も変更される。従って、第１撮像領域と第２撮像領域との電荷蓄積条件又は読出条件を変更した場合でも、使用者に違和感を与えない。また、第１画像に対して、より一層注目させることもできる。
また、第１実施形態では、撮像制御部７３は、倍率変更部７１，７２による表示倍率の変更に応じて電荷蓄積条件又は読出条件を変更する。このような構成によれば、画像の表示倍率の変更過程や変更前後で、画像の解像度を変化させない（又は大きく変化させない）ようにすることができる。従って、画像の表示倍率の変更過程や変更前後で、使用者に違和感を持たせないようにすることができる。
＜第２実施形態＞
上記した第１実施形態では、システム制御部７０は、どのような被写体であるかにかかわらず、倍率変動の速度に応じて中央領域２００を指定し、また使用者により選択された拡大対象領域２２０を指定していた。これに対して、第２実施形態では、主要被写体を含む領域や主要被写体の特徴点を含む領域を指定する。
図１５は、第２実施形態に係る撮像処理を示すフローチャートである。図１５に示す処理において、まず、撮像制御部７３は、撮影動作を開始する（ステップＳ１）。次に、撮像制御部７３は、被写体検出部３２に指示信号を出力することにより、被写体検出部３２に主要被写体を推定させる（ステップＳ３１）。被写体検出部３２は、撮像制御部７３からの指示信号を受け取ると、画像生成部３１で生成した画像データに基づいて公知の顔検出機能を用いて主要被写体である人物の顔を検出（推定）する。そして、被写体検出部３２は、検出した人物の顔の位置及びサイズを示す信号をシステム制御部７０に出力する。
また、撮像制御部７３は、特徴点検出部３３に指示信号を出力することにより、特徴点検出部３３に主要被写体の特徴点を推定させる（ステップＳ３２）。特徴点検出部３３は、撮像制御部７３からの指示信号を受け取ると、画像生成部３１で生成した画像データに基づいて公知の特徴点検出機能を用いて主要被写体の特徴点である目を検出（推定）する。そして、特徴点検出部３３は、検出した人物の目の位置及びサイズを示す信号をシステム制御部７０に出力する。
次に、システム制御部７０は、使用者により光学ズームスイッチの操作が行われたか否かを判定する（ステップＳ２）。システム制御部７０が光学ズームスイッチの操作が行われたと判定した場合は、第１倍率変更部７１及び撮像制御部７３は、光学ズーム対応の制御を実行する（ステップＳ３Ａ）。
図１６は、図１５に示す光学ズーム対応の制御（ステップＳ３Ａ）を示すフローチャートである。また、図１７は、光学ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。図１７（Ａ）に示す表示例は、光学ズームが行われる前の状態を示し、図１７（Ｂ）に示す表示例は、光学ズームが行われた後の状態を示す。
図１６に示す処理において、第１倍率変更部７１は、使用者による光学ズームスイッチの操作に基づいて光学ズームを実行する（ステップＳ４０）。すなわち、第１倍率変更部７１は、光学ズームスイッチの操作量に応じた制御信号をレンズ駆動制御装置１５に出力する。次に、撮像制御部７３は、図１７（Ａ）に示すように、主要被写体である顔の画像Ｃ３を含む領域（図１７（Ａ）に示す主要被写体領域２３０）と、主要被写体の特徴点である目の画像ｆ３１，ｆ３２を含む領域（図１７（Ａ）に示す特徴点領域２４１，２４２）とをブロック単位で選択する（ステップＳ４１）。
具体的には、撮像制御部７３は、被写体検出部３２からの顔の画像Ｃ３の位置及びサイズを示す信号に基づいて、顔の画像Ｃ３を含む主要被写体領域２３０をブロック単位で選択する。また、撮像制御部７３は、特徴点検出部３３からの目の画像ｆ３１，ｆ３２の位置及びサイズを示す信号に基づいて、特徴点である目の画像ｆ３１，ｆ３２を含む特徴点領域２４１，２４２をブロック単位で選択する。なお、主要被写体及び特徴点は、光軸Ｏを含む中心部分に位置するとは限らない。しかし、一般には、光学ズームが行われているときは、主要被写体及び特徴点は光軸Ｏを含む中心部分に位置することが多い。
図１７（Ｂ）に示すように、光学ズームによって人物の顔の画像Ｃ３は拡大していく。顔の画像Ｃ３のサイズが大きくなることにより、顔の画像Ｃ３を含む主要被写体領域２３１も大きくなる。図１７（Ａ）に示す主要被写体領域２３０は縦横のブロックが７×８個の領域である。これに対し、図１７（Ｂ）に示す主要被写体領域２３１は縦横のブロックが１３×１４個の領域である。このように、光学ズームにより主要被写体領域のサイズが変化することから、撮像制御部７３は、ステップＳ４１において光学ズームにおける倍率変動に応じて、主要被写体領域を随時選択する。
また、図１７（Ｂ）に示すように、光学ズームによって目の画像ｆ３１，ｆ３２は拡大していく。目の画像ｆ３１，ｆ３２のサイズが大きくなることにより、目の画像ｆ３１，ｆ３２を含む主要被写体領域２４３，２４４も大きくなる。図１７（Ａ）に示す特徴点領域２４１，２４２は、それぞれ、縦横のブロックが２×２個の領域である。これに対し、図１７（Ｂ）に示す特徴点領域２４３，２４４は、それぞれ、縦横のブロックが３×３個の領域である。このように、光学ズームにより特徴点領域のサイズが変化することから、撮像制御部７３は、ステップＳ４１において光学ズームにおける倍率変動に応じて、特徴点領域を随時選択する。
なお、図１７では、主要被写体領域は主要被写体を含む矩形の領域とされていたが、図１２に示したように光軸Ｏを中心とした円形の領域であってもよい。ただし、この円形の領域内に主要被写体を含むものとする。また、特徴点領域は特徴点を含む矩形の領域とされていたが、図１２に示したように光軸Ｏを中心とした円形の領域であってもよい。ただし、この円形の領域内に特徴点を含むものとする。
次に、撮像制御部７３は、駆動部２１に指示信号を出力することにより、各領域（主要被写体領域、特徴点領域、その他の領域）に適した間引き率で画素信号の読み出しを実行させる（ステップＳ４２）。具体的には、撮像制御部７３は、特徴点領域に対して間引き率を最も低くする。また、撮像制御部７３は、主要被写体領域に対して、特徴点領域よりも間引き率を高くする。また、撮像制御部７３は、主要被写体領域以外の領域に対して、主要被写体領域よりも間引き率を高くする。主要被写体以外の背景などの画像は、使用者に注目されていない画像であると推定される。このため、光学ズームによる拡大又は縮小時に画像のボケが生じても、使用者は気にならないものと考えられる。従って、撮像制御部７３は、主要被写体領域以外の領域の間引き率を高くし、画像の解像度を低下させる。
一方、特徴点である人物の目の画像は、使用者に最も注目されている画像であると推定される。例えば、ポートレート撮影では焦点位置は人物の目に合わせる場合が多く、使用者は目の写りを確認したいと考える。このため、撮像制御部７３は、特徴点領域に対して間引き率を最も低くし、画像の解像度を最も高くする。また、主要被写体である人物の顔の画像は、使用者に注目されている画像であると推定される。しかし、例えば人物の肌の部分などはコントラストが低いため、撮影において解像度はそれほど必要ではない。このため、撮像制御部７３は、主要被写体領域に対して、主要被写体領域以外の領域よりも間引き率を低くし、特徴点領域よりも間引き率を高くする。
なお、倍率変動の速度が速い場合は画像が高速に動いているので、高い解像度は必要ではない。従って、撮像制御部７３は、倍率変動の速度が高くなる程、各領域の間引き率を高くするようにしてもよい。この場合、撮像制御部７３は、領域ごとに、倍率変動の速度に応じて異なる割合で間引き率を変化させてもよい。
また、撮像制御部７３は、ステップＳ４２において、各領域に適した間引き率で画素信号の読み出しを実行させる代わりに、各領域に適した加算行数又は加算列数で画素信号の加算処理を実行させるようにしてもよい。また、撮像制御部７３は、ステップＳ４２において、各領域に適した間引き率で画素信号の読み出しを実行させる代わりに、各領域に適したフレームレートで画素信号の加算処理を実行させるようにしてもよい。
図１５の説明に戻り、システム制御部７０は、使用者により光学ズームスイッチの操作が行われていないと判定した場合は（ステップＳ２のＮＯ）、電子ズームスイッチの操作が行われたか否かを判定する（ステップＳ４）。システム制御部７０が電子ズームスイッチの操作が行われたと判定した場合は、第２倍率変更部７２及び撮像制御部７３は、電子ズーム対応の制御を実行する（ステップＳ５Ａ）。
図１８は、図１５に示す電子ズーム対応の制御（ステップＳ５Ａ）を示すフローチャートである。また、図１９は、電子ズーム時において撮像領域に設定される主要被写体領域と特徴点領域とを示す図である。図１８に示す処理において、第２倍率変更部７２は、画素領域（撮像領域）１１３Ａにおいて、主要被写体である顔の画像Ｃ３を含む領域（図１９（Ａ）に示す主要被写体領域２５０）と、主要被写体の特徴点である目の画像ｆ３１，ｆ３２を含む領域（図１９（Ａ）に示す特徴点領域２６１，２６２）とをブロック単位で選択する。また、第２倍率変更部７２は、主要被写体領域２５０と特徴点領域２６１，２６２を含む拡大対象領域２７０を選択する（ステップＳ５１）。そして、第２倍率変更部７２は、選択した拡大対象領域２７０の切り出しを指示する指示信号を画像処理部３０に出力する。
図１９（Ａ）に示すように、電子ズームが行われる前は、主要被写体領域２５０及び特徴点領域２６１，２６２を含む拡大対象領域２７０が選択される。このように、第２実施形態では、主要被写体領域は使用者により選択されるのではなく、主要被写体に応じて自動的に選択される。図１９（Ａ）に示す例では、主要被写体領域２５０は、縦横のブロックが７×８個の領域である。また、特徴点領域２６１，２６２は、それぞれ、縦横のブロックが２×２個の領域である。また、拡大対象領域２７０は、縦横のブロックが１０×１４個の領域である。図１９（Ｂ）に示すように、電子ズームにより拡大表示される場合でも、主要被写体領域２５０、特徴点領域２６１，２６２、及び拡大対象領域のサイズは変化しない。すなわち、各領域を構成するブロックの数は変更されない。
次に、撮像制御部７３は、ステップＳ５１で選択した拡大対象領域２７０に対して、電子ズームの拡大率に応じた間引き率で各領域から画素信号の読み出しを実行させる（ステップＳ５２）。例えば、撮像制御部７３は、拡大対象領域２７０の間引き率を、電子ズームによる拡大前後で画像の解像度が変化しないような間引き率とする。また、撮像制御部７３は、拡大対象領域２７０内の主要被写体領域２５０の間引き率を、拡大対象領域２７０内の主要被写体領域２５０以外の領域の間引き率よりも低くする。また、撮像制御部７３は、特徴点領域２６１，２６２の間引き率を、主要被写体領域２５０内の特徴点領域２６１，２６２以外の領域の間引き率よりも高くする。
ステップＳ５２では、撮像制御部７３は、拡大対象領域２７０の面積と表示パネル５１の全面の面積との比により拡大率を算出する。そして、撮像制御部７３は、算出した拡大率と、電子ズーム前の間引き率とに基づいて、電子ズーム後の間引き率を算出する。また、撮像制御部７３は、電子ズーム後の各領域の間引き率を指示する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７３により指示された間引き率で、拡大対象領域２７０内の各領域からの画素信号の読み出しを行う。
次に、撮像制御部７３は、画素領域１１３Ａ内の拡大対象領域２７０以外の領域からの画素信号の読み出しを行わないように設定する（ステップＳ５３）。電子ズーム後は、画素領域１１３Ａ内の拡大対象領域２７０以外の領域の画像は表示パネル５１に表示されないので（図１９（Ｂ）参照）、画素信号の読み出しを行う必要がないからである。
なお、撮像制御部７３は、ステップＳ５２において、拡大率に応じた間引き率で画素信号の読み出しを行うことに代えて、拡大率に応じた加算数（加算行数又は加算列数）で画素信号の加算処理を実行させるようにしてもよい。
図１５の説明に戻り、システム制御部７０が使用者により電子ズームスイッチの操作が行われていないと判定した場合は（ステップＳ４のＮＯ）、撮像制御部７３は、通常の読み出し制御を実行する（ステップＳ６）。なお、図１５に示すステップＳ６〜Ｓ９の処理は、図１０に示したステップＳ６〜Ｓ９の処理と同様であるため、同一符号を付して重複説明を省略する。
以上に説明したように、第２実施形態では、撮像部２０によって撮像された画像に基づいて被写体を検出する第１検出部３２を有し、撮像制御部７３は、第１検出部３２により検出された被写体を含む領域（主要被写体領域２３０）を第１撮像領域として設定する。このような構成によれば、使用者が注目する被写体の画像の解像度を高く維持することができる。
また、第２実施形態では、特定領域の画像に基づいて特徴点を検出する第２検出部３３を有し、撮像制御部７３は、特定領域内において特徴点を含む第３撮像領域（例えば特徴点領域）と該第３撮像領域以外の領域とで電荷蓄積条件又は読出条件を変更する。このような構成によれば、使用者が最も注目する特徴点の画像の解像度を高くすることができる。
＜第３実施形態＞
上記した第１及び第２実施形態では、電子ズームを行うときに、撮像制御部７３は拡大対象領域以外の領域において信号の読み出しを行わないように設定していた。そして、表示制御部７４は、表示パネル５１の全面において拡大対象領域の画像を拡大表示していた。これに対して、第３実施形態では、撮像制御部７３は拡大対象領域以外の領域おいても信号の読み出しを行う。そして、第３実施形態では、表示制御部７４は、表示パネル５１の全面において拡大対象領域の画像を拡大して表示するとともに、表示パネル５１の全面中の所定領域において、画素領域１１３Ａ全体で撮像した画像についても表示する。
図２０は、第３実施形態に係る電子ズーム対応の制御を示すフローチャートである。なお、図２０に示す電子ズーム対応の制御は、図１５のステップＳ５Ａにおいて実行される。撮像制御部７３は、電子ズーム後において、拡大対象領域の画像の表示を行うとともに画素領域１１３Ａ全体で撮像した画像の表示についても同時に行う旨の操作（以下、全体表示操作という。）が行われたか否かを判定する（ステップＳ６１）。
第２倍率変更部７２は、画素領域（撮像領域）１１３Ａにおいて、主要被写体領域、特徴点領域、及び拡大対象領域をブロック単位で選択する（ステップＳ６２）。なお、ステップＳ６１の処理はステップＳ５１の処理と同様である。そして、撮像制御部７３は、画素領域１１３Ａ全体において、電子ズームの拡大率に応じた領域ごとの間引き率で画素信号の読み出しを実行させる（ステップＳ６３）。例えば、撮像制御部７３は、拡大対象領域の間引き率を、電子ズームによる拡大前後で画像の解像度が変化しないような間引き率とする。また、撮像制御部７３は、拡大対象領域内の主要被写体領域の間引き率を、拡大対象領域内の主要被写体領域以外の領域の間引き率よりも低くする。また、撮像制御部７３は、特徴点領域の間引き率を、主要被写体領域内の特徴点領域以外の領域の間引き率よりも高くする。さらに、撮像制御部７３は、画素領域１１３Ａ内の拡大対象領域以外の領域の間引き率を、拡大対象領域の間引き率よりも高くする。このように、この第３実施形態では、画素領域１１３Ａ内の拡大対象領域以外の領域においても画素信号の読み出しを行う。ただし、拡大対象領域以外の領域は使用者に注目されていないので、最も間引き率が高く設定される。
ステップＳ６１において、撮像制御部７３が全体表示操作が行われていないと判定した場合は、第２倍率変更部７２又は撮像制御部７３は、上記した図１８のステップＳ５１〜Ｓ５３の処理と同様の処理（図２０のステップＳ６４〜Ｓ６６）を実行する。
図２１は、第３実施形態における電子ズームを行った場合の表示例を示す図である。表示制御部７４は、図１５のステップＳ７において、図２１に示す画像を表示パネル５１に表示する。図２１に示すように、表示パネル５１には、主要被写体である顔の画像Ｃ４（具体的には、図１９（Ａ）に示した拡大対象領域２７０の画像）が拡大表示されている。また、表示パネル５１の右下には、小さい領域のサブ画面５１Ａが設けられている。このサブ画面５１Ａには、画素領域１１３Ａ全体で撮像した画像（人物の上半身の画像）が表示されている。また、表示パネル５１及びサブ画面５１Ａに表示されている顔の画像Ｃ４を囲う枠６００は、顔の画像Ｃ４の位置を使用者に認識させるために表示されている。
上述したように、第３実施形態では、撮像制御部７３は、画素領域１１３Ａ全体において画素信号の読み出しを実行させている（ステップＳ６３参照）。従って、表示制御部７４が、画素領域１１３Ａ全体で撮像した画像をサブ画面５１Ａに表示させることができる。このとき、サブ画面５１Ａに表示される画像は小さいので、拡大対象領域以外の領域の間引き率として高い値が設定されている。
図２２は、第３実施形態における電子ズームを行った場合の他の表示例を示す図である。図２２に示す例では、表示パネル５１には、特徴点である目の画像ｆ３１，ｆ３２（具体的には、図１９（Ａ）に示した特徴点領域２６１，２６２の画像）が拡大表示されている。また、表示パネル５１の右下には、小さい領域のサブ画面５１Ａが設けられている。このサブ画面５１Ａには、拡大対象領域２７０の画像が表示されている。また、サブ画面５１Ａに表示されている顔の画像Ｃ４を囲う枠６００は、顔の画像Ｃ４の位置を使用者に認識させるために表示されている。
このように、第３実施形態では、表示制御部７４は、使用者による電子ズームスイッチの操作に応じて２段階で電子ズームの拡大表示（図２１の表示と図２２の表示）を行うことが可能である。
以上のように、第３実施形態では、倍率変更部７２により電子ズームによって表示倍率が拡大された第１画像と、該第１画像を含んだ広域画像（サブ画面５１Ａに表示された画像）との双方を同時に表示する表示制御部７４を含む。このような構成によれば、電子ズーム後においても使用者が広域画像を確認することができる。また、第３実施形態では、広域画像は、撮像部が撮像している全体画像であるので、電子ズーム後においても使用者が全体画像を確認することができる。
＜第４実施形態＞
第４実施形態では、上記した第１実施形態におけるデジタルカメラ１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。
図２３は、第４実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図２３に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７５を備える。なお、撮像装置１Ａのうち、１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図６に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図６に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。
図７に示す構成（第１倍率変更部７１、第２倍率変更部７２、撮像制御部７３、及び表示制御部７４）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図７に示す構成の一部が第１システム制御部７５に設けられ、図７に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。
なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータ、携帯型タブレットなどの携帯端末で構成される。
図２３に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図２３に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。
なお、図２３に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した条件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
上記した各実施形態では、駆動部２１は、画素領域１１３Ａの各画素を駆動制御し、間引き率に応じて画素信号の読み出しを間引くように構成していた。しかし、このような構成に限らず、駆動部２１は、画素領域１１３Ａの各画素のうち所定の割合（間引き率に対応する割合）の画素については駆動制御せず、その他の画素について駆動制御する構成でもよい。この構成によっても、所定の間引き率で画素信号の読み出しを間引く場合と同様の効果を奏する。また、信号処理チップ１１１などが画素領域１１３Ａの各画素から読み出した画素信号を廃棄する構成でもよい。この構成によっても、所定の間引き率で画素信号の読み出しを間引く場合と同様の効果を奏する。
また、上記した第１実施形態において、第１倍率変更部７１は、倍率変動の速度に応じて中央領域２００を変更していたが、予め決められたサイズの中央領域から変更しないようにしてもよい。また、第１倍率変更部７１は使用者の選択に応じて中央領域を指定するようにしてもよい。
また、上記した第１実施形態において、第２倍率変更部７２は使用者の選択に応じて拡大対象領域２２０を指定していたが、第２実施形態で説明したように、被写体検出部３２が検出した主要被写体や特徴点に応じた領域を拡大対象領域として自動的に指定してもよい。また、上記した第２実施形態において、第２倍率変更部７２は、主要被写体や特徴点に応じた領域を拡大対象領域として自動的に指定していたが、第１実施形態で説明したように、使用者の選択に応じて拡大対象領域を指定してもよい。
また、上記した各実施形態において、電子機器の一例としてデジタルカメラ１を挙げていた。しかし、電子機器はデジタルカメラ１に限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されてもよい。また、図６に示す第１実施形態に係るデジタルカメラ１において、表示部５０は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。
また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。
また、上記した第１実施形態においては、領域ごとに電荷蓄積条件又は読出条件を変更していたが、領域ごとに電荷蓄積条件又は読出条件以外の撮像条件（例えば、画像処理部３０における制御パラメータ）を撮像状況に合わせて変更してもよい。
また、上記した各実施形態において、光学ズームと電子ズームとが同時に行われる構成であってもよく、その場合においても、上記したような光学ズーム時の領域ごとの読み出し制御と電子ズーム時の領域ごとの読み出し制御を行うように構成する。
また、上記した各実施形態において、電子ズーム前後で画像の解像度（画質）が変化しないように間引き率等を変更する構成であった。しかし、電子ズーム後の画像の解像度が電子ズーム前よりも高くするようにしてもよく、電子ズーム前よりも低くするようにしてもよい。また、上記した各実施形態において、光学ズームの場合は周辺領域においても画素信号の読み出しを行っていたが、周辺領域については画素信号の読み出しを行わないようにしてもよい。
１，１Ｂ…デジタルカメラ１Ａ…撮像装置、２０…撮像部、３０，３０Ａ…画像処理部、３１…画像生成部、３２…被写体検出部（第１検出部）、３３…特徴点検出部（第２検出部）、５０…表示部、５１…表示パネル（表示画面）、５２…タッチパネル（選択部）、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…第１倍率変更部（倍率変更部）、７２…第２倍率変更部（倍率変更部）、７３…撮像制御部、７４…表示制御部、１００…撮像素子

Claims (15)

  1. 第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、
    前記第１画像を示す第１画像データを生成する第１撮像領域と前記第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、
    前記表示部に表示された前記第１画像の表示倍率を変更する倍率変更部と、
    前記倍率変更部によって表示倍率が変更されると、前記倍率変更部による前記第１画像の前記表示倍率の変更に基づいて、電荷蓄積条件及び読出条件の一方又は双方を、前記第１撮像領域と前記第２撮像領域とで互いに異なる条件で制御する撮像制御部と、
    を備える電子機器。
  2. 前記撮像制御部は、前記電荷蓄積条件又は前記読出条件として、フレームレート、画素間引き率、及び画素加算数のうち、少なくとも１つを変更する請求項１記載の電子機器。
  3. 前記撮像制御部は、前記倍率変更部で表示倍率を高くすると、前記第２撮像領域の前記フレームレートを前記第１撮像領域の前記フレームレートよりも低くする、又は前記第２撮像領域の前記画素間引き率を前記第１撮像領域の前記画素間引き率よりも大きくする、又は前記第２撮像領域の前記画素加算数を前記第１撮像領域の前記画素加算数よりも大きくするように制御する請求項２記載の電子機器。
  4. 前記倍率変更部は、前記撮像部の被写体像を結像させる撮影光学系により前記被写体像の倍率を変化させて前記表示部に表示させる画像の表示倍率を変化させる光学ズームを含む請求項１から３のいずれか一項に記載の電子機器。
  5. 前記第１撮像領域は、前記撮像部の前記撮影光学系の光軸と交差する点を含む領域である請求項４記載の電子機器。
  6. 前記倍率変更部は、撮像した画像の一部を拡大して前記表示部に表示させる電子ズームを含む請求項１から５のいずれか一項に記載の電子機器。
  7. 前記撮像制御部は、前記倍率変更部が前記電子ズームにより前記第１画像の表示倍率を変更する場合、前記第２撮像領域の前記電荷蓄積条件として電荷蓄積を行わない、又は前記第２撮像領域の前記読出条件として読出しを行わないように制御する請求項６記載の電子機器。
  8. 前記倍率変更部により前記電子ズームによって表示倍率が拡大された前記第１画像と、
    前記撮像部により前記第１撮像領域の少なくとも一部を含む前記第１撮像領域よりも広い第３撮像領域で生成された第３画像データによる第３画像を含んだ広域画像との双方を同時に表示する表示制御部を含む請求項７記載の電子機器。
  9. 前記第３画像は、前記撮像部が撮像している全体画像である請求項８記載の電子機器。
  10. 前記撮像制御部は、前記倍率変更部による表示倍率の変更に応じて前記第１撮像領域と前記第２撮像領域とを変更する請求項１から９のいずれか一項に記載の電子機器。
  11. 前記撮像部によって撮像された画像に基づいて被写体を検出する第１検出部を有し、
    前記撮像制御部は、前記第１検出部により検出された前記被写体を含む領域を前記第１撮像領域として設定する請求項１から１０のいずれか一項に記載の電子機器。
  12. 前記第１画像又は前記第２画像に基づいて特徴点を検出する第２検出部を有し、
    前記撮像制御部は、前記第１画像の領域内又は前記第２画像の領域内において前記特徴点を含む第４撮像領域と前記第４撮像領域以外の領域とで前記電荷蓄積条件及び前記読出条件の一方又は双方を変更する請求項１１記載の電子機器。
  13. 前記倍率変更部は、前記撮像部の被写体像を結像させる撮影光学系により前記被写体像の倍率を変化させて前記表示部に表示させる画像の表示倍率を変化させる光学ズームと、
    撮像した画像の一部を拡大して前記表示部に表示させる画像の表示倍率を変化させる電子ズームとを有し、
    前記撮像制御部は、前記表示部に表示させる画像の表示倍率の変化が、前記光学ズームによるか又は前記電子ズームによるかに応じて異なる前記電荷蓄積条件又は前記読出条件で撮像させるように制御する請求項１から１２のいずれか一項に記載の電子機器。
  14. 第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、前記第１画像を示す第１画像データを生成する第１撮像領域と前記第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御方法であって、
    前記表示部に表示された前記第１画像の表示倍率を変更することと、
    前記表示倍率が変更されると、前記第１画像の前記表示倍率の変更に応じて、電荷蓄積条件及び読出条件の一方又は双方を、前記第１撮像領域と前記第２撮像領域とで互いに異なる条件に変更することと、を含む電子機器の制御方法。
  15. 第１画像が表示される第１表示領域と第２画像が表示される第２表示領域とを有する表示部と、前記第１画像を示す第１画像データを生成する第１撮像領域と前記第２画像を示す第２画像データを生成する第２撮像領域とを有する撮像部と、を含む電子機器の制御装置に、
    前記表示部に表示された前記第１画像の表示倍率を変更する倍率変更処理と、
    前記倍率変更処理によって表示倍率が変更されると、前記倍率変更処理による前記第１画像の前記表示倍率の変更に応じて、電荷蓄積条件及び読出条件の一方又は双方を、前記第１撮像領域と前記第２撮像領域とで互いに異なる条件に変更する撮像制御処理と、を実行させる制御プログラム。
JP2013203501A 2013-09-30 2013-09-30 電子機器、電子機器の制御方法、及び制御プログラム Active JP6375607B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2013203501A JP6375607B2 (ja) 2013-09-30 2013-09-30 電子機器、電子機器の制御方法、及び制御プログラム
US15/025,737 US10136059B2 (en) 2013-09-30 2014-09-30 Electronic apparatus, method for control rolling electronic apparatus, and control program
PCT/JP2014/076050 WO2015046565A1 (ja) 2013-09-30 2014-09-30 電子機器、電子機器の制御方法、及び制御プログラム
EP14849181.4A EP3054670B1 (en) 2013-09-30 2014-09-30 Electronic apparatus, electronic apparatus control method, and control program
CN201480053867.1A CN105637856B (zh) 2013-09-30 2014-09-30 电子设备、电子设备的控制方法以及记录介质
CN201910711941.9A CN110365909B (zh) 2013-09-30 2014-09-30 电子设备
US16/167,747 US10735650B2 (en) 2013-09-30 2018-10-23 Electronic apparatus, method for controlling electronic apparatus, and control program
US16/905,052 US11196923B2 (en) 2013-09-30 2020-06-18 Electronic apparatus, method for controlling electronic apparatus, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013203501A JP6375607B2 (ja) 2013-09-30 2013-09-30 電子機器、電子機器の制御方法、及び制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018139435A Division JP6885374B2 (ja) 2018-07-25 2018-07-25 電子機器

Publications (2)

Publication Number Publication Date
JP2015070476A JP2015070476A (ja) 2015-04-13
JP6375607B2 true JP6375607B2 (ja) 2018-08-22

Family

ID=52743686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013203501A Active JP6375607B2 (ja) 2013-09-30 2013-09-30 電子機器、電子機器の制御方法、及び制御プログラム

Country Status (5)

Country Link
US (3) US10136059B2 (ja)
EP (1) EP3054670B1 (ja)
JP (1) JP6375607B2 (ja)
CN (2) CN105637856B (ja)
WO (1) WO2015046565A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6521731B2 (ja) * 2015-05-18 2019-05-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10867365B2 (en) * 2015-08-12 2020-12-15 Sony Corporation Image processing apparatus, image processing method, and image processing system for synthesizing an image
JP6727989B2 (ja) * 2016-08-31 2020-07-22 キヤノン株式会社 画像処理装置およびその制御方法
US11190714B2 (en) 2018-03-08 2021-11-30 Sony Interactive Entertainment Inc. Electronic device, head-mounted display, gaze point detector, and pixel data readout method
JPWO2019189195A1 (ja) * 2018-03-30 2021-04-01 株式会社ニコン 動画圧縮装置、電子機器、および動画圧縮プログラム
JP7154877B2 (ja) * 2018-08-22 2022-10-18 キヤノン株式会社 画像投射装置、画像投射装置の制御方法、および、プログラム
JP7049467B2 (ja) * 2018-09-04 2022-04-06 株式会社日立国際電気 撮像装置
US11336954B1 (en) * 2018-12-12 2022-05-17 Amazon Technologies, Inc. Method to determine the FPS on a client without instrumenting rendering layer
US10971161B1 (en) 2018-12-12 2021-04-06 Amazon Technologies, Inc. Techniques for loss mitigation of audio streams
US11368400B2 (en) 2018-12-13 2022-06-21 Amazon Technologies, Inc. Continuously calibrated network system
US11252097B2 (en) 2018-12-13 2022-02-15 Amazon Technologies, Inc. Continuous calibration of network metrics
US11356326B2 (en) 2018-12-13 2022-06-07 Amazon Technologies, Inc. Continuously calibrated network system
JP2020120219A (ja) * 2019-01-22 2020-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US11016792B1 (en) 2019-03-07 2021-05-25 Amazon Technologies, Inc. Remote seamless windows
JP7010259B2 (ja) 2019-03-20 2022-02-10 カシオ計算機株式会社 撮像装置、撮像方法およびプログラム
US11461168B1 (en) 2019-03-29 2022-10-04 Amazon Technologies, Inc. Data loss protection with continuity
US11245772B1 (en) 2019-03-29 2022-02-08 Amazon Technologies, Inc. Dynamic representation of remote computing environment
JP7261642B2 (ja) * 2019-03-29 2023-04-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
KR20210047483A (ko) * 2019-10-22 2021-04-30 에스케이하이닉스 주식회사 복수의 촬영 모드를 지원하는 이미지 센서
JP6896963B1 (ja) * 2020-01-15 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
US11403477B1 (en) * 2020-05-15 2022-08-02 Scandit Ag Image exposure performance improvements for recognition of optical patterns
US12175327B1 (en) 2020-12-04 2024-12-24 Scandit Ag Camera start optimization for optical pattern decoding
KR20220134276A (ko) 2021-03-26 2022-10-05 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907778B2 (ja) * 1997-04-08 2007-04-18 オリンパス株式会社 撮像システム
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
JP2001177741A (ja) * 1999-12-15 2001-06-29 Minolta Co Ltd 電子カメラおよび表示システム
JP4172898B2 (ja) * 2000-05-31 2008-10-29 Ｈｏｙａ株式会社 電子内視鏡装置
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
JP2003018434A (ja) * 2001-06-28 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004072278A (ja) * 2002-08-02 2004-03-04 Canon Inc 撮像装置およびその制御方法
JP4250437B2 (ja) * 2003-03-04 2009-04-08 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
KR100627048B1 (ko) * 2003-12-15 2006-09-25 삼성테크윈 주식회사 디지털 카메라의 제어방법
US8045029B2 (en) * 2004-04-26 2011-10-25 Intellectual Ventures Ii Llc CMOS image sensor for high speed signal processing
US7652703B2 (en) * 2004-07-12 2010-01-26 Micron Technology, Inc. Dual panel pixel readout in an imager
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びｍｏｓ型固体撮像装置
WO2007052572A1 (en) * 2005-11-02 2007-05-10 Olympus Corporation Electronic camera
JP4816336B2 (ja) 2006-02-07 2011-11-16 日本ビクター株式会社 撮像方法及び撮像装置
CN100527792C (zh) * 2006-02-07 2009-08-12 日本胜利株式会社 摄像方法以及摄像装置
JP4724890B2 (ja) * 2006-04-24 2011-07-13 富士フイルム株式会社 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
CN101433095B (zh) 2006-04-25 2012-05-30 佳能株式会社 摄像设备及其控制方法
JP2008017090A (ja) 2006-07-05 2008-01-24 Casio Comput Co Ltd 撮像装置、及び電子ズーム方法
JP4904108B2 (ja) * 2006-07-25 2012-03-28 富士フイルム株式会社 撮影装置及び画像表示制御方法
JP4732311B2 (ja) 2006-11-29 2011-07-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP2008252461A (ja) * 2007-03-30 2008-10-16 Olympus Corp 撮像装置
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP2009086490A (ja) * 2007-10-02 2009-04-23 Nikon Corp 撮像装置
JP5207905B2 (ja) * 2007-12-19 2013-06-12 キヤノン株式会社 撮像システム、撮像素子の駆動方法、プログラム、及び記録媒体
US8390710B2 (en) 2007-12-19 2013-03-05 Canon Kabushiki Kaisha Image pickup system, method for driving image pickup elements, and recording medium
JP2008236799A (ja) * 2008-06-17 2008-10-02 Canon Inc 撮像装置及びその制御方法
JP2010016621A (ja) 2008-07-03 2010-01-21 Sony Corp 画像データ処理装置と画像データ処理方法およびプログラムと記録媒体
JP5035702B2 (ja) * 2009-02-27 2012-09-26 カシオ計算機株式会社 撮像装置、オートフォーカス方法及びプログラム
CN101873426B (zh) * 2009-04-25 2012-01-25 鸿富锦精密工业（深圳）有限公司 图像预览系统及其图像预览方法
WO2012002298A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP2012104918A (ja) * 2010-11-08 2012-05-31 Canon Inc 撮像装置及びその制御方法
JP5653207B2 (ja) 2010-12-27 2015-01-14 アルパイン株式会社 消費電力制御システム
JP5655589B2 (ja) * 2011-01-26 2015-01-21 株式会社ニコン 撮像装置
JP5779959B2 (ja) * 2011-04-21 2015-09-16 株式会社リコー 撮像装置
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
RU2018109081A (ru) 2012-05-02 2019-02-26 Никон Корпорейшн Устройство формирования изображений

Also Published As

Publication number Publication date
US10136059B2 (en) 2018-11-20
US20190058830A1 (en) 2019-02-21
WO2015046565A1 (ja) 2015-04-02
JP2015070476A (ja) 2015-04-13
US20160219218A1 (en) 2016-07-28
EP3054670A4 (en) 2017-05-10
US20200322533A1 (en) 2020-10-08
CN110365909B (zh) 2022-05-17
CN110365909A (zh) 2019-10-22
EP3054670B1 (en) 2024-11-06
CN105637856B (zh) 2019-09-03
EP3054670A1 (en) 2016-08-10
US11196923B2 (en) 2021-12-07
US10735650B2 (en) 2020-08-04
CN105637856A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
JP6375607B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP7544116B2 (ja) 撮像素子及び撮像装置
JP6372488B2 (ja) 電子機器
JP6075393B2 (ja) 電子機器及び制御プログラム
JP6561428B2 (ja) 電子機器、制御方法、及び制御プログラム
JP6409883B2 (ja) 電子機器及び制御プログラム
JP7176591B2 (ja) 電子機器
JP6349659B2 (ja) 電子機器、電子機器の制御方法、及び制御プログラム
JP6885374B2 (ja) 電子機器
JP6781140B2 (ja) 撮像装置
JP2020171054A (ja) 電子機器
JP2019092219A (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2018148590A (ja) 電子機器、及び撮像素子
JP2018174543A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R150 Certificate of patent or registration of utility model

Ref document number: 6375607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250