JP2016050973A - Image-capturing device and control method thereof - Google Patents
Image-capturing device and control method thereof Download PDFInfo
- Publication number
- JP2016050973A JP2016050973A JP2014174680A JP2014174680A JP2016050973A JP 2016050973 A JP2016050973 A JP 2016050973A JP 2014174680 A JP2014174680 A JP 2014174680A JP 2014174680 A JP2014174680 A JP 2014174680A JP 2016050973 A JP2016050973 A JP 2016050973A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- zoom
- amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、光学式及び電子式手ぶれ補正により撮像装置の振れに起因する像ブレを補正する技術に関する。 The present invention relates to a technique for correcting image blur caused by shake of an imaging apparatus by optical and electronic camera shake correction.
動画撮影中の撮像装置の振れによって生じる像ブレの補正技術として、以下に示す2種類の補正があり、光学式手ぶれ補正に加えて、電子式手ぶれ補正が採用されている。
・光学式手ぶれ補正:光学レンズや撮像素子を移動させて撮像面上の像ブレを補正する技術。撮像装置の振れを検出し、検出した振れを相殺するように補正用レンズ等が駆動され、撮像面上の結像位置が常に同じになるように制御することで像ブレが補正される。
・電子式手ぶれ補正:画像の一部を切り出して出力することで撮像面上の像ブレを補正する技術。画像間の比較処理で求めた振れを相殺するように画像の出力領域を動かすことで像ブレが補正される。像ブレ補正効果を高めるためには、画像の出力領域よりも大きな領域(以下、この領域の画素を余剰画素という)での画像データの読み出しが必要である。
There are the following two types of correction techniques for correcting the image blur caused by the shake of the image pickup apparatus during moving image shooting. In addition to the optical camera shake correction, electronic camera shake correction is adopted.
-Optical image stabilization: A technology that corrects image blur on the imaging surface by moving an optical lens or image sensor. Image blur is corrected by detecting a shake of the imaging device, driving a correction lens or the like so as to cancel the detected shake, and controlling the imaging position on the imaging surface to be always the same.
Electronic camera shake correction: A technology that corrects image blur on the imaging surface by cutting out and outputting part of the image. Image blur is corrected by moving the output area of the image so as to cancel out the shake obtained in the comparison processing between the images. In order to enhance the image blur correction effect, it is necessary to read image data in a region larger than the image output region (hereinafter, pixels in this region are referred to as surplus pixels).
一般的に前記2種類の手ぶれ補正制御を同時に行うことで、より強化された像ブレ補正効果が得られるが、両制御を併用するためには考慮すべき事項がある。第1に、光学式手ぶれ補正では像ブレ補正用の光学レンズ等を駆動する機構部の駆動域や、撮影画像にケラレが発生しない駆動域が存在するため、像ブレ補正効果には一定の限界がある。第2に、所定の大きさの撮像素子を使用する場合には、電子式手ぶれ補正では余剰画素を多く取るほど、当該補正を行わない場合に比べて出力画角が狭くなってしまう。これらの事項を考慮して適切な手ぶれ補正制御を行うことが課題となる。 In general, by performing the two types of camera shake correction control at the same time, a more enhanced image blur correction effect can be obtained. However, there are items to be considered in order to use both controls together. First, in optical camera shake correction, there is a drive range of a mechanism unit that drives an optical lens for image blur correction and the like, and a drive range in which vignetting does not occur in a captured image. There is. Secondly, when an image sensor of a predetermined size is used, the larger the number of surplus pixels in the electronic camera shake correction, the narrower the output field angle than when the correction is not performed. It is a problem to perform appropriate camera shake correction control in consideration of these matters.
上記の課題に対して、特許文献1に開示の装置では電子式手ぶれ補正が有効である場合に、電子式手ぶれ補正が無効である場合よりも、光学式手ぶれ補正用の光学レンズの駆動範囲を拡大する。電子式手ぶれ補正による像ブレ補正効果に加えて、光学式手ぶれ補正の駆動範囲が広がることにより、更に像ブレ補正効果が向上する。また、特許文献2に開示の装置では、光学式手ぶれ補正方式と電子式手ぶれ補正を併用する方法においてズーム位置に応じた手ぶれ補正制御を行う。この装置は、撮像装置に加わる振れを検出する角速度センサと、ズームレンズ位置を検出するズームエンコーダと、撮影画像から動きベクトルを検出する動きベクトル検出部を備える。制御手段は、変倍位置が広角端と望遠端を含まない予め決められた範囲内にある場合、前記範囲外にある場合に比べて、振れ検出に基づく第1の振れ補正量及び動きベクトルに基づく第2の振れ補正量をより抑制するように制御する。これにより、ズーム位置によって目立つ振れの特性に適した手ぶれ補正制御が可能となる。
In response to the above problem, in the apparatus disclosed in
電子式手ぶれ補正では撮影画像のうち、出力画像として切り出す画像の周辺に位置する画素を余剰画素として利用するため、余剰画素を多く取るほど手ぶれ補正可能範囲が大きくなる。一方で、出力画像の画角が狭くなるため、記録される画像の画質低下につながる可能性が懸念される。また、日常的なカメラの用途として常に一定の手ぶれ補正可能範囲を確保すべきシーンは少ない。多くの場合において、被写体や撮影状況等により必要な手ぶれ補正可能範囲は増減する可能性がある。このため、一律に切り出し画角を設定することは不用意に画質を低下させる原因になりかねない。 In electronic camera shake correction, pixels located in the periphery of an image to be cut out as an output image in the captured image are used as surplus pixels. Therefore, the greater the number of surplus pixels, the greater the range in which camera shake can be corrected. On the other hand, since the angle of view of the output image becomes narrow, there is a concern that the image quality of the recorded image may be reduced. In addition, there are few scenes where a certain range of camera shake correction should always be secured for everyday camera applications. In many cases, the necessary image stabilization range may increase or decrease depending on the subject, shooting conditions, and the like. For this reason, setting the cut-out angle of view uniformly may cause the image quality to be inadvertently lowered.
以上のように、画像データの一部を切り出して出力することで像ブレを補正する電子式手ぶれ補正制御では、画像の切り出し量が小さいほど補正可能範囲が大きくなり像ブレ補正効果が高まる反面、画質低下を伴う。そのため、像ブレ補正効果と画質低下防止とを両立させるべく適応的に制御することが求められている。
本発明の目的は、電子的な像ブレの補正に起因する画質低下を抑えつつ、手ぶれ等による撮影画像への影響を低減させることが可能な撮像装置及びその制御方法を提供することである。
As described above, in electronic camera shake correction control that corrects image blur by cutting out and outputting a part of image data, the smaller the image cut-out amount, the larger the correctable range and the higher the image blur correction effect. Accompanying image quality degradation. Therefore, adaptive control is required to achieve both the image blur correction effect and the prevention of image quality degradation.
SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus and a control method thereof that can reduce the influence on a captured image due to camera shake or the like while suppressing deterioration in image quality due to electronic image blur correction.
本発明に係る装置は、振れを検出して画像の像ブレを補正する撮像装置であって、ズーム機構を有する撮影光学系により結像された光を受光する撮像手段と、前記撮像装置の振れを検出する振れ検出手段と、前記撮影光学系のズーム制御により光学ズーム倍率を変更するズーム制御手段と、前記撮影光学系を構成する補正部材の駆動により像ブレを光学的に補正する第1の補正手段と、前記撮像手段が出力する画像データに対する画像の切り出し処理によって像ブレを電子的に補正する第2の補正手段と、前記振れ検出手段の検出信号を取得し、前記ズーム制御手段による前記光学ズーム倍率を変更するとともに前記第2の補正手段による画像の切り出し量を変更することにより、前記第1及び第2の補正手段による像ブレの補正の範囲を変更する制御を行う補正制御手段と、を備える。 An apparatus according to the present invention is an imaging apparatus that detects a shake and corrects an image blur of an image, the imaging means receiving light imaged by a photographing optical system having a zoom mechanism, and the shake of the imaging apparatus Shake detecting means for detecting the image, zoom control means for changing the optical zoom magnification by zoom control of the photographing optical system, and first correction for optically correcting image blur by driving a correction member constituting the photographing optical system. A correction unit; a second correction unit that electronically corrects image blur by image cutout processing on image data output from the imaging unit; and a detection signal from the shake detection unit; The range of image blur correction by the first and second correction means is changed by changing the optical zoom magnification and changing the image cutout amount by the second correction means. And a correction control means for controlling the.
本発明によれば、電子的な像ブレの補正に起因する画質低下を抑えつつ、手ぶれ等による撮影画像への影響を低減することができる。 According to the present invention, it is possible to reduce the influence on a captured image due to camera shake or the like while suppressing deterioration in image quality due to electronic image blur correction.
図1は本発明の一実施形態に係る撮像装置のシステムを適用した撮像装置101の構成例を表した図である。ズーム機構を有する光学ブロック部170は、撮影光学系を構成するレンズ群として、倍率レンズ171、手ぶれ補正シフトレンズ(以下、補正レンズという)172、焦点調節レンズ173を備える。また光学ブロック部170は絞り174、シャッタ175などを備える。レンズ駆動制御部150は、光学ブロック部170の可動光学部材を駆動させるための制御手段である。レンズ駆動制御部150はズーム制御部151、手ぶれ補正制御部152、フォーカス制御部153、絞り制御部154、シャッタ制御部155などを備える。
FIG. 1 is a diagram illustrating a configuration example of an
手ぶれ補正制御部152は、撮像装置101に実装された振れ検出部160から振れ検出信号を取得し、振れ情報に基づいて像ブレが発生しないように補正レンズ172を駆動させる。補正レンズ172とその駆動機構部は像ブレを光学的に補正する第1の補正手段を構成する。本実施形態では撮影光学系を構成する補正部材(像ブレ補正用部材)として補正レンズ172を光軸に直交する方向に移動させる例を説明するが、撮像素子を移動させる実施形態にも適用可能である。また手ぶれ補正制御部152は、映像信号処理部125にて電子式手ぶれ補正処理を行うために補正量を算出する。つまり、映像信号処理部125は画像データに対する切り出し処理によって像ブレを電子的に補正する第2の補正手段を構成する。
ズーム制御部151は、ズームエンコーダなどのズーム位置検出部151aによりズーム位置やズーム速度(駆動速度)の情報を取得する。本実施形態では、ズーム位置やズーム速度の情報を手ぶれ補正制御部152に通知することで、ズーム位置やズーム速度に応じて電子式手ぶれ補正制御における補正量の算出処理が行われる。
The camera shake
The
撮像素子121は、光学ブロック部170を通して撮影光学系により結像される光を受光し、光学像を電気信号に変換する。撮像素子121は、撮像制御部122によって駆動タイミング等が制御される。A(Analog)/D(Digital)変換器123は、撮像素子121のアナログ信号出力をデジタル信号に変換する。A/D変換後の信号は、画像入力部124を介して内部メモリ143に格納される。映像信号処理部125は所定の信号処理を実行し、手ぶれ補正制御部152が算出した補正量にしたがい、画像の切り出し処理によって電子式手ぶれ補正を行う。
The
メモリ制御回路141は、A/D変換器123、映像信号処理部125、圧縮伸長回路142、内部メモリ143を制御し、記録メディア144へのデータの記録を制御する。画像表示制御部126は表示用の画像データを処理する。画像表示部106はTFT(薄膜トラジンスタ)駆動型LCD(液晶表示デバイス)等を備える。内部メモリ143に書き込まれた表示用の画像データは、画像表示制御部126を介して画像表示部106により表示される。内部メモリ143は、撮影された静止画像や動画像のデータを格納するための記憶部であり、システムコントローラ140の作業領域としても使用可能である。画像データを圧縮伸長する圧縮伸長回路142は、内部メモリ143に格納された画像データを読み込んで圧縮処理または伸長処理を行い、処理後のデータを再び内部メモリ143に書き込む。
The
システムコントローラ140は、撮像装置101全体を制御する。操作部(102から105参照)は、システムコントローラ140に各種の動作指示を入力するためのスイッチやダイアル、タッチパネル等の単数または複数の組み合わせで構成される。レリーズスイッチ103は、静止画を記録するためのシャッタを動作させるトリガ信号や、動画記録の開始や終了を指示するためのトリガ信号を発生させる。ズームキー104は、倍率レンズ171を制御(ズーム制御)して焦点距離を変更する際にユーザが操作する。メニュー操作キー105は、ユーザが表示画面を見ながらメニュー操作を行う際に使用する。電源制御部145は、電源ボタン102の操作信号をトリガ信号として電源146から撮像装置101の各部に必要な電源電圧を供給する。
The
次に図2のブロック図を参照して、本実施形態に係る像ブレ補正制御部の構成を説明する。
振れ検出部160は、撮像装置101に実装された角速度センサ等を有する。角速度センサの出力により、撮像装置101に加えられる振れの大きさが検出される。ピッチ方向振れ検出部160aは、撮像装置101の姿勢検出に係る2つの回転軸のうち、第1の軸回り方向であるピッチ方向の振れを検出する。また、ヨー方向振れ検出部160bは、撮像装置101に対して第2の軸回り方向であるヨー方向の振れを検出する。
Next, the configuration of the image blur correction control unit according to the present embodiment will be described with reference to the block diagram of FIG.
The
振れ検出部160で取得した角速度信号は、A/Dコンバータ210a,210bをそれぞれ介してアナログ値からデジタル値に変換される。A/Dコンバータ210aは、ピッチ方向振れ検出部160aの振れ検出信号をA/D変換し、A/Dコンバータ210bは、ヨー方向振れ検出部160bの振れ検出信号をA/D変換する。デジタル値に変換された角速度信号は、フィルタ220a,220bによってフィルタ処理が施される。フィルタ220aはA/Dコンバータ210aの出力信号を処理し、フィルタ220bはA/Dコンバータ210bの出力信号を処理する。このフィルタ処理は、例えば、以下の処理を含む。
・角速度センサ出力のオフセット成分や温度ドリフト成分を除去するためのハイパスフィルタ処理。
・角速度信号を積分して振れ量を算出するためのローパスフィルタ処理。
The angular velocity signal acquired by the
・ High-pass filter processing to remove the offset component and temperature drift component of the angular velocity sensor output.
・ Low-pass filter processing to calculate the shake amount by integrating the angular velocity signal.
フィルタ220a,220bによりそれぞれ処理された振れ量は、手ぶれ補正制御部152内の補正量演算部152aで演算処理され、光学式手ぶれ補正制御の補正量が算出される。また手ぶれ補正制御部152は撮影状況判定部152bを備える。撮影状況判定部152bは、振れ検出部160が検出してフィルタ処理された振れ量の情報や、システムコントローラ140から必要な情報を取得し、電子式手ぶれ補正制御の補正量、目標ズーム位置等、各制御部の駆動量を算出する。算出された補正量にしたがって、映像信号処理部125における電子式手ぶれ補正が行われ、また算出された駆動量にしたがって補正レンズ172の駆動制御が行われる。
The shake amounts processed by the
図2のズーム位置取得部161は、例えばズームエンコーダによるカウント数を取得してズーム制御部151に出力する。ズーム制御部151はズーム操作信号にしたがって、倍率レンズ171を含むズームレンズユニットを制御する。また、手ぶれ補正制御部152は、フィルタ220a,220bの各出力及びシステムコントローラ140からの情報を取得し、補正レンズ172を含む振れ補正用レンズユニットを制御する。これにより光学式手ぶれ補正が行われる。光学式手ぶれ補正及び電子式手ぶれ補正の詳細については後述する。
The zoom
次に図3のフローチャートを参照して、本実施形態の制御動作を説明する。以下の処理はシステムコントローラ140のCPU(中央演算処理装置)がメモリから読み出して実行するプログラムにしたがって行われる。
Next, the control operation of this embodiment will be described with reference to the flowchart of FIG. The following processing is performed according to a program that the CPU (central processing unit) of the
S301でCPUは、動画記録スイッチがON操作されたか否かを判定する。動画記録スイッチSWがON状態である場合(S301でYES)、S302に進む。また動画記録スイッチSWがOFF状態ならば(S301でNO)、S301の判定処理が繰り返される。S302にて、切り出し画角が切り替えられる。切り出し画角とは、電子式手ぶれ補正にて画像の切り出し(データ抽出)処理を行う場合に設定される領域に対応する出力画角である。切り出し画角が小さい方が、像ブレ補正効果は大きい。しかし撮影記録開始時に出力される画角が切り替わるため、撮影者に違和感のない範囲で変更することが求められる。本実施形態においては、画像の切り出しを行わずに画像データをそのまま使用する場合を基準値(100%)として、例えば、切り出し画角の初期値が80%に設定される。 In S301, the CPU determines whether the moving image recording switch is turned on. When the moving image recording switch SW is in the ON state (YES in S301), the process proceeds to S302. If the moving image recording switch SW is OFF (NO in S301), the determination process in S301 is repeated. In S302, the cut-out view angle is switched. The cut-out angle of view is an output angle of view corresponding to a region that is set when image cut-out (data extraction) processing is performed by electronic camera shake correction. The smaller the angle of view for clipping, the greater the image blur correction effect. However, since the angle of view output at the start of shooting and recording is switched, it is required to change the angle within a range that does not cause the photographer to feel uncomfortable. In the present embodiment, the initial value of the cut-out angle of view is set to 80%, for example, when the image data is used without being cut out as a reference value (100%).
ここで、S302のステップにおいて、違和感なく出力画角を切り替える方法について説明する。
例えば、静止画撮影モードと動画撮影モードが、モード設定により切り替わる場合には、撮影者が動画撮影モードに設定した時に出力画角の切り替えを行えばよい。これにより撮影者は、動画記録開始時の画角を確認した上で撮影を開始することができる。一方で、静止画撮影用のレリーズスイッチと動画撮影用のレリーズスイッチとが別個の操作スイッチとしてレイアウトされている装置仕様などでは、モード設定なしに静止画と動画が撮影可能である。このような場合、動画記録開始の瞬間に画角が切り替わることとなる。撮影者は、この画角変化を考慮してフレーミングを行うことが必要となる。そして、これに失敗した場合には被写体が画面から外れて、被写体が見切れてしまうという懸念がある。
そこで、フレーミングを優先して動画撮影を開始したい場合には、動画撮影用のレリーズスイッチが押下されたときに、一度ズーム位置を広角側に変更して、切り出し量を確保した後で記録を開始させる処理が実行される。この処理により、撮影者の意図する画角で動画撮影を開始することができる。ただし、広角端においては前記手法は不可能である。
Here, a method for switching the output angle of view without a sense of incongruity in step S302 will be described.
For example, when the still image shooting mode and the moving image shooting mode are switched according to the mode setting, the output angle of view may be switched when the photographer sets the moving image shooting mode. Thus, the photographer can start shooting after confirming the angle of view at the start of moving image recording. On the other hand, in an apparatus specification in which a release switch for still image shooting and a release switch for moving image shooting are laid out as separate operation switches, still images and moving images can be shot without mode setting. In such a case, the angle of view is switched at the moment of starting moving image recording. The photographer needs to perform framing in consideration of the change in the angle of view. If this fails, there is a concern that the subject will be off the screen and the subject will be completely out of view.
Therefore, if you want to start movie shooting with priority on framing, when the release switch for movie shooting is pressed, the zoom position is once changed to the wide-angle side and recording is started after securing the cutout amount. Is executed. With this processing, moving image shooting can be started at an angle of view intended by the photographer. However, the above method is impossible at the wide-angle end.
S303において、光学式手ぶれ補正制御及び電子式手ぶれ補正制御が開始する。次にS304でCPUは動画記録の開始処理を実行する。この時の撮影画像を図4(B)に例示する。図4(B)にて、初期の切り出し画角は80%に設定されている。電子式手ぶれ補正は、斜線で示す領域(余剰画素の範囲)内で手ぶれ等による振れ量に応じて像ブレを打ち消すように出力画角をずらすことで実現される。この時、電子式手ぶれ補正による可動範囲(補正可能範囲)は以下のように算出される。 In S303, optical image stabilization control and electronic image stabilization control are started. In step S304, the CPU executes a moving image recording start process. A photographed image at this time is illustrated in FIG. In FIG. 4B, the initial cut-out angle of view is set to 80%. Electronic camera shake correction is realized by shifting the output field angle so as to cancel image blur in accordance with the amount of shake caused by camera shake or the like within a hatched area (excess pixel range). At this time, the movable range (correctable range) by electronic camera shake correction is calculated as follows.
まず、電子式手ぶれ補正制御が有効化されていないときの出力画角を、水平方向にてa[degree]とし、垂直方向にてb[degree]とする。電子式手ぶれ補正制御を有効化する設定になると、出力画角は初期値である80[%]に切り替わるので、水平方向にて80×a/100[degree]、垂直方向にて80×b/100[degree]となる。この切り替えによって、電子式手ぶれ補正に使用できる可動範囲は、以下の通りである。
・垂直(ピッチ)方向:(100−80)×a/100=20×a/100[degree]
・水平(ヨー)方向 :(100−80)×b/100=20×b/100[degree]
ここで光学式手ぶれ補正の可動範囲を、ピッチ方向とヨー方向においてそれぞれφ[degree]、Ψ[degree]とする。光学式手ぶれ補正及び電子式手ぶれ補正を有効にすることで得られる可動範囲は、以下の通りである。
・ピッチ方向:φ+20×a/100[degree]
・ヨー方向: Ψ+20×b/100[degree]
すなわち、2種類の手ぶれ補正制御の併用によって、補正作用が強化されることが分かる。
First, the output angle of view when the electronic image stabilization control is not activated is set to a [degree] in the horizontal direction and b [degree] in the vertical direction. When the electronic image stabilization control is set to be valid, the output field angle is switched to an initial value of 80 [%], so that 80 × a / 100 [degree] in the horizontal direction and 80 × b / in the vertical direction. 100 [degree]. The movable range that can be used for electronic image stabilization by this switching is as follows.
Vertical (pitch) direction: (100-80) × a / 100 = 20 × a / 100 [degree]
Horizontal (yaw) direction: (100-80) × b / 100 = 20 × b / 100 [degree]
Here, the movable range of the optical image stabilization is φ [degree] and Ψ [degree] in the pitch direction and the yaw direction, respectively. The movable range obtained by enabling the optical camera shake correction and the electronic camera shake correction is as follows.
・ Pitch direction: φ + 20 × a / 100 [degree]
・ Yaw direction: Ψ + 20 × b / 100 [degree]
That is, it can be seen that the correction action is enhanced by the combined use of two types of camera shake correction control.
S304の処理が終わると、S305でCPUは動画記録中に、振れ検出部160により取得されたカメラの振れ量(検出量)を、動画撮影開始時に設定した手ぶれ補正制御の可動範囲と比較する。カメラの振れ量を動画撮影開始時に設定した手ぶれ補正制御の可動範囲と比較することで、その適否についての判定処理が行われる。その際の判定基準については、角速度センサや動きベクトル等の振れ検出手段から取得される撮像装置の振れ量の他に、例えば撮影シーン判定の結果や、設定されている撮影モード及び被写体情報に基づいて決定される。例えば、高解像度が求められる風景等を写すシーンを例にすると、この場合、判定基準となる閾値の幅が狭く設定される。また、判定基準に基づいて、撮像装置に記憶してある電子式手ぶれ補正の画像切り出し量を大きく設定してもよい。この変更に伴い、光学ズーム位置の駆動パラメータも変化する。あるいは、スポーツシーンのように撮像装置に加わる振れを低減させたいシーンである場合、判定基準となる閾値の幅が広く設定される。また、判定基準に基づいて、電子式手ぶれ補正の画像切り出し量を小さく設定してもよい。この変更に伴い、光学ズーム位置の駆動パラメータも変化する。これによりシーンに適応した手ぶれ補正制御が可能となる。
When the processing of S304 ends, in S305, the CPU compares the camera shake amount (detection amount) acquired by the
また、撮影状況判定部152がパンニング・チルティング判定部を有する場合を想定する。この場合、撮影者がパンニング操作やチルティング操作を行っていると判定された時に、以下に示すズーム位置及び切り出し画角の変更が行われないようにしてもよい。これにより、撮影者の意図するパンニング操作やチルティング操作がしやすくなるため、ユーザビリティが向上する。
Further, it is assumed that the shooting
S305での判定処理によって、撮影状況判定部152の判定結果に基づき、振れ量に対して切り出し画角が適当であると判定された場合(S305でOK)、S311に処理を進め、適当でないと判定された場合(S305でNG)にはS306に移行する。
S311にてCPUは、動画記録スイッチがOFF操作されたかどうかを判定する。動画記録スイッチがOFF操作された場合(S311でYES)、S312に進み、動画の記録終了処理が行われる。また動画記録スイッチがONのままである場合(S311でNO)、S305の処理に戻る。
If it is determined by the determination process in S305 that the cut-out angle of view is appropriate for the shake amount based on the determination result of the shooting situation determination unit 152 (OK in S305), the process proceeds to S311. If it is determined (NG in S305), the process proceeds to S306.
In S311, the CPU determines whether the moving image recording switch has been turned OFF. When the moving image recording switch is turned off (YES in S311), the process proceeds to S312 and a moving image recording end process is performed. If the moving image recording switch remains ON (NO in S311), the process returns to S305.
S306でズーム位置取得部161はズーム位置及びズーム速度の情報を取得する。S307では、S306にて取得されたズーム位置と、S305での撮影状況判定の結果に基づいて手ぶれ補正制御部152が適切なズーム位置、即ち光学ズーム倍率の目標値と、画像の切り出し量の算出処理を行う。S306で取得されたズーム位置及び光学ズーム倍率を、それぞれZp1、M1[倍]とする。この時の光学式手ぶれ補正の可動範囲を、ピッチ方向にてφ1[degree]とし、ヨー方向にてΨ1[degree]とする。また、電子式手ぶれ補正における画像の切り出し量をS1[%]とする。以下では、ズーム位置及び光学ズーム倍率の目標値、切り出し画角の算出処理例を説明する。なお、簡単のためピッチ方向のみに言及する。
In S306, the zoom
撮影状況判定の結果、撮像装置101がピッチ方向にθ1[degree]で振れているとして、θ1が可動範囲「φ1+(100−S1)×a/100」[degree]よりも十分に小さい場合を想定する。即ち、
θ1 < φ1+(100−S1)×a/100[degree]
が成立する場合、撮像装置101の振れ量θ1[degree]に対して、手ぶれ補正の可動範囲が十分に大きい。この場合、画像の画質低下が不用意に発生している可能性があるため、望ましくない。従って、電子式手ぶれ補正の効き量を弱め、画質を高めるために、光学ズーム倍率を相対的に大きくし、画角変化がないようにその分だけ切り出し画角の割合を大きくする処理が実行される。この算出の過程を以下に示す。
As a result of the shooting situation determination, assuming that the
θ1 <φ1 + (100−S1) × a / 100 [degree]
Is established, the camera shake correction movable range is sufficiently large with respect to the shake amount θ1 [degree] of the
目標値となるズーム位置をZp2とし、光学ズーム倍率の目標値をM2とし、その時の光学式手ぶれ補正の可動範囲をφ2とする。そして電子式手ぶれ補正における画像の切り出し量をS2[%]とする。求める目標値は、ズーム位置Zp2における光学式手ぶれ補正の可動範囲φ2と、電子式手ぶれ補正の可動範囲(100−S2)×a/100との和に比べて撮像装置101の振れ量θ1が小さいかまたは等しい、最大のズーム位置である。つまり、下式が成立する。
θ1≦φ2+(100−S2)×a/100<φ1+(100−S1)×a/100[degree]
この時の画像の切り出し量S2は、光学ズーム倍率の変化を打ち消すように大きくすればよい。従って、切り出し量S2は、
S2=S1×M2/M1[%]
となる。
The zoom position that is the target value is Zp2, the target value of the optical zoom magnification is M2, and the movable range of optical camera shake correction at that time is φ2. The amount of image cutout in the electronic image stabilization is S2 [%]. The target value to be obtained is that the shake amount θ1 of the
θ1 ≦ φ2 + (100−S2) × a / 100 <φ1 + (100−S1) × a / 100 [degree]
The image cutout amount S2 at this time may be increased so as to cancel the change in the optical zoom magnification. Therefore, the cutout amount S2 is
S2 = S1 × M2 / M1 [%]
It becomes.
このように画像の切り出し量Sはズーム位置に依存する。例えば、本実施形態においてズーム位置Zp1からZp2の変化に従って、光学ズーム倍率が1.125倍に変化したとする。
M2=M1×1.125
撮影開始時にて、ズーム位置Zp1における画像の切り出し量は80[%]である。よって、求める切り出し量S2は、
S2=80×1.125=90[%]
となる。このときの切り出し画角を図4(C)に示す。故に、電子式手ぶれ補正の可動範囲は、下記のようになる。
(100−S2)×a/100=10×a/100[degree]
従って、光学式手ぶれ補正での可動範囲と電子式手ぶれ補正での可動範囲との合計は、
φ2+10×a/100[degree]
となる。このように、電子式手ぶれ補正の補正可能範囲を狭めることで撮影動画の高画質化を図ることができる。
As described above, the image cutout amount S depends on the zoom position. For example, in this embodiment, it is assumed that the optical zoom magnification is changed to 1.125 times in accordance with the change of the zoom positions Zp1 to Zp2.
M2 = M1 × 1.125
At the start of shooting, the cutout amount of the image at the zoom position Zp1 is 80 [%]. Therefore, the cutout amount S2 to be obtained is
S2 = 80 × 1.125 = 90 [%]
It becomes. The cut-out angle of view at this time is shown in FIG. Therefore, the movable range of electronic camera shake correction is as follows.
(100−S2) × a / 100 = 10 × a / 100 [degree]
Therefore, the total of the movable range in the optical image stabilization and the movable range in the electronic image stabilization is
φ2 + 10 × a / 100 [degree]
It becomes. In this way, it is possible to improve the image quality of a captured moving image by narrowing the correction range for electronic camera shake correction.
また、撮影状況判定の結果、撮像装置101の振れがピッチ方向にてθ2(>θ1)[degree]であり、θ2が可動範囲「φ1+(100−S1)×a/100」[degree]よりも大きい場合を想定する。つまり、
θ2 > φ1+(100−S1)×a/100[degree]
が成立する場合には、撮像装置101の振れ量θ2[degree]に対して、可動範囲が小さいことを示す。従って、像ブレ補正効果を高める必要があり、光学ズーム倍率を相対的に小さくし、画角変化がないようにその分切り出し画角の割合を小さくする処理が実行される。この算出過程を以下に示す。
Further, as a result of the shooting state determination, the shake of the
θ2> φ1 + (100−S1) × a / 100 [degree]
Is established, the movable range is small with respect to the shake amount θ2 [degree] of the
目標値となるズーム位置をZp3とし、光学ズーム倍率の目標値をM3とし、その時の光学式手ぶれ補正の可動範囲をφ3とする。また、電子式手ぶれ補正における画像の切り出し量をS3[%]とする。求める目標値は、ズーム位置Zp3における光学式手ぶれ補正の可動範囲φ3と、電子式手ぶれ補正の可動範囲(100−S3)×a/100との和が、撮像装置101の振れ量θ2よりも大きいかまたは等しい、最小のズーム位置である。つまり、下式が成立する。
φ1+(100−S1)×a/100< θ2 ≦φ3+(100−S3)×a/100[degree]
この時の画像の切り出し量S3は、光学ズーム倍率の変化を打ち消すように小さくすればよい。従って、切り出し量S3は、
S3=S1×M3/M1[%]
となる。例えば本実施形態においてズーム位置Zp1からZp3の変化に従って、光学ズーム倍率が0.875倍に変化したとする。
M3=M1×0.875
撮影開始時にて、ズーム位置Zp1における画像の切り出し量は80[%]である。よって、求める切り出し量S3は、
S2=80×0.875=70[%]
となる。このときの切り出し画角を図4(A)に示す。故に、電子式手ぶれ補正の可動範囲は、下記のようになる。
(100−S3)×a/100=30×a/100[degree]
従って、光学式手ぶれ補正での可動範囲と電子式手ぶれ補正での可動範囲との合計は、
φ3+30×a/100[degree]
となる。このように、電子式手ぶれ補正の補正可能範囲を広げることで像ブレ補正効果の強化を図ることができる。
The zoom position that is the target value is Zp3, the target value of the optical zoom magnification is M3, and the movable range of optical camera shake correction at that time is φ3. In addition, the cutout amount of the image in the electronic camera shake correction is S3 [%]. The target value to be obtained is the sum of the optical camera shake correction movable range φ3 at the zoom position Zp3 and the electronic camera shake correction movable range (100−S3) × a / 100, which is larger than the shake amount θ2 of the
φ1 + (100−S1) × a / 100 <θ2 ≦ φ3 + (100−S3) × a / 100 [degree]
The image cutout amount S3 at this time may be made small so as to cancel the change in the optical zoom magnification. Therefore, the cutout amount S3 is
S3 = S1 × M3 / M1 [%]
It becomes. For example, in this embodiment, it is assumed that the optical zoom magnification is changed to 0.875 times in accordance with the change of the zoom positions Zp1 to Zp3.
M3 = M1 × 0.875
At the start of shooting, the cutout amount of the image at the zoom position Zp1 is 80 [%]. Therefore, the cutout amount S3 to be obtained is
S2 = 80 × 0.875 = 70 [%]
It becomes. The cut-out angle of view at this time is shown in FIG. Therefore, the movable range of electronic camera shake correction is as follows.
(100−S3) × a / 100 = 30 × a / 100 [degree]
Therefore, the total of the movable range in the optical image stabilization and the movable range in the electronic image stabilization is
φ3 + 30 × a / 100 [degree]
It becomes. In this way, it is possible to enhance the image blur correction effect by expanding the correction range for electronic camera shake correction.
図3のS307においては、上記2例のように、撮像装置101の振れ量及び現時点での可動範囲に応じて、ズーム位置及び切り出し量の目標値が設定される。これを下表1にまとめて示す(ISは像ブレ補正を表す)。
In S307 of FIG. 3, as in the above two examples, the target values of the zoom position and the cutout amount are set according to the shake amount of the
S307の処理が終了すると、S308の判定処理に進み、CPUは現時点での光学ズーム倍率におけるズーム位置が望遠端であるか否かを判定する。ズーム位置が望遠端である場合(S308でYES)、S309の処理に進む。またズーム位置が望遠端でない場合(S308でNO)、S313に移行する。 When the process of S307 ends, the process proceeds to the determination process of S308, and the CPU determines whether or not the zoom position at the current optical zoom magnification is the telephoto end. If the zoom position is at the telephoto end (YES in S308), the process proceeds to S309. If the zoom position is not at the telephoto end (NO in S308), the process proceeds to S313.
S309では、S307にて求めたズーム位置と画像の切り出し量の各目標値となるようにアクチュエータの駆動及びパラメータの変更処理が行われる。ここで受け付ける変更は、ズーム位置が既に望遠端であるため、光学ズーム倍率を小さくし、画像の切り出し量を減らすことのみである。つまり、ズーム位置は広角側へ変更する方向に制限される。本実施形態において、前記パラメータのテーブルは撮像装置101の内部メモリ143に記憶されている。このテーブルデータを参照することにより、目標値の設定を行い、またパラメータを目標値まで徐々に近づける制御が可能となる。したがって、撮影画角、即ち動画像の出力画角に変化が生じないように滑らかに画角を変更することができる。また、ズーム位置取得部161でズームエンコーダにより取得したカウント周期から、ズーム速度(駆動速度)を算出することができるので、算出したズーム速度に応じて画像の切り出し量を変更してもよい。これによって、ズーム速度を考慮した切り出し量の変更が可能となる。S309の処理が終了すると、S310の判定処理に進む。
In step S309, actuator driving and parameter change processing are performed so that the target values of the zoom position and image cutout amount obtained in step S307 are obtained. Since the zoom position is already at the telephoto end, the only change accepted here is to reduce the optical zoom magnification and reduce the amount of image cropping. That is, the zoom position is limited to the direction to change to the wide angle side. In the present embodiment, the parameter table is stored in the
S313でCPUは、現在のズーム位置が広角端であるか否かの判定処理を行う。判定の結果、現在のズーム位置が広角端である場合(S313でYES)、S314に処理を進める。また、現在のズーム位置が広角端でない場合(S313でNO)、S315に移行する。S314では、S307で求めたズーム位置と画像の切り出し量の各目標値になるようにアクチュエータの駆動及びパラメータの変更処理が実行される。ここで受け付ける変更は、ズーム位置が既に広角端であるため、光学ズーム倍率を大きくし、画像の切り出し量を大きくすることのみである。つまり、ズーム位置は望遠側へ変更する方向に制限される。S314の処理が終わると、S310の処理に進む。S315では、S307で求めたズーム位置と画像の切り出し量の各目標値になるようにアクチュエータの駆動及びパラメータの変更処理が実行される。S315の処理が終了すると、S310の処理に進む。 In S313, the CPU determines whether or not the current zoom position is at the wide-angle end. If the result of determination is that the current zoom position is at the wide-angle end (YES in S313), the process proceeds to S314. If the current zoom position is not at the wide-angle end (NO in S313), the process proceeds to S315. In S314, actuator drive and parameter change processing is executed so that the target values of the zoom position and the image cutout amount obtained in S307 are obtained. The only change accepted here is that the zoom position is already at the wide-angle end, so that the optical zoom magnification is increased and the image cutout amount is increased. That is, the zoom position is limited to the direction to change to the telephoto side. When the process of S314 ends, the process proceeds to S310. In S315, actuator drive and parameter change processing is executed so as to achieve the target values of the zoom position and image cutout amount obtained in S307. When the process of S315 ends, the process proceeds to S310.
S310では、ズーム位置が目標値に到達し、光学ズーム倍率が目標倍率に到達したか否かについて判定処理が行われる。この判定処理は、ズーム位置取得部161が取得するズームエンコーダによるカウント数に基づいて行われる。S310にて、ズーム位置が目標値に到達していないと判定された場合(S310でNO)、S308の判定処理に戻る。また、ズーム位置が目標値に到達したと判定された場合(S310でYES)、S311に処理を進める。動画記録スイッチがOFF操作された場合(S311でYES)、S312に処理を進め、動画記録の終了処理が実行され、一連の処理を終了する。
本実施形態によれば、電子式手ぶれ補正に起因する画質低下を抑えるとともに、手ぶれ等による画像への影響を適切に低減することができる。
In S310, determination processing is performed as to whether or not the zoom position has reached the target value and the optical zoom magnification has reached the target magnification. This determination process is performed based on the count number by the zoom encoder acquired by the zoom
According to the present embodiment, it is possible to suppress deterioration in image quality caused by electronic camera shake correction and to appropriately reduce the influence on the image due to camera shake or the like.
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
121 撮像素子
125 映像信号処理部
151 ズーム制御部
152 手ぶれ補正制御部
152a 補正量演算部
152b 撮影状況判定部
160 振れ検出部
172 手ぶれ補正シフトレンズ
REFERENCE SIGNS
Claims (9)
ズーム機構を有する撮影光学系により結像された光を受光する撮像手段と、
前記撮像装置の振れを検出する振れ検出手段と、
前記撮影光学系のズーム制御により光学ズーム倍率を変更するズーム制御手段と、
前記撮影光学系を構成する補正部材の駆動により像ブレを光学的に補正する第1の補正手段と、
前記撮像手段が出力する画像データに対する画像の切り出し処理によって像ブレを電子的に補正する第2の補正手段と、
前記振れ検出手段の検出信号を取得し、前記ズーム制御手段による前記光学ズーム倍率を変更するとともに前記第2の補正手段による画像の切り出し量を変更することにより、前記第1及び第2の補正手段による像ブレの補正の範囲を変更する制御を行う補正制御手段と、を備えることを特徴とする撮像装置。 An imaging apparatus that detects shake and corrects image blurring of an image,
Imaging means for receiving light imaged by a photographing optical system having a zoom mechanism;
Shake detection means for detecting shake of the imaging device;
Zoom control means for changing the optical zoom magnification by zoom control of the photographing optical system;
First correction means for optically correcting image blur by driving a correction member constituting the photographing optical system;
Second correction means for electronically correcting image blur by image cutout processing on image data output by the imaging means;
The first and second correction units obtain the detection signal of the shake detection unit, change the optical zoom magnification by the zoom control unit, and change the image cutout amount by the second correction unit. An image pickup apparatus comprising: a correction control unit that performs control to change a range of correction of image blur due to the camera.
前記補正制御手段は、前記第1の補正手段による像ブレの補正量及び前記第2の補正手段による像ブレの補正量を算出する演算手段を備えており、
前記演算手段は、前記ズーム制御手段による前記光学ズーム倍率を変更する場合の補正量の目標値、及び前記第2の補正手段による画像の切り出し量を変更する場合の補正量の目標値を前記ズーム位置及びズーム速度ごとに算出することを特徴とする請求項2に記載の撮像装置。 The zoom control means includes a detection means for detecting a zoom position and a zoom speed of the photographing optical system,
The correction control means includes a calculation means for calculating an image blur correction amount by the first correction means and an image blur correction amount by the second correction means,
The arithmetic means calculates the target value of the correction amount when changing the optical zoom magnification by the zoom control means and the target value of the correction amount when changing the image cut-out amount by the second correction means. The imaging apparatus according to claim 2, wherein calculation is performed for each position and zoom speed.
振れ検出手段によって前記撮像装置の振れを検出するステップと、
ズーム制御手段によって前記撮影光学系の光学ズーム倍率を変更するステップと、
前記撮影光学系を構成する補正部材の駆動により第1の補正手段が像ブレを光学的に補正する第1の補正ステップと、
前記撮像手段が出力する画像データに対する画像の切り出し処理によって第2の補正手段が像ブレを電子的に補正する第2の補正ステップと、を有し、
補正制御手段が前記振れ検出手段の検出信号を取得し、前記第1の補正ステップにて前記ズーム制御手段による前記光学ズーム倍率を変更するとともに、前記第2の補正ステップにて画像の切り出し量を変更することにより、前記第1及び第2の補正手段による像ブレの補正の範囲を変更する制御を行うことを特徴とする制御方法。 A control method that is executed by an imaging apparatus that includes an imaging unit that receives light imaged by a photographing optical system having a zoom mechanism and detects shake and corrects image blur of an image,
Detecting a shake of the imaging apparatus by a shake detection means;
Changing the optical zoom magnification of the photographing optical system by zoom control means;
A first correction step in which a first correction unit optically corrects image blur by driving a correction member constituting the photographing optical system;
A second correction step in which a second correction unit electronically corrects image blur by image cutout processing on image data output by the imaging unit;
The correction control means acquires the detection signal of the shake detection means, changes the optical zoom magnification by the zoom control means in the first correction step, and sets the image cutout amount in the second correction step. A control method characterized by performing control to change a range of image blur correction by the first and second correction means by changing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014174680A JP2016050973A (en) | 2014-08-29 | 2014-08-29 | Image-capturing device and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014174680A JP2016050973A (en) | 2014-08-29 | 2014-08-29 | Image-capturing device and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016050973A true JP2016050973A (en) | 2016-04-11 |
Family
ID=55658539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014174680A Pending JP2016050973A (en) | 2014-08-29 | 2014-08-29 | Image-capturing device and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016050973A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473027A (en) * | 2021-07-09 | 2021-10-01 | Oppo广东移动通信有限公司 | Image processing method, electronic device, and storage medium |
| CN114285992A (en) * | 2020-06-19 | 2022-04-05 | 厦门紫光展锐科技有限公司 | Zoom control method, system, device, and medium |
| CN114390213A (en) * | 2020-10-22 | 2022-04-22 | 华为技术有限公司 | Shooting method and equipment |
| CN115428434A (en) * | 2020-04-28 | 2022-12-02 | 富士胶片株式会社 | Processor of imaging device, control method of imaging device, and control program of imaging device |
-
2014
- 2014-08-29 JP JP2014174680A patent/JP2016050973A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115428434A (en) * | 2020-04-28 | 2022-12-02 | 富士胶片株式会社 | Processor of imaging device, control method of imaging device, and control program of imaging device |
| US12192630B2 (en) | 2020-04-28 | 2025-01-07 | Fujifilm Corporation | Processor of imaging apparatus, imaging apparatus, control method of imaging apparatus, and control program of imaging apparatus |
| CN114285992A (en) * | 2020-06-19 | 2022-04-05 | 厦门紫光展锐科技有限公司 | Zoom control method, system, device, and medium |
| CN114285992B (en) * | 2020-06-19 | 2024-03-05 | 厦门紫光展锐科技有限公司 | Zoom control method, system, equipment and medium |
| CN114390213A (en) * | 2020-10-22 | 2022-04-22 | 华为技术有限公司 | Shooting method and equipment |
| CN114390213B (en) * | 2020-10-22 | 2023-04-18 | 华为技术有限公司 | Shooting method and equipment |
| CN113473027A (en) * | 2021-07-09 | 2021-10-01 | Oppo广东移动通信有限公司 | Image processing method, electronic device, and storage medium |
| CN113473027B (en) * | 2021-07-09 | 2023-09-05 | Oppo广东移动通信有限公司 | Image processing method, electronic device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6004785B2 (en) | Imaging apparatus, optical apparatus, imaging system, and control method | |
| US9607361B2 (en) | Image processing apparatus and image processing method | |
| JP5868060B2 (en) | Image blur correction apparatus and method, optical apparatus, and imaging apparatus | |
| JP5563163B2 (en) | Imaging apparatus and imaging method | |
| JP6530602B2 (en) | Image pickup apparatus and control method thereof | |
| CN105391918B (en) | Image processing apparatus and the method for controlling image processing apparatus | |
| JP6071545B2 (en) | IMAGING DEVICE, IMAGE PROCESSING DEVICE AND ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP6395381B2 (en) | Imaging apparatus and control method thereof | |
| WO2011086728A1 (en) | Imaging device and image shake correction method | |
| WO2006082967A1 (en) | Imaging device | |
| JP6652300B2 (en) | Image processing apparatus, imaging apparatus, and control method | |
| WO2010004764A1 (en) | Imaging device | |
| JP6444025B2 (en) | Optical equipment | |
| JP2016080918A (en) | Image blur correction apparatus and control method thereof | |
| JP2016050973A (en) | Image-capturing device and control method thereof | |
| JP7608104B2 (en) | Image processing device and imaging device | |
| JP2021019255A (en) | Imaging device and method of controlling the same | |
| JP2006295238A (en) | Image pickup device | |
| JP6289070B2 (en) | Imaging apparatus and control method thereof | |
| JP5744527B2 (en) | Imaging apparatus and control method thereof | |
| JP7214424B2 (en) | Imaging device and its control method | |
| JP6544922B2 (en) | Image blur correction device, control method therefor, program and storage medium | |
| JP6278798B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP5540935B2 (en) | Imaging device | |
| JP2015015591A (en) | Imaging device, zoom switching control method, and zoom switching control program for imaging device |
