[go: up one dir, main page]

JP2001333326A - Digital camera having image processing function - Google Patents

Digital camera having image processing function

Info

Publication number
JP2001333326A
JP2001333326A JP2000151994A JP2000151994A JP2001333326A JP 2001333326 A JP2001333326 A JP 2001333326A JP 2000151994 A JP2000151994 A JP 2000151994A JP 2000151994 A JP2000151994 A JP 2000151994A JP 2001333326 A JP2001333326 A JP 2001333326A
Authority
JP
Japan
Prior art keywords
image
correction
image processing
information
digital camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000151994A
Other languages
Japanese (ja)
Inventor
Masahiro Motoki
正広 本木
Shinji Satou
進司 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2000151994A priority Critical patent/JP2001333326A/en
Publication of JP2001333326A publication Critical patent/JP2001333326A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a digital camera having an image processing function that eliminates the need for a sensor detecting any physical quantity for correction factors such as camera-shake so as to obtain an excellent image. SOLUTION: The digital camera having the image processing function that corrects an image and provided with a storage device 101 that stores a picked-up image and a display device 104 that displays the image, is provided with an image processing means 102 that corrects the picked-up image, and an operation means 103 that gives correction information to the processing means. The operation means is characteristically configured that is operated externally and the operation means properly provides correction information to the picked-up image to correct the image on the basis of the image that is displayed on the display device and picked up.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、手振れや焦点ずれ
により劣化した画像の復元機能等を付加した画像処理機
能を有したデジタルカメラに関する。
[0001] 1. Field of the Invention [0002] The present invention relates to a digital camera having an image processing function to which a function of restoring an image deteriorated due to camera shake or defocus is added.

【0002】[0002]

【従来の技術】従来より、デジタルカメラにおける手振
れ等による画像の劣化を補正する機構は、種々提案され
ているが、例えば、図7に示すように、レンズ等の光学
系とCCD等の受光素子で構成される撮像部500は、
手振れを補正する手法により異なるが、光学系の振動を
補正する機械的な機構、もしくは、CCDの画素情報を
変換する演算回路なども含ませて構成される。
2. Description of the Related Art Hitherto, various mechanisms for correcting image deterioration due to camera shake in a digital camera have been proposed. For example, as shown in FIG. 7, an optical system such as a lens and a light receiving element such as a CCD are shown in FIG. The imaging unit 500 configured by
Although it differs depending on the method of correcting camera shake, it is configured to include a mechanical mechanism for correcting vibration of the optical system or an arithmetic circuit for converting pixel information of the CCD.

【0003】かかる従来技術によると、撮影時に手振れ
等によりカメラに振動を生じる場合、その振動量を振動
検出センサ501により検出する。検出された振動は、
振動補正演算回路502により、カメラ自身の動きベク
トルを算出し補正値を求める。その補正値に基づき、機
械的に光学系を補正したり、画像処理演算により受光素
子の各画素の値を補正したりすることによって、手振れ
等の画像の劣化を防止あるいは補正する。結果として、
手振れ補正済みとされる画像が、例えば、フラッシュメ
モリやハードディスク等で構成される記録媒体101に
記録される。
According to such a conventional technique, when a camera is vibrated due to hand shake during photographing, the amount of the vibration is detected by a vibration detection sensor 501. The detected vibration is
The vibration correction arithmetic circuit 502 calculates a motion vector of the camera itself and obtains a correction value. Based on the correction value, the optical system is mechanically corrected, or the value of each pixel of the light receiving element is corrected by image processing calculation, thereby preventing or correcting image deterioration such as camera shake. as a result,
An image for which camera shake has been corrected is recorded on a recording medium 101 composed of, for example, a flash memory or a hard disk.

【0004】かかる従来技術は、いずれも次の特徴的な
要素2つが含まれる。 (1)手振れ等の補正要因に対し、何らかの物理量を検
出するセンサを用いる。 (2)手振れ等の補正が必要な場合、何らかの補正手段
により補正して、その補正後の画像が記録媒体に記録さ
れる。
[0004] Each of these prior arts includes the following two characteristic elements. (1) A sensor that detects some physical quantity for correction factors such as camera shake is used. (2) When a correction such as a camera shake is necessary, the correction is performed by some correction means, and the corrected image is recorded on a recording medium.

【0005】[0005]

【発明が解決しようとする課題】かかる従来技術による
と、以上の点から、従来デジタルカメラにおける手振れ
等による画像の劣化を補正する手法には、次のような課
題がある。 ○手振れ等の補正要因に対し、何らかの物理量を検出す
るセンサを必要とする。 ○手振れ等の補正に対し、正確な補正量が得られていな
い場合、誤った補正結果の画像が記録媒体に記録され
る。
According to the above prior art, from the above points, there are the following problems in the method of correcting image deterioration due to camera shake or the like in a conventional digital camera. ○ A sensor that detects some physical quantity is required for correction factors such as camera shake. If an accurate correction amount is not obtained for correction of camera shake or the like, an image of an incorrect correction result is recorded on a recording medium.

【0006】本発明は上記問題に鑑みてなされたもので
あり、手振れ等の補正要因に対し、何らかの物理量を検
出するセンサを不要とし、かつ良好な画像を得ることが
できる画像処理機能を有するデジタルカメラを提供する
ことを目的とする。また、本発明の他の目的は、誤った
補正結果が記録媒体に記録されるのを防止することであ
る。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and has no need for a sensor for detecting any physical quantity for correction factors such as camera shake, and has a digital image processing function capable of obtaining a good image. The purpose is to provide a camera. Another object of the present invention is to prevent an erroneous correction result from being recorded on a recording medium.

【0007】[0007]

【課題を解決させるための手段】本発明は、撮像した画
像を記憶する記憶装置と、前記画像を表示する表示装置
を備えるとともに前記画像を補正する画像処理機能を有
したデジタルカメラにおいて、撮像された画像を補正す
る画像処理手段と、該画像処理手段に補正情報を与える
操作手段を備え、該操作手段を外部から操作可能に構成
し、前記表示装置に表示された撮像された画像を基に、
前記操作手段により適宜補正情報を付与して画像を補正
することを特徴とする。
SUMMARY OF THE INVENTION The present invention provides a digital camera having a storage device for storing a captured image and a display device for displaying the image, and having an image processing function for correcting the image. Image processing means for correcting the image, and operating means for providing correction information to the image processing means, wherein the operating means is configured to be operable from the outside, and based on a captured image displayed on the display device. ,
The image is corrected by appropriately adding correction information by the operation means.

【0008】そして、前記画像処理機能として、ブライ
ンドデコンボルーション法による劣化画像復元手法を用
いることが望ましい。かかる技術によると、撮像された
画像を補正する画像処理手段に補正情報を与える操作手
段を外部から操作可能に構成し、前記表示装置に表示さ
れた撮像された画像を基に、前記操作手段により適宜補
正情報を付与して画像を補正しているので、手振れ画像
に対して自動的にブレ量を検出する機構を設ける必要が
なく、簡単な構成で手振れ画像もしくはピンボケ画像を
補正することができる。
It is desirable to use a degraded image restoration method by a blind deconvolution method as the image processing function. According to this technology, an operation unit that provides correction information to an image processing unit that corrects a captured image is configured to be operable from the outside, and based on the captured image displayed on the display device, the operation unit Since the image is corrected by appropriately adding correction information, there is no need to provide a mechanism for automatically detecting a blur amount for the camera shake image, and the camera shake image or out-of-focus image can be corrected with a simple configuration. .

【0009】また、自動的にブレ量を検出する機構を用
いないので、通常は操作者が撮像する被写体イメージに
そって補正することができ、誤った補正結果の画像が記
録媒体に記録されることを防止することができる。
Also, since a mechanism for automatically detecting the amount of blur is not used, correction can be normally made along the subject image picked up by the operator, and an image of an incorrect correction result is recorded on a recording medium. Can be prevented.

【0010】また、ブラインドデコンボルーション法に
よる劣化画像復元手法による画像処理機能を有している
ので、パソコン等の計算機による画像復元処理を用いな
くても、処理後の画像記録媒体を着脱可能な記録媒体と
すること等により、直接外部の出力装置等に前記画像記
録媒体をセットして、手振れ等を復元した良好な画像を
出力可能である。
In addition, since the image processing apparatus has an image processing function based on a degraded image restoration method based on a blind deconvolution method, the processed image recording medium can be detached without using an image restoration process using a computer such as a personal computer. By using a recording medium or the like, it is possible to directly set the image recording medium on an external output device or the like and output a good image in which camera shake and the like are restored.

【0011】また、前記記憶装置は、補正前の画像を記
憶する補正前画像記憶手段と、補正後の画像を記憶する
補正後画像記憶手段とを備えて構成することも本発明の
有効な手段である。かかる技術手段によると、撮影する
画像に対して、生の画像である補正前の画像と画像処理
後の補正後画像の両方を記録する記録媒体を備えるた
め、従来技術のように自動的にブレ量を測定して補正し
た場合は、不完全なブレ量の測定であってもそれ以上の
補正は不可能であり、また、生の画像より極度に逸脱し
た補正を防止できるので、不完全な補正結果の画像の記
録を防止できる。
Further, the storage device may further comprise an uncorrected image storage means for storing the image before correction and an after-correction image storage means for storing the corrected image. It is. According to such a technical means, a recording medium for recording both a raw image before correction and a corrected image after image processing is provided for an image to be photographed. When the amount is measured and corrected, even if the amount of incomplete blur is measured, no further correction is possible, and correction that deviates extremely from the raw image can be prevented. Recording of the image of the correction result can be prevented.

【0012】また、前記記憶装置は、画像補正情報の前
歴を記憶する画像補正情報記憶手段を備えるとともに、
前記前歴を前記操作手段により使用可能に構成すること
も本発明の有効な手段である。
The storage device includes image correction information storage means for storing a history of image correction information,
It is also an effective means of the present invention to make the previous history usable by the operation means.

【0013】かかる技術手段によると、劣化要因となる
画像補正情報の前歴を、適宜記録、読み出しを行い、別
の劣化した画像の復元処理をする際に、この記録されて
いる前歴データから適したものを選択して使用すること
ができ、劣化画像復元処理時間を短縮することを可能と
する効果を有する。
According to such technical means, the prior history of the image correction information which is a cause of deterioration is appropriately recorded and read out, and when restoring another deteriorated image, the previous history data which is recorded is suitable. An image can be selected and used, and this has the effect of making it possible to reduce the degradation image restoration processing time.

【0014】[0014]

【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。
Embodiments of the present invention will be illustratively described in detail below with reference to the drawings. However, unless otherwise specified, the dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the scope of the present invention, but are merely illustrative examples. It's just

【0015】図1は、本発明の第1実施の形態に係る画
像処理機能を有するデジタルカメラの構成図、図2は、
本発明の実施の形態に係る画像処理機能の内容である、
フーリエ反復法による画像復元アルゴリズムを表わす
図、図3は、フーリエ反復法による画像復元アルゴリズ
ムの、非負条件のモデル図、図4は、本発明の実施の形
態に係る画像処理演算回路の構成図、図5は、本発明の
実施の形態に係る画像処理演算回路の演算処理の概略
図、図6は、本発明の第2実施の形態に係る画像処理機
能を有するデジタルカメラの構成図である。
FIG. 1 is a block diagram of a digital camera having an image processing function according to a first embodiment of the present invention, and FIG.
Content of the image processing function according to the embodiment of the present invention,
FIG. 3 is a diagram showing an image restoration algorithm by the Fourier iteration method, FIG. 3 is a model diagram of a non-negative condition of the image restoration algorithm by the Fourier iteration method, FIG. 4 is a configuration diagram of an image processing operation circuit according to the embodiment of the present invention; FIG. 5 is a schematic diagram of the arithmetic processing of the image processing arithmetic circuit according to the embodiment of the present invention, and FIG. 6 is a configuration diagram of a digital camera having an image processing function according to the second embodiment of the present invention.

【0016】図1において、撮像部100は、レンズ゛
等の光学系とCCD等の受光素子で構成される。撮像部
100で受光される画像情報を記録する記録媒体101
は、補正前の生の画像が記録されるものであり、フラッ
シュメモリで構成されているが、ハードディスク等でも
よい。この記録媒体101に記録される画像を観察可能
な画像出力部104は、液晶表示手段で構成される。
In FIG. 1, an image pickup unit 100 includes an optical system such as a lens ゛ and a light receiving element such as a CCD. Recording medium 101 for recording image information received by imaging unit 100
Is for recording a raw image before correction, and is composed of a flash memory, but may be a hard disk or the like. An image output unit 104 capable of observing an image recorded on the recording medium 101 is constituted by a liquid crystal display.

【0017】画像処理演算回路102は、ブラインドデ
コンボルーション法による劣化画像復元手法(例えば、
フーリエ反復法による画像復元手法)の機能を有するも
ので、例えば、演算画像記憶メモリと、フーリエ変換回
路、四則演算回路等で構成される。このブラインドデコ
ンボルーション法による劣化画像復元手法は、(例え
ば、文献(G.R.Ayers and J.C.Dainty, Opt.Lett. 13,
547-549 [1988])等で発表されているフーリエ反復法に
よる画像復元手法であり、劣化画像の情報だけを基に、
劣化していない復元画像と劣化要因とを分離する手法で
ある。
The image processing operation circuit 102 is a method of restoring a deteriorated image by a blind deconvolution method (for example,
It has a function of an image restoration method by a Fourier iteration method) and includes, for example, an operation image storage memory, a Fourier transform circuit, an arithmetic operation circuit, and the like. The degraded image restoration method by the blind deconvolution method is described in, for example, the literature (GRAyers and JCDainty, Opt. Lett. 13,
547-549 [1988]), etc. This is an image restoration method using the Fourier iterative method.
This is a method of separating a restored image that has not deteriorated and a deterioration factor.

【0018】入力操作部103は、スイッチ類やタッチ
パネル等で構成され、画像出力部104で観察される画
像に対し、観察者が手振れ等により劣化していると判断
した場合、画像の復元処理を開始及び停止する操作が可
能に構成されている。また、処理画像記録媒体105
は、画像処理演算回路102で復元処理を行った処理画
像を記録する記録媒体である。
The input operation unit 103 includes switches, a touch panel, and the like. When the observer determines that the image observed by the image output unit 104 has deteriorated due to camera shake, etc., the image restoration processing is performed. Start and stop operations are configured to be possible. Also, the processed image recording medium 105
Is a recording medium for recording a processed image subjected to the restoration processing by the image processing operation circuit 102.

【0019】ここで、ブラインドデコンボルーション法
による劣化画像の復元手法として、フーリエ反復法によ
る画像復元手法を説明する。手振れ等による劣化画像と
は、数式的に次のようなもので表される。
Here, as a method of restoring a deteriorated image by the blind deconvolution method, an image restoration method by the Fourier iteration method will be described. A deteriorated image due to camera shake or the like is mathematically represented by the following.

【数1】 c(x,y):復元対象のぼけ画像、f(ξ,η):ぼ
けていない原画像、g(x−ξ,y−η):ぼけ要因と
なる点像応答関数
(Equation 1) c (x, y): blurred image to be restored, f (ξ, η): unblurred original image, g (x−ξ, y−η): point image response function as a blur factor

【0020】式(1)において、ぼけ画像cは原画像fと
点像応答関数gとの畳み込み積分(コンボルーション)
で表される。また、c,f,gのフーリエ変換をそれぞれ
C,F,Gで表すと、空間周波数領域(フーリエ変換
面)では、 C(μ,ν)=F(μ,ν)・G(μ,ν) ・・・(2) と表すことができる。
In the equation (1), the blurred image c is a convolution of the original image f and the point image response function g.
It is represented by When the Fourier transforms of c, f, and g are represented by C, F, and G, respectively, in the spatial frequency domain (Fourier transform plane), C (μ, ν) = F (μ, ν) · G (μ, ν) ) (2)

【0021】式(1)あるいは式(2)で表されるよう
なぼけ画像に対し、ぼけ画像cと点像応答関数gが既知
の場合、原画像fの復元は次式より容易に行うことがで
きる。 F(μ,ν)=C(μ,ν)/G(μ,ν) ・・・(3)
If the blurred image c and the point image response function g are known for the blurred image represented by the formula (1) or (2), the original image f can be easily restored by the following formula. Can be. F (μ, ν) = C (μ, ν) / G (μ, ν) (3)

【0022】しかしながら、画像の復元処理において点
像応答関数gが正確に分かっている例は少なく、復元対
象とするぼけ画像cだけが唯一既知である場合が多い。
式(3)による復元処理は、デコンボルーションと呼ば
れ、画像処理だけでなく信号処理全般に広く用いられる
手法である。これに対し、ぼけ画像cのみから式(2)
におけるF,Gを推定し分離する手法を、ブラインドデ
コンボルーション法と呼ぶ。
However, there are few examples in which the point image response function g is accurately known in the image restoration processing, and in many cases, only the blurred image c to be restored is known.
The restoration processing by Expression (3) is called deconvolution, and is a technique widely used not only for image processing but also for signal processing in general. On the other hand, from only the blurred image c, the expression (2)
The method of estimating and separating F and G in is referred to as a blind deconvolution method.

【0023】従来技術における、手振れ等の劣化画像の
補正は、このG(μ,υ)の値を、各種センサを用いて検
出し、式(3)によるデコンボルーションを行うことに
他ならない。しかしながら、本実施の形態におけるブラ
インドデコンボルーション法による劣化画像復元手法
は、後述するように、液晶のディスプレイ上にぼけ画像
cを注視しながら、前記f及びgを推定して反復計算を
行い式(2)を満足する関係に収束する手法である。
Correction of a deteriorated image such as camera shake in the prior art is nothing more than detecting the value of G (μ, υ) using various sensors and performing deconvolution according to equation (3). However, the degraded image restoration method by the blind deconvolution method in the present embodiment, as described later, estimates the f and g while performing an iterative calculation while gazing at the blurred image c on the liquid crystal display. This is a technique that converges to a relationship satisfying (2).

【0024】このフーリエ反復法による画像復元手法の
アルゴリズムを図2に示す。図2において、推定原画像
f、推定点像応答関数g、初期原画像f0、ぼけ画像の
フーリエ変換C、推定原画像のフーリエ変換F、推定点
像応答関数のフーリエ変換Gとし、推定原画像fと推定
点像応答関数gのフーリエ変換F,Gと、それらを戻す
逆フーリエ変換(ステップ3)、(ステップ7)、およ
び式(3)に示した復元処理であるデコンボルーション
(ステップ6)、そこに非負条件(ステップ4)、(ス
テップ8)を与えながら反復計算を行うことで、式
(2)を満足するF,Gの関係に収束する。
FIG. 2 shows an algorithm of the image restoration technique by the Fourier iteration method. In FIG. 2, the estimated original image f, the estimated point image response function g, the initial original image f0, the Fourier transform C of the blurred image, the Fourier transform F of the estimated original image, the Fourier transform G of the estimated point image response function, and the estimated original image f and the Fourier transforms F and G of the estimated point image response function g, and the inverse Fourier transforms that return them (Step 3) and (Step 7), and deconvolution (Step 6) which is the restoration processing shown in Expression (3) ), And by performing iterative calculation while giving non-negative conditions (step 4) and (step 8), the relationship between F and G satisfying the expression (2) is converged.

【0025】非負条件とは、反復計算内で得られる画像
情報f,gの各画素に、本来ありえない負値が現われる
場合、その値を正値に変換する作業をいう。図3はこの
非負条件をモデル化したものである。横軸は各画素位置
(例えば、CCDカメラのように受光部が2次元マトリ
ックス状に整列しているものに対するそれぞれの受光部
の位置。図3では説明を簡単にするため、受光部が一列
に並んだものとしてある)、縦軸は光の強度を表わす。
The non-negative condition refers to the operation of converting an implicit negative value into each pixel of the image information f and g obtained in the iterative calculation into a positive value. FIG. 3 models this non-negative condition. The horizontal axis represents each pixel position (for example, the position of each light receiving unit with respect to a CCD camera in which the light receiving units are arranged in a two-dimensional matrix. In FIG. 3, for simplicity of description, the light receiving units are arranged in a line). The vertical axis represents the light intensity.

【0026】図3(a)が反復計算で負値を生じた画像
情報で、図3(b)が非負条件として負値を正値に変換
する様子を示している。正値に変換する条件として、非
負条件の前後でトータルのエネルギ保存則が成り立つ必
要がある。ここでは、例えば、負値を生じたトータルの
エネルギ量の総和を画像全体の画素数で割り、平均して
各画素に加える作業を示してある。
FIG. 3A shows image information in which a negative value is generated by iterative calculation, and FIG. 3B shows how a negative value is converted to a positive value as a non-negative condition. As a condition for converting to a positive value, a total energy conservation law needs to be satisfied before and after a non-negative condition. Here, for example, an operation is shown in which the total sum of the energy amounts that have produced negative values is divided by the number of pixels of the entire image, and the average is added to each pixel.

【0027】次に、本第1実施の形態について、図1を
用いて作用・効果を説明する。レンズ等の光学系とCC
D等の受光素子で構成される撮像部100で受光される
画像情報は、記録媒体101に記録される。記録媒体1
01に記録される画像は、画像出力部104の液晶パネ
ルで観察される。ここで、記録媒体101に記録される
画像は、手振れ等の劣化要因が存在した場合でも、劣化
した画像として記録される。
Next, the operation and effects of the first embodiment will be described with reference to FIG. Optical system such as lens and CC
Image information received by the imaging unit 100 including light receiving elements such as D is recorded on the recording medium 101. Recording medium 1
The image recorded in 01 is observed on the liquid crystal panel of the image output unit 104. Here, the image recorded on the recording medium 101 is recorded as a deteriorated image even when a deterioration factor such as camera shake exists.

【0028】画像出力部104で観察される画像に対
し、観察者が手振れ等により劣化していると判断した場
合、入力操作部103におけるスイッチ類やタッチパネ
ル等を用いて、画像復元の操作が行われる。ブラインド
デコンボルーション法による劣化画像の復元処理は、上
述したように、図2に示したような反復計算で行われ
る。この反復計算では、式(2)のC=FG、(Cは劣
化画像のフーリエ変換、Fは原画像のフーリエ変換、G
は劣化要因となる点像応答関数のフーリエ変換を表す)
において、Cは得られている劣化画像で既知である。反
復計算を開始するために、FもしくはGの初期値を推定
する。通常、F及びGは全く未知であるため、初期値と
しては乱数を用いる。ここでは、例えば,初期値を乱数
のFとする。式(2)の関係より、この初期値に対する
Gが求められる。このGに対して、図3に示すような、
非負の拘束条件をつけて、より正解に近いものとする。
この、正解に近づいたGを用いて、式(2)の関係より
Fを求める。このFにもGと同様に非負の拘束条件をつ
けて、より正解に近いものとする。この操作を反復計算
で繰り返すことにより、F,Gともに正解に近づいてい
く。
When the observer determines that the image observed by the image output unit 104 has deteriorated due to camera shake or the like, an image restoration operation is performed using switches, a touch panel, or the like in the input operation unit 103. Will be The restoration processing of the deteriorated image by the blind deconvolution method is performed by the iterative calculation as shown in FIG. 2 as described above. In this iterative calculation, C = FG in equation (2), (C is the Fourier transform of the degraded image, F is the Fourier transform of the original image, G
Represents the Fourier transform of the point spread response function that causes deterioration.)
, C is known in the obtained deteriorated image. To start the iterative calculation, the initial value of F or G is estimated. Normally, F and G are completely unknown, so random numbers are used as initial values. Here, for example, the initial value is F of a random number. G for this initial value is obtained from the relationship of equation (2). For this G, as shown in FIG.
A non-negative constraint is applied to make it closer to the correct answer.
Using the G approaching the correct answer, F is obtained from the relationship of equation (2). Similar to G, non-negative constraint conditions are applied to this F to make it closer to the correct answer. By repeating this operation by iterative calculation, both F and G approach the correct answer.

【0029】ブラインドデコンボルーション法による劣
化画像の復元手法は、反復計算による収束処理を行うた
め、復元度合いが規定値に達するか、もしくは、画像出
力部104で逐次復元画像の様子を観察し、観察者が十
分と判断した時点で、入力操作部103により、復元処
理を中止し、処理画像記録媒体105に記録する。もち
ろん、記録媒体101に記録される画像が、画像出力部
104で観測される状態で良いと判断される場合、画像
の復元処理を行わずに、処理画像記録媒体105に記録
可能である。
In the method of restoring a deteriorated image by the blind deconvolution method, the convergence process is performed by iterative calculation. Therefore, the restoration degree reaches a specified value, or the state of the restored image is sequentially observed by the image output unit 104. When the observer determines that it is sufficient, the input operation unit 103 stops the restoration process and records the restored image on the processed image recording medium 105. Of course, if it is determined that the image recorded on the recording medium 101 is acceptable to be observed by the image output unit 104, the image can be recorded on the processed image recording medium 105 without performing the image restoration processing.

【0030】ここで、本実施の形態における画像処理演
算回路102の構成を図4により説明する。画像処理演
算回路102は、ぼけ等による劣化画像を入力し、劣化
要因を取り除いた復元画像を出力する機能を有し、図2
のフーリエ反復法による画像復元アルゴリズム等のブラ
インドデコンボルーション法による劣化画像の復元を行
うものである。
Here, the configuration of the image processing operation circuit 102 in the present embodiment will be described with reference to FIG. The image processing operation circuit 102 has a function of inputting a degraded image due to blurring or the like and outputting a restored image from which the cause of deterioration has been removed.
Of a degraded image by a blind deconvolution method such as an image restoration algorithm by the Fourier iteration method.

【0031】画像処理演算回路102は、フーリエ変換
や、四則演算を行う演算回路600と、ぼけ画像のフー
リエ変換情報、復元処理過程に毎回更新される推定復元
画像情報、劣化要因となる推定点像応答関数情報、推定
復元画像のフーリエ変換情報、推定点像応答関数のフー
リエ変換情報等を記憶する演算画像記憶メモリ601か
ら構成される。
The image processing arithmetic circuit 102 includes an arithmetic circuit 600 for performing Fourier transform and four arithmetic operations, Fourier transform information of a blurred image, estimated restored image information updated each time a restoration process is performed, and an estimated point image as a deterioration factor. An arithmetic image storage memory 601 stores response function information, Fourier transform information of an estimated restored image, Fourier transform information of an estimated point image response function, and the like.

【0032】ここで、劣化要因となる推定点像応答関数
情報は、推定復元画像情報と同様の画像情報であり、各
画像情報は、2次元的な光の強度情報で、水平画素数×
垂直画素数のマトリックス状に、光の強度情報が表現さ
れる、一般的な画像情報である。また、各フーリエ変換
情報は、この画像情報のフーリエ変換情報で、2次元的
な周波数情報で、画像情報と同等の画素数のマトリック
ス状に、位相と振幅の情報が表現される、一般的な周波
数情報である。
Here, the estimated point image response function information which is a deterioration factor is the same image information as the estimated restored image information, and each image information is two-dimensional light intensity information, and is equal to the number of horizontal pixels × the number of horizontal pixels.
This is general image information in which light intensity information is expressed in a matrix of the number of vertical pixels. Further, each Fourier transform information is a Fourier transform information of the image information, and is a general two-dimensional frequency information, in which phase and amplitude information is expressed in a matrix having the same number of pixels as the image information. This is frequency information.

【0033】図4における、演算回路600の演算処理
の概略を図5により説明する。フーリエ反復法による画
像復元アルゴリズムは、反復計算による循環アルゴリズ
ムである。図5は、その循環アルゴリズムの概略を示す
ものである。図4の演算回路600では、図5に示す、
フーリエ変換演算を行う手段700と、逆数演算と積算
演算を行う手段701と、逆フーリエ変換演算を行う手
段702と、正負判断と加算積算演算を行う手段703
とから構成される。
The outline of the arithmetic processing of the arithmetic circuit 600 in FIG. 4 will be described with reference to FIG. The image restoration algorithm by the Fourier iteration method is a cyclic algorithm by iterative calculation. FIG. 5 shows an outline of the circulation algorithm. In the arithmetic circuit 600 shown in FIG.
Means 700 for performing a Fourier transform operation, means 701 for performing a reciprocal operation and an integration operation, means 702 for performing an inverse Fourier transform operation, and means 703 for performing a positive / negative judgment and an addition / integration operation.
It is composed of

【0034】フーリエ変換演算を行う手段700は、復
元過程における推定復元画像情報もしくは、劣化要因と
なる推定点像応答関数情報をフーリエ変換する手段であ
る。各画像情報をフーリエ変換することで、フーリエ変
換情報を得ることができる。図5の演算処理の概略で
は、循環アルゴリズムを示しているため、入力されるぼ
け画像の情報をフーリエ変換する作用は不図示である
が、フーリエ変換演算を行う手段700により、この作
用も行われ、図4の演算画像記憶メモリに記憶される。
The means 700 for performing a Fourier transform operation is a means for performing a Fourier transform on the estimated reconstructed image information in the restoration process or the estimated point image response function information which is a cause of deterioration. By performing Fourier transform on each image information, Fourier transform information can be obtained. In the outline of the calculation processing in FIG. 5, a circular algorithm is shown, so that the function of performing Fourier transform on the information of the input blurred image is not shown, but this function is also performed by the means 700 for performing Fourier transform calculation. Are stored in the operation image storage memory of FIG.

【0035】逆数演算と積算演算を行う手段701は、
フーリエ変換演算を行う手段700によりフーリエ変換
される、推定復元画像のフーリエ変換情報、もしくは、
推定点像応答関数のフーリエ変換情報を、逆数演算し、
ぼけ画像のフーリエ変換情報との積算(掛け算)演算を
行う手段である。この逆数演算と積算演算を行う手段7
01は、式(3)に示したデコンボルーションの処理を
行うものである。逆数演算と積算演算を行う手段701
の処理で用いられる、ぼけ画像のフーリエ変換情報は、
図4の演算画像記憶メモリから読み出され、また、演算
結果の更新された推定復元画像のフ−リエ変換情報、も
しくは、推定点像応答関数のフーリエ変換情報は、図4
の演算画像記憶メモリに記憶される。
The means 701 for performing the reciprocal operation and the integration operation is
Fourier transform information of the estimated restored image, which is Fourier transformed by the means 700 for performing a Fourier transform operation, or
Reciprocal operation of the Fourier transform information of the estimated point image response function,
This is means for performing an integration (multiplication) operation with the Fourier transform information of the blurred image. Means 7 for performing this reciprocal operation and integration operation
01 performs the deconvolution processing shown in equation (3). Means 701 for performing reciprocal operation and integration operation
The Fourier transform information of the blurred image used in the processing of
The Fourier transform information of the estimated restored image or the Fourier transform information of the estimated point image response function, which is read from the operation image storage memory of FIG.
Is stored in the calculated image storage memory.

【0036】逆フーリエ変換演算を行う手段702は、
逆数演算と積算演算を行う手段701により演算され
た、推定復元画像のフーリエ変換情報、もしくは、推定
点像応答関数のフーリエ変換情報を、逆フーリエ変換す
る手段である。各フーリエ変換情報を逆フーリエ変換す
ることで、画像情報を得ることができる。フーリエ変換
演算を行う手段700と、逆フーリエ変換演算を行う手
段702は、演算処理として同等の処理を行うものであ
り、演算回路として同一のものを使用可能である。
The means 702 for performing the inverse Fourier transform operation includes:
This is a means for performing an inverse Fourier transform of the Fourier transform information of the estimated restored image or the Fourier transform information of the estimated point image response function calculated by the means 701 for performing the reciprocal operation and the integration operation. Image information can be obtained by performing inverse Fourier transform on each piece of Fourier transform information. The means 700 for performing the Fourier transform operation and the means 702 for performing the inverse Fourier transform operation perform the same processing as the arithmetic processing, and the same arithmetic circuit can be used.

【0037】正負判断と加算積算演算を行う手段703
は、図3に示したような、各画像情報の画素毎の非負条
件を与える手段であり、各画素の値の正負を判断する演
算回路と、負値の画素の絶対値の総和を演算する加算回
路と、負値の画素の絶対値の総和を平均する積算回路
と、負値の画素の絶対値の総和の平均を全体の画素の値
に加算する加算回路とで構成される。
Means 703 for performing positive / negative judgment and addition integration operation
Is a means for giving a non-negative condition for each pixel of each image information as shown in FIG. 3, and calculates an arithmetic circuit for determining whether the value of each pixel is positive or negative, and calculates a sum of absolute values of negative pixels. It comprises an adding circuit, an integrating circuit for averaging the sum of absolute values of negative pixels, and an adding circuit for adding the average of the sum of absolute values of negative pixels to the values of all pixels.

【0038】光の強度情報に負値が生じるのは、物理現
象に矛盾する。光の強度情報は、画像が明るいか暗いか
を表すものであり、負値を示すような、例えば、エネル
ギを吸い込むブラックホ−ルのようなものが画像情報に
現れるのは物理現象に矛盾する。しかしながら、正負判
断と加算積算演算を行う手段703により、非負条件を
与えることで、物理現象として矛盾の無い画像情報を得
ることができる。正負判断と加算積算演算を行う手段7
03の演算結果、得られる画像情報(推定復元画像情
報、もしくは、推定点像応答関数情報)を、フーリエ変
換演算を行う手段700に送ることで、循環アルゴリズ
ムが機能する。この循環アルゴリズムにおいて、1回の
循環で、推定復元画像情報、もしくは、推定点像応答関
数情報の一方の復元処理が行われ、2回循環すること
で、図2に示したようなブラインドデコンボルーション
法による画像復元処理の1回の反復計算が行われること
になる。
The occurrence of a negative value in the light intensity information contradicts the physical phenomenon. The light intensity information indicates whether the image is bright or dark, and it is inconsistent with physical phenomena that a negative value, for example, a black hole that absorbs energy appears in the image information. . However, by giving the non-negative condition by the means 703 for performing the positive / negative judgment and the addition / integration calculation, it is possible to obtain image information having no contradiction as a physical phenomenon. Means 7 for performing positive / negative judgment and addition integration calculation
By transmitting the obtained image information (estimated restored image information or estimated point image response function information) to the means 700 for performing a Fourier transform operation, the cyclic algorithm functions. In this circulation algorithm, one restoration processing of the estimated restored image information or the estimated point image response function information is performed in one circulation, and the blind decombo shown in FIG. One iterative calculation of the image restoration processing by the lution method is performed.

【0039】正負判断と加算積算演算を行う手段703
は、演算結果の更新された推定復元画像情報、もしく
は、推定点像応答関数情報は、図4の演算画像記憶メモ
リに記憶される。この、更新された推定復元画像情報
は、適宜、図4の復元画像の出力(図1の画像出力部1
04)に出力可能で、観察者が観察可能である。この復
元画像の出力が観察者にとって十分と判断されるまで、
図5の循環アルゴリズムが反復計算される。
Means 703 for performing positive / negative judgment and addition / integration calculation
The estimated restored image information or the estimated point image response function information updated with the operation result is stored in the operation image storage memory of FIG. The updated estimated restored image information is appropriately output to the restored image in FIG. 4 (the image output unit 1 in FIG. 1).
04) and can be observed by an observer. Until the output of this restored image is determined to be sufficient for the viewer,
The cyclic algorithm of FIG. 5 is iteratively calculated.

【0040】以上詳述したように、本第1実施の形態に
よる、画像処理機能を有するデジタルカメラでは、画像
処理機能として、ブラインドデコンボルーション法によ
る劣化画像復元手法を用いることによって、従来技術の
課題である、手振れ等の補正要因に対し、何らかの物理
量を検出するセンサを不要とする。また、自動的にブレ
量を検出する機構を用いないので、通常は操作者が撮像
する被写体イメージにそって補正することができ、誤っ
た補正結果の画像が記録媒体に記録されることを防止す
ることができる。
As described above in detail, in the digital camera having the image processing function according to the first embodiment, by using the degraded image restoration method by the blind deconvolution method as the image processing function, the conventional camera can be used. It eliminates the need for a sensor for detecting some physical quantity for the correction factor such as camera shake, which is a problem. In addition, since a mechanism for automatically detecting the amount of blur is not used, the correction can be normally performed along the subject image captured by the operator, and an image of an incorrect correction result is prevented from being recorded on a recording medium. can do.

【0041】また、本第1実施の形態による画像処理機
能を有するデジタルカメラでは、撮影する画像に対し
て、生の画像と画像処理後の画像の両方を記録する記録
媒体を備えるため、従来技術のように自動的にブレ量を
測定して補正した場合は、不完全なブレ量の測定であっ
てもそれ以上の補正は不可能であり、また、生の画像よ
り極度に逸脱した補正を防止できるので、不完全な補正
結果の画像の記録を防止できる。
The digital camera having the image processing function according to the first embodiment has a recording medium for recording both a raw image and an image after image processing for an image to be taken. If the blur amount is automatically measured and corrected as in, even if the amount of incomplete blur is measured, no further correction is possible, and correction that deviates extremely from the raw image Therefore, recording of an image of an incomplete correction result can be prevented.

【0042】さらに、本第1実施の形態による、画像処
理機能を有するデジタルカメラでは、ブラインドデコン
ボルーション法による劣化画像復元手法による画像処理
機能を有しているので、パソコン等の計算機による画像
復元処理を不要とする。そのため、処理画像記録媒体1
05を着脱可能な記録媒体とすること等により、直接外
部の出力装置(不図示)、例えば、プリンタ等に、手振
れ等を復元した良好な画像を出力可能である。
Further, since the digital camera having the image processing function according to the first embodiment has the image processing function by the degraded image restoration method by the blind deconvolution method, the image restoration by the computer such as a personal computer is performed. No processing is required. Therefore, the processed image recording medium 1
By using a detachable recording medium 05 or the like, it is possible to directly output a good image in which camera shake and the like are restored to an external output device (not shown) such as a printer.

【0043】次に、図6を用いて、本第2実施の形態の
画像処理機能を有するデジタルカメラの構成を説明す
る。画像処理機能を有するデジタルカメラとしての基本
的な構成は第1実施の形態と同じである。第1実施の形
態と異なる点は、第1実施の形態における入力操作部1
03に対し、第2実施の形態においてはモード切換機能
付入力操作部400が構成される点と、さらに、点像応
答関数記録媒体401が構成される点である。
Next, the configuration of a digital camera having an image processing function according to the second embodiment will be described with reference to FIG. The basic configuration of a digital camera having an image processing function is the same as that of the first embodiment. The difference from the first embodiment is that the input operation unit 1 according to the first embodiment is different from the first embodiment.
On the other hand, in the second embodiment, an input operation unit 400 with a mode switching function is configured, and further, a point image response function recording medium 401 is configured.

【0044】点像応答関数記録媒体401は、記録媒体
101等と同様に、例えば、フラッシュメモリやハード
ディスク等で構成される。該点像応答関数記録媒体40
1は、第1実施の形態で述べたブラインドデコンボルー
ション法による、手振れ等の劣化画像の復元処理におい
て、復元画像と同時に得られる、劣化要因となる点像応
答関数を、適宜記録、読み出し可能なものである。
The point image response function recording medium 401 is constituted by, for example, a flash memory, a hard disk or the like, like the recording medium 101 and the like. The point image response function recording medium 40
In a restoration process of a deteriorated image such as a camera shake by the blind deconvolution method described in the first embodiment, a point image response function serving as a deterioration factor, which is obtained simultaneously with a restored image, can be appropriately recorded and read. It is something.

【0045】モード切換機能付入力操作部400は、第
1実施の形態における入力操作部103と同様に、スイ
ッチ類やタッチパネルで構成される。該モード切換機能
付入力操作部400は、第1実施の形態における入力操
作部103の基本機能と合わせて、点像応答関数記録媒
体401に点像応答関数を、適宜記録、読み出し可能と
するための、操作機能を有する。
The input operation unit 400 with the mode switching function comprises switches and a touch panel, like the input operation unit 103 in the first embodiment. The input operation unit 400 with the mode switching function is capable of appropriately recording and reading out the point image response function on the point image response function recording medium 401 together with the basic function of the input operation unit 103 in the first embodiment. Operation function.

【0046】本第2実施の形態における基本的な作用・
効果は第1実施の形態と同じである。第1実施の形態と
異なる点は、入力操作部103の代わりにモード切換機
能付入力操作部400が構成される点と、さらに、点像
応答関数記録媒体401が構成される点である。第1実
施の形態で述べた通り、ブラインドデコンボルーション
法による、手振れ等の劣化画像の復元処理は、劣化画像
の情報のみから式(2)におけるF,Gを推定し分離す
る手法である。そのため、劣化画像の復元処理を完了し
た際には、劣化していない復元画像と合わせて、劣化要
因となる点像応答関数の情報も得ることができる。
Basic operation in the second embodiment
The effect is the same as that of the first embodiment. The difference from the first embodiment is that an input operation unit 400 with a mode switching function is configured instead of the input operation unit 103, and that a point image response function recording medium 401 is further configured. As described in the first embodiment, the restoration processing of a deteriorated image such as a camera shake by the blind deconvolution method is a method of estimating and separating F and G in Expression (2) from only the information of the deteriorated image. Therefore, when the restoration processing of the deteriorated image is completed, it is also possible to obtain information of the point image response function that is a deterioration factor together with the restored image that has not deteriorated.

【0047】第2実施の形態では、この劣化要因となる
点像応答関数を、点像応答関数記録媒体401に記録し
ておき、別の劣化した画像の復元処理をする際に、積極
的に利用することで、反復計算による収束処理時間を短
縮することが可能となる。すなわち、ブラインドデコン
ボルーション法による劣化画像の復元処理は、例えば、
図2に示したような反復計算で行われる。この反復計算
では、式(2)のC=FG、(Cは劣化画像のフーリエ
変換、Fは原画像のフーリエ変換、Gは劣化要因となる
点像応答関数のフーリエ変換を表す)において、Cは得
られている劣化画像で既知である。反復計算を開始する
ために、FもしくはGの初期値を推定する。通常、F及
びGは全く未知であるため、初期値としては乱数を用い
る。ここでは、例えば,初期値を乱数のFとする。式
(2)の関係より、この初期値に対するGが求められ
る。このGに対して、図3に示すような、非負の拘束条
件をつけて、より正解に近いものとする。この、正解に
近づいたGを用いて、式(2)の関係よりFを求める。
このFにもGと同様に非負の拘束条件をつけて、より正
解に近いものとする。この操作を反復計算で繰り返すこ
とにより、F,Gともに正解に近づいていく。
In the second embodiment, a point image response function which is a cause of this deterioration is recorded on a point image response function recording medium 401, and when another degraded image is restored, it is actively used. By using this, it is possible to reduce the convergence processing time by iterative calculation. That is, the restoration processing of the deteriorated image by the blind deconvolution method is, for example,
It is performed by an iterative calculation as shown in FIG. In this iterative calculation, C = FG in Expression (2), where C is the Fourier transform of the degraded image, F is the Fourier transform of the original image, and G is the Fourier transform of the point image response function that is a degradation factor, Is known in the obtained degraded image. To start the iterative calculation, the initial value of F or G is estimated. Normally, F and G are completely unknown, so random numbers are used as initial values. Here, for example, the initial value is F of a random number. G for this initial value is obtained from the relationship of equation (2). The G is given a non-negative constraint condition as shown in FIG. Using the G approaching the correct answer, F is obtained from the relationship of equation (2).
Similar to G, non-negative constraint conditions are applied to this F to make it closer to the correct answer. By repeating this operation by iterative calculation, both F and G approach the correct answer.

【0048】この反復計算において、初期値が正解に近
いものから反復計算が開始されれば、収束時間も短縮さ
れる。そこで、例えば、手振れ具合が大きい場合や、小
さい場合などの劣化画像に対し、復元処理を行った結果
の点像応答関数を点像応答関数記録媒体401に記録し
ておき、あらためて別の劣化画像を復元処理する際に、
モード切換機能付入力操作部400により、適宜手振れ
が大きいモードや、小さいモードを選択することで、復
元処理時間の短縮が可能となる。
In this iterative calculation, if the iterative calculation is started from the one whose initial value is close to the correct answer, the convergence time is also reduced. Therefore, for example, a point image response function obtained as a result of performing a restoration process on a deteriorated image when the degree of camera shake is large or small is recorded in the point image response function recording medium 401, and another deteriorated image is When restoring the
By selecting a mode with a large camera shake or a mode with a small camera shake by the input operation unit 400 with the mode switching function, the restoration processing time can be reduced.

【0049】また、本第2実施の形態による画像処理機
能を有するデジタルカメラでは、式(1)または式
(2)で表される劣化要因に対して、復元可能とするた
め、劣化要因が、手振れによる場合だけでなく、例え
ば、レンズの焦点ボケによる劣化や、被写体が移動して
いる場合の画像の流れによる劣化、大気の揺らぎ(例え
ば、陽炎等)による劣化等も復元処理が可能である。よ
って、モード切換機能付入力操作部400には、こうし
た劣化要因ごとの各モードを付加することが可能であ
る。
In the digital camera having the image processing function according to the second embodiment, the deterioration factor represented by the formula (1) or (2) can be restored. Restoration processing is possible not only due to camera shake, but also for example, deterioration due to defocus of the lens, deterioration due to the flow of images when the subject is moving, deterioration due to fluctuations in the atmosphere (eg, heat haze), and the like. . Therefore, it is possible to add each mode for each such deterioration factor to the input operation unit 400 with the mode switching function.

【0050】なお、本第2実施の形態における画像処理
機能は、従来技術のデジタルカメラや、デジタルビデオ
カメラの静止画保存においても、適用可能であることは
勿論のことである。
The image processing function according to the second embodiment can of course be applied to the storage of a still image in a conventional digital camera or digital video camera.

【0051】以上詳述したように本第2実施の形態にお
いては、第1実施の形態と同じように、画像処理機能と
して、ブラインドデコンボルーション法による劣化画像
復元手法を用いることにより、手振れ等の補正要因に対
し、何らかの物理量を検出するセンサを不要とする点、
撮影する画像に対して、生の画像と画像処理後の画像の
両方を記録する記録媒体を備え、劣化している要因に対
しての復元処理を行うため、誤った補正結果の画像の記
録を防止できる点、ブラインドデコンボルーション法に
よる劣化画像復元手法を用いた画像処理機能有している
ので、パソコン等の計算機による画像復元処理を不要と
する点に加えて、劣化要因となる点像応答関数を、適宜
記録、読み出し可能な、点像応答関数記録媒体401を
具備し、別の劣化した画像の復元処理をする際に、この
記録されている点像応答関数から、適したものを選択可
能とするモード切換機能付入力操作部400を具備する
ことで、劣化画像復元処理時間を短縮することを可能と
する点等の効果を有する。
As described in detail above, in the second embodiment, as in the first embodiment, a camera shake or the like is obtained by using a degraded image restoration method by a blind deconvolution method as an image processing function. The need for a sensor to detect some physical quantity,
Equipped with a recording medium for recording both the raw image and the image after image processing for the image to be captured. In addition to the fact that it has an image processing function using a degraded image restoration method by the blind deconvolution method, it eliminates the need for image restoration processing by a computer such as a personal computer. A point image response function recording medium 401 capable of appropriately recording and reading functions is provided, and when restoring another deteriorated image, an appropriate one is selected from the recorded point image response functions. Providing the input operation unit 400 with a mode switching function that enables the mode has an advantage such as that it is possible to shorten the time required for the degraded image restoration processing.

【0052】[0052]

【発明の効果】以上、詳細に説明したように本発明は、
画像処理機能として、ブラインドデコンボルーション法
による劣化画像復元手法を用いることにより、手振れ等
の補正要因に対し、何らかの物理量を検出するセンサを
不要とし、簡単な構成で良好な画像を得ることができる
画像処理機能を有するデジタルカメラを提供することが
可能である。また、自動的にブレ量を検出する機構を用
いないので、通常は操作者が撮像する被写体イメージに
そって補正することができ、誤った補正結果の画像が記
録媒体に記録されることを防止することができる。
As described above, the present invention provides:
By using a degraded image restoration method by a blind deconvolution method as an image processing function, a sensor for detecting any physical quantity for correction factors such as camera shake is not required, and a good image can be obtained with a simple configuration. It is possible to provide a digital camera having an image processing function. In addition, since a mechanism for automatically detecting the amount of blur is not used, the correction can be normally performed along the subject image captured by the operator, and an image of an incorrect correction result is prevented from being recorded on a recording medium. can do.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の第1実施の形態に係る画像処理機能
を有するデジタルカメラの構成図である。
FIG. 1 is a configuration diagram of a digital camera having an image processing function according to a first embodiment of the present invention.

【図2】 本発明の実施の形態に係る画像処理機能の内
容である、フーリエ反復法による画像復元アルゴリズム
を表わす図である。
FIG. 2 is a diagram showing an image restoration algorithm by a Fourier iteration method, which is the content of the image processing function according to the embodiment of the present invention.

【図3】 フーリエ反復法による画像復元アルゴリズム
の、非負条件のモデル図である。
FIG. 3 is a non-negative condition model diagram of an image restoration algorithm by a Fourier iteration method.

【図4】 本発明の実施の形態に係る画像処理演算回路
の構成図である。
FIG. 4 is a configuration diagram of an image processing operation circuit according to the embodiment of the present invention.

【図5】 本発明の実施の形態に係る画像処理演算回路
の演算処理の概略図である。
FIG. 5 is a schematic diagram of a calculation process of the image processing calculation circuit according to the embodiment of the present invention.

【図6】 本発明の第2実施の形態に係る画像処理機能
を有するデジタルカメラの構成図である。
FIG. 6 is a configuration diagram of a digital camera having an image processing function according to a second embodiment of the present invention.

【図7】 従来のデジタルカメラにおける手振れ等によ
る画像の劣化を補正する手法の概略構成図である。
FIG. 7 is a schematic configuration diagram of a method for correcting image deterioration due to camera shake or the like in a conventional digital camera.

【符号の説明】[Explanation of symbols]

101 記憶媒体(記憶装置) 102 画像情報演算回路(画像処理手段) 103 入力操作部(操作手段) 104 画像出力部(表示装置) DESCRIPTION OF SYMBOLS 101 Storage medium (storage device) 102 Image information calculation circuit (image processing means) 103 Input operation part (operation means) 104 Image output part (display device)

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H054 AA01 5B057 BA11 BA23 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE03 CH08 5C022 AA13 AB55 AC00 AC01 AC31 AC69 5C053 FA08 FA30 HA40 KA04 KA22 KA24 KA30 LA01  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2H054 AA01 5B057 BA11 BA23 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE03 CH08 5C022 AA13 AB55 AC00 AC01 AC31 AC69 5C053 FA08 FA30 HA40 KA04 KA22 KA24 KA30 KA30 LA01

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 撮像した画像を記憶する記憶装置と、前
記画像を表示する表示装置を備えるとともに前記画像を
補正する画像処理機能を有したデジタルカメラにおい
て、 撮像された画像を補正する画像処理手段と、該画像処理
手段に補正情報を与える操作手段を備え、該操作手段を
外部から操作可能に構成し、 前記表示装置に表示された撮像された画像を基に、前記
操作手段により適宜補正情報を付与して画像を補正する
ことを特徴とする画像処理機能を有したデジタルカメ
ラ。
An image processing means for correcting a captured image in a digital camera including a storage device for storing a captured image and a display device for displaying the image and having an image processing function for correcting the image. Operating means for providing correction information to the image processing means, wherein the operating means is configured to be operable from the outside, and based on a captured image displayed on the display device, the correction information is appropriately provided by the operating means. A digital camera having an image processing function, wherein an image is corrected by adding an image.
【請求項2】 前記画像処理機能として、ブラインドデ
コンボルーション法による劣化画像復元手法を用いるこ
とを特徴とする請求項1記載の画像処理機能を有したデ
ジタルカメラ。
2. The digital camera having an image processing function according to claim 1, wherein a degraded image restoration method using a blind deconvolution method is used as the image processing function.
【請求項3】 前記記憶装置は、補正前の画像を記憶す
る補正前画像記憶手段と、補正後の画像を記憶する補正
後画像記憶手段とを備えたことを特徴とする請求項1記
載の画像処理機能を有したデジタルカメラ。
3. The storage device according to claim 1, wherein the storage device includes a pre-correction image storage unit that stores an image before correction, and a post-correction image storage unit that stores a post-correction image. Digital camera with image processing function.
【請求項4】 前記記憶装置は、画像補正情報の前歴を
記憶する画像補正情報記憶手段を備えるとともに、前記
前歴を前記操作手段により使用可能に構成したことを特
徴とする請求項1記載の画像処理機能を有したデジタル
カメラ。
4. The image according to claim 1, wherein the storage device includes an image correction information storage unit that stores a history of the image correction information, and the history can be used by the operation unit. Digital camera with processing function.
JP2000151994A 2000-05-23 2000-05-23 Digital camera having image processing function Withdrawn JP2001333326A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000151994A JP2001333326A (en) 2000-05-23 2000-05-23 Digital camera having image processing function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000151994A JP2001333326A (en) 2000-05-23 2000-05-23 Digital camera having image processing function

Publications (1)

Publication Number Publication Date
JP2001333326A true JP2001333326A (en) 2001-11-30

Family

ID=18657473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000151994A Withdrawn JP2001333326A (en) 2000-05-23 2000-05-23 Digital camera having image processing function

Country Status (1)

Country Link
JP (1) JP2001333326A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124199A (en) * 2005-10-27 2007-05-17 Nitto Kogaku Kk Image processing apparatus
JP2007336524A (en) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd Image processing apparatus, image processing program, and imaging apparatus
JP2009211338A (en) * 2008-03-04 2009-09-17 Nittoh Kogaku Kk Method for creating data of change factor information, and signal processor
US7596307B2 (en) 2002-12-25 2009-09-29 Nikon Corporation Blur correction camera system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596307B2 (en) 2002-12-25 2009-09-29 Nikon Corporation Blur correction camera system
US7711253B2 (en) 2002-12-25 2010-05-04 Nikon Corporation Blur correction camera system
JP2007124199A (en) * 2005-10-27 2007-05-17 Nitto Kogaku Kk Image processing apparatus
JP2007336524A (en) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd Image processing apparatus, image processing program, and imaging apparatus
JP2009211338A (en) * 2008-03-04 2009-09-17 Nittoh Kogaku Kk Method for creating data of change factor information, and signal processor

Similar Documents

Publication Publication Date Title
US11457149B2 (en) Method and apparatus for capturing digital video
JP5596138B2 (en) Imaging apparatus, image processing apparatus, image processing method, and image processing program
US12301995B2 (en) Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP2001333326A (en) Digital camera having image processing function

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070807