[go: up one dir, main page]

JP4538358B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4538358B2
JP4538358B2 JP2005097056A JP2005097056A JP4538358B2 JP 4538358 B2 JP4538358 B2 JP 4538358B2 JP 2005097056 A JP2005097056 A JP 2005097056A JP 2005097056 A JP2005097056 A JP 2005097056A JP 4538358 B2 JP4538358 B2 JP 4538358B2
Authority
JP
Japan
Prior art keywords
value
luminance value
image signal
function
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005097056A
Other languages
Japanese (ja)
Other versions
JP2006279656A (en
Inventor
怜志 矢崎
広史 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2005097056A priority Critical patent/JP4538358B2/en
Priority to US11/391,674 priority patent/US7702175B2/en
Priority to EP06006530A priority patent/EP1708488A3/en
Publication of JP2006279656A publication Critical patent/JP2006279656A/en
Application granted granted Critical
Publication of JP4538358B2 publication Critical patent/JP4538358B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、視認効果改善等の目的のために、一定周期毎に入力される輝度値である入力画像信号を、その輝度変化の周波数に基づいて画像処理する画像処理装置に関する。   The present invention relates to an image processing apparatus that performs image processing on an input image signal, which is a luminance value input at regular intervals, for the purpose of improving the visual recognition effect, based on the frequency of the luminance change.

特許文献１に開示される画像表示方法及びその装置は、ローパスフィルタとしてＩＩＲ（Infinite Impulse Response）フィルタを用いることにより、回路規模が大きくすることなく画像表示のコントラスト改善をなし得るとしている。   The image display method and apparatus disclosed in Patent Document 1 use an IIR (Infinite Impulse Response) filter as a low-pass filter to improve the contrast of image display without increasing the circuit scale.

コントラスト改善等の画像視認効果の改善には、ＩＩＲやより安定性のあるＦＩＲ（Finite Impulse Response）により構成されるローパスフィルタが通常用いられている。図１は、ローパスフィルタとしてＦＩＲフィルタを用いて画像の視認上の精細感を向上させる高周波域増強処理（以下、シャープ化処理と称する）を行う画像処理装置１を示している。ここで、入力画像Ｖinの低周波成分Ｖloがローパスフィルタ（ＬＰＦ）２により抽出され、該低周波成分Ｖloを入力画像Ｖinから差し引くことで入力画像の高周波成分Ｖhが抽出される。次いで、該高周波成分ＶhにゲインＧを掛け、該ゲインが掛かった高周波成分Ｖhgを入力画像Ｖinに足し戻すことでシャープ化処理が施された出力画像Ｖoutが得られる。ＬＰＦ2を例えば３タップのＦＩＲフィルタとする場合には、評価画素として中心画素Ｃの前後２画素Ｌ及びＲから出力画像の輝度値が計算される。すなわち、複数の遅延器を組み合わせて得られる画素Ｌ、画素Ｃ及び画素Ｒの各々に対応するタップ係数ａr、ａc及びａrの各々を乗算器により乗算し、これを加算器により合算することで出力画像の輝度（階調）値が計算される。３つの画素に対応する３つタップ係数ａL、ａC及びａRの各々はカットオフ周波数から定まる固定値が用いられる。その意味で、加算器による合算は、混合比を固定とする画素輝度値の混合処理と捉えることができる。
特開平２０００−４３８０号公報 In order to improve image viewing effects such as contrast improvement, a low-pass filter constituted by IIR or more stable FIR (Finite Impulse Response) is usually used. FIG. 1 shows an image processing apparatus 1 that performs a high-frequency region enhancement process (hereinafter referred to as a sharpening process) that improves the visual fineness of an image using an FIR filter as a low-pass filter. Here, the low frequency component V lo of the input image V in is extracted by a low pass filter (LPF) 2, a high frequency component V h of the input image is extracted by subtracting the low frequency component V lo from the input image V in . Then, the high frequency component V h multiplied by a gain G, the output image V out which sharpening processing is performed by returning adding the high frequency component V hg said gain is applied to the input image V in is obtained. When the LPF2 is, for example, a 3-tap FIR filter, the luminance value of the output image is calculated from the two pixels L and R before and after the central pixel C as evaluation pixels. That is, each of tap coefficients a r , ac and a r corresponding to each of the pixel L, pixel C and pixel R obtained by combining a plurality of delay devices is multiplied by a multiplier, and this is added by an adder. Thus, the luminance (gradation) value of the output image is calculated. For each of the three tap coefficients a L , a C, and a R corresponding to the three pixels, a fixed value determined from the cutoff frequency is used. In that sense, the addition by the adder can be regarded as a pixel luminance value mixing process in which the mixing ratio is fixed.
Japanese Unexamined Patent Publication No. 2000-4380

しかしかかる従来のＬＰＦを用いた方法では、隣接する画素間で０から最大階調に変化するか又はその逆の如く急激な階調変化部分すなわちステップ入力がある画像の場合には、かかる部分を中心とした範囲で、シャープ化処理を施した処理画像が元画像とは大きく異なってしまうという現象が発生する。図２を参照すると、従来の画像処理装置においてシャープ化処理特性が示されている。ここで、所定周期毎に入力される入力画像信号の輝度値のステップ応答部分において、シャープ化処理された出力画像信号の輝度値には大きくオーバシュートが発生していることが分かる。これは、ＬＰＦのデジタル信号処理によってはステップ入力に追従しないことに起因する。このため、シャープ化処理を行うと画像全体の精細感を向上することができるが、弊害として元画像が大きく損なわれるという問題が発生する。   However, in the method using the conventional LPF, in the case of an image having a sudden gradation change portion, that is, a step input such as a change from 0 to the maximum gradation between adjacent pixels or vice versa, such a portion is changed. Within the center range, a phenomenon occurs in which a processed image that has undergone sharpening processing is significantly different from the original image. Referring to FIG. 2, sharpening processing characteristics are shown in a conventional image processing apparatus. Here, it can be seen that, in the step response portion of the luminance value of the input image signal input every predetermined period, the luminance value of the output image signal subjected to the sharpening process has a large overshoot. This is because the LPF digital signal processing does not follow the step input. For this reason, when the sharpening process is performed, it is possible to improve the fineness of the entire image, but as a detrimental problem, the original image is greatly damaged.

本発明が解決しようとする課題には、上記の問題が一例として挙げられ、シャープ化処理の如き画像処理において該処理目的を超えて元画像が損なわれる現象を回避する画像処理装置を提供することが本発明の目的である。   The problem to be solved by the present invention includes the above-mentioned problem as an example, and provides an image processing apparatus that avoids a phenomenon in which an original image is damaged beyond the processing purpose in image processing such as sharpening processing. Is the object of the present invention.

本発明による画像処理装置は、入力画像信号に対して強調処理を実行し、当該強調処理がなされた入力画像信号を出力画像信号として出力する画像処理装置であって、前記入力画像信号から所定周期毎の第１輝度値、第２輝度値及び第３輝度値を抽出し、前記第１輝度値、第２輝度値及び第３輝度値の各々に対して、所定の複数の混合係数の各々を対応して乗算し、当該乗算結果の複数を合算して得られる合波成分を出力するフィルタ回路（２０）と、前記入力画像信号から前記合波成分を減算して前記入力画像信号の高周波成分を出力する減算器（３０）と、前記高周波成分に対して所定のゲイン値を乗算してゲイン乗算化高周波成分を出力するゲインコントロール部（４０）と、前記入力画像信号に前記ゲイン乗算化高周波成分を加算することによって前記出力画像信号を生成する加算器（５０）と、を含み、前記フィルタ回路（２０）は、前記第１輝度値と前記第２輝度値との間の第１勾配値と、前記第２輝度値と前記第３輝度値との間の第２勾配値を検知する勾配検知手段と、前記第１勾配値と前記第２勾配値とを比較し、勾配値がより緩やかな側の輝度値の混合比率を上げると共に勾配値がより急峻な側の輝度値の混合比率を下げるように、前記第１輝度値の混合係数と前記第３輝度値の混合係数との割合を制御する混合係数制御手段と、を含むことを特徴とする。
An image processing apparatus according to the present invention is an image processing apparatus that performs an enhancement process on an input image signal and outputs the input image signal subjected to the enhancement process as an output image signal, and the image processing apparatus performs a predetermined cycle from the input image signal. A first luminance value, a second luminance value, and a third luminance value are extracted for each of the plurality of predetermined mixing coefficients for each of the first luminance value, the second luminance value, and the third luminance value. A filter circuit (20) for correspondingly multiplying and outputting a combined component obtained by adding a plurality of the multiplication results; and subtracting the combined component from the input image signal to generate a high frequency component of the input image signal , A gain control unit (40) for multiplying the high frequency component by a predetermined gain value and outputting a gain multiplied high frequency component, and the gain multiplied high frequency for the input image signal. Add components And an adder (50) for generating the output image signal. The filter circuit (20) includes a first gradient value between the first luminance value and the second luminance value, and the first luminance value. A gradient detecting means for detecting a second gradient value between two luminance values and the third luminance value, and comparing the first gradient value with the second gradient value, the luminance on the side where the gradient value is gentler A mixing coefficient for controlling the ratio of the mixing coefficient of the first luminance value and the mixing coefficient of the third luminance value so as to increase the mixing ratio of the values and to decrease the mixing ratio of the luminance values on the side where the gradient value is steeper And control means .

本発明の実施例について添付の図面を参照して詳細に説明する。
＜第１の実施例＞
図３は、本発明の第１の実施例を示し、本発明による画像処理装置の構成を示している。ここで、画像処理装置１０には、入力画像信号として一定の周期Ｄで発生する輝度値である入力画像信号Ｖinが入力されてシャープ化処理が施された出力画像信号Ｖoutが出力される。入力画像信号Ｖin及び出力画像信号Ｖoutの値は、例えば、０〜２５５の階調を示す輝度値であり、その周期Ｄは、例えば、１２８０×７２０の２次元画像を走査するに足る一次元画像データを１秒間に３０回繰り返す動作を仮定すると、その周期Ｄは４０ｎｓｅｃ程度になる。 Embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<First embodiment>
FIG. 3 shows a first embodiment of the present invention and shows a configuration of an image processing apparatus according to the present invention. Here, the image processing apparatus 10, an output image signal V out of the input image signal V in is a luminance value is inputted sharpening process is performed that occur at constant cycle D as the input image signal is output . The value of the input image signal V in and the output image signal V out is, for example, a luminance value indicating the gradation of 0 to 255, the period D can be, for example, primary sufficient to scan the two-dimensional image of 1280 × 720 Assuming the operation of repeating the original image data 30 times per second, the period D is about 40 nsec.

入力画像信号Ｖinは、ＬＰＦ２０に入力されると共に、減算器３０及び加算器５０に入力される。減算器３０は、入力された入力画像信号Ｖinから、ＬＰＦ２０により出力される低周波成分Ｖloを減算して高周波成分Ｖhをゲインコントロール部４０に出力する。ゲインコントロール部４０は、入力された高周波成分Ｖhに対して所定のゲイン値Ｇを乗算して得られるゲイン乗算化高周波成分Ｖhgを加算器５０に出力する。加算器５０は、ゲイン乗算化高周波成分Ｖｈｇを入力画像信号Ｖinに加算して外部に出力画像信号Ｖoutとして出力する。 The input image signal V in is input to the LPF 20, it is input to the subtracter 30 and an adder 50. Subtractor 30 from the input image signal V in input, and outputs the high frequency component V h to the gain control unit 40 subtracts the low frequency component V lo output by LPF 20. The gain control unit 40 outputs a gain multiplied high frequency component V hg obtained by multiplying the input high frequency component V h by a predetermined gain value G to the adder 50. The adder 50 outputs as the output image signal V out to the outside by adding a gain multiplication of the high-frequency component Vhg the input image signal V in.

ＬＰＦ２０は、入力された入力画像信号Ｖinから所定のカットオフ周波数により定まる低周波成分Ｖloを出力するローパスフィルタである。入力画像信号Ｖinは、乗算器群２２の乗算器２２Ｒと、遅延器２１ａと、勾配検出器２５ｂとに共に入力される。遅延器２１ａは、入力された入力画像信号Ｖinに対して時間Ｄに相当する遅延を施し、これを勾配検出器２５ｂ及び２５ａ、遅延器２１ｂ並びに乗算器群２２の乗算器２２Ｃに入力する。遅延器２１ｂは、入力された時間Ｄの遅延が施された入力画像信号Ｖinに対してさらに時間Ｄに相当する遅延を施し、これを勾配検出器２５ａ及び乗算器群２２の乗算器２２Ｌに入力する。ここで、遅延器２１ａ及び２１ｂにより時間２Ｄの遅延が施された入力画像信号Ｖinの輝度値は、画素Ｌに対応する入力輝度値として入力輝度値ＶinLで表し、遅延器２１ａにより時間Ｄの遅延が施された入力画像信号Ｖinの値は、画素Ｃに対応する入力輝度値として入力輝度値ＶinCで表し、遅延が施されない入力画像信号Ｖinの値は、画素Ｒに対応する入力輝度値として入力輝度値ＶinRで表すものとする。 LPF20 is a low pass filter for outputting a low frequency component V lo from the input image signal V in input determined by a predetermined cut-off frequency. The input image signal V in is a multiplier 22R in a multiplier group 22, a delay unit 21a, it is inputted together with the slope detector 25b. Delayer 21a performs a delay corresponding to the time D with respect to an input image signal V in, and inputs this slope detector 25b and 25a, to the multiplier 22C of the delay unit 21b and the multiplier group 22. Delayer 21b performs a delay additional time corresponding to D with respect to the input image signal V in delayed input time D has been subjected this to the multiplier 22L slope detector 25a and a multiplier group 22 input. Here, the luminance value of the input image signal V in which the delay time 2D by delayer 21a and 21b has been subjected, expressed in input luminance values V inL as an input luminance value corresponding to the pixel L, the time by the delay circuit 21a D the value of the input image signal V in the delay has been subjected, expressed in input luminance value V inC as an input luminance value corresponding to the pixel C, the value of the input image signal V in the delay is not performed corresponds to the pixel R The input luminance value is represented by the input luminance value VinR .

乗算器群２２は、乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌを含み、各々の乗算値すなわちタップ係数（以下、混合係数と称する）ａL、ａC及びａRは、混合比制御部２６により指定される。乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌの各々は、入力輝度値ＶinL、ＶinC及びＶinRを対応する混合係数ａL、ａC及びａRの各々で乗算して出力する。乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌからの出力は、加算器２４により合算されて、低周波成分Ｖloとして出力される。低周波成分Ｖloの輝度値としてのＶloは、以下の式で表される。 The multiplier group 22 includes a multiplier 22R, a multiplier 22C, and a multiplier 22L. Each multiplication value, that is, a tap coefficient (hereinafter referred to as a mixing coefficient) a L , a C, and a R is a mixing ratio control unit 26. Specified by. Each of the multiplier 22R, the multiplier 22C, and the multiplier 22L multiplies the input luminance values V inL , V inC, and V inR by the corresponding mixing coefficients a L , a C, and a R and outputs the result. The outputs from the multiplier 22R, the multiplier 22C, and the multiplier 22L are added together by the adder 24 and output as a low frequency component Vlo . V lo as the luminance value of the low frequency component V lo is expressed by the following equation.

Ｖlo＝ａL・ＶinL＋ａC・ＶinC＋ａR・ＶinR
勾配検出器２５ａは、入力輝度値ＶinL及びＶinCを入力し、これら両者間の勾配ΔLCを求めて混合比制御部２６に出力する。勾配検出器２５ｂは、入力輝度値ＶinC及びＶinRを入力し、これら両者間の勾配ΔCRを求めて混合比制御部２６に出力する。ΔLC及びΔCRは以下の式により表される。 V lo = a L・ V inL + a C・ V inC + a R・ V inR
The gradient detector 25 a receives the input luminance values V inL and V inC , calculates the gradient Δ LC between them, and outputs it to the mixing ratio control unit 26. Gradient detector 25b receives the input brightness values V inC and V inR, and outputs a slope delta CR between these two to the mixture ratio controller 26 seeking. Delta LC and delta CR is represented by the following equation.

ΔLC＝ＶinC−ＶinL
ΔCR＝ＶinR−ＶinC
混合比制御部２６は、勾配検出器２５ａからの勾配ΔLCと、勾配検出器２５ｂからの勾配ΔCRとを基にして、タップ係数、すなわち混合係数ａL、ａC及びａRの各々を計算し、これらを乗算器群２２に出力することで混合割合の制御を行う。混合係数ａL、ａC及びａRの計算は、例えば、以下の式より行う。 Δ LC = V inC −V inL
Δ CR = V inR −V inC
Mixture ratio control unit 26, and slope delta LC from the slope detector 25a, based on the gradient delta CR from the slope detector 25b, the tap coefficients, i.e. mixing coefficients a L, each of a C and a R The mixing ratio is controlled by calculating and outputting these to the multiplier group 22. The mixing coefficients a L , a C, and a R are calculated from the following formula, for example.

ａL＝ ａL0×２ｆ（ΔCR）／（ｆ（ΔLC）＋ｆ（ΔCR））
ａC＝ ａC0
ａR＝ ａR0×２ｆ（ΔLC）／（ｆ（ΔLC）＋ｆ（ΔCR））
ここで、ａL0、ａC0及びａR0の各々は通常のＦＩＲフィルタの設計により行われるカットオフ周波数を基にしたタップ係数の値である。ａL0、ａC0及びａR0の値は、例えば、０．２５、０．５及び０．２５である。関数ｆ（Δ）は、任意の一様増加関数であり、例えば、ｆ（Δ）＝｜Δ｜、ｆ（Δ）＝Δ2あるいはｆ（Δ）＝ｌｏｇ（Δ）とすることが考えられる。 a L = a L0 × 2f (Δ CR ) / (f (Δ LC ) + f (Δ CR ))
a C = a C0
a R = a R0 × 2f (Δ LC ) / (f (Δ LC ) + f (Δ CR ))
Here, each of a L0 , a C0, and a R0 is a tap coefficient value based on a cut-off frequency performed by designing a normal FIR filter. The values of a L0 , a C0 and a R0 are, for example, 0.25, 0.5 and 0.25. The function f (Δ) is an arbitrary uniform increasing function. For example, f (Δ) = | Δ |, f (Δ) = Δ 2 or f (Δ) = log (Δ) is considered. .

以上の混合係数を基にした混合制御を行うことより、勾配がより急峻な側の輝度値の混合比率を下げると同時に勾配が緩い側の輝度値の混合比率を上げる制御を行うことを意味する。これにより、ＬＰＦ２０は、通常のＬＰＦにより抽出される低周波成分にステップ変化成分が合波された合波成分を低周波成分Ｖloとして出力することになる。 By performing the mixing control based on the above mixing coefficient, it means that the mixing ratio of the luminance value on the side with a steep slope is lowered and the mixing ratio of the luminance value on the side with a gentle gradient is increased. . Accordingly, LPF 20 is composed of a multiplexing component step change component to low frequency component is multiplexed extracted by conventional LPF to be output as a low frequency component V lo.

尚、混合係数ａL、ａC及びａRの計算は、以上の算出式に限られず、勾配がより急峻な側の輝度値の混合比率を下げると同時に勾配が緩い側の輝度値の混合比率を上げることが可能な他の算出式によっても良い。
＜第２の実施例＞
図４は、本発明の第２の実施例であり、図３に示された画像処理装置に含まれるＬＰＦを多段構成とする構成を示している。ここで、本図の上段（ａ）を参照すると、ＬＰＦ２０は、複数のＬＰＦ２０ａ、２０ｂ及び２０ｃがタンデム状に構成される。ＬＰＦ２０ａは、遅延器による遅延時間を所定周期Ｄとすることで、参照画素を画素Ｌ、画素Ｃ及び画素Ｒとする３タップのローパスフィルタである。ＬＰＦ２０ｂは、遅延器による遅延時間を所定周期２Ｄとすることで、参照画素を画素２Ｌ、画素Ｃ及び画素２Ｒとする３タップのローパスフィルタである。ＬＰＦ２０ｃは、遅延器による遅延時間を所定周期４Ｄとすることで、参照画素を画素４Ｌ、画素Ｃ及び画素４Ｒとする３タップのローパスフィルタである。本図の下段（ｂ）に示されるように、画素４Ｌ〜画素４Ｒの位置関係は、所定周期Ｄ毎に時系列状をなしている。 The calculation of the mixing coefficients a L , a C, and a R is not limited to the above formula, and the mixing ratio of the luminance values on the gentler side at the same time as the mixing ratio of the luminance values on the steeper side is lowered. Other calculation formulas that can increase the
<Second embodiment>
FIG. 4 is a second embodiment of the present invention, and shows a configuration in which the LPF included in the image processing apparatus shown in FIG. 3 has a multi-stage configuration. Here, referring to the upper part (a) of this figure, the LPF 20 has a plurality of LPFs 20a, 20b and 20c configured in a tandem shape. The LPF 20a is a 3-tap low-pass filter in which a reference pixel is a pixel L, a pixel C, and a pixel R by setting the delay time by the delay unit to a predetermined period D. The LPF 20b is a 3-tap low-pass filter in which the reference pixel is the pixel 2L, the pixel C, and the pixel 2R by setting the delay time by the delay unit to a predetermined period 2D. The LPF 20c is a 3-tap low-pass filter having the reference pixels as the pixels 4L, C, and 4R by setting the delay time by the delay unit to a predetermined period 4D. As shown in the lower part (b) of this figure, the positional relationship between the pixels 4L to 4R is time-sequential for each predetermined period D.

ここで、入力画像信号Ｖinが入力されるＬＰＦ２０ａのフィルタ出力輝度値をＬ１とし、フィルタ出力輝度値Ｌ１が入力されるＬＰＦ２０ｂのフィルタ出力輝度値をＬ２とし、フィルタ出力輝度値Ｌ２が入力されるＬＰＦ２０ｃのフィルタ出力輝度値をＬ３とする。ここで、ＬＰＦ２０ａ〜２０ｃの各々におけるタップ係数の値の組み合わせは、例えばａL0＝０．２５、ａC0＝０．５及びａR0＝０．２５の如く同一と仮定すると、Ｌ１、Ｌ２、Ｌ３の各段階でのＬＰＦの周波数帯域、すなわちカットオフ周波数は、低＜Ｌ３＜Ｌ２＜Ｌ１＜高となる。 Here, the filter output luminance value of LPF20a the input image signal V in is input as L1, the filter output luminance value of LPF20b the filter output luminance value L1 is inputted to the L2, the filter output luminance value L2 is inputted The filter output luminance value of the LPF 20c is L3. Here, assuming that the combination of tap coefficient values in each of the LPFs 20a to 20c is the same, for example, a L0 = 0.25, a C0 = 0.5, and a R0 = 0.25, L1, L2, L3 The frequency band of the LPF at each stage, that is, the cut-off frequency, is low <L3 <L2 <L1 <high.

図５は、通常及び本発明による画像処理装置におけるフィルタ出力特性を各々示している。本図の上段（ａ）を参照すると、通常のＬＰＦを用いた場合の輝度値の変化の様子が示されている。入力輝度値のステップ変化（図中の〇）に対して、実線で示される１段構成におけるフィルタ出力（図４におけるＬ１）は、予想される通常の平滑化された特性を呈している。一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）は、帯域がより低い方に狭くなることからより平滑化された特性を呈している。さらに、破線で示される３段構成におけるフィルタ出力（図４におけるＬ３）は、同様にさらに平滑化された特性を呈している。通常のＬＰＦによっては入力輝度値のステップ応答が保存されていないことが見て取れる。   FIG. 5 shows filter output characteristics in the normal and image processing apparatuses according to the present invention. Referring to the upper part (a) of this figure, the change of the luminance value when a normal LPF is used is shown. The filter output (L1 in FIG. 4) in the one-stage configuration indicated by the solid line exhibits the expected normal smoothed characteristic with respect to the step change (O in the figure) of the input luminance value. The filter output (L2 in FIG. 4) in the two-stage configuration indicated by the one-dot broken line exhibits a smoothed characteristic because the band is narrowed to the lower side. Further, the filter output (L3 in FIG. 4) in the three-stage configuration indicated by the broken line similarly exhibits a smoothed characteristic. It can be seen that the step response of the input luminance value is not stored depending on the normal LPF.

一方、本図の下段（ｂ）を参照すると、本発明のＬＰＦを用いた場合の輝度値の変化の様子が示されている。実線で示される１段構成におけるフィルタ出力（図４におけるＬ１）、一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）及び一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）の何れにおいても、入力輝度値のステップ変化（図中の〇）に対して追従する特性を呈している。また、ステップ変化以外の領域においては、通常のＬＰＦによる平滑化がフィルタの段数に応じて適切になされていることが見て取れる。このことから、入力輝度値のステップ変化に追従していると共に、カットオフ周波数が下がる多段構成においても十分なステップ変化追従特性が実現されていることが分かる。   On the other hand, referring to the lower part (b) of this figure, the change of the luminance value when the LPF of the present invention is used is shown. The filter output in the one-stage configuration indicated by the solid line (L1 in FIG. 4), the filter output in the two-stage configuration indicated by the dashed line (L2 in FIG. 4), and the filter output in the two-stage configuration indicated by the dashed line (in FIG. 4) In any of L2), a characteristic of following the step change (◯ in the figure) of the input luminance value is exhibited. Further, it can be seen that in a region other than the step change, smoothing by normal LPF is appropriately performed according to the number of stages of the filter. From this, it can be seen that a sufficient step change tracking characteristic is realized even in a multistage configuration in which the input luminance value follows the step change and the cut-off frequency decreases.

図６は、通常及び本発明による画像処理装置におけるシャープ化処理の出力特性を示している。本図の上段（ａ）を参照すると、通常のＬＰＦを前提としたシャープ化処理の出力結果が示されているが、入力輝度値のステップ変化（図中の〇）に対して、過大なオーバシュートが発生している。この傾向は、ＬＰＦをより多段構成とすることでより顕著になっていることが分かる。   FIG. 6 shows output characteristics of the sharpening process in the image processing apparatus according to the present invention and the present invention. Referring to the upper part (a) of this figure, the output result of the sharpening process based on the normal LPF is shown. However, an excessive overshooting with respect to the step change of the input luminance value (◯ in the figure) is shown. A shoot has occurred. It can be seen that this tendency becomes more prominent when the LPF has a multi-stage configuration.

一方、本図の下段を参照すると、本発明によるＬＰＦを用いた場合のシャープ化処理の出力結果が示されている。ここで、実線で示される１段構成におけるシャープ化処理の出力は、輝度変化を強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。また、一点破線で示される２段構成におけるフィルタ出力は、輝度変化をより強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。破線で示される３段構成におけるフィルタ出力も、輝度変化をさらに強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。すなわち、シャープ化処理の結果としての画像全体の精細感が向上と共に、従来弊害であったステップ応答付近のシュートを抑えることが可能となっている。   On the other hand, referring to the lower part of the figure, the output result of the sharpening process when the LPF according to the present invention is used is shown. Here, the output of the sharpening process in the one-stage configuration indicated by the solid line realizes the sharpening that emphasizes the luminance change and suppresses the overshoot with respect to the step change. Further, the filter output in the two-stage configuration indicated by the one-dot broken line realizes sharpening that emphasizes the luminance change more, and can suppress the overshoot with respect to the step change. The filter output in the three-stage configuration indicated by the broken line also realizes sharpening that further emphasizes the luminance change and suppresses overshoot with respect to the step change. That is, it is possible to improve the fineness of the entire image as a result of the sharpening process, and to suppress the shot near the step response, which has been a harmful effect in the past.

図７は、本発明による画像処理装置におけるステップ変化以外の時間領域におけるシャープ化処理出力特性を示している。ここで、入力輝度値の山状の変化（図中の〇）において、実線で示される１段構成におけるシャープ化処理の出力は、山状入力に対して変化を強調する通常のシャープ化処理と同様の結果を得ている。また、一点破線で示される２段構成におけるフィルタ出力及び破線で示される３段構成におけるフィルタ出力においても、山状入力に対して変化を強調する通常のシャープ化処理と同様の結果を得ている。   FIG. 7 shows the sharpening output characteristics in the time domain other than the step change in the image processing apparatus according to the present invention. Here, in the mountain-shaped change of the input luminance value (O in the figure), the output of the sharpening process in the one-stage configuration indicated by the solid line is the normal sharpening process that emphasizes the change with respect to the mountain-shaped input. Similar results are obtained. In addition, the filter output in the two-stage configuration indicated by the one-dot broken line and the filter output in the three-stage configuration indicated by the broken line also obtain the same result as the normal sharpening process that emphasizes the change with respect to the mountain-shaped input. .

従って、本発明による画像処理装置は、入力画像にステップ変化がない時間領域においてもシャープ化処理の目的である精細感向上効果が従来の同等に得られることが分かる。   Therefore, it can be seen that the image processing apparatus according to the present invention can achieve the same fineness improving effect as the purpose of the sharpening processing even in the time domain where there is no step change in the input image.

図８は、本発明による画像処理装置の適用範囲を説明している。ここで、入力画像信号の周波数範囲としてビデオ信号の周波数帯域７３と、通常のローパスフィルタの周波数帯域７２と、本発明によるローパスフィルタの周波数帯域７１とが示されている。   FIG. 8 illustrates the applicable range of the image processing apparatus according to the present invention. Here, as a frequency range of the input image signal, a frequency band 73 of a video signal, a frequency band 72 of a normal low-pass filter, and a frequency band 71 of a low-pass filter according to the present invention are shown.

通常のローパスフィルタの周波数帯域７２を前提とすると、シャープ化処理の適用範囲は、周波数帯域７３の領域から周波数帯域７２を除く領域に限定される。一方、本発明によるローパスフィルタの周波数帯域７１を前提とすると、シャープ化処理の適用範囲は、周波数帯域７３から周波数帯域７１を除くより広い領域にまで拡大される。すなわち、より低い周波数範囲を含む広い周波数帯域の信号についてシャープ化処理を適用できることを意味する。   Assuming the frequency band 72 of a normal low-pass filter, the application range of the sharpening process is limited to the area excluding the frequency band 72 from the frequency band 73 area. On the other hand, assuming the frequency band 71 of the low-pass filter according to the present invention, the application range of the sharpening process is expanded from the frequency band 73 to a wider area excluding the frequency band 71. That is, it means that the sharpening process can be applied to a signal in a wide frequency band including a lower frequency range.

以上の複数の実施例から明らかなように、本発明による画像処理装置によれば、シャープ化処理において画像全体の精細感向上を従来と同等の効果で得ることができると共に、シャープ化処理時の弊害である画像のステップ応答付近の過大なオーバシュートを抑えることができる。また、ＬＰＦを多段構成とすることでシャープ化適用帯域を広げてシャープ化効果を高めるようとした場合にも、弊害となるオーバシュートが大きくすることなく、画像の精細感のみを向上させることができる。   As is clear from the plurality of embodiments described above, according to the image processing apparatus of the present invention, it is possible to improve the fineness of the entire image in the sharpening process with the same effect as in the prior art, and at the time of the sharpening process. An excessive overshoot near the step response of the image, which is a harmful effect, can be suppressed. In addition, when the LPF has a multi-stage configuration and the sharpening application band is widened to enhance the sharpening effect, only the fineness of the image can be improved without increasing the harmful overshoot. it can.

従来の画像処理装置の構成を示しているブロック図である。It is a block diagram which shows the structure of the conventional image processing apparatus. 従来の画像処理装置においてシャープ化処理特性を示しているグラフである。It is a graph which shows the sharpening process characteristic in the conventional image processing apparatus. 本発明の第１の実施例であり、１段構成のＬＰＦを含む画像処理装置の構成を示しているブロック図である。1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention and including a single-stage LPF. FIG. 本発明の第２の実施例であり、多段構成のＬＰＦの構成を示しているブロック図である。FIG. 4 is a block diagram showing a configuration of a multi-stage LPF according to a second embodiment of the present invention. 通常及び本発明による画像処理装置におけるフィルタ出力特性を各々示しているグラフである。6 is a graph showing filter output characteristics in the image processing apparatus according to the present invention and the present invention. 通常及び本発明による画像処理装置におけるシャープ化処理の出力特性を示しているグラフである。It is a graph which shows the output characteristic of the sharpening process in the image processing apparatus by the normal and this invention. 本発明による画像処理装置におけるステップ応答以外の時間領域におけるシャープ化処理出力特性を示しているグラフである。It is a graph which shows the sharpening process output characteristic in the time domain other than the step response in the image processing apparatus by this invention. 本発明による画像処理装置の適用範囲を説明する説明図である。It is explanatory drawing explaining the application range of the image processing apparatus by this invention.

符号の説明Explanation of symbols

１０ 画像処理装置
２０、２０ａ、２０ｂ、２０ｃ ローパスフィルタ（ＬＰＦ）
２１ａ、２１ｂ 遅延器
２２ 乗算器群
２２ａ〜２２ｃ 乗算器
２４ 加算器
２５ａ、２５ｂ 勾配検出器
２６ 混合比制御部
３０ 減算器
４０ ゲインコントロール部
５０ 加算器 10 Image Processing Device 20, 20a, 20b, 20c Low Pass Filter (LPF)
21a, 21b Delay device 22 Multiplier group 22a-22c Multiplier 24 Adder 25a, 25b Gradient detector 26 Mixing ratio control unit 30 Subtractor 40 Gain control unit 50 Adder

Claims (5)

入力画像信号に対して強調処理を実行し、当該強調処理がなされた入力画像信号を出力画像信号として出力する画像処理装置であって、
前記入力画像信号から所定周期毎の第１輝度値、第２輝度値及び第３輝度値を抽出し、前記第１輝度値、第２輝度値及び第３輝度値の各々に対して、所定の複数の混合係数の各々を対応して乗算し、当該乗算結果の複数を合算して得られる合波成分を出力するフィルタ回路（２０）と、
前記入力画像信号から前記合波成分を減算して前記入力画像信号の高周波成分を出力する減算器（３０）と、
前記高周波成分に対して所定のゲイン値を乗算してゲイン乗算化高周波成分を出力するゲインコントロール部（４０）と、
前記入力画像信号に前記ゲイン乗算化高周波成分を加算することによって前記出力画像信号を生成する加算器（５０）と、を含み、
前記フィルタ回路（２０）は、
前記第１輝度値と前記第２輝度値との間の第１勾配値と、前記第２輝度値と前記第３輝度値との間の第２勾配値を検知する勾配検知手段と、
前記第１勾配値と前記第２勾配値とを比較し、勾配値がより緩やかな側の輝度値の混合比率を上げると共に勾配値がより急峻な側の輝度値の混合比率を下げるように、前記第１輝度値の混合係数と前記第３輝度値の混合係数との割合を制御する混合係数制御手段と、
を含むことを特徴とする画像処理装置。 An image processing device that executes enhancement processing on an input image signal and outputs the input image signal subjected to the enhancement processing as an output image signal ,
A first luminance value, a second luminance value, and a third luminance value for each predetermined period are extracted from the input image signal, and each of the first luminance value, the second luminance value, and the third luminance value is predetermined. A filter circuit (20) for multiplying each of a plurality of mixing coefficients correspondingly and outputting a combined component obtained by adding a plurality of the multiplication results;
A subtractor (30) for subtracting the combined component from the input image signal to output a high frequency component of the input image signal;
A gain control unit (40) for multiplying the high-frequency component by a predetermined gain value and outputting a gain-multiplied high-frequency component;
An adder (50) for generating the output image signal by adding the gain multiplied high frequency component to the input image signal;
The filter circuit (20)
Gradient detecting means for detecting a first gradient value between the first luminance value and the second luminance value, and a second gradient value between the second luminance value and the third luminance value;
Comparing the first gradient value and the second gradient value, so as to increase the mixing ratio of the luminance value on the side where the gradient value is gentler and lower the mixing ratio of the luminance value on the side where the gradient value is steeper, Mixing coefficient control means for controlling the ratio of the mixing coefficient of the first luminance value and the mixing coefficient of the third luminance value;
An image processing apparatus comprising: 前記混合係数制御手段は、前記第１勾配値に従って一様に増加する第１関数の値と、前記第２勾配値に従って一様に増加する前記第１関数と同形の第２関数の値を算出し、前記第１輝度値に対応する混合係数を、その所定値から、前記第１関数の値と前記第２関数の値の和に対する前記第２関数の値の比率で少なくとも倍加し、前記第３輝度値に対応する混合係数を、その所定値から、前記第１関数の値と前記第２関数の値の和に対する前記第１関数の値の比率で少なくとも倍加することにより、前記第１輝度値の混合係数と前記第３輝度値の混合係数との割合を制御することを特徴とする請求項１記載の画像処理装置。 The mixing coefficient control means calculates a value of a first function that uniformly increases according to the first gradient value and a value of a second function that is the same shape as the first function that uniformly increases according to the second gradient value. A mixing coefficient corresponding to the first luminance value is at least doubled from the predetermined value by a ratio of the value of the second function to the sum of the value of the first function and the value of the second function; By multiplying a mixing coefficient corresponding to three luminance values at least by a ratio of the value of the first function to the sum of the values of the first function and the second function from the predetermined value. The image processing apparatus according to claim 1, wherein a ratio between a mixing coefficient of values and a mixing coefficient of the third luminance value is controlled . 前記第１関数及び第２関数の両方は、勾配値の絶対値、勾配値の自乗値又は勾配値の対数値を定める関数であることを特徴とする請求項２記載の画像処理装置。 The image processing apparatus according to claim 2, wherein both the first function and the second function are functions that determine an absolute value of a gradient value, a square value of the gradient value, or a logarithmic value of the gradient value . 前記フィルタ回路は、前記入力画像信号の低周波成分を順次抽出する複数段のローパスフィルタを含むことを特徴とする請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the filter circuit includes a plurality of low-pass filters that sequentially extract low-frequency components of the input image signal . 前記複数段のローパスフィルタの各々のカットオフ周波数は、前記複数段の段数に応じて順次低減されることを特徴とする請求項４記載の画像処理装置。 The image processing apparatus according to claim 4, wherein a cutoff frequency of each of the plurality of stages of low-pass filters is sequentially reduced in accordance with the number of stages of the plurality of stages .
JP2005097056A 2005-03-30 2005-03-30 Image processing device Expired - Fee Related JP4538358B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005097056A JP4538358B2 (en) 2005-03-30 2005-03-30 Image processing device
US11/391,674 US7702175B2 (en) 2005-03-30 2006-03-29 Image processing apparatus for enhancing high frequency components
EP06006530A EP1708488A3 (en) 2005-03-30 2006-03-29 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005097056A JP4538358B2 (en) 2005-03-30 2005-03-30 Image processing device

Publications (2)

Publication Number Publication Date
JP2006279656A JP2006279656A (en) 2006-10-12
JP4538358B2 true JP4538358B2 (en) 2010-09-08

Family

ID=36678539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005097056A Expired - Fee Related JP4538358B2 (en) 2005-03-30 2005-03-30 Image processing device

Country Status (3)

Country Link
US (1) US7702175B2 (en)
EP (1) EP1708488A3 (en)
JP (1) JP4538358B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538358B2 (en) * 2005-03-30 2010-09-08 パイオニア株式会社 Image processing device
KR101143833B1 (en) * 2007-05-29 2012-07-12 삼성테크윈 주식회사 Image signal processing apparatus generating brightness signal of high reproducibility
JP4586052B2 (en) 2007-08-08 2010-11-24 キヤノン株式会社 Image processing apparatus and control method thereof
JP5080899B2 (en) 2007-08-08 2012-11-21 キヤノン株式会社 Video processing apparatus and control method thereof
KR20110021107A (en) 2009-08-25 2011-03-04 삼성전자주식회사 Image processing device and image processing method for sharpness correction
US9305332B2 (en) * 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9349188B2 (en) * 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0344172A (en) * 1989-07-12 1991-02-26 Hitachi Ltd Contour correction circuit
JPH04973A (en) * 1990-04-18 1992-01-06 Mitsubishi Electric Corp Video signal processor
JP2002232744A (en) * 2001-01-31 2002-08-16 Sony Corp Image processing method and image processing apparatus
JP2002369071A (en) * 2001-06-08 2002-12-20 Olympus Optical Co Ltd Picture processing method and digital camera mounted with the same and its program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5189511A (en) * 1990-03-19 1993-02-23 Eastman Kodak Company Method and apparatus for improving the color rendition of hardcopy images from electronic cameras
JP3576573B2 (en) * 1993-04-16 2004-10-13 キヤノン株式会社 Imaging device
US5774599A (en) * 1995-03-14 1998-06-30 Eastman Kodak Company Method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
US5933540A (en) * 1995-05-11 1999-08-03 General Electric Company Filter system and method for efficiently suppressing noise and improving edge definition in a digitized image
US5818972A (en) * 1995-06-07 1998-10-06 Realnetworks, Inc. Method and apparatus for enhancing images using helper signals
JP2000004380A (en) 1995-09-25 2000-01-07 Matsushita Electric Ind Co Ltd Image display method and device thereof
US6167165A (en) * 1998-11-25 2000-12-26 Eastman Kodak Company Method for adjusting image detail to compensate for an applied tone scale
US6614944B1 (en) * 2000-02-10 2003-09-02 Oak Technology, Inc. Image enhancement filter with adaptive threshold
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
US7177481B2 (en) * 2000-12-19 2007-02-13 Konica Corporation Multiresolution unsharp image processing apparatus
JP4393864B2 (en) * 2001-06-18 2010-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Motion blur removal display
JP4649781B2 (en) * 2001-06-20 2011-03-16 ソニー株式会社 Image processing method and apparatus
US7050649B2 (en) * 2001-07-23 2006-05-23 Micron Technology, Inc. Suppression of ringing artifacts during image resizing
AU2003233030A1 (en) * 2002-05-23 2003-12-12 Koninklijke Philips Electronics N.V. Edge dependent motion blur reduction
JP3968644B2 (en) * 2002-05-24 2007-08-29 ソニー株式会社 Signal processing apparatus and method, recording medium, and program
US7280703B2 (en) * 2002-11-14 2007-10-09 Eastman Kodak Company Method of spatially filtering a digital image using chrominance information
US7532363B2 (en) * 2003-07-01 2009-05-12 Xerox Corporation Apparatus and methods for de-screening scanned documents
US7274828B2 (en) * 2003-09-11 2007-09-25 Samsung Electronics Co., Ltd. Method and apparatus for detecting and processing noisy edges in image detail enhancement
JP4538358B2 (en) * 2005-03-30 2010-09-08 パイオニア株式会社 Image processing device
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0344172A (en) * 1989-07-12 1991-02-26 Hitachi Ltd Contour correction circuit
JPH04973A (en) * 1990-04-18 1992-01-06 Mitsubishi Electric Corp Video signal processor
JP2002232744A (en) * 2001-01-31 2002-08-16 Sony Corp Image processing method and image processing apparatus
JP2002369071A (en) * 2001-06-08 2002-12-20 Olympus Optical Co Ltd Picture processing method and digital camera mounted with the same and its program

Also Published As

Publication number Publication date
EP1708488A3 (en) 2008-01-16
US20060228043A1 (en) 2006-10-12
US7702175B2 (en) 2010-04-20
JP2006279656A (en) 2006-10-12
EP1708488A2 (en) 2006-10-04

Similar Documents

Publication Publication Date Title
CN101036161B (en) Image processing apparatus and image processing method
US8351739B2 (en) Device for removing mosquito noise and associated method
US7702175B2 (en) Image processing apparatus for enhancing high frequency components
EP2320638B1 (en) Device for improving image quality and method therefor
US7009662B2 (en) Electronic circuit and method for enhancing an image
JP4768510B2 (en) Image quality improving apparatus and image quality improving method
TWI401943B (en) Image processing method and related apparatus for an image processing system
JP4552881B2 (en) Video signal processing device
JP2006093884A (en) Filtering device
JP2003032513A (en) Image signal processor
CN101316320B (en) Image processing method for image processing system and related image processing device
EP1754369A1 (en) Method and system for enhancing the sharpness of a video signal.
US7318079B2 (en) Method and device for filtering a video signal
JP2006333202A (en) Video signal processor and video signal processing method
JP6031993B2 (en) Image processing apparatus and image processing method
JP5790933B2 (en) Noise removal equipment, electronic equipment
KR20100054670A (en) Image processing apparatus and method
JP4394088B2 (en) Image processing apparatus and image processing method
JPH11346320A (en) Video signal processor
JP4285396B2 (en) Block noise reduction device
JP2012526458A (en) Content Adaptive Scaler Based on Fallow Structure
JP2008099182A (en) Digital filter apparatus
JPH07245759A (en) Method and device for coding image
JP2001148474A (en) Solid-state image pickup device
EP2541895B1 (en) Image processing apparatus, display apparatus provided with same, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees