[go: up one dir, main page]

WO2010064316A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2010064316A1
WO2010064316A1 PCT/JP2008/072135 JP2008072135W WO2010064316A1 WO 2010064316 A1 WO2010064316 A1 WO 2010064316A1 JP 2008072135 W JP2008072135 W JP 2008072135W WO 2010064316 A1 WO2010064316 A1 WO 2010064316A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
image
pixels
noise reduction
Prior art date
Application number
PCT/JP2008/072135
Other languages
English (en)
French (fr)
Inventor
佐々木　寛
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2008/072135 priority Critical patent/WO2010064316A1/ja
Publication of WO2010064316A1 publication Critical patent/WO2010064316A1/ja
Priority to US13/118,736 priority patent/US8411205B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program that perform noise reduction processing on a moving image signal.
  • a moving image signal is a signal composed of a plurality of frames (fields) captured at specified time intervals.
  • each frame (field) has a correlation with a local space in the frame (in the field) and is adjacent to each other.
  • a frame (field) can be assumed as a signal having a correlation with local time between frames (inter-field).
  • Such a moving image signal can be obtained mainly by imaging an arbitrary subject with a video camera equipped with an image sensor such as a CCD or CMOS. Specifically, the subject image formed on the image sensor is output in a predetermined order as a signal photoelectrically converted in units of pixels, and the output analog image signal is amplified by a predetermined gain amount, and then a digital image is obtained by A / D conversion. In general, it is converted into a signal and subjected to predetermined image processing.
  • noise is superimposed on the captured image due to the characteristics of the image sensor.
  • This noise is mainly shot noise due to the nature of photoelectric conversion.
  • the shot noise has an average amplitude proportional to the square root of the image signal value, and generally becomes random noise in the time direction and the spatial direction. This noise appears more conspicuously when the gain amount is increased when the amount of imaged light on the image sensor is insufficient.
  • the noise reduction processing using the above time correlation is known as a method in which a cyclic noise reduction processing using a frame after noise reduction as a past frame can obtain a large amount of noise reduction.
  • this method is premised on the correlation with the past frame, if the same processing is performed on a scene with a large scene change or movement with the past frame, the image of the previous frame will be displayed. There is a problem that afterimages are superimposed on the current frame. On the other hand, if control is performed to reduce the afterimage, there is a problem that a sufficient noise reduction effect cannot be expected.
  • Patent Document 1 discloses a noise reduction process that uses both intra-frame correlation and inter-frame correlation to improve noise reduction capability even for a scene with large motion.
  • This noise reduction system is provided with an image memory for delaying one frame or one field, newly inputted center pixel data, pixel data in the vicinity of this center pixel data, and already recorded in the image memory.
  • Noise-reduced pixel data is output by performing non-linear filter processing on pixel data in the vicinity of the central pixel data in the image data of one frame or one field before noise reduction.
  • the non-linear filter processing means that a large weighting factor is assigned to data of neighboring pixels having a high correlation with the central pixel data value, and conversely, a small weighting factor is assigned to a pixel having a low correlation to perform weighted averaging. Is.
  • the above method it is possible to perform noise reduction using both intra-frame correlation and inter-frame correlation.
  • the number of pixels that contribute to averaging increases because the number of pixels having a large weighting coefficient increases in the previous frame and the previous field used for weighted averaging and the current field pixel. .
  • a larger weighting factor is given to the current field pixel than to the pixel one frame before or one field before, so the weighting is performed mainly on the current field pixel. An average is made.
  • the noise reduction processing using time correlation as in the above prior art is substantially switched to noise reduction processing mainly using the inside of the field for scenes and scene changes with large movements. Therefore, the noise reduction amount decreases when the moving region suddenly changes from the still region or immediately after the scene change. Furthermore, a stable noise reduction amount cannot be obtained immediately after returning from the moving region to the stationary region, and a time delay of several frame periods is required before obtaining a stable noise reduction amount. That is, when trying to obtain a large noise reduction amount using a cyclic noise reduction process using time correlation, there arises a problem that the noise amount greatly fluctuates with time depending on the input moving image.
  • the present invention has been made in view of the above problems, and is capable of effectively reducing noise and keeping resolution degradation to a minimum while maintaining a stable noise level, and image processing. It is an object to provide a method and an image processing program.
  • an image processing apparatus for reducing noise of a frame image or a field image input in time series.
  • the processing target frame image or field image and the processing target frame image or field image On the other hand, a recording unit that records past and future frame images or field images, and a first pixel extraction unit that extracts a plurality of pixels in a predetermined area in the processing target frame image or field image recorded by the recording unit
  • a second pixel extraction unit that extracts a plurality of pixels in a region corresponding to the predetermined region in the past frame image or field image and the future frame image or field image recorded by the recording unit;
  • the image of interest in the predetermined area extracted by the pixel extraction unit A first distance calculation unit that calculates a spatiotemporal distance between the plurality of pixels in the predetermined region and a plurality of pixels in the region corresponding to the predetermined region extracted by the second pixel extraction unit;
  • a moving image signal is obtained using spatial correlation within a frame and temporal correlation between a past frame and a current frame and between a current frame and a future frame.
  • Noise reduction processing is performed.
  • it is possible to suppress the noise reduction amount from reacting sensitively to fluctuations in time correlation, and to stably reduce noise while suppressing a reduction in resolution.
  • an image processing program for causing a computer to perform noise reduction processing of a frame image or field image input in time series, the processing target frame image or field image and the processing target frame image.
  • a recording process that records past and future frame images or field images with respect to a field image, and a first pixel that extracts a plurality of pixels in a predetermined region in the processing target frame image or field image recorded by the recording process.
  • Pixel extraction processing; and second pixel extraction processing for extracting a plurality of pixels in a region corresponding to the predetermined region in the past frame image or field image and the future frame image or field image recorded by the recording processing.
  • the first pixel Calculate the spatio-temporal distance between the pixel of interest in the predetermined area extracted in the extraction process, the plurality of pixels in the predetermined area, and the plurality of pixels in the area corresponding to the predetermined area extracted in the second pixel extraction process The first distance calculating process, the pixel value of the pixel of interest in the predetermined area extracted by the first pixel extracting process, and the plurality of pixels of the predetermined area extracted by the first pixel extracting process.
  • a second distance calculation process for calculating a distance between pixel values of a pixel value and a pixel value of a plurality of pixels in an area corresponding to the predetermined area extracted by the second pixel extraction process; and the first distance calculation Noise reduction processing for reducing noise of the processing target frame image or field image based on the spatiotemporal distance calculated by the processing and the inter-pixel value distance calculated by the second distance calculation processing
  • An image processing program for causing a computer to execute the.
  • an image processing method for reducing noise of a frame image or a field image input in time series, wherein the processing target frame image or field image and the processing target frame image or field image are processed.
  • the predetermined pixel extracted in the pixel extraction step A first distance calculating step of calculating a spatiotemporal distance between a pixel of interest in a region and a plurality of pixels in the predetermined region and a plurality of pixels in a region corresponding to the predetermined region extracted in the second pixel extracting step;
  • the present invention it is possible to prevent the noise reduction amount from reacting sensitively to the fluctuation of the time correlation that occurs when reducing the noise of the moving image signal, and to suppress stable deterioration with little time fluctuation while suppressing a decrease in resolution. Reduction is possible.
  • FIG. 3 is a functional block diagram illustrating the functions provided in the image processing apparatus according to the first embodiment of the present invention. It is a functional block diagram of the noise reduction part of the image processing apparatus shown in FIG. It is a figure which shows the three-dimensional block which consists of a present, past, and future block processed with a noise reduction part. It is a figure which shows an example of the relationship between a pixel value and a reference
  • FIG. 3 is a functional block diagram of a correction coefficient calculation unit shown in FIG. 2.
  • FIG. 3 is a functional block diagram of a filter coefficient calculation unit shown in FIG. 2.
  • FIG. 3 is a functional block diagram of a filter processing unit shown in FIG. 2.
  • FIG. 10 is a functional block diagram of a motion compensation unit shown in FIG. 9. It is a flowchart which shows the process sequence of 1st Embodiment. It is a flowchart which shows the process sequence of 1st Embodiment.
  • FIG. 1 is a functional block diagram showing the basic configuration of the first embodiment of the present invention, and details will be described below.
  • the image processing apparatus according to the present embodiment includes a switch 101, a memory group (recording unit) including a frame memory 102, a frame memory 103, a switch 104, a switch 105, a frame memory 109, a frame memory 110, and an N-line memory 106.
  • a signal flow in the image processing apparatus having the above configuration will be described below.
  • a moving image signal captured and digitized by an image sensor of an imaging unit (not shown) is input to the switch 101.
  • the switch 101 is alternately connected to the frame memory 102 or the frame memory 103 every frame period according to a control signal of the control unit 112. Therefore, the moving image signal input to the switch 101 is stored in the frame memory 102 or the frame memory 103 for each frame period.
  • the moving image signal may be a monochrome signal or a color signal.
  • a color signal even a synchronized signal composed of a plurality of colors per pixel (generally three colors) may be used with a single-plate image sensor. It may be an imaged signal consisting of one color per pixel before synchronization.
  • the moving image signal is a single color signal. However, in the case of a color signal, it is necessary to perform the processing described below for each color signal.
  • the frame memory 102 is connected to the switch 104 and the switch 105.
  • the frame memory 103 is also connected to the switch 104 and the switch 105.
  • the switches 104 and 105 are connected to the N line memory 106 and the block extraction unit 114, respectively.
  • the control unit 112 controls the switch 104 and the switch 105 so that the output signals of the switch 104 and the switch 105 are switched every frame period.
  • the frame memory 102 is connected to the N-line memory 106 via the switch 104
  • the frame memory 103 is connected to the block extraction unit 114 via the switch 105.
  • the frame memory 103 is connected to the N line memory 106 via the switch 104.
  • N line memory 106 pixels corresponding to a predetermined number of lines above and below the noise reduction processing target pixel are temporarily stored from the frame 102 or the frame memory 103.
  • the N line memory 106 is connected to the input of the noise reduction unit 107 via the block extraction unit 113.
  • the input of the noise reduction unit 107 is connected to a block extraction unit 113, a block extraction unit 114, and a control unit 112.
  • the noise reduction unit 107 includes a predetermined region pixel of the processing target frame output from the block extraction unit 113 and a temporally future frame image stored in the frame memory 102 or the frame memory 103 output from the block extraction unit 114.
  • the calculated noise reduction pixel is output as an output signal.
  • the predetermined areas output from the block extraction unit 113 and the block extraction unit 114 are spatially the same extraction position in each frame.
  • the output of the noise reduction unit 107 is connected to the switch 108 and the N line memory 106.
  • the output signal to the N line memory 106 is used to overwrite the processing target pixel value before noise reduction stored in the N frame memory 106 with the noise reduction pixel. This makes it possible to form a recursive filter that uses pixels after noise reduction for the current frame, and thus noise can be more effectively reduced.
  • the connection of the switch 108 is switched to the frame memory 109 or the frame memory 110 for each frame period by a control signal of the control unit 112.
  • the noise reduction pixels calculated by the noise reduction unit 107 are recorded in the corresponding frame memory 109 or the frame memory 110.
  • the frame memory in which the noise reduction pixels are recorded is a frame memory different from the frame memory in which the past frame extracted by the block extraction unit 114 is stored.
  • the switch 111 is switched and connected to the frame memory 109 and the frame memory 110 for each frame period by a control signal of the control unit 112.
  • the control unit 112 associates the switch 108 and the switch 111 and controls switching of each switch. Specifically, when the switch 108 is connected to the frame memory 109, the frame memory 110 is connected to the switch 111. On the other hand, when the switch 108 is connected to the frame memory 110, the frame memory 109 is connected to the switch 111.
  • the output signal from the switch 111 is input to the block extraction unit 114.
  • the block extraction unit 114 extracts a plurality of pixels in the peripheral area corresponding to the processing target pixel.
  • the control unit 112 outputs a preset target noise reduction amount to the noise reduction unit 107 and also outputs a control signal for interlocking control of the switches 101, 104, 105, 108, and 111 as described above.
  • FIG. 3 is a schematic diagram illustrating a structure of a three-dimensional block (N x ⁇ N y ⁇ N t pixels) including a processing target pixel processed by the noise reduction unit 107 and its peripheral pixels.
  • N x ⁇ N y ⁇ N t pixels a processing target pixel processed by the noise reduction unit 107 and its peripheral pixels.
  • the three-dimensional block processed by the noise reduction unit 107 is N x ⁇ N composed of the processing target pixel P (r 0 , t 0 ) and the surrounding area pixel P (r, t 0 ) of the current frame (time t 0 ).
  • N x ⁇ N y composed of a current block 302 of y pixels, a pixel P (r 0 , t 0 -1) and a peripheral region pixel P (r, t 0 -1) of the past frame (time t 0 -1)
  • a future block of N x ⁇ N y pixels consisting of a past block 301 of pixels, a pixel P (r 0 , t 0 +1) of a future frame (time t 0 +1), and its peripheral region pixel P (r, t 0 +1) 303.
  • N t may be an integer of 2 or more.
  • the past block and the future block do not have pixels in the same spatial position as the current block.
  • an N x ⁇ N y pixel composed of the processing target pixel P (r 0 , t 0 ) and its peripheral region pixel P (r, t 0 ) is a current block
  • a pixel in the future field (time t 0 +1) is defined as a past block having N x ⁇ N y pixels composed of the pixel P (r 0 ′, t 0 ⁇ 1) and its peripheral region pixel P (r ′, t 0 ⁇ 1).
  • N x ⁇ N y pixel composed of P (r 0 ′, t 0 +1) and its peripheral region pixel P (r ′, t 0 +1) can be defined as a future block.
  • the current block, the past block, and the future block are strictly shifted by one line.
  • FIG. 2 is a detailed block diagram of the noise reduction unit 107, and details thereof will be described based on the definition of the three-dimensional block.
  • the noise reduction unit 107 includes a past block memory 201, a future block memory 202, a current block memory 203, a distance calculation unit (first distance calculation unit and second distance calculation unit) 204, an inter-frame correlation calculation unit (inter-frame correlation).
  • the current block 302 including the processing target pixel P (r 0 , t 0 ) and its peripheral region N x ⁇ N y is output and stored in the current block memory 203.
  • the block extraction unit 114 also includes a past consisting of P (r 0 , t 0 ⁇ 1) and its peripheral region N x ⁇ N y that are spatially the same position as the processing target pixel P (r 0 , t 0 ).
  • the block 301 is output and stored in the past block memory 201.
  • the pixel data of the three-dimensional block stored in the three block memories 201, 202, and 203 is output to the distance calculation unit 204, the inter-frame correlation calculation unit 205, and the filter processing unit 208. Further, the pixel data in the current block memory 203 is further output to the correction coefficient calculation unit 206.
  • the distance calculation unit 204 the pixel position (r, t) stored in the three input block memories 201, 202, and 203 and the position (r 0 ) that is the processing target pixel recorded in the block memory 203. , T 0 ), the following spatiotemporal distance Ds is calculated.
  • t ⁇ t 0 Ds ⁇ 1
  • t ⁇ t 0 Ds ⁇ 2
  • ⁇ 1 , ⁇ 2, and ⁇ are predetermined coefficients of 0 or more, and
  • ⁇ ⁇ (x ⁇ x 0 ) 2 + (y ⁇ y 0 ) 2 ⁇ .
  • may be performed by storing the calculation result in a ROM table (not shown) in advance when the block size (N x ⁇ N y ) is determined in advance. Is possible.
  • ⁇ 1 represents a coefficient for converting the time of the future block into a distance
  • ⁇ 2 represents a coefficient for converting the time of the past block into a distance.
  • the past block consists of pixels whose noise has already been reduced
  • the future block consists of pixels whose noise has not been reduced yet. For this reason, it is possible to improve the noise reduction effect by setting the weighting factor of each pixel determined by the filter coefficient calculation unit 207 to be greater in weight with respect to the past block than the future block.
  • the pixel value P (r, t) at the position (r, t) stored in the three input block memories 201, 202, and 203 is recorded in the current block memory 203.
  • the inter-frame correlation calculation unit 205 uses the pixel values P (r, t) of the pixels stored in the input three block memories 201, 202, and 203, to generate a frame between the current block 302 and the past block 301. and between the correlation value S p, and the inter-frame correlation value S f of the current block 302 and the future blocks 303 calculated as follows, and outputs the correction coefficient calculation section 206.
  • a noise reduction amount calculation unit 209, an interframe correlation calculation unit 205, a control unit 112, a current block memory 203, and a filter coefficient calculation unit 207 are connected to the correction coefficient calculation unit 206.
  • the correction coefficient calculation unit 206 includes a frame average noise reduction amount NR ave calculated by the noise reduction amount calculation unit 209, a target noise reduction amount NR target output from the control unit 112, and an inter-frame correlation calculation unit 205.
  • Current pixel data is input.
  • the correction coefficient T i is one coefficient T p , T c , and T f for the current block 302, the past block 301, and the future block 303, respectively, and this correction coefficient T i is sent to the filter coefficient calculation unit 207. Is output.
  • a three-dimensional block composed of three frames is taken as an example, but a three-dimensional block composed of arbitrary N frames may be used. In this case, N coefficients T i are calculated and output to the filter coefficient calculation unit 207.
  • the filter coefficient calculation unit 207 receives the distance D output from the distance calculation unit 204 and the correction coefficients T p , T c , and T f output from the correction coefficient calculation unit 206.
  • the filter coefficient calculation unit 207 uses these data to filter coefficient C (r, r, t) corresponding to the pixel P (r, t) stored in the current block memory 203, the past block memory 201, and the future block memory 202. t) is calculated and output to the filter processing unit 208.
  • the filter processing unit 208 reads out the pixels P (r, t) stored in the three block memories 201, 202, and 203 in a predetermined order. Then, a product-sum operation is performed on the read pixel P (r, t) and the filter coefficient C (r, t) output from the filter coefficient calculation unit 207 to obtain a noise reduction pixel P n (r 0 , t 0 ). Is calculated and output.
  • the noise reduction amount calculation unit 209 includes the noise reduction pixel P n (r 0 , t 0 ) calculated and output by the filter processing unit 208 and the processing target pixel P (r 0 , t 0 ) from the current block memory 203. ) And.
  • the noise reduction amount calculation unit 209 calculates the difference absolute value
  • NR ave ⁇ r0
  • NR ave is an average value in the above example, but the total number of pixels in frame In an apparatus in which the number does not change, the sum of absolute differences may be substituted.
  • V 1 , V 2 , and V 3 are coefficients determined in advance such that V 1 ⁇ V 2 ⁇ V 3 .
  • the reference correction coefficient V 2 standard when the absolute value of the threshold TH below Er, Er is a small reference correction coefficient V 1 than standard if it becomes greater than the threshold TH, Er is the threshold value TH
  • the reference correction coefficient V 3 larger than the standard is output to the multiplier 605.
  • the current block 302 output from the current block memory 203 is input to the average value calculation unit 603.
  • the average value calculation unit 603 calculates the average pixel value of the current block 302 and outputs it to the LUT_V 604.
  • the LUT_V 604 converts the correction value Rv of the reference correction coefficient with respect to the average pixel value and outputs it to the multiplier 605.
  • FIG. 4 An example of the relationship between the average pixel value and the reference correction coefficient correction value Rv is shown in FIG.
  • the multiplier 605 multiplies the reference correction coefficient T base by the correction value Rv and outputs the result to the multiplier 607.
  • the inter-frame correlation value S p, fixes and inter-frame correlation value S f is coefficient ratio calculation of the future blocks 303 and current block 302 with the past block 301 and current block 302 which is output from the inter-frame correlation calculating unit 205 Input to the unit 606.
  • the correction coefficient ratio calculation unit 606 assigns the ratios R p , R c , and R f to the past block 301, the current block 302, and the future block 303 as follows.
  • the condition of S p ⁇ TH p and S f ⁇ TH f is a case where the temporal correlation is high for both the past block 301 and the future block 303 with respect to the current block 302, and the motion is in the block area that is temporally related. Corresponds to a small area.
  • the correction coefficient is the same in both the time and space directions.
  • the condition of S p ⁇ TH p and S f > TH f is a case where the past block 301 has a high time correlation and the future block 303 has a low time correlation with respect to the current block 302. It shows that the area is where sudden movements or scene changes occur in the time to the future. In this case, the correction coefficient of the past block 301 and the current block 302 is increased, and the correction coefficient of the future block is decreased.
  • the condition of S p > TH p and S f ⁇ TH f is that the future block 303 is high in time correlation and the past block 301 is low in time correlation with respect to the current block 302. In this case, from the past It shows a region where a sudden movement or scene change has occurred in the time up to now. In this case, the correction coefficient of the future block 303 and the current block 302 is increased, and the correction coefficient of the past block 301 is decreased.
  • the conditions of S p > TH p and S f > TH f are when the time correlation is low for both the past block 301 and the future block 303 with respect to the current block 302. In this case, noise mixed in the image This indicates that there is too much or that the movement is large within the time from the past block 301 to the future block 303. In this case, the correction coefficient is the same in both the time and space directions.
  • Multiplier 607 multiplies output value T base ⁇ Rv of multiplier 605 by output values R p , R c , and R f from correction coefficient ratio calculation unit 606.
  • Correction coefficient thus calculated T p T base ⁇ Rv ⁇ R p
  • T c T base ⁇ Rv ⁇ R c
  • T f T base ⁇ Rv ⁇ R f is output to the filter coefficient calculating section 207 Is done.
  • the example in which the reference correction coefficient, the correction value, and the block allocation ratio are all variably controlled has been shown. However, one or two of them can be variably controlled, and the others can be set to predetermined constants. .
  • LUT_R 1 701, LUT_R 2 702,..., LUT_R N 703 are tables corresponding to the graphs 501, 502, and 503 having different values of T in the rational function ⁇ T / (x + T) ⁇ shown in FIG. T is a value greater than zero.
  • T 1, T 2, ... corresponds to the correction factor T N is outputted from the correction coefficient calculation unit 206, a relationship of T 1 ⁇ T 2 ⁇ ... ⁇ T N. That is, the above rational function is a function that decreases rapidly as the variable x increases when the correction coefficient is small, and a function that decreases gently as the variable x increases when the correction coefficient is large.
  • Each address is input to each lookup table as an address extracted by the upper predetermined number of bits with respect to the distance D output from the distance calculation unit 204.
  • Each lookup table outputs the value of the lookup table stored in the address and the amount of inclination to the selection unit 704.
  • addresses that refer to LUT_R 1 701, LUT_R 2 702,..., LUT_R N 703 are determined, and the start point R j (a) stored in the determined address a and the slope ⁇ j (a ) Is output to the selection unit 704.
  • Selecting unit 704 selects a gradient with these N start R j (a) and the slope ⁇ j (a) and on the basis of the correction coefficient T i 1 single start point R (a) ⁇ (a) , the interpolation processing unit Output to 705.
  • the interpolation processing unit 705 receives the start point R (a) and the inclination ⁇ (a) output from the selection unit 704 and the predetermined lower-order bits of the distance D, so that the weighting factor R ′ (D , T i ) are calculated and sequentially stored in the memory 706.
  • LUT_D708 is a multiplication / division conversion table prepared in advance for normalization by multiplication.
  • the reciprocal of the normalized coefficient thus converted is multiplied by the weight coefficient stored in the memory 706 by the multiplier 709 and output to the filter processing unit 208 as the final filter coefficient C (r, t).
  • the filter coefficient C (r, t) corresponding to the pixel P (r, t) of the three-dimensional block N x ⁇ N y ⁇ N t calculated in this way corresponds to the processing target pixel P (r 0 , t 0 ).
  • the weight coefficient (filter coefficient) value is inversely proportional to the distance calculated from the distance between the pixel values and the spatiotemporal distance, and this weight coefficient is variably controlled in accordance with the correction coefficient, that is, the temporal correlation variation of the moving image signal. It has the characteristic that it can.
  • the filter processing result in the filter processing unit 208 described below can obtain an effect equivalent to collecting only pixels having high correlation and taking an average. Therefore, even if a spatial edge and a temporal edge (when a scene change or a rapid movement occurs) are included in the block, it is possible to minimize the dullness of the edge due to averaging.
  • the weight coefficient allocation can be variably controlled by the correction coefficient, the noise reduction result of one frame before is reflected, and when the target noise reduction amount is not satisfied, the three-dimensional block N x is set so that the specified noise reduction amount is obtained. It is possible to give a weighting coefficient that cancels the correlation amount between the pixel value and the distance in ⁇ N y ⁇ N t . In this case, it is equivalent to selecting more pixels in the three-dimensional block N x ⁇ N y ⁇ N t and performing the averaging process, and the noise reduction effect can be increased.
  • the correlation value between the pixel value and the distance in the three-dimensional block N x ⁇ N y ⁇ N t is set so as to be the target noise reduction amount.
  • a stronger weighting factor can be given.
  • the filter processing unit 208 includes a filter coefficient C (r, t) output from the filter coefficient calculation unit 207, pixel values P (r, t) stored in the block memories 201, 202, and 203, and a control.
  • the noise model table output from the unit 112 is input.
  • the filter coefficient C (r, t) and the pixel value P (r, t) are subjected to the following processing in the product-sum operation unit 801, and the smoothed pixel value in the processing target pixel P (r 0 , t 0 ).
  • P ′ (r 0 , t 0 ) is output to the noise amount estimation unit 802 and the coring processing unit 803.
  • P '(r 0, t 0 ) ⁇ r ⁇ t C (r, t) P (r, t)
  • the noise amount estimation unit 802 stores the noise model table output from the control unit 112, and uses the smoothed pixel value P ′ (r 0 , t 0 ) output from the product-sum operation unit 801 as an address.
  • the corresponding noise amount N amp is output to the coring processing unit 803.
  • the noise model table is a table in which the amount of noise (an amount corresponding to the average amplitude of noise) is stored at the address position corresponding to the pixel value.
  • the control unit 112 converts the predetermined noise model table into the pixel value. It is also possible to make a noise model table arbitrarily changed by multiplying with an arbitrary function as a variable.
  • the coring processing unit 803 includes a processing target pixel value P (r 0 , t 0 ), a pixel value P ′ (r 0 , t 0 ) after the smoothing process, and noise output from the noise amount estimation unit 802. A quantity is entered.
  • the coring processing unit 803 performs the following coring determination, calculates a final noise reduction pixel value P n (r 0 , t 0 ) for the pixel to be processed, and outputs it as an output signal.
  • the filter processing unit 208 is configured to include the noise amount estimation unit 802.
  • the filter processing unit 208 includes only a simpler product-sum operation unit 801, and the final noise reduction pixel value P n (r 0 , T 0 ) may be P ′ (r 0 , t 0 ).
  • the spatial correlation in the frame and the temporal correlation between the past frame and the current frame and between the current frame and the future frame are calculated. Utilizing this, noise reduction processing of the moving image signal is performed. Thereby, for example, even when a scene change occurs, it is possible to suppress a noise reduction amount from reacting sensitively to a change in time correlation, and it is possible to stably reduce noise while suppressing a reduction in resolution.
  • the pixels of the past frame and the current frame used for the cyclic noise reduction processing are the pixels after noise reduction, the amount of noise reduction can be improved.
  • the weighting factor is calculated based on the spatio-temporal distance and the distance between pixel values, and weighted average is performed by weighting the pixels that are highly correlated with the noise processing target pixel. It is possible to effectively reduce noise while minimizing dullness with respect to changes.
  • the noise characteristic of the input signal is estimated by estimating the noise amount of the pixel of interest based on the product-sum operation value of the pixel values and weighting factors of a plurality of pixels in a predetermined area, and performing noise reduction processing based on the noise amount.
  • noise reduction processing based on the noise amount.
  • the amount of noise reduction is reduced due to the temporal correlation variation that occurs when noise is reduced in the moving image signal. Responsive reaction is suppressed, and stable noise reduction with little time variation is possible.
  • the image processing apparatus includes a main storage device such as a CPU and a RAM, and a computer-readable recording medium on which a program for realizing all or part of the above processing is recorded. Then, the CPU reads out the program recorded in the storage medium and executes information processing / calculation processing, thereby realizing processing similar to that of the above-described image processing apparatus.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • FIG. 11A and FIG. 11B show the processing procedure of the first embodiment.
  • the input moving image signal is stored in the frame memory 102 or 103 as a future frame via the switch 101. (S1101)
  • the process proceeds to S1113. If it is not the first frame, the three-dimensional block P (r, t) is extracted from the past, future, and current frames stored in the frame memory 102 or 103-109 or 110, and further stored in the N-line memory 106.
  • the block 301, the future block 303, and the current block 302 are stored in the block memories 201, 202, and 203 (S1103).
  • the three-dimensional block which is stored in the block memory 201, 202, 203, and calculates inter-frame correlation amounts S p and S f (S1104), the three-dimensional block noise processing target pixel P (r 0 , t 0 ) and its surrounding pixels are calculated as a spatiotemporal distance Ds and a distance Dv between pixel values, and the distance D is calculated by multiplying the two distances (S1105).
  • a noise reduction pixel P n (r 0 , t 0 ) is calculated based on the calculated filter coefficient C (r, t) and the three-dimensional block pixel P (r, t) (S1108), and the noise reduction pixel P n (r 0 , t 0 ) is stored in an output buffer (not shown), the frame memory 109 or 110, and the N line memory 106 (S1109).
  • a noise reduction amount is calculated from the sum of absolute differences between the noise reduction pixel P n (r 0 , t 0 ) and the processing target pixel P (r 0 , t 0 ) (S1110), and the calculation of the noise reduction pixel is performed. It is determined whether or not the processing is completed for the number of pixels in the frame (S1111). As a result of the determination, if the processing for the number of frame pixels has not been completed yet, the processing returns to S1103, and the noise reduction processing for the next processing target pixel is repeated. When processing for the number of frame pixels is completed, an average value of the calculated noise reduction amounts is obtained, and a frame average noise reduction amount NR ave is calculated (S1112). Then, the input / output of the switches 101, 104, 105, 108, and 111 for performing input / output control of the frame memory storing the current, past, and future frames is switched (S1113).
  • the distance D is the product of the inter-pixel value distance Dv and the spatio-temporal distance Ds, and the weighting factor is calculated as a variable of one rational function.
  • the inter-pixel value distance D v and the spatio-temporal distance D s The weighting factor may be calculated by the product of the function values R (Dv) and R (Ds) after each is given to the function.
  • the function for converting the distance D into a weighting factor is not limited to a rational function, and for example, a Gaussian function Exp ( ⁇ x 2 / 2 ⁇ 2 ) may be used.
  • a Gaussian function Exp ⁇ x 2 / 2 ⁇ 2
  • the same effect can be obtained by setting the distance D to x and the correction coefficient T to ⁇ .
  • ⁇ is increased, the width of the Gaussian function becomes wider and acts to cancel the distance correlation.
  • ⁇ is reduced, the width of the Gaussian function is narrowed, and the distance correlation can be further emphasized.
  • FIG. 10 a second embodiment of the present invention will be described with reference to FIG.
  • the image processing apparatus according to the present embodiment is different from the first embodiment in that a motion compensation unit 901 is provided instead of the block extraction unit 114.
  • the image processing apparatus according to the present embodiment will not be described with respect to the points common to the first embodiment, and different points will be mainly described.
  • FIG. 9 is a functional block diagram showing the basic configuration of the second embodiment of the present invention.
  • a moving image signal captured by an image sensor of an imaging unit (not shown) and converted into digital data is input to the switch 101 and is alternately connected to the frame memory 102 or the frame memory 103 every frame period by a control signal of the control unit 112. Then, it is stored in the frame memory 102 or the frame memory 103 for each frame period.
  • the outputs of the frame memory 102 and the frame memory 103 are connected to the inputs of the switch 104 and the switch 105, and are connected to the N line memory 106 and the motion compensation unit 901 by the control signal of the control unit 112.
  • the frame memory 102 is connected to the N-line memory 106 via the switch 104
  • the frame memory 103 is connected to the motion compensation unit 901 via the switch 105.
  • the control unit 112 is controlled so that the frame memory 103 is connected to the N line memory 106 via the switch 104.
  • the N line memory 106 temporarily stores a predetermined number of pixels above and below the noise reduction processing target pixel from the frame 102 or the frame memory 103.
  • the output of the N line memory 106 is connected to the inputs of the noise reduction unit 107 and the motion compensation unit 901 via the block extraction unit 113.
  • the noise reduction unit 107 is connected so that an output from the block extraction unit 113, an output from the motion compensation unit 901, and a control signal from the control unit 112 are input.
  • the noise reduction unit 107 includes a predetermined region pixel of the processing target frame output from the block extraction unit 113, a predetermined region pixel of a frame image that is temporally compensated for by the motion compensation unit 901, and a control unit 112.
  • the noise reduction processing is performed on the processing target pixel based on the control signal. Further, the noise reduction pixel calculated in this way is output as an output signal to a buffer memory of an image processing unit arranged in a subsequent stage (not shown).
  • the output of the noise reduction unit 107 is connected to the input of the switch 108 and the N line memory 106.
  • the output signal of the noise reduction unit 107 is used to overwrite the processing target pixel value before noise reduction stored in the N frame memory 106 with the noise reduction pixel.
  • the output of the switch 108 is switched to the frame memory 109 or the frame memory 110 for each frame period according to the control signal of the control unit 112, and the frame memory 109 or the frame memory 110 to which the noise reduction pixel of the noise reduction unit 107 corresponds. To be recorded.
  • the frame memory 109 or the frame memory 110 is switched and connected to the motion compensation unit 901 via the switch 111 for each frame period by a control signal of the control unit 112.
  • the frame memory 110 is connected to the switch 111.
  • the control unit 112 controls so that the frame memory 109 is connected to the switch 111.
  • the motion compensation unit 901 includes the current block 302 from the connected block extraction unit 113, the future that changes in time with respect to the processing target frame via the switch 104, the switch 105, and the switch 111, and the past A frame is input.
  • the motion compensation unit 901 calculates a position where the correlation value is maximum between the current block 302 and the future and past frames. Then, the region having the highest correlation is extracted from the future and past frames, and is output to the noise reduction unit 107 as the future block 303 and the past block 301.
  • the control unit 112 outputs a preset target noise reduction amount to the noise reduction unit 107 and also outputs a control signal for interlocking control of the switches 101, 104, 105, 108, and 111 as described above.
  • An extracted image of a predetermined search range of the past frame input to the motion compensation unit 901 is stored in the search range storage memory 1001.
  • an extracted image of a predetermined search range of the future frame is stored in the search range storage memory 1002.
  • the current block is input to a motion vector determination unit (motion vector detection unit) 1003 and a motion vector determination unit (motion vector detection unit) 1004.
  • an extracted image of the motion vector search range of the past frame is input from the search range storage memory 1001 to the motion vector determination unit 1003.
  • an extracted image of the motion vector search range of the future frame is input from the search range storage memory 1002 to the motion vector determination unit 1004.
  • the motion vector determination units 1003 and 1004 use the current block as a pattern matching reference image to perform pattern matching processing while moving at the pixel pitch within the search range extraction image, and move the position within the search range where the correlation is maximum. Determine as a vector.
  • a well-known method can be used in which the correlation is maximized at a position where the sum of absolute values of differences or the sum of squares is minimized.
  • the motion vectors determined by the motion vector determination units 1003 and 1004 are input to the block extraction units 1005 and 1006, respectively.
  • the block extraction unit 1005 receives the extracted image of the past frame stored in the search range storage memory 1001, extracts the past block based on the determined motion vector to the past frame, and outputs the extracted block to the noise reduction unit 107.
  • the block extraction unit 1006 receives the extracted image of the future frame stored in the search range storage memory 1002, extracts the future block based on the determined motion vector to the future frame, and outputs it to the noise reduction unit 107. .
  • the future block and the past block are selected by motion compensation for the current block, so that a three-dimensional block having a higher correlation than that of the first embodiment can be configured.
  • the weighting coefficient for the future block and the past block calculated by the filter coefficient calculation unit 207 becomes larger, and the contribution to the weighted average increases.
  • the amount of noise reduction is suppressed from reacting sensitively to fluctuations in time correlation that occur when moving image signals are reduced by cyclic noise reduction processing, and more stable noise reduction is performed. It becomes possible.
  • the cyclic type in which all the pixels of the past block and some pixels of the current block are replaced with pixel values after noise reduction processing is described as an example.
  • FIR type the cyclic type
  • the amount of noise reduction in the still region is lower than that in the cyclic type, but the convergence performance for suppressing the afterimage generated in the motion region is improved.
  • a progressive signal is assumed as an input signal in the first and second embodiments, a field interlace signal may be used.
  • each of the above embodiments is configured by describing the frame image as a field image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

　効果的にノイズ低減が行えると共に解像度低下を最小限に抑えることを目的とする。処理対象フレーム画像と該処理対象フレーム画像に対して過去および未来のフレーム画像とを記録する記録部と、前記処理対象フレーム画像において所定領域の複数画素を抽出する第１の画素抽出部と、前記過去および前記未来のフレーム画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出部と、前記所定領域内の注目画素と前記所定領域の複数画素、および前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出部と、前記所定領域内の注目画素の画素値と前記所定領域の複数画素の画素値および前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出部と、前記時空間距離と前記画素値間距離とに基づいて、前記処理対象フレーム画像のノイズを低減処理するノイズ低減部と、を備える。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　本発明は、動画像信号に対してノイズ低減処理を行う画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
　動画像信号は、指定時間間隔で撮像されたフレーム（フィールド）が複数集まって構成された信号であり、一般に各フレーム（フィールド）はフレーム内（フィールド内）の局所空間に対する相関を持ち、また隣接フレーム（フィールド）はフレーム間（フィールド間）での局所時間に対する相関を持った信号として仮定できる。
　このような動画像信号は、主にＣＣＤやＣＭＯＳ等の撮像素子を備えたビデオカメラにて任意の被写体を撮像する事で得られる。具体的には、撮像素子上に結像した被写体像を、画素単位で光電変換した信号として所定順に出力し、出力したアナログ画像信号を所定ゲイン量で増幅した後、Ａ／Ｄ変換によりデジタル画像信号に変換して所定の画像処理するのが一般的である。
　このようなビデオカメラにおいては、撮像素子の特性により撮像画像にノイズが重畳する。このノイズは特に光電変換の性質に起因するショットノイズが大勢を占める。ここで、ショットノイズは画像信号値の平方根に比例する平均振幅を持ち、一般に時間方向、及び空間方向に対してランダムなノイズとなる。このノイズは、撮像素子への結像光量が不足する場合にゲイン量を持ち上げると、より顕著に現れる。
　従来、このようなランダムノイズが重畳された動画像信号に対するノイズ低減処理として、空間相関を利用したフレーム内（フィールド内）ノイズ低減処理と、時間相関を利用したフレーム間（フィールド間）ノイズ低減処理とが種々提案されている。
　上記の時間相関を利用したノイズ低減処理は、ノイズ低減後のフレームを過去フレームとして利用する巡回型ノイズ低減処理が、大きなノイズ低減量を得ることができる方法として知られている。但し、この方法は、過去のフレームとの相関を前提とした方法である為、過去のフレームとの間でシーンチェンジや動きが大きなシーンに対して同様の処理を行うと、前のフレームの画像が現在のフレームに重畳されて残像が発生するという問題がある。一方、残像を低減させるように制御すると、十分なノイズ低減効果が期待できないという問題がある。
　その対策として、フレーム内相関とフレーム間相関を共に利用して、動きが大きなシーンに対してもノイズ低減能力を向上させるノイズ低減処理が、例えば特許文献１に示されている。
　このノイズ低減システムは、１フレームまたは１フィールド遅延させる為の画像メモリが設けられ、新たに入力された中心画素データと、この中心画素データの近傍の画素データと、画像メモリに記録されている既にノイズ低減された１フレームまたは１フィールド前の画像データにおける前記中心画素データの近傍の画素データと、に対して非線形フィルタ処理を行うことによって、ノイズ低減画素データを出力するものである。ここで、非線形フィルタ処理とは、前記中心画素データ値と相関が高い近傍画素のデータに対しては大きな重み係数を割り当て、逆に相関が低い画素には小さな重み係数を割り当てて加重平均するというものである。
　上記方法によれば、フレーム内相関とフレーム間相関の両方を利用したノイズ低減が行うことが可能となる。特に、撮像画像が静止状態にある場合には、加重平均に使用する１フレーム前または１フィールド前の画素及び現フィールド画素で重み係数の大きな画素が増えるため、平均化に寄与する画素数が増える。その結果、効果的にノイズ低減を行うことが可能となる。また、撮像画像に大きな動きがある場合やシーンチェンジがある場合には、１フレーム前または１フィールド前の画素よりも現フィールド画素に大きな重み係数が与えられるため、現フィールド画素を主とした加重平均がなされる。その結果、ノイズ低減量は静止状態にある場合よりも小さくはなるが、単純に現在フレームと過去フレームとの同一位置の画素を用いた巡回型ノイズ低減処理に比べると、大きなノイズ低減効果を得ることが可能となる。
特開平６－６２２８３号公報
　上記の従来技術のような時間相関を用いたノイズ低減処理は、動きが大きなシーンやシーンチェンジに対しては、フィールド内を主に用いたノイズ低減処理に実質的に切り替わることとなる。従って、静止領域から急に動領域に変化した場合やシーンチェンジ直後では、ノイズ低減量は低下してしまう。さらに、動領域から静止領域に戻っても直ぐには安定的なノイズ低減量を得ることはできず、安定的なノイズ低減量を得るまでには数フレーム期間の時間遅延がかかってしまう。つまり、時間相関を利用した巡回型ノイズ低減処理を用いて大きなノイズ低減量を得ようとすると、入力動画像に依存してノイズ量が大きく時間変動するという問題が発生することになる。
　本発明は、上記問題に鑑みてなされたもので、ノイズレベルが安定した状態を保ちつつ、効果的にノイズ低減が行えると共に解像度低下を最小限に抑える事を可能とする画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
　上記課題を解決するために、本発明は以下の手段を採用する。
　本発明の第１の態様は、時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理装置であって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録部と、前記記録部によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出部と、前記記録部によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出部と、前記第１の画素抽出部で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出部で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出部と、前記第１の画素抽出部で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出部で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出部で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出部と、前記第１の距離算出部によって算出された前記時空間距離と前記第２の距離算出部によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減部と、を備える画像処理装置である。
　本発明の第１の態様によれば、フレーム内における空間的な相関と、過去フレームと現在フレームとの間および現在フレームと未来フレームとの間における時間的な相関とを利用して動画像信号のノイズ低減処理を行う。これにより、時間相関の変動にノイズ低減量が敏感に反応してしまうことを抑制し、解像度低下を抑えつつ安定的なノイズ低減が可能となる。
　本発明の第２の態様は、時系列で入力されるフレーム画像あるいはフィールド画像のノイズの低減処理をコンピュータに実行させる画像処理プログラムであって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録処理と、前記記録処理によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出処理と、前記記録処理によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出処理と、前記第１の画素抽出処理で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出処理と、前記第１の画素抽出処理で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出処理で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出処理と、前記第１の距離算出処理によって算出された前記時空間距離と前記第２の距離算出処理によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減処理と、をコンピュータに実行させる画像処理プログラムである。
　本発明の第３の態様は、時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理方法であって、処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録工程と、前記記録工程によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出工程と、前記記録工程によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出工程と、前記第１の画素抽出工程で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出工程と、前記第１の画素抽出工程で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出工程で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出工程と、前記第１の距離算出工程によって算出された前記時空間距離と前記第２の距離算出工程によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減工程と、を有する画像処理方法である。
　本発明によれば、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、解像度低下を抑えつつ時間変動の少ない安定的なノイズ低減が可能となる。
本発明の第１の実施形態に係る画像処理装置が備える機能を展開して示した機能ブロック図である。 図１に示す画像処理装置のノイズ低減部の機能ブロック図である。 ノイズ低減部で処理される現在、過去、未来ブロックからなる３次元ブロックを示す図である。 画素値と基準修正係数補正値の関係の一例を示す図である。 修正係数により変化する複数の有理関数を示す図である。 図２に示す修正係数算出部の機能ブロック図である。 図２に示すフィルタ係数算出部の機能ブロック図である。 図２に示すフィルタ処理部の機能ブロック図である。 本発明の第２の実施形態に係る画像処理装置が備える機能を展開して示した機能ブロック図である。 図９に示す動き補償部の機能ブロック図である。 第１の実施形態の処理手順を示すフローチャートである。 第１の実施形態の処理手順を示すフローチャートである。
符号の説明
１０２　フレームメモリ
１０３　フレームメモリ
１０６　Ｎラインメモリ
１０７　ノイズ低減部
１０９　フレームメモリ
１１０　フレームメモリ
１１３　ブロック抽出部
１１４　ブロック抽出部
２０４　距離算出部
２０５　フレーム間相関算出部
２０６　修正係数算出部
２０７　フィルタ係数算出部
２０８　フィルタ処理部
２０９　ノイズ低減量算出部
７０５　補間処理部
７０７　正規化係数算出部
８０２　ノイズ量推定部
９０１　動き補償部
１００３　動ベクトル決定部
１００４　動ベクトル決定部
［第１の実施形態］
　以下に、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。
　図１は、本発明の第１の実施形態についての基本構成を示す機能ブロック図であり、以下に詳細を説明する。
　本実施形態に係る画像処理装置は、スイッチ１０１と、フレームメモリ１０２、フレームメモリ１０３、スイッチ１０４、スイッチ１０５、フレームメモリ１０９、フレームメモリ１１０、およびＮラインメモリ１０６からなるメモリ群（記録部）と、ノイズ低減部１０７と、スイッチ１０８と、スイッチ１１１と、制御部１１２と、ブロック抽出部（第１の画素抽出部）１１３と、ブロック抽出部（第２の画素抽出部）１１４と、を備えている。
　上記構成を有する画像処理装置における信号の流れについて以下に説明する。
　不図示の撮像部の撮像素子で撮像されデジタル化された動画像信号は、スイッチ１０１に入力される。ここで、スイッチ１０１は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に対して交互に接続する。したがって、スイッチ１０１に入力した動画像信号は、フレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に格納される。
　なお、動画像信号は、モノクロ信号でも良いし、カラー信号でも良く、カラー信号の場合は１画素複数色（一般には３色）からなる同時化された信号であっても、単板撮像素子で撮像された同時化前の１画素１色からなる信号でも良い。以降の説明では、動画像信号は単色信号であるとして説明するが、カラー信号の場合は、１つの色信号毎に以下に説明した処理を行う必要がある。
　フレームメモリ１０２は、スイッチ１０４およびスイッチ１０５に接続されている。また、フレームメモリ１０３も、スイッチ１０４およびスイッチ１０５に接続されている。
　スイッチ１０４とスイッチ１０５は、それぞれＮラインメモリ１０６とブロック抽出部１１４にそれぞれ接続されている。ここで、制御部１１２は、スイッチ１０４およびスイッチ１０５の出力信号をフレーム期間毎に切り替えるように、スイッチ１０４およびスイッチ１０５を制御する。具体的には、フレームメモリ１０２がスイッチ１０４を介してＮラインメモリ１０６に接続されると、フレームメモリ１０３はスイッチ１０５を介してブロック抽出部１１４に接続されることとなる。逆に、フレームメモリ１０２がスイッチ１０５を介してブロック抽出部１１４に接続されると、フレームメモリ１０３はスイッチ１０４を介してＮラインメモリ１０６に接続されることとなる。
　Ｎラインメモリ１０６には、フレーム１０２或いはフレームメモリ１０３から、ノイズ低減処理対象画素の上下所定ライン数分の画素が一時格納される。Ｎラインメモリ１０６は、ブロック抽出部１１３を介してノイズ低減部１０７の入力に接続されている。
　ノイズ低減部１０７の入力には、ブロック抽出部１１３と、ブロック抽出部１１４と、制御部１１２とが接続されている。ノイズ低減部１０７は、ブロック抽出部１１３から出力される処理対象フレームの所定領域画素と、ブロック抽出部１１４から出力されるフレームメモリ１０２或いはフレームメモリ１０３に格納されている時間的に未来のフレーム画像の所定領域画素と、フレームメモリ１０９或いはフレームメモリ１１０に格納されている時間的に過去のフレーム画像の所定領域画素と、制御部１１２からの制御信号とに基づいて、処理対象画素に対するノイズ低減処理を行う。そして、算出したノイズ低減画素を出力信号として出力する。ここで、ブロック抽出部１１３とブロック抽出部１１４から出力される所定領域は、各フレームで空間的に同一の抽出位置となる。
　また、ノイズ低減部１０７の出力は、スイッチ１０８と、Ｎラインメモリ１０６とに接続されている。
　Ｎラインメモリ１０６への出力信号は、Ｎフレームメモリ１０６に格納されているノイズ低減前の処理対象画素値をノイズ低減画素で上書きするのに使われる。これにより、現在フレームに対してもノイズ低減後の画素を使用する巡回型フィルタを形成できるようになるので、より効果的にノイズを低減することができる。
　スイッチ１０８は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０９、或いはフレームメモリ１１０に接続が切り替えられる。これにより、ノイズ低減部１０７にて算出されたノイズ低減画素が、対応するフレームメモリ１０９、或いはフレームメモリ１１０に記録される。ここで、上記ノイズ低減画素が記録されるフレームメモリは、ブロック抽出部１１４にて抽出する過去フレームが格納されているフレームメモリとは異なるフレームメモリとなる。
　スイッチ１１１は、制御部１１２の制御信号によって、フレーム期間毎にフレームメモリ１０９とフレームメモリ１１０とに切り替えて接続される。ここで、制御部１１２は、スイッチ１０８とスイッチ１１１とを関係付けて各スイッチの切り替えを制御する。具体的には、スイッチ１０８がフレームメモリ１０９に接続された場合は、フレームメモリ１１０がスイッチ１１１と接続される。一方、スイッチ１０８がフレームメモリ１１０に接続された場合は、フレームメモリ１０９がスイッチ１１１と接続される。
　スイッチ１１１からの出力信号は、ブロック抽出部１１４に入力される。ブロック抽出部１１４では、処理対象画素に対応する周辺領域の複数画素が抽出される。
　制御部１１２は、予め設定された目標ノイズ低減量をノイズ低減部１０７に出力するとともに、スイッチ１０１、１０４、１０５、１０８、１１１を上記説明したように連動制御する制御信号を出力する。
　図３は、ノイズ低減部１０７にて処理する処理対象画素とその周辺画素からなる３次元ブロック（Ｎｘ×Ｎｙ×Ｎｔ画素）の構造を示した模式図である。以下に、図３を用いて３次元ブロックとその領域内の画素Ｐ（ｒ，ｔ）に対する定義を説明する。
　ノイズ低減部１０７にて処理する３次元ブロックは、現在フレーム（時刻ｔ０）の処理対象画素Ｐ（ｒ０，ｔ０）とその周辺領域画素Ｐ（ｒ，ｔ０）からなるＮｘ×Ｎｙ画素の現在ブロック３０２と、過去フレーム（時刻ｔ０－１）の画素Ｐ（ｒ０，ｔ０－１）とその周辺領域画素Ｐ（ｒ，ｔ０－１）からなるＮｘ×Ｎｙ画素の過去ブロック３０１と、未来フレーム（時刻ｔ０＋１）の画素Ｐ（ｒ０，ｔ０＋１）とその周辺領域画素Ｐ（ｒ，ｔ０＋１）からなるＮｘ×Ｎｙ画素の未来ブロック３０３とからなる。ここで、ｒは各フレーム内の原点をｒ０としたときの位置ベクトルを意味し、ｒ＝（ｘ，ｙ）、ｒ０＝（ｘ０，ｙ０）であり、ここではＮｔ＝３の場合を示しているが、Ｎｔは２以上の整数であれば良い。
　また、フィールドインターレース信号で考えると、過去ブロックおよび未来ブロックには、現在ブロックと空間的に同一位置の画素は存在しない。しかし、処理対象画素Ｐ（ｒ０，ｔ０）とその周辺領域画素Ｐ（ｒ，ｔ０）からなるＮｘ×Ｎｙ画素を現在ブロックとすれば、過去フィールド（時刻ｔ０－１）の画素Ｐ（ｒ０’，ｔ０－１）とその周辺領域画素Ｐ（ｒ’，ｔ０－１）からなるＮｘ×Ｎｙ画素を過去ブロックとし、未来フィールド（時刻ｔ０＋１）の画素Ｐ（ｒ０’，ｔ０＋１）とその周辺領域画素Ｐ（ｒ’，ｔ０＋１）からなるＮｘ×Ｎｙ画素を未来ブロックと定義できる。フィールドの場合、現在ブロックと過去ブロックと未来ブロックは厳密には１ライン分空間的にずれているが、以下の説明ではｒ＝ｒ’、つまり同一位置として説明する。
　図２は、ノイズ低減部１０７の詳細ブロック図であり、上記３次元ブロックの定義に基づいてその詳細を説明する。
　ノイズ低減部１０７は、過去ブロックメモリ２０１、未来ブロックメモリ２０２、現在ブロックメモリ２０３、距離算出部（第１の距離算出部および第２の距離算出部）２０４、フレーム間相関算出部（フレーム間相関量算出部）２０５、修正係数算出部２０６、フィルタ係数算出部（重み係数算出部）２０７、フィルタ処理部（加重平均値算出部）２０８、およびノイズ低減量算出部２０９を備えている。
　上記構成を有するノイズ低減部１０７における信号の流れについて以下に説明する。
　ブロック抽出部１１３からは、処理対象画素Ｐ（ｒ０，ｔ０）とその周辺領域Ｎｘ×Ｎｙからなる現在ブロック３０２が出力され、現在ブロックメモリ２０３に格納される。また、ブロック抽出部１１４からは、処理対象画素Ｐ（ｒ０，ｔ０）と空間的に同一位置であるＰ（ｒ０，ｔ０－１）とその周辺領域Ｎｘ×Ｎｙからなる過去ブロック３０１が出力され、過去ブロックメモリ２０１に格納される。更に、ブロック抽出部１１４からは、処理対象画素Ｐ（ｒ０，ｔ０）と空間的に同一位置であるＰ（ｒ０，ｔ０＋１）とその周辺領域Ｎｘ×Ｎｙからなる未来ブロック３０３が出力され、未来ブロックメモリ２０２に格納される。
　３つのブロックメモリ２０１、２０２、および２０３に格納された３次元ブロックの画素データは、距離算出部２０４、フレーム間相関算出部２０５、及びフィルタ処理部２０８に出力される。また、現在ブロックメモリ２０３の画素データは、さらに修正係数算出部２０６に出力される。
　距離算出部２０４では、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている画素位置（ｒ，ｔ）と、ブロックメモリ２０３に記録されている処理対象画素となる位置（ｒ０，ｔ０）とから、以下のような時空間距離Ｄｓを算出する。
　ｔ≧ｔ０の場合　Ｄｓ＝α１｜ｔ－ｔ０｜＋β｜ｒ－ｒ０｜
　ｔ＜ｔ０の場合　Ｄｓ＝α２｜ｔ－ｔ０｜＋β｜ｒ－ｒ０｜
　ここで、α１とα２とβは、予め決定された０以上の係数であり、｜｜は絶対値を表す。また、｜ｒ－ｒ０｜＝√｛（ｘ－ｘ０）２＋（ｙ－ｙ０）２｝である。なお、空間距離｜ｒ－ｒ０｜の計算は、ブロックサイズ（Ｎｘ×Ｎｙ）が予め決定されている場合には、計算結果を予めＲＯＭテーブル（未図示）に格納しておく事が可能である。
　また、α１は未来ブロックの時間を距離に変換する係数を示し、α２は過去ブロックの時間を距離に変換する係数を示す。ここで、過去ブロックは既にノイズ低減された画素からなり、未来ブロックはまだノイズ低減されていない画素からなる。そのため、フィルタ係数算出部２０７にて決定される各画素の重み係数を、未来ブロックよりも過去ブロックに対して予め大きな重みを設定することによって、ノイズ低減効果を向上させる事が可能である。
　また、距離算出部２０４では、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている位置（ｒ，ｔ）の画素値Ｐ（ｒ，ｔ）と、現在ブロックメモリ２０３に記録されているノイズ低減処理の対象位置（ｒ０，ｔ０）での画素値Ｐ（ｒ０，ｔ０）とから、以下の計算式に基づいて画素値間距離Ｄｖを算出する。
　Ｄｖ＝｜Ｐ（ｒ，ｔ）－Ｐ（ｒ０，ｔ０）｜
　距離算出部２０４では、上記のＤｓとＤｖとを乗算し、３次元ブロック内の画素Ｐ（ｒ，ｔ）の処理対象画素Ｐ（ｒ０，ｔ０）に対する距離Ｄ＝Ｄｓ×Ｄｖを算出し、フィルタ係数算出部２０７に出力する。
　フレーム間相関算出部２０５は、入力された３つのブロックメモリ２０１、２０２、および２０３に格納されている画素の画素値Ｐ（ｒ，ｔ）を用いて、現在ブロック３０２と過去ブロック３０１とのフレーム間相関値Ｓｐと、現在ブロック３０２と未来ブロック３０３とのフレーム間相関値Ｓｆとを以下のように算出し、修正係数算出部２０６に出力する。
　Ｓｐ＝Σｒ｜Ｐ（ｒ，ｔ０－１）－Ｐ（ｒ，ｔ０）｜
　Ｓｆ＝Σｒ｜Ｐ（ｒ，ｔ０＋１）－Ｐ（ｒ，ｔ０）｜
　ここで、ΣｒはブロックＮｘ×Ｎｙ内での総和を示す。
　修正係数算出部２０６には、ノイズ低減量算出部２０９とフレーム間相関算出部２０５と制御部１１２と現在ブロックメモリ２０３とフィルタ係数算出部２０７とが接続されている。修正係数算出部２０６には、ノイズ低減量算出部２０９にて算出されたフレーム平均ノイズ低減量ＮＲａｖｅと、制御部１１２から出力される目標ノイズ低減量ＮＲｔａｒｇｅｔと、フレーム間相関算出部２０５から出力される現在ブロック３０２と過去ブロック３０１との相関値Ｓｐと、フレーム間相関算出部２０５から出力される現在ブロック３０２と未来ブロック３０３との相関値Ｓｆと、現在ブロックメモリ２０３に格納されている画素データとが入力される。修正係数算出部２０６は、これら入力データを用いてフィルタ係数算出部２０７で算出されるフィルタ係数の修正係数Ｔｉ（ここでｉ＝ｐ，ｃ，ｆ）を算出する。
　修正係数Ｔｉは、現在ブロック３０２、過去ブロック３０１、および未来ブロック３０３に対して、それぞれ１つの係数Ｔｐ、Ｔｃ、Ｔｆであって、この修正係数Ｔｉはフィルタ係数算出部２０７へ出力される。なお、ここでは３つのフレームからなる３次元ブロックを例にしたが、任意のＮフレームからなる３次元ブロックとしても良い。この場合には、Ｎ個の係数Ｔｉが算出され、フィルタ係数算出部２０７に出力される。
　フィルタ係数算出部２０７には、距離算出部２０４から出力される距離Ｄと、修正係数算出部２０６から出力される補正係数Ｔｐ、Ｔｃ、Ｔｆとが入力される。フィルタ係数算出部２０７は、これらのデータを用いて、現在ブロックメモリ２０３、過去ブロックメモリ２０１、および未来ブロックメモリ２０２に格納されている画素Ｐ（ｒ，ｔ）に対応するフィルタ係数Ｃ（ｒ，ｔ）を算出し、フィルタ処理部２０８に出力する。
　フィルタ処理部２０８は、３つのブロックメモリ２０１、２０２、および２０３に格納されている画素Ｐ（ｒ，ｔ）を予め決められた順番に読み出す。そして、読み出した画素Ｐ（ｒ，ｔ）と、フィルタ係数算出部２０７から出力されたフィルタ係数Ｃ（ｒ，ｔ）とで積和演算を行い、ノイズ低減画素Ｐｎ（ｒ０，ｔ０）を算出して出力する。
　ノイズ低減量算出部２０９には、フィルタ処理部２０８で算出され、出力されたノイズ低減画素Ｐｎ（ｒ０，ｔ０）と、現在ブロックメモリ２０３からの処理対象画素Ｐ（ｒ０，ｔ０）とが入力される。ノイズ低減量算出部２０９は、２つの画素値の差分絶対値｜Ｐｎ（ｒ０，ｔ０）－Ｐ（ｒ０，ｔ０）｜を算出して、この差分絶対値を１フレーム分積算する。そして、１フレーム分の処理が終了した時点で、以下のようにフレーム平均ノイズ低減量ＮＲａｖｅを算出し、修正係数算出部２０６に出力する。
　ＮＲａｖｅ＝Σｒ０｜Ｐｎ（ｒ０，ｔ０）－Ｐ（ｒ０，ｔ０）｜／フレーム内総画素数
　ここで、上記例ではＮＲａｖｅは平均値としたが、フレーム内総画素数が変化しない装置においては差分絶対値の和で代用しても良い。
　続いて、修正係数算出部２０６の詳細について、図６の機能ブロックに基づいて説明する。
　修正係数算出部２０６において、減算器６０１には、ノイズ低減量算出部２０９から出力されるフレーム平均ノイズ低減量ＮＲａｖｅと、制御部１１２から出力される目標ノイズ低減量ＮＲｔａｒｇｅｔが入力される。減算器６０１は、これらの入力値を減算し、減算した値である低減誤差量Ｅｒ＝ＮＲａｖｅ―ＮＲｔａｒｇｅｔを基準修正係数決定部６０２に出力する。
　基準修正係数決定部６０２では、入力された低減誤差量Ｅｒに基づいて基準修正係数Ｔｂａｓｅを決定する。例えば、閾値をＴＨとした場合に、以下のような閾値判定により３段階に変化させる。
　Ｅｒ＞ＴＨの場合　基準修正係数Ｔｂａｓｅ＝Ｖ１
　ＴＨ≧Ｅｒ≧－ＴＨの場合　基準修正係数Ｔｂａｓｅ＝Ｖ２
　Ｅｒ＜－ＴＨの場合　基準修正係数Ｔｂａｓｅ＝Ｖ３
　ここで、Ｖ１、Ｖ２、およびＶ３は、Ｖ１＜Ｖ２＜Ｖ３となるように、予め決定された係数である。
　つまり、Ｅｒの絶対値が閾値ＴＨ以下の場合には標準の基準修正係数Ｖ２を、Ｅｒが閾値ＴＨより大きくなった場合には標準よりも小さな基準修正係数Ｖ１を、Ｅｒが閾値ＴＨの負値より小さい場合には標準よりも大きな基準修正係数Ｖ３を乗算器６０５に出力する。
　一方、現在ブロックメモリ２０３から出力された現在ブロック３０２が、平均値算出部６０３に入力される。平均値算出部６０３は、現在ブロック３０２の平均画素値を算出し、ＬＵＴ＿Ｖ６０４に出力する。ＬＵＴ＿Ｖ６０４は、平均画素値に対する基準修正係数の補正値Ｒｖに変換し、乗算器６０５に出力する。
　ここで、前記平均画素値と基準修正係数補正値Ｒｖとの関係の一例を図４に示す。
　図４の例では、画素値が小さい場合は基準修正係数補正値Ｒｖが１より大きく、画素値が大きくなるに従って基準修正係数補正値Ｒｖが１より小さくなることが示されている。つまり、暗い領域では基準修正係数がより大きくなることによってノイズ低減量を重視した設定となり、明るい領域では逆に基準修正係数をより小さくすることによって解像度を重視した設定となる。なお、画素値によらず、補正値Ｒｖ＝１として基準修正係数を画素値に依存させないようにしても良い。
　乗算器６０５は、基準修正係数Ｔｂａｓｅと上記補正値Ｒｖとを乗算し、乗算器６０７に出力する。
　一方、フレーム間相関算出部２０５から出力される過去ブロック３０１と現在ブロック３０２とのフレーム間相関値Ｓｐと、未来ブロック３０３と現在ブロック３０２とのフレーム間相関値Ｓｆとが修正係数比率算出部６０６に入力される。修正係数比率算出部６０６は、過去ブロック３０１、現在ブロック３０２、未来ブロック３０３に対する比率Ｒｐ、Ｒｃ、Ｒｆについて、例えば、以下のような割り当てを行う。
　Ｓｐ≦ＴＨｐ、且つ、Ｓｆ≦ＴＨｆの場合　Ｒｐ＝Ｒｃ＝Ｒｆ
　Ｓｐ≦ＴＨｐ、且つ、Ｓｆ＞ＴＨｆの場合　Ｒｐ＝Ｒｃ＞Ｒｆ
　Ｓｐ＞ＴＨｐ、且つ、Ｓｆ≦ＴＨｆの場合　Ｒｐ＜Ｒｃ＝Ｒｆ
　Ｓｐ＞ＴＨｐ、且つ、Ｓｆ＞ＴＨｆの場合　Ｒｐ＝Ｒｃ＝Ｒｆ
　ここでＲｐ＋Ｒｃ＋Ｒｆ＝１である。
　Ｓｐ≦ＴＨｐ、且つ、Ｓｆ≦ＴＨｆの条件は、現在ブロック３０２に対して、過去ブロック３０１と未来ブロック３０３ともに時間相関が高い場合であり、時間的に前後するブロック領域で動きが小さい領域に対応する。この場合には、時間と空間の両方向で同一の修正係数とする。
　Ｓｐ≦ＴＨｐ、且つ、Ｓｆ＞ＴＨｆの条件は、現在ブロック３０２に対して、過去ブロック３０１は時間相関が高く、未来ブロック３０３は時間相関が低い場合であり、この場合は現在から未来にかけての時間において急激な動き、或いはシーンチェンジが発生した領域である事を示している。この場合には、過去ブロック３０１と現在ブロック３０２の修正係数を大きく、未来ブロックの修正係数を小さくする。
　Ｓｐ＞ＴＨｐ、且つ、Ｓｆ≦ＴＨｆの条件は、現在ブロック３０２に対して、未来ブロック３０３は時間相関が高く、過去ブロック３０１は時間相関が低い場合であり、この場合は過去から現在にかけての時間において急激な動き、或いはシーンチェンジが発生した領域を示している。この場合には、未来ブロック３０３と現在ブロック３０２の修正係数を大きく、過去ブロック３０１の修正係数を小さくする。
　Ｓｐ＞ＴＨｐ、且つ、Ｓｆ＞ＴＨｆの条件は、現在ブロック３０２に対して、過去ブロック３０１と未来ブロック３０３ともに時間相関が低い場合であり、この場合は画像に混入しているノイズが多すぎる、或いは過去ブロック３０１から未来ブロック３０３の時間内で動きが大きいことを示している。この場合には、時間と空間の両方向で同一の修正係数とする。
　乗算器６０７は、乗算器６０５の出力値Ｔｂａｓｅ×Ｒｖと、修正係数比率算出部６０６からの出力値Ｒｐ、Ｒｃ、およびＲｆとを乗算する。このように算出された修正係数Ｔｐ＝Ｔｂａｓｅ×Ｒｖ×Ｒｐ、Ｔｃ＝Ｔｂａｓｅ×Ｒｖ×Ｒｃ、およびＴｆ＝Ｔｂａｓｅ×Ｒｖ×Ｒｆは、フィルタ係数算出部２０７へ出力される。
　ここで上記説明では、基準修正係数と補正値とブロック割り当て比率を全て可変制御する例を示したが、その内１つ或いは２つを可変制御し、その他を所定定数にすることも可能である。
　続いて、フィルタ係数算出部２０７について、図５のグラフ、図７の機能ブロック図に基づいて説明する。
　距離算出部２０４から出力される距離Ｄは、ＬＵＴ＿Ｒ１７０１、ＬＵＴ＿Ｒ２７０２、…、ＬＵＴ＿ＲＮ７０３と補間処理部７０５に出力される。
　ＬＵＴ＿Ｒ１７０１、ＬＵＴ＿Ｒ２７０２、…、ＬＵＴ＿ＲＮ７０３は、図５に示した有理関数｛Ｔ／（ｘ＋Ｔ）｝において、Ｔが異なる値のグラフ５０１、５０２、および５０３に対応するテーブルになっており、Ｔはゼロより大きい値である。
　そして、グラフ５０１の有理関数をＴ１／（ｘ＋Ｔ１）として対応するルックアップテーブルをＬＵＴ＿Ｒ１７０１、グラフ５０２の有理関数をＴ２／（ｘ＋Ｔ２）として対応するルックアップテーブルをＬＵＴ＿Ｒ２７０２、グラフ５０３の有理関数をＴＮ／（ｘ＋ＴＮ）として対応するルックアップテーブルをＬＵＴ＿ＲＮ７０３とする。ここでＴ１、Ｔ２、…、ＴＮが修正係数算出部２０６から出力される修正係数に対応し、Ｔ１＜Ｔ２＜…＜ＴＮの関係にある。つまり、上記の有理関数は、修正係数が小さいと変数ｘが増大するにつれて急激に減少する関数となり、修正係数が大きいと変数ｘが増大するに連れてなだらかに減少する関数となる。
　各ルックアップテーブルには、距離算出部２０４から出力される距離Ｄに対して上位所定ビット数分だけ抽出したアドレスとして入力される。そして、各ルックアップテーブルは、アドレスに格納されているルックアップテーブルの値と、傾き量とを選択部７０４に出力する。
　ここで、ＬＵＴ＿Ｒ１７０１、ＬＵＴ＿Ｒ２７０２、…、ＬＵＴ＿ＲＮ７０３には、上記有理関数を変数ｘ＝ａでサンプリングした値Ｒｊ（ａ）と所定間隔Δだけ離れたＸ＝ａ＋ΔでサンプリングしたＲｊ（ａ＋Δ）とを直線で結んだ時の傾きαｊ（ａ）と、その始点であるＲｊ（ａ）をアドレスａの場所に記録したテーブルとなっている。ここでｊ＝１，２，…，Ｎである。
　つまり、距離Ｄを基にＬＵＴ＿Ｒ１７０１、ＬＵＴ＿Ｒ２７０２、…、ＬＵＴ＿ＲＮ７０３を参照するアドレスが決定され、この決定したアドレスａに格納されている始点Ｒｊ（ａ）と傾きαｊ（ａ）が選択部７０４へ出力される。
　選択部７０４は、これらＮ個の始点Ｒｊ（ａ）と傾きαｊ（ａ）と補正係数Ｔｉに基づいて１つの始点Ｒ（ａ）と傾きα（ａ）を選択し、補間処理部７０５へ出力する。
　補間処理部７０５には、選択部７０４から出力された始点Ｒ（ａ）と傾きα（ａ）と、距離Ｄの所定下位ビット分が入力されて距離Ｄに対する精度の高い重み係数Ｒ’（Ｄ，Ｔｉ）が算出されて、メモリ７０６に順次格納される。
　メモリ７０６に３次元ブロックＮｘ×Ｎｙ×Ｎｔ画素数分の重み係数が格納された時点で、正規化係数算出部７０７にこれらの重み係数が入力される。正規化係数算出部７０７は、これらの重み係数を積算して正規化係数を算出する。算出した正規化係数は、メモリ７０６に格納されている重み係数を該正規化係数で除算する事無く、ＬＵＴ＿Ｄ７０８によって正規化係数の逆数に変換される。ここで、ＬＵＴ＿Ｄ７０８は、乗算で規格化する為に予め用意された乗算除算変換テーブルである。
　このように変換された正規化係数の逆数は、乗算器７０９にてメモリ７０６に格納されている重み係数と乗算されて最終的なフィルタ係数Ｃ（ｒ，ｔ）としてフィルタ処理部２０８へ出力される。
　このように算出された３次元ブロックＮｘ×Ｎｙ×Ｎｔの画素Ｐ（ｒ，ｔ）に対応するフィルタ係数Ｃ（ｒ，ｔ）は、処理対象画素Ｐ（ｒ０，ｔ０）に対する画素値間距離と時空間距離から算出した距離に逆比例する重み係数（フィルタ係数）値となり、更にこの重み係数は上記修正係数、つまりは動画像信号の時間相関の変動に適応して可変制御できるという特性を持つ。
　つまり、処理対象画素Ｐ（ｒ０，ｔ０）に対し、３次元ブロックＮｘ×Ｎｙ×Ｎｔ内の画素値及び時空間距離が近い画素（相関が高い画素）の場合には大きな重み係数を持つ。一方、画素値及び時空間距離が離れている画素（相関が低い画素）の場合には小さな重み係数を持つ。その為、以下に説明するフィルタ処理部２０８でのフィルタ処理結果は、相関が高い画素のみを集めて平均を取るのと同等の効果が得られる。したがって、上記ブロック内に空間的なエッジ、及び時間的なエッジ（シーンチェンジや急激な動きが発生した場合）を含んでいても平均化に伴うエッジの鈍りを最小限に抑える事ができる。
　更に、上記の修正係数により重み係数の割り振りを可変制御できる為、１フレーム前のノイズ低減結果を反映し、目標ノイズ低減量に満たない場合は指定ノイズ低減量となるように３次元ブロックＮｘ×Ｎｙ×Ｎｔ内の画素値と距離の相関量を打ち消すような重み係数を与える事ができる。この場合は、３次元ブロックＮｘ×Ｎｙ×Ｎｔ内の画素をより多く選択して平均化処理する事と等価となり、ノイズ低減効果を増すことができる。逆に、１フレーム前のノイズ低減結果が目標ノイズ低減量を上回った場合は、目標ノイズ低減量となるように３次元ブロックＮｘ×Ｎｙ×Ｎｔ内の画素値と距離の相関量をより強める重み係数を与える事もできる。
　また、時間相関が急激に変化するようなシーンチェンジや、急激に動きが発生したシーンにおいても、３次元ブロックＮｘ×Ｎｙ×Ｎｔ内で時間相関を持った未来と現在ブロック、或いは過去と現在ブロックに対して画素値と時空間距離の相関量を打ち消すように修正係数を制御する事で、ノイズ低減量が急激に悪化する事を防止できる。なお、修正係数により画素値と時空間距離の相関量を打ち消す方向に制御を行うと解像度が低下するという副作用が発生する。しかし、本実施形態の構成のように修正係数に対して略連続的に重み係数を変更可能にできる為、時間的、及び空間的な解像度変化をなだらかになるように制御し、ユーザが視覚的にその変化を認知できないようにする事が可能となる。
　続いて、フィルタ処理部２０８の詳細について、図８の機能ブロック図を基に説明する。
　フィルタ処理部２０８には、前記フィルタ係数算出部２０７から出力されるフィルタ係数Ｃ（ｒ，ｔ）と、ブロックメモリ２０１、２０２、２０３に格納されている画素値Ｐ（ｒ，ｔ）と、制御部１１２から出力されるノイズモデルテーブルが入力される。
　フィルタ係数Ｃ（ｒ，ｔ）と画素値Ｐ（ｒ，ｔ）は積和演算部８０１にて以下の処理が実行され、処理対象画素Ｐ（ｒ０，ｔ０）での平滑化処理画素値Ｐ’（ｒ０，ｔ０）がノイズ量推定部８０２とコアリング処理部８０３へ出力される。
　Ｐ’（ｒ０，ｔ０）＝ΣｒΣｔＣ（ｒ，ｔ）Ｐ（ｒ，ｔ）
　ノイズ量推定部８０２では、制御部１１２から出力されるノイズモデルテーブルが格納されており、積和演算部８０１からの出力である平滑化処理画素値Ｐ’（ｒ０，ｔ０）をアドレスとして対応するノイズ量Ｎａｍｐがコアリング処理部８０３へ出力される。ここで、ノイズモデルテーブルは、画素値に対応するアドレス位置にノイズ量（ノイズの平均振幅に相当する量）が格納されたテーブルであり、制御部１１２にて所定ノイズモデルテーブルを、画素値を変数とする任意関数と乗算する事で任意に変更したノイズモデルテーブルとする事も可能である。
　コアリング処理部８０３には、処理対象画素値Ｐ（ｒ０，ｔ０）とその平滑化処理後の画素値Ｐ’（ｒ０，ｔ０）、及びノイズ量推定部８０２から出力されるノイズ量が入力される。コアリング処理部８０３は、以下のコアリング判定を行い、処理対象画素に対する最終的なノイズ低減画素値Ｐｎ（ｒ０，ｔ０）を算出して出力信号として出力する。
　Ｐ（ｒ０，ｔ０）－Ｐ’（ｒ０，ｔ０）＞Ｎａｍｐの場合　Ｐｎ（ｒ０，ｔ０）＝Ｐ（ｒ０，ｔ０）－Ｎａｍｐ
　Ｐ（ｒ０，ｔ０）－Ｐ’（ｒ０，ｔ０）＜Ｎａｍｐの場合　Ｐｎ（ｒ０，ｔ０）＝Ｐ（ｒ０，ｔ０）＋Ｎａｍｐ
　｜Ｐ（ｒ０，ｔ０）－Ｐ’（ｒ０，ｔ０）｜≦Ｎａｍｐの場合　Ｐｎ（ｒ０，ｔ０）＝Ｐ’（ｒ０，ｔ０）
　なお、上記フィルタ処理部２０８は、ノイズ量推定部８０２を設けた構成としたが、例えば、より単純な積和演算部８０１のみからなる構成とし、最終的なノイズ低減画素値Ｐｎ（ｒ０，ｔ０）をＰ’（ｒ０，ｔ０）としても良い。
　以上のように、本実施形態に係る画像処理装置によれば、フレーム内における空間的な相関と、過去フレームと現在フレームとの間および現在フレームと未来フレームとの間における時間的な相関とを利用して動画像信号のノイズ低減処理を行う。これにより、例えばシーンチェンジ発生時においても時間相関の変動にノイズ低減量が敏感に反応してしまうことを抑制し、解像度低下を抑えつつ安定的なノイズ低減が可能となる。
　また、巡回型ノイズ低減処理に使用する過去フレームおよび現在フレームの画素をノイズ低減後の画素を使用するので、ノイズ低減量を向上できる。
　また、重み係数を時空間距離と画素値間距離により算出し、ノイズ処理対象画素と相関性が高い画素に重み付けをして加重平均を行うので、空間的なエッジや、時間的な急激なシーン変化に対する鈍りを最小限に抑えつつ効果的にノイズ低減を行うことが可能となる。
　また、所定領域の複数画素の画素値と重み係数との積和演算値に基づいて注目画素のノイズ量を推定し、該ノイズ量に基づいてノイズ低減処理を行うことにより、入力信号のノイズ特性に適した効果的なノイズ低減が行えると共に、エッジ部での解像度劣化（鈍り）を最小限に抑えることができる。
　また、注目画素のノイズ低減量に基づいて重み係数を修正することにより、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、解像度低下を抑えつつ時間変動の少ない安定的なノイズ低減が可能となる。
　また、注目画素の画素値に基づいて重み係数を修正することにより、現在フレーム内の画素値に対応してノイズ低減量を広範囲に制御する事が可能となる。
　また、処理対象フレーム画像と過去および未来のフレーム画像とのフレーム間相関量に基づいて重み係数を修正することにより、動画像信号をノイズ低減する場合に発生する時間相関の変動にノイズ低減量が敏感に反応してしまうのを抑制し、時間変動の少ない安定的なノイズ低減が可能となる。
　なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。
　図１１Ａおよび図１１Ｂに示すフローチャートは、第１の実施形態の処理手順を示したものである。
　まず、入力された動画像信号をスイッチ１０１を介して未来フレームとしてフレームメモリ１０２或いは１０３に格納する。（Ｓ１１０１）
　次に、入力動画像信号が先頭フレームかどうか判定（Ｓ１１０２）し、先頭フレームの場合にはＳ１１１３へ進む。また、先頭フレームでない場合には３次元ブロックＰ（ｒ，ｔ）をフレームメモリ１０２或いは１０３－１０９或いは１１０、更にＮラインメモリ１０６に格納されている過去、未来、現在フレームから抽出し、それぞれ過去ブロック３０１、未来ブロック３０３、現在ブロック３０２としてブロックメモリ２０１、２０２、２０３に格納する（Ｓ１１０３）。
　次に、ブロックメモリ２０１、２０２、２０３に格納されている３次元ブロックに対して、フレーム間相関量Ｓｐ及びＳｆを算出するとともに（Ｓ１１０４）、３次元ブロックのノイズ処理対象画素Ｐ（ｒ０，ｔ０）とその周辺画素との時空間距離Ｄｓ、及び画素値間距離Ｄｖを算出し、２つの距離を乗算して距離Ｄを算出する（Ｓ１１０５）。
　次に１フレーム前のフレーム平均ノイズ低減量ＮＲａｖｅ及び目標ノイズ低減量ＮＲｔａｒｇｅｔと、現在ブロックの画素値Ｐ（ｒ，ｔ０）と、フレーム間相関量Ｓｐ及びＳｆとから３つのブロックの修正係数Ｔｐ、Ｔｃ、Ｔｆを算出し（Ｓ１１０６）、距離Ｄと修正係数Ｔｐ、Ｔｃ、Ｔｆよりフィルタ係数Ｃ（ｒ，ｔ）を算出する（Ｓ１１０７）。
　次に、算出したフィルタ係数Ｃ（ｒ，ｔ）と３次元ブロック画素Ｐ（ｒ，ｔ）に基づいて、ノイズ低減画素Ｐｎ（ｒ０，ｔ０）を算出し（Ｓ１１０８）、ノイズ低減画素Ｐｎ（ｒ０，ｔ０）を不図示の出力バッファとフレームメモリ１０９或いは１１０とＮラインメモリ１０６に格納する（Ｓ１１０９）。
　次に、ノイズ低減画素Ｐｎ（ｒ０，ｔ０）と処理対象画素Ｐ（ｒ０，ｔ０）との差分絶対値和によりノイズ低減量を算出し（Ｓ１１１０）、上記ノイズ低減画素の算出がフレーム内画素数分終了したかを判定する（Ｓ１１１１）。判定の結果、フレーム画素数分の処理がまだ終了していない場合にはＳ１１０３へ戻り、次の処理対象画素に対するノイズ低減処理を繰り返す。また、フレーム画素数分の処理が終了した場合には、算出したノイズ低減量の平均値を求め、フレーム平均ノイズ低減量ＮＲａｖｅを算出する（Ｓ１１１２）。そして、現在、過去、未来フレームを格納するフレームメモリの入出力制御を行うスイッチ１０１、１０４、１０５、１０８、および１１１の入出力を切り替える（Ｓ１１１３）。
　最後に、処理指定フレーム数分の処理が終了したか判定し（Ｓ１１１４）、処理終了していなければＳ１１０１へ戻って次フレームの処理を繰り返し行い、指定フレーム数分の処理が終了したと判定された時点でノイズ低減処理を終了する。
　なお、上記実施形態において、距離Ｄを画素値間距離Ｄｖと時空間距離Ｄｓの積とし、１つの有理関数の変数として重み係数を算出したが、画素値間距離Ｄｖと時空間距離Ｄｓをそれぞれ関数に与えた後の関数値Ｒ（Ｄｖ）とＲ（Ｄｓ）の積で重み係数を算出しても良い。
　更に、距離Ｄを重み係数に変換する関数は有理関数だけでなく、たとえばガウス関数Ｅｘｐ（－ｘ２／２σ２）を用いても良い。この場合の距離Ｄはｘ、修正係数Ｔはσとする事で同様の効果が得られる。また、σを大きくするとガウス関数の幅が広がりを持つようになり、距離相関を打ち消すように作用する。逆に、σを小さくするとガウス関数の幅が狭まり、距離相関をより強調することができる。
〔第２の実施形態〕
　次に、本発明の第２の実施形態について、図９を用いて説明する。
　本実施形態に係る画像処理装置が第１の実施形態と異なる点は、ブロック抽出部１１４の代わりに動き補償部９０１を設けた点である。以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
　図９は、本発明の第２の実施形態についての基本構成を示す機能ブロック図である。
　不図示の撮像部の撮像素子で撮像されデジタルデータとなった動画像信号は、スイッチ１０１に入力され、制御部１１２の制御信号によりフレームメモリ１０２、或いはフレームメモリ１０３とフレーム期間毎に交互に接続されてフレーム期間毎にフレームメモリ１０２、或いはフレームメモリ１０３に格納される。
　フレームメモリ１０２、フレームメモリ１０３の出力は、スイッチ１０４、スイッチ１０５の入力に接続されており、制御部１１２の制御信号により、Ｎラインメモリ１０６、及び動き補償部９０１に接続される。ここで、フレームメモリ１０２がスイッチ１０４を介してＮラインメモリ１０６に接続されると、フレームメモリ１０３はスイッチ１０５を介して動き補償部９０１に接続される。一方、フレームメモリ１０２がスイッチ１０５を介して動き補償部９０１に接続されると、フレームメモリ１０３はスイッチ１０４を介してＮラインメモリ１０６に接続されるように制御部１１２にて制御される。
　Ｎラインメモリ１０６は、フレーム１０２或いはフレームメモリ１０３からノイズ低減処理対象画素の上下所定ライン数分の画素が一時格納される。
　Ｎラインメモリ１０６の出力は、ブロック抽出部１１３を介してノイズ低減部１０７、及び動き補償部９０１の入力に接続されている。
　ノイズ低減部１０７は、ブロック抽出部１１３の出力、動き補償部９０１からの出力、更に制御部１１２からの制御信号が入力されるように接続されている。ノイズ低減部１０７は、ブロック抽出部１１３から出力される処理対象フレームの所定領域画素と、動き補償部９０１にて動き補償された時間的に前後するフレーム画像の所定領域画素と、制御部１１２からの制御信号とに基づいて処理対象画素に対するノイズ低減処理を行う。また、このように算出されたノイズ低減画素を出力信号として、不図示の後段に配置された画像処理部のバッファメモリに出力する。
　また、ノイズ低減部１０７の出力は、スイッチ１０８及びＮラインメモリ１０６の入力に接続されている。ノイズ低減部１０７の出力信号は、Ｎフレームメモリ１０６に格納されているノイズ低減前の処理対象画素値をノイズ低減画素で上書きするのに使われる。これにより、現在フレームに対してもノイズ低減後の画素を使用する巡回型フィルタを形成できるので、より効果的にノイズを低減することができる。
　スイッチ１０８の出力は、制御部１１２の制御信号によりフレーム期間毎にフレームメモリ１０９、或いはフレームメモリ１１０に接続が切り替えられ、ノイズ低減部１０７のノイズ低減画素が対応するフレームメモリ１０９、或いはフレームメモリ１１０に記録される。
　フレームメモリ１０９或いはフレームメモリ１１０は、制御部１１２の制御信号により、スイッチ１１１を介して動き補償部９０１にフレーム期間毎に切り替えて接続される。ここで、スイッチ１０８の出力がフレームメモリ１０９に接続された場合には、フレームメモリ１１０がスイッチ１１１と接続される。一方、スイッチ１０８の出力がフレームメモリ１１０に接続された場合には、フレームメモリ１０９がスイッチ１１１と接続されるように制御部１１２は制御する。
　動き補償部９０１には、接続されているブロック抽出部１１３からの現在ブロック３０２と、スイッチ１０４、スイッチ１０５、及びスイッチ１１１を介して処理対象フレームに対して時間的に前後する未来、及び過去のフレームが入力される。動き補償部９０１は、現在ブロック３０２に対して該未来、及び過去のフレームとの間でそれぞれ相関値が最大となる位置を算出する。そして、最も相関が高い領域を該未来及び過去のフレームから抽出し、未来ブロック３０３及び過去ブロック３０１としてノイズ低減部１０７に出力する。
　制御部１１２は、予め設定された目標ノイズ低減量をノイズ低減部１０７に出力するとともに、スイッチ１０１、１０４、１０５、および１０８、および１１１を上記説明したように連動制御する制御信号を出力する。
　以下、動き補償部９０１の詳細を図１０に基づいて説明する。
　動き補償部９０１に入力される過去フレームの所定探索範囲の抽出画像が、探索範囲格納メモリ１００１に格納される。また、未来フレームの所定探索範囲の抽出画像が、探索範囲格納メモリ１００２に格納される。
　一方、現在ブロックが、動ベクトル決定部（動ベクトル検出部）１００３及び動ベクトル決定部（動ベクトル検出部）１００４に入力される。また、過去フレームの動ベクトル探索範囲（現在ブロックのサイズＮｘ×Ｎｙよりも大きな領域）の抽出画像が、探索範囲格納メモリ１００１から動ベクトル決定部１００３に入力される。また、未来フレームの動ベクトル探索範囲（現在ブロックのサイズＮｘ×Ｎｙよりも大きな領域）の抽出画像が探索範囲格納メモリ１００２から動ベクトル決定部１００４に入力される。
　動ベクトル決定部１００３および１００４は、現在ブロックをパターンマッチングのリファレンス画像として探索範囲の抽出画像内で、画素ピッチで移動しながらパターンマッチング処理を行い、相関が最大となる探索範囲内の位置を動ベクトルとして決定する。ここで、パターンマッチング処理の一例としては、良く知られている差分の絶対値和や自乗和が最小となる位置を相関最大とする方法が利用できる。
　動ベクトル決定部１００３、１００４で決定された動ベクトルは、それぞれブロック抽出部１００５、１００６に入力される。
　ブロック抽出部１００５は、探索範囲格納メモリ１００１に格納されている過去フレームの抽出画像が入力され、決定された過去フレームへの動ベクトルに基づいて過去ブロックが抽出されノイズ低減部１０７へ出力される。
　ブロック抽出部１００６は、探索範囲格納メモリ１００２に格納されている未来フレームの抽出画像が入力され、決定された未来フレームへの動ベクトルに基づいて未来ブロックが抽出されノイズ低減部１０７へ出力される。
　以上のように、本実施形態によると、現在ブロックに対して動き補償により未来ブロック及び過去ブロックを選択するので、第１の実施形態よりも相関が高い３次元ブロックを構成する事ができる。これにより、フィルタ係数算出部２０７にて算出される未来ブロックと過去ブロックに対する重み係数がより大きくなり、加重平均への寄与が増すこととなる。その結果、動画像信号を巡回型ノイズ低減処理でノイズ低減する場合に発生する時間相関の変動に対してノイズ低減量が敏感に反応してしまうことを抑制し、より安定的なノイズ低減が行うことが可能となる。更に、入力動画像信号に適応して目標とするノイズ低減量に自動的に合わせる事が可能であり、撮像素子のゲイン量を変化させた場合にも瞬時に適応できるといった効果を得ることが可能となる。
　なお、上記の各実施形態において、過去ブロックの全画素及び現在ブロックの一部の画素をノイズ低減処理した後の画素値で置き換える巡回型（ＩＩＲ型）を例として記述したが、フィードフォワード型（ＦＩＲ型）で構成する事もできる。この場合、静止領域でのノイズ低減量は巡回型よりも落ちるが、動き領域で発生する残像を抑える収束性能は向上する。さらに、上記第１の実施形態、第２の実施形態において入力信号としてプログレッシブ信号を前提としているが、フィールドインターレース信号であってもよい。この場合、上記の各実施の形態は、フレーム画像をフィールド画像として説明することで、構成される。

Claims (11)

  1. 　時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理装置であって、
    　処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録部と、
    　前記記録部によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出部と、
    　前記記録部によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出部と、
    　前記第１の画素抽出部で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出部で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出部と、
    　前記第１の画素抽出部で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出部で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出部で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出部と、
    　前記第１の距離算出部によって算出された前記時空間距離と前記第２の距離算出部によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減部と、
    　を備える画像処理装置。
  2. 　前記記録部は、
    　記録した前記処理対象フレーム画像あるいはフィールド画像および前記過去のフレーム画像あるいはフィールド画像をノイズ低減処理した画像により上書きする上書き部を有し、
    　前記第１の画素抽出部は、
    　前記処理対象フレーム画像あるいはフィールド画像の画素の一部についてノイズ低減処理した画素を抽出し、
    　前記第２の画素抽出部は、
    　前記過去のフレーム画像あるいはフィールド画像の画素の全てについてノイズ低減処理した画素を抽出する請求項１に記載の画像処理装置。
  3. 　前記ノイズ低減部は、
    　前記第１の距離算出部によって算出された前記時空間距離および前記第２の距離算出部によって算出された前記画素値間距離に基づいて、前記所定領域の複数画素に対する重み係数を算出する重み係数算出部と、
    　前記重み係数算出部によって算出された前記重み係数に基づいて、前記注目画素と前記所定領域の複数画素との加重平均値を算出する加重平均値算出部と、
    　を有する請求項１または２に記載の画像処理装置。
  4. 　前記ノイズ低減部は、
    　前記注目画素のノイズ量を推定するノイズ量推定部を有し、
    　前記ノイズ量推定部によって推定された前記ノイズ量に基づいて前記注目画素のノイズを低減処理する請求項１から３のいずれかに記載の画像処理装置。
  5. 　前記ノイズ低減部は、
    　前記所定領域の複数画素の画素値と前記重み係数算出部によって算出された前記重み係数との積和演算を行う積和演算部を有し、
    　前記ノイズ量推定部は、
    　前記積和演算部によって算出された積和演算値に基づいて前記ノイズ量を推定する請求項４に記載の画像処理装置。
  6. 　前記ノイズ低減部は、
    　前記注目画素のノイズ低減処理前後の画素値に基づいてノイズ低減量を算出するノイズ低減量算出部と、
    　前記ノイズ低減量算出部によって算出された前記ノイズ低減量に基づいて修正係数を算出する修正係数算出部と、
    　を有し、
    　前記修正係数算出部によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から５のいずれかに記載の画像処理装置。
  7. 　前記ノイズ低減部は、
    　前記第１の画素抽出部で抽出された前記注目画素の画素値に基づいて修正係数を算出する修正係数算出部を有し、
    　前記修正係数算出部によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から６のいずれかに記載の画像処理装置。
  8. 　前記ノイズ低減部は、
    　前記処理対象フレーム画像あるいはフィールド画像の所定領域の複数画素と前記過去および未来のフレーム画像あるいはフィールド画像の所定領域の複数画素とに基づいてフレーム間相関量を算出するフレーム間相関量算出部と、
    　前記フレーム間相関量算出部によって算出された前記フレーム間相関量に基づいて修正係数を算出する修正係数算出部と、
    　を有し、
    　前記修正係数算出部によって算出された前記修正係数に基づいて前記重み係数を修正する請求項３から７のいずれかに記載の画像処理装置。
  9. 　前記第２の画素抽出部は、
    　前記処理対象フレーム画像あるいはフィールド画像と前記過去および未来のフレーム画像あるいはフィールド画像との相関量に基づいて動ベクトルをそれぞれ検出する動ベクトル検出部を有し、
    　前記動ベクトル検出部によって検出された前記動ベクトルに基づいて、前記記録部に記録された前記過去および未来のフレーム画像あるいはフィールド画像から所定領域の複数画素を抽出する請求項１から８のいずれかに記載の画像処理装置。
  10. 　時系列で入力されるフレーム画像あるいはフィールド画像のノイズの低減処理をコンピュータに実行させる画像処理プログラムであって、
    　処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録処理と、
    　前記記録処理によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出処理と、
    　前記記録処理によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出処理と、
    　前記第１の画素抽出処理で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出処理と、
    　前記第１の画素抽出処理で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出処理で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出処理で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出処理と、
    　前記第１の距離算出処理によって算出された前記時空間距離と前記第２の距離算出処理によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減処理と、
    　をコンピュータに実行させる画像処理プログラム。
  11. 　時系列で入力されるフレーム画像あるいはフィールド画像のノイズを低減処理する画像処理方法であって、
    　処理対象フレーム画像あるいはフィールド画像と該処理対象フレーム画像あるいはフィールド画像に対して過去および未来のフレーム画像あるいはフィールド画像とを記録する記録工程と、
    　前記記録工程によって記録された前記処理対象フレーム画像あるいはフィールド画像において所定領域の複数画素を抽出する第１の画素抽出工程と、
    　前記記録工程によって記録された前記過去のフレーム画像あるいはフィールド画像および前記未来のフレーム画像あるいはフィールド画像において前記所定領域に対応する領域の複数画素を抽出する第２の画素抽出工程と、
    　前記第１の画素抽出工程で抽出された前記所定領域内の注目画素と前記所定領域の複数画素、および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素との時空間距離を算出する第１の距離算出工程と、
    　前記第１の画素抽出工程で抽出された前記所定領域内の注目画素の画素値と、前記第１の画素抽出工程で抽出された前記所定領域の複数画素の画素値および前記第２の画素抽出工程で抽出された前記所定領域に対応する領域の複数画素の画素値との画素値間距離を算出する第２の距離算出工程と、
    　前記第１の距離算出工程によって算出された前記時空間距離と前記第２の距離算出工程によって算出された前記画素値間距離とに基づいて、前記処理対象フレーム画像あるいはフィールド画像のノイズを低減処理するノイズ低減工程と、
    　を有する画像処理方法。
PCT/JP2008/072135 2007-07-11 2008-12-05 画像処理装置、画像処理方法、および画像処理プログラム WO2010064316A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2008/072135 WO2010064316A1 (ja) 2008-12-05 2008-12-05 画像処理装置、画像処理方法、および画像処理プログラム
US13/118,736 US8411205B2 (en) 2007-07-11 2011-05-31 Noise reducing image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/072135 WO2010064316A1 (ja) 2008-12-05 2008-12-05 画像処理装置、画像処理方法、および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/118,736 Continuation US8411205B2 (en) 2007-07-11 2011-05-31 Noise reducing image processing apparatus

Publications (1)

Publication Number Publication Date
WO2010064316A1 true WO2010064316A1 (ja) 2010-06-10

Family

ID=42232981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/072135 WO2010064316A1 (ja) 2007-07-11 2008-12-05 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2010064316A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017514A1 (ja) * 2010-08-02 2012-02-09 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
JP2013062660A (ja) * 2011-09-13 2013-04-04 Kddi Corp 動画像画質復元装置、動画像画質復元方法、およびプログラム
CN113170029A (zh) * 2018-12-07 2021-07-23 索尼半导体解决方案公司 图像处理装置和图像处理方法
CN114549333A (zh) * 2020-11-27 2022-05-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN115242933A (zh) * 2021-04-22 2022-10-25 广州视源电子科技股份有限公司 一种视频图像去噪方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097510A1 (en) * 2000-06-15 2001-12-20 Sony Corporation Image processing system, image processing method, program, and recording medium
JP2004503960A (ja) * 2000-06-15 2004-02-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像シーケンスのノイズフィルタリング
JP2005160071A (ja) * 2003-11-22 2005-06-16 Samsung Electronics Co Ltd ノイズ減衰装置及び順次走査変換装置
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097510A1 (en) * 2000-06-15 2001-12-20 Sony Corporation Image processing system, image processing method, program, and recording medium
JP2004503960A (ja) * 2000-06-15 2004-02-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像シーケンスのノイズフィルタリング
JP2005160071A (ja) * 2003-11-22 2005-06-16 Samsung Electronics Co Ltd ノイズ減衰装置及び順次走査変換装置
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017514A1 (ja) * 2010-08-02 2012-02-09 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
US8693794B2 (en) 2010-08-02 2014-04-08 Fujitsu Limited Image processing apparatus and image processing method
JP5761195B2 (ja) * 2010-08-02 2015-08-12 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
JP2013062660A (ja) * 2011-09-13 2013-04-04 Kddi Corp 動画像画質復元装置、動画像画質復元方法、およびプログラム
CN113170029A (zh) * 2018-12-07 2021-07-23 索尼半导体解决方案公司 图像处理装置和图像处理方法
CN113170029B (zh) * 2018-12-07 2024-04-12 索尼半导体解决方案公司 图像处理装置和图像处理方法
US12056882B2 (en) 2018-12-07 2024-08-06 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing method
CN114549333A (zh) * 2020-11-27 2022-05-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN115242933A (zh) * 2021-04-22 2022-10-25 广州视源电子科技股份有限公司 一种视频图像去噪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US8373777B2 (en) Image processing apparatus and image processing method
JP5143038B2 (ja) 画像処理装置及び画像処理方法
US8411205B2 (en) Noise reducing image processing apparatus
KR101460688B1 (ko) 화상처리장치 및 그 제어 방법
EP0629083B1 (en) Interlaced-to-progressive scanning converter having a double-smoothing function and a method therefor
KR100564592B1 (ko) 동영상 데이터 잡음제거방법
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP4169188B2 (ja) 画像処理方法
CN101123681A (zh) 一种数字图像降噪方法及装置
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP2001204045A (ja) 動き検出装置
WO2010064316A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2007525132A (ja) 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減
JPH06351002A (ja) 動き信号検出方法およびこれを用いた映像信号処理装置
JP3674186B2 (ja) 画像情報変換装置および方法
JP4875557B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム。
JP2007323635A (ja) ビデオ・イメージの再帰的フィルタリング
JP4244685B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP4222090B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP5178477B2 (ja) 映像信号処理装置及び方法、並びに映像表示装置
JP2009171162A (ja) 映像信号処理装置、映像信号処理プログラム、映像信号処理方法、電子装置
JP3745425B2 (ja) 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ
JP2579014B2 (ja) インタレース／ノンインタレース変換装置
KR100552685B1 (ko) 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08878576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08878576

Country of ref document: EP

Kind code of ref document: A1