WO2011102046A1 - 画像処理システム及び表示装置 - Google Patents
画像処理システム及び表示装置 Download PDFInfo
- Publication number
- WO2011102046A1 WO2011102046A1 PCT/JP2010/071731 JP2010071731W WO2011102046A1 WO 2011102046 A1 WO2011102046 A1 WO 2011102046A1 JP 2010071731 W JP2010071731 W JP 2010071731W WO 2011102046 A1 WO2011102046 A1 WO 2011102046A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- signal
- pixels
- noise
- signal processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 claims abstract description 173
- 230000008569 process Effects 0.000 claims abstract description 167
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 abstract description 39
- 239000004973 liquid crystal related substance Substances 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 28
- 238000011946 reduction process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 239000002245 particle Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000005684 electric field Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
Definitions
- the present invention relates to a noise reduction technique using a digital image processing system, and more particularly to a noise reduction technique for a moving image such as a television and an image processing system and a display device using the technique.
- FIG. 20 to 22 are explanatory diagrams of the adaptive low-pass filter disclosed in Patent Document 1.
- FIG. 20 in order to reduce noise of one processing pixel 1, a value of 9 pixels including 8 adjacent pixels (hereinafter referred to as a pixel value) is used. Then, the noise detection circuit 3 detects whether or not it is noise, and the pixel value of the pixel detected as noise is replaced by the median filter circuit 2 with the median value of these nine pixels. As shown in FIG. 21, the median indicates the fifth pixel value at the center when the pixel values of 9 pixels are arranged in descending order.
- the noise detection circuit 3 includes a vertical noise detection circuit 5 and a horizontal noise detection circuit 6 as shown in FIG.
- the vertical noise detection circuit 5 takes the difference between the pixel values of the target pixel and the upper and lower pixels, and if it exceeds the threshold, it is determined as a vertical noise candidate.
- the horizontal noise detection circuit 6 takes a difference between pixel values of the target pixel and the left and right pixels, and determines a horizontal noise candidate if the threshold value is exceeded.
- the pixel value is replaced with the median value.
- Japanese Patent Publication Japanese Patent Laid-Open No. 2006-191454 (published July 20, 2006)”
- FIG. 23 shows an original image with discrete noise added in analog broadcasting.
- FIG. 24 shows an image obtained by processing this image using the means of Patent Document 1.
- FIG. 23 shows an original image with discrete noise added in analog broadcasting.
- FIG. 24 shows an image obtained by processing this image using the means of Patent Document 1.
- an object of the present invention is to provide an image processing system and a display device that have an effect of reducing noise as compared with the means of Patent Document 1 and that have means for reducing blur as compared with means using a low-pass filter. .
- an image processing system is an image processing system arranged in a matrix and having pixels corresponding to input image data as a processing target. And a signal processing circuit for executing a signal processing process for adding and subtracting a predetermined amount of noise according to a result of comparing the signal levels of at least two peripheral pixels of the processing pixel, the signal processing circuit comprising a time axis or a space It is characterized in that a predetermined amount of noise is added to or subtracted from data of pixels adjacent on the axis by different signal processing processes.
- the noise reduction processing is performed by the signal processing circuit by adding and subtracting a predetermined amount of noise to the data of pixels adjacent in the time axis or space axis by different signal processing processes. .
- the pixels that are adjacent on the time axis or the space axis are subjected to noise reduction processing by different signal processing processes.
- noise reduction processing cannot be performed properly unless it is properly detected whether or not noise is generated in the processing pixel.
- noise reduction processing when noise reduction processing is performed on the adjacent pixels on the time axis or space axis by the same signal processing process, if noise is not properly detected, noise reduction processing on two adjacent pixels is performed appropriately. If it cannot be performed and noise is generated in both of the processing pixels, the noise remains in two adjacent pixels. As a result, the noise becomes large and the noise becomes conspicuous.
- noise reduction processing is performed by different signal processing processes on adjacent pixels on the time axis or space axis, so that there is a probability that noise reduction can be appropriately performed by one signal processing process.
- s where t is the probability that noise reduction can be appropriately performed by the other signal processing process, the probability that noise reduction can be appropriately performed by any one of the signal processing processes is s + (1 ⁇ s) t. This is greater than either probability s or probability t. For this reason, for example, when noise occurs in both adjacent pixels, the probability of appropriate noise reduction by either signal processing program is increased, and the probability that continuous noise remains can be reduced.
- noise generated simultaneously in consecutive pixels that is, large noise particles due to continuous noise are not formed, so that the noise of the image after noise reduction processing can be made less noticeable.
- the noise amount set in advance is simply added to or subtracted from the pixel value of the processing pixel, the pixel values of the processing pixel and the surrounding pixels are close to some extent by the amount of noise generated, but the sharpness due to the difference in pixel value remains.
- the blurring of the image is reduced even after the noise reduction processing, as compared with the case where the pixel value of the pixel in which the noise is generated is replaced with the intermediate value of the peripheral pixels as in Patent Document 1. Can do.
- the signal processing circuit in the image processing system of the present invention can be realized as follows.
- the signal processing circuit is a pixel a and a pixel d that are adjacent on the time axis or the space axis
- the pixel a is separated from the processing pixel a by n (n is an integer) pixels on the time axis or the space axis.
- the signal level is the signal level of the pixels e and f
- a predetermined noise amount x is subtracted from the data of the pixel d, and when the signal level of the pixel d is compared with the signal levels of the pixels e and f, the pixel d It is preferable to execute a second signal processing process of adding a predetermined amount of noise x from the data.
- the integers n, m, p, and q satisfy the relationship of n ⁇ p and m ⁇ q.
- the first signal processing process is separated from the processing pixel a by a pixel b separated from the pixel a by n (n is an integer) on the time axis or space axis, and -m (m is an integer).
- the signal level of the pixel a is a maximum value compared with the signal levels of the pixels b and c
- the predetermined noise amount x is subtracted from the data of the pixel a, and the signal of the pixel a is used.
- the level takes a minimum value compared with the signal level of the pixels b and c
- a process of adding a predetermined noise amount x from the data of the pixel a is executed, and the second signal processing process is performed on the processing pixel d.
- a predetermined amount of noise x is subtracted from the data of the pixel d and the signal level of the pixel d is compared with the signal level of the pixels e and f and takes a minimum value
- An image processing system is an image processing system arranged in a matrix and having a pixel corresponding to input image data as a processing target. At least two of the processing pixels are processed with respect to processing pixel data.
- a signal processing circuit that executes a signal processing process for adding and subtracting a predetermined amount of noise according to a result of comparing signal levels of peripheral pixels, and the signal processing circuit includes data of pixels adjacent in the time axis or the space axis In contrast, a predetermined amount of noise is added and subtracted by different signal processing processes.
- noise generated simultaneously in consecutive pixels that is, large noise particles due to continuous noise are not formed, so that the noise of the image after noise reduction processing can be made less noticeable.
- the noise amount set in advance is simply added to or subtracted from the pixel value of the processing pixel, the pixel values of the processing pixel and the surrounding pixels are close to some extent by the amount of noise generated, but the sharpness due to the difference in pixel value remains.
- the blurring of the image is reduced even after the noise reduction processing, as compared with the case where the pixel value of the pixel in which the noise is generated is replaced with the intermediate value of the peripheral pixels as in Patent Document 1. Can do.
- FIG. 2 is a schematic configuration block diagram of an NR circuit in an image processing engine provided in the liquid crystal display device shown in FIG. 1.
- FIG. 3 is a schematic configuration block diagram of the NR circuit shown in FIG. 2. It is a figure explaining the process pattern performed by the signal processing process in the NR circuit shown in FIG. It is a figure which shows the example of an image which performed the noise reduction process using the process pattern shown in FIG. It is an enlarged view of the image which performed the conventional noise reduction process.
- FIG. 6 is an enlarged view of the image shown in FIG. 5.
- FIG. 5 is a schematic configuration block diagram of an NR circuit in an image processing engine provided in the liquid crystal display device shown in FIG. 1.
- FIG. 3 is a schematic configuration block diagram of the NR circuit shown in FIG. 2. It is a figure explaining the process pattern performed by the signal processing process in the NR circuit shown in FIG. It is a figure which shows the example of an image which performed the noise reduction process using the process pattern shown in FIG. It is an enlarged view of the image
- FIG. 6 is a schematic configuration block diagram showing another example of the NR circuit in the image processing engine provided in the liquid crystal display device shown in FIG. 1. It is a figure explaining the processing pattern performed by the signal processing process in the NR circuit shown in FIG. It is a figure which shows the example of an image which performed the noise reduction process using the process pattern shown in FIG. It is an enlarged view of the image shown in FIG. It is a figure which shows the example of an image which performed the noise reduction process using the process pattern shown in FIG.
- FIG. 6 is a schematic configuration block diagram showing another example of the NR circuit in the image processing engine provided in the liquid crystal display device shown in FIG. 1.
- the scanning state in an interlace signal is shown, (a) is a figure which shows the state which is scanning the 1st frame (even number line), (b) is the 2nd frame (odd line).
- the scanning state in FPD is shown, (a) is a figure which shows the state which is scanning the 1st frame and (b) is the 2nd frame.
- IP conversion processing It is a figure which shows an example of arrangement
- FIG. 21 is a block diagram schematically illustrating a configuration of a noise detection circuit in the adaptive low-pass filter illustrated in FIG. 20. It is a figure which shows the original image used as a noise reduction process target. It is a figure which shows the image which performed the noise reduction process of the original image shown in FIG. 23 by the adaptive low-pass filter shown in FIG.
- NTSC National Television System Committee
- PAL Phase Alternating Line
- the noise is not only on one pixel but also on a plurality of continuous pixels. In such a case, when noise on a plurality of pixels is not dropped and I / P conversion is performed, it becomes a large noise particle and becomes very conspicuous.
- a first image processing system is an image processing system that is arranged in a matrix and uses pixels corresponding to input image data as processing targets.
- the noise can be made inconspicuous by making at least the signal processing process executable.
- the pixel b and ⁇ m (n) are separated from the pixel a by n (n is an integer) on the time axis or space axis with respect to the pixel a.
- m is an integer
- the pixel e is separated from the processing pixel d by a pixel e that is p (p is an integer) pixels away from the pixel d on the time axis or the space axis.
- a predetermined noise amount x from the data of the pixel d Is subtracted, and when the signal level of the pixel d is compared with the signal levels of the pixels e and f and takes a minimum value, a predetermined noise amount x is added from the data of the pixel d.
- the pixel a and the pixel d are adjacent on the time axis or the space axis, and the integers n, m, p, and q satisfy the relationship of n ⁇ p and m ⁇ q.
- noise reduction processing is performed using different parameters for the pixels a and d that are adjacent on the time axis or the space axis.
- the probability that noise can be reduced with one parameter is s
- the probability that noise can be reduced with the other parameter is t
- the probability that noise can be reduced with either parameter is s + (1 ⁇ s) t. This is greater than either probability s or probability t.
- the probability that noise can be reduced increases with either parameter, and the probability that continuous noise remains can be reduced.
- the noise on the plurality of pixels does not drop and does not become a large noise grain as in the case of I / P conversion, so that the noise can be made less noticeable.
- pixels to be processed with two parameters are arranged adjacent to each other. For example, as shown in FIG. 17, pixels with different parameters are arranged in a zigzag pattern. As a result, the noise particles become small, and even if all the noise cannot be removed well, it can be made inconspicuous.
- first signal processing process and the second signal processing process are performed in the vertical direction and then in the horizontal direction, the following four combinations of parameters are provided.
- Vertical first signal processing process ⁇ Horizontal first signal processing process (2) Vertical first signal processing process ⁇ Horizontal second signal processing process (3) Vertical second signal processing process ⁇ Horizontal first 1 signal processing process (4) vertical second signal processing process ⁇ horizontal second signal processing process
- pixels having different parameters are arranged in a grid rather than a staggered pattern. It will be.
- the noise reduction means used in the means of the present invention is determined in advance by determining that the pixels having the maximum value and the minimum value have noise compared to nearby pixels as shown in FIG. Subtract or add noise amount.
- This method of determining the amount of noise affects the noise reduction effect.
- the average noise amount is detected by dividing the sum of the absolute values of the value Era by the number of pixels determined to have noise.
- the amount of noise is substantially constant over a plurality of frames, by using the average noise amount as the noise amount x of the next frame (or field), it is possible to correctly estimate the noise amount and reduce the noise. .
- FIG. 1 is a block diagram showing the overall configuration of a liquid crystal display device 101 as a display device to which the first image processing system is applied.
- the liquid crystal display device 101 includes an LCD module 102 for displaying an image, an image processing engine 103 for supplying a video signal for display to the LCD module 102, and the image processing engine 103.
- the configuration includes at least a detection circuit 104 for detecting the supplied video signal.
- a description will be given assuming a broadcast wave as the video signal.
- the broadcast wave signal system is an interlaced signal such as NTSC system or PAL system.
- the video signal broadcast in the image processing engine 103 is detected by the detection circuit 104 and then input to the NR (noise reduction) circuit 106 through the Y / C separation circuit 105.
- the signal processing process in the first image processing system of the present invention is applied to the NR circuit 106.
- the video signal input to the NR circuit 106 is then I / P converted through the I / P conversion circuit 107 and supplied to the LCD module 102.
- the supplied video signal is displayed on an LCD (liquid crystal panel) 109 through a TCON (timing controller) 108.
- FIG. 2 is a schematic block diagram of the NR circuit 106.
- the NR circuit 106 includes a latch circuit D, a signal processing process circuit Mxf, and an H memory circuit H.
- the input video signal is latch circuits aD, bD, cD, and eD (where a, b, c, and d are coefficients appropriately set according to processing). Delayed and input to the signal processing circuit Mxf (signal processing circuit).
- the signal processing process circuit Mxf includes a first signal processing process circuit Mxf (1) that executes the first signal processing process in the first image processing system of the present invention and a second signal processing process that executes the second signal processing process.
- the circuit Mxf (2) includes two signal processing process circuits.
- the first and second signal processing process circuits Mxf (1) (2) use the processing pattern shown in FIG. 4 in order to execute the processing process.
- the first signal processing process circuit Mxf (1) has the pixel Ai (j-4) and the pixel Ai (j + 2) of the pixel Aij for even D odd H or odd D even H shown in FIG. A signal is input.
- the signal Yij of the pixel Aij is smaller than the signal Yi (j + 2) of the pixel Ai (j-4) or the signal Yi (j + 2) of the pixel Ai (j + 2), Yij + x is output.
- the result of the first signal processing process circuit Mxf (1) is YOij.
- x is a predetermined amount of noise.
- the second signal processing process circuit Mxf (2) has the pixel Ai (j ⁇ 1) and the pixel Ai (j + 3) of the pixel Aij for the odd D odd H or even D even H shown in FIG. A signal is input.
- YEij is selected for the odd pixels of the odd lines and the even pixels of the even lines.
- YOij is selected for even pixels on odd lines and odd pixels on even lines. The result is YXij.
- the noise in the vertical direction may be further reduced as follows. That is, the third signal processing process (3) and the fourth signal processing process (4) in the vertical direction may be executed in addition to the horizontal direction.
- the signal processing result YXij is obtained from the line memories fH, gH, hH, and oH (where f, g, h, and o are respectively processed in the H memory circuit H at the subsequent stage. And is input to the signal processing circuit Myf.
- the signal processing process circuit Myf includes a third signal processing process circuit Myf (3) that executes the third signal processing process in the first image processing system of the present invention and a fourth signal processing process that executes the fourth signal processing process.
- the circuit Myf (4) includes two signal processing process circuits.
- the third and fourth signal processing process circuits Myf (1) (2) use the processing pattern shown in FIG. 4 in order to execute the processing process.
- the third signal processing process circuit Myf (1) has a pixel A (i-4) j and a pixel A (i + 2) j corresponding to the pixel Aij for the odd number D even H or the even number D odd H in FIG. Signal is input.
- the result of the third signal processing process circuit Myf (1) is YTij. Note that y is a predetermined amount of noise.
- the fourth signal processing process Myf (2) has a pixel A (i ⁇ 1) j and a pixel A (i + 3) for the pixel Aij for odd-numbered odd-numbered odd H or even-numbered D even-numbered H shown in FIG.
- the j signal is input.
- the result of the fourth signal processing process circuit Myf (2) is YUij.
- y is a predetermined amount of noise.
- YTij is selected for even pixels on odd lines and odd pixels on even lines.
- YUij is selected for odd pixels on odd lines and even pixels on even lines. The result is YYij.
- the above-mentioned first signal processing process circuit Myf (1) to fourth signal processing process circuit Myf (4) can be realized by the circuit shown in FIG. 3, for example.
- FIG. 5 shows the result of applying the signal processing algorithm (processing pattern shown in FIG. 4) for noise reduction by the NR circuit 106 described above to the original image shown in FIG. Note that MATLAB was used for verification of this algorithm.
- FIG. 6 shows the result when the third signal processing process circuit Myf (1) is selected after execution of the second signal processing process in the second signal processing process circuit Mxf (2) of FIG. 2 in all pixels. Indicates.
- the signals of the pixel Ai (j ⁇ 1) and the pixel Ai (j + 3) are input to the pixel Aij using the second signal processing process circuit Mxf (2).
- the signals of the pixel A (i-4) j and the pixel A (i + 2) j are input to the pixel Aij using the third signal processing process circuit Myf (1).
- FIG. 6 is compared with FIG. 7 which is an enlarged view of FIG. 5 showing an image obtained as a result, FIG. 6 shows a noticeable vertical stripe.
- FIG. 7 since the noise becomes granular, it can be seen that the vertical stripes are not noticeable.
- the signal Yij of the pixel Aij is larger (or smaller) than the signals of the two pixels to be compared by x / A and y / A.
- the noise amounts x and y may be adjusted only in the case (A is a real number of 1 or more). This is effective in order to suppress blur and prevent the subtle changes inherent in the video from being crushed.
- the noise amounts x and y can be derived from the magnitude of noise riding on the blanking period.
- the liquid crystal display device 101 as a display device to which the second image processing system of the present invention is applied is the same as that in the first embodiment. Is omitted.
- FIG. 8 is a schematic block diagram of the NR circuit 116 according to the present embodiment.
- the NR circuit 116 includes a latch circuit D, a signal processing circuit Mxf, and an H memory circuit H, and further includes a noise amount detection circuit DE (noise amount) as shown in FIG.
- the configuration includes a detection circuit DEx and a noise amount detection circuit DEy).
- the noise amount detection circuit DEx is a circuit that is not included in the NR circuit 106 of the first embodiment.
- the first signal processing process circuit Mxf (1) and the second signal processing process circuit Mxf (2) detect the noise amount xij.
- the signals of the pixel Aij, the pixel Ai (j-4), and the pixel Ai (j + 2) are input to the first signal processing process circuit Mxf (1).
- the signal Yij of the pixel Aij is larger than the signal Yi (j + 2) of the pixel Ai (j-4) or the signal Yi (j + 2) of the pixel Ai (j + 2) (if it is the maximum), a value less than or equal to the noise amount xij And
- xij Yij ⁇ (Yi (j ⁇ 4) + Yi (j + 2)) / 2
- the signal Yij of the pixel Aij is smaller than the signal Yi (j + 2) of the pixel Ai (j-4) or the signal Yi (j + 2) of the pixel Ai (j + 2) (if it is the minimum)
- xij (Yi (j-4) + Yi (j + 2)) / 2-Yij
- the signals of the pixel Aij, the pixel Ai (j ⁇ 1), and the pixel Ai (j + 3) are input to the second signal processing process circuit Mxf (2).
- the signal Yij of the pixel Aij is larger than the signal Yi (j-1) of the pixel Ai (j-1) and the signal Yi (j + 3) of the pixel Ai (j + 3) (if it is the maximum), the value less than or equal to the noise amount xij And
- xij Yij ⁇ (Yi (j ⁇ 1) + Yi (j + 3)) / 2 Or, if the signal Yij of the pixel Aij is smaller than the signal Yi (j ⁇ 1) of the pixel Ai (j ⁇ 1) and the signal Yi (j + 3) of the pixel Ai (j + 3) (if it is the minimum), the value less than or equal to the noise amount xij And
- xij (Yi (j-1) + Yi (j + 3)) / 2-Yij
- the noise amount yij is detected by the third signal processing process circuit Myf (1) and the fourth signal processing process circuit Myf (2).
- the signals of the pixel Aij, the pixel A (i-4) j, and the pixel A (i + 2) j are input to the third signal processing process circuit Myf (1).
- the value is less than or equal to Is a noise amount yij.
- yij YXij ⁇ (YX (i ⁇ 4) j + YX (i + 2) j) / 2 Or, if the signal YXij of the pixel Aij is smaller than the signal YX (i-4) j of the pixel A (i-4) j or the signal Y (i + 2) j of the pixel A (i + 2) j (if it is minimum), the value is equal to or less than Is a noise amount yij.
- yij (YX (i-4) j + YX (i + 2) j) / 2-YXij
- the signals of the pixel Aij, the pixel A (i ⁇ 1) j, and the pixel A (i + 3) j are input to the fourth signal processing process circuit Myf (2).
- the value is equal to or less than Is a noise amount yij.
- yij YXij ⁇ (YX (i ⁇ 1) j + YX (i + 3) j) / 2 Or, if the signal YXij of the pixel Aij is smaller than the signal YX (i + 3) j of the pixel A (i ⁇ 1) j and the signal YX (i + 3) j of the pixel A (i + 3) j, the value is less than or equal to Is a noise amount yij.
- yij (YX (i-1) j + YX (i + 3) j) / 2-YXij
- the fourth signal processing process circuit Myf (1) is supplied to (2).
- FIG. 10 shows the result of processing the original image shown in FIG. 23 by using these noise detection circuits DEx and DEy and using the lattice processing pattern shown in FIG.
- the noise amount is detected by this noise amount determination process, so that the noise is reduced as compared with the case where the noise amount is fixed. It can be seen that the obtained image can be obtained. Furthermore, even if the image shown in FIG. 11 obtained by enlarging the image shown in FIG. 10 is compared with the image shown in FIG. 7 obtained by enlarging FIG. 5, it is preferable that noise is reduced in this embodiment. I understand.
- FIG. 10 different noise amounts are set for the luminance signal Y and the color signal CrCb.
- the detected noise amounts x and y are shown below.
- the noise reduction process may be performed only on the luminance signal Y in order to reduce the circuit scale.
- the result detected by the first signal processing process circuit Mxf (1) may be used in all signal processing processes.
- the signal Yij of the pixel Aij is larger than the signal Yi (j ⁇ 1) of the pixel Ai (j ⁇ 1) or the signal Yi (j + 1) of the pixel Ai (j + 1) (if it is the maximum), the value less than or equal to the noise amount xij And
- xij Yij ⁇ (Yi (j ⁇ 1) + Yi (j + 1)) / 2
- the signal Yij of the pixel Aij is smaller than the signal Yi (j + 1) of the pixel Ai (j ⁇ 1) or the signal Yi (j + 1) of the pixel Ai (j + 1), the value less than or equal to the noise amount xij
- the signal Yij of the pixel Aij is smaller than the signal Yi (j + 1) of the pixel Ai (j ⁇ 1) or the signal Yi (j + 1) of the pixel Ai (j + 1)
- xij (Yi (j-1) + Yi (j + 1)) / 2-Yij
- FIG. 12 shows the result of signal processing by applying this noise amount to the y direction.
- the noise amount detection in the NR circuit 116 shown in FIG. 8 detects the noise amount with the same number of taps as in the signal processing process, but is not limited to this.
- the number of taps for noise amount detection (2) may be used for the number of taps for processing process (4). That is, it is not necessary to make the number of taps for signal processing and noise amount detection the same.
- noise reduction processing shown in the first and second embodiments is targeted within the field (or within the frame), it goes without saying that effective treatments in the left and right and up and down directions are also effective in the time axis direction.
- this signal processing process can be applied in the field direction (or frame direction) before the noise reduction processing shown in the first and second embodiments.
- This increases the memory capacity and increases the cost, but has the advantage of obtaining a video with less noise.
- the signal processing process may be different between adjacent pixels in the vertical and horizontal order.
- the present invention is not limited to this.
- the vertical direction of the adjacent pixels or Noise reduction processing may be performed by a different signal processing process only in one of the horizontal directions.
- the signal processing process circuit Mxf (signal processing circuit) executes the first and second signal processing processes again after changing the time axis or the space axis after the first and second signal processing processes. Also good.
- the first and second signal processing processes are performed again by changing the time axis or the spatial axis, thereby executing the first and second signal processing processes that are executed first.
- Noise that could not be removed by the second signal processing process can be reduced by executing the first and second signal processing processes in which the time axis or the space axis is changed.
- noise can be reduced more reliably, so that the noise of the video after the noise reduction processing can be made less noticeable.
- the signal processing process circuit Mxf may change the amount of noise to be added / subtracted after the first and second signal processing processes and execute the first and second signal processing processes again. Good.
- the amount of noise to be added / subtracted is changed, and the first and second signal processing processes are executed again, whereby the first and second signal processings that are executed first are performed. Noise that could not be removed by the two-signal processing process can be reduced by executing the first and second signal processing processes in which the amount of noise to be added / subtracted is changed.
- noise can be reduced more reliably, so that the noise of the video after the noise reduction processing can be made less noticeable.
- the signal processing process circuit Mxf (signal processing circuit) includes, before or after the first and second signal processing processes, a pixel h that is separated from the pixel g by r pixels on the time axis or the space axis with respect to the processing pixel g.
- a predetermined noise amount y is added to add a predetermined noise amount y from the data of the pixel g. You may do it.
- a third signal processing process for performing noise reduction processing by the signal processing process is executed.
- the noise of each pixel is reduced to some extent when the first and second signal processing processes are executed. Therefore, it is possible to perform noise reduction more reliably by executing the first and second signal processing processes.
- the noise of the pixels that could not be reduced in noise during the execution of the first and second signal processing processes is expressed as the third signal. Since it can be reduced by executing the processing process, noise can be reduced more reliably.
- the signal processing process circuit Mxf (signal processing circuit) has a pixel b and ⁇ m (m is an integer) separated from the processing pixel a by n (n is an integer) pixels on the time axis or the space axis.
- the predetermined noise amount x is subtracted from the data of the pixel a.
- the amount of noise x is determined from the value It may be executed and that the noise amount determining process.
- the noise amount x used in the first signal processing process executed for the processing pixel a is compared with the signal level of the processing pixel a with the signal level of the pixels b and c, and the maximum value Alternatively, when taking the minimum value, the difference between the signal level of the pixel a and the average value of the signal levels of the pixels b and c is averaged over a certain period, and the noise amount x is determined from the average value. Thus, it is possible to perform the noise reduction processing of the processing pixel a more appropriately. Thereby, noise can be made more inconspicuous.
- the signal processing process circuit Mxf applies the first signal processing process to the second frame or field in the video signal, and the noise amount to the first frame or field immediately before it. A decision process may be applied.
- the amount of noise is substantially constant over a plurality of frames, if the noise amount determination process is performed for the first first frame, the second frame, which is the next frame, is also the second frame. Even if the noise amount obtained in one frame is used, noise can be reliably reduced.
- the signal processing process circuit Mxf (signal processing circuit) path is connected to the pixel d adjacent to the pixel a in the time axis or the space axis by pixels p, separated from the pixel d by p pixels in the time axis or the space axis.
- a predetermined noise amount x is subtracted from the data of the pixel d, and the pixel d
- the second signal processing process of adding a predetermined noise amount x from the data of the pixel d may be executed when the signal level of the pixel e is compared with the signal level of the pixels e and f and takes a minimum value.
- noise amount x used in each signal processing process is obtained from the signal level of the surrounding pixels, noise can be appropriately reduced.
- the above-described image processing system may be applied to a display device for displaying an image such as a liquid crystal display device by pixels arranged in a matrix.
- the image processing system of the present invention when displaying a noisy video signal (video signal when the electric field is weak in analog broadcasting, video signal obtained by digitizing analog video recorded in digital broadcasting), the image processing system of the present invention is displayed on the display device. If applied, noise reduction and blur reduction can be achieved at the same time, so that an image with high display quality can be displayed.
- the present invention can be applied to an apparatus that processes an image signal and an audio signal.
- the present invention can be suitably applied to a display device that displays a still image, a moving image, and the like and an electronic device including the display device.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Processing (AREA)
- Liquid Crystal Display Device Control (AREA)
Abstract
本発明の液晶表示装置(101)は、処理画素のデータに対して、当該処理画素の少なくとも2つの周辺画素の信号レベルを比較した結果に応じて予め定めるノイズ量を加減算する信号処理プロセスを実行するNR回路(106)を備え、上記NR回路(106)は、時間軸または空間軸で隣接している画素のデータに対して、それぞれ異なる信号処理プロセスにより予め定めるノイズ量を加減算する。これにより、ノイズ低減効果とノイズ低減処理後の画像のボケが少ない液晶表示装置を提供することができる。
Description
本発明は、デジタル画像処理システムを用いたノイズ低減技術に関し、特にテレビなどの動画像のノイズ低減技術とその技術を用いた画像処理システム及び表示装置に関する。
日本では2011年にアナログ放送が停波する。先進各国でもアナログ放送が終わり、デジタル放送へ切り替わろうとしている。このため、2011年頃まで先進各国でテレビ買い換え需要が盛り上がることが見込める。
しかし、2012年以降の先進各国のテレビ需要は低迷するものと思われる。一方、アジアや南米の新興国では高い経済成長率を背景に、2012年以降もテレビ需要が盛り上がることが期待されている。このため、2012年以降のテレビ市場は新興国市場が中心になるものと思われる。
しかしながら、新興国では放送環境が劣悪なため、アナログ放送では電界が弱くノイズの多い映像信号となる。また、デジタル放送でも過去に録画したアナログ映像をデジタル化し再放送することも多く、ノイズの多い映像信号となる。このため、新興国で必要とされるテレビには、ノイズ低減技術が不可欠である。
このノイズ低減技術としてローパスフィルタが知られているが、ローパスフィルタを用いるとノイズを低減させることができるものの、映像が惚けるという課題がある。
既に新興国市場で販売されている液晶テレビは画像処理回路をデジタル化したものであるため、ノイズ低減のために、デジタル技術を用いた適応型ローパスフィルタが用いられる。このような適応型ローパスフィルタは、例えば特許文献1に開示されている。
図20~図22は、特許文献1に示された適応型ローパスフィルタの説明図である。この技術では、図20に示すように、1つの処理画素1のノイズを落とすため、隣接する8画素を含む9画素の値(以下、画素値と称する)を用いる。そしてノイズ検出回路3でノイズか否かを検出し、ノイズと検出された画素の画素値はメディアンフィルタ回路2によりこれら9画素の画素値の中央値に置き換えられる。なお、中央値とは、図21に示すように、9画素の画素値を大きい順に並べたとき、中央の5番目の画素値を指す。
ノイズ検出回路3は、図22に示すように、垂直方向ノイズ検出回路5と水平方向ノイズ検出回路6などから成る。
垂直方向ノイズ検出回路5では、対象画素と上下の画素との画素値の差分をとり、供に閾値を超えていれば垂直ノイズ候補とする。
水平方向ノイズ検出回路6では、対象画素と左右の画素との画素値の差分をとり、供に閾値を超えていれば水平ノイズ候補とする。
そして、対象画素が垂直ノイズ候補であり、かつ、水平ノイズ候補であるときその画素値を上記中央値に置き換える。
ここで、図23にアナログ放送で見られる離散的なノイズを付加した原画像を示す。この画像に、上記特許文献1の手段を用い処理した画像を図24に示す。図23に示す画像と図24に示す画像とを比較すると分かる通り、上記特許文献1の手段によりある程度ノイズを落とす効果はある。しかしながら、ノイズが未だかなり残っており、その効果は充分とは言えないことが分かる。
しかも、特許文献1に記載のように、ノイズ低減の処理に、ローパスフィルタを用いて、ノイズが発生している画素の画素値を、周辺画素の中間値に置換えた場合、処理画素と周辺画素とにおいて、画素値が近い値になるので、画素値の差によるメリハリがなくなり、その結果、ノイズ低減処理後の映像が惚けるという問題がある。
そこで、本発明は、上記特許文献1の手段よりノイズを落とす効果があり、かつ、ローパスフィルタを用いた手段よりボケを少なくする手段を有する画像処理システム及び表示装置を提供することを目的とする。
上記の課題を解決するために、本発明の画像処理システムは、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、処理画素のデータに対して、当該処理画素の少なくとも2つの周辺画素の信号レベルを比較した結果に応じて予め定めるノイズ量を加減算する信号処理プロセスを実行する信号処理回路を備え、上記信号処理回路は、時間軸または空間軸で隣接している画素のデータに対して、それぞれ異なる信号処理プロセスにより予め定めるノイズ量を加減算することを特徴としている。
上記の構成によれば、信号処理回路により、時間軸または空間軸で隣接している画素のデータに対して、それぞれ異なる信号処理プロセスにより予め定めるノイズ量が加減算され、ノイズ低減の処理が行われる。つまり、時間軸または空間軸で隣接している画素は、それぞれ異なる信号処理プロセスによりノイズ低減の処理が行われることになる。
ここで、上記信号処理プロセスでは、処理画素にノイズが発生しているか否かを適切に検出しなければ、ノイズ低減の処理も適切に行えない。つまり、時間軸または空間軸で隣接する画素が、同じ信号処理プロセスによるノイズ低減の処理が行われた場合、ノイズが適切に検出されなければ、隣接する2つの画素に対するノイズ低減の処理が適切に行えず、処理画素の両方にノイズが発生していれば、隣接する2つの画素でノイズが残ることになり、その結果、ノイズが大きくなり、ノイズが目立ちやすくなる。
従って、上記構成のように、時間軸または空間軸で隣接する画素で、それぞれ異なる信号処理プロセスによりノイズ低減の処理が行われることで、仮に一方の信号処理プロセスによりノイズ低減が適切に行える確率をs、他方の信号処理プロセスによりノイズ低減が適切に行える確率をtとすると、何れかの信号処理プロセスによりノイズ低減が適切に行える確率はs+(1-s)tとなる。これは確率sと確率tの何れよりも大きいことになる。このため、例えば隣接する画素の両方でノイズが発生している場合、どちらかの信号処理プログラムによるノイズ低減を適切に行える確率が上がり、連続したノイズが残る確率を低下できる。
これにより、連続した画素に同時に発生したノイズ、すなわち連続したノイズによる大きなノイズの粒が形成されることがないので、ノイズ低減処理後の映像のノイズをより目立たなくすることができる。
しかも、上記構成では、処理画素の画素値に予め設定したノイズ量を加減算するだけなので、処理画素と周辺画素とにおける画素値がノイズ発生分だけある程度近くなるものの、画素値の差によるメリハリが残り、その結果、特許文献1のように、ノイズが発生している画素の画素値を、周辺画素の中間値に置換えた場合よりも、ノイズ低減処理後であっても映像のボケを少なくすることができる。
よって、特許文献1の手段よりノイズを低減できる効果があり、かつ、ローパスフィルタを用いた手段よりボケを少なくできるという効果を奏する。
本発明の画像処理システムにおける上記信号処理回路は、以下のようにして実現できる。
すなわち、信号処理回路は、時間軸または空間軸において隣接する画素a,画素dとしたとき、処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する第1信号処理プロセスと、処理画素dに対し、前記画素dと時間軸または空間軸でp(pは整数)画素離れた画素eと-q(qは整数)画素離れた画素fとを用い、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する第2信号処理プロセスとを実行するのが好ましい。ここで、前記整数n,m,p,qは、n≠p、m≠qとなる関係を満たしている。
上記構成において、上記第1信号処理プロセスは、処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する処理を実行し、上記第2信号処理プロセスは、処理画素dに対し、前記画素dと時間軸または空間軸でp(pは整数)画素離れた画素eと-q(qは整数)画素離れた画素fとを用い、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する処理を実行していることから、上記第1信号処理プロセスと第2信号処理プロセスとは異なるノイズ低減処理を実行していることが分かる。
従って、画素a,画素dの両画素にノイズが発生し、連続したノイズとなり得るような状態であっても、両画素のノイズのうち両方のノイズが残る確率は非常に低くなるので、連続したノイズによる大きなノイズの粒が形成されることはない。この結果、ノイズ低減処理後の映像のノイズを目立ち難くすることができる。
本発明の画像処理システムは、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、処理画素のデータに対して、当該処理画素の少なくとも2つの周辺画素の信号レベルを比較した結果に応じて予め定めるノイズ量を加減算する信号処理プロセスを実行する信号処理回路を備え、上記信号処理回路は、時間軸または空間軸で隣接している画素のデータに対して、それぞれ異なる信号処理プロセスにより予め定めるノイズ量を加減算する構成である。
上記の構成によれば、連続した画素に同時に発生したノイズ、すなわち連続したノイズによる大きなノイズの粒が形成されることがないので、ノイズ低減処理後の映像のノイズをより目立たなくすることができる。
しかも、上記構成では、処理画素の画素値に予め設定したノイズ量を加減算するだけなので、処理画素と周辺画素とにおける画素値がノイズ発生分だけある程度近くなるものの、画素値の差によるメリハリが残り、その結果、特許文献1のように、ノイズが発生している画素の画素値を、周辺画素の中間値に置換えた場合よりも、ノイズ低減処理後であっても映像のボケを少なくすることができる。
よって、特許文献1の手段よりノイズを低減できる効果があり、かつ、ローパスフィルタを用いた手段よりボケを少なくできるという効果を奏する。
本発明の実施形態について以下に説明する。なお、本実施形態を説明する前に、本発明の原理説明を行い、続いて、各実施形態について説明する。
<本発明の原理説明>
SDTV放送で用いられる、NTSC( National Television System Committee)方式やPAL( Phase Alternating Line)方式の信号は、図14の(a)(b)に示すように、第1フィールドで偶数ラインを走査し、第2フィールドで奇数ラインを走査するインターレース信号である。
SDTV放送で用いられる、NTSC( National Television System Committee)方式やPAL( Phase Alternating Line)方式の信号は、図14の(a)(b)に示すように、第1フィールドで偶数ラインを走査し、第2フィールドで奇数ラインを走査するインターレース信号である。
しかしながら、液晶テレビなどのFPD( Flat Panel Display)では、図15の(a)(b)に示すように、第1フレームでも第2フレームでも総てのラインを走査する。このため、図16に示すように、放送されたインターレース信号(入力データ)から、飛び越されたラインの信号(補間データ)を作り、プログレッシブ信号へ変換する必要がある(これをI/P変換と言う)。
しかしながら、電界が弱くノイズの乗りやすい放送では、静止画像を送り続けていてもノイズの影響により動画像と認識され、フィールド内補間で補間データが作られてしまう。この場合、ノイズの乗った入力データから補間データが作られるので、ノイズが上下に拡大される。
また、ノイズは1画素のみに乗っているだけではなく、連続した複数画素に乗ることもある。このような場合、複数の画素に乗ったノイズが落とせずI/P変換されると、大きなノイズの粒となり非常に目立つ。
そこで、本発明の第1の画像処理システムは、マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、以下の第1信号処理プロセスと第2信号処理プロセスとを少なくとも実行可能とすることで上記ノイズを目立ち難くしている。
上記第1信号処理プロセスは、上記マトリクス状に配置された画素のうち、処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する信号処理プロセスである。
また、上記第2信号処理プロセスは、上記マトリクス状に配置された画素のうち、処理画素dに対し、前記画素dと時間軸または空間軸でp(pは整数)画素離れた画素eと-q(qは整数)画素離れた画素fとを用い、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する信号処理プロセスである。
ここで、前記画素aと前記画素dが時間軸または空間軸で隣接し、前記整数n,m,p,qがn≠p、m≠qの関係を満たしている。
従って、上記構成の画像処理システムによれば、時間軸または空間軸で隣接する画素a,dで異なるパラメータを用いてノイズ軽減の処理を行う。これにより、仮に一方のパラメータでノイズが落とせる確率をs、他方のパラメータでノイズが落とせる確率をtとすると、何れかのパラメータでノイズが落とせる確率はs+(1-s)tとなる。これは確率sと確率tの何れよりも大きいことになる。
その結果、上記連続した複数画素にノイズが乗っている場合、どちらかのパラメータではノイズが落とせる確率が上がり、連続したノイズが残る確率を低下できる。これにより、複数の画素に乗ったノイズが落とせずI/P変換され場合のように、大きなノイズの粒となることがないので、ノイズをより目立たなくすることができる。
具体的には、2つのパラメータで処理する画素を互いに隣接するよう配置する。例えば、図17に示すように、千鳥状にパラメータの異なる画素を配置する。その結果、ノイズの粒が小さくなり、全てのノイズが上手く落とせなくても、目立ち難くできる。
また、上記第1信号処理プロセス、第2信号処理プロセスを縦方向に行った後、横方向にも行う場合、パラメータの組合せは以下の4つとなる。
(1)縦方向第1信号処理プロセス×横方向第1信号処理プロセス
(2)縦方向第1信号処理プロセス×横方向第2信号処理プロセス
(3)縦方向第2信号処理プロセス×横方向第1信号処理プロセス
(4)縦方向第2信号処理プロセス×横方向第2信号処理プロセス
このような場合、図18に示すように、千鳥状と言うより格子状にパラメータの異なる画素が配置されることになる。
(1)縦方向第1信号処理プロセス×横方向第1信号処理プロセス
(2)縦方向第1信号処理プロセス×横方向第2信号処理プロセス
(3)縦方向第2信号処理プロセス×横方向第1信号処理プロセス
(4)縦方向第2信号処理プロセス×横方向第2信号処理プロセス
このような場合、図18に示すように、千鳥状と言うより格子状にパラメータの異なる画素が配置されることになる。
この場合でも、ノイズの粒が小さくなり、ノイズを目立ち難くできる。
なお、ノイズの多くは基の映像信号より周波が高いことが多い。このため、映像にノイズが乗ると、図19の(a)に示すように、元の映像(破線)に高周波が乗ったような信号となる。そこで、本発明の手段で用いるノイズ低下手段は、図19の(b)に示すように、近くの画素と比べ最大値や最小値を持った画素はノイズが乗っていると判断し、予め求めたノイズ量を減算や加算する。
このノイズ量の決め方はノイズ落とし効果に影響する。
本発明の第2の画像処理システムでは、このノイズ量の決め方を適正化させることにより、ノイズを目立ちにくくする手段を備えている。即ち、近くの画素と比べ最大値や最小値を持った画素はノイズが乗っていると判断し、その画素の信号レベルYaから比較対象の2つの画素の信号レベルYb,Ycの平均値を引く。即ち、Era=Ya-(Yb+Yc)/2。この値Eraの絶対値の総和をノイズが乗っていると判断した画素の個数で割ることにより、平均ノイズ量を検出する。
ここで、ノイズ量は複数のフレームに渡って概ね一定なので、上記平均ノイズ量を次のフレーム(またはフィールド)のノイズ量xとして用いることで、ノイズ量を正しく推測し、ノイズを落とすことができる。
この結果、ノイズ落とし誤差が小さくなり、ノイズを目立ちにくくできる。
以下の第1の実施形態では、本発明の第1の画像処理システムについて説明し、第2の実施形態では、本発明の第2の画像処理システムについて説明する。
<実施形態1>
本実施の形態では本発明の第1の画像処理システムについて説明する。
<実施形態1>
本実施の形態では本発明の第1の画像処理システムについて説明する。
図1は、上記第1の画像処理システムを適用した表示装置としての液晶表示装置101の全体構成ブロック図を示す。
上記液晶表示装置101は、図1に示すように、画像を表示するためのLCDモジュール102、上記LCDモジュール102に表示用の映像信号を供給するための画像処理エンジン103、上記画像処理エンジン103に供給される映像信号を検波する検波回路104を少なくとも含んだ構成となっている。ここでは、映像信号として、放送波を想定して説明する。放送波の信号方式としては、NTSC方式、PAL方式等のインターレース信号とする。
上記液晶表示装置101では、上記画像処理エンジン103において、放送された映像信号は、検波回路104により検波された後、Y/C分離回路105を通してNR(ノイズリダクション)回路106に入力される。なお、上記NR回路106に対して、本発明の第1の画像処理システムにおける信号処理プロセスが適用される。上記NR回路106に入力された映像信号は、その後、I/P変換回路107を通してI/P変換され、LCDモジュール102に供給される。
上記LCDモジュール102では、供給された映像信号はTCON(タイミングコントローラ)108を通して、LCD(液晶パネル)109で表示される。
図2は、上記NR回路106の概略構成ブロック図である。
NR回路106は、図2に示すように、ラッチ回路D、信号処理プロセス回路Mxf、Hメモリ回路Hを含んだ構成となっている。
すなわち、上記NR回路106では、入力された映像信号がラッチ回路aD,bD,cD,eD(ここで、a,b,c,dは、それぞれ処理に応じて適宜設定される係数である)で遅延され信号処理プロセス回路Mxf(信号処理回路)へ入力される。この信号処理プロセス回路Mxfは、本発明の第1の画像処理システムにおける第1信号処理プロセスを実行する第1信号処理プロセス回路Mxf(1)と第2信号処理プロセスを実行する第2信号処理プロセス回路Mxf(2)の2つの信号処理プロセス回路を含んでいる。
本実施形態では、上記第1及び第2信号処理プロセス回路Mxf(1)(2)では、処理プロセスを実行するために、図4に示した処理パターンを使用する。ここでは、図4に示す処理パターンから、左右方向の第1及び第2信号処理プロセスを実行する場合、上記各係数は、a=1,b=2,c=1,e=3となる。
即ち、第1信号処理プロセス回路Mxf(1)には、図4に示す偶数D奇数H用もしくは奇数D偶数H用の画素Aijに対し、画素Ai(j-4),画素Ai(j+2)の信号が入力される。
そして、画素Aijの信号Yijが、画素Ai(j-4)の信号Yi(j-4)や画素Ai(j+2)の信号Yi(j+2)より大きければ(最大なら)、Yij-xを出力する。
または、画素Aijの信号Yijが、画素Ai(j-4)の信号Yi(j-4)や画素Ai(j+2)の信号Yi(j+2)より小さければ(最小なら)、Yij+xを出力する。
この第1信号処理プロセス回路Mxf(1)の結果をYOijとする。なお、xは予め決められたノイズ量である。
また、第2信号処理プロセス回路Mxf(2)には、図4に示す奇数D奇数H用もしくは偶数D偶数H用の画素Aijに対し、画素Ai(j-1),画素Ai(j+3)の信号が入力される。
そして、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より大きければ(最大なら)、Yij-xを出力する。
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より小さければ(最小なら)、Yij+xを出力する。
この第2信号処理プロセス回路Mxf(2)の結果をYEijとする。なお、xは予め決められたノイズ量である。
図2に示すスイッチSlxでは奇数ラインの奇数画素および偶数ラインの偶数画素に対しYEijを選択する。奇数ラインの偶数画素および偶数ラインの奇数画素に対しYOijを選択する。この結果をYXijとする。
以上のように、本発明では、左右方向の第1信号処理プロセス(1)、第2信号処理プロセス(2)を実行することで、横方向のノイズ落としが行われ、ノイズ低減の効果を奏するが、より効果的にノイズ低減の効果を奏するためには、以下のように、更に、縦方向のノイズ落としを行えばよい。すなわち、左右方向に加えて、上下方向の第3信号処理プロセス(3)、第4信号処理プロセス(4)を実行すればよい。
即ち、図2に示すように、上記の信号処理結果YXijは、後段のHメモリ回路H内の、ラインメモリfH,gH,hH,oH(ここで、f,g,h,oは、それぞれ処理に応じて適宜設定される係数である)で遅延され、信号処理プロセス回路Myfへ入力される。この信号処理プロセス回路Myfは、本発明の第1の画像処理システムにおける第3信号処理プロセスを実行する第3信号処理プロセス回路Myf(3)と第4信号処理プロセスを実行する第4信号処理プロセス回路Myf(4)の2つの信号処理プロセス回路を含んでいる。
本実施形態では、上記第3及び第4信号処理プロセス回路Myf(1)(2)では、処理プロセスを実行するために、図4に示した処理パターンを使用する。ここでは、図4に示す処理パターンから、上下方向の第3及び第4信号処理プロセス(3)(4)を実行する場合、上記各係数は、f=1,g=2,h=1,o=3となる。
即ち、第3信号処理プロセス回路Myf(1)には、図4の奇数D偶数H用もしくは偶数D奇数H用の画素Aijに対し、画素A(i-4)j,画素A(i+2)jの信号が入力される。
そして、画素Aijの信号YXijが、画素A(i-4)jの信号YX(i-4)jと画素A(i+2)jの信号YX(i+2)jより大きければ(最大なら)、YXij-yを出力する。
または、画素Aijの信号YXijが、画素A(i-4)jの信号YX(i-4)jと画素A(i+2)jの信号YX(i+2)jより小さければ(最小なら)、YXij+yを出力する。
この第3信号処理プロセス回路Myf(1)の結果をYTijとする。なお、yは予め決められたノイズ量である。
また、第4信号処理プロセス回路Myf(2)には、図4に示す奇数D奇数H用もしくは偶数D偶数H用の画素Aijに対し、画素A(i-1)j,画素A(i+3)jの信号が入力される。
そして、画素Aijの信号YXijが、画素A(i-1)jの信号YX(i-1)jや画素A(i+3)jの信号YX(i+3)jより大きければ(最大なら)、YXij-yを出力する。
または、画素Aijの信号YXijが、画素A(i-1)jの信号YX(i-1)jや画素A(i+3)jの信号YX(i+3)jより小さければ(最小なら)、YXij+yを出力する。
この第4信号処理プロセス回路Myf(2)の結果をYUijとする。なお、yは予め決められたノイズ量である。
図2に示すスイッチSlyでは奇数ラインの偶数画素および偶数ラインの奇数画素に対しYTijを選択する。奇数ラインの奇数画素および偶数ラインの偶数画素に対しYUijを選択する。この結果をYYijとする。
上記の第1信号処理プロセス回路Myf(1)~第4信号処理プロセス回路Myf(4)は、例えば、図3に示す回路により実現することができる。
上述したNR回路106によるノイズ低減のための信号処理アルゴリズム(図4に示す処理パターン)を、図23に示す原画像へ適用した結果を図5に示す。なお、本アルゴリズムの検証にはMATLABを用いた。
図5に示す画像と、図24に示す従来例の結果とを比べれば、図5に示す画像、すなわち本実施形態にかかる上記信号処理プロセスを実行して得られた画像の方がノイズが落ちていることは明白であることが分かる。
ところで、本発明の第1の画像処理システムのように、隣接する画素でノイズ処理パラメータを変えた場合の効果について以下に説明する。
図6は、総ての画素で図2の第2信号処理プロセス回路Mxf(2)における第2信号処理プロセス実行の後、第3信号処理プロセス回路Myf(1)を選ぶようにした場合の結果を示す。
即ち、最初に上記第2信号処理プロセス回路Mxf(2)を用い画素Aijに対し、画素Ai(j-1),画素Ai(j+3)の信号を入力する。
そして、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より大きければ(最大なら)、Yij-xを出力する。
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より小さければ(最小なら)、Yij+xを出力する。
この第2信号処理プロセス回路Mxf(2)の結果をYEijとする。
その後、第3信号処理プロセス回路Myf(1)を用い画素Aijに対し、画素A(i-4)j,画素A(i+2)jの信号を入力する。
そして、画素Aijの信号YEijが、画素A(i-4)jの信号YE(i-4)jと画素A(i+2)jの信号YE(i+2)jより大きければ(最大なら)、YEij-yを出力する。
または、画素Aijの信号YEijが、画素A(i-4)jの信号YE(i-4)jと画素A(i+2)jの信号YE(i+2)jより小さければ(最小なら)、YEij+yを出力する。
この結果得られる画像を示す図6と図5の拡大図である図7を比較すると、図6は縦筋が目立つ。一方、図7はノイズが粒状になるので、その縦筋が目立ちにくいことが分かる。
なお、画素Aijの信号Yijへノイズ量x,yを加減するかの条件判定では、画素Aijの信号Yijが比較対象となる2つの画素の信号よりx/A,y/A以上大きい(または小さい)場合だけノイズ量x,yを加減するようにしても良い(なお、Aは1以上の実数である)。これは、ボケを抑え映像本来の微妙な変化を潰さないようにするため有効である。
ところで、本実施形態ではノイズ量x,yをブランキング期間に乗るノイズの大きさから導き出せる。
しかし、一旦、DVD(Digital Versatile Disc)などの記録装置ではブランキング期間は記録しない。このため、アナログ放送をDVDなどに取り込んでしまうとブランキング期間からノイズ量を推測することができない。
このため、本実施の形態ではx=y=10/255に固定している。
そこで、以下の実施形態2においては、映像からノイズ量を検出する手段を有する例について説明する。
<実施形態2>
本実施の形態では本発明の第2の画像処理システムについて説明する。
<実施形態2>
本実施の形態では本発明の第2の画像処理システムについて説明する。
なお、本実施の形態では、本発明の第2の画像処理システムを適用した表示装置としての液晶表示装置101については、前記の第1の実施形態と同じであるので、全体の説明についての詳細は省略する。
本実施の形態では、前記第1の実施形態と異なる点について主に説明する。
図8は、本実施の形態に係るNR回路116の概略構成ブロック図である。
NR回路116は、前記第1の実施形態と同じように、ラッチ回路D、信号処理プロセス回路Mxf、Hメモリ回路Hを含み、さらに、図8に示すように、ノイズ量検出回路DE(ノイズ量検出回路DEx、ノイズ量検出回路DEy)を含んだ構成となっている。このノイズ量検出回路DExは、前記第1の実施形態のNR回路106に含まれていない回路である。
上記NR回路116の信号処理プロセスについて以下に説明する。
本実施の形態では第1信号処理プロセス回路Mxf(1)と第2信号処理プロセス回路Mxf(2)でノイズ量xijを検出する。
その検出方法について、ラッチ回路Dにおける各係数が、a=1,b=2,c=1,e=3の場合について説明する。
まず、第1信号処理プロセス回路Mxf(1)には画素Aijと画素Ai(j-4),画素Ai(j+2)の信号が入力される。
そして、画素Aijの信号Yijが、画素Ai(j-4)の信号Yi(j-4)や画素Ai(j+2)の信号Yi(j+2)より大きければ(最大なら)以下の値をノイズ量xijとする。
xij=Yij-(Yi(j-4)+Yi(j+2))/2
または、画素Aijの信号Yijが、画素Ai(j-4)の信号Yi(j-4)や画素Ai(j+2)の信号Yi(j+2)より小さければ(最小なら)以下の値をノイズ量xijとする。
または、画素Aijの信号Yijが、画素Ai(j-4)の信号Yi(j-4)や画素Ai(j+2)の信号Yi(j+2)より小さければ(最小なら)以下の値をノイズ量xijとする。
xij=(Yi(j-4)+Yi(j+2))/2-Yij
そして、この値xijとn=1をノイズ量検出回路DExへ与える。その他の場合はn=0を与える。
そして、この値xijとn=1をノイズ量検出回路DExへ与える。その他の場合はn=0を与える。
また、上記第2信号処理プロセス回路Mxf(2)には画素Aijと画素Ai(j-1),画素Ai(j+3)の信号が入力される。
そして、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より大きければ(最大なら)以下の値をノイズ量xijとする。
xij=Yij-(Yi(j-1)+Yi(j+3))/2
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より小さければ(最小なら)以下の値をノイズ量xijとする。
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)と画素Ai(j+3)の信号Yi(j+3)より小さければ(最小なら)以下の値をノイズ量xijとする。
xij=(Yi(j-1)+Yi(j+3))/2-Yij
そして、この値xijとn=1をノイズ量検出回路DExへ与える。その他の場合はn=0を与える。
そして、この値xijとn=1をノイズ量検出回路DExへ与える。その他の場合はn=0を与える。
さらに、上記ノイズ量検出回路DExでは、n=1となった画素の数と、ノイズ量xijの総和を基に、次のフィールド(またはフレーム)のノイズ量xを定め、この値を第1及び第2信号処理プロセス回路Mxf(1),Mxf(2)へ与える。
同様に、第3信号処理プロセス回路Myf(1)と第4信号処理プロセス回路Myf(2)でノイズ量yijを検出する。
その検出方法について、Hメモリ回路Hにおける各係数が、f=1,g=2,h=1,o=3の場合について説明する。
まず、第3信号処理プロセス回路Myf(1)には画素Aijと画素A(i-4)j,画素A(i+2)jの信号が入力される。
そして、画素Aijの信号YXijが、画素A(i-4)jの信号YX(i-4)jや画素A(i+2)jの信号YX(i+2)jより大きければ(最大なら)以下の値をノイズ量yijとする。
yij=YXij-(YX(i-4)j+YX(i+2)j)/2
または、画素Aijの信号YXijが、画素A(i-4)jの信号YX(i-4)jや画素A(i+2)jの信号Y(i+2)jより小さければ(最小なら)以下の値をノイズ量yijとする。
または、画素Aijの信号YXijが、画素A(i-4)jの信号YX(i-4)jや画素A(i+2)jの信号Y(i+2)jより小さければ(最小なら)以下の値をノイズ量yijとする。
yij=(YX(i-4)j+YX(i+2)j)/2-YXij
そして、この値yijとn=1をノイズ量検出回路DEyへ与える。その他の場合はn=0を与える。
そして、この値yijとn=1をノイズ量検出回路DEyへ与える。その他の場合はn=0を与える。
また、第4信号処理プロセス回路Myf(2)には画素Aijと画素A(i-1)j,画素A(i+3)jの信号が入力される。
そして、画素Aijの信号Yijが、画素A(i-1)jの信号Y(i-1)jと画素A(i+3)jの信号Y(i+3)jより大きければ(最大なら)以下の値をノイズ量yijとする。
yij=YXij-(YX(i-1)j+YX(i+3)j)/2
または、画素Aijの信号YXijが、画素A(i-1)jの信号YX(i-1)jと画素A(i+3)jの信号YX(i+3)jより小さければ(最小なら)以下の値をノイズ量yijとする。
または、画素Aijの信号YXijが、画素A(i-1)jの信号YX(i-1)jと画素A(i+3)jの信号YX(i+3)jより小さければ(最小なら)以下の値をノイズ量yijとする。
yij=(YX(i-1)j+YX(i+3)j)/2-YXij
そして、この値yijとn=1をノイズ量検出回路DEyへ与える。その他の場合はn=0を与える。
そして、この値yijとn=1をノイズ量検出回路DEyへ与える。その他の場合はn=0を与える。
さらに、上記ノイズ量検出回路DEyでは、n=1となった画素の数と、ノイズ量yijの総和を基に、次のフィールド(またはフレーム)のノイズ量yを定め、この値を第3及び第4信号処理プロセス回路Myf(1)(2)へ与える。
これらのノイズ検出回路DEx,DEyを用い、図9に示す格子状処理パターンを用い図23に示す原画像を処理した結果を図10に示す。
図10に示す画像と、前記第1の実施形態における図5に示す結果とを比べれば判る通り、本ノイズ量決定プロセスによりノイズ量を検出することで、ノイズ量を固定する場合よりノイズを落とした画像を得ることができることが分かる。さらに、図10に示す画像を拡大した図11に示す画像と、図5を拡大した図7に示す画像とを比較しても、本実施の形態の方がノイズが低減していることがよく分かる。
特に、図10では輝度信号Yと色信号CrCbで異なるノイズ量を設定している。以下に、検出したノイズ量x,yを示す。
実際、図23に示す原画像を用い本ノイズ量決定プロセスによりノイズ量を検出した結果を以下に示す。
xY≒0.061、xCr≒0.008、xCb≒0.008
yY≒0.068、yCr≒0.009、xCb≒0.008
図10の信号処理では、この検出したノイズ量の0.6倍をノイズ量として用いている。このように、輝度Yに比べ色差信号のノイズレベルは小さいので、回路規模を小さくするため、ノイズリダクション処理を輝度信号Yにだけ施しても良い。
yY≒0.068、yCr≒0.009、xCb≒0.008
図10の信号処理では、この検出したノイズ量の0.6倍をノイズ量として用いている。このように、輝度Yに比べ色差信号のノイズレベルは小さいので、回路規模を小さくするため、ノイズリダクション処理を輝度信号Yにだけ施しても良い。
なお、ノイズ量を検出するだけなら、第1信号処理プロセス回路Mxf(1)で検出した結果を総ての信号処理プロセスで用いても良い。
更に、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)や画素Ai(j+1)の信号Yi(j+1)より大きければ(最大なら)以下の値をノイズ量xijとする。
xij=Yij-(Yi(j-1)+Yi(j+1))/2
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)や画素Ai(j+1)の信号Yi(j+1)より小さければ(最小なら)以下の値をノイズ量xijとする。
または、画素Aijの信号Yijが、画素Ai(j-1)の信号Yi(j-1)や画素Ai(j+1)の信号Yi(j+1)より小さければ(最小なら)以下の値をノイズ量xijとする。
xij=(Yi(j-1)+Yi(j+1))/2-Yij
この値xijとn=1をノイズ量検出回路DExへ与え、その他の場合はn=0を与えても良い。
この値xijとn=1をノイズ量検出回路DExへ与え、その他の場合はn=0を与えても良い。
このときノイズ量は以下のようになった。
xY≒0.055、xCr≒0.006、xCb≒0.006
このノイズ量をy方向にも適用し信号処理した結果を図12に示す。
このノイズ量をy方向にも適用し信号処理した結果を図12に示す。
ほぼ、図10と同じ結果となっていることが判る。
なお、本ノイズ量決定プロセスは図9の1つの処理パターンを総ての画素に施す場合でも有効である。
図8に示すNR回路116におけるノイズ量検出は、何れも信号処理プロセスと同じタップ数でノイズ量を検出しているが、これに限定されるものではなく、例えば図13に示すように、信号処理プロセスのタップ数(4個)に対して、ノイズ量検出のタップ数(2個)としてもよい。つまり、信号処理プロセスとノイズ量検出のタップ数を同じにする必要はない。
また、上記実施形態1,2で示したノイズリダクション処理はフィールド内(またはフレーム内)を対象としたが、左右、上下で有効な処置が時間軸方向でも有効なことは言うまでもない。
つまり、上記実施形態1,2で示したノイズリダクション処理の前にフィールド方向(またはフレーム方向)に本信号処理プロセスを適用させることができる。
このことにより、メモリ容量が増える分、コストアップとなるが、よりノイズの少ない映像が得られるというメリットを有する。
なお、上記実施形態1,2において、信号処理プロセスを、縦横の順番を隣接する画素で異ならせるようにしてもよい。
また、上記実施形態1,2においては、何れも隣接する画素の縦横両方において信号処理プロセスを異ならせる例について説明したが、これに限定されるものではなく、例えば、隣接する画素の縦方向または横方向の何れか一方の方向のみを異なる信号処理プロセスによりノイズ低減処理を施すようにしてもよい。
上記信号処理プロセス回路Mxf(信号処理回路)は、上記第1及び第2信号処理プロセスの後に、上記第1及び第2信号処理プロセスを時間軸又は空間軸を変えて、再度実行するようにしてもよい。
上記構成によれば、第1及び第2信号処理プロセスの後に、上記第1及び第2信号処理プロセスを時間軸又は空間軸を変えて、再度実行することで、最初に実行された第1及び第2信号処理プロセスでは落としきれなかったノイズを、時間軸又は空間軸を変えた第1及び第2信号処理プロセスを実行することで落とすことが可能となる。
これにより、ノイズ低減をより確実に行うことができるので、ノイズ低減処理後の映像のノイズをより目立ち難くすることができる。
上記信号処理プロセス回路Mxf(信号処理回路)は、上記第1及び第2信号処理プロセスの後に、加減算するノイズ量を変え、再び、上記第1及び第2信号処理プロセスを実行するようにしてもよい。
上記構成によれば、第1及び第2信号処理プロセスの後に、加減算するノイズ量を変え、再び、上記第1及び第2信号処理プロセスを実行することで、最初に実行された第1及び第2信号処理プロセスでは落としきれなかったノイズを、加減算するノイズ量を変えた第1及び第2信号処理プロセスを実行することで落とすことが可能となる。
これにより、ノイズ低減をより確実に行うことができるので、ノイズ低減処理後の映像のノイズをより目立ち難くすることができる。
上記信号処理プロセス回路Mxf(信号処理回路)は、上記第1及び第2信号処理プロセスの前または後に、処理画素gに対し、前記画素gと時間軸または空間軸でr画素離れた画素hと-u(uは整数)画素離れた画素oを用い、前記画素gの信号レベルが前記画素h,oの信号レベルと比較し最大値を取るとき、前記画素gのデータから予め定めるノイズ量yを減算し、前記画素gの信号レベルが前記画素h,oの信号レベルと比較し最小値を取るとき、前記画素gのデータから予め定めるノイズ量yを加算する第3信号処理プロセスを実行するようにしてもよい。
上記構成によれば、時間軸または空間軸で隣接する画素で、それぞれ異なる信号処理プロセスによりノイズ低減の処理を行う第1及び第2信号処理プロセスの実行前後において、全ての画素に対して、同じ信号処理プロセスによりノイズ低減の処理を行う第3信号処理プロセスが実行されることになる。
これにより、第3信号処理プロセスが、第1及び第2信号処理プロセスの実行前に実行された場合、第1及び第2信号処理プロセス実行時において、各画素のノイズがある程度軽減された状態となるので、第1及び第2信号処理プロセスを実行することにより、より確実にノイズ低減を行うことが可能となる。
また、第3信号処理プロセスが、第1及び第2信号処理プロセスの実行後に実行された場合、第1及び第2信号処理プロセス実行時においてノイズ低減しきれなかった画素のノイズを、第3信号処理プロセスを実行することにより低減することができるので、より確実にノイズ低減を行うことが可能となる。
また、上記信号処理プロセス回路Mxf(信号処理回路)は、処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する第1信号処理プロセスと、前記画素aの信号レベルを前記画素b,cの信号レベルと比較し、最大値または最小値を取るとき、前記画素aの信号レベルと前記画素b,cの信号レベルの平均値の差を一定期間に渡り平均し、その値から前記ノイズ量xを定めるノイズ量決定プロセスとを実行するようにしてもよい。
上記構成によれば、処理画素aに対して実行される第1信号処理プロセスで使用するノイズ量xを、当該処理画素aの信号レベルを前記画素b,cの信号レベルと比較し、最大値または最小値を取るとき、前記画素aの信号レベルと前記画素b,cの信号レベルの平均値の差を一定期間に渡り平均し、その値から前記ノイズ量xを定めるようになっているので、処理画素aのノイズ低減処理をより適切に行うことが可能となる。これにより、ノイズをさらに目立ち難くすることができる。
上記信号処理プロセス回路Mxf(信号処理回路)は、映像信号における第2のフレームまたはフィールドに対して上記第1信号処理プロセスを適用し、その直前の第1のフレームまたはフィールドに対して上記ノイズ量決定プロセスを適用するようにしてもよい。
ここで、ノイズ量は複数のフレームに渡って概ね一定なので、ノイズ量決定プロセスを最初の第1のフレームに対して実行するようにすれば、次のフレームである、第2のフレームにおいても第1のフレームで求めたノイズ量を用いたとしてもノイズを確実に低減することができる。
従って、各フレームまたはフィールドに対して、ノイズ量決定プロセスを実行する必要がなくなるので、処理を簡素化することができるという効果を奏する。
上記信号処理プロセス回路Mxf(信号処理回路)路は、上記画素aに時間軸または空間軸で隣接する画素dに対し、前記画素dと時間軸または空間軸でp画素離れた画素e、-q画素離れた画素fを用い、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する第2信号処理プロセスを実行するようにしてもよい。
上記構成によれば、時間軸または空間軸で隣接する画素a,画素dに対して、異なるノイズ低減処理のための信号処理プロセスが実行されることになるので、この画素a,画素dの両画素にノイズが発生し、連続したノイズとなり得るような状態であっても、両画素のノイズのうち両方のノイズが残る確率は非常に低くなるので、連続したノイズによる大きなノイズの粒が形成されることはない。この結果、ノイズ低減処理後の映像のノイズを目立ち難くすることができる。
しかも、各信号処理プロセスで用いるノイズ量xは、周辺画素の信号レベルから求められているので、ノイズの低減を適切に行うことができる。
上記の画像処理システムは、液晶表示装置等の映像をマトリクス状に配置された画素により表示するための表示装置に適用してもよい。
この場合、ノイズの多い映像信号(アナログ放送において電界が弱い場合の映像信号、デジタル放送において録画したアナログ映像をデジタル化した映像信号)を表示する際に、本発明の画像処理システムを表示装置に適用すれば、ノイズ低減と、ボケの低減とを両立できるので、表示品位の高い映像を表示させることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像信号や音声信号を処理する装置に適用できる。特に、静止画や動画像などを表示するディスプレイ装置及びそれを備えた電子機器等に好適に適用できる。
101 液晶表示装置
102 LCDモジュール
103 画像処理エンジン
104 検波回路
105 Y/C分離回路
106 NR回路
107 I/P変換回路
108 TCON
109 LCD
116 NR回路
D ラッチ回路
DE ノイズ量検出回路
H Hメモリ回路
Mxf 信号処理プロセス回路
102 LCDモジュール
103 画像処理エンジン
104 検波回路
105 Y/C分離回路
106 NR回路
107 I/P変換回路
108 TCON
109 LCD
116 NR回路
D ラッチ回路
DE ノイズ量検出回路
H Hメモリ回路
Mxf 信号処理プロセス回路
Claims (9)
- マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、
処理画素のデータに対して、当該処理画素の少なくとも2つの周辺画素の信号レベルを比較した結果に応じて予め定めるノイズ量を加減算する信号処理プロセスを実行する信号処理回路を備え、
上記信号処理回路は、
時間軸または空間軸で隣接している画素のデータに対して、それぞれ異なる信号処理プロセスにより予め定めるノイズ量を加減算することを特徴とする画像処理システム。 - マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、
処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、
前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、
前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する第1信号処理プロセスと、
処理画素dに対し、前記画素dと時間軸または空間軸でp(pは整数)画素離れた画素eと-q(qは整数)画素離れた画素fとを用い、
前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、
前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する第2信号処理プロセスとを実行する信号処理回路を備え、
前記画素aと前記画素dが時間軸または空間軸で隣接し、前記整数n,m,p,qがn≠p、m≠qとなることを特徴とした画像処理システム。 - 上記信号処理回路は、
上記第1及び第2信号処理プロセスの後に、上記第1及び第2信号処理プロセスを時間軸又は空間軸を変えて、再度実行することを特徴とする請求項2に記載の画像処理システム。 - 上記信号処理回路は、
上記第1及び第2信号処理プロセスの後に、ノイズ量xを変え、再び、上記第1及び第2信号処理プロセスを実行することを特徴とする請求項2または3に記載の画像処理システム。 - 上記信号処理回路は、
上記第1及び第2信号処理プロセスの前または後に、処理画素gに対し、前記画素gと時間軸または空間軸でr画素離れた画素hと-u(uは整数)画素離れた画素oを用い、
前記画素gの信号レベルが前記画素h,oの信号レベルと比較し最大値を取るとき、前記画素gのデータから予め定めるノイズ量yを減算し、
前記画素gの信号レベルが前記画素h,oの信号レベルと比較し最小値を取るとき、前記画素gのデータから予め定めるノイズ量yを加算する第3信号処理プロセスを実行することを特徴とする請求項2~4の何れか1項に記載の画像処理システム(但し、h,oは正の整数)。 - マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムであって、
処理画素aに対し、前記画素aと時間軸または空間軸でn(nは整数)画素離れた画素bと-m(mは整数)画素離れた画素cとを用い、
前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最大値を取るとき、前記画素aのデータから予め定めるノイズ量xを減算し、
前記画素aの信号レベルが前記画素b,cの信号レベルと比較し最小値を取るとき、前記画素aのデータから予め定めるノイズ量xを加算する第1信号処理プロセスと、
前記画素aの信号レベルを前記画素b,cの信号レベルと比較し、最大値または最小値を取るとき、前記画素aの信号レベルと前記画素b,cの信号レベルの平均値の差を一定期間に渡り平均し、その値を基に前記ノイズ量xを定めるノイズ量決定プロセスとを実行することを特徴とする画像処理システム。 - 上記信号処理回路は、
第2のフレームまたはフィールドに対して上記第1信号処理プロセスを適用し、その直前の第1のフレームまたはフィールドに対して上記ノイズ量決定プロセスを適用することを特徴とする請求項6に記載の画像処理システム。 - 上記信号処理回路は、
上記画素aに時間軸または空間軸で隣接する画素dに対し、前記画素dと時間軸または空間軸でp画素離れた画素e、-q画素離れた画素fを用い、
前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最大値を取るとき、前記画素dのデータから予め定めるノイズ量xを減算し、
前記画素dの信号レベルが前記画素e,fの信号レベルと比較し最小値を取るとき、前記画素dのデータから予め定めるノイズ量xを加算する第2信号処理プロセスを実行することを特徴とする請求項6または7に記載の画像処理システム。 - マトリックス状に配置され、入力される画像データに対応する画素を処理対象とした画像処理システムにより処理された画像データを表示する表示部を備えた表示装置であって、
上記画像処理システムは、請求項1~8の何れか1項に記載の画像処理システムであることを特徴とする表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/579,046 US8654259B2 (en) | 2010-02-18 | 2010-12-03 | Image processing system and display device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010033320 | 2010-02-18 | ||
JP2010-033320 | 2010-02-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011102046A1 true WO2011102046A1 (ja) | 2011-08-25 |
Family
ID=44482655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/071731 WO2011102046A1 (ja) | 2010-02-18 | 2010-12-03 | 画像処理システム及び表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8654259B2 (ja) |
WO (1) | WO2011102046A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104205805B (zh) * | 2012-04-04 | 2017-07-04 | 三菱电机株式会社 | 图像处理装置以及方法 |
KR20250032540A (ko) * | 2023-08-31 | 2025-03-07 | 에스케이하이닉스 주식회사 | 이미지프로세서 및 그를 포함하는 이미지처리시스템 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07250264A (ja) * | 1994-03-10 | 1995-09-26 | Nippon Hoso Kyokai <Nhk> | 雑音低減回路 |
JPH08172368A (ja) * | 1994-12-16 | 1996-07-02 | Hitachi Ltd | S/n改善手段 |
JPH09163185A (ja) * | 1995-12-12 | 1997-06-20 | Hitachi Ltd | Sn比改善装置 |
JPH1084498A (ja) * | 1996-09-09 | 1998-03-31 | Nec Corp | ノイズ低減回路 |
JPH10248027A (ja) * | 1997-03-04 | 1998-09-14 | Hitachi Ltd | Sn比改善装置 |
JP2000022992A (ja) * | 1998-07-02 | 2000-01-21 | Hitachi Ltd | ノイズ低減信号処理装置 |
JP2007033659A (ja) * | 2005-07-25 | 2007-02-08 | Mitsubishi Electric Corp | マトリックス表示装置のノイズ除去回路およびこれを用いたマトリックス表示装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09307792A (ja) * | 1996-05-14 | 1997-11-28 | Sony Corp | ノイズリデューサ |
JP2006191454A (ja) | 2005-01-07 | 2006-07-20 | Sony Corp | ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法 |
JP2008205737A (ja) | 2007-02-19 | 2008-09-04 | Olympus Corp | 撮像システム、画像処理プログラム、画像処理方法 |
JP5075804B2 (ja) | 2008-12-22 | 2012-11-21 | 日本放送協会 | ノイズ低減装置 |
JP5123839B2 (ja) | 2008-12-22 | 2013-01-23 | 日本放送協会 | ノイズ低減装置及びそのプログラム |
JP5084755B2 (ja) | 2009-01-16 | 2012-11-28 | 日本放送協会 | ノイズ低減装置及びそのプログラム |
US8773593B2 (en) * | 2011-01-03 | 2014-07-08 | Arm Limited | Noise reduction filter circuitry and method |
-
2010
- 2010-12-03 WO PCT/JP2010/071731 patent/WO2011102046A1/ja active Application Filing
- 2010-12-03 US US13/579,046 patent/US8654259B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07250264A (ja) * | 1994-03-10 | 1995-09-26 | Nippon Hoso Kyokai <Nhk> | 雑音低減回路 |
JPH08172368A (ja) * | 1994-12-16 | 1996-07-02 | Hitachi Ltd | S/n改善手段 |
JPH09163185A (ja) * | 1995-12-12 | 1997-06-20 | Hitachi Ltd | Sn比改善装置 |
JPH1084498A (ja) * | 1996-09-09 | 1998-03-31 | Nec Corp | ノイズ低減回路 |
JPH10248027A (ja) * | 1997-03-04 | 1998-09-14 | Hitachi Ltd | Sn比改善装置 |
JP2000022992A (ja) * | 1998-07-02 | 2000-01-21 | Hitachi Ltd | ノイズ低減信号処理装置 |
JP2007033659A (ja) * | 2005-07-25 | 2007-02-08 | Mitsubishi Electric Corp | マトリックス表示装置のノイズ除去回路およびこれを用いたマトリックス表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US8654259B2 (en) | 2014-02-18 |
US20120314137A1 (en) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8218083B2 (en) | Noise reducer, noise reducing method, and video signal display apparatus that distinguishes between motion and noise | |
US20080174694A1 (en) | Method and apparatus for video pixel interpolation | |
US8503814B2 (en) | Method and apparatus for spectrum estimation | |
WO2011158419A1 (ja) | 解像度判定装置、画像処理装置、及び画像表示装置 | |
JP4933209B2 (ja) | 映像処理装置 | |
US20100045862A1 (en) | Alias avoidance in image processing | |
CN101088290B (zh) | 用于时间-空间自适应视频去隔行扫描的方法、设备和系统 | |
US7868948B2 (en) | Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal | |
WO2011102046A1 (ja) | 画像処理システム及び表示装置 | |
WO2007051997A1 (en) | Scan convertion image filtering | |
JP4661775B2 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
US8274605B2 (en) | System and method for adjacent field comparison in video processing | |
US20120169927A1 (en) | Color difference signal ip conversion method | |
Tai et al. | A motion and edge adaptive deinterlacing algorithm | |
Lee et al. | A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition | |
WO2011145365A1 (ja) | 画像処理システム及び表示装置 | |
US20100215286A1 (en) | Image processing apparatus and image processing method | |
NL1030787C2 (nl) | Jutterdetectietoestel, hiervan gebruik makend de-interlinieer toestel en de-interlinieer werkwijze. | |
WO2012124516A1 (ja) | ノイズ低減処理装置及び表示装置 | |
US20140247995A1 (en) | Resolution determination device, image processing device, and image display apparatus | |
WO2012124523A1 (ja) | ノイズ低減処理装置及び表示装置 | |
US8170370B2 (en) | Method and apparatus of processing interlaced video data to generate output frame by blending deinterlaced frames | |
JP2006121568A (ja) | 画像処理装置及び画像処理方法 | |
JP2007295226A (ja) | 映像処理装置 | |
Tsai et al. | Adaptive video de-interlacing algorithm by motion characteristic detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10846177 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13579046 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10846177 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |