KR101418521B1 - Image enhancement method and device by brightness-contrast improvement - Google Patents
Image enhancement method and device by brightness-contrast improvement Download PDFInfo
- Publication number
- KR101418521B1 KR101418521B1 KR1020120061996A KR20120061996A KR101418521B1 KR 101418521 B1 KR101418521 B1 KR 101418521B1 KR 1020120061996 A KR1020120061996 A KR 1020120061996A KR 20120061996 A KR20120061996 A KR 20120061996A KR 101418521 B1 KR101418521 B1 KR 101418521B1
- Authority
- KR
- South Korea
- Prior art keywords
- curve
- compensation curve
- image
- brightness
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006872 improvement Effects 0.000 title description 9
- 230000001186 cumulative effect Effects 0.000 claims abstract description 27
- 238000005315 distribution function Methods 0.000 claims abstract description 26
- 230000001965 increasing effect Effects 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치가 개시된다. 영상 화질 개선 장치는, 밝기 대비 향상 유닛을 포함한 영상 화질 개선 장치에 있어서, 직전 프레임 영상에 대해 조건부 콘트라스트 확률에 대한 누적 분포 함수를 분석하는 영상 분석부; 상기 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 최종 보상 커브를 생성하는 보상 커브 생성부; 및 상기 직전 프레임 영상에 대해 상기 생성된 최종 보상 커브를 현재 프레임 영상에 적용하여 화질 개선된 현재 프레임 영상을 출력하는 커브 적용부를 포함한다. A method and an apparatus for improving image quality through brightness contrast enhancement are disclosed. An image quality enhancement apparatus includes a brightness enhancement unit and an image quality enhancement unit. The image enhancement unit includes: an image analysis unit for analyzing a cumulative distribution function of a conditional contrast probability with respect to a previous frame image; A compensation curve generation unit for generating a final compensation curve using the cumulative distribution function for the analyzed conditional contrast probability; And a curve application unit for applying the generated final compensation curve to the current frame image for the previous frame image to output a current frame image having improved image quality.
Description
본 발명은 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치에 관한 것이다.
BACKGROUND OF THE
최근 휴대 단말이나 디지털 카메라 등을 이용하여 다양한 환경에서 편리하게 정지 영상 혹은 동영상을 획득할 수 있다. 그리고 대부분의 경우에서, 인위적으로 준비된 균일한 조명 상태를 유지하는 스튜디오와 같은 촬영 환경에서 보다는 건물 내의 형광등이나 야외의 태양광, 가로등과 같이 불균일한 광원의 촬영 환경에서 촬영이 이루어지게 되며, 이와 같이 획득된 영상은 한쪽이 그늘져 어둡거나 과도하게 밝은 상태 등으로 화질 열화가 발생될 수 있다.Recently, a still image or a moving image can be conveniently obtained in various environments by using a portable terminal or a digital camera. In most cases, photographing is performed in a shooting environment of a non-uniform light source such as a fluorescent lamp in a building or a sunlight or a streetlight in a building, rather than in a shooting environment such as a studio that maintains an artificially prepared uniform lighting condition. The obtained image may be deteriorated in image quality due to darkness or excessively bright state due to one side being shadowed.
또한 통상의 디지털 영상 장치는 영상 획득 과정에서 부적절한 광원 량이나 표현할 수 있는 동적 영역(dynamic range)의 한계로 인해 어두운 부분 혹은 밝은 부분의 정보가 손실되어 비선형적인 특징을 가지고 있는 인간 시각으로는 인지할 수 없는 문제점도 있다. 이러한 문제를 해결하기 위해 AE(Auto Exposure) 및 AWB(Auto White Balance)와 같은 다양한 기능들을 가진 디지털 영상 장치들이 개발 되었으나, 일반적인 디지털 영상 장치가 주변 조도에 의해 획득된 영상의 명암 정도가 결정되며 조도량이 큰 경우 조도량에 따라 획득된 영상의 만족도가 다르게 형성되는 문제점이 있다.In addition, since a conventional digital image device is lost due to an inadequate quantity of light or a dynamic range that can be represented in the image acquisition process, information of a dark part or a bright part is lost, There is also a problem that can not be done. To solve these problems, digital imaging devices having various functions such as AE (Auto Exposure) and AWB (Auto White Balance) have been developed. However, in general digital imaging devices, There is a problem that the satisfaction of the acquired image is formed differently depending on the amount of the roughness.
전술한 문제점을 해결하고, 다양한 환경에서 촬영된 영상의 화질 개선을 위한 방안으로서, 인간의 시각 모델인 레티넥스(Retinex) 특성을 기반으로 조명 성분의 영향을 줄이는 SSR(Single Scale Retinex) 방식이 제안된바 있다. 그러나, SSR 방식은 전처리 과정인 가우시안 필터에 의존적이고 입력 영상에 개선 정도의 편차가 매우 크며 후광 효과와 색신호의 열화 현상 등의 결점이 존재하는 문제점이 있었다.As a method for solving the above problems and improving the image quality of images photographed in various environments, there is proposed a SSR (Single Scale Retinex) method which reduces the influence of illumination components based on Retinex characteristics of a human visual model There is. However, the SSR method is dependent on the Gaussian filter, which is a preprocessing process, and the degree of improvement in the degree of improvement in the input image is very large, and there are drawbacks such as a halo effect and deterioration of a color signal.
SSR 방식의 문제점을 개선하기 위해 광원의 주요 성분이 조명 정보인 휘도(luminance) 채널을 이용한 MSR(Multi Scale Retinex) 방식이 제안되었다. In order to solve the problem of the SSR method, a MSR (Multi Scale Retinex) method using a luminance channel, which is a main component of a light source, has been proposed.
MSR 방식은 RGB 채널의 균형을 유지하면서 휘도 성분 채널에 대한 대비가 향상되기 때문에 결과가 안정적이고 높은 채도를 나타내는 장점을 가진다. 그러나 단지 휘도 채널만이 사용되었기 때문에 레티넥스 알고리즘이 고유 특성인 광원의 색도 값을 제거할 수 없으며, 채도 성분에 대한 표현이 자연스럽지 못한 단점이 있다.The MSR scheme has a merit that the result is stable and shows high saturation because the contrast for the luminance component channel is improved while the balance of the RGB channel is maintained. However, since only the luminance channel is used, the Retinex algorithm can not remove the chromaticity value of the light source, which is a unique characteristic, and has a disadvantage in that the representation of the chroma component is not natural.
MSR 방식에서 발생하는 색의 왜곡 문제를 개선하기 위해 컬러 복원 기능을 추가한 MSRCR(Multi Scale Retinex with Color Restoration) 방식이 제안되었다. MSRCR 방식에 대해서는 선행 논문 Impact of multi scale retinex computation on performance of segmentation algorithm(Proceedings of SPIE, Volume 5438, pp. 171-182 (July 2004))에서 구체적으로 설명되고 있다.In order to solve the problem of color distortion caused by the MSR method, a multi-scale retinex with color restoration (MSRCR) method with a color restoration function has been proposed. The MSRCR method is described in detail in the prior art Impact of multi-scale retinex computation on performance of segmentation algorithm (Proceedings of SPIE, Volume 5438, pp. 171-182 (July 2004)).
해당 선행논문에서는 MSR의 기본 형식 및 복원 팩터(restoration factor, α)의 산출식으로 하기 수학식 1을 제시하고 있다.
In the preceding paper, the following equation (1) is presented as a calculation formula of the MSR basic form and the restoration factor (α).
여기서, i는 i번째 스펙트럴 밴드(i-th spectral band)를 나타내고, S는 이미지 유형(예를 들어, S가 1이면 그레이 이미지(gray image)이고, S가 3이면 컬러 이미지)을 나타낸다. (x1, x2)는 영상의 좌표를 나타내고, I는 입력 이미지이며, R은 MSRCR 방식에 따른 출력 이미지를 나타낸다. Fk는 k번째 가우시안 서라운드 함수(k-th gussian surround function)를 나타내고, σk는 k번째 가우시안 서라운드 함수의 표준 편차(standard deviations)를 나타내며, Wk는 k번째 가우시안 서라운드 함수에 대한 가중치이고, K는 서라운드 함수의 값이며, αi는 i번째 스펙트럴 밴드의 색상 복원 계수(color restoration coefficients)를 나타낸다. Here, i represents an i-th spectral band, and S represents an image type (for example, a gray image when S is 1 and a color image when S is 3). (x 1 , x 2 ) denotes the coordinates of the image, I denotes the input image, and R denotes the output image according to the MSRCR scheme. F k denotes a kth Gaussian surround function, σ k denotes standard deviations of the kth Gaussian surround function, W k denotes a weight for the k th Gaussian surround function, K is the value of the surround function, α i represents the color restoration factor of the i-th spectral band (color restoration coefficients).
그러나, 종래기술에 따른 MSRCR 방식은 주파수 도메인에서 동작을 수행하기 때문에 푸리에 변환(Fourier transform)을 하여야 하는 계산상의 번거로움이 있으며, 입력 영상과 가우시안 함수들을 저장하기 위해 여러 장의 프레임 메모리가 필요한 문제점이 있었다.However, since the MSRCR scheme according to the prior art performs operations in the frequency domain, it is troublesome to perform a Fourier transform, and there is a problem that a plurality of frame memories are required to store input images and Gaussian functions there was.
또한 로그(log) 연산을 위해 테이블을 미리 저장하기 위한 추가적인 메모리가 요구되며, 실시간적인 연산 처리가 불가능하기 때문에 후처리 방식의 영상 개선만이 가능한 문제점도 있었다. In addition, additional memory is required to store the table in advance for log operation, and real-time operation processing is not possible.
따라서, 계산상의 복잡도를 최소화하여 실시간 영상 개선 처리가 가능한 방안이 요구된다.
Therefore, there is a need for a method capable of real-time image enhancement processing by minimizing computational complexity.
본 발명은 광범위한 밝기 변화를 가지는 영상의 정보를 제한된 동적 영역(dynamic range) 내에서 보다 우수하게 표현할 수 있도록 하는 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치를 제공하기 위한 것이다.The present invention is to provide a method and apparatus for enhancing image quality through brightness contrast enhancement so that information of an image having a wide range of brightness change can be expressed better within a limited dynamic range.
본 발명은 실제의 밝기 값을 디스플레이 장치의 동적 영역에 맞도록 효율적으로 스케일링함으로써 단순히 밝기 값을 일정 비율로 스케일링 함으로써 발생될 수 있는 선명도 손실을 보상할 수 있는 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치를 제공하기 위한 것이다.The present invention relates to a method for improving image quality through brightness contrast enhancement that can compensate for loss of sharpness that can be generated by simply scaling a brightness value at a certain ratio by efficiently scaling an actual brightness value to match a dynamic range of a display device, Device.
본 발명은 종래의 MSRCR 방식에서 계산 복잡도를 가중시키던 푸리에 변환 등의 번거로움을 제거하고, 여러 개의 프레임 메모리 없이도 최소한의 메모리 공간만으로 영상 개선 처리가 가능한 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치를 제공하기 위한 것이다.The present invention eliminates the hassle of Fourier transforms and the like which increase the computational complexity in the conventional MSRCR method, and provides a method and apparatus for enhancing image quality by improving brightness contrast capable of performing image enhancement processing with only a minimum memory space without using a plurality of frame memories .
본 발명은 직전의 영상 정보로부터 획득한 정보를 이용하여 현재 영상에 대해 화소 단위의 톤 매핑(tone mapping)을 수행할 수 있어 실시간 영상 화질 개선 처리가 가능한 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치를 제공하기 위한 것이다.The present invention relates to a method and apparatus for enhancing image quality through brightness contrast enhancement capable of performing real-time image quality enhancement processing by performing tone mapping on a pixel-by-pixel basis using information obtained from previous image information .
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
Other objects of the present invention will become readily apparent from the following description.
본 발명의 일 측면에 따르면, 밝기 대비 향상 유닛을 포함한 영상 화질 개선 장치에 있어서, 직전 프레임 영상에 대해 조건부 콘트라스트 확률에 대한 누적 분포 함수(Cumulative Density Function of Conditional Contrast Probability)를 분석하는 영상 분석부; 상기 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 최종 보상 커브를 생성하는 보상 커브 생성부; 및 상기 직전 프레임 영상에 대해 상기 생성된 최종 보상 커브를 현재 프레임 영상에 적용하여 화질 개선된 현재 프레임 영상을 출력하는 커브 적용부를 포함하는 영상 화질 개선 장치가 제공된다.According to an aspect of the present invention, there is provided an image quality enhancement apparatus including a brightness contrast enhancement unit, the apparatus comprising: an image analyzer for analyzing a cumulative density function of a conditional contrast probability with respect to a previous frame image; A compensation curve generation unit for generating a final compensation curve using the cumulative distribution function for the analyzed conditional contrast probability; And a curve application unit for applying the generated final compensation curve to the current frame image with respect to the previous frame image to output a current frame image of improved image quality.
상기 보상 커브 생성부는, 상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 어두운 영역에서의 밝기 대비를 향상시키는 제1 보상 커브를 생성하는 제1 영역 커브 생성부; 상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 밝은 영역에서의 밝기 대비를 향상시키는 제2 보상 커브를 생성하는 제2 영역 커브 생성부; 상기 제1 보상 커브 및 상기 제2 보상 커브의 평균에 해당하는 가중치 커브를 생성하는 가중치 커브 생성부; 및 상기 제1 보상 커브, 상기 제2 보상 커브 및 상기 가중치 커브를 이용하여, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 작은 영역에서는 상기 제1 보상 커브에 의한 밝기 대비가 향상되고, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 큰 영역에서는 상기 제2 보상 커브에 의한 밝기 대비가 향상되는 최종 보상 커브를 생성하는 전체 영상 커브 생성부를 포함할 수 있다.Wherein the compensation curve generation unit comprises: a first area curve generation unit for generating a first compensation curve for improving brightness contrast in a dark region by using an accumulated distribution function for the conditional contrast probability; A second area curve generation unit for generating a second compensation curve for improving brightness contrast in a bright area by using an accumulated distribution function for the conditional contrast probability; A weight curve generator for generating a weight curve corresponding to an average of the first compensation curve and the second compensation curve; And using the first compensation curve, the second compensation curve, and the weight curve to improve the contrast of brightness by the first compensation curve in a region smaller than an intermediate value of all weight values of the weight curve, And a final compensation curve in which the brightness contrast of the second compensation curve is improved in an area where the brightness value is greater than a middle value among the total brightness values of the first and second compensation curves.
상기 제1 보상 커브는 밝기가 증가할수록 접선 기울기가 감소하는 곡선 형상일 수 있다.The first compensation curve may have a curved shape in which the tangential slope decreases as the brightness increases.
상기 제1 보상 커브(YL(x))는 하기 수학식에 의해 생성될 수 있다.The first compensation curve YL (x) may be generated by the following equation.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YL(xl)은 xl에서의 보상 커브의 값이며, YL(xl -1)는 xl -1에서의 보상 커브의 값일 수 있다.Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YL (x l ) is in the x l Is the value of the compensation curve, and Y L (x l -1 ) may be the value of the compensation curve at x l -1 .
상기 제2 보상 커브는 밝기가 증가할수록 접선 기울기가 증가하는 곡선 형상일 수 있다.The second compensation curve may have a curved shape in which the tangential slope increases as the brightness increases.
상기 제2 보상 커브(YH(x))는 하기 수학식에 의해 생성될 수 있다.The second compensation curve YH (x) may be generated by the following equation.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YH(xl)은 xl에서의 보상 커브의 값이며, YH(xl -1)는 xl -1에서의 보상 커브의 값일 수 있다. Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YH (x l ) is in the x l Is the value of the compensation curve, and Y H (x l -1 ) may be the value of the compensation curve at x l -1 .
상기 최종 보상 커브(Y(x))는 하기 수학식에 의해 생성될 수 있다.The final compensation curve (Y (x)) can be generated by the following equation.
여기서, W(x)는 상기 가중치 커브이고, 상기 YH(x)는 상기 제2 보상 커브이며, 상기 YL(x)는 상기 제1 보상 커브일 수 있다.Here, W (x) is the weight curve, YH (x) is the second compensation curve, and YL (x) is the first compensation curve.
영상 화질 개선을 위한 영상 정보가 동영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상에 대해 시간적으로 직전에 위치한 영상 프레임이고, 상기 영상 정보가 정지 영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상보다 직전에 촬상되어 저장된 영상 프레임일 수 있다.
Wherein when the image information for improving the image quality is a moving image, the immediately preceding frame image is an image frame positioned temporally before the current frame image, and if the image information is a still image, And may be an image frame captured and stored.
본 발명의 다른 측면에 따르면, 밝기 대비 향상을 통한 영상 화질 개선 방법에 있어서, 영상 분석부가 직전 프레임 영상에 대해 조건부 콘트라스트 확률에 대한 누적 분포 함수(Cumulative Density Function of Conditional Contrast Probability)를 분석하는 단계; 보상 커브 생성부가 상기 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 최종 보상 커브를 생성하는 단계; 및 커브 적용부가 상기 직전 프레임 영상에 대해 상기 생성된 최종 보상 커브를 현재 프레임 영상에 적용하여 화질 개선된 현재 프레임 영상을 출력하는 단계를 포함하는 영상 화질 개선 방법이 제공된다.According to another aspect of the present invention, there is provided a method of improving image quality through brightness contrast enhancement, the method comprising: analyzing a cumulative density function of a conditional contrast probability with respect to an immediately preceding frame image; Generating a final compensation curve using a cumulative distribution function for the analyzed conditional contrast probabilities; And a curve applying unit applying the generated final compensation curve to the current frame image with respect to the immediately preceding frame image to output a current frame image of improved image quality.
상기 최종 보상 커브를 생성하는 단계는, 상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 어두운 영역에서의 밝기 대비를 향상시키는 제1 보상 커브와 밝은 영역에서의 밝기 대비를 향상시키는 제2 보상 커브를 생성하는 단계; 상기 제1 보상 커브 및 상기 제2 보상 커브의 평균에 해당하는 가중치 커브를 생성하는 단계; 및 상기 제1 보상 커브, 상기 제2 보상 커브 및 상기 가중치 커브를 이용하여, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 작은 영역에서는 상기 제1 보상 커브에 의한 밝기 대비가 향상되고, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 큰 영역에서는 상기 제2 보상 커브에 의한 밝기 대비가 향상되는 상기 최종 보상 커브를 생성하는 단계를 포함할 수 있다.The generating of the final compensation curve may include using a cumulative distribution function for the conditional contrast probability to calculate a first compensation curve to improve brightness contrast in the dark region and a second compensation curve to improve brightness contrast in the bright region ; Generating a weight curve corresponding to an average of the first compensation curve and the second compensation curve; And using the first compensation curve, the second compensation curve, and the weight curve to improve the contrast of brightness by the first compensation curve in a region smaller than an intermediate value of all weight values of the weight curve, And generating the final compensation curve in which the brightness contrast by the second compensation curve is improved in an area larger than the middle value among the total brightness values of the first compensation curve.
상기 제1 보상 커브는 밝기가 증가할수록 접선 기울기가 감소하는 곡선 형상이고, 상기 제2 보상 커브는 밝기가 증가할수록 접선 기울기가 증가하는 곡선 형상일 수 있다.The first compensation curve may have a curved shape in which the tangential slope decreases as the brightness increases, and the second compensation curve may be curved in which the tangential slope increases as the brightness increases.
상기 제1 보상 커브(YL(x))는 하기 수학식에 의해 생성될 수 있다.The first compensation curve YL (x) may be generated by the following equation.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YL(xl)은 xl에서의 보상 커브의 값이며, YL(xl -1)는 xl -1에서의 보상 커브의 값일 수 있다. Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YL (x l ) is in the x l Is the value of the compensation curve, and Y L (x l -1 ) may be the value of the compensation curve at x l -1 .
상기 제2 보상 커브(YH(x))는 하기 수학식에 의해 생성될 수 있다.The second compensation curve YH (x) may be generated by the following equation.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YH(xl)은 xl에서의 보상 커브의 값이며, YH(xl -1)는 xl -1에서의 보상 커브의 값일 수 있다.Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YH (x l ) is in the x l Is the value of the compensation curve, and Y H (x l -1 ) may be the value of the compensation curve at x l -1 .
상기 최종 보상 커브(Y(x))는 하기 수학식에 의해 생성될 수 있다.The final compensation curve (Y (x)) can be generated by the following equation.
여기서, W(x)는 상기 가중치 커브이고, 상기 YH(x)는 상기 제2 보상 커브이며, 상기 YL(x)는 상기 제1 보상 커브일 수 있다.Here, W (x) is the weight curve, YH (x) is the second compensation curve, and YL (x) is the first compensation curve.
영상 화질 개선을 위한 영상 정보가 동영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상에 대해 시간적으로 직전에 위치한 영상 프레임이고, 상기 영상 정보가 정지 영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상보다 직전에 촬상되어 저장된 영상 프레임일 수 있다.
Wherein when the image information for improving the image quality is a moving image, the immediately preceding frame image is an image frame positioned temporally before the current frame image, and if the image information is a still image, And may be an image frame captured and stored.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 광범위한 밝기 변화를 가지는 영상의 정보를 제한된 동적 영역(dynamic range) 내에서 보다 우수하게 표현할 수 있는 효과가 있다.According to the embodiment of the present invention, there is an effect that information of an image having a wide brightness change can be expressed better in a limited dynamic range.
또한 실제의 밝기 값을 디스플레이 장치의 동적 영역에 맞도록 효율적으로 스케일링함으로써 단순히 밝기 값을 일정 비율로 스케일링 함으로써 발생될 수 있는 선명도 손실을 보상할 수 있는 효과도 있다.In addition, there is also an effect of compensating the loss of sharpness that can be generated by simply scaling the brightness value at a certain ratio by efficiently scaling the actual brightness value to match the dynamic range of the display device.
또한 종래의 MSRCR 방식에서 계산 복잡도를 가중시키던 푸리에 변환 등의 번거로움을 제거하고, 여러 개의 프레임 메모리 없이도 최소한의 메모리 공간만으로 영상 개선 처리가 가능한 효과도 있다.In addition, there is also an effect of eliminating the hassle of Fourier transform and the like which increased computational complexity in the conventional MSRCR method, and performing image enhancement processing with only a minimum memory space without a plurality of frame memories.
또한 직전의 영상 정보로부터 획득한 정보를 이용하여 현재 영상에 대해 화소 단위의 톤 매핑(tone mapping)을 수행할 수 있어 실시간 영상 화질 개선 처리가 가능한 효과도 있다.
Also, it is possible to perform tone mapping on a pixel-by-pixel basis with respect to the current image by using the information obtained from the previous image information, thereby realizing the real-time image quality improvement process.
도 1은 본 발명의 일 실시예에 따른 밝기 대비 향상 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 각 커브 생성부에서 생성하는 보상 커브 정보를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 밝기 대비 향상을 통한 영상 화질 개선 방법을 나타낸 순서도.
도 4 내지 6은 본 발명의 일 실시예에 따른 밝기 대비 향상 유닛의 처리에 따른 입력 영상과 출력 영상을 각각 대비한 도면.1 is a block diagram schematically showing a configuration of a brightness contrast enhancing unit according to an embodiment of the present invention;
2 is a diagram illustrating compensation curve information generated by each curve generation unit according to an embodiment of the present invention;
3 is a flowchart illustrating a method of improving image quality through brightness contrast enhancement according to an exemplary embodiment of the present invention.
FIGS. 4 to 6 are views illustrating an input image and an output image, respectively, according to the processing of the brightness contrast enhancing unit according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms " part, "" unit," " module, "and the like, which are described in the specification, refer to a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software .
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
이하, 본 발명에 따른 실시예를 설명함에 있어 현재 프레임을 t번째 프레임인 Xt라 표기하고, 직전 프레임인 t-1번째 프레임은 Xt -1이라 표기하기로 한다. Hereinafter, in describing an embodiment according to the present invention, the current frame is denoted as X t and the (t-1) th frame as the immediately preceding frame is denoted as X t -1 .
만일 현재 화질 개선 처리의 대상이 동영상인 경우라면 실시간 처리되는 현재 프레임이 Xt이고, 현재 프레임에 시간적으로 직전에 위치된 프레임이 Xt -1이다.If the object of the current image quality improvement process is a moving image, the current frame to be processed in real time is X t , and the frame positioned immediately before in the current frame is X t -1 .
그러나 만일, 현재 화질 개선 처리의 대상이 정지 영상인 경우라면 메모리에 저장된 영상 중에서 후술되는 영상 분석 및 보상 커브 생성을 위해 앞서 독출된 영상(즉, 직전 프레임)이 Xt -1이고, 메모리에 저장된 영상 중에서 Xt -1을 대상으로 생성된 보상 커브를 적용하여 화질 개선 처리하여 출력하기 위해 나중에 독출된 영상(즉, 현재 프레임)이 Xt이다. 메모리에 저장된 영상들 중 Xt -1과 Xt는 시간적으로 연속되어 저장된 각각의 영상들일 수 있다.If, however, if the target is a still image of the current image quality improvement processing, and if the previously read out to the image analysis and compensation curve generation will be described later from the image stored in the image memory (i.e., the preceding frame) it is X t -1, stored in the memory The image (ie, the current frame) read out later by the compensation curve generated for X t -1 in the image to improve the image quality and output is X t . Among the images stored in the memory, X t -1 and X t may be the respective images stored sequentially in time.
또한, 기호 X는 입력 영상(즉, 현재 프레임)의 각 화소값으로서, 여기서 입력 영상은 예를 들어 RGB 영상의 각 채널(R,G,B) 영상이거나 YCbCr(또는 YUV)에서 Y 영상이거나, HSV(또는 HSI, HSL)에서 밝기를 나타내는 V (또는 I, L) 영상 등일 수 있다. The symbol X is the pixel value of the input image (i.e., the current frame), where the input image is an image of each channel (R, G, B) of an RGB image, a Y image of YCbCr (or YUV) A V (or I, L) image representing brightness in HSV (or HSI, HSL), and the like.
예를 들어, 화질 개선 처리가 실시간 처리되는 동영상을 대상으로 하는 경우에는 이미지 센서로부터 직접 들어오는 값이 입력 정보일 수 있고, 정지 영상의 경우에는 메모리에 저장된 영상 데이터에서 읽는 값이 입력 정보일 수 있다.
For example, in a case where the image quality improvement process is performed in real time, a value directly input from the image sensor may be input information, and in the case of a still image, a value read from image data stored in the memory may be input information .
도 1은 본 발명의 일 실시예에 따른 밝기 대비 향상 유닛의 구성을 개략적으로 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 각 커브 생성부에서 생성하는 보상 커브 정보를 나타낸 도면이다.FIG. 1 is a block diagram schematically showing a configuration of a brightness contrast enhancing unit according to an embodiment of the present invention. FIG. 2 is a diagram illustrating compensation curve information generated by each curve generating unit according to an embodiment of the present invention. to be.
도 1을 참조하면, 밝기 대비 향상 유닛(100)은 영상 분석부(110), 개별 커브 생성부(120), 전체 영상 커브 생성부(130) 및 커브 적용부(140)를 포함할 수 있다.Referring to FIG. 1, the brightness
영상 분석부(110)는 직전 프레임 Xt -1에 대해 히스토그램(histogram), 히스토그램의 누적 분포 함수(Cumulative Density Function, CDF), 조건부 콘트라스트 확률(Conditional Contrast Probability, CCP), 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP) 등 중 하나 이상을 분석한다. The
영상 분석부(110)에 의해 수행되는 히스토그램(histogram), 히스토그램의 누적 분포 함수(Cumulative Density Function, CDF), 조건부 콘트라스트 확률(Conditional Contrast Probability, CCP), 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)의 분석 방법은 당업자에게 자명한 사항이므로 이에 대해서는 간략히 설명하기로 한다.A cumulative distribution function (CDF) of a histogram, a cumulative distribution function (CDF), a conditional contrast probability (CCP), and a cumulative distribution function (CDF of a conditional contrast probability) of a histogram performed by the
영상 분석부(110)의 분석을 위해, 입력 영상 X의 동적 영역(dynamic range)은 동일한 사이즈를 가지는 n개의 bins로 분리될 수 있고, 해당 bins의 중심 xj는 0, δ, 2δ, ... , (n-1)δ로 표시될 수 있으며, j는 0 내지 n-1 중 임의의 값이고 (n-1) δ <256의 관계를 가질 수 있다. 각 bin의 폭을 나타내는 δ는 예를 들어, 4일 수 있다.For the analysis of the
또한, 입력 영상에서 콘트라스트(contrast) 값을 찾기 위해 이미지 피라미드 중 라플라시안 피라미드(laplacian pyramid)가 적용될 수 있다. Also, a laplacian pyramid of image pyramids can be applied to find the contrast value in the input image.
i번째 주파수 밴드를 위한 콘트라스트는 Gi = Xi -1 - Xi에 의해 산출될 수 있다. 여기서, 입력 영상 X0는 영상 분석 및 보상 커브 생성을 위한 직전 프레임 Xt -1이고, Xi는 입력 영상을 i번째(i는 1 내지 m 중 임의의 자연수인 피라미드 레벨) 가우시안 필터로 처리한 영상을 나타낸다.The contrast for the ith frequency band can be calculated by G i = X i -1 - X i . Herein, the input image X 0 is a previous frame X t -1 for image analysis and compensation curve generation, X i is an input image processed by a Gaussian filter of i-th (i is a pyramid level of any natural number from 1 to m) Image.
영상 분석부(110)에 의한 영상 해석은 피라미드 레벨 i에 따른 휘도(즉, 입력 영상, Xi)에 종속되는 콘트라스트의 조건부 확률인 조건부 콘트라스트 확률(CCP) 값(Gi)으로 이해될 수 있다.The image analysis by the
따라서, 영상 분석부(110)는 휘도 Xi -1에서 j번째 bin에 속하면서 콘트라스트 값 Gi가 톤 매핑(tone mapping)에 영향을 줄 수 있는 값을 가진다면 j번째 bin에 누적하여 조건부 콘트라스트 확률(CCP)을 계산한다. Accordingly, if the contrast value G i belongs to the j th bin at the luminance X i -1 , if the contrast value G i has a value capable of affecting the tone mapping, the
이때, 콘트라스트 값 Gi가 미리 지정된 임계값보다 크다면, 즉 휘도 Xi -1가 배경 휘도 Xi보다 밝은 값을 가지면서 콘트라스트에 기여하는 것으로 판단하여 하기 수학식 2의 의 j번째 bin 에 누적하여 히스토그램을 계산하고, 반대로 Gi가 미리 지정된 임계값보다 작다면 Xi -1가 Xi보다 어두운 값을 가지면서 콘트라스트 에 기여하는 것으로 판단하여 의 j번째 bin에 누적하여 조건부 콘트라스트 확률(CCP)을 계산한다. At this time, if the contrast value G i is larger than the predetermined threshold value, that is, the luminance X i -1 has a value lighter than the background luminance X i , it is determined that the contrast contributes to the contrast, For calculating a cumulative histogram by the j-th bin, if contrary G i is less than the pre-specified threshold, it is determined that the X i -1 while having a darker value than X i contribute to the contrast And accumulates the conditional contrast probability (CCP) in the j < th >
수학식 3에 표시된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)는 콘트라스트 향상을 위한 기본 커브로 사용된다. 즉, 조건부 콘트라스트 확률(CCP)의 값이 큰 구간에서는 누적 분포 함수(CDF)의 기울기를 증가시켜 동적 영역(dynamic range)를 넓혀주고, 조건부 콘트라스트 확률(CCP)의 값이 작은 구간에서는 누적 분포 함수(CDF)의 기울기를 감소시켜 동적 영역(dynamic range)을 좁게 한다.
The cumulative distribution function (CDF of CCP) for the conditional contrast probability shown in Equation (3) is used as a basic curve for contrast enhancement. That is, in a section where the value of the conditional contrast probability (CCP) is large, the gradient of the cumulative distribution function (CDF) is increased to widen the dynamic range. In the section where the value of the conditional contrast probability (CCP) (CDF) to reduce the dynamic range.
여기서, P는 확률값을 뜻하고, Gi는 콘트라스트 값이며, δ는 각 bin의 폭을 나타내고, xj는 해당 빈스(bins)의 중심을 나타낸다.
Here, P denotes a probability value, G i denotes a contrast value,? Denotes a width of each bin, and x j denotes a center of the corresponding bins.
여기서, l은 n개의 빈스(bins) 중에서 임의의 빈(bin)을 나타내는 인덱스(index)이다.
Here, l is an index indicating an arbitrary bin among n bins.
또한, 영상 분석부(110)는 입력 영상의 동적 영역을 n개의 bins에서 256개의 bins(즉, 8비트)로 다시 만들기 위해 중간의 빈 데이터들을 보간하여 채우는 홀 필링(hole filling) 처리를 더 수행할 수 있다.In addition, the
개별 커브 생성부(120)는 직전 프레임 Xt -1을 이용하여 영상 분석부(110)에 의해 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 이용하여 복수의 커브를 생성한다. 생성된 커브에 관한 정보는 임의의 저장 공간에 저장될 수 있다.The individual
개별 커브 생성부(120)는 제1 영역(즉, 어두운 영역) 커브 생성부(150), 제2 영역(즉, 밝은 영역) 커브 생성부(155) 및 가중치 커브 생성부(160)를 포함할 수 있다.The individual
제1 영역 커브 생성부(150)는 직전 프레임 Xt -1을 이용하여 영상 분석부(110)에 의해 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 이용하여 제1 영역(즉, 어두운 영역)에서 밝기의 대비를 향상시키는 제1 보상 커브(YLt-1)을 생성한다. The first region
생성된 제1 보상 커브(YLt -1)는 도 2의 (a)에 도시되어 있으며, 밝기를 나타내는 X축이 원점에 가까워질수록 Y축으로 표시된 동적 영역의 폭이 급격히 좁아지는 곡선 그래프의 형태로 표현될 수 있다. 즉, 어두운 영역에서의 밝기 대비를 향상시키기 위한 제1 보상 커브는 밝기가 증가될수록 0보다 큰 접선 기울기가 순차적으로 감소되는 커브 형태로 표현된다. 제1 보상 커브의 생성 방법은 하기 수학식 4에 기재되어 있다.
The generated first compensation curve (YL t -1 ) is shown in (a) of FIG. 2. The first compensation curve (YL t -1 ) is a curved line graph in which the width of the dynamic range indicated by the Y axis sharply decreases as the X- Can be expressed in the form. That is, the first compensation curve for improving the brightness contrast in the dark region is expressed in a curve shape in which the tangential slope greater than 0 is sequentially decreased as the brightness is increased. The method of generating the first compensation curve is described in Equation (4) below.
여기서, x는 화소(픽셀)의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YL(xl)은 xl에서의 보상 커브의 값이며, YL(xl -1)는 xl-1에서의 보상 커브의 값일 수 있다.
Here, x is the brightness value of the pixel (pixel), x l is the center of the l th bin (bin), x is l -1 l-1 and the center of the second bin (bin), YL (x l) is x l , and YL (x l -1 ) may be the value of the compensation curve at x l-1 .
제2 영역 커브 생성부(155)는 직전 프레임 Xt -1을 이용하여 영상 분석부(110)에 의해 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 이용하여 제2 영역(즉, 밝은 영역)에서 밝기의 대비를 향상시키는 제2 보상 커브(YHt-1)을 생성한다. The second area
생성된 제2 보상 커브(YHt -1)는 도 2의 (b)에 도시되어 있으며, X축으로 표시된 밝기 값이 증가할수록 Y축으로 표시된 동적 영역의 폭이 급격히 커지는 곡선 그래프의 형태로 표현될 수 있다. 즉, 밝은 영역에서의 밝기 대비를 향상시키기 위한 제2 보상 커브는 밝기가 증가될수록 0보다 큰 접선 기울기가 순차적으로 증가되는 커브 형태로 표현된다. 제2 보상 커브의 생성 방법은 하기 수학식 5에 기재되어 있다.
The generated second compensation curve (YH t -1 ) is shown in FIG. 2 (b) and is expressed in the form of a curve graph in which the width of the dynamic range indicated by the Y axis increases sharply as the brightness value indicated by the X axis increases . That is, the second compensation curve for improving the brightness contrast in the bright region is expressed in a curve shape in which the tangential slope greater than zero is sequentially increased as the brightness is increased. The method of generating the second compensation curve is described in Equation (5) below.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YH(xl)은 xl에서의 보상 커브의 값이며, YH(xl -1)는 xl -1에서의 보상 커브의 값일 수 있다.
Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YH (x l ) is in the x l Is the value of the compensation curve, and Y H (x l -1 ) may be the value of the compensation curve at x l -1 .
가중치 커브 생성부(160)는 제1 영역 커브 생성부(150) 및 제2 영역 커브 생성부(155)에 의해 각각 생성된 제1 보상 커브(YLt -1)와 제2 보상 커브(YHt -1)에 곱셈 연산될 가중치 커브(Wt -1)를 생성한다. The weight
가중치 커브는 예를 들어, 도 2의 (c)에 도시된 바와 같이 원점과 최대점(즉, 밝기의 크기를 나타내는 X축의 최대값 및 동적 영역의 크기를 나타내는 Y축의 최대값에 해당하는 최대점)을 연결하는 1차원 직선의 형태로 생성될 수 있다. As shown in FIG. 2 (c), for example, the weight curve is a maximum point corresponding to the maximum value of the Y-axis representing the maximum value of the X-axis representing the magnitude of the brightness and the magnitude of the dynamic region, ) In the form of a one-dimensional straight line.
가중치 커브 생성부(160)가 가중치 커브(Wt -1)를 생성하는 방법은 하기 수학식 6과 같다.
The weighting
생성된 가중치 커브는 후술되는 수학식 7에서 제시된 바와 같이, 제1 영역(즉, 어두운 영역)에서는 제1 보상 커브에 곱하는 값을 크게 해주고, 반면 제2 영역(밝은 영역)에서는 제2 보상 커브에 곱하는 값을 크게 해주는 형태로 적용될 수 있다.The generated weight curve increases the value multiplied by the first compensation curve in the first region (i.e., the dark region), while the weight curve increases the value multiplied by the second compensation curve in the second region (bright region), as shown in Equation (7) It can be applied in a form of increasing the multiplication value.
전체 영상 커브 생성부(130)는 제1 영역 커브 생성부(150), 제2 영역 커브 생성부(155) 및 가중치 커브 생성부(160)에 의해 각각 생성된 제1 보상 커브(YLt -1), 제2 보상 커브(YHt -1) 및 가중치 커브(Wt -1)를 이용하여 현재 프레임 Xt의 밝기 대비를 향상시키기 위한 최종 보상 커브(Yt -1)를 생성한다(도 2의 (d) 참조).Full curve
전체 영상 커브 생성부(130)는 제1 보상 커브(YLt -1), 제2 보상 커브(YHt -1) 및 가중치 커브(Wt -1)를 이용하여 최종 보상 커브(Yt -1)를 생성하는 방법은 하기 수학식 7에 기재된 바와 같다.
The full image
수학식 7에 기재된 바와 같이, 밝기 대비 향상을 위한 최종 보상 커브 Y(x)는 W(x) = 0.5에 해당되는 밝기 값을 기준으로 어두운 영역에서는 YL(x)에 가중치가 더 크게 적용되어 주변보다 어두운 값을 가지면서 콘트라스트(contrast)에 기여하는 화소들에 대한 콘트라스트가 향상되고, 반면 밝은 영역에서는 YH(x)에 가중치가 더 크게 적용되어 주변보다 밝은 값을 가지면서 콘트라스트에 기여하는 화소들에 대한 콘트라스트가 향상되는 효과를 가진다.As shown in Equation (7), the final compensation curve Y (x) for improving the brightness contrast is weighted to YL (x) in the dark region based on the brightness value corresponding to W (x) = 0.5, Contrast is improved for pixels contributing to a contrast while having a darker value. On the other hand, in a bright region, a weight is applied to YH (x) so that pixels contributing to contrast, The contrast is improved.
커브 적용부(140)는 전체 영상 커브 생성부(130)에 의해 직전 프레임 Xt -1에 대해 생성된 최종 보상 커브(Yt -1)를 하기 수학식 8과 같이 현재 프레임 Xt에 적용하여 밝기 대비가 향상 처리된 현재 프레임 Zt을 출력한다.
The
도 3은 본 발명의 일 실시예에 따른 밝기 대비 향상을 통한 영상 화질 개선 방법을 나타낸 순서도이고, 도 4 내지 6은 본 발명의 일 실시예에 따른 밝기 대비 향상 유닛의 처리에 따른 입력 영상과 출력 영상을 각각 대비한 도면이다.FIG. 3 is a flowchart illustrating a method of improving image quality through brightness contrast enhancement according to an exemplary embodiment of the present invention. FIGS. 4 to 6 illustrate a method of enhancing brightness enhancement according to an exemplary embodiment of the present invention, Respectively.
도 3을 참조하면, 단계 310에서 영상 분석부(110)는 직전 프레임 Xt -1에 대한 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 계산한다. Referring to FIG. 3, in
단계 320에서 개별 커브 생성부(120)는 직전 프레임 Xt -1을 이용하여 영상 분석부(110)에 의해 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 이용하여 제1 영역(즉, 어두운 영역)에서 밝기의 대비를 향상시키는 제1 보상 커브(YLt -1) 및 제2 영역(즉, 밝은 영역)에서 밝기의 대비를 향상시키는 제2 보상 커브(YHt-1)를 생성하고, 제1 보상 커브와 제2 보상 커브의 평균값인 가중치 커브(W t-1)을 생성한다. In
단계 330에서 전체 영상 커브 생성부(130)는 개별 커브 생성부(120)에 의해 생성된 제1 보상 커브(YLt -1), 제2 보상 커브(YHt -1) 및 가중치 커브(W t-1)를 이용하여 최종 보상 커브(Yt -1)를 생성한다.In
단계 340에서 커브 적용부(140)는 입력되는 현재 프레임 Xt에 대해 단계 330에서 생성된 최종 보상 커브를 적용함으로써 밝기 대비가 향상된 현재 프레임 Zt를 출력한다.In
도 4 내지 6에는 입력 영상(각 도면의 (a))과 최종 보상 커브가 적용되어 밝기 대비가 향상된 출력 영상(각 도면의 (b))가 도시되어 있다. 4 to 6 show an output image ((b) of each drawing) in which the input image ((a) in each drawing) and the final compensation curve are applied and the contrast of brightness is improved.
각 도면을 참조할 때 직전 프레임의 분석에 의해 산출된 조건부 콘트라스트 확률에 대한 누적 분포 함수(CDF of CCP)를 토대로 생성된 최종 보상 커브를 현재 프레임에 적용함으로써 보다 우수한 화질의 영상 데이터가 획득될 수 있음을 확인할 수 있을 것이다.
By applying the final compensation curve generated based on the cumulative distribution function (CDF of CCP) for the conditional contrast probability calculated by the analysis of the immediately preceding frame to the current frame when referring to the respective drawings, image data of better image quality can be obtained .
상술한 밝기 대비 향상을 통한 영상 화질 개선 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
It is a matter of course that the image quality improvement method through the brightness contrast enhancement described above may be performed in an automated procedure in a time series sequence by a built-in or installed program in the digital processing apparatus. The codes and code segments that make up the program can be easily deduced by a computer programmer in the field. In addition, the program is stored in a computer readable medium readable by the digital processing apparatus, and is read and executed by the digital processing apparatus to implement the method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims And changes may be made without departing from the spirit and scope of the invention.
100 : 밝기 대비 향상 유닛
110 : 영상 분석부
120 : 개별 커브 생성부
130 : 전체 영상 커브 생성부
140 : 커브 적용부
150 : 제1 영역 커브 생성부
155 : 제2 영역 커브 생성부
160 : 가중치 커브 생성부100: Brightness contrast enhancement unit
110: Image analysis section
120: Individual curve generation unit
130: full image curve generation unit
140: Curve application part
150: first area curve generation unit
155: second area curve generation unit
160: Weight Curve Generator
Claims (15)
직전 프레임 영상에 대해 조건부 콘트라스트 확률에 대한 누적 분포 함수(Cumulative Density Function of Conditional Contrast Probability)를 분석하는 영상 분석부;
상기 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 최종 보상 커브를 생성하는 보상 커브 생성부; 및
상기 직전 프레임 영상에 대해 생성된 상기 최종 보상 커브를 현재 프레임 영상에 적용하여 갱신된 현재 프레임 영상을 출력하는 커브 적용부를 포함하되,
상기 보상 커브 생성부는,
상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 제1 영역에서의 밝기 대비를 증가시키기 위한 제1 보상 커브를 생성하는 제1 영역 커브 생성부;
상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 제2 영역에서의 밝기 대비를 증가시키기 위한 제2 보상 커브를 생성하는 제2 영역 커브 생성부;
상기 제1 보상 커브 및 상기 제2 보상 커브의 평균에 해당하는 가중치 커브를 생성하는 가중치 커브 생성부; 및
상기 제1 보상 커브, 상기 제2 보상 커브 및 상기 가중치 커브를 이용하여, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 작은 상기 제1 영역에서는 상기 제1 보상 커브에 의해 밝기 대비가 증가되고, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 큰 상기 제2 영역에서는 상기 제2 보상 커브에 의해 밝기 대비가 증가되는 최종 보상 커브를 생성하는 전체 영상 커브 생성부를 포함하는 것을 특징으로 하는 영상 화질 개선 장치
An apparatus for improving image quality,
An image analyzer for analyzing a cumulative distribution function of a conditional contrast probability for a previous frame image;
A compensation curve generation unit for generating a final compensation curve using the cumulative distribution function for the analyzed conditional contrast probability; And
And a curve applying unit for applying the final compensation curve generated for the previous frame image to the current frame image to output an updated current frame image,
Wherein the compensation curve generation unit comprises:
A first area curve generator for generating a first compensation curve for increasing the contrast of brightness in the first area using the cumulative distribution function for the conditional contrast probability;
A second area curve generator for generating a second compensation curve for increasing the brightness contrast in the second area using the cumulative distribution function for the conditional contrast probability;
A weight curve generator for generating a weight curve corresponding to an average of the first compensation curve and the second compensation curve; And
Using the first compensation curve, the second compensation curve, and the weighting curve, the brightness contrast is increased by the first compensation curve in the first region, which is smaller than the middle value among the total brightness values of the weighting curve, And a total image curve generator for generating a final compensation curve in which the brightness contrast is increased by the second compensation curve in the second region, which is larger than the middle value among the total brightness values of the weight curve,
상기 제1 보상 커브는 밝기가 증가할수록 접선 기울기가 감소하는 곡선 형상인 것을 특징으로 하는 영상 화질 개선 장치.
The method according to claim 1,
Wherein the first compensation curve has a curved shape in which a tangent slope decreases as the brightness increases.
상기 제1 보상 커브(YL(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 장치.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YL(xl)은 xl에서의 보상 커브의 값이며, YL(xl -1)는 xl -1에서의 보상 커브의 값임.
The method of claim 3,
Wherein the first compensation curve YL (x) is generated by the following equation.
Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YL (x l ) is in the x l Is the value of the compensation curve, and YL (x l -1 ) is the value of the compensation curve at x l -1 .
상기 제2 보상 커브는 밝기가 증가할수록 접선 기울기가 증가하는 곡선 형상인 것을 특징으로 하는 영상 화질 개선 장치.
The method according to claim 1,
Wherein the second compensation curve has a curve shape in which a tangential gradient increases as the brightness increases.
상기 제2 보상 커브(YH(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 장치.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YH(xl)은 xl에서의 보상 커브의 값이며, YH(xl -1)는 xl -1에서의 보상 커브의 값임.
6. The method of claim 5,
Wherein the second compensation curve (YH (x)) is generated by the following equation.
Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YH (x l ) is in the x l Is the value of the compensation curve, and Y H (x l -1 ) is the value of the compensation curve at x l -1 .
상기 최종 보상 커브(Y(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 장치.
여기서, W(x)는 상기 가중치 커브이고, 상기 YH(x)는 상기 제2 보상 커브이며, 상기 YL(x)는 상기 제1 보상 커브임.
The method according to claim 1,
Wherein the final compensation curve (Y (x)) is generated by the following equation.
Where W (x) is the weight curve, YH (x) is the second compensation curve, and YL (x) is the first compensation curve.
처리될 영상 정보가 동영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상에 대해 시간적으로 직전에 위치한 영상 프레임이고,
상기 영상 정보가 정지 영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상보다 직전에 촬상되어 저장된 영상 프레임인 것을 특징으로 하는 영상 화질 개선 장치.
The method according to claim 1,
If the image information to be processed is a moving image, the immediately preceding frame image is an image frame positioned temporally immediately before the current frame image,
Wherein when the image information is a still image, the immediately preceding frame image is an image frame captured and stored immediately before the current frame image.
영상 분석부가 직전 프레임 영상에 대해 조건부 콘트라스트 확률에 대한 누적 분포 함수(Cumulative Density Function of Conditional Contrast Probability)를 분석하는 단계;
보상 커브 생성부가 상기 분석된 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 최종 보상 커브를 생성하는 단계; 및
커브 적용부가 상기 직전 프레임 영상에 대해 생성된 상기 최종 보상 커브를 현재 프레임 영상에 적용하여 갱신된 현재 프레임 영상을 출력하는 단계를 포함하되,
상기 최종 보상 커브를 생성하는 단계는,
상기 조건부 콘트라스트 확률에 대한 누적 분포 함수를 이용하여 제1 영역에서의 밝기 대비를 증가시키기 위한 제1 보상 커브와 제2 영역에서의 밝기 대비를 증가시키기 위한 제2 보상 커브를 생성하는 단계;
상기 제1 보상 커브 및 상기 제2 보상 커브의 평균에 해당하는 가중치 커브를 생성하는 단계; 및
상기 제1 보상 커브, 상기 제2 보상 커브 및 상기 가중치 커브를 이용하여, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 작은 상기 제1 영역에서는 상기 제1 보상 커브에 의해 밝기 대비가 증가되고, 상기 가중치 커브의 전체 밝기 값 중 중간값보다 큰 상기 제2 영역에서는 상기 제2 보상 커브에 의해 밝기 대비가 증가되는 상기 최종 보상 커브를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선 방법.
A method for improving image quality,
Analyzing a cumulative distribution function (Conditional Contrast Probability) of the conditional contrast probability with respect to the immediately preceding frame image;
Generating a final compensation curve using a cumulative distribution function for the analyzed conditional contrast probabilities; And
Wherein the curve applying unit applies the final compensation curve generated for the previous frame image to the current frame image to output an updated current frame image,
Wherein generating the final compensation curve comprises:
Generating a first compensation curve for increasing brightness contrast in the first region and a second compensation curve for increasing brightness contrast in the second region using the cumulative distribution function for the conditional contrast probability;
Generating a weight curve corresponding to an average of the first compensation curve and the second compensation curve; And
Using the first compensation curve, the second compensation curve, and the weighting curve, the brightness contrast is increased by the first compensation curve in the first region, which is smaller than the middle value among the total brightness values of the weighting curve, And generating the final compensation curve in which the brightness contrast is increased by the second compensation curve in the second region that is greater than the median of the total brightness values of the weighting curve.
상기 제1 보상 커브는 밝기가 증가할수록 접선 기울기가 감소하는 곡선 형상이고,
상기 제2 보상 커브는 밝기가 증가할수록 접선 기울기가 증가하는 곡선 형상인 것을 특징으로 하는 영상 화질 개선 방법.
10. The method of claim 9,
Wherein the first compensation curve has a curved shape in which the tangential slope decreases as the brightness increases,
Wherein the second compensation curve has a curve shape in which a tangential gradient increases as the brightness increases.
상기 제1 보상 커브(YL(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 방법.
x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YL(xl)은 xl에서의 보상 커브의 값이며, YL(xl -1)는 xl -1에서의 보상 커브의 값임.
12. The method of claim 11,
Wherein the first compensation curve YL (x) is generated by the following equation.
x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YL (x l ) is a compensation curve in x l And YL (x l -1 ) is the value of the compensation curve at x l -1 .
상기 제2 보상 커브(YH(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 방법.
여기서, x는 화소의 밝기값이고, xl은 l번째 빈(bin)의 중심이며, xl -1은 l-1번째 빈(bin)의 중심이고, YH(xl)은 xl에서의 보상 커브의 값이며, YH(xl -1)는 xl -1에서의 보상 커브의 값임.
12. The method of claim 11,
Wherein the second compensation curve YH (x) is generated by the following equation.
Here, x is the brightness value of the pixel, x l is l and the center of the second bin (bin), x is l -1 l-1 and the center of the second bin (bin), YH (x l ) is in the x l Is the value of the compensation curve, and Y H (x l -1 ) is the value of the compensation curve at x l -1 .
상기 최종 보상 커브(Y(x))는 하기 수학식에 의해 생성되는 것을 특징으로 하는 영상 화질 개선 방법.
여기서, W(x)는 상기 가중치 커브이고, 상기 YH(x)는 상기 제2 보상 커브이며, 상기 YL(x)는 상기 제1 보상 커브임.
10. The method of claim 9,
Wherein the final compensation curve (Y (x)) is generated by the following equation.
Where W (x) is the weight curve, YH (x) is the second compensation curve, and YL (x) is the first compensation curve.
처리될 영상 정보가 동영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상에 대해 시간적으로 직전에 위치한 영상 프레임이고,
상기 영상 정보가 정지 영상인 경우 상기 직전 프레임 영상은 상기 현재 프레임 영상보다 직전에 촬상되어 저장된 영상 프레임인 것을 특징으로 하는 영상 화질 개선 방법.
10. The method of claim 9,
If the image information to be processed is a moving image, the immediately preceding frame image is an image frame positioned temporally immediately before the current frame image,
Wherein when the image information is a still image, the immediately preceding frame image is an image frame captured and stored immediately before the current frame image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120061996A KR101418521B1 (en) | 2012-06-11 | 2012-06-11 | Image enhancement method and device by brightness-contrast improvement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120061996A KR101418521B1 (en) | 2012-06-11 | 2012-06-11 | Image enhancement method and device by brightness-contrast improvement |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130138435A KR20130138435A (en) | 2013-12-19 |
KR101418521B1 true KR101418521B1 (en) | 2014-07-11 |
Family
ID=49984138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120061996A Active KR101418521B1 (en) | 2012-06-11 | 2012-06-11 | Image enhancement method and device by brightness-contrast improvement |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101418521B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102743878B1 (en) | 2024-05-27 | 2024-12-19 | 주식회사 에이아이네이션 | Apparatus and method of training neural network model efficiently for video frame quality enhancement |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101723755B1 (en) * | 2015-12-30 | 2017-04-06 | 경희대학교 산학협력단 | Method and apparatus for advancded restoration of color-degraded video using color bars and polynomial transform |
EP3220349A1 (en) * | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
KR20240114171A (en) * | 2023-01-16 | 2024-07-23 | 삼성전자주식회사 | Electronic apparatus and image processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100189922B1 (en) | 1996-06-20 | 1999-06-01 | 윤종용 | Circuit and method for improving contrast by using histogram equalization |
KR20080092004A (en) * | 2007-04-10 | 2008-10-15 | 엘지전자 주식회사 | Histogram equalizer and method |
KR20080097870A (en) * | 2007-05-03 | 2008-11-06 | 엠텍비젼 주식회사 | Image brightness adjusting device and method |
-
2012
- 2012-06-11 KR KR1020120061996A patent/KR101418521B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100189922B1 (en) | 1996-06-20 | 1999-06-01 | 윤종용 | Circuit and method for improving contrast by using histogram equalization |
KR20080092004A (en) * | 2007-04-10 | 2008-10-15 | 엘지전자 주식회사 | Histogram equalizer and method |
KR20080097870A (en) * | 2007-05-03 | 2008-11-06 | 엠텍비젼 주식회사 | Image brightness adjusting device and method |
Non-Patent Citations (1)
Title |
---|
Display adaptive tone mapping(SIGGRAPH 08 ACM, 2008) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102743878B1 (en) | 2024-05-27 | 2024-12-19 | 주식회사 에이아이네이션 | Apparatus and method of training neural network model efficiently for video frame quality enhancement |
Also Published As
Publication number | Publication date |
---|---|
KR20130138435A (en) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vijayalakshmi et al. | A comprehensive survey on image contrast enhancement techniques in spatial domain | |
Parihar et al. | A study on Retinex based method for image enhancement | |
CN112734650B (en) | Virtual multi-exposure fusion based uneven illumination image enhancement method | |
US10152781B2 (en) | Method for image processing using local statistics convolution | |
RU2400815C2 (en) | Method of enhancing digital image quality | |
US7359572B2 (en) | Automatic analysis and adjustment of digital images with exposure problems | |
Wang et al. | Automatic local exposure correction using bright channel prior for under-exposed images | |
JP4460839B2 (en) | Digital image sharpening device | |
CN101916431B (en) | Low-illumination image data processing method and system | |
CN112565636B (en) | Image processing method, device, equipment and storage medium | |
JP2011521370A (en) | Image processing to improve image sharpness | |
Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
Kotwal et al. | An optimization-based approach to fusion of multi-exposure, low dynamic range images | |
Celebi et al. | Fuzzy fusion based high dynamic range imaging using adaptive histogram separation | |
Park et al. | Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images | |
Jiang et al. | Color image enhancement with brightness preservation using a histogram specification approach | |
KR101418521B1 (en) | Image enhancement method and device by brightness-contrast improvement | |
Zhang et al. | Non-uniform illumination video enhancement based on zone system and fusion | |
US20220237755A1 (en) | Image enhancement method and image processing device | |
Yuan et al. | Adaptive histogram equalization with visual perception consistency | |
Pattanayak et al. | Dark image enhancement using adaptive piece-wise sigmoid gamma correction (APSGC) in presence of optical sources | |
Tsai et al. | A novel simultaneous dynamic range compression and local contrast enhancement algorithm for digital video cameras | |
KR100694153B1 (en) | Method and Apparatus for Image Processing based on a Mapping Function | |
Gaddam et al. | Advanced Image Processing Using Histogram Equalization and Android Application Implementation | |
CN113436106B (en) | Underwater image enhancement method, device and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120611 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130730 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20131230 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140627 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140704 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20140707 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20180627 Year of fee payment: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20180627 Start annual number: 5 End annual number: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20190625 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20200625 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20210707 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20220622 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20230622 Start annual number: 10 End annual number: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20240617 Start annual number: 11 End annual number: 11 |