[go: up one dir, main page]

KR102207441B1 - The apparatus and method of HDR imaging generation - Google Patents

The apparatus and method of HDR imaging generation Download PDF

Info

Publication number
KR102207441B1
KR102207441B1 KR1020190065395A KR20190065395A KR102207441B1 KR 102207441 B1 KR102207441 B1 KR 102207441B1 KR 1020190065395 A KR1020190065395 A KR 1020190065395A KR 20190065395 A KR20190065395 A KR 20190065395A KR 102207441 B1 KR102207441 B1 KR 102207441B1
Authority
KR
South Korea
Prior art keywords
image
brightness
unit
saturation
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190065395A
Other languages
Korean (ko)
Other versions
KR20200138972A (en
Inventor
권오설
김범수
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR1020190065395A priority Critical patent/KR102207441B1/en
Publication of KR20200138972A publication Critical patent/KR20200138972A/en
Application granted granted Critical
Publication of KR102207441B1 publication Critical patent/KR102207441B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50Tuning indicators; Automatic tuning control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 HDR 영상 생성 장치 및 방법에 관한 것으로, 보다 구체적으로는 입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부, 상기 제1 변환영상의 밝기를 조절하는 밝기 조절부, 상기 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부, 상기 HSV 색공간으로 변환된 두 영상의 포화도를 비교하여 보상하는 포화도 보상부 및 상기 포화도가 보상된 상기 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부를 포함하여 구성될 수 있다.The present invention relates to an apparatus and method for generating an HDR image, and more specifically, a first color space conversion unit for generating a first converted image converted from an input image to a YCbCr color space, and for adjusting the brightness of the first converted image. A brightness control unit, a second color space conversion unit for converting the first converted image and the input image to an HSV color space, a saturation compensation unit for comparing and compensating the saturation of the two images converted to the HSV color space, and the saturation degree It may be configured to include a third color space conversion unit for converting the compensated input image to the RGB color space.

Figure 112019056852628-pat00011
Figure 112019056852628-pat00011

Description

HDR 영상 생성 장치 및 방법{The apparatus and method of HDR imaging generation}The apparatus and method of HDR imaging generation

본 발명은 HDR(high Dynamic Range) 영상을 생성하는 장치 및 방법에 관한 것으로, 특히 입력영상의 밝기 변화에 따라 적응적으로 색 포화도를 보상하는 HDR 영상 생성 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a high dynamic range (HDR) image, and more particularly, to an apparatus and method for generating an HDR image adaptively compensating for color saturation according to a change in brightness of an input image.

HDR(High Dynamic Range)이란 디지털 영상에서 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만들어 사람이 실제 눈으로 보는 것에 가깝게 밝기의 범위(Dynamic Range)를 확장시키는 기술을 의미한다.HDR (High Dynamic Range) refers to a technology that expands the dynamic range of a digital image by making bright places brighter and dark places darker, closer to what a person actually sees.

현재, 블랙박스, CCTV, 자율주행자동차 등 다양한 분야에서 카메라가 사용됨에 따라 촬영된 영상에서 더 많은 정보의 획득을 위해서 더 넓은 동적 범위(HDR: High Dynamic Range)를 가진 HDR 영상을 필요로 하는 경우가 많아지고 있다.Currently, as cameras are used in various fields such as black boxes, CCTVs, autonomous vehicles, etc., when an HDR image with a wider dynamic range (HDR) is required to acquire more information from the captured image Is increasing.

최근에는, 각각 다른 노출시간으로 촬영된 복수의 LDR(Low Dynamic Range) 영상을 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하거나, 단일 프레임의 LDR 영상을 다른 밝기값(노출값)을 가지는 LDR 영상들로 분해한 후 다시 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하는 등, 복수의 LDR 영상들을 합성하여 HDR 영상을 생성하는 방법들이 주로 연구되고 있다. Recently, an HDR image is generated by synthesizing a plurality of LDR (Low Dynamic Range) images taken at different exposure times while extending the dynamic range, or LDR images having different brightness values (exposure values) of a single frame LDR image Methods of generating an HDR image by synthesizing a plurality of LDR images, such as generating an HDR image by expanding the dynamic range while synthesizing again after decomposition into, are mainly studied.

다만, 각각 다른 노출시간으로 촬영된 복수의 LDR 영상을 합성하면서 동적 범위를 확장하여 HDR 영상을 생성하는 방법은 영상 장치의 움직임에 의해 야기되는 고스트 현상이 발생할 수 있으며, 단일 프레임의 LDR 영상에서 복수의 노출 영상을 생성하고, 밝기를 정규화하고, 디테일을 추정하여 합성하는 방법으로 HDR 영상을 생성하는 방법은 영상의 분해, 합성 방법이 복잡하고, 좋은 품질의 HDR 영상을 생성하기 어렵다는 문제점이 존재하였다.However, in the method of generating an HDR image by synthesizing a plurality of LDR images captured at different exposure times and extending the dynamic range, a ghost phenomenon may occur due to the movement of the imaging device, and multiple LDR images may be generated in a single frame. In the method of generating an HDR image by generating an exposure image of, normalizing the brightness, and estimating detail and synthesizing the image, there was a problem that the image decomposition and synthesis method was complicated, and it was difficult to create a high-quality HDR image. .

상기의 문제점을 해결하기 위하여 기본적인 영상 대비 향상 기법으로 Garima et al.는 “Contrast limited adaptive histogram equalization based enhancement for real time video system” 에서 CLAHE 방법을 제안하였다. 이 방법은 다중 레이어 기반의 국부적 영역의 밝기 향상 기법이다.In order to solve the above problem, as a basic image contrast enhancement technique, Garima et al. proposed the CLAHE method in "Contrast limited adaptive histogram equalization based enhancement for real time video system". This method is a multi-layer based local area brightness enhancement technique.

한편, Guarnieri는 “High dynamic range image display with halo and clipping prevention”에서 에지 보존(edgepreserving) 저역 필터를 사용하여 날카로운 경계 주변에서 할로우(Halo)를 포함하는 일반적인 결함(Artifacts)을 제거하는 HDR 기법을 제안하였다. 더 나아가 Kim는 “Natural HDR image tone mapping based on retinex”에서 어두운 영역에서 대비를 향상시키기 위해 톤 맵핑 기능이 있는 Retinex 알고리즘을 제시했다. Meanwhile, Guarnieri proposed an HDR technique that removes common artifacts including halo around sharp edges by using an edgepreserving low-pass filter in “High dynamic range image display with halo and clipping prevention”. I did. Furthermore, in “Natural HDR image tone mapping based on retinex”, Kim presented the Retinex algorithm with tone mapping function to improve contrast in dark areas.

또한, Hsia는 “High-performance high dynamic range image generation by inverted local patterns”에서 반전 지역 서술자(Inverted local pattern, ILP)를 이용한 HDR 기법을 제안하였다. 이 방법은 동일한 프레임 내에서 극단(Extreme)영상, 밝은(Bright) 영상, 및 어두운(Dark) 영상으로 분리하여 각 영상에 적합한 방법으로 HDR 영상을 생성하는 방법이다. In addition, Hsia proposed an HDR technique using an inverted local pattern (ILP) in “High-performance high dynamic range image generation by inverted local patterns”. This method is a method of generating an HDR image in a method suitable for each image by separating it into an extreme image, a bright image, and a dark image within the same frame.

그러나 이러한 방법들은 밝기에만 적용되는 기술로서 HDR 영상을 생성한 후, 특정 영역에서 색의 포화도가 감소하는 문제가 발생하였다.However, these methods are techniques applied only to brightness, and after generating an HDR image, there is a problem in that color saturation decreases in a specific area.

(논문 1) G. Yadav, S. Maheshwari, and A. Agarwal, “Contrast Limited Adaptive Histogram Equalization Based Enhancement For Real Time Video System,” Proc. International Conference on Advances in Computing, Communications and Informatics, New Delhi, India, pp. 2392-2397. 2014.(Paper 1) G. Yadav, S. Maheshwari, and A. Agarwal, “Contrast Limited Adaptive Histogram Equalization Based Enhancement For Real Time Video System,” Proc. International Conference on Advances in Computing, Communications and Informatics, New Delhi, India, pp. 2392-2397. 2014. (논문 2) G. Guarnieri, S. Marsi, and G. Ramponi, “High dynamic range image display with halo and clipping prevention,” IEEE Trans. Image Process., Vol. 20, No. 5, pp. 1351-1362, May 2011.(Paper 2) G. Guarnieri, S. Marsi, and G. Ramponi, “High dynamic range image display with halo and clipping prevention,” IEEE Trans. Image Process., Vol. 20, No. 5, pp. 1351-1362, May 2011. (논문 3) K. Kim, J. Bae, and J. Kim, “Natural HDR image tone mapping based on retinex,” IEEE Trans. Consum. Electron., Vol. 57, No. 4, pp. 1807 -1814, Nov. 2011.(Paper 3) K. Kim, J. Bae, and J. Kim, “Natural HDR image tone mapping based on retinex,” IEEE Trans. Consum. Electron., Vol. 57, No. 4, pp. 1807-1814, Nov. 2011. (논문 4) S. Hsia and T. Kuo, "High-performance high dynamic range image generation by inverted local patterns," IET Image Processing, Vol. 9, No. 12, pp. 1083-1091, Nov. 2015.(Paper 4) S. Hsia and T. Kuo, "High-performance high dynamic range image generation by inverted local patterns," IET Image Processing, Vol. 9, No. 12, pp. 1083-1091, Nov. 2015.

본 발명은 상기 기술적 과제에 대한 문제점을 해결하기 위한 것으로, 입력 영상의 밝기 성분에 따라 포화도를 보상하기 위한 방법 및 이를 구현하기 위한 장치를 제공하는 것을 목적으로 한다.The present invention is to solve the problems of the above technical problem, and an object of the present invention is to provide a method for compensating for saturation according to a brightness component of an input image and an apparatus for implementing the same.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 HDR 영상 생성장치는 입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부, 상기 제1 변환영상의 밝기를 조절하는 밝기 조절부, 상기 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부, 상기 HSV 색공간으로 변환된 두 영상의 포화도를 비교하여 보상하는 포화도 보상부 및 상기 포화도가 보상된 상기 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부를 포함한다.An HDR image generating apparatus according to an embodiment of the present invention for solving the above technical problem includes a first color space converter configured to generate a first converted image converted from an input image to a YCbCr color space, and the brightness of the first converted image. A brightness control unit for adjusting the first converted image and a second color space conversion unit for converting the input image into an HSV color space, a saturation compensation unit for comparing and compensating the saturation of the two images converted to the HSV color space, and And a third color space conversion unit converting the input image whose saturation is compensated into an RGB color space.

또한, 상기 밝기 조절부는 상기 제1 변환영상의 히스토그램을 생성 및 분석하는 히스토그램 분석부, 상기 히스토그램 분석 결과를 기반으로 어두운 영역을 개선하는 어두운 영역 향상부, 상기 제1 변환영상에 대하여 역변환 필터를 적용하는 역변환 필터 적용부, 상기 어두운 영역 향상부에서 밝기를 개선한 밝기값과 상기 역변환 필터적용부의 결과 영상을 융합하는 영상 융합부 및 상기 영상 융합부에서 출력된 영상의 밝기를 조절하는 밝기 개선부를 더 포함할 수 있다.In addition, the brightness control unit is a histogram analysis unit that generates and analyzes a histogram of the first transformed image, a dark area enhancement unit that improves a dark area based on the histogram analysis result, and an inverse transform filter is applied to the first transformed image. An inverse transform filter applying unit to perform, an image fusion unit that fuses the brightness value obtained by improving the brightness by the dark area enhancement unit and the resulting image of the inverse transform filter application unit, and a brightness improving unit that adjusts the brightness of the image output from the image fusion unit. Can include.

또한, 상기 밝기 개선부는 밝은 영역에 한하여 밝기 대비를 조절하는 밝은 영역 향상부 및 자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 밝기 이득 조정부를 더 포함할 수 있다.In addition, the brightness improvement unit is a brightness gain that expands the luminance range for the entire region of the image for which the parameter is adjusted using a bright area enhancement unit that adjusts brightness contrast only in a bright area and an auto gain control method. It may further include an adjustment unit.

또한, 상기 역변환 필터 적용부는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시킬 수 있다.In addition, the inverse transform filter applying unit performs dark area enhancement and calculates an inversion coefficient for the input image through a block-processing-based inversion kernel in the Y channel, and the inversion kernel includes a maximum filter and a low-pass filter ( Low pass filter) can be performed and then reversed.

또한, 상기 포화도 보상부는 상기 원본영상의 색포화도를 저장하는 색포화도 저장부, 상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 밝기 향상 분석부, 상기 밝기 향상 분석부의 비교분석 결과를 이용하여 밝기 변화에 따라 색 포화도가 떨어진 만큼의 값을 고려하여 보상계수를 도출하는 보상 계수 도출부 및 상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 색포화도 적용부를 더 포함할 수 있다.In addition, the saturation compensation unit includes a color saturation level storage unit for storing the color saturation level of the original image, a brightness enhancement analysis unit for comparing and analyzing the brightness region of the third converted image and the original image, and a comparative analysis result of the brightness enhancement analysis unit. A compensation coefficient derivation unit that derives a compensation coefficient by considering a value of a decrease in color saturation according to a change in brightness using a color saturation degree application unit that compensates and applies the color saturation of the original image using the derived compensation coefficient. Can include.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 HDR 영상 생성방법은 입력영상을 YCbCr 색공간으로 변환한 제1 변환영상을 생성하는 단계, 상기 제1 변환영상의 밝기를 제어하는 단계, 상기 제1 변환영상 및 입력영상을 HVS 색공간으로 변환한 제2 변환영상 및 제3 변환영상을 생성하는 단계, 상기 제2 변환영상 및 제3 변환영상의 포화도를 비교하여 포화도를 보상하는 단계 및 상기 포화도가 보상된 영상을 RGB 색공간으로 변환하는 단계를 포함할 수 있다.An HDR image generation method according to an embodiment of the present invention for solving the technical problem includes generating a first converted image obtained by converting an input image into a YCbCr color space, controlling the brightness of the first converted image, Generating a second transformed image and a third transformed image obtained by converting the first transformed image and the input image into an HVS color space, compensating the saturation degree by comparing the saturation degree of the second transformed image and the third transformed image, and The saturation-compensated image may be converted into an RGB color space.

또한, 제1 변환영상의 밝기를 제어하는 단계는 상기 제1 변환영상의 히스토그램을 생성 및 분석하는 단계, 상기 히스토그램 분석을 통해 결정된 어두운 영역을 개선하는 단계, 상기 제1 변환영상에 대하여 역변환 필터를 적용하는 단계, 상기 어두운 영역을 개선한 밝기값과 상기 역변환 필터를 적용한 영상의 융합영상을 생성하는 단계 및 상기 융합영상의 밝기를 조절하는 단계를 더 포함할 수 있다.In addition, controlling the brightness of the first transformed image includes generating and analyzing a histogram of the first transformed image, improving a dark area determined through analysis of the histogram, and performing an inverse transform filter on the first transformed image. The applying step may further include generating a fusion image of a brightness value obtained by improving the dark area and an image to which the inverse transform filter is applied, and adjusting the brightness of the fusion image.

또한, 상기 밝기를 조절하는 단계는, 밝은 영역에 한하여 밝기 대비를 조절하는 단계 및 자동 이득 조절 방법(Auto gain control)을 이용하여 상기 파라미터가 조절된 영상의 전역역에 대하여 휘도 범위를 확대하는 단계를 더 포함할 수 있다.In addition, the adjusting of the brightness may include adjusting brightness contrast for only a bright area and expanding a luminance range for the global area of the image for which the parameter is adjusted using an auto gain control method. It may further include.

또한, 상기 역변환 필터는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시킬 수 있다.In addition, the inverse transform filter performs dark region enhancement and calculates an inversion coefficient for the input image through a block-processing-based inversion kernel in the Y channel, and the inversion kernel includes a maximum filter and a low pass filter. pass filter).

또한, 상기 포화도를 보상하는 단계는 상기 원본영상의 색포화도를 저장하는 단계, 상기 제3 변환영상과 상기 원본영상의 밝기 영역을 비교 분석하는 단계, 상기 비교분석 결과를 이용하여 밝기 변화에 따라 색 포화도가 떨어진 만큼의 값을 고려하여 보상계수를 도출하는 단계 및 상기 도출된 보상계수를 이용하여 상기 원본영상의 색포화도를 보상하여 적용하는 단계를 더 포함할 수 있다.In addition, the compensating for the saturation may include storing the color saturation of the original image, comparing and analyzing the brightness region of the third transformed image and the original image, and using the comparison analysis result to The method may further include deriving a compensation coefficient in consideration of a value corresponding to a decrease in saturation, and compensating and applying a color saturation degree of the original image using the derived compensation coefficient.

상기한 본 발명의 일 실시예에 따른 영상처리를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 영상의 밝기에 따라 적절한 색 포화도를 보상함으로써 고품질의 HDR 영상을 획득할 수 있다.According to the apparatus and method for generating an HDR image using image processing according to the exemplary embodiment described above, a high-quality HDR image may be obtained by compensating for an appropriate color saturation according to the brightness of the image.

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, HDR 영상 생성시 특정 영역에서 색의 포화도가 감소하기 때문에 HSV 색 공간에서 밝기 변화를 고려하여 색상의 포화도를 가변 시킴으로써 색의 포화도를 보상시킬 수 있다.According to an apparatus and method for generating an HDR image using an embodiment of the present invention, since color saturation in a specific region decreases when generating an HDR image, color saturation is changed in consideration of a change in brightness in the HSV color space. Can compensate for the saturation of

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 밝기와 포화도가 함께 고려된 HDR 영상을 생성함으로써 보다 선명한 화질의 영상을 제공할 수 있다.According to an apparatus and method for generating an HDR image using an embodiment of the present invention, an image with sharper image quality may be provided by generating an HDR image in which brightness and saturation are considered together.

본 발명의 일 실시예를 이용하여 HDR 영상을 생성하는 장치 및 방법에 따르면, 밝기를 고려하여 밝기에 따라 적응적으로 색 포화도를 보상함에 따라 어두운 영역과 밝은 영역에서 색 포화도가 옅어지는 문제를 해결할 수 있다.According to an apparatus and method for generating an HDR image using an embodiment of the present invention, it is possible to solve the problem that color saturation decreases in dark areas and bright areas by adaptively compensating color saturation according to brightness in consideration of brightness. I can.

도 1은 본 발명의 일 실시 예에 따른 HDR 영상 생성 장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 HDR 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상의 밝기 조절 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 포화도를 보상하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 실시 결과와 종래 기술과의 결과 영상을 비교하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 실시 결과와 종래 기술과의 색 포화도 보상 성능을 비교하는 도면이다.
1 is a block diagram of an HDR image generating apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of generating an HDR image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of adjusting brightness of an image according to an embodiment of the present invention.
4 is a flowchart illustrating a method of compensating for saturation according to an embodiment of the present invention.
5 is a diagram for comparing an execution result according to an embodiment of the present invention and a result image of a conventional technique.
6 is a diagram illustrating a comparison between an implementation result according to an embodiment of the present invention and a color saturation compensation performance compared to the prior art.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various changes may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are used only to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 이하에서, '영상'은 정지 영상뿐만 아니라 비디오와 같은 동영상을 포함하여 포괄적으로 지칭할 수 있다.Hereinafter, exemplary embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate an overall understanding, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted. Hereinafter,'image' may be generically referred to as a still image as well as a moving picture such as a video.

도 1은 본 발명의 일 실시 예에 따른 HDR 영상 생성 장치의 블록도이다.1 is a block diagram of an HDR image generating apparatus according to an embodiment of the present invention.

본 발명에 따른 HDR 영상 생성 장치는 영상 입력부(100), 제1 색공간 변환부(200), 밝기 조정부(300), 제2 색공간 변환부(400), 포화도 보상부(500), 제3 색공간 변환부(600) 및 영상 출력부(700)를 포함할 수 있다.The HDR image generating apparatus according to the present invention includes an image input unit 100, a first color space conversion unit 200, a brightness adjustment unit 300, a second color space conversion unit 400, a saturation compensation unit 500, and a third A color space conversion unit 600 and an image output unit 700 may be included.

영상 입력부(100)는 HDR 영상 생성 장치에 HDR로 변환하기 위한 영상을 입력하는 입력 장치일 수 있으며, 입력되는 영상은 RGB 색공간으로 구성될 수 있다.The image input unit 100 may be an input device for inputting an image for conversion into HDR to an HDR image generating device, and the input image may be configured with an RGB color space.

제1 생공간 변환부(200)는 입력 영상의 RGB 색공간을 YCbCr 색 공간으로 변환할 수 있다.The first live space conversion unit 200 may convert an RGB color space of an input image into a YCbCr color space.

밝기 조정부(300)에서는 입력 영상의 밝기 성분 값을 증가 또는 감소하도록 변환하여 출력하기 위하여 히스토그램 분석부(310), 어두운 영역 향상부(320), 역변환 필터 적용부(330), 영상 융합부(340), 밝은 영역 향상부(350), 밝기 이득 조정부(360)를 더 포함하도록 구성될 수 있다.The brightness adjustment unit 300 includes a histogram analysis unit 310, a dark area enhancement unit 320, an inverse transform filter application unit 330, and an image fusion unit 340 to convert and output a brightness component value of an input image to increase or decrease. ), a bright area enhancement unit 350, and a brightness gain adjustment unit 360 may be further included.

히스토그램 분석부(310)는 YCbCr 색공간으로 변환된 영상에 대하여 전체 영상의 밝기에 대해서 히스토그램을 생성 및 분석하는 단계로써, 전체 영상에 대하여 생성된 히스토그램은 하기의 수학식 1을 이용하여 각각의 픽셀에서 밝은 영역과 어두운 영역에 해당하는 히스토그램 수인 Hi값과 Lo값을 계산할 수 있다. The histogram analysis unit 310 generates and analyzes a histogram for the brightness of the entire image with respect to the image converted to the YCbCr color space. The histogram generated for the entire image is each pixel using Equation 1 below. Hi and Lo values, which are the number of histograms corresponding to the bright and dark areas, can be calculated.

또한, 히스토그램 수인 Hi값과 Lo값은 추후 밝기 값에 따라 다른 밝기조절 방법의 적용 및 포화도 보상 시에 이용될 수 있다.In addition, the Hi and Lo values, which are the number of histograms, may be used later when applying other brightness adjustment methods and compensating for saturation according to the brightness values.

Figure 112019056852628-pat00001
Figure 112019056852628-pat00001

상기의 수학식 1에서 h(i)는 i번째 밝기의 히스토그램을 나타내고, Th1 내지 Th4는 8비트 영상에 대하여 j번째 문턱치 Thj={15, 50, 205, 240}로 설정할 수 있다. 상기 Thi는 화소에서의 밝기 값으로써 반복적 실험을 통하여 결정할 수 있으며, Thi는 밝기 값은 0 내지 255 사이의 값을 가질 수 있다.In Equation 1 above, h(i) represents the histogram of the i-th brightness, and Th 1 to Th 4 may be set as the j-th threshold Th j ={15, 50, 205, 240} for an 8-bit image. Th i is a brightness value in a pixel, and can be determined through repeated experiments, and Th i may have a brightness value between 0 and 255.

히스토그램 분석부(310)는 상기 수학식 1을 이용하여 계산된 Hi 값과 Lo값을 하기의 표 1의 조건에 따라 과다 영역, 밝은 영역, 어두운 영역으로 분류할 수 있다.The histogram analysis unit 310 may classify the Hi and Lo values calculated using Equation 1 into an excessive area, a bright area, and a dark area according to the conditions of Table 1 below.

TypesTypes ConditionsConditions 어두움gloominess Lo>2HiLo>2Hi 밝음Bright Hi>2LoHi>2Lo 과다plethora

Figure 112019056852628-pat00002
&
Figure 112019056852628-pat00003
Figure 112019056852628-pat00002
&
Figure 112019056852628-pat00003
표준Standard otherwiseotherwise

어두운 영역 향상부(320)는 히스토그램 분석부(310)에서 분석한 영상의 밝기 정보를 기반으로 하기의 수학식 2를 이용하여 어두운 영역과 과다영역의 어두운(dim) 영역을 개선할 수 있다.The dark area enhancement unit 320 may improve the dark area of the dark area and the excessive area by using Equation 2 below based on the brightness information of the image analyzed by the histogram analysis unit 310.

Figure 112019056852628-pat00004
Figure 112019056852628-pat00004

상기의 수학식 2에서 Ydark는 어두운(dim) 영역에 대한 개선 결과 값이고, (i, j)는 각 화소의 좌표 값이고, Yin은 입력 영상의 Y 채널의 신호값이며, Thdark는 어두운 영역의 개선을 위한 문턱치로써 하기와 같이 정의될 수 있다.In Equation 2 above, Y dark is the improvement result value for the dark area, (i, j) is the coordinate value of each pixel, Y in is the signal value of the Y channel of the input image, and Th dark is As a threshold for improving the dark area, it may be defined as follows.

Figure 112019056852628-pat00005
Figure 112019056852628-pat00005

역변환 필터 적용부(330)는 입력된 영상의 Y 채널에 대하여 블록 처리기반의 반전 커널(Inverse kernel)을 통해 반전계수를 계산할 수 있다.The inverse transform filter application unit 330 may calculate an inversion coefficient for the Y channel of the input image through an inverse kernel based on block processing.

상기 반전 커널(Inverse kernel)은 2×2 크기의 최대 필터(Max filter)와 3×3 크기의 저역 통과 필터(Low pass filter)로 구성되며, 상기 반전커널의 필터링을 수행한 결과값에 대하여 반전과정(Inverse operation)을 통해 반전 계수를 계산할 수 있다. 최대 필터는 하기의 수학식 3으로 구성될 수 있고, 저역 통과 필터는 하기의 수학식 4로 구성될 수 있다.The inverse kernel is composed of a maximum filter of 2×2 size and a low pass filter of 3×3 size, and the result of filtering the inversion kernel is inverted. The inversion coefficient can be calculated through an inverse operation. The maximum filter may be composed of Equation 3 below, and the low-pass filter may be composed of Equation 4 below.

Figure 112019056852628-pat00006
Figure 112019056852628-pat00006

여기에서, max는 최댓값을 결정하는 함수이고, fi,j는 최대 필터 내에 위치하는 화소들의 화소값이며, Ymax는 2x2 필터의 최대값을 나타낼 수 있다.Here, max is a function for determining the maximum value, f i,j is the pixel value of pixels located in the maximum filter, and Y max may represent the maximum value of the 2x2 filter.

Figure 112019056852628-pat00007
Figure 112019056852628-pat00007

여기에서 Ylpf는 저역 통과 필터의 결과를 나타내는 함수이며, m과 n은 필터의 크기에 대한 변수로써 본 발명의 일 실시 예에서는 3으로 설정하였으나, 이에 고정되지 않으며, 필요에 따라 자연수의 범위에서 변경할 수 있다.Here, Y lpf is a function representing the result of the low-pass filter, and m and n are variables for the size of the filter, and are set to 3 in the embodiment of the present invention, but are not fixed thereto, and if necessary, in the range of natural numbers. You can change it.

상기 최대 필터는 입력 영상의 디테일을 살리는 효과를 가져오기 위해 사용되며, 저역 통과 필터는 최대 필터를 이용하는 동안 발생하는 재깅 결함(Jagging artifacts)을 제거하기 위해 사용될 수 있다.The maximum filter is used to bring the effect of saving the detail of the input image, and the low pass filter can be used to remove jagging artifacts that occur while using the maximum filter.

상기 반전 과정(Inverse operation)은 밝은 포화(Positive saturation)와 어두운 포화(Negative saturation)를 피하기 위하여 어두운 영역은 밝게 하고 밝은 영역은 어둡게 하는 반전함수를 사용하여 동작 하도록 할 수 있다.In the inverse operation, in order to avoid positive saturation and negative saturation, a dark region may be brightened and a bright region may be darkened using an inversion function.

영상 융합부(340)는 각 픽셀 별로 어두운 영역에 대한 향상을 거친 밝기값은 통과하고, 밝은 영상 부분에 대해서만 역변환 필터 적용부(330)을 거친 반전 계수와 결합하여 융합된 영상을 생성할 수 있다. The image fusion unit 340 may generate a fused image by passing a brightness value that has been improved for a dark area for each pixel, and combining only a bright image portion with an inversion coefficient that has been passed through the inverse transform filter application unit 330. .

밝은 영역 향상부(350)는 영상 융합부(340)에서 융합된 영상에서 하기의 수학식 5를 통해 밝은 영역에 대해서만 밝기 향상(Bright enhancement)을 수행할 수 있다.The bright area enhancement unit 350 may perform brightness enhancement only on the bright area through Equation 5 below in the image fused by the image fusion unit 340.

Figure 112019056852628-pat00008
Figure 112019056852628-pat00008

여기에서 Yinv는 반전 함수이고, Ydark는 어두운 영역이 향상된 밝기값이며, k는 밝기 조절 변수로써 밝기를 조절하는 파라미터일 수 잇다.Here, Y inv is an inversion function, Y dark is an improved brightness value in a dark area, and k is a brightness adjustment variable, which may be a parameter that adjusts brightness.

어두운 화소는 Yinv에 의해서 밝아지게 되지만, 밝은 화소들은 포화되는(over-exposed)것을 방지하기 위해서 더 어둡게 만들어야 하기 때문에 밝기 조절 계수 k를 이용하도록 권장하고 있다.Dark pixels are brightened by Y inv , but bright pixels must be made darker to prevent over-exposed, so it is recommended to use a brightness adjustment factor k.

상기 밝기 조절 계수 k를 결정하기 위하여 S. Hsia and T. Kuo의 논문인 "High-performance high dynamic range image generation by inverted local patterns, IET Image Processing, Vol. 9, No. 12, pp. 1083-1091, Nov. 2015.”을 참조하면, 3개의 영상을 이용하여 영상의 형태(Type)별로 실험을 하고 적절한 k를 설정함으로써 밝은 화소의 밝기를 조절(Brightness enhancement)하는 구성을 개시하고 있으며, 본 발명의 실시 예에서도 이러한 밝기 조절 변수 k를 동일하게 이용할 수 있으나, 이에 한정하지 않으며, 필요에 따라 적절하게 변환할 수 있다.To determine the brightness control coefficient k, S. Hsia and T. Kuo's paper "High-performance high dynamic range image generation by inverted local patterns, IET Image Processing, Vol. 9, No. 12, pp. 1083-1091 , Nov. 2015.”, an experiment is performed for each type of image using three images, and a configuration for adjusting the brightness of bright pixels by setting an appropriate k is disclosed, and the present invention The brightness control variable k may be used in the same manner in the embodiment of, but is not limited thereto, and may be appropriately converted as necessary.

밝기 이득 조정부(360)는 자동 이득 조절(Auto gain control, AGC)을 이용하여 입력영상 전 범위에 대하여 휘도 범위(Luminance range)를 확대할 수 있다.The brightness gain adjustment unit 360 may expand a luminance range for the entire range of the input image by using an auto gain control (AGC).

제2 색공간 변환부(400)는 밝기 조정부(300)에서 영상의 밝기를 조절한 YCbCr 색공간을 HSV(hue saturation value) 색공간으로 변환하는 한편, 영상 입력부(100)의 원본영상을 RGB 색공간에서 HSV 색공간으로 변환할 수 있다.The second color space conversion unit 400 converts the YCbCr color space in which the brightness of the image is adjusted by the brightness adjustment unit 300 into a hue saturation value (HSV) color space, while converting the original image of the image input unit 100 into an RGB color space. It can convert from space to HSV color space.

포화도 보상부(500)는 원본 영상의 포화도와 밝기가 조절된 영상의 밝기 변화값을 고려하여 손실된 색 포화도를 보상하기 위하여 색 포화도를 보상하기 위하여 색 포화도 저장부(510), 밝기 향상 분석부(520), 보상 계수 도출부(530), 색 포화도 적용부(540)으로 구성될 수 있다.The saturation compensation unit 500 includes a color saturation storage unit 510 and a brightness enhancement analysis unit to compensate for the color saturation in order to compensate for the lost color saturation in consideration of the saturation of the original image and the brightness change value of the image whose brightness is adjusted. 520, a compensation coefficient derivation unit 530, and a color saturation degree application unit 540.

색 포화도 저장부(510)는 밝기 조정부(300)에서 밝기가 조정된 영상의 색 포화도를 저장할 수 있다.The color saturation storage unit 510 may store a color saturation of an image whose brightness is adjusted by the brightness adjustment unit 300.

밝기 향상 분석부(520)는 원본 영상의 색 포화도와 밝기 조정부(300)에서 밝기가 조정된 영상과 원본 영상의 색 포화도를 비교, 분석할 수 있다.The brightness enhancement analysis unit 520 may compare and analyze the color saturation of the original image and the image whose brightness is adjusted by the brightness adjustment unit 300 and the color saturation of the original image.

일 실시 예에서, 밝기가 밝아지면 밝기에 대비하여 인지되는 색의 포화도가 감소하게 되므로, 밝기 향상 분석부(520)에서는 밝기가 밝아지는 만큼 색포화도를 비례하여 증가시킴으로써 영상의 정보를 유지시킬 수 있다. In one embodiment, when the brightness increases, the perceived color saturation decreases compared to the brightness. Therefore, the brightness enhancement analysis unit 520 can maintain the image information by increasing the color saturation proportionally as the brightness increases. have.

보상 계수 도출부(530)는 밝기 향상 분석부(520)에서 도출된 색 포화도가 감소된 값을 고려하여 보상 계수를 도출할 수 있다.The compensation coefficient derivation unit 530 may derive a compensation coefficient in consideration of a value with a reduced color saturation derived from the brightness enhancement analysis unit 520.

보상 계수는 밝기 이득 조정부(360)는 자동 이득 조절을 이용하여 확대한 휘도 범위를 이용하며, 하기의 수학식 6을 이용하여 생성할 수 있다.The compensation coefficient uses the luminance range enlarged by using the automatic gain adjustment, and can be generated by using Equation 6 below.

Figure 112019056852628-pat00009
Figure 112019056852628-pat00009

여기에서, S'은 포화도 보상 계수이고, S는 HSV 색공간으로 변환된 원본 영상의 S채널 값(채도)이고, Thdark는 상기 수학식 2에서 이용된 어두운 영역의 개선을 위한 문턱치이고, Yin은 입력 영상의 Y채널의 신호값이며, Ymean은 입력 영상의 밝기 평균값이다.Here, S'is the saturation compensation coefficient, S is the S channel value (saturation) of the original image converted to the HSV color space, Th dark is the threshold for improvement of the dark area used in Equation 2, and Y in is the signal value of the Y channel of the input image, and Y mean is the average brightness of the input image.

색 포화도 적용부(540)은 보상 계수 도출부(530)에서 도출한 포화도 보상 계수를 이용하여 원본 영상의 감소한 색 포화도를 보상하여 적용할 수 있다.The color saturation application unit 540 may compensate and apply the reduced color saturation of the original image by using the saturation compensation coefficient derived from the compensation coefficient derivation unit 530.

제3 색공간 변환부(600)는 HSV 색공간으로 변환된 원본 영상을 RGB 색 공간으로 변환할 수 있다.The third color space conversion unit 600 may convert the original image converted into the HSV color space into an RGB color space.

영상 출력부(700)는 제3 색공간 변환부(600)에서 RGB 색공간으로 변환된 원본 영상을 받아 최종적으로 색 포화도의 감소 문제를 해결한 HDR 영상을 디스플레이 등의 영상 출력 장치로 출력할 수 있다.The image output unit 700 receives the original image converted to the RGB color space by the third color space conversion unit 600 and finally outputs an HDR image that has solved the problem of decreasing color saturation to an image output device such as a display. have.

상기 영상 출력 장치는 디스플레이, 빔프로젝터 등의 영상을 외부로 출력하여 사용자에게 제공하는 장치뿐만 아니라, CCTV, 블랙박스, 카메라 등의 외부의 영상을 녹화하여 내부의 저장장치에 저장하기 위하여 변환하는 장치를 모두 포함할 수 있으며, 영상을 외부로 송출, 내부로의 저장 등 모든 영상 이용 방법을 포함할 수 있다.The image output device is a device that outputs an image such as a display or a beam projector to the outside and provides it to a user, as well as a device that records external images such as CCTV, black box, and camera and converts it to be stored in an internal storage device. It may include all of, and may include all methods of using images, such as transmitting the image to the outside and storing it inside.

도 2는 본 발명의 일 실시 예에 따른 HDR 영상 생성 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of generating an HDR image according to an embodiment of the present invention.

HDR 변환을 수행하기 위한 원본 영상을 입력할 수 있다(S1100).An original image for performing HDR conversion may be input (S1100).

원본 영상의 밝기를 조절하기 위하여 RGB 색 공간으로 구성되어 있는 원본 영상을 YCbCr 색공간으로 변환할 수 있다(S1200).In order to adjust the brightness of the original image, an original image composed of an RGB color space may be converted into a YCbCr color space (S1200).

YCbCr색공간으로 변환된 영상의 밝기 성분 값을 증가 또는 감소하는 조절을 행할 수 있으며(S1300), 구체적인 밝기 조절 방법은 하기의 도 3의 일 실시예를 통하여 설명하도록 한다.The brightness component value of the image converted to the YCbCr color space can be adjusted to increase or decrease (S1300), and a specific brightness control method will be described with reference to an embodiment of FIG. 3 below.

YCbCr 색공간으로 구성되는 밝기가 조절된 영상을 HSV 색공간 영상으로 변환할 수 있다(S1400).The brightness-controlled image composed of the YCbCr color space may be converted into an HSV color space image (S1400).

RGB색공간으로 구성되는 원본 영상을 HSV 색공간으로 변환할 수 있다(S1500).An original image composed of an RGB color space may be converted into an HSV color space (S1500).

밝기가 조절된 영상에서 도출한 보상변수를 이용하여 원본 영상의 색 포화도를 보상할 수 있으며(S1600), 구체적인 색 포화도 보상 방법은 하기의 도 4의 일 실시예를 통하여 설명하도록 한다.The color saturation of the original image may be compensated by using a compensation variable derived from the image whose brightness is adjusted (S1600), and a specific color saturation compensation method will be described with reference to an embodiment of FIG. 4 below.

색 포화도가 보상된 원본 영상은 HSV 색공간으로 구성되어 있으므로 영상을 출력하기 위하여 RGB 색공간으로 변환할 수 있다(S1700).Since the original image for which color saturation is compensated is composed of an HSV color space, it may be converted into an RGB color space to output an image (S1700).

색 포화도의 감소 문제가 해결된 RGB 색공간으로 변환된 HDR 영상을 영상 출력 장치를 통해 외부로 출력할 수 있다(S1800).The HDR image converted to the RGB color space in which the problem of color saturation reduction is solved may be output to the outside through the image output device (S1800).

도 3은 본 발명의 일 실시 예에 따른 영상의 밝기 조절 방법을 설명하기 위한 흐름도이다. 특히, 도 3은 상기 S1300단계인 영상의 밝기를 조절하는 단계를 구체화하여 설명하는 도면이다.3 is a flowchart illustrating a method of adjusting brightness of an image according to an embodiment of the present invention. In particular, FIG. 3 is a diagram specifically illustrating the step of adjusting the brightness of an image in step S1300.

S1210 단계에서는, 상기 S1200 단계에서 YCbCr로 색변환을 수행한 입력영상에 대하여 밝기 성분 값(Y채널)에 대한 히스토그램을 생성할 수 있다. 생성된 히스토그램을 분석하여 영상의 밝기 성분 값을 기준으로 밝은 영역과 어두운 영역에 해당하는 히스토그램 수를 각각 계산할 수 있다.In step S1210, a histogram for a brightness component value (Y channel) may be generated for an input image subjected to color conversion with YCbCr in step S1200. By analyzing the generated histogram, the number of histograms corresponding to the bright area and the dark area may be calculated based on the brightness component value of the image.

밝은 영역(Hi)과 어두운 영역(Lo)의 히스토그램 수를 계산하는 방법은 상기 수학식 1에 구체적으로 개시되어 있으며, 밝은 영역과 어두운 영역의 히스토그램 수를 이용하여 상기 표 1의 조건에 따라 과다 영역, 밝은 영역, 어두운 영역으로 분류할 수 있다.The method of calculating the number of histograms of the bright area (Hi) and the dark area (Lo) is specifically disclosed in Equation 1, and using the number of histograms of the bright area and the dark area, the excess area is determined according to the conditions of Table 1. It can be classified into, light or dark areas.

S1230 단계에서는, 히스토그램 분석을 통해 분류한 정보(과다 영역, 밝은 영역, 어두운 영역)를 기반으로 상기의 수학식 2를 이용하여 어두운 영역과 과다영역의 어두운(dim) 영역을 개선할 수 있다.In step S1230, the dark area and the dark area of the excessive area may be improved by using Equation 2 above based on information (excess area, bright area, dark area) classified through histogram analysis.

S1220 단계에서는, 입력된 영상의 Y 채널에 대하여 블록 처리기반의 반전 커널(Inverse kernel)을 통해 반전계수를 계산할 수 있으며, 상기 반전 커널(Inverse kernel)은 2×2 크기의 최대 필터(Max filter)와 3×3 크기의 저역 통과 필터(Low pass filter)로 구성되며, 상기 반전커널의 필터링을 수행한 결과값에 대하여 반전과정(Inverse operation)을 통해 반전 계수를 계산할 수 있다.In step S1220, an inversion coefficient may be calculated for the Y channel of the input image through an inverse kernel based on block processing, and the inverse kernel is a 2×2 maximum filter. And a low pass filter having a size of 3×3, and an inversion coefficient may be calculated through an inverse operation on a result of filtering the inversion kernel.

최대 필터는 상기의 수학식 3으로 구성되어 입력 영상의 디테일을 살리는 효과를 가져오기 위해 사용되며, 저역 통과 필터는 상기의 수학식 4로 구성되어 최대 필터를 이용하는 동안 발생하는 재깅 결함(Jagging artifacts)을 제거하기 위해 사용될 수 있다.The maximum filter is composed of Equation 3 and is used to bring the effect of saving the detail of the input image, and the low-pass filter is composed of Equation 4 and is jagging artifacts that occur while using the maximum filter. Can be used to remove

상기 반전 과정(Inverse operation)은 밝은 포화(Positive saturation)와 어두운 포화(Negative saturation)를 피하기 위하여 어두운 영역은 밝게 하고 밝은 영역은 어둡게 하는 반전함수를 사용하여 동작 하도록 할 수 있다.In the inverse operation, in order to avoid positive saturation and negative saturation, a dark region may be brightened and a bright region may be darkened using an inversion function.

S1240 단계에서는, 역변환 필터 영상과 어두운 영역의 밝기가 개선된 영상을 융합하는 단계로써 각 픽셀 별로 어두운 영역에 대한 밝기 향상을 거친 밝기값은 통과하고, 밝은 영상 부분에 대해서만 역변환 필터 적용부(330)을 거친 반전 계수와 결합하여 융합된 영상을 생성할 수 있다.In step S1240, an inverse transform filter image and an image with improved brightness in the dark area are combined. The brightness value after brightness enhancement for the dark area for each pixel passes, and the inverse transform filter application unit 330 for only the bright image portion. It is possible to generate a fused image by combining with the inversion coefficient through

S1250 단계에서는, 입력 영상의 전체 영역 중 밝은 영역에 대해서만 밝기 향상(Bright enhancement)을 수행할 수 있으며, 밝기 향상은 상기의 수학식 5를 통해 이루어질 수 있다.In step S1250, brightness enhancement may be performed only on a bright area of the entire area of the input image, and brightness enhancement may be achieved through Equation 5 above.

S1260 단계에서는, 자동 이득 조절(Auto gain control, AGC)을 이용하여 입력 영상 전 범위에 대하여 휘도 범위(Luminance range)를 확대할 수 있다.In step S1260, the luminance range may be expanded for the entire range of the input image by using an auto gain control (AGC).

도 4는 본 발명의 일 실시 예에 따른 포화도를 보상하는 방법을 설명하기 위한 흐름도이다. 특히, 도 4는 상기 S1600단계인 영상의 색 포화도를 보상하는 단계를 구체화하여 설명하는 도면이다.4 is a flowchart illustrating a method of compensating for saturation according to an embodiment of the present invention. Particularly, FIG. 4 is a diagram illustrating a step of compensating the color saturation of an image in step S1600 in detail.

S1610 단계에서는, 상기 S1400 단계에서 HSV 색공간으로 변환한 원본 영상의 색 포화도 및 상기 S1500 단계에서 HSV 색공간 영상으로 변환된 밝기가 조절된 영상의 색 포화도를 저장할 수 있다.In step S1610, the color saturation of the original image converted to the HSV color space in step S1400 and the color saturation of the brightness-adjusted image converted to the HSV color space image in step S1500 may be stored.

S1620 단계에서는, 원본 영상의 색 포화도와 밝기가 조절된 영상의 색 포화도를 비교 분석할 수 있다.In step S1620, the color saturation of the original image and the color saturation of the brightness-adjusted image may be compared and analyzed.

S1630 단계에서는, 상기 S1620 단계에서 비교 분석한 데이터를 받아 색 포화도가 감소된 값을 고려하여 보상계수를 도출할 수 있으며, 보상 계수는 상기의 수학식 6을 이용하여 도출할 수 있다.In step S1630, a compensation coefficient may be derived in consideration of a value with reduced color saturation by receiving the data analyzed in step S1620, and the compensation coefficient may be derived using Equation 6 above.

S1640 단계에서는, 상기 도출한 보상 계수를 이용하여 원본 영상의 감소한 색 포화도를 보상하여 적용할 수 있다.In step S1640, the reduced color saturation of the original image may be compensated and applied using the derived compensation coefficient.

도 5 내지 6은 본 발명의 HDR 영상 처리 방법에 대한 성능을 비교하는 도면이다.5 to 6 are diagrams for comparing the performance of the HDR image processing method of the present invention.

도 5는 종래 기술 중 세가지 형태의 영상에 대하여 HDR 처리된 영상과 본 발명의 일 실시예에 의해 HDR 처리된 영상의 비교 도면이다.5 is a comparison diagram of an image subjected to HDR processing for three types of images in the prior art and an image subjected to HDR processing according to an embodiment of the present invention.

도 5의 (a) 는 영상 처리 결과를 비교하기 위하여 입력 영상으로 사용된 3가지 형태의 원본 영상 이미지이다.5A shows three types of original image images used as input images to compare image processing results.

도 5의 (b)는 는 CLAHE 방법을 이용하여 처리된 결과 이미지로서, (a)에 비하여 대비(contrast)가 향상되었으나, 색 포화도가 옅어지는 현상을 확인할 수 있다.FIG. 5B is a result image processed using the CLAHE method. Compared to (a), contrast is improved, but color saturation is reduced.

도 5의 (c)는 ILP 방법을 이용하여 처리된 결과 이미지로서, 원본 영상과 동일 영역에서 전반적으로 색 포화도의 변화가 없음을 확인할 수 있다.5C is a result image processed using the ILP method, and it can be seen that there is no change in overall color saturation in the same area as the original image.

도 5의 (d)는 본 발명을 이용하여 처리된 결과 이미지로서, 본 발명의 일 실시예에 의해 처리된 HDR 영상 처리 방법에 의하면 밝기 변화에 따라 적응적으로 색 포화도를 보상함으로써 어두운 영역에서 색 포화도의 향상이 일어나고 있음을 확인할 수 있다.5D is a result image processed using the present invention. According to the HDR image processing method processed according to an embodiment of the present invention, color in a dark area is adaptively compensated for color saturation according to a change in brightness. It can be seen that the saturation is improving.

도 6은 본 발명의 성능을 평가하기 위하여 색 포화도 향상 결과를 확인하기 위하여 시각차 예측변수 (Visual Difference Predictor, VDP) 지표를 사용하여 비교를 수행한 도면이다.6 is a diagram illustrating a comparison performed using a Visual Difference Predictor (VDP) index to confirm a result of improving color saturation in order to evaluate the performance of the present invention.

VDP는 R. Mantiuk, K. Myszkowski, and H. Seidel의 논문(Visual difference predictor for HDR images, Proc. of IEEE International Conference on Systems, Man and Cybernetics, Hague, Netherlands, pp. 2763-2769, 2004.)에서 제시된 것으로써 두 영상 사이의 차이를 시각적으로 구별할 수 있는지 없는지를 예측할 수 있는 인지 기반의 계량(Perceptual metric)법이다.VDP is a paper by R. Mantiuk, K. Myszkowski, and H. Seidel (Visual difference predictor for HDR images, Proc. of IEEE International Conference on Systems, Man and Cybernetics, Hague, Netherlands, pp. 2763-2769, 2004.) It is a perceptual metric method that can predict whether the difference between two images can be visually distinguished or not.

도 6은 소녀의 영상에 대하여 ILP 방법과 본 발명의 일 실시예에 의한 영상 처리 결과에 대한 VDP 결과를 나타내고 있다. 도 6의 (a)는 ILP 방법을 이용한 영상 처리 결과의 VDP 이고, (b)는 본 발명의 일 실시예에 의해 처리된 결과의 VDP를 나타내고 있다.6 shows an ILP method for an image of a girl and a VDP result for an image processing result according to an embodiment of the present invention. 6A is a VDP of an image processing result using an ILP method, and (b) shows a VDP of a result processed by an embodiment of the present invention.

도 6의 (a)에 비하여 (b)에 색 포화도가 많이 변화된 영역인 붉은 색 영역이 많이 포함되어 있는 것을 확인할 수 있으며, 특히 좌측의 밝은 영역에 비하여 우측의 어두운 영역의 색 포화도 차이가 많이 개선되었음을 확인할 수 있다.Compared to (a) of FIG. 6, it can be seen that (b) contains a lot of red areas, which are areas in which the color saturation has changed a lot, and in particular, the difference in color saturation of the dark areas on the right is greatly improved compared to the bright areas on the left It can be confirmed that it is.

본 발명은 색 포화도가 보상된 HDR 영상화 방법을 제안하는 것으로써 기존의 지역 반전 패턴에 의한 HDR 방법에 추가적으로 밝기 변화에 따라 적응적으로 색 포화도를 보상함으로써 어두운 영역과 밝은 영역에서 색 포화도가 옅어지는 문제를 해결할 수 있다.The present invention proposes an HDR imaging method in which color saturation is compensated. In addition to the HDR method based on the existing regional inversion pattern, color saturation is adaptively compensated according to brightness change, thereby reducing color saturation in dark and bright areas You can solve the problem.

상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다.Features, structures, effects, and the like described in the above-described embodiments are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Further, the features, structures, effects, etc. illustrated in each embodiment may be combined or modified for other embodiments by a person having ordinary knowledge in the field to which the embodiments belong.

따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, contents related to such combinations and modifications should be construed as being included in the scope of the present invention. In addition, although the embodiments have been described above, these are only examples and do not limit the present invention, and those of ordinary skill in the field to which the present invention belongs are illustrated above without departing from the essential characteristics of the present embodiment. It will be seen that various modifications and applications that are not available are possible. For example, each component specifically shown in the embodiments can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

100 : 영상 입력부
200 : 제1 색공간 변환부
300 : 밝기 조정부
400 : 제2 색공간 변환부
500 : 포화도 보상부
600 : 제3 색공간 변환부
700 : 영상 출력부
100: video input unit
200: first color space conversion unit
300: brightness adjustment unit
400: second color space conversion unit
500: saturation compensation unit
600: third color space conversion unit
700: video output unit

Claims (10)

HDR(High Dynamic Range) 영상을 생성하는 장치에 있어서,
입력 영상을 YCbCr 색공간으로 변환된 제1 변환영상을 생성하는 제1 색공간 변환부;
상기 제1 변환영상의 밝기를 조절하는 밝기 조절부;
상기 밝기가 조절된 제1 변환영상 및 상기 입력 영상을 HSV 색공간으로 변환하는 제2 색공간 변환부;
HSV 색공간으로 변환된 상기 제1 변환영상의 포화도와 HSV 색공간으로 변환된 상기 입력 영상의 포화도를 비교하여 HSV 색공간으로 변환된 상기 입력 영상의 색 포화도를 계산하고, 상기 계산된 색 포화도를 보상하는 포화도 보상부; 및
상기 포화도가 보상된 입력 영상을 RGB 색공간으로 변환하는 제3 색공간 변환부;
를 포함하는 HDR 영상 생성 장치.
In the device for generating HDR (High Dynamic Range) images,
A first color space conversion unit for generating a first converted image converted from the input image into a YCbCr color space;
A brightness control unit for adjusting the brightness of the first converted image;
A first converted image whose brightness is adjusted and a second color space converter configured to convert the input image into an HSV color space;
The color saturation of the input image converted to the HSV color space is calculated by comparing the saturation of the first converted image converted to the HSV color space and the saturation of the input image converted to the HSV color space, and the calculated color saturation is calculated. A saturation compensation unit to compensate; And
A third color space conversion unit converting the input image whose saturation is compensated into an RGB color space;
HDR image generating apparatus comprising a.
제1항에 있어서,
상기 밝기 조절부는,
상기 제1 변환영상의 히스토그램을 생성 및 분석하는 히스토그램 분석부;
상기 히스토그램 분석 결과를 기반으로 어두운 영역을 개선하는 어두운 영역 향상부;
상기 제1 변환영상에 대하여 역변환 필터를 적용하는 역변환 필터 적용부;
상기 어두운 영역 향상부에서 밝기를 개선한 밝기값과 상기 역변환 필터적용부의 결과 영상을 융합하는 영상 융합부; 및
상기 영상 융합부에서 출력된 영상의 밝기를 조절하는 밝기 개선부;
를 포함하는 HDR 영상 생성 장치.
The method of claim 1,
The brightness control unit,
A histogram analysis unit for generating and analyzing a histogram of the first transformed image;
A dark area enhancement unit that improves a dark area based on a result of the histogram analysis;
An inverse transform filter application unit for applying an inverse transform filter to the first transformed image;
An image fusion unit for fusing a brightness value obtained by improving the brightness by the dark area enhancement unit and a result image of the inverse transform filter application unit; And
A brightness improving unit that adjusts the brightness of the image output from the image fusion unit;
HDR image generating apparatus comprising a.
제2항에 있어서,
상기 밝기 개선부는,
밝은 영역에 한하여 밝기 대비를 조절하는 밝은 영역 향상부; 및
자동 이득 조절 방법(Auto gain control)을 이용하여 밝기 파라미터가 조절된 영상의 전 영역에 대하여 휘도 범위를 확대하는 밝기 이득 조정부;
를 포함하는 HDR 영상 생성 장치.
The method of claim 2,
The brightness improving unit,
A bright area enhancement unit that adjusts brightness contrast only in the bright area; And
A brightness gain adjustment unit that expands a luminance range for the entire area of the image for which the brightness parameter is adjusted using an auto gain control method;
HDR image generating apparatus comprising a.
제2항에 있어서,
상기 역변환 필터 적용부는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며, 상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시키는 것을 특징으로 하는 HDR 영상 생성 장치.
The method of claim 2,
The inverse transform filter application unit performs dark area enhancement and calculates an inversion coefficient for the input image through a block-processing-based inversion kernel in the Y channel, and the inversion kernel includes a maximum filter and a low pass filter. filter), and then inverting the HDR image generating apparatus.
제1항에 있어서,
상기 포화도 보상부는,
상기 입력 영상의 색포화도를 저장하는 색포화도 저장부;
상기 제1 변환영상을 상기 제2 색공간 변환부에서 변환한 제3 변환영상과 상기 입력 영상의 밝기 영역을 비교 분석하는 밝기 향상 분석부;
상기 밝기 향상 분석부의 비교분석 결과에 따라 상기 입력 영상의 색 포화도 보상계수를 도출하는 보상 계수 도출부; 및
상기 도출된 보상계수를 이용하여 상기 입력 영상의 색포화도를 보상하여 적용하는 색포화도 적용부;
를 포함하는 HDR 영상 생성 장치.
The method of claim 1,
The saturation compensation unit,
A color saturation level storage unit for storing a color saturation level of the input image;
A brightness enhancement analysis unit for comparing and analyzing a brightness region of the input image and a third converted image converted by the second color space conversion unit on the first converted image;
A compensation coefficient derivation unit for deriving a color saturation compensation coefficient of the input image according to a comparison analysis result of the brightness enhancement analysis unit; And
A color saturation degree applying unit that compensates and applies the color saturation degree of the input image using the derived compensation coefficient;
HDR image generating apparatus comprising a.
HDR(High Dynamic Range) 영상을 생성하는 방법에 있어서,
입력영상을 YCbCr 색공간으로 변환한 제1 변환영상을 생성하는 단계;
상기 제1 변환영상의 밝기를 제어하는 단계;
상기 제1 변환영상을 HSV 색공간으로 변환한 제2 변환영상 및 상기 입력영상을 HSV 색공간으로 변환한 제3 변환영상을 생성하는 단계;
상기 제2 변환영상 및 상기 제3 변환영상의 포화도를 비교하여 상기 제3 변환영상의 포화도를 보상하는 단계; 및
포화도가 보상된 상기 제3 변환영상을 RGB 색공간으로 변환하는 단계;
를 포함하는 HDR 영상 생성 방법.
In the method of generating a high dynamic range (HDR) image,
Generating a first transformed image obtained by converting the input image into a YCbCr color space;
Controlling the brightness of the first converted image;
Generating a second converted image obtained by converting the first converted image into an HSV color space and a third converted image obtained by converting the input image into an HSV color space;
Compensating the saturation of the third transformed image by comparing the saturation of the second transformed image and the third transformed image; And
Converting the third converted image for which saturation is compensated into an RGB color space;
HDR image generation method comprising a.
제6항에 있어서,
상기 제1 변환영상의 밝기를 제어하는 단계는,
상기 제1 변환영상의 히스토그램을 생성 및 분석하는 단계;
상기 히스토그램 분석을 통해 결정된 어두운 영역을 개선하는 단계;
상기 제1 변환영상에 대하여 역변환 필터를 적용하는 단계;
상기 어두운 영역을 개선한 밝기값과 상기 역변환 필터를 적용한 영상의 융합영상을 생성하는 단계; 및
상기 융합영상의 밝기를 조절하는 단계;
를 포함하는 HDR 영상 생성 방법.
The method of claim 6,
Controlling the brightness of the first converted image,
Generating and analyzing a histogram of the first transformed image;
Improving the dark area determined through the histogram analysis;
Applying an inverse transform filter to the first transformed image;
Generating a fusion image of a brightness value obtained by improving the dark area and an image to which the inverse transform filter is applied; And
Adjusting the brightness of the fusion image;
HDR image generation method comprising a.
제7항에 있어서,
상기 밝기를 조절하는 단계는,
밝은 영역에 한하여 밝기 대비를 조절하는 단계; 및
자동 이득 조절 방법(Auto gain control)을 이용하여 밝기 파라미터가 조절된 영상의 전 영역에 대하여 휘도 범위를 확대하는 단계;
를 포함하는 HDR 영상 생성 방법.
The method of claim 7,
The step of adjusting the brightness,
Adjusting brightness contrast only in a bright area; And
Expanding the luminance range for the entire area of the image for which the luminance parameter is adjusted using an auto gain control method;
HDR image generation method comprising a.
제7항에 있어서,
상기 역변환 필터는 어두운 영역 향상을 거치게 되는 동시에 상기 입력 영상을 Y 채널에서 블록 처리기반의 반전 커널을 통해 반전계수를 계산하며,
상기 반전 커널은 최대 필터(Max filter)와 저역 통과 필터(Low pass filter)를 수행한 뒤에 반전시키는 것을 특징으로 하는 HDR 영상 생성 방법.
The method of claim 7,
The inverse transform filter undergoes dark area enhancement and calculates an inversion coefficient for the input image through a block-processing-based inversion kernel in the Y channel,
Wherein the inversion kernel performs a maximum filter and a low pass filter and then inverts the HDR image.
제6항에 있어서,
상기 포화도를 보상하는 단계는,
상기 입력 영상의 색포화도를 저장하는 단계;
상기 제3 변환영상과 상기 입력 영상의 밝기 영역을 비교 분석하는 단계;
상기 비교 분석 결과를 이용하여 상기 입력 영상의 밝기 변화에 따라 색 포화도 보상계수를 도출하는 단계; 및
상기 도출된 보상계수를 이용하여 상기 입력 영상의 색포화도를 보상하여 적용하는 단계;
를 포함하는 HDR 영상 생성 방법.
The method of claim 6,
Compensating for the saturation,
Storing a color saturation degree of the input image;
Comparing and analyzing a brightness region of the third transformed image and the input image;
Deriving a color saturation compensation coefficient according to a change in brightness of the input image using the comparison analysis result; And
Compensating and applying the color saturation of the input image using the derived compensation coefficient;
HDR image generation method comprising a.
KR1020190065395A 2019-06-03 2019-06-03 The apparatus and method of HDR imaging generation Active KR102207441B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190065395A KR102207441B1 (en) 2019-06-03 2019-06-03 The apparatus and method of HDR imaging generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190065395A KR102207441B1 (en) 2019-06-03 2019-06-03 The apparatus and method of HDR imaging generation

Publications (2)

Publication Number Publication Date
KR20200138972A KR20200138972A (en) 2020-12-11
KR102207441B1 true KR102207441B1 (en) 2021-01-25

Family

ID=73786443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190065395A Active KR102207441B1 (en) 2019-06-03 2019-06-03 The apparatus and method of HDR imaging generation

Country Status (1)

Country Link
KR (1) KR102207441B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619092B1 (en) * 2021-09-28 2023-12-29 주식회사 스마트비전글로벌 Image analyzing method, and image processing method having the same
CN115330607B (en) * 2022-07-11 2024-03-01 内蒙古工业大学 Saturation enhancement method for color image
CN115589471A (en) * 2022-09-14 2023-01-10 北京空间机电研究所 A Best Gain Ratio Discrimination Method Applicable to Large Dynamic Range Image Fusion

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101164535B1 (en) * 2010-12-14 2012-07-10 엠텍비젼 주식회사 Adaptive image compensating device and method thereof
KR20140122605A (en) * 2013-04-10 2014-10-20 삼성전자주식회사 Method and apparatus for adjusting brightness of input image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shih-Chang Hsia ET AL:"High-performance high dynamic range image generation by inverted local patterns", IET Image Processing, Volume 9, Issue 12, Dec. 2015(2015.12.31.) 1부.*

Also Published As

Publication number Publication date
KR20200138972A (en) 2020-12-11

Similar Documents

Publication Publication Date Title
EP2076013B1 (en) Method of high dynamic range compression
Lin et al. Image enhancement using the averaging histogram equalization (AVHEQ) approach for contrast improvement and brightness preservation
US20210374925A1 (en) Image Enhancement System and Method
JP5105209B2 (en) Image processing apparatus and method, program, and recording medium
CN111480177B (en) Improved inverse tone mapping method and corresponding apparatus
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US20240193739A1 (en) Image processing method and apparatus, computer device, and storage medium
US7809208B2 (en) Image sharpening with halo suppression
US9396526B2 (en) Method for improving image quality
CN112734650A (en) Virtual multi-exposure fusion based uneven illumination image enhancement method
KR102207441B1 (en) The apparatus and method of HDR imaging generation
US9554058B2 (en) Method, apparatus, and system for generating high dynamic range image
Liu et al. Enhancement of low illumination images based on an optimal hyperbolic tangent profile
Dar et al. An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images
US8675963B2 (en) Method and apparatus for automatic brightness adjustment of image signal processor
Makwana et al. LIVENet: A novel network for real-world low-light image denoising and enhancement
Lu et al. DeepSPG: Exploring Deep Semantic Prior Guidance for Low-light Image Enhancement with Multimodal Learning
JP5410378B2 (en) Video signal correction apparatus and video signal correction program
Li et al. Contrast enhancement algorithm for outdoor infrared images based on local gradient-grayscale statistical feature
Srinivas et al. Channel prior based Retinex model for underwater image enhancement
US9866761B2 (en) Image dynamic range compensation device and method
CN113096033A (en) Low-illumination image enhancement method based on Retinex model self-adaptive structure
Yang et al. Correction of overexposure utilizing haze removal model and image fusion technique
CN112308793A (en) Novel method for enhancing contrast and detail of non-uniform illumination image
US11647298B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190603

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200421

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20201022

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210118

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231220

Start annual number: 4

End annual number: 4