[go: up one dir, main page]

KR101633893B1 - 다중노출 영상을 합성하는 영상합성장치 및 방법 - Google Patents

다중노출 영상을 합성하는 영상합성장치 및 방법 Download PDF

Info

Publication number
KR101633893B1
KR101633893B1 KR1020100004053A KR20100004053A KR101633893B1 KR 101633893 B1 KR101633893 B1 KR 101633893B1 KR 1020100004053 A KR1020100004053 A KR 1020100004053A KR 20100004053 A KR20100004053 A KR 20100004053A KR 101633893 B1 KR101633893 B1 KR 101633893B1
Authority
KR
South Korea
Prior art keywords
image
luminance
generated
input image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100004053A
Other languages
English (en)
Other versions
KR20110084025A (ko
Inventor
권재현
오현화
최원희
박성찬
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100004053A priority Critical patent/KR101633893B1/ko
Priority to US13/006,683 priority patent/US8723978B2/en
Publication of KR20110084025A publication Critical patent/KR20110084025A/ko
Application granted granted Critical
Publication of KR101633893B1 publication Critical patent/KR101633893B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방식이 개시된다. 본 발명의 일 양상에 따라 콘트라스트(contrast) 저하없이 저휘도와 고휘도 영역의 디테일을 충분히 표현함과 동시에 선명한 고화질의 HDR(High Dynamic Range) 영상을 생성하는 영상합성장치 및 방법을 제공할 수 있다.

Description

다중노출 영상을 합성하는 영상합성장치 및 방법{Apparatus and Method for Image Fusion}
이미지 센서로부터 획득된 다중노출 영상을 합성하는 영상합성장치 및 방법에 관한 것으로, 보다 상세하게는 콘트라스트(contrast) 저하없이 저휘도와 고휘도 영역의 디테일을 충분히 표현함과 동시에 선명한 고화질의 HDR(High Dynamic Range) 영상을 생성하는 다중노출 영상합성장치 및 방법에 관한 것이다.
HDR 영상생성방식으로는 HDR 이미지 센서를 이용한 영상획득방법과 다중노출 영상합성방법이 있다. HDR 이미지 센서를 이용한 영상획득방법은 이미지 센서에서 직접 HDR 영상을 얻는 것으로 영상합성이 수행되지 않는다.
다중노출 영상합성방식은 노출이 상이한 다수 개의 영상을 촬영하여 HDR 데이터를 생성한 후 LDR(Low Dynamic Range)에 맞게 톤 매핑(tone mapping)으로 압축하여 출력영상을 생성하는 방식으로 글로벌(global)/로컬(local) 톤 매핑(tone mapping) 방법이 있다.
글로벌 톤 매핑(Global tone mapping) 방법은 글로벌 콘트라스트(global contrast)가 유지되고, 계산이 간단하나, 로컬 콘트라스트(local contrast)가 저하되고 선명하지 못한 영상을 만든다. 로컬 톤 매핑(Local tone mapping)은 로컬 콘트라스트(local contrast)를 유지할 수 있으나, 역전 현상, 후광 효과(Halo artifact)가 발생하고 계산량이 증가한다.
또한, 이러한 기술은 현재의 디스플레이 환경 및 인간 시각의 동시 대비(simultaneous contrast) 특성을 고려한 HDR 영상을 제공하기에는 부족하다.
즉, 다중노출 영상합성방식의 HDR 영상은 DR(dynamic range) 압축으로 인한 콘트라스트의 저하로 화질이 열화되고 역전 현상, 후광 효과(Halo artifact)가 발생하므로 글로벌(global) 또는 로컬(local) 콘트라스트가 저하되지 않는 새로운 방식의 HDR 영상생성방법이 필요하다.
콘트라스트의 저하없이 HDR 영상 생성이 가능한 영상합성장치 및 방법을 제공할 수 있다.
명암 레벨(intensity level)과 공간 포지션(spatial position)을 고려한 영상합성으로 글로벌/로컬 콘트라스트를 유지하고 역전 현상, 후광 효과가 발생하지 않는 선명한 영상을 간단한 계산만으로 생성할 수 있다.
본 발명의 일 양상에 따른 영상합성장치는 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성장치에 있어서, 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 영상 획득 및 처리부 및 제2 입력영상의 휘도 정보를 이용하여 제1 입력영상과 제2 입력영상의 휘도 영역을 구분하여 압축한 영상들을 생성하고, 생성된 휘도 영역별 영상들을 합성하는 영상 생성부를 포함할 수 있다.
또한, 영상 생성부는 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상의 노출을 보상한 영상을 생성하는 노출보상부, 제2 입력영상의 휘도 정보를 이용하여 노출보상부에서 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 제1 영상합성부 및 제2 입력영상의 휘도 정보를 이용하여 제1 영상합성부에서 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 제2 영상합성부를 포함할 수 있다.
또한, 노출보상부는 제1 입력영상의 휘도 평균값과 휘도 최대값으로부터 저휘도 임계치와 고휘도 임계치를 산출하여 인덱스에 따라 제1 입력영상의 노출값을 재설정할 수 있다.
또한, 제1 영상합성부는 제2 입력영상의 휘도 정보로부터 노출보상부에서 생성된 영상과 상기 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 광대역 영상합성부 및 광대역 영상합성부에서 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 압축영상생성부를 포함할 수 있다.
또한, 제2 영상합성부는 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 제1 영상합성부에서 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성할 수 있다.
본 발명의 일 양상에 따른 영상합성방법은 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방법에 있어서, 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 단계, 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상의 노출을 보상한 영상을 생성하는 단계, 제2 입력영상의 휘도 정보를 이용하여 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 단계 및 제2 입력영상의 휘도 정보를 이용하여 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 단계를 포함할 수 있다.
또한, 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하는 합성가중치 영상을 생성하는 단계, 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하는 영역가중치 영상을 생성하는 단계 및 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 단계를 더 포함할 수 있다.
콘트라스트의 저하없이 HDR 영상 생성이 가능하므로 일반적인 디지털 카메라, 캠코더와 같은 영상 획득 장치에서 HDR 영상을 만드는데 적합하다.
가변적인 DR 표현이 가능하며, 최적의 DR을 표현하는 HDR 영상을 생성할 수 있다.
저휘도/고휘도 영역의 디테일 표현이 우수하고, 로컬 콘트라스트의 향상으로 자동노출(AE) 영상과 동일한 수준의 선명한 화질을 갖는 영상을 생성할 수 있다.
또한, 보안(security) 관련, 자동차(automotive) 관련 어플리케이션 등에 이용 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상생성부(140)의 기본적인 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상생성부(140)의 세부적인 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 노출보상부(300)의 노출차이 보상과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1 영상합성부(200)의 구체적인 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상의 휘도 영역의 범위를 나타내는 도면이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상중 고휘도 영역(Highlight) 중심으로 압축된 영상과 저휘도 영역(Shadow) 중심으로 압축된 영상을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상합성방법을 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상합성장치에서 출력영상을 생성하기 위하여 생성되는 전체 영상을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸 도면이다.
도 1을 참조하면, 영상합성장치는 영상획득부(100), 움직임 정합부(110), 장면분석부(120), 노출처리부(130), 영상생성부(140), 영상출력부(150)를 포함할 수 있다.
영상획득부(100)는 이미지 센서 또는 카메라로부터 다수 개의 노출이 상이한 영상들 또는 HDR(High Dynamic Range) 영상을 입력받는다.
다중 노출로 획득된 영상들의 경우 프레임 간 글로벌 모션(global motion)과 오브젝트 모션(object motion)이 발생할 수 있으므로 움직임 정합부(110)를 통하여 움직임 정합과정을 거쳐 합성시 상겹침이 발생하지 않도록 처리한다.
장면분석부(120)에서 영상 획득시의 노출 정보와 영상데이터를 기반으로 장면을 분석하고, 필요시 노출처리부(130)는 적정 노출로 획득된 영상데이터와 동일한 노출의 영상이 생성되도록 노출 보상처리를 수행한다.
장면분석부(120)와 노출처리부(130)에서는 장면 분석결과, 포화된 휘도영역을 포함하는 등의 노출이 적절하지 못한 영상이 입력된 경우, 적절한 노출과의 노출 비율을 이용하여 노출 보상을 수행하는 것으로, 입출력이 선형관계인 이미지 센서 RAW 데이터를 이용할 경우 정확한 노출 보상이 가능하다.
노출 보상과 동시에 디테일 향상 처리 수행이 가능하며 하기 수학식1의 예와 같이 언샤프 마스킹(unsharp masking) 방법 등을 이용할 수 있다.
Figure 112010002898710-pat00001
영상획득부(100), 움직임 정합부(110), 장면 분석부(120), 노출처리부(130)는 각각의 기능에 따라 도 1과 같이 별개의 구성으로 구성될 수도 있으나, 노출이 서로 다른 입력영상들을 획득하여 움직임 정합, 노출처리, 디테일 향상 처리 등의 영상처리를 수행하여 합성하고자 하는 영상을 생성하는 영상 획득 및 처리부(160)와 같이 하나의 구성으로 구현될 수도 있다.
영상생성부(140)는 상술된 처리과정을 거친 영상들을 합성하고 LDR(Low Dynamic Range) 영상을 압축하여 출력영상을 생성한다. 만약 영상생성부(140)에서 HDR 영상을 입력받는 경우, 움직임 정합부(110)의 움직임 정합과정과 영상생성부(140)에서 영상합성 과정은 생략될 수 있다.
또한, 상술된 영상생성부(140)에서의 처리과정은 카메라 출력 RGB 데이터 또는 이미지 센서 RAW데이터를 이용하여 수행할 수 있다.
이렇게 생성된 출력영상을 영상출력부(150)를 통하여 디스플레이한다.
도 2는 본 발명의 일 실시예에 따른 영상생성부(140)의 기본적인 구성을 나타낸 도면이다.
도 2를 참조하면, 영상생성부(140)는 제1 영상합성부(200), 제2 영상합성부(210)를 포함할 수 있다.
제1 영상합성부(200)는 노출이 상이한 입력영상(n 개)과 각각의 입력영상의 노출 정보를 이용하여 HDR 데이터를 생성한다. HDR 데이터를 이용하여 휘도 별로 다수 개의 LDR 영상(m 개)을 생성한다.
제2 영상합성부(210)는 다수 개의 LDR 영상을 공간적으로 합성하여 출력영상을 만든다.
제1 영상합성부(200) 및 제2 영상합성부(210)는 카메라 출력 RGB 데이터뿐만 아니라 이미지 센서 RAW 데이터 이용하여 처리 가능하다.
도 3은 본 발명의 일 실시예에 따른 영상생성부(140)의 세부적인 구성을 나타낸 도면이다.
도 3을 참조하면, 영상생성부(140)는 도 2의 제1 영상합성부(200) 및 제2 영상합성부(210)에 부가하여 노출보상부(300), 고휘도복원부(310), 합성가중치 계산부(320), 영상가중치 계산부(330), 후처리부(340)를 포함할 수 있다.
도 3에서는 노출이 상이한 두 영상인 제1 입력영상(Exposure 1 Image)과 제2 입력영상(Exposure 2 Image)이 처리되고 합성되는 과정을 설명한다.
노출보상부(300)는 제1 입력영상(Exposure 1 Image)과 제2 입력영상(Exposure 2 Image)의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상(Exposure 1 Image)의 노출을 보상한 영상을 생성한다.
도 4는 본 발명의 일 실시예에 따른 노출보상부(300)의 노출차이 보상과정을 나타낸 도면이다.
도 4를 참조하면, 제1 입력영상(Exposure 1 Image)에서 휘도 평균값과 최대값을 이용하여 저휘도 임계치(Lower TH)와 고휘도 임계치(Upper TH), 최대 휘도값(Max)를 도출하고, 두 입력영상의 노출 차이를 고려하여 인덱스(Index)를 설정하여 상대적으로 노출이 작은 제1 입력영상을 재설정(remapping)하여 노출 차이를 보상한다.
고휘도복원부(310)는 제2 입력영상(Exposure 2 Image)의 특정 휘도 이상의 영역에 대하여 제1 입력영상(Exposure 1 Image)의 칼라 비율을 참조하여 제2 입력영상(Exposure 2 Image)의 칼라 정보를 복원한다.
노출이 다른 두 입력영상에서 제1 입력영상의 고휘도 영역과 제2 입력영상의 고휘도 영역을 비교하여 제2 입력영상의 영역은 수광량의 증가로 포화가 발생했다고 가정하면, 제2 입력영상에서 특정 휘도값 이상의 고휘도 영역은 포화되지 않은 제1 입력영상의 동일한 영역의 칼라 비율을 참고하여 칼라 정보를 복원할 수 있다.
제1 영상합성부(200)는 상술된 바와 같이 처리된 제2 입력영상의 휘도 정보를 이용하여 노출보상부(300)에서 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성한다.
도 5는 본 발명의 일 실시예에 따른 제1 영상합성부(200)의 구체적인 구성을 나타낸 도면이다.
도 5를 참조하면, 제1 영상합성부(200)는 광대역 영상합성부(500)와 압축영상 생성부(510)를 포함할 수 있다.
광대역 영상합성부(500)는 제2 입력영상의 휘도 정보로부터 노출보상부(300)에서 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 노출보상부(300)에서 생성된 영상과 제2 입력영상의 고휘도 영역(Highlight)과 저휘도 영역(Shadow)을 합성하여 HDR 데이터를 생성한다.
제2 입력영상의 휘도 정보로부터 노출보상부(300)에서 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성한다.
합성가중치 영상은 제1 영상합성부(200)의 광대역 영상합성부(500)에서 직접 생성하는 경우도 가능하며, 도 3의 합성가중치 계산부(320)와 같이 별개의 구성을 두어 두 입력영상에 대한 정보로부터 직접 생성하는 경우도 생각해 볼 수 있다.
제1 영상합성부(200)는 제2 입력영상의 휘도 정보(luminance level)를 이용하여 픽셀(Pixel)별 가중 평균(Weighted Average)을 구하여 제1 입력영상, 제2 입력영상 각각에 대한 합성가중치 영상을 생성한다.
합성가중치 영상을 이용하여 각각의 입력영상을 합성하고, 이로부터 HDR 데이터를 생성한다.
상술한 가중 평균(Weighted Average)을 구하는 과정은 Contrast Blending 방법 등을 이용할 수 있다.
압축영상 생성부(510)는 광대역 영상합성부(500)에서 합성한 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 합성한 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상의 휘도 영역의 범위를 나타내는 도면이다.
도 6과 같이, 압축영상 생성부(510)에서 광대역 영상합성부(500)에서 생성된 HDR 데이터를 압축할 때, HDR 데이터의 합성결과의 휘도 영역의 경계값(최대값)이 압축영상 생성부(510)에서 압축되어 생성된 영상(LDR Image1, LDR Image2)의 휘도 영역의 경계값(최대값)으로 매핑되도록 처리한다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상중 고휘도 영역(Highlight) 중심으로 압축된 영상과 저휘도 영역(Shadow) 중심으로 압축된 영상을 나타낸 도면이다.
도 6의 LDR Image1과 LDR Image2의 예가 도 7과 같이 나타낼 수 있으며, 도7a는 고휘도 영역을 중심으로 압축한 영상(LDR Image1), 도 7b는 저휘도 영역을 중심으로 압축한 영상(LDR Image2)을 나타낸다.
도 7a의 고휘도 영역을 중심으로 압축한 영상의 표시된 영역(700)은 고휘도 영역에 해당하는 것으로, 표시된 영역(700)으로부터 도 7a의 고휘도 영역을 중심으로 압축한 영상은 고휘도 영역이 선명하게 나타나고 있음을 알 수 있다.
또한, 도 7b의 저휘도 영역을 중심으로 압축한 영상의 표시된 영역(701)은 저휘도 영역에 해당하는 것으로, 표시된 영역(701)으로부터 도 7b의 저휘도 영역을 중심으로 압축한 영상은 저휘도 영역이 선명하게 나타나고 있음을 알 수 있다.
상술한 바와 같이 제1 영상합성부(200)에서 합성된 영상은 후처리부(340)를 거치게 된다. 후처리부(340)는 제1 영상합성부(200)에서 생성된 고휘도 영역 영상(LDR Image1)과 저휘도 영역 영상(LDR Image2)에 대하여 출력영상의 화질 향상을 위한 여러가지 처리를 수행할 수 있다.
제1 영상합성부(200)에서 합성된 영상(LDR Image)은 다음과 같은 추가적인 후처리(Post-Processing) 과정들을 거칠 수 있으며, 이외에도 출력영상 화질 개선을 위한 다양한 방법들이 수행될 수 있다.
후처리(Post-Processing) 과정은 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리 등이 있다.
도 7a의 고휘도 영역 영상은 표시된 영역(700) 외에는 물체의 형태를 알아보기 힘든 저휘도 영역에 해당한다. 따라서 최종 출력영상의 화질을 개선하기 위해서는 이 영상을 합성하기 전에 저휘도 영역의 휘도를 향상시킬 필요가 발생한다.
그러므로, 도 7a의 고휘도 영역 영상에 대해 저휘도 영역의 휘도 향상을 위한 가중치 영상을 이용하여 저휘도 영역 휘도 향상 처리를 수행할 수 있다.
또한, 도 7b의 저휘도 영역 영상은 전반적으로 영상이 흐릿하여 물체의 윤곽이 선명하지 못하다. 따라서 최종 출력영상의 화질을 개선하기 위해서는 이 영상을 합성하기 전에 물체의 윤곽선의 선명도를 향상시킬 필요가 발생한다.
그러므로, 도 7b의 저휘도 영역 영상에 대해 윤곽선의 선명도 향상을 위한 가중치 영상을 이용하여 영상의 후광효과 저감 처리를 수행할 수 있다.
저휘도 영역의 휘도 향상을 위한 가중치 영상과 윤곽선의 선명도 향상을 위한 가중치 영상의 밝게 표현된 부분이 영상에서 가중치가 부가된 것으로, 밝게 표현된 부분에 대하여 원영상(LDR Image)에 가중치를 부가함으로써 화질을 개선할 수 있다.
상술된 후처리과정을 거친 후, LDR 영상(LDR Image)을 최종적으로 합성하여 최종적인 출력영상을 생성하는 과정을 수행하게 된다.
제2 영상합성부(210)는 고휘도 영역 영상(LDR Image1) 및 저휘도 영역 영상(LDR Image2)을 합성하여 출력영상을 생성한다.
제2 영상합성부(210)는 LDR 영상(LDR Image1, LDR Image2)들을 LDR 영상합성(LDR Image Fusion) 과정을 통해 최종 출력영상으로 생성한다. LDR 영상합성 과정에서 영역가중치 영상을 생성하게 되는데 이는 제2 영상합성부(210) 내부에서 직접 수행할 수 있으나, 도 3과 같이 별도의 영역가중치 계산부(330)에서 수행하도록 구현할 수 있다.
영역가중치 계산부(330)는 휘도 레벨에 따라 영역을 나누고, 각 영역 별로 콘트라스트(contrast)가 높고 디테일을 최대로 표현하는 것을 기준으로 영역가중치 영상을 생성한다.
영역가중치 계산부(330)는 제2 입력영상의 휘도 정보를 이용하여 고휘도 영역을 위한 영역가중치 영상과 저휘도 영역을 위한 영역가중치 영상을 생성한다.
제2 영상합성부는 도 7a의 고휘도 영역 영상과 도 7b의 저휘도 영역 영상을 전달받아, 영역가중치 계산부(330)에서 생성된 고휘도 영역 합성을 위한 영역가중치 영상과 저휘도 영역 합성을 위한 영역가중치 영상을 이용하여 도 7a의 고휘도 영역 영상과 도 7b의 저휘도 영역 영상을 합성하여 출력영상을 생성한다.
먼저, 도 7a의 고휘도 영역 영상은 고휘도 영역 합성을 위한 영역가중치 영상을 이용하여 영역가중치 영상의 밝게 표시된 부분으로부터 도 7a의 고휘도 영역 영상의 표시된 영역(700)을 중심으로 한 고휘도 영역이 선명하게 표시된 영상을 추출하게 된다.
다음으로, 도 7b의 저휘도 영역 영상은 저휘도 영역 합성을 위한 영역가중치 영상을 이용하여 영역가중치 영상의 밝게 표시된 부분으로부터 도 7b의 저휘도 영역 영상의 표시된 영역(701)을 중심으로 한 저휘도 영역이 선명하게 표시된 영상을 추출하게 된다.
이렇게 추출된 영상들을 합성하여 출력영상을 생성하게 된다. 둘 이상의 영역으로 나누어 합성하는 경우 가변적인 휘도 임계값(threshold)에 따라 영역을 분할하는 방식으로 처리할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상합성방법을 나타낸 흐름도이다.
피사체에 대하여 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임정합, 노출보상 처리, 디테일 향상 처리 등을 수행하여 합성하기에 적절한 영상을 만든다(800).
제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성한다(810).
제2 입력영상의 휘도 정보를 이용하여 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성한다(820).
제2 입력영상의 휘도 정보를 이용하여 생성된 휘도 영역별 영상을 합성한 영상을 생성한다(830). 이렇게 생성된 영상을 출력영상으로 디스플레이 하게 된다.
도 9는 본 발명의 일 실시예에 따른 영상합성장치에서 출력영상을 생성하기 위하여 생성되는 전체 영상을 나타낸 도면이다.
제1 입력영상(Exposure1 Image)과 제2 입력영상(Exposure2 Image)으로부터 상술한 노출보상부(300), 고휘도복원부(310), 제1 영상합성부(200)를 거쳐 HDR 데이터를 생성하고 HDR 데이터로부터 휘도별로 압축한 LDR 영상(LDR Image1, LDR Image2)을 생성하며, 생성된 LDR 영상(LDR Image1, LDR Image2)으로부터 후처리부(340), 제2 영상합성부(210)를 거쳐 최종적으로 출력영상(Output Image)을 생성할 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
100 영상획득부
110 움직임 정합부
120 장면 분석부
130 노출 처리부
140 영상 생성부
150 영상 출력부
200 제1 영상 합성부
210 제2 영상 합성부
300 노출 보상부
310 고휘도 복원부
320 합성 가중치 계산부
330 영역 가중치 계산부
340 후처리부
500 광대역 영상 합성부
510 압축 영상 생성부

Claims (13)

  1. 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성장치에 있어서,
    서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 영상 획득 및 처리부; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 제1 입력영상과 제2 입력영상을 휘도 영역별로 구분하여 압축한 영상들을 생성하고, 생성된 휘도 영역별 영상들을 합성하는 영상 생성부;를 포함하는 영상합성장치.
  2. 제 1 항에 있어서, 상기 영상 생성부는
    상기 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성하는 노출보상부;
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 노출보상부에서 생성된 영상과 상기 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 제1 영상합성부; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 제1 영상합성부에서 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 제2 영상합성부;를 포함하는 영상합성장치.
  3. 제 2 항에 있어서, 상기 노출보상부는
    상기 제1 입력영상의 휘도 평균값과 휘도 최대값으로부터 저휘도 임계치와 고휘도 임계치를 산출하여 상기 인덱스에 따라 상기 제1 입력영상의 노출값을 재설정하는 영상합성장치.
  4. 제 2 항에 있어서, 상기 제1 영상합성부는
    상기 제2 입력영상의 휘도 정보로부터 상기 노출보상부에서 생성된 영상과 상기 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 광대역 영상합성부; 및
    상기 광대역 영상합성부에서 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 상기 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 압축영상생성부;를 포함하는 영상합성장치.
  5. 제 2항에 있어서, 상기 제1 영상합성부는
    상기 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하기 위한 합성가중치 영상을 생성하는 합성가중치 계산부;를 포함하는 영상합성장치.
  6. 제 2 항에 있어서, 상기 제2 영상합성부는
    상기 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 상기 제1 영상합성부에서 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성하는 영상합성장치.
  7. 제 2 항에 있어서, 상기 제2 영상합성부는
    상기 제1 영상합성부에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하기 위한 영역가중치 영상을 생성하는 영역가중치 계산부;를 포함하는 영상합성장치.
  8. 제 2 항에 있어서,
    상기 제2 입력영상의 소정의 휘도 이상의 영역에 대하여 상기 제1 입력영상의 칼라 비율을 참조하여 상기 제2 입력영상의 휘도를 복원하는 고휘도복원부;를 더 포함하는 영상합성장치.
  9. 제 2 항에 있어서,
    상기 제1 영상합성부에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 후처리부;를 더 포함하는 영상합성장치.
  10. 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방법에 있어서,
    서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 단계;
    상기 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성하는 단계;
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 생성된 영상과 상기 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 단계; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 단계;를 포함하는 영상합성방법.
  11. 제 10 항에 있어서, 상기 압축한 영상을 생성하는 단계는
    상기 제2 입력영상의 휘도 정보로부터 상기 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 단계; 및
    상기 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 상기 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 단계;를 포함하는 영상합성방법.
  12. 제 10 항에 있어서, 상기 합성한 영상을 생성하는 단계는
    상기 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 상기 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성하는 영상합성방법.
  13. 제 10 항에 있어서,
    상기 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하는 합성가중치 영상을 생성하는 단계;
    상기 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하는 영역가중치 영상을 생성하는 단계; 및
    상기 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 단계;를 더 포함하는 영상합성방법.
KR1020100004053A 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법 Active KR101633893B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100004053A KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법
US13/006,683 US8723978B2 (en) 2010-01-15 2011-01-14 Image fusion apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100004053A KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110084025A KR20110084025A (ko) 2011-07-21
KR101633893B1 true KR101633893B1 (ko) 2016-06-28

Family

ID=44277358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100004053A Active KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법

Country Status (2)

Country Link
US (1) US8723978B2 (ko)
KR (1) KR101633893B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190084068A (ko) * 2016-11-03 2019-07-15 인터디지털 씨이 페이튼트 홀딩스 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스
US10911691B1 (en) 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
WO2021208593A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
US11232323B2 (en) 2020-04-29 2022-01-25 Samsung Electronics Co., Ltd. Method of merging images and data processing device
US11301970B2 (en) 2019-05-02 2022-04-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11496689B2 (en) 2020-02-05 2022-11-08 Samsung Electronics Co., Ltd. Image sensor module image compression method thereof and electronic device
US11580617B2 (en) 2020-07-03 2023-02-14 Samsung Electronics Co., Ltd. Method of matching images to be merged and data processing device performing the same
US11711636B2 (en) 2021-05-18 2023-07-25 SK Hynix Inc. Image processing device

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
WO2013110022A1 (en) * 2012-01-20 2013-07-25 Rjs Technology, Inc. System and method for a high dynamic range array of sensitive image sensor blocks
CN103247036B (zh) * 2012-02-10 2016-05-18 株式会社理光 多曝光图像融合方法和装置
CN102609919A (zh) * 2012-02-16 2012-07-25 清华大学 一种基于区域的压缩感知图像融合方法
KR101341616B1 (ko) * 2012-05-10 2013-12-13 중앙대학교 산학협력단 세부정보 추정에 의한 영상 개선 장치 및 방법
US20130301949A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image enhancement apparatus and method
US9349166B2 (en) * 2012-12-31 2016-05-24 Nokia Technologies Oy Method, apparatus and computer program product for generating images of scenes having high dynamic range
US10068120B2 (en) * 2013-03-15 2018-09-04 Apple Inc. High dynamic range fingerprint sensing
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
WO2015006787A2 (en) * 2013-07-12 2015-01-15 Mobii Systems (Pty) Ltd Method of generating and processing images
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
CN104639920B (zh) * 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
US9594488B2 (en) * 2013-12-12 2017-03-14 Google Inc. Interactive display of high dynamic range images
KR101623947B1 (ko) 2014-06-20 2016-05-24 경남정보대학교 산학협력단 Ｈｄｒ 동영상 제작 장치 및 방법
EP3007431A1 (en) 2014-10-10 2016-04-13 Thomson Licensing Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
KR102277178B1 (ko) 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
FR3037756B1 (fr) * 2015-06-18 2020-06-19 Lens Correction Technologies Procede et dispositif de production d'une image numerique
CN106408518B (zh) * 2015-07-30 2019-09-06 展讯通信（上海）有限公司 图像融合方法、装置及终端设备
CN105187739B (zh) * 2015-09-18 2018-10-26 北京中科慧眼科技有限公司 基于hdr算法的相机传感器设计方法
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US10129485B2 (en) 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
CN106294681B (zh) * 2016-08-05 2019-11-05 腾讯科技（深圳）有限公司 多重曝光的方法、装置和系统
CN108124107B (zh) * 2016-11-30 2020-05-05 厦门星宸科技有限公司 用来控制影像撷取装置的电路及相关的方法
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
CN113570677B (zh) * 2017-05-03 2025-02-14 西安万像电子科技有限公司 图像压缩方法及装置
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
KR102408344B1 (ko) * 2017-10-31 2022-06-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102045538B1 (ko) * 2018-05-31 2019-11-15 한양대학교 산학협력단 패치 기반 다중 노출 영상 융합 방법 및 장치
CN109035155B (zh) * 2018-06-15 2021-10-22 宁波大学 一种光晕去除的多曝光图像融合方法
CN111050143B (zh) 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102788816B1 (ko) 2018-11-08 2025-03-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109636765B (zh) * 2018-11-09 2021-04-02 Tcl华星光电技术有限公司 基于图像多重曝光融合的高动态显示方法
KR102127760B1 (ko) * 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
WO2020206659A1 (en) * 2019-04-11 2020-10-15 Thunder Software Technology Co., Ltd. Method and apparatus for combining low-dynamic range images to a single image
CN110784645B (zh) * 2019-10-09 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 基于单色双通道sCMOS摄像机的灰度调制图像融合方法
CN110717878B (zh) * 2019-10-12 2022-04-15 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
CN113518172B (zh) 2020-03-26 2023-06-20 华为技术有限公司 图像处理方法和装置
KR102750820B1 (ko) 2020-05-14 2025-01-08 삼성전자주식회사 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
CN112288664B (zh) * 2020-09-25 2025-03-07 原力图新(重庆)科技有限公司 高动态范围图像的融合方法、装置和电子设备
JP7271492B2 (ja) * 2020-12-11 2023-05-11 シャープ株式会社 画像処理装置、および画像処理方法
CN114639133B (zh) * 2020-12-16 2025-04-25 浙江宇视科技有限公司 车牌图像处理方法、装置、电子设备和存储介质
TWI751869B (zh) * 2020-12-30 2022-01-01 廣達電腦股份有限公司 運算裝置及用於近眼顯示裝置之缺陷偵測方法
CN112785504B (zh) * 2021-02-23 2022-12-23 深圳市来科计算机科技有限公司 一种昼夜图像融合的方法
CN113092489B (zh) * 2021-05-20 2024-08-23 鲸朵(上海)智能科技有限公司 一种电池外观缺陷的检测系统及方法
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
US11451709B1 (en) 2021-11-29 2022-09-20 Unity Technologies Sf Increasing dynamic range of a virtual production display
US11924563B2 (en) 2021-12-22 2024-03-05 Qualcomm Incorporated High dynamic range (HDR) photography with in-sensor zoom
US11972525B2 (en) 2022-02-21 2024-04-30 International Business Machines Corporation Generating training data through image augmentation
EP4283459A1 (en) * 2022-05-24 2023-11-29 Koninklijke Philips N.V. Mixing secondary graphics elements in hdr images
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统
CN118172262B (zh) * 2024-04-02 2025-04-15 上海凝眸智能科技有限公司 一种基于场景分析的高动态图像合成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008092A (ja) 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像データ形成装置および画像データ処理方法
JP2002305685A (ja) 2001-01-24 2002-10-18 Eastman Kodak Co 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US20050104900A1 (en) 2003-11-14 2005-05-19 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204881B1 (en) 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JPH1042182A (ja) 1996-07-26 1998-02-13 Canon Inc 撮像装置
JP3458741B2 (ja) 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
KR100472359B1 (ko) 2001-11-28 2005-02-21 엘지전자 주식회사 평균 휘도 레벨 설정방법
WO2003061266A2 (en) * 2002-01-15 2003-07-24 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for compressing the dynamic range of an image
US7508421B2 (en) 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
KR101029071B1 (ko) 2004-09-09 2011-04-18 삼성전자주식회사 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치
US20070024721A1 (en) 2005-07-29 2007-02-01 Rogers Sean S Compensating for improperly exposed areas in digital images
US7729535B2 (en) 2005-09-23 2010-06-01 Canon Kabushiki Kaisha Color characterization of high dynamic range image capture devices
US8599282B2 (en) 2007-04-26 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating image
KR100933556B1 (ko) 2007-11-09 2009-12-23 주식회사 쎄이미지 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008092A (ja) 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像データ形成装置および画像データ処理方法
JP2002305685A (ja) 2001-01-24 2002-10-18 Eastman Kodak Co 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US20050104900A1 (en) 2003-11-14 2005-05-19 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190084068A (ko) * 2016-11-03 2019-07-15 인터디지털 씨이 페이튼트 홀딩스 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스
KR102539381B1 (ko) 2016-11-03 2023-06-05 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11301970B2 (en) 2019-05-02 2022-04-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
US10911691B1 (en) 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
US11496689B2 (en) 2020-02-05 2022-11-08 Samsung Electronics Co., Ltd. Image sensor module image compression method thereof and electronic device
WO2021208593A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
US11232323B2 (en) 2020-04-29 2022-01-25 Samsung Electronics Co., Ltd. Method of merging images and data processing device
US11580617B2 (en) 2020-07-03 2023-02-14 Samsung Electronics Co., Ltd. Method of matching images to be merged and data processing device performing the same
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11711636B2 (en) 2021-05-18 2023-07-25 SK Hynix Inc. Image processing device

Also Published As

Publication number Publication date
KR20110084025A (ko) 2011-07-21
US20110176024A1 (en) 2011-07-21
US8723978B2 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
KR101633893B1 (ko) 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101831551B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
KR101520068B1 (ko) 다중영상 합성장치 및 그 방법
KR101609491B1 (ko) 화상 합성 장치, 화상 합성 방법 및 기록 매체
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
KR20120016476A (ko) 영상 처리 방법 및 영상 처리 장치
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
JP2010263423A (ja) 画像処理方法および画像処理装置
KR100933556B1 (ko) 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Ye et al. Single exposure high dynamic range image reconstruction based on deep dual-branch network
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
JP2005182232A (ja) 輝度補正装置および輝度補正方法
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP4359662B2 (ja) カラー画像の露出補正方法
JP5720034B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
Basheer et al. Nighttime Image Enhancement: A Review of Topical Concepts
JP2015213276A (ja) 画像処理装置および画像処理方法
CN119854643A (zh) 图像生成方法、控制装置、电子装置、车辆及存储介质
JP2012093904A (ja) 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100115

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20141106

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100115

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150831

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160322

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160621

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160621

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190520

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200518

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210513

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240516

Start annual number: 9

End annual number: 9