[go: up one dir, main page]

KR20210155695A - 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법 - Google Patents

화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법 Download PDF

Info

Publication number
KR20210155695A
KR20210155695A KR1020200073247A KR20200073247A KR20210155695A KR 20210155695 A KR20210155695 A KR 20210155695A KR 1020200073247 A KR1020200073247 A KR 1020200073247A KR 20200073247 A KR20200073247 A KR 20200073247A KR 20210155695 A KR20210155695 A KR 20210155695A
Authority
KR
South Korea
Prior art keywords
image
image processing
images
parameter
tuning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020200073247A
Other languages
English (en)
Inventor
문경환
채정엽
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200073247A priority Critical patent/KR20210155695A/ko
Priority to US17/179,789 priority patent/US11900570B2/en
Priority to US17/217,282 priority patent/US20210390671A1/en
Publication of KR20210155695A publication Critical patent/KR20210155695A/ko
Priority to US18/397,149 priority patent/US20240127413A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 기술적 사상에 따른 이미지 처리 시스템은, 화질 튜닝에 이용되는 복수의 기준 이미지들을 저장하는 메모리, 복수의 기준 이미지들에 대응하는 복수의 촬영 이미지들을 수신하고, 수신한 복수의 촬영 이미지들 각각에 대하여, 복수의 이미지 처리 동작들 중 대응하는 이미지 처리 동작을 수행하여 복수의 보정 이미지들을 생성하는 이미지 신호 프로세서 및 복수의 보정 이미지들 및 복수의 기준 이미지들을 기초로 복수의 이미지 처리 동작들의 파라미터들을 설정하는 튜닝 모듈을 포함할 수 있다.

Description

화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법{IMAGE PROCESSING SYSTEM FOR IMAGE QUALITY TUNING AND METHOD OF IMAGE QUALITY TUNING}
본 개시의 기술적 사상은 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법에 관한 것으로서, 구체적으로 화질 튜닝에 이용되는 기준 이미지들과 이를 촬영한 이미지를 기초로 이미지 처리 동작들의 파라미터들을 자동으로 설정하는 이미지 처리 시스템 및 화질 튜닝 방법에 관한 것이다.
최근에는 이미지 센서를 포함하는 카메라 모듈의 수요가 지속적으로 증가하고 있다. 예를 들어, 스마트 폰에는 2개 이상의 카메라 모듈이 탑재되고, 차량의 외부 및 내부에 카메라가 장착되는 등 카메라의 활용도가 증가하고 있다.
이와 같은 수요에 따라, 이미지 센서의 베이어 이미지(bayer image)를 처리하기 위한 이미지 신호 프로세서(image signal processor, ISP)를 포함하는 고성능의 애플리케이션 프로세서 등이 개발되고 있다. 그러나 ISP의 화질 튜닝은 수동적인 조치들을 통해 수행되어 많은 인력을 필요로 하고, 실제 화질 튜닝에 소요되는 시간이 길어지는 문제점들이 있다.
본 개시의 기술적 사상은 화질 튜닝에 이용되는 기준 이미지들과 이를 촬영한 이미지를 기초로 이미지 처리 동작들의 파라미터들을 자동으로 설정하는 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 이미지 처리 시스템은, 화질 튜닝에 이용되는 복수의 기준 이미지들을 저장하는 메모리, 복수의 기준 이미지들에 대응하는 복수의 촬영 이미지들을 수신하고, 수신한 복수의 촬영 이미지들 각각에 대하여, 복수의 이미지 처리 동작들 중 대응하는 이미지 처리 동작을 수행하여 복수의 보정 이미지들을 생성하는 이미지 신호 프로세서 및 복수의 보정 이미지들 및 복수의 기준 이미지들을 기초로 복수의 이미지 처리 동작들의 파라미터들을 설정하는 튜닝 모듈을 포함할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 이미지 처리 시스템은, 화질 튜닝에 이용되는 복수의 기준 이미지들을 저장하는 메모리, 복수의 이미지 처리 동작들을 수행하는 이미지 신호 프로세서 및 복수의 이미지 처리 동작들 중 타겟 이미지 처리 동작의 파라미터를 설정하는 튜닝 동작을 수행하는 튜닝 모듈을 포함하고, 튜닝 동작은, 타겟 이미지 처리 동작에 대응하는 기준 이미지를 촬영한 촬영 이미지를 획득하는 단계, 촬영 이미지에 대하여, 타겟 이미지 처리 동작의 파라미터를 기초로 타겟 이미지 처리 동작을 수행하여 보정 이미지를 생성하도록 이미지 신호 프로세서를 제어하는 단계 및 보정 이미지 및 기준 이미지를 기초로 타겟 이미지 처리 동작의 파라미터를 갱신하는 단계를 포함하고, 튜닝 모듈은, 복수의 이미지 처리 동작들 각각에 대하여 튜닝 동작을 수행할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 화질 튜닝 방법은, 복수의 기준 이미지들 각각을 촬영한 복수의 촬영 이미지들을 획득하는 단계, 복수의 촬영 이미지들 각각에 대하여, 복수의 이미지 처리 동작들 중 대응하는 적어도 하나의 이미지 처리 동작을 수행하여 복수의 보정 이미지들을 생성하는 단계 및 복수의 보정 이미지들 및 복수의 기준 이미지들을 기초로 복수의 이미지 처리 동작들의 파라미터들을 설정하는 단계를 포함할 수 있다.
본 개시의 실시 예에 따른 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법에 의하면, 전체 이미지 처리 동작들의 파라미터들을 자동적으로 설정함으로써, 종래의 수동으로 수행된 화질 튜닝보다 단축된 기간에 화질 튜닝이 완료될 수 있으며, 화질 튜닝에 필요한 인력을 줄일 수 있다.
도 1은 본 개시의 일 실시예에 따른 이미지 처리 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 이미지 처리 장치를 구체적으로 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 이미지 신호 프로세서, 튜닝 모듈 및 메모리 간의 화질 튜닝 동작을 나타내는 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 이미지 신호 프로세서, 튜닝 모듈 및 메모리 간의 제1 파라미터 설정 동작을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 이미지 처리 시스템의 동작 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 이미지 신호 프로세서, 튜닝 모듈 및 메모리 간의 화질 튜닝 동작을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 복수의 이미지 처리 동작들의 설정 순서를 나타내는 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 복수의 이미지 처리 동작들의 설정 순서를 구체적으로 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 기준 이미지를 이용한 화질 튜닝 방법을 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 기준 이미지들을 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 기준 이미지 및 이미지 처리 동작 간의 매핑 정보를 나타내는 도면이다.
도 12 및 도 13은 본 개시의 일 실시예에 따른 이미지 처리 장치를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 애플리케이션 프로세서를 나타내는 도면이다.
도 1은 본 개시의 일 실시예에 따른 이미지 처리 장치(1000)를 나타내는 블록도이다.
도 1을 참조하면, 이미지 처리 장치(1000)는 이미지 센서(1100) 및 이미지 처리 시스템(1200)을 포함할 수 있다. 이미지 처리 장치(1000)는 이미지에 대하여 이미지 처리 동작을 수행하는 장치일 수 있다. 이미지 처리 장치(1000)는 PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등을 포함할 수 있다. 또한, 이미지 처리 장치(1000)는 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 전자 기기 또는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.
이미지 센서(1100)는 광학 렌즈(LS)를 통하여 입사된 피사체(OBJECT)의 광학적 신호를 전기적 신호로 변환하고, 전기적 신호들을 기초로 이미지(IMG)를 생성하여 출력할 수 있다. 이미지 센서(1100)는 예를 들어, 2차원적으로 배열된 복수의 픽셀들을 포함하는 픽셀 어레이 및 리드아웃 회로를 포함할 수 있으며, 픽셀 어레이는 수신되는 광 신호들을 전기적 신호들로 변환할 수 있다. 픽셀 어레이는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 리드아웃 회로는 픽셀 어레이로부터 제공되는 전기적 신호를 기초로 로우 데이터(Raw data)를 생성하고, 로우 데이터 또는 배드 픽셀 제거 등의 전처리가 수행된 로우 데이터를 이미지(IMG)로서 출력할 수 있다. 이미지 센서(1100)는 픽셀 어레이 및 리드아웃 회로를 포함하는 반도체 칩 또는 패키지로서 구현될 수 있다.
한편, 도 1에서는 이미지 센서(1100)와 이미지 처리 시스템(1200)이 별개의 구성이 구성인 것으로 도시되어 있으나, 본 개시는 이에 한하지 않는다. 실시예에 따라, 이미지 처리 시스템(1200)은 이미지 센서(1100)를 포함하도록 구현될 수 있다.
이미지 처리 시스템(1200)은 이미지 신호 프로세서(100), 튜닝 모듈(200) 및 메모리(300)를 포함할 수 있다. 이미지 처리 시스템(1200)은 수신한 이미지(IMG)에 대하여 이미지 처리(image processing) 동작을 수행할 수 있다. 예를 들어, 이미지 처리 시스템(1200)은 이미지 신호 프로세서(100)를 이용하여 센서 보정(sensor correction), 렌즈 왜곡 보정(lens distortion correction), 컬러 보정(color correction), 화질 개선(image quality improvement) 등과 같이 이미지(IMG)를 보정하는 이미지 처리 동작을 수행할 수 있다.
한편, 본 개시의 일 실시예에 따른 이미지 처리 시스템(1200)은 이미지 처리 동작을 수행하기에 앞서, 이미지 처리 동작의 파라미터를 설정하는 화질 튜닝(image quality tuning)을 선행할 수 있다. 이하에서는 이미지 처리 시스템(1200)의 화질 튜닝 동작을 구체적으로 설명한다.
먼저, 이미지 신호 프로세서(100)는 이미지 센서(1100)로부터 이미지(IMG)를 수신할 수 있다. 한편, 본 개시는 이에 한하지 않으며, 이미지 신호 프로세서(100)는 메모리(300)로부터 이미지(IMG)를 수신하거나, 외부 장치(미도시)와의 통신을 통해 이미지(IMG)를 수신할 수도 있다.
본 개시의 일 실시예에 따르면, 이미지 신호 프로세서(100)가 수신한 이미지(IMG)는 화질 튜닝에 이용되는 기준 이미지(REF_IMG)를 촬영한 이미지(IMG)일 수 있다. 여기서 기준 이미지(REF_IMG)는 센서 보정, 렌즈 왜곡 보정, 컬러 보정, 화질 개선 등과 같은 이미지 처리 동작들의 파라미터들을 설정하는 화질 튜닝 동작에 이용되는 각종 이미지들을 포함할 수 있다. 기준 이미지(REF_IMG)는 화이트 이미지, 블랙 이미지, 그레이 이미지, 사각형 이미지, 해상도 이미지, 컬러 이미지 등을 포함할 수 있다. 또한, 기준 이미지(REF_IMG)는 전술한 이미지들의 조합을 포함하는 복합 이미지를 포함할 수 있다.
그리고 이미지 신호 프로세서(100)는 수신한 이미지(IMG)에 대하여 이미지 처리 동작을 수행함으로써 보정 이미지(C_IMG)를 생성할 수 있다. 구체적으로, 이미지 신호 프로세서(100)는 디폴트 파라미터에 기초하여 이미지(IMG)에 대한 이미지 처리 동작을 수행함으로써 보정 이미지(C_IMG)를 생성할 수 있다. 여기서 디폴트 파라미터는 이미지 처리 시스템(1200)의 제조시에 설정된 이미지 처리 동작의 파라미터를 의미할 수 있으며, 제조사 또는 사용자에 의해 변경될 수 있다. 그리고 이미지 신호 프로세서(100)는 생성한 보정 이미지(C_IMG)를 튜닝 모듈(200)에 전송할 수 있다.
한편, 상기의 설명에서 이미지 신호 프로세서(100)가 수행하는 이미지 처리 동작은, 수신한 이미지(IMG)에 대응하는 기준 이미지(REF_IMG)에 따라 상이할 수 있다. 일 예에서, 이미지 신호 프로세서(100)는 수신한 이미지(IMG)가 어떤 기준 이미지(REF_IMG)를 촬영한 이미지인지 확인하고, 기준 이미지(REF_IMG)별로 대응하는 이미지 처리 동작에 대한 매핑 정보를 기초로, 확인한 기준 이미지(REF_IMG)에 대응하는 이미지 처리 동작을 수행할 수 있다.
예를 들어, 이미지 신호 프로세서(100)는 기준 이미지(REF_IMG)인 사각형 이미지를 촬영한 이미지(IMG)를 수신하고, 매핑 정보를 이용하여 사각형 이미지에 대응하는 이미지 처리 동작이 렌즈 왜곡 보정 동작임을 확인할 수 있다. 이 경우, 이미지 신호 프로세서(100)는 수신한 이미지(IMG)에 대하여 렌즈 왜곡 보정의 디폴트 파라미터를 기초로 렌즈 왜곡 보정 동작을 수행함으로써 보정 이미지(C_IMG)를 생성할 수 있다.
튜닝 모듈(200)은 이미지 신호 프로세서(100)로부터 보정 이미지(C_IMG)를 수신할 수 있다. 그리고 튜닝 모듈(200)은 메모리(300)로부터 수신한 보정 이미지(C_IMG)에 대응하는 기준 이미지(REF_IMG)를 수신할 수 있다. 예를 들어, 튜닝 모듈(200)이 컬러 이미지를 촬영한 보정 이미지(C_IMG)를 수신한 경우, 메모리(300)로부터 컬러 이미지에 해당하는 기준 이미지(REF_IMG)를 수신할 수 있다. 메모리(300)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플래시 메모리와 같은 비휘발성 메모리일 수 있다. 그리고 메모리(300)는 기준 이미지(REF_IMG) 또는 매핑 정보를 저장할 수 있으며, 이미지 신호 프로세서(100)에 의해 보정된 보정 이미지(C_IMG)를 저장할 수도 있다.
그리고 튜닝 모듈(200)은 보정 이미지(C_IMG) 및 기준 이미지(REF_IMG)를 기초로 이미지 처리 동작의 최종 파라미터를 결정할 수 있다. 구체적으로, 튜닝 모듈(200)은 보정 이미지(C_IMG) 및 기준 이미지(REF_IMG)를 비교하여 상관도(correlation)를 산출하고, 산출한 상관도를 기초로 최종 파라미터를 결정할 수 있다. 그리고 튜닝 모듈(200)은 결정한 파라미터를 포함하는 파라미터 정보(INFO_P)를 이미지 신호 프로세서(100)에 전송할 수 있다.
예를 들어, 이미지 신호 프로세서(100)는 사각형 이미지를 촬영한 이미지(IMG)에 대한 렌즈 왜곡 보정을 수행함으로써 생성한 보정 이미지(C_IMG)를 튜닝 모듈(200)에 전송할 수 있다. 튜닝 모듈(200)은 수신한 보정 이미지(C_IMG) 및 기준 이미지(REF_IMG)인 사각형 이미지를 비교하여 상관도를 산출하고, 산출한 상관도를 기초로 렌즈 왜곡 보정 동작의 파라미터를 결정할 수 있다. 그리고 튜닝 모듈(200)은 결정한 렌즈 왜곡 보정 동작의 파라미터를 포함하는 파라미터 정보(INFO_P)를 이미지 신호 프로세서(100)에 전송할 수 있다. 그리고 이미지 신호 프로세서(100)는 수신한 파라미터 정보(INFO_P)에 포함된 파라미터를 기초로, 추후에 입력되는 이미지(IMG)에 대하여 렌즈 왜곡 보정 동작을 수행할 수 있다.
튜닝 모듈(200)은 펌웨어 또는 소프트웨어로 구현되거나, 하드웨어로 구현될 수 있다. 또는 튜닝 모듈(200)은 소프트웨어와 하드웨어를 결합한 형태로도 구현될 수 있다.
한편, 본 개시의 일 실시예에 따른 이미지 처리 시스템(1200)은, 상기의 화질 튜닝을 수행함에 있어서, 디폴트 파라미터가 아닌 서로 다른 값들을 갖는 복수의 파라미터들에 기초하여 이미지 처리 동작을 복수 회 수행하고, 복수 개의 보정 이미지들 및 기준 이미지를 기초로 이미지 처리 동작의 파라미터를 설정할 수 있다. 이하에서는, 이미지 처리 시스템(1200)이 서로 다른 값들을 갖는 복수의 파라미터들에 기초하여 이미지 처리 동작들을 수행함으로써 이미지 처리 동작의 파라미터를 설정하는 화질 튜닝 방법에 대하여 도 2를 참조하여 상세하게 설명하기로 한다.
도 2는 본 개시의 일 실시예에 따른 이미지 처리 장치(1000)를 구체적으로 나타내는 블록도이다. 상세하게는, 도 2는 도 1의 이미지 처리 장치(1000)를 구체적으로 나타내는 블록도이다. 한편, 도 2와 관련하여, 도 1과 중복되는 설명은 생략한다.
도 1 및 도 2를 참조하면, 이미지 신호 프로세서(100)는 기준 이미지(REF_IMG)를 촬영한 이미지(IMG)를 수신할 수 있다. 그리고 이미지 신호 프로세서(100)는 수신한 이미지(IMG)에 대응하는 이미지 처리 동작을 수행할 수 있다.
구체적으로, 이미지 신호 프로세서(100)는 기준 이미지(REF_IMG)별로 대응하는 이미지 처리 동작에 대한 매핑 정보를 기초로, 이미지(IMG)에 대응하는 이미지 처리 동작(즉, 촬영된 기준 이미지(REF_IMG)에 대응하는 이미지 처리 동작)을 확인할 수 있다. 그리고 이미지 신호 프로세서(100)는 이미지(IMG)에 대하여 확인한 이미지 처리 동작을 수행할 수 있다.
이때, 이미지 신호 프로세서(100)는 확인한 이미지 처리 동작의 단 하나의 디폴트 파라미터가 아닌 서로 다른 값들을 갖는 복수 개의 디폴트 파리미터들을 기초로 상기 확인한 이미지 처리 동작을 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(100)는 이미지 처리 동작에 대하여 설정된 파라미터 범위를 확인하고, 파라미터 범위에 포함되는 서로 다른 값들을 복수 개의 디폴트 파라미터들을 선택하고, 선택한 복수 개의 디폴트 파라미터들을 기초로 이미지 처리 동작을 수행할 수 있다. 이에 따라, 이미지 신호 프로세서(100)는 하나의 이미지(IMG)에 대하여 복수 회의 이미지 처리 동작들을 수행함으로써, 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m)을 생성할 수 있다. 그리고 이미지 신호 프로세서(100)는 생성한 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m)을 튜닝 모듈(200)에 전송할 수 있다.
튜닝 모듈(200)은 이미지 화질 평가부(210) 및 파라미터 결정부(220)를 포함할 수 있다. 이미지 화질 평가부(210)는 이미지 신호 프로세서(100)로부터 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m)을 수신할 수 있다. 그리고 이미지 화질 평가부(210)는 메모리(300)로부터 기준 이미지(REF_IMG)를 수신할 수 있다.
그리고 이미지 화질 평가부(210)는 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m) 및 기준 이미지(REF_IMG)를 비교함으로써, 평가 정보(INFO_E)를 생성할 수 있다. 구체적으로, 이미지 화질 평가부(210)는 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m) 각각과 기준 이미지(REF_IMG)의 상관도(correlation)들을 산출하고, 산출한 상관도들을 기초로 평가 정보(INFO_E)를 생성할 수 있다.
여기서 상관도를 산출하는 방법은, SAD(Sum of Absolute Difference), MAD(Mean Absolute Difference) 등을 기초로 상관도를 산출하는 방법이 적용될 수 있다. 한편, 본 개시는 이에 한하지 않으며, 다양한 상관도 산출 방법이 적용될 수 있다. 그리고 평가 정보(INFO_E)는 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m) 각각의 기준 이미지(REF_IMG)와의 상관도에 대응하는 점수들을 포함하거나, 상관도에 대응하는 우선 순위를 포함하도록 구현될 수 있다.
한편, 실시예에 따라, 이미지 화질 평가부(210)는 상기 비교 동작에 앞서, 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m)이 기준 이미지(REF_IMG)에 매칭될 수 있도록 스케일 업/다운 또는 와핑(warping) 등의 전처리를 수행할 수 있다. 그리고 이미지 화질 평가부(210)는 생성한 평가 정보(INFO_E)를 파라미터 결정부(220)에 제공할 수 있다.
파라미터 결정부(220)는 수신한 평가 정보(INFO_E)를 기초로 이미지 처리 동작의 최종 파라미터를 결정할 수 있다. 구체적으로, 파라미터 결정부(220)는 평가 정보(INFO_E)를 기초로 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m) 중 기준 이미지(REF_IMG)에 가장 유사한 이미지를 확인하고, 확인한 보정 이미지를 생성하는데 이용된 파라미터를 이미지 처리 동작의 최종 파라미터로 결정할 수 있다.
한편, 파라미터 결정부(220)가 평가 정보(INFO_E)를 기초로 최종 파라미터를 결정하는 방법은 전술한 예에 한하지 않으며, 다양한 방법으로 최종 파라미터를 결정할 수 있다. 예를 들어, 파라미터 결정부(220)는 상기 확인한 보정 이미지를 생성하는데 이용된 파라미터에 추가적인 연산을 수행함으로써 최종 파라미터를 결정할 수도 있다.
그리고 파라미터 결정부(220)는 최종 파라미터를 포함하는 파라미터 정보(INFO_P)를 이미지 신호 프로세서(100)에 전송할 수 있다. 그리고 이미지 신호 프로세서(100)는 수신한 파라미터 정보(INFO_P)를 기초로 최종 파라미터를 확인하고, 최종 파라미터를 기초로 추후에 입력되는 이미지(IMG)에 대하여 이미지 처리 동작을 수행할 수 있다.
이와 같이, 본 개시의 기술적 사상에 따른 이미지 처리 시스템(1200)은 화질 튜닝에 이용되는 기준 이미지(REF_IMG)와 이를 촬영한 이미지(IMG)를 기초로 이미지 처리 동작의 파라미터를 설정함으로써 화질 튜닝을 수행할 수 있다. 특히, 도 2의 실시예에 따른 이미지 처리 시스템(1200)은, 이미지(IMG)에 대하여 서로 다른 값들을 갖는 파라미터를 기초로 이미지 처리 동작을 복수 회 수행하고, 복수개의 보정 이미지들을 기준 이미지(REF_IMG)와 비교함으로써, 최적의 파라미터를 설정할 수 있다.
본 개시의 기술적 사상에 따른 이미지 처리 시스템(1200)은 전술한 화질 튜닝 동작을 나머지 이미지 처리 동작들에 대해서도 반복 수행할 수 있다. 예를 들어, 제1 이미지 처리 동작에 대한 화질 튜닝 동작이 완료되면, 제2 이미지 처리 동작에 대한 화질 튜닝 동작을 수행할 수 있다. 이와 같이 이미지 처리 시스템(1200)은 순차적으로 복수의 이미지 처리 동작들에 대한 화질 튜닝 동작을 반복 수행할 수 있다. 한편, 복수의 이미지 처리 동작들에 대한 화질 튜닝 동작을 반복 수행하는 실시예에 대한 구체적인 설명은 도 3 및 도 4와 관련하여 후술한다.
도 3은 본 개시의 일 실시예에 따른 이미지 신호 프로세서(100), 튜닝 모듈(200) 및 메모리(300) 간의 화질 튜닝 동작을 나타내는 흐름도이다. 상세하게는, 도 3은 복수의 이미지 처리 동작들에 대한 화질 튜닝 동작들을 순차적으로 수행하는 실시예를 설명하기 위한 도면이다.
도 3을 참조하면, 이미지 신호 프로세서(100)는 복수의 이미지들(IMG1 ~ IMGn)을 수신할 수 있다(S110). 여기서 복수의 이미지들(IMG1 ~ IMGn)은 복수의 기준 이미지들(REF_IMG1 ~ REF_IMGn) 각각을 촬영한 이미지들일 수 있다.
그리고 이미지 신호 프로세서(100)는 복수의 이미지들(IMG1 ~ IMGn) 중 제1 이미지(IMG1)에 대응하는 제1 이미지 처리 동작을 수행할 수 있다(S115). 제1 이미지 처리 동작이 완료되면, 이미지 신호 프로세서(100)는 제1 이미지 처리 동작에 의해 생성된 제1 보정 이미지(C_IMG1)를 튜닝 모듈(200)에 전송할 수 있다(S120).
그리고 튜닝 모듈(200)은 메모리(300)로부터 제1 이미지(IMG1)에 대응하는 제1 기준 이미지(REF_IMG1)를 수신할 수 있다(S125). 그리고 튜닝 모듈(200)은 제1 보정 이미지(C_IMG1) 및 제1 기준 이미지(REF_IMG1)를 기초로 제1 이미지 처리 동작의 제1 파라미터(P1)를 결정할 수 있다(S130). 그리고 튜닝 모듈(200)은 제1 파라미터(P1)를 포함하는 제1 파라미터 정보(INFO_P1)를 이미지 신호 프로세서(100)에 전송할 수 있다(S135).
이미지 신호 프로세서(100) 및 튜닝 모듈(200)은 전술한 S115 내지 S130의 일련의 동작들을 복수의 이미지들(IMG1 ~ IMGn) 중 다음 순서의 이미지에 대하여 반복적으로 수행할 수 있다. 그리고 이미지 신호 프로세서(100) 및 튜닝 모듈(200)은 마지막 순서인 제n 이미지(IMGn)에 대하여 상기 일련의 동작들을 완료하면 화질 튜닝 동작을 완료할 수 있다.
즉, 이미지 신호 프로세서(100)가 마지막 순서인 제n 이미지(IMGn)에 대응하는 제n 이미지 처리 동작을 수행하고(S140), 이미지 신호 프로세서(100)가 제n 이미지 처리 동작에 의해 생성된 제n 보정 이미지(C_IMGn)를 튜닝 모듈(200)에 전송할 수 있다(S145). 그리고 튜닝 모듈(200)은 메모리(300)로부터 제n 이미지(IMGn)에 대응하는 제n 기준 이미지(REF_IMGn)를 수신하고(S150), 제n 보정 이미지(C_IMGn) 및 제n 기준 이미지(REF_IMGn)를 기초로 제n 이미지 처리 동작의 제n 파라미터(Pn)를 결정할 수 있다(S155). 그리고 튜닝 모듈(200)은 제1 파라미터(Pn)를 포함하는 제n 파라미터 정보(INFO_Pn)를 이미지 신호 프로세서(100)에 전송할 수 있다(S160). 그리고 이미지 처리 시스템(1200)의 화질 튜닝 동작은 완료할 수 있다.
한편, 전술한 S115 내지 S130의 일련의 동작들을 복수의 이미지 처리 동작들 각각에 대하여 반복적으로 수행함과 관련하여, 이미지 신호 프로세서(100) 및 튜닝 모듈(200)은 기설정된 순서에 따라 상기 일련의 동작들을 수행할 수 있다. 여기서 기설정된 순서는, 이미지 처리 동작들의 각 특징에 근거하여, 화질 튜닝 동작이 보다 효율적으로 수행될 수 있도록 설정된 순서를 의미할 수 있다. 기설정된 순서에 따라 상기 일련의 동작들을 반복적으로 수행하는 구체적인 동작에 대해서는 도 7 및 도 8에서 후술한다.
한편, 도 3을 도시하고 설명함에 있어서, 이미지 신호 프로세서(100)가 수신한 이미지들(IMG1 ~ IMGn)의 개수(즉, n개)와 수행되는 이미지 처리 동작들의 개수(즉, n개)가 서로 동일한 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 이미지들(IMG1 ~ IMGn) 각각에 대응하는 이미지 처리 동작은 두 개 이상으로 구현될 수 있다. 이에 따라, 이미지들(IMG1 ~ IMGn)의 개수보다 수행되는 이미지 처리 동작들의 개수가 더 클 수도 있다.
또한, 도 3을 도시하고 설명함에 있어서, 이미지 처리 동작들의 개수(즉, n개)와 파라미터들(P1 ~ Pn)의 개수(즉, n개)가 서로 동일한 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 예를 들어, 이미지 처리 동작들 각각에 대응하는 파라미터는 두 개 이상으로 구현될 수 있다. 예를 들어, 이미지 처리 동작들 각각에 기초가 되는 파라미터는 두 개 이상으로 구현될 수 있다. 이에 따라, 이미지 처리 동작들의 개수보다 파라미터들의 개수가 더 클 수 있다.
이와 같이, 본 개시의 기술적 사상에 따른 이미지 처리 시스템(1200)은 하나가 아닌 전체 이미지 처리 동작들의 파라미터들을 자동적으로 설정함으로써, 종래의 수동으로 수행된 화질 튜닝보다 단축된 기간에 화질 튜닝이 완료될 수 있으며, 화질 튜닝에 필요한 인력을 줄일 수 있다.
도 4는 본 개시의 일 실시예에 따른 이미지 신호 프로세서(100), 튜닝 모듈(200) 및 메모리(300) 간의 제1 파라미터 설정 동작을 나타내는 흐름도이다. 상세하게는, 도 4는 도 3의 제1 이미지(IMG1)에 대응하는 제1 이미지 처리 동작의 제1 파라미터(P1)를 설정하는 구체적인 동작의 일 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 이미지 신호 프로세서(100)는 제1 이미지(IMG1)를 수신할 수 있다(S210). 그리고 이미지 신호 프로세서(100)는 제1 값을 갖는 제1 파라미터(P1)를 기초로 제1 이미지(IMG1)에 대응하는 제1 이미지 처리 동작을 수행할 수 있다(S215). 그리고 제1 이미지 처리 동작이 완료되면, 이미지 신호 프로세서(100)는 다음 값을 갖는 제1 파라미터(P1)를 기초로 전술한 S215의 동작을 반복할 수 있다. 그리고 이미지 신호 프로세서(100)가 마지막 순서인 제k 값을 갖는 제1 파라미터(P1)를 기초로 제1 이미지 처리 동작을 수행하면(S220), k회의 제1 이미지 처리 동작들에 의해 생성된 복수의 제1 보정 이미지들(C_IMG1_1~ C_IMG1_k)을 튜닝 모듈(200)에 전송할 수 있다(S225).
한편, 제1 값 내지 제k 값은, 제1 이미지 처리 동작에 대하여 설정된 파라미터 범위에 포함될 수 있다. 일 예에서, 이미지 신호 프로세서(100)는 제1 이미지 처리 동작에 대하여 설정된 파라미터 범위로부터 고정된 제1 값 내지 제k 값을 선택하거나, 임의로 제1 값 내지 제k 값을 선택하거나, 동일한 간격으로 분포된 제1 값 내지 제k 값을 선택할 수도 있다.
그리고 튜닝 모듈(200)은 메모리(300)로부터 제1 기준 이미지(REF_IMG1)를 수신할 수 있다. 그리고 튜닝 모듈(200)은 복수의 제1 보정 이미지들(C_IMG1_1 ~ C_IMG1_k) 및 제1 기준 이미지(REF_IMG1)를 비교할 수 있다(S235). 구체적으로, 튜닝 모듈(200)은 복수의 제1 보정 이미지들(C_IMG1_1~ C_IMG1_k) 각각과 제1 기준 이미지(REF_IMG1)의 상관도를 산출할 수 있다.
그리고 튜닝 모듈(200)은 비교 결과를 기초로 제1 이미지 처리 동작의 제1 파라미터(P1)를 결정할 수 있다(S240). 구체적으로, 튜닝 모듈(200)은 산출한 상관도를 기초로 복수의 제1 보정 이미지들(C_IMG1_1~ C_IMG1_k) 중 제1 기준 이미지(REF_IMG1)에 가장 유사한 이미지를 확인할 수 있다. 그리고 튜닝 모듈(200)은 확인한 이미지에 대응하는 파라미터를 제1 이미지 처리 동작의 제1 파라미터(P1)로 최종 결정할 수 있다. 예를 들어, 복수의 제1 보정 이미지들(C_IMG1_1~ C_IMG1_k) 중 제k 보정 이미지(C_IMG1_k)가 가장 유사한 것으로 확인된 경우, 튜닝 모듈(200)은 제k 값을 갖는 제1 파라미터(P1)를 제1 이미지 처리 동작의 최종 파라미터로 결정할 수 있다. 그리고 튜닝 모듈(200)은 최종 파라미터를 포함하는 제1 파라미터 정보(INFO_P1)를 이미지 신호 프로세서(100)에 전송할 수 있다(S245).
이와 같은 방식으로, 이미지 신호 프로세서(100)는 제1 이미지(IMG1)에 대응하는 제1 이미지 처리 동작의 제1 파라미터(P1)를 설정할 수 있다. 이미지 신호 프로세서(100)는 나머지 이미지들(예컨대, 도 3의 제2 이미지(IMG2) 내지 제n 이미지(IMGn))에 대해서도 실질적으로 동일한 방식에 따라 대응하는 이미지 처리 동작들의 파라미터들을 설정할 수 있다.
한편, 도 3 및 도 4를 도시하고 설명함에 있어서, 이미지 신호 프로세서(100) 및 튜닝 모듈(200)이 하나의 이미지 처리 동작에 대한 화질 튜닝 동작이 완료되면, 다음 이미지 처리 동작에 대한 화질 튜닝 동작을 수행하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않는다. 구체적으로, 이미지 신호 프로세서(100) 및 튜닝 모듈(200)은 복수의 이미지 처리 동작들에 대한 복수의 화질 튜닝 동작들을 병렬적으로 수행할 수 있다. 한편, 복수의 이미지 처리 동작들에 대한 복수의 화질 튜닝 동작들을 병렬적으로 수행하는 실시예에 대한 구체적인 설명은 도 5 및 도 6과 관련하여 후술한다.
도 5는 본 개시의 일 실시예에 따른 이미지 처리 시스템(1200)의 동작 방법을 나타내는 흐름도이다. 상세하게는, 도 5는 도 1 또는 도 2의 이미지 처리 시스템(1200)의 동작 방법을 나타내는 흐름도이다. 이하에서는, 이미지 처리 시스템(1200)이 복수의 이미지 처리 동작들에 대한 복수의 화질 튜닝 동작들을 병렬적으로 수행하는 실시예를 설명한다.
도 5를 참조하면, 먼저 이미지 처리 시스템(1200)은 복수의 기준 이미지들 각각을 촬영한 복수의 촬영 이미지들을 획득할 수 있다(S310). 구체적으로, 이미지 처리 시스템(1200)의 이미지 신호 프로세서(100)는 이미지 처리 시스템(1200)의 내부 또는 외부에 위치한 이미지 센서(1100)로부터 복수의 촬영 이미지들을 수신하거나, 외부 장치와의 통신을 통해 복수의 촬영 이미지들을 수신할 수 있다.
그리고 이미지 처리 시스템(1200)은 복수의 촬영 이미지들 별로, 복수의 이미지 처리 동작들 중 대응하는 적어도 하나의 이미지 처리 동작을 수행할 수 있다(S320). 구체적으로, 이미지 신호 프로세서(100)는 기준 이미지 별로 대응하는 이미지 처리 동작에 대한 매핑 정보를 기초로, 복수의 촬영 이미지들 각각에 대응하는 이미지 처리 동작(즉, 촬영된 기준 이미지들 각각에 대응하는 이미지 처리 동작들)들을 확인할 수 있다. 그리고 이미지 신호 프로세서(100)는 복수의 촬영 이미지들 각각에 대하여 확인한 이미지 처리 동작들을 수행함으로써 복수의 보정 이미지들을 생성할 수 있다.
예를 들어, 이미지 신호 프로세서(100)는 제1 이미지 및 제2 이미지를 수신할 수 있다. 그리고 제1 이미지가 제1 기준 이미지를 촬영한 이미지인 경우, 이미지 신호 프로세서(100)는 매핑 정보를 기초로 제1 기준 이미지에 대응하는 제1 이미지 처리 동작을 확인할 수 있다. 그리고 이미지 신호 프로세서(100)는 제1 이미지에 대하여 상기 확인한 제1 이미지 처리 동작을 수행함으로써 제1 보정 이미지를 생성할 수 있다. 그리고 제2 이미지가 제2 기준 이미지를 촬영한 이미지인 경우, 이미지 신호 프로세서(100)는 매핑 정보를 기초로 제2 기준 이미지에 대응하는 제2 이미지 처리 동작을 확인할 수 있다. 그리고 이미지 신호 프로세서(100)는 제2 이미지에 대하여 상기 확인한 제2 이미지 처리 동작을 수행함으로써 제2 보정 이미지를 생성할 수 있다.
그리고 이미지 처리 시스템(1200)은 복수의 기준 이미지들 및 복수의 보정 이미지들을 기초로 복수의 이미지 처리 동작들의 최종 파라미터들을 설정할 수 있다(S330). 구체적으로, 이미지 처리 시스템(1200)의 튜닝 모듈(200)은 이미지 신호 프로세서(100)로부터 복수의 보정 이미지들을 수신할 수 있다. 그리고 튜닝 모듈(200)은 메모리(300)로부터 복수의 기준 이미지들을 수신할 수 있다. 그리고 튜닝 모듈(200)은 복수의 보정 이미지들 각각을 복수의 기준 이미지들 중 대응하는 기준 이미지와 비교하고, 비교 결과를 기초로 복수의 이미지 처리 동작들의 최종 파라미터들을 설정할 수 있다. 한편, 비교 결과를 기초로 복수의 이미지 처리 동작들의 최종 파라미터를 설정하는 방법은 도 1 또는 도 2에서 전술한 방법과 실질적으로 동일할 수 있으므로, 중복 설명은 생략한다.
예를 들어, 튜닝 모듈(200)은 이미지 신호 프로세서(100)로부터 제1 보정 이미지 및 제2 보정 이미지를 수신하고, 메모리(300)로부터 제1 기준 이미지 및 제2 기준 이미지를 수신할 수 있다. 그리고 튜닝 모듈(200)은 제1 보정 이미지를 제1 기준 이미지와 비교하고, 제2 보정 이미지를 제2 기준 이미지와 비교할 수 있다. 그리고 튜닝 모듈(200)은 비교 결과를 기초로 제1 이미지 처리 동작의 최종 파라미터 및 제2 이미지 처리 동작의 최종 파라미터를 설정할 수 있다.
그리고 이미지 처리 시스템(1200)은 설정한 최종 파라미터들을 기초로 추후에 입력된 이미지에 대하여 복수의 이미지 처리 동작들을 수행할 수 있다. 구체적으로, 튜닝 모듈(200)은 복수의 이미지 처리 동작들 각각의 최종 파라미터들을 포함하는 파라미터 정보를 이미지 신호 프로세서(100)에 전송할 수 있다. 그리고 이미지 신호 프로세서(100)는 수신한 파라미터 정보를 기초로 최종 파라미터들을 확인하고, 최종 파라미터들을 기초로 추후에 입력되는 이미지에 대하여 복수의 이미지 처리 동작들을 수행할 수 있다.
도 6은 본 개시의 일 실시예에 따른 이미지 신호 프로세서(100), 튜닝 모듈(200) 및 메모리(300) 간의 화질 튜닝 동작을 나타내는 흐름도이다. 상세하게는, 도 6은 복수의 이미지 처리 동작들에 대한 복수의 화질 튜닝 동작들을 병렬적으로 수행하는 실시예를 설명하기 위한 도면이다.
도 6을 참조하면, 이미지 신호 프로세서(100)는 복수의 이미지들(IMG1 ~ IMGn)을 수신할 수 있다(S410). 여기서 복수의 이미지들(IMG1 ~ IMGn)은 복수의 기준 이미지들(REF_IMG1 ~ REF_IMGn) 각각을 촬영한 이미지들일 수 있다.
그리고 이미지 신호 프로세서(100)는 복수의 이미지들(IMG1 ~ IMGn) 중 제1 이미지(IMG1)에 대응하는 제1 이미지 처리 동작을 수행할 수 있다(S415). 제1 이미지 처리 동작이 완료되면, 이미지 신호 프로세서(100)는 복수의 이미지들(IMG1 ~ IMGn) 중 다음 순서의 이미지(예컨대, 제2 이미지(IMG2))에 대응하는 이미지 처리 동작을 수행할 수 있다. 이미지 신호 프로세서(100)는 전술한 동작을 제n 이미지(IMGn)에 대응하는 제n 이미지 처리 동작을 수행할 때까지 반복할 수 있다(S420).
그리고 이미지 신호 프로세서(100)는 제1 이미지 처리 동작 내지 제n 이미지 처리 동작에 의해 생성된 복수의 보정 이미지들(C_IMG1 ~ C_IMGn)을 튜닝 모듈(200)에 전송할 수 있다(S425). 그리고 튜닝 모듈(200)은 메모리(300)로부터 복수의 기준 이미지들(REF_IMG1 ~ REF_IMGn)을 수신할 수 있다(S430).
그리고 튜닝 모듈(200)은 복수의 보정 이미지들(C_IMG1 ~ C_IMGn) 및 복수의 기준 이미지들(REF_IMG1 ~ REF_IMGn)을 기초로 이미지 처리 동작들의 파라미터들을 결정할 수 있다(S435). 구체적으로, 튜닝 모듈(200)은 복수의 보정 이미지들(C_IMG1 ~ C_IMGn) 각각에 대하여, 복수의 기준 이미지들(REF_IMG1 ~ REF_IMGn) 중 대응하는 하나의 기준 이미지를 확인하고, 확인한 기준 이미지와의 유사한 정도를 산출하고, 산출 결과를 기초로 대응하는 이미지 처리 동작의 최종 파라미터를 결정할 수 있다. 그리고 튜닝 모듈(200)은 이미지 처리 동작들의 최종 파라미터들을 포함하는 파라미터 정보(INFO_P)를 이미지 신호 프로세서(100)에 전송할 수 있다(S440).
도 7은 본 개시의 일 실시예에 따른 복수의 이미지 처리 동작들의 설정 순서를 나타내는 흐름도이다.
본 개시의 일 실시예에 따른 이미지 처리 동작들은, 센서 보정(sensor correction) 동작, 렌즈 왜곡 보정(lens distortion correction) 동작, 컬러 보정(color correction) 동작, 화질 개선(image quality improvement) 동작 등과 같은 다양한 종류의 이미지 보정 동작들을 포함할 수 있다.
센서 보정 동작은, 불량 픽셀 보정(defect pixel correction), 오프셋 보정(offset correction) 등을 포함할 수 있다. 불량 픽셀 보정 동작은 센서의 배드 픽셀(bad pixel)을 값을 보정하는 동작을 의미할 수 있다. 여기서 배드 픽셀은, 지속적으로 켜져 있는 핫 픽셀(hot pixel), 켜지지 않는 데드 픽셀(dead pixel) 및 하부 화소들 중 적어도 일부가 지속적으로 켜지거나 꺼져 있는 스턱 픽셀(stuck pixel)을 포함할 수 있다. 불량 픽셀 보정 동작의 파라미터는 배드 픽셀의 위치 정보를 기초로 할 수 있다. 오프셋 보정 동작은 검정색 기준이 되는 블랙 레벨에 대응하는 오프셋을 입력 이미지에 적용하는 동작을 의미할 수 있다. 오프셋 보정 동작의 파라미터는 상기 오프셋을 기초로 할 수 있다. 렌즈 왜곡 보정 동작은 구면 수차 보정(spherical aberration correction)을 포함할 수 있다. 구면 수차 보정 동작은 렌즈를 통과하는 빛의 굴절로 인한 왜곡을 보정하는 동작을 의미할 수 있다. 구면 수차 보정 동작의 파라미터는 입력 이미지의 픽셀 값들과 왜곡이 제거된 출력 이미지의 픽셀 값들을 매칭하는 매트릭스를 기초로 할 수 있다.
컬러 보정 동작은, 디모자이크(demosaic), 컬러 게인 보정(color gain matrix), 쉐이딩(shading), 컬러 보정 매트릭스(color correction matrix), 감마(gamma) 보정 등을 포함할 수 있다. 디모자이크 동작은 주변 픽셀 값들을 기초로 각 픽셀의 손실된 컬러 값을 보정하는 동작을 의미할 수 있다. 디모자이크 동작의 파라미터는 보정 함수를 기초로 할 수 있다. 컬러 게인 보정 동작은 RGB 색상별 게인의 차이를 보정하는 동작을 의미할 수 있다. 컬러 게인 보정 동작의 파라미터는 RGB 색상별 게인 보정값을 기초로 할 수 있다. 쉐이딩 동작은 밝기 왜곡을 보정하는 동작을 의미할 수 있다. 쉐이딩 동작의 파라미터는 이미지의 밝기를 보정하는 보정값을 기초로 할 수 있다. 컬러 보정 매트릭스 동작은 RGB 색상 및 알파 값을 보정하는 동작을 의미할 수 있다. 컬러 보정 매트릭스 동작의 파라미터는 입력 이미지의 컬러 공간을 변경하는 매트릭스를 기초로 할 수 있다. 감마 보정 동작은 픽셀 값과 휘도 값의 관계를 보정하는 감마 보정 값을 입력 이미지에 적용하는 동작을 의미할 수 있다. 그리고 감마 보정 동작의 파라미터는 상기 감마 보정값을 기초로 할 수 있다.
화질 개선 동작은 디노이즈(denoise), 샤프닝(sharpening) 등을 포함할 수 있다. 디노이즈 동작은 이미지 내 노이즈를 제거하는 동작을 의미할 수 있다. 디노이즈 동작의 파라미터는 노이즈 제거 함수를 기초로 할 수 있다. 샤프닝 동작은 이미지의 선명도를 증가시키는 동작을 의미할 수 있다. 샤프닝 동작은 선명도 함수를 기초로 할 수 있다.
전술한 이미지 보정 동작들의 종류 및 분류는 하나의 예일 뿐, 다른 종류의 이미지 보정 동작이 포함되거나, 다른 조합으로 전술한 이미지 보정 동작들이 분류될 수 있음은 물론이다. 예를 들어, 쉐이딩 동작 및 컬러 보정 매트릭스 동작이 컬러 보정과 관련된 이미지 처리 동작에 포함하는 것으로 도시하고 설명하였지만, 구현 시에는 렌즈 왜곡 보정과 관련된 이미지 처리 동작에 포함될 수 있다. 또 다른 예로, 컬러 게인 보정 동작 및 감마 동작이 컬러 보정과 관련된 이미지 처리 동작에 포함하는 것으로 도시하고 설명하였지만, 구현 시에는 화질 개선과 관련된 이미지 처리 동작에 포함될 수 있다.
이미지 처리 시스템(1200)은 이미지 처리 동작들을 복수 개의 그룹들로 분류하고, 복수 개의 그룹들의 순서에 따라 이미지 처리 동작들의 최종 파라미터들을 설정할 수 있다. 일 예에서, 이미지 처리 시스템(1200)은 이미지 처리 동작들을 센서 보정 그룹, 렌즈 왜곡 보정 그룹, 컬러 보정 그룹 및 화질 개선 그룹으로 분류하고, 그룹들의 순서에 따라 이미지 처리 동작들의 최종 파라미터들을 설정할 수 있다.
도 7을 참조하면, 먼저 이미지 처리 시스템(1200)은 센서 보정과 관련된 이미지 처리 동작의 제1 파라미터를 설정할 수 있다(S510). 구체적으로, 이미지 처리 시스템(1200)은 센서 보정 그룹에 포함된 이미지 처리 동작들인 불량 픽셀 보정 동작 및 오프셋 보정 동작 각각의 파라미터(즉, 제1 파라미터)를 설정할 수 있다.
그리고 이미지 처리 시스템(1200)은 렌즈 왜곡 보정과 관련된 이미지 처리 동작의 제2 파라미터를 설정할 수 있다(S520). 구체적으로, 이미지 처리 시스템(1200)은 렌즈 왜곡 보정 그룹에 포함된 이미지 처리 동작인 렌즈 왜곡 보정 동작의 파라미터(즉, 제2 파라미터)를 설정할 수 있다.
그리고 이미지 처리 시스템(1200)은 컬러 보정과 관련된 이미지 처리 동작의 제3 파라미터를 설정할 수 있다(S530). 구체적으로, 이미지 처리 시스템(1200)은 컬러 보정 그룹에 포함된 이미지 처리 동작들인 디모자이크 동작, 디노이즈 동작, 샤프닝 동작, 컬러 보정 매트릭스 동작, 감마 보정 동작 각각의 파라미터(즉, 제3 파라미터)를 설정할 수 있다.
그리고 이미지 처리 시스템(1200)은 화질 개선과 관련된 이미지 처리 동작의 제4 파라미터를 설정할 수 있다(S540). 구체적으로, 이미지 처리 시스템(1200)은 화질 개선 그룹에 포함된 이미지 처리 동작들인 디노이즈 동작 및 샤프닝 동작 각각의 파라미터(즉, 제4 파라미터)를 설정할 수 있다.
한편, 실시예에 따라, 센서 보정과 관련된 제1 파라미터를 설정하는 동작은 렌즈 왜곡 보정과 관련된 제2 파라미터를 설정하는 동작 다음에 수행될 수 있다. 다만, 센서 보정 및 렌즈 왜곡 보정의 파라미터들을 설정하는 동작은 컬러 보정 및 화질 개선보다 선행적으로 수행됨이 바람직하다. 센서 보정 및 렌즈 왜곡 보정은 이미지를 촬영한 이미지 센서(1100)의 자체의 특성을 보완하기 위한 것이므로 선행적으로 수행될 필요성이 있기 때문이다. 한편, 실시예에 따라, 이미지 센서(1100)가 고사양인 경우, 센서 보정 및 렌즈 왜곡 보정과 관련된 이미지 처리 동작들 중 적어도 하나의 파라미터를 설정하는 동작이 생략될 수도 있다.
도 8은 본 개시의 일 실시예에 따른 복수의 이미지 처리 동작들의 설정 순서를 구체적으로 나타내는 도면이다. 상세하게는, 도 8은 도 7의 복수의 이미지 처리 동작들의 설정 순서를 구체적으로 나타내는 도면이다.
도 7 및 도 8을 참조하면, 이미지 처리 시스템(1200)은 이미지 처리 동작들 중 센서 보정 그룹의 제1 파라미터를 설정할 수 있다. 구체적으로, 이미지 처리 시스템(1200)은 불량 픽셀 보정 동작의 파라미터를 설정한 후, 오프셋 보정 동작의 파라미터를 설정할 수 있다. 한편, 본 개시는 이에 한하지 않으며, 오프셋 보정 동작의 파라미터를 설정한 후, 불량 픽셀 보정 동작의 파라미터를 설정할 수 있다.
그리고 이미지 처리 시스템(1200)은 이미지 처리 동작들 중 렌즈 왜곡 보정의 제2 파라미터를 설정할 수 있다. 그리고 이미지 처리 시스템(1200)은 이미지 처리 동작들 중 컬러 보정의 제3 파라미터를 설정할 수 있다. 예를 들어, 이미지 처리 시스템(1200)은 디모자이크 동작, 컬러 게인 보정 동작, 쉐이딩 동작, 컬러 보정 매트릭스 동작 및 감마 보정의 순으로 각각의 동작들의 파라미터를 설정할 수 있다. 한편, 전술한 순서는 하나의 예에 불과하며, 본 개시는 이에 한하지 않는다.
그리고 이미지 처리 시스템(1200)은 이미지 처리 동작들 중 화질 개선의 제4 파라미터를 설정할 수 있다. 예를 들어, 이미지 처리 시스템(1200)은 디노이즈 동작 및 샤프닝 동작의 순으로 각각의 동작들의 파라미터를 설정할 수 있다 한편, 전술한 순서는 하나의 예에 불과하며, 본 개시는 이에 한하지 않는다.
한편, 도 8의 전술한 순서는 이미지 처리 동작들 각각의 파라미터를 설정하는 화질 튜닝의 구체적인 순서를 나타내는 것일 뿐, 추후 입력된 이미지에 대한 실제 이미지 보정을 수행하는 순서는 전술한 순서와 동일하거나 상이할 수 있다.
한편, 본 개시의 일 실시예에 따른 이미지 처리 시스템(1200)은, 전술한 화질 튜닝 동작에서 특정 이미지 처리 동작의 파라미터를 설정하면, 다음 순서의 이미지 처리 동작의 파라미터를 설정할 때, 상기 설정한 파라미터를 기초로 이전 이미지 처리 동작을 선행할 수 있다. 이하에서는 전술한 특징에 대하여 도 9를 참조하여 상세하게 설명한다.
도 9는 본 개시의 일 실시예에 따른 기준 이미지를 이용한 화질 튜닝 방법을 나타내는 도면이다.
이미지 처리 시스템(1200)은 특정 이미지 처리 동작(예컨대, 제1 이미지 처리 동작)의 파라미터를 설정하면, 다음 순서의 이미지 처리 동작(예컨대, 제2 이미지 처리 동작)의 파라미터를 설정할 때, 상기 설정한 파라미터를 기초로 이전 이미지 처리 동작(예컨대, 제1 이미지 처리 동작)을 선행할 수 있다.
예를 들어, 이미지 처리 시스템(1200)이 센서 보정 그룹의 제1 파라미터를 설정한 후, 다음 순서인 렌즈 왜곡 보정의 제2 파라미터를 설정할 때, 렌즈 왜곡 보정에 대응하는 이미지에 대하여 상기 센서 보정 그룹의 제1 파라미터를 기초로 센서 보정을 수행할 수 있다. 그리고 이미지 처리 시스템(1200)은 상기 센서 보정된 이미지에 대하여 렌즈 왜곡 보정을 수행하여 보정 이미지를 생성하고, 보정 이미지와 렌즈 왜곡 보정에 대응하는 기준 이미지를 기초로 렌즈 왜곡 보정의 제2 파라미터를 설정할 수 있다.
또 다른 예로, 도 9를 참조하면, 이미지 처리 시스템(1200)이 센서 보정 그룹의 제1 파라미터 및 렌즈 왜곡 보정의 제2 파라미터를 설정한 후, 다음 순서인 컬러 보정의 제3 파라미터를 설정할 때, 컬러 보정에 대응하는 이미지(RAW IMAGE)에 대하여 제1 파라미터를 기초로 하는 센서 보정 및 제2 파라미터를 기초로 하는 렌즈 왜곡 보정을 순차적으로 수행할 수 있다. 그리고 이미지 처리 시스템(1200)은 센서 보정 및 렌즈 왜곡 보정된 이미지(UNDISTORTED IMAGE)에 대하여 컬러 보정을 수행하여 보정 이미지(CORRECTED IMAGE)를 생성하고, 보정 이미지(CORRECTED IMAGE)와 컬러 보정에 대응하는 기준 이미지를 기초로 컬러 보정의 제3 파라미터를 설정할 수 있다.
도 10은 본 개시의 일 실시예에 따른 기준 이미지들을 나타내는 도면이다.
이미지 처리 시스템(1200)은 다양한 종류의 기준 이미지들을 포함할 수 있고, 기준 이미지들 각각은 적어도 하나의 이미지 처리 동작의 파라미터를 설정하는데 이용될 수 있다.
도 10을 참조하면, 기준 이미지들 중 화이트 이미지(WHITE IMAGE)는 이미지의 모든 픽셀들이 흰색인 이미지고, 블랙 이미지(BLACK IMAGE)는 이미지의 모든 픽셀이 검정색인 이미지이다. 화이트 이미지(WHITE IMAGE) 및 블랙 이미지(BLACK IMAGE)는 불량 픽셀 보정 동작에 대응할 수 있다.
이미지 처리 시스템(1200)은 화이트 이미지(WHITE IMAGE) 및 블랙 이미지(BLACK IMAGE)를 촬영한 이미지를 기초로 불량 픽셀 보정 동작의 파라미터를 설정할 수 있다. 예를 들어, 이미지 처리 시스템(1200)은 화이트 이미지(WHITE IMAGE) 또는 블랙 이미지(BLACK IMAGE)를 촬영한 이미지와 기준 이미지(즉, 화이트 이미지(WHITE IMAGE) 또는 블랙 이미지(BLACK IMAGE))를 비교하여, 차이값이 임계 값을 넘는 픽셀을 배드 픽셀로 검출할 수 있다.
또 다른 예로, 이미지 처리 시스템(1200)은 화이트 이미지(WHITE IMAGE) 또는 블랙 이미지(BLACK IMAGE)를 촬영한 이미지에서 임계 값을 초과하거나 미만인 값을 배드 픽셀로 검출할 수 있다. 이 경우, 이미지 처리 시스템(1200)은 기준 이미지를 이용하지 않고도 배드 픽셀을 검출할 수 있다. 즉, 실시예에 따라, 도 4에서 불량 픽셀 보정 동작에 대한 파라미터를 설정 시, 기준 이미지를 수신하는 동작은 생략될 수 있다. 그리고 이미지 처리 시스템(1200)은 검출한 배드 픽셀을 기초로 불량 픽셀 보정 동작의 최종 파라미터를 설정할 수 있다.
또한, 블랙 이미지(BLACK IMAGE)는 오프셋 보정 동작에도 대응할 수 있다. 그레이 이미지(GREY IMAGE)는 픽셀 값들이 검정색에서 흰색으로 균등하게 변화하는 이미지이다. 그레이 이미지(GREY IMAGE)는 감마 보정 동작에 대응할 수 있다. 사각형 이미지(RECTANGULAR IMAGE)는 적어도 하나의 사각형이 포함된 이미지이다. 사각형 이미지(RECTANGULAR IMAGE)는 구면 수차 보정 동작에 대응할 수 있다. 한편, 사각형 이미지(RECTANGULAR IMAGE) 대신 다른 종류의 이미지가 이용될 수도 있다. 예를 들어, 바둑판 이미지가 구면 수차 보정 동작에 대응하는 기준 이미지로 이용될 수 있다.
컬러 이미지(COLOR IMAGE)는 복수의 컬러들이 포함된 이미지이다. 컬러 이미지(COLOR IMAGE)는 컬러 보정과 관련된 이미지 처리 동작들, 예컨대, 디모자이크 동작, 컬러 게인 보정 동작, 컬러 보정 매트릭스 동작 각각에 대응할 수 있다. 해상도 이미지(RESOLUTION IMAGE)는 서로 상이한 스케일들을 갖는 복수의 객체들을 포함하는 이미지이다. 해상도 이미지(RESOLUTION IMAGE)는 디노이즈 동작에 대응할 수 있다. 복합 이미지(COMPLEX IMAGE)는 전술한 기준 이미지들 중 적어도 하나를 포함할 수 있다. 예를 들어, 복합 이미지(COMPLEX IMAGE)는 그레이 이미지(GREY IMAGE), 컬러 이미지(COLOR IMAGE), 해상도 이미지(RESOLUTION IMAGE) 등을 포함할 수 있다.
이미지 처리 시스템(1200)은 전술한 기준 이미지들 중 적어도 하나를 촬영한 이미지에 대하여, 상기 기준 이미지에 대응하는 이미지 처리 동작의 복수의 파라미터들을 각각 적용함으로써 복수의 보정 이미지들을 생성할 수 있다. 그리고 이미지 처리 시스템(1200)은 복수의 보정 이미지들 중 기준 이미지와 가장 유사한 보정 이미지를 확인할 수 있다. 그리고 이미지 처리 시스템(1200)은 확인한 보정 이미지에 대응하는 파라미터를 최종 파라미터로 설정할 수 있다.
도 11은 본 개시의 일 실시예에 따른 기준 이미지 및 이미지 처리 동작 간의 매핑 정보를 나타내는 도면이다. 도 1 또는 도 2의 이미지 처리 시스템(1200)은 도 11의 매핑 정보를 기초로 화질 튜닝을 수행할 수 있다.
도 11을 참조하면, 매핑 정보는 기준 이미지들의 이름(예컨대, REF_IMG1), 인덱스(예컨대, WHITE IMAGE), 대응하는 이미지 처리 동작(예컨대, DEFECT PIXEL CORRECTION)을 포함할 수 있다. 이미지 처리 시스템(1200)은 매핑 정보를 기초로 이미지 센서(1100)로부터 수신한 이미지(IMG)에 대응하는 이미지 처리 동작을 확인할 수 있다. 그리고 이미지 처리 시스템(1200)은 확인한 이미지 처리 동작의 파라미터를 설정하는 화질 튜닝 동작을 수행할 수 있다. 한편, 매핑 정보의 구성은 전술한 예에 한하지 않는다. 예를 들어, 실시예에 따라 매핑 정보는 기준 이미지가 생략되거나 추가되거나, 기준 이미지에 대응하는 이미지 처리 동작이 생략되거나 추가될 수 있으며, 기준 이미지와 이미지 처리 동작 간의 매핑 구성도 다를 수 있다.
도 12 및 도 13은 본 개시의 일 실시예에 따른 이미지 처리 장치(1000)를 나타내는 도면이다. 상세하게는, 도 12 및 도 13은 도 1의 변형 가능한 실시예를 나타내는 도면이다.
도 12를 참조하면, 이미지 처리 장치(1000a)는 이미지 처리 시스템(1200a), 디스플레이(1300a) 및 조명(1400a)을 포함할 수 있다. 그리고 이미지 처리 시스템(1200a)은 이미지 센서(1100a), 이미지 신호 프로세서(100a), 튜닝 모듈(200a) 및 메모리(300a)를 포함할 수 있다.
본 실시예에 따르면, 튜닝 모듈(200a)은 화질 평가부(210a), 파라미터 결정부(220a) 및 튜닝 컨트롤러(230a)를 포함할 수 있다. 화질 평가부(210a) 및 파라미터 결정부(220a)는 도 2 의 화질 평가부(210) 및 파라미터 결정부(220)에 대응할 수 있다.
튜닝 컨트롤러(230a)는 디스플레이(1300a)를 제어할 수 있다. 구체적으로, 튜닝 컨트롤러(230a)는 디스플레이(1300a)가 복수의 기준 이미지들 중 하나(REF_IMG)를 표시하도록 제어할 수 있다. 그리고 튜닝 컨트롤러(230a)는 상기 표시된 기준 이미지(REF_IMG)를 촬영하도록 이미지 센서(1100a)에 요청할 수 있다. 그리고 튜닝 컨트롤러(230a)는 상기 기준 이미지(REF_IMG)에 대한 정보를 제공하면서, 화질 튜닝을 위해 상기 기준 이미지(REF_IMG)에 대응하는 이미지 처리 동작을 수행할 것을 이미지 신호 프로세서(100a)에 요청할 수 있다. 튜닝 컨트롤러(230a)는 펌웨어 또는 소프트웨어로 구현되거나, 하드웨어로 구현될 수 있다. 또는 튜닝 컨트롤러(230a)는 소프트웨어와 하드웨어를 결합한 형태로도 구현될 수 있다.
이미지 센서(1100a)는 기준 이미지(REF_IMG)를 촬영한 이미지(IMG)를 이미지 신호 프로세서(100a)에 제공할 수 있다. 그리고 이미지 신호 프로세서(100a)는 수신한 이미지(IMG)에 대하여 기준 이미지(REF_IMG)에 대응하는 이미지 처리 동작을 복수 회 수행할 수 있다. 그리고 이미지 신호 프로세서(100a)는 복수 회의 이미지 처리 동작에 의해 생성된 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m)을 튜닝 모듈(200a)에 제공할 수 있다. 튜닝 모듈(200a)은 복수의 보정 이미지들(C_IMG_1 ~ C_IMG_m) 및 기준 이미지(REF_IMG)를 기초로 이미지 처리 동작의 파라미터를 설정할 수 있다. 튜닝 컨트롤러(230a)는 특정 이미지 처리 동작의 파라미터가 설정되면, 다음 순서의 이미지 처리 동작에 대응하는 기준 이미지(REF_IMG)를 표시하도록 디스플레이(1300a)를 제어할 수 있다.
한편, 튜닝 컨트롤러(230a)는 디스플레이(1300a) 외에도 조명(1400a)을 제어할 수도 있다. 그리고 조명(1400a)은 튜닝 컨트롤러(230a)의 제어에 따라 다양한 조도 환경을 제공할 수 있다. 이미지 센서(1100a)는 튜닝 모듈(220a) 또는 이미지 신호 프로세서(100a)의 제어에 따라, 다양한 조도 환경에서의 기준 이미지(REF_IMG)를 촬영하여 복수의 이미지(IMG)들을 출력할 수 있다. 그리고 이미지 신호 프로세서(100a) 및 튜닝 모듈(220a)은 도 1 내지 도 11에서 전술한 방식에 따라 이미지 처리 동작들의 파라미터를 설정할 수 있다. 이에 따라, 이미지 처리 시스템(1200a)은 다양한 조도 환경에서도 정확도 높은 이미지 처리를 수행할 수 있도록 하는 파라미터들을 설정할 수 있다.
예를 들어, 튜닝 컨트롤러(230a)는 제1 조명 환경을 제공하도록 조명(1400a)을 제어하고, 기준 이미지(REF_IMG)를 표시하도록 디스플레이(1300a)를 제어할 수 있다. 그리고 이미지 센서(1100a)는 제1 조명 환경에서의 기준 이미지(REF_IMG)를 촬영한 제1 이미지(IMG)를 출력할 수 있다. 그리고 튜닝 컨트롤러(230a)는 제2 조명 환경을 제공하도록 조명(1400a)을 제어하고, 기준 이미지(REF_IMG)를 표시하도록 디스플레이(1300a)를 제어할 수 있다. 그리고 이미지 센서(1100a)는 제2 조명 환경에서의 기준 이미지(REF_IMG)를 촬영한 제2 이미지(IMG)를 출력할 수 있다. 그리고 이미지 신호 프로세서(100a)는 제1 이미지(IMG) 및 제2 이미지(IMG) 각각에 대하여 디폴트 파라미터를 기초로 제1 이미지 처리 동작을 수행함으로써 제1 보정 이미지(C_IMG_1) 및 제2 보정 이미지(C_IMG_2)를 생성할 수 있다. 그리고 튜닝 모듈(200a)은 제1 보정 이미지(C_IMG_1) 및 제2 보정 이미지(C_IMG_2) 각각을 기준 이미지(REF_IMG)와 비교하여 상관도들을 산출하고, 산출한 상관도들을 기초로 제1 이미지 처리 동작의 파라미터를 설정할 수 있다. 그리고 이미지 처리 시스템(1200a)은 전술한 일련의 동작들을 나머지 이미지 처리 동작들에 대해서도 반복 수행할 수 있다.
한편, 이미지 처리 시스템(1200b)은 도 13에 도시된 바와 같이, 이미지 센서(1100b)를 포함하지 않도록 구현될 수도 있다. 이 경우, 이미지 처리 시스템(1200b)의 튜닝 컨트롤러(230b)는 디스플레이(1400b), 조명(1300b)뿐만 아니라 이미지 센서(1100b)를 제어하도록 구현될 수 있다. 구체적으로, 튜닝 컨트롤러(230b)는 특정 조도 환경을 제공하도록 조명(1400b)을 제어할 수 있고, 특정 기준 이미지(REF_IMG)를 표시하도록 디스플레이(1300b)를 제어할 수 있고, 상기 디스플레이(1300b)가 표시하는 기준 이미지(REF_IMG)를 촬영하도록 이미지 센서(1100b)를 제어할 수 있다.
한편, 도 12 및 도 13을 도시하고 설명함에 있어서, 이미지 센서(1100a, 1100b)가 하나인 것으로 도시하고 설명하였지만, 복수의 이미지 센서(1100a, 1100b)가 포함될 수 있다. 그리고 튜닝 모듈(200a, 200b)은 복수의 이미지 센서(1100a, 1100b) 각각에 대응하는 이미지 처리 동작의 파라미터들을 설정할 수 있다. 예를 들어, 제1 이미지 센서 및 제2 이미지 센서가 존재하는 경우, 튜닝 모듈(200a, 200b)은 제1 이미지 센서로부터 출력된 이미지에 적용되는 파라미터들 및 제2 이미지 센서로부터 출력된 이미지에 적용되는 파라미터들을 개별적으로 설정할 수 있다.
도 14는 본 개시의 일 실시예에 따른 애플리케이션 프로세서(1500)를 나타내는 도면이다. 도 14를 참조하면, 애플리케이션 프로세서(1500)는 메인 프로세서(1510), RAM(Random Access Memory, 1520), 이미지 신호 프로세서(1530), 튜닝 모듈(1540), 비휘발성 메모리 인터페이스(1550), 카메라 인터페이스(1560), 메모리 인터페이스(1570) 및 디스플레이 인터페이스(1580)를 포함할 수 있다. 애플리케이션 프로세서(1500)의 각 구성(1510, 1520, 1530, 1540, 1550, 1560, 1570, 1580)은 버스(1590)를 통해 서로 데이터를 송수신할 수 있다.
메인 프로세서(1510)는 애플리케이션 프로세서(1500)의 전반적인 동작을 제어할 수 있다. 메인 프로세서(1510)는 예컨대 CPU, 마이크로 프로세서 등으로 구현될 수 있으며, 실시예에 따라서, 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component), 즉 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 메인 프로세서(1510)는 RAM(1520)(또는 ROM)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행시킬 수 있다.
RAM(1520)은 프로그램들, 데이터, 및/또는 명령들(instructions)을 일시적으로 저장할 수 있다. 실시 예에 따라, RAM(1520)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다. RAM(1520)은 인터페이스들(1550, 1560, 1570 및 1580)을 통해 입출력되거나, 이미지 신호 프로세서(1530) 또는 메인 프로세서(1510)가 가 생성하는 이미지를 일시적으로 저장할 수 있다.
실시예에 있어서, 애플리케이션 프로세서(1500)는 ROM(Read Only Memory)를 더 구비할 수 있다. ROM은 지속적으로 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. ROM은 EPROM(erasable programmable ROM) 또는 EEPROM(electrically erasable programmable ROM) 등으로 구현될 수 있다. 비휘발성 메모리 인터페이스(1550)는 비휘발성 메모리 장치(1610)로부터 입력되는 데이터 또는 비휘발성 메모리로 출력되는 데이터를 인터페이싱할 수 있다. 비휘발성 메모리 장치(1610)는 예컨대, 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 구현될 수 있다.
카메라 인터페이스(1560)는 애플리케이션 프로세서(1500)의 외부에 위치한 카메라(1620)로부터 입력되는 데이터(예컨대, 기준 이미지를 촬영한 이미지)를 인터페이싱할 수 있다. 카메라(1620)는 복수의 광 감지 소자들을 이용해 촬영한 이미지에 대한 데이터를 생성할 수 있다. 카메라 인터페이스(1560)를 통해 수신되는 이미지는 이미지 신호 프로세서(1530)에 제공되거나 또는 메모리 인터페이스(1570)를 통해 메모리(1630)에 저장될 수 있다.
메모리 인터페이스(1570)는 애플리케이션 프로세서(1500)의 외부에 있는 메모리(1630)로부터 입력되는 데이터 또는 메모리(1630)로 출력되는 데이터를 인터페이싱할 수 있다. 실시예에 따라, 메모리(1630)는 DRAM이나 SRAM 등의 휘발성 메모리 또는 ReRAM, PRAM 또는 NAND flash 등의 비휘발성 메모리로 구현될 수 있다.
디스플레이 인터페이스(1580)는 디스플레이 장치(1640)로 출력되는 데이터(예컨대, 보정 이미지)를 인터페이싱할 수 있다. 디스플레이 장치(1640)는 이미지 또는 영상에 대한 데이터를 LCD(Liquid-crystal display), AMOLED(active matrix organic light emitting diodes) 등의 디스플레이를 통해 출력할 수 있다.
이미지 신호 프로세서(1530)는 도 1 또는 도 2의 이미지 신호 프로세서(100)에 대응할 수 있다. 또한, 튜닝 모듈(1540)은 도 1 또는 도 2의 튜닝 모듈(200)에 대응할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 이미지 처리 시스템에 있어서,
    화질 튜닝에 이용되는 복수의 기준 이미지들을 저장하는 메모리;
    상기 복수의 기준 이미지들에 대응하는 복수의 촬영 이미지들을 수신하고, 상기 수신한 복수의 촬영 이미지들 각각에 대하여, 복수의 이미지 처리 동작들 중 대응하는 이미지 처리 동작을 수행하여 복수의 보정 이미지들을 생성하는 이미지 신호 프로세서; 및
    상기 복수의 보정 이미지들 및 상기 복수의 기준 이미지들을 기초로 상기 복수의 이미지 처리 동작들의 파라미터들을 설정하는 튜닝 모듈;을 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  2. 제1항에 있어서,
    상기 이미지 신호 프로세서는,
    제1 기준 이미지에 대응하는 제1 촬영 이미지에 대하여, 상기 제1 기준 이미지에 대응하는 제1 이미지 처리 동작을 수행하여 제1 보정 이미지를 생성하고,
    상기 튜닝 모듈은,
    상기 제1 보정 이미지와 상기 제1 기준 이미지 간의 상관도를 기초로 상기 제1 이미지 처리 동작의 적어도 하나의 제1 파라미터를 설정하는 것을 특징으로 하는 이미지 처리 시스템.
  3. 제2항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제1 촬영 이미지에 대하여, 서로 상이한 값들을 갖는 제1 디폴트 파라미터들을 기초로 상기 제1 이미지 처리 동작을 복수 회 수행하여 복수의 제1 보정 이미지들을 생성하는 것을 특징으로 하는 이미지 처리 시스템.
  4. 제3항에 있어서,
    상기 튜닝 모듈은,
    상기 복수의 제1 보정 이미지들 각각과 상기 제1 기준 이미지 간의 상관도들을 산출하고, 상기 산출한 상관도들을 기초로 상기 제1 기준 이미지와 가장 유사한 제1 보정 이미지를 확인하고, 상기 확인한 제1 보정 이미지에 대응하는 제1 디폴트 파라미터를 기초로 상기 제1 파라미터로 설정하는 것을 특징으로 하는 이미지 처리 시스템.
  5. 제2항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제1 파라미터가 설정되면, 제2 기준 이미지에 대응하는 제2 촬영 이미지에 대하여, 상기 제2 기준 이미지에 대응하는 제2 이미지 처리 동작을 수행하여 제2 보정 이미지를 생성하고,
    상기 튜닝 모듈은,
    상기 제2 보정 이미지와 상기 제2 기준 이미지 간의 상관도를 기초로 상기 제2 이미지 처리 동작의 적어도 하나의 제2 파라미터를 설정하는 것을 특징으로 하는 이미지 처리 시스템.
  6. 제5항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제2 촬영 이미지에 대하여, 상기 설정된 제1 파라미터를 기초로 상기 제1 이미지 처리 동작을 수행한 후, 상기 제2 이미지 처리 동작을 수행하여 상기 제2 보정 이미지를 생성하는 것을 특징으로 하는 이미지 처리 시스템.
  7. 제1항에 있어서,
    상기 복수의 이미지 처리 동작들은,
    센서 보정 동작, 렌즈 왜곡 보정 동작, 컬러 보정 동작 및 화질 개선 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  8. 제7항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 복수의 이미지 처리 동작들의 기설정된 순서에 따라, 상기 복수의 촬영 이미지들 각각에 대하여, 대응하는 이미지 처리 동작을 수행하여 상기 복수의 보정 이미지들을 순차적으로 생성하고,
    상기 튜닝 모듈은,
    상기 기설정된 순서에 따라, 상기 복수의 보정 이미지들 및 상기 복수의 기준 이미지들을 기초로 상기 복수의 이미지 처리 동작들의 파라미터들을 순차적으로 설정하는 것을 특징으로 하는 이미지 처리 시스템.
  9. 제7항에 있어서,
    상기 복수의 기준 이미지들은,
    화이트 이미지, 블랙 이미지, 그레이 이미지, 사각형 이미지, 컬러 이미지 및 해상도 이미지 중 적어도 하나 또는 이들의 조합인 것을 특징으로 하는 이미지 처리 시스템.
  10. 이미지 처리 시스템에 있어서,
    화질 튜닝에 이용되는 복수의 기준 이미지들을 저장하는 메모리;
    복수의 이미지 처리 동작들을 수행하는 이미지 신호 프로세서; 및
    상기 복수의 이미지 처리 동작들 중 타겟 이미지 처리 동작의 파라미터를 설정하는 튜닝 동작을 수행하는 튜닝 모듈;을 포함하고,
    상기 튜닝 동작은,
    상기 타겟 이미지 처리 동작에 대응하는 기준 이미지를 촬영한 촬영 이미지를 획득하는 단계;
    상기 촬영 이미지에 대하여, 상기 타겟 이미지 처리 동작의 파라미터를 기초로 상기 타겟 이미지 처리 동작을 수행하여 보정 이미지를 생성하도록 상기 이미지 신호 프로세서를 제어하는 단계; 및
    상기 보정 이미지 및 상기 기준 이미지를 기초로 상기 타겟 이미지 처리 동작의 파라미터를 갱신하는 단계;를 포함하고,
    상기 튜닝 모듈은,
    상기 복수의 이미지 처리 동작들 각각에 대하여 상기 튜닝 동작을 수행하는 것을 특징으로 하는 이미지 처리 시스템.
KR1020200073247A 2020-06-16 2020-06-16 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법 Pending KR20210155695A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200073247A KR20210155695A (ko) 2020-06-16 2020-06-16 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법
US17/179,789 US11900570B2 (en) 2020-06-16 2021-02-19 Image processing system for performing image quality tuning and method of performing image quality tuning
US17/217,282 US20210390671A1 (en) 2020-06-16 2021-03-30 Image processing system for performing image quality tuning and method of performing image quality tuning
US18/397,149 US20240127413A1 (en) 2020-06-16 2023-12-27 Image processing system for performing image quality tuning and method of performing image quality tuning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200073247A KR20210155695A (ko) 2020-06-16 2020-06-16 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법

Publications (1)

Publication Number Publication Date
KR20210155695A true KR20210155695A (ko) 2021-12-23

Family

ID=78825732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200073247A Pending KR20210155695A (ko) 2020-06-16 2020-06-16 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법

Country Status (2)

Country Link
US (2) US11900570B2 (ko)
KR (1) KR20210155695A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024081761A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Cascade camera tuning
US20240397187A1 (en) * 2023-05-23 2024-11-28 Mediatek Inc. System and method for tuning isp parameters
CN119963457B (zh) * 2025-04-11 2025-07-15 福建优恩立光电科技有限公司 一种智能识别swir6毫米镜头的影像的畸变矫正方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294215A (ja) 1994-04-25 1995-11-10 Canon Inc 画像処理方法及び装置
JP2004363758A (ja) 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
TWI254572B (en) 2004-10-21 2006-05-01 Mstar Semiconductor Inc Method and device to tune color automatically
US20060007321A1 (en) 2005-03-26 2006-01-12 David Huai A Distributed Image and Signal Processing Apparatus For Camera Phone Applications
EP2006733B1 (en) 2007-06-19 2013-05-22 Samsung Electronics Co., Ltd. Auto focus apparatus and method for camera
US8634673B1 (en) * 2008-11-10 2014-01-21 Marvell International Ltd. Method and apparatus for automatically tuning a parameter of an image enhancement algorithm based on an attribute of an original image
US8223230B2 (en) 2009-05-08 2012-07-17 Qualcomm Incorporated Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation
US8456545B2 (en) 2009-05-08 2013-06-04 Qualcomm Incorporated Systems, methods, and apparatus for generation of reinforcement pattern and systems, methods, and apparatus for artifact evaluation
KR101543765B1 (ko) 2009-05-29 2015-08-11 삼성전자주식회사 카메라 유닛 및 이를 갖는 멀티미디어 정보기기
US8325248B2 (en) * 2010-06-04 2012-12-04 Apple Inc. Dual processing of raw image data
WO2012059618A1 (en) * 2010-11-01 2012-05-10 Nokia Corporation Tuning of digital image quality
US8384796B2 (en) 2011-01-21 2013-02-26 Texas Instruments Incorporated Methods and systems for automatic white balance
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP6012232B2 (ja) 2012-04-10 2016-10-25 キヤノン株式会社 撮像装置及びプログラム
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9734567B2 (en) 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
KR20170029185A (ko) 2015-09-07 2017-03-15 삼성전자주식회사 이미지 신호 프로세서의 작동 파라미터들에 대한 자동 튜닝 방법
EP3193158B1 (en) 2016-01-14 2020-06-17 Volkswagen AG System and method for assessing the visual appearance of a reflective surface
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム
JP6792372B2 (ja) 2016-08-04 2020-11-25 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記憶媒体
US11283991B2 (en) * 2019-06-04 2022-03-22 Algolux Inc. Method and system for tuning a camera image signal processor for computer vision tasks
US10728553B2 (en) 2017-07-11 2020-07-28 Sony Corporation Visual quality preserving quantization parameter prediction with deep neural network
KR102442449B1 (ko) 2017-09-01 2022-09-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN111615827A (zh) * 2018-01-30 2020-09-01 高通股份有限公司 用于图像信号处理器调谐的系统和方法
US10755425B2 (en) * 2018-02-05 2020-08-25 Intel Corporation Automatic tuning of image signal processors using reference images in image processing environments
US10447942B1 (en) 2018-06-07 2019-10-15 Qualcomm Incorporated Flash control for video capture
US10369698B1 (en) 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CN110519498B (zh) 2019-08-29 2021-09-21 深圳市道通智能航空技术股份有限公司 一种双光相机成像校准的方法、装置和双光相机
US11669942B2 (en) * 2019-09-20 2023-06-06 Synaptics Incorporated Image de-warping system
KR20210045106A (ko) * 2019-10-16 2021-04-26 현대자동차주식회사 차량 및 차량의 제어방법
KR20210052040A (ko) 2019-10-31 2021-05-10 엘지전자 주식회사 비디오 품질 향상 방법 및 장치
TWI709780B (zh) * 2020-01-21 2020-11-11 台灣骨王生技股份有限公司 紅外線鏡頭主動式成像校正裝置及方法
CN113436081B (zh) 2020-03-23 2025-02-28 阿里巴巴集团控股有限公司 数据处理方法、图像增强方法及其模型训练方法

Also Published As

Publication number Publication date
US20210390670A1 (en) 2021-12-16
US11900570B2 (en) 2024-02-13
US20240127413A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
US11270663B2 (en) Method for detecting compensation parameters of brightness, method for compensating brightness, detection device for detecting compensation parameters of brightness, brightness compensation device, display device, and non-volatile storage medium
US11430103B2 (en) Method for image processing, non-transitory computer readable storage medium, and electronic device
CN108805103B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10805508B2 (en) Image processing method, and device
US20240127413A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US7386186B2 (en) Apparatus and method for processing images
US20220084159A1 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
US10582132B2 (en) Dynamic range extension to produce images
US8659685B2 (en) Method and apparatus for calibrating and correcting shading non-uniformity of camera systems
CN108322651B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN109040745B (zh) 摄像头自校准方法和装置、电子设备、计算机存储介质
US20160019681A1 (en) Image processing method and electronic device using the same
US20160021352A1 (en) Color shading correction using color channel consistency
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
US10848686B2 (en) Method of providing image and electronic device for supporting the method
CN109040746A (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
US8542919B2 (en) Method and system for correcting lens shading
US10210600B2 (en) Method of removing noise from image data
US20210390671A1 (en) Image processing system for performing image quality tuning and method of performing image quality tuning
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
CN113096084B (zh) 基于阵列相机成像的视觉检测方法、设备及系统
US20250184618A1 (en) Image processing devices, image processing systems and operating methods thereof
US20240257310A1 (en) Image processor and image processing system including the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200616

PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240703

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20250205

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

PX0701 Decision of registration after re-examination

Patent event date: 20250529

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

X701 Decision to grant (after re-examination)