KR102172634B1 - 카메라 모듈, 전자 디바이스 및 그 동작 방법 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 카메라 모듈은 복수의 렌즈를 갖는 렌즈 모듈; 및 상기 렌즈 모듈을 통한 입력되는 이미지를 센싱하는 이미지 센서와, 상기 이미지 센서로부터의 이미지를 처리하는 로직부를 갖는 센서 모듈; 를 포함하고, 상기 로직부는 상기 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 사전에 추정된 렌즈 맞춤 PSF를 포함한다.

Description

카메라 모듈, 전자 디바이스 및 그 동작 방법{CAMERA MODULE, ELECTRONIC DEVICE, AND METHOD FOR OPERATING THE SAME}

본 발명은 카메라 모듈내의 렌즈의 왜곡 등의 하드웨어적 결함이나 렌즈의 조립 오차 등에 의해 초래되는 블러(blur) 특성을 보정하도록 사전에 추정된 렌즈 맞춤 PSF(Point spread functions, 점확산함수)을 이용할 수 있는 카메라 모듈, 전자 디바이스 및 그 동작 방법에 관한 것이다.

일반적으로, 스마트 폰 등과 같은 전자 디바이스에는 카메라 모듈이 장착될 수 있는데, 이와 같은 전자 디바이스에 장착되는 카메라 모듈은, 전자 기술의 발전과 사용자의 욕구가 높아짐에 따라 점차적으로 소형 및 고성능이 요구되고 있다.

통상 카메라 모듈에는 여러 가지 원인으로 블러 특성이 존재하고, 이러한 블러 특성은 해상력의 저하를 초래시킨다.

여기서, 블러 특성은 카메라 모듈에서 이미지의 품질을 떨어뜨리는 카메라 모듈이 갖는 특성으로, 일 예로, 블러 특성은 생산 공정에서 발생하는 렌즈 자체의 왜곡과 같은 하드웨어적 결함이나, 렌즈 조립의 오차와 같은 조립 오차 등에 의해 나타날 수 있다.

기존의 카메라 장치에서는, 카메라에서 발생되는 평균적인 블러를 개선하기 위해, 동일한 생산 공정에서 동일한 사양으로 제작되는 카메라 모듈에 대해서는, 대표값으로 추정된 PSF를 이용하여 전자 디바이스의 프로세서에서 블러에 대한 이미지 보정을 수행한다.

그런데, 이와 같은 기존의 이미지 보정 방법은, 동일한 생산 공정에서 동일한 사양으로 제작되는 복수의 카메라 모듈에 대해서는 대표값으로 추정된 PSF를 이용하므로 평균적인 블러에 대해서는 보정이 가능하지만, 실제 각각의 모듈들은 여러 가지 원인에 의해 블러 특성이 서로 다른 렌즈가 장착되므로, 개별적인 카메라 모듈내의 렌즈의 블러 특성에 적합하도록 이미지를 보정하는 것이 어렵다는 문제점이 있다.

뿐만 아니라, 카메라 모듈의 생산 고정에서, 카메라 모듈내의 렌즈의 블러 특성이 양부 판정 기준 이하인 경우에는 불량으로 판정될 수 있는데, 이때 전자 디바이스의 소형화에 따라, 카메라 모듈을 슬림(slim)하게 만들기 위해, 렌즈를 보다 얇게 설계할 경우, 슬림한 렌즈를 가지고 있지 않은 카메라 모듈보다 블러가 더 많이 발생될 수 있다. 이런 경우에는 불량률이 증가하여 수율이 저하되는 문제점이 있어 적절한 해결책이 필요하다.

하기 선행기술문헌에 기재된 특허문헌 1은, 시선 추적 제어 장치 및 방법에 관한 것으로, 이는 전술한 종래의 기술적인 해결과제에 대한 해결책을 개시하고 있지 않다.

한국 공개특허 제2014-0076413호 공보

본 발명의 일 실시 예는, 카메라 모듈내의 렌즈의 블러 특성을 보정하도록 사전에 추정된 렌즈 맞춤 PSF를 이용함으로써, 카메라 모듈마다 블러 특성이 서로 다른 렌즈가 장착된 경우에도, 카메라 모듈내의 렌즈의 블러 특성을 최적으로 보정할 수 있는 카메라 모듈, 전자 디바이스 및 그 동작 방법을 제공한다.

본 발명의 일 실시 예에 의해, 복수의 렌즈를 갖는 렌즈 모듈; 및 상기 렌즈 모듈을 통한 입력되는 이미지를 센싱하는 이미지 센서와, 상기 이미지 센서로부터의 이미지를 처리하는 로직부를 갖는 센서 모듈; 을 포함하고, 상기 로직부는 상기 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 사전에 추정된 렌즈 맞춤 PSF를 포함하는 카메라 모듈이 제안된다.

본 과제의 해결 수단에서는, 하기 상세한 설명에서 설명되는 여러 개념들 중 하나가 제공된다. 본 과제 해결 수단은, 청구된 사항의 핵심 기술 또는 필수적인 기술을 확인하기 위해 의도된 것이 아니며, 단지 청구된 사항들 중 하나가 기재된 것이며, 청구된 사항들 각각은 하기 상세한 설명에서 구체적으로 설명된다.

본 발명의 일 실시 예에 의하면, 카메라 모듈내에 포함되는 렌즈의 블러 특성을 보정하도록 사전에 추정된 렌즈 맞춤 PSF을 이용함으로써, 해당 카메라 모듈내의 렌즈의 블러 특성을 최적으로 보정할 수 있으며, 이에 따라 카메라 모듈이 탑재된 전자 디바이스의 성능을 향상시킬 수 있다.

도 1은 본 발명의 제1 실시 예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 제2 실시 예에 따른 카메라 모듈의 구성도이다.
도 3은 본 발명의 제3 실시 예에 따른 전자 디바이스의 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 렌즈 맞춤 PSF의 추정을 위한 카메라 모듈의 동작방법을 보이는 플로우챠트이다.
도 5는 도 4의 렌즈 맞춤 PSF의 추정 과정에 대한 설명도이다.
도 6의 (a),(b)는 본 발명의 일 실시 예에 따른 렌즈 맞춤 PSF을 추정하기 위해 필요한 이미지 차트(ICT) 및 렌즈 맞춤 PSF의 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 로직부의 제1 구현 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 로직부의 제2 구현 예시도이다.
도 9는 본 발명의 제2 실시 예에 따른 카메라 모듈의 동작방법을 보이는 플로우챠트이다.
도 10은 도 9의 카메라 모듈 및 전자 디바이스의 동작과정 설명도이다.
도 11은 본 발명의 제3 실시 예에 따른 전자 디바이스의 동작방법을 보이는 플로우챠트이다.
도 12는 도 11의 전자 디바이스의 동작과정 설명도이다.
도 13은 본 발명의 일 실시 예에 따른 블러 이미지 및 화질 개선된 이미지에 대한 예시도이다.

이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 개념을 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.

또한, 본 발명의 각 실시 예에 있어서, 하나의 예로 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니다. 본 발명의 실시 예 각각은 그 전부 또는 일부가 서로 조합되어 다양한 형태의 새로운 실시 형태가 이루어질 수 있다.

그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 제1 실시 예에 따른 카메라 모듈의 구성도이고, 도 2는 본 발명의 제2 실시 예에 따른 카메라 모듈의 구성도이다.

도 1 및 도 2를 참조하면, 본 발명의 제1 실시 예에 따른 카메라 모듈(camera module)(100)은 렌즈 모듈(lens module)(110) 및 센서 모듈(sensor module)(120)을 포함한다.

또한, 상기 카메라 모듈(camera module)(100)은 액추에이터(actuator)(130)를 더 포함할 수 있다.

상기 렌즈 모듈(110)은, 예를 들어, 4매 렌즈 또는 7매 렌즈 등과 같이, 복수의 렌즈를 포함할 수 있다. 여기서는 렌즈의 매수는 특별히 한정되지 않는다.

상기 센서 모듈(120)은, 이미지 센서(121)와 로직부(122)를 포함할 수 있다.

상기 이미지 센서(121)는 CMOS 등의 이미지 센서 소자를 포함하여, 상기 렌즈 모듈(110)을 통한 입력되는 피사체의 이미지를 센싱하여 로직부(122)에 제공할 수 있다.

상기 로직부(122)는 상기 이미지 센서(121)로부터의 이미지를 처리할 수 있다. 이때, 상기 로직부(122)는 상기 렌즈 모듈(110)내의 렌즈의 블러 특성을 보정하기 위해, 사전에 추정된 렌즈 맞춤 PSF(PSF_LC)을 저장하는 제1 메모리(122A)를 포함할 있다.

여기서, 상기 렌즈 맞춤 PSF(PSF_LC)은, 일반적인 PSF가 렌즈의 블러 특성을 고려하지 않고 동일한 사양의 카메라 모듈에 평균적인 대표값으로 적용되는 것과는 다른 것으로, 상기 렌즈 모듈(110)을 통해 이미지 차트(ICT)를 촬영하여 획득된 블러 이미지(X)와 상기 이미지 차트(ICT)에 대응되는 블러없는 기준 이미지(Y)를 이용하여 카메라 모듈마다 서로 다른 렌즈의 불러 특성을 최적으로 보정할 수 있도록 사전에 추정될 수 있다.

일 예로, 상기 렌즈 맞춤 PSF(PSF_LC)은 상기 렌즈 모듈(110)을 통해 이미지 차트(ICT)를 촬영하여 획득된 블러 이미지(X)와 상기 이미지 차트(ICT)에 대응되는 블러없는 기준 이미지(Y)로 이루어지는 한 쌍의 이미지(X,Y)를 이용하여, 상기 블러 이미지(X)의 위치별로 추정된 복수의 렌즈 맞춤 PSF(PSF-LC)를 포함할 수 있다.

일 예로, 상기 렌즈 맞춤 PSF(PSF_LC)는 상기 카메라 모듈의 생산 공정에서 추정될 수 있다.

또한, 도 1 및 도 2를 참조하면, 상기 액추에이터(130)는 상기 로직부(122)의 제어에 따라 상기 렌즈 모듈(110)에 포함되는 렌즈의 위치를 조절할 수 있다.

도 2를 참조하면, 상기 카메라 모듈(100)의 로직부(122)는 상기 렌즈 맞춤 PSF(PSF-LC)을 저장하는 제1 메모리(122A)와, 상기 렌즈 맞춤 PSF(PSF_LC)을 이용하여, 상기 이미지 센서(121)로부터의 이미지에 대한 블러를 보정하는 보정 알고리즘을 저장하는 제2 메모리(122B)를 포함할 수 있다.

여기서, 상기 보정 알고리즘은 블러 이미지의 블러를 보정할 수 있는 디블러(Deblur) 알고리즘이다.

본 발명의 제1 및 제2 실시 예에서, 상기 제1 메모리(122A)가 상기 카메라 모듈(100)내의 로직부(122)에 포함될 수 있지만, 보정 알고리즘이 실행 시 이용될 수 있는 위치라면, 상기 카메라 모듈(100) 내부의 특정 위치에 한정되지 않는다. 일 예로, 상기 로직부(122)의 내부가 아니더라도, 렌즈 모듈(110) 또는 상기 센서 모듈(120) 내부에 위치될 수 있고, 또는 렌즈 모듈(110) 및 센서 모듈(120) 내부가 아닌 카메라 모듈 내부의 어느 위치에도 배치될 수 있다.

이에 따라, 카메라 모듈(100)이 디블러(Deblur) 알고리즘을 수행하여, 렌즈 맞춤 PSF를 이용하여 촬영된 이미지에서 블러를 제거하여 화질이 개선된 이미지를 출력할 수 있다.

도 3은 본 발명의 제3 실시 예에 따른 전자 디바이스의 구성도이다.

도 3을 참조하면, 본 발명의 제3 실시 예에 따른 전자 디바이스는 카메라 모듈(100)과 프로세서(200)를 포함한다.

도 3에 도시된 카메라 모듈(100)과 프로세서(200)에 대한 사항 중에서, 도 1을 참조하여 설명된 사항과 동일한 내용에 대해서는, 그 중복되는 설명은 생략될 수 있다.

도 3을 참조하면, 상기 로직부(122)는 상기 렌즈 모듈(110)내의 렌즈의 블러 특성을 보정하기 위해, 사전에 추정된 렌즈 맞춤 PSF(PSF_LC)를 포함하는 제1 메모리(122A)를 포함한다.

상기 프로세서(200)는, 상기 로직부(122)로부터 제공받은 렌즈 맞춤 PSF(PSF_LC)을 이용하여, 상기 카메라 모듈(100)로부터의 이미지에 대한 블러를 보정하는 보정 알고리즘을 포함하는 제3 메모리(200A)를 포함할 수 있다.

또한, 상기 제1 메모리(122A), 제2 메모리(122B) 및 제3 메모리(200A)는 렌즈 맞춤 PSF 및 보정 알고리즘을 저장할 수 있는 한, 특정 형태의 메모리에 한정되지 않는다.

일 예로, 상기 프로세서(200)는 ISP(Image Signal Processor)를 포함하는 경우, 상기 ISP가 보정 알고리즘 및 다른 알고리즘을 포함할 수 있다. 여기서, 다른 알고리즘으로는 디베이어(debayer) 알고리즘, 칼라 보정(color correction) 알고리즘, 감마 보정(gamma correction) 알고리즘 등이 있다.

이때, 상기 보정 알고리즘은 ISP에서 실행 가능한 코드(code) 형태로 작성되면 다른 알고리즘과 협력하여 동작 가능하다.

전술한 바와 같이, 도 1 내지 도 3을 참조하면, 본 발명의 각 실시 예에서는, 카메라 모듈(100)이 렌즈 맞춤 PSF(PSF-LC)를 포함하고 있으며, 이 렌즈 맞춤 PSF(PSF-LC)는, 카메라 촬영 동작 이전에, 사전에 추정되어 저장되는 것으로, 각 카메라 모듈내의 렌즈가 갖는 블러 특성을 보정하기 위해, 일 예로 생산 공정에서 추정되어 저장될 수 있다. 이는 본 발명의 각 실시 예에 적용될 수 있다.

상기 보정 알고리즘은 상기 렌즈 맞춤 PSF(PSF-LC)를 이용하여 블러를 갖는 블러 이미지에 대한 블러 보정을 수행할 수 있다. 이에 따라, 렌즈 맞춤 PSF가 카메라 모듈내의 렌즈의 블러 특성에 따라 사전에 렌즈 맞춤식으로 추정되었기 때문에, 이러한 렌즈 맞춤 PSF를 이용하는 경우, 카메라 모듈내의 렌즈의 블러 특성을 가장 적절하게 보정할 수 있다.

일 예로, 이와 같은 렌즈 맞춤 PSF가 카메라 모듈의 생산 공정에서 추정되는 경우에는, 카메라 모듈내의 렌즈의 불량 판정을 줄일 수 있고, 이에 따라 수율을 높일 수 있는 강점이 있다.

한편, 본 발명의 각 실시 예에서, 전자 디바이스는, 카메라 장치, 스마트 폰 및 휴대용 컴퓨터 등을 비롯하여, 카메라 모듈이 필요한 전자 제품이면 해당될 수 있다.

다른 한편, 본 서류에 기술된 동작을 수행하는 로직부(122) 및 프로세서(200)는 하드웨어 컴포넌트들(components) 및/또는 소프트웨어 컴포넌트들에 의해 구현될 수 있다.

하드웨어 컴포넌트들의 예는 제어기들(controllers), 발전기들(generators), 드라이버들(drivers), 메모리들(memories), 와이파이 모듈(wi-fi modules), 및 당업자에게 공지된 임의의 다른 전자 컴포넌트들을 포함할 수 있다. 일 예에서, 하드웨어 컴포넌트들은 하나 이상의 프로세서(processors) 또는 컴퓨터들에 의해 구현될 수 있다.

프로세서 또는 컴퓨터는, 논리 게이트 어레이(array of logic gates), 제어기와 산술 논리 유니트(controller and an arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로 컴퓨터(microcomputer), 프로그램 가능한 로직 제어기(programmable logic controller), 필드 프로그래머블 게이트 어레이(field-programmable gate array), 프로그램 가능 로직 어레이(programmable logic array), 마이크로프로세서(microprocessor)와 같은 하나 이상의 프로세싱 엘리먼트들(processing elements), 또는 임의의 다른 디바이스 또는 당업자에게 자명한 디바이스들의 조합에 의해 구현될 수 있다.

일 예에서, 프로세서 또는 컴퓨터는, 이 프로세서나 컴퓨터에 의해 실행되는 컴퓨터 명령어들 또는 소프트웨어를 저장하는 하나 이상의 메모리를 포함하거나, 상기 하나 이상의 메모리에 접속될 수 있다.

프로세서 또는 컴퓨터에 의해 구현되는 하드웨어 컴포넌트들(hardware components)은, 본 서류에 기재된 동작을 수행하도록, 운영 체제 (Operating System: OS) 및 이러한 OS에서 실행되는 하나 이상의 소프트웨어 어플리케이션(software applications)과 같은, 컴퓨터 명령들 또는 소프트웨어를 실행할 수 있다.

상기 하드웨어 컴포넌트들은 또한 컴퓨터 명령들 또는 소프트웨어의 실행에 응답하여, 데이터의 조작(manipulate), 프로세스(process), 생성(create) 및 저장(store)할 수 있다.

여기서, 상기 프로세서(200)는, 일 예로, 전자 디바이스의 어플리케이션 프로세서(Application Processor)가 될 수 있으나, 이에 한정되지는 않는다.

도 4는 본 발명의 일 실시 예에 따른 렌즈 맞춤 PSF의 추정을 위한 카메라 모듈의 동작방법을 보이는 플로우챠트이고, 도 5는 도 4의 렌즈 맞춤 PSF의 추정 과정에 대한 설명도이다.

도 4 및 도 5를 참조하여, 본 발명의 일 실시 예에 따른 렌즈 맞춤 PSF의 추정을 위한 카메라 모듈의 동작방법에 대한 설명에 있어서, 도 2를 참조하여 이루어진 설명이 적용될 수 있으며, 이에 따라 가능한 중복되는 세부 설명은 생략될 수 있다.

도 2, 도 4 및 도 5를 참조하면, S110 단계에서, 상기 카메라 모듈(100)이, 상기 렌즈 모듈(110)을 통해 이미지 차트(ICT)를 촬영하여 획득된 블러 이미지(X)와 상기 이미지 차트(ICT)에 대응되는 블러없는 기준 이미지(Y)로 이루어지는 한 쌍의 이미지(X,Y)를 획득한다.

이때, 렌즈 맞춤 PSF(PSF-LC)를 추정하기 위해서는 화질 개선을 희망하는 카메라 모듈(100)을 통해 촬영된 블러 이미지(X)(또는 목표 이미지)와 기준 이미지(Y)가 필요하다.

여기서, 상기 블러 이미지(X)는 화질 개선을 희망하는 카메라 모듈(100)을 통해 촬영하여 렌즈 모듈(110)이 갖는 블러 특성에 따라 블러를 포함하는 이미지로서, 이는 상기 기준 이미지(Y)에 대응되는 이미지 차트를 해당 카메라 모듈(100)을 통해 획득될 수 있다. 상기 이미지 차트는 일 예로, 랜덤 노이즈 챠트(random noise chart)가 될 수 있다.

상기 기준 이미지(Y)는 상기 이미지 차트(ICT)에 대응되는 블러없는 이미지로서, 일 예로, 이미지 차트(ICT)의 파일 이미지가 될 수 있고, 또는 성능이 좋은 카메라 모듈을 같은 상기 이미지 차트를 촬영해 획득될 수 있다.

여기서, 상기 한 쌍의 이미지(X,Y)는 베이어 패턴 원본 데이타(bayer pattern raw data)이기 때문에 복수의 색상 채널이 혼합되어 있어서, 하기에서 설명되는 바와 같이 상기 한 쌍의 이미지(X,Y)는 복수의 채널의 이미지(XS,YS)로 각각 분리될 수 있다.

S120 단계에서, 상기 카메라 모듈(100)이, 상기 한 쌍의 이미지(X,Y)를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지(XS,YS)를 획득할 수 있다.

일 예로, 상기 한 쌍의 이미지(X,Y) 각각을 색상 채널 별로 각각 분리하여, 각 색상 채널별 이미지를 포함하는 복수의 채널 이미지(XS,YS)를 획득할 수 있다. 예를 들어, 베이어 패턴(Bayer pattern)이 "GRBG"인 경우, 상기 한 쌍의 이미지(X,Y) 각각에 대해 총 4개 색상 채널(channels)로 분리되어, 결국 블러 이미지(X)에 대한 4개의 이미지와, 기준 이미지(Y)에 대한 4개의 이미지를 포함하여, 전체 8개의 색상 채널 이미지(XS,YS)가 생성될 수 있다.

S130 단계에서, 상기 카메라 모듈(100)이, 상기 복수의 채널 이미지(XS,YS) 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어(XS-ROI,YS-ROI)를 설정하며, 각 관심영역 이미지 페어(XS-ROI,YS-ROI)에 대한 이미지 정합을 수행한다.

일 예로, 베이어 패턴(Bayer pattern)이 "GRBG"인 경우, G(Green),R(Red), B(Blue) 및 G(Green)의 각 색상 채널별로 분리된 채널 이미지(XS,YS) 각각을 가로 및 세로로 여러 구역으로 분할하여, 격자 판과 같이 복수의 영역으로 구분하고, 상기 복수의 영역 각각에 대해 색상 채널별로 렌즈 맞춤 PSF(PSF-LC)를 추정하여, 하나의 영역에 대해 G(Green),R(Red), B(Blue) 및 G(Green) 각각 1개씩, 총 4개의 렌즈 맞춤 PSF(PSF-LC)가 추정될 수 있다.

다음, 상기 복수의 영역 이미지에 대해 각 관심영역(ROI: Region Of Interest) 이미지 페어(XS-ROI,YS-ROI)를 설정하고, 상기 각 관심영역 이미지 페어(XS-ROI,YS-ROI)에 대해 이미지 정합(Image registration)을 수행한다.

여기서, 이미지 정합이란 두 장의 이미지를 겹쳤을 때 일치하게 만드는 것을 의미한다. 실제 촬영에서는 카메라 모듈이 항상 일정한 위치에 일정하게 놓여있지 않고, 렌즈도 정확한 결합이 되어있지 않기 때문에, 상기 블러 이미지(X)와 기준 이미지(Y)가 완벽히 매칭되지 않으면 정확한 PSF 추정이 어렵다.

이에 따라, 보다 정확한 렌즈 맞춤 PSF를 추정하기 위해, 블러 이미지(X)와 기준 이미지(Y)의 격자 쌍을 매칭시켜 두 이미지를 일치시킨다.

S140 단계에서, 상기 카메라 모듈(100)이, 상기 정합된 각 관심영역 이미지 페어(XS-ROI,YS-ROI)를 이용하여, 상기 카메라 모듈(100)에 포함된 렌즈 모듈(110)내의 렌즈의 블러 특성을 보정하기 위한 렌즈 맞춤 PSF(PSF-LC)를 추정할 수 있다.

전술한 바와 같이, 이미지 정합된 각 관심영역 이미지 페어(XS-ROI,YS-ROI)를 이용하여 해당 카메라 모듈(100)내의 렌즈의 블러 특정을 보정하기 위한 렌즈 맞춤 PSF(PSF-LC)를, 일 예로 하기 수학식1을 이용하여 추정할 수 있다.

여기서, *는 콘볼루션(convolution)이다.

상기 수학식 1에서, 상기 콘볼루션(Convolution)의 역 연산은 실제로 존재하지 않기 때문에, 주파수 영역에서 "블러 이미지(X)/기준 이미지(Y)"를 수행하거나 LSM(least square method)를 사용하는 등과 같이, 렌즈 맞춤 PSF(PSF-LC)의 추정에는 주지된 여러 PSF 추정 알고리즘 중 하나가 이용될 수 있다.

그리고, S150 단계에서, 상기 카메라 모듈(100)이, 상기 렌즈 맞춤 PSF(PSF-LC)를 제1 메모리(122A)에 저장할 수 있다.

여기서, 상기 렌즈 맞춤 PSF(PSF-LC)을 저장하기 이전에, 이미지 복원 시 부작용을 줄이기 위한 후처리 연산을 수행할 수 있고, 상기 후처리 연산에 의해 획득된 렌즈 맞춤 PSF(PSF-LC)를 상기 센서 모듈(120)의 제1 메모리(I22A)에 저장할 수 있다.

여기서, 상기 후처리 연산은, 상기 렌즈 맞춤 PSF(PSF-LC)를 이미지 복원에 사용했을 때, 부작용이 발생하는 것을 줄이기 위해 수행되는 연산으로써, 일 예로, 윈도잉(windowing)이나 가중 평균(weighted average) 같은 추가적인 연산이 될 수 있다.

도 6의 (a),(b)는 본 발명의 일 실시 예에 따른 렌즈 맞춤 PSF을 추정하기 위해 필요한 이미지 차트(ICT) 및 렌즈 맞춤 PSF의 예시도이다.

도 6의 (a)를 참조하면, 상기 이미지 차트(ICT)는, 일 예로 모든 주파수 영역에서 특성이 균일한 랜덤 노이즈 챠트(Random noise chart)를 사용하는 경우, 추정 오류를 최소화할 수 있다.

일 예로, 도 6의 (a)에 도시된 이미지 차트(ICT)는 가로x세로가 16x9의 격자로 구분되어 있으며, 여기서 하나의 격자는 이미지 정합(registration)을 위한 8개의 점과 노이즈 파트(noise part)를 포함할 수 있다.

이와 같은 이미지 차트(ICT)는, 도 6의 (a)에 도시된 바와 같은 고정된 디자인일 필요는 없으며, 이미지 정합(registration)을 위한 점은 추가 혹은 생략될 수도 있다. 또한 격자의 개수나 랜덤 노이즈(random noise)의 영역 역시 변경 가능하다.

도 6의 (b)를 참조하면, 도 6의 (b)에 도시된 이미지는 이미지 차트(ICT)를 이용하여 추정된 복수의 렌즈 맞춤 PSF의 집합에 의해 보여지는 이미지이다.

도 6의 (b)에 도시된 PSF 이미지에서, 확대된 사각형의 PSF은 하나의 격자 영역에 대한 PSF를 나타낸다. 예시는 9x9의 픽셀(pixel)로 구성되어 있다. 렌즈 맞춤 PSF의 추정시, 입력 데이타로 베이어 패턴 원본 데이타(Bayer pattern raw data)를 사용한다면 모든 채널에 대해 PSF를 구하기 때문에 각 채널별로 여러 장의 렌즈 맞춤 PSF의 집합이 존재할 수 있다.

한편, 카메라 모듈의 메모리 저장 공간상의 제약으로, 모든 채널의 렌즈 맞춤 PSF을 구할 수 없는 경우, 디베이어(debayer) 이후의 이미지를 YCbCr 방식으로 변환하여 Y 채널만 가지고 PSF를 추정하는 방법을 사용할 수 있다. 이 경우, Y 채널 하나에 대해서만 PSF의 집합이 존재한다. 입력 데이터에 이미 디베이어(debayer)가 적용돼 있는 경우, 역시 동일한 방법으로 PSF를 추정할 수 있다.

전술한 바와 같이 추정된 렌즈 맞춤 PSF는, 센서 모듈(120)이나 프로세서(200)의 내부 메모리에 저장될 수 있다. 여기서, 렌즈 맞춤 PSF의 값 자체를 저장할 수도 있고, 이를 모델링 하여 PSF를 대표하는 특정 계수를 뽑아낸 다음 이 계수만 저장하는 방법을 사용할 수도 있다.

도 7은 본 발명의 일 실시 예에 따른 로직부의 제1 구현 예시도이고, 도 8은 본 발명의 일 실시 예에 따른 로직부의 제2 구현 예시도이다.

도 7에 도시한 바와 같이, 상기 로직부(122)는 렌즈 맞춤 PSF(PSF-LC)을 저장하는 제1 메모리(122A)를 포함할 수 있다.

도 8에 도시한 바와 같이, 상기 로직부(122)는 렌즈 맞춤 PSF(PSF-LC)를 저장하는 제1 메모리(122A)와 보정 알고리즘을 저장하는 제2 메모리(122B)를 포함할 수 있다.

일 예로, 도 7 및 도 8에 도시된 바와 같이, 상기 제1 메모리(122A)에 저장되어 있는 렌즈 맞춤 PSF(PSF-LC)는 렌즈 맞춤 PSF 테이블로 저장될 수 있다.

여기서, 상기 렌즈 맞춤 PSF 테이블은 블러 이미지 또는 이미지 센서의 픽셀의 위치를 P11,P12,...Pnm이라 하면, 상기 각 픽셀의 위치 P11(1.1),P12(1,2),...Pnm(n,m) 각각에 대한 렌즈 맞춤 PSF의 값인 V11, V12,...Vnm이 매핑되어 저장될 수 있다.

이에 따라, 보정 알고리즘 실행 시, 블러 이미지 또는 이미지 센서의 픽셀의 위치(P11,P12,...Pnm)별로, 해당 렌즈 맞춤 PSF(V11, V12,...Vnm중 해당 값)를 이용하여 보정이 수행된다.

도 9는 본 발명의 제2 실시 예에 따른 카메라 모듈의 동작방법을 보이는 플로우챠트이고, 도 10은 도 9의 카메라 모듈 및 전자 디바이스의 동작과정 설명도이다.

도 2, 도 8, 도 9 및 도 10을 참조하면, 먼저 S210 단계에서, 카메라 모듈(100)의 센서 모듈(120)이, 상기 렌즈 모듈(110)을 통한 피사체의 입력되는 이미지를 센싱하여 이미지를 획득할 수 있다.

S220 단계에서, 상기 카메라 모듈(100)의 센서 모듈(120)이, 이미지 블러 제거용 보정 알고리즘을 실행시켜, 상기 렌즈 모듈(110)내의 렌즈의 블러 특성을 보정하기 위해, 사전에 추정된 렌즈 맞춤 PSF(PSF_LC)를 이용하여, 상기 이미지에 대한 블러를 보정할 수 있다.

그리고, S230 단계에서, 상기 카메라 모듈(100)의 센서 모듈(120)이, 상기 렌즈 맞춤 PSF(PSF_LC)를 이용한 상기 보정을 통해, 화질 향상된 이미지(enhanced image)를 제공할 수 있다.

이때, 상기 렌즈 맞춤 PSF은 센서 모듈(120)에 포함된 로직부(122)의 제1 메모리(122A)에 저장되어 있고, 상기 보정 알고리즘은 상기 로직부(122)의 제2 메모리(122B)에 저장되어 있다. 상기 로직부(122)가 제2 메모리(122B)의 상기 보정 알고리즘을 실행되면, 상기 보정 알고리즘은, 상기 제1 메모리(122A)로부터 렌즈 맞춤 PSF를 읽어와서 이미지 보정을 수행하며, 이에 따라, 입력 이미지가 복원되어 화질이 개선된 이미지가 제공될 수 있다.

이때, 카메라 모듈(100)에서 출력 이미지는 상기 보정 알고리즘에 의해 입력 이미지가 보정된 이미지로서, 입력 데이타와 동일한 형식을 가지고 있어 추가적인 처리 없이 프로세서(200)에서 처리될 수 있는 장점이 있다.

전술한 바와 같이, 렌즈 맞춤 PSF(PSF-LC)는 카메라 모듈(100)의 센서 모듈(120)의 내부 메모리에 저장될 수 있고, 이와 달리, 카메라 모듈의 외부에 배치되는 프로세서(200)에 저장될 수 있다.

상기 보정 알고리즘의 실행되면, 촬영된 입력 이미지(input image)에 대해 사전에 저장된 렌즈 맞춤 PSF를 읽어와 디콘볼루션(deconvolution) 등의 보정 과정이 수행되어, 촬영된 이미지가 보다 깨끗한 이미지로 복원되어 출력될 수 있다.

여기서, 보정 알고리즘으로 디콘볼루션(deconvolution)이 적용될 수 있고, 상기 디콘볼루션(deconvolution)은 이미지 보정을 위해 주지된 디콘볼루션중에서 어느 하나가 이용될 수 있으며, 일 예로, 디콘볼루션(deconvolution)의 예로는 위너 필터(wiener filter)나 리차드-루시 방법(Richard-Lucy method), 최소 자승법(Least square)을 이용한 반복적(iteration) 방법 등이 있다.

도 11은 본 발명의 제3 실시 예에 따른 전자 디바이스의 동작방법을 보이는 플로우챠트이고, 도 12는 도 11의 전자 디바이스의 동작과정 설명도이다.

도 3, 도 7, 도 11 및 도 12를 참조하면, 먼저 S310 단계에서, 상기 카메라 모듈(100)이 상기 렌즈 모듈(110)을 통한 입력되는 피사체의 이미지를 센싱하여 이미지를 획득하여 프로세서(200)에 제공하고, 상기 카메라 모듈(100)이 사전에 추정된 렌즈 맞춤 PSF(PSF_LC)를 프로세서(200)에 제공할 있다.

S320 단계에서, 상기 프로세서(200)가, 제3 메모리(200A)에 저장된 보정 알고리즘을 실행시켜, 상기 카메라 모듈(100)로부터 제공받은 렌즈 맞춤 PSF(PSF_LC)를 이용하여, 상기 이미지에 대한 블러를 보정할 수 있다.

일 예로, 카메라 모듈(100)을 통해 획득된 이미지는 복원 없이 카메라 모듈(100)에서 프로세서(200)에 전달될 수 있다. 이때, 프로세서(200)에서 보정 알고리즘이 수행되면, 상기 보정 알고리즘에 의해 렌즈 맞춤 PSF(PSF_LC)가 이용되고, 상기 보정 알고리즘의 실행에 따라 상기 이미지가 보정되어 화질이 개선될 수 있다.

그리고, S330 단계에서, 상기 렌즈 맞춤 PSF(PSF_LC)를 이용한 상기 보정을 통해, 화질 향상된 이미지를 제공할 수 있다.

일 예로, 상기 전자 디바이스가 출력 디바이스(output device)를 더 포함할 수 있고, 이 경우에, 상기 전자 디바이스의 프로세서(200)에서 보정된 이미지는 출력 디바이스(output device)에 전달될 수 있다. 이때, 출력 디바이스에 전달되기 이전에, 상기 보정된 이미지는 다른 알고리즘을 더 거쳐서 이미지 처리될 수 있다.

도 13은 본 발명의 일 실시 예에 따른 블러 이미지 및 화질 개선된 이미지에 대한 예시도이다.

도 13을 참조하면, 전술한 바와 같이 보정 알고리즘의 실행에 따라, 카메라 모듈(100)을 통해 피사체의 이미지가 입력되면, 렌즈 맞춤 PSF의 추정 방법과 동일하게 채널 별로 픽셀을 분리한 뒤, 구역 별로 영역을 나누어 해당 영역별 렌즈 맞춤 PSF을 이용하여 보정 절차가 수행되어 이미지가 보정되어 보다 깨끗하게 화질이 개선된 이미지가 제공될 수 있다.

전술한 바와 같은 본 발명의 실시 예에 의하면, 각 카메라 모듈은 자신의 렌즈의 블러 특성을 보정하도록, 일 예로 생산 공정 등에서 사전에 추정된 렌즈 맞춤 PSF을 포함하고 있으며, 이 렌즈 맞춤 PSF을 이용함으로써, 해당 카메라 모듈내의 렌즈 블러에 대해 최적의 이미지 보정을 수행할 수 있고, 이에 따라 카메라 모듈이 탑재된 전자 디바이스의 성능을 향상시킬 수 있다.

100: 카메라 모듈
110: 렌즈 모듈
120: 센서 모듈
121: CMOS 이미지 센서
122: 로직부(logic part)
122A: 제1 메모리
122B: 제2 메모리
130: 액추에이터(actuator)
200: 프로세서
200A: 제3 메모리

Claims (16)

1. 복수의 렌즈를 갖는 렌즈 모듈; 및
   상기 렌즈 모듈을 통해 입력되는 이미지를 센싱하는 이미지 센서와, 상기 이미지 센서에 의해 센싱된 이미지를 처리하는 로직부를 갖는 센서 모듈; 를 포함하고,
   상기 로직부는 상기 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 사전에 추정된 렌즈 맞춤 PSF를 포함하고,
   상기 렌즈 맞춤 PSF는, 상기 카메라 모듈의 생산 공정에서, 상기 렌즈 모듈을 통해 이미지 차트를 촬영하여 획득된 블러 이미지와 상기 이미지 차트에 대응되고, 상기 렌즈 모듈과는 무관하게 획득된, 블러없는 기준 이미지를 이용하여 추정된 PSF인
   카메라 모듈.
   
2. 제1항에 있어서, 상기 렌즈-맞춤형 PSF는,
   상기 카메라 모듈이, 상기 블러 이미지와, 상기 블러없는 기준 이미지로 이루어진 한 쌍의 이미지를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지를 획득하고, 상기 복수의 채널 이미지 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어를 설정하고, 각 관심영역 이미지 페어에 대한 이미지 정합을 수행하며, 상기 정합된 각 관심영역 이미지 페어를 이용하여, 상기 카메라 모듈에 포함된 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 추정 과정을 통해 획득된
   카메라 모듈.
   
3. 제1항에 있어서, 상기 렌즈 맞춤 PSF는
   상기 블러 이미지와 상기 블러없는 기준 이미지로 이루어지는 한 쌍의 이미지를 이용하여, 상기 블러 이미지의 위치별로 추정된 복수의 렌즈 맞춤 PSF를 포함하는
   카메라 모듈.
   
4. 제1항에 있어서, 상기 로직부는,
   상기 렌즈 맞춤 PSF을 이용하여, 상기 이미지 센서로부터의 이미지에 대한 블러를 보정하는 보정 알고리즘을 포함하는 카메라 모듈.
   
5. 카메라 모듈; 및
   프로세서; 를 포함하고,
   상기 카메라 모듈은
   복수의 렌즈를 갖는 렌즈 모듈; 및
   상기 렌즈 모듈을 통해 입력되는 이미지를 센싱하여 이미지를 제공하는 이미지 센서와, 상기 이미지 센서에 의해 센싱된 이미지를 처리하는 로직부를 갖는 센서 모듈; 를 포함하고,
   상기 로직부는 상기 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해, 사전에 추정된 렌즈 맞춤 PSF를 포함하고,
   상기 프로세서는,
   상기 로직부로부터 제공받은 렌즈 맞춤 PSF을 이용하여, 상기 카메라 모듈로부터의 이미지에 대한 블러를 보정하는 보정 알고리즘을 포함하고,
   상기 렌즈 맞춤 PSF는, 상기 카메라 모듈의 생산 공정에서, 상기 렌즈 모듈을 통해 이미지 차트를 촬영하여 획득된 블러 이미지와 상기 이미지 차트에 대응되고, 상기 렌즈 모듈과는 무관하게 획득되는, 블러없는 기준 이미지를 이용하여 추정된 PSF인
   전자 디바이스.
   
6. 제5항에 있어서, 상기 렌즈-맞춤형 PSF는,
   상기 카메라 모듈이, 상기 블러 이미지와, 상기 블러없는 기준 이미지로 이루어진 한 쌍의 이미지를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지를 획득하고, 상기 복수의 채널 이미지 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어를 설정하고, 각 관심영역 이미지 페어에 대한 이미지 정합을 수행하며, 상기 정합된 각 관심영역 이미지 페어를 이용하여, 상기 카메라 모듈에 포함된 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 추정 과정을 통해 획득된
   전자 디바이스.
   
7. 제5항에 있어서, 상기 렌즈 맞춤 PSF은
   상기 블러 이미지와 상기 블러없는 기준 이미지로 이루어지는 한 쌍의 이미지를 이용하여, 상기 블러 이미지의 위치별로 추정된 복수의 렌즈 맞춤 PSF를 포함하는
   전자 디바이스.
   
8. 렌즈 모듈 및 센서 모듈을 포함하는 카메라 모듈의 동작방법에 있어서,
   상기 렌즈 모듈을 통해 이미지 차트를 촬영하여 획득된 블러 이미지와, 상기 이미지 차트에 대응되고, 상기 렌즈 모듈과는 무관하게 획득된, 블러없는 기준 이미지로 이루어지는 한 쌍의 이미지를 획득하는 단계;
   상기 한 쌍의 이미지를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지를 획득하는 단계;
   상기 복수의 채널 이미지 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어를 설정하고, 각 관심영역 이미지 페어에 대한 이미지 정합을 수행하는 단계;
   상기 정합된 각 관심영역 이미지 페어를 이용하여, 상기 카메라 모듈에 포함된 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위한 렌즈 맞춤 PSF를 추정하는 단계; 및
   상기 렌즈 맞춤 PSF을 저장하는 단계; 를 포함하고,
   상기 렌즈 맞춤 PSF은
   상기 블러 이미지와 상기 블러없는 기준 이미지를 이용하여 추정된 PSF인
   카메라 모듈의 동작방법.
   
9. 제8항에 있어서, 상기 렌즈 맞춤 PSF을 저장하는 단계는,
   상기 렌즈 맞춤 PSF을 저장하기 이전에, 이미지 복원 시 부작용을 줄이기 위한 후처리 연산을 수행하고, 상기 후처리 연산에 의해 획득된 렌즈 맞춤 PSF을 상기 센서 모듈에 저장하는
   카메라 모듈의 동작방법.
   
10. 제8항에 있어서, 상기 단계들은,
    상기 카메라 모듈의 생산 공정에서 수행되는 카메라 모듈의 동작방법.
    
11. 렌즈 모듈 및 센서 모듈을 포함하는 카메라 모듈의 동작방법에 있어서,
    상기 센서 모듈이 상기 렌즈 모듈을 통해 입력되는 이미지를 센싱하여 이미지를 획득하는 단계;
    상기 센서 모듈이, 이미지 블러 제거용 보정 알고리즘을 실행시켜, 상기 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해, 사전에 추정된 렌즈 맞춤 PSF를 이용하여, 상기 이미지에 대한 블러를 보정하는 단계; 및
    상기 렌즈 맞춤 PSF를 이용한 상기 보정을 통해, 화질 향상된 이미지를 제공하는 단계; 를 포함하고,
    상기 렌즈 맞춤 PSF는, 상기 카메라 모듈의 생산 공정에서, 상기 렌즈 모듈을 통해 이미지 차트를 촬영하여 획득된 블러 이미지와 상기 이미지 차트에 대응되고, 상기 렌즈 모듈과는 무관하게 획득되는, 블러없는 기준 이미지를 이용하여 추정된 PSF인
    카메라 모듈의 동작방법.
    
12. 제11항에 있어서, 상기 렌즈-맞춤형 PSF는,
    상기 카메라 모듈이, 상기 블러 이미지와, 상기 블러없는 기준 이미지로 이루어진 한 쌍의 이미지를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지를 획득하고, 상기 복수의 채널 이미지 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어를 설정하고, 각 관심영역 이미지 페어에 대한 이미지 정합을 수행하며, 상기 정합된 각 관심영역 이미지 페어를 이용하여, 상기 카메라 모듈에 포함된 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 추정 과정을 통해 획득된
    카메라 모듈의 동작방법.
    
13. 제11항에 있어서, 상기 렌즈 맞춤 PSF은
    상기 블러 이미지와 상기 블러없는 기준 이미지로 이루어지는 한 쌍의 이미지를 이용하여, 상기 블러 이미지의 위치별로 추정된 복수의 렌즈 맞춤 PSF를 포함하는
    카메라 모듈의 동작방법.
    
14. 렌즈 모듈 및 센서 모듈을 포함하는 카메라 모듈과, 상기 카메라 모듈로부터의 신호를 처리하는 프로세서를 포함하는 전자 디바이스의 동작방법에 있어서,
    상기 카메라 모듈이 상기 렌즈 모듈을 통한 입력되는 이미지를 센싱하여 이미지를 획득하여 프로세서에 제공하고, 사전에 추정된 렌즈 맞춤 PSF를 제공하는 단계;
    상기 프로세서가, 이미지 블러 제거용 보정 알고리즘을 실행시켜, 상기 카메라 모듈로부터 제공받은 렌즈 맞춤 PSF를 이용하여, 상기 이미지에 대한 블러를 보정하는 단계; 및
    상기 렌즈 맞춤 PSF를 이용한 상기 보정을 통해, 화질 향상된 이미지를 제공하는 단계; 를 포함하고,
    상기 렌즈 맞춤 PSF는, 상기 카메라 모듈의 생산 공정에서, 상기 렌즈 모듈을 통해 이미지 차트를 촬영하여 획득된 블러 이미지와 상기 이미지 차트에 대응되고, 상기 렌즈 모듈과는 무관하게 획득되는, 블러없는 기준 이미지를 이용하여 추정된 PSF인
    전자 디바이스의 동작방법.
    
15. 제14항에 있어서, 상기 렌즈-맞춤형 PSF는,
    상기 카메라 모듈이, 상기 블러 이미지와, 상기 블러없는 기준 이미지로 이루어진 한 쌍의 이미지를 기 설정된 색상 채널별로 분리하여 복수의 채널 이미지를 획득하고, 상기 복수의 채널 이미지 각각을 세로 및 가로로 복수의 구역으로 분할하여 복수의 영역 이미지로 구분하고, 상기 복수의 영역 이미지 각각에 대해 관심영역 이미지 페어를 설정하고, 각 관심영역 이미지 페어에 대한 이미지 정합을 수행하며, 상기 정합된 각 관심영역 이미지 페어를 이용하여, 상기 카메라 모듈에 포함된 렌즈 모듈내의 렌즈의 블러 특성을 보정하기 위해 추정 과정을 통해 획득된
    전자 디바이스의 동작방법.
    
16. 제14항에 있어서, 상기 렌즈 맞춤 PSF은
    상기 블러 이미지와 상기 블러없는 기준 이미지로 이루어지는 한 쌍의 이미지를 이용하여, 상기 블러 이미지의 위치별로 추정된 복수의 렌즈 맞춤 PSF를 포함하는
    전자 디바이스의 동작방법.
    

Images