KR100645636B1

KR100645636B1 - Ｄｃｔ 계수를 이용한 카메라의 자동초점조절장치 및 그방법

Info

Publication number: KR100645636B1
Application number: KR1020040103833A
Authority: KR
Inventors: 김태응
Original assignee: 삼성전기주식회사
Priority date: 2004-12-09
Filing date: 2004-12-09
Publication date: 2006-11-15
Anticipated expiration: 2024-12-09
Also published as: DE102005040568A1; GB2421131A; GB0513007D0; US7502523B2; US20060127077A1; KR20060065099A; DE102005040568B4; GB2421131B; JP2006163350A

Abstract

본 발명은 휴대폰, 스마트폰, PDA 등에 장착되는 카메라 모듈이 압축모듈로부터 이산코사인변환계수를 얻어 렌즈의 초점을 맞출수 있도록 하는 이산코사인변환계수를 이용한 카메라의 자동초점조절장치 및 그 방법에 관한 것으로, 광신호를 전기적 신호로 변환하는 이미지 센서; 상기 이미지 센서로부터 전기적 신호를 입력받아 디지털화된 영상 데이터를 출력하는 ISP부; 상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화한 후에 각 블럭에 대해 이산코사인변환을 수행하여 각 블럭별로 이산코사인변환 계수값을 출력하는 압축모듈; 상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 설정된 윈도우 설정 영역내의 블럭에 대해 고정스텝 크기로 양자화한 후에 소정 차수 범위의 양자화된 이산코사인변환계수값을 적분하여 초점값을 산출하는 초점값 산출부; 및 상기 초점값 산출부로부터 초점값이 입력되면 렌즈의 포커스 렌즈를 이동시키면서 최대 초점값을 검출하여 자동초점조절을 수행하는 자동초점디지털신호처리기를 포함하여 이루어진 카메라의 자동초점조절장치가 제공된다.

카메라, 자동초점, 초점조절, DCT 계수, 이산코사인변환

Description

ＤＣＴ 계수를 이용한 카메라의 자동초점조절장치 및 그 방법{Auto focusing apparatus using DCT parameter and method thereof}

도 1은 종래 기술에 따른 자동초점조절장치가 포함된 카메라 모듈의 구성도.

도 2는 종래 기술에 따른 자동초점조절방법을 설명하기 위한 도면.

도 3은 본 발명의 일실시예에 따른 이산코사인변환계수(DCT계수)를 이용한 카메라의 자동초점조절장치의 구성도.

도 4는 도 3의 압축모듈 및 초점값 산출부의 상세 블럭도.

도 5a는 도 3의 이미지 포맷부의 산출값을 보여주는 예시도이고, 도 5b는 도 3의 주파수변환부에 입력되는 블럭화된 영상 신호를 나타내는 도면이고, 도 5c는 도 3의 주파수 변환부에서 출력되는 DCT 계수의 분포도, 도 5d는 도 3의 양자화기의 출력값을 나타내는 도면이며, 도 5e는 초점값 산출부에서 이용하는 윈도우를 설명하기 위한 도면이며, 도 5f는 초점값을 이용한 초점 조절을 설명하기 위한 도면.

도 6은 본 발명의 일실시예에 따른 DCT계수를 이용한 카메라의 자동초점조절 방법의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

311 : 렌즈부 312 : 이미지 센서 및 ISP부

313 : 압축모듈 314 : 초점값 산출부

315 : 자동초점 디지털신호처리기 316 : 액츄에이터 드라이버

317 : 액츄에이터 410 : 이미지 포맷부

415 : 주파수 변환부 420 : 재정렬부

425 : 양자화부 430 : 가변길이코더

435 : 고정 스텝크기 양자화부 440 : 적분기

445 : 윈도우 조절부

본 발명은 카메라의 자동초점조절장치 및 그 방법에 관한 것으로, 특히 휴대폰, 스마트폰, PDA 등에 장착되는 카메라 모듈이 압축모듈로부터 이산코사인변환계수를 얻어 렌즈의 초점을 맞출수 있도록 하는 이산코사인변환계수를 이용한 카메라의 자동초점조절장치 및 그 방법에 관한 것이다.

최근 정보화 사회의 급격한 발달은 단순히 음성만을 전달하는 이동통신단말기 이외에도 다양한 기능이 추가된 복합 이동통신단말기의 개발이 요구하고 있다.

따라서, 멀티미디어 시대에 맞추어 영상 송수신 등의 기능과 음성 송수신 기 능이 함께 구현된 휴대용 복합 이동통신단말기가 구현되었다.

이러한 복합 이동통신단말기로는 사용자가 평소 휴대하고 다니는 이동통신단말기(일명 휴대폰)에 디지털 카메라 기능을 구현해 놓은 카메라폰이 있다.

사용자는 갑자기 어떤 장면이나, 업무상 필요한 피사체를 찍어 간직하고 싶을 때 이러한 카메라폰을 이용하여 원하는 장면을 찍어 내부에 저장할 수 있게 된다.

또한, 촬영한 영상을 이동통신단말기를 통해 무선으로 다른 이동통신단말기로 전송할 수 있으며 PC(Personal Computer) 등과 연결되어, PC의 화면으로 출력하거나 PC에 저장할 수 있다.

이러한 카메라폰에 대한 기술은 선출원된 국내특허출원번호 99-60177호(명칭 : 카메라폰에서의 촬영화상전송방법)에 개시되어 있다.

또한, 최근들어 TV 방송 프로그램을 수신하여 이를 출력할 수 있는 이동통신단말기(일명 TV폰)나 인터넷에 연결되어 인터넷 정보를 다운받을 수 있는 이동통신 단말기 및 동영상을 디스플레이 할 수 있는 이동통신단말기가 개발되었으며, 이러한 기능들은 모두 수행 가능한 차세대 이동통신단말기(IMT-2000)가 개발되고 있다.

일반적인 카메라폰의 구성은 영상을 촬영하는 카메라 모듈과 사용자의 음성 및 영상 중 하나를 전송하는 송신 모듈과, 그리고 상대 통화의 음성 및 영상중 하나를 수신하는 수신 모듈로 이루어져 있다.

여기에서 카메라 모듈은 렌즈 서브 시스템(lensing sub system) 및 영상 처리 서브 시스템을 포함하고 있다.

렌즈 서브 시스템은 줌 렌즈와 포커스 렌즈 등으로 구성된 렌즈부와, 렌즈부의 줌 렌즈 또는 포커스 렌즈를 구동하기 위한 액츄에이터, 액츄에이터 드라이버 등을 포함하고 있다.

그리고, 영상 처리 서브 시스템은 이미지 센서 및 ISP, 자동초점 디지털신호처리기(DSP; Digital Signal Processor) 등을 포함하고 있다.

한편, 렌즈 서브 시스템은 외부의 촬영 장면에 초점을 맞추고, 이 외부의 촬영 장면으로부터 범위가 정해진 특정 영역으로 입사하는 빛이(광원)이 이미지 센서에 부딪칠 수 있도록 한다.

그러면, 영상 처리 서브 시스템의 이미지 센서는 특정 흡수기간동안 광원이 부딪힘에 따라 전하를 축적하는 포토셀(photo-cell)들로 이루어져 있으며, 축적된 전하를 디지털값(픽셀값)으로 변환하여 출력한다.

그리고, 영상 처리 서브 시스템의 ISP는 획득한 픽셀들에 대한 디지털값을 압축, 스케일링 이미지 인헨스먼트(scaling image enhancement) 등과 같은 영상 처리를 수행하여 휴대폰 본체로 전송한다.

이때, 렌즈 서브 시스템은 선명한 이미지 촬영을 위하여 렌즈의 포커스 조정작업을 수행하게 되는데, 이때 사용되는 방법은 일반적인 사진 카메라나 디지털 카메라에 사용되는 자동초점조절(auto focus)장치를 그대로 사용하는 것으로 간략하게 살펴보면 다음과 같다.

일반적으로, 사진카메라나 디지털 카메라 등의 촬영 장치의 자동초점조절장치는 촬영하고자 하는 피사체를 향하여 구도를 설정한 다음, 릴리즈 버튼(release button)이 작동하기만 하면 자동으로 초점을 맞추어서 촬영이 이루어지도록 하는 장치이다.

이러한 자동초점장치는 크게 액티브(active) 방식과 패시브 방식으로 나누어진다.

액티브 방식은 카메라 스스로가 적외선이나 초음파 등을 발사한 다음 피사체에 반사되어 입사되는 빛이나 파동을 감지하여 피사체와의 거리를 측정하는 방식이다.

패시브 방식은 빛을 발광하는 발광부가 따로 없이 자연적인 조명하에서 피사체로부터 나오는 빛을 렌즈부를 통하여 입력받고 입력된 피사체의 명암차를 이용하여 피사체의 거리를 판별하는 방식이다.

즉, 패시브 방식은 이미지 센서로부터 나오는 영상 신호중에서 휘도 신호가 고대역 필터를 통과하여 얻어진 콘트라스트(contrast)에 비례하는 성분인 고역 주파수 신호를 매 프레임(frame)마다 검출하고, 얻어진 콘트라스트를 전 프레임의 콘트라스트와 비교하여 콘트라스트가 커지는 방향으로 포커스 렌즈를 움직여 가장 콘트라스트가 큰 상태에서 포커스 렌즈의 액츄에이터의 회전운동이 정지하도록 함으로써 자동초점조절기능이 얻어지도록 하는 것이다.

도 1은 종래 기술에 따른 자동초점조절장치가 포함된 카메라 모듈의 구성도로서, 렌즈부(11), 이미지센서 및 ISP부(12), 자동초점 디지털신호처리부(14), 액츄에이터 드라이버(15), 액츄에이터(16)로 구성된다.

렌즈부(11)는 줌렌즈(Zoom Lens), 포커스렌즈(Focus Lens)로 구성되며 줌렌 즈(Zoom Lens)는 영상을 확대하는 렌즈이고 포커스 렌즈는 영상의 초점을 맞추는 렌즈이다.

이미지센서와 ISP부(12)는 CCD나 CMOS를 이용한 센서(Sensor)를 사용하고 ISP는 사람의 시각에 맞게 이미지를 변환하도록 오토화이트밸랜스(Auto White Balance)나 오토익스포저(Auto Exposure), 감마 컬렉션(Gamma Correction) 등 신호처리를 하는 부분이다.

이미지 센서와 ISP부(12)는 휴대폰의 호스트(Host)(13)에서 마스터 클럭(Master Clock)을 받아, 수직 동기 신호 VSYNC, 수평 동기 신호 HSYNC, 픽셀 클럭(Pixel Clock)과 함께 영상 데이터를 Y/Cb/Cr 또는 R/G/B 등의 데이터로 하여 휴대폰의 호스트(13)로 출력한다.

자동초점디지털신호처리기(Auto Focus DSP)(14)는 ODM(Optical Detection Module)과 ODM 결과 값으로 자동초점(Auto Focus) 알고리즘을 수행하는 중앙처리장치(CPU)로 구성되어 있다.

여기에서, ODM은 일반적으로 고대역 통과 디지털 필터(Digital Filter), 적분기(integrator), 윈도우 제어 블럭(Window control Block)으로 구성되어 있다.

이미지 센서 및 ISP부(12)에서 전송되는 이미지 데이터는 Y신호를 자동초점 디지털신호처리기(13)에 입력으로 받아 고역통과필터를 통과 시키면 이미지의 에지성분만 추출되어 진다.

이때 이미지내 윈도우 영역을 윈도우 컨트롤 블럭(Window Control Block)에서 윈도우(Window)의 시작 (start) 위치와 종료(end) 위치를 전송받아 윈도우 (Window)내의 고역통과필터의 출력값을 적분기(Integrator)에서 누산하게 된다. 이렇게 누산된 초점값(Focus Value)는 카메라 모듈에서 초점을 조절하는 기준 데이타가 된다.

보통 정지 화상의 경우 렌즈(11)를 이동하여 초점을 맞추게 되는데 같은 화상이라도 초점이 맞는 경우는 초점값(Focus Value)이 높게 나오고, 초점이 안맞는 경우 초점값이 낮게 나오게 된다.

도 2를 보면 같은 이미지를 카메라가 입력해도 초점이 안 맞는 경우 'A'나 'C'의 영역과 같이 초점값이 낮게 나오고 높게 나올 경우 'B'와 같이 초점값이 높게 나오게 된다. 또 'B' 지점은 복잡한 이미지인 경우 더 높게 나오고, 단순한 그림은 낮게 나오게 된다. 보통 카메라의 초점은 중앙을 기준으로 많이 잡게 되고, 윈도우는 중심을 기준으로 놓이게 된다.

화면의 최고 초점값을 찾기 위해 액츄에이터 드라이버(15)를 통해 액츄에이터(16)를 움직여 렌즈(11)를 움직이게 한다. 도 2처럼 렌즈(11)를 움직이면서 초점값이 큰 곳을 찾아야 한다.

카메라 모듈에서는 이처럼 초점값을 찾는 알고리즘을 중앙처리장치가 실시하여 렌즈(11)를 앞으로 밀 것인지 뒤로 밀 것인지를 판단하여 액츄에이터 드라이버(15)를 제어하게 된다.

한편, 이동통신단말기에 있어서 자동초점조절장치는 최소의 비용과 최소한의 크기를 갖는 집적회로로 수행되어야 한다. 이상적으로, 초점조절방법은 자동초점조절만을 위한 특정 회로로 구현하지 않고 영상 장치에서 다른 목적을 위하여 다른 경우에 이용되는 구성요소를 이용하여야 한다.

상기와 같은 문제점을 해결하기 위하여 본 발명은, 휴대폰, 스마트폰, PDA 등에 사용되는 카메라 모듈이 압축 모듈로부터 필요한 정보를 얻어 렌즈의 초점을 맞추도록 하는 카메라의 자동초점조절장치 및 그 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명은, 광신호를 전기적 신호로 변환하는 이미지 센서; 상기 이미지 센서로부터 전기적 신호를 입력받아 디지털화된 영상 데이터를 출력하는 ISP부; 상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화한 후에 각 블럭에 대해 이산코사인변환을 수행하여 각 블럭별로 이산코사인변환 계수값을 출력하는 압축모듈; 상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 설정된 윈도우 설정 영역내의 블럭에 대해 고정스텝 크기로 양자화한 후에 소정 차수 범위의 양자화된 이산코사인변환계수값을 적분하여 초점값을 산출하는 초점값 산출부; 및 상기 초점값 산출부로부터 초점값이 입력되면 렌즈의 포커스 렌즈를 이동시키면서 최대 초점값을 검출하여 자동초점조절을 수행하는 자동초점디지털신호 처리기를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명은, 이미지 센서 및 ISP부가 프레임 단위로 영상 데이터를 획득하여 압축모듈로전송하는 제 1 단계; 상기 압축모듈은 프레임을 소정크기를 갖는 복수의 블럭으로 블럭화한 후에, 각 블럭에 대하여 이산코사인변환을 수행하여 이산코사인변환계수를 출력하는 제2 단계; 초점값 산출부는 상기 압축모듈로부터 블럭별 이산코사인변환계수가 입력되면 고정스텝크기 양자화를 수행하고 윈도우 설정 영역내의 블럭에 대한 소정차수 범위의 양자화된 이산코사인 변환계수를 적분하여 초점값을 산출하는 제 3 단계; 및 자동초점디지털신호처리기는 상기 제 3 단계에서 산출된 초점값을 입력받아 렌즈부의 포커스 렌즈를 이동시키며 최대 초점값을 산출하여 자동초점조정을 수행하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.

이제, 도 3 이하의 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

도 3은 본 발명의 일실시예에 따른 이산코사인변환계수를 이용한 카메라의 자동초점조절장치의 구성도이다.

도면을 참조하면, 본 발명의 일실시예에 따른 이산코사인변환계수를 이용한 카메라의 자동초점장치는 렌즈부(311), 이미지 센서 및 ISP(312), 압축모듈(313), 초점값 산출부(314), 자동초점디지털신호처리기(315), 액츄에이터 드라이버(316), 액츄에이터(317)를 구비하고 있다. 여기에서 이미지 센서 및 ISP부(312)는 이미지 센서와 ISP를 일체화하여 구현하였으나 이미지 센서와 ISP를 별개로 분리하여 구현할 수도 있다.

렌즈부(311)는 줌렌즈(Zoom Lens), 초점렌즈(Focus Lens)로 구성되며 줌렌즈(Zoom Lens)는 영상을 확대하는 렌즈(Lens)이고 초점렌즈(Focus Lens)는 영상의 초점을 맞추는 렌즈(Lens)가 된다.

이미지센서와 ISP(Image signal process)부(312)는 광학 신호를 전기신호로 변환하는 CCD(Charged coupled device) 이미지 센서나 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서를 사용하고 ISP는 사람의 시각에 맞게 이미지 데이터를 변환하여 화질을 개선하고, 개선된 화질의 이미지 데이터를 출력한다.

여기에서 CCD 이미지 센서는 실리콘의 웨이퍼 위에 초소형 금속 전극을 여러개 배치한 것으로서, 다수의 광 다이오드로 구성되며, 여기에 빛이 가해지면 광학적 에너지가 전기로 변환된다.

각 화소마다 있는 포토 다이오드에서 생성된 전하를 수직전달 CCD 및 수평전달 CCD를 통해 높은 전위차를 이용하여 증폭기로 전달하므로 전력 소모는 크지만 잡음에 강하고 균일하게 증폭되는 특성이 있다.

CMOS 이미지 센서는 각 화소마다 포토다이오드 및 증폭기를 설치한 것으로서, CCD 이미지 센서보다 전력소모가 작고, 작게 만들 수 있지만, 화질이 떨어지는 단점이 있다.

이러한 CCD 이미지 센서 또는 CMOS 이미지 센서는 그 종류도 다양하고 각 제 조사에 따라 ISP를 위한 인터페이스 및 특성이 다르다. 따라서, ISP는 특정 센서에 따라 설계 및 제작된다.

여기에서 ISP는 색필터배열보간(color filer array interpolation), 색 매트릭스(collar matrix), 색 보정(collar correction), 색 향상(collar enhancement) 등의 영상처리를 거친다.

이때, 각 영상 프레임의 동기신호로 쓰이는 신호는 하나의 영상 프레임의 시작을 알리는 수직 동기화 신호인 vsync(vertical synchronization), 프레임내의 라인별 이미지의 활성화 상태를 알리는 수평 동기화 신호인 hsync(horizontal synchronization), 및 각 화소 데이터의 동기화를 나타내는 픽셀 클럭 신호인 pixel_clock으로 구성되고, 실질적인 영상에 대한 픽셀 데이터는 pixel_data의 형태로 구성된다.

그리고 이미지 센서 및 ISP부(312)는 영상 처리된 데이터를 CCIR656, 또는 CCIR601 포맷(YUV space)으로 변환한 후에 휴대폰 호스트(320)에서 마스터 클럭(Master Clock)을 받아, 수직 동기 신호 Vsync, 수평 동기 신호 Hsync, Pixel_Clock과 함께 Y/Cb/Cr 또는 R/G/B의 영상 데이터를 휴대폰 호스트(320)로 출력하게 된다.

압축 모듈(313)은 이미지 센서 및 ISP부(312)에서 입력받은 영상 데이터를 압축하여 출력하게 되는데, 도 4에 그 내부 블럭 구성도가 도시되어 있는데, 이미지 포맷부(410), 주파수 변환부(415), 재정렬부(420), 양자화부(425), 가변길이 코더(430)로 이루어져 있다.

이미지 포맷부(410)은 ISP의 출력을 받아 이후의 영상 데이터를 압축하는데 적절한 입력으로 동작할 수 있도록 CCIR656, CCIR601 형태의 YCbCr 4:2:2 혹은 YCbCR 4:2:0 형태의 pixel_data와 한 프레임의 수직, 수평신호를 출력한다.

이를 위해 이미지 포맷부(410)은 먼저 색좌표 변환을 수행하는데, RGB를 YCbCr 또는 YUV 포맷으로 변환하게 되며, 일예로 CCIR-601 YCbCr 컬러 공간 변환 공식은 다음과 같다.

Y=(77R+150G+29B)/256 Range : 16~235

Cb=(-44R-87G+131B)/256+128 Range : 16~240

Cr=(131R-110G-21B)/256+128 Range : 16~240

이렇게 변환된 YCbCr 포맷을 이미지 포맷부(410)는 색차 포맷 변환을 수행하여 4: 4 : 4 인 YCbCr을 4:2:2 이나 4:2:0 으로 변환하여 출력하게 되는데 도 5a는 한 프레임의 픽셀수가 640*480인 경우에 출력되는 YCbCr을 보여준다.

도 5a를 보면 4:2:0 포맷의 Y 신호는 640*480 픽셀 전부에 대하여 도면의 번호가 부여된 순서에 따라 출력하며, Cb신호는 320*240픽셀로 Y신호에 비해 1/2의 픽셀이 출력되고, Cr신호도 320*240 픽셀로 Y신호에 비해 1/2의 픽셀이 출력된다.

이러한 이미지 포맷부(410)의 색차 포맷 변환은 컬러에 대한 눈의 낮은 공간 민감성에 근거하고 있는데 대부분의 연구에서 수평 및 수직 방향으로 4개의 인자에 의하여 컬러 성분의 서브 샘플이 적당하다고 밝혀졌다. 따라서, 영상 신호는 4개의 휘도 성분과 2개의 색도 성분으로 나타낼 수 있다.

또한, 이미지 포맷부(410)는 내부에 프레임 메모리(Frame Memory)를 내장하고 수평방향으로 입력되어지는 Y/Cb/Cr 픽셀 데이터(Pixel Data)를 메모리 어드레스(Memory Addressing)을 달리하여 가로, 세로 8x8 블럭으로 2차원적으로 데이터를 전송하게 되는데 8x8 블럭 여러개를 매크로 블럭 단위로 하여 YCbCr을 묶어서 전송하게 된다.

즉, 이미지 포맷부(410)은 입력된 화상 신호를 일정수의 화소로 이루어진 단위 영역(블럭)에 대응하도록 블럭화하고, 블럭화된 화상 신호를 출력한다. 여기에서 블럭은 화상 신호의 부호화 처리의 단위가 되는, 픽쳐내의 소정 사이즈의 영역이고, 일정수의 화소로 이루어져 있다.

이러한 이미지 포맷부(410)의 변환예가 도 5b에 도시되어 있는데 입력된 화상 신호는 8*8 블럭으로 블럭화되어 있다. 여기에서 각각의 값들은 8비트가 사용될 수 있다.

그러면, 주파수 변환부(415)는 블럭화된 화상신호를 이산코사인변환(DC T: Discrete Cosine Transform)을 이용하여 주파수 변환하여 각 블럭에 대응하는 주파수 성분을 출력한다.

여기에 사용되는 DCT는 화면에 불규칙하게 퍼져 있는 화소값을 주파수 측으로 변환하여 저주파 성분에서 고주파 성분에 이르기까지 여러 주파수 성분으로 나누며, 영상의 에너지를 저주파 성분에 집중시킨다.

H.261, JPEG, MPEG 등의 여러 국제 표준에 핵심기술로 자리잡고 있는 DCT는 8*8 크기의 블럭 단위로 이루어진다. DCT 변환의 기본 구조는 공간적으로 이산코사인변환은 멀티미디어 관련 국제표준인 H.261, JPEG, MPEG의 핵심요소이다.

DCT 변환의 기본 구조는 공간적으로 높은 상관도를 갖고 있는 데이터를 직교변환에 의하여 저주파 성분으로부터 고주파 성분에 이르기까지 여러 주파수 성분으로 나누어 각 성분별로 다르게 양자화한다. 8*8 DCT연산과 IDCT의 연산을 위한 수학식은 다음과 같다.

DCT 연산의 F(u, v)는 블럭의 주파수 성분을 나타내며, F(0,0)은 저주파 성분을 나타내고, 그외의 나머지 성분은 고주파 성분을 나타낸다. 저주파 성분에서 멀리 떨어질수록 높은 주파수 성분을 갖게 된다. 즉, DCT는 대부분의 에너지가 주파수 영역의 저주파 성분에 집중되어 압축 효과를 높일 수 있도록 블럭의 에너지를 이동시킨다. 도 5c는 8*8블럭인 경우에 DCT 계수의 배열을 보여주는 도면으로 DC는 저주파 성분을 그리고 ac01~ac77은 고주파 성분을 나타낸다.

재정렬부(420)는 입력되는 데이터를 저주파 성분에서 고주파 성분으로 데이터를 재배열하여 데이터를 출력시킨다. 즉, 도 5c에서 화살표로 나타낸바와 같은 지그재그 스캔을 실시하여 DC, ac01,ac10, ac20…aC77의 순서로 DCT 계수를 재정렬한다.

이후 데이터는 양자화부(425)로 입력되어져서 데이터를 양자화하게 되는데, 양자화 파라미터는 블럭별로 가변되고 이산코사인변환계수별로 가변된다.

여기에서 양자화 파라미터는 양자화 단계의 크기를 나타내는 파라미터로서, 양자화 단계는 양자화 파라미터에 거의 비례한다. 즉, 양자화 파라미터가 큰 경우는 양자화 단계가 개략적(rough)이 되어 양자화 성분의 절대값이 작게 되기 때문에, 양자화 성분의 영런(그 값이 영인 성분이 연속하여 나열된 길이)이 길어져, 레벨값의 절대값이 작아진다.

반대로 양자화 파라미터가 작은 경우에는 양자화 단계가 세밀(fine)하게 되어 양자화 성분의 절대값이 크게 되기 때문에, 런이 짧게 되어 레벨값의 절대값이 크게 된다.

일반적으로, 영상의 인지성에 의해 고주파 성분은 영상의 세밀한 부분을 나타내며 몇몇 고주파 성분의 손상은 사람의 눈으로 확인할 수 없을 만큼 전체 화질에 큰 영향을 미치지 않으므로, 정보를 많이 갖는 저주파 성분은 양자화 크기를 작게하여 세밀하게 부호화하고 고주파 성분으로 갈 수록 큰 값으로 양자화하여 약간의 손실로 압축 효율을 극대화한다.

이렇게 양자화 된 데이터는 '0'으로 바뀌어진 데이터를 많이 보유하게 되고, 이러한 데이터는 가변 길이 코더(Variable Length Coder)(430)으로 입력되어져서 압축된 코드로 바뀌어지게 된다. 일예로 도 5c는 양자화된 DCT 계수값을 나타내는데 DC, ac01, ac10, 0, 0, 0, ac03, 0, 0, ac31, 0, ac50, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, ac52......로 나타나게 되며, DC, ac01, ac10, 0이 3개, ac03, 0이 2개, ac31, 0이 1개, ac50, 0이 14개 등으로 나타난다.

가변길이코더(430)는 양자화 성분의 크기를 나타내는 수치와 부호와의 대응을 나타내는 부호표를 이용하여, 양자화 성분에 부호를 할당해서, 각 블럭마다 양자화 성분을 부호화스트림으로 변환한다.

한편, 고정 스텝크기 양자화부(435)는 재정렬부(420)로부터 DCT 계수를 받아서 일정 양자화 스텝 크기(Step Size)로 나누어 양자화한다. 즉 양자화 크기를 고정하여 양자화를 수행한다. 일반적으로 양자화 크기는 각 픽셀에 따라 그리고 저주파와 고주파에 따라 다른 값을 가지게 되는데 이를 고정 양자화 크기로 나누어서 양자화를 수행한다.

이때, 고정 스텝 크기 양자화부(435)는 오직 'Y' 신호만을 입력하고 칼러인 Cb/Cr 신호는 입력을 받지 않는다.

그리고, 여기에서는 고정 스텝 크기 양자화부(435)가 재정렬부(420)로부터 DCT 계수값을 입력받아 고정 양자화 크기로 양자화하여 출력하고 있지만 이와 달리 주파수 변환부(415)에서 DCT 계수값을 입력받아 사용할 수 있다.

적분기(440)는 고정 스텝크기 양자화부(435)를 통과한 계수들을 적분하여 출력하게 되는데, 이때 적분해야 하는 픽셀은 프레임의 중앙 부분에 있는 픽셀들에 대한 값으로 윈도우 조절부(445)에 의해 선택된 영역(윈도우)에 포함된 계수들만을 적분한다. 이를 도 5e에 나타나 있는데 보통 카메라의 초점은 중심을 기준으로 많이 잡게 되고, 윈도우는 중심을 기준으로 놓이게 된다.

이때, 적분기(440)는 고주파 성분의 계수값에 대하여 적분을 수행하게 되는데 일정한 차수의 고주파에 대해서만 적분을 수행하여 초점값을 추출한다. 즉, 도 5c에서 aC1~ac77에서 일정한 차수 바람직하게는 ac01과 ac10를 취하는 것이 바람직하다. 또한, ac20~ac02 를 취하는 것도 좋다. 물론 ac01~ac02를 취하는 것도 좋다.

이처럼 고주파의 차수는 임의로 정해질 수 있는데 차수가 많으면 많을 수록 초점값의 정확도가 높아지나 그 만큼 계산이 복잡하게 되어 빠른 응답을 얻을 수 없기 때문에 적정한 차수의 범위가 선택되는 것이 바람직하다.

또한, 본 발명의 다른 실시예로서 적분기(440)는 하나의 프레임에 대한 고주파 성분의 계수값을 더하여 적분을 수행하는 것이 아니라 여러 프레임에 대한 고주파 성분의 계수값을 더하여 적분을 수행하여 초점값을 구할 수 있다.

물론 이렇게 하는데는 계산량이 많아 계산이 복잡하게 되지만 그 만큼 정확도가 높아진다.

다음으로, 윈도우 조절부(445)는 도 5e에 도시되어 있는 바와 같이 초점값을 구하기 위한 윈도우를 설정하게 되는데 보통 카메라의 초점은 중심을 기준으로 많이 잡게 되므로 윈도우도 중심을 기준으로 놓이게 된다.

이때 이미지내 윈도우 영역을 윈도우 조절부(445)에서 윈도우의 시작 위치와 마지막 위치를 적분기(Integrator)(440)로 입력시킨다.

그러면, 적분기(440)는 DCT 계수값이 입력되면 윈도우 설정 영역의 블럭인지를 판단하여 윈도우 설정 영역의 블럭이면 정해진 차수의 계수값인지를 판단하여 정해진 차수의 계수값에 대하여 윈도우내의 모든 블럭에 대하여 적분을 수행하여 적분값을 초점값으로 하여 자동초점디지털신호처리기(315)로 출력한다.

한편, 자동초점 디지털신호처리기(315)는 초점값 산출부(314)로부터 초점값을 받아 포커스 렌즈를 상하 구동시켜 초점을 판단하게 된다.

도 5f를 보면 영상을 카메라가 입력받아도 초점이 안 맞는 경우 'A'나 'C'의 영역과 같이 초점값(Focus Value)이 낮게 나오고 높게 나올 경우 'B'와 같이 초점값(Focus Value)이 높게 나오게 된다.

또한 'B' 지점은 복잡한 이미지인 경우 더 높게 나오고, 단순한 그림은 낮게 나오게 된다.

화면의 최고 초점값(Focus Value)을 찾기 위해 액츄에이터 드라이버(Actuator Driver)(316)를 통해 액츄에이터(317)를 움직여 렌즈(311)를 움직이게 한다. 이렇게 하여 도 5f처럼 초점값(Focus Value)이 큰 곳을 찾을 수 있다.

본 발명의 카메라 모듈에는 이처럼 초점값(Focus Value)을 찾는 알고리즘을 자동초점 지털신호처리기(315)에서 실시하여 렌즈부(311)의 초점렌즈를 앞으로 밀 것인지 뒤로 밀 것인지를 판단하여 액츄에이터 드라이버(316)를 제어하게 된다.

이때 액츄에이터 드라이버(316)는 자동초점 디지털신호처리기(315)의 지시에 따라 액츄에이터(317)를 가동하여 렌즈부(311)를 움직이게 한다.

도 6은 본 발명의 일실시예에 따른 카메라의 자동초점조절 방법의 흐름도이 다.

먼저, 이미지 센서 및 ISP는 프레임 단위로 영상 데이터를 획득하여 압축모듈로 전송한다(단계 S110).

그러면, 압축모듈의 이미지 포맷부는 색좌표변환과 색차 포맷 변환을 한 후에 입력된 화상 신호를 일정수의 화소로 이루어진 단위 영역(블럭)에 대응하도록 블럭화하고, 블럭화된 화상 신호를 출력한다(단계 S112, S114).

그러면, 주파수 변환부는 블럭화된 화상신호를 이산코사인변환(DCT: Discrete Cosine Transform)을 이용하여 주파수 변환하여 각 블럭에 대응하는 주파수 성분을 출력한다(단계 S114).

다음에, 고정 스텝크기 양자화부는 주파수 변환부로부터 DCT 계수를 받아서 일정 양자화 스텝 크기(Step Size)로 나누어 양자화한다(단계 S118). 즉 양자화 크기를 고정하여 양자화를 수행한다. 일반적으로 양자화 크기는 각 픽셀에 따라 그리고 저주파와 고주파에 따라 다른 값을 가지게 되는데 이를 고정 양자화 크기로 나누어서 양자화를 수행한다.

이때, 고정 스텝 크기 양자화부는 오직 'Y' 신호만을 입력하고 칼러인 Cb/Cr 신호는 입력을 받지 않는다.

이후에, 적분기는 고정 스텝크기 양자화부를 통과한 계수들을 적분하여 출력하게 되는데, 이때 적분해야 하는 픽셀은 프레임의 중앙 부분에 있는 픽셀들에 대한 값으로 윈도우 조절부에 의해 선택된 영역(윈도우)에 포함된 계수들만을 적분한다(단계 S120).

한편, 자동초점 디지털신호처리기는 초점값 산출부로부터 초점값을 받아 포커스 렌즈를 상하 구동시켜 초점을 판단하게 된다(단계 S122).

상기와 같은 본 발명에 따르면, 카메라 모듈은 자동초점의 시스템내에 영상 압축부를 포함하여 휴대폰 등 영상기기 등으로 압축된 데이터를 전송할 수 있으며 자동 초점을 실시하기 위하여 사용하는 초점값을 영상 압축 장치의 DCT계수를 사용함으로써 초점값을 추출하기 위한 추가의 하드웨어가 필요치 않도록 하는 효과가 있다.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

Claims

광신호를 전기적 신호로 변환하는 이미지 센서;

상기 이미지 센서로부터 전기적 신호를 입력받아 디지털화된 영상 데이터를 출력하는 ISP부;

상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화한 후에 각 블럭에 대해 이산코사인변환을 수행하여 각 블럭별로 이산코사인변환 계수값을 출력하는 압축모듈;

상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 설정된 윈도우 설정 영역내의 블럭에 대해 고정스텝 크기로 양자화한 후에 소정 차수 범위의 양자화된 이산코사인변환계수값을 적분하여 초점값을 산출하는 초점값 산출부; 및

상기 초점값 산출부로부터 초점값이 입력되면 렌즈의 포커스 렌즈를 이동시키면서 최대 초점값을 검출하여 자동초점조절을 수행하는 자동초점디지털신호처리기를 포함하며,

상기 초점값 산출부는 윈도우 설정 영역내 블럭의 양자화된 이산코사인변환 계수값을 연속하는 소정개수의 프레임에 대하여 누적적으로 적분하여 초점값을 산출하는 것을 특징으로 하는 카메라의 자동초점조절장치.
광신호를 전기적 신호로 변환하는 이미지 센서;

상기 이미지 센서로부터 전기적 신호를 입력받아 디지털화된 영상 데이터를 출력하는 ISP부;

상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화하여 출력하는 이미지 포맷부와, 상기 이미지 포맷부로부터 입력된 각 블럭에 대하여 이산코사인변환을 수행하여 이산코사인변환 계수를 출력하는 이산코사인변환부와, 상기 이산코사인변환부로부터 입력된 이산코사인변환계수를 저주파 성분에서 고주파 성분으로 재정렬하여 출력하는 재정렬부와, 상기 재정렬부로부터 입력된 블럭별 이산코사인변환계수에 대하여 블럭별로 그리고 차수별로 가변적인 양자화값을 적용하여 양자화하는 양자화부와, 상기 양자화부에 의해 양자화된 이산코사인변환계수를 가변길이 코딩을 수행하여 출력하는 가변길이코더를 포함하며, 상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화한 후에 각 블럭에 대해 이산코사인변환을 수행하여 각 블럭별로 이산코사인변환 계수값을 출력하는 압축모듈;

상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 설정된 윈도우 설정 영역내의 블럭에 대해 고정스텝 크기로 양자화한 후에 소정 차수 범위의 양자화된 이산코사인변환계수값을 적분하여 초점값을 산출하는 초점값 산출부; 및

상기 초점값 산출부로부터 초점값이 입력되면 렌즈의 포커스 렌즈를 이동시키면서 최대 초점값을 검출하여 자동초점조절을 수행하는 자동초점디지털신호처리기를 포함하여 이루어진 카메라의 자동초점조절장치.
광신호를 전기적 신호로 변환하는 이미지 센서;

상기 이미지 센서로부터 전기적 신호를 입력받아 디지털화된 영상 데이터를 출력하는 ISP부;

상기 ISP부로부터 영상 데이터가 입력되면 소정의 메모리를 내장하여 입력된 영상 데이터를 프레임별로 구별하고 구별된 각 프레임에 대하여 소정크기를 갖는 복수의 블럭으로 블럭화한 후에 각 블럭에 대해 이산코사인변환을 수행하여 각 블럭별로 이산코사인변환 계수값을 출력하는 압축모듈;

상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 고정스텝 크기로 양자화하는 고정스텝크기 양자화부와, 설정된 윈도우 영역내의 양자화된 이산코사인변환 계수값을 적분하여 초점값을 산출하는 적분기와, 상기 적분기에 설정된 윈도우의 시작번지와 끝번지를 제공하는 윈도우 설정부를 포함하며, 상기 압축모듈로부터 프레임의 복수의 블럭에 대한 이산코사인변환 계수값을 입력받아 설정된 윈도우 설정 영역내의 블럭에 대해 고정스텝 크기로 양자화한 후에 소정 차수 범위의 양자화된 이산코사인변환계수값을 적분하여 초점값을 산출하는 초점값 산출부; 및

상기 초점값 산출부로부터 초점값이 입력되면 렌즈의 포커스 렌즈를 이동시키면서 최대 초점값을 검출하여 자동초점조절을 수행하는 자동초점디지털신호처리기를 포함하여 이루어진 카메라의 자동초점조절장치.
제 2 항 또는 제 3 항에 있어서,

상기 초점값 산출부는 윈도우 설정 영역내 블럭의 양자화된 이산코사인변환 계수값을 연속하는 소정개수의 프레임에 대하여 누적적으로 적분하여 초점값을 산출하는 것을 특징으로 하는 카메라의 자동초점조절장치.
이미지 센서 및 ISP부가 프레임 단위로 영상 데이터를 획득하여 압축모듈로전송하는 제 1 단계;

상기 압축모듈은 프레임을 소정크기를 갖는 복수의 블럭으로 블럭화한 후에, 각 블럭에 대하여 이산코사인변환을 수행하여 이산코사인변환계수를 출력하는 제 2 단계;

상기 초점값 산출부의 고정스텝크기 양자화부는 상기 압축모듈로부터 블럭별 이산코사인변환계수가 입력되면 고정스텝크기 양자화를 수행하는 제 3 단계;

상기 초점값 산출부의 윈도우 설정부는 설정된 윈도우의 시작번지와 끝번지를 상기 초점값 산출부의 적분기에 제공하는 제 4 단계;

상기 초점값 산출부의 적분기는 윈도우 설정 영역내의 블럭에 대한 소정차수 범위의 양자화된 이산코사인 변환계수를 적분하여 초점값을 산출하는 제 5 단계; 및

자동초점디지털신호처리기는 상기 제 5 단계에서 산출된 초점값을 입력받아 렌즈부의 포커스 렌즈를 이동시키며 최대 초점값을 산출하여 자동초점조정을 수행하는 제 6 단계를 포함하여 이루어진 카메라의 자동초점조절 방법.
제 5 항에 있어서,

상기 제 2 단계는,

상기 압축모듈의 이미지 포맷부는 프레임을 소정크기를 갖는 복수의 블럭으로 블럭화하는 제 2-1 단계; 및

상기 압축모듈의 주파수 변환부는 상기 블럭에 대하여 이산코사인변환을 수행하여 이산코사인변환계수값을 출력하는 제2-2 단계를 포함하여 이루어진 카메라의 자동초점조절 방법.
제 5 항에 있어서,

상기 제 5 단계의 블럭에 대한 소정차수범위의 양자화된 이산코사인변환계수를 적분하는 과정은 연속하는 소정 프레임에 대한 윈도우 설정 영역내의 블럭에 대한 소정차수범위의 양자화된 이산코사인변환계수를 누적적으로 적분하는 것을 특징으로 하는 카메라의 자동초점조절 방법.
제 5 항 내지 제 7 항중 어느 한 항에 있어서,

상기 제 6 단계는,

상기 자동초점디지털신호처리기는 상기 제 5 단계에서 산출된 초점값을 입력받아 렌즈부의 포커스 렌즈를 이동시키는 제 6-1 단계;

상기 자동초점디지털신호처리기가 최대 초점값을 산출하는 제 6-2 단계; 및

상기 자동초점디지털신호처리기가 자동초점조정을 수행하는 제 6-3 단계를 포함하여 이루어진 카메라의 자동초점조절 방법.
삭제