KR20110079314A

KR20110079314A - 이미지 스케일러

Info

Publication number: KR20110079314A
Application number: KR1020090136332A
Authority: KR
Inventors: 김정연
Original assignee: 주식회사 동부하이텍
Priority date: 2009-12-31
Filing date: 2009-12-31
Publication date: 2011-07-07

Abstract

실시예에 따른 이미지 스케일러는 이미지의 픽셀들을 수평방향으로 스케일링하는 수평 스케일러; 상기 수평방향으로 스케일링된 픽셀들을 수직방향으로 스케일링하는 수직 스케일러; 라인 메모리와 FIFO 메모리를 포함하는 단일 메모리를 포함하고, 상기 단일 메모리는 상기 수직 스케일러로부터 출력되는 라인 메모리 및 FIFO 메모리의 주소정보 및 쓰기(write) 인에이블 신호들을 하나의 메모리 제어 신호로 변환하고, 읽기/쓰기 데이터의 먹싱(MUXing) 동작 및 버퍼링(buffering) 동작을 통해 스케일링 클럭과 두배로 증가된 메모리 클럭 사이의 핸드세이킹(handshaking) 동작을 처리하는 메모리 랩퍼(Memory wrapper)를 포함하는 것을 특징으로 한다.

실시예에 의하면, 라인 메모리와 FIFO 메모리를 단일 메모리로 구성하고, 메모리 동작의 클럭 주파수를 스케일링 동작의 클럭의 주파수의 두배로 증가시킴으로써, 1/4 라인 사이즈로 메모리 사이즈를 최소화할 수 있다.

이미지 스케일러, 라인 메모리, FIFO 메모리, 스케일링 펙터

Description

이미지 스케일러{Image scaler}

실시예는 이미지 스케일러에 관한 것이다.

이미지 센서의 ISP(Image Signal Processor)에 사용되는 이미지 스케일러(image scaler)는 입력 픽셀로 커널(kernel)을 만들고, 커널을 필터링한다. 커널 필터링은 스케일 다운(scale down)된 출력의 품질을 높이기 위해 커널 사이즈를 늘리는 경우, 이미지의 수직 픽셀들을 저장하기 위한 라인 메모리의 개수가 증가된다. 이에, 하나의 라인 메모리를 이용하여 스케일러를 구현하는 방법이 요구된다.

도 1은 종래 이미지 스케일러 구조를 개략적으로 도시한 블록도이다.

도 1과 같이 색상 채널별 하나의 라인 메모리를 사용하는 경우, 수평 스케일러(10)가 이미지의 수평 픽셀들에 대하여 스케일링을 수행하고, 수직 스케일러(20)는 수평 방향으로 스케일링된 픽셀들에 대하여 수직 방향으로 스케일링을 수행한다.

이때, 수직 스케일러(20)는 입력 대 출력 비율에 따라 라인 메모리를 조정하며 필터링을 수행하는데, YUV의 경우 3개의 라인 메모리(30)가 이용된다.

도 2는 이미지 스케일러에서 처리되는 신호를 도시한 타이밍도이다.

이미지 스케일러는 1개의 라인 메모리(30) 당 1개의 출력용 FIFO(First In First Out) 메모리(라인 버퍼)(40)를 구비하는데, 이는 수평 방향으로의 스케일링 다운(scaling down)의 영향으로, 입력 픽셀은 연속적으로 들어오는데 반하여 출력 픽셀은 비연속적으로 생성되기 때문이다(도 2의 "Filter Output"신호).

이때 요구되는 것은 작은 클럭수의 수평 동기(horizontal sync) 신호(도 2의 "FIFO Horizontal Sync"신호)와 다운 사이징(down-sizing)된 출력 픽셀이 연속적으로 발생하는 것이다(도 2의 "FIFO Output"신호).

FIFO 메모리의 출력신호의 크기는 하나의 라인이 최대 크기이나, 수식에 의한 최대값을 구하면 1/4 라인으로 구현가능하다(상세한 설명 참조).

따라서, 종래 이미지 스케일러는 이론적 구성에 비하여 각 색상 채널별 1.25개의 라인 메모리를 가지며, 총 3.75개의 라인 메모리가 필요로 되는 것으로 해석될 수 있다.

실시예는 1/4 라인 사이즈로 메모리 사이즈를 최소화할 수 있고, 메모리 및 메모리 컨트롤러의 효율적인 설계가 가능한 이미지 스케일러를 제공한다.

실시예에 의하면, 다음과 같은 효과가 있다.

첫째, 라인 메모리와 FIFO 메모리를 단일 메모리로 구성하고, 메모리 동작의 클럭 주파수를 스케일링 동작의 클럭의 주파수의 두배로 증가시킴으로써, 1/4 라인 사이즈로 메모리 사이즈를 최소화할 수 있다.

둘째, 1/4 라인 사이즈로 메모리 사이즈를 최소화할 수 있으므로, VGA 이미 지 센서의 경우, 약 5,000 게이트의 감소 효과를 볼 수 있으며, 따라서 고해상도 이미지 센서의 칩사이즈를 크게 감소시킬 수 있다.

첨부된 도면을 참조하여 실시예에 따른

이하, 실시예를 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되므로 본 발명의 기술적 사상과 직접적인 관련이 있는 핵심적인 구성부만을 언급하기로 한다.

도 1에서 설명한 것처럼, 종래 이미지 스케일러의 라인 버퍼(40)는 최대 1 라인 길이만큼 필요하게 된다. 그러나, 수평 방향으로 스케일링된 픽셀들이 라인 메모리(30)에 저장되므로 수평 방향으로의 스케일링 펙터(factor)가 작아질수록 라인 메모리(30)의 공간이 남게 된다.

참고로, 스케일링 팩터가 "1"인 경우 입력 데이터는 출력 데이터와 동일하고, 스케일링 펙터가 작아질수록 입력 데이터 대비 출력 데이터의 크기는 작아진다.

도 3은 스케일링 펙터에 따른 라인 메모리의 크기를 비교한 그래프이다.

이를 수식으로 나타내면, 스케일링 펙터를 "R"이라고 할 때 라인 메모리의 크기는 도 3과 같이, "R×입력 데이터 크기"가 된다(2).

스케일링 펙터가 1일 때는 출력 픽셀이 연속적으로 발생하므로 FIFO 메모리가 필요치 않으며, 최대 크기의 FIFO 메모리가 필요한 경우는 스케일링 펙터가 0.25일 때이다.

이를 수식으로 나타내면 도 3과 같이 "R-R^2"로 표현 가능하다(1). 따라서, 이미지 스케일러가 필요로 하는 총 메모리 사이즈 라인 메모리와 FIFO 메모리를 더해서 "2R-R^2"으로 나타낼 수 있으며(3), 도 3의 표시선과 같은 형태가 된다.

도 3에서 확인할 수 있듯이, 이미지 스케일러를 위한 최대 메모리 크기는 1 라인이 됨을 알 수 있다.

종래 이미지 스케일러의 한 클럭 사이클에 한 번의 라인 메모리 및 FIFO 메모리의 리드/라이트(read/write) 동작이 이루어지므로, 라인 메모리와 FIFO 메모리의 크기를 합하기 위해서는 한 사이클에 두번의 리드/라이트 동작이 요구된다.

이는 메모리 클럭 주파수를 두 배로 늘림으로써 가능하다.

도 4는 실시예에 따른 이미지 스케일러의 구성을 개략적으로 도시한 블록도이다.

실시예에 의하면, 종래 라인 메모리와 FIFO 메모리가 단일 메모리(300)로 구현되는데, 단일 메모리(300)의 메모리 랩퍼(Memory wrapper)는 수직 스케일러(200)로부터 출력되는 라인 메모리 및 FIFO 메모리의 주소정보 및 쓰기(write) 인에이블 신호들을 하나의 메모리 제어 신호로 변환하고, 읽기/쓰기 데이터의 먹싱(MUXing) 동작 및 버퍼링(buffering) 동작을 통해 스케일링 클럭과 두배로 증가된 메모리 클럭 사이의 핸드세이킹(handshaking) 동작을 처리한다.

도 5는 실시예에 따른 메모리 랩퍼의 구성을 개략적으로 도시한 블록도이다.

도 5에 도시된 라인 메모리 컨트롤러(210)와 FIFO 컨트롤러(220)는 수직 스 케일러(200) 내부에 존재하며, 각 메모리의 주소정보, 쓰기 인에이블 신호, 쓰기 데이터를 생성하고, 각 메모리로부터 읽기 데이터를 전달받는다.

상기 라인 메모리 컨트롤러(210) 및 상기 FIFO 컨트롤러(220)에서 각각 생성된 신호는 먹스(400)에 의하여 먹싱되고, 메모리로 전달된다.

상기 메모리들로부터 전달된 읽기 데이터는 클럭 위상(phase)에 따라 각각 제1 플립플롭(500) 및 제2 플립플롭(500)에 의해 버퍼링되고, 상기 라인 메모리 컨트롤러(210)과 FIFO 컨트롤러(220)로 전달된다.

전술한 대로, 메모리 클럭이 스케일링 클럭의 두배이므로 이와 같은 버퍼링 동작이 요구된다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 종래 이미지 스케일러 구조를 개략적으로 도시한 블록도.

도 2는 이미지 스케일러에서 처리되는 신호를 도시한 타이밍도.

도 3은 스케일링 펙터에 따른 라인 메모리의 크기를 비교한 그래프.

도 4는 실시예에 따른 이미지 스케일러의 구성을 개략적으로 도시한 블록도.

도 5는 실시예에 따른 메모리 랩퍼의 구성을 개략적으로 도시한 블록도.

Claims

이미지의 픽셀들을 수평방향으로 스케일링하는 수평 스케일러;

상기 수평방향으로 스케일링된 픽셀들을 수직방향으로 스케일링하는 수직 스케일러;

라인 메모리와 FIFO 메모리를 포함하는 단일 메모리를 포함하고,

상기 단일 메모리는 상기 수직 스케일러로부터 출력되는 라인 메모리 및 FIFO 메모리의 주소정보 및 쓰기(write) 인에이블 신호들을 하나의 메모리 제어 신호로 변환하고, 읽기/쓰기 데이터의 먹싱(MUXing) 동작 및 버퍼링(buffering) 동작을 통해 스케일링 클럭과 두배로 증가된 메모리 클럭 사이의 핸드세이킹(handshaking) 동작을 처리하는 메모리 랩퍼(Memory wrapper)를 포함하는 것을 특징으로 하는 이미지 스케일러.
제1항에 있어서, 상기 수직 스케일러는

상기 라인 메모리의 주소정보, 쓰기 인에이블 신호, 쓰기 데이터를 생성하는 라인 메모리 컨트롤러; 및

상기 FIFO 메모리의 주소정보, 쓰기 인에이블 신호, 쓰기 데이터를 생성하는 FIFO 컨트롤러를 포함하는 것을 특징으로 하는 이미지 스케일러.
제2항에 있어서,

상기 라인 메모리 컨트롤러는 상기 라인 메모리로부터 읽기 데이터를 전달받고,

상기 FIFO 컨트롤러는 상기 FIFO 메모리로부터 읽기 데이터를 전달받는 것을 특징으로 하는 이미지 스케일러.
제2항에 있어서, 상기 수직 스케일러는

상기 라인 메모리 컨트롤러에서 생성된 데이터를 먹싱하여 상기 라인 메모리로 전달하고, 상기 FIFO 컨트롤러에서 생성된 데이터를 먹싱하여 상기 FIFO 메모리로 전달하는 먹스를 더 포함하는 이미지 스케일러.
제3항에 있어서, 상기 수직 스케일러는

상기 리드 메모리로부터 전달된 읽기 데이터를 클럭 위상(phase)에 따라 버퍼링하여 상기 라인 메모리 컨트롤러로 전달하는 제1 플립플롭; 및

상기 FIFO 메모리로부터 전달된 읽기 데이터를 클럭 위상에 따라 버퍼링하여 상기 FIFO 컨트롤러로 전달하는 제2 플립플롭을 더 포함하는 것을 특징으로 하는 이미지 스케일러.
제1항에 있어서, 상기 수직 스케일러는

메모리 동작의 클러 주파수를 스케일링 동작의 클럭의 주파수의 두배로 증가시키는 것을 특징으로 하는 이미지 스케일러.