[go: up one dir, main page]

KR100591796B1 - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR100591796B1
KR100591796B1 KR1020050108257A KR20050108257A KR100591796B1 KR 100591796 B1 KR100591796 B1 KR 100591796B1 KR 1020050108257 A KR1020050108257 A KR 1020050108257A KR 20050108257 A KR20050108257 A KR 20050108257A KR 100591796 B1 KR100591796 B1 KR 100591796B1
Authority
KR
South Korea
Prior art keywords
data
clock rate
processing
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020050108257A
Other languages
English (en)
Inventor
노요환
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050108257A priority Critical patent/KR100591796B1/ko
Priority to PCT/KR2006/002055 priority patent/WO2007055450A1/en
Priority to JP2008539906A priority patent/JP4932846B2/ja
Priority to CN2006800420957A priority patent/CN101305619B/zh
Priority to US12/092,941 priority patent/US8018499B2/en
Application granted granted Critical
Publication of KR100591796B1 publication Critical patent/KR100591796B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Input (AREA)
  • Color Television Systems (AREA)

Abstract

이미지 처리 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 이미지 시그널 프로세서는 프리뷰 모드를 위한 처리 클럭 레이트 또는 출력 클럭 레이트와 캡쳐 모드를 위한 처리 클럭 레이트 또는 출력 클럭 레이트를 상이하게 적용하되, 캡쳐 모드 수행시 처리 클럭 레이트가 출력 클럭 레이트 이상이 되도록 제어한다. 본 발명에 의해, 이미지 처리시 지연 현상이 감소될 수 있다.
캡쳐, 인코딩, 이미지, JPEG, 이미지 센서

Description

이미지 처리 방법 및 장치{Image processing method and apparatus}
도 1a는 일반적인 촬상 장치의 구성의 간략하게 나타낸 도면.
도 1b는 종래 기술에 따른 인코딩된 데이터 출력을 위한 신호 파형을 나타낸 도면.
도 2는 일반적인 JPEG 인코딩 과정을 나타낸 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 구성을 간략히 나타낸 도면.
도 4는 본 발명의 바람직한 일 실시예에 이미지 시그널 프로세서의 구성을 상세히 나타낸 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 시그널 프로세서에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 6a는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 6b는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서로부터 전송되어 백엔드 칩의 메모리에 축적된 데이터들의 저장 형태를 개념적으로 나타낸 도면.
도 6c는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 7a 및 도 7b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 8a는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 8b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서로부터 전송되어 백엔드 칩의 메모리에 축적된 데이터들의 저장 형태를 개념적으로 나타낸 도면.
도 8c는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 9a 및 도 9b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서의 각 구성 요소에서 처리된 데이터 출력을 위한 신호 파형을 예시한 도면.
도 10a 및 도 10b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서의 각 구성 요소에서 처리된 데이터 출력을 위한 신호 파형을 예시한 도면.
본 발명은 이미지 처리에 관한 것으로, 보다 상세하게는 이미지 처리 지연을 감소시키기 위한 장치 및 방법에 관한 것이다.
최근, 소형 및 박형의 촬상 소자가 휴대 전화기나 PDA(Personal Digital Assistant) 등의 소형 및 박형의 휴대용 단말기에 탑재됨으로써, 휴대용 단말기가 촬상 장치로서 기능할 수 있고, 이에 의해 원격지로 음성 정보뿐만 아니라 화상 정보도 전송할 수 있게 되었다. 촬상 소자는 휴대 전화기나 PDA 뿐 아니라 MP3 플레이어 등의 휴대용 단말기에도 구비되어 다양한 장치에서 외부 영상을 전자적인 데이터로 보유할 수 있도록 구현되어 있다.
이러한 촬상 장치에는 일반적으로 CCD(Charge Coupled Device)형 이미지 센서나 CMOS(Complementary Metal-0xide Semiconductor)형 이미지 센서 등의 고체 촬상 소자가 사용되고 있다.
도 1a는 일반적인 촬상 장치의 구성의 간략하게 나타낸 도면이고, 도 1b는 종래 기술에 따른 인코딩된 데이터 출력을 위한 신호 파형을 나타낸 도면이며, 도 2는 일반적인 JPEG 인코딩 과정을 나타낸 도면이다.
도 1에 도시된 바와 같이, 외부 영상을 전기적인 데이터로 변환하여 표시부(150)에 디스플레이하는 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(ISP, Image Signal Processor)(120), 백엔드 칩(Back-End chip)(130), 베이스밴드 칩(Baseband Chip)(140) 및 표시부(150)를 포함한다. 이외에, 촬상 장치는 변환된 전기적인 데이터를 저장하기 위한 메모리, 아날로그 신호를 디지털 신호로 변환하는 AD 변환기 등을 더 포함할 수 있다.
이미지 센서(110)는 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 픽셀별로 렌즈를 통해 입력된 빛의 양에 상응하는 전기 신호(raw data)를 출력한다.
이미지 시그널 프로세서(120)는 이미지 센서(110)로부터 입력된 전기 신호(raw data)를 YUV값으로 변환하고, 변환된 YUV 값을 백엔드 칩(130)으로 출력한다. YUV방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩한다. 전형적인 Y:U:V의 비율은 4:2:2이다.
이미지 시그널 프로세서(120)는 변환한 YUV값을 FIFO에 순차적으로 저장시킴으로써 백엔드 칩(130)이 해당 정보를 입력받을 수 있도록 한다.
백엔드 칩(130)은 입력된 YUV값을 미리 지정된 인코딩 방법에 의해 JPEG나 BMP로 변환하여 메모리에 저장하거나 이를 디코딩하여 표시부(150)에 디스플레이한다. 백엔드 칩(130)은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 도 1에 도시된 바와 같이, 베이스밴드 칩(140)이 백엔드 칩(130)으로부터 디코딩된 데이터를 입력받아 표시부(150)에 디스플레이할 수도 있다.
베이스밴드 칩(140)은 촬상 장치의 동작을 전반적으로 제어하는 기능을 수행한다. 예를 들어, 키 입력부(도시되지 않음)를 통해 사용자로부터 촬상 명령이 입 력되면 베이스밴드 칩(140)은 백엔드 칩(130)으로 이미지 생성 명령을 전송함으로써 백엔드 칩(130)이 입력된 외부 영상에 상응하는 인코딩된 데이터를 생성하도록 할 수도 있다.
표시부(150)는 백엔드 칩(130) 또는 베이스밴드 칩(140)의 제어에 의해 제공받은 디코딩된 데이터를 디스플레이한다.
메모리에 적재된 데이터들이 복호화 등의 처리를 위해 순차적으로 입력되는 과정의 신호 파형이 도 1b에 도시되어 있다. 일반적으로, 백엔드 칩(130)은 YUV/베이어(BAYER) 포맷의 데이터를 입력받도록 구현되어 있으며, 이런 데이터를 입력받기 위한 인터페이스로서 클럭 신호(P_CLK), 수직 동기 신호(V_sync), 유효 데이터 인에이블 신호(H_REF), 데이터(DATA) 신호를 이용하고 있다.
도 1b에 도시된 바와 같이, 종래의 백엔드 칩(130)은 하나의 프레임(예를 들어, k(자연수)번째 입력된 프레임)에 대한 인코딩 처리를 수행하는 중에 후속하는 프레임(예를 들어, k+1번째 입력된 프레임)에 대한 수직 동기 신호(V_sync2) 및/또는 이미지 데이터를 입력받도록 구성되어 있어 이미지 데이터 인코딩시 오류가 발생할 여지가 많은 문제점이 있었다.
즉, 종래의 백엔드 칩(130)은 현재 처리되고 있는 프레임에 대한 인코딩 처리뿐 아니라 다음 프레임에 대한 인코딩 처리를 함께 수행하는 경우가 있어 정확한 데이터 인코딩이 완료되지 못하는 문제점도 있었다.
또한, 백엔드 칩(130)의 인코딩부가 인코딩된 데이터를 디코딩부로 전달하거나 메모리에 저장할 때, 새로운 수직 동기 신호(V_sync2)를 수신한 이후에는 현재 프레임에 대하여 인코딩된 데이터가 정상적으로 입력되지 못하는 문제점도 있었다.
또한, 도 1b에 도시된 바와 같이 종래의 이미지 시그널 프로세서(120)가 백엔드 칩(130)에서 데이터를 저장할 때 이용될 수 있는 H_REF 신호를 교번적으로 출력한다. 그러나, 이는 백엔드 칩(130)의 메모리의 기록 인에이블(Write Enable) 신호의 스위칭으로 인한 전력 소모의 원인이 될 수도 있다.
도 2에는 백엔드 칩(130)에 의해 수행되는 일반적인 JPEG 인코딩(encoding) 과정이 도시되어 있다. JPEG 인코딩 과정(200)은 당업자에게 자명한 사항이므로 간략히 설명하기로 한다.
도 2에 도시된 바와 같이, 입력된 YUV값들의 이미지는 8 x 8 픽셀 크기의 블록으로 나뉘어지고, 각 블록에 대해 DCT(이산 코사인 변환, Discrete Cosine Transform)를 수행한다(210). DCT는 이미지를 공간 화상에서 그에 상응하는 주파수 형태로 변환함으로써 푸리에 변환(Fourier Transform)을 수행하는 일련의 변환 과정을 의미한다.
이어서, 양자화기(Quantizer)는 각 블록의 DCT계수를 시각에 미치는 영향에 따라 가중치를 두어 양자화한다(220). 이 가중치의 테이블을 양자화 테이블이라 한다. 양자화 테이블 값은 DC 근처에서 작은 값을 취하고, 높은 주파수에서는 큰 값을 취하여 정보량이 많은 DC 근처의 데이터를 적은 손실로 보내고 고주파수에서는 높은 압축율을 유도한다.
이어서, 무손실 코더(Lossless coder)인 엔트로피 인코더(entropy encoder)에 의해 최종 압축된 데이터가 생성된다(230). 양자화 처리 과정을 거친 계수들은 0으로 표현되는 일련의 연속들로 구성된다. 따라서 데이터를 코드 심볼로 나타내는 연속-구간(Run-length) 인코딩을 통해 데이터의 크기가 축소될 수 있다. 또한 허프만(Huffman) 인코딩을 통해서도 데이터의 크기를 줄일 수 있다. 허프만 알고리즘은 통계적으로 보다 반복적으로 빈번하게 발생되는 코드 심볼에 보다 짧은 심볼을 할당한다. 연속-구간 및 허프만의 두 엔트로피 인코딩은 모두 데이터의 크기를 축소시키는 인코딩 과정이지만 데이터의 손실은 발생되지 않는다.
상술한 과정을 통해 인코딩된 데이터는 메모리에 적재된다. 백엔드 칩(130)은 메모리에 적재된 데이터를 복호화하여 표시부(150)에 디스플레이하는 등의 처리를 수행한다.
종래의 이미지 시그널 프로세서(120)는 백엔드 칩(140)의 클럭 레이트(Clock rate)보다 낮은 클럭 레이트에서 동작되도록 구현되어 있다.
일반적으로 이미지 센서(110)는 베이어 이미지 형태로 전기 신호(raw data)를 출력한다. 출력된 전기 신호는 이미지 시그널 프로세서(120)에서 수행되는 미리 지정된 전처리(예를 들어, 이미지 처리, 인터폴레이션(interpolation) 등)에 의해 RGB 데이터 형태로 변환되고, 이는 출력을 위해 YUV 데이터로 변환된다. 결과적으로, 출력되는 데이터량은 입력된 데이터량의 약 2배가 된다. 따라서, 이미지 시그널 프로세서(120)의 출력단에서 사용되는 클럭 레이트도 이미지 시그널 프로세서(120) 내부에서 이미지 처리를 위해 사용되는 클럭 레이트의 약 2배가 된다. 백엔드 칩(130)에서 사용되는 클럭 레이트도 이미지 시그널 프로세서(120) 내부에서 이미지 처리를 위해 사용되는 클럭 레이트의 약 2배가 될 것이다.
상술한 바와 같이, 이미지 시그널 프로세서(120)의 출력단에서 사용되는 클럭 레이트가 높으므로 이미지 처리시 문제점이 발생되고 있다.
즉, 최근의 고화소화 경향을 고려할 때 이미지 처리의 속도가 중요한 요소로 간주된다. 종래의 VGA 또는 1메가 바이트 정도의 이미지 처리시 사용자가 자연스러운 이미지로 인식하기 위해서는 20~40MHz 정도의 클럭 주파수이면 충분하였다. 그러나, 3~5 메가 바이트 이상으로 발전하고 있는 현재 상태에서 초당 10~20 프레임을 만족하기 위해서는 60~80 MHz에서의 이미지 처리가 요구된다.
그러나, 종래의 이미지 시그널 프로세서(120) 및 백엔드 칩(130)의 연동 구조를 고려할 때, 이미지 시그널 프로세서(120)의 이미지 처리를 위한 클럭 레이트를 증가시킬 경우 백엔드 칩(130)의 클럭 레이트도 이에 따라 매우 높아져야 하나, 이는 기술적으로 구현될 수 없는 문제점을 가지고 있다.
이와 같이, 종래의 이미지 시그널 프로세서(120)는 고화소 이미지를 저주파수 클럭 레이트로 처리하기 때문에 한 장면을 캡쳐(capture)하는데 있어 많은 시간을 필요로 하며, 순간적인 장면의 캡쳐가 아닌 지연 시간을 포함한 장면을 캡쳐하게 된다. 즉, 이미지 캡쳐시 발생된 지연(lagging) 현상으로 인해 움직이는 물체를 촬영했을 때 찌그러진 이미지가 캡쳐되는 문제점이 있다.
또한, 저주파수 클럭 레이트로 이미지 처리를 수행하기 때문에, 하나의 이미지에 대한 JPEG 인코딩이 완료되기 전에 후속하는 프레임의 이미지 데이터가 입력됨으로써 충돌이 발생하는 문제점도 있었다.
따라서 본 발명은 상술한 문제점을 해결하기 위한 것으로, YUV 데이터의 인코딩을 신속하게 수행함으로써 이미지 캡쳐시 지연 현상을 최소화할 수 있는 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 하나의 프레임에 대한 인코딩 처리시 후속 프레임에 대한 데이터 입력을 제한함으로써 데이터간 충돌을 억제할 수 있는 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 YUV 데이터의 인코딩 처리를 위한 클럭 레이트를 인코딩된 이미지 데이터의 출력을 위한 클럭 레이트 이상으로 유지함으로써 데이터 전송 구간에서 보다 많은 데이터를 신속하게 전송할 수 있도록 하는 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 유효 데이터가 신속하게 백엔드 칩으로 전송됨으로써 백엔드 칩이 인코딩된 데이터의 신속한 디코딩이 가능한 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 이미지 시그널 프로세서가 인코딩된 데이터를 백엔드 칩으로 제공함에 있어 일반적인 인터페이스 구조를 이용함으로써 하드웨어 설계 및 제어 측면에서 유리한 효과를 가지는 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 수신단(예를 들어, 백엔드 칩, 베이스밴드 칩)의 처리 효율 증진 및 전력 소모를 방지할 수 있는 이미지 처리 방법 및 장치를 제공 하는 것이다.
본 발명의 또 다른 목적은 이미지 시그널 프로세서가 입력되는 프레임의 인코딩 여부를 인코딩 속도에 따라 결정할 수 있어 원활한 인코딩 동작 수행이 가능한 이미지 처리 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 인코더에 의해 인코딩된 데이터를 수신단으로 전달함에 있어, 최적의 시점에 수직 동기 신호(V_sync)를 출력할 수 있도록 하는 이미지 처리 지연 감소 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 수신단에서 인코딩된 데이터를 입력받을 때 새로운 프레임의 입력을 나타내는 수직 동기 신호의 입력에 의해 현재 프레임에 대해 처리된 데이터의 입력이 방해받지 않는 이미지 처리 지연 감소 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 이미지를 구성하는 유효한 데이터들만으로 구성된 인코딩된 데이터들이 집합적으로 백엔드 칩으로 전송되도록 하여 백엔드 칩의 처리 효율 및 처리 속도를 증진시킬 수 있는 이미지 처리 지연 감소 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 백엔드 칩에서 데이터를 저장할 때 이용될 수 있는 H_REF 신호를 하이(High) 또는 로우(Low) 상태로 일정하게 유지함으로써 백엔드 칩의 메모리의 기록 인에이블(Write Enable) 신호의 스위칭으로 인한 전력 소모를 방지할 수 있는 이미지 처리 지연 감소 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 이미지를 구성하는 유효한 데이터들이 출력되는 데이터열의 전단부에 집중적으로 배치되도록 함으로써 백엔드 칩의 처리 효율 및 처리 속도를 증진시킬 수 있는 이미지 처리 지연 감소 및 방법을 제공하는 것이다.
그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
상술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 이미지 시그널 프로세서 및/또는 상기 이미지 시그널 프로세서를 포함하는 촬상 장치가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 이미지 센서, 이미지 시그널 프로세서 및 수신단을 포함하는 촬상 장치에 있어서, 외부 영상에 상응하는 전기 신호(raw data)를 생성하여 출력하는 이미지 센서; 및 인코더를 구비하고, 상기 전기 신호에 상응하는 YUV 데이터 또는 상기 인코더를 이용하여 인코딩된 데이터를 생성하여 상기 수신단-여기서, 상기 수신단은 백엔드 칩(Back-End Chip) 또는 베이스밴드 칩(Baseband Chip)임-으로 출력하는 이미지 시그널 프로세서를 포함하는 촬상 장치가 제공된다. 여기서, 상기 YUV 데이터를 생성하기 위한 제1 처리 클럭 레이트는 상기 인코딩된 데이터를 생성하기 위한 제2 처리 클럭 레이트 미만일 수 있다.
또한, 여기서 상기 제1 처리 클럭 레이트는 상기 YUV 데이터 및 상기 인코딩된 데이터를 출력하기 위한 출력 클럭 레이트 이하이고, 상기 제2 처리 클럭 레이트는 상기 출력 클럭 레이트 이상일 수 있다.
상기 제1 처리 클럭 레이트와 상기 제2 처리 클럭 레이트의 비는 하나의 프레임에 상응하는 상기 YUV 데이터의 크기와 인코딩될 데이터의 크기의 비일 수 있다. 상기 크기는 면적, 가로 길이, 세로 길이, 대각선 길이 중 어느 하나일 수 있다.
상기 이미지 센서는 상기 이미지 시그널 프로세서로부터 상기 제1 처리 클럭 레이트 또는 상기 제2 처리 클럭 레이트에 상응하여 입력된 클럭 신호에 부합되도록 상기 전기 신호를 생성하여 출력할 수 있다.
상기 제1 처리 클럭 레이트는 프리뷰(Preview) 상태의 클럭 레이트이고, 상기 제2 처리 클럭 레이트는 상기 수신단으로부터 입력된 캡쳐 명령에 상응하는 프레임을 처리하기 위한 클럭 레이트일 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 이미지 시그널 프로세서는 상기 이미지 센서로 스킵(skip) 명령을 전송하고, 상기 이미지 센서는 상기 k+1번째 프레임에 상응하는 전기 신호를 출력하지 않을 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 이미지 시그널 프로세서는 상기 이미지 센서로부터 입력되는 전기 신호의 처리를 스킵(skip)할 수 있다.
상기 이미지 시그널 프로세서는 상기 인코딩된 데이터를 상기 수신단으로 전 송하기 위해 임시 저장하는 버퍼 메모리를 포함할 수 있다. 여기서, 상기 버퍼 메모리에 저장된 인코딩된 데이터의 양이 미리 지정된 크기 이상인 경우 상기 제2 클럭 레이트를 감소시킬 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력은 지연 입력되도록 상기 이미지 센서로 지시할 수 있다.
본 발명의 바람직한 일 실시예에 따른 이미지 시그널 프로세서는, 처리 클럭 레이트에 상응하는 클럭 신호를 출력하는 클럭 발생기; 캡쳐 명령이 입력되면, 상기 클럭 발생기가 증가된 처리 클럭 레이트에 상응하는 클럭 신호를 생성하도록 제어하는 제어 유니트; 상기 클럭 신호에 따라 이미지 센서로부터 입력되는 전기 신호(raw data)를 이용하여 YUV 데이터를 생성하는 서브 ISP(Image Signal Processor); 상기 클럭 신호에 따라 상기 YUV 데이터를 이용하여 인코딩된 이미지 데이터를 생성하는 인코딩부; 상기 인코딩된 이미지 데이터를 축적하는 메모리; 및 상기 제어 유니트의 제어에 의해 상기 축적된 인코딩된 이미지 데이터를 미리 지정된 시점마다 수신단-여기서, 상기 수신단은 백엔드 칩 또는 베이스밴드 칩임-으로 출력하는 출력부를 포함할 수 있다.
상기 이미지 시그널 프로세서는 상기 메모리에 축적된 인코딩된 이미지 데이터의 양을 모니터링하여 모니터링 정보를 생성하는 버퍼 관리부를 더 포함할 수 있다. 여기서, 상기 제어 유니트는 상기 모니터링 정보를 이용하여 상기 처리 클럭 레이트를 증감할 수 있다.
상기 캡쳐 명령이 입력되기 전에는 상기 출력부는 상기 서브 ISP에 의해 출 력되는 상기 YUV 데이터를 상기 수신단으로 출력할 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 제어 유니트는 상기 이미지 센서로 스킵(skip) 명령을 전송하고, 상기 이미지 센서는 상기 k+1번째 프레임에 상응하는 전기 신호를 출력하지 않을 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 제어 유니트는 상기 서브 ISP로 스킵(skip) 명령을 전송하고, 상기 서브 ISP는 상기 k+1번째 프레임에 상응하는 YUV 데이터 생성을 스킵할 수 있다.
상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력은 지연 입력되도록 상기 이미지 센서로 지시할 수 있다.
상술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, 이미지 처리 방법 및/또는 당해 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 이미지 센서, 이미지 시그널 프로세서 및 수신단을 포함하는 촬상 장치의 상기 이미지 시그널 프로세서에서 수행되는 이미지 처리 방법에 있어서, (a) 제1 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 YUV 데이터를 생성하고, 제1 출력 클럭 레이트에 따라 상기 YUV 데이터를 상기 수신단-여기서, 상기 수신단은 백엔드 칩 또는 베이스밴드 칩임-으로 출력하는 단계; (b) 상기 수신단으로부터 캡쳐 명령을 입력받는 단계; 및 (c) 제2 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 인코딩된 데이터를 생성하고, 제2 출력 클럭 레이트에 따라 상기 인코딩된 데이터를 상기 수신단으로 출력하는 단계를 포함하는 이미지 처리 방법이 제공된다. 여기서, 상기 이미지 시그널 프로세서는 인코더를 구비하고, 상기 제1 처리 클럭 레이트는 상기 제2 처리 클럭 레이트 이하일 수 있다.
상기 이미지 센서는 상기 이미지 시그널 프로세서로부터 상기 제1 처리 클럭 레이트 또는 상기 제2 처리 클럭 레이트에 상응하여 입력된 클럭 신호에 부합되도록 상기 전기 신호를 생성하는 출력할 수 있다.
상기 제1 처리 클럭 레이트는 프리뷰(Preview) 상태의 클럭 레이트이고, 상기 제2 처리 클럭 레이트는 상기 수신단으로부터 입력된 캡쳐 명에 상응하는 프레임을 처리하기 위한 클럭 레이트일 수 있다.
상기 단계 (c)는, 상기 제2 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 인코딩된 데이터를 생성하는 단계; 상기 인코딩된 데이터를 버퍼 메모리에 저장하는 단계; 및 미리 지정된 기간동안 상기 버퍼 메모리에 저장된 상기 인코딩된 데이터를 미리 지정된 시점마다 상기 제2 출력 클럭 레이트에 따라 상기 상기 수신단으로 출력하는 단계를 포함할 수 있다. 여기서, 상기 버퍼 메모리에 저장된 인코딩된 데이터의 양이 미리 지정된 크기 이상인 경우 상기 제2 클럭 레이트를 감소시킬 수 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 일 실시예에 따른 이미지 처리 방법 및 장치를 상세히 설명하기로 한다. 첨부 도면을 참조하여 본 발명을 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 촬상 장치의 구성을 간략히 나타낸 도면이고, 도 4는 본 발명의 바람직한 일 실시예에 이미지 시그널 프로세서의 구성을 상세히 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 촬상 장치는 이미지 센서(110), 이미지 시그널 프로세서(310), 백엔드 칩(130), 베이스밴드 칩(140) 및 표시부(150)를 포함한다.
이미지 센서(110)는 외부의 영상에 상응하는 전기 신호(raw data)를 생성하여 이미지 시그널 프로세서(310)로 출력한다. 이미지 센서(110)는 전기 신호를 생성하여 출력할 때 클럭 발생기(440 - 도 4 참조)로부터 입력되는 클럭 신호를 이용할 수 있다. 이미지 센서(110)가 외부 영상에 상응하는 전기 신호를 생성하여 출력하는 과정은 당업자에게 자명하므로 설명을 생략한다.
이미지 시그널 프로세서(310)는 이미지 센서(110)로부터 입력된 전기 신호를 YUV 데이터 또는 인코딩된 데이터로 변환하여 백엔드 칩(130)으로 출력한다. 프리 뷰(Preview, 이미지 데이터의 생성없이 이미지 센서(110)를 통해 입력된 데이터를 표시부(150)를 통해 표시하는 상태로서, 사용자에 의해 촬영 명령이 입력되기 이전의 상태) 상태에서는 YUV 데이터가 출력될 것이고, 캡쳐 명령(즉, 외부 영상을 촬상한 이미지 데이터를 생성하기 위한 명령)이 입력된 경우에는 상응하는 프레임에 대한 JPEG 인코딩된 데이터가 출력될 것이다. 일반적으로, 촬상 장치는 캡쳐 명령이 입력되기 이전 및 캡쳐 명령에 상응하는 이미지 데이터의 인코딩이 완료된 후에는 프리뷰 상태로 존재할 것이다.
이미지 시그널 프로세서(310)는 서브 ISP(Image Signal Processor)(320), 인코딩부(330), 데이터 출력부(340) 등을 포함할 수 있다. 이외에도, 클럭 발생기, 센서 제어부 등을 더 포함할 수 있다. 서브 ISP(320)는 전처리부(410), YUV 출력부(415) 등을 포함할 수 있다. 인코딩부(330)는 JPEG 인코더인 경우를 가정하여 설명하나 다른 포맷의 데이터 변환을 위한 인코더일 수 있음은 자명하다. 데이터 출력부(340)는 버퍼 메모리(430), 버퍼 관리부(435) 등을 포함할 수 있다.
이미지 시그널 프로세서(310)의 구성이 상세히 도시된 도 4를 참조하면, 이미지 시그널 프로세서(310)는 전처리부(410), YUV 출력부(415), 출력 제어부(420), JPEG 인코더(425), 버퍼 메모리(430), 버퍼 관리부(435), 클럭 발생기(440), 제어 유니트(445), 센서 제어부(450) 및 먹스(MUX)(455)를 포함할 수 있다.
전처리부(410)는 이미지 센서(110)로부터 입력받은 전기 신호(raw data)를 처리하여 고해상도 YUV 데이터를 출력한다. 전처리부(410)에 의해 이미지의 색상, 밝기 등과 같은 화질 개선이 이루어질 수 있다. 전처리부(410)는 종래의 이미지 시 그널 프로세서(120)와 동일 또는 극히 유사한 구성요소일 수 있다.
YUV 출력부(415)는 전처리부(410)로부터 입력받은 고해상도 YUV 데이터를 미리 설정된 수직 라인수 및 수평 화소수에 부합되는 저해상도 YUV 데이터로 변환하여 출력 제어부(420)로 출력한다. 프리뷰(Preview)를 위한 수직 라인수 및 수평 화소수는 사용자에 의해 설정되거나 미리 지정될 수 있다.
또한, YUV 출력부(415)는 백엔드 칩(130)으로부터 I2C 또는 SPI를 통해 캡쳐 명령을 입력받은 제어 유니트(445)의 제어에 의해 고해상도 YUV 데이터를 JPEG 인코더(425)로 제공할 수도 있다. JPEG 인코더(425)는 YUV 출력부(415)로부터 입력된 고해상도 YUV 데이터를 이용하여 JPEG 인코딩된 데이터를 생성할 것이다. JPEG 인코더(425)에 의한 캡쳐 명령에 상응하는 프레임(예를 들어, k번째 프레임)의 인코딩 처리 중에 이미지 센서(110)로부터 후속하는 프레임(예를 들어, k+1번째 프레임)의 데이터(raw data)의 입력이 개시된 경우, YUV 출력부(415)는 제어 유니트(445)의 제어에 의해 후속하는 프레임에 상응하는 고해상도 YUV 데이터를 JPEG 인코더(425)로 입력하지 않을 수 있다.
출력 제어부(420)는 제어 유니트(445)의 제어에 의해 백엔드 칩(130)으로 저해상도 YUV 데이터 또는 인코딩된 데이터를 출력하기 위해 스위칭 동작을 수행하는 먹스(455)를 제어한다. 도 4에는 출력 제어부(420)가 YUV 출력부(415)와 먹스(455)간의 저해상도 YUV 데이터 전송 경로상에 구비된 것으로 도시되었으나, 출력 제어부(420)가 먹스(455)의 제어를 위해서만 존재하는 경우 제어 유니트(445)와 먹스(455)간의 제어 경로상에 구비될 수도 있다. 저해상도 YUV 데이터는 프리뷰(Preview)를 위해 백엔드 칩(130)으로 제공될 수 있고, 인코딩된 데이터는 압축된 이미지 데이터의 저장 및/또는 디코딩을 위해 백엔드 칩(130)으로 제공될 수 있다.
JPEG 인코더(425)는 YUV 출력부(415)로부터 입력받은 고해상도 YUV 데이터를 이용하여 JPEG 인코딩된 데이터를 생성하여 버퍼 메모리(430)에 저장한다. JPEG 인코딩 과정은 앞서 상세히 설명하였으므로 이에 대한 설명은 생략한다.
버퍼 메모리(430)는 예를 들어 환형 메모리일 수 있으며, 입력되는 순서대로 JPEG 인코딩된 데이터가 기록되고, 독출(read)된 순서대로 새로운 데이터가 오버라이트(overwrite)될 수 있다. 물론, 독출된 데이터는 삭제(delete)되도록 설정될 수도 있다. 버퍼 메모리(430) 내에 기록되는 JPEG 인코딩된 데이터는 유효 데이터(즉, 실제적으로 이미지를 구성하는 데이터)만으로 제한될 수도 있다. JPEG 인코더(425)로부터 JPEG 인코딩된 출력되는 데이터가 유효 데이터인지 무효 데이터인지 여부는 JPEG 인코더(425), 버퍼 관리부(435), 제어 유니트(445) 등 중 적어도 어느 하나에 의해 판단될 수 있다. 버퍼 메모리(430)에는 무효 데이터가 출력되어 기록될 지점에서 공란으로 기록되거나 이후의 유효 데이터가 연속으로 기록되도록 설정될 수 있다. 만일 무효 데이터 지점이 공란으로 기록된 경우 해당 지점에 대해서는 패딩 데이터(padding data, 수평 화소수에 형식적으로 부합되도록 하기 위한 형식적 데이터)가 백엔드 칩(130)으로 출력될 수 있을 것이다.
버퍼 관리부(435)는 버퍼 메모리(430)에 기록된 JPEG 인코딩된 데이터의 양을 모니터링하여 버퍼 메모리의 용량이 모두 이용되지 않도록(즉, 부족하지 않도록) 관리한다. 버퍼 관리부(435)는 버퍼 메모리(430)에 대해 모니터링한 정보(이하, '모니터링 정보'라 칭함)를 제어 유니트(445)로 제공한다. 또한, 버퍼 관리부(435)는 버퍼 메모리(430)에 기록된 데이터가 미리 지정된 시점(예를 들어, 도 1b에서 H_REF 신호가 하이 상태로 전환되는 시점)마다 백엔드 칩(130)으로 출력되도록 한다. 이외에 버퍼 관리부(435)는 클럭 신호(P_CLK), 수직 동기 신호(V_sync), 유효 데이터 인에이블 신호(H_REF)가 더 백엔드 칩(130)으로 출력되도록 한다.
버퍼 관리부(435)의 기능을 구체적으로 설명하면 다음과 같다.
버퍼 관리부(435)는 종래의 출력 파형과 동일한 형태의 출력 파형이 생성되어 백엔드 칩(130)으로 출력되도록 한다. 또한, 클럭 레이트(Clock rate)를 감소시킬 때 버퍼 메모리(430)가 데이터 출력을 위한 완충 작용을 하도록 관리한다. 이는 본 발명에 따른 이미지 시그널 프로세서(310)가 인코딩 처리를 위한 클럭 레이트(이하, '처리 클럭 레이트'라 칭함)가 JPEG 인코딩된 데이터의 출력을 위한 클럭 레이트(이하. '출력 클럭 레이트'라 칭함)보다 높게 설정되므로, JPEG 인코딩된 데이터의 출력을 위해서는 클럭 레이트를 감소시킬 필요가 있기 때문이다. 또한 클럭 레이트의 감소에 의해 종래의 출력 파형과 동일하게 JPEG 인코딩된 데이터의 출력이 가능해지므로, 종래의 백엔드 칩(130)일지라도 본 발명에 따른 이미지 시그널 프로세서(310)와 호환될 수 있다.
또한, 버퍼 관리부(435)는 버퍼 메모리(430)에 저장되어 먹스(455)를 통해 출력되는 JPEG 인코딩된 데이터의 양을 합산하여 파일 사이즈 등을 체크하고, 해당 정보를 제어 유니트(445)로 전달함으로써 클럭 레이트와 연계하여 안정된 JPEG 인코딩된 데이터의 양이 출력될 수 있도록 압축률이 조정되도록 할 수 있다. 스케일 팩터는 0~255 범위 내의 임의의 값으로 지정되며 화질 및 압축률을 결정하는 변수이다. 스케일 팩터가 크면 압축률은 좋으나 화질이 열화되고, 스케일 팩터가 작으면 화질은 좋으나 압축률이 나빠진다. 제어 유니트(445)는 버퍼 메모리(430)에 저장된 JPEG 인코딩된 데이터의 양에 따라 스케일 팩터를 조절함으로써 출력 버퍼에서 잃는 값이 없이 클럭 레이트를 조절할 수 있다. 이는 인코딩된 데이터의 생성을 위한 처리 클럭 레이트가 지나치게 커서 기록된 데이터가 독출되기 전에 새로운 데이터에 의해 오버라이트되는 문제점을 해소할 수 있다.
이를 위해, 제어 유니트(445)는 캡쳐 명령에 상응하는 프레임을 처리함에 있어 최대 버퍼 이용량(즉, 전체 버퍼 용량 중 미리 지정된 저장 한도 기준)이 모두 이용되었는지 여부를 체크하고 이에 따라 현재 클럭 레이트를 고려한 출력 안정도를 체크한다. 이어서, 버퍼 메모리(430)에 저장된 데이터의 양이 지나치게 많은 경우에는 스케일 팩터를 높인다. 이때 스케일 팩터는 단계적으로 높아지도록 설정함이 바람직하다.
다른 방법으로서, 제어 유니트(445)는 하나의 프레임(즉, FFD8(start mark) ~ FFD9(end mark))에 대한 JPEG 인코딩된 데이터 중에서 유효 데이터(즉, 실제적으로 이미지를 구성하는 데이터)만을 카운트하여 스케일 팩터를 조절할 수도 있다. JPEG 인코더(425)로부터 출력되는 데이터가 유효 데이터인지 무효 데이터인지 여부는 JPEG 인코더(425), 버퍼 관리부(435) 또는 제어 유니트(445) 등 중 적어도 어느 하나에 의해 인식될 수 있을 것이다.
또 다른 방법으로서, 전처리부(410)의 필터가 이용될 수도 있으며, 이는 세밀한 조정을 할 때 흐림(bluring) 정도를 제어하면서 데이터의 양을 제한하는 방법이다.
클럭 발생기(440)는 제어 유니트(445)의 제어에 의해 임의의 클럭 레이트에 상응하는 클럭 신호를 생성하여 각 구성 요소에 제공한다. 또한, 캡쳐 명령을 입력받은 제어 유니트(445)의 제어에 의해 처리 클럭 레이트에 상응하는 클럭 신호를 생성하여 상응하는 구성 요소들(예를 들어, 전처리부(410), YUV 출력부(415), JPEG 인코더(425), 버퍼 관리부(435) 등)로 출력한다. 클럭 발생기(440)에 의해 생성된 클럭 신호는 이미지 센서(110)로도 입력되어 이미지 센서(110)와 이미지 시그널 프로세서(310)간에 연동되도록 한다. 클럭 발생기(440)는 출력 클럭 레이트에 상응하는 클럭 신호를 생성하여 백엔드 칩(130)으로 출력할 수도 있다.
클럭 발생기(440)는 이미지 시그널 프로세서(310)에 캡쳐 명령이 입력되기 전에는 종래와 같이 출력 클럭 레이트보다 적은 처리 클럭 레이트를 유지할 수 있을 것이다. 그러나, 이미지 시그널 프로세서(310)에 제어 유니트(445)의 제어에 의해 캡쳐 명령이 입력된 후에는 처리 클럭 레이트(이하, '제2 처리 클럭 레이트'라 칭함)가 프리뷰(preview) 상태에서의 처리 클럭 레이트(이하, '제1 처리 클럭 레이트'라 칭함) 이상(즉, 제2 처리 클럭 레이트 > 제1 처리 클럭 레이트)이 되도록 한다. 이 경우, 제2 처리 클럭 레이트가 증가되는 한계(즉, 상한값)는 미리 설정될 수 있다. 또한, 증가된 제2 처리 클럭 레이트는 출력 클럭 레이트보다 크거나 작을 수 있다.
즉, 캡쳐 명령이 입력되면 이미지 시그널 프로세서(310)의 신속한 처리를 위해 제1 처리 클럭 레이트가 증가되어 제2 처리 클럭 레이트로 갱신된다. 이 경우, 제1 처리 클럭 레이트와 제2 처리 클럭 레이트간의 증가 비율은 각 처리 클럭 레이트에 의해 처리되는 데이터의 양에 의해 결정될 수 있다. 일반적으로 프리뷰 모드에서는 표시부(150)의 크기에 부합하거나 그 이하의 크기로서 이미지 영상이 표시되나, 캡쳐 명령에 의해 인코딩된 이미지는 표시부(150)의 크기와는 무관하게 미리 지정된 크기로서 생성된다. 다만, 인코딩된 이미지가 표시부(150)에 디스플레이될 때는 표시부(150)의 크기 또는 프리뷰 모드의 표시 크기에 따라 표시될 뿐이다. 따라서, 제1 처리 클럭 레이트와 제2 처리 클럭 레이트의 비는 프리뷰 모드를 위한 데이터의 크기(또는 프리뷰 이미지 크기로서, 예를 들어 320 x 240일 수 있으며, 이는 넓이, 가로 길이, 세로 길이 또는 대각선 길이 등 중 어느 하나일 수 있음)와 인코딩될 데이터의 크기(예를 들어 640x480일 수 있으며, 이는 넓이, 가로 길이, 세로 길이 또는 대각선 길이 등 중 어느 하나)의 비와 일치할 수 있다.
제2 처리 클럭 레이트의 상한값은 버퍼 메모리(430)에 기록되는 데이터량(즉, 입력량)과 독출되어 백엔드 칩(130)으로 전달되는 데이터량(즉, 출력량)의 차가 버퍼 메모리(430)의 저장 용량(또는 최대 버퍼 이용량) 이하(또는 미만)으로 유지될 수 있는 한계값일 수 있다. 물론, 제2 처리 클럭 레이트가 상술한 상한값 이하로 지정될지라도 입력량과 출력량의 차가 버퍼 메모리(430)의 저장 용량(또는 최대 버퍼 이용량) 이상이 되는 경우에는 버퍼 메모리(430)에 기록된 데이터로서 아 직 독출되지 않은 데이터를 보호하기 위해 제2 처리 클럭 레이트를 감소시킬 수 있다. 제2 처리 클럭 레이트의 증감은 버퍼 관리부(435)에 의해 제어되거나, 버퍼 관리부(435)로부터 제공받은 모니터링 정보를 이용하여 제어 유니트(445)에 의해 제어될 수 있다.
이외에도, 클럭 발생기(440)는 제2 처리 클럭 레이트가 제1 클럭 레이트 보다 상대적으로 증가한 효과를 가지도록 하기 위하여 다양한 방법을 더 적용할 수 있다. 예를 들어, 클럭 발생기(440)는 처리 클럭 레이트가 고정되고 출력 클럭 레이트가 변경 가능한 경우에는 출력 클럭 레이트를 상대적으로 감소시킬 수도 있을 것이다. 다만, 변경된 출력 클럭 레이트는 수신단에서 인식하여 상응하도록 동작할 수 있어야 할 것이다. 상술한 바와 같이, 제어 유니트(445) 또는 버퍼 관리부(435)의 제어에 의해 출력 클럭 레이트는 종래에 비해 감소될 수도 있고, 처리 클럭 레이트가 종래에 비해 증가될 수도 있다. 예를 들어, 처리 클럭 레이트가 증가된 경우 각 구성 요소는 인코딩 처리를 보다 신속하게 할 수 있을 것임은 자명하며, 출력 클럭 레이트가 감소된 경우 각 구성 요소는 인코딩 처리를 위한 시간을 보다 더 확보할 수 있을 것이다.
제어 유니트(445)는 프리뷰 상태에서는 YUV 출력부(415)에서 출력되는 저해상도 YUV 데이터가 먹스(455)를 통해 백엔드 칩(130)으로 출력되도록 제어하고, 백엔드 칩(130)으로부터 캡쳐 명령이 입력되면 상응하는 프레임의 인코딩 처리시 지연 현상이 최소화될 수 있도록 각 구성 요소들을 제어한다. 또한, 현재 동작 상태(예를 들어, 프리뷰 상태 또는 캡쳐 명령 입력 상태)에 따른 상응하는 데이터가 출 력될 수 있도록 먹스(455)의 경로 설정을 위해 출력 제어부(420)를 제어한다. 또한, 캡쳐 명령에 상응하는 프레임(예를 들어, k번째 프레임)의 인코딩 처리가 후속하는 프레임(즉, k+1번째 프레임)의 데이터 입력에 의해 방해되거나 데이터 충돌을 방지하기 위해 센서 제어부(450)를 통해 이미지 센서(110)를 제어함으로써 후속하는 프레임(이 경우, k+1번째 프레임만으로 제한될 수 있음)의 전기 신호(raw data) 출력이 억제되도록 할 수도 있다. 물론, 캡쳐 명령에 상응하는 프레임의 인코딩 처리 중에 이미지 센서(110)로부터 후속하는 프레임의 데이터(raw data)의 입력이 개시된 경우, 제어 유니트(445)는 YUV 출력부(415)가 후속하는 프레임에 상응하는 고해상도 YUV 데이터를 JPEG 인코더(425)로 입력하지 않도록 제어할 수도 있다. 또한, 이미지 센서(110)와 전처리부(410)간에 스위칭 수단이 더 구비된 경우, 제어 유니트(445)는 해당 스위칭 수단을 제어하여 이미지 센서(110)로부터 출력되는 전기 신호가 전처리부(410)로 입력되지 않도록 제어할 수도 있다.
센서 제어부(450)는 제어 유니트(445)의 제어에 의해 이미지 센서(110)의 출력을 제어할 수 있다. 예를 들어, 센서 제어부(450)가 제어 유니트로부터 캡쳐 명령에 상응하는 프레임의 인코딩 처리를 위해 후속하는 프레임의 스킵(skip) 명령이 입력된 경우, 후속하는 프레임에 상응하는 데이터(raw data)를 출력하지 않도록 제어할 수 있다. 물론, 이외에도 다양한 방법들이 적용될 수 있으며, 이들 각각에 대해서는 이후 관련 도면을 참조하여 상세히 설명하기로 한다.
먹스(455)는 출력 제어부(420)의 제어에 의한 스위칭 동작을 수행한다. 즉, 출력 제어부(420)로부터 프리뷰 상태로서 저해상도 YUV 데이터 출력을 위한 경로 설정을 요청받으면 YUV 출력부(415)로부터 출력된 저해상도 YUV 데이터가 백엔드 칩(130)으로 출력되도록 경로를 설정한다. 또는, 출력 제어부(420)로부터 캡쳐 명령에 상응하는 JPEG 인코딩된 데이터 출력을 위한 경로 설정을 요청받으면 버퍼 메모리(430)에 저장된 JPEG 인코딩된 데이터가 백엔드 칩(130)으로 출력되도록 경로를 설정한다.
이하, 도 4를 참조하여, 본 발명에 따른 이미지 시그널 프로세서(310)의 동작 과정을 설명하기로 한다.
먼저, 프리뷰(Preview) 상태에서의 동작 과정을 설명한다. 프리뷰 상태에서 이미지 시그널 프로세서(310) 및 이미지 센서(110)의 처리 과정에는 제1 처리 클럭 레이트가 이용될 것이다.
이미지 센서(110)는 외부 영상에 상응하는 전기 신호(raw data)를 생성하여 전처리부(410)로 입력하고, 전처리부(410)는 미리 지정된 방법에 의해 전기 신호를 처리하여 고해상도 YUV 데이터를 생성하여 출력한다.
YUV 출력부(415)는 고해상도 YUV 데이터를 미리 설정된 수직 라인수 및 수평 화소수에 부합되는 저해상도 YUV 데이터로 변환하여 출력 제어부(420)로 출력한다. 상술한 바와 같이, 출력 제어부(420)가 먹스(455)의 스위칭 동작 제어만을 위한 경우 출력 제어부(420)는 제어 유니트(445)와 먹스(455)간의 제어 경로상에 구비될 수도 있을 것이다.
또한, YUV 출력부(415)는 고해상도 YUV 데이터를 JPEG 인코더(425)로 제공할 수도 있다. 이는 JPEG 인코더(425)가 고해상도 YUV 데이터를 이용하여 JPEG 인코딩 된 데이터를 생성하기 위한 것은 아니고, 단지 캡쳐 명령이 입력된 경우 출력될 압축된 이미지 데이터의 양을 미리 인식하기 위한 것일 수 있다. JPEG 인코더(425)는 처리할 이미지 데이터에 대한 수직 라인수 및 수평 화소수를 미리 인지하고 있거나 제어 유니트(445)로부터 제공받을 수 있을 것이다.
출력 제어부(420)는 YUV 출력부(415)로부터 입력된 저해상도 YUV 데이터를 먹스(455)를 통해 백엔드 칩(130)으로 전달한다. 캡쳐 명령이 입력되는 경우가 일반적인 상태는 아니므로, 먹스(455)가 설정하는 디폴트(default) 경로는 저해상도 YUV 데이터가 출력되기 위한 경로일 수 있다. 캡쳐 명령 입력시 출력 제어부(420)의 제어에 의해 먹스(455)는 JPEG 인코딩된 데이터가 출력되도록 경로 변경을 수행할 수 있을 것이다.
백엔드 칩(130)은 이미지 시그널 프로세서(310)로부터 입력받은 저해상도 YUV 데이터를 이용하여 표시부(150)에 상응하는 이미지를 출력함으로써 프리뷰 동작이 수행되도록 한다.
저해상도 YUV 데이터를 이용하여 프리뷰 동작을 수행함에 있어, 이미지 시그널 프로세서(310)와 백엔드 칩(130)간에 송수신되는 데이터의 양이 적으므로 클럭 레이트에 영향을 받지 않고 신속하게 데이터 전달이 가능함은 자명하다. 따라서, 프리뷰 상태에서는 클럭 발생기(440)의 처리 클럭 레이트는 종래와 동일하게 적용될 수 있다.
다만, 프리뷰 동작의 원활한 수행을 위해 송수신되는 데이터의 양을 보다 줄일 필요가 있다면, 이미지 센서(110) 및/또는 YUV 출력부(415)에 의한 서브 샘플링(Subsampling)이 수행될 수도 있다.
그러나, 상술한 바와 같이 사용자에 의해 입력된 캡쳐 명령에 따라 외부 영상에 상응하는 JPEG 인코딩된 데이터를 백엔드 칩(130)으로 전송하는 경우에는 큰 이미지를 빠르게 보내야 하기 때문에 지연(lagging) 현상이 발생할 수 있다. 즉, 프리뷰를 위해 출력하는 데이터(즉, 저해상도 YUV 데이터)의 크기에 비해 캡쳐 명령에 의해 JPEG 인코딩될 데이터(즉, 고해상도 YUV 데이터)의 크기가 크기 때문이다. 이하, 본 발명에 따른 이미지 시그널 프로세서가 지연 현상을 감소시키기 위한 방법을 설명한다.
촬상 장치가 프리뷰 상태로 동작하는 중에 사용자가 임의의 영상을 촬영하기 위해 셔터(또는 촬영 버튼)를 누르면, 이미지 시그널 프로세서(310)(또는 제어 유니트(445))는 I2C 또는 SPI를 통해 백엔드 칩(130)으로부터 캡쳐 명령을 입력받는다. 캡쳐 명령을 입력받은 제어 유니트(445)는 클럭 발생기(440)를 제어하여 제2 처리 클럭 레이트가 제1 처리 클럭 레이트 이상(또는 초과)가 되도록 제어한다. 이 경우, 제2 처리 클럭 레이트는 출력 클럭 레이트 이상이거나 미만일 수 있다. 제2 처리 클럭 레이트를 제1 처리 클럭 레이트에 비해 절대적으로 또는 상대적으로 증가시키는 방법은 앞서 설명한 바와 같다. 이와 같이, 증가된 제2 처리 클럭 레이트에 상응하는 클럭 신호가 이미지 데이터 인코딩을 위한 각 구성 요소에서 이용되거나, 감소된 출력 클럭 레이트가 JPEG 인코딩된 데이터의 출력을 위해 이용될 수 있음은 자명하다.
이 경우에도, 이미지 센서(110)는 외부 영상에 상응하는 전기 신호(raw data)를 생성하여 전처리부(410)로 입력할 것이고, 전처리부(410)는 미리 지정된 방법에 의해 전기 신호를 처리하여 고해상도 YUV 데이터를 생성하여 출력할 것이다. 이 경우 이미지 센서(110)는 클럭 발생기(440)로부터 입력받은 제2 처리 클럭 레이트(또는 이에 따른 클럭 신호)에 상응하도록 전기 신호를 출력하고, 전처리부는 제2 처리 클럭 레이트에 상응하도록 전처리를 수행할 수 있다.
코딩 처리가 완료될 수 있었으나, 본 발명에 의할 때 JPEG 인코딩된 데이터(또는 유효 데이터)가 전반부에 집중적으로 배치되고 수직 화소수의 후반부에는 패딩 데이터들만으로 배치될 수 있기 때문에 수직 화소수만큼의 모든 데이터를 독출할 필요가 없기 때문이다.
버퍼 관리부(435)는 버퍼 메모리(430)를 모니터링하여 모니터링 정보를 제어 유니트(445)로 전송한다. 제어 유니트(445)는 버퍼 관리부(435)로부터 입력받은 모니터링 정보를 이용하여 처리 클럭 레이트(또는 출력 클럭 레이트)가 조절되도록 클럭 발생기(440)를 제어할 수 있다. 예를 들어, 제어 유니트(445)는 버퍼 메모리(430)에 저장되는 JPEG 인코딩된 데이터가 버퍼 메모리(430)의 저장 공간 중 최대 버퍼 이용량 이하로 유지되도록 처리 클럭 레이트(또는 출력 클럭 레이트)를 제어할 수 있다. 이는, 버퍼 메모리(430)에 기록된 JPEG 인코딩된 데이터가 백엔드 칩(130)으로 전송되기 전에 새로운 데이터에 의해 오버라이트(overwrite)되거나 새로운 데이터의 저장을 위해 독출되지 않은 데이터가 삭제되지 않도록 처리 클럭 레이트(또는 출력 클럭 레이트)를 제어하는 것이다.
버퍼 메모리(430)에 저장된 JPEG 인코딩된 데이터는 데이터 출력 시점(예를 들어, 도 1b에서 H_REF 신호가 하이 상태로 전환되는 시점)부터 데이터 출력 구간 동안 출력된다. 버퍼 메모리(430)에는 JPEG 인코더(425)로부터 출력되는 데이터들 중 유효 데이터만이 기록되도록 할 수 있으며, 이 경우 유효 데이터들만이 순차적으로 출력되거나 무효 데이터가 출력될 구간에 패딩 데이터가 출력될 수 있다. 출력 신호의 파형은 버퍼 관리부(435) 또는 제어 유니트(445)에 의해 종래의 출력 파형과 동일하도록 생성될 수 있다. 버퍼 메모리(430)에 저장된 인코딩된 데이터는 버퍼 관리부(435) 또는 출력 제어부(420)에 의해 독출되어 먹스(455)로 입력될 수 있다.
먹스(455)는 출력 제어부(420)의 제어에 의해 JPEG 인코딩된 데이터가 출력되도록 경로 설정이 이루어졌으므로, 버퍼 메모리(430)로부터 출력되는 JPEG 인코딩된 데이터는 먹스(455)를 통해 백엔드 칩(130)으로 출력된다.
JPEG 인코더(425)가 캡쳐 명령에 상응하는 프레임의 인코딩 처리를 수행하는 중에 이미지 센서(110)로부터 새로운 프레임에 대한 전기 신호가 이미지 시그널 프로세서(310)로 입력되는 경우, 제어 유니트(445)는 YUV 출력부(415)를 제어하여 상응하는 고해상도 YUV 데이터가 JPEG 인코더로 입력되지 않도록 하거나, 전처리부(410)가 상응하는 전기 신호(raw data)를 입력받지 않도록 할 수 있다. 물론, 이미지 센서(110)와 전처리부(410)간에 스위칭 수단이 더 구비된 경우, 제어 유니트(445)는 해당 스위칭 수단을 제어하여 이미지 센서(110)로부터 출력되는 전기 신호가 전처리부(410)로 입력되지 않도록 할 수도 있다. 상술한 방법들에 의해, 후속하는 프레임에 상응하는 데이터의 입력 및/또는 처리가 생략될 수 있으며, 결 과적으로 도 1 b에 도시된 V_sync2를 백엔드 칩(130)으로 출력할 필요가 없고 스킵(skip)할 수 있다. 이 경우, V_sync2가 백엔드 칩(130)으로 출력되지 않은 경우 상응하는 데이터들도 백엔드 칩(130)으로 출력되지 않을 것임은 자명하다.
이제까지 사용자에 의해 입력된 캡쳐 명령에 상응하는 프레임(예를 들어, k번째 프레임)의 데이터들을 원활하게 처리하기 위하여 후속하여 입력된 프레임(예를 들어, k+1번째 프레임)의 처리는 스킵하는 방법을 중심으로 설명하였다.
해당 방법뿐 아니라 이미지 시그널 프로세서(310)의 데이터 인코딩을 오류없이 수행할 수 있고, 또한 이미지 시그널 프로세서(310)과 수신단(예를 들어, 백엔드 칩(130), 베이스밴드 칩(140) 등)간에 JPEG 인코딩된 데이터의 송수신을 위한 다양한 방법을 관련 도면을 참조하여 상세히 설명하기로 한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이다. 도 5는 버퍼 메모리(430)에 기록된 데이터가 일정 시간의 지연(delay)을 가진 후 순차적으로 출력되는 경우를 나타낸 것이다.
도시된 신호 파형은 버퍼 관리부(435)에 의해 생성되어 출력되거나, 제어 유니트(445)에 의해 생성되어 출력될 수 있다. 제어 유니트(445)에 의해 신호 파형이 생성되어 출력되는 경우, 버퍼 관리부(435)는 미리 지정된 구간(예를 들어, H_REF(유효 데이터 인에이블 신호) 신호가 하이 상태로 유지되는 구간)동안 버퍼 메모리(430)에 기록된 JPEG 인코딩된 데이터(또는 유효 데이터)를 수신단으로 출력 되도록 할 것이다. H_REF 신호는 수신단에서 기록 인에이블(Write Enable) 신호로 인식되어 상응하는 데이터를 메모리에 기록할 것이며, 이러한 방법에 의해 수신단의 메모리에는 유효데이터들만이 순차적으로 기록될 수 있을 것이다. 도 5에는 무효 데이터 또는 패딩 데이터가 0x00의 형태로 도시되었으나, 이는 특정한 데이터를 지칭하는 것은 아니다.
버퍼 관리부(435) 또는 제어 유니트(445)에 의해 수신단으로 출력되는 클럭 신호(P_CLK)는 클럭 발생기(440)에서 생성한 또는 미리 설정된 출력 클럭 레이트에 따른 클럭 신호일 수 있다. 도 5에 도시된 바와 같이, 클럭 신호는 유효 데이터가 출력되는 동안에만 수신단으로 출력되고, 무효 데이터 또는 패딩 데이터가 출력될 구간에는 수신단으로 출력되지 않을 수(또는 로우 상태로 유지) 있다. 물론, 클럭 신호는 계속 출력될 수도 있다(이하의 각 도면에서도 동일함). 도시된 수직 동기 신호(V_sync)가 후속하여 새로운 프레임에 상응하는 데이터가 출력될 것임을 의미함은 자명하다.
V_sync1에 상응하는 k번째 프레임의 인코딩 처리 도중 이미지 센서(110)로부터 k+1번째 프레임에 상응하는 V_sync2가 입력된 경우, 이미지 시그널 프로세서(310)는 상술한 방법에 의해 스킵 명령을 이미지 센서(110), 또는 임의의 구성 요소로 제공하고 k+1번째 프레임에 대한 처리가 스킵되도록 할 수 있다. 이 경우, V_sync2는 수신단으로 출력될 필요가 없으므로 도 5에 도시된 바와 같이 V_sync2의 출력은 스킵된다. V_sync 신호의 입력 여부는 V_sync 신호의 라이징 엣지(rising edge) 또는 폴링 엣지(falling edge)를 검출하여 인식할 수 있다.
버퍼 관리부(435) 또는 제어 유니트(445)는 버퍼 메모리(430)에 저장된 데이터들의 JPEG 헤더(Header) 및/또는 테일(Tail)에서 'START MARKER'와 'STOP MARKER'를 캡쳐하여 JPEG 인코딩의 시작과 끝을 인식할 수 있다.
따라서, 이미지 센서(110)로부터 #1, #2, #3의 프레임에 상응하는 전기 신호(raw data)가 순차적으로 입력되었을지라도 이미지 시그널 프로세서(310)가 출력하는 인코딩된 데이터는 #1, #3의 프레임에 대한 데이터만으로 제한될 수도 있다.
도 6a는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이고, 도 6b는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서로부터 전송되어 백엔드 칩의 메모리에 축적된 데이터들의 저장 형태를 개념적으로 나타낸 도면이며, 도 6c는 본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이다.
도 6a 내지 도 6c는 버퍼 메모리(430)에 미리 지정된 크기의 유효 데이터가 기록된 시점마다 수신단으로 출력되는 경우를 나타낸 것이다.
도시된 신호 파형은 버퍼 관리부(435)에 의해 생성되어 출력되거나, 제어 유니트(445)에 의해 생성되어 출력될 수 있다. 제어 유니트(445)에 의해 신호 파형이 생성되어 출력되는 경우, 버퍼 관리부(435)는 미리 지정된 구간(예를 들어, H_REF(유효 데이터 인에이블 신호) 신호가 하이 상태로 유지되는 구간)동안 버퍼 메모리(430)에 기록된 JPEG 인코딩된 데이터들 중 유효 데이터를 수신단으로 출력되도록 할 것이다. 버퍼 메모리(430)에는 유효 데이터만이 기록되도록 설정될 수도 있다. H_REF 신호는 수신단에서 기록 인에이블(Write Enable) 신호로 인식되어 상응하는 데이터를 메모리에 기록할 것이며, 이러한 방법에 의해 수신단의 메모리에는 유효데이터들만이 순차적으로 기록될 수 있을 것이다(도 6b 참조). 도 6a 및 도 6c에는 무효 데이터 또는 패딩 데이터가 0x00의 형태로 도시되었으나, 이는 특정한 데이터를 지칭하는 것은 아니다.
상술한 바와 같이, 본 발명의 바람직한 다른 실시예에 따를 때, JPEG 인코딩된 데이터들 중 무효 데이터를 제외하고 유효 데이터만을 추출하여 미리 지정된 라인 사이즈(도 6b의 n, 예를 들어 H_REF 신호가 하이 상태로 유지될 동안 전송할 데이터 사이즈)만큼 버퍼 메모리(430)에 축적한다. 따라서, 미리 지정된 컬럼 사이즈(도 6b의 m, 예를 들어 하나의 프레임에 대해 H_REF 신호가 하이 상태로 전환되는 총 수량)만큼 반복하기 전에 k번째 프레임에 대한 모든 유효 데이터를 수신단으로 전송할 수도 있다. 이 경우, 수신단에서 미리 지정된 라인 사이즈 x 컬럼 사이즈만큼의 JPEG 인코딩된 데이터(및/또는 패딩 데이터)가 이미지 시그널 프로세서(310)로부터 아직 수신되지 않은 것으로 인식하여 처리를 수행하지 않을 수 있다. 이를 방지하기 위해, 버퍼 관리부(435) 또는 제어 유니트(445)는 나머지 컬럼 수(즉, 미리 지정된 컬럼 수 - 유효 데이터로 구성된 컬럼 수)만큼 패딩 데이터를 tf 시간 동안 출력한다. 버퍼 메모리에 축적된 유효 데이터를 출력하는 각 구간 의 시간은 미리 지정된 사이즈의 데이터를 출력하는 시간이므로 모두 일치한다(즉, ta = tc = td = tf). 그러나, 해당 데이터를 축적하는 시간(예를 들어, tb)는 각각 불일치할 수 있다. 유효 데이터가 연속적으로 존재하는 경우 축적시간은 감소될 수 있을 것이다. 다만, 패딩 데이터를 출력하기 전의 대기 시간(예를 들어, te)은 각각 일치할 것이다.
버퍼 관리부(435) 또는 제어 유니트(445)에 의해 수신단으로 출력되는 클럭 신호(P_CLK)는 클럭 발생기(440)에서 생성한 또는 미리 설정된 출력 클럭 레이트에 따른 클럭 신호이다. 도 6a 및 도 6c에 도시된 바와 같이, 클럭 신호는 유효 데이터가 출력되는 동안(즉, H_REF 신호가 하이 상태로 유지되는 구간)에만 수신단으로 출력되고, 무효 데이터 또는 패딩 데이터가 출력될 구간에는 수신단으로 출력되지 않을 수(또는 로우 상태로 유지) 있다. 도시된 수직 동기 신호(V_sync)가 후속하여 새로운 프레임에 상응하는 데이터가 출력될 것임을 의미함은 자명하다.
V_sync1에 상응하는 k번째 프레임의 인코딩 처리 도중 이미지 센서(110)로부터 k+1번째 프레임에 상응하는 V_sync2가 입력된 경우, 이미지 시그널 프로세서(310)는 상술한 방법에 의해 스킵 명령을 이미지 센서(110), 또는 임의의 구성 요소로 제공하고 k+1번째 프레임에 대한 처리가 스킵되도록 할 수 있다. 이 경우, V_sync2는 수신단으로 출력될 필요가 없으므로 도 6c에 도시된 바와 같이 V_sync2의 출력은 스킵된다. 버퍼 관리부(435) 또는 제어 유니트(445)는 버퍼 메모리(430)에 저장된 데이터들의 JPEG 헤더(Header) 및/또는 테일(Tail)에서 'START MARKER'와 'STOP MARKER'를 캡쳐하여 JPEG 인코딩의 시작과 끝을 인식할 수 있다. 따라서, 이미지 센서(110)로부터 #1, #2, #3의 프레임에 상응하는 전기 신호(raw data)가 순차적으로 입력되었을지라도 이미지 시그널 프로세서(310)가 출력하는 인코딩된 데이터는 #1, #3의 프레임에 대한 데이터만으로 제한될 수도 있다.
도 7a 및 도 7b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이다.
도 7a 및 도 7b에 도시된 신호 파형은 하나의 프레임에 대한 모든 JPEG 인코딩된 데이터가 출력되는 동안 H_REF 신호를 하이 상태로 유지하고 있다. H_REF 신호가 하이 상태로 유지되는 동안 유효 데이터 및 패딩 데이터(또는 무효 데이터)가 수신단으로 연속적으로 출력된다.
이는 수신단에서 기록 인에이블 신호로 인식되는 H_REF 신호가 교번됨에 의해 수신단에서 불필요한 전력 소모가 발생될 수 있기 때문이다.
이러한 경우에도 앞서 설명한 바와 같이, 현재 처리되는 k번째 프레임의 처리 중에 입력된 k+1번째 프레임에 대한 V_sync2는 스킵될 수 있으며, V_sync2에 따른 데이터의 입력 및 처리가 스킵될 수 있음은 자명하다.
도 8a는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이고, 도 8b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서로부터 전송되어 백엔드 칩의 메모리에 축적된 데이터들의 저장 형태를 개념적으로 나타낸 도면이며, 도 8c는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)에서의 인코딩된 데이터 출력을 위한 신호 파형을 예시한 도면이다.
앞서 설명한 도 6a 내지 도 6c와 비교할 때, 도 8a 내지 도 8c는 버퍼 메모리(430)에 미리 지정된 기간동안 기록된 데이터가 미리 지정된 시점마다 출력되는 경우를 나타낸 것이다. 즉, 버퍼 메모리(430)에 데이터를 축적하는 시간 및 축적된 데이터를 출력하는 시간은 미리 지정된다. 만일, 미리 지정된 시간동안 버퍼 메모리(430)에 기록된 데이터가 미리 지정된 사이즈에 부합되지 않는 경우, 나머지 부족한 만큼은 패딩 데이터로 부가하여 수신단으로 전송하는 경우이다.
이 경우, 수신단의 메모리에는 도 6b와 같은 형태로 데이터들이 기록될 것이며, 수신단은 메모리에 기록된 데이터의 처리시 n x m 사이즈의 모든 데이터를 독출하지 않고, 전반부에 집중적으로 배치된 유효 데이터들만을 독출하여 처리함으로써 신속한 처리가 가능해진다.
이러한 경우에도 앞서 설명한 바와 같이, 현재 처리되는 k번째 프레임의 처리 중에 입력된 k+1번째 프레임에 대한 V_sync2는 스킵될 수 있으며, V_sync2에 따른 데이터의 입력 및 처리가 스킵될 수 있음은 자명하다.
도 9a 및 도 9b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)의 각 구성 요소에서 처리된 데이터 출력을 위한 신호 파형을 예시한 도면이다.
도 9a 및 도 9b에 도시된 바와 같이 각 구성 요소에서 입력하는 V_sync 신호는 최소한의 지연(또는 지연 없이) 후속하는 구성 요소로 입력된다. 이에 비해, 선행하는 구성 요소로부터 입력된 데이터는 버퍼링 및 처리 등의 과정에서 일정한 지연(예를 들어, d1, d2, d3, d4 등)이 발생된다.
따라서, 이미지 시그널 프로세서(310)에서 먹스(455)를 통해 선행하는 구성 요소로부터 V_sync가 입력된 시점에서 수신단으로 V_sync를 출력한다면, 수신단은 V_sync를 입력받은 이후부터 최소한 d1 + d2 + d3 + d4의 시간이 경과한 후에야 JPEG 인코딩된 데이터를 입력받기 시작한다. 이는 수신단의 처리 효율을 감소시킬 수 있다.
따라서, 본 발명의 바람직한 다른 실시예는 JPEG 인코더가 인코딩할 데이터를 버퍼링하기 위한 지연 시간인 d4의 시간 범위 중 임의의 시점(예를 들어, JPEG 인코더(425)가 인코딩을 개시하기 위해 1 ~ 8 라인 중 임의의 라인을 버퍼링한 시점)에서 V_sync를 수신단으로 출력하도록 하여 수신단의 대기시간을 최소화할 수 있다.
도 10a 및 도 10b는 본 발명의 바람직한 또 다른 실시예에 따른 이미지 시그널 프로세서(310)의 각 구성 요소에서 처리된 데이터 출력을 위한 신호 파형을 예시한 도면이다.
도 10a에 도시된 바와 같이, 이미지 시그널 프로세서(310)가 프리뷰 상태(예를 들어, k-1번째 프레임이 입력되는 상태)에서 캡쳐 명령을 입력받으면, 이미지 센서(110)로 V_sync_extend 명령을 입력한다. V_sync_extend 명령은 센서 제어부(450)를 통해 입력될 수 있다. V_sync_extend 명령은 캡쳐 명령에 상응하는 프레임인 k번째 프레임의 처리 도중 또는 처리 직전에 전송될 수 있다.
V_sync_extend 명령을 입력받은 이미지 센서(110)는 k+1번째 프레임에 대한 V_sync를 이미지 시그널 프로세서(310)로 입력함에 있어, 이미지 시그널 프로세서(310)가 k번째 프레임을 모두 처리할 시간적 여유를 두고 이미지 시그널 프로세서(310)로 입력되도록 한다.
V_sync 신호의 입력이 라이징 엣지(rising edge)에 의해 검출된다고 가정할 때, 도 10b에 도시된 바와 같이 k+1번째 프레임에 대한 V_sync는 k번째 프레임에 대한 'STOP MARKER'가 출력된 시점과 동일하거나 그 이후에 출력되도록 설정될 수 있다.
상술한 바와 같이, 본 발명에 따른 이미지 시그널 프로세서(310)는 상술한 다양한 방법을 통해 k번째 프레임을 처리하는 동안 k+1번째 프레임에 대한 V_sync 신호에 의해 정상적인 데이터 처리가 방해되는 문제점을 해결할 수 있다.
종래의 백엔드 칩(130)은 YUV/BAYER 포맷의 데이터를 입력받도록 구현되어 있으며, 이런 데이터를 입력받기 위한 인터페이스로서 P_CLK, V_sync, H_REF, DATA 신호를 이용하고 있었다.
이를 고려하여, 본 발명의 이미지 시그널 프로세서(310)는 종래와 동일한 인터페이스를 이용하도록 구현된다.
따라서, 본 발명은 백엔드 칩(130)이 종래의 백엔드 칩 설계 방법에 의해 구현된 경우에도 호환(port matching)될 수 있음은 자명하다.
이제까지, 이미지 시그널 프로세서(310)가 JPEG 인코딩 방식을 이용하는 경우만을 중심으로 설명하였으나 BMP 인코딩 방식, MPEG(MPEG 1/2/4, MPEG-4 AVC) 인코딩 방식, TV 아웃 방식 등과 같이 다른 인코딩 방식을 지원하는 경우에도 동일한 데이터 전송 방식이 이용될 수 있음은 자명하다.
상술한 바와 같이 본 발명에 따른 이미지 처리 방법 및 장치는 YUV 데이터의 인코딩을 신속하게 수행함으로써 이미지 캡쳐시 지연 현상을 최소화할 수 있는 효과가 있다.
또한, 본 발명은 하나의 프레임에 대한 인코딩 처리시 후속 프레임에 대한 데이터 입력을 제한함으로써 데이터간 충돌을 억제할 수 있는 효과도 있다.
또한, 본 발명은 YUV 데이터의 인코딩 처리를 위한 클럭 레이트를 인코딩된 이미지 데이터의 출력을 위한 클럭 레이트 이상으로 유지함으로써 데이터 전송 구간에서 보다 많은 데이터를 신속하게 전송할 수 있도록 하는 효과도 있다.
또한, 본 발명은 유효 데이터가 신속하게 백엔드 칩으로 전송됨으로써 백엔드 칩이 인코딩된 데이터의 신속한 디코딩이 가능한 효과도 있다.
또한, 본 발명은 이미지 시그널 프로세서가 인코딩된 데이터를 백엔드 칩으 로 제공함에 있어 일반적인 인터페이스 구조를 이용함으로써 하드웨어 설계 및 제어 측면에서 유리한 효과를 가진다.
또한, 본 발명은 수신단(예를 들어, 백엔드 칩, 베이스밴드 칩)의 처리 효율 증진 및 전력 소모를 방지할 수 있는 효과도 있다.
또한, 본 발명은 이미지 시그널 프로세서가 입력되는 프레임의 인코딩 여부를 인코딩 속도에 따라 결정할 수 있어 원활한 인코딩 동작 수행이 가능한 효과도 있다.
또한, 본 발명은 인코더에 의해 인코딩된 데이터를 수신단으로 전달함에 있어, 최적의 시점에 수직 동기 신호(V_sync)를 출력할 수 있도록 하는 효과도 있다.
또한, 본 발명은 수신단에서 인코딩된 데이터를 입력받을 때 새로운 프레임의 입력을 나타내는 수직 동기 신호의 입력에 의해 현재 프레임에 대해 처리된 데이터의 입력이 방해받지 않는 효과도 있다.
또한, 본 발명은 이미지를 구성하는 유효한 데이터들만으로 구성된 인코딩된 데이터들이 집합적으로 수신단으로 전송되도록 하여 백엔드 칩의 처리 효율 및 처리 속도를 증진시킬 수 있는 효과도 있다.
또한, 본 발명은 백엔드 칩에서 데이터를 저장할 때 이용될 수 있는 H_REF 신호를 하이(High) 또는 로우(Low) 상태로 일정하게 유지함으로써 백엔드 칩의 메모리의 기록 인에이블(Write Enable) 신호의 스위칭으로 인한 전력 소모를 방지할 수 있는 효과도 있다.
또한, 본 발명은 이미지를 구성하는 유효한 데이터들이 출력되는 데이터열의 전단부에 집중적으로 배치되도록 함으로써 백엔드 칩의 처리 효율 및 처리 속도를 증진시킬 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 이미지 센서, 이미지 시그널 프로세서 및 수신단을 포함하는 촬상 장치에 있어서,
    외부 영상에 상응하는 전기 신호(raw data)를 생성하여 출력하는 이미지 센서; 및
    인코더를 구비하고, 상기 전기 신호에 상응하는 YUV 데이터 또는 상기 인코더를 이용하여 인코딩된 데이터를 생성하여 상기 수신단으로 출력하는 이미지 시그널 프로세서를 포함하되,
    상기 인코딩된 데이터를 생성하기 위한 제2 처리 클럭 레이트는 상기 YUV 데이터를 생성하기 위한 제1 처리 클럭 레이트를 초과하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 제1 처리 클럭 레이트는 상기 YUV 데이터 및 상기 인코딩된 데이터를 출력하기 위한 출력 클럭 레이트 이하이고, 상기 제2 처리 클럭 레이트는 상기 출력 클럭 레이트 이상인 것을 특징으로 하는 촬상 장치.
  3. 제1항에 있어서,
    상기 제1 처리 클럭 레이트와 상기 제2 처리 클럭 레이트의 비는 하나의 프레임에 상응하는 상기 YUV 데이터의 크기와 인코딩될 데이터의 크기의 비인 것을 특징으로 하는 촬상 장치.
  4. 제3항에 있어서,
    상기 크기는 면적, 가로 길이, 세로 길이, 대각선 길이 중 어느 하나인 것을 특징으로 하는 촬상 장치.
  5. 제1항에 있어서,
    상기 이미지 센서는 상기 이미지 시그널 프로세서로부터 상기 제1 처리 클럭 레이트 또는 상기 제2 처리 클럭 레이트에 상응하여 입력된 클럭 신호에 부합되도록 상기 전기 신호를 생성하여 출력하는 것을 특징으로 하는 촬상 장치.
  6. 제1항에 있어서,
    상기 제1 처리 클럭 레이트는 프리뷰(Preview) 상태의 클럭 레이트이고, 상 기 제2 처리 클럭 레이트는 상기 수신단으로부터 입력된 캡쳐 명령에 상응하는 프레임을 처리하기 위한 클럭 레이트인 것을 특징으로 하는 촬상 장치.
  7. 제6항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 이미지 시그널 프로세서는 상기 이미지 센서로 스킵(skip) 명령을 전송하고, 상기 이미지 센서는 상기 k+1번째 프레임에 상응하는 전기 신호를 출력하지 않는 것을 특징으로 하는 촬상 장치.
  8. 제6항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 이미지 시그널 프로세서는 상기 이미지 센서로부터 입력되는 전기 신호의 처리를 스킵(skip)하는 것을 특징으로 하는 촬상 장치.
  9. 제1항에 있어서,
    상기 이미지 시그널 프로세서는 상기 인코딩된 데이터를 상기 수신단으로 전송하기 위해 임시 저장하는 버퍼 메모리를 포함하되,
    상기 버퍼 메모리에 저장된 인코딩된 데이터의 양이 미리 지정된 크기 이상인 경우 상기 제2 처리 클럭 레이트를 감소시키는 것을 특징으로 하는 촬상 장치.
  10. 제6항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력은 지연 입력되도록 상기 이미지 센서로 지시하는 것을 특징으로 하는 촬상 장치.
  11. 이미지 시그널 프로세서에 있어서,
    처리 클럭 레이트에 상응하는 클럭 신호를 출력하는 클럭 발생기;
    캡쳐 명령이 입력되면, 상기 클럭 발생기가 증가된 처리 클럭 레이트에 상응하는 클럭 신호를 출력하도록 제어하는 제어 유니트;
    상기 클럭 신호에 따라 이미지 센서로부터 입력되는 전기 신호(raw data)를 이용하여 YUV 데이터를 생성하는 서브 ISP(Image Signal Processor);
    상기 클럭 신호에 따라 상기 YUV 데이터를 이용하여 인코딩된 이미지 데이터를 생성하는 인코딩부;
    상기 인코딩된 이미지 데이터를 축적하는 메모리; 및
    상기 제어 유니트의 제어에 의해 상기 축적된 인코딩된 이미지 데이터를 미리 지정된 시점마다 수신단으로 출력하는 출력부를 포함하는 이미지 시그널 프로세서.
  12. 제11항에 있어서,
    상기 메모리에 축적된 인코딩된 이미지 데이터의 양을 모니터링하여 모니터링 정보를 생성하는 버퍼 관리부를 더 포함하되,
    상기 제어 유니트는 상기 모니터링 정보를 이용하여 상기 처리 클럭 레이트를 증감하는 것을 특징으로 하는 이미지 시그널 프로세서.
  13. 제11항에 있어서,
    상기 캡쳐 명령이 입력되기 전에는 상기 출력부는 상기 서브 ISP에 의해 출력되는 상기 YUV 데이터를 상기 수신단으로 출력하는 것을 특징으로 하는 이미지 시그널 프로세서.
  14. 제11항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 제어 유니트는 상기 이미지 센서로 스킵(skip) 명령을 전송하고, 상기 이미지 센서는 상기 k+1번째 프레임에 상응하는 전기 신호를 출력하지 않는 것을 특징으로 하는 이미지 시그널 프로세서.
  15. 제11항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력이 개시될 것을 의미하는 수직 동기 신호(V_sync)가 상기 이미지 센서로부터 입력되는 경우, 상기 제어 유니트는 상기 서브 ISP로 스킵(skip) 명령을 전송하고, 상기 서브 ISP는 상기 k+1번째 프레임에 상응하는 YUV 데이터 생성을 스킵하는 것을 특징으로 하는 이미지 시그널 프로세서.
  16. 제11항에 있어서,
    상기 캡쳐 명령에 상응하는 k(자연수)번째 프레임을 처리하는 중에 k+1번째 프레임의 입력은 지연 입력되도록 상기 이미지 센서로 지시하는 것을 특징으로 하는 이미지 시그널 프로세서.
  17. 이미지 센서, 이미지 시그널 프로세서 및 수신단을 포함하는 촬상 장치의 상기 이미지 시그널 프로세서에서 수행되는 이미지 처리 방법에 있어서,
    (a) 제1 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 YUV 데이터를 생성하고, 제1 출력 클럭 레이트에 따라 상기 YUV 데이터를 상기 수신단으로 출력하는 단계;
    (b) 상기 수신단으로부터 캡쳐 명령을 입력받는 단계; 및
    (c) 상기 제1 처리 클럭 레이트를 초과하는 제2 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 인코딩된 데이터를 생성하고, 제2 출력 클럭 레이트에 따라 상기 인코딩된 데이터를 상기 수신단으로 출력하는 단계를 포함하되,
    상기 이미지 시그널 프로세서는 인코더를 구비하는 것을 특징으로 하는 이미지 처리 방법.
  18. 제17항에 있어서,
    상기 이미지 센서는 상기 이미지 시그널 프로세서로부터 상기 제1 처리 클럭 레이트 또는 상기 제2 처리 클럭 레이트에 상응하여 입력된 클럭 신호에 부합되도록 상기 전기 신호를 생성하는 출력하는 것을 특징으로 하는 이미지 처리 방법.
  19. 제17항에 있어서,
    상기 제1 처리 클럭 레이트는 프리뷰(Preview) 상태의 클럭 레이트이고, 상기 제2 처리 클럭 레이트는 상기 수신단으로부터 입력된 캡쳐 명령에 상응하는 프레임을 처리하기 위한 클럭 레이트인 것을 특징으로 하는 이미지 처리 방법.
  20. 제17항에 있어서,
    상기 단계 (c)는,
    상기 제2 처리 클럭 레이트에 따라 상기 이미지 센서로부터 입력되는 전기 신호(raw data)에 상응하는 인코딩된 데이터를 생성하는 단계;
    상기 인코딩된 데이터를 버퍼 메모리에 저장하는 단계; 및
    미리 지정된 조건에 부합하는 기간동안 상기 버퍼 메모리에 저장된 상기 인코딩된 데이터를 미리 지정된 시점마다 상기 제2 출력 클럭 레이트에 따라 상기 상기 수신단으로 출력하는 단계를 포함하되,
    상기 버퍼 메모리에 저장된 인코딩된 데이터의 양이 미리 지정된 크기 이상인 경우 상기 제2 클럭 레이트를 감소시키는 것을 특징으로 하는 이미지 처리 방법.
KR1020050108257A 2005-11-11 2005-11-11 이미지 처리 방법 및 장치 Active KR100591796B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020050108257A KR100591796B1 (ko) 2005-11-11 2005-11-11 이미지 처리 방법 및 장치
PCT/KR2006/002055 WO2007055450A1 (en) 2005-11-11 2006-05-29 Image processing method and device
JP2008539906A JP4932846B2 (ja) 2005-11-11 2006-05-29 イメージ処理方法及び装置
CN2006800420957A CN101305619B (zh) 2005-11-11 2006-05-29 图像处理方法及装置
US12/092,941 US8018499B2 (en) 2005-11-11 2006-05-29 Image processing method and device using different clock rates for preview and capture modes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050108257A KR100591796B1 (ko) 2005-11-11 2005-11-11 이미지 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100591796B1 true KR100591796B1 (ko) 2006-06-26

Family

ID=37183077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050108257A Active KR100591796B1 (ko) 2005-11-11 2005-11-11 이미지 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US8018499B2 (ko)
JP (1) JP4932846B2 (ko)
KR (1) KR100591796B1 (ko)
CN (1) CN101305619B (ko)
WO (1) WO2007055450A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827680B1 (ko) 2006-07-13 2008-05-07 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100674474B1 (ko) * 2005-11-02 2007-01-25 엠텍비젼 주식회사 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
US20090167888A1 (en) * 2007-12-28 2009-07-02 Yo-Hwan Noh Methods of processing imaging signal and signal processing devices performing the same
KR101661574B1 (ko) * 2009-11-10 2016-10-14 삼성전자주식회사 셔터-딜레이를 줄이기 위한 카메라 모듈
US8543724B2 (en) 2010-04-30 2013-09-24 Digital Keystone, Inc. Methods and apparatuses for a projected PVR experience
US20110268427A1 (en) * 2010-04-30 2011-11-03 Brelay Herve Methods and apparatuses for a projected pvr experience
CN102289143A (zh) * 2010-06-18 2011-12-21 上海三旗通信科技有限公司 低端手机平台可以挂载高像素摄像头的实现方法
US9883116B2 (en) 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method
JP5808485B2 (ja) * 2011-06-23 2015-11-10 ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． 移動端末の録画方法、関連装置及びシステム
TWI459814B (zh) * 2011-09-28 2014-11-01 Altek Corp 可自動切換記憶體時脈之影像擷取裝置及其控制方法
US9313378B2 (en) 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
US9911174B2 (en) * 2015-08-26 2018-03-06 Apple Inc. Multi-rate processing for image data in an image processing pipeline
US11570479B2 (en) 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03154487A (ja) * 1989-11-10 1991-07-02 Konica Corp ディジタルスチルビデオカメラ
JPH10233947A (ja) 1997-02-19 1998-09-02 Hitachi Ltd 撮像装置
JP2000032332A (ja) * 1998-07-07 2000-01-28 Casio Comput Co Ltd 電子カメラ
JP2001292347A (ja) 2000-04-06 2001-10-19 Sony Corp ワイヤレス・ビデオカメラ
KR100377108B1 (ko) 2000-12-11 2003-03-26 주식회사 테라벨류테크놀로지 라스터-블록변환 데이터 처리장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206730A (en) * 1989-11-10 1993-04-27 Konica Corporation Still video camera having one-shot and serial shot modes
JPH099251A (ja) * 1995-06-20 1997-01-10 Hitachi Ltd 並列画像符号化方法およびその装置
JP3296780B2 (ja) * 1998-05-11 2002-07-02 三洋電機株式会社 ディジタルカメラ
US7424207B2 (en) * 2000-02-18 2008-09-09 Sanyo Electric Co., Ltd. Digital camera
JP4570837B2 (ja) * 2002-05-20 2010-10-27 富士フイルム株式会社 撮像装置
US20060174303A1 (en) * 2003-04-15 2006-08-03 Kanazawa University Technology Licensing Organization Ltd. Moving picture encoding or decoding processing system and mobin g picture encoding or decoding processing method
JP4054917B2 (ja) * 2003-09-17 2008-03-05 カシオ計算機株式会社 撮像装置、及びその動画撮影方法、プログラム
KR100605935B1 (ko) * 2003-10-31 2006-08-02 삼성전자주식회사 동영상 촬영 방법
JP2005167489A (ja) * 2003-12-01 2005-06-23 Sony Corp 記録装置および方法、再生装置および方法、ならびに、記録再生装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03154487A (ja) * 1989-11-10 1991-07-02 Konica Corp ディジタルスチルビデオカメラ
JPH10233947A (ja) 1997-02-19 1998-09-02 Hitachi Ltd 撮像装置
JP2000032332A (ja) * 1998-07-07 2000-01-28 Casio Comput Co Ltd 電子カメラ
JP2001292347A (ja) 2000-04-06 2001-10-19 Sony Corp ワイヤレス・ビデオカメラ
KR100377108B1 (ko) 2000-12-11 2003-03-26 주식회사 테라벨류테크놀로지 라스터-블록변환 데이터 처리장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
12032332

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827680B1 (ko) 2006-07-13 2008-05-07 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치

Also Published As

Publication number Publication date
CN101305619A (zh) 2008-11-12
JP2009515459A (ja) 2009-04-09
US8018499B2 (en) 2011-09-13
US20090015701A1 (en) 2009-01-15
WO2007055450A1 (en) 2007-05-18
CN101305619B (zh) 2010-05-19
JP4932846B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4932846B2 (ja) イメージ処理方法及び装置
US8179452B2 (en) Method and apparatus for generating compressed file, and terminal comprising the apparatus
US7948527B2 (en) Image signal processor and method for outputting deferred vertical synchronous signal
KR100770835B1 (ko) 영상 데이터 처리 시스템 및 그 방법
KR20070025929A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 시스템
US7936378B2 (en) Image pickup device and encoded data transferring method
US20080252740A1 (en) Image Pickup Device and Encoded Data Transferring Method
US20080266415A1 (en) Image Pickup Device and Encoded Data Outputting Method
KR100935541B1 (ko) 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치
US8154749B2 (en) Image signal processor and deferred vertical synchronous signal outputting method
US20080225165A1 (en) Image Pickup Device and Encoded Data Transferring Method
KR20070047729A (ko) 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
KR100854724B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20070047730A (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
JP2007228514A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20051111

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20051125

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20051111

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060214

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060419

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060613

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060614

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090420

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100402

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20110414

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20120330

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130530

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140528

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20150526

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180528

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20180528

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20190527

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20200525

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20210601

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20220530

Start annual number: 17

End annual number: 17

PR1001 Payment of annual fee

Payment date: 20240612

Start annual number: 19

End annual number: 19