[go: up one dir, main page]

KR20070012279A - 센서영상 부호화 및 복호화장치와 그 방법 - Google Patents

센서영상 부호화 및 복호화장치와 그 방법 Download PDF

Info

Publication number
KR20070012279A
KR20070012279A KR1020060068802A KR20060068802A KR20070012279A KR 20070012279 A KR20070012279 A KR 20070012279A KR 1020060068802 A KR1020060068802 A KR 1020060068802A KR 20060068802 A KR20060068802 A KR 20060068802A KR 20070012279 A KR20070012279 A KR 20070012279A
Authority
KR
South Korea
Prior art keywords
color
image
color component
format
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020060068802A
Other languages
English (en)
Other versions
KR101362755B1 (ko
Inventor
조대성
김현문
김우식
드미트리 비리노브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20070012279A publication Critical patent/KR20070012279A/ko
Application granted granted Critical
Publication of KR101362755B1 publication Critical patent/KR101362755B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

센서영상 부호화 및 복호화장치와 그 방법이 개시된다. 센서영상 부호화장치는 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센서영상에서, 상기 적어도 두개의 색성분 중 제1 색성분을 보간하여 상기 센서영상을 제1 포맷의 영상으로 변환하는 제1 색성분 보간부; 및 상기 제1 포맷의 영상을 부호화하여 비트스트림을 생성하는 부호화부로 이루어지고, 센서영상 복호화장치는 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 얻어지는 적어도 두개의 색성분을 이용하여 제1 포맷의 영상을 복원하는 복호화부; 및 상기 복호화부로부터 제공하는 상기 제1 포맷의 영상에서 각 색성분이 동일한 해상도를 갖도록 적어도 하나의 색성분을 보간하는 제1 색성분 보간부로 이루어진다.

Description

센서영상 부호화 및 복호화장치와 그 방법 {Sensor image encoding and decoding apparatuses and method thereof}
도 1은 본 발명에 따른 센서영상 부호화장치의 입력으로 사용되는 센서영상을 얻기 위한 영상캡춰장치의 구성을 나타낸 블럭도,
도 2는 도 1의 센서부에서 사용되는 베이어 칼라 필터 어레이의 패턴을 나타내는 도면,
도 3은 본 발명의 일실시예에 따른 센서영상 부호화장치 및 센서영상복호화장치의 구성을 나타낸 블럭도,
도 4는 도 3에 도시된 부호화부의 일실시예에 따른 세부적인 구성을 나타낸 블럭도,
도 5는 도 4에 도시된 RGB 부호화부의 세부적인 구성을 나타낸 블럭도,
도 6a 및 도 6b는 도 4에 도시된 G 레지듀 부호화부의 세부적인 구성을 나타낸 블럭도,
도 7은 도 3에 도시된 복호화부의 세부적인 구성을 나타낸 블럭도,
도 8은 도 7에 도시된 RGB 복호화부의 세부적인 구성을 나타낸 블럭도,
도 9a 및 도 9b는 도 7에 도시된 G 레지듀 복호화부의 세부적인 구성을 나타낸 블럭도,
도 10a 및 도 10b는 4:2:0 형식 RGB 영상의 매크로블럭 및 부호화 과정에서 실제 처리해야 하는 매크로블럭을 나타내는 도면,
도 11은 본 발명의 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도,
도 12는 도 11에 도시된 부호화부의 세부적인 구성을 나타낸 블럭도,
도 13은 도 11에 도시된 복호화부의 세부적인 구성을 나타낸 블럭도,
도 14는 도 12 및 도 13에 있어서 색공간 변환 및 색공간 역변환 과정을 설명하는 도면,
도 15는 베이어 형식 RGB 영상의 처리단위인 매크로블럭을 나타내는 도면,
도 16a 내지 도 16c는 다양한 형식의 영상으로의 색변환 및 샘플링 수행시 복원된 RGB 영상의 화질을 비교하기 위한 도면,
도 17a 내지 도 17d는 베이어 형식 RGB 영상의 2x2 반복패턴에서 색성분의 위치정보를 고려하지 않은 경우, 4:4:4 형식 RGB 영상에서 4:2:0 형식 RGB 영상으로의 업/다운 샘플링의 과정을 나타내는 도면,
도 18a 내지 도 18d는 베이어 형식 RGB 영상의 2x2 반복패턴에서 색성분의 위치정보를 고려한 경우, 4:4:4 형식 RGB 영상에서 4:2:0 형식 RGB 영상으로의 업/다운 샘플링의 과정을 나타내는 도면,
도 19a 및 도 19b는 2x2 반복패턴을 갖는 다양한 형태의 센서영상을 나타낸 도면,
도 20은 센서영상에서 2x2 반복패턴의 위치정보를 나타낸 도면,
도 21은 본 발명의 또 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도,
도 22는 도 21에 도시된 부호화부의 세부적인 구성을 나타낸 블럭도,
도 23은 도 21에 도시된 복호화부의 세부적인 구성을 나타낸 블럭도,
도 24는 본 발명의 또 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도,
도 25a 내지 도 25c는 센서영상의 또 다른 형태를 나타낸 도면,
도 26은 도 3에 도시된 부호화부의 다른 실시예에 따른 세부적인 구성을 나타낸 블럭도,
도 27은 도 26에 도시된 RGB 부호화부의 세부적인 구성을 나타낸 블럭도,
도 28은 도 3에 도시된 복호화부의 다른 실시예에 따른 세부적인 구성을 나타낸 블럭도,
도 29는 도 28에 도시된 RGB 복호화부의 세부적인 구성을 나타낸 블럭도,
도 30은 도 3에 도시된 부호화부의 또 다른 실시예에 따른 세부적인 구성을 나타낸 블럭도, 및
도 31은 도 3에 도시된 복호화부의 또 다른 실시예에 따른 세부적인 구성을 나타낸 블록도이다.
본 발명은 영상 부호화 및 복호화에 관한 것으로서, 특히 센서영상을 효율적으로 부호화 및 복호화하기 위한 장치와 그 방법에 관한 것이다.
디지털 카메라 등과 같은 모바일 기기는 통상 하나의 CCD(Charge-Coupled Device) 플레이트를 영상캡춰장치로 사용한다. 하나의 CCD 플레이트를 통해 입력되는 영상을 부호화 및 복호화하는 경우, 먼저 각 화소에 대하여 없는 색성분을 보간을 통하여 구한 다음, RGB 영상으로부터 YUV 영상으로의 색변환을 수행한다. 이때, 보간 과정에서 중복되는 데이터가 발생할 뿐 아니라 색변환 과정에서 라운딩 오류(rounding error)가 발생할 수 있다. 중복된 데이타를 줄이고 압축율을 개선하기 위하여, YUV 영상의 색도(U,V) 성분을 1/4 크기로 샘플링하여 구성한 4:2:0 형식 YUV 영상을 처리하는 방법을 사용할 수 있다. 그러나, 이 경우 CCD 플레이트와 같은 센서로부터 제공되는 영상의 특성을 제대로 반영하지 못하여 복원영상의 화질열화를 초래하게 된다.
한편, 색변환 과정에서 발생하는 라운딩 오류를 줄임으로써 고화질의 영상 부호화 및 복호화가 가능하도록, 색변환 과정 없이 RGB 영상을 바로 처리하는 방법을 사용할 수 있다. 그러나, 이 경우 4:4:4 형식 RGB 영상만을 처리함으로써 4:2:0 형식 YUV 영상과 비교해 볼 때, 비트율이 증가하고 상대적으로 처리해야 할 데이터가 증가하게 된다. 그 결과, 메모리 용량 및 대역폭의 증가로 인한 복잡도가 증가하게 되므로, 색변환 과정 없이 RGB 영상을 바로 처리하는 방법은 모바일 기기에 적합하지 않을 수 있다.
이상에서 설명한 바와 같은 종래의 영상 부호화 및 복호화에 적용되는 기술 의 예로는 ISO/IEC MPEG-4 비디오 부호화 국제 표준("Text of ISO/IEC FDIS 14496-2: Information Technology - Generic coding of audio-visual objects - Part 2: Visual)와, ISO/IEC MPEG 및 ITU-T VCEG의 JVT(Joint Video Team)의 H.264/MPEG-4 pt.10 AVC 표준화 기술("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003)을 대표적으로 들 수 있다.
본 발명이 이루고자 하는 기술적 과제는 센서영상으로부터 4:2:0 형식 RGB영상을 구성하고, 4:2:0 형식 RGB영상을 부호화 및 복호화하기 위한 장치와 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 센서영상을 직접 부호화 및 복호화하기 위한 장치와 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 센서영상으로부터 4:2:0 형식 RGB영상을 구성하고, R 및 B 성분의 위치정보를 고려하여 4:2:0 형식 RGB영상을 부호화 및 복호화하기 위한 장치와 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 R, G, 및 B 성분의 색패턴정보를 고려하여 센서영상을 직접 부호화 및 복호화하기 위한 장치와 그 방법을 제공하는데 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 부호화장치는 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센 서영상에서, 상기 적어도 두개의 색성분 중 제1 색성분을 보간하여 상기 센서영상을 제1 포맷의 영상으로 변환하는 제1 색성분 보간부; 및 상기 제1 포맷의 영상을 부호화하여 비트스트림을 생성하는 부호화부를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 복호화장치는 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 얻어지는 적어도 두개의 색성분을 이용하여 제1 포맷의 영상을 복원하는 복호화부; 및 상기 복호화부로부터 제공하는 상기 제1 포맷의 영상에서 각 색성분이 동일한 해상도를 갖도록 적어도 하나의 색성분을 보간하는 제1 색성분 보간부를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 부호화장치는 일정한 패턴을 갖는 센서영상을 입력하는 영상입력부; 및 상기 센서영상에서 상기 패턴에 존재하는 각 색성분의 중복성을 색공간 변환을 통해 제거하면서 부호화하여 비트스트림을 생성하는 부호화부를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 복호화장치는 일정한 패턴을 갖는 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 색공간 역변환을 통해 복호화하여 상기 센서영상을 복원하는 복호화부; 및 상기 복원된 센서영상에서 각 화소에서 빠진 색성분을 보간하는 제1 색성분 보간부를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 부호화방법 은 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센서영상에서, 상기 적어도 두개의 색성분 중 제1 색성분을 보간하여 상기 센서영상을 제1 포맷의 영상으로 변환하는 단계; 및 상기 제1 포맷의 영상을 부호화하여 비트스트림을 생성하는 단계를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 복호화방법은 하나의 화소는 하나의 색성분을 가지며, 적어도 두개의 색성분으로 이루어진 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 얻어지는 적어도 두개의 색성분을 이용하여 제1 포맷의 영상을 복원하는 단계; 및 상기 제1 포맷의 영상에서 각 색성분이 동일한 해상도를 갖도록 적어도 하나의 색성분을 보간하는 단계를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 부호화방법은 일정한 패턴을 갖는 센서영상을 입력하는 단계; 및 상기 센서영상에서 상기 패턴에 존재하는 각 색성분의 중복성을 색공간 변환을 통해 제거하면서 부호화하여 비트스트림을 생성하는 단계를 포함한다.
상기 기술적 과제들을 달성하기 위하여 본 발명에 따른 센서영상 복호화방법은 일정한 패턴을 갖는 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 색공간 역변환을 통해 복호화하여 상기 센서영상을 복원하는 단계; 및 상기 복원된 센서영상에서 각 화소에서 빠진 색성분을 보간하는 제1 색성분 단계를 포함한다.
상기 센서영상 부호화방법 및 센서영상 복호화방법은 바람직하게는 컴퓨터에 서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 센서영상 부호화장치의 입력영상으로 사용되는 센서영상을 얻기 위한 영상캡춰장치의 구성을 나타낸 블럭도로서, 예를 들면 디지털 카메라와 같은 모바일 기기에 내장된다.
도 1을 참조하면, 센서부(110)에서는 RGB 영상을 캡춰한다. 이때, 센서부(110)에서는 각 화소가 R, G, B 중의 하나의 색성분에 대한 화소값을 추출하게 됨으로써, 하나의 화소는 하나의 색성분만 가진다. 센서부(110)를 예를 들어, 일반적으로 많이 사용되는 베이어(Bayer) 칼라 필터 어레이(Color Filter Array, 이하 CFA라 약함)와 같은 하나의 CCD 플레이트로 구현할 경우, 도 2에 도시된 바와 같이 2×2 사이즈로 반복패턴을 갖는 제1 센서영상을 생성한다. 제1 센서영상의 일예로서 12비트 베이어 형식 RGB 영상을 적용한다.
색성분 보간부(130)에서는 센서부(110)로부터 제공되는 12비트 베이어 형식 RGB 영상을 입력받아, 각 화소에서 없는 색성분을 주위의 화소값을 이용하여 보간하여 각 화소가 R, G, B의 색성분을 모두 갖도록 하며, 그 결과 12비트 4:4:4 형식 RGB 영상을 생성한다.
전처리부(150)에서는 색성분 보간부(130)를 통해 제공되는 12비트 4:4:4 형 식 RGB 영상을 입력받아, 색보정(color correction), 화이트 밸런싱(white balancing), 감마보정(gamma correction) 등과 같은 전처리과정을 수행하여 8비트 4:4:4 형식 RGB 영상을 생성한다.
색성분 샘플링부(170)에서는 전처리부(150)로부터 제공되는 8비트 4:4:4 형식 RGB 영상에 대하여 색성분 샘플링과정을 수행하여, 제2 센서영상을 생성한다. 제1 센서영상의 일예인 12비트 베이어 형식 RGB 영상, 제2 센서영상의 일예로서 8비트 베이어 형식 RGB 영상이 적용된다.
도 3은 본 발명의 일실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도로서, 센서영상 부호화장치는 G 성분 보간부(310) 및 부호화부(330)로, 센서영상 복호화장치는 복호화부(370) 및 R/B 성분 보간부(390)를 포함하여 이루어진다. 여기서, G 성분 보간부(310) 및 R/B 성분 보간부(390)는 센서영상을 얻기 위하여 사용된 필터 어레이에 따라서, R 성분 보간부 및 G/B 성분 보간부 혹은 B 성분 보간부 및 R/G 성분 보간부로 변경될 수 있다. 설명의 편의를 위하여 G 성분 보간부(310) 및 R/B 성분 보간부(390)를 사용한다. 또한, 센서영상 부호화장치 및 센서영상 복호화장치는 서버 측 혹은 클라이언트 측에 하나의 디바이스로 일체화시켜 포함될 수 있다.
도 3을 참조하면, G 성분 보간부(310)에서는 센서영상, 예를 들면 도 1의 영상캡춰장치로 부터 제공되는 8비트 베이어 형식 RGB 영상을 입력받아 각 화소에 대하여 G 성분을 보간하여 8비트 4:2:0 형식 RGB 영상, 실제로는 GRB 영상을 생성한다. G 성분 보간과 관련해서는 비적응적 알고리즘(nonadaptive algorithm) 혹은 적응적 알고리즘(adaptive algorithm)과 같은 기존의 다양한 알고리즘을 사용할 수 있다. 예를 들어, 비적응적 알고리즘에는 가장 인접한 이웃화소 보간법(nearest neighbor replication), 양선형 보간법(bilinear interpolation)(median interpolation), 중간값 보간법(pattern matching based interpolation algorithm), 및 점진적 색성변화 보간법 등이 있으며, 적응적 알고리즘에는 패턴일치 보간알고리즘(interpolation using a threshold-based variable number of gradients), 기울기의 문턱치 기반 가변수를 이용한 보간법, 및 경계값 보존 보간법(edge sensing interpolation) 등이 있다.
부호화부(330)에서는 G 성분 보간부(310)로부터 제공되는 8비트 4:2:0 형식 RGB 영상을 압축하여 비트스트림을 생성하고, 생성된 비트스트림은 채널(350)을 통하여 복호화부(370)로 제공된다. 여기서 채널(350)은 생략되거나, USB(Universal Serial Bus) 메모리 등과 같은 저장매체로 대체될 수 있다.
복호화부(370)에서는 채널(350)을 통해 전송되는 비트스트림을 복호화하여 8비트 4:2:0 형식 RGB 영상을 복원한다.
R/B 성분 보간부(390)에서는 복호화부(370)로부터 제공되는 8비트 4:2:0 형식 RGB 영상에 있어서 각 화소에 대하여 나머지 R 및 B 성분을 보간하여 8비트 4:4:4 형식 RGB 영상을 생성한다. 생성된 8비트 4:4:4 형식 RGB 영상은 영상표시장치(미도시)로 출력된다.
도 4는 도 3에 도시된 부호화부(330)의 세부적인 구성을 나타낸 블럭도로서, G 성분 샘플링부(410), RGB 부호화부(430), G 성분 보간부(450), 감산부(470) 및 G 레지듀 부호화부(490)를 포함하여 이루어진다. 여기서, G 성분 보간부(450), 감산부(470) 및 G 레지듀 부호화부(490)는 옵션으로 구비될 수 있다.
도 4를 참조하면, G 성분 샘플링부(410)에서는 4:2:0 형식 RGB 영상에서 G 성분을 1/4배 크기로 샘플링하여, G 성분의 해상도가 R 및 B 성분과 해상도와 같아지도록 한다.
RGB 부호화부(430)에서는 서로 동일한 해상도를 가지면서 G 성분 샘플링부(410)로부터 제공되는 R, G 및 B 성분을 부호화하여 제1 비트스트림을 생성한다.
G 성분 보간부(450)에서는 RGB 부호화부(430)에서 부호화된 G 성분을 복원하고, 복원된 G 성분을 다시 4배 크기로 보간한다.
감산부(470)에서는 부호화부(330)로 제공되는 4:2:0 형식 RGB 영상의 G 성분과 G 성분 보간부(450)로부터 제공되는 보간된 G 성분간의 차이를 구하여 G 레지듀 성분으로 출력한다. G 레지듀 성분은 센서영상 복호화장치에서 화질에 가장 큰 영향을 미치는 G 성분의 복원성능을 개선하기 위하여 사용된다.
G 레지듀 부호화부(490)에서는 감산부(470)로부터 제공되는 G 레지듀 성분을 부호화하여 제2 비트스트림을 생성한다.
도 5는 도 4에 도시된 RGB 부호화부(430)의 세부적인 구성을 나타낸 블럭도로서, 감산부(511), 색변환부(513), 공간 변환부(515), 양자화부(517), 역 양자화부(519), 공간 역변환부(521), 색 역변환부(523), 가산부(525), 참조영상 저장부(527), 움직임 예측부(529), 움직임 보상부(531), 및 엔트로피 부호화부(533)로 이루어진다. 여기서, RGB 부호화부(430)는 ISO/IEC MPEG-4 비디오 부호화 국제 표 준 혹은 ISO/IEC MPEG 및 ITU-T VCEG의 JVT의 H.264/MPEG-4 pt.10 AVC 표준화 기술에 개시된 부호화기법을 채택하나, 이에 한정되는 것은 아니다. 여기서는 상기 부호화기법에서와 동일한 구성요소에 대한 세부적인 동작 설명은 생략하고, 차이가 나는 구성요소, 예를 들면, 색 변환부(513) 및 색 역변환부(523)에 대해서만 세부적인 동작 설명을 하기로 한다.
색 변환부(513) 및 색 역변환부(523)는 시공간 예측과 같은 움직임 예측 및 보상 이후 감산부(511)로부터 얻어지는 레지듀 색성분에 대하여 레지듀 색변환(Residual Color Transform, 이하 RCT라 약함) 및 레지듀 색역변환(Inverse Residual Color Transform, 이하 IRCT라 약함)을 수행하여 RGB 영상의 단점인 색성분간의 중복성을 줄일 수 있어 부호화 효율을 향상 시킬 수 있다.
다음 수학식 1 및 수학식 2은 RCT 및 IRCT를 통한 색 변환 및 색 역변환을 나타낸다.
Figure 112006052352209-PAT00001
Figure 112006052352209-PAT00002
여기서, ΔX(여기서, X는 R, G, 혹은 B를 나타낸다) 및 ΔX'는 각각 움직임 예측 후의 레지듀 및 압축 후 복원된 레지듀를 나타낸다. Δ2X 및 Δ2X'는 각각 RCT 수행후의 값과 RCT 수행 후 복원된 값을 나타낸다. 한편, ">>"는 오른쪽 쉬프트 연산으로서 t는 계산 중에 값을 저장하기 위한 임시변수이다.
한편, 색 변환부(513) 및 색 역변환부(523)는 상기 수학식 1 및 2 대신에 다음 수학식 3 및 수학식 4에 정의된 인터 플레인 예측(Inter Plane Prediction, 이하 IPP라 약함)을 통해 색 변환 및 색 역변환을 수행할 수도 있다.
Figure 112006052352209-PAT00003
Figure 112006052352209-PAT00004
도 6a 및 도 6b은 도 4에 도시된 G 레지듀 부호화부(490)의 제1 및 제2 실시 예에 따른 세부적인 구성을 나타낸 블럭도이다.
도 6a에 도시된 G 레지듀 부호화부(490)는 레지듀 데이터간의 시공간 예측을 이용한 부호화기법을 채택한 것으로서, 감산부(611), 공간 변환부(615), 양자화부(617), 역 양자화부(619), 공간 역변환부(621), 가산부(625), 참조영상 저장부(627), 움직임 예측부(629), 움직임 보상부(631), 및 엔트로피 부호화부(633)로 이루어진다. 도 6a에 도시된 G 레지듀 부호화부(490)는 레지듀 색성분간의 중복성 제거 뿐 아니라, 시공간상 인접한 레지듀 데이터간의 예측을 이용함으로써 성능 향상을 도모할 수 있다. 마찬가지로, ISO/IEC MPEG-4 비디오 부호화 국제 표준 혹은 ISO/IEC MPEG 및 ITU-T VCEG의 JVT의 H.264/MPEG-4 pt.10 AVC 표준화 기술을 채택할 수 있다.
이를 간단히 살펴보면, 움직임 예측부(629)는 인터모드에서는 움직임 보상부(631)에서 복원된 이전영상 중 현재 부호화하고자 하는 블록과 유사한 블록을 추출한 후, 추출된 이전영상의 블록 화소값과 현재영상의 블록 화소값의 차를 부호화하여 시간상 예측을 수행한다. 한편, 인트라 모드에서는, 움직임 예측부(629)는 복원된 현재영상에서 현재 부호화하고자 하는 블록과 유사한 블록을 추출한 후, 추출된 블록의 화소값과 현재 블록의 화소값 사이의 차를 부호화하여 공간상 예측을 수행한다.
공간 변환부(615)는 시공간예측이 수행된 데이터에 대해 DCT(Discrete Cosine Transform), 하다마드 변환(hadamard transfom) 또는 정수 변환과 같은 주파수 공간 변환을 수행한다.
양자화부(617)에서는 공간 변환부(615)로부터 제공되는 변환 계수에 대해 양자화를 수행하여 양자화 계수들을 출력한다.
엔트로피부호화부(633)는 양자화 계수들, 움직임 예측부(629)에서 출력되는 움직임 벡터 및 부가 정보 등을 엔트로피 부호화하여 비트스트림을 생성한다.
한편, 도 6b에 도시된 G 레지듀 부호화부(490)는 공간 변환부(651), 양자화부(653) 및 엔트로피 부호화부(655)를 포함하여 이루어진다. 널리 알려진 바와 같이, 공간 변환부(651)는 이산여현변환(Discrete Cosine Transform, 이하 DCT라 약함) 혹은 정수변환 등을 이용하여, G 레지듀 성분에 대하여 주파수 공간 변환을 수행한다. 양자화부(653)는 공간 변환부(651)로부터 제공되는 변환계수를 양자화한다. 엔트로피 부호화부(655)는 양자화부(653)로부터 양자화된 변환계수를 엔트로피 부호화한다. 도 6b에 도시된 G 레지듀 부호화부(490)는 도 6a와 비교해 볼 때 상대적으로 구현이 간단한 이점이 있다.
도 7은 도 3에 도시된 복호화부(370)의 세부적인 구성을 나타낸 블럭도로서, RGB 복호화부(710), G 성분 보간부(730), G 레지듀 복호화부(750) 및 가산부(770)를 포함하여 이루어지며, 도 4의 부호화부(330)의 역과정을 수행함으로써 비트스트림으로부터 4:2:0 형식 RGB 영상을 복원한다. 여기서, G 레지듀 복호화부(750) 및 가산부(770)는 옵션으로 포함될 수 있다.
도 7을 참조하면, RGB 복호화부(710)에서는 센서영상을 부호화하여 얻어지는 비트스트림을 복호화하여 R, G 및 B 성분을 복원한다.
G 성분 보간부(730)에서는 RGB 복호화부(710)로부터 제공되는 복원된 G 성분 을 보간하여, 4:2:0 형식 RGB 영상을 복원한다.
G 레지듀 복호화부(750)에서는 센서영상을 부호화하여 얻어지는 비트스트림을 복호화하여 G 레지듀 성분을 복원한다.
가산부(770)에서는 보간된 복원된 G 성분과 복원된 G 레지듀 성분을 더하고, 더해진 결과를 4:2:0 형식 RGB 영상에 부가하여 복원성능을 높인다.
도 8은 도 7에 도시된 RGB 복호화부(710)의 세부적인 구성을 나타낸 블럭도로서, 엔트로피 복호화부(811), 역 양자화부(813), 공간 역변환부(815), 색 역변환부(817), 움직임 보상부(819), 참조영상 저장부(821) 및 가산부(823)를 포함하여 이루어진다. 마찬가지로, RGB 복호화부(710)도 ISO/IEC MPEG-4 비디오 부호화 국제 표준 혹은 ISO/IEC MPEG 및 ITU-T VCEG의 JVT의 H.264/MPEG-4 pt.10 AVC 표준화 기술에 따른 복호화기법을 채택하나 이에 한정되지 않으며, 색 역변환부(817)를 제외하고는 상기 복호화기법과 동일한 구성으로 이루어진다.
도 9a 및 도 9b는 도 7에 도시된 G 레지듀 복호화부(750)의 제1 및 제2 실시예에 따른 세부적인 구성을 나타낸 블럭도이다. 도 9a에 도시된 G 레지듀 복호화부(750)는 도 6a에 도시된 G 레지듀 부호화부(490)에 대응되는 것으로서, 엔트로피 복호화부(911), 역 양자화부(913), 공간 역변환부(915), 움직임 보상부(919), 참조영상 저장부(921) 및 가산부(923)를 포함하여 이루어진다.
이를 간단히 살펴보면, 엔트로피 복호화부(911)는 입력되는 비트스트림을 해석하여 부호화된 G 레지듀 데이터와 부호화 정보를 추출한다.
역 양자화부(913)는 추출된 부호화된 G 레지듀 데이터에 대해 역양자화를 수 행한다.
역 변환부(915)는 상기 역 양자화가 수행된 G 레지듀 데이터에 대하여 IDCT(Inverse Discrete Cosine Transform) 등의 주파수 공간 역변환을 수행한다.
움직임 보상부(919)는 복원된 이전 영상의 G 레지듀를 이용하여, 주파수 공간 역변환이 수행된 G 레지듀 데이터에 시공간 예측을 보상하여 G 레지듀를 복원한다.
도 9b에 도시된 G 레지듀 복호화부(750)는 도 6b에 도시된 G 레지듀 부호화부(490)에 대응되는 것으로서, 엔트로피 복호화부(931), 역 양자화부(933) 및 공간 역변환부(935)를 포함하여 이루어진다. 도 9b에 도시된 G 레지듀 복호화부(750)는 도 9a와 비교해 볼 때 상대적으로 구현이 간단한 이점이 있다.
도 9b를 참조하면, 엔트로피 복호화부(931)에서는 비트스트림으로부터 G 레지듀를 분리하여 엔트로피 복호화한다.
역 양자화부(933)에서는 엔트로피 복호화된 G 레지듀를 역양자화한다.
공간 역변환부(935)에서는 역양자화된 G 레지듀를 주파수 공간 역변환하여 복원된 G 레지듀를 생성한다.
도 3 내지 도 9a 및 도 9b에 도시된 본 발명의 일실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치는 입력영상의 색변환 및 샘플링으로 발생할 수 있는 오류를 제거할 수 있는 장점을 가진다. 또한, 센서영상의 특성상 다른 영상과는 달리 샘플링된 4:2:0 형식 RGB 영상이 4:2:0 형식 YUV 영상과 유사하며, 특히 시각적으로 중요한 G 성분에서는 4:2:0 형식 YUV 영상에 비하여 고화질의 복원이 가능한 이점을 가진다.
도 10a는 4:2:0 형식 RGB 영상의 처리단위인 매크로블럭을 나타내는 것으로서, G 성분(1010)은 N×N(여기서, N은 16) 화소 크기, R, B 성분(1030,1050)은 N/2×N/2 화소 크기를 가진다. 한편, 도 10b는 상기 부호화 과정에서 실제 처리해야 하는 매크로블럭을 나타내는 것으로서, N×N 화소 크기의 G 레지듀 성분(1070)을 더 포함한다.
도 11은 본 발명의 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도로서, 센서영상 부호화장치는 영상입력부(1110) 및 부호화부(1130)로, 센서영상 복호화장치는 복호화부(1170) 및 색성분 보간부(1190)를 포함하여 이루어진다. 또한, 센서영상 부호화장치 및 센서영상 복호화장치는 서버 측 혹은 클라이언트 측에 하나의 디바이스로 일체화되어 포함될 수 있다.
도 11을 참조하면, 영상입력부(1110)는 일정한 패턴, 여기서는 도 2에서와 같이 2×2 사이즈의 반복패턴을 갖는 8비트 베이어 형식 RGB 영상을 입력한다.
부호화부(1130)에서는 영상입력부(1110)로 부터 제공되는 8비트 베이어 형식 RGB 영상을 압축하여 비트스트림을 생성하고, 생성된 비트스트림은 채널(1150)을 통하여 복호화부(1170)로 제공된다. 여기서 채널(1150)은 생략되거나, USB(Universal Serial Bus) 메모리 등과 같은 저장매체로 대체될 수 있다.
복호화부(1170)에서는 채널(1150)을 통해 전송되는 비트스트림을 복호화하여 8비트 베이어 형식 RGB 영상을 복원한다.
색성분 보간부(1190)에서는 복호화부(1170)로부터 제공되는 8비트 베이어 형식 RGB 영상을 입력받아, 각 화소에 대하여 없는 색성분을 주위의 화소값을 이용하여 보간하여 각 화소가 R, G, B의 색성분을 모두 갖도록 하며, 그 결과 8비트 4:4:4 형식의 RGB 영상을 생성한다.
도 11에 도시된 부호화부(1130)는 도 3에 도시된 부호화부(330)와 달리 베이어 형식 RGB 영상에 대하여 별도의 보간과정을 거치지 않고 바로 부호화를 수행하므로 데이터의 중복이 발생하지 않는 이점이 있다.
도 12는 도 11에 도시된 부호화부(1130)의 세부적인 구성을 나타낸 블럭도로서, 감산부(1211), 색공간 변환부(1213), 공간 변환부(1215), 양자화부(1217), 역 양자화부(1219), 공간 역변환부(1221), 색공간 역변환부(1223), 가산부(1125), 참조영상 저장부(1227), 움직임 예측부(1229), 움직임 보상부(1231), 및 엔트로피 부호화부(1233)로 이루어진다. 도 5에 도시된 RGB 부호화부(430)와 비교해 볼 때 색공간 변환부(1213) 및 색공간 역변환부(1223)에 그 차이가 있다.
색공간 변환부(1213)에서는 2×2 반복패턴내의 각 색성분에 대하여 공간상 DCT, DCT를 정수 단위 연산으로 수정한 정수변환, 혹은 하다마드 변환(Hadamard transform)을 통한 색공간 변환을 수행하여 색성분 사이의 중복성을 제거한다.
일예로, 다음 수학식 5 혹은 수학식 6에 정의된 4×1 사이즈 혹은 2×2 사이즈 하다마드 변환을 통해 색공간 변환을 수행할 수 있다.
Figure 112006052352209-PAT00005
Figure 112006052352209-PAT00006
상기 수학식 5는 1차원 하다마드 변환을 나타내고, 수학식 6은 2차원 하다마드 변환을 나타낸다. 하다마드 변환은 RCT에 비하여 비교적 다양한 형태의 영상에 대하여 최적 성능을 나타낼 수 있는 장점이 있다.
색공간 역변환부(1223)에서는 2x2 반복패턴내의 각 색성분에 대하여 공간상 역 DCT, 역 DCT를 정수 단위 연산으로 수정한 역 정수변환, 혹은 역 하다마드 변환(Inverse Hadamard transform)을 통한 색공간 역변환을 수행하여 R, G, 및 B의 색성분을 복원한다.
일예로, 다음 수학식 7 혹은 수학식 8에 정의된 4×1 사이즈 혹은 2×2 사이즈 역 하다마드 변환을 통해 색공간 역변환을 수행할 수 있다.
Figure 112006052352209-PAT00007
Figure 112006052352209-PAT00008
여기서 "//"는 나누기 연산 후 가장 가까운 정수로 매핑하는 연산으로 역 변환 과정을 통해 늘어난 데이터 범위를 원래의 데이터 범위로 표현하기 위해 수행한다.
도 13은 도 11에 도시된 복호화부(1150)의 세부적인 구성을 나타낸 블럭도로서, 엔트로피 복호화부(1311), 역 양자화부(1313), 공간 역변환부(1315), 색공간 역변환부(1317), 움직임 보상부(1319), 참조영상 저장부(1321) 및 가산부(1323)를 포함하여 이루어진다. 도 8에 도시된 RGB 복호화부(710)와 비교해 볼 때 색공간 역변환부(1317)에 그 차이가 있다. 색공간 역변환부(1317)는 일례로 수학식 7 혹은 수학식 8에 정의된 4×1 사이즈 혹은 2×2 사이즈 역 하다마드 변환을 수행할 수 있다.
도 14는 도 12 및 도 13에 있어서 색공간 변환 및 색공간 역변환 과정을 설명하는 도면으로서, 색공간 변환부(1213)에서는 색공간 변환을 수행한 다음, 색공 간 변환된 데이터를 4개의 성분에 대한 색평면으로 정렬하여 처리한다. 한편, 색공간 역변환부(1223, 1317)에서는 색평면에 대한 역정렬을 수행한 다음, 색공간 역변환을 수행한다.
도 15a는 베이어 형식 RGB 영상의 처리 단위인 매크로 블록을 나타내는 것으로, R-G-G-B의 2×2 반복 패턴이 NxN 화소 크기로 구성되어 있다. 한편 도 15b는 상기 색공간 변환 후 재 정렬된 4색 정보로 이루어진 매크로블록 정보를 나타낸다.
도 16a 내지 도 16c는 다양한 형식의 영상으로의 색변환 및 샘플링 수행시 복원된 RGB 영상의 화질을 비교하기 위한 도면으로서, 도 16a는 4:4:4 형식 RGB 영상에서 4:2:0 형식 RGB 영상으로, 도 16b는 4:4:4 형식 RGB 영상에서 4:2:0 형식 YUV 영상으로, 도 16c는 4:4:4 형식 RGB 영상에서 베이어 형식 RGB 영상으로 색변환 혹은 샘플링을 수행한 경우를 나타낸다.
먼저, 다음 표 1은 4:4:4 형식 RGB 영상이 3개의 CCD 플레이트를 통해 캡춰된 경우 도 16a와 도 16b에 도시된 4:2:0 형식 RGB 복원영상과 4:2:0 형식 YUV 복원영상의 화질을 비교한 것이다.
Figure 112006052352209-PAT00009
다음 표 2는 4:4:4 형식 RGB 영상이 하나의 CCD 플레이트를 통해 캡춰된 경우 도 16a와 도 16b에 도시된 4:2:0 형식 RGB 복원영상과 4:2:0 형식 YUV 복원영상의 화질을 비교한 것이다.
Figure 112006052352209-PAT00010
표 1을 살펴보면, 3개의 CCD 플레이트로부터 얻어지는 고화질 센서영상의 경우에는 4:2:0 형식 YUV 복원영상이 4:2:0 RGB 복원영상에 비해 PSNR(Peak Signal-to-Noise Ratio) 성능이 우수함을 알 수 있다. 이는 YUV 복원영상의 경우 대부분의 에너지가 휘도(Y) 성분에 집중되므로 색도(U,V) 성분에서의 샘플링은 화질에 큰 영향을 주지 않기 때문이다. 반면, 표 2를 살펴보면, 모바일 기기에서 일반적으로 사용되는 하나의 CCD 플레이트로부터 얻어지는 센서영상의 경우에는 4:2:0 형식 RGB 복원영상이 4:2:0 형식 YUV 복원영상과 유사하거나 더 나은 화질을 얻을 수 있음을 알 수 있다. 또한, 표 1과 표 2를 비교하면, 하나의 CCD 플레이트를 사용한 경우 본 발명에서와 같이 4:2:0 RGB 영상을 부호화 및 복호화하게 되면 복원되는 색 성분의 PSNR이 더 높아 복원영상의 화질은 샘플링에 의해 거의 영향을 받지 않음을 알 수 있다. 특히, 하나의 CCD 플레이트를 사용하거나 3개의 CCD 플레이트를 사용하는 경우, 4:2:0 형식 RGB 영상에서는 중요한 G 성분이 완전히 복원됨을 알 수 있다.
다음, 표 3은 도 16b와 도 16c에 도시된 4:2:0 형식 YUV 복원영상과 베이어 형식 RGB 복원영상의 화질을 비교한 것이다.
Figure 112006052352209-PAT00011
표 3을 살펴보면, 베이어 형식 RGB 복원영상의 경우 G 성분의 샘플링 및 보간이 수행되므로 4:2:0 형식 RGB 복원영상에 비해서 PSNR 성능이 낮음을 알 수 있다. 그러나, 그 차이가 아주 미미하기 때문에 주관적 혹은 시각적인 차이를 느낄 정도는 아니다. 즉, 본 발명에서와 같이 베이어 형식 RGB 영상을 직접 부호화/복호화하더라도 복원영상의 화질 저하가 크지 않음을 알 수 있다.
다음 표 4는 도 16a에서 센서영상을 4:2:0 형식 RGB 영상으로 샘플링하고 다시 보간하는 과정에서 R/B 성분의 위치 정보를 이용하는 경우 "B"와 위치 정보를 이용하지 않는 경우 "A"에 대해서 화질을 비교한 것이다.
Figure 112006052352209-PAT00012
4:2:0 형식 RGB 영상의 경우 기존의 4:2:0 형식 YUV 복원영상과는 달리 도 2의 센서영상을 이용할 경우, G, R, 및 B 성분이 서로 다른 위치의 화소 정보가 되므로 위치정보를 샘플링 및 보간에 이용해야 제대로 된 복원영상을 얻을 수 있다. 표 4를 참조하면, RGB 성분 간의 상대적인 위치 정보를 이용한 "B"의 경우가 그렇지 않은 "A"의 경우에 비해 PSNR 성능이 개선됨을 알 수 있다. 따라서, 본 발명에서와 같이 4:2:0 RGB 영상을 부호화 및 복호화하는 경우 RGB 색 성분의 상대적 위치 정보를 이용할 경우 더욱 개선된 부호화 효율을 얻을 수 있다.
도 17a 내지 도 17d는 베이어 형식 RGB 영상의 2×2 반복패턴에서 색성분의 위치정보를 고려하지 않은 경우, 4:4:4 형식 RGB 영상에서 4:2:0 형식 RGB 영상으로의 업/다운 샘플링의 과정을 나타낸다. 도 17a는 베이어 형식 RGB 영상을 나타내며, 2×2 단위로 반복패턴을 가진다. 도 17b는 베이어 형식 RGB 영상이 4:4:4 형식 RGB 영상으로 변환된 경우, R,G, 및 B 색 성분을 나타낸다. 대문자로 표시된 화소가 도 17a의 원 화소와 일치하고 소문자로 표시된 화소는 주위의 베이어 형식 RGB 영상의 화소값으로 부터 보간된 값이다. 도 17c는 베이어 형식 RGB 영상으로 부터 샘플링된 4:2:0 형식 RGB 영상을 나타낸다. 여기서 도 17b의 4:4:4 형식 RGB 영상은 도 17a의 입력영상의 R/B 위치정보를 사용하지 않은 상황에서 샘플링이 이루어진다. 그 결과, B 성분의 경우 원래 B가 아닌 도 17b에서와 같이 보간된 B 성분으로 구성된다. 4:2:0 형식 RGB 영상을 디스플레이하기 위하여, 도 17d에서와 같이 다시 4:4:4 형식 RGB 영상으로 복원하면, 도 17b의 원래의 4:4:4 형식 RGB 영상과 비교할 때 B 성분 사이에 값이 크게 다르게 된다. 이것은 도 17c의 4:2:0 형식 RGB 영상을 얻는 과정에서 도 17a에서의 원래의 베이어 형식 RGB 영상의 각 색 위치정보가 없었기 때문이다.
도 18a 내지 도 18d는 베이어 형식 RGB 영상의 2×2 반복패턴에서 색성분의 위치정보를 고려한 경우, 4:4:4 형식 RGB 영상에서 4:2:0 형식 RGB 영상으로의 업/다운 샘플링의 과정을 나타낸다. 도 17a 내지 도 17d와 비교할 때, B 성분이 R 성분에 비해 수직 및 수평 방향으로 각각 1 화소 위치만큼 움직였다는 정보를 이용함으로써, 복원된 B 성분이 원래의 B 성분을 잘 표현하고 있음을 알 수 있다.
한편, 일반적으로 해상도 변환시의 간섭 오류를 줄이기 위해 일정 길이의 필터 계수를 갖는 필터링을 수행한다. 그럼에도 불구하고, 역시 각 색성분의 위치정보가 복원영상의 화질 개선에 중요한 역할을 한다. 표 1 내지 표 4에서는 성능 비교를 위해 샘플링 및 보간에 필터를 사용하였다. 샘플링을 위해서는 MPEG-2에서 사용했던 7 탭 필터 [-29, 0, 88, 138, 88, 0, -29] 및 보간을 위해서는 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team (JVT)의 H.264/MPEG-4 pt.10 AVC 표준화 기술에서 사용했던 6탭 필터 [1,-5,20,20,-5,1]를 사용하였다.
도 19a 및 도 19b는 2×2 반복패턴을 갖는 다양한 형태의 센서영상을 나타내는 것으로서, 센서영상에서 R, G, B의 위치가 고정된 것이 아니라 센서부(도 1의 110)에 따라 달라질 수 있음을 보여준다. 따라서, 센서영상 부호화 및 복호화장치에서 각 색성분의 위치정보를 이용하는 것이 필요하다. 각 색성분의 위치정보를 표현하기 위해 도 20에 도시된 바와 같이 베이어 RGB 영상에 있는 2×2 반복패턴의 위치정보를 이용할 수 있다. 다음 표 5는 센서영상으로부터 얻어지는 4:2:0 형식 RGB 영상에서 도 20의 위치정보를 이용하여 R 및 B 성분의 위치를 표현한 것이다. 각 색성분의 위치정보는 4:2:0 형식 RGB 영상을 입력으로 하는 도 7의 센서영상 부호화 및 복호화장치에 사용되어 부호화 효율을 개선할 수 있다.
Figure 112006052352209-PAT00013
한편, 베이어 형식 RGB 영상을 입력으로 하는 도 11의 센서영상 부호화 및 복호화장치는 다음 표 6와 같이 표현되는 R, G, 및 B 색성분의 상대적 위치정보 즉, 색 패턴정보를 이용하여 부호화 효율을 개선할 수 있다. 마찬가지로, 도 20에 도시된 위치정보를 이용한다.
Figure 112006052352209-PAT00014
도 21은 본 발명의 또 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도로서, 센서영상 부호화장치는 G 성분 보간부(2110), 제1 R/B 위치정보 생성부(2120) 및 부호화부(2130)로, 센서영상 복호화장치는 복호화부(2170), 제2 R/B 위치정보 생성부(2180) 및 R/B 성분 보간부(2190)를 포함하여 이루어진다. 도 21에 도시된 센서영상 부호화 및 복호화장치에서는 상기 표 5의 R/B 성분의 위치정보를 부호화 및 복호화과정에 이용하여 부호화 효율을 개선한 것으로서, 도 3에 도시된 센서영상 부호화 및 복호화장치에 제1 및 제2 R/B 위치정보 생성부(2120, 2180)을 더 부가한 것이다.
도 21을 참조하면, G 성분 보간부(2110)에서는 센서영상에서 G 성분을 보간하여 4:2:0 형식 RGB 영상으로 변환한다.
제1 R/B 위치정보 생성부(2120)에서는 센서영상에서 R 및 B 성분의 위치정보를 생성한다.
부호화부(2130)에서는 R 및 B 성분의 위치정보를 이용하여 4:2:0 형식 RGB 영상의 R, G 및 B 성분과, G 레지듀 성분을 부호화하여 비트스트림을 생성한다. 부호화부(2130)에서는 우선 G 성분에 대해서 움직임 예측을 하고 나머지 R/B 성분의 경우 G 성분의 움직임 예측정보를 이용하여 부호화를 수행하게 되는데, R/B 성분의 위치정보가 G 성분의 위치와 틀릴 수 있으므로 R/B 성분의 위치정보를 움직임 예측에 이용한다. G 성분이 샘플링된 후 부호화되므로 R/B 성분의 해상도와 동일하고, 이때 G 성분은 1/4 화소 단위, R/B 성분은 1/8 화소 단위의 움직임 벡터를 사용한다. 이 경우 도 2의 베이어 형식 센서영상을 고려하면 G 성분의 움직임 벡터(mvx_G, mvy_G)를 R/B 성분의 움직임 벡터(mvx_R, mvy_R, mvx_B, mvy_B)를 이용하여 다음 수학식 9와 같이 표현할 수 있다.
Figure 112006052352209-PAT00015
제2 R/B 위치정보 생성부(2180)에서는 센서영상을 부호화하여 얻어지는 비트스트림으로 부터 R 및 B 성분의 위치정보를 생성한다.
복호화부(2170)에서는 비트스트림을 R 및 B 성분의 위치정보를 이용하여 복호화하여 R, G 및 B 성분과, G 레지듀 성분을 복원하고, 동일한 해상도를 가지는 복원된 G 성분과 G 레지듀 성분을 더하여 4:2:0 형식 RGB 영상을 복원한다.
R/B 성분 보간부(2190)에서는 복호화부(2170)로부터 제공하는 4:2:0 형식 RGB 영상에서 R 및 B 성분을 상기 R 및 B 성분의 위치정보를 이용하여 보간한다.
도 22는 도 21에 도시된 부호화부(2130)의 세부적인 구성을 나타낸 블럭도로서, G 성분 샘플링부(2210), R/B 위치정보 생성부(2220), RGB 부호화부(2230), G 성분 보간부(2250), 감산부(2270) 및 G 레지듀 부호화부(2290)를 포함하여 이루어진다. 여기서, G 성분 보간부(2250), 감산부(2270) 및 G 레지듀 부호화부(2290)는 옵션으로 구비될 수 있다. 도 22에 도시된 부호화부(2130)는 도 4에 도시된 부호화부(490)와 비교할 때 R/B 위치정보를 RGB 부호화과정에 이용한다는 차이점이 있다.
도 23은 도 21에 도시된 복호화부(2170)의 세부적인 구성을 나타낸 블럭도로서, RGB 복호화부(2310), R/B 위치정보 생성부(2320), G 성분 보간부(2330), G 레 지듀 복호화부(2350) 및 가산부(2370)를 포함하여 이루어진다. 여기서, G 레지듀 복호화부(2350) 및 가산부(2370)는 옵션으로 구비될 수 있다. 도 23에 도시된 복호화부(2310)는 도 7에 도시된 복호화부(710)와 비교할 때 R/B 위치정보를 RGB 복호화과정 및 G 성분 보간과정에 이용한다는 차이점이 있다.
도 24는 본 발명의 또 다른 실시예에 따른 센서영상 부호화장치 및 센서영상 복호화장치의 구성을 나타낸 블럭도로서, 센서영상 부호화장치는 영상입력부(2410), 제1 색 패턴정보 생성부(2420) 및 부호화부(2430)를, 센서영상 복호화장치는 복호화부(2470), 제2 색 패턴정보 생성부(2480) 및 색성분 보간부(2490)를 포함하여 이루어진다. 도 24에 도시된 센서영상 부호화 및 복호화장치에서는 상기 표 6의 R/G/B 성분의 색 패턴정보를 부호화 및 복호화과정에 이용하여 부호화 효율을 개선한 것으로서, 도 11에 도시된 센서영상 부호화 및 복호화장치에 제1 및 제2 색 패턴정보 생성부(2420, 2480)을 더 부가한 것이다. 도 21에 도시된 센서영상 부호화 및 복호화장치와 비교해 볼때 위치정보를 이용하는 것은 동일하나, 하나의 색성분의 움직임 벡터를 크기 변화 없이 그대로 이용할 수 있다는 차이점이 있다.
도 24를 참조하면, 영상입력부(2410)에서는 일정한 패턴, 예를 들면 2×2 사이즈의 반복패턴이며, R, G, G, B의 4개의 성분을 가지는 베이어 형식 RGB 영상을 입력한다.
제1 색 패턴정보 생성부(2420)에서는 베이어 형식 RGB 영상의 R, G 및 B 성분의 색 패턴정보를 생성한다.
부호화부(2430)에서는 베이어 형식 RGB 영상에서 반복패턴에 존재하는 각 색 성분의 중복성을 색공간 변환을 통해 제거하면서 R, G 및 B 성분의 색 패턴정보를 이용하여 부호화하여 비트스트림을 생성한다.
제2 색 패턴정보 생성부(2480)에서는 비트스트림을 복호화하여 R, G 및 B 성분의 색 패턴정보를 생성한다.
복호화부(2470)에서는 비트스트림을 색공간 역변환을 통해 복호화하고, R, G 및 B 성분의 색 패턴정보를 이용하여 베이어 형식 RGB 영상을 복원한다.
색성분 보간부(2490)에서는 복원된 베이어 형식 RGB 영상에서 각 화소에서 빠진 색성분을 R, G 및 B 성분의 색 패턴정보를 이용하여 보간한다.
도 25a 내지 도 25c는 센서영상의 또 다른 형태를 나타낸 것으로서, 도 25a 및 도 25b는 R, G, 및 B 성분이 2×2 단위의 반복패턴을 나타내지 않는 경우를 보여준다. 도 25c는 센서부(도 1의 110)가 R, G, 및 B 성분 이외의 색성분을 입력받는 경우를 보여준다. 도 25a 내지 도 25c에 도시된 형태를 갖는 센서영상은 본 발명의 센서영상 부호화 및 복호화장치에서 바로 적용되기 어렵기 때문에 4:4:4 형식 RGB 영상으로 변형하여 ISO/IEC MPEG 및 ITU-T VCEG의 JVT의 H.264/MPEG-4 pt.10 AVC FRExt 표준기술을 사용하거나, 통상적인 휘도 부호화부(도 6a 참조) 및 휘도 복호화부(도 9a 참조)를 이용하여 전체 센서영상을 하나의 휘도영상과 같이 취급하여 처리한다. 이렇게 하면 어떤 형태의 센서영상도 부호화 및 복호화가 가능하다.
도 26은 도 3에 도시된 부호화부(330)의 다른 실시예에 따른 세부적인 구성을 나타낸 블록도로서, 입력된 4:2:0 형식 RGB 영상을 바로 부호화하는 RGB 부호화부(2610)로 이루어진다. 도 4에 도시된 부호화부(330)와 다른 점은 G 성분의 샘플 링 및 보간을 필요로 하지 않고, G 레지듀 성분을 부호화하지 않음으로써, 기존의 영상 부호화장치와 호환가능한 이점을 제공한다.
도 27은 도 26에 도시된 RGB 부호화부(2610)의 세부적인 구성을 나타낸 블록도로서, 감산부(2711), 공간 변환부(2715), 양자화부(2717), 역 양자화부(2719), 공간 역변환부(2721), 가산부(2725), 참조영상 저장부(2727), 움직임 예측부(2729), 움직임 보상부(2731), 및 엔트로피 부호화부(2733)로 이루어진다. 입력신호로 8비트 4:2:0 형식 RGB 영상을 사용하는 것을 제외하고는 도 6a에 도시된 G 레지듀 부호화부(490)와 그 구성이 동일하므로 세부적인 동작설명은 생략하기로 한다.
도 28은 도 3에 도시된 복호화부(370)의 다른 실시예에 따른 세부적인 구성을 나타낸 블록도로서, 비트스트림을 복호화하여 4:2:0 형식 RGB 영상을 복원하는 RGB 복호화부(2810)로 이루어진다.
도 29는 도 28에 도시된 RGB 복호화부(2810)의 세부적인 구성을 나타낸 블록도로서, 엔트로피 복호화부(2911), 역 양자화부(2913), 공간 역변환부(2915), 움직임 보상부(2919), 참조영상 저장부(2921) 및 가산부(2923)를 포함하여 이루어진다. 입력신호로 비트스트림을 바로 사용하는 것을 제외하고는 도 9a에 도시된 G 레지듀 복호화부(750)와 그 구성이 동일하므로 세부적인 동작설명은 생략하기로 한다.
도 30은 도 3에 도시된 부호화부(330)의 또 다른 실시예에 따른 세부적인 구성을 나타낸 블록도로서, R/B 위치정보 생성부(3010) 및 RGB 부호화부(3030)를 포함하여 이루어진다. G 성분의 샘플링, G 성분의 보간, 및 G 레지듀 부호화와 관련 된 구성요소가 생략된 것을 제외하고는 도 22에 도시된 부호화부(2130)와 동일하므로 세부적인 동작설명은 생략하기로 한다.
도 31은 도 3에 도시된 복호화부(370)의 또 다른 실시예에 따른 세부적인 구성을 나타낸 블록도로서, R/B 위치정보 생성부(3110) 및 RGB 복호화부(3130)를 포함하여 이루어진다. G 성분의 샘플링, G 성분의 보간, 및 G 레지듀 복호화와 관련된 구성요소가 생략된 것을 제외하고는 도 23에 도시된 복호화부(2170)와 동일하므로 세부적인 동작설명은 생략하기로 한다.
상기한 본 발명의 여러가지 실시예에서는 8비트 4:2:0 형식 RGB 영상 혹은 8비트 베이어 형식 RGB 영상을 예로 들었으나, 여기에 제한되지 않으며 10비트 4:2:0 형식 RGB 영상 혹은 10비트 베이어 형식 RGB 영상, 12비트 4:2:0 형식 RGB 영상 혹은 12비트 베이어 형식 RGB 영상 등 다양한 비트수의 영상에 대해서도 적용할 수 있다. 또한, 영상포맷도 4:2:0 형식 RGB 영상에 제한되지 않으며, 다양한 영상포맷도 적용 가능하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터 가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이 본 발명에 따르면, 디지털 카메라와 같은 모바일 기기로부터 얻은 센서영상을 별도로 4:2:0 형식 YUV 영상으로 변환하지 않고도 복원화질이나 부호화효율을 저하시킴이 없이 보다 높은 압축율로 효율적으로 부호화 및 복호화할 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (47)

  1. 하나의 화소가 하나의 색성분을 나타내며, 적어도 두개의 색성분으로 이루어진 센서영상에서, 상기 적어도 두개의 색성분 중 제1 색성분을 보간하여 상기 센서영상을 제1 포맷의 영상으로 변환하는 제1 색성분 보간부; 및
    상기 제1 포맷의 영상을 부호화하여 비트스트림을 생성하는 부호화부를 포함하는 것을 특징으로 하는 센서영상 부호화장치.
  2. 제1 항에 있어서, 상기 제1 포맷의 영상은 4:2:0 형식 RGB 영상인 것을 특징으로 하는 센서영상 부호화장치.
  3. 제1 항에 있어서, 상기 부호화부는
    상기 제1 포맷의 영상의 상기 적어도 두개의 색성분이 동일한 해상도를 갖도록 상기 제1 색성분을 샘플링하는 색성분 샘플링부; 및
    상기 색성분 샘플링부로부터 제공되는 상기 적어도 두개의 색성분을 부호화하여 비트스트림을 생성하는 색성분 부호화부를 포함하는 것을 특징으로 하는 센서영상 부호화장치.
  4. 제3 항에 있어서, 상기 부호화부는
    상기 색성분 부호화부에서 부호화된 상기 제1 색성분이 원래의 해상도를 갖 도록 보간하는 제2 색성분 보간부; 및
    상기 제1 포맷의 영상에서 상기 제1 색성분과 상기 제2 색성분 보간부로부터 제공되는 보간된 상기 제1 색성분 간의 레지듀를 부호화하여 상기 비트스트림에 포함시키는 레지듀 부호화부를 더 포함하는 것을 특징으로 하는 센서영상 부호화장치.
  5. 제3 항에 있어서, 상기 색성분 부호화부는 상기 적어도 두개의 색성분의 레지듀 사이의 중복성을 제거하기 위하여 레지듀 색변환 및 인터플레인 예측 중 어느 하나를 수행하는 것을 특징으로 하는 센서영상 부호화장치.
  6. 제1 항에 있어서,
    상기 센서영상에서 상기 제1 색성분을 이용하여 제2 색성분의 위치정보를 생성하는 위치정보 생성부를 더 포함하고,
    상기 부호화부는 상기 제2 색성분의 위치정보를 이용하여 상기 제1 포맷의 영상의 상기 적어도 두개의 색성분을 부호화하여 비트스트림을 생성하는 것을 특징으로 하는 센서영상 부호화장치.
  7. 제6 항에 있어서, 상기 위치정보 생성부는 상기 제1 색성분의 움직임 정보와 상기 제1 색성분에 대한 상기 제2 색성분의 상대적인 위치정보를 이용하여 상기 제2 색성분의 위치정보를 생성하는 것을 특징으로 하는 센서영상 부호화장치.
  8. 제6 항에 있어서, 상기 부호화부는 상기 제1 포맷의 영상에서 상기 제1 색성분과 상기 비트스트림으로부터 복원되고 보간된 상기 제1 색성분 간의 레지듀를 부호화하여 상기 비트스트림에 포함시키는 것을 특징으로 하는 센서영상 부호화장치.
  9. 하나의 화소가 하나의 색성분을 나타내는, 적어도 두개의 색성분으로 이루어진 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 얻어지는 적어도 두개의 색성분을 이용하여 제1 포맷의 영상을 복원하는 복호화부; 및
    상기 복호화부로부터 제공하는 상기 제1 포맷의 영상에서 각 색성분이 동일한 해상도를 갖도록 적어도 하나의 색성분을 보간하는 제1 색성분 보간부를 포함하는 것을 특징으로 하는 센서영상 복호화장치.
  10. 제9 항에 있어서, 상기 제1 포맷의 영상은 4:2:0 형식 RGB 영상인 것을 특징으로 하는 센서영상 복호화장치.
  11. 제9 항에 있어서, 상기 복호화부는
    상기 비트스트림을 복호화하여 상기 적어도 두개의 색성분을 복원하여 상기 제1 포맷의 영상을 생성하는 색성분 복호화부; 및
    상기 색성분 복호화부로부터 제공되는 복원된 제1 색성분을 보간하는 제2 색 성분 보간부를 포함하는 것을 특징으로 하는 센서영상 복호화장치.
  12. 제11 항에 있어서, 상기 복호화부는
    상기 비트스트림을 복호화하여 상기 제1 색성분의 레지듀를 복원하는 레지듀 복호화부; 및
    상기 보간된 제1 색성분과 상기 복원된 제1 색성분의 레지듀를 더하는 가산부를 더 포함하는 것을 특징으로 하는 센서영상 복호화장치.
  13. 제11 항에 있어서, 상기 색신호 복호화부는 레지듀 색변환 및 인터플레인 예측 중 어느 하나를 이용하여 상기 적어도 두개의 색성분을 복호화하는 것을 특징으로 하는 센서영상 복호화장치.
  14. 제9 항에 있어서,
    상기 센서영상을 부호화하여 얻어지는 비트스트림으로부터 적어도 하나의 색성분의 위치정보를 생성하는 위치정보 생성부를 더 포함하고,
    상기 복호화부와 상기 제1 색성분 보간부는 상기 색성분의 위치정보를 이용하는 것을 특징으로 하는 센서영상 복호화장치.
  15. 제14 항에 있어서, 상기 위치정보 생성부는 제1 색성분의 움직임 정보와 상기 제1 색성분에 대한 제2 색성분의 상대적인 위치정보를 이용하여 상기 색성분의 위치정보를 생성하는 것을 특징으로 하는 센서영상 복호화장치.
  16. 하나의 화소가 하나의 색성분을 나타내는 일정한 패턴을 갖는 센서영상을 입력하는 영상입력부; 및
    상기 센서영상에서 상기 패턴에 존재하는 각 색성분의 중복성을 색공간 변환을 통해 제거하면서 부호화하여 비트스트림을 생성하는 부호화부를 포함하는 것을 특징으로 하는 센서영상 부호화장치.
  17. 제16 항에 있어서, 상기 패턴은 N×N 사이즈의 반복패턴이며, R, G, G, B의 4개의 성분을 가지는 것을 특징으로 하는 센서영상 부호화장치.
  18. 제17 항에 있어서, 상기 부호화부는 색공간 변환된 데이터를 상기 4개의 성분에 대한 색평면으로 정렬시켜 부호화하는 것을 특징으로 하는 센서영상 부호화장치.
  19. 제16 항에 있어서, 상기 패턴이 N×N 사이즈의 반복패턴이외 다른 형태를 가질 경우, 상기 센서영상을 휘도영상으로 취급하여 부호화하는 것을 특징으로 하는 센서영상 부호화장치.
  20. 제16 항에 있어서,
    상기 센서영상의 적어도 두개의 색성분의 색 패턴정보를 생성하는 색 패턴정보 생성부를 더 포함하고,
    상기 부호화부는 상기 적어도 두개의 색성분의 색 패턴정보를 이용하는 것을 특징으로 하는 센서영상 부호화장치.
  21. 하나의 화소가 하나의 색성분을 나타내며 일정한 패턴을 갖는 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 색공간 역변환을 통해 복호화하여 상기 센서영상을 복원하는 복호화부; 및
    상기 복원된 센서영상에서 각 화소에서 빠진 색성분을 보간하는 제1 색성분 보간부를 포함하는 것을 특징으로 하는 센서영상 복호화장치.
  22. 제21 항에 있어서, 상기 패턴은 N×N 사이즈의 반복패턴이며, R, G, G, B의 4개의 성분을 가지는 것을 특징으로 하는 센서영상 복호화장치.
  23. 제21 항에 있어서, 상기 복호화부는 색공간 역변환된 데이터를 상기 4개의 성분에 대한 색평면으로 정렬시켜 복호화하는 것을 특징으로 하는 센서영상 복호화장치.
  24. 제21 항에 있어서, 상기 패턴이 2×2 사이즈의 반복패턴이외 다른 형태를 가질 경우, 상기 센서영상을 휘도 영상으로 취급하여 복호화하는 것을 특징으로 하는 센서영상 복호화장치.
  25. 제21 항에 있어서,
    상기 비트스트림을 복호화하여 상기 적어도 두개의 색성분의 색 패턴정보를 생성하는 색 패턴정보 생성부를 더 포함하며,
    상기 복호화부 및 상기 색신호 보간부에서 상기 적어도 두개의 색성분의 색 패턴정보를 이용하는 것을 특징으로 하는 센서영상 복호화장치.
  26. 하나의 화소는 하나의 색성분을 나타내며, 적어도 두개의 색성분으로 이루어진 센서영상에서, 상기 적어도 두개의 색성분 중 제1 색성분을 보간하여 상기 센서영상을 제1 포맷의 영상으로 변환하는 단계; 및
    상기 제1 포맷의 영상을 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 센서영상 부호화방법.
  27. 제26 항에 있어서, 상기 제1 포맷의 영상은 4:2:0 형식 RGB 영상인 것을 특징으로 하는 센서영상 부호화방법.
  28. 제26 항에 있어서, 상기 부호화단계는
    상기 제1 포맷의 영상의 상기 적어도 두개의 색성분이 동일한 해상도를 갖도록 상기 제1 색성분을 샘플링하는 단계; 및
    상기 동일한 해상도를 갖는 상기 적어도 두개의 색성분을 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 센서영상 부호화방법.
  29. 제28 항에 있어서, 상기 부호화단계는
    상기 제1 포맷의 영상에서 상기 제1 색성분과 복원되어 보간된 상기 제1 색성분 간의 레지듀를 부호화하여 상기 비트스트림에 포함시키는 단계를 더 포함하는 것을 특징으로 하는 센서영상 부호화방법.
  30. 제29 항에 있어서, 상기 레지듀는 공간변환, 양자화, 및 엔트로피 부호화를 순차적으로 수행하여 부호화되는 것을 특징으로 하는 센서영상 부호화방법.
  31. 제29 항에 있어서, 상기 레지듀는 시공간상 예측, 공간변환, 양자화, 및 엔트로피 부호화를 순차적으로 수행하여 부호화되는 것을 특징으로 하는 센서영상 부호화방법.
  32. 제28 항에 있어서,
    상기 센서영상에서 상기 제1 색성분을 이용하여 제2 색성분의 위치정보를 생성하는 단계를 더 포함하고,
    상기 제2 색성분의 위치정보를 이용하여 상기 제1 포맷의 영상의 상기 적어도 두개의 색성분을 부호화하여 비트스트림을 생성하는 것을 특징으로 하는 센서영 상 부호화방법.
  33. 하나의 화소가 하나의 색성분을 나타내며, 적어도 두개의 색성분으로 이루어진 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 복호화하여 얻어지는 적어도 두개의 색성분을 이용하여 제1 포맷의 영상을 복원하는 단계; 및
    상기 제1 포맷의 영상에서 각 색성분이 동일한 해상도를 갖도록 적어도 하나의 색성분을 보간하는 단계를 포함하는 것을 특징으로 하는 센서영상 복호화방법.
  34. 제33 항에 있어서, 상기 제1 포맷의 영상은 4:2:0 형식 RGB 영상인 것을 특징으로 하는 센서영상 복호화방법.
  35. 제33 항에 있어서,
    상기 센서영상을 부호화하여 얻어지는 비트스트림으로부터 적어도 하나의 색성분의 위치정보를 생성하는 단계를 더 포함하고,
    상기 색성분의 위치정보를 이용하여 상기 비트스트림을 복호화하는 것을 특징으로 하는 센서영상 복호화방법.
  36. 일정한 패턴을 갖는 센서영상을 입력하는 단계; 및
    상기 센서영상에서 상기 패턴에 존재하는 각 색성분의 중복성을 색공간 변환 을 통해 제거하면서 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 센서영상 부호화방법.
  37. 제36 항에 있어서, 상기 패턴은 N×N 사이즈의 반복패턴이며, R, G, G, B의 4개의 성분을 가지는 것을 특징으로 하는 센서영상 부호화방법.
  38. 제37 항에 있어서, 색공간 변환된 데이터를 상기 4개의 성분에 대한 색평면으로 정렬시켜 상기 비트스트림이 생성되는 것을 특징으로 하는 센서영상 부호화방법.
  39. 제36 항에 있어서, 상기 패턴이 N×N 사이즈의 반복패턴이외 다른 형태를 가질 경우, 상기 센서영상을 휘도영상으로 취급하여 부호화하는 것을 특징으로 하는 센서영상 부호화방법.
  40. 제36 항에 있어서,
    상기 센서영상의 적어도 두개의 색성분의 색 패턴정보를 생성하는 단계를 더 포함하고,
    상기 적어도 두개의 색성분의 색 패턴정보를 이용하여 상기 비트스트림을 생성하는 것을 특징으로 하는 센서영상 부호화방법.
  41. 하나의 화소가 하나의 색성분을 나타내며, 일정한 패턴을 갖는 센서영상을 부호화하여 얻어지는 비트스트림을 수신하고, 수신된 비트스트림을 색공간 역변환을 통해 복호화하여 상기 센서영상을 복원하는 단계; 및
    상기 복원된 센서영상에서 각 화소에서 빠진 색성분을 보간하는 단계를 포함하는 것을 특징으로 하는 센서영상 복호화방법.
  42. 제41 항에 있어서, 상기 패턴은 N×N 사이즈의 반복패턴이며, R, G, G, B의 4개의 성분을 가지는 것을 특징으로 하는 센서영상 복호화방법.
  43. 제41 항에 있어서, 색공간 역변환된 데이터를 상기 4개의 성분에 대한 색평면으로 정렬시켜 상기 비트스트림을 복호화하는 것을 특징으로 하는 센서영상 복호화방법.
  44. 제41 항에 있어서, 상기 패턴이 2×2 사이즈의 반복패턴이외 다른 형태를 가질 경우, 상기 센서영상을 휘도 영상으로 취급하여 복호화하는 것을 특징으로 하는 센서영상 복호화방법.
  45. 제41 항에 있어서,
    상기 비트스트림을 복호화하여 상기 적어도 두개의 색성분의 색 패턴정보를 생성하는 단계를 더 포함하며,
    상기 적어도 두개의 색성분의 색 패턴정보를 이용하여 상기 비트스트림을 복호화하는 것을 특징으로 하는 센서영상 복호화방법.
  46. 제26 항 내지 제32 항 및 제36 항 내지 제40 항 중 어느 한 항에 기재된 센서영상 부호화방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  47. 제33 항 내지 제35 항 및 제41 항 내지 제45 항에 기재된 센서영상 복호화방법을 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060068802A 2005-07-22 2006-07-22 센서영상 부호화 및 복호화장치와 그 방법 Expired - Fee Related KR101362755B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050066991 2005-07-22
KR1020050066991 2005-07-22

Publications (2)

Publication Number Publication Date
KR20070012279A true KR20070012279A (ko) 2007-01-25
KR101362755B1 KR101362755B1 (ko) 2014-02-13

Family

ID=38012693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060068802A Expired - Fee Related KR101362755B1 (ko) 2005-07-22 2006-07-22 센서영상 부호화 및 복호화장치와 그 방법

Country Status (2)

Country Link
US (1) US7903306B2 (ko)
KR (1) KR101362755B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
JP5421757B2 (ja) * 2009-12-11 2014-02-19 株式会社Ｋｄｄｉ研究所 画像符号化装置
KR101358889B1 (ko) * 2011-11-22 2014-02-07 연세대학교 산학협력단 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
US9106936B2 (en) 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9948933B2 (en) * 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
WO2017065795A1 (en) * 2015-10-16 2017-04-20 Hewlett Packard Enterprise Development Lp Incremental update of a neighbor graph via an orthogonal transform based indexing
JP6875802B2 (ja) * 2016-08-22 2021-05-26 キヤノン株式会社 画像符号化装置及びその制御方法及び撮像装置及びプログラム
CN114189689B (zh) * 2021-11-25 2024-02-02 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994003015A1 (en) * 1992-07-22 1994-02-03 Matsushita Electric Industrial Co., Ltd. Imaging device with horizontal line interpolation function
JP2000511363A (ja) * 1994-07-14 2000-08-29 ジョンソン、グレイス、カンパニー 画像を圧縮するための方法及び装置
US5623423A (en) * 1994-12-12 1997-04-22 Univ. Of Texas Apparatus and method for video decoding
US6026232A (en) * 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
DE69835388T2 (de) * 1997-03-17 2007-07-19 Sony Corp. Bildkodiergerät und Bilddekodiergerät
KR100231925B1 (ko) * 1997-03-27 1999-12-01 윤종용 전역 기반 색도 상관성을 이용한 영상 부호화 방법
US6272257B1 (en) * 1997-04-30 2001-08-07 Canon Kabushiki Kaisha Decoder of variable length codes
JP3381827B2 (ja) * 1997-06-04 2003-03-04 富士ゼロックス株式会社 カラー画像符号化装置およびカラー画像復号装置
KR100574185B1 (ko) * 1997-07-15 2006-04-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 컬러 샘플 보간방법 및 보간장치
JPH1169377A (ja) * 1997-08-25 1999-03-09 Sanyo Electric Co Ltd 画像情報符号化装置及びそれを応用した装置
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
JP4055927B2 (ja) * 2000-08-25 2008-03-05 シャープ株式会社 画像処理装置およびデジタルカメラ
JP3797208B2 (ja) * 2001-11-30 2006-07-12 日本ビクター株式会社 カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法
US6757434B2 (en) * 2002-11-12 2004-06-29 Nokia Corporation Region-of-interest tracking method and device for wavelet-based video coding
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
CN101616329B (zh) * 2003-07-16 2013-01-02 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US7412092B2 (en) * 2003-10-31 2008-08-12 Sony Corporation Image processing apparatus, image processing method, and program
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
US20060210156A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Video compression for raw rgb format using residual color transform
KR100718134B1 (ko) * 2005-07-21 2007-05-14 삼성전자주식회사 비트율에 적응적인 영상 데이터 이진 산술 부호화/복호화장치 및 방법
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치

Also Published As

Publication number Publication date
US7903306B2 (en) 2011-03-08
US20070171490A1 (en) 2007-07-26
KR101362755B1 (ko) 2014-02-13

Similar Documents

Publication Publication Date Title
KR101362755B1 (ko) 센서영상 부호화 및 복호화장치와 그 방법
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
JP6325606B2 (ja) データ符号化及び復号化
KR100873636B1 (ko) 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
JP2005506815A (ja) 空間拡張可能圧縮のための方法及び装置
KR101341993B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101244309B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPH06189290A (ja) １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置
KR20180042899A (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
CN106688235B (zh) 非因果预测的信号编码方法、解码方法
KR100964401B1 (ko) 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
Purica et al. A convex optimization framework for video quality and resolution enhancement from multiple descriptions
KR102505364B1 (ko) 복호 장치, 프로그램, 및 복호 방법
JP2008109700A (ja) ディジタル信号変換方法およびディジタル信号変換装置
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP3804237B2 (ja) 動き補償動画像符号化装置及びその方法
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20180041833A (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2008118694A (ja) ディジタル信号変換方法およびディジタル信号変換装置
KR20170012524A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2008118693A (ja) ディジタル信号変換方法およびディジタル信号変換装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060722

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110218

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20060722

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120730

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130212

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131108

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20171118