KR100364748B1

KR100364748B1 - 영상 변환 부호화 장치

Info

Publication number: KR100364748B1
Application number: KR1020010000605A
Authority: KR
Inventors: 김응태
Original assignee: 엘지전자 주식회사
Priority date: 2001-01-05
Filing date: 2001-01-05
Publication date: 2002-12-16
Anticipated expiration: 2021-01-05
Also published as: KR20020057525A

Abstract

디지털 TV 또는 디지털 영상 기기 응용 분야에서 고 전송 비트율을 가지는 엠펙(MPEG) 비트 스트림을 디코딩한 후 다시 저 전송 비트율로 부호화하여 전송하는 영상 변환 부호화 장치에 관한 것으로서, 특히 디코딩부에서 디코딩된 매크로 블록을 다운 샘플링하는 비디오 전처리부와, 상기 디코딩부에서 가변 길이 디코딩된 이전 비트 스트림으로부터 픽쳐에 대한 정보를 검출하고, 변환 부호화를 위한 엔코딩 모드를 설정하는 변환 부호화 파라미터 제어부를 구비하여, HD급 MPEG 시퀀스를 NTSC급 MPEG 시퀀스로 변환함으로써, 계산 시간 감축과 하드웨어의 복잡도를 줄일 수 있다.

Description

영상 변환 부호화 장치 {Apparatus for transcoding video}

본 발명은 디지털 TV 또는 디지털 영상 기기 응용 분야에 관한 것으로서, 특히 특정 비트율을 가지는 엠펙(Moving Picture Experts Group ; MPEG) 비트 스트림을 다시 다른 비트율로 바꾸어 전송하는 영상 변환 부호화(transcoding) 장치에 관한 것이다.

최근 들어, 디지털 비디오나 오디오의 저장 및 전송 용량을 줄이기 위해서 MPEG등과 같은 부호화기를 사용하고 있다. 특히 압축된 비트 스트림 상태에서 비디오 검색, 화면 내 화면(예, PIP), 비디오 결합, 비디오 편집, 전송 비트율 변환 등의 다양한 응용이 필요해지면서 특정 비트율을 가지는 MPEG 비트 스트림을 다른 비트율로 변환시키는 영상 변환 부호화 방식들이 요구된다. 이런 예로는 JPEG(Joint Photographic Coding Experts Group) 방식의 비트 스트림을 MPEG 비트 스트림으로 만들거나, 디지털 캠코더의 디지털 출력인 DV(digital video) 포맷을 MPEG 비트 스트림으로 변환하거나, 또는 고화질의 HD(High Definition)급 MPEG 비트 스트림을 저화질의 SD(Standard Definition)급 MPEG 비트 스트림으로 변환하는 방식 등을 들 수 있다.

도 1은 일반적인 영상 변환 부호화 장치의 구성 블록도로서, 디코딩부(10)와 엔코딩부(20)로 구성된다.

상기 디코딩부(10)는 비디오 비트 스트림을 입력받아 가변 길이 디코딩(Variable Length Decoding ; VLD)하는 VLD부(11), 상기 VLD된 이산 코사인 변환(DCT) 계수를 역 양자화(Inverse Quantized ; IQ)하는 역 양자화부(12), 상기 역 양자화된 DCT 계수를 역 이산 여현 변환(Inverse Discrete Cosine Transform ; IDCT)하는 IDCT부(13), 상기 IDCT된 데이터와 움직임 보상된 데이터를 더하는 가산기(14), 상기 가산기(14)의 출력을 움직임 보상을 위해 저장하는 메모리(15), 상기 메모리(15)에 저장된 데이터와 상기 VLD부(11)에서 출력되는 움직임 벡터를 이용하여 움직임 보상을 수행한 후 상기 가산기(14)로 출력하는 움직임 보상부(16), 및 상기 가산기(14)의 출력을 영상 변환 부호화를 위해 저장하는 프레임 메모리(17)로 구성된다.

상기 엔코딩부(20)는 상기 디코딩부(10)의 출력을 다른 비트율로 변환하기 위한 것으로서, 상기 프레임 메모리(17)의 출력에서 움직임 보상된 데이터를 빼는 감산기(21), 상기 감산기(21)의 출력을 DCT하는 DCT부(22), 상기 DCT부(22)에서 DCT된 계수를 양자화하는 양자화부(23), 상기 양자화된 DCT 계수를 가변 길이 코딩(Variable Length Coding ; VLC)하는 VLC부(24), 상기 양자화된 DCT 계수를 IQ하는 IQ부(25), 상기 IQ부(25)에서 IQ된 계수를 IDCT하는 IDCT부(26), 상기 IDCT부(26)에서 IDCT된 데이터와 움직임 보상된 데이터를 더하는 가산기(27), 상기 가산기(27)의 출력을 움직임 보상을 위해 저장하는 메모리(28), 상기 메모리(28)에 저장된 데이터에 움직임 보상을 수행한 후 상기 감산기(21)와 가산기(27)로 출력하는 움직임 보상부(29)로 구성된다.

이와 같이 구성된 도 1에서 디코딩부(10)의 VLD부(11)는 입력되는 비디오 비트스트림을 가변길이 디코딩하여 움직임 벡터, 양자화 값, DCT(Discrete Cosine Transform) 계수로 분리한 후 움직임 벡터(MV)는 움직임 보상부(16)로 출력하고, 양자화 값 및 DCT 계수는 IQ부(12)로 출력한다. 상기 IQ부(12)는 상기 DCT 계수를 양자화 값에 따라 역 양자화하여 IDCT부(13)로 출력하고, 상기 IDCT부(13)는 역 양자화된 DCT 계수를 IDCT하여 가산기(14)로 출력한다. 만일, 상기 디코딩부(10)가 일반적인 MPEG-2 비디오 디코더라면 상기 IDCT부(13)는 MPEG-2 비디오 신택스(syntax)에 맞게 8*8 블록 단위로 IDCT를 수행한다.

이때, MPEG에서 규정하는 픽쳐의 형태에는 I,P,B 픽쳐의 세가지가 있으며, 상기 IDCT부(13)를 통해 복원된 데이터가 I 픽처일 경우 그대로 디스플레이 할 수 있는 완전한 그림이고, B, P 픽처일 경우 움직임 보상부(16)를 통해 움직임 보상을 해야 하는 불완전한 그림이다.

즉, I 픽처를 기준으로 볼 때 움직임을 나타내는 정보인 움직임 벡터는 0이라고 볼수 있고, B, P 픽처일때는 메모리부(15)에 저장되어 있는 이전 픽처를 이용하여 원래 화면으로 복원해야 한다. 여기서, 움직임 벡터(Motion vector ; MV)란 움직임 보상을 위해서 현재의 픽쳐나 필드의 좌표로부터 기준 프레임이 되는 필드의 좌표의 옵셋(Offset)을 나타내주는 2차원 벡터이다.

따라서, 상기 VLD부(11)에서 출력되는 움직임 벡터는 움직임 보상부(16)로 출력되고, 상기 움직임 보상부(16)는 상기 움직임 벡터와 메모리(15)에 저장된 이전 프레임을 이용하여 현재의 픽셀값에 대한 움직임 보상을 수행한 후 가산기(14)로 출력한다. 즉, 상기 움직임 보상부(16)는 메모리(15)에 저장된 이전 픽처와 VLD부(13)에서 출력된 현재 B 또는 P 픽처에 대한 움직임 벡터를 이용하여 한 방향 또는 양방향 예측을 하여 B 또는 P 픽쳐를 완전한 영상으로 복원한다.

상기 가산기(14)는 IDCT된 값과 움직임 보상된 값을 더하여 최종 픽셀값인 완전한 영상으로 복원한 후 상기 움직임 보상을 위한 메모리(15)와 영상 변환 부호화를 위한 프레임 메모리(17)에 저장한다. 즉, I 픽쳐의 경우는 IQ/IDCT한 결과가 바로 메모리(15,17)에 저장되고, P 픽쳐나 B 픽쳐의 경우는 움직임 보상된 데이터와 IDCT된 결과가 가산기(14)에서 더해진 후 메모리(15,17)에 저장된다.

이때, 상기 메모리(17)에 저장된 영상을 다시 저 전송 비트율의 비트 스트림으로 변환하여 하드 디스크와 같은 저장 장치에 저장하기 위해서는 엔코딩부(20)와 같은 비디오 부호화기가 필요하게 된다.

즉, 상기 엔코딩부(20)의 감산기(21)는 상기 프레임 메모리(17)에서 출력되는 데이터가 I 픽쳐이면 그대로, P나 B 픽쳐이면 움직임 보상부(29)에서 움직임 보상된 데이터와의 차분 데이터를 DCT부(22)로 출력한다. 상기 DCT부(22)는 입력되는 데이터를 DCT한 후 양자화부(23)로 출력하여 양자화한다.

여기서, 상기 DCT부(22)는 2차원 축변환을 통해서 데이터의 상관성을 제거하는데, 이를 위해 픽쳐를 블록 단위로 나눈 후 나누어진 각각의 블록을 DCT식에 따라 축변환시킨다. 이렇게 축변환된 데이터들은 한쪽 방향(저역 쪽)으로 몰리는 경향이 있는데 이렇게 몰려진 데이터들만을 양자화부(23)에서 양자화한 후 가변 길이 코딩(Variable Length Coding ; VLC)부(24)로 출력한다. 상기 VLC부(24)는 자주 나오는 값은 적은 수의 비트로, 드물게 나오는 값은 많은 수의 비트로 표시하여 전체 비트 수를 줄인다.

또한, 상기 양자화부(23)에서 양자화된 DCT 계수는 다시 IQ부(25)로 입력되어 역양자화된 후 IDCT부(26)로 출력된다. 상기 IDCT부(26)는 역 양자화된 DCT 계수를 IDCT하여 가산기(27)로 출력한다. 상기 가산기(27)는 IDCT된 값과 움직임 보상된 값을 더하여 최종 픽셀값인 완전한 영상으로 복원한 후 움직임 보상을 위해 메모리(28)에 저장한다. 움직임 보상부(29)는 메모리(28)로부터 읽어온 이전 프레임을 이용하여 움직임 보상을 수행한 후 감산기(21)와 가산기(27)로 출력한다.

이상에서와 같이, 상기 디코딩부(10)와 엔코딩부(20)를 이용하여 특정 비트율을 가지는 MPEG 비트 스트림을 다른 비트율 예를 들어, 저 전송 비트율로 변환한 후 하드 디스크와 같은 저장 장치에 저장하게 된다.

그러나, 전송된 비트율보다 더 낮은 전송율을 만드는 과정에서 영상 화질의 손실이 생기게 된다.

이러한 영상 화질의 손실을 줄이기 위해, 기존에는 MPEG 복호기에서 고주파 AC 계수를 제거하는 비트량 감축 방식, MPEG 복호기에 재 양자화를 통한 비트율을 변환시키는 방식, MPEG 복호기와 부호화기를 단순히 연결하는 캐스케이드 변환 부호화기(cascaded transcoder) 방식 등을 사용하고 있다.

그러나, 상기 고주파 AC 계수를 제거하는 비트량 감축 방식은 비트열의 파싱(parsing)만 해도 비트 길이와 부호의 경계를 파악하므로 매크로 블록 단위로 목표 비트량을 맞추어 가면서 초과되는 위치의 DCT 계수를 제거하여 하드웨어가 단순하다. 하지만, DCT 계수를 제거하므로 인해 누적 오차(drift error)가 생기므로 마찬가지로 화질 저하가 생긴다. 그리고, 상기 재 양자화를 이용한 방식은 가변길이 복호화 후 역 양자화를 하고 양자화 단계가 더 넓은 양자화 폭을 다시 적용하는 재양자화 방식이다. 따라서, 고주파 AC 계수를 잘라버리는 방식보다 좋은 화질을 가지나 하드웨어의 복잡도가 증가하게 된다.

마지막으로 상기 캐스케이드 변환 부호화기의 경우 화질 측면에서는 우수하지만 MPEG-2 부호화기를 내장하므로 다른 방식에 비해 하드웨어가 복잡할 뿐만 아니라 계산량이 많다.

즉, 디지털 VCR 등에서 고속 재생과 같은 특수 재생이나 장시간 기록용 저장기에서는 기록 공간이 상대적으로 대단히 적기 때문에 수신된 MPEG 비트 스트림으로부터 상당 부분의 데이터를 잘라내어 기록한다. 또한, VCR 기록에서 기록 시간을 2배로 늘리고자할 때는 비트 스트림의 비트율을 1/2로 낮추어야 한다. 이렇듯 대개 가정용인 경우 복잡한 하드웨어를 사용해서 비용이 올라가는 것보다는 품질은 떨어지지만 하드웨어가 단순한 방식을 선호하게 된다. 그러므로 가정용의 경우는 대개 상기된 고주파수 AC 계수를 없애는 방식이나 재 양자화 방식등이 사용된다. 또한, 캐스케이드 변환 부호화기의 경우는 움직임 보상 회로를 통해 누적 오차를 없애므로 좋은 화질을 유지하는데 이 방식은 VOD(video on demand) 서버나 방송국 등에서 사용할 수 있다.

그러나, 새로운 매크로 블록 결정 모드 및 움직임 보상 모드를 결정해야 하는 등의 계산량이 증가하게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 화질의 손실을 최대한 줄이면서 HD(High Definition)급의 신호를 SD(Standard Definition)급의 저해상도 비트스트림으로 변환하는 영상 변환 부호화 장치를 제공함에 있다.

도 1은 일반적인 영상 변환 부호화 장치의 구성 블록도

도 2는 본 발명에 따른 영상 변환 부호화 장치의 구성 블록도

도 3은 도 2의 상세 블록도

도 4는 본 발명에 따른 비디오 전처리부에서 HD 매크로 블록을 SD 서브 블록으로 변환하는 과정을 보인 도면

도 5는 도 2의 비디오 엔코딩부의 동작 흐름도

도 6a, 도 6b는 매크로 블록 유형을 결정하는 예를 보인 본 발명의 도면

도 7은 움직임 보상시 적응적으로 움직임 벡터를 선택하는 예를 보인 본 발명의 도면

도면의 주요부분에 대한 부호의 설명

100, 200 : 외부 메모리 101,201 : 메모리 인터페이스부

102 : 트랜스포트 디코더 103 : 비디오 디코더

104 : 오디오 디코더 105 : 비디오 디스플레이 처리부

202 : 비디오 엔코더 203 : VLC부

300 : 비디오 전처리부 400 : 프레임 메모리

500 : 변환 부호화 파라미터 제어부

700 : DMA부 800 : 호스트 인터페이스

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 변환 부호화 장치는, 수신되는 비디오 비트스트림을 디코딩하여 원래 화면의 픽셀 값으로 복원하는 디코딩부와, 상기 디코딩부에서 디코딩된 매크로 블록을 다운 샘플링하는 비디오 전처리부와, 상기 디코딩부에서 가변 길이 디코딩된 이전 비트 스트림으로부터 픽쳐에 대한 정보를 검출하고, 변환 부호화를 위한 엔코딩 모드를 설정하는 변환 부호화 파라미터 제어부와, 상기 변환 부호화 파라미터 제어부에서 출력되는 엔코딩 모드에 따라 상기 비디오 전처리부에서 다운 샘플링된 데이터와 움직임 보상된 데이터와의 차분 데이터를 이산 코사인 변환(DCT) 과정, 양자화 과정, 및 가변 길이 코딩(VLC) 과정을 거쳐 부호화하며, 상기 양자화된 데이터를 다시 역양자화(IQ) 과정 및 역 이산여현 변환(IDCT) 과정을 거친 후 움직임 보상된 데이터와 더하여 메모리에 저장하는 재부호화부를 포함하여 구성되는 것을 특징으로 한다.

상기 비디오 전처리부는 상기 디코딩부에서 디코딩된 데이터가 비월 주사 시퀀스이고 프레임 픽쳐를 갖는 매크로 블록이라면 필드 기반 처리를 통해 다운 샘플링을 수행하고, 순차 주사 시퀀스나 필드 픽쳐 구조의 비월 주사 시퀀스라면 프레임 기반 처리를 통해 다운 샘플링을 수행하여 필드 단위의 정보를 유지하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 상기 디코딩부에서 가변 길이 디코딩된 이전 비트 스트림의 움직임 정보를 이용하여 상기 비디오 전처리부에서 다운 샘플링된 매크로 블록의 움직임 벡터와 움직임 모드를 설정하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 상기 디코딩부에서 출력되는 현재 디코딩된 픽쳐 코딩 타입이 I 픽쳐이면 상기 비디오 전처리부에서 출력되는 매크로 블록들을 모두 인트라 코딩하도록 상기 재부호화부를 제어하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 상기 비디오 디코더에서 출력되는 현재 디코딩된 픽쳐 코딩 타입이 P 픽쳐나 B 픽쳐라면 현재 엔코딩하려는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들의 유형을 통해 움직임 보상을 할지 안 할지를 결정하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들 중 어느 하나의 매크로 블록이라도 인트라 매크로 블록이라면 인트라 코딩하도록 상기 재부호화부를 제어하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 4개의 매크로 블록들 중 인트라 매크로 블록의 수가 3개 이상인 경우는 현재 디코딩할 매크로 블록을 인트라 블록으로 결정하는 것을 특징으로 한다.

상기 변환 부호화 파라미터 제어부는 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들 중 어느 하나의 매크로 블록도 인트라 매크로 블록이 아니라면 움직임 보상이 필요하다고 판단한 후, 픽쳐 코딩 타입으로 P 픽쳐와 B 픽쳐를 구분하는 각각 움직임 보상을 수행하는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.

본 발명은 고 전송 비트율(약 10Mbps 이상)로 전송되어 온 MPEG-2 비트스트림을 저 전송 비트율(약 6Mbps 이하)의 MPEG-2 비트 스트림으로 변환하는데 있다.

도 2는 이를 위한 본 발명에 따른 MPEG-2 변환 부호화 장치의 구성 블록도로서, 2개의 메모리(100,200)와 2개의 독립적인 메모리 인터페이스부(101,201)를 통해서 비디오 디코딩과 엔코딩을 동시에 수행할 수 있게 되어 있다. 또한, 두 개의 메모리(100,200) 사이의 데이터 전송을 위해서 상기 두 메모리 인터페이스부(101,201) 사이에는 DMA(Direct Memory Access)부가 배치되어 있으며, MPEG-2 TS(transport stream), 패킷화된 요소 스트림(PES), 요소 스트림(ES)를 받아들일 수 있다. 여기서, 상기 메모리(100,200)는 DRAM을 이용할 수도 있고, 동기식 DRAM(SDRAM)을 이용할 수도 있으며, 본 발명에서는 SDRAM을 이용하는 것을 실시예로 하고 있다.

또한, 전송되어온 MPEG-2 비디오와 오디오 비트 스트림은 다중화되어 있으므로, 트랜스포트 디코더(102)에서 MPEG-2 비디오 비트 스트림과 오디오 비트 스트림으로 분리된다. 그리고, 분리된 비디오 비트 스트림은 MPEG-2 비디오 디코더(103)에서 디코딩되고, 오디오 비트 스트림은 오디오 디코더(104)에서 디코딩된 후 화면이나 스피커로 출력된다. 이때, 비디오의 경우는 VDP(video display processor)(105)를 통해서 화면에 디스플레이된다.

또한, HD급이나 고 전송 비트율의 비디오 시퀀스에서 디코딩된 프레임은 비디오 전처리부(300)를 통해 일반 해상도 즉, SD급이나 NTSC급의 저 해상도로 줄인다. 이를 통해 약 1/4 정도의 메모리 크기를 줄일 수 있으며, 이로 인해 MPEG-2 비디오 엔코더에서 메모리 밴드폭(Band Width) 및 처리 시간을 많이 줄일 수 있다.

결국, 고 전송 비트율을 저 전송 비트율로 줄이므로서 비디오 레코더나 기타 저장 장치에 저장되는 용량을 높일 수 있다. 그리고, 이렇게 줄어든 해상도를 다시 MPEG-2 엔코더(202)를 통해서 저 전송 비트율에 맞도록 다시 부호화 파라미터들을 재조정한 후 화질을 유지하도록 한다. 이는 고 해상도의 전송 비트율에 맞는 부호화 파라미터들은 저 해상도에서 최적화된 파라미터들이 아니기 때문이다.

또한, 본 발명은 비디오 엔코딩을 위한 여러 파라미터들 중 현재 디코딩되어 온 파라미터를 상기 비디오 엔코더(202)에서 이용함으로써, 상기 비디오 엔코더(202)에서 다시 여러 파라미터들을 계산하기 위한 시간과 하드웨어 복잡도를 줄이도록 한다. 그리고, 상기 비디오 엔코더(202)에서 움직임 보상시 움직임 추정을 하지 않아도 되므로 그만큼 움직임 보상 시간이 빨라진다.

도 3은 도 2의 비디오 변환 부호화부의 상세 블록도로서, 비디오 디코더(103)와 비디오 엔코더(202)는 도 1과 동일한 구성을 갖는다.

이때, 비디오 전처리부(300)는 비디오 디코더(103)에서 비디오 디코딩된 고 전송 비트율의 MPEG-2 비트 스트림을 입력받을 수도 있고, 외부로부터 SD급의 디지털 비디오 신호를 입력받을 수도 있다.

또한, 도 3의 프레임 메모리(17)와 도 1의 프레임 메모리(400), 그리고, 도 3의 VLC부(202)와 도 1의 VLC부(24)는 동일 소자인데 도면 부호만 다르게 하였다. 또한, 도 3의 SDRAM(100)과 도 1의 외부 메모리(15), 그리고, 도 3의 SDRAM(200)과 도 1의 외부 메모리(28)도 동일 소자인데 도면 부호만 다르게 하였다.

도 3에서는 비디오 전처리부(300), 변환 부호화 파라미터 제어부(500)가 상기된 도 1에 더 구비된다.

즉, VLD(11)를 통해 파싱된 비트 스트림은 IQ(12), IDCT(13) 및 움직임 보상 부(14,15,16)를 거쳐 외부 메모리(100)에 저장된다. 이때, 일반적인 MPEG-2 비디오 디코더(103)는 MPEG-2 비디오 신택스에 맞게 8*8 블록 단위로 IDCT를 수행하게 되며, I-픽쳐의 경우는 IQ/IDCT한 결과가 바로 메모리(100)에 저장되고, P-픽쳐나 B-픽쳐의 경우는 움직임 보상된 블록과 IDCT된 결과가 가산기(14)에서 합쳐져서 외부 메모리(15)에 저장된다.

그리고, 상기 외부 메모리(15)에 저장된 영상은 VDP(105)를 거쳐 화면에 보여지게 된다.

또한, 메모리 대역폭을 줄이기 위해 상기 비디오 디코더(103)에서 디코딩되어져 나오는 매크로 블록들은 비디오 전처리부(300)로 출력하여 해상도를 1/4로 줄인다.

도 4는 메모리 감축용 다운 스케일링의 알고리즘을 갖는 비디오 전처리부(300)의 동작을 상세히 나타내고 있다.

즉, 기존 MPEG-2 비디오 디코더에서는 프레임 픽쳐나 필드 픽쳐에 따라 메모리에서 프레임 단위나 필드 단위로 화소들을 읽어와서 움직임 보상을 하게 된다. 그러나, 75%의 감축을 위해 수직 방향으로 다운 샘플링시 프레임 픽쳐와 필드 픽쳐의 다운 샘플된 결과는 다르게 된다. 그러므로, 한 시퀀스 내에서 프레임과 필드 픽쳐가 같이 존재하는 경우에 균일한 다운 샘플링한 결과를 얻지 못한다.

이를 개선하기 위해 본 발명에서는 비월 주사 시퀀스이고 프레임 픽쳐를 갖는 매크로 블록을 도 4의 상단에서 보듯이 필드 기반 처리를 통해 다운 샘플링된 결과가 톱/바텀 필드가 같이 존재할 수 있도록 해준다. 이에 반해 순차 주사 시퀀스나 필드 픽쳐 구조의 비월 주사 시퀀스는 한 매크로 블록에 같은 필드에 해당하는 정보만을 가지므로 도 4의 하단에서 보듯이 프레임 기반 처리를 하여준다.

이를 통해 프레임 픽쳐를 수직 방향으로 다운 샘플링을 하더라도 필드에 대한 정보를 잃지 않게 되므로 좋은 화질을 유지할 수 있게 된다. 그러면, 결국에 비월 주사 시퀀스의 경우는 필드 단위의 정보를 계속 유지할 수 있게 된다.

상기 비디오 전처리부(300)의 다운 샘플링에 사용되는 관계식은 다음의 수학식 1과 같다.

여기서 [X]는 8개의 프레임 계수들을 나타내고, [x]는 8개의 화소값을 나타낸다.

이때, 8x8 DCT 기저 매트릭스(matrix) [T8]는 다음의 수학식 2와 같이 표현된다.

여기서, ［T8］은 8-point DCT 기저들로 이루어진 8x8 DCT 매트릭스를 나타낸다.

그리고, 상기 수학식 2와 비슷하게 4 포인트 기저(basis)들로 만들어진 4*4 DCT 매트릭스를 [T4]라고 하자. 그러면, 수평 수직 방향으로 고주파수 성분을 제거한 후 IDCT하는 다운 샘플링 과정은 다음 수학식 3으로 표현된다.

상기 [P4]는 하기의 수학식 4로 표현된다.

결국, 1차원의 다운 샘플링 과정을 살펴보면, 상기된 수학식 2와 3을 이용하여 다음의 수학식 5와 같이 표현된다.

여기서, x는 8x1 화소들을 나타내고, y는 다운 샘플링된 4x1 화소들을 나타내고, X는 x에 대한 DCT한 계수 블록을 나타낸다. T8은 8x8 DCT 기저 매트릭스를 나타내고,이고, C₄는 4x4 DCT 기저 매트릭스를 나타낸다.

따라서, 상기 수학식 5를 이용한 화소에서 화소 단위로의 다운 샘플링 변환은 다음의 수학식 6으로 표현된다.

여기서,는 4x8 차원의 다운 샘플링 매트릭스로 정의하고, 8개 화소를 4개 화소로 변환시켜 준다.

이때, 컬러 신호의 경우는 상기된 수학식 6과 비슷하게 입력이 4개 화소이고, 출력이 2개 화소인 다운 샘플링 매트릭스를 구하면 다음의 수학식 7과 같다.

여기서,를 나타내며, T2는 상기 수학식 2와 같은 2*2 DCT 기저 매트릭스이다.

또한, 75% 메모리 감축시 메모리 내 필드에 대한 정보를 유지하기 위해서 휘도 신호와 컬러 신호를 따로 분리해서 처리한다. 이때, 프레임 픽쳐인 경우 컬러 신호는 4*8 크기의 톱/바텀 필드로 나뉘어진다. 이와 달리 휘도 신호는 8*8 크기의 톱/바텀 필드로 나뉘어진다. 결국, 수직적인 필드의 라인수가 컬러 신호인 경우 휘도 신호의 1/2이 되므로 상기 수학식 7을 이용하여 다운 컨버젼을 하게 되고, 휘도 신호의 경우 상기 수학식 6을 이용하여 다운 컨버젼을 수행한다.

상기 비디오 전처리부(300)에서 상기된 과정으로 다운 샘플링을 수행함으로써, 해상도가 1/4로 감소되므로 자연적으로 원래 디코딩된 (16*16) 크기의 매크로 블록이 8*8 크기의 서브 블록으로 바뀌게 된다. 그러므로, 비디오 MPEG-2 엔코더(202)의 매크로 블록은 원래 디코딩된 4개의 매크로 블록이 합쳐져서 하나의 매크로 블록이 되는 것이다. 이때, 처리 시간이나 하드웨어 복잡도를 줄이기 위해서는 기존의 디코딩된 파라미터들을 이용하는 것이 매우 중요하다.

이를 위해 본 발명은 다음과 같이 비디오 엔코더(202)의 비디오 엔코딩 기준을 정한다.

1. 디코딩된 픽쳐 코딩 타입을 유지

2. 디코딩된 픽쳐 구조를 유지

3. 디코딩된 GOP(Group Of Picture)를 유지

4. 디코딩된 움직임 유형이나 매크로 블록 유형은 가변

5. 디코딩된 양자화 파라미터는 가변

6. 디코딩된 움직임 벡터는 가변

7. 디코딩된 VBV_delay, VBV_buffer_size는 가변

위의 기준을 통해 기존의 파라미터들을 유지 및 재조정을 하므로서 좋은 성능의 비디오 변환기를 구현할 수 있다.

즉, 도 3의 변환 부호화 파라미터 제어부(500)는 상기된 엔코딩 기준을 토대로 저 해상도 내의 영상에 대한 엔코딩 파라미터들을 정하게 된다.

이에 대한 동작 흐름도를 도 5에 도시하고 있다.

즉, 도 5에서 보는 바와 같이 먼저, 상기 비디오 디코더(103)에서 출력되는 현재 디코딩된 픽쳐 코딩 타입이 I 픽쳐인지를 판별한다(단계 601). 상기 단계에서 현재 디코딩된 픽쳐 코딩 타입이 I 픽쳐라고 판별되면 매크로 블록들은 모두 인트라 코딩된다(단계 602).

한편, 상기 단계 601에서 인트라(I) 픽쳐가 아니라고 판별되면 즉, P 픽쳐나B 픽쳐라고 판별되면 전술된 바와 같이 현재 엔코딩하려는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록의 유형을 통해 움직임 보상을 할지 안 할지를 결정한다.

즉, 도 6b에 도시된 표에 따라 변환 부호화 파라미터 제어부(500)에서는 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록의 유형으로부터 인트라 코딩인지 움직임 보상인지를 정하게 된다.

상기 도 6b에서 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 4개의 매크로 블록들 중 어느 하나의 매크로 블록이라도 인트라 매크로 블록이 있으면 인트라 코딩한다(단계 602). 반면, 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 4개의 매크로 블록들 중 어느 하나의 매크로 블록에도 인트라 매크로 블록이 없다면 픽쳐 코딩 타입을 확인하여 P 픽쳐인지 B 픽쳐인지를 판단한다(단계 604).

또한, 상기 도 6a에서 현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 4개의 매크로 블록들(MB1∼MB4) 중 인트라 매크로 블록의 수가 3개 이상인 경우는 현재 디코딩할 매크로 블록을 인트라 블록으로 결정한다. 이는 화면간 움직임이 많거나 화면 전환된 부분을 나타낼 확률이 높기 때문이다.

한편, 상기 도 6a에서 MB1과 MB4가 인트라 모드이거나, MB2와 MB3이 인트라 모드인 경우는 최종 결과를 인트라 모드로 처리한다. 이 경우는 주로 화면내 움직임이 불규칙적이거나 서로 다른 움직임을 가질 확률이 높으므로 움직임 보상이 어려운 경우이다. 그 밖의 경우는 모두 움직임이 있는 매크로 블록으로 결정하여 움직임 보상을 수행하게 된다.

따라서, 상기 단계 603에서 움직임 보상이 필요하다고 판별되면 단계 604에서 픽쳐 코딩 타입으로부터 P 픽쳐와 B 픽쳐를 구분한 후 P 픽쳐와 B 픽쳐에 대해 움직임 보상을 따로 한다. 즉, P 픽쳐의 경우는 순방향 움직임 벡터만이 존재하므로 도 7에서 보는 바와 같이 4개의 매크로 블록의 움직임 벡터들의 평균값과 중간값을 구한다(단계 605). 상기 평균값()과 중간값(Med(MV))을 구하는 방법을 하기의 수학식 8, 9과 같이 표현할 수 있다.

여기서,

Med(MV) = median(MV_i, I=1,...,4)

그리고, 상기 수학식 8, 9의 두 벡터들로부터 구한 평균 절대 오차(MAE)를 비교해서 적은 쪽을 MAE를 갖는 움직임 벡터를 움직임 보상용 벡터(MVs)로 선택한다(단계 606). 이때, 상기 단계 606에서 선택된 MAE가 일정치(Th1) 이상인지를 판별하여 일정치(Th1) 이상인 경우는 인트라 모드로 결정한다(단계 607).

한편, 상기 단계 606에서 선택된 MAE가 일정치(Th1) 미만이라고 판별되면,매크로 블록 유형(MB_TYPE), 움직임 유형(MC_TYPE)등을 선택한다(단계 608).

이때, 프레임 픽쳐에서 움직임 유형(MC_TYPE)은 프레임 단위의 움직임 보상(MC_FRAME)과 필드 단위의 움직임 보상(MC_FIELD, MC_DMV)으로 나뉘어진다. 여기서 MC_FRAME의 경우는 톱 필드와 바텀 필드를 같은 움직임 벡터로 여길 수 있으므로 상기 수학식 8과 9는 필드에 대한 움직임 벡터들로 따로 처리한다. 물론 움직임 유형(MC_TYPE)이 모두 MC_FRAME인 경우는 현재 엔코딩하고자 하는 매크로블록의 움직임 유형을 MC_FRAME으로 정한다. 그러나 하나라도 움직임 유형(MC_TYPE)이 MC_FIELD가 있으면 MC_FIELD로 처리하게 된다.

이를 정리하면 하기의 표 1과 같다.

MB1	MB2	MB3	MB4	Result
MC_FRAME	MC_FRAME	MC_FRAME	MC_FRAME	MC_FRAME
MC_FIELD	MC_FIELD	MC_FIELD	MC_FIELD	MC_FIELD
MB1 ∼ MB4 블록 중 어느 하나의 매크로 블록에라도 MC_FIELD가 있으면 MC_FIELD로 설정.

이때, MC_FIELD는 톱 블록 움직임 벡터와 바텀 블록 움직임 벡터의 움직임이 있다. 따라서, 상기 MB1 ∼ MB4 블록 중 어느 하나의 매크로 블록에라도 MC_FIELD가 있을 때 MC_FRAME의 한 MV를 톱 블록과 바텀 블록에 똑같이 할당한다.

상기와 마찬가지로 필드 픽쳐의 움직임 유형(MC_TYPE)도 MC_FIELD, MC_16*8, MC_DMV로 나누어지며, MC_16*8이 하나라도 존재하는 경우는 MC_16*8로 움직임 유형을 정하게 된다.

그리고 나서, 상기된 파라미터들을 이용하여 P 픽쳐에 대한 움직임 보상을 수행한다(단계 609)

한편, 상기 단계 604에서 B 픽쳐로 판별되면, B 픽쳐의 경우 순방향 움직임 벡터와 역방향 움직임 벡터가 같이 존재하므로 도 5에서 보는 바와 같이 두가지 경우에 대한 움직임 벡터의 평균값과 중간(median)값을 수학식 10 내지 14를 통해 구한다(단계 610).

여기서,

Med(MVF) = median(MVF_i, I=1,...,4)

Med(MVB) = median(MVB_i, I=1,...,4)

그리고, 상기 수학식 10 내지 14의 각각의 움직임 벡터들로부터 MAE를 구한 후 구한 MAR가 가장 적은 움직임 벡터를 움직임 보상용 벡터(MVs)로 선택한다(단계610). 또한, 이에 맞는 매크로 블록 유형(MB_TYPE)과 움직임 유형(MC_TYPE)을 정한 후(단계 613), 상기 정해진 파라미터들을 이용하여 B 픽쳐에 대한 움직임 보상을 수행한다(단계 609). 이때, 상기 단계 612에서도 선택된 MAE가 일정치(Th2) 이상인지를 판별하여 일정치(Th2) 이상인 경우는 인트라 모드로 결정하고, 일정치(Th2) 미만이라고 판별되면, 상기 단계 613로 진행하여 매크로 블록 유형(MB_TYPE), 움직임 유형(MC_TYPE)등을 정한다.

한편, 도 3에서의 비디오 엔코더(202)의 동작을 살펴보면 다음과 같다. 우선 인트라 픽쳐의 경우 IDCT(13)를 거친 결과가 곧바로 비디오 전처리부(300)에서 다운 샘플링된 후 다시 비디오 엔코더(202)의 DCT부(22)와 양자화부(23)를 거쳐서 VLC부(203)로 전송된다. 이때, 매 매크로블록은 인트라 코딩되며 양자화 파라미터는 새로이 정해진 비트율에 맞추어져서 엔코딩된다. 그리고, 호스트 인터페이스(800)를 통해 엔코딩하고자 하는 비트율을 정한다.

한편, P나 B 픽쳐의 경우는 새로이 양자화된 저 해상도의 영상을 움직임 예측 보상한다. 즉, 앞서 설명한 바와 같이 움직임 유형(MC_TYPE)에 따라 프레임 예측(frame prediction)과 필드 예측(field prediction)으로 수행된다.

따라서, 본 발명은 디지털 VCR이나 DTV 셋톱 박스로 전송되어온 MPEG-2 비트 스트림을 장시간 저장할 수 있으며, 고 비트율의 HD급이나 SD급의 비디오 신호를 저 비트율의 비트 스트림으로 변환할 수 있다.

그리고, 본 발명은 TV 내에 내장된 형태 및 STB(셋톱박스) 형태의 기기에 설치 가능하다.

또한, 본 발명의 경우 내장용 저장 장치를 가지는 디지털 TV나 디지털 VCR 등의 응용 분야에 필수적인 기술로서 고성능 비디오 레코더 및 타 회사의 디지털 TV와의 기술 경쟁력 강화 등의 큰 효과를 얻을 수 있다. 그리고, 본 발명을 통해 각종 비디오 서버나 개인용 비디오 레코더 등의 기기 구현에 적용 가능하다.

이상에서와 같이 본 발명에 따른 영상 변환 부호화 장치에 의하면, 10Mbps 이상의 HD급 MPEG 시퀀스를 6Mbps급 이하의 NTSC급 MPEG 시퀀스로 변환할 때, 비디오 디코딩된 MPEG-2 파라미터들을 이용함으로써, 엔코더에서의 움직임 보상시 움직임 추측 과정을 없앨 수 있으므로 움직임 보상 및 계산 시간 감축과 하드웨어의 복잡도를 줄일 수 있다. 또한 좋은 화질을 유지하면서 효율적으로 저장 용량의 감축을 얻을 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

수신되는 비디오 비트스트림을 디코딩하여 원래 화면의 픽셀 값으로 복원하는 디코딩부에서 출력되는 비디오 비트스트림을 재부호화하는 영상 변환 부호화 장치에 있어서,

상기 디코딩부에서 디코딩된 매크로 블록을 다운 샘플링하는 비디오 전처리부;

상기 디코딩부에서 가변 길이 디코딩된 이전 비트 스트림으로부터 픽쳐에 대한 정보를 검출하고, 변환 부호화를 위한 엔코딩 모드를 설정하는 변환 부호화 파라미터 제어부; 그리고

상기 변환 부호화 파라미터 제어부에서 출력되는 엔코딩 모드에 따라 상기 비디오 전처리부에서 다운 샘플링된 데이터와 움직임 보상된 데이터와의 차분 데이터를 이산 코사인 변환(DCT) 과정, 양자화 과정, 및 가변 길이 코딩(VLC) 과정을 거쳐 부호화하며, 상기 양자화된 데이터를 다시 역양자화(IQ) 과정 및 역 이산여현 변환(IDCT) 과정을 거친 후 움직임 보상된 데이터와 더하여 메모리에 저장하는 재부호화부를 포함하여 구성되는 것을 특징으로 하는 영상 변환 부호화 장치.
제 1 항에 있어서, 상기 비디오 전처리부는

상기 디코딩부에서 디코딩된 데이터가 비월 주사 시퀀스이고 프레임 픽쳐를 갖는 매크로 블록이라면 필드 기반 처리를 통해 다운 샘플링을 수행하고, 순차 주사 시퀀스나 필드 픽쳐 구조의 비월 주사 시퀀스라면 프레임 기반 처리를 통해 다운 샘플링을 수행하여 필드 단위의 정보를 유지하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 2 항에 있어서, 상기 비디오 전처리부는

다음의 매트릭스를 적용하여 상기 디코딩부에서 출력되는 8x8 블록을 4x4 블록으로 변환하는 것을 특징으로 하는 영상 변환 부호화 장치.

여기서,이고, [T4]는 4 포인트 DCT 기반으로 만들어진 4*4 DCT 매트릭스이며, y는 다운 샘플링된 4x1 화소들을 나타내고, X는 8개의 DCT 계수 블록임.
제 3 항에 있어서, 상기 비디오 전처리부는

하기의 매트릭스를 적용하여 1차원 다운 샘플링을 수행하는 것을 특징으로 하는 영상 변환 부호화 장치.

여기서, x는 8x1 화소들, y는 다운 샘플링된 4x1 화소들, X는 x에 대한 DCT계수 블록, T8은 8x8 DCT 기저 매트릭스,, C₄는 4x4 DCT 기저 매트릭스를 나타냄.
제 3 항에 있어서, 상기 비디오 전처리부는

하기의 매트릭스를 적용하여 휘도 신호의 다운 샘플링을 수행하는 것을 특징으로 하는 영상 변환 부호화 장치.

여기서,는 4x8 차원의 다운 샘플링 매트릭스로서, 8개 화소를 4개 화소로 변환시켜줌.
제 3 항에 있어서, 상기 비디오 전처리부는

하기의 매트릭스를 적용하여 컬러 신호의 다운 샘플링을 수행하는 것을 특징으로 하는 영상 변환 부호화 장치.

여기서,를 나타내며, T2는 2*2 DCT 기저 매트릭스임.
제 1 항에 있어서, 상기 변환 부호화 파라미터 제어부는

상기 디코딩부에서 가변 길이 디코딩된 이전 비트 스트림의 움직임 정보를 이용하여 상기 비디오 전처리부에서 다운 샘플링된 매크로 블록의 움직임 벡터와움직임 모드를 설정하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 1 항에 있어서, 상기 변환 부호화 파라미터 제어부는

하기와 같은 비디오 엔코딩 기준을 정한 후 상기 엔코딩 기준을 토대로 재부호화부의 저 해상도 영상에 대한 엔코딩 파라미터들을 설정하는 것을 특징으로 하는 영상 변환 부호화 장치.

I. 디코딩된 픽쳐 코딩 타입을 유지

I. 디코딩된 픽쳐 구조를 유지

I. 디코딩된 GOP(Group Of Picture)를 유지

I. 디코딩된 움직임 유형이나 매크로 블록 유형은 가변

I. 디코딩된 양자화 파라미터는 가변

I. 디코딩된 움직임 벡터는 가변

I. 디코딩된 VBV_delay, VBV_buffer_size는 가변
제 8 항에 있어서, 상기 변환 부호화 파라미터 제어부는

상기 디코딩부에서 출력되는 현재 디코딩된 픽쳐 코딩 타입이 I 픽쳐이면 상기 비디오 전처리부에서 출력되는 매크로 블록들을 모두 인트라 코딩하도록 상기 재부호화부를 제어하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 8 항에 있어서, 상기 변환 부호화 파라미터 제어부는

상기 비디오 디코더에서 출력되는 현재 디코딩된 픽쳐 코딩 타입이 P 픽쳐나 B 픽쳐라면 현재 엔코딩하려는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들의 유형을 통해 움직임 보상을 할지 안 할지를 결정하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 8 항에 있어서, 상기 변환 부호화 파라미터 제어부는

현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들 중 어느 하나의 매크로 블록이라도 인트라 매크로 블록이라면 인트라 코딩하도록 상기 재부호화부를 제어하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 11 항에 있어서, 상기 변환 부호화 파라미터 제어부는

현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 4개의 매크로 블록들 중 인트라 매크로 블록의 수가 3개 이상인 경우는 현재 디코딩할 매크로 블록을 인트라 블록으로 결정하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 11 항에 있어서, 상기 변환 부호화 파라미터 제어부는

대각선 방향에 있는 두 매크로 블록이 인트라 모드인 경우 최종 결과를 인트라 모드로 처리하도록 상기 재부호화부를 제어하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 8 항에 있어서, 상기 변환 부호화 파라미터 제어부는

현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들 중 어느 하나의 매크로 블록도 인트라 매크로 블록이 아니라면 움직임 보상이 필요하다고 판단한 후, 픽쳐 코딩 타입으로 P 픽쳐와 B 픽쳐를 구분하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 14 항에 있어서, 상기 P 픽쳐의 경우

현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들의 움직임 벡터들의 평균값과 중간값을 구한 후 상기 평균값과 중간값으로 정의된 두 벡터들로부터 구한 평균 절대 오차(MAE)가 적은 쪽의 움직임 벡터를 움직임 보상용 벡터로 선택하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 15 항에 있어서, 상기 재부호화부는

상기 선택된 MAE가 일정치 이상이면 인트라 모드로 코딩하고, 일정치 미만이면 상기 P 픽쳐에 맞는 매크로 블록 유형, 움직임 유형을 설정한 후 움직임 보상을 수행하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 14 항에 있어서, B 픽쳐인 경우

현재 엔코딩하고자 하는 매크로 블록에 해당하는 이전에 디코딩된 매크로 블록들의 순방향과 역방향 움직임 벡터들의 평균값과 중간값을 구한 후 상기 평균값과 중간값으로 정의된 네 벡터들로부터 구한 평균 절대 오차(MAE)가 적은 쪽의 움직임 벡터를 움직임 보상용 벡터로 선택하는 것을 특징으로 하는 영상 변환 부호화 장치.
제 17 항에 있어서, 상기 재부호화부는

상기 선택된 MAE가 일정치 이상이면 인트라 모드로 코딩하고, 일정치 미만이면 상기 B 픽쳐에 맞는 매크로 블록 유형, 움직임 유형을 설정한 후 움직임 보상을 수행하는 것을 특징으로 하는 영상 변환 부호화 장치.