KR101615643B1

KR101615643B1 - 픽처들의 압축

Info

Publication number: KR101615643B1
Application number: KR1020137019438A
Authority: KR
Inventors: 마르타 므라크; 토마스 데이비스; 데이비드 존 플린; 안드레아 가브리엘리니
Original assignee: 브리티쉬브로드캐스팅코퍼레이션
Priority date: 2010-12-23
Filing date: 2011-12-23
Publication date: 2016-04-27
Anticipated expiration: 2031-12-23
Also published as: US20130343457A1; JP6114782B2; JP2014504103A; WO2012085601A1; CN103477636A; CN108111856A; JP2015233298A; EP2656606A1; KR20130129418A; JP5860479B2; GB2486726A; GB2486726B; GB201021924D0; CN103477636B; US10298943B2

Abstract

입력 픽처 값들과 픽처 예측 값들 사이의 차이값들이 블록 기반 변환방법으로 변환되는 비디오 코딩에서, 상기 차이값들은 일련의 병렬적 단계(parallel steps)에서 형성된다. 픽셀들의 제1 서브세트에 대하여 병렬적으로 수행되는 제1 단계는 앞서 처리된 블록들에 전적으로 기초한 예측 값들을 이용한다. 이 제1 서브세트는 앞서 처리된 어떤 블록과도 인접하지 않은 앵커 픽셀들을 포함할 수 있다. 픽셀의 제2 서브세트에 대하여 병렬적으로 수행되는 제2 단계는 상기 제1 서브세트의 픽셀들로부터 예측되는 픽셀들을 포함한다.

Description

픽처들의 압축{COMPRESSION OF PICTURES}

본 발명은 픽처들의 압축 코딩에 관한 것으로서, 더욱 상세하게는 비디오 시퀀스(video sequences)에서의 픽처들의 코딩에 관한 것이다. 본 명세서에서 기재하는 픽처는 필드(field)들과 프레임(frame)들을 포괄한다.

차분 펄스 부호 변조(Differential Pulse Code Modulation, DPCM)라고 일컬어지는 종래의 픽처 압축방식은, 픽셀 값을 전송하지 않고 그 픽셀 값과 그 픽셀의 예측값과의 차이값을 전송한다. 이러한 차분 접근법에 의하면 픽처에서 공간 중복성을 제거할 수 있으며, 픽처들의 비디오 시퀀스에서 시·공간 중복성을 모두 제거할 수 있다.

주지의 MPEG 압축 기법 방향으로 비디오 압축 기술이 발전되면서, 시간 영역에서 차분 기술의 활용 방안 쪽에 관심이 집중되었다. 연속적인 픽처들의 블록들 간 모션 벡터들을 정의하는 정확한 모션 측정 기술에 기반하여, 인터-픽처(inter-picture) 차이값들은 매우 작아질 수 있고, 높은 고효율로 코딩될 수 있다. 공간 중복성을 제거하기 위하여 공간 변환 기술들이 선호되었으며, 공간 변환 기술들은 픽처의 모션 예측된 영역(인터-코딩된, inter-coded) 및 비예측된(인트라-코딩된, intra-coded) 영역들에 모두 적용되었다.

널리 알려진 비디오 인코더는 이에 따라 모션 보상 예측, DCT 또는 다른 공간 변환, 양자화 및 가변길이 또는 다른 엔트로피 코딩을 포함하였다.

MPEG와 다른 코딩 기법에서는 코딩 효율을 향상시키고 HDTV에 이르기까지 코딩 능력을 증가시키고, 훨씬 더 높은 픽처 해상도를 얻기 위한 노력이 계속되어 왔다. 언급된 것은 참조자료에 포함된 WO 2011/004027에 나타나 있다.

MPEG-4 Part 10/AVC/H.264에 포함되는 기술 중 하나는 인트라-픽처(intra-picture) 예측을 통하여 공간 변환을 보완하는 것이다. 디코더에서, 이미 디코딩되고 복원이 완료된 블록들로부터의 데이터는 현재 블록의 공간 예측을 수행하는데 이용될 수 있다. 인코더에서, 이와 같은 인트라-예측(intra-prediction)은 국부 디코더를 통하여 이용 가능하도록 만들어짐은 물론이다.

이와 같은 부가적인 공간 예측은 비약적으로 성능을 향상시키기 위하여, 좀더 상세하게는 엣지 디테일(edge detail) 및 사선 스트라이프들(diagonal stripes)과 같은 강한 방향성 텍스처(texture)를 얻기 위한 방법의 일환으로서 개발되었다. 그러나 실험결과들은 작은 블록 사이즈에서 성능 향상이 극대화되고, 블록 사이즈가 증가할수록 성능이 점차 감소하는 양상을 보여준다.

위와 같은 양상에 따르면 변환 코딩 게인(gain)은 작은 블록 사이즈에서 상대적으로 낮은 특성을 가지며, 효율적인 변환 코딩에서는 큰 블록 사이즈를 요한다는 점에서 첫번째 문제가 발생한다. 또한, 고해상도를 가질수록 필연적으로 매우 큰 블록 사이즈가 수반된다는 점에서 두번째 문제가 발생하게 된다. 몇 가지 예를 들자면, 인트라-예측 방법들은 4X4와 8X8 블록 사이즈에서 우수하게 동작한다. 이보다 더 큰 블록들을 적용하는 것은 더 우수한 변환 코딩 게인을 제공할 수 있을 것이나, 공간 예측은 더 복잡해지고 효율성이 감소하게 된다. HD 해상도 또는 그 이상의 해상도에서는, 16X16 블록들 또는 그 이상의 더 큰 블록들의 변환이 필요하게 된다,(UHDTV에서는 약 64X64 까지 필요함).

이와 유사한 관계는 모션-보상 예측에서도 존재한다. 즉, 블록 사이즈가 커질수록 보다 소수의 모션 벡터들이 인코딩되는 것이 필요하며, 그 나머지에 대하여 더 큰 블록 변환의 적용이 허용된다. 그러나, 블록 영역 내 일부 작은 오브젝트 또는 오브젝트의 일부분의 모션으로 인하여, 큰 블록의 일부 부분에 대한 예측이 제대로 이루어지지 않을 가능성이 증가하게 된다.

본 발명은 효율적인 예측을 위하여 요구되는 작은 블록 사이즈와 효율적인 변환 코딩 게인(특히 높은 해상도에서)을 위하여 요구되는 큰 블록 사이즈 간의 상술된 관계를 다룬다. 또한, 본 발명은 예측 기법들의 효과적인 프로세싱과 관련된 주제에 관하여 다루게 된다.

본 발명의 일 실시예에 따른 비디오 압축 인코더는, 픽처 정보를 수신하고 상기 픽처 정보를 화소들의 공간 블록들로 나누는 블록 스플리터; 상기 블록의 예측값들을 제공하는 예측기; 상기 픽처 정보와 예측값들을 수신하고 차이값들을 생성하는 감산기; 및 상기 블록 차이값들에 대한 변환을 수행하여 변환 계수들을 제공하는 블록 변환기를 포함하며, 상기 예측기는 상기 블록 내 화소들의 일 서브세트의 화소들에 대하여 병렬적으로 작동하고, 상기 블록 안에는 화소들의 서브세트가 적어도 두 개 존재하는 것을 특징으로 한다.

유리하게는, 화소들의 제1 서브세트는 앞서 코딩되고 복원된 블록들에 전적으로 기초하여 예측되는 화소들을 포함할 수 있다.

적절하게는, 상기 화소들의 제1 서브세트는 앞서 처리된 어떠한 블록과도 인접하지 않는 적어도 하나의 화소를 포함할 수 있다.

상기 앞서 처리된 어떠한 블록과도 인접하지 않는 화소의 위치 또는 값은 스트림 내에서 변환 계수들과 분리되어 전송되거나, 또는 디코더로 전송될 수 있다.

바람직하게는, 화소들의 제2 서브세트는 상기 제1 서브세트의 화소들에 적어도 부분적으로 기초하여 예측되는 화소들을 포함하며, 예측은 방향성 예측기 또는 모션 보상 예측기일 수 있다.

상기 예측기는 일련의 서브세트들 S_i에 대하여 순차적으로 동작하고, 각 서브세트의 화소들에 대하여 병렬적으로 동작하며, 서브세트 S_i의 화소들의 예측은 앞선 서브세트들 S₀,…,S_i _-1에 적어도 부분적으로 의존할 수 있다.

상기 예측기는 현재 블록의 화소들에 적어도 부분적으로 기초하여 예측을 수행하는 개방 루프 예측기와, 국부 디코더로부터의 화소 정보에만 기초하여 예측을 수행하는 폐쇄 루프 예측기를 포함할 수 있으며, 상기 예측값들은 상기 개방 루프 예측값들과 상기 폐쇄 루프 예측값들의 가중합(weighted sum)을 포함할 수 있다.

바람직하게는, 상기 폐쇄 루프 예측기는 국부 디코더로부터의 화소 정보에 기초하여 화소들의 제1 서브세트에 대한 예측을 수행하고; 상기 현재 블록의 화소들에 적어도 부분적으로 기초하여 화소들의 제2 서브세트와 선택적으로 차순위의 서브세트들에 대한 예측을 수행할 수 있다.

상기 폐쇄 루프 예측기는 선택가능한 방향을 가지며, 상기 개방 루프 예측기는 상기 폐쇄 루프 예측기의 선택된 방향에 따라 방향이 선택될 수 있다. 상기 예측 전략(prediction strategy)은 하나의 서브세트 내에서 변하지 않을 수도 있고, 서브세트에 따라 변할 수도 있다.

본 발명의 또 다른 실시예에 따른 압축 코딩 방법은 입력 픽처 값들과 픽처 예측값들 사이의 차이값을 구하는 단계; 및 상기 차이값을 블록 기반 변환방법을 통하여 변환하는 단계를 포함하고, 블록의 상기 차이값들을 구하는 단계는 블록 내 화소들의 제1 서브세트에 대하여 병렬적으로 수행되는 제1 단계; 블록 내 화소들의 제2 서브세트에 대하여 병렬적으로 수행되는 제2 단계; 및 선택적인 추가의 단계들을 포함할 수 있다.

유리하게는, 상기 제1 단계는 앞서 처리된 블록들에 전적으로 기초한 픽처 예측값들을 이용할 수 있다.

적절하게는, 상기 화소들의 제1 서브세트는 앞서 처리된 어떤 블록과도 인접하지 않은 적어도 하나의 화소를 포함할 수 있다.

바람직하게는, 상기 화소들의 제2 서브세트는 상기 제1 서브세트의 화소들에 적어도 부분적으로 기초하여 예측되는 화소들을 포함할 수 있다.

적절하게는, 상기 블록의 차이값들을 구하는 단계는 일련의 각 서브세트들 S_i에 대하여 순차적으로 수행되고, 각 서브세트의 화소들에 대하여 병렬적으로 수행되는 일련의 단계들을 포함하며, 서브세트 S_i 내 화소들의 상기 예측값들은 앞선 서브세트들 S₀,…,S_i _-1에 적어도 부분적으로 의존할 수 있다.

적합하게는, 상기 제1 단계는 앞서 처리된 블록들과 인접한 화소들에 대해서는 제1 예측기를 이용하고, 앞서 처리된 블록들과 인접하지 않은 적어도 하나의 화소에는 제2 예측기를 이용할 수 있다.

제1 및 제2 서브세트는 체스보드(chess board) 배열형태를 가질 수 있으며, 각각의 행들 또는 각각의 열들을 포함할 수 있다.

상기 각 단계는 SIMD, MMX 또는 CPU 프로세서에서 이용가능한 다른 고유의 병렬 처리들을 이용하여 수행될 수 있다.

본 발명의 또 다른 실시예에 따른 비디오 압축 디코더는 블록들 안에 편성되어 있는 변환된 픽처 차이값들을 대표하여 압축 인코딩된 비트스트림(bitstream)을 수신하는 입력부; 재스케일(re-scaled)된 변환 계수를 제공하는 역 양자화 유닛; 디코딩된 픽처 차이값들을 제공하기 위하여 상기 변환 계수들에 대해 역 공간 변환을 수행하는 역 블록 변환기; 및 상기 픽처 차이값들의 합에 대한 예측값들을 제공하기 위하여 상기 디코딩된 픽처 차이값들에 대하여 동작하는 예측기를 포함하며, 상기 예측기는 상기 블록 내 화소들의 일 서브세트의 화소들에 대하여 병렬적으로 작동하고, 상기 블록 안에는 화소들의 서브세트가 적어도 두 개 존재하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따른 압축 코딩 방법은, 입력 픽처 값들과 픽처 예측값들 사이의 차이값을 구하는 단계; 및 상기 차이값을 블록 기반 변환방법을 통하여 변환하는 단계를 포함하고, 상기 블록의 예측값들을 구하는데 이용가능한 앞서 처리된 이미지 블록이 불충분한 수이거나 전혀 없는, 이미지의 경계 또는 이미지 내 슬라이스(slice)의 경계에 위치한 블록에서, 상기 블록 내 적어도 일부의 픽처 값들에 대한 픽처 예측값들은 상기 블록의 다른 픽처 값들에 기초하는 것을 특징으로 한다.

본 발명에 따르면, 픽처들의 압축 수행과정에서 발생되는 노이즈를 효과적으로 감소시킬 수 있다.

도 1은 종래의 공간 예측 기법을 도식화한 도면;
도 2는 인코더의 블록도;
도 3 내지 도 14는 본 발명의 기술들을 도식화한 도면들;
도 15는 인코더의 블록도; 및
도 16 및 도 17은 멀티-패스(multi-pass) 인코딩 기법을 도식화한 블록도들이다.

이하, 첨부된 도면들을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.

앞에서 언급된 MPEG Part 10/AVC/H.264(이하, 편의상 H.264로 기재)는 이전의 MPEG 표준에 블록들의 인트라 예측(intra prediction)을 위한 항목을 추가적으로 포함하고 있다. 하나의 블록에서 최상단과 왼쪽을 따라 이어지는 데이터는 이미 디코딩과 복원이 완료된 것으로서, 이어 차분적(differentially)으로 코딩될 수 있는 현재 블록에 대한 예측을 제공하는데 활용될 수 있다. 도 1은 4X4 블록들에 적용될 수 있는 8개의 가능한 방향 예측들을 보여준다(앞서 복원된 샘플들은 음영 처리됨). 이와 같은 방향 예측들에서 더 나아가, DC가 블록의 엣지(edge)들에 있는 픽셀들의 평균에 기초하여 예측될 수 있어, 총 9개의 모드들을 제공할 수 있게 된다. 16X16 및 8X8 블록들에 대하여 다른 예측들도 이용 가능하다.

H264 인트라 예측 툴(tool)은 공간 예측 코딩과 변환 코딩을 결합하는 측면에서 장점을 보여주었다. 특히 H264 인트라 예측 툴은 엣지 디테일(edge detail) 및 사선 스트라이프들(diagonal stripes)과 같은 강한 방향성 텍스처(texture) 측면에서 효과적이었다.

그러나 정확한 예측을 위해 요구되는 작은 블록들과 높은 변환 코딩 게인을 얻기 위한 큰 블록들과의 고유의 관계에서 한가지 문제점이 존재하였다.

공간 예측 코딩에서 블록 사이즈가 증가함에 따라 코딩 효율이 감소하는 양상은 블록 사이즈가 증가함에 따라 현재 픽셀과 예측을 하는데 기반이 되는 픽셀들 간의 거리(적어도 래스터 스캔된 블록의 끝부분에 대하여)가 증가한다는 점에서 이해될 수 있다. 이와 같이 거리가 증가할수록, 픽셀들간 상관도가 감소하게 되고, 이에 따라 차분 코딩(differential coding)의 효율성도 감소하게 된다.

이와 유사하게, 모션 보상 예측 기법은 MPEG-1 이래로 비디오 압축 표준에 있어서 필수적인 부분을 차지해 왔다. 주요 이슈는 블록 사이즈와 예측 정확도 간의 균형에 관한 문제이다. 상대적으로 더 큰 블록 사이즈는 더 적은 수의 코딩될 모션 벡터들을 요하지만, 더 낮은 예측 정확도를 가지게 된다. 이는 큰 블록 내 작은 오브젝트들 또는 오브젝트들의 부분들이 블록의 나머지에 대해서 차등적으로 이동할 수 있기 때문이다.

하나의 블록에서 다른 블록으로의 이행을 변환하는 어려움을 피하기 위하여 일반적으로 하나의 예측 블록의 범위 내에서만 블록 변환들이 수행된다. 따라서, 결과적으로 변환 블록 사이즈에 제약이 존재하게 된다. H264에서는 매우 다양한 모션 블록 파티션들(partitions) 중에서 선택함으로써 상술한 균형 문제가 해결될 수 있을 것이다.

최근의 MPEG HEVC 표준을 비롯한 몇몇의 시스템을 살펴보면, 변환 블록들이 예측에 이용되는 블록들보다 상대적으로 크기가 작을 수 있다. 예컨대, 16X16 예측 블록은 임의의 순서로 코딩되는 4개의 8X8 변환 블록으로 분리될 수 있다. 이는 단순히 예측 데이터가 전송되는 위치에 관한 규칙에 해당하는 것이다. 각각의 8X8 서브블록에 대한 예측은 앞서 코딩된 서브블록들을 포함할 수 있는 국부적으로 디코딩된 블록들로부터 갱신될 수 있기 때문이다. 이와 같은 방법은 개선된 예측을 제공하지만, 8X8 변환 블록 사이즈 내에서의 예측들을 개선해주지는 못한다.

더 바라는 바는 변환에서 허용되는 것보다 더 작은 단위에서 예측을 수행하는 것이다. 그러나, 블록 내에서 디코더에 이용가능한 샘플들은 디코딩과 복원이 완료된 샘플들이다. 인코더에서 사용되는 샘플들은 오리지널 샘플들로서, 오리지널 샘플들은 이후의 양자화로 인하여 서로 다르다. 이러한 의미에서 예측은 개방형이라고 볼 수 있으며, 이는 인코더에서 이용되는 예측값들은 디코더에서 정확하게 복원가능하다는 것을 인코더 내의 국부적 디코더가 보장하는 범위 내에서 제공되는 폐쇄형 예측과는 대조적인 것이다. 이러한 차이로 인하여 상당한 수준의 노이즈 증대가 야기될 수 있다.

복원 노이즈가 어떻게 증대되는지 살펴보기 위하여, P(x ₀ ,... x _r _-1 )를 샘플들 x_k(k=0,...,r-1)로부터 예측되는 샘플 x_r의 예측값이라 하면, 예측의 잔여값 y_r은 다음과 같이 주어진다.

L = T¹Q^-1QT를 시퀀스 y_r에 대해서 변환, 양자화, 역 양자화 및 역 변환 과정을 수행하는 것을 나타내는 것이라 할 때, L의 효과는 y_r에 분산 σ² _n를 가지는 노이즈 소스 n_r을 가산한 것으로 추정할 수 있다.

디코더에서 복원하는 과정은 다음과 같이 나타날 것이다.

Y_r에서의 노이즈 n_r을 비롯하여, 앞서 복원된 값인 각각의 X에서의 노이즈로 인하여 예측이 달라지게 된다. 또한, 이로 인하여 위 노이즈는 증가될 수 있다.

특히, 우수한 예측기 P는 일반적으로 DC에서 단위 이득(unity gain)을 가지게 되며, 이는 곧 1-P는 0이 되고 역 필터는 한 개의 극점(pole)(DC에서 무한한 게인)을 가진다는 것을 의미한다. 결국, 노이즈는 경계가 없는 무한한 형태로 증대될 수 있다. 인코더에서도 복원된 값들인 X₀를 이용하는 폐쇄 루프 예측기는 위와 같은 문제점을 갖지 않을 것이다.

결국, 폐쇄 루프 예측기는 변환 인코더와 결합하여 예측의 정확도(블록이 클 때)와 변환 효율성(블록이 작을 때)에 한계가 존재한다는 문제점이 있고, 개방 루프 예측기는 무한 노이즈 게인이 존재할 수 있다는 문제점이 있다.

이하에서는 상술된 문제점에 대한 해결방안을 논의하기로 한다.

수리적으로, P^C와 P^o를두 개의 예측기를 지칭하는 것으로 정의한다. 인코더에서 P^C는 폐쇄형으로 적용되고, P^C는 앞서 코딩되고 복원된 계수들만을 기초로 예측값을 산출한다. P^o는 개방형으로 적용되고, 코딩되지 않은 오리지널 계수들을 기초로 예측값들을 산출한다. 디코더에서는 두 예측들 모두 복원된 계수들을 이용하여야 함은 물론이다.

P^C의 경우에는 인근 블록들 내의 픽셀들의 평균에 의하여 블록 내 픽셀들을 예측할 것이다. P^o의 경우에는 동일 블록 내에 있는 바로 옆의 인근 픽셀들에 기초하여 픽셀을 예측할 것이다. 그럼 새롭게 결합된 예측기 P는 다음과 같이 나타낼 수 있다.

이 경우, 인자 c는 P^o에 적용된다. 만약 이 인지 c가 0과 1 사이의 값을 갖는다면, 디코더 내에서 개방 루프 예측기로 인한 노이즈에 감쇠(damping) 또는 누설(leakiness) 인자로서 작용하게 되어 노이즈 증대를 제어하게 될 것이다. 결합 예측기 P는 폐쇄 루프 예측기의 보완적인 기여로 인하여 여전히 탁월한 특성을 가지게 되며, 반면에 보완적인 폐쇄 루프 예측기가 존재하지 않으면 c값이 작아질수록 예측의 효율이 떨어지게 될 것이다. 특히, 만약 두 예측기가 DC를 제거하게 되면, 결합 예측기도 그러할 것이다.

도 2는 인코더 구조의 일 예를 도시한 것이다. 입력 비디오는 입력 데이터를 블록들로 나누는 블록 스플리터(B)에 수신된다. 블록 정보는 블록 저장부(BS)와 감산기(200)에 제공된다. 블록 저장부(BS)는 개방 루프 예측기 P^o에 데이터를 제공한다. 이 예측기는 블록 내에서 동작하여 현재 픽셀의 예측값을 제공한다. 예측값은 예컨대, 각각 수평방향의 왼쪽, 대각방향으로의 상단, 현재 픽셀보다 수직방향으로 위쪽에 있는 3개의 픽셀의 산술적 평균의 형태를 취할 수 있다. 예측값은 더 많은 개수의 또는 다른 인접 픽셀들을 활용하거나, 다른 인접 픽셀들에 서로 다른 가중치를 적용하는 등 다양한 방법들을 통하여 산출될 수 있을 것이다.

P^o로부터 예측된 예측값은 게인 인자(gain factor) c를 제공하는 멀티플라이어(204)를 거쳐 감산기(200)의 음의 입력(negative input)으로서 제공된다. 파라미터 c는 일반적으로 0에서 1사이에서 가변적인 값을 가진다. c가 1보다 작을 때, 이 게인 제어를 통하여 개방 루프 예측기의 이용으로 인하여 야기될 수 있는 노이즈 증대 문제를 처리하게 된다.

감산기(200)의 출력값은 제2 감산기(204)를 통과하여 종래의 DCT 또는 다른 공간 변환기 블록(T)에 도달한다. 변환기 블록(T)은 수신된 픽처 차이값에 대하여 동작하고, 변환 계수들을 보편적인 종래의 양자화 블록 Q에 제공한다. 양자화된 변환 계수들은 블록(EC)에서 가변 길이 코딩 또는 다른 엔트로피 코딩을 거쳐 인코더의 출력 비트스트림을 제공한다.

폐쇄 루프 예측을 위하여, 국부적 디코딩 블록 저장부(Locally Decoded Block Store, LDBS)는 디코더에서와 마찬가지로, 앞서 복원된 데이터 값들만을 이용하여 복원된 값들을 저장한다. 폐쇄 루프 공간 예측은 알려진 H.264 공간 예측기 또는 모션 보상 예측기들의 형태를 취할 수 있다.

폐쇄 루프 예측값들은 게인 제어 인자 1-c를 적용하는 멀티플라이어를 거쳐 감산기의 음의 입력으로서 입력된다.

LDBS로부터 제공된 값들은 역 양자화 블록(Q^-1), 역 변환기 블록(T^-1), 및 같은 비율에 의한 예측값들의 합에 의하여 구성(construct)되나, 오직 LDBS 자체로부터의 앞서 디코딩된(previously-decoded) 복원 값들을 이용한다.

블록 연산에 대하여 살펴보면, 피드 포워드(feed-forward) 예측기 P^o는 블록들이 래스터 순서대로 스캔된다고 가정할 때, 블록의 상단과 왼쪽에서 이용가능한 복원 샘플들 또한 이용할 수 있다. 결국 P^C에 입력되는 샘플들은 P^o에도입력된다. 이것은 예측이 가능한 곳에서는 어디에서나 모두 복원된 샘플들을 이용한다는 것을 의미한다.

결국 현재 4X4 블록의 상단 행과 왼쪽 열에 위치한 픽셀들은 도면에 십자 방격으로 도시된 국부적으로 디코딩된 픽셀들(현재 블록의 바깥)로부터 모두 예측될 수 있거나 적어도 대부분은 예측가능하다. 결과는 인코더와 디코더 각 블록의 예측을 동기화함으로써 노이즈의 증대를 더욱 제한할 수 있을 것이다.

블록의 상단과 왼쪽에서는 인코더와 디코더 사이에 다이버전스(divergence)가 전혀 없거나 또는 다이버전스가 매우 적기 때문에, 더 낮은 정도의 누설이 요구될 수 있으며, 이는 이들 영역에서 더 나은 예측을 가능하도록 한다. 다시 말하면, 파라미터 c는 픽처 컨텐츠(picture content)에 따른 어떠한 변화를 포함하여 블록 내 현재 픽셀의 위치를 변화시킬 수 있다. 픽셀 위치의 변화는 반드시 비트스트림 내에서 전송되어져야 하는 것은 아니다. 이는 예컨대, 산업의 일부 또는 사실 표준의 일부의 형태를 취할 수 있을 것이다.

이러한 접근방법으로, 예측 또는 차이값 산출을 위한 계수 순서는 래스터 순서를 따르지 않고, 블록별 순서를 따를 수 있을 것이다.

현재 전체의 예측은 가중치 인자를 포함하고 있지 않으므로, 이 구조는 불요 주파수 성분의 발생 없이 블록 상에서 발생하는 누설 정도를 변화시킬 수 있다.

c 값이 고정된다고 할 때, c는 0.5 근방의 값을 갖는 것이 바람직하다.

파라미터 c는 이용되는 블록 사이즈, 선택된 양자화 파라미터, 두 예측의 상대적인 성공에 의존하여 픽처 컨텐츠에 따라 최적화된 값을 가질 수 있다. 작은 블록 사이즈와 낮은 양자화 레벨은 일반적으로 인코더와 디코더 개방 루프 예측들 사이에 적은 다이버전스를 야기할 것이며, 이에 따라, 위와 같은 상황들을 비롯하여, 비트스트림 내에서 인코딩을 수행할 때나 지배적 표준에 의할 때도 c의 전반적인 값은 1에 가깝게 조정될 수 있다.

본 시스템은 모든 다양한 예측기들과 용이하게 결합될 수 있다는 점에서 특히 유용하다. 예컨대, P^C는 H264에서 이미 정의된 방향성 예측기일 수 있으며, P^o는 방향성 픽셀단위(pixelwise) 예측기일 수 있다. 그리고, P^C는 모션 보상 시간 예측기(motion compensated temporal predictor)일 수도 있다.

또는 웨이블릿 코딩(wavelet coding)의 경우, 시스템은 각 레벨에서 저대역 통과(lowpass) 계수들이 폐쇄 루프 예측을 제공하는 계층적 코딩 형태를 취할 수 있다.

더 나아가, c의 가능한 값들을 사전에 정해두고, 인코더는 이 중에서 특정 블록이나 블록들의 세트에 사용할 가장 적합한 값을 선택하거나, 또는 폐쇄 루프 예측기를 사용하기 위해서만 가장 적합한 값을 선택할 수 있다. 메타 데이터는 각 블록 또는 블록들의 세트의 변환 계수들과 함께 전송될 수 있다. 이는 개방 루프 예측이 이용되었는지 여부와 c값으로 어떠한 값이 적용되었는지를 나타내기 위함이다.

예컨대, 4개의 0이 아닌 값들이 c의 값으로 사용될 수 있다고 할 때, 그 값들은 1/4, 1/2, 3/4, 및 1이 될 수 있다. 15/32, 25/32, 10/32, 및 22/32의 값들의 적용시에는 우수한 결과가 도출됨이 증명된 바 있다. 인코더는 일반적인 비율 왜곡 최적화(rate-distortion optimisation) 방법들을 이용하여 사용할 최적의 값을 선택하게 된다.

다양한 전략들을 적용하여 현재 블록 범위 내에서 예측값을 산출할 수 있다. 이와 같은 전략들을 개발하는데 있어서 주요한 문제들은 디코더 연산 결과의 효율성 및 결합된 예측 프로세스의 정확도이다.

도 3은 인코딩/디코딩 과정에서의 프레임의 일부를 도시한 것이다. 이미 인코딩/디코딩이 완료된 블록들(A)는 그 위치가 스캐닝 순서(scanning order)에 의하여 결정되며, 블록들(A)의 복원된 샘플들은 인코더와 디코더에서 모두 이용가능하다. 또한, 현재 처리되고 있는 블록 내부를 살펴보고, 그 블록의 픽셀들을 정의된 서브세트들로 나누는 것도 도움이 된다. 예를 들어, 도 3에 도시된 바와 같이, 서브세트들은 전체 블록 구조 내에 있는 서브블록들이다. 본 실시예에서는 현재 블록(B)에서 이미 예측된 서브블록(C)과 현재 처리되는 서브블록(D)은 현재 블록(B)에 속한다. 현재 블록을 처리하는 때에 인코더와 디코더에서 이용가능한 이미 복원된 샘플들을 가지는 단위들은 폐쇄 루프 예측에 이용될 수 있다. 서브블록(C)는 전체 변환 블록(B) 내에 포함되므로, 서브블록(C)의 샘플들은 폐쇄 루프 예측에 이용될 수 없을 것이다.

인접 픽셀들 또는 샘플들(현재 또는 앞선 블록들 또는 서브블록들)로부터 개방 루프 예측을 수행하는데 있어 가능한 전략이 도 4에 화살표들로 나타나 있다. 본 실시예에서는 서브블록 내에서의 샘플들의 래스터 스캔을 가정한다. 이 래스트 스캔을 통하여 현재 서브블록의 상단과 상단의 오른쪽에 위치한 샘플들을 현재 샘플(X)의 예측에 이용할 수 있다. 그러나, 이와 같은 방법에 의하면, 각 픽셀들의 복원이 래스터 순서대로 앞선 복원 값들에 의존하게 되므로, 픽셀들의 복원이 연속적으로 이루어져야 한다. 이로 인하여 디코더에서 효율성이 저해되는 문제가 생긴다.(인코더에서는 오리지널 값들이 개방 루프 예측에 이용되므로 모든 값들이 인코더에 이용될 수 있어 위와 같은 제약이 붙지 않는다)

구현된 시스템상에서 병렬적 컴퓨팅이 가능하다는 것에 특히 주목할 필요가 있다. P^o 값들의병렬 연산은 많은 장점이 있다. 블록 내 픽셀들의 병렬처리 접근 방식은 이용되는 예측 템플릿(template)에 크게 좌우될 것이다. 예측 템플릿은 어떤 인접 샘플들이 예측에 활용될 수 있는지를 정의하는 요소들 중의 하나이다. 도 5를 참조하여 템플릿의 일 예를 살펴보면, 왼쪽, 상단, 및 상단의 왼쪽 샘플들을 예측에 이용할 수 있다. 위의 경우, 계수들의 스캐닝 순서는 다른 방식으로 배열될 수 있다. 도 6 및 도 7은 8X8 블록에 대하여 서로 다른 스캐닝 전략의 제1 예, 및 제2 예를 도시한 것이다. 위 도면들의 숫자들은 픽셀 위치들에 대응하여 연산될 수 있는 예측들의 타임 인스턴스들(time instance)들을 의미하는 것이다. 도 6에서는 간단한 래스터 스캔을 제안하고 있는 반면, 이 스캔 전략을 이용하여 산출된 예측 결과들은 도 7에 도시된 전략을 이용하여 획득된 결과들과 동일하다. 도 7은 가능한 병렬 프로세싱의 일 예를 보여준다. 화살표들은 가능한 스캐닝 전략을 표시한 것이다. 도 6의 예에서는 모든 샘플들의 예측 연산을 위하여 64 타임 인스턴스들이 필요한 반면에, 도 7의 예에서는 병렬 처리가 가능할 때, 15(N·2 + 1, N=8)의 타임 인스턴스들이 필요하다. 이를 통하여 매우 효율적인 처리를 도모할 수 있다.

예측의 병렬 처리 기능을 향상시킬 수 있는 또 다른 접근방식은 다른 원칙들을 기초로 수립될 수 있는 적응적 탬플릿들을 이용하는 것이다. 예컨대, 가능한 샘플들의 개수를 고려하여 수립될 수 있는 템플릿을 이용할 수 있다. 도 8은 적어도 2개의 가능한 인접 샘플들로부터 예측이 수행될 수 있는 것의 일 예를 보여준다. 이와 같은 방식으로 NXN 블록들을 처리하는데 소요되는 시간이 N 타임 인스턴스로 감소한다.

더 향상된 병렬 처리 기능과 이에 따른 처리 효율의 증가는 국부적으로 디코딩된 인접 블록들을 기초로 해서만 블록 내 일부 샘플들을 예측하는 대안적 예측 구조에 의해서 획득될 수 있다. 이는 위와 같은 샘플들은 이후의 (개방 루프) 예측들에 즉시 활용될 수 있음을 의미한다. 도 9는 블록에 속하는 3개의 샘플들(앵커 픽셀들, "C"로 표시됨)이 오로지 국부적으로 디코딩된 데이터에 기초해서만 예측되는 일 예를 보여준다. 그리하여, 도 9의 일 예는 적어도 2개의 인접 샘플들의 이용 가능성에 의하여 정의되는 적응적 템플릿들을 가지고 단지 4 단계만을(0에서 3까지) 거쳐 8X8 블록에 포함된 모든 샘플들을 예측할 수 있는 다수 스캔(multiple scans)을 위한 방법을 제공한다. 각 샘플들 내의 선들은 각 샘플들 값들이 예측될 수 있는 인접 샘플들을 보여준다.

앵커 픽셀들은 폐쇄 루프 형식으로 예측될 수 있지만, 앵커 픽셀들은 다른 방식으로도 이용 가능하다. 예컨대, 앵커 픽셀들의 오리지널 또는 양자화 값들은 변환 계수들이나 추가적인 메타 데이터 형태로 비트스트림 내에서 전송될 수 있다.

상술된 용어들을 이용하여 설명하면, 폐쇄 루프 예측과 개방 루프 예측의 결합은 현재 처리되고 있는 블록 내에서 폐쇄 루프 예측과 개방 루프 예측들이 모두 이루어지는 경우에까지 확장될 수 있다.

도 9에 도시된 바와 같이 앵커 픽셀들을 이용하는 방법은 개선된 병렬 처리 기회뿐만 아니라 새로운 예측 전략들에 대한 유연한 기반을 제공한다. 이 방법에서앵커 픽셀의 위치는 인코더와 디코더에 그 위치가 알려져 있는 한 유닛 내에서 임의의 위치에 존재하여도 무방하다. 예를 들어, 앵커 픽셀들의 위치는 특정 방식들을 통하여 정의될 수 있으며, 비트스트림 내에서 전송될 수 있고, 디코더에서 다른 가용 데이터를 통하여 복원될 수도 있다.

이하에서는 4개의 서브블록들로 구성된 블록에 적용되는 보편적인 예측 전략들에 대해 서술하기로 한다. 사실상 모든 서브블록들에 대한 예측들이 인접 블록들로부터 수행될 수 있도록 일반적으로 예측은 폐쇄 루프 형식으로 이루어진다. 도 10에는 폐쇄 루프(CL) 형식에 의하여 4개의 서브블록들이 방향성을 가지고 예측되는 모습이 도시되어 있다. "0"은 블록 내 모든 샘플들(샘플들이 어떤 서브블록에 속해있는지 여부와 무관함)에 대한 예측이 동일한 타임 인스턴스에 수행되는 것을 나타낸다. 이와 같은 형식의 예측은 결합된 개방 루프 및 폐쇄 루프 예측으로 더욱 확장될 수 있다. 예를 들어, 도 11을 참조하면, 현재 블록의 왼쪽 상단에 위치한 서브블록은 이미 디코딩된 블록들을 기초로 폐쇄 루프 예측을 이용하여 가장 먼저 예측될 수 있다. 선택된 방향, 즉 예측 전략에 기초하여, 오른쪽 상단의 서브블록과 왼쪽 하단의 서브블록은 인접한 블록들과 이미 디코딩된 왼쪽 상단 서브블록을 기초로 동일한 타임 인스턴스 "1"에 예측될 수 있다. 마지막으로, 나머지 서브블록은 타임 인스턴스 "2"에 같은 블록 내의 서브블록들에 의하여 예측될 수 있다.

프레임의 실제 경계(또는 슬라이스 외측에 인코더에 이용가능한 정보가 존재하지 않는 슬라이스들의 경계들과 같은 다른 "하드(hard)" 경계)들에 있는 블록들은 인접 블록들에 의해 둘러싸인 블록들과 똑같이 취급할 수 없다. 본 실시예에서는 이용 불가능한 픽셀들에 기초한 예측을 전체 블록에 이용되는 적합한 값(DC 값)에 기초한 예측으로 대체하고자 한다. 그 값은 예측을 위한 준최적 값이라 볼 수 있을 것이다. 이하에서는 대체 예측 전략에 관하여 설명하기로 한다.

도 12에서는 프레임의 왼쪽 상단 블록이 도시되어 있다. 경계 픽셀들(예측시 이용가능한 블록들과 모두 인접하고 있는 블록 내에 위치)에 대하여 가능한 예측 방향들은 점선 및 실선들로 표시되어 있다. 그러나, 점선으로 표시된 예측방향들은 이 블록 내에 있는 경계 픽셀들에 대해서는 적용될 수 없다.(내부 픽셀들에 대한 예측방향들은 간략한 표현을 위하여 생략함).

주어진 픽셀에 대한 예측 템플릿은 바뀔 수 있고, 예측에 이용가능한 픽셀들만 예측에 이용될 수 있어, DC 값의 가능한 부정적 기여를 피할 수 있다. 결국, 서브블록의 상단 열에 있는 각 픽셀은 왼쪽에 인접한 픽셀들로부터 예측될 수 있을 것이다.(DC 값이 여전히 사용되고 있는 왼쪽 상단의 픽셀은 제외함). 이용가능한 픽셀들에만 기초하는 예측이나, 종래의 접근방식을 이용한 예측(필요한 경우 DC 값 적용) 중 선택하는 것은 상황에 따라 선택적으로 수행될 수 있으며, 그 선택은 각각의 블록 또는 서브블록의 비트스트림을 통하여 전송될 수 있다.

DC 값들을 이용하는 부정확한 예측의 가능성을 없애는 것에서 더 나아가, 대안 예측 전략들은 경계들에 있는 블록들의 픽셀들에도 적용될 수 있다. 경계 픽셀(border pixel)들에 대한 예측이 이루어지면, 그 경계 픽셀들은 주어진 블록 또는 서브블록의 내부 픽셀들의 예측에 이용될 수 있다. 예측은 반드시 픽셀별로 이루어져야 하는 것은 아니며, 종래의 예측 전략들 중 하나를 이용하여 이루어져도 무방하다(방향, 각도 예측 등). 이 경우에, 현재 블록의 픽셀들(도 13에서 음영으로 처리된 픽셀)을 예측에 이용하는가 또는 현재 블록 또는 현재 서브블록의 픽셀들과 인접한 블록 또는 인접 서브블록의 픽셀들의 결합(도 14에서 음영으로 처리된 픽셀들은 현재 블록 또는 현재 서브블록의 픽셀이며, 인접 블록들 또는 인접 서브블록들의 픽셀들은 표시되어 있지 않음)을 이용하는가에 따른 차이가 존재한다. 도 13 및 도 14에서는 두꺼운 선은 경계를 표시한 것이다(경계를 넘어서면 예측에 이용가능한 픽셀이 존재하지 않음은 물론임).

위에서 설명된 배치들은 유용한 픽셀들의 서브세트들 또는 처리되고 있는 블록 내 샘플들의 예시들일 뿐이다. 그 블록 안에서는, 그 블록 외부에서 취한 모든 예측값들은 아무런 제약 없이 동시에 디코더에서 이용가능하다. 그 블록 내부에서 취한 예측값들은 제약되며, 그 예측값들은 재복원된 픽셀을 기초로 그 어떠한 픽셀이 예측되기 전에, 예측의 기초로서 재복원이 진행되고 있는 픽셀 다음으로 처리될 필요가 있다.

특정 어플리케이션들에서는 동시에 처리가 수행되고 있는 각 서브세트 내의 픽셀들이나 샘플들, 및 병렬적으로 처리되는 각 서브세트들과 함께 블록의 서브세트로서 블록의 행과 열을 정의하는 것이 유용할 것이다. "흰색 정사각형(white square)들"을 하나의 서브세트로 그리고 "검은 정사각형(black square)들"을 다른 서브세트로 하는 체스보드 배열이 또한 고려될 수 있다.

개방 루프와 폐쇄 루프 예측을 결합하는 예측 전략들은 주어진 코딩 프로파일에 따라 정해질 수 있다. 예컨대, 소정 사이즈의 모든 블록들에서는 개방 루프 예측이 폐쇄 루프 예측과 결합되어 이용될 수 있고, 다른 모든 블록들에서는 폐쇄 루프 예측만 이용될 수 있을 것이다. 이와 같은 전략은 블록들에 대한 메타 데이터를 필요로 하지 않는다. 반면에, 개별적 블록 또는 블록들의 세트를 위한 예측 방법들을 구성하기 위한 메타 데이터는 종래의 비디오 표준들에서 구성가능 옵션( configurable option)들을 인코딩하기 위한 잘 알려진 방법들을 통하여 인코딩될 수 있을 것이다. 예를 들어, 인코더는 처음으로 개방 루프 예측기의 존재 여부를 표시하는 플래그(flag)를 인코딩할 수 있을 것이다. 만약, 개방 루프 예측기가 존재하면, 선택된 옵션은 여러 비트들로 인코딩될 수 있다. 일반적인 방법에서는 2^N개의 옵션들을 허용하며, N 비트로 인코딩된다. 이하는 N=2일 때의 의사코드(pseudocode)를 나타낸다.

EncodeBit (using_open_loop);

if (l==using_open_loop) {

EncodeBit(combined_pred_mode & 0x01);

EncodeBit((combined_pred_mode & 0x02) >> 1);

}

또는, 하나의 블록의 메타 데이터와 앞서 코딩된 블록들의 메타 데이터 간의 소정의 상관관계가 존재할 수 있다. 이 경우, 인코더는 H.264의 인트라 예측 모드 코딩에 이용되는 방법과 유사한 방법을 따를 수 있다. 추가적인 예측 모드로서 개방 루프 예측을 이용하지 않는 경우를 상정할 수 있을 것이다. 이에 따르면, 2^N+ 1 개의 옵션들이 가능하다. 플래그는 개방 루프 예측이 이용되는지 여부를 표시하도록 코딩될 것이다. 만약 이용되지 않으면, 나머지 2^N모드들은이하의 의사코드에 나타난 바와 같이, N 비트를 이용하여 코딩될 수 있을 것이다. 이하에서는 N=2인 경우의 의사코드를 나타낸 것이다.

predicted_mode = get_mode_prediction();

EncodeBit(combined_pred_mode==predicted_mode);

if(combined_pred_mode<predicted_mode) {

EncodeBit(combined_pred_mode & 0x01);

EncodeBit((combined_pred_mode & 0x02) >> 1);

}

else if (combined_pred_mode>predicted_mode) {

combined_pred_mode = combined_pred_mode-1;

EncodeBit(combined_pred_mode & 0x01);

EncodeBit((combined_pred_mode & 0x02) >> 1)

}

도 15는 디코더 구조를 도시한 것이다. 디코더에서는, 비트스트림이 엔트로피 디코딩 블록(entropy decoding block, ED)에 의하여 수신되고, 비트스트림은 역

양자화 블록(inverse quantiser block, Q^-1)과 역 변환기 블록(inverse transform block, T^-1)을 통과한다. 역 변환기 블록의 출력은 디코딩 블록 저장부(decoded block store, DBS)의 입력으로 전달된다. 디코딩 블록 저장부의 디코딩된 데이터는 폐쇄 루프 예측기 P^C과 개방 루프 예측기 P^O의 입력으로 전달된다. P^O의 출력은 게인 제어 인자 c를 적용하는 멀티플라이어(404)를 거쳐 가산기(402)로 전달된다. 예측기 P^C의 출력은 게인 제어 인자 1-c를 적용하는 멀티플라이어(408)를 거쳐 가산기(406)로 제공된다. 개방 루프 예측기 P^O와 게인 제어 인자 c는 모두 인코더에 의하여 전송되는 메타 데이터에 기초하여 선택될 수 있다. 두 가산기는 가중 예측 출력값들에 역 변환기 블록의 출력값을 더한다. 복원이 되면, 복원된 값들은 다음의 값들의 예측에 이용하기 위하여 DBS에 전달된다.

DBS로 들어가는 입력은 디코더로의 비디오 출력으로도 출력된다. 최적의 예측기들은 적응적 수단에 의하여 선택될 수 있다. 예컨대, 예측기들은 선형 최적화(linear optimisation) 기법, 최소화한 평균제곱오차(minimising mean square error), 또는 결정 및 추정 국부 기울기(local gradient)들에 의하여 선택될 수 있다. 그 방법이 무엇이든지, 기본적인 특징은 예측기의 선택이 현재 픽셀의 주변에 있는 값들의 연속적인 함수에 의하여 이루어지는 연속적 적응 기법들, 및 예측기가 전환되는 비연속적 기법들 사이에 존재하게 된다.

어떤 적응적 기법에서 개방 루프 예측을 수행할 때, 적응적 예측기 자체는 인코더와 디코더 간에 다를 수 있다. 비연속적 적응적 기법들은 서로 전혀 다른 예측기들이 선택될 수 있다는 점에서 위험한 경향이 있다. 연속적인 시스템에서는 유사한 값들이 주어질 때, 유사한 예측기들이 선택된다.

연속적 적응에 관한 일 예를 들자면, 다음과 같이 픽셀들이 자기상관 R(k)을 가지는 시퀀스 x(n)을 생성하도록 스캔되면,

MMSE 예측기는 다음의 TV 선형 방정식계를 만족하는 계수 a_k들을 가지게 된다.

결과적으로, 적응적 시스템은 신호의 롤링 스냅샷(rolling snapshot)을 찍고, 위 방정식계의 해를 구함으로써 얻어질 수 있다. 이를 근사화(및 정적인 통계적 조건에서 수렴하도록)하는 더욱 다루기 용이한 적응적 방법은 LMS 또는 RLS 알고리즘을 이용하는 것이다.

이 경우, 기본 샘플들 및 자기상관 함수들은 모두 인코더와 디코더 간에 차이가 있을 수 있으며, 이로 인하여 서로 다른 필터들을 이용하여야 한다. 다만, 이는 예측이 훨씬 더 우수하게 수행될 수 있다면 그다지 큰 의미를 갖지 못할 수도 있다. 백색 노이즈의 정도를 상정함으로써 더 안정적인 적응을 도모할 수 있다. 예컨대, 측정된 자기상관 함수 R(k)에 작은 델타 임펄스(delta impulse)를 더하거나, LMS/RLS 알고리즘에서 피드백 신호에 인공 노이즈를 곧바로 더할 수도 있다.

상술된 아키텍처(architecture)들은 오리지널, 코딩되지 않은 샘플들을 이용하는 예측들을 포함한다. 이것이 바로 예측 프로세스의 노이즈 추가를 야기하게 되는 것이다. 그러나, 압축 시스템에서 인코더는 비트 스트림을 생성하는 어떠한 샘플들도 이용할 수 있다. 즉, 디코더 프로세서들만 구체화되면 족하다. 따라서, 인코더는 디코더가 복원을 하는데 이용하는 샘플들과 더 가깝게 하도록 하기 위하여 예측을 위해 이용되는 샘플들을 변경할 수 있다. 개방 루프 예측기는 샘플들이 동일하다는 것을 보장해주지 못하지만, 복수 경로들은 어느 정도의 수렴(convergence)을 제공할 수 있다.

이를 위한 방법은 2개(또는 그 이상)의 인코더를 서로 연계함으로써, 제1 인코더에 의하여 코딩되고 국부적으로 디코딩된 데이터를 예측에 활용하도록 하는 것이다. 이 경우, 피드백 요소는 인코딩 프로세스에 재도입되게 된다.

도 16 및 도 17은 블록도를 도시한 것이다. 도 16과 도 17을 참조하면, 제1 인코더는 상술된 방법대로 초기 코딩을 수행한다. 상술된 바와 같이, 디코더는 다시 제1 경로 디코딩 신호(decoded signal)를 생성하고, 디코딩된 신호는 제2 인코더로 전달된다. 도면에는 제1 인코더와 제2 인코더가 분리되어 도시되었으나, 2개의 인코더는 하나의 하드웨어 또는 소프트웨어 인코더의 제1 및 제2 경로를 구성할 수 있음은 당연하다.

기초적인 변형으로서 2가지를 생각해 볼 수 있다. 그 첫 번째로, 도 16에 도시된 바와 같이, 오직 제2 인코더의 예측기만이 국부적으로 디코딩된 버전(version)을 이용하고, 예측이 수행되고 있는 픽셀들은 오리지널 형태로 유지하는 것이다(제1 경로의 인코드와 디코드를 처리하기 위하여 보상 딜레이 포함). 두 번째로, 도 17에 도시된 바와 같이, 예측 및 예측된 픽셀들은 모두 국부적으로 디코딩된 버전을 이용할 수 있다. 인코더 예측 코딩 프로세스와 디코더 예측 코딩 프로세스 간의 컨버전스를 더욱 향상시키기 위하여 이들 단계들의 대다수는 서로 연쇄적으로 이어질 수 있다.

본 발명은 하나의 실시예로서 설명되었으며, 첨부된 청구항의 범위를 벗어나지 않는 범위 내에서 다양한 변형들이 가능하다는 것을 이해할 수 있을 것이다. 상술된 예시들이 독립적인 특성들 및 선택사항들을 포함하는 범위 내에서 그러한 특성들과 선택사항들 간의 모든 실시가능한 결합들은 본 명세서에 포함되는 것으로 보아야 한다. 특히, 본 명세서에 첨부된 청구항들 중 어느 하나의 청구항에 포함된 사항은 모든 다른 청구항에 포함된 사항과 결합하여 설명된 것으로 보아야 할 것이다.

Claims

비디오 압축 인코더에 있어서,
픽처 정보를 수신하고 상기 픽처 정보를 화소들의 공간 블록들로 나누는 블록 스플리터;
상기 블록의 예측값들을 제공하는 예측기;
상기 픽처 정보와 예측값들을 수신하고 차이값들을 생성하는 감산기; 및
상기 차이값들에 대한 변환을 수행하여 변환 계수들을 제공하는 블록 변환기를 포함하며,
상기 예측기는 상기 블록 내 화소들의 일 서브세트의 화소들에 대하여 병렬적으로 작동하고, 상기 블록 안에는 적어도 화소들의 제1 서브세트와 제2 서브세트가 존재하며, 상기 화소들의 제2 서브세트는 상기 제1 서브세트의 화소들에 적어도 부분적으로 기초하여 예측되는 화소들을 포함하는 비디오 압축 인코더.
제1항에 있어서,
상기 화소들의 제1 서브세트는 앞서 코딩되고 복원된 블록들에 전적으로 기초하여 예측되는 화소들을 포함하는 비디오 압축 인코더.
제2항에 있어서,
상기 화소들의 제1 서브세트는 앞서 처리된 어떠한 블록과도 인접하지 않는 적어도 하나의 화소를 포함하는 비디오 압축 인코더.
제3항에 있어서,
상기 앞서 처리된 어떠한 블록과도 인접하지 않는 화소의 위치 또는 값은 스트림 내에서 변환 계수들과 분리되어 전송되거나, 또는 디코더로 전송되는 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 제1 서브세트에 기초하여 이루어지는 상기 제2 서브세트의 예측은 방향성 예측기인 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 제1 서브세트에 기초하여 이루어지는 상기 제2 서브세트의 예측은 모션-보상(motion-compensated) 예측기인 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 예측기는 일련의 서브세트들 S_i에 대하여 순차적으로 동작하고, 각 서브세트의 화소들에 대하여 병렬적으로 동작하며, 서브세트 S_i의 화소들의 예측은 앞선 서브세트들 S₀,…,S_i-1에 적어도 부분적으로 의존하는 비디오 압축 인코더.
제1항에 있어서,
상기 예측기는 현재 블록의 화소들에 적어도 부분적으로 기초하여 예측을 수행하는 개방 루프 예측기와, 국부 디코더로부터의 화소 정보에만 기초하여 예측을 수행하는 폐쇄 루프 예측기를 포함하는 비디오 압축 인코더.
제8항에 있어서,
상기 예측값들은 상기 개방 루프 예측기를 통한 개방 루프 예측값들과 상기 폐쇄 루프 예측기를 통한 폐쇄 루프 예측값들의 가중합(weighted sum)을 포함하는 비디오 압축 인코더.
제8항 또는 제9항에 있어서,
상기 폐쇄 루프 예측기는 국부 디코더로부터의 화소 정보에 기초하여 화소들의 제1 서브세트에 대한 예측을 수행하고; 상기 현재 블록의 화소들에 적어도 부분적으로 기초하여 화소들의 제2 서브세트와 선택적으로 차순위의 서브세트들에 대한 예측을 수행하는 비디오 압축 인코더.
제8항 또는 제9항에 있어서,
상기 폐쇄 루프 예측기는 선택가능한 방향을 가지며, 상기 개방 루프 예측기는 상기 폐쇄 루프 예측기의 선택된 방향에 따라 선택되는 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 예측기의 상기 블록의 예측값들을 제공하기 위한 예측 전략(prediction strategy)은 하나의 서브세트 내에서 변하지 않는 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 예측기의 상기 블록의 예측값들을 제공하기 위한 예측 전략은 서브세트에 따라 변하는 비디오 압축 인코더.
제1항 내지 제4항 중 어느 하나의 항에 있어서,
상기 제1 및 제2 서브세트는 체스 보드(chess board) 배열형태를 가지는 비디오 압축 인코더.
입력 픽처 값들의 블록들을 포함하는 이미지의 압축 코딩 방법에 있어서,
블록에 대하여 입력 픽처 값들과 픽처 예측값들 사이의 차이값을 구하는 단계; 및
상기 차이값을 블록 기반 변환방법을 통하여 변환하는 단계를 포함하고,
상기 블록에 대하여 차이값을 구하는 단계는 상기 블록 내 화소들의 제1 서브세트의 화소들에 대하여 병렬적으로 수행되는 제1 단계; 상기 블록 내 화소들의 제2 서브세트의 화소들에 대하여 병렬적으로 수행되는 제2 단계; 및 선택적인 추가의 단계들을 포함하며,
상기 화소들의 제2 서브세트는 상기 제1 서브세트의 화소들에 적어도 부분적으로 기초하여 예측되는 화소들을 포함하는 압축 코딩 방법.
제15항에 있어서,
상기 제1 단계는 앞서 처리된 블록들에 전적으로 기초한 픽처 예측값들을 이용하는 압축 코딩 방법.
제15항에 있어서,
상기 화소들의 제1 서브세트는 앞서 처리된 어떤 블록과도 인접하지 않은 적어도 하나의 화소를 포함하는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
상기 블록의 차이값을 구하는 단계는 일련의 각 서브세트들 S_i에 대하여 순차적으로 수행되고, 각 서브세트의 화소들에 대하여 병렬적으로 수행되는 일련의 단계들을 포함하며, 서브세트 S_i내 화소들의 상기 예측값들은 앞선 서브세트들 S₀,…,S_i-1에 적어도 부분적으로 의존하는 압축 코딩 방법.
제15항에 있어서,
상기 제1 단계는 앞서 처리된 블록들과 인접한 화소들에 대해서는 제1 예측기를 이용하고, 앞서 처리된 블록들과 인접하지 않은 적어도 하나의 화소에는 제2 예측기를 이용하는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
상기 픽처 예측값들의 산출을 위한 예측 전략(prediction strategy)은 하나의 서브세트 내에서 변하지 않는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
상기 픽처 예측값들의 산출을 위한 예측 전략은 서브세트에 따라 변하는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
제1 및 제2 서브세트는 체스보드(chess board) 배열형태를 가지는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
상기 제1 및 제2 서브세트는 각각의 행들을 포함하는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서
상기 제1 및 제2 서브세트는 각각의 열들을 포함하는 압축 코딩 방법.
제15항 내지 제17항 중 어느 하나의 항에 있어서,
상기 각 단계는 SIMD, MMX 또는 CPU 프로세서에서 이용가능한 다른 고유의 병렬 처리들을 이용하여 수행되는 압축 코딩 방법.
비디오 압축 디코더에 있어서,
블록들 안에 편성되어 있는 변환된 픽처 차이값들을 대표하여 압축 인코딩된 비트스트림(bitstream)을 수신하는 입력부;
재스케일(re-scaled)된 변환 계수를 제공하는 역 양자화 유닛;
디코딩된 픽처 차이값들을 제공하기 위하여 상기 변환 계수들에 대해 역 공간 변환을 수행하는 역 블록 변환기; 및
상기 픽처 차이값들의 합에 대한 예측값들을 제공하기 위하여 상기 디코딩된 픽처 차이값들에 대하여 동작하는 예측기를 포함하며,
상기 예측기는 상기 블록 내 화소들의 일 서브세트의 화소들에 대하여 병렬적으로 작동하고, 상기 블록 안에는 적어도 화소들의 제1 서브세트와 제2 서브세트가 존재하며, 상기 화소들의 제2 서브세트는 상기 제1 서브세트의 화소들에 적어도 부분적으로 기초하여 예측되는 화소들을 포함하는 비디오 압축 디코더.
제26항에 있어서,
상기 화소들의 제1 서브세트는 전적으로 앞서 예측된 블록들에 전적으로 기초하여 예측되는 화소들을 포함하는 비디오 압축 디코더.
제27항에 있어서,
상기 화소들의 제1 서브세트는 앞서 처리된 어떠한 블록과도 인접하지 않는 적어도 하나의 화소를 포함하는 비디오 압축 디코더.
제26항 내지 제28항 중 어느 하나의 항에 있어서,
상기 예측기는 일련의 서브세트들 S_i에 대하여 순차적으로 동작하고, 각 서브세트의 화소들에 대하여 병렬적으로 동작하며, 서브세트 S_i의 화소들의 예측은 앞선 서브세트들 S₀,…,S_i-1에 적어도 부분적으로 의존하는 비디오 압축 디코더.
제26항 내지 제28항 중 어느 하나의 항에 있어서,
상기 제1 서브세트에 기초하여 이루어지는 상기 제2 서브세트의 예측은 방향성 예측기인 비디오 압축 디코더.
제26항 내지 제28항 중 어느 하나의 항에 있어서,
상기 제1 서브세트에 기초하여 이루어지는 상기 제2 서브세트의 예측은 모션-보상(motion-compensated) 예측기인 비디오 압축 디코더.
제26항에 있어서,
상기 예측기는 현재 블록의 화소들에 적어도 부분적으로 기초하여 예측을 수행하는 개방 루프 예측기와, 국부 디코더로부터의 화소 정보에만 기초하여 예측을 수행하는 폐쇄 루프 예측기를 포함하는 비디오 압축 디코더.
제32항에 있어서,
상기 예측값들은 상기 개방 루프 예측기를 통한 개방 루프 예측값들과 상기 폐쇄 루프 예측기를 통한 폐쇄 루프 예측값들의 가중합(weighted sum)을 포함하는 비디오 압축 디코더.
제32항에 있어서,
상기 폐쇄 루프 예측기는 국부 디코더로부터의 화소 정보에 기초하여 화소들의 제1 서브세트에 대한 예측을 수행하고; 상기 현재 블록의 화소들에 적어도 부분적으로 기초하여 화소들의 제2 서브세트와 선택적으로 차순위의 서브세트들에 대한 예측을 수행하는 비디오 압축 디코더.
제32항에 있어서,
상기 폐쇄 루프 예측기는 선택가능한 방향을 가지며, 상기 개방 루프 예측기는 상기 폐쇄 루프 예측기의 선택된 방향에 따라 선택되는 비디오 압축 디코더.
제26항에 있어서,
상기 예측기의 상기 예측값들을 제공하기 위한 예측 전략(prediction strategy)은 하나의 서브세트 내에서 변하지 않는 비디오 압축 디코더.
제26항에 있어서,
상기 예측기의 상기 예측값들을 제공하기 위한 예측 전략은 서브세트에 따라 변하는 비디오 압축 디코더.
제26항에 있어서,
상기 제1 및 제2 서브세트는 체스 보드(chess board) 배열형태를 가지는 비디오 압축 디코더.
삭제
제15항, 제16항, 제17항 및 제19항 중 어느 하나의 항에 따른 압축 코딩 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.