KR100472476B1

KR100472476B1 - 움직임 보상을 위한 보간 방법 및 그 장치

Info

Publication number: KR100472476B1
Application number: KR10-2002-0052286A
Authority: KR
Inventors: 이영렬; 김용제; 박정훈
Original assignee: 삼성전자주식회사
Priority date: 2002-08-31
Filing date: 2002-08-31
Publication date: 2005-03-10
Anticipated expiration: 2022-08-31
Also published as: KR20040020637A; EP1406449A3; JP2004096757A; US20060291563A1; EP1406449A2; CN1495674A

Abstract

움직임 보상을 위한 보간 방법 및 그 장치가 개시된다.

본 발명에 따른 보간 방법은 (a) 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻는 단계; (b) 상기 사분 화소의 수직 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻는 단계; 및 (c) 상기 수직 합과 수평 합을 기초로 정수의 상기 사분 화소를 구하는 단계를 포함하는 것을 특징으로 한다. 이에 따르면, 움직임 보상에 있어서 보다 일관성을 갖게 되어 움직임 보상의 효율이 보다 높아진다.

Description

움직임 보상을 위한 보간 방법 및 그 장치{Interpolation apparatus and method for moving vector compensation}

본 발명은 움직임 보상에 관한 것으로, 보다 상세하게는 움직임 보상의 정확도(motion compensation accuracy)를 향상시키기 위한 보간(interpolation) 방법 및 그 장치에 관한 것이다.

MPEG-1, MPEG-2, MPEG-4, H,264 부호화 표준에 따르면, 현재의 픽처를 부호화함에 있어 과거의 픽처를 참조하는 P-픽춰 부호화 방법과 과거와 미래의 픽처 두 개를 모두 참조하는 B-픽춰 부호화 방법을 채용하고 이를 기반으로 움직임 보상을 수행한다. 특히, MPEG-4 또는 H.264 부호화 표준에 따르면 움직임 보상은 매크로 블록 단위는 물론 매크로 블록을 복수개의 블록으로 분할한 다음 분할된 블록 단위로 수행된다. 움직임 보상은 정수 화소(integer pel)로 구성된 블록에 대해 반 화소(half pel), 사분 화소(quarter pel), 또는 팔분 화소(one eighth pel)를 구하는 보간(interpolation)을 행하여 데이터의 정밀도를 높인 다음 수행된다.

도 1은 보간의 개념을 설명하기 위한 참고도이다.

도 1을 참조하면, 회색 상자는 원 화소(original pel)를 나타내고, 흰색 상자는 보간 화소(interpolation pel)를 나타낸다. 원 화소는 정수 화소(integer pel)를 의미한다. 보간 화소 중 흰색 상자 5, 6, 7, 8은 반 화소를, 흰색 상자 9는 사분 화소를 나타낸다. 반 화소들은 수직 방향 또는 수평 방향으로 인접한 정수 화소들 또는 반 화소들을 기초로 얻어진다. 예를 들어, 반 화소 5는 정수 화소 1 및 2를 기초로 얻어지며, 반 화소 8은 정수 화소 3 및 4를 기초로 얻어진다. 반 화소 6은 정수 화소 1 및 3을 기초로 얻어지고, 반 화소 7은 정수 화소 2 및 4를 기초로 얻어진다. 한편, 사분 화소 9는 반 화소 5 및 8을 기초로 얻어지거나 반 화소 6 및 7을 기초로 얻어진다. 설명의 편의를 위해 정수 화소의 개수를 4 개로 한정하였으나, 보간에 참여하는 화소의 범위는 적절히 가감할 수 있다. 가령, 반 화소 5를 구함에 있어 정수 화소 1 및 2 뿐 아니라 수평 방향으로 인접한 정수 화소들을 더 참여시킬 수 있다. 보간 화소 또한 원 화소와 동일한 범위 내의 정수값으로 표시된다. 가령, 원 화소가 0-255의 정수값으로 표시된다면 보간 화소 또한 0-255의 정수값으로 표현된다.

소정 블록을 구성하는 화소들의 개수가 보간에 의해 증가되면 움직임 보상의 정확도가 향상되는 것이 일반적이지만 항상 그런 것은 아니다. 보간 알고리즘은 정수값을 갖는 보간 화소를 구하기 위해 반올림, 올림 또는 내림 과정을 포함하고 있다. 즉, 보간 알고리즘에 의해 구해진 화소값에는 어느 정도 오차값이 포함되기 마련이다.

따라서, 보간 알고리즘은 오차값의 누적을 가능한 억제하도록 설계되어야 한다. 그 방법의 하나로, 오차값들이 누적되지 않고 상쇄되도록 하기 위해, 보간에 의한 화소값을 구함에 있어 반올림, 올림 또는 내림 과정을 적절히 번갈아가며 사용하기도 한다.

또한, 보간 알고리즘은 일관성이 있어야 한다. 어떤 과정을 사용하더라도 구하고자 하는 보간 화소가 결국 같아진다면 별문제가 없지만, 선택된 과정이 무엇인가에 따라 혹은 처리하는 순서가 달라짐에 따라 얻어지는 보간 화소가 달라진다면 이에 기초한 움직임 보상 또한 매번 달라지게 되고, 궁극적으로 인코더 측과 디코더 측의 미스매치가 두드러질 가능성이 높아진다. 인코더 측과 디코더 측의 미스매치가 증가하면 재현된 영상의 화질 저하가 야기될 수 있다. H.264 부호화 표준(Draft ITU-T Rec. H.264(2002 E))에 따르면, 도 5의 사분 화소 9를 구하기 위한 알고리즘이 일 예이다.

따라서, 본 발명의 목적은 움직임 보상에 있어서 보다 일관성을 갖는 보간 알고리즘에 따른 보간 방법 및 그 장치를 제공하는 것이다.

본 발명의 다른 목적은 움직임 보상의 효율을 보다 높일 수 있는 보간 알고리즘에 따른 보간 방법 및 그 장치를 제공하는 것이다.

상기 목적은, 본 발명에 따라, (a) 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻는 단계; (b) 상기 사분 화소의 수직 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻는 단계; 및 (c) 상기 수직 합과 수평 합을 기초로 정수의 상기 사분 화소를 구하는 단계를 포함하는 것을 특징으로 하는 보간 방법에 의해 달성된다.

상기 (a)단계 및 (b)단계는 짝수개의 상기 반 화소들이 상기 수평 합 및 수직 합에 각각 참여하는 단계이며, 상기 가중치의 합은 2ⁿ임이 바람직하다.

또한, 상기 목적은, (a) 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻는 단계; (b) 상기 수평 합의 평균값을 산출하고 이를 정수화하여 수평 평균값을 얻는 단계; (c) 상기 사분 화소의 수직 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻는 단계; (d) 상기 수직 합의 평균값을 산출하고 이를 정수화하여 수직 평균값을 얻는 단계; 및 (e) 상기 수평 평균값과 수직 평균값의 평균값을 산출하고 이를 정수화하여 상기 사분 화소의 화소값을 얻는 단계를 포함하는 것을 특징으로 하는 보간 방법에 의해서도 달성된다.

한편, 본 발명의 다른 분야에 따르면, 상기 목적은 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻고, 상기 사분 화소의 수직 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 구하며, 상기 수직 합과 수평 합을 기초로 정수의 상기 사분 화소를 구하는 보간부; 및 상기 보간 장치에 의해 보간된 블록에 대해 움직임 보상을 수행하는 움직임 보상부를 구비한 움직임 보상 장치에 의해서도 달성된다.

또한, 상기 목적은 소정 사분 화소의 수평 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻고, 상기 수평 합의 평균값을 산출하고 이를 정수화하여 수평 평균값을 얻은 다음, 상기 사분 화소의 수직 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻고, 상기 수직 합의 평균값을 산출하고 이를 정수화하여 수직 평균값을 얻은 다음, 상기 수평 평균값과 수직 평균값의 평균값을 산출하고 정수화하여 상기 사분 화소의 화소값을 얻는 보간부; 및 상기 보간부에 의해 보간된 블록에 대해 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 움직임 보상 장치에 의해서도 달성된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 2는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치를 구비한 부호화 장치의 블록도이다.

도 2를 참조하면, 부호화 장치는 영상 데이터를 부호화하기 위해 다중 참조(Multiple reference) 방식을 채용한 부호화 장치로서, 부호화 제어부(100), 변환 부호화부(200), 엔트로피 부호화부(700)를 구비한다. 또한, 변환 복호화부(300), 메모리부(400), 움직임 보상부(500), 및 움직임 예측부(600)를 구비한다. 다중 참조 방식은 후술한다.

입력되는 영상 데이터는 도 3과 같이 시간축을 따라 카메라로부터 입력되는 프레임들 또는 프레임을 소정 크기로 분할하여 얻어진 블록들로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임, 비월 주사 방식에 의해 얻어진 필드 또는 비월 주사 프레임을 포함한다. 따라서, 이하 설명하는 영상 데이터는 순차 주사 프레임, 비월 주사 프레임, 필드, 블록 구조의 픽처를 의미한다.

영상 데이터가 입력되면 부호화 제어부(100)는 입력되는 영상의 특성 또는 사용자가 원하는 소정 동작 목적에 따라, 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고 움직임 보상을 수행하지 않을 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 또는 이후 영상으로부터 얻어진 차 영상 데이터가 제1 소스 부호화부(200)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 변환 부호화부(200)로 입력된다.

변환 부호화부(200)는 입력된 영상 데이터를 변환(transform) 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.

한편, 변환 부호화부(200)로 입력되어 부호화된 영상 데이터는 이후 또는 이전에 입력된 영상 데이터의 움직임 보상을 위한 참조 데이터로 사용될 수 있으므로 변환 복호화부(300)에 의해, 변환 부호화부(200)의 역과정인 역양자화와 역변환 부호화를 거친 후 메모리부(400)에 저장된다. 또한, 변환 복호화부(300)로부터 출력된 데이터가 차 영상 데이터이면 부호화 제어부(100)는 제2 스위치(S2)를 닫아서 변환 복호화부(300)로부터 출력된 차 영상 데이터가 움직임 보상부(500)의 출력과 더해진 다음 메모리부(400)에 저장되도록 한다.

움직임 예측(motion estimation)부(600)는 입력된 영상 데이터와 메모리부(400)에 저장된 데이터를 비교하여, 현재 입력된 데이터와 가장 유사한 데이터를 찾은 다음, 입력된 영상 데이터와 비교하여 산출된 움직임 벡터 MV(Motion Vector)를 출력한다. 움직임 벡터는 적어도 하나의 픽처를 참조하여 구해진다. 즉, 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출될 수 있다. 움직임 벡터가 메모리부(400)로 전달되면 메모리부(400)는 해당 데이터를 움직임 보상부(motion compensation)(500)로 출력하며, 움직임 보상부(500)는 입력받은 데이터를 기초로 현재 부호화하는 영상 데이터에 해당하는 움직임 보상값을 만들어 출력한다.

엔트로피 부호화부(700)는 변환 부호화부(200)로부터 출력되는 양자화된 변환 계수들과 움직임 예측부(600)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화 제어부(100)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.

움직임 보상부(500)는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치로서, 보간부(5)를 구비하고 있다. 보간부(5)는 움직임 보상부(500)에 의한 움직임 보상값을 생성하기 위해 필요한 영상 데이터의 해상도를 높이기 위한 보간을 수행한다. 보간부(5)에 의해 수행되는 보간 방법(보간 알고리즘)은 후술한다.

도 4는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치를 구비한 복호화 장치의 블록도이다.

도 4를 참조하면, 복호화 장치는 도 3의 부호화 장치에 의해 부호화된 비트스트림을 수신하여 복호화하기 위한 장치로서, 비트스트림을 디먹싱하는 디먹싱부(110), 엔트로피 복호화부(710), 변환 복호화부(210)를 구비한다. 또한, 코딩 타입 정보를 해석하는 코딩 타입 정보 해석부(120) 및 본 발명에 따른 움직임벡터를 해석하는 움직임 벡터 해석부(130)를 구비한다.

비트스트림은 디먹싱부(110)에 의해 엔트로피 부호화된 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보 등으로 디먹싱된다. 엔트로피 복호화부(710)는 엔트로피 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 변환 복호화부(210)는 양자화된 변환 계수들을 변환 복호화한다. 즉, 도 2의 변환 부호화부(200)의 역과정을 수행한다. 예를 들어, 변환 부호화부(200)가 DCT를 수행하였다면 변환 복호화부(210)는 IDCT(Inverse Discrete Cosine Transform)를 수행한다. 이에, 영상 데이터가 복원된다. 복원된 영상 데이터는 움직임 보상을 위해 메모리부(410)에 저장된다.

한편, 코딩 타입 정보 해석부(120)는 코딩 타입을 알아내어 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S30)를 닫는다. 이에 따라, 변환 복호화부(210)로부터 출력된 데이터에 움직임 보상부(510)로부터 출력된 움직임 보상값이 더해져서 복원된 영상 데이터가 얻어지게 된다. 움직임 벡터 해석부(130)는 움직임 벡터 정보로부터 얻은 움직임 벡터가 가리키는 위치를 알려주고, 움직임 보상부(510)는 움직임 벡터가 가리키는 참조 영상 데이터로부터 움직임 보상값을 생성하여 출력한다.

움직임 보상부(510)는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치로서, 보간부(5)를 구비하고 있다. 보간부(5)는 움직임 보상부(510)에 의한 움직임 보상값을 생성하기 위해 필요한 영상 데이터의 해상도를 높이기 위한 보간을 수행한다. 보간부(5)에 의해 수행되는 보간 방법(보간 알고리즘)은 후술한다.

도 5는 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도이다.

도 5를 참조하면, I 픽처는 다른 픽처를 참조하지 않고 얻어지는 인트라(intra) 픽처를 가리키고, B 픽처는 두 개의 서로 다른 픽처를 참조하여 얻어지는 양방향(bi-predictive) 픽처를 가리킨다. P 픽처는 I 픽처만을 참조하여 얻어지는 예측(predictive) 픽처를 가리킨다. 화살표는 복호화시 필요한 픽처들, 즉 종속관계를 보여준다. B2 픽처는 I0 픽처와 P4 픽처에 종속되고, B1 픽처는 I0 픽처, P4 픽처, B2 픽처에 종속된다. B3 픽처는 I0 픽처, P4 픽처, B1 픽처, 및 B2 픽처에 종속된다. 따라서, 디스플레이 순서는 I0, B1, B2, B3, P4.. 순서이지만 전송 순서는 I0, P4, B2, B1, B3...가 된다. 이처럼, 도 2의 부호화 장치에 따르면 복수개의 픽처를 참조하여 생성되는 B 픽처가 존재한다. 다시 말해, 도 2 및 4를 각각 참조하여 설명한 부호화 장치 및 복호화 장치에서의 움직임 벡터는 포워드 예측 방식, 백워드 예측 방식, 양방향(bi-directional) 예측 방식, 및 다이렉트(direct) 예측 방식 중 양방향 예측 방식을 포함한 적어도 하나의 방식으로 산출된다. 양방향 예측 방식에 있어서 두 개의 참조 픽처는 모두 과거 픽처 또는 모두 미래 픽처일수 있다.

도 6은 움직임 보상의 단위가 되는 움직임 보상 블록들을 보여주는 참고도이다.

도 6을 참조하면, 픽처는 복수개의 움직임 보상 블록들로 구성된다. 움직임 보상 블록은 본 실시예에 따른 16×16 매크로 블록(MB)은 물론, 매크로 블록을 수평 방향으로 이분할하여 얻어진 16×8 블록, 매크로 블록을 수직 방향으로 이분할하여 얻어진 8×16 블록, 매크로 블록을 수평 및 수직 방향으로 각각 이분할하여 얻어진 8×8 블록, 이를 다시 수평 또는 수직 방향으로 이분할하여 얻어진 8×4 블록 또는 4×8 블록, 수평 및 수직 방향으로 각각 이분할하여 얻어진 4×4 블록을 포함한다.

도 7은 본 발명에 따른 보간부(5)의 보간 방법을 설명하기 위한 참고도이다.

도 7을 참조하면, 소정 움직임 보상 블록을 구성하는 화소들의 일부를 보여준다. 회색 상자는 정수 화소를 나타내고 흰색 상자는 보간 화소를 나타낸다. 보간부(5)는 다음 중 어느 하나의 방식을 사용하여 사분 화소 100을 구한다.

<방식 1>

1-(a) 사분 화소 100의 수평 방향으로 인접한 복수개의 반 화소의 화소값들에 대해 각각 소정의 가중치를 부여한 다음 더하여 수평 합을 얻는다. 참여하는 반 화소의 범위는 다양하게 결정될 수 있다. 참여하는 반 화소가 2개라면 이들은 반 화소 11과 12이다. 4개라면 반 화소 11, 12, 13, 14가 된다. 6개라면 반 화소 11, 12, 13, 14, 15, 16이다. 참여하는 반 화소의 개수는 짝수이다. 가중치는 다음의 원칙에 입각하여 부여될 수 있다. 즉, 사분 화소 100에 보다 인접한 반 화소에 부여되는 가중치의 절대값이 보다 덜 인접한 반 화소에 부여되는 절대값보다 크고, 사분 화소 100으로부터 동일한 거리에 있는 반 화소에 부여되는 가중치의 절대값은 같다. 또한, 가중치들의 합은 2ⁿ이다.

예를 들어, 6개의 반 화소가 참여하고 부여되는 가중치가 각각 a, b, c, d, e, f라고 하면 수평 합 Sum_h_100은 [a*(반 화소 15) + b*(반 화소 13) + c*(반 화소 11) + d*(반 화소 12) + e*(반 화소 14) + f*(반 화소 16)] 이다. 또한, 가중치의 합 a+b+c+d = 2ⁿ이다.

1-(b) 사분 화소 100의 수직 방향으로 복수개의 반 화소의 화소값들에 대해 각각 소정의 가중치를 부여한 다음 더하여 수직 합을 구한다. 참여하는 반 화소의 범위는 수평 합의 경우처럼 다양하게 결정될 수 있으나, 수평 합에 참여한 반 화소의 개수와 수직 합에 참여한 반 화소의 개수가 동일한 것이 바람직하다. 가중치 또한 수평 합의 경우와 동일하게 부여되는 것이 바람직하다.

예를 들어, 6개의 반 화소가 참여하고 부여되는 가중치가 각각 a, b, c, d, e, f라고 하면 수직 합 Sum_v_100은 [a*(반 화소 25) + b*(반 화소 23) + c*(반 화소 21) + d*(반 화소 22) + e*(반 화소 24) + f*(반 화소 26)] 이다.

1-(c) 수평 합 Sum_h_100과 수직 합 Sum_v_100을 기초로 정수값을 갖는 사분 화소 100의 화소값을 구한다. 구체적으로, 수학식 1과 같이, 수평 합 Sum_h_100과 수직 합 Sum_v_100을 더한 다음 평균값 M_hv을 구한다.

[수학식 1]

M_hv = (Sum_h_100 + Sum_v_100)/[2*(a + b + c + d + e + f)]

다음으로, 평균값을 정수화한다. 정수화하는 방법, 즉 평균값을 정수값으로 만드는 방법은 내림, 올림, 반올림이 있다. 반올림을 사용하면 오차가 분산되는 효과를 얻을 수 있다. 얻어진 정수값이 사분 화소 100의 화소값이 된다. 만약, 얻어진 정수값이 원 화소와 동일한 범위의 정수값이 아닌 경우 적절한 매핑 알고리즘에 의해 원 화소와 동일한 범위의 정수값으로 표현되도록 매핑시킨다. 예를 들어, 원 화소가 0-255의 정수값으로 표현된다면 얻어진 사분 화소 또한 0-255의 정수값으로 표현되도록 한다.

<방식 2>

2-(a) 사분 화소 100의 수평 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 더하여 수평 합을 얻는다. 참여하는 반 화소의 범위는 다양하게 결정될 수 있다. 참여하는 반 화소가 2개라면 이들은 반 화소 11과 12이다. 4개라면 반 화소 11, 12, 13, 14가 된다. 6개라면 반 화소 11, 12, 13, 14, 15, 16이다. 가중치는 다음의 원칙에 입각하여 부여될 수 있다. 즉, 사분 화소 100에 보다 인접한 반 화소에 부여되는 가중치의 절대값이 보다 덜 인접한 반 화소에 부여되는 절대값보다 크고, 사분 화소 100으로부터 동일한 거리에 있는 반 화소에 부여되는 가중치의 절대값은 같다.

예를 들어, 6개의 반 화소가 참여하고 부여되는 가중치가 각각 a, b, c, d, e, f라고 하면 수평 합 Sum_h_100은 [a*(반 화소 15) + b*(반 화소 13) + c*(반 화소 11) + d*(반 화소 12) + e*(반 화소 14) + f*(반 화소 16)] 이다.

2-(b) 수평 합 Sum_h_100의 평균값을 산출한 다음 정수값으로 만들어 수평 평균값을 얻는다. 부여된 가중치를 고려하면 평균값은 다음 수학식 2에 의한다.

[수학식 2]

M_h = (Sum_h_100)/(a + b + c + d + e + f)

다음으로, 평균값 M_h를 정수화한다. 정수화하는 방법은 내림, 올림, 반올림이 있다. 반올림을 사용하면 오차가 분산되는 효과를 얻을 수 있다. 얻어진 정수값이 수평 평균값 integer_M_h이 된다.

2-(c) 사분 화소 100의 수직 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 더하여 수직 합을 얻는다. 참여하는 반 화소의 범위는 수평 합의 경우처럼 다양하게 결정될 수 있으나, 수평 합에 참여한 반 화소의 개수와 수직 합에 참여한 반 화소의 개수가 동일한 것이 바람직하다. 가중치 또한 수평 합의 경우와 동일하게 부여되는 것이 바람직하다.

2-(d) 수직 합 Sum_v_100의 평균값을 산출한 다음 정수값으로 만들어 수직 평균값 M_v_100를 얻는다. 부여된 가중치를 고려하면 평균값은 다음 수학식 3에 의한다.

[수학식 3]

M_v = (Sum_v_100)/(a + b + c + d + e + f)

다음으로, 평균값 M_v를 정수화한다. 정수화하는 방법은 내림, 올림, 반올림이 있다. 반올림을 사용하면 오차가 분산되는 효과를 얻을 수 있다. 얻어진 정수값이 수직 평균값 integer_M_v가 된다.

2-(e) 수평 평균값 integer_M_h과 수직 평균값 integer_M_v의 평균값을 산출한다. 산출된 평균값을 정수화하면 사분 화소 100의 화소값이 얻어진다. 사분 화소 100의 화소값은 다음 수학식 4로 표현된다.

[수학식 4]

사분 화소 100 = integer[(integer_M_h + integer_M_v)/2]

여기서, integer[]는 []을 정수화함을 뜻한다. 정수화의 방법은 내림, 올림, 반올림이 있다. 반올림을 사용하면 오차가 분산되는 효과를 얻을 수 있다.

한편, <방식 2>는 2-(c), 2-(d), 2-(a), 2-(b), 2-(e)의 순서로 수행되어도 같은 결과를 얻을 수 있다.

나머지 보간 화소, 즉 팔분 화소 및 십육분 화소 또한 사분 화소 100과 동일한 방식으로 구할 수 있다.

도 8은 본 발명의 바람직한 실시예에 따른 보간부(5)의 보간 방법을 설명하기 위한 참고도로서, 소정 움직임 보상 블록을 구성하는 화소들의 일부를 보여준다. 회색 상자는 정수 화소를 나타내고 흰색 상자는 보간 화소를 나타낸다. 본 실시예에 따른 보간 방법은 하나의 보간 화소를 구하는데 복수개의 화소, 즉 6개의 화소들이 참여한다. 또한, 보간에 참여하는 각 화소들은 가중치가 부여된다. 이를 위해, 본 실시예에서는 6-탭 필터를 사용한다. 6-탭 필터는 6개의 탭 값(tap values)을 가진다. 탭 값은 보간에 참여하는 화소값들에 부여되는 가중치를 의미한다. 본 실시예에서 탭 값은 (1, -5, 20, 20, -5, 1)이다. 물론, 보간에 참여하는 화소들의 개수 및 이들에 부여되는 가중치, 즉 탭 값은 다양하게 결정될 수 있다.

<반 화소 b>

반 화소 b를 구하기 위해서는 반 화소 b의 수평 방향으로 가까이 위치하는 순서대로 6개의 정수 화소들 E, F, G, H, I, J가 참여한다. 정수 화소들 E, F, G, H, I, J에 전술한 6-탭 필터를 적용하면 다음 수학식 5와 같은 수평 합 Sum_h_b가 얻어진다.

[수학식 5]

Sum_h_b = (E - 5F + 20G + 20H - 5I + J)

다음으로, 수학식 6과 같이, 수평 합 Sum_h_b에 16을 더한 다음 32로 나누고, 정수화한 다음, 범위 조정을 하여 최종적으로 반 화소 b를 구한다.

[수학식 6]

b = Clip1((Sum_h_b + 16) >> 5)

여기서, 수평 합 Sum_h_b에 16을 더함으로써 정수값을 구함에 있어 반올림이 수행된다. 「>> 5」는 수학적으로 32(=2⁵)로 나눈 다음 소수점 이하의 숫자는 버리는 것을 뜻한다. 6-탭 필터의 탭 값의 합이 32이기 때문에(즉, 32개의 화소값들이 더해진 셈이 되므로) 평균값을 구하려면 다시 32로 나누어야 하기 때문이다. Clip1()은 구해진 정수값, 즉 (b+16) >> 5가 원 화소(정수 화소)가 표현되는 범위 중 어느 하나로 표현되도록 매핑시켜주는 역할을 한다. 예를 들어, 정수 화소가 0-255의 값들 중 어느 하나로 표시될 때, 구해진 평균값이 그 범위 밖의 값을 갖게 되면 Clip1()은 범위 내의 소정 값으로 매핑시켜준다.

<반 화소 h>

반 화소 h를 구하기 위해서는 반 화소 h의 수직 방향으로 가까이 위치하는 순서대로 6개의 정수 화소들 A, C, G, M, R, T가 참여한다. 정수 화소들 A, C, G, M, R, T에 전술한 6-탭 필터를 적용하면 수학식 7과 같은 수직 합 Sum_v_h가 얻어진다.

[수학식 7]

Sum_v_h = (A - 5C + 20G + 20M - 5R + T)

다음으로, 수평 합 Sum_v_h에 16을 더한 다음 32로 나누고, 반올림하여 평균값을 구하고, 범위 조정을 하여 수학식 8과 같이, 최종적으로 반 화소 h를 구한다.

[수학식 8]

h = Clip1((Sum_v_h + 16) >> 5)

여기서, 수직 합 Sum_v_b에 16을 더함으로써 정수값을 구함에 있어 반올림이 수행된다. 「>> 5」는 수학적으로 32(=2⁵)로 나눈 다음 소수점 이하의 숫자는 버리는 것을 뜻한다. 6-탭 필터의 탭 값의 합이 32이기 때문에(즉, 32개의 화소값들이 더해진 셈이 되므로) 평균값을 구하려면 다시 32로 나누어야 하기 때문이다. Clip1()은 구해진 정수값, 즉 (b+16) >> 5가 원 화소(정수 화소)가 표현되는 범위 중 어느 하나로 표현되도록 매핑시켜주는 역할을 한다. 예를 들어, 정수 화소가 0-255의 값들 중 어느 하나로 표시될 때, 구해진 평균값이 그 범위 밖의 값을 갖게 되면 Clip1()은 범위 내의 소정 값으로 매핑시켜준다.

<반 화소 s>

반 화소 s는 반 화소 b와 마찬가지 방법으로 구할 수 있다. 이는 수학식 9와 같다.

[수학식 9]

Sum_h_s = (K - 5L + 20M + 20N - 5P + Q)

s = Clip1((Sum_h_s + 16) >> 5)

<반 화소 m>

반 화소 m은 반 화소 h와 마찬가지 방법으로 구할 수 있다. 이는 수학식 10과 같다.

[수학식 10]

Sum_h_m = (B - 5D + 20H + 20N - 5S + U)

m = Clip1((Sum_h_m + 16) >> 5)

<사분 화소 j>

사분 화소 j를 구하기 위해서는 사분 화소 j의 수평 방향으로 가까이 위치하는 순서대로 6개의 반 화소들 cc, dd, h, m, ee, ff와, 사분 화소 j의 수직 방향으로 가까이 위치하는 순서대로 6개의 반 화소들 aa, bb, b, s, gg, hh, 총 12개의 반 화소들이 참여한다.

<방식 3>

먼저, 수평 방향의 반 화소들 cc, dd, h, m, ee, ff에 전술한 6-탭 필터를 적용하면 수학식 11과 같이, 수평 합 Sum_h_j가 얻어진다.

[수학식 11]

Sum_h_j = (cc - 5dd + 20h + 20m - 5ee + ff)

수직 방향의 반 화소들 aa, bb, b, s, gg, hh,에 전술한 6-탭 필터를 적용하면 수학식 12와 같이 수직 합 Sum_v_j가 얻어진다.

[수학식 12]

Sum_v_j = (aa - 5bb + 20b + 20s - 5gg + hh)

다음으로, 수평 합 Sum_h_j과 수직 합 Sum_v_j의 평균값을 구한 다음 정수화하고, 범위 조정을 하여 수학식 13과 같이 최종적으로 반 화소 b를 구한다.

[수학식 13]

j = Clip1((Sum_h_j + Sum_v_j + 32) >> 6)

(Sum_h_j + Sum_v_j + 32) >> 6는 Sum_h_j + Sum_v_j에 32를 더한 다음 64로 나누고 소숫점 이하의 수는 버림으로써 정수화함을 의미한다. 이 때, 수평 합과 수직 합의 합 Sum_h_j + Sum_v_j에 32를 더해주기 때문에 정수화함에 있어 실제로는 반올림이 수행된다. Clip1()은 구해진 정수값, 즉 (Sum_h_j + Sum_v_j + 32) >> 6가 원 화소(정수 화소)의 범위의 값들 중 하나로 표현되도록 매핑시켜주는 역할을 한다. 예를 들어, 원 화소가 0-255의 값들 중 어느 하나로 표시될 때, 구해진 정수값이 그 범위 밖의 값을 갖게 되면 범위 내의 소정 값으로 매핑시켜준다.

<방식 4>

사분 화소 j의 수평 방향으로 가까이 위치하는 순서대로 6개의 반 화소들 cc, dd, h, m, ee, ff에 전술한 6-탭 필터를 적용하여 수평 합 Sum_h_j를 얻는다. 얻어진 수평 합 Sum_h_j의 평균값을 구한 다음, 정수화하여 수학식 14와 같이, 수평 평균값 M_h_j를 구한다.

[수학식 14]

Sum_h_j = (cc - 5dd + 20h + 20m - 5ee + ff)

M_h_j = Clip1((Sum_h_j + 16) >> 5)

다음으로, 수직 방향의 반 화소들 aa, bb, b, s, gg, hh,에 전술한 6-탭 필터를 적용하여 수직 합 Sum_v_j를 얻는다. 얻어진 수직 합 Sum_v_j의 평균값을 구한 다음 정수화하여 수직 평균값 M_v_j를 구한다.

[수학식 15]

Sum_v_j = (aa - 5bb + 20b + 20s - 5gg + hh)

M_v_j = Clip1((Sum_v_j + 16) >> 5)

다음으로, 수평 평균값 M_h_j과 수직 평균값 M_v_j의 평균값을 구한 다음 정수화하여, 수학식 16과 같이, 최종적으로 사분 화소 j의 화소값을 구한다.

[수학식 16]

j = Clip1((M_h_j + M_v_j + 1) >> 1)

다른 사분 화소, 팔분 화소, 및 십육분 화소들도 위의 사분 화소 j와 동일한 방법으로 구할 수 있다.

전술한 바와 같이, 본 발명에 따르면 움직임 보상에 있어서 보다 일관성을 갖는 보간 알고리즘에 따른 보간 방법 및 그 장치가 제공된다. 이에, 움직임 보상의 효율이 보다 높아진다.

도 1은 보간의 개념을 설명하기 위한 참고도,

도 2는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치를 구비한 부호화 장치의 블록도,

도 3은 도 2의 부호화 장치에 입력되는 영상 데이터의 일 예,

도 4는 본 발명의 바람직한 실시예에 따른 움직임 보상 장치를 구비한 복호화 장치의 블록도,

도 5는 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도,

도 6은 움직임 보상의 단위가 되는 움직임 보상 블록들을 보여주는 참고도,

도 7은 본 발명에 따른 보간부(5)의 보간 방법을 설명하기 위한 참고도,

도 8은 본 발명의 바람직한 실시예에 따른 보간부(5)의 보간 방법을 설명하기 위한 참고도이다.

Claims

(a) 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻는 단계;

(b) 상기 사분 화소의 수직 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻는 단계; 및

(c) 상기 수직 합과 수평 합을 기초로 정수의 상기 사분 화소를 구하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
제1항에 있어서,

상기 (a)단계 및 (b)단계는

짝수개의 상기 반 화소들이 상기 수평 합 및 수직 합에 각각 참여하는 단계임을 특징으로 하는 보간 방법.
제1항에 있어서,

상기 가중치의 합은 2ⁿ임을 특징으로 하는 보간 방법.
제1항에 있어서,

상기(a)단계 및 (b)단계는

상기 복수개의 반 화소들에 대해 상기 가중치를 탭 값(tap values)으로 갖는 탭 필터를 적용시키는 단계임을 특징으로 하는 보간 방법.
제4항에 있어서,

상기 탭 값의 합은 2ⁿ임을 특징으로 하는 보간 방법.
제5항에 있어서,

6개의 반 화소들에 대해 (1, -5, 20, 20, -5, 1)의 탭 값을 갖는 6-탭 필터를 적용시키는 단계임을 특징으로 하는 보간 방법.
제1항에 있어서,

상기 (c)단계는

상기 수직 합과 수평 합의 평균값을 구한 다음 반올림에 의해 정수값을 산출하여 상기 사분 화소로 결정하는 단계임을 특징으로 하는 보간 방법.
제7항에 있어서,

상기 (c)단계는 다음 식에 따른 평균값을 구함을 특징으로 하는 보간 방법.

평균값 = (수평 합 + 수직 합)/[2*(a + b + c + d + e + f)]

단, a, b, c, d, e, f는 6-탭 필터의 탭 값들이다.
제7항에 있어서,

상기 (c)단계는 다음 식에 따름을 특징으로 하는 보간 방법.

사분 화소 = integer[(integer_M_h + integer_M_v)/2]

integer_M_h = integer[수평 합/(a + b + c + d + e + f)]

integer_M_v = integer[수직 합/(a + b + c + d + e + f)]

단, a, b, c, d, e, f는 6-탭 필터의 탭 값들이고, integer[]는 []을 정수화함을 의미한다.
(a) 소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻는 단계;

(b) 상기 수평 합의 평균값을 산출하고 이를 정수화하여 수평 평균값을 얻는 단계;

(c) 상기 사분 화소의 수직 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻는 단계;

(d) 상기 수직 합의 평균값을 산출하고 이를 정수화하여 수직 평균값을 얻는 단계; 및

(e) 상기 수평 평균값과 수직 평균값의 평균값을 산출하고 이를 정수화하여 상기 사분 화소의 화소값을 얻는 단계를 포함하는 것을 특징으로 하는 보간 방법.
제10항에 있어서,

상기 (a)단계 및 (c)단계는

상기 복수개의 반 화소값들에 대해 상기 가중치를 탭 값(tap values)으로 갖는 탭 필터를 적용시키는 단계임을 특징으로 하는 보간 방법.
제11항에 있어서,

상기 (a)단계 및 (c)단계는

각각 6개의 반 화소들에 대해 (1, -5, 20, 20, -5, 1)의 탭 값을 갖는 6-탭 필터를 적용시키는 단계임을 특징으로 하는 보간 방법.
제10항에 있어서,

상기 (e)단계는 다음 식에 따름을 특징으로 하는 보간 방법.

사분 화소 = integer[(integer_M_h + integer_M_v)/2]

integer_M_h = integer[수평 합/(a + b + c + d + e + f)]

integer_M_v = integer[수직 합/(a + b + c + d + e + f)]

단, a, b, c, d, e, f는 6-탭 필터의 탭 값들이고, integer[]는 []을 정수화함을 의미한다.
제10항에 있어서,

상기 (e)단계는 다음 식에 따름을 특징으로 하는 보간 방법.

사분 화소 = Clip1((M_h + M_v + 1) >> 1)

M_h = Clip1((Sum_h + 16) >> 5)

M_v = Clip1((Sum_v + 16) >> 5)
소정 사분 화소의 수평 방향으로 인접한 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻고, 상기 사분 화소의 수직 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 구하며, 상기 수직 합과 수평 합을 기초로 정수의 상기 사분 화소를 구하는 보간부; 및

상기 보간부에 의해 보간된 블록에 대해 움직임 보상을 수행하는 움직임 보상부를 구비한 움직임 보상 장치.
제15항에 있어서,

상기 보간부는

상기 복수개의 반 화소들에 대해 상기 가중치를 탭 값(tap values)으로 갖는 탭 필터를 적용시키는 것을 특징으로 하는 움직임 보상 장치.
제16항에 있어서,

상기 보간부는

6개의 반 화소들에 대해 (1, -5, 20, 20, -5, 1)의 탭 값을 갖는 6-탭 필터를 적용시키는 것을 특징으로 하는 움직임 보상 장치.
제15항에 있어서,

상기 보간부는

상기 수직 합과 수평 합의 평균값을 구한 다음 반올림에 의해 정수값을 산출하여 상기 사분 화소로 결정하는 것을 특징으로 하는 움직임 보상 장치.
제15항에 있어서,

상기 보간부는 다음 식에 따른 평균값을 구함을 특징으로 하는 움직임 보상 장치.

평균값 = (수평 합 + 수직 합)/[2*(a + b + c + d + e + f)]

단, a, b, c, d, e, f는 6-탭 필터의 탭 값들이다.
제15항에 있어서,

상기 보간부는 다음 식에 따름을 특징으로 하는 움직임 보상 장치.

사분 화소 = integer[(integer_M_h + integer_M_v)/2]

integer_M_h = integer[수평 합/(a + b + c + d + e + f)]

integer_M_v = integer[수직 합/(a + b + c + d + e + f)]

단, a, b, c, d, e, f는 6-탭 필터의 탭 값들이고, integer[]는 []을 정수화함을 의미한다.
소정 사분 화소의 수평 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수평 합을 얻고, 상기 수평 합의 평균값을 산출하고 이를 정수화하여 수평 평균값을 얻은 다음, 상기 사분 화소의 수직 방향으로 복수개의 반 화소들에 대해 각각 소정의 가중치를 부여한 다음 이를 모두 더하여 수직 합을 얻고, 상기 수직 합의 평균값을 산출하고 이를 정수화하여 수직 평균값을 얻은 다음, 상기 수평 평균값과 수직 평균값의 평균값을 산출하고 정수화하여 상기 사분 화소의 화소값을 얻는 보간부; 및

상기 보간부에 의해 보간된 블록에 대해 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 움직임 보상 장치.
제21항에 있어서,

상기 보간부는

상기 복수개의 반 화소값들에 대해 상기 가중치를 탭 값(tap values)으로 갖는 탭 필터를 적용시키는 것을 특징으로 하는 움직임 보상 장치.
제21항에 있어서,

상기 보간부는 다음 식에 의함을 특징으로 하는 움직임 보상 장치.

사분 화소 = Clip1((M_h + M_v + 1) >> 1)

M_h = Clip1((Sum_h + 16) >> 5)

M_v = Clip1((Sum_v + 16) >> 5)
삭제
삭제