KR102728144B1 - 움직임 백터 보정을 통한 비디오 복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 복호화기에서 부호화기로부터 전송받은 움직임 정보에 대해 선택적으로 복호화기에서 움직임 보정을 수행하고 이를 이용하여 움직임 보상을 수행하는 방법을 포함하는 장치 및 방법에 대한 것이다.

Description

움직임 백터 보정을 통한 비디오 복호화 방법 및 장치{METHOD AND APPARATUS FOR VIDEO DECODER WITH MOTION VECTOR REFINEMENT}

본 발명은 비디오 부호화 기술에 관한 것으로서, 보다 상세하게는 복호화기에서 움직임 백터를 보정하는 방법을 통해 효과적으로 비디오를 부/복호화하기 위한 방법에 관한 것이다.

최근 FHD (Full High Definition) 및 UHD (Ultra High Definition) 와 같은 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다.

본 발명은 FHD (Full High Definition) 및 UHD (Ultra High Definition)오 같은 고해상도의 영상을 위한 비디오 부/복호화기에서 움직임 정보의 전송을 효과적으로 하기 위해 복호화기에서 부호화기로부터 전송된 움직임 백터 정보에 추가적인 보정을 통해 효과적으로 비디오 부/복호화가 가능한 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 실시 예에서 비디오 복호화 장치 및 방법은 움직임 백터 보정을 위한 정보 추출 단계를 가지게 되며, 부호화기로 부터 직접적으로 전송받은 움직임 백터의 정보에 보정 움직임 백터를 더하여 복호화기에서 움직임 보상을 실시할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 복호화기에서 움직임 정보 보정 장치 혹은 단계를 통해 전송받은 움직임 백터에 대해 추가적인 보정을 통해 세밀해진 비디오 복호화가 가능하도록 하고 비디오 부/복호화 효율을 향상시킬 수 있다.

도 1은 본 발명의 실시 예에 따른 복호화 장치의 블록도이다.
도 2는 화면 간 예측에서 본 발명이 선택적으로 적용되는 실시 예에서 움직임 백터를 구하고 이를 통해 움직임 보상을 수행하는 경우에서의 순서도이다.
도 3은 도 2에서 설명한 실시 예에서 움직임 백터 보정이 반복적으로 이루어 지는 경우에서의 순서도이다.
도 4는 도 3의 실시 예에서 움직임 백터 보정이 반복적으로 수행되는 경우 움직임 백터의 보정이 이루어지는 다수의 단계에서 움직임 백터를 보정하는 유닛의 크기가 변화하는 경우에 대한 도면이다.
도 5는 움직임 백터의 보정이 반복적으로 수행되면서 각 단계에서 블록이 분할되어 그 크기가 바뀔 때, 블록이 분할되면서 변하는 움직임 백터 보정의 수행 블록의 크기를 나타낸 도면이다.
도 6은 도 2의 실시 예에서 차분 움직임 백터가 선택적으로 전송되는 경우가 추가된 실시예에 대한 도면이다.
도 7은 도 6의 실시 예에서 움직임 백터 보정 단계가 반복적으로 수행되는 실시예에서의 순서도 이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명에서 특정 구성을 "포함" 한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시 예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

발명에 사용되는 블록은 복호화의 기본 블록 단위, 예측 블록 단위, 변환 블록 단위가 될 수 있다. 또한 블록 경계는 복호화 블록의 경계, 예측 블록의 경계, 변환 블록의 경계가 될 수 있다.

도 1은 본 발명의 실시 예에 따른 복호화 장치의 블록도이다. 부호화기로부터 비트스트림을 전송 받은 복호화기는 크게 화면 간 예측(115) 및 화면내 예측(114)을 통해 복호화를 수행하게 된다. 복호화 시 화면 간 예측을 수행할 때 본 발명의 실시 예에 따라 부호화기로부터 전송 받은 움직임 정보와 예측 움직임 백터 정보만을 이용(115-1)하여 화면 간 예측을 수행할 수도 있고, 전송 받은 움직임 백터 및 예측 움직임 백터를 이용하여 움직임 백터를 구하고(115-2), 추가적인 보정을 한 후(131)에 보정된 움직임 백터를 이용하여 화면 간 예측을 수행할 수도 있다. 복호화기는 어떠한 방법을 통해 화면 간 예측을 수행할 것인지에 대한 선택 정보를 전송 받고 선택 정보에 따라 움직임 백터 보정(131)을 선택적으로 적용할 수 있다. 현재 복호화 하는 코딩 유닛이 추가적인 보정을 한 후(131)에 화면 간 예측을 수행하는 경우, 복호확 기에서는 보정된 움직임 백터를 저장하기 위한 별도의 움직임 백터 저장(130)이 필요하다. 도 2는 화면 간 예측에서 본 발명이 선택적으로 적용되는 실시 예에서 움직임 백터를 구하고 이를 통해 움직임 보상을 수행하는 경우에서의 순서도 이다. 복호화기는 부호화기로부터 전송받은 비트스트림(200)에서 현재 코딩 유닛에 대한 정보를 추출한다. 현재 코딩 유닛에 대한 정보에서 움직임 백터 보정을 수행하는 단위 및 선택여부, 수행하는 횟수 등의 움직임 백터 보정과 관련된 정보를 추출(210)하고, 움직임 백터 보정이 선택된 경우 움직임 백터 보정(220)을 수행한다.

움직임 백터 보정과 관련된 정보는 코딩 유닛 별로 부호화기로부터 전송 받을 수도 있지만, 정보의 특성 혹은 부/복호화기 간의 약속에 따라 영상 그룹, 영상, 프레임 그룹, 슬라이스 그룹, 슬라이스, 타일, 코딩 유닛 등 다양한 레벨에서 전송 받을 수 있으며, 부/복호화기 간의 약속에 의해 전송이 생략될 수도 있고, 하이레벨신텍스(HLS)를 통해 전송받을 수도 있다. 도 2의 순서도에서 현재 코딩 유닛에서의 움직임백터 보정과 관련된 정보는 해당 정보가 전송된 단위에서 파싱/복호화를 통해 얻어질 수 있으므로 현재 코딩 유닛의 복호화 단계에서만 추출되지 않을 수 있음은 본 분야의 일반적인 지식에서 충분이 유추 가능하다.

움직임 백터 보정 시 복호화기는 전송받은 움직임백터 차분값과 예측 움직임 백터(PMV)통해 일차적으로 움직임 보상(241)을 수행한다. 이때 움직임 백터는 다음 식으로 계산된다.

(식 1)에서 i,j는 현재 코딩 유닛의 위치를 t는 현재 복호화가 수행되는 프레임 혹은 슬라이스의 시간을 나타낸다.

이후 움직임 보상이 수행된 영상 값을 이용하여 움직임 백터 보정(220)을 수행하고, 수행하여 변경된 움직임 백터(231)를 이용하여 움직임보상(242)를 하게 된다. 이때 움직임백터는 다음의 식으로 계산된다.

그리고 움직임 백터가 보정(220)된 경우 이는 복호화기에 저장(130)하게 된다. 변경하여 저장된 움직임 백터는 차후 주변 블록 혹은 다음 영상에서 예측 움직임 백터(PMV) 계산시에 사용되기 때문에 움직임 백터 보정 수행 이후에 반드시 저장(130)이 필요하다. 예컨대, 보정된 움직임 백터는 후순위로 부호화/복호화되는 블록 혹은 픽처의 움직임 백터를 결정하는데 이용되고, 보정전 모션 벡터는 후순위로 부호화/복호화되는 주변 블록의 모션 벡터를 결정하는데 이용될 수 있다. 움직임 백터 보정이 선택되지 않은 경우 현재 코딩 유닛은 기존의 움직임 백터 계산 방법(232)에 의해 계산이 가능하고, 이는 예측 움직임 백터의 값과 전송 받은 차분 움직임백터 의 값으로 계산 가능하기 때문에 별도의 저장 단계가 요구되지는 않는다.

도 3은 도 2에서 설명한 실시예에서 움직임 백터 보정이 반복적으로 이루어 지는 경우에서의 순서도이다. 부호화기에서 움직임 백터 보정을 반복적으로 수행한 경우 부호화기는 관련 정보(310)을 복호화기로 전송할 수 있다. 이는 움직임백터 보정에 대한 깊이 정보로 전송가능한데, 움직임백터 보정 플래그(311)이 1인 경우 즉 움짐임 백터 보정 방법이 선택된 경우 반드시 한번은 수행되기 때문에 깊이 정보는 반복횟수(MV_refine_Count)는 깊이 정보에 1을 더한 값이 된다. 물론 복호화기와 부호화기가 움직임 백터 보정 반복횟수를 약속한 경우나 움직임 백터 보정 반복을 마치는 조건을 복호화기에서 계산 가능한 경우에 움직임백터 보정 깊이정보(반복횟수) 정보에 대한 부호화기에서 복호화기로의 전송은 생략될 수 있다. 도 3의 다른 단계에 대한 설명은 도 2와 같으므로 생략한다. 다만 움직임 백터의 보정이 반복적으로 수행되는 경우 최종의 움직임 백터 뿐 아니라 구현 혹은 실시 예에 따라 저장(130) 또한 반복적으로 수행될 수 있다.

도 4는 도 3의 실시 예에서 움직임백터 보정이 반복적으로 수행되는 경우 움직임 백터의 보정이 이루어지는 다수의 단계에서 움직임 백터를 보정하는 유닛의 크기가 변화하는 경우에 대한 도면이다. N×M 의 크기(N과 M은 부/복호화의 약속에 따라 같을 수도 있음.)를 갖고 두 장의 참조 영상을 참조하는 현재 코딩 유닛에서 반복적으로 움직임 백터 보정이 이루어지는 경우 반복 횟수 단계별로 움직임 백터 보정 유닛의 크기가 (400)처럼 변화 할 수 있다. 도 4에서는 첫 번째 움직임 백터 보정 단계에서는 (N/2)×(M/2)의 크기로 보정이 수행되고, 두 번째 움직임 백터 보정 단계에서는 좌상측 블록(402)에 대해서만 (N/4)×(M/4)의 크기로 한 번 더 분할된 형태로 수행되고, 다른 블록(403)에 대해서는 동일 크기로 수행된다. 이전 보정 단계와 동일한 크기 블록(즉 분할이 수행되지 않은 블록)에 대해 움직임 보정을 반복적으로 수행할 것인지에 대해서는 움직임 백터 보정 관련 정보를 통해 부호화기에서 복호화기로 전송될 수도 있고, 부/복호화기간의 약속에 의해 결정될 수 있다. 도 5는 움직임 백터의 보정이 반복적으로 수행되면서 각 단계에서 블록이 분할되어 그 크기가 바뀔 때, 블록이 분할되면서 변하는 움직임 백터 보정의 수행 블록의 크기를 나타낸 도면이다. 도 5-(a)와 같이 분할 깊이 정보에 따라 수행 블록의 크기가 일정할 수도 있고, 도 5-(e)와 같이 직방형일 수도 있다. 그리고 (b)와 같이 직방과 정방이 혼합된 형태가 될 수 있으며, 5-(c)와 같이 모든 블록이 동일 횟수로 분할되지 않을 수도 있고, 5-(d)와 같이 그 비율이 달라질 수도 있다. 도5-(e), (f),(g)는 분할의 모양이 사각의 형태가 아닌 경우로 삼각형 혹은 사각형과 삼각형이 조합되어 분할된 모습의 도면이다. 도 5는 실시 예 중의 일부를 도식화 한 것으로, 그 조합에 의해 다양한 형태로 존재할 수 있으며, 해당 분할과 관련한 모양, 크기, 비율, 횟수 등의 정보는 움직임 보정 정보들로 부호화기에서 복호화기로 전송하거나, 부/복호화기 간의 약속에 의해 수행이 가능하다. 또한 분할의 최소 단위는 픽셀단위까지 가능하며, 움직임 보정 정보가 동일한 블록들은 다시 합쳐지는(merge) 것도 가능하다. 또한 최초 코딩 유닛의 형태가 직사각형이 아닌 경우에도 도 5의 실시 예와 같이 다양한 형태로 분할 가능할 것이다. 4에서 움직임 백터를 보정하기 위해 두 장의 참조 영상을 이용하였지만, 실시 예에 따라 참조 영상은 1장 혹은 3장 이상이 될 수도 있다. 또한 반복적으로 수행되면서 참조 영상이 달라질 수도 있고 참조 영상에서 움직임 백터 보정 정보를 구하기 위해 사용하는 방법 또한 달라질 수 있다. 해당 정보는 모두 부호화기에서 복호화기로 전송되거나, 부/복호화기 간의 약속에 의해 수행될 수 있다.

도 6은 도 2의 실시예에서 차분 움직임백터가 선택적으로 전송되는 경우가 추가된 실시예에 대한 도면이다. 보통의 복호화기에서 차분 움직임 백터는 다음 식과 같이 예측 움직임 백터에 더해져 해당 코딩 유닛의 실제 움직임 백터로 계산된다.

하지만 본 발명은 복호화기에서 움직임 백터의 보정을 통해 코딩 유닛의 움직임 백터가 변화하며 이 과정에서 구해지는 값이 차분 움직임 백터와 동일하다면, 결과적으로 차분 움직임 백터 없이 기존의 복호화가 가능해지며, 차분 움직임 백터의 전송이 생략되면서 부호화 효율을 얻을 수 있다.

도 6은 부호화기에서 차분 움직임 백터의 값을 선택적으로 복호화기로 전송하는 실시 예로, 각각의 경우 움직임 백터는 다음 (식 6), (식 7)로 계산될 수 있다.

(634), (633)과 같이 계산될 수 있다. 이렇게 계산된 움직임 백터가 움직임 백터 보정을 통해 (640)과(641)의 형태가 될 수 있으며, 이 값은 다음 움직임 백터 예측을 위해 저장(130)된다. 이후 보정된 움직임 백터 값으로 움직임 보상이 수행된다. 도 6의 실시예에서 움직임백터 차분 값의 전송에 대한 선택 정보는 영상 그룹, 영상, 프레임 그룹, 슬라이스 그룹, 슬라이스, 타일, 코딩 유닛 등 다양한 레벨에서 전송가능하며, 부/복호화기 간에 약속이 된 경우 생략가능하다. 예를 들어 움직임 백터 보정 블록에 대해서는 무조건 움직임 백터 차분 값을 전송하기 않는다는 약속이 부/복호화기 사이에 있다면, 해당 선택정보(620)은 생략될 수 있을 것이다. 해당 선택 정보(620)의 약속과 생략은 다양한 조건에 의해 가능할 수 있고, 조건은 부/복호화기 간의 약속이므로 실시 예 또한 다양해 질 수 있다.

도 7은 도 6의 실시예에서 움직임 백터 보정 단계가 반복적으로 수행되는 실시예에서의 순서도 이다. 해당 방법은 도 6과 도 3의 실시 예가 조합된 형태로 반복 수행 시 블록의 형태는 모든 단계에서 동일 할 수도 있고 도 4와 5에서와 같이 다양한 형태로 분할 되어 나타날 수도 있다.

Claims (5)

1. 인터 예측 방법으로서,
   현재 블록의 움직임 벡터 보정 정보를 획득하는 단계;
   상기 현재 블록의 움직임 벡터를 생성하는 단계;
   상기 움직임 벡터 보정 정보에 기반하여 상기 현재 블록의 움직임 벡터를 보정하는 단계; 및
   상기 보정된 움직임 벡터를 이용하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함하고,
   상기 보정된 움직임 벡터는 상기 현재 블록 이전에 디코딩된 복원 블록을 이용하여 유도되는, 인터 예측 방법.
2. 제1항에 있어서,
   상기 보정된 움직임 벡터는 이후에 디코딩되는 영상의 움직임 벡터 결정에 이용되는, 인터 예측 방법.
3. 제1항에 있어서,
   상기 움직임 벡터의 보정은 상기 현재 블록의 사이즈에 기반하여 수행되는, 인터 예측 방법.
4. 인터 예측 방법으로서,
   현재 블록의 움직임 벡터를 생성하는 단계;
   상기 현재 블록의 움직임 벡터에 기반하여 상기 현재 블록의 움직임 벡터 보정 정보를 결정하는 단계; 및
   상기 움직임 벡터 보정 정보를 부호화하는 단계를 포함하고,
   상기 움직임 벡터 보정 정보는 디코딩 프로세스에서 상기 현재 블록의 움직임 벡터를 보정하는데 이용되고,
   상기 디코딩 프로세스 내 상기 현재 블록의 보정된 움직임 벡터는 상기 디코딩 프로세스에서 상기 현재 블록 이전에 복호화된 복원 블록을 이용하여 유도되는, 인터 예측 방법.
5. 부호화 장치를 이용한 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체로서, 상기 영상 부호화 방법은,
   현재 블록의 움직임 벡터를 생성하는 단계;
   상기 현재 블록의 움직임 벡터에 기반하여 상기 현재 블록의 움직임 벡터 보정 정보를 결정하는 단계; 및
   상기 움직임 벡터 보정 정보를 부호화하는 단계를 포함하고,
   상기 움직임 벡터 보정 정보는 디코딩 프로세스에서 상기 현재 블록의 움직임 벡터를 보정하는데 이용되고,
   상기 디코딩 프로세스 내 상기 현재 블록의 보정된 움직임 벡터는 상기 디코딩 프로세스에서 상기 현재 블록 이전에 복호화된 복원 블록을 이용하여 유도되는, 기록 매체.