KR20200134302A

KR20200134302A - 이미지 처리 장치 및 방법

Info

Publication number: KR20200134302A
Application number: KR1020207030613A
Authority: KR
Inventors: 막심 보리소비치 시체프; 조지 알렉산드로비치 줄리코브; 티모페이 미카일로비치 솔로브예브; 세르게이 유리예비치 이코닌
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2020-12-01
Anticipated expiration: 2038-03-29
Also published as: MX2020010171A; US11202082B2; CN111903132A; WO2019190342A1; CN111903132B; WO2019190342A8; US20210014511A1; EP3777175A1; KR102435316B1; BR112020019740A2; MY205051A

Abstract

본 발명은 픽셀들(10a-d)의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하기 위한 이미지 처리 장치에 관한 것이다. 이미지 처리 장치는 처리 회로를 포함하고, 처리 회로는: 타겟 픽셀(12a-c)과 연관된 방향 각도 값을 획득하고; 타겟 픽셀(12a-c)에 대해 타겟 픽셀(12a-c)의 위치에 기초하여 픽셀들(10a-d)의 어레이로부터 복수의 일차 보간 지원 픽셀들(10a-d)을 선택하고; 선택된 일차 보간 지원 픽셀들(10a-d)의 픽셀 값들, 방향 각도 값(a, b) 및 타겟 픽셀(12a-c)의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들을 결정하고; 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들 및 타겟 픽셀(12a-c)의 위치에 기초하여 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하도록 구성된다. 이 기법은 다양한 이점들을 제공한다.

Description

이미지 처리 장치 및 방법

일반적으로, 본 발명은 이미지 처리, 특히 비디오 코딩 분야에 관한 것이다. 더 구체적으로, 본 발명은 풀-정수 픽셀들(full-integer pixels)의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들(sub-integer pixels)의 픽셀 값들을 보간하기 위한 이미지 처리 장치 및 방법뿐만 아니라 이러한 이미지 처리 장치를 포함하는 비디오 코딩을 위한 인터-예측 장치(inter-prediction apparatus)에 관한 것이다.

디지털 이미지의 보간, 즉, 풀-정수 픽셀들의 2차원 어레이의 픽셀 값들에 기초한 서브-정수 픽셀들의 픽셀 값들을 예측하는 것은, 비디오 코딩을 위한 이미지 리사이징 또는 인터-예측과 같은 많은 이미지 처리 애플리케이션들에서의 공통 툴이다.

비디오 코딩 분야에서, 예를 들어, 인터 예측을 위해 달성될 수 있는 압축 레벨에 대한 예측 정확도를 향상시키기 위해 서브-정수 픽셀 보간(sub-integer pixel interpolation) 기법들이 개발되었다. 이 경우, 비디오 블록을 코딩하는데 사용되는 모션 보상 동안 생성된 예측 데이터는 서브-정수 픽셀들에 대응할 수 있고, 그 값들은 참조 비디오 프레임 또는 모션 벡터가 참조하는 다른 코딩된 유닛의 비디오 블록들의 전체 픽셀들에 대한 값들로부터 보간될 수 있다. 비디오 인코더는, 예를 들어, 보간 필터들을 지원 픽셀 세트에 적용하는 것에 의해 보간 기법들을 사용하는 서브-정수 픽셀 위치들에 대한 값들, 예를 들어, 풀 정수 픽셀들에 대한 값들을 계산할 수 있다.

오늘날의 표준들 H.264/AVC 및 H.265/HEVC는 1/4 픽셀(pel) 변위 해상도(displacement resolution)에 기초한다. JVET(Joint Video Exploration Team) 그룹은 아핀 변환들(affine transforms)과 같은 비-병진 모션 보상 모델들(non-translational motion compensation models)을 포함하는 포스트-HEVC 비디오 압축 기술들(post-HEVC video compression technologies)을 탐구하고 있다. 분수-픽셀(fractional-pel)(또는 서브-정수) 변위들을 추정하고 보상하기 위해, 참조 이미지의 풀-정수 픽셀들(full-integer pixels)은 분수-픽셀, 즉, 서브-정수 위치들(sub-integer positions)에 보간되어야 한다. 분수-픽셀 위치들에 보간된 이미지를 얻기 위해 보간 필터들이 사용된다. 비-병진 모션 모델들에 대한 보간의 문제는 가변적인 분수-픽셀 변위들이다.

보간된 이미지의 품질은 보간 필터(들)의 속성들에 크게 의존한다. 쇼트-탭 필터들(short-tap filters)(예를 들어, 쌍선형(bilinear))은 고주파수들을 억제하고 보간된 픽처를 흐릿하게 만들 수 있다. 한편, 롱-탭 필터들(long-tap filters)(예를 들어, sinc-기반)은 더 많은 메모리 대역폭을 요구하고, 고주파수들을 보존하지만 날카로운 에지들 부근에서 일부 링잉 아티팩트들(ringing artifacts)을 생성할 수 있다. 다른 고려사항은, 비-병진 모델들의 모션 보상의 경우, 보간 및 예측의 정확도를 감소시킴으로써 복잡도가 감소한다는 것이다.

제안된 JEM 아핀 모션 모델에서는, 지원되는 2가지 타입의 모션: 줌(zoom) 및 회전이 존재한다. 분수-픽셀 위치들의 대부분은 예측 유닛 내에서 비-상수(non-constant)이다. 픽셀들은 보간의 속도를 높이기 위해 서브-블록들로 대체된다. 하나의 서브-블록 내에서, 변위 벡터는 일정하고 병진적이다. 복잡도가 점차 감소되었지만 정확도도 감소되었다. 예측의 품질을 개선하기 위해, 보간 필터들의 양을 증가시킴에 따라 서브-블록들에 대한 모션 벡터 변위의 정밀도를 증가시킴으로써 모션 보상의 정밀도가 개선되었다. 비-병진 모션 모델에 대한 보간 필터링의 현재 정확도는 여전히 향상될 필요가 있다.

통상적으로, 비디오 코딩을 위한 인트라-예측(intra-prediction)을 포함하여, 많은 이미지 처리 애플리케이션에서 쌍선형 보간(bi-linear interpolation)이 사용된다. 쌍선형 보간의 핵심 아이디어는 먼저 한 방향으로 선형 보간을 수행하고 다시 다른 방향으로 선형 보간을 수행하는 것이다. 도 1은 종래의 쌍선형 보간의 예를 도시한다. 제1 스테이지에서, 픽셀들(1a, 1c)의 픽셀 값들 및 픽셀들(1b, 1d)의 픽셀 값들은 각각 서브-정수 픽셀들(1ac 및 1bd)에서 보간된 값들을 획득하기 위해 y-방향으로 보간된다. 제2 스테이지에서, 서브-정수 픽셀들(1ac 및 1bd)의 보간된 값들은 원하는 서브-정수 픽셀(2)에 대한 보간된 픽셀 값을 획득하기 위해 x-방향으로 보간된다. 도 1에 도시된 예에서, 서브-정수 픽셀(2)을 포함하는 복수의 원하는 서브-정수 픽셀들이 직선(3)을 따라 위치한다. 이러한 시나리오들의 경우, 종래의 쌍선형 보간보다 더 양호한 보간 결과들을 제공할 수 있는 보간 방식을 갖는 것이 바람직할 것이다.

따라서, 특히 비디오 코딩을 위한 인터 예측을 위해, 개선된 보간 방식을 구현하는 개선된 이미지 처리 장치 및 방법이 필요하다.

본 발명의 목적은, 특히 비디오 코딩을 위한 인터 예측을 위해, 개선된 보간 방식을 구현하는 개선된 이미지 처리 장치 및 방법을 제공하는 것이다.

전술한 목적 및 다른 목적은 독립 청구항들의 주제(subject matter)에 의해 달성된다. 추가의 구현 형태들이 종속 청구항들, 설명 및 도면들로부터 명백하다.

제1 양태에 따르면, 본 발명은 픽셀들의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여 타겟 픽셀의 보간된 픽셀 값을 결정하기 위한 이미지 처리 장치에 관한 것이다. 이미지 처리 장치는 처리 회로를 포함하고, 처리 회로는: 타겟 픽셀과 연관된 방향 각도 값을 획득하고; 타겟 픽셀에 대해 타겟 픽셀의 위치에 기초하여 픽셀들의 어레이로부터 복수의 일차 보간 지원 픽셀들을 선택하고; 선택된 일차 보간 지원 픽셀들의 픽셀 값들, 방향 각도 값 및 타겟 픽셀의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들을 결정하고; 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들 및 타겟 픽셀의 위치에 기초하여 타겟 픽셀의 보간된 픽셀 값을 결정하도록 구성된다. 구현 형태에서, 픽셀들의 어레이는 풀-정수 픽셀들의 어레이이다. 구현 형태에서, 타겟 픽셀은 서브-정수 픽셀이다.

제1 양태의 추가의 가능한 구현 형태에서, 타겟 픽셀의 복수의 일차 보간 지원 픽셀들은 이전에 보간된 타겟 픽셀의 하나 이상의 일차 보간 지원 픽셀을 포함하고 및/또는 복수의 이차 보간 지원 픽셀들은 이전에 보간된 타겟 픽셀의 하나 이상의 이차 보간 지원 픽셀을 포함한다.

제1 양태의 추가의 가능한 구현 형태에서, 픽셀들의 어레이는 수평 방향 및 수직 방향을 정의하고, 방향 각도 값은 타겟 픽셀을 통과하는 직선과 수평 방향 사이의 예각이다.

제1 양태의 추가의 가능한 구현 형태에서, 처리 회로는 방향 각도 값을 수평 방향과 타겟 픽셀을 통과하고 타겟 픽셀을 보간될 추가 타겟 픽셀과 접속하는 직선 사이의 각도로서 결정하는 것에 의해 방향 각도 값을 획득하도록 구성된다.

제1 양태의 추가의 가능한 구현 형태에서, 방향 각도 값은 0° 내지 45°의 범위에 있고, 제1 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀을 통과하는 직선과 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀을 접속하는 제1 수직선 사이의 교차점에 의해 정의되고, 제2 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀을 통과하는 직선과 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀을 접속하는 제2 수직선 사이의 교차점에 의해 정의된다.

제1 양태의 추가의 가능한 구현 형태에서, 처리 회로는 제1 이차 보간 지원 픽셀의 픽셀 값을 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀의 가중 합(weighted sum) - 가중 합은 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀 각각과 제1 이차 보간 지원 픽셀 사이의 각자의 수직 거리들에 의존함 - 으로서 결정하고, 제2 이차 보간 지원 픽셀의 픽셀 값을 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀의 가중 합 - 가중 합은 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀 각각과 제2 이차 보간 지원 픽셀 사이의 각자의 수직 거리들에 의존함 - 으로서 결정하도록 구성된다.

제1 양태의 추가의 가능한 구현 형태에서, 처리 회로는 타겟 픽셀의 보간된 픽셀 값을 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 가중 합은 제1 이차 보간 지원 픽셀의 위치와 타겟 픽셀의 위치 사이의 수평 거리, 및 제2 이차 보간 지원 픽셀의 위치와 타겟 픽셀의 위치 사이의 수평 거리에 의존한다.

제1 양태의 추가의 가능한 구현 형태에서, 방향 각도 값은 45° 내지 90°의 범위에 있고, 제1 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀을 통과하는 직선과 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀을 접속하는 제1 수평선 사이의 교차점에 의해 정의되고, 제2 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀을 통과하는 직선과 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀을 접속하는 제2 수평선 사이의 교차점에 의해 정의된다.

제1 양태의 추가의 가능한 구현 형태에서, 처리 회로는 제1 이차 보간 지원 픽셀의 픽셀 값을 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀의 가중 합 - 가중 합은 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀 각각과 제1 이차 보간 지원 픽셀 사이의 각자의 수평 거리들에 의존함 - 으로서 결정하고, 제2 이차 보간 지원 픽셀의 픽셀 값을 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀의 가중 합 - 가중 합은 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀 각각과 제2 이차 보간 지원 픽셀 사이의 각자의 수평 거리들에 의존함 - 으로서 결정하도록 구성된다.

제1 양태의 추가의 가능한 구현 형태에서, 처리 회로는 타겟 픽셀의 보간된 픽셀 값을 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 가중 합은 제1 이차 보간 지원 픽셀의 위치와 타겟 픽셀의 위치 사이의 수직 거리, 및 제2 이차 보간 지원 픽셀의 위치와 타겟 픽셀의 위치 사이의 수직 거리에 의존한다.

제1 양태의 추가의 가능한 구현 형태에서, 타겟 픽셀의 위치는 픽셀들의 어레이의 현재 그리드 셀을 정의하고, 복수의 일차 보간 지원 픽셀들은 픽셀들의 어레이의 현재 그리드 셀의 하나 이상의 코너에 위치한 픽셀들의 어레이로부터의 하나 이상의 픽셀을 포함한다.

제1 양태의 추가의 가능한 구현 형태에서, 복수의 일차 보간 지원 픽셀들은 추가 그리드 셀, 특히 현재 그리드 셀의 이웃 그리드 셀의 하나 이상의 코너에 위치한 픽셀들의 어레이로부터의 하나 이상의 픽셀을 추가로 포함한다.

제2 양태에 따르면, 본 발명은 픽셀들의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여 타겟 픽셀의 보간된 픽셀 값을 결정하기 위한 대응하는 이미지 처리 방법에 관한 것이다. 방법은: 타겟 픽셀과 연관된 방향 각도 값을 획득하는 단계; 타겟 픽셀에 대해 방향 각도 값 및 타겟 픽셀의 위치에 기초하여 픽셀들의 어레이로부터 복수의 일차 보간 지원 픽셀들을 선택하는 단계; 선택된 일차 보간 지원 픽셀들의 픽셀 값들, 방향 각도 값 및 타겟 픽셀의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들을 결정하는 단계; 및 복수의 이차 보간 지원 픽셀들의 픽셀 값들 및 타겟 픽셀의 위치, 특히 타겟 픽셀의 수평 또는 수직 위치에 기초하여 타겟 픽셀의 보간된 픽셀 값을 결정하는 단계를 포함한다.

본 발명의 제2 양태에 따른 이미지 처리 방법은 본 발명의 제1 양태에 따른 이미지 처리 장치에 의해 수행될 수 있다. 본 발명의 제2 양태에 따른 이미지 처리 방법의 추가 특징들은, 본 발명의 제1 양태와 전술 및 후술되는 그의 상이한 구현 형태들에 따른 이미지 처리 장치의 기능으로부터 직접적으로 얻어진다.

제3 양태에 따르면, 본 발명은 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 픽셀 값의 인터 예측을 위한 장치에 관한 것이다. 이 장치는 제1 양태에 따른 이미지 처리 장치 및 처리 유닛을 포함한다. 처리 유닛은: 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델(motion compensation model)에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하고; 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하고; 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하도록 구성되고, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및/또는 서브-정수 픽셀을 포함한다. 이미지 처리 장치는 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 픽셀 값, 특히 휘도 값을 결정하도록 구성된다. 처리 유닛은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터(spatial high-pass filter)를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 추가로 구성된다.

제3 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀(half-integer pixel)을 포함한다.

제3 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 포함한다.

제3 양태의 추가의 가능한 구현 형태에서, 공간 고역 통과 필터는 5-탭 필터(5-tap filter) 또는 3-탭 필터(3-tap filter)이다. 구현 형태에서, 5-탭 필터 또는 3-탭 필터는 대칭 필터, 즉, 제1 및 제5/제3 필터 계수들이 동일하고 제2 및 제4 필터 계수들이 동일한 필터이다. 구현 형태에서, 제1 및 제5 필터 계수들은 네거티브(negative)이고, 5-탭 필터의 다른 필터 계수들은 포지티브(positive)이다.

제3 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및 하프-정수 픽셀을 포함하고, 5-탭 필터는 인자 1/32에 의해 정규화될 수 있는 다음의 필터 계수들 (-6, 9, 26, 9,-6)을 갖는다.

제3 양태의 추가의 가능한 구현 형태에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및 하프-정수 픽셀을 포함하고, 5-탭 필터는 인자 1/8에 의해 정규화될 수 있는 다음의 필터 계수들 (-1, 0, 10, 0, -1)을 갖는다. 알 수 있는 바와 같이, 중간 하프-정수 지원 픽셀들이 없는 추가의 가능한 구현 형태에서, 이 필터는 계수들 (-1, 10,-1)을 갖는 3-탭 필터가 된다.

제3 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터 및 현재 풀-정수 픽셀의 이웃하는 풀-정수 및/또는 이웃하는 서브-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성된다.

제3 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터(mean vector)를 결정하는 것에 의해 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 구성된다.

제3 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 추가로 구성된다.

제3 양태의 추가의 가능한 구현 형태에서, 장치의 처리 유닛은, 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델에 기초하여 결정되는 경우, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하고, 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델에 기초하여 결정되는 경우, H.264/AVC 및 H.265/HEVC에 정의된 종래의 방식과 같은 종래의 방식에 기초하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 구성된다.

제3 양태의 추가의 가능한 구현 형태에서, 비-병진 모션 보상 모델은 아핀, 워핑(warping) 및/또는 파노라마(panoramic) 모션 보상 모델이다.

제4 양태에 따르면, 본 발명은 비디오 신호의 현재 이미지를 인코딩하기 위한 인코딩 장치에 관한 것이고, 인코딩 장치는 제3 양태에 따른 인터 예측 장치를 포함한다.

제5 양태에 따르면, 본 발명은 압축된 비디오 신호의 현재 재구성된 이미지를 디코딩하기 위한 디코딩 장치에 관한 것이고, 디코딩 장치는 제3 양태에 따른 인터 예측 장치를 포함한다.

제6 양태에 따르면, 본 발명은 컴퓨터 또는 프로세서 상에서 실행될 때 제2 양태에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 발명의 실시예들은 특히 다음의 이점들을 제공한다. 본 발명의 실시예들은 복잡도를 로우 레벨로 유지하면서 픽셀 단위 정확도(pixel-wise accuracy)로 보간을 수행하는 것을 허용한다. 본 발명의 실시예들은 임의의 종류의 비-병진 이동들(non-translational movements)을 지원한다. 본 발명의 실시예들은 서브-블록 에지들에 걸쳐 블록킹 아티팩트들(blocking artefacts)을 제거하는 것을 허용한다. 본 발명의 실시예들은 메모리 대역폭을 감소시킨다. 본 발명의 실시예들은 필터 계수들의 세트를 저장하기 위한 메모리 요건들을 감소시킨다. 본 발명의 실시예들은 HW 쌍선형 변환(HW bilinear transform)에서 잘 최적화된 재사용을 허용한다. 본 발명의 실시예들은 변환을 따라 필터링의 배향(orientation)을 정렬한다. 본 발명의 실시예들은 보간된 에지들의 품질을 개선하면서 긴 모션 보간 필터(long motion interpolation filter)에 의해 야기되는 링잉 아티팩트들을 감소시키는 것을 허용한다. 본 발명의 실시예들은 재구성된 픽처들에서의 에지들의 주관적 품질(subjective quality)을 증가시키는 것을 허용한다. 또한, 본 발명의 실시예들은 어떠한 추가적인 시그널링도 요구하지 않으며, 따라서 비-병진 이동들을 위한 기존의 보간 방법들을 매끄럽게(seamlessly) 교체할 수 있다. 보간을 2개의 단계로 분할하는 것은 고역 통과 필터링으로부터 분수 오프셋 보상(fractional offset compensation)을 분리하는 것을 허용한다.

본 발명의 추가 실시예들은 이하의 도면들을 참조하여 설명될 것이다.
도 1은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초한 서브-정수 픽셀들의 픽셀 값들의 종래의 쌍선형 보간을 예시하는 개략도를 도시한다.
도 2는 일 실시예에 따른 이미지 처리 장치에서 구현되는 바와 같이 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다.
도 3은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 일 실시예에 따른 이미지 처리 장치를 예시하는 개략도를 도시한다.
도 4는 추가 실시예에 따른 이미지 처리 장치에서 구현되는 바와 같은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다.
도 5는 추가 실시예에 따른 이미지 처리 장치에서 구현되는 바와 같은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다.
도 6은 추가 실시예에 따른 이미지 처리 장치에서 구현되는 바와 같은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다.
도 7은 추가 실시예에 따른 이미지 처리 장치에서 구현되는 바와 같은 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다.
도 8은 일 실시예에 따른 인터 예측 장치를 포함하는 일 실시예에 따른 인코딩 장치를 예시하는 개략도를 도시한다.
도 9는 일 실시예에 따른 인터 예측 장치를 포함하는 일 실시예에 따른 디코딩 장치를 예시하는 개략도를 도시한다.
도 10은 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 양태를 예시하는 개략도를 도시한다.
도 11은 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 상이한 양태들을 예시하는 개략도를 도시한다.
도 12는 일 실시예에 따른 인터 예측 장치에서 구현되는 보간 프로세스의 상이한 양태들을 예시하는 개략도를 도시한다.
도 13은 일 실시예에 따른 인터 예측 방법의 단계들을 예시하는 흐름도를 도시한다.
다양한 도면들에서, 동일한 참조 부호들은 동일하거나 기능적으로 동등한 특징부들에 대해 사용될 것이다.

다음의 설명에서는, 본 개시내용의 일부를 형성하고 본 발명이 배치될 수 있는 특정 양태들이 예시로서 도시되는 첨부 도면들을 참조한다. 본 발명의 범위로부터 벗어남이 없이 다른 양태들이 활용될 수 있고 구조적 또는 논리적 변경들이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 본 발명의 범위는 첨부된 청구항들에 의해 정의되므로, 다음의 상세한 설명은 제한적인 의미로 취급되어서는 안된다.

예를 들어, 설명된 방법과 관련된 개시내용은 또한 그 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 유효할 수 있고, 그 반대의 경우도 마찬가지라는 것을 이해할 것이다. 예를 들어, 특정한 방법 단계가 설명되는 경우, 대응하는 디바이스가, 그러한 유닛이 도면에 명시적으로 설명되거나 예시되지 않더라도, 설명된 방법 단계를 수행하는 유닛을 포함할 수 있다. 또한, 구체적으로 달리 언급되지 않는 한, 본 명세서에 설명된 다양한 예시적인 양태들의 특징들은 서로 조합될 수 있다는 것을 이해할 것이다.

도 2는, 일 실시예에 따른 이미지 처리 장치, 예를 들어, 도 3에 도시된 이미지 처리 장치(20)에서 구현되는 바와 같은 픽셀들, 특히 풀-정수 픽셀들의 어레이의 픽셀 값들에 기초하여 타겟 픽셀들, 특히 서브-정수 픽셀들의 픽셀 값들을 보간하기 위한 방식을 예시하는 개략도를 도시한다. 이미지 처리 장치(20)는 픽셀들, 특히 풀-정수 픽셀들(10a-d)의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여, 타겟, 특히 서브-정수 픽셀(12a)의 보간된 픽셀 값을 결정하기 위한 처리 회로(21)를 포함한다.

아래에 더 상세히 설명되는 바와 같이, 이미지 처리 장치(20)의 처리 회로(21)는: 타겟, 특히 서브-정수 픽셀(12a)과 연관된 방향 각도 값을 획득하고(도 2에서, 방향 각도 값은 타겟 픽셀(12a)을 통과하는 직선(13)과 수평 또는 x-방향 사이의 예각에 의해 정의됨); 타겟 픽셀(12a)에 대해 방향 각도 값 및 서브-정수 픽셀(12a)의 위치에 기초하여 픽셀들의 어레이로부터 복수의 일차 보간 지원 픽셀들(10a-d)을 선택하고; 선택된 일차 보간 지원 픽셀들(10a-d)의 픽셀 값들, 방향 각도 값 및 타겟 픽셀(12a)의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들을 결정하고; 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들 및 타겟 픽셀(12a)의 위치, 특히 타겟 픽셀(12a)의 수평 또는 수직 위치에 기초하여 타겟 픽셀(12a)의 보간된 픽셀 값을 결정하도록 구성된다.

도 2에 도시된 바와 같이, 픽셀들의 어레이는 수평 방향 및 수직 방향을 정의하고, 방향 각도 값은 타겟 픽셀(12a)을 통과하는 직선(13)과 수평 방향 사이의 예각이다.

도 4 내지 도 6을 더 참조하면, 일 실시예에서, 방향 각도 값은 0° 내지 45°의 범위에 있다. 이 경우, 제1 이차 보간 지원 픽셀(11ac)의 위치는 방향 각도 값을 갖는 타겟 픽셀(12)을 통과하는 직선(13)과 일차 보간 지원 픽셀들(10a 및 10c)을 접속하는 제1 수직선 사이의 교차점에 의해 정의된다. 제2 이차 보간 지원 픽셀(11bd)의 위치는 방향 각도 값을 갖는 타겟 픽셀(12)을 통과하는 직선(13)과 다른 2개의 일차 보간 지원 픽셀들(10b 및 10d)을 접속하는 제2 수직선 사이의 교차점에 의해 정의된다.

일 실시예에서, 이미지 처리 장치(20)의 처리 회로(21)는 제1 이차 보간 지원 픽셀(11ac)의 픽셀 값을 2개의 일차 보간 지원 픽셀들(10a 및 10c)의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 가중 합은 2개의 일차 보간 지원 픽셀들(10a 및 10c) 각각과 제1 이차 보간 지원 픽셀(11ac) 사이의 각자의 수직 거리들에 의존한다. 또한, 이미지 처리 장치(20)의 처리 회로(21)는 제2 이차 보간 지원 픽셀(11bd)의 픽셀 값을 다른 2개의 일차 보간 지원 픽셀들(10b 및 10d)의 가중 합으로서 결정하도록 구성되고, 가중 합은 다른 2개의 일차 보간 지원 픽셀들(10b 및 10d) 각각과 제2 이차 보간 지원 픽셀(11bd) 사이의 각자의 수직 거리들에 의존한다.

일 실시예에서, 이미지 처리 장치(20)의 처리 회로(21)는 타겟 픽셀(12)의 보간된 픽셀 값을 제1 및 제2 이차 보간 지원 픽셀(11ac 및 11bd)의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 가중 합은 제1 이차 보간 지원 픽셀(11ac)의 위치와 타겟 픽셀(12)의 위치 사이의 수평 거리(즉, 타겟 픽셀(12)의 위치와 일차 보간 지원 픽셀들(10a 및 10c)을 접속하는 제1 수직선 사이의 최소 거리), 및 제2 이차 보간 지원 픽셀(11)의 위치와 타겟 픽셀(12)의 위치 사이의 수평 거리(즉, 타겟 픽셀(12)의 위치와 일차 보간 지원 픽셀들(10b 및 10d)을 접속하는 제2 수직선 사이의 최소 거리)에 의존한다.

도 2를 참조하고 도 10을 추가로 참조하면, 일 실시예에서, 이미지 처리 장치의 처리 회로(21)는 다음의 수학식에 기초하여 타겟 픽셀(12)의 보간된 픽셀 값(L)을 결정하도록 구성될 수 있다:

L=(1-fdX)*(L0*(1-ldY)+L2*(ldY)+(fdX)*(L1*(1-rdY)+L3*(rdY)),

여기서, 도 10으로부터 알 수 있는 바와 같이, fdx는 타겟 픽셀(12)의 위치 사이의 정규화된 수평 거리를 나타내고, L0, L1, L2 및 L3은 일차 보간 지원 픽셀들(10a, 10b, 10c 및 10d)의 각자의 픽셀 값들을 나타내고, ldY는 제1 이차 보간 지원 픽셀(11ac)과 일차 보간 지원 픽셀(10a) 사이의 정규화된 수직 거리를 나타내고, rdY는 제2 이차 보간 지원 픽셀(11bd)과 일차 보간 지원 픽셀(10b) 사이의 정규화된 수직 거리를 나타낸다.

도 6으로부터 알 수 있는 바와 같이, 방향 각도 값이 45° 내지 90°의 범위에 있는 경우들에 대해, 제1 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀(12)을 통과하는 직선(13)과 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀을 접속하는 제1 수평선 사이의 교차점에 의해 정의된다. 마찬가지로, 제2 이차 보간 지원 픽셀의 위치는 방향 각도 값을 갖는 타겟 픽셀(12)을 통과하는 직선(13)과 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀을 접속하는 제2 수평선 사이의 교차점에 의해 정의된다.

일 실시예에서, 처리 회로(21)는 제1 이차 보간 지원 픽셀의 픽셀 값을 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀(10a 및 10b)의 픽셀 값들의 가중 합 - 가중 합은 2개의 일차 보간 지원 픽셀(10a 및 10b) 각각과 제1 이차 보간 지원 픽셀 사이의 각자의 수평 거리들에 의존함 - 으로서 결정하고, 제2 이차 보간 지원 픽셀의 픽셀 값을 다른 2개의 일차 보간 지원 픽셀(10c 및 10d)의 가중 합 - 가중 합은 다른 2개의 일차 보간 지원 픽셀(10c 및 10d) 각각과 제2 이차 보간 지원 픽셀 사이의 각자의 수평 거리들에 의존함 - 으로서 결정하도록 구성된다.

일 실시예에서, 이미지 처리 장치(20)의 처리 회로(21)는 타겟 픽셀(12)의 보간된 픽셀 값을 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 가중 합은 제1 이차 보간 지원 픽셀의 위치와 타겟 픽셀(12)의 위치 사이의 수직 거리, 및 제2 이차 보간 지원 픽셀의 위치와 타겟 픽셀(12)의 위치 사이의 수직 거리에 의존한다. 본 기술분야의 통상의 기술자에 의해 알 수 있는 바와 같이, 본 명세서에서 언급된 임의의 거리들, 예를 들어, 수평 및/또는 수직 거리들은 정규화된 거리들일 수 있다.

도 2 및 도 4로부터 알 수 있는 바와 같이, 예를 들어, 현재 타겟 픽셀(12)의 위치는 픽셀들의 어레이의 현재 셀(10)을 정의하고, 처리 회로(21)에 의해 선택된 복수의 일차 보간 지원 픽셀들(10a-d)은 픽셀들의 어레이의 현재 셀(10)의 하나 이상의 코너에 위치한 픽셀들의 어레이로부터의 하나 이상의 픽셀을 포함한다. 예를 들어, 도 2에 도시된 현재 타겟 픽셀(12a)의 경우, 처리 회로(21)에 의해 선택된 복수의 일차 보간 지원 픽셀들(10a-d)은 풀-정수 픽셀들의 어레이의 현재 셀(10)의 4개의 코너 픽셀(10a, 10b, 10c 및 10d)을 포함한다.

추가 실시예에서, 복수의 일차 보간 지원 픽셀들은 추가 셀, 특히 현재 셀의 이웃 셀의 하나 이상의 코너에 위치한 픽셀들의 어레이로부터의 하나 이상의 픽셀을 추가로 포함할 수 있다. 예를 들어, 도 2에 도시된 현재 타겟 픽셀(12b)의 경우, 처리 회로(21)에 의해 선택된 복수의 일차 보간 지원 픽셀들은 현재 셀의 코너 픽셀들의 일부뿐만 아니라 이웃 셀들의 코너 픽셀들의 일부를 포함한다. 마찬가지로, 도 5에 도시된 현재 타겟 픽셀(12b)의 경우, 처리 회로(21)에 의해 선택된 복수의 일차 보간 지원 픽셀들은 현재 셀의 코너 픽셀들의 일부뿐만 아니라 이웃 셀들의 코너 픽셀들의 일부, 예를 들어, 이전 처리 단계에서 보간된 픽셀(12a)의 픽셀 값을 결정하기 위해 처리 회로(21)에 의해 사용되었을 수 있는 픽셀들(10a 및 10c)을 포함한다. 일반적으로, 이미지 처리 회로(20)의 처리 회로(21)는 그 위치에 기초하여 현재 타겟 픽셀(12)에 대한 4개의 일차 보간 지원 픽셀을 선택하도록 구성된다.

추가 실시예에서, 타겟 픽셀(12a-c)의 일차 보간 지원 픽셀들(10a-d) 중 하나 이상은 이전에 보간된 타겟 픽셀의 일차 보간 지원 픽셀(들)(10a-d)일 수 있고/있거나, 이차 보간 지원 픽셀들(11ac, 11bd) 중 하나 이상은 이전에 보간된 타겟 픽셀의 이차 보간 지원 픽셀(들)(11ac, 11bd)일 수 있다. 예를 들어, 도 5에 도시된 실시예에서, 이전에 보간된 타겟 픽셀(12a)의 이차 보간 지원 픽셀(11ac)은 또한 현재 보간된 타겟 픽셀(12b)의 이차 보간 지원 픽셀이다. 마찬가지로, 이전에 보간된 타겟 픽셀(12a)의 일차 보간 지원 픽셀들(10a, 10c)은 또한 현재 보간된 타겟 픽셀(12b)의 일차 보간 지원 픽셀들이다.

도 7로부터 수집될 수 있는 바와 같이, 일 실시예에서, 이미지 처리 장치(20)의 처리 회로(21)는 타겟 픽셀을 보간될 추가 타겟 픽셀과 접속하는 직선 및 수평 방향(또는 대안적으로 수직 방향)에 의해 정의된 각도로서 방향 각도 값을 결정하는 것에 의해 방향 각도 값을 획득하도록 구성된다. 추가 타겟 픽셀은 보간될 이전 또는 후속 타겟 픽셀일 수 있다. 예를 들어, 도 7에 도시된 실시예에서, 처리 회로(21)는, 타겟 픽셀(12a)을 추가 타겟 픽셀(12b)과 접속하는 직선에 의해 정의된 각도, 즉, 타겟 픽셀(12a)을 추가 타겟 픽셀(12b)과 접속하는 직선과 수평 방향 사이의 예각으로서 방향 각도 값을 결정하는 것에 의해 타겟 픽셀(12a)과 연관된 방향 각도 값을 획득하도록 구성된다. 마찬가지로, 처리 회로(21)는, 타겟 픽셀(12b)을 추가 타겟 픽셀(12c)과 접속하는 직선에 의해 정의된 각도, 즉, 타겟 픽셀(12b)을 추가 타겟 픽셀(12c)과 접속하는 직선과 수평 방향 사이의 예각으로서 방향 각도 값(b)을 결정하는 것에 의해 타겟 픽셀(12b)과 연관된 방향 각도 값(b)을 획득하도록 구성된다.

도 8은 전술한 실시예들 중 어느 하나에 따른 이미지 처리 장치(20)를 갖는 일 실시예에 따른 인터 예측 장치(144)를 포함하는 일 실시예에 따른 인코딩 장치(100)를 도시한다. 인코딩 장치(100)는 복수의 프레임들(본 명세서에서는 픽처들 또는 이미지들로도 지칭됨)을 포함하는 비디오 신호의 프레임의 블록을 인코딩하도록 구성되며, 여기서 각각의 프레임은 복수의 블록으로 분할가능하고 각각의 블록은 복수의 픽셀을 포함한다. 일 실시예에서, 블록들은 매크로 블록들, 코딩 트리 유닛들(coding tree units), 코딩 유닛들, 예측 유닛들 및/또는 예측 블록들일 수 있다.

도 1에 도시된 예시적인 실시예에서, 인코딩 장치(100)는 하이브리드 비디오 코딩 인코더의 형태로 구현된다. 보통, 비디오 신호의 제1 프레임은 인트라 예측(intra prediction)만을 사용하여 인코딩되는 인트라 프레임(intra frame)이다. 이를 위해, 도 2에 도시된 인코딩 장치(100)의 실시예는 인트라 예측을 위한 인트라 예측 유닛(154)을 추가로 포함한다. 인트라 프레임은 다른 프레임들로부터의 정보 없이 디코딩될 수 있다. 인트라 예측 유닛(154)은 인트라 추정 유닛(152)에 의해 제공되는 정보에 기초하여 블록의 인트라 예측을 수행할 수 있다.

제1 인트라 프레임에 후속하는 후속 프레임들의 블록들은 모드 선택 유닛(160)에 의해 선택되는 바와 같이 인터 또는 인트라 예측을 사용하여 코딩될 수 있다. 일반적으로, 인터 예측 유닛(144)은 이하 더 상세히 설명되는 바와 같이, 모션 추정에 기초하여 블록의 모션 보상을 수행하도록 구성될 수 있다. 실시예에서, 모션 추정은 인코딩 장치의 인터 추정 유닛(142)에 의해 수행될 수 있다. 그러나, 다른 실시예들에서, 인터 추정 유닛(142)의 기능은 인터 예측 유닛(144)의 일부로서 또한 구현될 수 있다.

또한, 도 1에 도시된 하이브리드 인코더 실시예에서, 잔차 계산 유닛(104)이 원래 블록과 그 예측 사이의 차이를 결정하고, 즉, 잔차 블록은 인트라/인터 픽처 예측의 예측 오차를 정의한다. 이 잔차 블록은 (예를 들어, DCT를 사용하여) 변환 유닛(106)에 의해 변환되고 변환 계수들은 양자화 유닛(108)에 의해 양자화된다. 양자화 유닛(108)의 출력뿐만 아니라, 예를 들어, 인터 예측 유닛(144)에 의해 제공되는 코딩 또는 부가 정보는 엔트로피 인코딩 유닛(170)에 의해 추가로 인코딩된다.

도 8에 도시된 인코딩 장치(100)와 같은 하이브리드 비디오 인코더는 보통 디코더 처리를 복제(duplicate)하므로, 둘 다 동일한 예측들을 생성할 것이다. 따라서, 도 8에 도시된 실시예에서, 역양자화 유닛(110) 및 역변환 유닛은 변환 유닛(106) 및 양자화 유닛(108)의 역 동작들을 수행하고 잔차 블록의 디코딩된 근사(approximation)를 복제한다. 이어서 디코딩된 잔차 블록 데이터는 재구성 유닛(114)에 의해 예측의 결과들, 즉, 예측 블록에 추가된다. 그 후, 재구성 유닛(114)의 출력은 인트라 예측을 위해 사용되는 라인 버퍼(116)에 제공될 수 있고, 이미지 아티팩트들을 제거하기 위해 인-루프 필터(120)에 의해 더 처리된다. 최종 픽처는 디코딩된 픽처 버퍼(130)에 저장되고, 후속 프레임들의 인터 예측을 위한 참조 프레임으로서 사용될 수 있다.

도 9는 전술한 실시예들 중 어느 하나에 따른 이미지 처리 장치(20)를 갖는 일 실시예에 따른 인터 예측 장치(244)를 포함하는 일 실시예에 따른 디코딩 장치(200)를 도시한다. 디코딩 장치(200)는 인코딩된 비디오 신호의 프레임의 블록을 디코딩하도록 구성된다. 도 9에 도시된 실시예에서, 디코딩 장치(200)는 하이브리드 디코더로서 구현된다. 엔트로피 디코딩 유닛(204)은 인코딩된 픽처 데이터의 엔트로피 디코딩을 수행하는데, 이는 일반적으로 예측 오차들(즉, 잔차 블록들), 모션 데이터 및 다른 부가 정보를 포함할 수 있으며, 이들은 특히 인터 예측 장치(244) 및 인트라 예측 유닛(254)뿐만 아니라 디코딩 장치(200)의 다른 컴포넌트들에 대해 필요하다. 도 9에 도시된 실시예에서, 도 2에 도시된 디코딩 장치(200)의 인터 예측 장치(244) 또는 인트라 예측 유닛(254)은 모드 선택 유닛(260)에 의해 선택되고 도 1에 도시된 인코딩 장치(100)의 인터 예측 장치(144) 및 인트라 예측 유닛(154)과 동일한 방식으로 기능하므로, 인코딩 장치(100) 및 디코딩 장치(200)에 의해 동일한 예측들이 생성될 수 있다. 디코딩 장치(200)의 재구성 유닛(214)은 역양자화 유닛(210) 및 역변환 유닛(212)에 의해 제공되는 잔차 블록 및 필터링된 예측된 블록에 기초하여 블록을 재구성하도록 구성된다. 인코딩 장치(100)의 경우에서와 같이, 재구성된 블록은 인트라 예측을 위해 사용되는 라인 버퍼(216)에 제공될 수 있고, 필터링된 블록/프레임은 장래의 인터 예측들을 위해 인-루프 필터(220)에 의해 디코딩된 픽처 버퍼(230)에 제공될 수 있다.

장치(144, 244)는 비디오 신호의 현재 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀의 픽셀 값의 인터 예측을 수행하도록 구성된다. 장치(144, 244)는 위에 설명된 실시예들 중 어느 하나에 따른 이미지 처리 장치(20) 및 소프트웨어 및/또는 하드웨어로 구현될 수 있는 처리 유닛을 포함한다. 일 실시예에서, 이미지 처리 장치(20)는 장치(144, 244)의 처리 유닛에 의해 구현될 수 있다. 다른 실시예에서, 장치(144, 244)의 처리 유닛과 이미지 처리 장치(20)는 상이한 물리적 엔티티들이다.

장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 일 실시예에서, 장치(144, 244)의 처리 유닛은 현재 프레임 내의 현재 풀-정수 픽셀에 대응하는 참조 프레임 내의 픽셀의 위치를 결정하는 것에 의해 비디오 신호의 현재 프레임과 참조 프레임에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 일 실시예에서, 장치(144, 244)의 처리 유닛은 채택된 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 모션 벡터를 결정하도록 구성된다. 예를 들어, 병진 또는 아핀 모션 보상 모델의 경우에, 현재 풀-정수 픽셀의 모션 벡터는 현재 풀-정수 픽셀이 속하는 동일한 블록의 픽셀들의 하나 이상의 모션 벡터를 사용하여 결정될 수 있다. 본 명세서에서 사용되는 바와 같이, "모션 보상 모델"은 모션 변환 모델, 모션 모델 기술(motion model description) 등으로도 지칭된다.

장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터에 기초하여 현재 풀-정수 픽셀에 대해 참조 프레임 내의 대응하는 서브-정수 픽셀을 결정하도록 추가로 구성된다.

장치(144, 244)의 처리 유닛은 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하도록 추가로 구성된다. 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및/또는 서브-정수 픽셀을 포함한다.

일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀을 포함한다. 예를 들어, 일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 하프-정수 픽셀들을 포함한다.

일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 포함한다. 예를 들어, 일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 풀-정수 픽셀들을 포함한다. 일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 프레임 내의 현재 풀-정수 픽셀의 위에, 좌측에, 아래에 및 우측에 이웃하는 하프-정수 및/또는 풀-정수 픽셀들을 포함할 수 있다.

장치(144, 244)의 이미지 처리 장치(20)는 전술한 보간 방식들 중 하나에 기초한 참조 프레임 내의 각자의 이웃하는 풀-정수 픽셀들의 보간에 기초하여 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 각자의 픽셀 값들을 결정하도록 구성된다. 도 10은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값을 결정하기 위해 종래의 쌍선형 보간 또는 일 실시예에 따른 이미지 처리 장치(20)에서 구현되는 바와 같은 전술한 보간 방식들 중 하나를 사용하는 예를 도시한다. 도 10에서, 참조 프레임 내의 참조 블록은 현재 프레임의 예시적인 현재 픽셀을 포함하는 현재 블록에 대해 확대 및 회전된다. 더욱이, 도 10은 필터 지원 픽셀들에 대해 사용되는 증가된 해상도를 예시하였다.

장치(144, 244)의 처리 유닛은 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 추가로 구성된다.

일 실시예에서, 공간 고역 통과 필터는 5-탭 필터이다. 일 실시예에서, 5-탭 필터는 대칭 필터, 즉, 제1 및 제5 필터 계수들이 동일하고 제2 및 제4 필터 계수들이 동일한 필터이다. 일 실시예에서, 제1 및 제5 필터 계수들은 네거티브이고, 5-탭 필터의 다른 필터 계수들은 포지티브이다. 일 실시예에서, 공간 고역 통과 필터는 수직 및 수평 방향으로 개별적으로 적용될 수 있다.

일 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 5개의 이웃하는 풀-정수 픽셀 및 하프-정수 픽셀을 포함하고, 5-탭 필터는 인자 1/32에 의해 정규화될 수 있는 주어진 수치 정밀도 내의 다음의 필터 계수들 (-6, 9, 26, 9,-6)을 갖는다.

추가 실시예에서, 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트는 현재 풀-정수 픽셀의 5개의 이웃하는 풀-정수 픽셀 및 하프-정수 픽셀을 포함하고, 5-탭 필터는 인자 1/8에 의해 정규화될 수 있는 주어진 수치 정밀도 내의 다음의 필터 계수들 (-1, 0, 10, 0, -1)을 갖는다. 알 수 있는 바와 같이, 중간 하프-정수 지원 픽셀들이 없는 실시예에서, 이 필터는 3개의 풀-정수 지원 픽셀을 갖고 계수들 (-1, 10,-1)을 갖는 3-탭 필터가 된다.

일 실시예에서, 장치(144, 244)의 처리 유닛은 필터 지원 픽셀들에 기초한 2차원 분리가능 컨볼루션 프로세스에 기초하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 구성된다. 예를 들어, 5-탭 필터의 경우에, 장치(144, 244)의 처리 유닛은 5-탭 필터를 현재 픽셀의 5개의 수평으로 및 수직으로 이웃하는 하프-정수 및 풀-정수 픽셀에 의해 정의된 각각의 수평 및 수직선에 적용하도록 구성된다.

임의의 실시예들에서, 임의의 구현 단계에서의 중간 라운딩 또는 클리핑은 계산 동작들을 위한 입력 범위로서 고정된 비트 수를 유지하기 위해 적용될 수 있다. 예를 들어, (수평 필터링과 같은) 필터링의 임의의 분리가능한 단계 후에, (수직 필터링과 같은) 다음 단계의 필터 계수에 의한 다음의 곱셈에서 사용하기 위해 중간 값들을 정규화하고 16 비트의 정밀도로 라운딩할 수 있다.

도 11은 도 10에 도시된 예에 대해 수직 및 수평 방향으로 5-탭 필터를 사용하여 장치(144, 244)의 처리 유닛에 의해 수행되는 처리 유닛의 상이한 스테이지들을 예시한다. 도 10에 도시된 예에서와 같이, 참조 블록은 현재 블록에 대해 (아핀 변환에 대응하여) 확대 및 회전되고, 현재 프레임에서 수직 및 수평인 5-탭 필터들은 참조 프레임에서 회전된다.

인터 예측 장치(144, 244)의 다음의 추가 실시예들에서는, 인코딩 장치(100) 및 디코딩 장치(200)가 설명될 것이다. 이러한 맥락에서, 인터 예측 장치(144, 244)의 실시예들은 인코딩 장치(100)에서 구현되는 바와 같은 인터 예측 장치(144)의 실시예들뿐만 아니라 디코딩 장치(200)에서 구현되는 바와 같은 인터 예측 장치(244)의 실시예들에 관련된다는 것이 이해될 것이다.

일 실시예에서, 장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터 및 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 현재 프레임 내의 필터 지원 픽셀들의 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성된다. 이를 위해, 실시예에서, 장치(144, 244)의 처리 유닛은 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터를 결정하도록 구성된다. 예를 들어, 현재 프레임 내의 현재 풀-정수 픽셀 위의 하프-정수 픽셀의 모션 벡터를 결정하기 위해, 장치(144, 244)의 처리 유닛은 평균, 즉, 현재 풀-정수 픽셀의 모션 벡터와 현재 풀-정수 픽셀 위의 이웃하는 풀-정수 픽셀의 모션 벡터의 평균을 계산할 수 있다.

현재 픽셀의 모션 벡터의 결정과 유사하게, 장치(144, 244)의 처리 유닛은 비디오 신호의 현재 프레임과 참조 프레임 및/또는 모션 보상 모델에 기초하여 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 구성될 수 있다.

일 실시예에서, 장치(144, 244)의 처리 유닛은, 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델에 기초하여 결정되는 경우, 참조 프레임 내의 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터를 적용하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하고, 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델에 기초하여 결정되는 경우, H.264/AVC 및 H.265/HEVC에 정의된 종래의 방식과 같은 종래의 방식에 기초하여 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 구성된다. 일 실시예에서, 비-병진 모션 보상 모델은 아핀, 워핑 및/또는 파노라마 모션 보상 모델이다.

도 12는 위에서 설명한 본 발명의 실시예들의 몇몇 양태들을 요약한다.

도 13은 픽셀들, 특히 풀-정수 픽셀들(10a-d)의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여, 타겟, 특히 서브-정수 픽셀(12a-c)의 보간된 픽셀 값을 결정하기 위한 방법(1300)의 단계들을 예시하는 흐름도를 도시한다. 방법(1300)은: 타겟 픽셀(12a-c)과 연관된 방향 각도 값(a, b)을 획득하는 단계(1301); 타겟 픽셀(12a-c)에 대해 방향 각도 값(a, b) 및 타겟 픽셀(12a-c)의 위치에 기초하여 픽셀들(10a-d)의 어레이로부터 복수의 일차 보간 지원 픽셀들(10a-d)을 선택하는 단계(1303); 선택된 일차 보간 지원 픽셀들(10a-d)의 픽셀 값들, 방향 각도 값(a, b) 및 타겟 픽셀(12a-c)의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들을 결정하는 단계(1305); 및 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들 및 서브-정수 픽셀(12a-c)의 위치, 특히 타겟 픽셀(12a-c)의 수평 또는 수직 위치에 기초하여 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하는 단계(1307)를 포함한다.

전술한 보간 방식은 픽셀 값들 이외의 데이터의 보간에 대해서도 구현될 수 있다.

따라서, 본 발명에 따른 보간 방식은 다차원, 특히 2차원 어레이의 샘플들, 특히 풀-정수 샘플들 또는 데이터 포인트들의 복수의 샘플 값들에 기초하여, 타겟 샘플, 특히 서브-정수 타겟 샘플의 보간된 샘플 값을 결정하기 위해 데이터 처리 장치에서 구현될 수 있고, 데이터 처리 장치는 처리 회로를 포함하고, 처리 회로는: 타겟 샘플과 연관된 방향 각도 값을 획득하고; 타겟 샘플에 대해 방향 각도 값 및 타겟 샘플의 위치에 기초하여 샘플들의 어레이로부터 복수의 일차 보간 지원 샘플들을 선택하고; 선택된 보간된 지원 샘플들의 샘플 값들, 방향 각도 값 및 타겟 샘플의 위치에 기초하여 복수의 이차 보간 지원 샘플들의 샘플 값들을 결정하고; 복수의 이차 보간 지원 샘플들의 샘플 값들 및 타겟 샘플의 위치, 특히 타겟 샘플의 수평 또는 수직 위치에 기초하여 타겟 샘플의 보간된 샘플 값을 결정하도록 구성된다.

본 개시내용의 특정한 특징 또는 양태가 몇몇 구현들 또는 실시예들 중 하나에 대해서만 개시되었을 수 있지만, 이러한 특징 또는 양태는 임의의 주어진 또는 특정한 응용에 바람직하고 유리할 수 있는 바와 같은 다른 구현들 또는 실시예들의 하나 이상의 다른 특징 또는 양태와 조합될 수 있다. 또한, "포함하다(include)", "갖다(have)", "갖는(with)"이라는 용어들 또는 그 다른 변형들이 상세한 설명 또는 청구항들에서 사용되는 한, 그러한 용어들은 "포함하다(comprise)"라는 용어와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, "예시적인", "예를 들어" 및 "예컨대"라는 용어들은 최선 또는 최적이라기보다 오히려 단지 예로서 의미된다. "결합된(coupled)" 및 "접속된(connected)"이라는 용어들은 파생어들과 함께 사용될 수 있다. 이러한 용어들은 직접 물리적 또는 전기적 접촉하고 있는지 또는 서로 직접 접촉하고 있지 않은지에 관계없이 2개의 요소가 서로 협력하거나 상호작용하는 것을 나타내기 위해 사용되었을 수 있다는 것을 이해해야 한다.

본 명세서에서 특정 양태들이 예시 및 설명되었지만, 본 기술분야의 통상의 기술자는, 본 개시내용의 범위로부터 벗어남이 없이 도시 및 설명된 특정 양태들에 대해 다양한 대안 및/또는 동등 구현들이 대체될 수 있다는 것을 알 것이다. 본 출원은 본 명세서에서 논의되는 특정 양태들의 임의의 적응들 또는 변형들을 커버하도록 의도된다.

다음의 청구항들에서의 요소들은 대응하는 라벨링에 의해 특정 시퀀스로 열거되지만, 청구항 열거들이 이들 요소들의 일부 또는 전부를 구현하기 위한 특정 시퀀스를 달리 암시하지 않는 한, 이들 요소들은 반드시 그 특정 시퀀스로 구현되는 것으로 제한되도록 의도된 것은 아니다.

위의 교시들에 비추어 많은 대안들, 수정들, 및 변형들이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 물론, 본 기술분야의 통상의 기술자들은 본 명세서에 설명된 것들 이외에 본 발명의 다수의 응용이 있다는 것을 쉽게 인식한다. 본 발명이 하나 이상의 특정 실시예를 참조로 설명되었지만, 본 기술분야의 통상의 기술자들은 본 발명의 범위로부터 벗어나지 않고 그에 대한 많은 변경들이 만들어질 수 있다는 것을 인식한다. 따라서, 첨부된 청구항들 및 그 등가물들의 범위 내에서, 본 발명은 본 명세서에 구체적으로 설명된 것과 다르게 실시될 수 있다는 것을 이해할 것이다.

Claims

픽셀들(10a-d)의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하기 위한 이미지 처리 장치(20)로서,
상기 이미지 처리 장치(20)는 처리 회로(21)를 포함하고,
상기 처리 회로는:
상기 타겟 픽셀(12a-c)과 연관된 방향 각도 값(direction angle value)(a, b)을 획득하고;
상기 타겟 픽셀(12a-c)에 대해 상기 타겟 픽셀(12a-c)의 위치에 기초하여 상기 픽셀들(10a-d)의 어레이로부터 복수의 일차 보간 지원 픽셀들(primary interpolation support pixels)(10a-d)을 선택하고;
상기 선택된 일차 보간 지원 픽셀들(10a-d)의 픽셀 값들, 상기 방향 각도 값(a, b) 및 상기 타겟 픽셀(12a-c)의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀(secondary interpolation support pixel)(11ac, 11bd)의 픽셀 값들을 결정하고;
상기 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들 및 상기 타겟 픽셀(12a-c)의 위치에 기초하여 상기 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하도록 구성되는, 이미지 처리 장치(20).
제1항에 있어서, 상기 타겟 픽셀(12a-c)의 상기 복수의 일차 보간 지원 픽셀들(10a-d)은 이전에 보간된 타겟 픽셀의 하나 이상의 일차 보간 지원 픽셀(10a-d)을 포함하고 및/또는 상기 복수의 이차 보간 지원 픽셀들(11ac, 11bd)은 이전에 보간된 타겟 픽셀의 하나 이상의 이차 보간 지원 픽셀(11ac, 11bd)을 포함하는, 이미지 처리 장치(20).
제1항 또는 제2항에 있어서, 상기 픽셀들(10a-d)의 어레이는 수평 방향 및 수직 방향을 정의하고, 상기 방향 각도 값(a, b)은 상기 타겟 픽셀(12a-c)을 통과하는 직선과 상기 수평 방향 사이의 예각인, 이미지 처리 장치(20).
제3항에 있어서, 상기 처리 회로(21)는 상기 방향 각도 값(a, b)을 상기 수평 방향과 상기 타겟 픽셀(12a-c)을 통과하고 상기 타겟 픽셀(12a-c)을 보간될 추가 타겟 픽셀(12a-c)과 접속하는 직선 사이에 정의된 각도로서 결정하는 것에 의해 상기 방향 각도 값(a, b)을 획득하도록 구성되는, 이미지 처리 장치(20).
제3항 또는 제4항에 있어서, 상기 방향 각도 값(a, b)은 0° 내지 45°의 범위에 있고, 상기 제1 이차 보간 지원 픽셀(11ac)의 위치는 상기 방향 각도 값(a, b)을 갖는 상기 타겟 픽셀(12a-c)을 통과하는 직선과 상기 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀(10a, c)을 접속하는 제1 수직선 사이의 교차점에 의해 정의되고, 상기 제2 이차 보간 지원 픽셀(11bd)의 위치는 상기 방향 각도 값(a, b)을 갖는 상기 타겟 픽셀(12a-c)을 통과하는 직선과 상기 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀(10b, d)을 접속하는 제2 수직선 사이의 교차점에 의해 정의되는, 이미지 처리 장치(20).
제5항에 있어서, 상기 처리 회로(21)는 상기 제1 이차 보간 지원 픽셀(11ac)의 픽셀 값을 상기 복수의 일차 보간 지원 픽셀들 중 상기 2개의 일차 보간 지원 픽셀(10a, c)의 가중 합(weighted sum) - 상기 가중 합은 상기 복수의 일차 보간 지원 픽셀들 중 상기 2개의 일차 보간 지원 픽셀(10a, c) 각각과 상기 제1 이차 보간 지원 픽셀(11ac) 사이의 각자의 수직 거리들에 의존함 - 으로서 결정하고, 상기 제2 이차 보간 지원 픽셀(11bd)의 픽셀 값을 상기 복수의 일차 보간 지원 픽셀들 중 상기 다른 2개의 일차 보간 지원 픽셀(10b, d)의 가중 합 - 상기 가중 합은 상기 복수의 일차 보간 지원 픽셀들 중 상기 다른 2개의 일차 보간 지원 픽셀(10b, d) 각각과 상기 제2 이차 보간 지원 픽셀(11bd) 사이의 각자의 수직 거리들에 의존함 - 으로서 결정하도록 구성되는, 이미지 처리 장치(20).
제5항 또는 제6항에 있어서, 상기 처리 회로(21)는 상기 타겟 픽셀(12a-c)의 상기 보간된 픽셀 값을 상기 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 상기 가중 합은 상기 제1 이차 보간 지원 픽셀(11ac)의 위치와 상기 타겟 픽셀 (12a-c)의 위치 사이의 수평 거리, 및 상기 제2 이차 보간 지원 픽셀(11bd)의 위치와 상기 타겟 픽셀 (12a-c)의 위치 사이의 수평 거리에 의존하는, 이미지 처리 장치(20).
제3항 또는 제4항에 있어서, 상기 방향 각도 값(a, b)은 45° 내지 90°의 범위에 있고, 상기 제1 이차 보간 지원 픽셀의 위치는 상기 방향 각도 값(a, b)을 갖는 상기 타겟 픽셀(12a-c)을 통과하는 직선과 상기 복수의 일차 보간 지원 픽셀들 중 2개의 일차 보간 지원 픽셀(10a, b)을 접속하는 제1 수평선 사이의 교차점에 의해 정의되고, 상기 제2 이차 보간 지원 픽셀의 위치는 상기 방향 각도 값(a, b)을 갖는 상기 타겟 픽셀(12a-c)을 통과하는 직선과 상기 복수의 일차 보간 지원 픽셀들 중 다른 2개의 일차 보간 지원 픽셀(10c, d)을 접속하는 제2 수평선 사이의 교차점에 의해 정의되는, 이미지 처리 장치(20).
제8항에 있어서, 상기 처리 회로(21)는 상기 제1 이차 보간 지원 픽셀의 픽셀 값을 상기 복수의 일차 보간 지원 픽셀들 중 상기 2개의 일차 보간 지원 픽셀(10a, b)의 가중 합 - 상기 가중 합은 상기 복수의 일차 보간 지원 픽셀들 중 상기 2개의 일차 보간 지원 픽셀(10a, b) 각각과 상기 제1 이차 보간 지원 픽셀 사이의 각자의 수직 거리들에 의존함 - 으로서 결정하고, 상기 제2 이차 보간 지원 픽셀의 픽셀 값을 상기 복수의 일차 보간 지원 픽셀들 중 상기 다른 2개의 일차 보간 지원 픽셀(10c, d)의 가중 합 - 상기 가중 합은 상기 복수의 일차 보간 지원 픽셀들 중 상기 다른 2개의 일차 보간 지원 픽셀(10c, d) 각각과 상기 제2 이차 보간 지원 픽셀 사이의 각자의 수평 거리들에 의존함 - 으로서 결정하도록 구성되는, 이미지 처리 장치(20).
제8항 또는 제9항에 있어서, 상기 처리 회로(21)는 상기 타겟 픽셀(12a-c)의 상기 보간된 픽셀 값을 상기 제1 및 제2 이차 보간 지원 픽셀의 픽셀 값들의 가중 합으로서 결정하도록 구성되고, 상기 가중 합은 상기 제1 이차 보간 지원 픽셀의 위치와 상기 타겟 픽셀(12a-c)의 위치 사이의 수직 거리, 및 상기 제2 이차 보간 지원 픽셀의 위치와 상기 타겟 픽셀(12a-c)의 위치 사이의 수직 거리에 의존하는, 이미지 처리 장치(20).
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 타겟 픽셀(12a-c)의 위치는 상기 픽셀들(10a-d)의 어레이의 현재 셀(10)을 정의하고, 상기 복수의 일차 보간 지원 픽셀들(10a-d)은 상기 픽셀들(10a-d)의 어레이의 상기 현재 셀(10)의 하나 이상의 코너에 위치한 상기 픽셀들(10a-d)의 어레이로부터의 하나 이상의 픽셀을 포함하는, 이미지 처리 장치(20).
제11항에 있어서, 상기 복수의 일차 보간 지원 픽셀들(10a-d)은 추가 셀, 특히 상기 현재 셀(10)의 이웃 셀의 하나 이상의 코너에 위치한 상기 픽셀들(10a-d)의 어레이로부터의 하나 이상의 픽셀을 추가로 포함하는, 이미지 처리 장치(20).
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 처리 회로(21)는 중간 라운딩 연산(intermediate rounding operation)을 적용하도록 추가로 구성되는, 이미지 처리 장치(20).
픽셀들(10a-d)의 어레이의 복수의 픽셀 값들을 정의하는 이미지에 기초하여 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하기 위한 방법(1300)으로서, 상기 방법(1300)은:
상기 타겟 픽셀(12a-c)과 연관된 방향 각도 값(a, b)을 획득하는 단계(1301);
상기 타겟 픽셀(12a-c)에 대해 상기 타겟 픽셀(12a-c)의 위치에 기초하여 상기 픽셀들(10a-d)의 어레이로부터 복수의 일차 보간 지원 픽셀들(10a-d)을 선택하는 단계(1303);
상기 선택된 일차 보간 지원 픽셀들(10a-d)의 픽셀 값들, 상기 방향 각도 값(a, b) 및 상기 타겟 픽셀(12a-c)의 위치에 기초하여 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들을 결정하는 단계(1305); 및
상기 제1 및 제2 이차 보간 지원 픽셀(11ac, 11bd)의 픽셀 값들 및 상기 타겟 픽셀(12a-c)의 위치에 기초하여 상기 타겟 픽셀(12a-c)의 보간된 픽셀 값을 결정하는 단계(1307)
를 포함하는, 방법(1300).
비디오 신호의 현재 이미지 프레임의 현재 블록의 복수의 픽셀들 중 현재 풀-정수 픽셀(full-integer pixel)의 픽셀 값의 인터 예측(inter prediction)을 위한 장치(144, 244)로서,
상기 장치(144, 244)는 처리 유닛을 포함하고,
상기 처리 유닛은:
상기 비디오 신호의 상기 현재 프레임과 참조 프레임 및/또는 모션 보상 모델(motion compensation model)에 기초하여 상기 현재 풀-정수 픽셀의 모션 벡터를 결정하고;
상기 현재 풀-정수 픽셀의 상기 모션 벡터에 기초하여 상기 현재 풀-정수 픽셀에 대해 상기 참조 프레임 내의 대응하는 서브-정수 픽셀(sub-integer pixel)을 결정하고;
상기 현재 프레임 내의 미리 정의된 필터 지원 픽셀 세트에 기초하여 상기 참조 프레임 내의 대응하는 필터 지원 픽셀 세트를 생성하도록 구성되고, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및/또는 서브-정수 픽셀을 포함하고;
상기 장치(144, 244)는 제1항 내지 제13항 중 어느 한 항의 이미지 처리 장치(20)를 추가로 포함하고, 상기 이미지 처리 장치(20)는 상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀 및 상기 대응하는 필터 지원 픽셀들의 각자의 보간된 픽셀 값을 결정하도록 구성되고;
상기 처리 유닛은 상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 상기 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터(spatial high-pass filter)를 적용하여 상기 현재 프레임 내의 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 추가로 구성되는, 장치(144, 244).
제15항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 프레임 내의 상기 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 하프-정수 픽셀(half-integer pixel)을 포함하는, 장치(144, 244).
제15항 또는 제16항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 프레임 내의 상기 현재 풀-정수 픽셀의 하나 이상의 수직으로 및/또는 수평으로 이웃하는 풀-정수 픽셀을 포함하는, 장치(144, 244).
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 공간 고역 통과 필터는 5-탭 또는 3-탭 필터인, 장치(144, 244).
제18항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및 하프-정수 픽셀을 포함하고, 상기 5-탭 필터는 다음의 필터 계수들 (-6, 9, 26, 9, -6)을 갖는, 장치(144, 244).
제18항에 있어서, 상기 현재 프레임 내의 상기 미리 정의된 필터 지원 픽셀 세트는 상기 현재 풀-정수 픽셀의 하나 이상의 이웃하는 풀-정수 픽셀 및/또는 하프-정수 픽셀을 포함하고, 상기 5-탭 필터는 다음의 필터 계수들 (-1, 0, 10, 0, -1)을 갖거나 또는 상기 3-탭 필터는 다음의 필터 계수들 (-1, 10, -1)을 갖는, 장치(144, 244).
제15항 내지 제20항 중 어느 한 항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 현재 풀-정수 픽셀의 모션 벡터 및 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 또는 하프-정수 픽셀들의 하나 이상의 모션 벡터에 기초하여 상기 현재 프레임 내의 상기 필터 지원 픽셀들의 상기 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 추가로 구성되는, 장치(144, 244).
제21항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 현재 풀-정수 픽셀의 모션 벡터와 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터의 평균 벡터(mean vector)를 결정하는 것에 의해 상기 현재 프레임 내의 상기 필터 지원 픽셀들의 상기 서브-정수 픽셀들 각각의 각자의 모션 벡터를 결정하도록 구성되는, 장치(144, 244).
제21항 또는 제22항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은 상기 비디오 신호의 상기 현재 프레임과 상기 참조 프레임 및/또는 모션 보상 모델에 기초하여 상기 현재 풀-정수 픽셀의 이웃하는 풀-정수 픽셀들의 하나 이상의 모션 벡터를 결정하도록 추가로 구성되는, 장치(144, 244).
제15항 내지 제23항 중 어느 한 항에 있어서, 상기 장치(144, 244)의 상기 처리 유닛은, 상기 현재 풀-정수 픽셀의 모션 벡터가 비-병진 모션 보상 모델(non-translational motion compensation model)에 기초하여 결정되는 경우, 상기 참조 프레임 내의 상기 현재 풀-정수 픽셀의 대응하는 서브-정수 픽셀의 픽셀 값에 그리고 상기 참조 프레임 내의 대응하는 필터 지원 픽셀들의 픽셀 값들에 공간 고역 통과 필터를 적용하여 상기 현재 프레임 내의 상기 현재 픽셀의 인터 예측된 픽셀 값을 결정하고, 상기 현재 풀-정수 픽셀의 모션 벡터가 병진 모션 보상 모델(translational motion compensation model)에 기초하여 결정되는 경우, 종래의 방식에 기초하여 상기 현재 프레임 내의 상기 현재 픽셀의 인터 예측된 픽셀 값을 결정하도록 구성되는, 장치(144, 244).
제24항에 있어서, 상기 비-병진 모션 보상 모델은 아핀(affine), 워핑(warping) 및/또는 파노라마(panoramic) 모션 보상 모델인, 장치(144, 244).
비디오 신호의 현재 이미지를 인코딩하기 위한 인코딩 장치(100)로서, 상기 인코딩 장치(100)는 제15항 내지 제25항 중 어느 한 항에 따른 인터 예측 장치(144)를 포함하는, 인코딩 장치(100).
압축된 비디오 신호의 현재 재구성된 이미지를 디코딩하기 위한 디코딩 장치(200)로서, 상기 디코딩 장치(200)는 제15항 내지 제25항 중 어느 한 항에 따른 인터 예측 장치(244)를 포함하는, 디코딩 장치(200).
컴퓨터 또는 프로세서 상에서 실행될 때 제14항의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.