[go: up one dir, main page]

KR101403343B1 - 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치 - Google Patents

부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치 Download PDF

Info

Publication number
KR101403343B1
KR101403343B1 KR1020070129904A KR20070129904A KR101403343B1 KR 101403343 B1 KR101403343 B1 KR 101403343B1 KR 1020070129904 A KR1020070129904 A KR 1020070129904A KR 20070129904 A KR20070129904 A KR 20070129904A KR 101403343 B1 KR101403343 B1 KR 101403343B1
Authority
KR
South Korea
Prior art keywords
motion vector
block
reference block
pixels
pixel unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070129904A
Other languages
English (en)
Other versions
KR20090034697A (ko
Inventor
이태미
한우진
박선미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/211,438 priority Critical patent/US8503532B2/en
Priority to CN2008801102541A priority patent/CN101816183B/zh
Priority to PCT/KR2008/005680 priority patent/WO2009045021A2/en
Priority to EP08836732A priority patent/EP2198622A4/en
Priority to JP2010527879A priority patent/JP5385291B2/ja
Publication of KR20090034697A publication Critical patent/KR20090034697A/ko
Application granted granted Critical
Publication of KR101403343B1 publication Critical patent/KR101403343B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상의 인터 예측 부호화, 복호화 방법 및 장치에 관한 것으로, 본 발명에 따른 영상의 인터 예측 부호화 방법은 현재 블록을 이용해 참조 픽처에서 제1 화소 단위의 제1 움직임 벡터를 추정하고, 추정된 제1 움직임 벡터에 따른 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하여 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하고, 결정된 제2 참조 블록에 기초하여 현재 블록을 부호화함으로써, 보다 정확한 정밀도로 움직임 벡터를 추정함과 동시에 정밀도가 높은 움직임 벡터의 부호화에 소모되는 비트 수를 줄일 수 있어 영상 부호화의 압축률을 향상시킬 수 있다.
Figure R1020070129904
인터, 예측, 움직임 벡터, 부화소, 정밀도

Description

부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화 방법 및 장치{Method and apparatus for inter prediction encoding/decoding using sub-pixel motion estimation}
본 발명은 영상의 인터 예측 부호화 방법 및 장치에 관한 것으로 보다 상세히는 높은 정밀도의 부화소를 이용하여 인터 예측을 수행하고, 예측 결과에 기초하여 영상을 부호화, 복호화하는 방법 및 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그런 다음, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화한다.
인터 예측은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 움직임 추정 부호화가 대표적인 예이다. 움직임 추정 부호화는 하나 이상의 참조 픽처를 이용하여 현재 픽처에 포함된 블록들 각각의 움직임 추정한다. 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 참조 블록을 하나 이상의 참조 픽처의 정해진 검색 범위에서 검색한다.
현재 블록과 참조 픽처에 포함되어 있는 블록 사이의 SAD(Sum of Absolute Difference)를 계산하여 SAD가 가장 작은 블록을 현재 블록의 참조 블록으로 결정한다. 결정된 참조 블록은 현재 블록의 예측 블록이 된다. 현재 블록에서 예측 블록을 감산하여 현재 블록의 레지듀얼 블록(residual block)을 생성하고, 생성된 레지듀얼 블록만 부호화하여 영상 부호화의 압축률을 높인다. 부호화되는 블록의 단위는 16×16, 8×16, 16×8, 8×8, 4×4 등 다양한 크기의 블록을 사용할 수 있다.
레지듀얼 블록만을 부호화하기 때문에 예측 블록이 보다 정확하면 할수록 현재 블록을 보다 효율적으로 압축할 수 있다. 따라서, 현재 블록과 보다 유사한 참조 블록을 검색할 수 있다면, 현재 블록을 보다 높은 압축률로 부호화할 수 있다.
이를 위해 H.264/AVC에 따르면, 참조 픽처에 대하여 보간을 수행하여 정수 화소 단위(integer pel unit)보다 작은 화소 단위의 부화소들을 생성하고, 생성된 부화소에 기초하여 정밀도 높은 움직임 추정을 수행한다. 도 1을 참조하여 상세히 설명한다.
도 1은 종래 기술에 따른 보간을 수행하는 방법을 도시한다.
도 1을 참조하면, 6탭 FIR 필터(Finite Impulse Response filter)를 이용해 보간을 수행하여 1/2 화소 단위의 부화소들(a 내지 l)을 생성한다. 세로 방향의 1/2 부화소들을 살펴보면, A1, A2, A3, A4, A5 및 A6을 이용해 보간을 수행하여 부화소 a를 생성하고, B1, B2, B3, B4, B5 및 B6를 이용해 보간을 수행하여 부화소 b를 생성한다. 동일한 방법으로 부화소 c, d, e 및 f를 생성한다.
세로 방향의 부화소들의 화소 값들은 다음과 같이 계산된다. 예를 들어, a=(A1-5×A2+20×A3+20×A4-5×A5+A6)/32, b=(B1-5×B2+20×B3+20×B4-5×B5+B6)/32 와 같이 계산될 수 있다. 부화소 c, d, e 및 f의 화소 값들도 동일한 방법에 의해 계산된다.
세로 방향의 부화소와 마찬가지로 가로 방향의 부화소들도 6탭 FIR 필터를 이용해 보간을 수행하여 생성한다. A1, B1, C1, D1, E1 및 F1을 이용해 부화소 g를 생성하고, A2, B2, C2, D2, E2 및 F2를 이용해 부화소 h를 생성한다.
가로 방향의 부화소들의 화소 값도 세로 방향의 부화소들의 화소 값과 동일한 방법에 의해 계산된다. 예를 들어, g=(A1-5×B1+20×C1+20×D1-5×E1+F1)/32와 같이 계산할 수 있다.
대각 방향의 1/2 화소 단위 부화소 m은 다른 1/2 화소 단위 부화소를 이용하여 보간한다. 다시 말해, 부화소 m의 화소 값은 m=(a-5×b+20×c+20×d-5×e+f)/32와 같이 계산된다.
1/2 화소 단위의 부화소들을 생성하면, 정수 화소 단위의 화소의 화소들과 1/2 화소 단위의 부화소들을 이용하여 1/4 화소 단위의 부화소들을 생성할 수 있다. 인접한 2개 화소들을 이용해 선형 보간을 수행하여 1/4 화소 단위의 부화소들을 생성한다.
예를 들어, 1/4 화소 단위의 부화소 n은 정수 화소 단위의 화소인 C3와 1/2 화소 단위의 부화소인 c를 이용해 선형 보간을 수행하여 생성한다. 다시 말해, 부화소 n의 화소값은 n=(C3+c)/2와 같이 계산된다. 또 다른 1/4 화소 단위의 부화소 o의 화소값은 1/2 화소 단위의 부화소인 c 및 1/2 화소 단위의 부화소인 m을 이용 해 선형 보간을 수행하여 생성한다. 따라서, 부화소 o의 화소값은 o=(c+m)/2와 같이 계산된다. 대각 방향의 1/4 화소 단위의 부화소 p는 대각선 방향의 선형 보간을 이용하여 보간한다. 부화소 p의 화소값은 p=(d+j)/2와 같이 계산된다.
도 1에 도시된 바와 같이 참조 픽처에 대하여 보간을 수행하여 1/2 화소 단위의 부화소들 및 1/4 화소 단위의 부화소들이 생성되면, 보간된 참조 픽처와 현재 블록을 비교하여 SAD가 최소인 블록을 1/4 화소 단위로 검색한다. 따라서, 1/4 화소 단위의 움직임 벡터가 추정된다.
1/4 화소 단위의 움직임 벡터를 부호화하기 위해서는 정수 화소 단위의 움직임 벡터에 비하여 많은 비트가 소모되나, 1/4 화소 단위의 정확한 인터 예측을 수행할 수 있게되어, 레지듀얼 블록을 부호화하는데 소모되는 비트의 수를 줄일 수 있다.
그러나, 1/4 화소 단위보다 더 작은 화소 단위 예를 들어, 1/8 화소 단위로 보간을 수행하여 부화소들을 생성하고, 이에 기초하여 1/8 화소 단위의 움직임 벡터를 추정하면, 움직임 벡터의 부호화에 너무 많은 비트가 소모되어 오히려 부호화의 압축률이 저하될 수 있다. 따라서, 보다 작은 화소 단위의 움직임 벡터를 보다 효율적으로 부호화할 수 있는 방법 및 장치가 필요하다.
본 발명이 해결하고자 하는 과제는 움직임 벡터의 부호화에 소모되는 비트 수를 최소화하면서, 보다 작은 화소 단위의 움직임 벡터를 추정하여 현재 블록을 인터 예측 부호화하는 방법 및 장치를 제공함에 있고, 상기 인터 예측 부호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공함에 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 인터 예측 부호화 방법은 현재 블록을 이용해 참조 픽처에서 제1 참조 블록을 검색하고, 상기 제1 참조 블록에 대한 제1 화소 단위의 제1 움직임 벡터를 추정하는 단계; 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하고, 상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계; 및 상기 제1 움직임 벡터 및 상기 제2 참조 블록에 기초하여 상기 현재 블록을 부호화하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 제2 참조 블록을 결정하는 단계는 보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하는 단계; 상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화소들을 상기 현재 블록에 인접한 화소들과 비교하는 단계; 상기 비교 결과에 기초하 여 상기 제2 움직임 벡터를 추정하는 단계; 및 상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 인터 예측 복호화 방법은 현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 상기 수신된 비트스트림으로부터 상기 현재 블록의 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출하는 단계; 상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하고, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계; 및 상기 결정된 제2 참조 블록 및 상기 레지듀얼 블록에 기초하여 상기 현재 블록을 복원하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 제2 참조 블록을 생성하는 단계는 상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하는 단계; 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하는 단계; 및 상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 제2 움직임 벡터를 추정하는 단계는 보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하는 단계; 상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화 소들을 상기 현재 블록에 인접한 화소들과 비교하는 단계; 상기 비교 결과에 기초하여 상기 제2 움직임 벡터를 추정하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 인터 예측 부호화 장치는 현재 블록을 이용해 참조 픽처에서 제1 참조 블록을 검색하고, 상기 제1 참조 블록에 대한 제1 화소 단위의 제1 움직임 벡터를 추정하는 제1움직임추정부; 상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하는 제2움직임추정부; 상기 제2 움직임 벡터에 기초하여 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 움직임보상부; 및 상기 제1 움직임 벡터 및 상기 제2 참조 블록에 기초하여 상기 현재 블록을 부호화하는 부호화부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 인터 예측 복호화 장치는 현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 상기 수신된 비트스트림으로부터 상기 현재 블록의 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출하는 복호화부; 상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하고, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 움직임보상부; 및 상기 결정된 제2 참조 블록 및 상기 레지듀얼 블록에 기초하여 상기 현재 블록을 복원하는 복원부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명은 상기된 인터 예측 부호화, 복 호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 작은 화소 단위의 정밀한 움직임 벡터를 부호화하는데 소모되는 비트 수을 줄일 수 있어 영상 부호화의 압축률을 향상시킬 수 있다.
또한, 본 발명에 따르면, 정밀한 움직임 벡터를 이용하여 인터 예측을 수행함으로써 보다 정확한 인터 예측이 가능해져 레지듀얼 블록의 부호화에 소모되는 비트 수를 줄일 수 있어 영상 부호화의 압축률을 향상시킬 수 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상의 인터 예측 부호화 장치(200)를 도시한다.
도 2를 참조하면, 본 발명에 따른 영상의 인터 예측 부호화 장치(200)는 제1움직임추정부(210), 제2움직임추정부(220), 움직임보상부(230) 및 부호화부(240)을 포함한다.
제1움직임추정부(210)는 현재 블록을 이용해 참조 픽처를 검색하여 제1 참조 블록을 결정하고, 제1 화소 단위의 제1 움직임 벡터를 생성한다. 현재 블록을 이용해 화소 단위로 참조 픽처를 검색하여 SAD가 가장 작은 제1 참조 블록을 결정한다. 여기서 제1 화소 단위는 정수 화소 단위일 수도 있고, H.264/AVC의 움직임 추 정에서 사용되는 1/2 또는 1/4 화소 단위일 수도 있다. 참조 픽처가 제1 화소 단위의 픽처가 아닌 경우에는 참조 픽처에 대해 보간을 수행하고, 보간된 픽처를 검색하여 제1 참조 블록을 결정한다. 1/2 또는 1/4 화소 단위의 부화소들은 정수 화소 단위의 화소들에 기초해 보간을 수행하여 생성된 화소들이다. 제1움직임추정부(210)는 종래 기술에 따른 움직임 추정 방법과 동일하게 현재 블록과 참조 픽처의 블록을 비교하여 SAD가 가장 작은 제1 참조 블록을 결정한다. 결정된 제1 참조 블록에 따라 제1 화소 단위의 제1 움직임 벡터가 추정된다.
제2움직임추정부(220)는 제1움직임추정부(210)에서의 추정 결과 결정된 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들을 이용해 제2 참조 블록을 결정한다. 도 3을 참조하여 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 정밀한 화소 단위의 참조 블록을 결정하는 방법을 설명하기 위한 도면이다.
도 3에서 인터 예측 부호화 장치(200)는 현재 픽처(320)에 포함된 현재 블록(324)의 인터 예측을 위해 참조 픽처(310)를 검색한다. 현재 픽처(320)는 현재 블록(324) 이전에 부호화된 영역(326) 및 아직 부호화되지 않은 영역(328)로 구분된다.
도 3을 참조하면, 제1움직임추정부(210)가 현재 블록(324)을 이용해 참조 픽처(310)를 검색한 결과 제1 화소 단위의 제1 참조 블록(314)이 결정되고, 결정된 제1 참조 블록(314)에 따라 제1 움직임 벡터(330)가 추정된다.
제2움직임추정부(220)는 현재 블록(324)에 인접한 이전에 부호화된 영역(326)에 포함되어있는 화소들(322) 및 제1 참조 블록(314)에 인접한 화소들(312)을 이용해 제2 움직임 벡터를 추정한다. 제2 움직임 벡터는 제1 움직임 벡터(330) 보다 정밀한 화소 단위의 움직임 추정을 위한 움직임 벡터이다.
제2움직임추정부(220)는 보간을 수행하여 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하고, 제1 참조 블록에 인접한 화소들 및 생성된 부화소들을 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들과 비교하여 SAD가 최소인 화소들을 검색한다. 도 4 및 도 5를 참조하여 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 움직임 추정 방법을 설명하기 위한 개념도이다.
도 4는 제1움직임추정부(210)의 움직임 추정 결과 1/4 화소 단위의 제1 움직임 벡터 및 제1 참조 블록(410)이 생성되고, 제2움직임추정부(220)가 1/4 화소 단위보다 정밀한 화소 단위로 제2 움직임 벡터를 추정하는 경우를 예로 들어 설명한다. 도 4에서 제1움직임추정부(210)의 1/4 화소 단위의 움직임 추정은 예시적인 것이며, 제1움직임추정부(210)가 1/4 화소 단위와는 다른 화소 단위의 움직임 추정을 수행할 수 있음은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
제1 참조 블록(410)에 인접한 화소들(420)로부터 x축 양의 방향으로 α×(1/4) 화소만큼 y축 음의 방향으로 β×(1/4) 화소만큼 이동한 위치에 부화소들(440)을 가정한다. 여기서, α 및 β는 0과 1 사이의 임의의 소수이다.
화소(422)로부터 x축 양의 방향으로 α×(1/4) 화소만큼 y축 음의 방향으로 β×(1/4) 화소만큼 이동한 위치에 있는 부화소(442)의 화소 값 v0은 다음과 같이 계산된다.
v0 = v1(1-α)(1-α)+v2(α)(1-β)+v3(1-α)(β)+v4(α)(β)
v1은 화소(422)의 화소 값이고, v2는 화소(424)의 화소 값이며, v3은 화소(426)의 화소 값이고, v4는 화소(428)의 화소 값이다. 동일한 방법으로 보간을 수행하여 x축 양의 방향으로 α×(1/4) 화소만큼 y축 음의 방향으로 β×(1/4) 화소만큼 이동한 위치에 부화소들(440)의 화소 값들을 계산할 수 있다. 보간을 수행하여 생성된 부화소들을 현재 블록(324)에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들(420)과 비교하여 최소 SAD가 되는 α 및 β를 계산한다.
α 및 β가 계산되면, 계산된 α 및 β에 따라 가장 작은 SAD를 가지는 부화소들은 현재 블록의 제2 움직임 벡터를 추정할 때 이용되는 부화소들이 된다. 도 4는 x축 양의 방향 및 y축 음의 방향으로 부화소들을 생성하여 SAD를 계산하는 경우만을 도시하였으나, 제2움직임추정부(220)는 제1 참조 블록(430)에 인접한 화소들(420) 주변의 모든 방향에 대하여 부화소들을 생성하고, α 및 β 값을 계산할 수 있다. 예를 들어, 제1 참조 블록(410)에 인접한 화소들(420)로부터 x축 음의 방향으로 α×(1/4) 화소만큼 y축 양의 방향으로 β×(1/4) 화소만큼 이동한 위치에 부화소들을 생성하고, 제2 움직임 벡터를 추정할 수도 있다.
제2움직임추정부(220)는 제1 참조 블록(410)에 인접한 화소들(420) 주변에 생성된 부화소들(440)과 현재 블록(324) 주변에 인접한 이전에 부호화된 영역에 포 함된 화소들(322)을 비교하여 제1움직임추정부(210)가 추정한 제1 움직임 벡터를 조정한다. 조정에 의해 제1 움직임 벡터의 화소 단위, 즉 1/4 화소 단위보다 작은 화소 단위의 제2 움직임 벡터를 추정할 수 있다.
1/4 화소 단위보다 작은 화소 단위는 현재 블록(324)에 인접한 화소들(322)을 이용해 추정하므로 1/4 화소 단위의 제1 움직임 벡터를 특정하기 위한 정보만 부호화해도 복호화하는 측에서 제2 움직임 벡터를 복원할 수 있다. 따라서, 보다 적은 비트를 이용해 보다 정확한 움직임 벡터를 부호화할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 움직임 추정 방법을 설명하기 위한 개념도이다.
도 4의 경우에 α 및 β는 0과 1 사이의 임의의 소수이기 때문에 α 및 β를 계산하기 위해, 제2움직임추정부(220)가 너무 많은 연산을 수행할 수 있다. 이를 해결하기 위해 제2움직임추정부(220)는 제한된 개수의 부화소들을 제1 참조 블록(410)에 인접한 화소들(420) 주변에 생성하고, 이를 현재 블록(324)에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들(322)과 비교함으로써 연산량을 줄일 수 있다. 도 5는 이러한 제한된 개수의 부화소들만을 이용한 제2 움직임 벡터를 추정하는 방법을 도시한다.
도 5는 제1움직임추정부(210)가 1/4 화소 단위의 제1 움직임 벡터를 추정하면, 제2움직임추정부(210)는 1/4 화소 단위의 제1 움직임 벡터를 이용해 1/8 화소 단위의 제2 움직임 벡터를 추정하는 경우를 예로 들어 설명한다. 그러나, 1/4 화소 단위 및 1/8 화소 단위의 움직임 벡터는 예시적인 것이며, 이와 다른 크기의 화 소 단위의 움직임 벡터들을 추정하는데 본 발명에 이용될 수 있음은 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 이해할 수 있다. 다시 말해, 제2움직임추정부(210)에서 추정되는 움직임 벡터의 화소 단위는 1/8 화소 단위가 아닌 1/16, 1/32, 1/64 화소 단위와 같이 1/8 미만의 크기의 화소 단위일 수 있다.
도 5를 참조하면, 제1움직임추정부(210)의 움직임 추정 결과 1/4 화소 단위의 제1 참조 블록(510)이 결정되고, 그에 인접한 1/4 화소 단위의 화소들(520)이 결정된다. 제2움직임추정부(220)는 보간을 수행하여 제1 참조 블록(510)에 인접한 화소들(520) 주변에 1/8 화소 단위의 부화소들을 생성하고, 제1 참조 블록(510)에 인접한 화소들(520) 및 생성된 부화소들을 현재 블록(324)에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들(322)과 비교하여 제2 움직임 벡터를 추정한다.
보간을 수행하여 제1 참조 블록(510)에 인접한 화소들(520) 주변에 모두 8개 방향 즉, 상, 하, 좌, 우, 좌상, 좌하, 우상 및 우하 방향으로 1/8 화소 단위만큼 떨어진 위치에 부화소들을 생성하고, 제1 참조 블록(510)에 인접한 화소들 및 8 개의 방향에 생성된 부화소들을 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소(322)과 비교하여 제2 움직임 벡터를 추정한다. 도 4와 비교하면, 도 4에서 α 및 β가 각각 0.5인 경우는 도 5에서 우하 방향으로 1/8 화소 단위만큼 떨어진 위치의 부화소들과 일치한다.
임의의 α 및 β를 계산하기 위해서는 제2움직임추정부(220)가 너무 많은 연산을 수행하여야 하므로, 제1 참조 블록(510)에 인접한 화소들(520)을 1/8 화소 단위로 8 방향에 위치한 부화소들만을 이용해 제2 움직임 벡터를 추정한다. 제1 참조 블록(510)에 인접한 화소들(520) 및 8 방향으로 1/8 화소 단위 떨어져 위치한 부화소들을 이용하여 SAD를 계산하므로 총 9 번의 SAD 계산을 수행하면, 제2 움직임 벡터를 추정할 수 있다.
다시 도 2를 참조하면, 움직임보상부(230)는 제2움직임추정부(220)에서 생성한 제2 움직임 벡터에 따라 제2 참조 블록을 결정한다. 제1 움직임 벡터의 제1 화소 단위보다 작은 화소 단위로 생성된 제2 움직임 벡터에 따라 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정한다. 참조 픽처에 대하여 보간을 수행하여 제1 참조 블록에 포함된 화소들 주변에 제1 화소 단위보다 작은 화소 단위의 부화소들을 생성하고, 생성된 부화소들을 포함하는 제2 참조 블록을 결정한다.
도 4를 참조하면, 도 4에서 제2움직임추정부(220)가 α 및 β를 계산하여 현재 블록(324)에 인접한 화소들(220)과의 SAD가 가장 작은 부화소들(440)을 결정하면, 이에 따라 제2 움직임 벡터가 생성된다. 생성된 제2 움직임 벡터에 따라서, 움직임보상부(230)는 제1 참조 블록(410)이 아닌 보다 작은 화소 단위의 제2 참조 블록(420)을 결정한다.
보다 높은 정밀도의 화소 단위의 움직임 벡터인 제2 움직임 벡터에 따라 결정된 제2 참조 블록(420)은 현재 블록(324)과 보다 유사할 확률이 높다. 따라서, 현재 블록(324)과 제2 참조 블록(420) 사이의 레지듀얼 블록은 보다 높은 효율로 압축될 수 있다.
다시 도 2를 참조하면, 부호화부(240)는 제1움직임추정부(210)에서 추정된 제1 움직임 벡터와 움직임보상부(230)에서 결정된 제2 참조 블록에 기초하여 현재 블록을 부호화한다.
현재 블록에서 제2 참조 블록을 감산하여 레지듀얼 블록을 생성하고, 생성된 레지듀얼 블록과 제1 움직임 벡터를 부호화한다. 전술한 바와 같이 제1 움직임 벡터는 제2 움직임 벡터에 비해 보다 적은 비트를 이용해 부호화할 수 있고, 레지듀얼 블록은 보다 현재 블록과 유사한 제2 참조 블록을 예측 블록이용해 생성하므로 영상 부호화의 압축률을 향상 시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치(600)를 도시한다.
도 6은 도 2에 도시된 본 발명에 따른 인터 예측 부호화 장치(200)를 포함하는 영상 부호화 장치(600)를 도시한다. 본 발명에 따른 영상 부호화 장치는 제1움직임추정부(610), 제2움직임추정부(620), 움직임보상부(630), 부호화부(640), 인트라예측부(650), 복원부(660), 필터(670) 및 프레임메모리(680)을 포함한다. 도 2의 제1움직임추정부(210), 제2움직추정부(220), 움직임보상부(230) 및 부호화부(240)는 도 6의 제1움직임추정부(610), 제2움직임추정부(620), 움직임보상부(630) 및 부호화부(640)에 각각 대응된다.
제1움직임추정부(610)는 현재 블록을 이용해 프레임메모리(680)에 저장되어 있는 참조 픽처를 검색하여 제1 화소 단위의 제1 움직임 벡터를 추정한다. 참조 픽처를 보간하여 제1 화소 단위의 부화소들을 생성하고, 현재 블록과 생성된 부화소들을 비교하여 제1 참조 블록을 결정한다. 결정된 제1 참조 블록에 따라 제1 화소 단위의 제1 움직임 벡터가 추정된다.
제2움직임추정부(620)는 제1움직임추정부(610)에서 움직임 추정 결과 결정된 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들을 이용해 제2 움직임 벡터를 추정한다.
보간을 수행하여 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하고, 제1 참조 블록에 인접한 화소들 및 생성된 부호화소들을 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들과 비교하여 SAD가 가장 작은 화소들을 검색한다. 결정된 부화소들에 따라 제1 화소 단위 보다 작은 화소 단위의 제2 움직임 벡터를 추정한다. 자세한 내용은 도 4 및 도 5와 관련하여 전술하였다.
움직임보상부(630)는 제2 움직임 추정부(620)에서 추정된 제2 움직임 벡터에 기초하여 현재 블록을 움직임 보상한다. 제2 움직임 벡터와 같은 화소 단위로 제1 참조 블록 주변에 부화소들을 생성하고, 생성된 부화소들을 포함하는 블록을 현재 블록의 인터 예측에 이용할 제2 참조 블록으로 결정한다. 제2 참조 블록은 현재 블록의 예측 블록이 된다.
인트라예측부(650)는 인트라 예측을 수행하여 현재 블록을 예측한다. 프레임메모리(680)을 참조하여 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들을 이용해 인트라 예측을 수행하여 현재 블록의 예측 블록을 생성한다.
부화호부(640)는 움직임보상부(630)에서 생성된 예측 블록 또는 인트라예측부(650)에서 생성된 예측 블록에 기초하여 현재 블록을 부호화한다. R-D 코스트(Rate-distortion cost)를 고려하여 인터 예측 또는 인트라 예측 중 최적의 예측 방법을 결정하고, 결정된 예측 방법에 따라 생성된 예측 블록을 이용하여 현재 블록을 부호화한다.
현재 블록에서 예측 블록을 감산하여 레지듀얼 블록을 생성하고, 생성된 레지듀얼 블록의 화소 값들을 이산 코사인 변환(discrete cosine transform)한다. 이산 코사인 변환 결과 생성된 이산 코사인 계수들을 양자화한다. 그런 다음, 양자화된 이산 코사인 계수들을 엔트로피 부호화하여 비트스트림을 생성한다. 인터 예측을 이용해 현재 블록을 부호화하는 경우 움직임 벡터도 부호화하여 비트스트림에 삽입한다. 본 발명에 따른 인터 예측은 제1움직임추정부(610)에서 추정된 제1 움직임 벡터를 부호화하여 비트스트림에 삽입한다.
복원부(660)는 부호화부(640)에서 양자화된 이산 코사인 계수들을 수신하여 역양자화한다. 역양자화된 이산 코사인 계수들을 역이산 코사인 변환되고, 역이산 코사인 변환 결과 생성된 레지듀얼 블록을 인터 예측 또는 인트라 예측 결과 생성된 예측 블록과 가산하여 현재 블록을 복원한다.
필터(670)는 복원부(660)에서 복원된 현재 블록을 디블록킹 필터링하고, 디블록킹 필터링된 현재 블록은 프레임메모리(680)에 저장된다.
도 7은 본 발명의 일 실시예에 따른 인터 예측 부호화 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 단계 710에서 인터 예측 부호화 장치는 현재 블록을 이용해 참조 픽처를 검색하여 현재 블록에 대응되는 제1 화소 단위의 제1 참조 블록을 검색한다. 참조 픽처가 제1 화소 단위의 픽처가 아닌 경우에는 참조 픽처에 대해 보간을 수행하여 제1 화소 단위의 픽처를 생성하고, 보간된 픽처에서 제1 참조 블록을 검색한다. 검색 결과 제1 참조 블록에 대한 제1 화소 단위의 제1 움직임 벡 터가 추정된다.
단계 720에서 인터 예측 부호화 장치는 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들 및 단계 710에서 검색된 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정한다. 보간을 수행하여 제1 참조 블록에 인접한 화소들 주변에 제1 화소 단위보다 작은 화소 단위의 부화소들을 생성하고, 제1 참조 블록에 인접한 화소들 및 생성된 부호화소들을 현재블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들과 비교하여 제2 움직임 벡터를 추정한다. 제2 움직임 벡터를 추정하는 자세한 방법은 도 4 및 도 5와 관련하여 전술하였다. 제2 움직임 벡터가 추정되면, 추정된 제2 움직임 벡터에 따라 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정한다. 제2 참조 블록은 제2 움직임 벡터에 따라 결정된 제1 화소 단위보다 작은 화소 단위의 블록이며, 따라서 현재 블록을 보다 정확하게 인터 예측할 수 있게 된다.
단계 730에서 인터 예측 부호화 장치는 단계 710에서 추정된 제1 움직임 벡터 및 단계 720에서 결정된 제2 참조 블록에 기초하여 현재 블록을 부호화한다. 현재 블록에서 제2 참조 블록을 감산하여 레지듀얼 블록을 생성하고, 생성된 레지듀얼 블록 및 제1 움직임 벡터를 부호화하여 비트스트림에 삽입한다.
제2 움직임 벡터는 제1 움직임 벡터에 따라 결정되는 제1 움직임 벡터에 인접한 화소들 및 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들을 이용해 추정된다. 따라서, 제2 움직임 벡터가 아닌 제1 움직임 벡터만 부호화하여도 복호화하는 측에서 제2 움직임 벡터를 복원할 수 있으며, 결과적으로 보다 높은 정밀도의 움직임 벡터를 보다 적은 비트를 이용해 부호화할 수 있게 된다.
생성된 레지듀얼 블록을 이산 코사인 변환하고, 이산 코사인 변환 결과 생성된 이산 코사인 계수들을 양자화한다. 양자화된 이산 코사인 계수들을 엔트로피 부호화하여 비트스트림에 삽입한다.
도 8은 본 발명의 일 실시예에 따른 인터 예측 복호화 장치를 도시한다.
도 8을 참조하면, 본 발명에 따른 인터 예측 복호화 장치(800)는 복호화부(810), 움직임보상부(820) 및 복원부(830)을 포함하고, 움직임보상부(820)는 제1보상부(822), 움직임벡터추정부(824) 및 제2보상부(826)을 포함한다.
복호화부(810)는 현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 수신된 비트스트림으로부터 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출한다.
레지듀얼 블록은 현재 블록에서 제1 화소 단위보다 작은 화소 단위의 제2 참조 블록을 감산하여 생성된 블록이다. 비트스트림에 포함되어 있는 레지듀얼 블록에 대한 데이터를 엔트로피 복호화하고, 역양자화 및 역이산 코사인 변환하여 레지듀얼 블록을 생성한다. 제1 화소 단위의 제1 움직임 벡터는 제1 움직임 벡터에 대한 데이터를 엔트로피 복호화하여 생성한다.
움직임보상부(820)는 복호화부(810)에서 추출된 제1 움직임 벡터에 따라 제1 화소 단위의 제1 참조 블록을 결정한다. 제1 참조 블록이 결정되면, 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들을 비교하여 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정한다. 제2 참조 블록은 제1 화소 단위보다 작은 화소 단위의 블록으로, 제1 참조 블록에 인접한 화소들 및 현재블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들에 기초하여 생성된 제2 움직임 벡터에 따라 결정된다.
제1보상부(822)는 복호화부(810)에서 복호화된 제1 움직임 벡터에 따라 제1 참조 블록을 결정한다. 제1 화소 단위에 따라 움직임 보상을 수행하여 제1 참조 블록을 결정한다. 따라서, 참조 픽처가 제1 화소 단위의 픽처가 아니라면, 참조 픽처를 제1 화소 단위로 보간하고, 보간된 참조 픽처를 이용해 움직임 보상을 수행한다.
움직임벡터추정부(824)는 제1보상부(822)에서 결정된 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들을 이용해 제2 움직임 벡터를 추정한다.
제1 참조 블록에 인접한 화소들 주변에 제1 화소 단위보다 작은 화소 단위의 부화소들을 생성한다. 도 4에서와 같이 제1 참조 블록(410)에 인접한 화소들(420)로부터 x축 양의 방향으로 α×(1/4) 화소만큼 y축 음의 방향으로 β×(1/4) 화소만큼 이동한 위치에 부화소들(440)을 생성할 수 있고, 도 5에서와 같이 제2 화소 단위 즉, 1/8 화소 단위만큼 떨어진 위치에 부화소들을 생성할 수도 있다.
부화소들이 생성되면, 제1 참조 블록에 인접한 화소들 및 생성된 부화소들을 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들과 비교하여 제1 화소 단위보다 작은 화소 단위의 제2 움직임 벡터를 추정한다.
제2보상부(826)는 움직임벡터추정부(824)에서 추정된 제2 움직임 벡터에 기 초하여 현재 블록을 움직임 보상한다. 제2 움직임 벡터의 화소 단위에 따라 참조 픽처를 보간하고, 제2 움직임 벡터에 따라 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정한다. 결정된 제2 참조 블록을 현재 블록의 예측 블록이 된다.
복원부(830)는 움직임보상부(826)의 움직임 보상 결과에 기초하여 현재 블록을 복원한다. 제2보상부(826)의 움직임 보상 결과 현재 블록의 인터 예측 블록이 생성되고, 생성된 예측 블록을 복호화부(810)에서 복호화된 레지듀얼 블록과 가산하여 현재 블록을 복원한다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치(900)를 도시한다.
도 9를 참조하면, 본 발명에 따른 영상 복호화 장치(900)는 복호화부(910), 움직임보상부(920), 복원부(930), 인트라예측부(940), 필터(950) 및 프레임메모리(960)을 포함한다. 움직임보상부(920)는 제1보상부(922), 움직임추정부(924) 및 제2보상부(926)을 포함한다. 도 8의 복호화부(810), 움직임보상부(820) 및 복원부(830)는 도 9의 복호화부(910), 움직임보상부(920) 및 복원부(930)에 각각 대응된다.
복호화부(910)는 현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 수신된 비트스트림으로부터 현재 블록의 부호화 모드에 대한 정보 및 레지듀얼 블록에 대한 데이터를 추출한다. 현재 블록이 인터 예측을 이용하여 부호화된 경우에는 제1 화소 단위의 제1 움직임 벡터에 대한 정보도 추출된다.
움직임보상부(920)는 프레임메모리(960)에 저장되어 있는 참조 픽처를 참조하여 현재 블록에 대응되는 제1 화소 단위의 제1 참조 블록을 검색한다. 참조 픽 처가 제1 화소 단위의 픽처가 아닌 경우에는 보간을 수행하여 제1 화소 단위의 참조 픽처를 생성하고, 생성된 참조 픽처를 참조하여 제1 참조 블록을 검색한다.
제1보상부(922)는 복호화부(910)에서 복호화된 제1 화소 단위의 제1 움직임 벡터에 따라 제1 참조 블록을 결정한다. 제1 움직임 벡터에 따라 움직임 보상을 수행하여 제1 참조 블록을 결정한다.
움직임추정부(924)는 제1보상부(922)에서 결정된 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들을 이용해 현재 블록의 인터 예측에 이용될 제2 움직임 벡터를 추정한다.
제1 참조 블록에 인접한 화소들 주변에 제1 화소 단위보다 작은 화소 단위의 부화소들을 생성한다. 생성된 부화소들 및 제1 참조 블록에 인접한 화소들을 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들과 비교하여 제2 움직임 벡터를 추정한다.
제2보상부(26)는 움직임추정부(924)에서 추정된 제2 움직임 벡터에 기초하여 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정한다. 제2 움직임 벡터와 동일한 화소 단위로 참조 픽처에 대하여 보간을 수행하고, 보간된 참조 픽처를 제2 움직임 벡터에 따라 검색하여 제2 참조 블록을 결정한다. 결정된 제2 참조 블록은 현재 블록의 예측 블록이 된다.
인트라예측부(940)는 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들을 이용해 인트라 예측을 수행하여 현재 블록의 예측 블록을 생성한다.
복원부(930)는 움직임보상부(920) 또는 인트라예측부(940)에서 생성된 예측 블록에 기초하여 현재 블록을 복원한다. 복호화부(910)에서 생성된 레지듀얼 블록과 예측 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 필터(950)에서 디블록킹 필터링되어 다른 블록 또는 다른 픽처의 예측에 이용되기 위해 프레임메모리(960)에 저장된다.
도 10은 본 발명의 일 실시예에 따른 인터 예측 복호화 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 단계 1010에서 인터 예측 복호화 장치는 현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 수신되 비트스트림으로부터 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출한다. 제1 움직임 벡터에 대한 데이터를 엔트로피 복호화하여 제1 움직임 벡터를 생성하고, 레지듀얼 블록에 대한 데이터를 엔트로피 복호화, 역양자화 및 역이산 코사인 변환하여 레지듀얼 블록을 생성한다.
단계 1020에서 인터 예측 복호화 장치는 제1 화소 단위의 제1 움직임 벡터를 이용하여 제1 화소 단위의 제1 참조 블록을 결정한다. 제1 움직임 벡터에 따라 참조 픽처를 검색하여 제1 참조 블록을 결정하는데, 참조 픽처가 제1 화소 단위의 픽처가 아닌 경우에는 참조 픽처에 대해 보간을 수행하고, 보간된 참조 픽처를 검색하여 제1 참조 블록을 결정한다.
제1 참조 블록이 결정되면, 제1 참조 블록에 인접한 화소들 및 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들을 이용해 제2 참조 블록을 결정한다.
보간을 수행하여 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하고, 제1 참조 블록에 인접한 화소들 및 생성된 부화소들을 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들과 비교하여 제2 움직임 벡터를 추정한다.
제2 움직임 벡터가 추정되면 추정된 제2 움직임 벡터에 따라 제2 참조 블록을 결정한다. 제2 움직임 벡터와 같은 화소 단위로 참조 픽처에 대하여 보간을 수행하고, 보간된 참조 픽처에서 제2 참조 블록을 결정한다. 결정된 제2 참조 블록은 현재 블록의 인터 예측 블록이 된다.
단계 1030에서 인터 예측 복호화 장치는 단계 1020에서 결정된 제2 참조 블록에 기초하여 현재 블록을 복원한다. 단계 1030에서 결정된 제2 참조 블록을 단계 1010에서 생성된 레지듀얼 블록과 가산하여 현재 블록을 복원한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스 크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 1은 종래 기술에 따른 보간을 수행하는 방법을 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상의 인터 예측 부호화 장치를 도시한다.
도 3은 본 발명의 일 실시예에 따른 정밀한 화소 단위의 참조 블록을 결정하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 움직임 추정 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 움직임 추정 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.
도 7은 본 발명의 일 실시예에 따른 인터 예측 부호화 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 인터 예측 복호화 장치를 도시한다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.
도 10은 본 발명의 일 실시예에 따른 인터 예측 복호화 방법을 설명하기 위한 흐름도이다.

Claims (25)

  1. 영상의 인터 예측 부호화 방법에 있어서,
    현재 블록을 이용해 참조 픽처에서 제1 참조 블록을 검색하고, 상기 제1 참조 블록에 대한 제1 화소 단위의 제1 움직임 벡터를 추정하는 단계;
    상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하고, 상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계; 및
    상기 제1 움직임 벡터 및 상기 제2 참조 블록에 기초하여 상기 현재 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
  2. 제 1 항에 있어서, 상기 제2 참조 블록을 결정하는 단계는
    보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하는 단계;
    상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화소들을 상기 현재 블록에 인접한 화소들과 비교하는 단계;
    상기 비교 결과에 기초하여 상기 제2 움직임 벡터를 추정하는 단계; 및
    상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
  3. 제 2 항에 있어서,
    상기 부화소들은 제2 화소 단위의 부화소들이고, 상기 제2 움직임 벡터는 상기 제2 화소 단위의 움직임 벡터인 것을 특징으로 하는 인터 예측 부호화 방법.
  4. 제 3 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 화소 단위인 것을 특징으로 하는 인터 예측 부호화 방법.
  5. 제 4 항에 있어서, 상기 제2 화소 단위의 부화소들은
    상기 제1 참조 블록에 인접한 화소들로부터 상, 하, 좌, 우, 좌상, 좌하, 우상 및 우하 방향으로 상기 1/8 화소 단위만큼 떨어진 위치의 부화소들인 것을 특징으로 하는 인터 예측 부호화 방법.
  6. 제 3 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 미만의 화소 단위 중 하나인 것을 특징으로 하는 인터 예측 부호화 방법.
  7. 제 1 항에 있어서, 상기 부호화 하는 단계는
    상기 현재 블록에서 상기 제2 참조 블록을 감산하여 상기 현재 블록의 레지 듀얼 블록을 생성하는 단계; 및
    상기 제1 움직임 벡터 및 상기 레지듀얼 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
  8. 영상의 인터 예측 복호화 방법에 있어서,
    현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 상기 수신된 비트스트림으로부터 상기 현재 블록의 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출하는 단계;
    상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하고, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계; 및
    상기 결정된 제2 참조 블록 및 상기 레지듀얼 블록에 기초하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
  9. 제 8 항에 있어서, 상기 제2 참조 블록을 생성하는 단계는
    상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하는 단계;
    상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하는 단계; 및
    상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
  10. 제 9 항에 있어서, 상기 제2 움직임 벡터를 추정하는 단계는
    보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하는 단계; 및
    상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화소들을 상기 현재 블록에 인접한 화소들과 비교하는 단계;
    상기 비교 결과에 기초하여 상기 제2 움직임 벡터를 추정하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
  11. 제 10 항에 있어서,
    상기 부화소들은 제2 화소 단위의 부화소들이고, 상기 제2 움직임 벡터는 상기 제2 화소 단위의 움직임 벡터인 것을 특징으로 하는 인터 예측 복호화 방법.
  12. 제 11 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 화소 단위인 것을 특징으로 하는 인터 예측 복호화 방법.
  13. 제 12 항에 있어서, 상기 제2 화소 단위의 부화소들은
    상기 제1 참조 블록에 인접한 화소들로부터 상, 하, 좌, 우, 좌상, 좌하, 우상 및 우하 방향으로 상기 1/8 화소 단위만큼 떨어진 위치의 부화소들인 것을 특징으로 하는 인터 예측 복호화 방법.
  14. 제 11 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 미만의 화소 단위 중 하나인 것을 특징으로 하는 인터 예측 복호화 방법.
  15. 제 8 항에 있어서, 상기 현재 블록을 복원하는 단계는
    상기 현재 블록의 레지듀얼 블록과 상기 제2 참조 블록을 가산하여 상기 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
  16. 영상의 인터 예측 부호화 장치에 있어서,
    현재 블록을 이용해 참조 픽처에서 제1 참조 블록을 검색하고, 상기 제1 참조 블록에 대한 제1 화소 단위의 제1 움직임 벡터를 추정하는 제1움직임추정부;
    상기 현재 블록에 인접한 이전에 부호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하는 제2움직임추정부;
    상기 제2 움직임 벡터에 기초하여 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 움직임보상부; 및
    상기 제1 움직임 벡터 및 상기 제2 참조 블록에 기초하여 상기 현재 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 인터 예측 부호화 장치.
  17. 제 16 항에 있어서, 상기 제2움직임추정부는
    보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하고, 상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화소들을 상기 현재 블록에 인접한 화소들과 비교하여 상기 제2 움직임 벡터를 추정하는 것을 특징으로 하는 인터 예측 부호화 장치.
  18. 제 17 항에 있어서,
    상기 부화소들은 제2 화소 단위의 부화소들이고, 상기 제2 움직임 벡터는 상기 제2 화소 단위의 움직임 벡터인 것을 특징으로 하는 인터 예측 부호화 장치.
  19. 제 18 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 화소 단위인 것을 특징으로 하는 인터 예측 부호화 장치.
  20. 영상의 인터 예측 복호화 장치에 있어서,
    현재 블록에 대한 데이터를 포함하고 있는 비트스트림을 수신하고, 상기 수신된 비트스트림으로부터 상기 현재 블록의 제1 화소 단위의 제1 움직임 벡터 및 레지듀얼 블록에 대한 데이터를 추출하는 복호화부;
    상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하고, 상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 움직임보상부; 및
    상기 결정된 제2 참조 블록 및 상기 레지듀얼 블록에 기초하여 상기 현재 블록을 복원하는 복원부를 포함하는 것을 특징으로 하는 인터 예측 복호화 장치.
  21. 제 20 항에 있어서, 상기 움직임보상부는
    상기 제1 움직임 벡터에 따라 제1 참조 블록을 결정하는 제1보상부;
    상기 현재 블록에 인접한 이전에 복호화된 영역에 포함되어 있는 화소들 및 상기 제1 참조 블록에 인접한 화소들을 이용해 제2 움직임 벡터를 추정하는 움직임벡터추정부; 및
    상기 제2 움직임 벡터에 따라 상기 현재 블록의 인터 예측에 이용할 제2 참조 블록을 결정하는 제2보상부를 포함하는 것을 특징으로 하는 인터 예측 복호화 장치.
  22. 제 21 항에 있어서, 상기 움직임벡터추정부는
    보간을 수행하여 상기 제1 참조 블록에 인접한 화소들 주변에 부화소들을 생성하고, 상기 제1 참조 블록에 인접한 화소들 및 상기 생성된 부화소들을 상기 현 재 블록에 인접한 화소들과 비교하여 상기 제2 움직임 벡터를 추정하는 것을 특징으로 하는 인터 예측 복호화 장치.
  23. 제 22 항에 있어서,
    상기 부화소들은 제2 화소 단위의 부화소들이고, 상기 제2 움직임 벡터는 상기 제2 화소 단위의 움직임 벡터인 것을 특징으로 하는 인터 예측 복호화 장치.
  24. 제 23 항에 있어서,
    상기 제1 화소 단위는 1/4 화소 단위이고, 상기 제2 화소 단위는 1/8 화소 단위인 것을 특징으로 하는 인터 예측 복호화 장치.
  25. 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070129904A 2007-10-04 2007-12-13 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치 Expired - Fee Related KR101403343B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US12/211,438 US8503532B2 (en) 2007-10-04 2008-09-16 Method and apparatus for inter prediction encoding/decoding an image using sub-pixel motion estimation
CN2008801102541A CN101816183B (zh) 2007-10-04 2008-09-25 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
PCT/KR2008/005680 WO2009045021A2 (en) 2007-10-04 2008-09-25 Method and apparatus for inter prediction encoding/decoding an image using sub-pixel motion estimation
EP08836732A EP2198622A4 (en) 2007-10-04 2008-09-25 METHOD AND DEVICE FOR INTERPRECODING CODING AND DECODING AN IMAGE SUBJECT TO SUBPIXEL MOTOR ESTIMATION
JP2010527879A JP5385291B2 (ja) 2007-10-04 2008-09-25 副画素動き推定を利用したインター予測符号化／復号化の方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US97745407P 2007-10-04 2007-10-04
US60/977,454 2007-10-04

Publications (2)

Publication Number Publication Date
KR20090034697A KR20090034697A (ko) 2009-04-08
KR101403343B1 true KR101403343B1 (ko) 2014-06-09

Family

ID=40760525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070129904A Expired - Fee Related KR101403343B1 (ko) 2007-10-04 2007-12-13 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치

Country Status (6)

Country Link
US (1) US8503532B2 (ko)
EP (1) EP2198622A4 (ko)
JP (1) JP5385291B2 (ko)
KR (1) KR101403343B1 (ko)
CN (1) CN101816183B (ko)
WO (1) WO2009045021A2 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095012A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US9571851B2 (en) 2009-09-25 2017-02-14 Sk Telecom Co., Ltd. Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR101432767B1 (ko) * 2009-10-20 2014-08-26 에스케이텔레콤 주식회사 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479123B1 (ko) * 2009-09-25 2015-01-09 에스케이 텔레콤주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101767950B1 (ko) * 2009-11-24 2017-08-14 에스케이텔레콤 주식회사 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR101348613B1 (ko) 2009-12-23 2014-01-10 한국전자통신연구원 영상의 부호화/복호화 장치 및 그 방법
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
TWI666882B (zh) 2010-04-13 2019-07-21 美商Ｇｅ影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
ES2590686T3 (es) 2010-04-13 2016-11-23 Ge Video Compression, Llc Fusión de regiones de muestra
EP4398576A3 (en) 2010-04-13 2024-08-21 GE Video Compression, LLC Video coding using multi-tree sub-divisions of images
CN106412606B (zh) 2010-04-13 2020-03-27 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法
US8855205B2 (en) 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
CN102316317B (zh) 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
DK4099700T3 (da) 2011-01-07 2025-01-20 Nokia Technologies Oy Bevægelsesforudsigelse i videokodning
GB2488817B (en) * 2011-03-09 2014-11-26 Canon Kk Video encoding and decoding
CN107948657B (zh) * 2011-03-21 2021-05-04 Lg 电子株式会社 选择运动矢量预测值的方法和使用其的设备
BR112014013977B1 (pt) * 2011-12-28 2022-05-17 JVC Kenwood Corporation Dispositivo de codificação de vídeo, método de codificação de vídeo e programa de codificação de vídeo e dispositivo de decodificação de vídeo, método de decodificação de vídeo e programa de decodificação de vídeo
CN104604232A (zh) * 2012-04-30 2015-05-06 数码士控股有限公司 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
CN103533374B (zh) 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
WO2015005507A1 (ko) * 2013-07-08 2015-01-15 삼성전자 주식회사 다수의 가설 추정자들을 이용하는 인터 예측 방법 및 그 장치
JP6607040B2 (ja) * 2014-01-15 2019-11-20 日本電気株式会社 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
CN115278232B (zh) * 2015-11-11 2024-12-10 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
WO2017138417A1 (ja) * 2016-02-08 2017-08-17 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置。
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
EP3301918A1 (en) * 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3301919A1 (en) * 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
JP2020120141A (ja) * 2017-05-26 2020-08-06 シャープ株式会社 動画像符号化装置及び動画像復号装置、フィルタ装置
WO2019212223A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 dmvr을 사용하는 영상 디코딩 방법 및 그 장치
MX2020013844A (es) * 2018-07-02 2021-03-25 Huawei Tech Co Ltd Un metodo de refinamiento preciso de subpixel basado en superficie de error para refinamiento de vector de movimiento del lado del decodificador.
CN111050177B (zh) * 2018-10-15 2021-07-20 腾讯科技（深圳）有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质
CN112954327B (zh) 2019-03-11 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021344A1 (en) 2001-07-27 2003-01-30 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262180A (ja) 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JP3309519B2 (ja) 1993-09-17 2002-07-29 ソニー株式会社 動きベクトル検出装置
KR970014399A (ko) * 1995-08-25 1997-03-29 구자홍 하프 픽셀 예측 필터링 처리 회로
US6567557B1 (en) * 1999-12-10 2003-05-20 Stmicroelectronics, Inc. Method for preventing dual-step half-pixel motion compensation accumulation errors in prediction-rich MPEG-2 sequences
US6625215B1 (en) 1999-06-07 2003-09-23 Lucent Technologies Inc. Methods and apparatus for context-based inter/intra coding mode selection
US6757330B1 (en) * 2000-06-01 2004-06-29 Hewlett-Packard Development Company, L.P. Efficient implementation of half-pixel motion prediction
US8175159B2 (en) * 2002-01-24 2012-05-08 Hitachi, Ltd. Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus
KR20060055472A (ko) * 2003-06-25 2006-05-23 톰슨 라이센싱 변위된 프레임 차분을 이용하여 가중된 예측 추정을 위한방법 및 장치
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
CN101326550B (zh) * 2005-12-15 2013-12-25 美国亚德诺半导体公司 利用预测指导的抽取搜索的运动估计
WO2008056934A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021344A1 (en) 2001-07-27 2003-01-30 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation

Also Published As

Publication number Publication date
EP2198622A4 (en) 2011-10-12
US20090092188A1 (en) 2009-04-09
WO2009045021A2 (en) 2009-04-09
US8503532B2 (en) 2013-08-06
WO2009045021A3 (en) 2009-05-22
CN101816183B (zh) 2013-01-02
JP2010541457A (ja) 2010-12-24
KR20090034697A (ko) 2009-04-08
CN101816183A (zh) 2010-08-25
EP2198622A2 (en) 2010-06-23
JP5385291B2 (ja) 2014-01-08

Similar Documents

Publication Publication Date Title
KR101403343B1 (ko) 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
USRE45014E1 (en) Methods for motion estimation with adaptive motion accuracy
US8576906B2 (en) Adaptive filtering
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR100472476B1 (ko) 움직임 보상을 위한 보간 방법 및 그 장치
US7840096B2 (en) Directional interpolation method and video encoding/decoding apparatus and method using the directional interpolation method
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
US20090022220A1 (en) Method and apparatus for enhanced video coding
EP2424246A1 (en) Image processing apparatus and method
KR101616010B1 (ko) 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링
WO2008091068A1 (en) Method and apparatus for encoding and decoding image using adaptive interpolation filter
WO2013002144A1 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
TWI504241B (zh) 影像編碼方法、裝置、影像解碼方法、裝置及其程式產品
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
KR101462959B1 (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
GB2509702A (en) Scalable Image Encoding Including Inter-Layer Prediction
AU2015255215B2 (en) Image processing apparatus and method
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR100708114B1 (ko) 움직임 보상을 위한 보간 장치를 구비한 부호화 장치 및복호화 장치
Wang et al. An efficient dual-interpolator architecture for sub-pixel motion estimation
KR20190091431A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190084929A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004246A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071213

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20121024

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20071213

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131112

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140401

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140529

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170427

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180427

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200308