[go: up one dir, main page]

KR101379189B1 - 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101379189B1
KR101379189B1 KR1020090099339A KR20090099339A KR101379189B1 KR 101379189 B1 KR101379189 B1 KR 101379189B1 KR 1020090099339 A KR1020090099339 A KR 1020090099339A KR 20090099339 A KR20090099339 A KR 20090099339A KR 101379189 B1 KR101379189 B1 KR 101379189B1
Authority
KR
South Korea
Prior art keywords
frame
motion compensation
motion
block
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020090099339A
Other languages
English (en)
Other versions
KR20110042602A (ko
Inventor
김수년
임정연
최재훈
이규민
한종기
이영렬
문주희
김해광
전병우
유영조
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020090099339A priority Critical patent/KR101379189B1/ko
Priority to PCT/KR2010/007027 priority patent/WO2011049321A2/ko
Publication of KR20110042602A publication Critical patent/KR20110042602A/ko
Application granted granted Critical
Publication of KR101379189B1 publication Critical patent/KR101379189B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하며, 현재 프레임과 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명에 의하면, 움직임 보상 프레임을 필터링함으로써 그 잔여 프레임에 잔존하는 시간적 중복성을 더욱 많이 제거할 수 있으므로 동영상의 압축 효율을 향상시킬 수 있다.
영상, 부호화, 복호화, 압축, 움직임 보상, 프레임, 필터링

Description

움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치{Video Coding Method and Apparatus by Using Filtering Motion Compensation Frame}
본 발명은 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 동영상 부호화와 복호화 과정에서 움직임 추정과 움직임 보상을 통해 생성되는 움직임 보상 프레임을 필터링하여 동영상의 압축 효율을 향상시키기 위한 방법 및 장치에 관한 것이다.
동영상 데이터를 효율적으로 저장하거나 전송하기 위해서는 부호화하여 데이터를 압축할 필요가 있다. 동영상 데이터를 압축하는 기술로는 H.261, H.263, H.264, MPEG-2, MPEG-4 등이 있다. 이러한 동영상 데이터의 압축 기술에서는 동영상의 각 프레임 영상의 휘도 성분과 색차 성분이 움직임 추정과 움직임 보상을 통하여 시간적으로 예측되고, 예측 잔여는 변환 및 양자화, 엔트로피 부호화가 수행 되어 비트스트림 형태로 전송된다.
가장 최근의 동영상 압축 기술인 H.264/AVC는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)가 공동으로 개발한 기술로서, 매크로 블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기를 가지는 더 작은 블록으로 분할되어 움직임 추정과 움직임 보상이 수행되며, 이때 움직임 추정과 움직임 보상을 위한 참조 프레임도 최대 16 개의 프레임이 이용될 수 있다. 또한, H.264/AVC에서는 1/4 화소 보간 방법을 채택함으로써, 기존의 동영상 압축 기술인 MPEG-4와 비교할 때 영상의 화질을 유지하면서 압축률을 향상시킬 수 있다.
이와 같이 기존의 통상적인 동영상 압축 기술에서는 움직임 추정과 움직임 보상 등을 이용하여 영상 내의 시간적인 중복성을 제거함으로써 높은 압축률을 달성할 수 있지만, 움직임 추정과 움직임 보상을 통해 생성되는 움직임 보상 프레임에는 여전히 시간적 중복성이 많이 남게 되어, 변환 및 양자화되고 엔트로피 부호화되는 예측 잔여가 커지게 되고 그에 따라 많은 양의 잔여 데이터가 부호화되어야 하기 때문에 효율적인 부호화가 어려운 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 동영상 부호화와 복호화 과정에서 움직임 추정과 움직임 보상을 통해 생성되는 움직임 보상 프레임을 필터링하고 그 잔여 프레임을 부호화함으로써 동영상의 압축 효율을 향상시키기는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및 현재 프레임과 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 예측기; 현재 프레임과 필터링된 움직임 보상 프레임을 감산하여 잔여 프레임을 생성하는 감산기; 잔여 프레임을 변환 및 양자화하는 변환기 및 양자화기; 및 변환 및 양자화된 잔여 프레임을 부호화하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 움직임 보상 프레임을 필터링하는 단계; 및 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 추출되는 움직임 정보 데이터와 영상 부호화 데이터를 복호화하여 움직임 정보와 변환 및 양자화된 잔여 프레임을 복원하는 복호화기; 복원되는 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원하 는 역 양자화기 및 역 변환기; 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 움직임 보상 프레임을 필터링하는 예측기; 및 복원되는 잔여 프레임과 필터링되는 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 인터 예측 방법에 있어서, 영상의 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 단계; 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 단계; 및 움직임 보상 프레임을 필터링하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 인터 예측 장치에 있어서, 영상의 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 움직임 추정기; 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 움직임 보상기; 및 움직임 보상 프레임을 필터링하는 움직임 보상 필터를 포함하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 인터 예측 방법에 있어서, 비트스트림으로부터 추출되고 복호화되어 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 단계; 및 움직임 보상 프레임을 필터링하는 단계를 포함하는 것을 특징으로 하는 인터 예측 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 인터 예측 장치에 있어서, 비트스트림으로부터 추출되고 복호화되어 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 움직임 보상기; 및 움직임 보상 프레임을 필터링하는 움직임 보상 필터를 포함하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 움직임 보상 프레임을 필터링함으로써 그 잔여 프레임에 잔존하는 시간적 중복성을 더욱 많이 제거할 수 있으므로 동영상의 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할된다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임를 참조 프레임(Reference frame)라고 한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측기(Predictor, 110), 감산기(Subtracter, 120), 변환기 및 양자화기(Transformer and Quantizer, 130), 부호화기(Encoder, 140), 역 양자화기 및 역 변환기(Inverse Quantizer and Inverse Transformer, 150), 가산기(Adder, 160), 디블로킹 필터(170) 및 메모리(Memory, 180)를 포함하여 구성될 수 있다.
예측기(110)는 입력 영상에서 부호화하고자 하는 프레임(이하 '현재 프레임(Current Frame)'이라 칭함)의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링한다. 즉, 예측기(110)는 이미 부호화되고 다시 복호화되어 복원된 후 메모리(180)에 저장된 참조 프레임에서 인터 예측 모드(Inter Prediction Mode)에 따라 현재 프레임 내의 각 블록의 움직임을 추정하여 움직임 벡터(Motion Vector)를 생성하고, 움직임 벡터를 이용하여 각 블록의 움직임을 보상함으로써 현재 프레임의 움직임이 보상된 움직임 보상 프레임(Motion Compensation Frame)을 생성하고 생성되는 움직임 보상 프레임을 필터링한다.
이를 위해, 예측기(110)는 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터(Motion Vector)와 참조 프레임 색인(Reference Frame Index)을 결정하고, 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하며, 생성되는 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하여 움직임 보상 프레임을 필터링할 수 있다.
여기서, 예측기(110)는 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있으며, 움직임 보상 프레임을 위너 필터(Winner Filter) 또는 디블로킹 필터(Deblocking Filter) 등과 같은 다양한 필터를 이용하여 필터링할 수도 있다.
또한, 예측기(110)는 현재 프레임과 필터링된 움직임 보상 프레임 간의 제곱 에러(Square Error)를 최소화하는 필터 계수(Filter Coefficient)를 가지는 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있다.
감산기(120)는 현재 프레임과 필터링된 움직임 보상 프레임을 감산하여 잔여 프레임(Residual Frame)을 생성한다. 여기서, 잔여 프레임이란 현재 프레임과 필터링된 움직임 보상 프레임이 감산되어 생성되는 잔여를 포함하는 프레임으로서 현재 프레임의 화소와 필터링된 움직임 보상 프레임의 화소의 차이인 잔여 신호를 포함하는 프레임을 말한다.
변환기 및 양자화기(130)는 잔여 프레임을 변환 및 양자화한다. 즉, 변환기 및 양자화기는(130)는 감산기(120)에 의해 생성된 잔여 프레임의 잔여 신호(Residual Signal)를 주파수 영역으로 변환하여 변환 계수(Transform Coefficient)를 가지는 변환된 잔여 프레임을 생성하고 변환된 잔여 프레임의 변환 계수를 양자화하여 변환 및 양자화된 잔여 프레임을 생성한다. 이때, 사용되는 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform) 등과 같은 공간 영역의 화상 신호를 주파수 영역으로 변환하는 기법이 이용되고, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
부호화기(140)는 변환 및 양자화된 잔여 프레임을 부호화한다. 즉, 변환기 및 양자화기(130)에 의해 변환되고 양자화된 잔여 프레임의 양자화된 변환 계수를 부호화하여 영상 부호화 데이터를 생성한다. 생성된 영상 부호화 데이터는 비트스 트림에 포함된다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 이용될 수 있을 것이다.
또한, 부호화기(140)는 움직임 보상 프레임을 필터링하는 데 이용한 필터의 필터 계수를 나타내는 필터 계수 정보를 부호화하여 필터 계수 데이터를 생성할 수 있다. 생성된 필터 계수 데이터는 비트스트림에 포함된다.
또한, 부호화기(140)는 현재 프레임 내의 각 블록에 대한 블록 모드를 나타내는 블록 모드 정보를 부호화하여 블록 모드 데이터를 생성할 수 있으며, 생성된 블록 모드 데이터는 비트스트림에 포함된다.
또한, 부호화기(140)는 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 결정되는 움직임 벡터와 참조 프레임 색인을 나타내는 움직임 정보를 부호화하여 움직임 정보 데이터를 생성할 수 있으며, 생성된 움직임 정보 데이터는 비트스트림에 포함된다.
한편, 변환기 및 양자화기(130)의 기능은 부호화기(140)에 통합되어 구현될 수도 있다. 즉, 하나의 부호화기로 구현되는 경우, 부호화기는 잔여 프레임을 부호화하여 부호화 데이터를 생성한다.
역 양자화기 및 역 변환기(150)는 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원한다. 즉, 역 양자화기 및 역 변환기(150)는 변환기 및 양자화기(130)로부터 전달되는 변환 및 양자화된 잔여 프레임을 역 양자화하여 변환 계수를 가지는 잔여 프레임을 복원하고, 변환 계수를 가지는 잔여 프 레임을 다시 역 변환하여 잔여 신호를 가지는 잔여 프레임을 복원한다. 이때, 역 양자화기 및 역 변환기(150)는 변환기 및 양자화기(130)에서 변환 및 양자화한 방식을 역으로 수행함으로써 잔여 프레임을 복원할 수 있다.
가산기(160)는 복원되는 잔여 프레임과 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원한다.
디블로킹 필터(170)는 복원되는 현재 프레임을 디블로킹 필터링하며, 메모리(180)는 디블로킹 필터링된 현재 프레임을 저장한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
도 1에서는 도시하지 않았지만, 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 예측기(110) 내에 인트라 예측(Intra Prediction)을 위한 인트라 예측기 등을 추가로 포함할 수 있다. 이 경우, 감산기(120)는 현재 프레임과 인트라 예측기에 의해 생성되는 예측 프레임을 감산하여 잔여 프레임을 생성할 수 있으며, 변환기 및 양자화기(130) 및 역 양자화기 및 역 변환기(150)는 잔여 프레임에 대한 변환 및 양자화와 변환 및 양자화된 잔여 프레임에 대한 역 변환 및 역 양자화을 위한 연산을 추가로 수행할 수도 있다. 또한, 부호화기(130)는 변환 및 양자화된 잔여 프레임을 부호화하여 영상 부호화 데이터를 생성할 수 있으며, 이러한 데이터는 비트스트림에 포함된다.
따라서, 본 발명의 일 실시예에서는 현재 프레임과 필터링된 움직임 보상 프레임의 차이인 잔여 프레임만 변환 및 양자화되고 부호화되어 인터 예측 부호화에 따른 영상 부호화 데이터가 비트스트림에 포함되는 것으로 설명하지만, 실제로 영상 부호화 장치(100)는 인트라 예측 부호화되는 영상 부호화 데이터를 추가로 생성할 수 있으며, 비트스트림에는 인터 예측 부호화에 의해 생성되는 영상 부호하 데이터뿐만 아니라 인트라 예측 부호화에 의해 생성되는 영상 부호화 데이터와 그 영상 부호화 데이터를 인트라 예측 복호화기 위한 정보 또는 그 부호화 데이터가 추가로 포함될 수 있음을 인식해야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치는 도 1을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(100)에서는 예측기(110)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 예측기(110)라 칭한다.
예측기(110)는 움직임 추정기(Motion Estimator, 210), 움직임 보상기(Motion Compensator, 220) 및 움직임 보상 필터(Motion Compensation Filter, 230)를 포함하여 구성될 수 있다. 또한, 예측기(110)는 인트라 예측기를 추가로 포함할 수 있지만 별도로 도시하지는 않았다.
움직임 추정기(210)는 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터(Motion Vector)와 참조 프레임 색인(Reference Frame Index)을 결정한다. 즉, 움직임 추정기(210)는 현재 프레임 내의 각 블록들 중 블록 모드가 인터 모드인 블록들에 대한 움직임을 추정하여 움직임 벡터와 참조 프레임 색인을 결정한다. 여기서, 현재 프레임 내의 각 블록들에 대한 블록 모드는 움직임 추정기(210)가 결정할 수도 있으나, 예측기(110) 또는 영상 부호화 장치(100) 내에 추가적으로 구비되는 모드 결정기(Mode Determiner, 미도시)가 결정할 수도 있다.
이를 위해, 움직임 추정기(210)는 현재 프레임 내에서 블록 모드가 P 매크로블록(Predictive Macroblock)인 블록에 대해서는 순방향 예측을 수행하여 현재 프레임의 이전 프레임을 기초로 순방향의 움직임 벡터를 추정하며, 현재 프레임 내에서 블록 모드가 B 매크로블록(Bidirectional Macroblck)인 블록에 대해서는 양방향 예측을 수행하여 현재 프레임의 이전 프레임 및 이후 프레임을 기초로 순방향의 움직임 벡터와 역방향의 움직임 벡터를 각각 추정할 수 있다.
이때, 움직임 추정기(210)는 움직임 벡터를 결정하는 데 있어서, 부호화 비용이 최소가 되는 움직임 벡터와 참조 프레임 색인을 현재 프레임 내의 해당 블록에 대한 움직임 벡터와 참조 프레임 색인으로서 결정할 수 있다. 이와 같이 움직임 벡터와 참조 프레임 색인을 결정하기 위한 부호화 비용을 계산하는 함수로서는 mcost 함수가 이용될 수 있다. mcost 함수는 수학식 1과 같이 나타낼 수 있다.
Figure 112009063901462-pat00001
여기서, λ는 움직임 벡터와 참조 프레임 색인을 결정하기 위한 라그랑제 곱 셈자(Lagrange Multiplier)이고, Rate u,v,i 는 해당 움직임 벡터와 참조 프레임 색인을 이용하여 해당 블록의 움직임을 보상함으로써 예측 부호화되어 생성되는 비트스트림의 비트율을 나타낸다. SAD u,v,i 는 해당 움직임 벡터와 참조 프레임 색인을 이용하여 해당 블록의 움직임을 보상함으로써 생성되는 움직임 보상 프레임과 현재 프레임의 차의 제곱합을 나타내며, 수학식 2와 같이 나타낼 수 있다.
Figure 112009063901462-pat00002
수학식 2에서, M과 N은 각각 해당 블록의 수평 방향과 수직 방향의 화소 크기를 나타내며,
Figure 112009063901462-pat00003
는 현재 프레임의 (x+m,y+n) 좌표에 대한 화소값을 의미하고,
Figure 112009063901462-pat00004
는 i번째 참조 프레임의 (x+m+u,y+n+v) 좌표에 대한 화소값을 나타낸다. 또한, x와 y는 해당 블록의 제일 왼쪽의 제일 위쪽에 위치한 화소의 현재 프레임 또는 움직임 보상 프레임 내에서의 좌표를 나타내며, m와 n은 해당 블록의 내부에 위치한 화소의 좌표를 나타낸다. u와 v는 해당 블록의 움직임 벡터를 나타낸다.
움직임 추정기(210)는 수학식 1과 같은 부호화 비용을 계산하기 위한 함수를 이용하여 현재 프레임 내에서 블록 모드가 인터 블록인 각 블록에 대한 움직임 벡터와 참조 프레임 색인별로 mcost를 계산한 후, 수학식 3과 같은 함수를 이용하여 부호화 비용을 최소로 하는 움직임 벡터와 참조 프레임 색인을 해당 블록의 움직임 벡터와 참조 프레임 색인으로서 결정한다.
Figure 112009063901462-pat00005
수학식 3에서, SearchRange는 움직임 추정을 수행하는 범위를 나타내며,
Figure 112009063901462-pat00006
는 각각 해당 블록에 대해 결정된 움직임 벡터의 가로 성분과 세로 성분을 내타내며,
Figure 112009063901462-pat00007
는 해당 블록에 대해 결정된 참조 프레임 색인을 나타낸다.
움직임 보상기(220)는 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성한다. 즉, 움직임 보상기(220)는 움직임 추정기(210)에 의해 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 해당 블록의 움직임을 보상함으로써 움직임 보상 블록을 생성하며, 생성된 움직임 보상 블록들을 프레임 단위로 모아 움직임 보상 블록들을 포함하는 움직임 보상 프레임을 생성한다. 이를 위해, 움직임 보상기(220)는 움직임 추정기(210)에 의해 결정되는 참조 프레임 색인에 의해 식별되는 참조 프레임에서 움직임 추정기(210)에 의해 결정되는 움직임 벡터가 지시하는 블록을 가져와서 움직임 보상 블록으로서 생성하며, 이러한 움직임 보상 블록들을 포함하는 움직임 보상 프레임을 생성한다.
이와 같이 움직임 보상 프레임을 생성하는 방법을 수학식으로 나타내면 수학식 4와 같이 나타낼 수 있다.
Figure 112009063901462-pat00008
수학식 4에서, W와 H는 프레임(참조 프레임 및 움직임 보상 프레임)의 가로와 세로의 화소 크기를 나타내고,
Figure 112009063901462-pat00009
는 움직임 보상 프레임의 (x,y) 좌표에 대한 화소값을 의미한다. 만약, (x,y) 좌표에 의해 식별되는 화소를 포함하는 블록의 블록 모드가 인트라 모드인 경우에는 움직임 벡터와 참조 프레임 색인이 존재하지 않기 때문에 일단
Figure 112009063901462-pat00010
는 값을 가지지 않는다. 이후, 하나의 움직임 보상 프레임 생성이 완료되면 미러링(Mirroring) 방식과 유사한 방식으로 앞에 내용을 채워 넣을 수도 있다.
본 발명의 일 실시예에 따라 움직임 보상 프레임을 생성하는 과정을 예시적으로 나타낸 도 3을 참조하면, 움직임 보상 프레임 내의 5 개의 블록들 중 4 개의 블록들은 블록 모드가 인터 블록이어서 4 개의 참조 프레임에서 각각 하나의 블록으로 채워지지만 1 개의 블록은 블록 모드가 인트라 블록이어서 움직임 벡터와 참조 프레임 색인이 없으므로 그 값을 가지지 않는다. 나중에 움직임 보상 프레임이 필터링될 때, 인트라 모드인 블록에 값이 채워져 있지 않아 주변 화소들에 대해 필터링이 불가능하므로 해당 블록의 주변에 있는 화소들의 화소값을 이용하여 필터링될 수 있다.
움직임 보상 필터(230)는 움직임 보상 프레임을 필터링한다. 즉, 움직임 보상 필터(230)는 움직임 보상기(220)에 의해 생성되는 움직임 보상 프레임의 화소들 을 다양한 종류의 필터를 이용하여 필터링함으로써 필터링된 움직임 보상 프레임이 현재 프레임과 더욱 유사하도록 하여 변환 및 양자화되어 부호화되는 잔여 프레임의 데이터 양을 줄이거나 움직임 보상 프레임 내에 존재하는 블로킹 현상(Blocking Effect)을 줄인다.
여기서, 움직임 보상 필터(230)는 움직임 보상 프레임을 필터링할 때, 기 설정된 필터를 이용할 수도 있으며 블록 단위, 슬라이스 단위 또는 프레임 단위 등과 같이 일정한 단위로 적절한 필터 또는 필터의 계수를 선택하여 이용할 수도 있다. 움직임 보상 필터(230)가 기 설정된 필터를 이용하는 경우에는 영상 부호화 장치(100)와 후술할 영상 복호화 장치가 미리 약속한 필터나 미리 약속한 기준에 따른 필터를 이용할 수 있다. 또한, 움직임 보상 필터(230)가 적절한 필터 또는 필터의 계수를 선택하여 이용하는 경우에는 현재 프레임 내의 화소의 특성에 따라 다른 필터를 이용할 수 있다.
움직임 보상 프레임을 필터링하기 위한 필터로는 위너 필터 또는 디블로킹 필터와 같은 다양한 필터가 이용될 수 있다. 위너 필터를 이용하여 움직임 보상 프레임을 필터링하는 경우, 움직임 보상 프레임에 잔존하는 시간적인 중복성을 더욱 제거할 수 있어서 잔여 프레임의 데이터량이 줄어들고 그에 따라 영상 부호화 데이터의 양이 줄어들어 결과적으로 비트스트림의 크기가 작아지므로 압축 효율이 향상될 수 있다. 또한, 디블로킹 필터를 이용하여 움직임 보상 프레임을 필터링하는 경우, 움직임 보상 프레임 내의 블로킹 현상을 줄일 수 있어서 부호화된 후 다시 복호화되어 복원되는 영상의 품질을 향상시킬 수 있다.
움직임 보상 필터(230)가 적절한 필터 또는 필터의 계수를 선택하여 이용하는 경우, 움직임 보상 프레임 내의 화소의 특성에 따라 필터의 종류를 선택하여 선택된 필터를 이용하여 필터링하거나 기 설정된 필터의 필터 계수를 계산하여 계산된 필터 계수를 이용하여 필터링하거나 필터의 종류를 선택하고 선택된 필터의 필터 계수도 계산하여 필터링할 수 있다.
예를 들어, 움직임 보상 필터(230)는 움직임 보상 프레임 내의 움직임 보상 블록의 크기를 판단하고, 움직임 보상 블록의 크기에 따라 해당 움직임 예측 블록의 내부에서 블록의 경계에 위치하는 화소들과 블록의 경계에 위치하지 않는 화소들을 서로 다른 종류의 필터를 이용하여 필터링할 수도 있다. 이 경우, 움직임 보상 프레임 내의 화소의 특성은 움직임 보상 프레임 내의 움직임 보상 블록의 크기가 될 수 있다. 또한, 움직임 보상 필터(230)는 움직임 보상 블록들의 움직임 벡터와 참조 프레임 색인의 차이를 판단하고, 움직임 벡터와 참조 프레임의 색인의 차이에 따라 움직임 보상 블록들 간의 경계에 블로킹 현상이 발생하는지 여부를 판단하여, 움직임 보상 블록들 간의 경계에 블록킹 현상이 발생하는 부분의 화소들과 블록킹 현상이 발생하지 않는 부분의 화소들을 서로 다른 필터를 이용하여 필터링할 수도 있다. 이 경우, 움직임 보상 프레임 내의 화소의 특성은 움직임 보상 블록들 간의 움직임 벡터와 참조 프레임 색인의 차이가 될 수 있다.
움직임 보상 필터(230)가 움직임 보상 프레임을 필터링하는 방법을 예시적인 수학식으로 나타내면 수학식 5와 같이 나타낼 수 있다. 수학식 5에서는 2차원 필터를 이용하여 필터링하는 경우를 예시적으로 나타내었지만, 구현 방식 또는 필요에 따라서는 1차원 필터를 이용하여 필터링할 수도 있다.
Figure 112009063901462-pat00011
수학식 5에서,
Figure 112009063901462-pat00012
는 움직임 보상 프레임의 (x+m,y+n) 좌표에 의해 지시되는 화소의 화소값을 나타내고, β PP (m,n)은 (m,n) 번째 필터 계수를 나타내며, PP는 움직임 보상 프레임 내의 블록 내의 화소의 특성에 따라 선택되는 필터의 종류를 나타낸다.
Figure 112009063901462-pat00013
은 필터링된 움직임 보상 프레임 내에서 (x,y) 좌표에 위치하는 화소의 화소값을 나타낸다.
본 발명의 일 실시예에 따라 움직임 보상 프레임을 필터링하는 과정을 예시적으로 나타낸 도 4를 참조하면, 움직임 보상 블록들 간의 경계에 블로킹 현상이 발생한 움직임 보상 프레임을 움직임 보상 필터를 이용하여 필터링함에 따라 필터링된 움직임 보상 프레임에서는 움직임 보상 블록들 간의 경계에 블로킹 현상이 제거될 수 있다. 도 4에서는 움직임 보상 필터로서 2차원의 디블로킹 필터가 이용된 경우를 예시적으로 나타내었다. 도 4에서 *는 컨볼루션(Convolution)을 나타낸다.
통상적인 동영상 압축 기술에서는 움직임 보상을 블록 단위로 수행하므로 움직임 보상 프레임은 하나의 개념적인 용어로서 사용되었지만, 본 발명의 일 실시예에서는 프레임 단위의 움직임 보상 프레임을 생성하여 필터링함으로써 필터링된 움직임 보상 프레임을 동영상 압축에 응용한다.
필터 계수를 계산하는 일 예로서, 움직임 보상 필터(230)는 현재 프레임과 필터링된 움직임 보상 프레임의 제곱 에러가 최소가 되도록 위너 필터를 이용하여 움직임 보상 프레임을 필터링하기 위한 필터 계수를 계산할 수 있다. 수학식 6은 현재 프레임과 필터링된 움직임 보상 프레임의 제곱 에러를 계산하는 수학식을 나타낸 것이며, 수학식 7은 현재 프레임과 필터링된 움직임 보상 프레임의 제곱 에러가 최소가 되는 필터 계수를 계산하는 수학식을 나타낸 것이다.
Figure 112009063901462-pat00014
Figure 112009063901462-pat00015
수학식 6 및 수학식 7에서, (e PP )는 현재 프레임과 필터링된 움직임 보상 프레임의 제곱 에러를 나타내며,
Figure 112009063901462-pat00016
는 현재 프레임의 (x,y) 좌표에 대한 화소 값을 나타내고,
Figure 112009063901462-pat00017
는 (m,n) 번째 필터 계수를 나타내며,
Figure 112009063901462-pat00018
는 필터링된 움직임 보상 프레임의 (x,y) 좌표에 대한 화소값을 나타내며 수학식 5를 통해 계산될 수 있다.
수학식 6 및 수학식 7을 통해 계산되는 필터 계수는 움직임 보상 프레임을 필터링하는 데 이용되며, 부호화기(140)로 전달된다. 이때, 움직임 보상 필터(230)는 계산된 필터를 그대로 이용하여 움직임 보상 프레임을 필터링할 수도 있지만, 양자화, 올림 내림 등과 같은 과정을 통해 필터 계수를 보정하여 움직임 보상 프레임을 필터링할 수도 있다. 예를 들어, 필터 계수가 소수점을 가지는 계수로서 계산되는 경우 그대로 부호화되면 필터 계수 데이터의 데이터량이 커지므로 양자화, 올림, 내림 등과 같은 과정을 통해 정수의 계수로 보정한 후 보정된 필터 계수를 이용하여 움직임 보상 프레임을 필터링하고, 보정된 필터 계수를 부호화기(140)로 전달한다. 부호화기(140)는 필터 계수를 나타내는 필터 계수 정보를 부호화하여 필터 계수 데이터를 생성하고, 생성된 필터 계수 데이터는 비트스트림에 포함되어 영상 복호화 장치로 전송될 수 있다. 이와 같이 필터 계수를 보정하여 부호화함으로써 필터 계수 데이터의 데이터량을 줄일 수 있다.
이상에서 전술한 바와 같이 생성되는 필터링된 움직임 보상 프레임은 감산기(120)로 전달되며, 감산기(120)는 현재 프레임과 필터링된 움직임 보상 프레임을 감산하여 잔여 프레임을 생성한다. 이때, 필터링된 움직임 보상 블록을 블록 또는 슬라이스 단위 등 다양한 단위마다 적응적으로 사용할 수 있다. 잔여 프레임은 현 재 프레임의 화소의 화소값과 움직임 보상 프레임의 화소의 화소값의 차이값을 가지는 잔여 신호를 포함한다. 잔여 신호는 수학식 8과 같이 나타낼 수 있다.
Figure 112009063901462-pat00019
하지만, 통상적인 동영상 압축 방식에 따라 현재 프레임과 움직임 보상 프레임을 감산하여 생성되는 잔여 신호는 수학식 9와 같이 나타낼 수 있다.
Figure 112009063901462-pat00020
수학식 8과 수학식 9에서 resi(x,y)는 (x,y) 좌표에서 잔차 신호의 화소값을 나타낸다. 위너 필터를 이용하여 움직임 보상 필터링을 수행한 경우, 움직임 보상 프레임에 잔재하는 시간적인 중복성이 더욱 제거되어 수학식 8의 잔여 신호가 수학식 9의 잔여 신호보다 작으며, 디블로킹 필터를 이용하여 움직임 보상 필터링을 수행한 경우, 움직임 보상 프레임에 잔재하는 블로킹 현상이 더욱 제거되어 수학식 8의 잔여 신호가 변환 및 양자화되어 부호화된 데이터가 복호화되었을 때의 영상 품질이 더욱 좋아진다.
수학식 8에서는 프레임 단위로 잔여 신호가 생성되는 것으로 예시하였지만, 반드시 수학식 8을 이용해야 하거나 프레임 단위로 잔여 신호를 생성해야 하는 것은 아니며, 블록 또는 슬라이스 등 다양한 단위로 잔여 신호가 생성될 수도 있고 수학식 8이 아닌 다른 수학식을 이용하여 잔여 신호가 생성될 수도 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따르면, 영상 부호화 장치(100)는 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하고(S510), 현재 프레임과 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화한다(S520).
또한, 영상 부호화 장치(100)는 단계 S510에서, 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있으며, 움직임 보상 프레임을 위너 필터 또는 디블로킹 필터를 이용하여 필터링할 수 있으며, 현재 프레임과 필터링된 움직임 보상 프레임 간의 제곱 에러를 최소화하는 필터 계수를 가지는 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있다. 이때, 영상 부호화 장치(100)는 움직임 보상 프레임을 필터링하는 데 이용한 필터의 필터 계수를 나타내는 필터 계수 정보를 추가로 부호화할 수 있다.
또한, 영상 부호화 장치(100)는 단계 S510에서, 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하고, 결정되는 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 생성되는 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하며, 움직임 보상 프레임을 필터링할 수 있다.
또한, 영상 부호화 장치(100)는 블록 모드를 나타내는 블록 모드 정보를 부호화하고, 결정되는 움직임 벡터와 참조 프레임 색인을 나타내는 움직임 정보를 추 가로 부호화할 수 있다.
또한, 영상 부호화 장치(100)는 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원하고, 복원되는 잔여 프레임과 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하며, 복원되는 현재 프레임을 디블로킹 필터링하여 저장할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(600)는 복호화기(Decoder, 610), 역 양자화기 및 역 변환기(620), 예측기(630), 가산기(640), 디블로킹 필터(650) 및 메모리(660)를 포함하여 구성될 수 있다.
복호화기(610)는 비트스트림으로부터 추출되는 움직임 정보 데이터와 영상 부호화 데이터를 복호화하여 움직임 정보와 변환 및 양자화된 잔여 프레임을 복원한다. 또한, 복호화기(610)는 비트스트림으로부터 블록 모드 데이터를 추출하고 복호화하여 블록 모드 정보를 복원할 수 있으며, 비트스트림으로부터 필터 계수 데이터를 추출하고 복호화하여 필터 계수 정보를 복원할 수 있다.
여기서, 복호화기(610)는 엔트로피 부호화와 같은 다양한 부호화 기법을 이용하여 각종 데이터를 복호화할 수 있으며, 영상 부호화 장치(100)의 부호화기(140)가 부호화한 방식을 역으로 수행하여 복호화할 수 있다.
역 양자화기 및 역 변환기(620)는 복원되는 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원한다. 여기서, 역 양자화기 및 역 변 환기(620)는 다양한 변환 및 양자화 방식을 이용하여 역 양자화 및 역 변환을 수행할 수 있는데, 영상 부호화 장치(100)의 변환기 및 양자화기(130)가 변환 및 양자화한 방식을 역으로 수행하여 역 영자화 및 역 변환을 수행할 수 있다.
예측기(630)는 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 움직임 보상 프레임을 필터링한다. 즉, 예측기(630)는 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성할 수 있다.
또한, 예측기(630)는 움직임 보상 프레임을 필터링하는 데 있어서, 기 설정된 필터 계수를 가지는 필터를 이용하여 필터링할 수도 있으며, 복호화기(610)에 의해 복원되는 필터 계수 정보가 있는 경우에는 복원되는 필터 계수 정보에 의해 식별되는 필터 계수를 가지는 필터를 이용하여 움직임 보상 프레임을 필터링할 수도 있다.
또한, 예측기(630)는 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 필터링할 수도 있으며, 움직임 보상 프레임을 필터링하기 위한 필터로서 위너 필터 또는 디블로킹 필터 등을 이용할 수도 있다.
여기서, 예측기(630)가 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하며 생성된 움직임 보상 프레임을 필터링하는 방법에 대해서는 도 1 내지 도 5를 통해 전술한 방법과 동일 또는 유사하므로 상세한 설명을 생략한다.
가산기(640)는 복원되는 잔여 프레임과 필터링되는 움직임 보상 프레임을 가산하여 현재 프레임을 복원한다. 즉, 가산기(640)는 역 양자화기 및 역 변환기(620)에서 복원되는 잔여 프레임의 화소들의 화소값과 예측기(630)에 의해 필터링된 움직임 보상 프레임의 화소들의 화소값을 가산하여 현재 프레임의 화소들을 복원한다.
디블로킹 필터(650)는 가산기(640)에 의해 복원되는 현재 프레임을 디블로킹 필터링하여 디블로킹 필터링된 현재 프레임을 복원 영상으로서 출력하며, 메모리(660)는 디블로킹 필터링된 현재 프레임을 참조 프레임으로서 저장하며, 저장된 참조 프레임은 예측기(630)에서 다음 프레임을 예측하는 데 활용된다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치는 도 6을 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치(600)에서는 예측기(630)로 구현될 수 있으므로, 이하에서는 설명의 편의를 위해, 예측기(630)라 칭한다.
예측기(630)는 움직임 보상기(710) 및 움직임 보상 필터(720)를 포함하여 구성될 수 있다.
움직임 보상기(710)는 비트스트림으로부터 추출되고 복호화되어 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성한다. 즉, 움직임 보상기(710)는 복호화기(610)로부터 움직임 벡터와 참조 프레임 색인을 전달받으면, 메모리(660)에 저장된 참조 프레임 중에서 참조 프레임 색인에 의해 지시되는 참조 프레임에서 움직임 벡터에 의해 지시되는 블록을 움직임 보상 블록들로서 생성하고 움직임 보상 블록들을 포함하는 움직임 보상 프레임을 생성한다.
움직임 보상 필터(720)는 움직임 보상 프레임을 필터링한다. 즉, 움직임 보상 필터(720)는 움직임 보상기(710)에 의해 생성되어 전달되는 움직임 보상 프레임을 위너 필터 또는 디블로킹 필터 등과 같은 다양한 필터를 이용하여 필터링한다. 이때, 움직임 보상 필터(720)는 복호화기(610)로부터 필터 계수 정보를 전달받으면, 필터 계수 정보에 의해 식별되는 필터 계수를 가지는 필터를 이용하여 움직임 보상 프레임을 생성할 수 있으며, 필터 계수 정보가 전달되지 않으면 기 설정된 필터를 이용하거나 움직임 보상 프레임 내의 블록의 화소 특성에 따라 선택되는 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(600)는 비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하며(S810), 움직임 보상 프레임을 필터링하며(S820), 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원한다(S830).
여기서, 영상 복호화 장치(600)는 단계 S810에서, 움직임 보상 프레임을 생성하는 데 있어서, 현재 프레임 내에서 블록 모드가 인터 블록인 블록에 대해 비트스트림으로부터 움직임 정보 데이터를 추출하고 복호화하여 움직임 정보를 복원하며, 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 생성되는 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성할 수 있다.
또한, 영상 복호화 장치(600)는 비트스트림으로부터 필터 계수 데이터를 추출하고 복호화하여 필터 계수 정보를 추가로 복원할 수 있으며, 이 경우 단계 S820에서 움직임 보상 프레임을 필터링할 때, 복원되는 필터 계수 정보에 의해 식별되는 필터 계수를 가지는 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있다.
또한, 영상 복호화 장치(600)는 단계 S820에서, 움직임 보상 프레임을 필터링하는 데 있어서, 기 설정된 필터 계수를 가지는 필터를 이용하여 움직임 보상 프레임을 필터링할 수 있으며, 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 움직임 보상 프레임을 필터링할 수도 있으며, 움직임 보상 프레임을 위너 필터 또는 디블로킹 필터를 이용하여 필터링할 수도 있다.
또한, 영상 복호화 장치(600)는 복원되는 현재 프레임을 디블로킹 필터링하여 출력할 수 있다. 디블로킹 필터링된 현재 프레임은 저장되어 다른 프레임을 예 측 부호하하는 데 이용될 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 영상을 예측 부호화하는 데 있어서, 움직임 추정 및 움직임 보상을 통해 생성되는 움직임 보상 프레임에 잔재하는 시간적 중복성을 제거하여 압축 효율을 더욱 향상시킬 수 있을 뿐만 아니라, 움직임 보상 프레임 내의 블록의 화소들의 특성에 따라 필터의 종류와 필터 계수를 적응적으로 선택하여 필터링함으로써 양자화 에러를 더욱 줄일 수 있으므로 압축 효율을 더욱 향상시킬 수 있거나 부호화된 후 복호화되어 재생되는 복원 영상의 화질의 열화를 더욱 줄일 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상을 부호화 복호화하는 영상 압 축 처리 분야에 적용되어, 움직임 추정 및 움직임 보상을 통해 생성되는 움직임 보상 프레임에 잔재하는 시간적 중복성을 제거하여 압축 효율을 더욱 향상시킬 수 있을 뿐만 아니라, 움직임 보상 프레임 내의 블록의 화소들의 특성에 따라 필터의 종류와 필터 계수를 적응적으로 선택하여 필터링함으로써 양자화 에러를 더욱 줄일 수 있으므로 압축 효율을 더욱 향상시킬 수 있거나 부호화된 후 복호화되어 재생되는 복원 영상의 화질의 열화를 더욱 줄일 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따라 움직임 보상 프레임을 생성하는 과정을 나타낸 예시도,
도 4는 본 발명의 일 실시예에 따라 움직임 보상 프레임을 필터링하는 과정을 나타낸 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치를 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

Claims (21)

  1. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계
    를 포함하고,
    상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  2. 삭제
  3. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 움직임 보상 프레임을 위너 필터 또는 디블로킹 필터를 이용하여 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임 간의 제곱 에러를 최 소화하는 필터 계수를 가지는 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  5. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계
    를 포함하고, 상기 영상 부호화 방법은,
    상기 움직임 보상 프레임을 필터링하는 데 이용한 필터의 필터 계수를 나타내는 필터 계수 정보를 부호화하는 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 단계;
    상기 결정된 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 상기 생성된 움직임 보상 블록을 포함하는 상기 움직임 보상 프레임을 생성하는 단계; 및
    상기 움직임 보상 프레임을 필터링하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 6 항에 있어서, 상기 영상 부호화 방법은,
    상기 블록 모드를 나타내는 블록 모드 정보를 부호화하는 단계; 및
    상기 결정된 움직임 벡터와 참조 프레임 색인을 식별하는 움직임 정보를 부호화하는 단계
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  8. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 단계; 및
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임의 차인 잔여 프레임을 변환 및 양자화하고 부호화하는 단계
    를 포함하고, 상기 영상 부호화 방법은,
    상기 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원하는 단계;
    상기 복원된 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계; 및
    상기 복원된 현재 프레임을 디블로킹 필터링하여 저장하는 단계
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상을 부호화하는 장치에 있어서,
    상기 영상의 현재 프레임의 움직임을 추정하고 보상하여 생성되는 움직임 보상 프레임을 필터링하는 예측기;
    상기 현재 프레임과 상기 필터링된 움직임 보상 프레임을 감산하여 잔여 프레임을 생성하는 감산기;
    상기 잔여 프레임을 변환 및 양자화하는 변환기 및 양자화기; 및
    상기 변환 및 양자화된 잔여 프레임을 부호화하는 부호화기
    를 포함하고,
    상기 예측기는,
    상기 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 움직임 추정기;
    상기 결정된 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 상기 움직임 보상 블록을 포함하는 상기 움직임 보상 프레임을 생성하는 움직임 보상기; 및
    상기 움직임 보상 프레임을 필터링하는 움직임 보상 필터
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  10. 삭제
  11. 삭제
  12. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 단계; 및
    상기 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 현재 프레임 내에서 블록 모드가 인터 블록인 블록에 대해 상기 비트스트림으로부터 상기 움직임 정보 데이터를 추출하고 복호화하여 움직임 정보를 복원하는 단계;
    상기 복원된 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 상기 생성된 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 단계; 및
    상기 움직임 보상 프레임을 필터링하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 단계; 및
    상기 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계
    를 포함하고, 상기 영상 복호화 방법은,
    상기 비트스트림으로부터 필터 계수 데이터를 추출하고 복호화하여 필터 계수 정보를 복원하는 단계를 추가로 포함하되, 상기 움직임 보상 프레임을 필터링하는 단계는 상기 복원된 필터 계수 정보에 의해 식별되는 필터 계수를 가지는 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  14. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 단계; 및
    상기 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    기 설정된 필터 계수를 가지는 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  15. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 단계; 및
    상기 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 움직임 보상 프레임 내의 블록의 화소의 특성에 따라 다른 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  16. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터를 복호화하여 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 단계; 및
    상기 비트스트림으로부터 추출되고 복호화되어 복원되는 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 단계
    를 포함하고, 상기 움직임 보상 프레임을 필터링하는 단계는,
    상기 움직임 보상 프레임을 위너 필터 또는 디블로킹 필터를 이용하여 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  17. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 추출되는 움직임 정보 데이터와 영상 부호화 데이터를 복호화하여 움직임 정보와 변환 및 양자화된 잔여 프레임을 복원하는 복호화기;
    상기 복원된 변환 및 양자화된 잔여 프레임을 역 양자화 및 역 변환하여 잔여 프레임을 복원하는 역 양자화기 및 역 변환기;
    상기 복원된 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 현재 프레임의 움직임을 보상하여 움직임 보상 프레임을 생성하고 상기 움직임 보상 프레임을 필터링하는 예측기; 및
    상기 복원된 잔여 프레임과 상기 필터링된 움직임 보상 프레임을 가산하여 현재 프레임을 복원하는 가산기
    를 포함하고,
    상기 예측기는, 기 설정된 필터 계수를 가지는 필터를 이용하여 상기 움직임 보상 프레임을 필터링하는 것을 특징으로 하는 영상 복호화 장치.
  18. 인터 예측 방법에 있어서,
    영상의 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 단계;
    상기 결정된 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 상기 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 단계; 및
    상기 움직임 보상 프레임을 필터링하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  19. 인터 예측 장치에 있어서,
    영상의 현재 프레임 내에서 블록 모드가 인터 모드인 블록에 대해 움직임 벡터와 참조 프레임 색인을 결정하는 움직임 추정기;
    상기 결정된 움직임 벡터와 참조 프레임 색인을 이용하여 움직임 보상 블록을 생성하고 상기 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 움직임 보상기; 및
    상기 움직임 보상 프레임을 필터링하는 움직임 보상 필터
    를 포함하는 것을 특징으로 하는 인터 예측 장치.
  20. 인터 예측 방법에 있어서,
    비트스트림으로부터 추출되고 복호화되어 복원되는 움직임 정보에 의해 식별 되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 상기 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 단계; 및
    상기 움직임 보상 프레임을 필터링하는 단계
    를 포함하는 것을 특징으로 하는 인터 예측 방법.
  21. 인터 예측 장치에 있어서,
    비트스트림으로부터 추출되고 복호화되어 복원되는 움직임 정보에 의해 식별되는 움직임 벡터 및 참조 프레임 인덱스를 이용하여 움직임 보상 블록을 생성하고 상기 움직임 보상 블록을 포함하는 움직임 보상 프레임을 생성하는 움직임 보상기; 및
    상기 움직임 보상 프레임을 필터링하는 움직임 보상 필터
    를 포함하는 것을 특징으로 하는 인터 예측 장치.
KR1020090099339A 2009-10-19 2009-10-19 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치 Active KR101379189B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090099339A KR101379189B1 (ko) 2009-10-19 2009-10-19 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
PCT/KR2010/007027 WO2011049321A2 (ko) 2009-10-19 2010-10-14 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099339A KR101379189B1 (ko) 2009-10-19 2009-10-19 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110042602A KR20110042602A (ko) 2011-04-27
KR101379189B1 true KR101379189B1 (ko) 2014-04-10

Family

ID=43900787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099339A Active KR101379189B1 (ko) 2009-10-19 2009-10-19 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101379189B1 (ko)
WO (1) WO2011049321A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084344A1 (ko) * 2016-11-07 2018-05-11 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118573902B (zh) * 2024-07-04 2024-10-25 上海幻电信息科技有限公司 图像滤波处理方法、系统、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980067578A (ko) * 1997-02-06 1998-10-15 김광호 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
WO2005009045A1 (en) * 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Encoding method and device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980067578A (ko) * 1997-02-06 1998-10-15 김광호 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084344A1 (ko) * 2016-11-07 2018-05-11 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10924730B2 (en) 2016-11-07 2021-02-16 Lg Electronics Inc. Image decoding method and device in image coding system

Also Published As

Publication number Publication date
WO2011049321A3 (ko) 2011-08-18
KR20110042602A (ko) 2011-04-27
WO2011049321A2 (ko) 2011-04-28

Similar Documents

Publication Publication Date Title
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20190009408A (ko) 영상 부호화/복호화 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101648065B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101379190B1 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101432767B1 (ko) 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR20140118958A (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101673026B1 (ko) 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091019

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120831

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091019

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131014

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140318

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140324

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140324

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170306

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180307

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190304

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20191216

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 9

End annual number: 9