[go: up one dir, main page]

KR20180000279A - 부호화 장치 및 방법, 복호화 장치 및 방법 - Google Patents

부호화 장치 및 방법, 복호화 장치 및 방법 Download PDF

Info

Publication number
KR20180000279A
KR20180000279A KR1020170026692A KR20170026692A KR20180000279A KR 20180000279 A KR20180000279 A KR 20180000279A KR 1020170026692 A KR1020170026692 A KR 1020170026692A KR 20170026692 A KR20170026692 A KR 20170026692A KR 20180000279 A KR20180000279 A KR 20180000279A
Authority
KR
South Korea
Prior art keywords
padding
area
region
reference frame
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020170026692A
Other languages
English (en)
Inventor
신재섭
류성걸
손세훈
이선영
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to PCT/KR2017/006528 priority Critical patent/WO2017222301A1/ko
Priority to CN201780038835.8A priority patent/CN109314788B/zh
Priority to US16/305,952 priority patent/US10812824B2/en
Publication of KR20180000279A publication Critical patent/KR20180000279A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 장치는 영상을 수신하는 네트워크 인터페이스, 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리 및 상기 명령어에 따라 영상을 부호화하는 프로세서를 포함하되, 프로세서는, 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하고, 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고, 모션 벡터를 참조하여 영상을 부호화하고, 영상은 360도 영상인 것을 특징으로 한다.

Description

부호화 장치 및 방법, 복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING, APPARATUS AND METHOD FOR DECODING}
본 발명은 영상을 부호화 및 복호화하는 기술에 관한 것으로 보다 상세하게는 360도 영상을 부호화 및 복호화하는 부호화 장치 및 방법, 복호화 장치 및 방법에 관한 것이다.
360도 영상은 360도 카메라 또는 다수 개의 카메라를 사용하여 360도 현실 세계를 2D 이미지로 표현한 포맷이다. 360도 영상은 개념적으로 구에 대응하는 영상이다. 그러나 영상의 부호화 등을 위해서는 구에 대응하는 영상을 평면의 형태로 변환하여 표현할 필요가 있다. 360도 영상은 구에 대응하는 영상을 큰 직사각형의 형태로 변환한 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 구에 대응하는 영상을 큐브를 전개한 6개의 페이스(face) 상으로 변환한 큐브(cube) 포맷 영상일 수 있다.
360도 영상은 일반 영상에 비해 상이한 특성을 가지고 있으나, 부호화 방식은 일반 영상을 부호화하기 위한 방식이 적용되고 있기에 360도 영상에 특화된 부호화 방식이 요구된다.
본 발명이 해결하고자 하는 과제는 360도 영상에 적합한 패딩(padding)을 적용하여 모션 벡터를 예측하는 과정을 통해 360도 영상에 대해 효율적인 부호화 장치 및 방법, 복호화 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 영상을 부호화하는 프로세서;를 포함하되, 상기 프로세서는, 상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고, 상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고, 상기 모션 벡터를 참조하여 상기 영상을 부호화하고, 상기 영상은 360도 영상인 것을 특징으로 하는 부호화 장치가 제공된다.
본 발명의 다른 측면에 따르면, 부호화 장치가 영상을 부호화하는 방법에 있어서, 상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계; 상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하는 단계; 및 상기 모션 벡터를 참조하여 상기 영상을 부호화하는 단계;를 포함하되, 상기 영상은 360도 영상인 것을 특징으로 하는 부호화 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 부호화 데이터에 대한 복호화를 수행하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 상기 부호화 데이터를 복호화하는 프로세서; 를 포함하되, 상기 프로세서는, 상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고, 부호화 데이터로부터 모션 벡터를 추출하고, 상기 모션 벡터를 참조하여 상기 부호화 데이터에 대한 복호화를 수행하여 360도 영상을 생성하는 것을 특징으로 하는 복호화 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 복호화 장치가 부호화 데이터를 복호화하는 방법에 있어서, 상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계; 상기 부호화 데이터로부터 모션 벡터를 추출하는 단계; 상기 모션 벡터를 참조하여 상기 부호화 데이터에 대한 복호화를 수행하여 360도 영상을 생성하는 단계; 를 포함하는 것을 특징으로 하는 복호화 방법이 제공된다.
상술한 바와 같이 본 발명에 따르면, 360도 영상에 적합한 패딩을 통해 정확한 모션 벡터를 예측함으로써 360도 영상에 대한 압축 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 부호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 이퀴렉탱귤러 포맷의 영상.
도 4는 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 큐브 포맷의 영상.
도 5는 본 발명의 일 실시예에 따른 부호화 장치가 패딩을 적용하는 패딩 영역을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 이퀴렉탱귤러 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면.
도 7은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제1 예를 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제1 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제2 예를 예시한 도면.
도 10은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제2 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 11은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제3 예를 예시한 도면.
도 12는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제3 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 13은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제4 예를 예시한 도면.
도 14는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷의 영상에 대한 패딩 방식의 제4 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면.
도 15은 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 큐브 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면.
도 16은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 일 페이스에 대한 패딩을 수행한 것을 예시한 도면.
도 17은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 타 페이스에 대한 패딩을 수행한 것을 예시한 도면.
도 18은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 중심점을 이용하여 패딩을 수행한 것을 예시한 도면.
도 19는 본 발명의 일 실시예에 따른 복호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하 기술하는 360도 영상은 이퀴렉탱귤러(Equirectangular) 포맷 영상, 큐브 포맷 영상 등의 2개의 축(가로축 및 세로축)을 기준으로 360도 범위에 해당하는 영역을 촬영한 영상이거나, 파노라마 영상 등의 1개의 축을 기준으로 360도 범위에 해당하는 영역을 촬영한 영상일 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치는 프로세서(110), 메모리(120), 저장부(130), 사용자 인터페이스 입력부(140) 및 사용자 인터페이스 출력부(150) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(160)를 통해 서로 통신할 수 있다. 또한, 부호화 장치는 네트워크나 접속 단자를 통해 외부 장치에 접속하기 위한 네트워크 인터페이스(170)를 또한 포함할 수 있다. 프로세서(110)는 메모리(120) 및/또는 저장부(130)에 저장된 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(120) 및 저장부(130)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(124) 및 RAM(125)를 포함할 수 있다.
즉, 본 발명의 일 실시예에 따른 부호화 장치는 컴퓨터 시스템의 형태로 구현될 수 있으며, 저장된 명령어에 따라 영상을 재생하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 부호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 이퀴렉탱귤러 포맷의 영상이고, 도 4은 본 발명의 일 실시예에 따른 부호화 장치가 부호화할 큐브 포맷의 영상이고, 도 5는 본 발명의 일 실시예에 따른 부호화 장치가 패딩을 적용하는 패딩 영역을 예시한 도면이다. 이하 설명하는 각 단계는 부호화 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간략하고 명확한 설명을 위해 각 단계의 주체를 부호화 장치로 통칭하도록 한다.
도 2를 참조하면, 단계 210에서 부호화 장치는 카메라, 저장 매체 등의 외부 장치로부터 360도 영상을 입력 받는다. 예를 들어, 부호화 장치는 도 3과 같은 구 상에 투영되는 영상을 직사각형의 평면 형태로 변환한 이퀴렉탱귤러 포맷의 영상 또는 도 4와 같은 구 상에 투영되는 영상을 정육면체의 형태로 변환하고, 해당 정육면체를 펼친 형태로 변환한 큐브 포맷의 영상을 입력 받을 수 있다.
단계 220에서 부호화 장치는 영상에 대해 패딩(padding)을 수행한다. 이 때, 패딩은 모션 벡터를 예측하기 위해 블록으로부터 지정된 탐색 범위 내에 있는 영상의 가장자리 바깥 영역인 패딩 영역(도 5의 510)의 각 픽셀값을 설정하는 과정이다. 추후 도 6 및 도 10을 참조하여 부호화 장치가 수행하는 패딩 과정을 상세히 설명하도록 한다.
단계 230에서 부호화 장치는 영상의 각 블록에 대한 모션 벡터를 예측한다.
단계 240에서 부호화 장치는 예측된 모션 벡터에 따른 대상 블록의 부호화를 수행하여 부호화 데이터를 생성한다. 이 때, 영상을 통해 모션 벡터를 예측하는 과정 및 부호화은 표준 등의 공지된 방법에 따른 과정일 수 있다. 따라서, 부호화 데이터는 각 블록에 대한 모션 벡터를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면이다.
도 6을 참조하면, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 좌측 가장자리에 해당하는 영역은 영상의 우측 가장자리에 해당하는 영역과 영상이 구 상에 투영되어 있는 경우 접한다. 또한, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 상측 가장자리에 해당하는 영역에 해당하는 픽셀은 구 상에서 서로 접하고, 영상의 하측 가장자리에 해당하는 영역에 해당하는 픽셀은 구 상에서 서로 접한다. 부호화 장치는 구 상에서 영상의 좌측 가장자리와 우측 가장자리가 접하는 것과 같이 좌측 가장자리에 접한 패딩 영역에 대한 패딩을 우측 가장자리에 위치한 픽셀값으로 수행한다. 이하, 영상 상에서 특정 영역과 인접하지(미리 지정된 간격 이내에 위치하지 않은) 않으나 해당 영상이 구 상에 매핑된 상황에서 특정 영역과 인접한(미리 지정된 간격 이내에 위치한) 타 영역을 인접 영역이라 지칭하도록 한다.
따라서, 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상의 일측에 해당하는 패딩 영역의 픽셀은 구 상에서 접한 영상 상의 영역의 픽셀값에 따라 패딩되는 경우, 부호화 과정에서 예측된 모션 벡터의 정확성을 높일 수 있고, 부호화 장치는 정확하게 예측된 모션 벡터를 통해 영상을 부호화함에 따라 부호화된 영상의 용량을 줄일 수 있다.
이하 도 7 내지 도 10을 참조하여 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 과정을 상세히 설명하도록 한다. 이 때, 이하 설명하는 도 7 내지 도 10에 예시된 원으로 표시된 각 픽셀 중 원의 색깔 및 숫자가 동일한 픽셀들은 서로 같은 픽셀값을 가지는 것을 가지는 것을 가정한다.
도 7은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제1 예를 예시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제1 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 7을 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역의 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역의 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 제1 상측 패딩 영역(730)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제1 상측 패딩 영역(730)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제1 상측 패딩 영역(730)의 픽셀값을 설정한다.
부호화 장치는 영상의 최상측 행부터 제2 상측 패딩 영역(740)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제2 상측 패딩 영역(740)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제2 상측 패딩 영역(740)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
부호화 장치는 영상의 최하측 행부터 제1 하측 패딩 영역(750)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제1 하측 패딩 영역(750)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제1 하측 패딩 영역(750)의 픽셀값을 설정한다.
부호화 장치는 영상의 최하측 행부터 제2 하측 패딩 영역(760)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제2 하측 패딩 영역(760)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 제2 하측 패딩 영역(760)의 픽셀값을 설정한다.
이 때, 제1 하측 패딩 영역(750)은 영상의 하측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 하측 패딩 영역(760)은 영상의 하측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
이 때, 구현 방식에 따라 부호화 장치는 도 8과 같이 제1 상측 패딩 영역(730), 제2 상측 패딩 영역(740), 제1 하측 패딩 영역(750) 및 제2 하측 패딩 영역(760)에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제2 예를 예시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제2 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 9를 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 정상측 패딩 영역(810)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 정상측 패딩 영역(810)의 픽셀값을 설정한다. 이 때, 정상측 패딩 영역(810)은 영상의 상측에 위치하는 픽셀 중 영상에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역을 의미한다.
부호화 장치는 영상의 최하측 행부터 정하측 패딩 영역(820)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 정하측 패딩 영역(820)의 픽셀값을 설정한다. 이 때, 정하측 패딩 영역(820)은 영상의 하측에 위치하는 픽셀 중 영상에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역을 의미한다.
부호화 장치는 영상의 최우상측에 위치한 픽셀부터 좌상측 패딩 영역(830)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 좌상측 패딩 영역(830)의 픽셀값으로 설정한다. 이 때, 좌상측 패딩 영역(830)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 좌상측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최좌상측에 위치한 픽셀부터 우상측 패딩 영역(840)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 우상측 패딩 영역(840)의 픽셀값으로 설정한다. 이 때, 우상측 패딩 영역(840)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 우상측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최우하측에 위치한 픽셀부터 좌하측 패딩 영역(850)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 좌하측 패딩 영역(850)의 픽셀값으로 설정한다. 이 때, 좌하측 패딩 영역(850)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 좌하측에 위치한 패딩 영역을 의미한다.
부호화 장치는 영상의 최좌하측에 위치한 픽셀부터 우하측 패딩 영역(860)의 행 수 및 열 수에 대응하는 영역의 픽셀값을 우하측 패딩 영역(860)의 픽셀값으로 설정한다. 이 때, 우하측 패딩 영역(860)은 정상측 패딩 영역(810), 정하측 패딩 영역(820), 좌측 패딩 영역(810) 및 우측 패딩 영역(820)을 제외한 나머지 패딩 영역 중 영상의 우하측에 위치한 패딩 영역을 의미한다.
이 때, 구현 방식에 따라 부호화 장치는 도 10과 같이 좌측 패딩 영역(710) 및 우측 패딩 영역(720) 이외 나머지 패딩 영역에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 11은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제3 예를 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제3 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
도 11을 참조하면, 부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 제1 상측 패딩 영역(730)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 상측 패딩 영역(730)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 제1 상측 패딩 영역(730)의 픽셀값을 설정한다.
부호화 장치는 영상의 최상측 행부터 제2 상측 패딩 영역(740)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제2 상측 패딩 영역(740)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 값으로 제2 상측 패딩 영역(740)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
부호화 장치는 영상의 최하측 행부터 제1 하측 패딩 영역(750)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 하측 패딩 영역(750)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 제1 하측 패딩 영역(750)의 픽셀값을 설정한다.
부호화 장치는 영상의 최하측 행부터 제2 하측 패딩 영역(760)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 제2 하측 패딩 영역(760)의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 픽셀의 픽셀값으로 값으로 제2 하측 패딩 영역(760)의 픽셀값을 설정한다.
이 때, 제1 상측 패딩 영역(730)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 제2 상측 패딩 영역(740)은 영상의 상측에 위치한 패딩 영역을 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역일 수 있다.
이 때, 구현 방식에 따라 부호화 장치는 도 12와 같이 제1 상측 패딩 영역(730), 제2 상측 패딩 영역(740), 제1 하측 패딩 영역(750) 및 제2 하측 패딩 영역(760)에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
도 13은 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제4 예를 예시한 도면이고, 도 14는 본 발명의 일 실시예에 따른 부호화 장치가 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 방식의 제4 예에서 일부 픽셀의 세로 배열 순서를 변경한 예를 예시한 도면이다.
부호화 장치는 영상의 좌측 패딩 영역(710)의 픽셀값을 영상의 최우측 열부터 좌측 패딩 영역(710)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
또한, 부호화 장치는 영상의 우측 패딩 영역(720)의 픽셀값을 영상의 최좌측 열부터 우측 패딩 영역(720)의 열 수 내의 영역에 해당하는 픽셀값과 같이 설정한다.
따라서, 부호화 장치는 구 상에서 원래 접해있던 픽셀이 서로 접한 형태가 되도록 패딩을 수행할 수 있다.
부호화 장치는 영상의 최상측 행부터 정상측 패딩 영역(810)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 정상측 패딩 영역(810)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최하측 행부터 정하측 패딩 영역(820)의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 정하측 패딩 영역(820)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최좌상측에 위치한 픽셀부터 좌상측 패딩 영역(830)의 행 수 및 열 수에 대응하는 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 좌상측 패딩 영역(830)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최우상측에 위치한 픽셀부터 우상측 패딩 영역(840)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 우상측 패딩 영역(840)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최우하측에 위치한 픽셀부터 좌하측 패딩 영역(850)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 좌하측 패딩 영역(850)의 픽셀값으로 설정한다.
부호화 장치는 영상의 최좌하측에 위치한 픽셀부터 우하측 패딩 영역(860)의 행 수 및 열 수에 대응하는 영역의 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 우하측 패딩 영역(860)의 픽셀값으로 설정한다.
이 때, 구현 방식에 따라 부호화 장치는 도 14와 같이 좌측 패딩 영역(710) 및 우측 패딩 영역(720) 이외 나머지 패딩 영역에 포함되는 픽셀에 대한 세로 배열 순서를 영상의 순서에 비해 역순이 되도록 할 수 있다.
지금까지 이퀴렉탱귤러 포맷 영상 또는 파노라마 영상에 대한 패딩 과정을 상세히 설명하였다.
이하 도 15 내지 도 17을 참조하여 큐브 포맷의 영상에 대한 패딩 과정을 상세히 설명하도록 한다.
도 15는 본 발명의 일 실시예에 따른 부호화 장치가 입력받은 큐브 포맷의 영상의 가장자리 영역 중 구 상에 대응시킨 영상에서 서로 연결되는 부분을 표시한 도면이다.
도 15를 참조하면, 큐브 포맷 영상은 6개의 페이스(face)로 구성된 영상으로, 각 페이스를 한 면으로 하는 정육면체에서 각 가장자리 영역은 타 가장자리 영역과 접한다. 부호화 장치는 큐브 포맷 영상을 정육면체로 형성하였을 때, 도 15에서 같은 색으로 표현한 두 가장 자리 영역이 구 상에 대응하는 영상에서 인접하는 영역임을 이용하여 패딩을 수행한다.
예를 들어, 부호화 장치는 제2 페이스(1120)의 상측 가장자리 영역과 접하는 제1 페이스(1110)의 좌측 가장 자리 영역의 각 픽셀값을 제2 페이스(1120)의 상측 패딩 영역의 픽셀값으로 설정할 수 있다. 또한, 부호화 장치는 제1 페이스(1110)의 좌측 패딩 영역의 픽셀값을 제2 페이스(1120)의 상측 가장자리 영역의 픽셀값으로 설정할 수 있다.
즉, 부호화 장치는 각 페이스 별 패딩을 각각 수행하고, 특정 페이스 상의 블록의 부호화를 위해 패딩 영역을 참조해야 하는 경우, 해당 페이스에 상응하여 패딩된 픽셀값을 참조할 수 있다.
이하, 도 16 내지 도 17을 참조하여 큐브 포맷 영상에 대한 패딩 과정을 상세히 설명하도록 한다.
도 16은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 일 페이스에 대한 패딩을 수행한 것을 예시한 도면이고, 도 17은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 타 페이스에 대한 패딩을 수행한 것을 예시한 도면이다.
도 16을 참조하면, 부호화 장치는 제1 페이스(1110)의 좌측 패딩 영역(1220)의 픽셀값을 제2 페이스(1120)의 상측 가장 자리 영역(1210)의 픽셀값에 따라 설정할 수 있다.
또한, 도 17을 참조하면, 부호화 장치는 제2 페이스(1120)의 상측 패딩 영역(1310)의 픽셀값을 제1 페이스(1110)의 좌측 가장 자리 영역(1320)의 픽셀값에 따라 설정할 수 있다.
따라서, 좌측 패딩 영역(1220)과 상측 패딩 영역(1310) 간에 겹치는 영역의 픽셀값은 제1 페이스(1110)에 대해 패딩된 픽셀값과 제2 페이스(1120)에 대해 패딩된 픽셀값으로 각각 설정될 수 있다.
즉, 부호화 장치는 큐브 포맷 영상에 대한 전체 패딩 영역에 대해 패딩을 수행하는 것이 아닌, 각 페이스에 대응하는 패딩 영역에 대해 각각 패딩을 수행한다. 따라서, 특정 패딩 영역의 픽셀값은 페이스별 상이한 값으로 설정될 수 있다.
이 때, 부호화 장치는 도 16 및 도 17을 참조하여 상술한 바와 달리 큐브 포맷 영상에 대한 패딩 과정을 큐브 포맷 영상을 큐브 형태로 나타내었을 때, 중심점을 이용하여 수행하는 것으로 변경될 수 있다. 이하, 중심점을 이용한 패딩 과정을 도 18을 참조하여 설명하도록 한다.
도 18은 본 발명의 일 실시예에 따른 부호화 장치가 큐브 포맷 영상의 중심점을 이용하여 패딩을 수행한 것을 예시한 도면이다.
도 18을 참조하면, 부호화 장치는 큐브 포맷 영상의 각 페이스를 면으로 하는 큐브 형태로 나타내었을 때, 각 페이스의 패딩 영역(큐브의 하단면에 해당하는 페이스의 패딩 영역은 1810임) 내에 위치한 대상점(1820)과 중심점(1830)을 이은 가상의 선이 각 페이스 중 어느 하나와 만나는 접점(1840)을 대상점(1820)의 값으로 설정하는 패딩을 수행한다. 이 때, 중심점(1830)은 큐브 형태의 3차원 좌표계 상 중심점을 의미한다.
부호화 장치는 상술한 바와 같이 모든 페이스의 패딩 영역 내에 위치한 모든 점을 대상점으로 하여 패딩을 수행하는 과정을 반복 수행할 수 있다.
도 19는 본 발명의 일 실시예에 따른 복호화 장치가 360도 영상을 부호화하는 과정을 예시한 순서도이다.
도 19를 참조하면, 단계 2210에서 복호화 장치는 부호화 장치가 생성한 부호화 데이터를 입력 받는다.
단계 2220에서 복호화 장치는 레퍼런스 프레임의 영상에 대해 패딩(padding)을 수행한다. 이 때, 패딩은 모션 벡터를 예측하기 위해 블록으로부터 지정된 탐색 범위 내에 있는 영상의 가장자리 바깥 영역인 패딩 영역(도 5의 510)의 각 픽셀값을 설정하는 과정이다. 이 때, 복호화 장치는 도 7 내지 도 18을 참조하여 상술한 과정에 따라 패딩을 수행할 수 있다.
단계 2230에서 복호화 장치는 부호화 데이터로부터 복호화할 블록인 복호 대상 블록의 모션 벡터를 추출한다.
단계 2240에서 복호화 장치는 모션 벡터에 따른 복호 대상 블록의 복호화를 수행한다. 이 때, 모션 벡터에 따른 복호 대상 블록의 복호화 과정은 표준 등의 공지된 복호화 방식을 따를 수 있다.
따라서, 상술한 복호화 장치는 360도 영상에 적합한 모션 벡터를 예측하기 위한 탐색 범위 설정 또는 패딩을 수행함으로써, 각 블록에 대해 일반적인 부호화 방식에 비해 압축 효율이 높은 부호화 데이터를 복호화할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (28)

  1. 영상에 대한 부호화를 수행하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 영상을 부호화하는 프로세서;
    를 포함하되,
    상기 프로세서는,
    상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고,
    상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하고,
    상기 모션 벡터를 참조하여 상기 영상을 부호화하여 부호화 데이터를 생성하고,
    상기 영상은 360도 영상인 것을 특징으로 하는 부호화 장치.
  2. 부호화 장치가 영상을 부호화하는 방법에 있어서,
    상기 영상의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계;
    상기 패딩 영역의 픽셀값을 참조하여 모션 벡터를 예측하는 단계; 및
    상기 모션 벡터를 참조하여 상기 영상을 부호화하는 단계;
    를 포함하되,
    상기 영상은 360도 영상인 것을 특징으로 하는 부호화 방법.
  3. 부호화 데이터에 대한 복호화를 수행하는 명령어를 저장하는 메모리; 및
    상기 명령어에 따라 상기 부호화 데이터를 복호화하는 프로세서;
    를 포함하되,
    상기 프로세서는,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하고,
    상기 부호화 데이터로부터 복호 대상 블록의 모션 벡터를 추출하고,
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 것을 특징으로 하는 복호화 장치.
  4. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 파노라마(panorama) 포맷 영상인 경우, 상기 레퍼런스 프레임의 좌측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최우측 열부터 상기 좌측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하고,
    상기 레퍼런스 프레임의 우측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최좌측 열부터 상기 우측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하여 패딩을 수행하는 것을 특징으로 하는 복호화 장치.
  5. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하고,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 장치.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  7. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정하측 패딩 영역의 픽셀값을 설정하고,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀을 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고,
    상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀을 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  9. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하고,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 레퍼런스 프레임을 상기 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 영상의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 장치.
  10. 제9 항에 있어서,
    상기 프로세서는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  11. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정상측 패딩 영역의 픽셀값으로 설정하고,
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정하측 패딩 영역의 픽셀값으로 설정하고,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고,
    상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 것을 특징으로 하는 복호화 장치.
  13. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 가장자리 영역과 접하는 타 페이스의 가장자리 영역의 픽셀값을 상기 일 페이스의 패딩 영역의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 장치.
  14. 제13 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임의 상기 일 페이스에 포함되는 상기 복호 대상 블록을 상기 일 페이스에 대해 패딩된 픽셀값을 참조하여 복호화하는 것을 특징으로 하는 복호화 장치.
  15. 제3 항에 있어서,
    상기 프로세서는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 패딩 영역 상의 대상점과 중심점을 이은 선과 접하는 타 페이스의 접점의 값을 상기 대상점의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 장치.
  16. 복호화 장치가 부호화 데이터를 복호화하는 방법에 있어서,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계;
    상기 부호화 데이터로부터 복호 대상 블록의 모션 벡터 정보를 추출하는 단계;
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 단계;
    를 포함하는 복호화 방법.
  17. 제16 항에 있어서,
    상기 부호화 데이터에 대응하는 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 영상이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 영상의 타 가장 자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 이퀴렉탱귤러(Equirectangular) 포맷 영상 또는 파노라마(panorama) 포맷 영상인 경우, 상기 레퍼런스 프레임의 좌측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최우측 열부터 상기 좌측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하는 단계; 및
    상기 레퍼런스 프레임의 우측 패딩 영역의 픽셀값을 상기 레퍼런스 프레임의 최좌측 열부터 상기 우측 패딩 영역의 열 수 내의 영역에 대응하는 픽셀값과 같이 설정하여 패딩을 수행하는 단계
    를 포함하는 복호화 방법.
  18. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제1 하측 패딩 영역의 픽셀값을 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 값으로 상기 제2 하측 패딩 영역의 픽셀값을 설정하는 단계;
    를 더 포함하되,
    상기 제1 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 방법.
  19. 제18 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계;
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  20. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정상측 패딩 영역의 픽셀값을 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀값으로 상기 정하측 패딩 영역의 픽셀값을 설정하는 단계;
    를 포함하되,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고, 상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 방법.
  21. 제20 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  22. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 제1 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 제1 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 상기 픽셀의 픽셀값을 상기 제1 상측 패딩 영역의 픽셀값으로 설정하는 단계;
    상기 레퍼런스 프레임의 최상측 행부터 제2 상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 상측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    상기 레퍼런스 프레임의 최하측 행부터 제1 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최좌측 열부터 상기 제1 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 상기 픽셀의 픽셀값을 상기 제1 하측 패딩 영역의 픽셀값으로 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 제2 하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀 중 최우측 열부터 상기 제2 하측 패딩 영역의 열 수에 해당하는 열까지의 영역에 해당하는 픽셀의 수평 배열 순서를 역순으로 배열하고, 역순으로 배열된 상기 픽셀의 픽셀값으로 값으로 상기 제2 상측 패딩 영역의 픽셀값을 설정하는 단계;
    를 포함하되,
    상기 제1 상측 패딩 영역은 상기 영상의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역이고,
    상기 제1 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 좌측에 위치하는 영역이고, 상기 제2 하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치한 패딩 영역을 상기 레퍼런스 프레임의 중심점을 지나는 수직선을 기준으로 나눈 영역 중 우측에 위치하는 영역인 것을 특징으로 하는 복호화 방법.
  23. 제22 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 제1 상측 패딩 영역, 상기 제2 상측 패딩 영역, 상기 제1 하측 패딩 영역 및 상기 제2 하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계;
    를 더 포함하는 것을 특징으로 하는 복호화 방법.
  24. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임의 최상측 행부터 정상측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정상측 패딩 영역의 픽셀값으로 설정하는 단계; 및
    상기 레퍼런스 프레임의 최하측 행부터 정하측 패딩 영역의 행 수에 해당하는 행까지의 영역에 해당하는 픽셀들의 수평 배열 순서가 역순으로 배열되도록 하고, 역순으로 배열된 각 픽셀의 픽셀값을 상기 정하측 패딩 영역의 픽셀값으로 설정하는 단계;
    를 더 포함하되,
    상기 정상측 패딩 영역은 상기 레퍼런스 프레임의 상측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역이고, 상기 정하측 패딩 영역은 상기 레퍼런스 프레임의 하측에 위치하는 픽셀 중 상기 레퍼런스 프레임에 포함된 각 픽셀 지나는 가상의 수직선 상에 위치하는 픽셀을 포함하는 영역인 것을 특징으로 하는 복호화 방법.
  25. 제24 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 정상측 패딩 영역 및 상기 정하측 패딩 영역에 패딩된 픽셀의 값의 세로 순서를 역순으로 재배열하는 단계를 더 포함하는 것을 특징으로 하는 복호화 방법.
  26. 제16 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 가장자리 영역과 접하는 타 페이스의 가장자리 영역의 픽셀값을 상기 일 페이스의 패딩 영역의 픽셀값으로 설정하는 단계인 것을 특징으로 하는 복호화 방법.
  27. 제26 항에 있어서,
    상기 모션 벡터 및 상기 패딩 영역의 픽셀값을 참조하여 상기 복호 대상 블록의 복호화를 수행하여 360도 영상을 생성하는 단계는,
    상기 레퍼런스 프레임의 상기 일 페이스에 포함되는 상기 복호 대상 블록을 상기 일 페이스에 대해 패딩된 픽셀값을 참조하여 복호화하는 단계인 것을 특징으로 하는 복호화 방법.
  28. 제26 항에 있어서,
    상기 레퍼런스 프레임의 일 가장자리 영역에 대응하는 패딩 영역의 픽셀값을 상기 레퍼런스 프레임이 투영된 구 상에서 상기 일 가장자리 영역과 접하는 상기 레퍼런스 프레임의 타 가장자리 영역을 참조하여 설정하는 패딩을 수행하는 단계는,
    상기 레퍼런스 프레임이 큐브(Cube) 포맷 영상인 경우, 상기 레퍼런스 프레임의 페이스(face)를 한 면으로 하는 정육면체에서 일 페이스의 패딩 영역 상의 대상점과 중심점을 이은 선과 접하는 타 페이스의 접점의 값을 상기 대상점의 픽셀값으로 설정하는 것을 특징으로 하는 복호화 방법.
KR1020170026692A 2016-06-21 2017-02-28 부호화 장치 및 방법, 복호화 장치 및 방법 Ceased KR20180000279A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2017/006528 WO2017222301A1 (ko) 2016-06-21 2017-06-21 부호화 장치 및 방법, 복호화 장치 및 방법
CN201780038835.8A CN109314788B (zh) 2016-06-21 2017-06-21 编码装置和编码方法以及解码装置和解码方法
US16/305,952 US10812824B2 (en) 2016-06-21 2017-06-21 Encoding apparatus and method, and decoding apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160077512 2016-06-21
KR20160077512 2016-06-21

Publications (1)

Publication Number Publication Date
KR20180000279A true KR20180000279A (ko) 2018-01-02

Family

ID=61004367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170026692A Ceased KR20180000279A (ko) 2016-06-21 2017-02-28 부호화 장치 및 방법, 복호화 장치 및 방법

Country Status (3)

Country Link
US (1) US10812824B2 (ko)
KR (1) KR20180000279A (ko)
CN (1) CN109314788B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082955A (ko) * 2017-01-11 2018-07-19 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019240425A1 (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
CN112425174A (zh) * 2018-06-11 2021-02-26 Sk电信有限公司 帧间预测方法和图像解码装置
KR20210070299A (ko) * 2019-01-02 2021-06-14 미디어텍 인크. 투영 기반 프레임을 프로세싱하기 위한 방법
KR20240051314A (ko) * 2016-10-04 2024-04-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN117354516A (zh) 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
KR20190052128A (ko) * 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN117014635A (zh) 2016-10-04 2023-11-07 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
JP6922215B2 (ja) * 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
FR3075540A1 (fr) * 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.
KR102503743B1 (ko) * 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
US10997693B2 (en) * 2019-07-03 2021-05-04 Gopro, Inc. Apparatus and methods for non-uniform processing of image data
DE102021117397A1 (de) 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69801794T2 (de) * 1997-01-30 2002-06-13 Matsushita Electric Industrial Co., Ltd. Verfahren zur auffrischung eines digitalen bildes, vorrichtung zur bildverarbeitung und datenträger
JP3413720B2 (ja) 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
JP2000285259A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 多視点画像からの任意視点画像再生方法
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100700218B1 (ko) * 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
CN101681525A (zh) * 2007-06-08 2010-03-24 电子地图有限公司 产生多视点全景图的方法及设备
CN101394569B (zh) * 2008-10-29 2010-04-21 北京创毅视讯科技有限公司 一种avs视频解码器的容错方法、装置及芯片
CN101667295B (zh) * 2009-09-09 2012-10-03 北京航空航天大学 一种将线搜索扩展于全景视频运动估计的方法
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
JP6030230B2 (ja) * 2012-07-04 2016-11-24 インテル コーポレイション パノラマベースの３ｄビデオコーディング
US9414087B2 (en) * 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9918082B2 (en) * 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
CN115243040B (zh) * 2015-11-23 2025-05-09 韩国电子通信研究院 视频编码/解码方法和记录介质
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240051314A (ko) * 2016-10-04 2024-04-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
KR20180082955A (ko) * 2017-01-11 2018-07-19 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019240425A1 (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
CN112425174A (zh) * 2018-06-11 2021-02-26 Sk电信有限公司 帧间预测方法和图像解码装置
KR20230154413A (ko) * 2018-06-11 2023-11-08 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
US11838516B2 (en) 2018-06-11 2023-12-05 Sk Telecom Co., Ltd. Inter-prediction method and image decoding device
US11838515B2 (en) 2018-06-11 2023-12-05 Sk Telecom Co., Ltd. Inter-prediction method and image decoding device
US11849121B2 (en) 2018-06-11 2023-12-19 Sk Telecom Co., Ltd. Inter-prediction method and image decoding device
US11849122B2 (en) 2018-06-11 2023-12-19 Sk Telecom Co., Ltd. Inter-prediction method and image decoding device
CN112425174B (zh) * 2018-06-11 2025-01-07 Sk电信有限公司 帧间预测方法和图像解码装置
KR20210070299A (ko) * 2019-01-02 2021-06-14 미디어텍 인크. 투영 기반 프레임을 프로세싱하기 위한 방법

Also Published As

Publication number Publication date
US10812824B2 (en) 2020-10-20
CN109314788B (zh) 2023-06-30
US20190222862A1 (en) 2019-07-18
CN109314788A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
KR20180000279A (ko) 부호화 장치 및 방법, 복호화 장치 및 방법
JP7796166B2 (ja) 画像データ符号化／復号化方法及び装置
US20250139834A1 (en) Scalable framework for point cloud compression
US20160255357A1 (en) Feature-based image set compression
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
US20200074587A1 (en) Method and Apparatus for Mapping Virtual-Reality Image to a Segmented Sphere Projection Format
CN109937573B (zh) 用于光场压缩和解压缩的系统和方法
US10230957B2 (en) Systems and methods for encoding 360 video
US20190182503A1 (en) Method and image processing apparatus for video coding
US20220345742A1 (en) Immersive video decoding method and immersive video encoding method
CN118511529A (zh) 用于多平面图像的渐进编码和解码的方法和设备
CN103916652B (zh) 视差矢量生成方法及装置
US20250097460A1 (en) Method for decoding immersive video and method for encoding immersive video
CN105122808B (zh) 三维或多视图视频编码或解码的方法及装置
US20250316038A1 (en) Point cloud decoder with 6d pose estimation
KR102895584B1 (ko) 라이트 필드 코딩 및 디코딩을 위한 예측
US20230222694A1 (en) Method for decoding immersive video and method for encoding immersive video
US20190200033A1 (en) Image encoding/decoding methods and apparatuses and image processing equipment
CN104853216B (zh) 基于深度的块分割方法和电子装置
US20250022177A1 (en) Method for encoding/decoding video and recording medium storing the method for encoding video
CN109496429B (zh) 视频编码方法、视频解码方法及相关装置
US20250301115A1 (en) Method and device for viewport-based atlas selection
CN118176525A (zh) 用于使用混合深度熵译码进行点云压缩的方法和装置
JP2026021584A (ja) 画像データ符号化／復号化方法及び装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000