KR20170120747A

KR20170120747A - 고효율 비디오 코딩을 위한 화면 내 예측 방법 및 장치

Info

Publication number: KR20170120747A
Application number: KR1020160048883A
Authority: KR
Inventors: 임웅; 심동규; 류호찬
Original assignee: 광운대학교 산학협력단; 디지털인사이트 주식회사
Priority date: 2016-04-21
Filing date: 2016-04-21
Publication date: 2017-11-01
Anticipated expiration: 2036-04-21
Also published as: KR102443958B1; KR102716857B1; KR20240149871A; KR20220128975A

Abstract

본 발명은 비디오 압축 영상의 복호화에 있어, 효과적으로 화면 내 예측을 수행하기 위한 참조 신호를 생성하여 화면 내 예측 픽쳐의 성능을 높임으로써 임의접근 픽쳐 및 상기 화면 내 예측 픽쳐를 참조하는 화면 간 예측 픽쳐들의 압축 성능 향상을 통하여 전체적인 비디오 압축 성능을 개선한다.

Description

고효율 비디오 코딩을 위한 화면 내 예측 방법 및 장치{METHOD AND APPARATUS OF INTRA PREDICTION FOR HIGH EFFICIENT VIDEO CODING}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 고효율 비디오 코딩을 위한 화면 내 예측 기술에 관한 것이다.

최근 고해상도/고화질 영상 서비스 수요가 증가하였다. 이에 따라, 임의접근 및 화면 예측 성능의 향상을 위한 개선된 화면 내 예측 픽쳐의 효율적인 압축 방법이 중요해졌다.

본 발명의 일부 실시예는 효과적으로 화면 내 예측을 수행하기 위한 참조 신호의 생성 방법 및 장치를 제공하는 것을 그 목적으로 한다.

다만 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 방법 및 장치는, 화면 내 예측을 수행함에 있어, 화면 내 예측을 위하여 참조되는 주변 복원신호를 이용하여 복원되지 않은 영역에 대한 신호를 생성하여 효율적인 화면 내 예측을 수행할 수 있다. 또한, 복원된 신호 중 화면 내 예측을 위하여 참조되는 범위를 기존에 비해 확장하여 더 많은 복원 화소들을 참조함으로써, 화면 내 예측 성능을 향상시킬 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 복호화기에서 화면 내 예측 신호의 생성과 참조 범위를 확장함으로써 화면 내 예측 성능을 향상시키고, 전체 비디오의 압축 성능을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 부호화된 비트스트림의 화면 내 예측 정보를 통하여 화면 내 예측 신호를 생성하고, 상기 생성된 화면 내 예측 신호를 이용하여 복원 영상을 출력할 수 있는 비디오 복호화 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 화면 내 예측 블록을 위한 참조 가능한 영역을 도시한다.
도 3은 본 발명의 실시예에 따른 화면 내 예측 방법에 따라 참조 화소열의 길이에 따른 방향성 화면 내 예측을 수행하는 방법을 도시한다.
도 4는 본 발명의 실시예에 따른 화면 내 예측 방법에 따라 좌측 화소열의 길이에 따른 방향성 화면 내 예측을 수행하는 방법을 도시한다.
도 5는 본 발명의 실시예에 따른 화면 내 예측 방법 중 적용 가능한 방향성 예측의 범위를 도시한다.
도 6은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 방법을 도시한다.
도 7은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 크기를 갖는 음의 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 방법을 도시한다.
도 8은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 또다른 방법을 도시한다.
도 9는 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 시퀀스 파라미터 셋에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.
도 10은 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 픽쳐 파라미터 셋에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.
도 11 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 슬라이스 세그먼트 헤더에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비 실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 부호화된 비트스트림의 화면 내 예측 정보를 통하여 화면 내 예측 신호를 생성하고, 상기 생성된 화면 내 예측 신호를 이용하여 복원 영상을 출력할 수 있는 비디오 복호화 장치를 도시한다.

입력되는 부호화 비트스트림 (101)은 엔트로피 복호화부 (102)에서 복호화 되며, 역양자화부 (103), 역변환부 (104)를 통하여 잔차신호가 복원된다. 화면 내 예측부 (106)는 예측신호 생성부 (105)에서 생성된 화면 내 예측을 위한 복원 신호를 이용하여 화면 내 예측을 수행할 수 있다. 상기 예측신호 생성부 (105)는 화면 내 예측을 위한 복원 신호에 저역통과 필터 (Low-pass filter)가 적용되어 고주파 성분의 일부를 제거하는 절차를 수행할 수 있다. 움직임 보상부 (107)는 복원 영상 저장부 (109)에 저장된 이전 시간의 복원 신호를 이용하여 화면 간 예측을 수행할 수 있다. 이러한 화면 내 예측 또는 화면 간 예측을 통하여 생성된 예측신호와 상기 잔차신호를 이용하여 복원신호를 생성하고, 생성된 복원신호는 인루프 필터부 (108)를 통하여 필터가 적용되며, 이후의 픽쳐에서 참조되기 위해 복원 영상 저장부 (109)에 저장될 수 있고, 각 영상들의 출력 순서에 따라 복원 영상 (110)으로 출력될 수 있다.

도 2는 본 발명의 실시예에 따른 화면 내 예측 블록을 위한 참조 가능한 영역을 도시한다.

M×N 크기를 갖는 현재 화면 내 예측 블록 (201)의 화면 내 예측을 위하여, 좌상단 참조화소 (202), 상단 참조화소열 (203) 및 좌측 참조화소열 (204)이 사용될 수 있다. 상기 상단 참조화소열 (203)은 화면 내 예측 블록의 가로길이 N보다 클 수 있으며, 1보다 큰 n에 대하여 (n*N)의 길이를 가질 수 있다. 상기 좌측 참조화소열 (204)은 화면 내 예측 블록의 세로길이 M보다 클 수 있으며, 1보다 큰 m에 대하여 (m*M)의 길이를 가질 수 있다.

도 3은 본 발명의 실시예에 따른 화면 내 예측 방법에 따라 상단 참조 화소열의 길이에 따른 방향성 화면 내 예측을 수행하는 방법을 도시한다.

M×N 크기를 갖는 현재 화면 내 예측 블록 (301)의 화면 내 예측을 위하여, 참조 가능한 상단 참조화소열 (302)의 길이가 2N보다 클 경우, 상기 화면 내 예측 블록 (301)에 대한 방향성 화면 내 예측은 상기 방향성 화면 내 예측 각도의 크기가 45도 보다 작은 각도 (303)인 방향성 화면 내 예측 (304)을 사용하여 화면 내 예측이 수행될 수 있다.

도 4는 본 발명의 실시예에 따른 화면 내 예측 방법에 따라 좌측 참조 화소열의 길이에 따른 방향성 화면 내 예측을 수행하는 방법을 도시한다.

M×N 크기를 갖는 현재 화면 내 예측 블록 (401)의 화면 내 예측을 위하여, 참조 가능한 좌측 참조화소열 (402)의 길이가 2M보다 클 경우, 상기 화면 내 예측 블록 (401)에 대한 방향성 화면 내 예측은 상기 방향성 화면 내 예측 각도의 크기가 315도 보다 큰 각도 (403)인 방향성 화면 내 예측 (404)을 사용하여 화면 내 예측이 수행될 수 있다.

도 5는 본 발명의 실시예에 따른 화면 내 예측 방법 중 적용 가능한 방향성 예측의 범위를 도시한다.

제안하는 화면 내 예측 방법에서 적용 가능한 방향성 예측은 예측 범위 1 (501), 예측 범위2 (502), 예측 범위 3 (503)을 포함하는 45도로부터 315도 범위의 방향성 예측 방향의 범위를 기준으로 하여, 만일, 현재 화면 내 예측 블록의 가로 길이 N에 대하여 상단 참조화소열의 길이가 2N 보다 클 경우, 예측 범위 1 (501), 예측 범위 3 (503), 예측 범위 5(505)에 해당하는 범위 내 하나의 방향성 예측 모드를 통하여 화면 내 예측을 수행할 수 있다. 만일, 현재 화면 내 예측 블록의 세로 길이 M에 대하여 좌측 참조화소열의 길이가 2M보다 클 경우, 예측 범위 1 (501), 예측 범위 2 (502), 예측 범위 4 (504)에 해당하는 범위 내 하나의 방향성 예측 모드를 통하여 화면 내 예측을 수행할 수 있다. 상기 참조화소열의 길이에 따른 예측 범위는 참조화소열의 복호화 여부에 따라 적응적으로 결정될 수 있다. 또는, 신택스 요소를 통하여 현재 화면 내 예측 블록의 화면 내 예측을 위하여 사용될 예측 범위를 시그널링할 수 있다.

도 6은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 방법을 도시한다.

현재 화면 내 예측 블록과 인접한 복원된 주변 블록에 포함되는 복원화소 영역 (601)에 대하여 상기 복원화소 영역과 인접하여 연속되는 미복원화소 영역 (602)이 존재한다면, 상기 복원화소 영역의 시작위치로부터 일정 오프셋 (603)만큼 떨어진 위치의 화소값의 변화량과 상기 미복원화소 영역의 시작 위치로부터 상기 오프셋과 동일한 오프셋 (604)만큼 떨어진 위치의 화소값의 변화량이 동일하도록 예측 신호를 생성할 수 있다. 이후, 상기 복원화소 영역 (601)과 새롭게 생성된 상기 미복원화소 영역 (602)의 신호가 화면 내 예측을 위해 참조될 수 있다.

도 7은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 크기를 갖는 음의 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 방법을 도시한다.

현재 화면 내 예측 블록과 인접한 복원된 주변 블록에 포함되는 복원화소 영역 (701)에 대하여 상기 복원화소 영역과 인접하여 연속되는 미복원화소 영역 (702)이 존재한다면, 상기 복원화소 영역의 끝 위치로부터 일정 오프셋 (703)만큼 떨어진 위치의 화소값의 변화량과 상기 미복원화소 영역의 시작 위치로부터 상기 오프셋과 동일한 오프셋 (704)만큼 떨어진 위치의 화소값의 변화량 크기가 동일하며 기울기의 부호가 반대인 예측 신호를 생성할 수 있다. 이후, 상기 복원화소 영역 (701)과 새롭게 생성된 상기 미복원화소 영역 (702)의 신호가 화면 내 예측을 위해 참조될 수 있다.

도 8은 본 발명의 실시예에 따른 화면 내 예측 방법 중 이웃한 복원화소 영역의 신호로부터 미복원 화소영역의 화소 좌표에 따라 복원화소 영역과 동일한 기울기로 화소의 밝기를 변화시킴으로써 화면 내 예측신호를 생성하는 또다른 방법을 도시한다.

현재 화면 내 예측 블록과 인접한 복원된 주변 블록에 포함되는 복원화소 영역 (801)에 대하여 상기 복원화소 영역과 인접하여 연속되는 미복원화소 영역 (802)이 존재한다면, 상기 복원화소 영역의 끝 위치로부터 일정 오프셋 (803)만큼 떨어진 위치의 화소값의 변화량과 상기 미복원화소 영역의 시작 위치로부터 상기 오프셋과 동일한 오프셋 (804)만큼 떨어진 위치의 화소값의 변화량이 동일한 예측 신호를 생성할 수 있다. 이후, 상기 복원화소 영역 (801)과 새롭게 생성된 상기 미복원화소 영역 (802)의 신호가 화면 내 예측을 위해 참조될 수 있다.

도 9는 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 시퀀스 파라미터 셋에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.

제안하는 화면 내 예측 방법은 압축 비트스트림 내에 존재하는 NAL (Network Abstract Layer) 유닛 중 시퀀스 파라미터 셋 (901) 내에서 상기 제안하는 화면 내 예측 방법의 적용 가능 여부를 'seq_model_intra_enabled_flag"의 1 비트 플래그 (902)의 형태로 포함할 수 있으며, 만일, 해당 플래그의 값이 참일 경우, 상기 시퀀스 파라미터 셋을 참조하는 픽쳐들은 상기 제안하는 화면 내 예측 방법을 사용하여 복호화될 수 있다.

도 10은 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 픽쳐 파라미터 셋에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.

제안하는 화면 내 예측 방법은 압축 비트스트림 내에 존재하는 NAL (Network Abstract Layer) 유닛 중 픽쳐 파라미터 셋 (1001) 내에서 상기 제안하는 화면 내 예측 방법의 적용 가능 여부를 'pic_model_intra_enabled_flag'의 1 비트 플래그 (1002)의 형태로 포함할 수 있으며, 만일, 해당 플래그의 값이 참일 경우, 상기 픽쳐 파라미터 셋을 참조하는 슬라이스들은 상기 제안하는 화면 내 예측 방법을 사용하여 복호화될 수 있다. 또한, 상기 픽쳐 파라미터 셋 내에서 전송되는 'pic_model_intra_enabled_flag' 값이 참일 경우, 상기 제안하는 화면 내 예측 방법이 픽쳐 내에서 허용되는 모든 크기의 화면 내 예측 블록에 적용될 수 있는지 여부를 'pic_model_intra_all_blk_sizes_flag'의 1비트 플래그 (1003)의 형태로 포함될 수 있다. 만일, 상기 pic_model_intra_enabled_flag가 참이고, 상기 pic_model_intra_all_blk_sizes_flag가 거짓일 경우, 현재 픽쳐 내에 포함된 화면 내 예측 블록들 중, 상기 제안하는 화면 내 예측 방법이 적용될 수 있는 블록의 최소 크기와 최대 크기를 밑이 2인 log 값인 min_log2_model_intra_blk_size (1004)와 max_log2_model_intra_blk_size (1005)를 지수골롬 코드의 형태로 전송할 수 있다.

도 11 본 발명의 실시예에 따른 화면 내 예측 방법을 위한 상위 수준 신택스 (High-level syntax) 중 슬라이스 세그먼트 헤더에 의하여 제안하는 화면 내 예측 수행 여부를 시그널링하는 방법을 도시한다.

제안하는 화면 내 예측 방법은 압축 비트스트림 내에 존재하는 NAL (Network Abstract Layer) 유닛 중 슬라이스 세그먼트 헤더 (1101) 내에서 상기 제안하는 화면 내 예측 방법의 적용 가능 여부를 slice_model_intra_enabled_flag의 1 비트 플래그 (1102)의 형태로 포함할 수 있으며, 만일, 해당 플래그의 값이 참일 경우, 상기 슬라이스 세그먼트 헤더를 참조하는 블록들은 상기 제안하는 화면 내 예측 방법을 사용하여 복호화될 수 있다.

Claims

비디오 복호화 장치에 있어서.
영상의 부호화 비트스트림을 수신하는 비트스트림 수신부;
상기 수신된 비트스트림을 복호화하여 영상을 출력하는 복호화부; 및
상기 수신된 비트스트림의 복호화를 위한 화면 내 예측신호 생성부 및 화면 내 예측부를 포함하는 것을 특징으로 하는 비디오 복호화 장치.