[go: up one dir, main page]

KR20110135786A - 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법 - Google Patents

깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법 Download PDF

Info

Publication number
KR20110135786A
KR20110135786A KR1020100077249A KR20100077249A KR20110135786A KR 20110135786 A KR20110135786 A KR 20110135786A KR 1020100077249 A KR1020100077249 A KR 1020100077249A KR 20100077249 A KR20100077249 A KR 20100077249A KR 20110135786 A KR20110135786 A KR 20110135786A
Authority
KR
South Korea
Prior art keywords
foreground
background
transition
depth
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020100077249A
Other languages
English (en)
Inventor
이석
오르테가 안토니오
김우식
이재준
위호천
이승신
Original Assignee
삼성전자주식회사
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 써던 캘리포니아 filed Critical 삼성전자주식회사
Priority to US13/703,544 priority Critical patent/US20140002596A1/en
Priority to PCT/KR2011/002906 priority patent/WO2011155704A2/ko
Priority to EP11792615.4A priority patent/EP2582135A4/en
Publication of KR20110135786A publication Critical patent/KR20110135786A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 방법이다. 3D 비디오 인코딩 장치 및 방법은 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하고, 상기 계산된 깊이 전이의 위치를 양자화하고, 양자화된 깊이 전이 위치를 코딩한다.

Description

깊이 전이 데이터를 이용한 3Ｄ 비디오 인코딩／디코딩 장치 및 방법{Method and Apparatus for encoding/decoding 3D video using depth transition data}
아래의 실시예들은 깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 방법에 관한 것이다.
3-D(Dimension) 비디오 시스템은 깊이 영상을 기초한 렌더링 시스템(Depth Image Based Rendering system: 이하 "DIBR 시스템"이라고 함)을 이용하여 효과적으로 3-D 비디오 인코딩을 수행한다.
하지만 종래 DIBR 시스템은 생성된 영상들(Rendered views)에서 왜곡들(distortions)이 발생하고, 이러한 왜곡들은 비디오 시스템의 질을 저하시키는 요인이 된다. 결과적으로 압축된 깊이 영상의 왜곡(depth map coding distortion)은 대상 경계들(object boundaries)에서 침식 아티팩트들(erosion artifacts)을 유발시키고, 이러한 침식 아티팩트들로 인하여 화질 저하가 발생한다.
본 발명의 일실시예에 따른 3D 비디오 인코딩 장치는 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 전이 위치 계산부와, 상기 계산된 깊이 전이의 위치를 양자화하는 양자화부 및 상기 양자화된 깊이 전이 위치를 코딩하는 코딩부를 포함한다.
본 발명의 일측면에서 상기 전이 위치 계산부는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 이웃 기준 시점들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 인코딩 장치는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 전경/배경 분리부는 상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리할 수 있다.
또한, 본 발명의 일측면에서 상기 전경/배경 분리부는 상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 인코딩 장치는 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행하는 양자화부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 디코딩 장치는 양자화된 깊이 전이 데이터를 디코딩하는 디코딩부와, 깊이 전이 데이터를 역양자화하는 역양자화부 및 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정하는 왜곡 보정부를 포함한다.
본 발명의 일측면에서 상기 디코딩부는 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 디코딩 장치는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 3D 비디오 디코딩 장치는 상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 디코딩 장치는 상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 전이 영역을 검출하는 전이 영역 검출부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 인코딩 방법은 뷰 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 단계와, 상기 계산된 깊이 전이의 위치를 양자화하는 단계 및 상기 양자화된 깊이 전이 위치를 코딩하는 단계를 포함할 수 있다.
본 발명의 일측면에서 상기 깊이 전이를 계산하는 단계는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 뷰 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 디코딩 방법은 양자화된 깊이 전이 데이터를 디코딩하는 단계와, 깊이 전이 데이터를 역양자화하는 단계 및 상기 디코딩된 깊이 전이 데이터를 이용하여 렌더링된 뷰를 확장하는 단계를 포함할 수 있다.
본 발명의 일측면에서 상기 양자화된 깊이 전이 데이터를 디코딩하는 단계는 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩할 수 있다.
본 발명의 실시예는 MVD (video plus depth) 데이터에 깊이 전이 데이터를 부가하여 제공함으로써 보다 향상된 3D 비디오 인코딩/디코딩 장치 및 방법을 제공할 수 있다.
또한 본 발명의 실시예는 깊이 전이 데이터가 전경/배경 전이가 발생된 것을 나타내므로 깊이 맵 왜곡을 보정할 수 있다.
또한 본 발명의 실시예는 임의의 위치에서 다중 뷰들에 적용할 수 있는 깊이 전이 데이터를 제공함으로써 모든 기준 뷰들에 대해 깊이 맵 정보를 제공할 수 있다.
또한 본 발명의 실시예는 제안된 깊이 전이 데이터를 이용함으로써 깊이 맵 왜곡에 기인하는 침식 아티팩트를 감소시킬 수 있고, 생성된 영상의 화질을 향상시킬 수 있다.
또한 본 발명의 실시예는 합성 영상에 대해 깊이 전이 데이터를 적용함으로써 절대적인 및 상대적인 3D 인코딩/디코딩 품질을 향상시킬 수 있다.
도 1은 각 큐브 대상의 뷰에 따른 좌표의 일례를 나타내는 도면이다.
도 2는 도 1에 도시된 큐브 대상(cube object)를 이용한 깊이 전이 데이터(depth transition data)의 일례를 나타내는 도면이다.
도 3은 전방에서 후방으로 전이되는 것을 나타내는 깊이 전이 데이터의 일례를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코딩 방법의 플로우 차트이다.
도 7은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코딩 방법의 플로우 차트이다.
도 8은 깊이 전이 데이터를 이용하는 왜곡 보정 절차의 플로우 차트이다.
도 9는 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 이용한 경우를 비교하는 왜곡률 곡선의 일례를 나타내는 도면이다.
도 10은 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 품질을 비교한 일례를 나타내는 도면이다.
이하, 본 발명의 실시예에 따른 깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 그 방법을 첨부된 도면들을 참조하여 상세하게 설명한다.
DIBR 시스템은 이용 가능한 기준 뷰들 사이에서 뷰를 렌더링한다. 본 발명에서는 상기 렌더링된 뷰의 품질을 향상시키기 위해 기준 비디오에 따른 깊이 맵이 제공된다.
기준 비디오 및 깊이 맵은 비스트림으로 압축 및 코딩된다. 깊이 맵 코딩 왜곡은 상대적으로 큰 품질 저하를 유발하고, 전경 대상 경계를 따른 침식 아티팩트를 유발한다. 따라서, 본 발명에서는 각 중간 렌더링된 뷰(intermediate rendered view)를 위한 부가 정보를 제공하여 침식 아티팩트를 감소시킬 수 있는 방안을 제안한다.
간단히 예를 들면, 인코더에서는 뷰들을 종합하고, 상기 종합된 뷰(synthesized view) 및 원래 캡처된 비디오(original captured video) 사이에서 잔여(residue)를 전송한다. 이러한 방식은 가능한 보간된 뷰들(possible interpolated views)의 바람직한 개수가 증가하여 발생된 오버헤드 때문에 매력적이지 못하다.
그러므로, 본 발명에서는 다중 보간 뷰들의 향상된 렌더링을 제공할 수 있는 깊이 정보(depth information)를 보완한 보조적인 데이터(auxiliary data)를 제공할 수 있다.
도 1은 각 큐브 대상의 뷰에 따른 좌표의 일례를 나타내는 도면이다.
도 1을 참조하면, 제1 뷰(110), 제2 뷰(120) 및 제3 뷰(130)는 동일한 큐브를 수평으로(horizontally) 각기 다른 카메라 시점(v=1, v=3, v=5)에서 본 좌표의 일례로서 카메라 큐브 개체는 캡처된 다른 가로, 세로의 색인이 증가함에 따라 이미지 프레임이 왼쪽으로 큐브 개체가 이동된다.
도 2는 도 1에 도시된 큐브 대상(cube object)를 이용한 깊이 전이 데이터(depth transition data)의 일례를 나타내는 도면이다.
도 2를 참조하면, 깊이 전이 데이터는 픽셀 위치가 (10, 10)인 경우 뷰 인덱스(view index, v)에 따른 전경 레벨(foreground level) 및 배경 레벨(background level)로서 전경에서 배경으로 깊이 전이되거나 배경에서 전경으로 깊이 전이되는 것이 파악될 수 있다. 본 발명에서 주어진 픽셀 위치를 위해 중간 카메라 위치를 선택하는 기능으로써 픽셀을 위한 깊이 값이 어떠한지 추적하여 상기 깊이 전이 데이터를 생성할 수 있다. 별도로 모든 기준 뷰(every reference)를 위해 종래와 비교되는 깊이 맵 데이터가 제공되며, 본 발명에 따라 제안된 깊이 전이 데이터는 어떠한 임의의 뷰 위치에서도 렌더링을 향상시키기 위한 싱글 데이터 세트(single data set)를 한번에 생성할 수 있다. 또한 본 발명에서 깊이 전이 데이터는 기준 뷰 위치로부터 렌더링 근접 위치(rendering close position)의 디코더 용량(decoder capability)에 따라 보다 향상될 수 있다.
도 3은 전방에서 후방으로 전이되는 것을 나타내는 깊이 전이 데이터의 일례를 나타내는 도면이다.
도 3을 참조하면, 임의의 뷰 렌더링(arbitrary view rendering)을 위한 깊이 전이 데이터는 임의의 뷰 위치(arbitrary view position)에서 왼쪽 또는 오른쪽의 각 뷰 인덱스에 따라 전경 레벨 및 배경 레벨을 파악하여 전경 레벨에서 배경 레벨로 또는 배경 레벨에서 전경 레벨로 변경되는 전이 위치(transition position)를 파악할 수 있다. 예를 들어, 픽셀 위치는 왼쪽 기준 뷰에서 전경에 속하고, 오른쪽 기준 뷰에서 배경에 속할 수 있다. 상기 깊이 전이 데이터는 각 픽셀 위치를 위한 전이 위치가 기록된 형태일 수 있다. 만약 상기 임의의 뷰가 전이 위치의 왼쪽에 위치한다면 상기 픽셀은 전경에 속할 것이고, 상기 임의의 뷰가 전이 위치의 오른쪽에 위치한다면 상기 픽셀은 배경에 속할 것이다. 그러므로, 깊이 전이 데이터를 이용하여 전경/배경 맵은 임의의 뷰 위치를 생성할 수 있다. 만약 상기 중간 뷰들을 위한 상기 깊이 맵들이 기준 깊이 맵 값에 의해 상기 깊이 전이 데이터를 생성한다면, 상기 기준 뷰들에 적용되는 동일한 수식을 사용하는 바이너리 맵(binary map)을 생성할 수 있다. 이 경우 쉽게 전이 추적을 할 수 있다. 하지만 항상 상기 깊이 맵들은 임의의 뷰 위치에서 목표 뷰를 이용할 수 있는 것은 아니다. 그러므로, 본 발명에서는 사용하는 카메라 파라미터들(camera parameters)를 사용하여 발생하는 깊이 전이 위치를 카메라 위치로 추정하는 방법을 유도한다.
상기 깊이 전이 데이터는 표 1에 도시된 것 표기와 같은 카메라 파라미터들을 가진다.
[표 1]
Figure pat00001
카메라 좌표들(camera coordinates)(x, y, z)는 실제 좌표들(world coordinates)(X, Y, Z)로 수학식 1과 같이 매핑될 수 있다.
[수학식 1]
Figure pat00002
여기서, A 및 M은 각각 내부 및 외부 카메라 매트릭스들(intrinsic and extrinsic camera matrices)이고, 상기 M은 회전 매트릭스(rotation matrix) R 및 전환 벡터(translation vector) T를 포함한다. 영상 좌표들(image coordinates) (xim, yim)은 수학식 2와 같이 상기 카메라 좌표들로 표현될 수 있다.
[수학식 2]
Figure pat00003
그러므로, 각 픽셀 깊이 값은 실제 좌표들에서 픽셀 위치가 지점으로 매핑될 수 있고, 상기 위치는 렌더링된 뷰의 카메라 위치에 대응하는 다른 좌표들의 세트로 재맵핑될 수 있다. 특히 상기 카메라 파라미터들(Ap, Rp, Tp)의 p번째 뷰는 p'번째 뷰가 가지는 파라미터들(Ap', Rp', Tp')로 매핑될 수 있으며, p'번째 뷰에서 카메라 좌표들은 수학식 3으로 대표될 수 있다.
[수학식 3]
Figure pat00004
여기서, Z는 깊이 값(depth value)이고, 상기 이미지 좌표는 p'번째 뷰는 수학식 4로 표현될 수 있다.
[수학식 4]
Figure pat00005
깊이 전이가 발생되는 경우 위치 매핑의 이전 분산에 기초하여 카메라 위치가 어떻게 계산되는지를 설명하도록 한다. 수평으로 평행 위치로 정렬된 카메라들은 정체 매트릭스(identity matrix)을 적용한다. Ap′A??1p를 계산하기 위해 내부 매트릭스 A를 수학식 5와 같이 한정한다.
[수학식 5]
Figure pat00006
여기서, fx 및 fy는 수평 및 수직 방향에서 효과적인 픽셀 크기에 의해 분배된 초점 길이이고, (ox, oy)는 이미지 중심(일반적인 지점)의 픽셀 좌표들이다. 그러면, 매트릭스A의 인버스(inverse)는 수학식 6과 같이 계산될 수 있다.
[수학식 6]
Figure pat00007
여기서, p번째 및 p'번째 뷰들에서 두 개의 카메라를 위한 동일한 초점 거리를 가정하면, 수학식 4는 수학식 7과 같이 표현될 수 있다.
[수학식 7]
Figure pat00008
상기 평행 카메라 셋팅 합에서 이격도(disparity)는 수평 또는 x 방향 보다 더 변화될 수 없다. 그러므로, 상기 이격도(Δxim)는 수학식 8과 같이 표현될 수 있다.
[수학식 8]
Figure pat00009
여기서, tx는 수평 방향에서 카메라 거리를 나타낸다.
실제 깊이 값 및 8비트 깊이 맵 값 사이에 관계는 수학식 9와 같다.
[수학식 9]
Figure pat00010
여기서, Znear는 장면(scene)에서 가장 가까운 깊이 값이고, Zfar는 가장 먼 깊이 값이고, 상기 깊이 맵 L에서 각각 255 및 0과 대응되는 값이다. 이것을 수학식 8에 대입하면, 수학식 10을 얻을 수 있다.
[수학식 10]
Figure pat00011
그러므로, 카메라 거리 tx를 알면, 이격도 Δxim를 계산할 수 있고, 이격도를 알면 카메라 거리를 계산할 수 있다. 그러면, 상기 수평 거리로서 이격도는 상기 주어진 거리로부터 깊이 전이가 발생한 위치로 정확인 뷰 위치를 측정할 수 있다. 상기 수평 거리는 상기 주어진 픽셀로부터 프리셋 기준 값(preset threshold value)을 초과한 원 픽셀에 대해 다른 상기 깊이 맵 값의 첫 번째 픽셀로 픽셀들의 개수를 카운팅함으로써 측정할 수 있다. 그러면, 상기 이격도 Δxim로서 계산된 수학식 11과 같이 카메라 거리를 이용하여 깊이 전이가 발생한 뷰 위치를 추정할 수 있다.
[수학식 11]
Figure pat00012
여기서,
Figure pat00013
,
Figure pat00014
이고, tx는 바람직한 정확도로 양자화될 수 있고, 보조 데이터(auxiliary data)로서 전송될 수 있다.
도 4는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더의 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더(400)는 전경/배경 분리부(410), 전이 영역 검출부(420), 전이 거리 측정부(430), 전이 위치 계산부(440), 양자화부(450) 및 엔트로피 인코딩부(460)를 포함한다.
전경/배경 분리부(410)는 기준 비디오/깊이 맵을 입력 받고, 상기 입력된 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리한다. 즉, 전경/배경 분리부(410)는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되며, 상기 전경 및 배경을 분리한다. 예를 들어, 전경/배경 분리부(410)는 도 2 및 도 3에 도시된 것과 같은 전경 레벨 또는 배경 레벨을 기준으로 상기 입력된 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리할 수 있다. 일례로 전경/배경 분리부(410)는 상기 입력된 기준 비디오/깊이 맵 데이터가 상기 전경 레벨인 경우 상기 입력된 기준 비디오/깊이 맵 데이터가 전경으로 분리할 수 있다. 다른 일례로 전경/배경 분리부(410)는 상기 입력된 기준 비디오/깊이 맵 데이터가 상기 배경 레벨인 경우 상기 입력된 기준 비디오/깊이 맵 데이터가 배경으로 분리할 수 있다.
전이 영역 검출부(420)는 전경/배경 분리부(410)로부터 상기 전경 및 배경이 분리된 데이터를 입력받고, 상기 입력된 전경 및 배경 분리 데이터를 이용하여 전이 영역을 검출한다. 즉, 전이 영역 검출부(420)는 상기 입력된 전경 및 배경 분리 데이터를 이용하여 전경에서 배경으로 또는 배경에서 전경으로 전이되는 영역을 상기 전이 영역으로 검출한다. 일례로 전이 영역 검출부(420)는 도 2에 도시된 것과 같이 뷰 인덱스(v)가 3인 경우 배경 레벨에서 전경 레벨로 변경되는 전이 영역을 검출할 수 있다. 다른 일례로 전이 영역 검출부(420)는 도 2에 도시된 것과 같이 뷰 인덱스(v)가 6인 경우 전경 레벨에서 배경 레벨로 변경되는 전이 영역을 검출할 수 있다.
전경/배경 분리부(410)는 상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리할 수 있다.
전경/배경 분리부(410)는 상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리할 수 있다.
전이 거리 측정부(430)는 상기 전이 영역간의 거리를 측정한다. 즉, 전이 거리 측정부(430)는 전이 영역 검출부(420)에서 검출된 전이 영역을 기준으로 전이 거리를 측정한다. 일례로 전이 거리 측정부(430)는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정한다.
전이 위치 계산부(440)는 뷰 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산한다. 즉, 전이 위치 계산부(440)는 전경에서 배경(background)으로 또는 배경에서 전경으로 변환하는 뷰 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산한다. 일례로 전이 위치 계산부(440)는 이웃 기준 뷰들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산할 수 있다.
전이 위치 계산부(440)는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산할 수 있다.
전이 위치 계산부(440)는 내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산할 수 있다.
양자화부(450)는 상기 계산된 깊이 전이의 위치를 양자화한다. 즉, 양자화부(450)는 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행한다.
엔트로피 인코딩부(460)는 상기 양자화된 깊이 전이 위치를 코딩한다.
도 5는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더의 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더(500)는 전경/배경 분리부(510), 전이 영역 검출부(520), 엔트로피 디코딩부(530), 역양자화부(540), 전경/배경 맵 생성부(550) 및 왜곡 보정부(560)를 포함한다.
전경/배경 분리부(510)는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 전경 및 배경을 분리한다. 즉, 전경/배경 분리부(510)는 기준 비디오/깊이 맵 데이터를 입력받고, 상기 입력된 기준 비디오/깊이 맵 데이터에서 상기 깊이 값에 따라 전경 및 배경을 분리한다.
전이 영역 검출부(520)는 상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 전이 영역을 검출한다.
엔트로피 디코딩부(530)는 양자화된 깊이 전이 데이터를 디코딩한다. 즉, 엔트로피 디코딩부(530)는 인코딩 장치(400)로부터 전송되는 비트스트림을 수신하고, 상기 수신된 비트스트림을 이용하여 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 엔트로피 디코딩을 수행한다.
역양자화부(540)는 깊이 전이 데이터를 역양자화한다. 즉, 역양자화부(540)는 상기 엔트로피 디코딩된 깊이 전이 데이터를 역양자화한다.
전경/배경 맵 생성부(550)는 전이 영역 검출부(520)에서 검출된 전이 영역 및 역양자화부(540)로부터 출력된 역양자화된 깊이 전이 데이터를 이용하여 전경/배경 맵을 생성한다.
왜곡 보정부(560)는 상기 역양자화된 깊이 전이 데이터를 이용하여 렌더링된 뷰를 확장하여 왜곡을 보정한다. 즉, 왜곡 보정부(560)는 상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정한다. 일례로 왜곡 보정부(560)는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체할 수 있다. 다른 일례로 왜곡 보정부(560)는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체할 수 있다.
도 6은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코딩 방법의 플로우 차트이다.
도 4 및 도 6을 참조하면, 단계(610)에서 3D 비디오 인코더(400)는 전경/배경의 바이너리 맵을 생성한다. 즉, 단계(610)에서 3D 비디오 인코더(400)는 전경/배경 분리부(410)를 통해 기준 비디오에서 배경으로부터 전경을 분리하고, 전경/배경의 바이너리 맵을 생성한다.
단계(620)에서 3D 비디오 인코더(400)는 전이 영역을 결정한다. 즉, 단계(620)에서 3D 비디오 인코더(400)는 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산함으로써 전이 영역을 결정한다. 일례로 단계(620)에서 3D 비디오 인코더(400)는 전이 영역 검출부(420)를 통해 이웃 기준 시점의 상기 전경/배경 맵을 비교함으로써 상기 전경/배경 영역을 결정한다. 만약 3D 비디오 인코더(400)는 픽셀 위치가 기준 시점에서 전경에 속하고, 다른 기준 시점에서 배경에 속하거나 반대인 경우 상기 위치가 전이 영역으로 결정할 수 있다. 상기 전이 영역을 위해 상기 깊이 전이 영역이 계산되며, 상기 시점 위치가 전이된다.
단계(630)에서 3D 비디오 인코더(400)는 전이 거리를 측정한다. 즉, 단계(630)에서 3D 비디오 인코더(400)는 전이 거리 측정부(430)을 통해 현재 기준 뷰에서 현재 픽셀 위치로부터 전위 위치까지의 거리를 전이 거리로 측정한다. 일례로 1차원 병렬 카메라 모델에서 이러한 거리는 상기 주어진 픽셀로부터 프리셋 기준 값을 초과한 원래 픽셀에 대한 다른 값을 가지는 깊이 맵을 위한 첫 번째 픽셀로의 픽셀들의 개수를 카운팅함으로써 측정할 수 있다.
단계(640)에서 3D 비디오 인코더(400)는 전이 영역을 계산한다. 즉, 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산한다. 일례로 단계(640)에서 3D 비디오 인코더(400)는 전이 위치 계산부(440)를 통해 수학식 11을 이용하여 얻은 전이 발생 시점 위치를 계산할 수 있다.
단계(650)에서 3D 비디오 인코더(400)는 상기 계산된 깊이 전이의 위치를 양자화한다. 즉, 단계(650)에서 3D 비디오 인코더(400)는 양자화부(450)를 통해 디코더(500)에서 생성될 수 있는 보간 시점들 사이의 간격이 최소가 되는 바람직한 정도로 양자화된 위치 값을 얻는다.
단계(660)에서 3D 비디오 인코더(400)는 상기 양자화된 깊이 전이 위치를 코딩한다. 일례로 단계(660)에서 3D 비디오 인코더(400)는 상기 양자화된 깊이 전이 위치를 엔트로피 코딩한다. 3D 비디오 인코더(400)는 비트스트림으로 압축 및 코딩된 데이터를 3D 비디오 디코더(500)로 전송한다.
도 7은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코딩 방법의 플로우 차트이다.
도 5 및 도 7을 참조하면, 단계(710)에서 3D 비디오 디코더(500)는 전경/배경을 분리한다. 즉, 단계(710)에서 3D 비디오 디코더(500)는 전경/배경 분리부(510)를 통해 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리한다.
단계(720)에서 3D 비디오 디코더(500)는 전이 영역을 결정한다. 즉, 단계(720)에서 3D 비디오 디코더(500)는 전이 영역 검출부(520)를 통해 3D 비디오 인코더(400)와 마찬가지로 전경 및 배경이 분리된 데이터로부터 전경/배경 전이 영역을 결정한다.
단계(730)에서 3D 비디오 디코더(500)는 3D 비디오 인코더(400)에서 전송되는 비트스트림을 엔트로피 디코딩한다. 즉, 단계(730)에서 3D 비디오 디코더(500)는 엔트로피 디코딩부(530)을 통해 3D 비디오 인코더(400)에서 전송되는 비트스트림에 포함된 깊이 전이 데이터를 엔트로피 디코딩한다. 일례로 단계(730)에서 3D 비디오 디코더(500)는 3D 비디오 인코더(400)에서 전송되는 비트스트림에 포함된 깊이 전이 데이터로부터 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 엔트로피 디코딩을 수행할 수 있다.
단계(740)에서 3D 비디오 디코더(500)는 상기 디코딩된 깊이 전이 데이터를 역양자화한다. 즉, 단계(740)에서 3D 비디오 디코더(500)는 역양자화부(540)를 통해 뷰 전이 위치 값을 역양자화한다.
단계(750)에서 3D 비디오 디코더(500)는 전방/후방 맵을 생성한다. 즉, 단계(750)에서 3D 비디오 디코더(500)는 전경/배경 맵 생성부(550)를 통해 타겟 뷰를 위한 전방/후방 맵을 생성한다. 이때 기준 뷰들의 값을 포함하는 맵은 이웃 기준 뷰들 사이에서 전이가 없다. 상기 전이는 상기 전경 또는 배경에 속하는 타겟 뷰에서 주어진 위치가 결정되는지 여부에 따라 전이, 상기 역양자화된 전이 위치 값이 사용된다.
단계(760)에서 3D 비디오 디코더(500)는 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정한다. 즉, 단계(760)에서 3D 비디오 디코더(500)는 왜곡 보정부(560)를 통해 상기 전경/배경 맵과 비교하여 렌더링된 뷰가 침식 아티팩트와 같은 왜곡이 발생되면, 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정함으로써 향상된 렌더링된 뷰(enhanced rendered view)를 출력한다. 일례로 단계(760)에서 3D 비디오 디코더(500)는 왜곡 보정부(560)를 통해 상기 깊이 전이 데이터를 이용하여 상기 목표 뷰를 위한 전경/배경 맵이 주어진 지역 영역을 위해 침식 보정을 수행할 수 있다.
도 8은 깊이 전이 데이터를 이용하는 왜곡 보정 절차의 플로우 차트이다.
도 8을 참조하면, 단계(810)에서 3D 비디오 디코더(500)는 합성 영상에서 침식 왜곡이 발생된 경우 배경 평균(uBG)을 계산한다.
단계(820)에서 3D 비디오 디코더(500)는 각 전경 픽셀과 상기 배경 평균을 비교하여 분리물 또는 침식된 픽셀을 분류한다. 만약 픽셀이 상기 배경 평균에 근접하면, 분리물들(outliers) 없이 전경 픽셀들을 이용한다.
단계(830)에서 3D 비디오 디코더(500)는 전경 평균(uFB)을 계산한다.
단계(840)에서 3D 비디오 디코더(500)는 상기 침식된 픽셀 값들을 상기 계산된 전경 평균(uFB)으로 대체한다. 즉, 단계(840)에서 3D 비디오 디코더(500)는 약화된 픽셀을 상기 전경 평균(uFB)을 가지고 약화된 픽셀을 대체한다.
도 9는 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 이용한 경우를 비교하는 왜곡률 곡선의 일례를 나타내는 도면이다.
도 9를 참조하면, 본 발명에 따른 깊이 전이 데이터를 이용한 합성된 뷰는 종래 합성된 뷰보다 왜곡률이 향상된다.
도 10은 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 품질을 비교한 일례를 나타내는 도면이다.
도 10를 참조하면, 종래 인코딩 방식에 따른 침식 왜곡이 발생된 경우(1010) 및 본 발명에 따라 침식 왜곡이 보상된 경우(1020)를 비교하면, 본 발명에 따른 침식 왜곡이 보상된 경우(1020)는 가장자리에 대한 왜곡이 종래 인코딩 방식에 비해 현저히 보상되었음을 확인할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
400: 3D 비디오 인코더
410: 전방/후방 분리부
420: 전이 영역 검출부
430: 전이 거리 측정부
440: 전이 위치 계산부
450: 양자화부
460: 엔트로피 코딩부

Claims (20)

  1. 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 전이 위치 계산부;
    상기 계산된 깊이 전이의 위치를 양자화하는 양자화부; 및
    상기 양자화된 깊이 전이 위치를 코딩하는 코딩부
    를 포함하는 3D 비디오 인코딩 장치.
  2. 제1항에 있어서,
    상기 전이 위치 계산부는,
    전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  3. 제1항에 있어서,
    상기 전이 위치 계산부는,
    이웃 기준 시점들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  4. 제3항에 있어서,
    기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부
    를 더 포함하는 3D 비디오 인코딩 장치.
  5. 제4항에 있어서,
    상기 전경/배경 분리부는,
    상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리하는 3D 비디오 인코딩 장치.
  6. 제4항에 있어서,
    상기 전경/배경 분리부는,
    상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리하는 3D 비디오 인코딩 장치.
  7. 제1항에 있어서,
    상기 전이 위치 계산부는,
    주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  8. 제1항에 있어서,
    상기 전이 위치 계산부는,
    내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  9. 제1항에 있어서,
    상기 양자화부는, 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행하는 3D 비디오 인코딩 장치.
  10. 양자화된 깊이 전이 데이터를 디코딩하는 디코딩부;
    상기 깊이 전이 데이터를 역양자화하는 역양자화부; 및
    상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정하는 왜곡 보정부
    를 포함하는 3D 비디오 디코딩 장치.
  11. 제10항에 있어서,
    상기 디코딩부는,
    전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩하는 3D 비디오 디코딩 장치.
  12. 제11항에 있어서,
    기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부
    를 더 포함하는 3D 비디오 디코딩 장치.
  13. 제10항에 있어서,
    상기 왜곡 보정부는,
    상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정하는 3D 비디오 디코딩 장치.
  14. 제13항에 있어서,
    상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 픽셀 값을 검출하는 전이 영역 검출부를 더 포함하는 3D 비디오 디코딩 장치.
  15. 제13항에 있어서,
    상기 왜곡 보정부는,
    상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체하는 3D 비디오 디코딩 장치.
  16. 제13항에 있어서,
    상기 왜곡 보정부는,
    상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체하는 3D 비디오 디코딩 장치.
  17. 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 단계;
    상기 계산된 깊이 전이의 위치를 양자화하는 단계; 및
    상기 양자화된 깊이 전이 위치를 코딩하는 단계
    를 포함하는 3D 비디오 인코딩 방법.
  18. 제17항에 있어서,
    상기 깊이 전이를 계산하는 단계는,
    전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 방법.
  19. 양자화된 깊이 전이 데이터를 디코딩하는 단계;
    깊이 전이 데이터를 역양자화하는 단계; 및
    상기 디코딩된 깊이 전이 데이터를 이용하여 생성된 영상의 화질을 개선하는 단계
    를 포함하는 3D 비디오 디코딩 방법.
  20. 제19항에 있어서,
    상기 양자화된 깊이 전이 데이터를 디코딩하는 단계는,
    전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩하는 3D 비디오 디코딩 방법.
KR1020100077249A 2010-06-11 2010-08-11 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법 Ceased KR20110135786A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/703,544 US20140002596A1 (en) 2010-06-11 2011-04-22 3d video encoding/decoding apparatus and 3d video encoding/decoding method using depth transition data
PCT/KR2011/002906 WO2011155704A2 (ko) 2010-06-11 2011-04-22 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법
EP11792615.4A EP2582135A4 (en) 2010-06-11 2011-04-22 3D VIDEO ENCODING / DECODING DEVICE AND 3D VIDEO ENCODING / DECODING METHOD WITH DEPTH TRANSITION DATA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US35382110P 2010-06-11 2010-06-11
US61/353,821 2010-06-11

Publications (1)

Publication Number Publication Date
KR20110135786A true KR20110135786A (ko) 2011-12-19

Family

ID=45502644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100077249A Ceased KR20110135786A (ko) 2010-06-11 2010-08-11 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법

Country Status (4)

Country Link
US (1) US20140002596A1 (ko)
EP (1) EP2582135A4 (ko)
KR (1) KR20110135786A (ko)
WO (1) WO2011155704A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
KR20160054157A (ko) * 2014-11-05 2016-05-16 전자부품연구원 뎁스맵 등심선 생성 방법 및 시스템
US9582856B2 (en) 2014-04-14 2017-02-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image based on motion of object
WO2017095199A1 (ko) * 2015-12-04 2017-06-08 이제갬 가상 현실 체험 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426444B2 (en) * 2011-06-24 2016-08-23 Softkinetic Software Depth measurement quality enhancement
US10158850B2 (en) * 2011-08-25 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Depth map encoding and decoding
KR101930235B1 (ko) * 2012-05-15 2018-12-18 삼성전자 주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
WO2015115946A1 (en) * 2014-01-30 2015-08-06 Telefonaktiebolaget L M Ericsson (Publ) Methods for encoding and decoding three-dimensional video content
WO2016072559A1 (ko) * 2014-11-05 2016-05-12 전자부품연구원 3d 콘텐츠 제작 방법 및 시스템
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
WO2016089411A1 (en) * 2014-12-04 2016-06-09 Hewlett-Packard Development Company, L.P. Access to network-based storage resource based on hardware identifier
US10127672B2 (en) * 2015-10-12 2018-11-13 International Business Machines Corporation Separation of foreground and background in medical images
CN109544586A (zh) * 2017-09-21 2019-03-29 中国电信股份有限公司 前景轮廓提取方法和装置以及计算机可读存储介质
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
US7024039B2 (en) * 2002-04-25 2006-04-04 Microsoft Corporation Block retouching
KR101168384B1 (ko) * 2004-03-12 2012-07-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 맵을 생성하는 방법, 깊이 맵 생성 유닛, 이미지 처리 장치, 및 컴퓨터 프로그램 제품
KR100949983B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
KR101545008B1 (ko) * 2007-06-26 2015-08-18 코닌클리케 필립스 엔.브이. 3ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, 동봉된 3ｄ 비디오 신호, 3ｄ 비디오 신호용 디코더에 대한 방법 및 시스템
JP4886850B2 (ja) * 2007-06-28 2012-02-29 パナソニック株式会社 画像処理装置、画像処理方法、プログラム
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
JP4902569B2 (ja) * 2008-02-19 2012-03-21 キヤノン株式会社 画像符号化装置及びその制御方法
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
EP2214137B1 (en) * 2009-01-29 2024-04-03 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
US9582856B2 (en) 2014-04-14 2017-02-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image based on motion of object
KR20160054157A (ko) * 2014-11-05 2016-05-16 전자부품연구원 뎁스맵 등심선 생성 방법 및 시스템
WO2017095199A1 (ko) * 2015-12-04 2017-06-08 이제갬 가상 현실 체험 시스템

Also Published As

Publication number Publication date
EP2582135A4 (en) 2014-01-29
EP2582135A2 (en) 2013-04-17
WO2011155704A3 (ko) 2012-02-23
US20140002596A1 (en) 2014-01-02
WO2011155704A2 (ko) 2011-12-15

Similar Documents

Publication Publication Date Title
KR20110135786A (ko) 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
TWI432034B (zh) 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
TWI433544B (zh) 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
EP3100454B1 (en) Method for low-latency illumination compensation process
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
JP6640559B2 (ja) 一連の画像における輝度変動を補償する方法と装置
US20150172715A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
Ma et al. Low complexity adaptive view synthesis optimization in HEVC based 3D video coding
Li et al. Pixel-based inter prediction in coded texture assisted depth coding
WO2013039031A1 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR20240161939A (ko) 영상 부호화 또는 복호화를 위한 장치 및 방법
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR20130068520A (ko) 영상 워핑 처리 방법 및 장치
Brites et al. Epipolar geometry-based side information creation for multiview Wyner–Ziv video coding
Monteiro et al. Disparity compensation using geometric transforms
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
Pang et al. Multiview video coding using projective rectification-based view extrapolation and synthesis bias correction
Kim et al. 3-D video coding using depth transition data

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100811

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150811

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100811

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161220

Patent event code: PE09021S01D

PE0601 Decision on rejection of patent

Patent event date: 20170331

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20161220

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I