[go: up one dir, main page]

KR100679740B1 - 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 - Google Patents

시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 Download PDF

Info

Publication number
KR100679740B1
KR100679740B1 KR1020040048340A KR20040048340A KR100679740B1 KR 100679740 B1 KR100679740 B1 KR 100679740B1 KR 1020040048340 A KR1020040048340 A KR 1020040048340A KR 20040048340 A KR20040048340 A KR 20040048340A KR 100679740 B1 KR100679740 B1 KR 100679740B1
Authority
KR
South Korea
Prior art keywords
view
bitstream
video
encoding
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040048340A
Other languages
English (en)
Other versions
KR20050122717A (ko
Inventor
손광훈
임정은
Original Assignee
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020040048340A priority Critical patent/KR100679740B1/ko
Application filed by 학교법인연세대학교 filed Critical 학교법인연세대학교
Priority to CN2005800248006A priority patent/CN101023681B/zh
Priority to PCT/KR2005/001969 priority patent/WO2006001653A1/en
Priority to JP2007517962A priority patent/JP2008503973A/ja
Priority to CN2010101357554A priority patent/CN101895768A/zh
Priority to EP05756733A priority patent/EP1772022A1/en
Priority to CN2010101357573A priority patent/CN101902656A/zh
Priority to US11/571,235 priority patent/US20090103619A1/en
Publication of KR20050122717A publication Critical patent/KR20050122717A/ko
Application granted granted Critical
Publication of KR100679740B1 publication Critical patent/KR100679740B1/ko
Priority to JP2011000757A priority patent/JP2011109690A/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 송신단에서 비트스트림을 생성할 때 시점에 대한 정보를 헤더에 추가함으로써 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있도록 하기 위한, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서, 입력되는 다시점 동영상 데이터 중 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림을 생성하고, 그 외의 시점 동영상들에 대하여 보조 비트스트림을 생성하기 위한, 시점 선택이 가능한 다시점 동영상 부호화 방법에 있어서, 상기 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화 장치에서 원하는 시점만 복원하도록 하는 것을 특징으로 함.
4. 발명의 중요한 용도
본 발명은 3차원 방송 시스템이나 3차원 정보 단말기 등에 이용됨.
부호화, 복호화, 메인 비트스트림, 보조 비트스트림, 다시점, 동영상

Description

시점 선택이 가능한 다시점 동영상 부호화/복호화 방법{Method for Coding/Decoding for Multiview Sequence where View Selection is Possible}
도 1은 본 발명이 적용되는 다시점 동영상 부호화 장치의 구성도,
도 2는 본 발명에 따라 생성된 보조 비트스트림의 일실시예 구성도,
도 3a 내지 도 3c는 본 발명에 따라 5시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도,
도 4a 및 도 4b는 본 발명에 따라 9시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도,
도 5는 본 발명의 다시점 동영상 복호화 방법의 개념을 설명하기 위한 일실시예 개략도,
도 6은 본 발명에 따라 복호화를 수행하기 위하여 전송되는 헤더 정보를 설명하기 위한 비트스트림의 일실시예 구조도,
도 7은 본 발명이 적용되는 다시점 동영상 복호화 장치의 구성도,
도 8a 내지 도 8e는 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예,
도 9a 내지 도 9e는 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예,
도 10은 상기 도 8a 내지 도 8e의 5시점 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프,
도 11a 및 도 11b는 상기 도 9a의 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프,
도 12a 및 도 12b는 베이스라인이 큰 영상을 각각 "One-I" 타입과 "Two-I" 타입으로 부호화를 수행하였을 경우의 결과 영상을 비교한 일예시도,
도 13a 내지 도 13b는 본 발명의 Bt,s 프레임의 성능을 설명하기 위한 결과 영상의 일예,
도 14a 내지 도 14d는 수신단에 스테레오 동영상만 디스플레이 할 수 있는 3차원 모니터가 있을 경우, 상기 도 9a 내지 도 9e의 5시점의 비트스트림을 수신받은 사용자가 2번째 시점과 4번째 시점을 선택하였을 때의 결과 영상의 일예.
* 도면의 주요 부분에 대한 부호의 설명
110 : 전처리부 120, 130 : 움직임 추정/보상부
140 : 변이 추정/보상부 150 : 비트율 제어부
160, 170 : 차영상 부호화부 710 : 메인 비트스트림 복호화부
720 : 보조 비트스트림 복호화부
본 발명은 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것으로, 특히 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있는, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법에 관한 것이다.
현재의 멀티미디어는 단순한 텍스트와 2차원 영상만을 보여주는 것이 아니라, 인간의 시각, 청각, 촉각, 후각, 미각 등의 오감을 통합적으로 인지하여 사물이나 상황을 정확하고 생생하게 파악할 수 있도록 해준다. 이러한 멀티미디어는 통신과 결합하여 더욱 중요한 의미를 갖게 되며, 고속·대용량의 정보 전송 기술이 발달하면서 화상 전화, 원격 회의, 원격 쇼핑 등의 멀티미디어 통신이 가능해졌다.
이러한 멀티미디어 기술은 3차원 신호 처리 기술로까지 발전될 때 더더욱 생동감 있는 힘을 발휘할 것이다. 이를 위해 인간의 생활 공간을 현실적이며 자연적으로 재현할 수 있는 3차원 영상 처리 및 통신 기술의 개발이 필요하다.
한편, 우리가 살고 있는 세계는 상·하·좌·우만 있는 2차원이 아니고, 깊이감까지 포함된 3차원의 세계이다. 따라서, 사람들은 평면처럼 느껴지는 2차원 영상뿐만 아니라 깊이감까지 느낄 수 있는 입체감 및 현실감을 위해 3차원 입체 영상에 대해 관심이 높아지게 되었고, 현재 3차원 영상 처리 기술이 통신, 방송, 가상 현실, 교육, 의료, 오락 등 여러 분야에서 응용되고 있다.
2차원 영상으로 3차원을 표현하는 가장 간단한 방식은 스테레오 방식이다. 스테레오 영상은 좌·우 영상으로 구성되어 있기 때문에, 데이터의 양이 방대해지는 문제점이 있다. 이는 대용량의 저장 장치와 네트워크, 그리고 고속의 컴퓨터 시스템을 요구한다. 또한, 스테레오 영상 각각을 독립적으로 부호화할 경우 2차원 영상을 전송하기 위한 대역폭보다 약 두 배의 대역폭이 요구된다. 이를 시간축으로 확장한 스테레오 동영상이나 시간축과 시점축으로 확장한 다시점 동영상일 때는 시점수에 비례하여 데이터 양이 방대해지고 요구되는 대역폭도 증가된다.
최근 3차원 영상에 대한 관심이 고조됨에 따라, 각 기관 및 대학 등에서 3차원 영상 압축 및 복원, 디스플레이 시스템에 대한 연구가 진행되고 있다.
이러한 3차원 영상 시스템의 수신단에서는, 다시점 동영상을 복호화하고 디스플레이할 수 있는 3차원 디스플레이가 필요하다. 현재 개발되어 있는 3차원 액정 표시 장치(liquid crystal display; LCD) 모니터는, 한 명의 관찰자에게 입체감을 제공하는 디스플레이이며, 최근에 여러 명의 관찰자에게 입체감 및 사실감을 제공할 수 있는 3차원 다시점 디스플레이 모니터가 개발 중에 있다.
그러나, 3차원 다시점 동영상은 시점수가 증가함에 따라 데이터양과 연산량이 증가하므로 이를 효율적으로 부호화 및 복호화를 수행할 수 있는 다시점 동영상 부호화/복호화기(CODEC)가 요구된다. 또한, 수신단에서 사용자가 보유하고 있는 디스플레이에 따라 원하는 시점만 복호화하는 것도 요구된다.
본 발명은 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 방대한 다시점 동영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하고, 송신단에서 비트스트림을 생성할 때 시점에 대한 정보를 헤더에 추가함으로써 수신단에서 원하는 시점에 해당하는 동영상을 복호화할 수 있도록 하기 위한, 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 부호화의 기본 단위로서 "GGOP(group of GOP(group of picture))" 구조를 제안함으로써, 시점의 수와 카메라 사이의 베이스라인의 간격에 따라 유동적으로 여러 가지 타입을 가지면서 다시점 동영상을 부호화하기 위한, 다시점 동영상 부호화/복호화 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 MPEG-2(moving picture experts group-2)와의 호환성을 위하여, 기준이 되는 동영상은 MPEG-2로 부호화를 수행하여 메인 비트스트림을 생성하고, 나머지 시점들에 해당되는 동영상들은 변이 벡터 및 움직임 벡터를 이용하여 보조 비트스트림을 생성하여 복호단에 전송하기 위한, 다시점 동영상 부호화/복호화 방법을 제공하는데 또 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명은, 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서, 입력되는 다시점 동영상 데이터 중 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림을 생성하고, 그 외의 시점 동영상들에 대하여 보조 비트스트림을 생성하기 위한, 시점 선택이 가능한 다시점 동영상 부호화 방법에 있어서, 상기 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화 장치에서 원하는 시점만 복원하도록 하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법을 제공한다.
또한, 본 발명은 MPEG-2 복호화를 수행하는 메인 비트스트림 복호화부와, 보조 비트스트림 복호화부를 포함하여 구성되는 복호화 장치에서, 보조 비트스트림-"시점 정보(view information)"가 삽입됨-의 복호화를 수행하기 위한, 시점 선택이 가능한 다시점 동영상 복호화 방법에 있어서, 상기 보조 비트스트림의 픽쳐 헤더 정보에서 상기 "시점 정보(view information)"를 확인하여, 현재 복호화하는 데이터가 몇 번째 시점인지를 확인한 후에, 사용자가 소유하는 디스플레이부에 적합한 시점만을 취합하여 디스플레이하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 복호화 방법을 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명이 적용되는 다시점 동영상 부호화 장치의 구성도이다.
본 발명의 부호화 방법은, MPEG-2와의 호환성을 위하여 기준이 되는 동영상은 MPEG-2 인코더로 부호화를 수행하여 메인 비트스트림(main bitstream)을 생성하 고, 그 외의 시점 동영상들에 대하여는 보조 비트스트림(auxiliary bitstream)을 생성한다. 즉, 메인 비트스트림은 'I(이에 대해서는 추후에 설명하기로 함)' 프레임이 포함되어 있는 동영상에 대한 데이터가 포함되어 있고, 보조 비트스트림은 그 외의 동영상들을 변이 추정 및 움직임 추정을 통하여 부호화한 정보들이 포함된다.
본 발명의 부호화 방법은, 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화기에서 원하는 시점만 복원할 수 있는 정보를 제공하여 줄 수 있다. 이를 위하여, "시점 정보(view information)"는 보조 비트스트림 내의 픽쳐 헤더 부분에 n 비트로 삽입이 된다. 이때 n 비트는 최대 2n 개의 시점까지 지원할 수 있다.
도면에 도시된 바와 같이, 본 발명이 적용되는 다시점 동영상 부호화 장치는, 전처리부(110), 움직임 추정/보상부(120, 130), 변이 추정/보상부(140), 비트율 제어부(150) 및 차영상 부호화부(160, 170)를 포함하여 구성된다.
상기 전처리부(110)는 전처리부(10)는 다시점 동영상(multiview sequence)(A) 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 동영상 데이터들 간의 상관도를 높여 변이 추정 및 움직임 추정으로 나온 벡터들의 신뢰도를 증가시켜 변이 추정/보상부(140) 및 움직임 추정/보상부(120, 130)와, 차영상 부호화부(160, 170)에 제공한다. 여기서, 임발란싱(imbalancing)문제는 기준 영상과 보정해야 될 보정영상의 평균과 분산을 이용하여 보정하고, 노이즈는 간단하게 미디언 필터를 사용하여 임발란싱 문 제를 제거할 수 있다.
또한, 상기 전처리부(110)는 보조 비트스트림에 "시점 정보(view information)"를 삽입하여 복호화기에서 원하는 시점만 복원할 수 있는 정보를 제공하는 기능을 담당한다. 이를 도 2를 참조로 설명하면 다음과 같다.
도 2는 본 발명에 따라 생성된 보조 비트스트림의 일실시예 구성도이다.
도면에 도시된 바와 같이, 본 발명에 따라 삽입되는 "시점 정보(view information)"(210)는, 보조 비트스트림 내의 픽쳐 헤더 부분에 n 비트로 삽입될 수 있다. 이때, n 비트는 최대 2n 개의 시점까지 지원할 수 있다.
상기 변이 추정/보상부(120, 130) 및 움직임 추정/보상부(140)는 'I' 픽쳐를 포함하고 있는 동영상 축을 기준으로 변이 벡터 및 움직임 벡터를 추정하고, 반화소 보상 방법을 이용하여 보상하며, 차영상 부호화부(160, 170)는 상기 전처리부(110)로부터 제공되는 원영상과 상기 변이 추정/보상부(120, 130) 및 움직임 추정/보상부(140) 보상된 복원 영상의 차정보에 대하여, 보다 나은 영상 화질과 입체감을 제공하기 위하여 부호화를 수행하여, 제공되는 다시점 동영상에 대한 비트스트림을 생성할 수 있다.
또한, 비트율 제어부(150)는 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어할 수 있다.
MPEG-2에서, 부호화의 기본 단위는 GOP(Group Of Pictures)로써, 'I' 픽쳐(picture), 'P' 픽쳐, 및 'B' 픽쳐로 구성이 된다. 'I' 픽쳐는 인트라 부호화 를 수행하는 것으로 동영상의 랜덤 액세스를 가능하게 한다. 'P' 픽쳐는 이전에 부호화된 'I' 픽쳐나 'P' 픽쳐를 기준 영상으로 하여 움직임 벡터를 단방향으로 추정하고, 'B' 픽쳐는 'I' 픽쳐와 'P' 픽쳐를 이용하여 움직임 벡터를 양방향으로 추정한다. GOP의 길이, 즉 'N'은 'I' 픽쳐 사이의 거리를 의미하고, 'M'은 'I' 픽쳐와 'P' 픽쳐 사이의 거리를 나타낸다.
다시점 동영상을 부호화하기 위하여, 본 발명에서는 다시점 동영상 부호화의 기본 단위인 "GGOP(Group of GOP)" 구조를 제안하기로 한다.
본 발명의 "GGOP"는 MPEG-2의 GOP와 달리 시간축 및 시점축에 해당되는 픽쳐들을 포함하고 있다. 즉, "GGOP" 구조를 이용하여 공간상의 상관성, 시간축상의 상관성, 시점간의 상관성을 제거하여 효율적으로 다시점 동영상을 부호화할 수 있다.
도 3a 내지 도 3c는 본 발명에 따라 5시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도로써, 각각 "One-I" 타입, "Two-I" 타입, "Five-I" 타입을 의미한다. 이때, N=6, M=3일 경우를 예를 들어 설명하는 것으로 한다.
도면에 도시된 바와 같이, 본 발명의 "GGOP" 구조 중 "One-I" 타입은 1개의 'I' 픽쳐, 1개의 'Pt' 픽쳐, 4개의 'Bt' 픽쳐, 4개의 'Ps' 픽쳐 및 20개의 'Bt,s' 픽쳐로 구성되어 있다.
여기서 'Pt' 픽쳐와 'Bt' 픽쳐는 MPEG-2에서 사용되었던 'P' 픽쳐와 'B' 픽쳐와 같이 움직임 벡터를 각각 단방향 및 양방향으로 수행하는 픽쳐 타입이다. 'Ps' 픽쳐는 시점간의 상관성, 즉 변이 추정을 이용하여 복원하는 영상이고 'Bt,s' 픽쳐 는 시간축으로는 움직임 벡터, 시점축으로는 변이 벡터 또는 두 벡터의 보간으로 복원된 영상을 의미한다.
상기 도 3a와 같이, N=6, M=3일 경우의 "One-I" 타입에서, 기준이 되는 동영상, 즉 MPEG-2로 부호화할 동영상은 1개가 포함되어 있다. 여기서 화살표는 변이 벡터 및 움직임 벡터를 예측하기 위한 방향을 의미한다.
'I' 픽쳐가 포함되어 있는 기준 동영상인 '… Bt, Bt, I, Bt, Bt, Pt, …'는 MPEG-2와의 호환성을 위하여 MPEG-2 인코더로 부호화를 수행하고 비트스트림 또한 MPEG-2의 신택스와 같게 설정하였다. 이때, 기준 동영상에 해당하는 비트스트림을 메인 비트스트림(main bitstream)으로 정의한다. 그 외의 시점에 해당되는 동영상의 데이터는 보조 비트스트림(auxiliary bitstream)으로 정의한다. 따라서 상기 도 3a와 같은 5시점 "One-I" 타입일 경우에는 1개의 메인 비트스트림과 1개의 보조 비트스트림을 생성할 수 있다.
다시점 동영상을 획득할 때의 카메라 사이의 간격, 즉 베이스라인이 클 경우에는 시점간의 에러가 증가될 수 있다. 기준이 되는 동영상이 한 개만 있다면 기준 시점에서 많이 떨어져 있는 시점축에 해당되는 동영상들은 화질의 열화가 발생될 수 있다. 따라서 베이스라인이 큰 다시점 카메라로부터 획득한 다시점 동영상을 부호화할 경우에는 두 개 이상의 기준 동영상이 요구된다.
상기 도 3b는 5시점 "Two-I" 타입을 나타낸 것으로, 베이스라인이 큰 다시점 카메라로부터 획득한 다시점 동영상을 부호화하기 위하여 제안된 것이다. 이때, 다 시점 동영상 부호화기는 2개의 메인 비트스트림과 1개의 보조 비트스트림을 생성할 수 있다.
세 번째 시점에서의 'Bs' 픽쳐는 각각 이웃하는 좌·우 영상에서 예측된 변이를 사용하거나 두 변이의 보간으로 복원된 픽쳐 타입을 의미한다.
한편, 상기 도 3c의 "Five-I" 타입은 변이 추정을 수행하지 않고 다시점 동영상을 각각 MPEG-2 동영상으로 간주하여 독립적으로 부호화할 수 있다. 이 경우 5개의 메인 비트스트림이 생성되고 변이 추정은 수행하지 않았기 때문에 보조 비트스트림은 생성되지 않는다.
상기 도 3a 내지 도 3c를 사용하여 설명한 본 발명의 일실시예에서는, 5시점 동영상에 해당하는 "GGOP" 구조를 그 예를 들었으나, 이는 시점수가 증가하여도 확장이 가능하다.
도 4a 및 도 4b는 본 발명에 따라 9시점 동영상을 부호화하기 위한 "GGOP"의 일실시예 구조도로써, 각각 "Two-I" 타입과 "Three-I" 타입을 나타내고 있다. 이 경우에도 MPEG-2와의 호환성을 위하여 'I' 픽쳐가 포함되어 있는 기준 동영상은 MPEG-2 인코더로 부호화를 한 후, 메인 비트스트림을 생성한다. 마찬가지로 그 외의 시점 동영상들은 보조 비트스트림을 생성하게 된다.
상기 도 4a는 N=6, M=3일 경우에 "Two-I" 타입에 대한 "GGOP" 구조로써, 2개의 'I' 픽쳐, 2개의 'Pt' 픽쳐, 6개의 'Ps' 픽쳐, 6개의 'Bs' 픽쳐 및 38개의 'Bt,s' 픽쳐로 구성되어 있다.
상기 도 4b는 베이스라인이 클 경우의 다시점 카메라로부터 획득한 9시점 동영상에 대한 "GGOP" 구조로 이 경우에는 3개의 메인 비트스트림과 1개의 보조 비트스트림이 생성된다. 또한, 5시점 동영상을 위한 "Five-I" 타입과 같이 변이 추정을 사용하지 않고 각 시점에 해당되는 동영상을 개별적으로 MPEG-2 인코더를 이용하여 부호화를 수행할 수 있다.
본 발명에서는, 수신단에서 보유하고 있는 디스플레이의 특징을 고려하여 원하는 시점에 해당되는 동영상만 복원 가능하게 하는 개념을 제안하기로 한다.
도 5는 본 발명의 다시점 동영상 복호화 방법의 개념을 설명하기 위한 일실시예 개략도이다.
도면에 도시된 바와 같이, 본 발명의 복호화 방법에서, 다시점 동영상 비트스트림은 수신단에서 보유하고 있는 디스플레이의 종류에 따라 원하는 시점만 선택하여 복원 가능하다.
예를 들어, 송신단에서는 5시점 동영상을 부호화하여 수신단으로 전송하였을 때, 수신단에서는 3시점 동영상만을 디스플레이할 다시점 모니터가 있을 경우에는, 사용자는 5시점뿐만 아니라 3시점 동영상도 볼 수 없게 된다. 이는 송신단에서 다시점 동영상을 부호화할 때 시점에 대한 정보가 없기 때문에 발생되는 문제로 본 발명은 이러한 문제점들을 해결하고자 하는 것이다.
즉, 송신단에서 5시점 동영상을 부호화하여 전송하였을 때, 수신단에서 3시점 동영상만을 디스플레이할 수 있는 3차원 다시점 모니터가 있다면, 사용자가 5시점 중 원하는 3개의 시점만 선택하여 복원 가능하게 할 수 있다.
또한, 수신단에서 다시점 모니터가 보유되지 않고 2차원 동영상만 디스플레이할 수 있는 모니터가 있다면, 메인 비트스트림만을 복원하여 디스플레이에 전송할 수 있다.
도 6은 본 발명에 따라 복호화를 수행하기 위하여 전송되는 헤더 정보를 설명하기 위한 비트스트림의 일실시예 구조도이다.
도면에 도시된 바와 같이, 다시점 동영상 비트스트림들을 생성할 때 픽쳐 헤더 정보에 "시점 정보(view information)"를 삽입하여, 현재 부호화하고 있는 픽쳐가 몇 번째 시점의 데이터인지를 나타내는 정보를 알릴 수 있다. 시점에 대한 정보는 n 비트로 설정되고 이는 2n 시점의 동영상까지 지원할 수 있다.
도 7은 본 발명이 적용되는 다시점 동영상 복호화 장치의 구성도이다.
도면에 도시된 바와 같이, 본 발명이 적용되는 복호화 장치는, 메인 비트스트림 복호화부(710)와 보조 비트스트림 복호화부(720)를 포함하여 구성된다.
상기 메인 비트스트림 복호화부(710)는 MPEG-2 디코더로 복호화를 수행하고, 상기 보조 비트스트림 복호화부(720)는 변이 벡터 및 움직임 벡터를 이용하여 복호화를 수행한다. 이때, 수신단에서 원하는 시점만을 복호화하기 위하여 픽쳐 헤더 정보에서 "시점 정보(view information)"를 확인하여 현재 디코딩하는 데이터가 몇 번째 시점에 해당되는지를 확인한다.
본 발명에 따르면 이와 같이 원하는 시점만을 복원해 주기 때문에 디코딩 시간 및 복호화부의 계산량을 감소시킬 수 있다.
도 8a 내지 도 8e와 도 9a 내지 도 9e는 각각 본 발명의 부호화/복호화 방법을 설명하기 위한 다시점 동영상의 일예로서, 5시점의 경우를 설명하기 위한 것이다. 실험에 사용한 영상 크기는 720×576, 매크로 블록의 크기는 16×16이고, 변이 추정을 위한 x 방향의 탐색 범위는 -16~16으로 설정하였고 평행식 카메라를 가정하였기 때문에 y 방향의 탐색 범위는 설정하지 않았다. 움직임 추정을 위하여 x 방향 및 y 방향의 탐색 범위는 -16~16으로 설정하였다. 또한, 실험에서 사용한 영상 포맷은 Y:U:V 4:2:0로 설정하였다.
도 10은 상기 도 8a 내지 도 8e의 5시점 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프이다.
도면에 도시된 바와 같이, "One-I" 타입과 "Two-I" 타입을 변이 추정을 수행하지 않은 "Five-I" 타입과 비교하였을 때, 비슷한 비트율에서 좋은 효율을 보임을 확인할 수 있다.
한편, 본 발명에서는 유동성이 있는 "GGOP"구조를 제안하였다. 즉 베이스라인이 큰 다시점 동영상을 부호화하기 위해서는 시점간의 상관성을 보완해 주기 위한 "Two-I" 타입을 적용하고 베이스라인이 작은 다시점 동영상에 대하여는 "One-I" 타입을 적용하여 "Two-I" 타입과 비교할 때 'I' 프레임을 제외한 나머지 픽쳐 타입에 더 많은 비트량을 할당한다.
도 11a 및 도 11b는 상기 도 9a의 동영상의 다양한 비트율에서의 부호화 결과를 설명하기 위한 일실시예 그래프로서, 각각 베이스라인이 작은 경우와 베이스라인이 큰 경우를 나타낸 것이다.
도면에 도시된 바와 같이, 베이스라인이 작은 다시점 동영상에서는 "One-I" 타입이 PSNR면에서 좋은 효율을 보였고, 베이스라인이 큰 다시점 동영상에서는 "Two-I" 타입이 PSNR면에서 "One-I" 타입과 비교할 때 성능이 우수함을 확인할 수 있다.
도 12a 및 도 12b는 각각 베이스라인이 큰 영상을 "One-I" 타입과 "Two-I" 타입으로 부호화를 수행하였을 경우의 결과 영상을 비교한 일예시도이다.
도면에 도시된 바와 같이, 베이스라인이 큰 다시점 동영상일 경우 시점간의 상관성이 감소하므로, 이를 보완하기 위하여 'I' 프레임을 증가시킨 "Two-I" 타입이 더 좋은 효율이 있음을 확인하였다. 따라서 다시점 동영상에 대하여, 베이스라인의 크기에 따라 본 발명의 "GGOP" 구조가 유동성이 있음을 알 수 있다.
한편, 본 발명의 "GGOP" 구조에서 'Bt,s' 프레임은 변이 벡터 또는 움직임 벡터 중에 예측 에러가 적은 벡터를 선택하거나 두 벡터의 평균 합을 사용한다. 만약 움직임이 큰 다시점 동영상일 경우에는 움직임 벡터로 복원하는 것보다 변이 벡터로 복원하는 것이 에러를 더 감소시키기 때문에 변이 벡터만을 선택한다. 반대로 시점축으로 상관도가 감소하면 움직임 벡터를 이용하여 예측하는 것이 더 효율적이므로 움직임 벡터를 선택한다.
도 13a 내지 도 13b는 본 발명의 Bt,s 프레임의 성능을 설명하기 위한 결과 영상의 일예로서, 도 13a는 다시점 동영상을 MPEG-2 동영상으로 간주하여 독립적으로 부호화를 수행하였을 경우의 결과 영상이며, 도 13b는 본 발명에 따라 부호화를 수행한 경우의 결과 영상이다.
도 13a에 도시된 바와 같이, 종래의 MPEG-2는 움직임이 큰 영역에 대해서 변이 벡터를 이용하여 예측할 수 없기 때문에 에러가 크게 발생한다. 그러나, 본 발명에 따르면 움직임이 큰 영역일 경우 움직임 벡터 대신 변이 벡터로 예측을 할 수 있어서 에러를 감소시킬 수 있다.
본 발명에 따르면, 송신단에서 메인 비트스트림과 보조 비트스트림을 수신단에 전송하면, 수신단에서는 원하는 시점만 복원 가능하다.
도 14a 내지 도 14d는 수신단에 스테레오 동영상만 디스플레이할 수 있는 3차원 모니터가 있을 경우, 상기 도 9a 내지 도 9e의 5시점의 비트스트림을 수신받은 사용자가 2번째 시점과 4번째 시점을 선택하였을 때의 결과 영상의 일예로, 도 14a 및 도 14b는 MPEG-2 복호화기를 사용하여 획득한 결과 영상이고, 도 14c 및 도 14d는 본 발명의 복호화 방법을 사용하여 복호화한 결과 영상을 나타낸 것이다.
도면에 도시된 바와 같이, 상기 도 14c 및 도 14d의 영상이 더 선명함을 확인할 수 있다. 이는, 상기 도 14a 및 도 14b는 오직 변이 벡터를 이용하여 복원한 결과이고, 도 14c 및 도 14d는 'Bt,s' 프레임을 포함하고 있기 때문에 움직임 벡터가 크거나 변이 벡터가 큰 경우에 예측 에러를 감소시킬 수 있기 때문이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 베이스라인의 간격을 고려하여 효율적으로 다시점 동영상을 부호화하고, MPEG-2와의 호환성도 유지하면서, 수신단에 원하는 시점만 선택하여 복호화함으로써, 보다 유동성있고 효율적인 부호화 및 복호화를 수행할 수 있도록 하는 효과가 있다.

Claims (5)

  1. MPEG-2 인코더, 전처리부, 움직임 추정/보상부, 변이 추정/보상부, 비트율 제어부 및 차영상 부호화부를 포함하여 구성되는 부호화 장치에서 다시점 동영상 부호화 방법에 있어서,
    입력되는 다시점 동영상 데이터 중 기준 시점에 해당하는 동영상을 상기 MPEG-2 인코더로 부호화하여 메인 비트스트림을 생성하는 단계(a);
    상기 기준 시점 이외의 동영상 데이터에 대해 상기 변이 추정/보상부 및 움직임 추정/보상부의 동작에 의해 변이 추정 및 움직임 추정을 이용하여 부호화하는 단계(b); 및
    상기 단계(b)에서 부호화된 기준 시점 이외의 동영상 데이터 및 픽쳐 헤더 정보에 시점 정보를 포함하는 보조 비트스트림을 생성하는 단계(c)를 포함하되,
    상기 보조 비트스트림에 포함되는 시점 정보는 상기 메인 비트스트림 및 보조 비트스트림이 포함하고 있는 모든 동영상 데이터의 시점 정보이며,
    상기 메인 비트스트림 및 보조 비트스트림이 복호화 장치로 전달될 때, 상기 복호화 장치는 상기 보조 비트스트림에 포함된 시점 정보를 이용하여 원하는 시점에 상응하는 영상 데이터를 선택적으로 복호화하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 단계(c)에서, 상기 움직임 추정/보상부 및 상기 변이 추정/보상부가 공간상의 상관성, 시간상의 상관성 및 시점관의 상관성을 제거하여 입력되는 동영상의 움직임 및 변이를 추정/보상하되,
    움직임 벡터를 단방향으로 추정(Pt)하고, 움직임 벡터를 양방향으로 추정(Bt)하며, 변이 추정을 이용하여 복원(Ps)하고, 변이 벡터 또는 움직임 벡터 중 예측 에러가 적은 벡터를 선택하거나 또는 두 벡터의 평균합을 사용하여 복원(Bt,s)하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  4. 제3항에 있어서,
    적어도 3개 이상의 카메라가 부호화될 동영상을 촬영하고, 적어도 3 개 이상의 카메라들 사이의 간격(베이스라인)이 미리 설정된 기준 간격 보다 큰 경우, 적어도 두 개 이상의 기준 시점 동영상을 설정-기준 시점 동영상의 수는 상기 메인 비트스트림의 수와 동일함-하여 움직임 및 변이를 추정/보상하되,
    각각 이웃하는 좌우 영상에서 예측된 변이를 사용하여 복원(Bs 프레임)하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 부호화 방법.
  5. MPEG-2 복호화를 수행하는 메인 비트스트림 복호화부와 보조 비트스트림 복호화부를 포함하는 복호화 장치에서의 다시점 동영상 복호화 방법에 있어서,
    메인 비트스트림 및 보조 비트스트림을 수신하는 단계(a)-상기 메인 비트스트림은 기준 시점에 해당하는 동영상을 MPEG-2 인코더로 부호화한 비트스트림이며, 상기 보조 비트스트림에는 상기 기준 시점 이외의 동영상을 부호화함 데이터 및 시점 정보를 가지는 픽쳐 헤더가 포함됨-;
    상기 복호화 장치에서 복호화 가능한 시점 정보를 판단하는 단계(b); 및
    상기 메인 비트스트림 및 보조 비트스트림의 다시점 동영상 데이터를 복호화하되, 상기 보조 비트스트림의 동영상 데이터 복호화 시 상기 픽쳐 헤더 정보에 포함된 시점 정보를 참조하여 상기 단계(b)에서 판단한 복호화 가능한 시점에 상응하는 동영상 데이터에 대해서만 선택적으로 복호화하는 단계(c)를 포함하는 것을 특징으로 하는 시점 선택이 가능한 다시점 동영상 복호화 방법.
KR1020040048340A 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 Expired - Fee Related KR100679740B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
PCT/KR2005/001969 WO2006001653A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
JP2007517962A JP2008503973A (ja) 2004-06-25 2005-06-24 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法
CN2010101357554A CN101895768A (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法及其解码装置
CN2005800248006A CN101023681B (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法和解码装置
EP05756733A EP1772022A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
CN2010101357573A CN101902656A (zh) 2004-06-25 2005-06-24 一种多视点视频位流的解码方法及其解码装置
US11/571,235 US20090103619A1 (en) 2004-06-25 2005-06-24 Method of coding and decoding multiview sequence and method of displaying thereof
JP2011000757A JP2011109690A (ja) 2004-06-25 2011-01-05 多視点シーケンス符号化／復号化方法及びそのディスプレイ方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040048340A KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Publications (2)

Publication Number Publication Date
KR20050122717A KR20050122717A (ko) 2005-12-29
KR100679740B1 true KR100679740B1 (ko) 2007-02-07

Family

ID=35782029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040048340A Expired - Fee Related KR100679740B1 (ko) 2004-06-25 2004-06-25 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Country Status (6)

Country Link
US (1) US20090103619A1 (ko)
EP (1) EP1772022A1 (ko)
JP (2) JP2008503973A (ko)
KR (1) KR100679740B1 (ko)
CN (3) CN101895768A (ko)
WO (1) WO2006001653A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953646B1 (ko) 2006-01-12 2010-04-21 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
USRE44680E1 (en) 2006-01-12 2013-12-31 Lg Electronics Inc. Processing multiview video
US9571835B2 (en) 2006-07-12 2017-02-14 Lg Electronics Inc. Method and apparatus for processing a signal

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811649B1 (ko) * 2006-01-11 2008-03-11 연세대학교 산학협력단 다시점 부호화 방법과 그에 사용되는 비트율 제어 방법
US20090201992A1 (en) * 2005-10-07 2009-08-13 Jeong-Il Seo Method and apparatus for encoding and decoding hopping default view for multiple cameras system
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100829857B1 (ko) 2005-12-08 2008-05-16 한국전자통신연구원 다시점 영상을 이용한 홈쇼핑 서비스 시스템 및 그 방법
KR100968920B1 (ko) * 2006-01-05 2010-07-14 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
EP1972141A4 (en) * 2006-01-07 2017-04-05 Electronics and Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
KR100754205B1 (ko) 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
US9100659B2 (en) * 2006-03-29 2015-08-04 Thomson Licensing Multi-view video coding method and device using a base view
KR100949983B1 (ko) 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
BRPI0710236A2 (pt) * 2006-05-03 2011-08-09 Ericsson Telefon Ab L M método e aparelho para a reconstrução de mìdia, produto de programa de computador, aparelho para criar uma representação de mìdia, objeto de dados de ponto de acesso randÈmico, e, representação e documento ou recipiente de mìdia
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
WO2007148909A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
CN100438632C (zh) * 2006-06-23 2008-11-26 清华大学 一种交互式多视点视频的编码方法
BRPI0713348A2 (pt) * 2006-07-05 2012-03-06 Thomson Licensing Método e aparelho para codificação e decodificação de vídeo multivisualização
BRPI0714022A2 (pt) * 2006-07-06 2012-12-04 Thomson Licensing método e aparelho para separar o número do quadro e /ou a contagem de ordem de imagem (poc) para codificação e decodificação de vìdeo multi-visão
CN101611633B (zh) * 2006-07-06 2012-10-03 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
US20090147860A1 (en) * 2006-07-20 2009-06-11 Purvin Bibhas Pandit Method and apparatus for signaling view scalability in multi-view video coding
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
JP5116175B2 (ja) * 2006-10-13 2013-01-09 トムソン ライセンシング 多視点ビデオ符号化を含む参照ピクチャの管理方法
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
BRPI0719536A2 (pt) * 2006-10-16 2014-01-14 Thomson Licensing Método para utilização de uma unidade de camada genérica na rede de trabalho sinalizando uma reposição instantânea de decodificação durante uma operação em vídeo.
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101366288B1 (ko) * 2006-12-13 2014-02-21 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR101420894B1 (ko) 2007-01-04 2014-07-17 톰슨 라이센싱 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치
EP2116059A2 (en) * 2007-01-04 2009-11-11 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
EP2116063B1 (en) * 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
LT2887671T (lt) 2007-04-12 2018-07-25 Dolby International Ab Mozaikinis išdėstymas, koduojant ir dekoduojant video
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
CN101897193A (zh) * 2007-10-10 2010-11-24 韩国电子通信研究院 用于存储和播放立体数据的元数据结构、以及用于使用该元数据来存储立体内容文件的方法
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
CA2767794A1 (en) * 2008-10-07 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view media data
US9036714B2 (en) 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
JP5436458B2 (ja) * 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP6159507B2 (ja) 2009-02-19 2017-07-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像フォーマット
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブロックに基づくインターリーブ
TWI461052B (zh) * 2010-02-23 2014-11-11 Nippon Telegraph & Telephone 移動向量推估方法、多視點影像編碼方法、多視點影像解碼方法、移動向量推估裝置、多視點影像編碼裝置、多視點影像解碼裝置、移動向量推估程式、多視點影像編碼程式及多視點影像解碼程式
JP4746702B1 (ja) * 2010-03-16 2011-08-10 シャープ株式会社 多視点画像符号化装置
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR101599042B1 (ko) * 2010-06-24 2016-03-03 삼성전자주식회사 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
JPWO2012029884A1 (ja) * 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
CN103262545B (zh) * 2010-12-17 2015-10-14 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
TWI680672B (zh) 2012-01-19 2019-12-21 Ｖｉｄ衡器股份有限公司 影像編碼參考圖像清單發信及建構方法及裝置
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10009628B2 (en) * 2013-06-07 2018-06-26 Apple Inc. Tuning video compression for high frame rate and variable frame rate capture
NL2014986B1 (en) * 2015-06-18 2017-01-23 Filigrade B V Waste separation method.
KR20170029244A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 관리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
KR20030042090A (ko) * 2001-11-21 2003-05-28 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
TW335480B (en) * 1995-09-29 1998-07-01 Matsushita Electric Ind Co Ltd Method and apparatus for encoding a bistream for multi-angle connection
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
ES2207839T3 (es) * 1997-07-11 2004-06-01 Koninklijke Philips Electronics N.V. Metodo de decodificacion de datos audiovisuales.
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
CN1141845C (zh) * 2001-04-29 2004-03-10 王林 视点分离式立体电视机
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP2004007266A (ja) * 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2004048116A (ja) * 2002-07-08 2004-02-12 Monolith Co Ltd 画像データ符号化および復号のための方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200715A (ja) * 1996-01-19 1997-07-31 Canon Inc 通信装置、通信方法及び通信システム
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
KR20030042090A (ko) * 2001-11-21 2003-05-28 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953646B1 (ko) 2006-01-12 2010-04-21 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
US7831102B2 (en) 2006-01-12 2010-11-09 Lg Electronics Inc. Processing multiview video
US7856148B2 (en) 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
US7970221B2 (en) 2006-01-12 2011-06-28 Lg Electronics Inc. Processing multiview video
US8115804B2 (en) 2006-01-12 2012-02-14 Lg Electronics Inc. Processing multiview video
US8154585B2 (en) 2006-01-12 2012-04-10 Lg Electronics Inc. Processing multiview video
US8553073B2 (en) 2006-01-12 2013-10-08 Lg Electronics Inc. Processing multiview video
USRE44680E1 (en) 2006-01-12 2013-12-31 Lg Electronics Inc. Processing multiview video
US9571835B2 (en) 2006-07-12 2017-02-14 Lg Electronics Inc. Method and apparatus for processing a signal

Also Published As

Publication number Publication date
CN101902656A (zh) 2010-12-01
EP1772022A1 (en) 2007-04-11
CN101023681A (zh) 2007-08-22
US20090103619A1 (en) 2009-04-23
KR20050122717A (ko) 2005-12-29
JP2011109690A (ja) 2011-06-02
CN101895768A (zh) 2010-11-24
CN101023681B (zh) 2010-10-06
WO2006001653A1 (en) 2006-01-05
JP2008503973A (ja) 2008-02-07

Similar Documents

Publication Publication Date Title
KR100679740B1 (ko) 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US5619256A (en) Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US20070041443A1 (en) Method and apparatus for encoding multiview video
MX2008002391A (es) Metodo y aparato para codificar video de vistas multiples.
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101248670A (zh) 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
Lim et al. A multiview sequence CODEC with view scalability
KR20030083285A (ko) 다 시점 동영상 부호화 장치
BRPI0616745A2 (pt) codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
KR100783722B1 (ko) 다양한 수신환경을 고려한 스테레오 비디오 부호화방법 및 장치
Hasan et al. Survey on Error Concealment Strategies and Subjective Testing of 3D Videos
Lim et al. Motion/disparity compensated multiview sequence coding
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20040625

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20040730

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060112

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20060628

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070131

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070201

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20091218

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110103

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20111206

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20111206

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20131209