[go: up one dir, main page]

KR100475060B1 - 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 - Google Patents

다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 Download PDF

Info

Publication number
KR100475060B1
KR100475060B1 KR10-2002-0046518A KR20020046518A KR100475060B1 KR 100475060 B1 KR100475060 B1 KR 100475060B1 KR 20020046518 A KR20020046518 A KR 20020046518A KR 100475060 B1 KR100475060 B1 KR 100475060B1
Authority
KR
South Korea
Prior art keywords
view
user
video
multiplexing
display method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0046518A
Other languages
English (en)
Other versions
KR20040013540A (ko
Inventor
윤국진
조숙희
최윤정
이진환
함영권
안치득
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2002-0046518A priority Critical patent/KR100475060B1/ko
Priority to US10/291,627 priority patent/US7136415B2/en
Priority to EP02025282A priority patent/EP1389020A1/en
Publication of KR20040013540A publication Critical patent/KR20040013540A/ko
Application granted granted Critical
Publication of KR100475060B1 publication Critical patent/KR100475060B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 다시점 영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 장치 및 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 다시점 영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 장치 및 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 다시점 3차원 동영상에 대한 다중화 방법에 있어서, 제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상 정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림을 생성하는 제 1 단계; 사용자에 의해 선택하고자 하는 디스플레이 방식과 시점 정보를 포함하는 백채널 정보를 입력받는 제 2 단계; 및 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 상기 백채널 정보에 따른 선택된 제 2 소정의 갯수의 다시점 부호화 스트림을 같은 시간 정보를 갖는 프레임 또는 필드단위로 다중화하는 제 3 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 3차원 디스플레이 등에 이용됨.

Description

다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 장치 및 방법{The multiplexing method and its device according to user's request for multi-view 3D video}
본 발명은 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 및 그 장치와 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
동일 시간상에서 다수의 영상을 처리하는 다시점 3차원 동영상 시스템은 부호화기에서 여러 개의 다시점 부호화 스트림을 출력한다. 여러 개의 다시점 부호화 스트림이 수신단에 전송되어, 복수개의 영상을 디스플레이 할 경우, 영상간의 동기화는 필수적으로 요구된다. 따라서, 본 발명은 다시점 3차원 동영상 시스템에서 영상간의 동기화를 간단히 처리하기 위하여, 부호화기로부터 동일 시간상에서 여러 개로 출력되는 다시점 부호화 스트림을 단일 스트림으로 다중화하여 처리하는 방법 및 그 장치를 제안한다.
일반적으로, 다시점 동영상은 같은 대상에 대한 여러 시점으로부터 획득되는 데이터로써, 인간에게 보다 현실에 가까운 영상을 제공할 뿐만 아니라 입체감을 제공하여 현재 많은 응용분야에서 사용되어 지고 있다. 하지만, 전송되는 대용량의 영상데이타 크기 및 획득되는 영상간의 동기화 복잡도 등 많은 문제점을 가지고 있다.
또한, 다시점 3차원 동영상 데이터는 2차원 동영상 플레이, 파노라마 동영상 디스플레이, 양안식(stereoscopic) 3차원 동영상 디스플레이, 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이 등의 다양한 디스플레이가 가능하며, 각 디스플레이 방식에 따라 요구되는 데이터가 달라지게 된다. 이는, 기존의 장치를 통해 동기화 및 다양한 디스플레이 방식을 모두 지원할 수 없는 문제점이 있다.
특히, 기존의 양안식 3차원 동영상 처리는 좌우 영상을 하나의 영상으로 변환하여, 2차원 동영상 처리 시스템에서 그대로 처리하는 방식이 사용되고 있다. 이와 같은 경우는, 부호화기로부터 하나의 다시점 부호화 스트림이 출력되므로, 다시점 부호화 스트림에 대한 다중화가 필요 없다.
그러나, 3차원 영상을 2차원 영상으로 변환하지 않고 처리하는 경우, 다시점 3차원 동영상간의 정확한 동기를 맞추기 위해서는 부호화기로부터 출력되는 여러 개의 다시점 부호화 스트림을 다중화하여 전송하는 방식이 필요하며, 나아가 효율적인 전송을 위하여 본 발명의 다중화 방식은 다시점 3차원 동영상에 대해 디스플레이 가능한 2차원 동영상 플레이, 파노라마 동영상 디스플레이, 양안식(stereoscopic) 3차원 동영상 디스플레이, 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이 각각의 디스플레이에 요구되는 데이터만 선택하여 다중화하여 전송하는 방식이 필요하다.
그러나, 현재 다시점 3차원 동영상에 대해 상기 4가지 디스플레이 방식 및 사용자 요구사항에 적합한 데이터만을 전송하기 위한 시스템 구조 및 다중화 방법은 제안된 바 없다.
본 발명은, 상기와 같은 요구를 충족시키기 위하여 제안된 것으로, 다시점 3차원 동영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 장치 및 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
즉, 본 발명에 따른 다중화 장치 및 방법은 다시점 3차원 동영상에 대해 디스플레이 가능한 2차원 동영상 디스플레이, 파노라마 동영상 디스플레이, 양안식(stereoscopic) 3차원 동영상 디스플레이, 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이의 4가지 방식을 모두 지원하는 동시에 각 디스플레이 방식에 적합한 다시점 부호화 스트림만을 전송함으로써 전송효율을 최적화할 수 있고, 헤더의 중복성 및 동일 시간상에서 다시점 영상에 대해 출력되는 복수개의 부호화 스트림 중에서 하나의 부호화 스트림으로부터 획득한 시간정보를 이용하여 나머지 다른 시점들의 부호화 스트림과 동기화 함으로써 동기화 과정의 복잡도를 최소화하는 다중화 방법 및 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은, 다시점 3차원 동영상에 대한 다중화 장치에 있어서, 제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상 정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 사용자가 선택하는 디스플레이 방식과 시점 정보에 따른 상기 제 1 소정의 갯수의 다시점 부호화 스트림에서 선택된 제 2 소정의 갯수의 다시점 부호화 스트림을 같은 시간 정보를 갖는 프레임 또는 필드단위로 다중화하여 전송하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 장치를 제공한다.
또한, 본 발명은, 다시점 3차원 동영상에 대한 다중화 방법에 있어서, 제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상 정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림을 생성하는 제 1 단계; 사용자에 의해 선택하고자 하는 디스플레이 방식과 시점 정보를 포함하는 백채널 정보를 입력받는 제 2 단계; 및 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 상기 백채널 정보에 따른 선택된 제 2 소정의 갯수의 다시점 부호화 스트림을 같은 시간 정보를 갖는 프레임 또는 필드단위로 다중화하는 제 3 단계를 포함한다.
또한, 본 발명은, 프로세서를 구비한 동영상 다중화 시스템에, 제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림을 생성하는 제 1 기능; 사용자에 의해 선택하고자 하는 디스플레이 방식과 시점 정보를 포함하는 백채널 정보를 입력받는 제 2 기능; 및 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 상기 백채널 정보에 따른 선택된 제 2 소정의 갯수의 다시점 부호화 스트림정보를 갖는 프레임 또는 필드단위로 다중화하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 다시점 3차원 동영상에 대한 사용자 시점 요구가 반영된 송수신 시스템의 일실시예 구성도이다.
도 1에 도시된 본 발명이 적용되는 다시점 3차원 동영상에 대한 사용자 시점 요구가 반영된 송수신 시스템에서, 송신단(11)은 N개의 카메라를 통해 획득되는 다시점 동영상 데이터를 부호화하기 위한 부호화기(111), 부호화기(111)에서 출력되는 N개의 부호화 스트림을 입력받아 사용자로부터 요구된 시점 정보 및 디스플레이 방식에 따라 선택된 부호화 스트림을 다중화하여 하나의 3D_AU 스트림을 출력하는 다중화기(112), 부호화기(111) 및 다중화기(112)에서 출력되는 부호화 스트림에 대한 부가정보와 다중화기(112)에서 출력되는 3D_AU 스트림을 헤더부와 페이로드부로 구성하는 패킷타이저(113)로 구성된다.
그리고, 수신단(12)은 패킷화된(packetized) 전송 스트림을 입력받아 헤더부와 페이로드부로 분류하는 패킷화된(packetized) 전송 스트림 해독기(121)와 다중화된 3D_AU 스트림을 여러 개의 다시점 부호화 스트림으로 출력하는 역다중화기(123), 헤더부에 포함되어 있는 부가정보를 해석하는 부가정보 해독기(122)와 역다중화된 다시점 부호화 스트림을 복호화하는 복호화기(124)로 구성된다.
본 발명이 적용되는 다시점 3차원 영상 다중화 시스템에서 다시점 3차원 동영상에 대한 부호화기(111)는 도 1에 도시된 바와 같이 N시점의 영상을 입력받아 각각 최소접근단위로 부호화하여 스트림(stream)_#1, 스트림(stream)_#2, , 스트림(stream)_#N으로 출력한다. 여기서, 스트림(stream)_#1, 스트림(stream)_#2, , 스트림(stream)_#N은 각각 제 1시점 동영상의 부호화 스트림, 제 2시점 동영상의 부호화 스트림,,,제 N시점 동영상의 부호화 스트림을 나타낸다.
상기와 같이, 부호화기(111)에서 출력되는 여러 개의 부호화 스트림은 도 1에 도시하는 바와 같이, 다중화기(112)로 입력되어 다중화된 후, 하나의 스트림인 3D_AU 스트림을 출력한다. 이때, 다시점 3차원 동영상 데이터에 대하여 본 발명의 일실시예에서는 2차원 동영상 디스플레이 방식, 파노라마 동영상 디스플레이 방식, 양안식(stereoscopic) 3차원 동영상 디스플레이 방식 및 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이 방식의 4가지 방식을 지원하며, 각각의 디스플레이 방식에 따라 전송되어야 할 부호화 스트림은 달라진다.
따라서, 3차원 동영상 데이터의 전송을 위해서는 사용자의 백 채널 정보로서, 사용자로부터 원하는 시점 정보 및 보고자 하는 디스플레이 방식 정보를 필요로 하게된다. 이와 같이 사용자의 백채널 정보를 입력받으면, 입력된 각각의 백 채널 정보에 따라 필요한 부호화 스트림만을 선택(M개)하여 다중화가 이루어진다. 이때, 다중화기(112)에서는 필드/프레임 단위로 다중화가 가능하다. 이러한 본 발명에 따른 사용자 시점 요구가 반영된 다시점 3차원 동영상 다중화 방법은 도 2를 통해 좀 더 상세히 살펴보기로 한다.
이후, 다중화된 영상 스트림(3D_AU 스트림)은 전송스트림 생성을 위해 패킷타이저(113)로 입력된다. 패킷타이저(113)는 다중화된 영상 스트림(3D_AU 스트림)뿐만 아니라 부호화기(111)로부터의 부가정보와 다중화기(112)에서의 사용자 백채널 정보를 입력받아, 부가정보 및 사용자 백 채널 정보를 이용하여 전송스트림의 헤더부분을 구성하고 다중화된 영상 스트림(3D_AU 스트림)으로는 전송스트림의 페이로드를 구성하도록 전송스트림을 형성한다.
그리고, 송신단(11)에서 전송된 패킷화된 전송스트림은 수신단(12)의 패킷화된 전송스트림 해독기(121)를 통해 헤더 정보와 페이로드 정보로 분리되어, 헤더 정보는 부가정보 해독기(122)로 전달되어 부가정보 및 사용자 백채널 정보를 얻도록 하고, 페이로드에 담긴 3D_AU스트림 정보는 역다중화기(123)로 전달되어 역다중화를 수행한다. 이때 역다중화를 수행하기 위해서는 부가정보 해독기(122)에서 얻어진 부가정보 및 사용자 백채널 정보가 필요하게 된다.
역다중화기(123)를 통해 역다중화된 M개의 스트림은 복호화기(124)로 전달되어 복호화된다. 이때 복호화를 수행하기 위해서는 부가정보 해독기(122)에서 얻어진 부가정보가 필요하게 된다. 이처럼 복호화된 스트림은 디스플레이 장치로 전달되어 사용자가 원하는 시점의, 사용자가 원하는 방식으로, 출력이 가능하게 된다.
도 2 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 시점 요구가 반영된 다중화 방법의 일실시예 동작 흐름도이다.
우선 본 발명에 따른 다중화 방법의 동작을 구체적인 일실시예 환경을 통해 예시하고자 한다. 이에 따라 환경을 우선 설정하면, 입력은 다시점 카메라로부터 들어오는 여러 개(N개)의 동영상 데이터 스트림으로 한다. 이때, 소스 정보를 제공하는 카메라 대수는 2대이상으로 한다.
또한, 기존 2차원 동영상을 보는 것과는 달리, (자동)양안식 동영상을 보기 위해서는 영상 획득 단계에서 카메라 배치가 달라진다. 이 점에서 본 발명은 2차원 및 3차원 디스플레이 방식을 모두 지원하므로 카메라 배치에 있어서, 카메라사이의 간격은 65mm로 배치되어 있고, 각 카메라의 구경(calibration) 정보는 동일하다고 가정한다.
그리고, 본 발명에 따른 다중화 방법은, 생성된 다수의 다시점 부호화 스트림을 1개의 전송스트림으로 전달하기 위해 사용자로부터 시점 정보와 디스플레이 방식에 관한 정보를 요구한다. 이에 따라 사용자의 시점 정보와 디스플레이 방식에 관한 정보를 포함한 사용자 백채널 정보에 따라 그 다중화 방법이 달라지게 된다.
이때, 사용자는 4가지 디스플레이 방식 및 각 시점을 선택할 수 있다. 예를 들어, 사용자가 2차원 동영상 디스플레이를 보고싶다면, 사용자는 2차원 동영상 디스플레이 방식을 선택하고 다시점 카메라로부터 들어오는 N개의 시점 중 보고싶은 시점을 입력하면 된다. 이때, 사용자가 화면에서 볼 수 있는 화면은 단지 선택한 시점에 대해서만 디스플레이 된다. 즉, 3차원 CG처럼 사용자가 원하는 부분에 대해서 돌려보거나 할 수 없다.
이와 같이, 본 발명에 적용되는 디스플레이 방식은 2차원 동영상 디스플레이 방식, 파노라마 동영상 디스플레이 방식, 양안식 동영상 디스플레이 방식 및 자동 양안식 디스플레이 방식의 네 가지가 있는데, 그 각각의 방식을 상세히 살펴보면 다음과 같다.
첫 번째로 2차원 동영상 디스플레이 방식은 기존 2차원 동영상 방식과 같으므로 단순히 여러 시점에서 획득되는 동영상 데이터에 대해 사용자가 선택한 시점만을 처리하여 수신단에 보내주기만 하면 된다. 즉 본 방식에서는 하나의 카메라에서 입력된 영상 정보만 다중화하여 전송한다.
두 번째인 파노라마 동영상 디스플레이 방식은 사용자가 2시점 이상의 동영상을 볼 수 있다. 즉, 사용자가 파노라마 동영상 디스플레이 방식을 선택하고 원하는 시점, 예를 들어 1, 3, 5시점을 선택했을 경우 1, 3, 5시점 영상의 부호화 스트림을 3D_AU스트림으로 다중화하고 이를 수신단에 보내면 사용자는 1, 3, 5시점의 영상을 복원하여 여러 시점의 동영상을 볼 수 있다. 따라서, 사용자가 좀더 넓은 공간을 볼 수 있도록 하는 디스플레이 방식이다.
세 번째인 양안식 동영상 디스플레이 방식은 두 대의 카메라에 의해 획득되는 2시점의 영상에 대하여 3차원으로 디스플레이를 하는 방식이다. 즉, 사용자가 양안식 동영상 디스플레이 방식을 선택하고, 원하는 시점을 선택하면, 예를 들어 1, 2시점 영상 또는 3, 4시점 영상을 선택했을 경우, 선택한 시점 영상의 부호화 스트림을 3D_AU스트림으로 다중화하여 전송한다. 이때, 수신단에 보내진 스트림은 사용자가 원하는 시점의 영상으로 복호화되어 디스플레이 된다.
이와 같은 양안식 동영상 디스플레이 방법은 카메라 배치에 의해 좌우되는데, 사전에 제시한 카메라 배치에 대한 가정에 덧붙여 다음과 같은 조건이 더 필요하다.
우선, 1, 2시점(카메라 1, 2)은 스테레오가 된다. 반면, 1, 5시점은 스테레오가 되지 못한다. 또, 사용자는 시점을 선택할 때, 스테레오로 볼 수 있는 시점을 알 수 있고 이러한 시점 가운데에서 선택할 수 있다. 예를 들어, 사용자가 1시점을 선택했을 때, 실제적으로는 1, 2시점 영상의 부호화 스트림이 3D_AU스트림으로 다중화되어 수신단에 전송된다.
마지막으로 자동 양안식 동영상 디스플레이가 있는데, 이 방식은 파노라마 동영상 디스플레이 방식과 양안식 동영상 디스플레이 방식을 결합한 디스플레이 방식이다.
즉, 사용자가 1, 2, 3 시점을 선택하면 1 과2, 2 와 3이 스테레오로 되고 각각은 파노라마 방식으로 되어 좀더 넓은 공간을 볼 수 있다.
다중화 방식은 3시점의 다중화이므로 위의 파노라마 방식과 같다.
이러한 환경을 설정한 상태에서 N개의 다시점 카메라로부터 다시점 동영상 정보를 입력받는다(201).
N개의 다시점 카메라로부터 영상을 입력받아 각각의 영상 정보에 대해 최소접근단위로 부호화하여 각각 제 1시점 영상의 다시점 부호화 스트림, 제 2시점의 다시점 부호화 스트림,,,제 N시점 영상의 다시점 부호화 스트림 등 N개의 영상 다시점 부호화 스트림을 생성한다(202).
생성된 N개의 영상 부호화 스트림을 하나의 전송 스트림으로 다중화를 위해 사용자의 백채널 정보가 요구되는데, 사용자의 백채널 정보에 따라 전송 스트림에 포함되는 부호화 스트림이 달라지게 된다(203).
즉, 사용자의 백채널 정보에서 요구한 디스플레이 방식이 2차원 동영상 디스플레이 방식이면(203), 사용자의 백채널 정보에 담겨진 사용자가 원하는 시점에 해당하는 하나의 부호화 스트림만을 다중화한다(204). 그리고, 사용자의 백채널 정보에서 요구한 디스플레이 방식이 파노라마 동영상 디스플레이 방식이거나 자동 양안식 동영상 디스플레이 방식이면(203), 사용자의 백채널 정보에 담겨진 사용자가 원하는 시점에 해당하는 상기 선택된 방식에 의해 사전에 설정된 세개의 부호화 스트림을 다중화한다(205). 그리고, 사용자의 백채널 정보에서 요구한 디스플레이 방식이 양안식 동영상 디스플레이 방식이면(203), 사용자의 백채널 정보에 담겨진 사용자가 원하는 시점에 해당하는 상기 선택된 방식에 의해 사전에 설정된 두개의 부호화 스트림을 다중화한다(206).
하나의 스트림으로 다중화된 동영상 디스플레이 정보는 사용자의 백채널 정보와 부호화시에 생성된 부가정보와 함께 패킷화하여 전송한다(207). 좀 더 상세히 보면, 하나의 스트림으로 다중화된 동영상 스트림(3D_AU steam)을 페이로드 정보로 하고 사용자의 백채널 정보와 부호화시에 생성된 부가정보를 헤더부 정보로 하여 이를 패킷화한 후 전송하게 된다.
본 발명에 따른 사용자 요구가 반영된 다시점 3차원 동영상 다중화 방법의 실시예 따른 다중화 스트림을 좀 더 상세히 살펴보기 위해 도 3, 4, 5에서 각각의 다중화 모드에 대한 다중화의 예를 설명하기로 한다.
도 3 은 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 중 2차원 동영상 디스플레이 방식 선택시의 다중화 예시도이다.
도 3에 도시된 바와 같이 2차원 동영상 디스플레이 방식 선택시의 다중화는 전달받은 N개의 부호화 스트림 중에서 사용자가 요구한 시점인 하나의 부호화 스트림만을 3D_AU스트림으로 구성한다.
각각의 부호화 스트림은 여러 개의 프레임으로 구성되어 있고, 이러한 하나하나의 프레임을 그대로 3D_AU스트림의 프레임으로 다중화한다.
도 4 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 중 파노라마 동영상/자동 양안식 3차원 동영상 디스플레이 방식 선택시의 다중화 예시도이다.
도 4에 도시된 바와 같이 파노라마 동영상/자동 양안식 3차원 동영상 디스플레이 방식 선택시의 다중화는 전달받은 N개의 부호화 스트림 중에서 사용자가 요구한 시점인 1, 2, 3시점의 부호화 스트림을 3D_AU스트림으로 구성한다.
즉, 사용자가 선택한 여러 시점의 부호화 스트림(본 도의 실시예에서는 1, 2, 3 시점)을 순차적으로 통합하여 단일의 3D_AU스트림을 구성하여 출력한다. 즉, L개의 프레임을 가진 각각의 부호화 스트림에 대해 다중화를 통한 3D_AU스트림은 선택된 세개의 부호화 스트림의 프레임을 순차적으로 하나의 프레임 속으로 다중화한다.
이와 같이 다중화된 3D_AU스트림은 송신단에서 전송을 위한 패킷화 시에 하나의 부호화 스트림의 부가정보만을 이용함으로써, 불필요하게 패킷의 헤더 부분이 커지는 것을 막고 데이터 전송의 효율을 높일 수 있다.
또한, 파노라마 동영상 디스플레이 방식과 자동 양안식 3차원 동영상 디스플레이 방식은 3개의 시점이 필요하기 때문에 같은 방식의 다중화를 필요로 하지만, 수신을 통한 디스플레이 재생시에는 서로 상이하게 된다.
도 5 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 중 양안식 3차원 동영상 디스플레이 방식 선택시의 다중화 예시도이다.
도 5에 도시된 바와 같이 양안식 3차원 동영상 디스플레이 방식 선택시의 다중화는 전달받은 N개의 부호화 스트림 중에서 사용자가 요구한 시점인 1, 2시점의 부호화 스트림을 3D_AU스트림으로 구성한다.
즉, 사용자가 선택한 여러 시점의 부호화 스트림(본 도의 실시예에서는 1, 2시점)을 순차적으로 통합하여 단일의 3D_AU스트림을 구성하여 출력한다. 즉, L개의 프레임을 가진 각각의 부호화 스트림에 대해 다중화를 통한 3D_AU스트림은 선택된 두개의 부호화 스트림의 프레임을 순차적으로 하나의 프레임 속으로 다중화한다.
한편, 전송된 부호화 스트림을 수신단에서 복호화하기 위해서는 복호화를 위해 필요한 정보들을 같이 전송해주어야 한다. 이를 위해 패킷타이저에서는 부호화기에서 부가정보, 다중화기에서는 사용자 백채널 정보를 수신하여 이를 헤더로 하여 다중화기를 통해 다중화된 3D_AU 스트림과 함께 패킷화한다.
이와 같이, 동일한 시간 정보를 갖는 여러 개의 부호화 스트림을 단일 기초스트림으로 다중화함으로써 영상간의 동기화를 간단히 하며, 동일 시간상에서 다시점 3차원 동영상에 대한 여러 개의 부호화 스트림 중에서 한 시점의 부호화 스트림으로부터 얻어진 시간 정보를 이용하여 나머지 다른 시점들에서의 부호화 스트림을 동기화시키고 중복되는 헤더 정보를 제거하여 전송의 효율을 높이게 된다.
도 6 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법에서 패킷화된 전송스트림의 일실시예 구조도이다.
도 6에 도시된 바와 같이, 본 발명에 따른 패킷타이저는 복호화 및 디스플레이에 필요한 부가정보 및 사용자 백채널 정보와 다중화된 3D_AU 스트림을 도 6과 같이 각각 헤더부와 페이로드부로 구성되는 패킷화된 전송스트림을 생성하여 수신단으로 전송한다.
그리고, 송신단에서 전송된 패킷화된 전송스트림은 수신단의 패킷화된 전송스트림 해독기를 통해 헤더 정보와 페이로드 정보로 분리되어, 헤더 정보는 부가정보 해독기로 전달되어 부가정보 및 사용자 백채널 정보를 얻도록 하고, 페이로드에 담긴 3D_AU스트림 정보는 역다중화기로 전달되어 역다중화를 수행한다. 이때 역다중화를 수행하기 위해서는 부가정보 해독기에서 얻어진 부가정보 및 사용자 백채널 정보가 필요하게 된다.
역다중화기를 통해 역다중화된 M개의 스트림은 복호화기로 전달되어 복호화된다. 이때 복호화를 수행하기 위해서는 부가정보 해독기에서 얻어진 부가정보가 필요하게 된다. 이처럼 복호화된 스트림은 디스플레이 장치로 전달되어 사용자가 원하는 시점의, 사용자가 원하는 방식으로, 출력이 가능하게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 다시점 3차원 동영상에 대해 상기 4가지 디스플레이 방식을 모두 지원하면서 효율적으로 동기화 문제를 해결할 수 있는 효과가 있다.
따라서, 본 발명은 사용자의 디스플레이 방식 및 시스템 환경을 고려하여 다시점 3차원 동영상 데이터를 처리할 수 있도록 한다.
또한, 동일한 시간 정보를 갖는 여러 개의 다시점 부호화 스트림을 단일 기초스트림으로 다중화함으로써 영상간의 동기화를 간단히 하며, 동일 시간상에서 다시점 영상에 대한 여러 개의 부호화 스트림 중에서 한 시점의 부호화 스트림으로부터 얻어진 시간 정보를 이용하여 나머지 다른 시점들에서의 부호화 스트림을 동기화시키고 중복되는 헤더정보를 최소화하는 효과가 있다.
또한, 기존 시스템과의 호환성을 유지하면서 다시점 3차원 동영상 데이터에 대해 사용자가 선택한 디스플레이 방식 및 시스템 환경에 적합한 데이터만을 선택하여 스트리밍할 수 있도록 함으로써 전송 효율을 높이는 효과가 있다.
도 1 은 본 발명이 적용되는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 송수신 시스템의 일실시예 구성도.
도 2 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법의 일실시예 동작 흐름도.
도 3 은 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 중 2차원 동영상 디스플레이 모드 선택시의 다중화 예시도.
도 4 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법 중 파노라마 동영상/자동 양안식 3차원 동영상 디스플레이 모드 선택시의 다중화 예시도.
도 5 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 방법 중 양안식 3차원 동영상 디스플레이 모드 선택시의 다중화 예시도.
도 6 는 본 발명에 따른 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법에서 패킷화된 전송스트림의 일실시예 구조도.
* 도면의 주요 부분에 대한 부호 설명
11 : 송신단 12 : 수신단
111 : 부호화기 112 : 다중화기
113 : 패킷타이저 121 : 패킷화된 전송스트림 해독기
122 : 부가정보 해독기 123 : 역다중화기
124 : 복호화기

Claims (11)

  1. 다시점 3차원 동영상에 대한 다중화 장치에 있어서,
    제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상 정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 사용자가 선택하는 디스플레이 방식과 시점 정보에 따른 상기 제 1 소정의 갯수의 다시점 부호화 스트림에서 선택된 제 2 소정의 갯수의 다시점 부호화 스트림을 같은 시간 정보를 갖는 프레임 또는 필드단위로 다중화하여 전송하고,
    상기 사용자가 선택하는 디스플레이 방식은, 2차원 동영상 디스플레이 방식, 파노라마 동영상 디스플레이 방식, 양안식(stereoscopic) 3차원 동영상 디스플레이 방식 및 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이 방식 중 어느 하나인 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 장치.
  2. 제 1 항에 있어서,
    상기 2차원 동영상 디스플레이 방식은, 상기 사용자가 선택한 하나의 시점의 다시점 부호화 스트림을 다중화하여 전송하는 것,
    상기 파노라마 동영상 디스플레이 방식은, 상기 사용자가 선택한 2시점 이상의 다시점 부호화 스트림을 다중화하여 전송하는 것,
    상기 양안식(stereoscopic) 동영상 디스플레이 방식은, 상기 사용자가 선택한 2시점의 다시점 부호화 스트림을 다중화하여 전송하는 것,
    상기 자동 양안식(auto-stereoscopic) 동영상 디스플레이 방식은, 상기 사용자가 선택한 시점의 다시점 부호화 스트림을 다중화하여 전송하는 것
    을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 3차원 동영상 다중화 장치.
  3. 다시점 3차원 동영상에 대한 다중화 방법에 있어서,
    제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상 정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림을 생성하는 제 1 단계;
    사용자에 의해 선택하고자 하는 디스플레이 방식과 시점 정보를 포함하는 백채널 정보를 입력받는 제 2 단계; 및
    상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 상기 백채널 정보에 따른 선택된 제 2 소정의 갯수의 다시점 부호화 스트림을 같은 시간 정보를 갖는 프레임 또는 필드단위로 다중화하는 제 3 단계
    를 포함하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  4. 제 3 항에 있어서,
    상기 제 3 단계에 의하여 다중화된 다시점 부호화 스트림을 페이로드부로 하고, 상기 백채널 정보와 상기 부가 정보를 포함하여 헤더부를 생성한 패킷을 전송하는 제 4 단계
    를 더 포함하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  5. 제 4 항에 있어서,
    상기 디스플레이 방식은,
    2차원 동영상 디스플레이 방식, 파노라마 동영상 디스플레이 방식, 양안식(stereoscopic) 3차원 동영상 디스플레이 방식 및 자동 양안식(auto-stereoscopic) 3차원 동영상 디스플레이 방식 중 어느 하나를 선택하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  6. 제 5 항에 있어서,
    상기 2차원 동영상 디스플레이 방식은, 상기 사용자가 선택한 하나의 시점의 다시점 부호화 스트림을 다중화하여 전송하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  7. 제 5 항에 있어서,
    상기 파노라마 동영상 디스플레이 방식은, 상기 사용자가 선택한 2시점 이상의 다시점 부호화 스트림을 다중화하여 전송하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  8. 제 5 항에 있어서,
    상기 양안식(stereoscopic) 동영상 디스플레이 방식은, 상기 사용자가 선택한 2시점의 다시점 부호화 스트림을 다중화하여 전송하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  9. 제 5 항에 있어서,
    상기 자동 양안식(auto-stereoscopic) 동영상 디스플레이 방식은, 상기 사용자가 선택한 시점의 다시점 부호화 스트림을 다중화하여 전송하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제 4 단계의 헤더부를 생성함에 있어서, 다중화하는데 선택된 다수의 다시점 부호화 스트림의 부가 정보 중 하나의 부가 정보만을 사용하는 것을 특징으로 하는 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화 방법.
  11. 프로세서를 구비한 동영상 다중화 시스템에,
    제 1 소정의 갯수의 다시점 카메라로부터 입력된 동영상정보에 각각 대응되는 상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림을 생성하는 제 1 기능;
    사용자에 의해 선택하고자 하는 디스플레이 방식과 시점 정보를 포함하는 백채널 정보를 입력받는 제 2 기능; 및
    상기 제 1 소정의 갯수를 가지는 다시점 부호화 스트림에 대해, 상기 백채널 정보에 따른 선택된 제 2 소정의 갯수의 다시점 부호화 스트림정보를 갖는 프레임 또는 필드단위로 다중화하는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0046518A 2002-08-07 2002-08-07 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 Expired - Fee Related KR100475060B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2002-0046518A KR100475060B1 (ko) 2002-08-07 2002-08-07 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US10/291,627 US7136415B2 (en) 2002-08-07 2002-11-12 Method and apparatus for multiplexing multi-view three-dimensional moving picture
EP02025282A EP1389020A1 (en) 2002-08-07 2002-11-12 Method and apparatus for multiplexing multi-view three-dimensional moving picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0046518A KR100475060B1 (ko) 2002-08-07 2002-08-07 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040013540A KR20040013540A (ko) 2004-02-14
KR100475060B1 true KR100475060B1 (ko) 2005-03-10

Family

ID=30439423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0046518A Expired - Fee Related KR100475060B1 (ko) 2002-08-07 2002-08-07 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Country Status (3)

Country Link
US (1) US7136415B2 (ko)
EP (1) EP1389020A1 (ko)
KR (1) KR100475060B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050361A1 (ko) * 2017-09-11 2019-03-14 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US7525576B2 (en) * 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
US7405719B2 (en) * 2003-05-01 2008-07-29 Genesis Microchip Inc. Using packet transfer for driving LCD panel driver electronics
US7733915B2 (en) * 2003-05-01 2010-06-08 Genesis Microchip Inc. Minimizing buffer requirements in a digital video system
US8059673B2 (en) 2003-05-01 2011-11-15 Genesis Microchip Inc. Dynamic resource re-allocation in a packet based video display interface
US8204076B2 (en) * 2003-05-01 2012-06-19 Genesis Microchip Inc. Compact packet based multimedia interface
US8068485B2 (en) * 2003-05-01 2011-11-29 Genesis Microchip Inc. Multimedia interface
US7567592B2 (en) 2003-05-01 2009-07-28 Genesis Microchip Inc. Packet based video display interface enumeration method
US7839860B2 (en) 2003-05-01 2010-11-23 Genesis Microchip Inc. Packet based video display interface
US7620062B2 (en) 2003-05-01 2009-11-17 Genesis Microchips Inc. Method of real time optimizing multimedia packet transmission rate
US7800623B2 (en) 2003-09-18 2010-09-21 Genesis Microchip Inc. Bypassing pixel clock generation and CRTC circuits in a graphics controller chip
US7634090B2 (en) 2003-09-26 2009-12-15 Genesis Microchip Inc. Packet based high definition high-bandwidth digital content protection
US7613300B2 (en) 2003-09-26 2009-11-03 Genesis Microchip Inc. Content-protected digital link over a single signal line
CN1938727A (zh) * 2004-02-27 2007-03-28 Td视觉有限公司 用于数字解码3d立体视频图像的方法和系统
WO2005083636A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de codificación digital de imágenes de video 3d estereoscópicas
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
KR100775871B1 (ko) * 2004-10-12 2007-11-13 한국전자통신연구원 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
KR100717681B1 (ko) * 2005-03-24 2007-05-11 주식회사 케이티프리텔 단일 주파수망에서의 암호화된 방송신호 송출 시스템 및 그방법
CN101167356B (zh) * 2005-03-24 2013-03-06 客得富移动通信股份有限公司 针对单频网络中各个发射机的条件接入系统及方法
KR101199498B1 (ko) 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
KR100785012B1 (ko) * 2005-04-11 2007-12-12 삼성전자주식회사 3ｄ 압축 데이터 생성, 복원 방법 및 그 장치
JP4757299B2 (ja) * 2005-04-11 2011-08-24 サムスン エレクトロニクス カンパニー リミテッド ３ｄ圧縮データの生成、復元方法及びその装置
KR100703715B1 (ko) * 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
KR100932977B1 (ko) 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 입체 영상 표시 장치
KR100913173B1 (ko) * 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
WO2007014255A2 (en) * 2005-07-26 2007-02-01 Ip Commerce Network payment framework
EP1750460A1 (en) * 2005-08-05 2007-02-07 Samsung SDI Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
CN1984295A (zh) * 2005-12-15 2007-06-20 皇家飞利浦电子股份有限公司 用于处理视频传输流的方法和处理单元
US8154585B2 (en) 2006-01-12 2012-04-10 Lg Electronics Inc. Processing multiview video
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
MX2008012382A (es) * 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
US8170108B2 (en) 2006-03-30 2012-05-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR101100212B1 (ko) * 2006-04-21 2011-12-28 엘지전자 주식회사 방송 신호 전송 방법, 방송 신호 재생 방법, 방송 신호전송 장치 및 방송 신호 수신 장치
WO2007148909A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
JP2009543461A (ja) * 2006-07-06 2009-12-03 トムソン ライセンシング マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
CN101611633B (zh) 2006-07-06 2012-10-03 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
CN101491096B (zh) 2006-07-12 2012-05-30 Lg电子株式会社 信号处理方法及其装置
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
JP4720785B2 (ja) * 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
US8355450B1 (en) * 2007-10-09 2013-01-15 Arris Solutions, Inc. Buffer delay reduction
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
US8400570B2 (en) * 2008-10-09 2013-03-19 Manufacturing Resources International, Inc. System and method for displaying multiple images/videos on a single display
CN102427534B (zh) 2009-01-19 2014-06-18 松下电器产业株式会社 编码方法和编码装置
WO2010087574A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
US8429440B2 (en) 2009-05-13 2013-04-23 Stmicroelectronics, Inc. Flat panel display driver method and system
US8760461B2 (en) 2009-05-13 2014-06-24 Stmicroelectronics, Inc. Device, system, and method for wide gamut color space support
US8156238B2 (en) 2009-05-13 2012-04-10 Stmicroelectronics, Inc. Wireless multimedia transport method and apparatus
US8860888B2 (en) 2009-05-13 2014-10-14 Stmicroelectronics, Inc. Method and apparatus for power saving during video blanking periods
US8582452B2 (en) 2009-05-18 2013-11-12 Stmicroelectronics, Inc. Data link configuration by a receiver in the absence of link training data
US8291207B2 (en) 2009-05-18 2012-10-16 Stmicroelectronics, Inc. Frequency and symbol locking using signal generated clock frequency and symbol identification
US8468285B2 (en) 2009-05-18 2013-06-18 Stmicroelectronics, Inc. Operation of video source and sink with toggled hot plug detection
US8370554B2 (en) 2009-05-18 2013-02-05 Stmicroelectronics, Inc. Operation of video source and sink with hot plug detection not asserted
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
US20110157302A1 (en) * 2009-12-30 2011-06-30 Ati Technologies Ulc Three-dimensional video display system with multi-stream sending/receiving operation
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
US8671234B2 (en) 2010-05-27 2014-03-11 Stmicroelectronics, Inc. Level shifting cable adaptor and chip system for use with dual-mode multi-media device
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) * 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
TW201205180A (en) * 2010-07-27 2012-02-01 Hon Hai Prec Ind Co Ltd Camera
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US8842974B2 (en) 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
US9078031B2 (en) 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
US8875204B2 (en) 2010-10-01 2014-10-28 Sony Corporation Information processor, information processing method and program
US8619124B2 (en) * 2010-10-14 2013-12-31 Industrial Technology Research Institute Video data processing systems and methods
US10424274B2 (en) 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
US9088835B2 (en) * 2010-12-17 2015-07-21 Thomson Licensing Method for adjusting depth or view of three-dimensional streaming video
CN102595111A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种多视角编码码流的传输方法、装置和系统
US9275482B1 (en) * 2011-04-01 2016-03-01 The Mathworks, Inc. Display selection based on data format recognition
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US8917358B2 (en) 2011-07-27 2014-12-23 Sony Corporation Reception apparatus, terminal apparatus, control method, program, and communication system
JP5860634B2 (ja) * 2011-08-23 2016-02-16 任天堂株式会社 情報処理システム、情報処理方法、サーバプログラム、サーバ装置、および、サーバシステム
KR20140004591A (ko) * 2012-07-02 2014-01-13 삼성전자주식회사 3차원 영상 데이터 스트림 생성 방법 및 장치, 3차원 영상 데이터 스트림 재생 방법 및 장치
US10033658B2 (en) * 2013-06-20 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for rate adaptation in motion picture experts group media transport
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
US10313037B2 (en) 2016-05-31 2019-06-04 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
WO2018031717A2 (en) 2016-08-10 2018-02-15 Manufacturing Resources International, Inc. Dynamic dimming led backlight for lcd array
WO2018068213A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频数据的处理方法及装置
CN106791764A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 一种实现视频编解码的方法和装置
CN106791776B (zh) * 2016-11-30 2019-04-30 努比亚技术有限公司 一种实现视频播放的方法和装置
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
KR102327160B1 (ko) 2017-09-11 2021-11-16 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
US10484714B2 (en) * 2017-09-27 2019-11-19 Intel Corporation Codec for multi-camera compression
DE102020100695A1 (de) * 2020-01-14 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Übertragung von Multi-View-Videodaten
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP1021037A3 (en) 1997-03-11 2000-08-23 Actv, Inc. A digital interactive system for providing full interactivity with live programming events
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
US6330281B1 (en) * 1999-08-06 2001-12-11 Richfx Ltd. Model-based view extrapolation for interactive virtual reality systems
GB2355612A (en) * 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR200232954Y1 (ko) 2001-03-16 2001-10-26 김영종 식탁을 구비한 냉장고
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050361A1 (ko) * 2017-09-11 2019-03-14 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR20190029095A (ko) * 2017-09-11 2019-03-20 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR102324702B1 (ko) * 2017-09-11 2021-11-10 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법

Also Published As

Publication number Publication date
US20040027452A1 (en) 2004-02-12
KR20040013540A (ko) 2004-02-14
US7136415B2 (en) 2006-11-14
EP1389020A1 (en) 2004-02-11

Similar Documents

Publication Publication Date Title
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100397511B1 (ko) 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100742674B1 (ko) 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치
KR20030056267A (ko) 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화장치와 복호화 장치 및 그 방법
KR101234495B1 (ko) 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR101750047B1 (ko) 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
JP2012010311A (ja) 送信装置、送信方法、受信装置、受信方法および送受信システム
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR20190065838A (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
WO2013089024A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
KR20080051041A (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
JP5091143B2 (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
JP2001069530A (ja) 立体映像高能率符号化装置
EP2312860A2 (en) Stereoscopic image providing method, apparatus and system
KR100763441B1 (ko) 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
JP3129784B2 (ja) 立体映像高能率符号化装置
CN103931200A (zh) Mvc立体视图与用于3dtv的左或右眼显示器的关联

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000

U15-X000 Partial renewal or maintenance fee paid modifying the ip right scope

St.27 status event code: A-4-4-U10-U15-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000

U15-X000 Partial renewal or maintenance fee paid modifying the ip right scope

St.27 status event code: A-4-4-U10-U15-oth-X000

FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180225

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180225