[go: up one dir, main page]

KR20120084252A - 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법 - Google Patents

복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법 Download PDF

Info

Publication number
KR20120084252A
KR20120084252A KR1020110128644A KR20110128644A KR20120084252A KR 20120084252 A KR20120084252 A KR 20120084252A KR 1020110128644 A KR1020110128644 A KR 1020110128644A KR 20110128644 A KR20110128644 A KR 20110128644A KR 20120084252 A KR20120084252 A KR 20120084252A
Authority
KR
South Korea
Prior art keywords
data
transport stream
real time
time transport
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020110128644A
Other languages
English (en)
Inventor
이재준
장문석
박홍석
주유성
김희진
이대종
장용석
김용태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN2012800060016A priority Critical patent/CN103329551A/zh
Priority to JP2013550392A priority patent/JP5977760B2/ja
Priority to US13/980,679 priority patent/US20130293677A1/en
Priority to BR112013018340A priority patent/BR112013018340A2/pt
Priority to PCT/KR2012/000271 priority patent/WO2012099359A2/ko
Priority to EP12737016.1A priority patent/EP2645727A4/en
Publication of KR20120084252A publication Critical patent/KR20120084252A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

수신 장치가 개시된다. 본 장치는, 제1 실시간 전송 스트림을 방송망을 통해 수신하는 제1 수신부, 제2 실시간 전송 스트림을 통신망을 통해 수신하는 제2 수신부, 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 지연(delay)시켜 동기화하는 지연 처리부, 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하는 제1 검출부, 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 제2 검출부, 제1 데이터 및 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 신호 처리부 및 멀티미디어 컨텐츠를 재생하는 재생부를 포함한다. 이에 따라, 안정적으로 멀티미디어 컨텐츠를 재생할 수 있다.

Description

복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법 { RECEIVER FOR RECEIVING A PLURALITY OF TRANSPORT STREAM, TRANSMITTER FOR TRANSMITTING EACH OF TRANSPORT STREAM, AND REPRODUCING METHOD THEREOF }
본 발명은 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법에 관한 것으로, 보다 구체적으로는, 하나의 멀티미디어 컨텐츠를 서로 다른 경로를 통해 송수신하는 수신 장치 및 송신 장치와 그 재생 방법에 대한 것이다.
전자 기술의 발달에 힘입어, 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 이들 전자 장치의 대표적인 예로 TV와 같은 수신 장치를 들 수 있다.
최근에는 TV의 성능이 좋아짐에 따라 3D 컨텐츠와 같은 멀티미디어 컨텐츠까지도 서비스되고 있다. 3D 컨텐츠는 좌안 영상 및 우안 영상을 포함하기 때문에, 기존의 2D 컨텐츠보다 컨텐츠의 사이즈가 크다.
하지만, 방송 망에서 사용되는 전송 대역 폭은 제한적이다. 단일 방송 망에서 3D 컨텐츠를 제공하기 위해서는 해상도를 줄여야 할 필요가 있으며, 이에 따라 화질이 열화된다는 문제점이 있었다.
이러한 문제점을 극복하기 위하여, 좌안 영상 및 우안 영상을 서로 다른 경로를 통해서 전송하고, 수신 장치에서 이를 조합하여 3D 컨텐츠를 재생하도록 하는 기술이 대두되었다. 이에 따라, 이러한 영상들 중 적어도 하나를 비 실시간으로 미리 다운로드받아서 재생하는 방법이 연구되었다.
하지만, 이러한 방법의 경우 미리 다운로드되는 컨텐츠의 보안이 문제될 수 있으며, 이를 저장하여야 하는 대용량 저장 장치를 추가하여야 한다는 어려움도 있었다. 또한, 생방송 환경에서는 비 실시간 데이터를 미리 다운로드받을 수 없기 때문에, 지연이 불가피하다는 문제점도 있었다.
따라서, 멀티미디어 컨텐츠가 수신 장치에서 효과적으로 재생될 수 있도록 하는 기술의 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 서로 다른 경로를 통해 전송되는 복수의 실시간 전송 스트림을 수신하여 멀티미디어 컨텐츠를 재생할 수 있는 수신 장치와 그 멀티미디어 컨텐츠 재생 방법 및 그 전송 스트림을 전송하는 송신 장치를 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 수신 장치는, 제1 실시간 전송 스트림을 방송망을 통해 수신하는 제1 수신부, 제2 실시간 전송 스트림을 통신망을 통해 수신하는 제2 수신부, 상기 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 딜레이(delay)시켜 동기화하는 지연 처리부, 상기 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하는 제1 검출부, 상기 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 제2 검출부, 상기 제1 데이터 및 상기 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 신호 처리부 및 상기 멀티미디어 컨텐츠를 재생하는 재생부를 포함한다.
여기서, 상기 제1 실시간 전송 스트림은 주소 정보를 포함하며, 상기 제2 수신부는 상기 주소 정보를 이용하여 상기 통신망 내의 서버로 액세스하여 상기 서버로부터 메타데이터 파일을 수신하고, 상기 메타데이터 파일을 이용하여 상기 제2 실시간 전송 스트림을 수신하며, 상기 메타데이터 파일은 상기 제2 실시간 전송 스트림의 소스에 대한 정보를 포함할 수 있다.
그리고, 상기 주소 정보는, 상기 제1 실시간 전송 스트림의 PMT 내의 리저브 영역, PMT 내의 descriptor 영역, 상기 제1 실시간 전송 스트림의 리저브 영역, 상기 제1 실시간 전송 스트림의 프라이빗 데이터 영역, 상기 제1 실시간 전송 스트림의 PES 내의 리저브 영역, 상기 제1 실시간 전송 스트림의 PES 내의 프라이빗 데이터 영역, ES 헤더 내의 유저 영역, ES 헤더 내의 프라이빗 영역, H.264규격인 경우 SEI 중 적어도 하나에 기록될 수 있다.
또한, 상기 제2 데이터는, 상기 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛을 포함할 수 있다.
여기서, 상기 제1 데이터 및 상기 제2 데이터 중 하나는 좌안 영상을 포함하고, 다른 하나는 우안 영상을 포함하며, 상기 멀티미디어 컨텐츠는 3D 컨텐츠일 수 있다.
또한, 상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고, 상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며, 상기 제1 및 제2 동기화 정보는 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 중 적어도 하나를 포함할 수 있다.
그리고, 본 수신 장치는, 상기 제1 및 제2 동기화 정보를 이용하여 상기 제1 데이터에 포함된 각 프레임의 타임 스탬프 및 상기 제2 데이터에 포함된 각 프레임의 타임 스탬프 중 적어도 하나를 보정하고, 보정된 타임 스탬프에 따라 상기 제1 및 제2 데이터의 각 프레임을 조합하여 상기 멀티미디어 컨텐츠를 구성하도록 상기 신호 처리부를 제어하는 제어부를 더 포함할 수도 있다.
상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고, 상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며, 상기 제1 및 제2 동기화 정보는 영상 프레임의 타임 코드 정보일 수 있다.
한편, 본 발명의 일 실시 예에 따른 송신 장치는, 제1 데이터 및 제1 동기화 정보를 포함하는 제1 실시간 전송 스트림을 구성하는 스트림 구성부, 상기 제1 실시간 전송 스트림을 출력하는 출력부 및 제2 실시간 전송 스트림을 출력하는 타 송신 장치의 출력 타이밍에 맞추어 상기 제1 실시간 전송 스트림의 출력 타이밍을 딜레이시키도록 상기 출력부를 제어하는 제어부를 포함한다. 그리고, 상기 제2 실시간 전송 스트림은 제2 데이터 및 제2 동기화 정보를 포함하고, 상기 제1 및 제2 데이터는 하나의 멀티미디어 컨텐츠를 구성하기 위한 데이터이며, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는 상기 제1 데이터 및 상기 제2 데이터의 동기화를 위하여 전송되는 정보일 수 있다.
또는, 송신 장치는, 제1 데이터 및 주소 정보를 포함하는 제1 실시간 전송 스트림을 구성하는 스트림 구성부 및 상기 제1 실시간 전송 스트림을 출력하는 출력부를 포함하며, 상기 주소 정보는, 상기 제1 데이터와 함께 멀티미디어 컨텐츠를 구성하는 제2 데이터를 통신망에서 획득할 수 있는 메타데이터 파일에 대한 주소 정보가 될 수 있다.
한편, 본 발명의 일 실시 예에 따른 수신 장치의 멀티미디어 컨텐츠 재생 방법은, 제1 실시간 전송 스트림을 방송망을 통해 수신하는 단계, 제2 실시간 전송 스트림을 통신망을 통해 수신하는 단계, 상기 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 딜레이(delay)시켜 동기화하는 단계, 상기 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하고, 상기 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 단계, 상기 제1 데이터 및 상기 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 단계 및 상기 멀티미디어 컨텐츠를 재생하는 단계를 포함한다.
그리고, 상기 제2 실시간 전송 스트림을 통신망을 통해 수신하는 단계는, 상기 제1 실시간 전송 스트림에 포함된 주소 정보를 검출하는 단계, 상기 주소 정보를 이용하여 상기 통신망 내의 서버로 액세스하여 상기 서버로부터 메타데이터 파일을 수신하는 단계 및 상기 메타데이터 파일을 이용하여 상기 제2 실시간 전송 스트림의 소스에 액세스하여, 상기 제2 실시간 전송 스트림을 수신하는 단계를 포함한다.
그리고, 상기 제1 데이터 및 상기 제2 데이터 중 하나는 좌안 영상을 포함하고, 다른 하나는 우안 영상을 포함하며, 상기 멀티미디어 컨텐츠는 3D 컨텐츠일 수 있다.
또한, 상기 제2 데이터는, 상기 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛을 포함할 수 있다.
그리고, 상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고, 상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며, 상기 제1 및 제2 동기화 정보는 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 중 적어도 하나를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예들에 따르면, 실시간 전송 스트림을 복수의 서로 다른 경로를 통해 수신하고 동기화시켜서 고품질의 멀티미디어 컨텐츠를 재생할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 송수신 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 도면,
도 3은 수신 장치에서 전송 스트림을 동기화시켜 재생하는 과정을 설명하기 위한 도면,
도 4는 지연시간을 최소화시키면서 동기화시키는 과정을 설명하기 위한 도면,
도 5는 방송망 및 통신망을 통해서 복수의 실시간 전송 스트림을 전송받는 동작을 설명하기 위한 도면,
도 6 내지 9는 HTTP 방식에서 주소 정보를 전달하는 방법을 설명하기 위한 도면,
도 10은 MPD 파일을 포함하는 HTTP 스트림의 구성을 나타내는 도면,
도 11은 동기화 정보를 포함하는 HTTP 스트림의 구성을 나타내는 도면,
도 12는 멀티미디어 컨텐츠를 복수의 스트림으로 구분하여 전송하는 송신 과정을 설명하기 위한 도면,
도 13은 멀티미디어 컨텐츠 송수신 시스템에서에서의 전송 스트림 획득 과정을 설명하기 위한 도면
도 14는 동기화 정보가 PMT에 포함된 스트림의 구성을 나타내는 도면,
도 15는 동기화 정보가 기록된 PMT의 구성을 나타내는 도면,
도 16은 TS 어댑테이션 필드를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 17은 PES 헤더를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 18은 EIT를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 19는 프라이빗 스트림을 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 20은 PMT를 이용한 프레임 인덱스 전달 방법을 설명하기 위한 도면,
도 21은 프라이빗 스트림을 이용한 프레임 인덱스 전달 방법을 설명하기 위한 도면,
도 22는 타임 코드가 각각 부여된 복수의 전송 스트림을 나타내는 도면,
도 23 내지 도 26은 각종 동기화 정보의 전송 방법의 다양한 예를 나타내는 도면,
도 27 내지 도 29는 본 발명의 다양한 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도,
도 30은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 방법을 설명하기 위한 흐름도, 그리고,
도 31은 제1 실시간 전송 스트림에 포함된 주소 정보를 이용하여 제2 실시간 전송 스트림을 획득하는 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 송수신 시스템의 구성을 나타낸다. 도 1에 따르면, 멀티미디어 컨텐츠 재생 시스템은 복수의 송신장치(200-1, 200-2)와, 수신 장치(100)를 포함한다.
송신 장치 1, 2(200-1, 200-2)는 서로 다른 신호를 서로 다른 경로로 전송한다. 도 1의 경우를 예로 들면, 송신 장치 1(200-1)은 방송망을 통해서 제1 신호를 전송하고, 송신 장치 2(200-2)는 통신망(10)를 통해서 제2 신호를 전송한다.
제1 신호 및 제2 신호는 하나의 멀티미디어 컨텐츠를 구성하는 서로 다른 데이터를 각각 포함하는 실시간 전송 스트림으로 구성될 수 있다. 예를 들어, 3D 컨텐츠의 경우에는 좌안 영상 또는 우안 영상이 제1 실시간 전송 스트림에 포함되어 방송망을 통해 전송되고, 다른 영상이 제2 실시간 전송 스트림에 포함되어 통신 망을 통해 전송될 수 있다. 제1 신호에 포함되는 제1 데이터와, 제2 신호에 포함되는 제2 데이터는 좌안 영상 및 우안 영상 이외에도 다양한 종류의 데이터로 구현될 수 있다. 가령, 비디오 데이터 및 오디오 데이터로 구분되거나, 동영상 데이터 및 자막 데이터, 기타 데이터 등으로 구분되어 각각 제1 및 제2 실시간 전송 스트림으로 전송될 수 있다.
수신 장치(100)는 송신 장치 1, 2로부터 각각 송신되는 실시간 전송 스트림을 수신하여 버퍼링한다. 이 과정에서 적어도 하나의 실시간 전송 스트림을 지연시켜, 서로를 동기화시킨다.
한편, 통신망(10)을 통해 전송되는 제2 실시간 전송 스트림은 RTP(Real Time Protocol)나, HTTP (Hypertext Transfer Protocol) 등과 같은 다양한 스트리밍 방식을 이용하여 스트리밍될 수 있다. 제2 실시간 전송 스트림의 획득 방법에 대해서는 후술하는 부분에서 설명한다.
또한, 제1 실시간 전송 스트림에는 제1 데이터와 함께 제1 동기화 정보가 포함되고, 제2 실시간 전송 스트림에는 제2 데이터와 함께 제2 동기화 정보가 포함된다.
제1 및 제2 동기화 정보로는 다양한 정보가 사용될 수 있다. 구체적으로는, 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 동기화 정보로 사용될 수 있다.
MPEG 규격에 따르면, 방송 데이터를 전송하는 전송 스트림에는 PCR(Program Clock Reference) 및 PTS(Presentation Time Stamp) 등이 포함된다. PCR이란 MPEG 규격에 따르는 수신 장치(셋톱박스나 TV 등)에서 시각 기준을 송신기 측에 맞추도록 하는 참조 시간 정보를 의미한다. 수신장치에서는 PCR에 따라서 STC(System Time Clock)의 값을 맞추게 된다. PTS는 MPEG 규격에 따른 방송 시스템에서 영상 및 음성의 동기화를 위한 재생 시각을 알려주는 타임 스탬프를 의미한다. 본 명세서에서는 타임 스탬프라고 명명한다. 서로 다른 신호가 서로 다른 송신 장치(100-1, 100-2)에서 전송되는 경우에는, 송신 장치(100-1, 100-2)의 특성에 따라 PCR이 다를 수 있다. 그렇기 때문에, PCR에 맞춘 타임 스탬프에 따라 재생을 하더라도, 동기화가 이루어지지 않을 수 있다. 이러한 점을 고려하여, 본 시스템에서 서로 다른 경로를 통해 전송되는 각 실시간 전송 스트림에 동기화 정보를 포함시키고, 수신 장치(200)는 그 동기화 정보를 이용하여 각 전송 스트림에 포함된 이미지 프레임의 타임 스탬프를 보정하거나, 동기화 정보를 직접 비교하여 동기화 재생할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 수신 장치(100)는 제1 수신부(110), 제2 수신부(120), 지연 처리부(130), 제1 검출부(140), 제2 검출부(150), 신호 처리부(160), 재생부(170) 및 제어부(180)를 포함한다.
제1 수신부(110)는 방송 망을 통해서 전송되는 제1 실시간 전송 스트림을 수신한다. 제1 수신부(110)는 안테나, 튜너부, 복조부, 등화부 등을 포함하는 형태로 구현될 수 있다.
제2 수신부(120)는 통신 망을 통해서 외부 소스에 액세스하여 제2 실시간 전송 스트림을 수신한다. 제2 수신부(120)는 네트워크 인터페이스 카드 등을 포함할 수 있다.
지연 처리부(130)는 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 지연(delay)시켜 서로 동기화시킨다. 지연 처리부(130)는 PVR(personal video recorder), 타임 쉬프트, 메모리 버퍼링 등과 같은 다양한 방식을 이용하여 전송 스트림을 지연시킬 수 있다.
메모리 버퍼링을 이용하는 경우, 지연 처리부(130)가 수신 장치(100)내에 별도로 마련된 버퍼 또는 지연 처리부(130) 자체에 마련된 버퍼를 이용하여 스트림을 지연시킬 수 있다. 가령, 제1 실시간 전송 스트림이 먼저 수신되고 제2 실시간 전송 스트림이 미수신되고 있으면, 지연 처리부(130)는 제1 실시간 전송 스트림을 버퍼에 저장하여 지연시킨다. 이러한 상태에서 제2 실시간 전송 스트림이 수신되면 지연된 제1 실시간 전송 스트림을 버퍼로부터 독출하여 제2 실시간 전송 스트림과 함께 제1 및 제2 검출부로 함께 제공한다.
지연 처리부(130)는 각 스트림을 분석하여 제1 및 제2 실시간 전송 스트림이 제1 및 제2 검출부(140, 150)로 각각 제공되는 타이밍을 맞출 수 있다. 즉, 지연 처리부(130)는 제1 실시간 전송 스트림과 제2 실시간 전송 스트림 중 적어도 하나에 대하여 어느 정도 딜레이를 줄 것인지 여부를 판단하기 위하여 스트림을 분석할 수 있다. 일 예로, 지연 처리부(130)는 각 스트림의 컨텐츠 스타트 정보, 타임 스탬프 차이값과, 타임 스탬프 등과 같은 정보를 이용하여, 제1 실시간 전송 스트림과 제2 실시간 전송 스트림 내에서 서로 동기화되어야 하는 부분을 확인할 수 있다. 또는, 지연 처리부(130)는 두 스트림들의 프레임 인덱스나 타임 코드 등과 같은 정보를 비교하여, 서로 동기화되어야 하는 부분을 확인할 수 있다.
지연 처리부(130)는 확인된 부분이 제1 및 제2 검출부(140, 150)로 제공되는 타이밍이 서로 매칭될 수 있도록 딜레이 상태를 조정한다.
컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스, 타임 코드 등과 같은 정보는 동기화 정보로 각 스트림에 포함되어 수신되거나 별도의 프라이빗 스트림 형태로 수신될 수 있다. 지연 처리부(130)는 이러한 동기화 정보를 이용하여 딜레이 정도를 결정하고, 그에 따라 딜레이시킬 수 있다.
제1 검출부(140)는 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하고, 제2 검출부(150)는 제2 실시간 전송 스트림으로부터 제2 데이터를 검출한 후, 각각 제1 및 제2 데이터를 신호 처리부(160)로 제공한다.
신호 처리부(160)는 제1 데이터 및 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성한다. 구체적으로는, 제1 데이터가 비디오 데이터이고, 제2 데이터가 오디오 데이터인 경우에는 신호 처리부(160)는 각 데이터를 디코딩한 후 재생부(170) 내의 디스플레이 유닛 및 스피커로 각각 제공한다. 이에 따라, 두 데이터가 동일한 타이밍에 출력되도록 한다.
또는, 제1 데이터가 좌안 영상이고, 제2 데이터가 우안 영상인 경우에는 신호 처리부(160)는 3D 디스플레이 방식에 따라 다양하게 데이터를 처리할 수 있다. 즉, 편광 방식의 경우에는, 신호 처리부(160)는 동기화된 좌안 영상의 일부 및 우안 영상의 일부를 교번적으로 배열하여 하나 또는 두 개의 프레임으로 구성할 수 있다. 이에 따라 렌티큘러 렌즈 또는 패러랙스 배리어가 부가된 디스플레이 패널을 통해 해당 프레임을 출력할 수 있다. 반면, 셔터 글래스 방식의 경우에는, 신호 처리부(160)는 동기화된 좌안 영상 및 우안 영상을 교번적으로 배치하여 디스플레이 패널을 통해 순차적으로 디스플레이할 수 있다.
재생부(170)는 신호처리부(160)에서 처리된 멀티미디어 컨텐츠를 재생한다. 재생부(170)는 수신 장치(100)의 종류에 따라서 디스플레이 유닛 및 스피커 중 적어도 하나를 포함할 수 있고, 외부 디스플레이 장치와 연결되는 인터페이스부로 구현될 수도 있다.
제어부(180)는 지연 처리부(130)를 제어하여 먼저 수신된 스트림을 지연시킬 수 있다. 또한, 제어부(180)는 제1 데이터 및 제2 데이터를 조합하여 멀티미디어 컨텐츠를 재생하는 동작을 수행하도록 신호 처리부(160)를 제어할 수도 있다.
특히, 제1 및 제2 실시간 전송 스트림에 각각 동기화 정보가 포함되어 있는 경우, 제어부(180)는 각 동기화 정보를 이용하여 제1 데이터에 포함된 각 프레임의 타임 스탬프 및 상기 제2 데이터에 포함된 각 프레임의 타임 스탬프 중 적어도 하나를 보정하고, 보정된 타임 스탬프에 따라 제1 및 제2 데이터의 각 프레임을 조합하여 멀티미디어 컨텐츠를 구성하도록 신호 처리부(160)를 제어할 수도 있다.
실시 예에 따라서는, 타임 스탬프를 보정하지 않고 타임 코드 또는 프레임 인덱스를 직접 비교하여 동일한 프레임들이 함께 재생 처리되도록 신호 처리부(160)를 제어할 수도 있다.
그 밖에, 제어부(180)는 수신 장치(100)에 포함된 각 구성요소들의 동작을 제어할 수 있다.
제1 및 제2 실시간 전송 스트림에 포함된 동기화 정보를 이용하여 서로 대응되는 프레임이 동기화 재생되도록 하는 동기화 작업은 신호처리부(160)나 제어부(180)에 의해 수행될 수 있다.
도 3은 도 2의 수신 장치에서 복수의 실시간 전송 스트림 중 하나를 지연시켜 동기화를 맞추는 과정을 설명하는 도면이다. 도 3에 따르면, 송신 장치 1(200-1)에서는 방송망을 통해 실시간 전송 스트림을 전송하고, 송신 장치 2(200-2)에서는 통신망을 통해서 실시간 전송 스트림을 전송한다. 송신 시점 자체가 동일하다고 하더라도, 방송망과 통신망 간의 환경 차이로 인하여 둘 중 하나가 먼저 도달할 수 있다. 도 3에서는 방송망을 통해 전송된 제1 실시간 전송 스트림을 2 프레임 정도 지연시킨 후, 제2 실시간 전송 스트림과 동기화시키는 것을 도시하였다. 이에 따라 2 프레임 정도 지연된 3D 영상이 재생된다.
도 4는 지연 시간을 감소시키는 다른 실시 예에 대하여 설명하기 위한 도면이다. 도 4에 따르면, 제2 실시간 전송 스트림을 전송하는 송신 장치 2(200-2)에서는 전송할 영상을 다양한 크기의 액세스 유닛으로 분할하고, 그 중 가장 작은 크기의 영상을 우선적으로 전송하여 지연 시간을 줄이고, 점차 통신 상태를 고려하여 전송할 영상의 화질을 향상시킨다. 도 4에서는 1번째 프레임으로는 SD 급 프레임을 전송하고, 두번째 프레임부터 HD 급 프레임을 전송하는 것으로 도시되었다. 도 3과 비교하면 1 프레임 정도 지연 시간이 줄어듬을 알 수 있다.
영상의 해상도와 같은 사이즈는 통신 망의 상태에 따라 달라질 수 있다. 즉, 통신 대역폭이 부족하거나 통신 속도가 늦은 경우, 지연 시간을 최소화하기 위하여 도 4와 같이 가장 작은 해상도의 데이터부터 전송한 후, 차차 해상도를 증대시킬 수 있다. 이와 같이, 제2 실시간 전송 스트림에는, 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛이 포함된다. 영상 데이터 뿐만 아니라 오디오 데이터인 경우에도 통신 망의 상태에 따라 데이터의 사이즈를 상이하게 결정하여 전송할 수 있다. 이에 따라, 수신 장치(100)는 복수의 실시간 전송 스트림의 지연 시간을 최소화하면서, 동기화를 수행할 수 있다.
한편, 상술한 바와 같이 제2 실시간 전송 스트림은 RTP나 HTTP와 같은 프로토콜을 이용하여 송수신될 수 있다.
HTTP를 이용하는 경우에는, 제2 실시간 전송 스트림을 획득하기 위해서 메타데이터 파일이 제공되어야 한다.
HTTP를 이용한 스트리밍은 클라이언트의 처리에 의존하여 서버의 부담을 최소화시키는 스트리밍 방식이다. 제2 수신부(120)는 HTTP의 파일 전송 요청 또는 파일 일부 전송 요청을 사용하여 스트리밍을 달성한다. 송신측에서는 망의 전송률 변화에 적응적으로 대응하기 위해서는 하나의 컨텐츠에 대해서 여러 가지 전송률로 압축된 파일들을 서버에 올려두어야 한다. 또한, 이러한 망의 상태 변화에 신속하게 대응하기 위해서는 전체 컨텐츠 파일을 복수 개로 분리하여 파일로 저장하여 두어야 한다. 송신 측에서는 이러한 분리된 복수의 파일들을 어떻게 순차적으로 가져와서 멀티미디어 컨텐츠를 재생할 것인지를 알려주기 위한 메타데이터를 수신 측으로 제공하여야 한다.
메타데이터는 멀티미디어 컨텐츠를 어디서 수신할 수 있는지를 알려주기 위한 정보이다. 메타 데이터 파일은 HTTP 기반 스트리밍의 종류에 따라 다양하게 구분될 수 있다.
즉, 스무스 스트리밍(smooth streaming) 방식의 경우, ism(Internet Information Service(IIS) Smooth streaming Media) 파일이 메타데이터 파일로 사용된다.
IETF(Internet Engineering Task Force) HTTP 라이브 스트리밍(live streaming) 방식의 경우에는 m3v8 파일이 메타데이터 파일로 사용되고, 3GPP에서 채용된 적응적(adaptive) HTTP 스트리밍 Rel. 9나, OIPF에서 채용된 적응적(adaptive) HTTP 스트리밍 Rel. 2, MPEG에서 채용된 Dynamic adaptive streaming over HTTP 방식의 경우에는 MPD(Media Presentation Description)이 메타데이터 파일로 사용될 수 있다.
메타데이터 파일에는 복수의 분리된 각 파일들에 상응하는 컨텐츠 시간 상의 위치, 해당 파일을 제공할 소스의 URL, 크기 등 클라이언트가 미리 알아야할 정보등이 들어 있을 수 있다.
본 발명의 일 실시 예에 따르면, 메타데이터 파일을 획득할 수 있는 소스에 대한 주소 정보는 제1 실시간 전송 스트림에 포함되어 있을 수 있다.
한편, RTP를 이용하는 경우에는 메타 데이터를 수신하는 과정이나 메타 데이터 정보를 이용하여 스트림을 요청하는 과정은 생략된다. 하지만, 일부 스트림을 지연 처리하는 작업 및 동기화 정보를 이용하여 동기화 시키는 작업 등은 RTP를 이용하는 실시 예에서도 그대로 적용될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 메타데이터 파일 제공 방법을 설명하기 위한 도면이다. 도 5에 따르면, 송신 장치 1(200-1)은 주소 정보를 포함하는 제1 실시간 전송 스트림(TS)을 방송망을 통해 전송한다.
수신 장치(100)는 주소 정보를 검출하여, 메타데이터 파일을 제공할 서버에 대한 정보를 확인한다. 도 2의 구성을 가진 수신 장치(100)로 구현된 경우, 제1 검출부(140)가 주소 정보를 검출하여 제2 수신부(120)로 제공하여 줄 수 있다.
제2 수신부(120)는 주소 정보를 이용하여 통신망 내의 서버(200-3)로 액세스한다. 서버(200-3)는 제2 수신부(120)의 요청에 따라 메타데이터 파일을 전송한다. 제2 수신부(120)는 메타데이터 파일을 이용하여 제2 실시간 전송 스트림의 소스(200-2)로 액세스하여, 제2 실시간 전송 스트림의 전송을 요청하여, 수신한다. 상술한 바와 같이 메타데이터 파일은 상기 제2 실시간 전송 스트림의 소스에 대한 정보를 포함한다.
주소 정보는, 제1 실시간 전송 스트림 내에서 다양한 영역에 포함되어 전송될 수 있다. DASH (Dynamic Adaptive Streaming over HTTP) 방식의 경우, 주소 정보는 Hybrid3DURL 또는 Hybrid3DMetaURL와 같은 URL 정보가 될 수 있다. 이러한 주소 정보는 제1 실시간 전송 스트림 내의 다양한 구간에 기록되어 전송될 수도 있다.
도 6 내지 도 9는 제1 실시간 전송 스트림 내의 다양한 영역을 이용하여 주소 정보가 전송될 수 있는 예들을 나타낸다.
도 6에 따르면, 주소 정보는 PMT 내의 리저브 영역 또는 descriptor 영역에 기록될 수 있다.
또는 도 7에 따르면, 주소 정보는 제1 실시간 전송 스트림의 리저브 영역 또는 제1 실시간 전송 스트림의 프라이빗 데이터 영역에 기록될 수 있다.
또는 도 8에 따르면, 주소 정보는 ES 헤더 내의 유저(user_data) 영역 또는 프라이빗 영역에 기록될 수 있다.
또는 도 9에 따르면, 주소 정보는 제1 실시간 전송 스트림의 PES(Program Elementary Stream) 내의 리저브 영역 또는 프라이빗 데이터 영역에 기록될 수 있다.
그 밖에, H.264규격인 경우 주소 정보는 SEI (Supplemental enhancement information)중 적어도 하나에 기록될 수 있다.
이러한 주소 정보는 메타데이터 파일을 획득할 수 있는 소스, 즉, 서버에 대한 주소 정보를 의미한다.
수신 장치(100)는 제1 실시간 전송 스트림에 포함된 주소 정보를 이용하여 해당 소스에 액세스하고, 해당 소스로부터 메타데이터 파일을 수신한다. 이와 같이, 메타데이터 파일을 관리하는 별도 서버를 이용하게 되면, 메타데이터 파일을 용이하게 업데이트할 수 있게 된다.
메타데이터 파일은 기본적으로 PID(Packet Identifier) 정보를 포함할 수 있다. 그 밖에, 다른 채널간 연동 서비스를 위해 제공하는 각종 링크 정보들이 포함될 수 있다. 이러한 링크 정보로는 해당 채널과 연결된 3D 부가 영상 서비스의 원 네트워크 ID인 link_original_network_id, 3D 영상 서비스 채널 또는 부가 영상 서비스를 제공해주는 무선 주파수 값인 linked_carrier_frequency, 해당 채널과 연결된 3D 부가 영상 서비스를 제공해주는 논리 채널 수인 link_logical_channel_number, 전송 스트림을 네트워크 상에서 구별하기 위한 식별자인 link_transport_stream_id, 전송 스트림 내에서 서비스를 구별하기 위한 식별자인 link_service_id, url 정보가 있음을 알려주는 식별자인 link_url_indicator, 해당 컨텐츠의 3D 부가 영상 및 정보를 제공해주는 url 주소인 link_source_URL, 다운로드 및 NRT 서비스의 경우 linking 서비스가 제공되는 시간인 link_service-start_time 등이 있을 수 있다.
그 밖에, 메타데이터 파일에는 제공되는 방송 스트림의 변조(modulation) 정보도 포함될 수 있다. 변조 정보로는 SCTE_mode_1:64-QAM, SCTE_mode_2:256-QAM, ATSC(8VSB), AVSB(16VSB) 등이 있을 수 있다.
한편, 상술한 바와 같이, 통신망을 통해 제2 실시간 전송 스트림이 전송되면 수신 장치(100)는 이를 바로 재생하지 않고, 제1 실시간 전송 스트림과 함께 동기화시켜 재생하여야 한다. 따라서, 제2 실시간 전송 스트림에 포함된 제2 데이터의 재생 시간을 조정할 수 있는 정보를 필요로 한다. 이러한 정보는 메타데이터 파일에 추가될 수 있다. 구체적으로는, 동기화 재생이 필요한 컨텐츠임을 지시하는 linkedContents, 동기화 재생 이전 시점에 스트리밍 채널을 통한 컨텐츠 요청이 불가하도록 지시하는 playableRestriction, 정확한 재생 시작 시간을 제공하거나 스타트 타임 오프셋을 제공하는 designatedPlayTime과 같은 정보를 메타데이터 파일에 추가하여 전송할 수 있다.
여기서 designatedPlayTime은 UTC(Coordinated Universal Time) 포맷을 따른다. 수신 장치(100)에서는 designatedPlayTime에 의해 획득한 재생 시작 시간 이전까지는 제2 데이터의 재생을 제한하고, 동기화 재생을 위한 동기화 정보 등을 이용하여 동기화 재생을 수행한다.
한편, 메타데이터 파일에는 동기화 정보가 추가될 수도 있다. 이러한 정보는 period 레벨의 요소로 추가될 수 있다. 동기화 정보로는 startPTS, PTSdiff, 프레임 인덱스 등이 있을 수 있다.
startPTS란 멀티미디어 컨텐츠가 시작되는 지점의 타임 스탬프를 나타낸다. startPTS는 멀티미디어 컨텐츠의 시작점을 나타내는 정보라는 점에서 컨텐츠 스타트 정보로 불릴 수도 있다. PTSdiff란 제1 실시간 전송 스트림의 각 프레임에 부여된 타임 스탬프와, 제2 실시간 전송 스트림의 각 프레임에 부여된 타임 스탬프 간의 차이값을 나타낸다.
프레임 인덱스란 제2 실시간 전송 스트림 내의 각 이미지 프레임의 인덱스를 나타낸다. 여러 개의 period로 나뉘어져 있을 경우 각 페리오드의 시작 지점의 프레임 인덱스를 나타낸다. 또한, 인덱스의 기준은 스트리밍 파일의 가장 첫번째 프레임이 인덱스=1이 된다. 이 후 순차적으로 프레임 인덱스를 부여한다. 이러한 인덱스 정보는 제1 실시간 전송 스트림에서 전송되는 이미지 프레임의 프레임 인덱스와 일치하게 설정된다.
도 10은 프레임 인덱스 정보를 포함하는 MPD 파일의 표기 방식의 일 예를 나타낸다. 도 10에 따르면, MPD 파일에는 프레임 인덱스 정보가 표기된다. 서로 다른 경로를 통해 서로 다른 신호가 수신되는 경우, 그 신호 처리 및 송신 과정에서의 시간 차이로 인하여 동일 컨텐츠를 구현하기 위한 데이터들의 타임 스탬프가 서로 달라질 수 있다. 이 때, 프레임 인덱스 정보가 알려지면, 수신 장치(100)는 제1 데이터 및 제2 데이터에서 동일한 프레임 인덱스를 가지는 프레임들의 타임 스탬프를 동일한 값으로 보정하거나, 프레임 인덱스 자체를 비교하여 동일하면 함께 재생하여 동기화를 수행할 수 있다.
도 11은 동기화 정보를 세그먼트 단위로 구분하여 전송하는 HTTP 스트리밍의 구조를 나타낸다. 도 11에 따르면, 송신 장치(200-3)은 MPD와 함께 동기화 정보를 제공하여 줄 수 있다. 상술한 바와 같이 동기화 정보는 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 등을 포함할 수 있다.
이상과 같은 동기화 정보는 제1 실시간 전송 스트림, 제2 실시간 전송 스트림에도 각각 포함되어 전송될 수 있으나, 메타데이터 파일에 포함될 경우 제2 실시간 전송 스트림이 전송되기 전에 미리 동기화 시점을 알 수 있게 된다.
이상과 같이 제1 실시간 전송 스트림 및 제2 실시간 전송 스트림에 각각 포함되는 제1 데이터 및 제2 데이터는 함께 처리되어 하나의 멀티미디어 컨텐츠를 구성한다. 따라서, 제1 및 제2 데이터는 함께 제작되는 것이 바람직하다.
도 12는 제1 및 제2 데이터를 함께 제작하여 두 개의 서로 다른 경로를 통해 전송하는 송신 과정을 설명하기 위한 도면이다. 도 12에 따르면, 하나의 카메라(310)에서 촬영된 멀티미디어 컨텐츠를 제1 데이터 및 제2 데이터로 분리한다. 분리된 데이터들은 부호화기(320)에 의해 각각 부호화된 후, 서로 다른 송신 장치(200-1, 200-2)로 각각 제공된다. 즉, 기준 영상에 해당하는 제1 데이터는 부호화기(320)에서 부호화된 후 송신 장치 1(200-1)로 제공된다. 송신 장치 1(200-1)은 해당 데이터를 전송 스트림으로 변환하여 RF 신호 형태로 방송망을 통해 브로드캐스팅한다.
부가 영상에 해당하는 제2 데이터는 액세스 유닛 단위로 분리되어 인코딩된 후, 송신 장치 2(200-2)에 제공된다. 송신 장치 2(200-2)는 해당 데이터를 버퍼링하여, 통신망을 통해 수신 장치(100) 측으로 전송한다. 송신 장치 2(200-2)는 컨텐츠 제공 서버(Contents provide server)로 불릴 수도 있다. 송신 장치 2(200-2)는 부호화기(320)로부터 제공되는 데이터를 버퍼 사이즈만큼 저장한다. 그리고, 수신 장치(100)의 요청이 있으면 요청된 데이터를 수신 장치(100)로 제공한다.
도 12에서는 하나의 부호화기(320)가 도시되었으나, 부호화기(320)의 개수는 데이터 개수만큼 복수개로 구현될 수도 있다.
도 13은 제1 및 제2 데이터의 송수신 과정을 설명하기 위한 도면이다. 도 13에 따르면, 제1 데이터를 포함하는 제1 실시간 전송 스트림은 송신 장치 1(200-1)에 의해 브로드캐스팅되어 수신 장치(100)로 전송된다. 수신 장치(100)는 제1 실시간 전송 스트림에 포함된 주소 정보를 검출한 후, 해당 주소 정보를 이용하여 메타데이터 파일을 획득한다. 수신장치(100)는 메타데이터 파일을 이용하여 송신 장치 2(200-2)에 액세스하여 제2 데이터를 요청한다.
송신 장치 2(200-2)는 요청에 따라 제2 데이터를 포함하는 제2 실시간 전송 스트림을 수신 장치(100)로 전송한다. 제2 데이터는, 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛을 포함한다. 즉, 송신 장치 2(200-2)는 통신 망의 상태, 구체적으로는, 통신 대역 폭이나 통신 속도 등을 고려하여 제2 데이터의 사이즈를 적응적으로 결정한다.
제2 데이터가 비디오 데이터인 경우, 버퍼에 저장되어 있는 영상의 해상도를 통신 대역 폭을 고려하여 결정할 수 있다. 즉, 수신 장치(100) 및 송신 장치 2(200-2) 사이에서 요청 등을 송수신하는 과정에서 통신 대역 폭을 측정할 수 있다. 송신 장치 2(200-2)는 측정된 대역폭을 고려하여 망 상태에 최적화되어 있는 영상(가령, SD 급 또는 HD 급 영상)을 선택하여 수신 장치(100)로 전송한다. 이에 따라 지연를 최소화시킬 수 있다.
한편, 상술한 바와 같이 제1 및 제2 실시간 전송 스트림에는 데이터와 함께 동기화 정보가 포함될 수 있다. 상술한 바와 같이, 동기화 정보에는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 있을 수 있다.
컨텐츠 스타트 정보가 동기화 정보로 사용되는 실시 예에서는, 수신 장치(100)는 그 정보를 이용하여 멀티미디어 컨텐츠의 시작 시점을 파악한다. 수신 장치(100)가 도 2와 같이 구현되는 경우, 신호 처리부(160)가 이러한 동작을 수행할 수 있다.
신호 처리부(160)는 제1 데이터에 포함된 프레임의 타임 스탬프와 제2 데이터에 포함된 프레임의 타임 스탬프를 시작 시점과 각각 비교한다. 비교 결과에 따라, 각 데이터들의 프레임 인덱스를 추출할 수 있으며, 추출된 프레임 인덱스를 이용하여 동기화를 수행한다.
즉, 제1 신호의 L2 프레임의 타임 스탬프와 제2 신호의 R2 프레임의 타임 스탬프가 서로 다르더라도 제1 신호 및 제2 신호가 구성하는 컨텐츠의 시작 시점과 L2 프레임의 타임 스탬프간의 차이, 시작 시점과 R2 프레임의 타임 스탬프 간의 차이가 같으면 L2 프레임과 R2 프레임을 동기화시켜서 n+1 프레임을 생성한다.
신호 처리부(160)는 컨텐츠 스타트 정보와 타임 스탬프를 비교하여 프레임 인덱스를 검출할 수 있다. 가령, 제1 신호에서 컨텐츠 스타트 정보(PTSH_Start)가 100이고, 좌안 영상 L1 프레임의 타임 스탬프(PTS)가 100이라면 PTS - PTSH_Start = 0이 된다. 다음 좌안 영상인 L2 프레임의 타임 스탬프(PTS)가 115라면 PTS - PTSH_Start = 15가 된다. 이 경우, 신호 처리부(160)는 타임 스탬프 인터벌을 15로 두고 L1 프레임을 n번째 프레임, L2 프레임을 n+1 프레임에 매칭한다. 반면, 제2 신호에서 컨텐츠 스타트 정보가 300이고, R1 프레임의 타임 스탬프가 300, R2 프레임의 타임 스탬프가 330이라고 가정하면, 신호 처리부(160)는 타임 스탬프 인터벌을 30으로 두고 R1 프레임을 n번째 프레임, R2 프레임을 n+1 프레임에 매칭한다.
신호 처리부(160)는 매칭되는 두 프레임의 타임 스탬프가 동일해지도록, 우안 영상 프레임의 타임 스탬프 또는 좌안 영상 프레임의 타임 스탬프를 보정한다.
프레임의 프레임 우안 영상 프레임은 좌안 영상 프레임의 다음 프레임에 매칭된다. 신호 처리부(160)는 우안 영상 프레임의 타임 스탬프를 좌안 영상 프레임의 다음 프레임의 타임 스탬프와 동일해지도록 보정하여, 동기화시킨다.
다른 실시 예에서는, 두 데이터 간의 타임 스탬프 차이값이 동기화 정보로 사용될 수 있다. 즉, 제1 동기화 정보 및 제2 동기화 정보는 각각 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 간의 차이 값을 포함할 수 있다. 이 경우, 신호 처리부(160)는 그 차이값을 반영하여 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시킨다.
컨텐츠 스타트 정보, 타임 스탬프 차이값 정보 등은 EIT(Event Information Table), PMT, 프라이빗 스트림, 전송 스트림 헤더 등에 기록될 수 있다. 또한, 이상과 같은 여러 실시 예들에서는 실시간 전송 스트림이 전송되는 경우를 설명하였으나, 제1 또는 제2 데이터가 비실시간 스트림인 MP4 파일로 전송되는 경우에는 이러한 동기화 정보는 mdhd나 stts 박스에 기록될 수 있다. MP4 파일로 전송되는 경우, 신호처리부(160)는 타임 스케일이나 듀레이션(duration)을 이용하여 프레임 레이트를 산출하고, 산출된 프레임 레이트를 비교하여 재생 시간을 동기화시킬 수도 있다. 즉, MP4 파일의 헤더 내의 Media Header Box(mdhd)내에 기록된 타임 스케일이 25000이고, Decoding Time to Sample Box(stts) 내에 기록된 데이터가 1000이면, 1000/25000 가 프레임 레이트로 산출된다. 따라서, 1/25초 단위로 프레임이 재생되므로 두 신호 간의 상대적인 재생 타이밍 차이를 알 수 있다. 신호 처리부(160)는 상대적인 재생 타이밍과 시작 시점을 이용하여 두 신호를 동기화시킬 수 있다.
또 다른 실시 예에서는 프레임 인덱스 정보가 동기화 정보로 사용될 수 있다. 프레임 인덱스 정보는 각 프레임마다 부여되는 식별 정보를 의미한다. 신호 처리부(160)는 동일한 프레임 인덱스를 가지는 프레임의 타임 스탬프가 동일해지도록 보정을 수행할 수 있다.
도 14는 프로그램 맵 테이블(Program Map Table : PMT)을 포함하는 스트림의 구성을 나타낸다. 도 14에 따르면, PMT는 각 송신 장치(200-1, 200-2)에서 전송되는 제1 신호, 제2 신호 내에 주기적으로 포함되어 전송된다. 상술한 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 다양한 동기화 정보는 이러한 PMT 내에 포함되어 전송될 수 있다.
도 15는 PMT의 구조를 나타내는 도면이다. 도 15에 따르면, 각종 동기화 정보는 PMT 내의 리저브 영역(Reserved area)이나 신규 descriptor, 기존 descriptor의 확장 영역 등을 이용하여 전송될 수 있다.
도 16은 전송 스트림의 어댑테이션 필드를 이용하여 각종 동기화 정보를 전송하는 방식을 설명하기 위한 도면이다. 도 16에서는 어댑테이션 필드 내에 random_access_indicator, transport_private_data_flag, private_data_byte 등이 마련된다. random_access_indicator는 1 비트로 구현되며, 1로 세팅될 경우 시퀀스 헤더의 시작을 의미한다. 즉, 전송 스트림의 임의 접근 시점을 나타낸다. transport_private_data_flag도 1 비트로 구현되며, 1로 세팅될 경우 프라이빗 데이터가 1 바이트 이상 존재한다는 것을 의미한다. private_data_byte는 4 내지 5 바이트로 구현되며, 이 부분에 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보가 포함될 수 있다.
도 17은 PES 헤더를 이용한 동기화 정보 전달 방법을 나타낸다. PES 패킷 헤더는 프레임 단위로 제공되므로 PES_private_data 부분에 각종 동기화 정보를 기록하여 전송할 수 있다. 도 17에 따르면, PES_private_data_flag를 1로 세팅하고, PES_private_data 부분에 동기화 정보를 기록할 수 있다.
도 18은 이벤트 정보 테이블(Event Information Table : EIT)을 이용하여 컨텐츠 스타트 정보나 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보를 전달하는 방법을 나타낸다. 이러한 정보들은 EIT의 reserved 영역이나 신규 또는 기존 descriptor 확장 영역에 기록되어 전송될 수 있다.
도 19는 프라이빗 스트림을 이용한 동기화 정보 방식을 나타낸다. 도 19에 도시된 바와 같이, 컨텐츠 스타트 정보, 타임 스탬프 정보, 프레임 인덱스 정보 등의 동기화 정보가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, 타임코드나, UTC나 프레임 카운트 정보 등도 프라이빗 스트림을 이용하여 전송될 수 있다. 이에 대해서는 후술한다.
도 20은 동기화 정보 중 프레임 인덱스를 포함하는 전송 스트림 구성의 일 예를 나타낸다. MPEG 규격에 따르면, 전송 스트림은 비디오, 오디오, 기타 데이터를 전송한다. 각 프로그램의 정보는 프로그램 맵 테이블(Program Map Table : PMT)에 기록된다.
도 20에서는 프레임 인덱스가 PMT에 삽입된 구조를 나타내지만, 다른 실시 예에서는 비디오 스트림 헤더, 오디오 스트림 헤더, TS 헤더 등에 삽입될 수도 있다. 도 20에 따르면, 각 PMT에는 그 다음 프레임의 프레임 인덱스가 기록된다. 각 프레임 사이에 두 개 이상의 PMT가 제공되는 경우에는 Hybridstream_Info_Descriptor()의 값은 같은 프레임 인덱스를 가리키도록 정의한다. 송신 장치의 멀티플렉서에서 I 프레임 단위로 Descriptor()를 삽입할 수 있으면, 데이터의 중복을 방지할 수도 있다.
수신 장치(100)에서는 각 PMT를 참고하여 프레임의 인덱스를 검출한 후, 이를 이용하여 제1 신호 및 제2 신호의 각 프레임들을 동기화시킬 수 있다. 한편, 데이터가 실시간 전송 스트림이 아닌 비실시간 스트림 형태로 전송되는 경우에는 프레임 인덱스는 이와 상이한 방식으로 제공될 수도 있다.
도 21은 프레임 인덱스가 별도의 프라이빗 스트림을 통해서 전송되는 경우를 나타내는 도면이다. 도 21에 도시된 바와 같이, 제1 신호에서 비디오 또는 오디오와 같은 멀티미디어 스트림과 별도로 프라이빗 스트림이 제공될 수 있으며, 해당 프라이빗 스트림을 통해 제2 신호와 동기화되는 프레임 인덱스 값을 제공할 수 있다. 이 경우, 제2 신호 역시 도 21과 같은 구조의 실시간 전송 스트림이라면 해당 전송 스트림의 프라이빗 스트림으로부터 프레임 인덱스를 검출하여, 동기화 시킬 수 있다.
또 다른 실시 예에서는 타임 코드, UTC(Coordinated Universal Time) 정보, 프레임 카운트 정보 등도 동기화 정보로 사용될 수 있다.
도 22는 복수의 카메라에서 촬영된 영상의 타임 코드를 이용한 실시간 전송 방식을 설명하기 위한 도면이다. 도 22에 따르면, 복수의 카메라에서 촬영된 제1 데이터 및 제2 데이터는 각각 부호화된 후 방송망 또는 통신망을 통해 각각 전송된다. 이 경우, 동일 화면에 대한 데이터인 경우, 해당 데이터 프레임에 동일한 타임 코드가 부여된다. 즉, 제1 데이터의 프레임들(51, 52, 53)과 제2 데이터의 프레임들(61, 62, 63)은 타임 스탬프, 즉, PTS는 서로 다르지만, 타임 코드는 동일하게 생성된다. 이러한 타임 코드는 수신단에서 동기화 정보로 사용될 수 있다.
타임 코드는 타임 코드 생성기에 의해 만들어지는 일련의 펄스 신호로, 용이한 편집 관리를 위해 개발된 신호 규격이다. 컨텐츠 제작 및 편집 시에는 좌안 영상 및 우안 영상의 동기화된 관리를 위하여 동일한 타임 코드를 사용한다. 따라서, 타임 코드는 스트림 생성 또는 송출 시점과 관계없이 동일한 쌍(pair)를 유지할 수 있다.
구체적으로는, SMPTE(Society of Motion Picture and Television Engineers) 타임 코드가 사용될 수 있다. 즉, SMPTE 12M에서는 "시:분:초:프레임"의 형식으로 타임 코드를 표현한다. SMPTE 타임 코드는 기록 방식에 따라 LTC(Longitude Time Code) 또는 VITC(Vertical Interval Time Code)로 구분될 수 있다. LTC는 테이프의 진행 방향에 따라 기록된다. LTC의 경우, 시각정보(25bits), 사용자 정보(32bits), 동기정보(16bits), 보존 영역(4bits), 프레임 모드 표시(2bits)를 포함하여 총 80 bits의 데이터로 구성될 수 있다. VITC는 비디오 신호의 수직 귀선 기간 내의 2 개의 수평 라인에 기록된다.
SMPTE RP-188 에서는 LTC 또는 VITC 타입의 타임코드가 ancillary data로 전송될 수 있는 인터페이스 규격을 정의하고 있다. 타임코드 및 타임 코드와 관련된 부가 정보를 신규 정의하여, 이러한 인터페이스 규격에 따라 전송할 수 있다.
타임 코드와 관련된 부가 정보로는, 좌안 영상 및 우안 영상의 타임 코드가 일치하지 않을 경우에 제공되는 타 영상에 대한 타임 코드, 현재 영상이 입체 영상인지 여부를 알려주기 위한 2D/3D 전환 정보, 입체 영상의 시작점 정보 등이 있을 수 있다. 이러한 부가 정보는 사용자 정보 영역 또는 보존 영역(혹은 무배정 영역)을 통해 제공하여 줄 수 있다. 또한, 타임 코드를 포함하지 않는 미디어의 경우에는 네트워크 프로토콜에서 타임 코드 공간을 확장 정의하여 사용할 수 있다. 예를 들어, RTP header extension을 통해 타임 코드를 제공하여 줄 수도 있다.
도 23은 GoP 헤더 내에 타임 코드가 기록된 MPEG 스트림 내에서 GoP 헤더의 신택스 구조의 일 예를 나타낸다. 도 23에 따르면, 타임 코드(time code)는 25bits의 데이터로 기록될 수 있다. 도 23에 도시된 바와 같이 타임 코드는 GoP 단위로 수신 장치(100)에 전달될 수 있다.
또는, 타임 코드는 프라이빗 스트림에 기록되어 전송될 수 있다. 즉, 타임 코드가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, UTC나 프레임 카운트 정보 등도 타임코드와 유사하게 전송될 수 있다.
도 24는 비디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 24에 따르면, 타임 코드는, AVC(Advanced Video Coding : ISO/IEC 14496-10)에서 정의하는 SEI(Supplemental enhancement information)를 이용하여 전송할 수 있다. 즉, 도 24에 도시된 바와 같이, Picture timing SEI에서 정의하는 seconds_value, minutes_value, hours_value, n_frames를 이용하여 타임 코드를 전달할 수 있다.
도 25는 오디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 25에 도시된 바와 같이 AC-3(ATSC A/52 : 2010)에 따르면 오디오 스트림은 싱크 프레임(Sync Frame)이 연속적으로 나열되는 구조를 가진다.
싱크 프레임의 구성 중에서 싱크 프레임의 정보를 제공하는 bsi(Bit Stream Information) 영역에서 타임 코드에 대한 정보를 제공할 수 있다.
도 26은 타임 코드가 PMT를 통해서 제공되는 경우의 PMT 신택스(syntax)를 나타낸다. 도 26에 따르면, 타임 코드는 주기적으로 전송되는 PMT의 리저브(reserved) 또는 descriptor를 통해서 제공될 수 있다. PMT 제공 간격은 동기화된 타임 코드를 부여하기 위한 GoP 단위 또는 프레임 단위로 이루어질 수 있다. 도 20에서는 두 개의 프레임 마다 PMT가 전송되는 것으로 도시하였으나, 매 프레임 단위로 타임 코드를 포함하는 PMT가 제공될 수도 있다. 상술한 바와 같이 다양한 정보가 동기화 정보로 사용될 수 있고, 그 위치 또한 다양하게 설정될 수 있다.
도 27은 실시간 전송 스트림을 송신하는 송신 장치의 일 예를 나타내는 블럭도이다. 도 27의 송신 장치는 도 1의 시스템에서 송신 장치 1, 2 중 어느 것으로도 구현될 수 있으나, 설명의 편의상 송신 장치 1로 구현된 경우를 기준으로 설명한다. 송신 장치는 스트림 구성부(710), 출력부(720), 제어부(730)를 포함한다.
스트림 구성부(710)는 제1 데이터 및 제1 동기화 정보를 포함하는 제1 실시간 전송 스트림을 구성한다. 제1 데이터란 좌안 영상 및 우안 영상 중 하나일 수도 있다. 이 경우, 좌안 영상 및 우안 영상 중 다른 하나인 제2 데이터는 타 송신 장치에서 수신 장치로 제공하여 줄 수 있다. 이에 따라, 제1 및 제2 데이터가 조합되어 3D 이미지로 표현될 수 있다. 실시 예에 따라서는 제1 데이터는 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터가 될 수도 있다. 또한, 제1 동기화 정보란 제1 데이터 및 제2 데이터 간의 동기화를 맞추기 위한 정보이다. 제1 동기화 정보의 종류에 대해서는 상술한 바 있으므로 중복 설명은 생략한다.
출력부(720)는 스트림 구성부(710)에서 생성한 스트림을 수신 장치(100) 측으로 전송한다. 출력부(720)의 세부 구성은 스트림의 종류에 따라 상이하게 구현될 수 있다. 가령 도 27의 송신 장치가 방송 송신 장치인 경우, 출력부(420)는 RS 인코더, 인터리버, 트렐리스 인코더, 변조기 등을 포함하는 형태로 구현될 수 있다. 또는, 도 27의 송신 장치가 인터넷과 같은 네트워크를 통해서 스트림을 전송하는 웹 서버인 경우에는 출력부(720)는 HTTP 프로토콜에 따라 수신 장치 즉 웹 클라이언트와 통신하는 네트워크 인터페이스 모듈로 구현될 수 있다.
제어부(730)는 타 송신 장치의 출력 타이밍에 맞추어 제1 실시간 전송 스트림의 출력 타이밍을 지연시키도록 출력부(720)를 제어한다. 여기서, 타 송신 장치란 제2 데이터 및 제2 동기화 정보를 포함하는 제2 실시간 전송 스트림을 송신하는 장치를 의미한다. 제2 데이터는 제1 데이터와 함께 하나의 멀티미디어 컨텐츠를 구성하기 위한 데이터를 의미한다.
출력 타이밍에 대한 정보는 방송 프로그램 시간 정보를 공유하여 맞출 수 있다. 예를 들면, 비디오 및 오디오를 전송하는 방송국, 자막과 같은 부가 데이터를 전송하는 제3자, 관련된 게임을 제공하는 제3자 등과 같은 다양한 스트림 생성 주체들이 있을 수 있다. 이러한 스트림 생성 주체들 중 하나가 다른 주체들에 대하여 타임 코드에 기초하여 시간 계획을 전송하여 줄 수 있다. 각 스트림 생성 주체들은 시간 계획을 이용하여 동기화 정보를 생성하여 전송 스트림에 부가하고, 또한, 전송 스트림의 전송 타이밍 자체를 지연시켜 타 송신 장치에 맞출 수 있다. 이러한 시간 계획 또는 동기화 정보는 기존 EPG에서 제공하는 시간 스케쥴과 달리 스트림 생성단 동기화를 위하여 정확도를 가지는 프레임 단위 정보이다.
또는, 각 스트림 생성 주체들은 기준 시간 서버를 통해서 기준 시간, 즉, PCR을 제공받아서 공유할 수도 있다. 이에 따라, 같은 타이밍에 발신이 이루어지거나, 자신의 통신 속도가 타 송신 장치보다 빠른 경우에는 전송 속도를 지연시킬 수 있다. 또한, 같은 컨텐츠의 프레임에 대하여 같은 DTS, PTS를 생성하여 부가할 수도 있게 된다.
제어부(730)는 이러한 지연 동작 및 동기화 정보 생성 작업을 수행하도록 스트림 구성부(710) 및 출력부(720)를 제어한다.
설명의 편의상 도 27에서는 제1 데이터를 포함하는 스트림을 전송하는 송신 장치가 전송을 지연시키는 것으로 설명하였으나, 제2 데이터를 포함하는 스트림을 전송하는 다른 송신 장치가 전송을 지연시킬 수도 있다. 이 경우, 그 다른 송신 장치도 도 27과 같은 구성을 가질 수 있다.
또한, 도 27과 같이 송신 장치 측에서 스트림 송신을 지연시키게 되면, 수신 장치에서는 스트림을 수신한 후 지연 처리할 필요가 없을 수 있다. 즉, 송신 장치와 수신 장치를 포함하는 시스템 전체에서 볼 때, 스트림 처리 지연 작업은 송신 장치에서만 이루어지거나 수신 장치에서만 이루어질 수도 있다. 따라서, 도 27과 같이 송신 장치 자체가 스트림 송신을 지연시키게 되면, 수신 장치는 도 1과 같은 구성으로 구현되지 않을 수 있다.
도 28은 HTTP 스트리밍 방식으로 실시간 전송 스트림을 전송하는 송신 장치의 구성을 나타내는 블럭도이다. 도 28에 따르면, 송신 장치는 스트림 구성부(710) 및 출력부(720)를 포함하며, 스트림 구성부(710)는 부호화부(711) 및 다중화부(712)를 포함한다.
도 28의 스트림 구성부는 제1 데이터 및 주소 정보를 포함하는 제1 실시간 전송 스트림을 구성한다. 주소 정보는, 제1 데이터와 함께 멀티미디어 컨텐츠를 구성하는 제2 데이터를 통신망에서 획득할 수 있는 메타데이터 파일에 대한 주소 정보를 의미한다. 구체적으로는, 메타데이터 파일을 제공할 서버에 대한 URL 정보가 될 수 있다.
부호화부(711)는 컨텐츠 제작자로부터 제1 데이터를 제공받는다. 부호화 처리부(412)는 제1 데이터를 인코딩하여 다중화부(712)로 제공한다. 다중화부(712)는 인코딩된 제1 데이터 및 주소 정보를 다중화하여 제1 실시간 전송 스트림을 생성한다.
한편, 동기화 정보를 함께 전송하는 경우, 부호화부(711)는 컨텐츠 제작자로부터 시그널링 정보도 함께 제공받을 수 있다. 시그널링 정보란 동기화 정보를 생성하는데 필요한 기초 정보를 의미한다. 부호화부(711)는 시그널링 정보를 이용하여 동기화 정보를 생성한 후, 인코딩된 제1 데이터에 부가한다.
동기화 정보가 컨텐츠 스타트 정보인 경우, 부호화부(711)는 PCR에 기초하여 최초 프레임의 타임 스탬프를 생성하고, 그 타임 스탬프를 동기화 정보로 부가한다. 또는, 타임 스탬프 차이값이 동기화 정보로 사용되는 경우, 시그널링 정보는 제2 데이터를 생성 및 송신하는 다른 송신 장치의 PCR에 대한 정보로 구현될 수 있다. 부호화부(711)는 시그널링 정보를 바탕으로 제1 및 제2 데이터 간의 타임 스탬프 차이값을 동기화 정보로 생성한 후, 인코딩된 제1 데이터에 부가할 수 있다.
한편, 타임 코드가 동기화 정보로 사용되는 경우, 별도의 시그널링 정보 없이 제1 데이터 및 동기화 정보가 부호화부(711)에 입력될 수 있다. 부호화 처리부(711)는 제1 데이터 및 동기화 정보를 그대로 인코딩하여 다중화부(413)로 제공한다. 또한, 주소 정보 자체도 부호화부(711)로 함께 입력되어 제1 데이터 등과 함께 인코딩될 수도 있다.
그 밖에, MPEG 규격에 따른 비디오 데이터 압축 등을 수행하는 구성이 스트림 구성부(711)에 더 추가될 수 있으나, 이러한 구성은 도시 및 설명을 생략한다.
다중화부(712)는 부호화부(711)에서 생성된 데이터에 부가 데이터를 먹싱하여 전송 데이터를 생성한다. 부가 데이터란 PSIP, EPG 정보 등이 될 수 있다.
출력부(720)는 다중화부(712)에서 제공되는 전송 스트림에 대하여 채널 부호화, 변조 등의 처리를 수행하여 전송 신호로 변환한 후, 채널을 통해 전송한다. 변조에는 지상 방송 방식에서 사용되는 8 VSB 방식, 케이블 TV를 위한 고속 데이터율 방식인 16 VSB 방식 등이 사용될 수 있다.
도 29는 본 발명의 또 다른 실시 예에 따른 송신 장치의 구성을 나타낸다. 도 29의 송신 장치는 타임 코드를 별도의 프라이빗 스트림으로 처리하여 전송한다. 도 29에 따르면, 송신 장치는 A/V 인코더부(510), 타임 코드 검출부(520), 타임 코드 인코더부(530), 멀티플렉서(540)를 포함한다.
A/V 인코더부(510)는 입력되는 멀티미디어 데이터에 포함된 A/V 데이터를 인코딩한다. 인코딩 방식은 송신 장치에 적용된 규격에 따라 달라질 수 있다.
타임 코드 검출부(520)는 입력되는 멀티미디어 데이터로부터 영상의 타임 코드를 검출하여 타임 코드 인코더부(530)로 제공한다. 검출되는 타임 코드는 타임 라인 데이터 파일로 저장될 수 있다. 이 경우, 타임 코드 뿐만 아니라 다양한 부가 정보도 함께 검출되어 타임 코드 인코더부(530)로 함께 제공되어 질 수도 있다.
타임 코드 인코더부(530)는 검출된 타임 코드를 적절한 전송 포맷으로 인캡슐레이트(encapsulate)하고, A/V 인코더부(510)와 동일한 프로그램 시스템 클럭을 사용하여 산출되는 프리젠테이션 타임스탬프를 조합하여, A/V 인코더부(510)에서 처리하는 A/V(Audio/Video) 데이터와 동기화시킨다.
타임 코드 인코더부(530)에서 처리된 타임 코드 정보는 A/V 인코더부(510)에서 처리된 A/V 데이터와 함께 멀티플렉서(540)로 제공된다. 멀티플렉서(540)는 이러한 데이터를 멀티플렉싱하여 MPEG2-TS를 출력한다.
도 29에서는 도시하지 않았으나, 송신 장치에는 파일럿 삽입부, 변조부, 인터리버, 랜덤화부, RF 업컨버터 등과 같은 다양한 구성들이 추가될 수 있다. 이들 구성은 송신 장치의 일반적인 구성에 해당하므로, 구체적인 도시 및 설명은 생략한다.
도 30은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 방법을 설명하기 위한 흐름도이다.
도 30에 따르면, 제1 실시간 전송 스트림을 수신하고(S2210), 이와 다른 통신 망을 통해서 제2 실시간 전송 스트림을 수신하면(S2220), 두 스트림 중 적어도 하나를 지연시켜 동기화시킨다(S2230).
그리고 나서, 각 스트림으로부터 제1 데이터 및 제2 데이터를 검출한다(S2240). 그리고 나서, 검출된 제1 및 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성한 후(S2250), 재생한다(S2260).
도 31은 제2 실시간 전송 스트림을 수신하는 방법을 구체적으로 설명하기 위한 흐름도이다. 도 31에 따르면, 제1 실시간 전송 스트림이 수신되면 이를 분석하여(S2310), 주소 정보를 검출한다(S2320). 그리고, 검출된 주소 정보를 이용하여 통신 망에 액세스한다(S2330).
이에 따라, 주소 정보에 대응되는 서버로부터 메타데이터 파일을 수신하고(S2340), 그 메타데이터 파일을 이용하여 소스에 액세스한다(S2350). 그리고, 해당 소스로부터 제2 실시간 전송 스트림을 수신한다(S2360).
제1 및 제2 실시간 전송 스트림은 각각 동기화 정보를 포함할 수도 있다. 그 밖에, 메타데이터 파일의 구성, 스트림 내에서 주소 정보의 기록 위치 등에 대해서는 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
또한, 제1 및 제2 데이터는 좌안 및 우안 영상과 같이 3D 컨텐츠를 구성하는 데이터일 수도 있고, 각종 비디오, 오디오, 자막 등과 같이 하나의 멀티미디어 컨텐츠를 구성하는 부분 데이터일 수도 있음은 상술한 바와 같다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 제1 수신부 120 : 제2 수신부
130 : 지연 처리부 140 : 제1 검출부
150 : 제2 검출부 160 : 신호 처리부
170 : 재생부 180 : 제어부

Claims (15)

  1. 제1 실시간 전송 스트림을 방송망을 통해 수신하는 제1 수신부;
    제2 실시간 전송 스트림을 통신망을 통해 수신하는 제2 수신부;
    상기 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 지연(delay)시켜 동기화하는 지연 처리부;
    상기 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하는 제1 검출부;
    상기 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 제2 검출부;
    상기 제1 데이터 및 상기 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 신호 처리부; 및
    상기 멀티미디어 컨텐츠를 재생하는 재생부;를 포함하는 수신 장치.
  2. 제1항에 있어서,
    상기 제1 실시간 전송 스트림은 주소 정보를 포함하며,
    상기 제2 수신부는 상기 주소 정보를 이용하여 상기 통신망 내의 서버로 액세스하여 상기 서버로부터 메타데이터 파일을 수신하고, 상기 메타데이터 파일을 이용하여 상기 제2 실시간 전송 스트림을 수신하며,
    상기 메타데이터 파일은 상기 제2 실시간 전송 스트림의 소스에 대한 정보를 포함하는 것을 특징으로 하는 수신 장치.
  3. 제2항에 있어서,
    상기 주소 정보는, 상기 제1 실시간 전송 스트림의 PMT 내의 리저브 영역, PMT 내의 descriptor 영역, 상기 제1 실시간 전송 스트림의 리저브 영역, 상기 제1 실시간 전송 스트림의 프라이빗 데이터 영역, 상기 제1 실시간 전송 스트림의 PES 내의 리저브 영역, 상기 제1 실시간 전송 스트림의 PES 내의 프라이빗 데이터 영역, ES 헤더 내의 유저 영역, ES 헤더 내의 프라이빗 영역, H.264규격인 경우 SEI 중 적어도 하나에 기록되는 것을 특징으로 하는 수신 장치.
  4. 제1항에 있어서,
    상기 제2 데이터는,
    상기 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛을 포함하는 것을 특징으로 하는 수신 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 데이터 및 상기 제2 데이터 중 하나는 좌안 영상을 포함하고, 다른 하나는 우안 영상을 포함하며, 상기 멀티미디어 컨텐츠는 3D 컨텐츠인 것을 특징으로 하는 수신 장치.
  6. 제5항에 있어서,
    상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고,
    상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며,
    상기 제1 및 제2 동기화 정보는
    상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 중 적어도 하나를 포함하는 것을 특징으로 하는 수신 장치.
  7. 제6항에 있어서,
    상기 제1 및 제2 동기화 정보를 이용하여 상기 제1 데이터에 포함된 각 프레임의 타임 스탬프 및 상기 제2 데이터에 포함된 각 프레임의 타임 스탬프 중 적어도 하나를 보정하고, 보정된 타임 스탬프에 따라 상기 제1 및 제2 데이터의 각 프레임을 조합하여 상기 멀티미디어 컨텐츠를 구성하도록 상기 신호 처리부를 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 수신 장치.
  8. 제5항에 있어서,
    상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고,
    상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며,
    상기 제1 및 제2 동기화 정보는 영상 프레임의 타임 코드 정보인 것을 특징으로 하는 수신 장치.
  9. 송신 장치에 있어서,
    제1 데이터 및 제1 동기화 정보를 포함하는 제1 실시간 전송 스트림을 구성하는 스트림 구성부;
    상기 제1 실시간 전송 스트림을 출력하는 출력부; 및,
    제2 실시간 전송 스트림을 출력하는 타 송신 장치의 출력 타이밍에 맞추어 상기 제1 실시간 전송 스트림의 출력 타이밍을 지연시키도록 상기 출력부를 제어하는 제어부;를 포함하며,
    상기 제2 실시간 전송 스트림은 제2 데이터 및 제2 동기화 정보를 포함하고,
    상기 제1 및 제2 데이터는 하나의 멀티미디어 컨텐츠를 구성하기 위한 데이터이며,
    상기 제1 동기화 정보 및 상기 제2 동기화 정보는 상기 제1 데이터 및 상기 제2 데이터의 동기화를 위하여 전송되는 정보인 것을 특징으로 하는 송신 장치.
  10. 송신 장치에 있어서,
    제1 데이터 및 주소 정보를 포함하는 제1 실시간 전송 스트림을 구성하는 스트림 구성부; 및
    상기 제1 실시간 전송 스트림을 출력하는 출력부;를 포함하며,
    상기 주소 정보는, 상기 제1 데이터와 함께 멀티미디어 컨텐츠를 구성하는 제2 데이터를 통신망에서 획득할 수 있는 메타데이터 파일에 대한 주소 정보인 것을 특징으로 하는 송신 장치.
  11. 수신 장치의 멀티미디어 컨텐츠 재생 방법에 있어서,
    제1 실시간 전송 스트림을 방송망을 통해 수신하는 단계;
    제2 실시간 전송 스트림을 통신망을 통해 수신하는 단계;
    상기 제1 및 제2 실시간 전송 스트림 중 적어도 하나를 지연(delay)시켜 동기화하는 단계;
    상기 제1 실시간 전송 스트림으로부터 제1 데이터를 검출하고, 상기 제2 실시간 전송 스트림으로부터 제2 데이터를 검출하는 단계;
    상기 제1 데이터 및 상기 제2 데이터를 조합하여 멀티미디어 컨텐츠를 구성하는 단계; 및
    상기 멀티미디어 컨텐츠를 재생하는 단계;를 포함하는 멀티미디어 컨텐츠 재생 방법.
  12. 제11항에 있어서,
    상기 제2 실시간 전송 스트림을 통신망을 통해 수신하는 단계는,
    상기 제1 실시간 전송 스트림에 포함된 주소 정보를 검출하는 단계;
    상기 주소 정보를 이용하여 상기 통신망 내의 서버로 액세스하여 상기 서버로부터 메타데이터 파일을 수신하는 단계; 및
    상기 메타데이터 파일을 이용하여 상기 제2 실시간 전송 스트림의 소스에 액세스하여, 상기 제2 실시간 전송 스트림을 수신하는 단계;를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.
  13. 제12항에 있어서,
    상기 제1 데이터 및 상기 제2 데이터 중 하나는 좌안 영상을 포함하고, 다른 하나는 우안 영상을 포함하며, 상기 멀티미디어 컨텐츠는 3D 컨텐츠인 것을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.
  14. 제11항에 있어서,
    상기 제2 데이터는, 상기 통신 망의 상태에 따라 적응적으로 설정된 적어도 하나의 사이즈를 가지는 복수의 데이터 유닛을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.
  15. 제14항에 있어서,
    상기 제1 실시간 전송 스트림은 제1 동기화 정보를 포함하고,
    상기 제2 실시간 전송 스트림은 제2 동기화 정보를 포함하며,
    상기 제1 및 제2 동기화 정보는
    상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 재생 방법.






KR1020110128644A 2011-01-19 2011-12-02 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법 Ceased KR20120084252A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN2012800060016A CN103329551A (zh) 2011-01-19 2012-01-11 接收多个实时传输流的接收装置及其发送装置以及多媒体内容再现方法
JP2013550392A JP5977760B2 (ja) 2011-01-19 2012-01-11 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法
US13/980,679 US20130293677A1 (en) 2011-01-19 2012-01-11 Reception device for receiving a plurality of real-time transfer streams, transmission device for transmitting same, and method for playing multimedia content
BR112013018340A BR112013018340A2 (pt) 2011-01-19 2012-01-11 dispositivo de recepção, dispositivo de transmissão, e método de reprodução de conteúdo de multimídia em um dispositivo de recepção
PCT/KR2012/000271 WO2012099359A2 (ko) 2011-01-19 2012-01-11 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
EP12737016.1A EP2645727A4 (en) 2011-01-19 2012-01-11 RECEPTION DEVICE FOR RECEIVING MULTIPLE REAL-TIME TRANSMISSION FLOWS, TRANSMISSION DEVICE FOR TRANSMITTING THESE FLOWS, AND METHOD FOR REPRODUCING MULTIMEDIA CONTENT

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161434107P 2011-01-19 2011-01-19
US61/434,107 2011-01-19
US201161450818P 2011-03-09 2011-03-09
US61/450,818 2011-03-09

Publications (1)

Publication Number Publication Date
KR20120084252A true KR20120084252A (ko) 2012-07-27

Family

ID=46715247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110128644A Ceased KR20120084252A (ko) 2011-01-19 2011-12-02 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법

Country Status (7)

Country Link
US (1) US20130293677A1 (ko)
EP (1) EP2645727A4 (ko)
JP (1) JP5977760B2 (ko)
KR (1) KR20120084252A (ko)
CN (1) CN103329551A (ko)
BR (1) BR112013018340A2 (ko)
WO (1) WO2012099359A2 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385606B1 (ko) * 2012-08-28 2014-04-16 국민대학교산학협력단 3차원 스트리밍 방송 수신 방법 및 그 방법을 실행하는 멀티 모드 단말기
KR20150082165A (ko) * 2013-06-28 2015-07-15 한국전자통신연구원 ３ｄ 영상 재생 장치 및 방법
KR20170115615A (ko) * 2015-02-09 2017-10-17 유니파이 게엠베하 운트 코. 카게 멀티미디어 시스템에서 데이터를 전달하기 위한 방법, 및 멀티미디어 시스템에서의 데이터 전달을 제어하기 위한 소프트웨어 제품 및 장비
KR20190078471A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 착용형 디스플레이 장치 및 이를 이용한 이미지 제공 방법
KR20210037858A (ko) * 2019-09-30 2021-04-07 한화테크윈 주식회사 비디오 데이터 및 메타 데이터를 실시간 동기화하는 영상 수신 장치 및 그 방법
KR20220076761A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법
KR20220117573A (ko) * 2021-02-17 2022-08-24 주식회사 엘지유플러스 3d 콘텐츠 재생 장치 및 방법
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
KR101854382B1 (ko) 2011-03-16 2018-05-04 한국전자통신연구원 레프리젠테이션을 사용하는 스트리밍 콘텐츠 제공 장치 및 방법
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US12212791B2 (en) * 2011-06-14 2025-01-28 Comcast Cable Communications, Llc Metadata delivery system for rendering supplementary content
US9516086B2 (en) 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
WO2013025035A2 (ko) * 2011-08-12 2013-02-21 삼성전자 주식회사 송신 장치, 수신 장치 및 그 송수신 방법
US8948249B2 (en) * 2011-08-19 2015-02-03 Google Technology Holdings LLC Encoder-aided segmentation for adaptive streaming
KR101719998B1 (ko) * 2011-12-12 2017-03-27 엘지전자 주식회사 미디어 컨텐트를 수신하는 장치 및 방법
WO2013162256A1 (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 3ｄ 서비스를 위한 신호 처리 장치 및 방법
US9426506B2 (en) * 2012-08-22 2016-08-23 University-Industry Cooperation Group Of Kyung Hee University Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
JP6122626B2 (ja) * 2012-12-06 2017-04-26 日本放送協会 復号装置およびプログラム
CN103024452A (zh) * 2012-12-21 2013-04-03 北京牡丹电子集团有限责任公司数字电视技术中心 一种3d立体电视节目复用方法及系统
US9813325B2 (en) 2012-12-27 2017-11-07 Comcast Cable Communications, Llc Information stream management
WO2014171718A1 (ko) * 2013-04-16 2014-10-23 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
JP6498882B2 (ja) 2013-07-22 2019-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 蓄積方法、再生方法、蓄積装置、および再生装置
JP6616064B2 (ja) 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
WO2015029401A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法ならびに送信装置および受信装置
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
WO2015052908A1 (ja) * 2013-10-11 2015-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置および受信装置
DE112013007509B4 (de) * 2013-10-16 2022-01-20 Intel Corporation Verfahren, Einrichtung und System zum Auswählen von Audio-Video-Daten zum Streamen
WO2015064082A1 (ja) * 2013-10-31 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ パケット送信方法、コンテンツ再生方法、パケット送信システム及び端末
CN104601977A (zh) * 2013-10-31 2015-05-06 立普思股份有限公司 感测装置及其信号处理方法
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
JP2017508327A (ja) * 2013-12-23 2017-03-23 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークで放送コンテンツを送受信する装置及び方法
JP6466951B2 (ja) * 2014-01-13 2019-02-06 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークを介して放送コンテンツを送受信する装置及び方法
US9560421B2 (en) * 2014-03-27 2017-01-31 Samsung Electronics Co., Ltd. Broadcast and broadband hybrid service with MMT and DASH
JP6358460B2 (ja) 2014-04-04 2018-07-18 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
US20170188062A1 (en) * 2014-04-09 2017-06-29 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal
EP3131300A4 (en) * 2014-04-09 2018-01-17 LG Electronics Inc. Broadcast transmission device, broadcast reception device, operating method of broadcast transmission device, and operating method of broadcast reception device
CN106031181B (zh) 2014-04-18 2019-06-14 Lg电子株式会社 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
DE102014109088A1 (de) * 2014-06-27 2015-12-31 Deutsche Telekom Ag Verfahren zum kontinuierlichen Überwachen einer Synchronität zwischen verschiedenen beim HTTP adaptiven Streaming verwendeten Qualitätsprofilen
CN104618673B (zh) * 2015-01-20 2018-05-01 武汉烽火众智数字技术有限责任公司 一种基于nvr的多路录像同步回放控制方法和装置
KR102111572B1 (ko) 2015-02-13 2020-05-15 에스케이텔레콤 주식회사 저지연 생방송 컨텐츠 제공을 위한 프로그램을 기록한 기록매체 및 장치
WO2016129973A1 (ko) * 2015-02-15 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3280147A4 (en) * 2015-03-30 2018-08-15 LG Electronics Inc. Method and apparatus for transmitting and receiving broadcast signal
KR102387881B1 (ko) 2015-04-17 2022-04-18 삼성전자주식회사 방송 서비스를 구성하는 콘텐츠 관련 정보들을 제공하는 방법 및 장치
WO2016167632A1 (ko) * 2015-04-17 2016-10-20 삼성전자 주식회사 방송 서비스를 위한 서비스 시그널링을 송수신하는 방법 및 장치
WO2017038481A1 (ja) * 2015-09-01 2017-03-09 ソニー株式会社 受信装置、データ処理方法、及び、プログラム
US10869009B2 (en) 2015-09-30 2020-12-15 Hewlett-Packard Development Company, L.P. Interactive display
CN106686523A (zh) * 2015-11-06 2017-05-17 华为终端（东莞）有限公司 数据处理方法及装置
US20180309972A1 (en) * 2015-11-11 2018-10-25 Sony Corporation Image processing apparatus and image processing method
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
JP6740002B2 (ja) * 2016-05-24 2020-08-12 キヤノン株式会社 制御装置、制御方法及びプログラム
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10148722B2 (en) 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
KR102263223B1 (ko) * 2017-03-14 2021-06-09 삼성전자 주식회사 전자장치 및 그 제어방법
US10594758B2 (en) * 2017-12-15 2020-03-17 Cisco Technology, Inc. Latency reduction by sending audio and metadata ahead of time
JP6504294B2 (ja) * 2018-03-23 2019-04-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108737807B (zh) * 2018-05-10 2020-05-26 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN108900928A (zh) * 2018-07-26 2018-11-27 宁波视睿迪光电有限公司 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器
CN109194971B (zh) * 2018-08-27 2021-05-18 咪咕视讯科技有限公司 一种为多媒体文件的生成方法及装置
KR102029604B1 (ko) * 2018-12-07 2019-10-08 스타십벤딩머신 주식회사 실시간 방송 편집 시스템 및 편집 방법
CN110418207B (zh) * 2019-03-29 2021-08-31 腾讯科技（深圳）有限公司 信息处理方法、装置及存储介质
US11615727B2 (en) * 2021-04-12 2023-03-28 Apple Inc. Preemptive refresh for reduced display judder

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149419A (ja) * 1995-11-24 1997-06-06 Ekushingu:Kk Ｍｐｅｇ２データの伝送システム及び伝送方法
JP3567696B2 (ja) * 1997-09-24 2004-09-22 松下電器産業株式会社 ソフトウェアダウンロードシステム
WO1999066722A1 (en) * 1998-06-17 1999-12-23 Hitachi, Ltd. Broadcasting method and broadcast receiver
JP2001136496A (ja) * 1999-11-05 2001-05-18 Nec Corp 受信機器、映像・データ同期装置及び方法
JP4489932B2 (ja) * 2000-11-27 2010-06-23 富士通株式会社 複数の通信を同期させるシステム及び方法
JP2002142233A (ja) * 2000-11-01 2002-05-17 Hitoshi Ishida 立体画像を提供するための画像提供装置および画像提供方法、受信装置および受信方法、並びに立体画像を提供するための立体画像提供システムおよび立体画像提供方法。
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP2004266497A (ja) * 2003-02-28 2004-09-24 Rikogaku Shinkokai ステレオ映像放送受信用セットトップボックスおよびステレオ映像放送方法
US8312335B2 (en) * 2006-07-06 2012-11-13 Lg Electronics Inc. Method and apparatus for correcting errors in a multiple subcarriers communication system using multiple antennas
JP4597927B2 (ja) * 2006-08-30 2010-12-15 日本テレビ放送網株式会社 放送中継システム及びその方法
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
US8875217B2 (en) * 2006-11-06 2014-10-28 Panasonic Corporation Receiver
KR100947737B1 (ko) * 2008-04-17 2010-03-17 에스케이 텔레콤주식회사 이동통신 방송 시스템과 동기 화면 검출 방법 및 방송컨텐츠와 부가 정보 간의 동기 방법
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US9282315B2 (en) * 2008-12-30 2016-03-08 Lg Electronics Inc. Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same
JP5559977B2 (ja) * 2009-03-31 2014-07-23 日本放送協会 連携受信システム及びプログラム
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
US8786670B2 (en) * 2010-10-14 2014-07-22 Cisco Technology, Inc. Network synchronization video for composite video streams

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385606B1 (ko) * 2012-08-28 2014-04-16 국민대학교산학협력단 3차원 스트리밍 방송 수신 방법 및 그 방법을 실행하는 멀티 모드 단말기
KR20150082165A (ko) * 2013-06-28 2015-07-15 한국전자통신연구원 ３ｄ 영상 재생 장치 및 방법
KR20170115615A (ko) * 2015-02-09 2017-10-17 유니파이 게엠베하 운트 코. 카게 멀티미디어 시스템에서 데이터를 전달하기 위한 방법, 및 멀티미디어 시스템에서의 데이터 전달을 제어하기 위한 소프트웨어 제품 및 장비
US10389771B2 (en) 2015-02-09 2019-08-20 Unify Gmbh & Co. Kg Method for transmitting data in a multimedia system, and software product and device for controlling the transmission of data in a multimedia system
US10735483B2 (en) 2015-02-09 2020-08-04 Ringcentral, Inc. Method for transmitting data in a multimedia system, and software product and device for controlling the transmission of data in a multimedia system
US11159591B2 (en) 2015-02-09 2021-10-26 Ringcentral, Inc. Method for transmitting data in a multimedia system, and software product and device for controlling the transmission of data in a multimedia system
US11517821B2 (en) 2017-12-26 2022-12-06 Skonec Entertainment Co., Ltd. Virtual reality control system
KR20190078471A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 착용형 디스플레이 장치 및 이를 이용한 이미지 제공 방법
US11648478B2 (en) 2017-12-26 2023-05-16 Skonec Entertainment Co., Ltd. Virtual reality control system
KR20210037858A (ko) * 2019-09-30 2021-04-07 한화테크윈 주식회사 비디오 데이터 및 메타 데이터를 실시간 동기화하는 영상 수신 장치 및 그 방법
KR20220076761A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 미디어 소스를 동기화하여 통합 전송하는 시스템 및 그 방법
KR20220117573A (ko) * 2021-02-17 2022-08-24 주식회사 엘지유플러스 3d 콘텐츠 재생 장치 및 방법
KR20230058919A (ko) * 2021-10-25 2023-05-03 주식회사 픽스트리 멀티뷰 서비스를 위한 다중 입력 영상 동기화 방법 및 시스템

Also Published As

Publication number Publication date
CN103329551A (zh) 2013-09-25
US20130293677A1 (en) 2013-11-07
WO2012099359A2 (ko) 2012-07-26
JP5977760B2 (ja) 2016-08-24
WO2012099359A3 (ko) 2012-12-06
EP2645727A2 (en) 2013-10-02
JP2014509111A (ja) 2014-04-10
BR112013018340A2 (pt) 2016-10-04
EP2645727A4 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
JP5977760B2 (ja) 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法
KR101831775B1 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
EP2728858B1 (en) Receiving apparatus and receiving method thereof
US11622163B2 (en) System and method for synchronizing metadata with audiovisual content
KR101651137B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
US20130271657A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US20130276046A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
US20130271568A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US9615143B2 (en) Device and method for providing content by accessing content stream in hybrid 3D TV, and device and method for reproducing content
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
KR102016674B1 (ko) 하이브리드 서비스를 제공하는 수신 장치 및 하이브리드 서비스 제공 방법
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들
KR20130116154A (ko) 서로 다른 경로를 통해 복수의 신호를 수신하는 수신 장치 및 그 신호 처리 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111202

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20161117

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20111202

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171219

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171219

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I