[go: up one dir, main page]

KR20060065436A - 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치 - Google Patents

디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치 Download PDF

Info

Publication number
KR20060065436A
KR20060065436A KR1020050037598A KR20050037598A KR20060065436A KR 20060065436 A KR20060065436 A KR 20060065436A KR 1020050037598 A KR1020050037598 A KR 1020050037598A KR 20050037598 A KR20050037598 A KR 20050037598A KR 20060065436 A KR20060065436 A KR 20060065436A
Authority
KR
South Korea
Prior art keywords
audio
video
synchronization
value
stc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020050037598A
Other languages
English (en)
Inventor
최민석
엄낙웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20060065436A publication Critical patent/KR20060065436A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 디지털 멀티미디어 방송(DMB) 수신기에 있어서, 비디오와 오디오의 동기화를 각각 독립적으로 수행하면서, 비디오 디스플레이 포맷 변환 등으로 발생하는 비디오 지터를 오디오 동기화에 적용시켜, 프레임 단위 이내의 정밀한 동기화를 가능하게 하는 오디오 및 비디오 동기화 방법 및 장치에 관한 것이다.
본 발명에 따른 오디오 및 비디오 동기화 방법은, 오디오가 재생되어야 하는 시간을 나타내는 오디오 재생시간 스탬프(PTSA)값과 상기 오디오가 복호화된 실제 시간을 나타내는 오디오 시스템 타임클록(STCA)값의 제1 차이값(TDA)을 계산하는 단계와, 상기 제1 차이값(TDA)이 기설정된 오디오 동기 범위를 벗어난다면 현재 오디오 프레임을 스킵하거나 지연시킴으로써 오디오 동기화를 수행하는 단계와, 비디오가 재생되어야 하는 시간을 나타내는 비디오 재생시간스탬프(PTSV)값과 상기 비디오가 복호화된 실제 시간을 나타내는 비디오 시스템 타임클록(STCV)값의 제2 차이값(TDV)을 계산하는 단계와, 상기 제2 차이값(TDV)이 기설정된 비디오 동기 범위를 벗어난다면 현재 비디오 프레임을 스킵하거나 반복함으로써 비디오 동기화를 수행하는 단계를 포함한다.
디지털 멀티미디어 방송(DMB), 동기화(Synchronization), 역다중화부

Description

디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오 동기화 방법 및 장치{Apparatus and method for synchronization of audio and video in DMB apparatus}
도 1은 일반적인 디지털 멀티미디어 방송(DMB)에 사용되는 비디오 다중화기의 개념적인 구조를 나타낸 블록도.
도 2는 본 발명의 일실시예에 따른 오디오 및 비디오 동기화 장치가 적용된 스트림 복호화 시스템을 나타낸 블록도.
도 3은 본 발명의 일실시예에 따른 오디오 및 비디오 동기화 방법을 설명하기 위한 표시시간스탬프(PTS)와 시스템 타임클록(STC)의 시간 관계를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 비디오 동기화 방법을 나타낸 플로우챠트.
도 5는 본 발명의 일실시예에 따른 오디오 동기화 방법을 나타낸 플로우챠트.
<도면의 주요 부분에 대한 부호의 설명>
200 : 역다중화부(Demultiplexer) 202 : PES 패킷 파서부
204 : SL 패킷 파서부 206 : 오디오 복호화부
208 : 비디오 복호화부 210 : 시스템 디코더부
212 : 오디오 및 비디오 동기 제어부 214 : 비디오 디스플레이 프로세서부
216 : 표시부 218 : 음성부
본 발명은 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting) 수신기의 오디오 및 비디오 신호의 동기화 방법에 관한 것이다.
디지털 멀티미디어 방송은 CD급의 고품질 오디오 서비스와 데이터 서비스를 동시에 제공하는 유럽의 디지털 라디오 방송 표준인 DAB(Eureka -147) 시스템을 기반으로 하여 비디오를 포함한 멀티미디어 방송 서비스를 제공하기 위해 세계 최초로 국내에서 시도되는 시스템 표준이다.
단, 동영상 서비스에 포함된 오디오의 경우에는 CD급의 음질에는 미치지 못하지만 아날로그 FM 보다 우수한 음질을 제공한다. 현재 디지털 멀티미디어 방송 서비스는 지상파 디지털 멀티미디어 방송과 위성 디지털 멀티미디어 방송을 포함한 두가지 형태로 제공될 예정이다.
지상파 디지털 멀티미디어 방송 서비스에 사용되는 기술 표준에 대해 살펴보면, 상기 디지털 멀티미디어 시스템의 기반기술은 유럽방식의 DAB(ETSI EN 300 401)방식이고, 비디오 서비스는 MPEG-4 AVC 또는 H.264, 오디오 서비스는 MPEG-4 BSAC 또는 AAC+ 방식이다.
또한, 상기 디지털 멀티미디어 시스템의 데이터 서비스 MPEG-4 BIFS 방식을 이용하며, 비디오 다중화기로는 통상 ISO/IEC 14496-1 또는 ISO/IEC 13818-1 을 사용한다.
도 1은 일반적인 디지털 멀티미디어 방송(DMB)에 사용되는 비디오 다중화기의 개념적인 구조를 나타낸 블록도이다.
도 1을 참조하면, 상기 비디오 다중화기는 아이오디(IOD,Initial Object Descriptor: 이하 IOD)생성기부(100), 섹션발생부(102), 오디/비아이에프에스(OD/BIFS,Object Descriptor/Binary Format for Scene: 이하 OD/BIFS)생성부(104), AVC/H.264 비디오 부호화부(106), BSAC(Bit Sliced Arithmetic Coding)/AAC+ 오디오 부호화부(108), 보조 데이터부(110)를 포함한다.
비디오 다중화기는 동기화 층(SL,Synchronization Layer: 이하 SL) 패킷부112), 패킷형 요소 스트림(PES,Packetized Elementary Stream: 이하 PES) 패킷부(114), 전송 스트림(TS,Transport Stream) 다중화부(116), 외부 부호화(Reed-Solomon Decoder)부(118), 외부 인터리버(Convolutional Interleaver)부(120)를 포함한다.
상기와 같은 비디오 다중화기는 비디오 서비스를 위해 필요한 여러 스트림들을 다중화하여 하나의 스트림으로 만들어 주는 역할을 한다.
IOD생성부(100)는 IOD 데이터를 생성하여 주로 다중화 정보를 관리하는 섹션발생기(102)에 전달한다. 여기서 IOD는 관련된 모든 스트림의 첫 접근지점이다. OD/BIFS생성부(104)는 OD/BIFS스트림, AVC/H.264 비디오 부호화부(106)는 비디오 요소 스트림(ES,Elementary Stream), BSAC/AAC+ 오디오 부호화부(108)는 오디오 요 소 스트림, 보조 데이터부(110)는 보조데이터 요소 스트림을 각각 SL(Synchronization Layer) 패킷부(112)에 전송한다.
SL 패킷부(112)는 디스크립터(descriptor)들을 포함해 멀티미디어 스트림의 동기화를 가능하게 해준다. 다시말해, 디지털 멀티미디어 방송 송신측에서는 비디오 요소 스트림(ES,Elementary Stream)은 ITU-T Rec. H.264 (ISO/IEC 14496-10)의 베이스라인 프로파일에 따라 부호화 되고, 오디오 요소 스트림은 지상파 DMB의 경우, ISO/IEC IS 14496-3 중 ER(Error Resilient) BSAC(Bit Sliced Arithmetic Coding) 오디오 부호화 표준에 따라, 위성 DMB의 경우 MPEG-4 AAC+ 오디오 부호화 표준에 따라 부호화 된다.
각각 부호화된 요소 스트림은 ISO/IEC 14496-1 SL 패킷부(112)와 ISO/IEC 13818-1 PES(Packetized Elementary Stream) 패킷부(114)를 거쳐 TS(Transport Stream) 다중화부(116)에서 MPEG-2 TS 형태로 다중화된다. 여기서, 상기 PES 패킷부(112)는 각 요소 스트림(ES)에 대하여 독립적인 스트림을 생성하면서 미디어 동기를 일치시키는 기능을 갖으며, 상기 TS 다중화부(116)는 PES 및 섹션 정보를 하나의 스트림으로 묶어 전송에 용이하도록 하고 시스템의 동기를 맞추는 기능을 한다.
한편, 다중화된 MPEG-2 트랜스포트 스트림은 외부 부호화부(118)와 외부 인터리버부(120)를 거쳐 비디오 서비스 스트림 형태로 전송된다. 여기서, 상기 외부 부호화부(118) RS(Reed-Solomon) 및 외부 인터리버부(120)는 DAB 표준에서 사용되는 툴(tool)로서 에러에 강한 전송을 위해 사용된다.
상기 설명한 바와 같이, 디지털 멀티미디어 방송 수신측에서는 송신측의 역과정을 수행하여 다중화된 디지털 신호로부터 오디오, 비디오 요소 비트스트림(ES)을 분리하고, 다시 각각의 복호기를 통해 오디오, 비디오 신호를 생성하여 디스플레이하게 된다.
그러나, 오디오 요소 스트림과 비디오 요소 스트림은 서로 상이한 프레임 레이트를 가지고 있으며, 또한 상이한 복호과정을 거치게 되므로, 오디오/비디오 신호 간에 동기가 이루어지지 않으면 비디오 화면과 소리가 동기되지 않은 상태로 디스플레이되는 문제점이 있다.
본 발명의 목적은, 디지털 멀티미디어 방송(DMB) 수신장치에서 비디오 및 오디오 복호화를 개별적으로 수행하는 오디오 및 비디오 동기화 방법 및 장치를 제공함에 있다.
또한, 본 발명의 다른 목적은, 비디오 포맷 변환 등으로 인해 발생하는 비디오 지터를 오디오 및 비디오 동기화에 반영하여 보다 정확한 오디오 및 비디오 신호의 동기화를 수행할 수 있으며, 오디오 동기화의 경우, 프레임 단위 이하의 동기화를 통해 보다 정교한 오디오 동기화을 수행하는 방법 및 장치를 제공함에 있다.
본 발명의 일 특징에 따르면, 디지털 멀티미디어 방송 수신 장치에서 오디오 및 비디오를 독립적으로 동기화하는 방법이 제공된다. 상기 방법은, 오디오가 재 생되어야 하는 시간을 나타내는 오디오 재생시간 스탬프(PTSA)값과 상기 오디오가 복호화된 실제 시간을 나타내는 오디오 시스템 타임클록(STCA)값의 제1 차이값(TDA)을 계산하는 단계와, 상기 제1 차이값(TDA)이 기설정된 오디오 동기 범위를 벗어난다면 현재 오디오 프레임을 스킵하거나 지연시킴으로써 오디오 동기화를 수행하는 단계와, 비디오가 재생되어야 하는 시간을 나타내는 비디오 재생시간스탬프(PTSV)값과 상기 비디오가 복호화된 실제 시간을 나타내는 비디오 시스템 타임클록(STCV)값의 제2 차이값(TDV)을 계산하는 단계와, 상기 제2 차이값(TDV)이 기설정된 비디오 동기 범위를 벗어난다면 현재 비디오 프레임을 스킵하거나 반복함으로써 비디오 동기화를 수행하는 단계를 포함한다.
본 발명의 다른 특징에 따르면, 오디오 및 비디오 동기화 장치가 제공된다. 상기 DMB 수신 장치는, 오디오가 실제로 복호화된 시간을 나타내는 오디오 시스템 타임 클록(STCA)값과 오디오 재생시간스탬프(PTSA)값의 제1 차이값을 계산하는 제1 계산 수단; 비디오가 실제로 복호화된 시간을 나타내는 비디오 시스템 타임 클록(STCv)값과 비디오 재생시간스탬프(PTSv)값의 제2 차이값을 계산하는 제2 계산 수단; 및 상기 제1 차이값이 기설정된 오디오 동기화 범위를 벗어나는 경우에는 현재 오디오 프레임을 스킵하거나 지연시키도록 오디오 복호화 제어 신호를 생성하고, 상기 제2 차이값이 기설정된 비디오 동기화 범위를 벗어나는 경우에는 현재 비디오 프레임을 스킵하거나 반복하도록 비디오 복호화 제어 신호를 제어하는 오디오 및 비디오 동기 제어부를 포함하는 것을 특징으로 한다.
이하에서는 첨부된 도면에 도시된 실시예들과 관련하여 본 발명을 상세히 설명하기로 한다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정된 물리적 구성에 한정하는 것으로 해석되어서는 안 될 것이다.
도 2는 본 발명의 일실시예에 따른 오디오 및 비디오 동기화 제어부가 적용된 스트림 복호화 시스템을 나타낸 블록도이다. 도 2에 도시된 바와 같이, 상기 스트림 복호화 시스템은, 역다중화부(200), 패킷형 요소 스트림(Packetized Elementary Stream: 이하 PES) 패킷파서부(202), 동기화 층(Synchronization Layer: 이하 SL) 패킷파서부(204), 오디오 복호화부(206), 비디오 복호화부(208), 시스템 디코더부(210), 오디오 및 비디오 동기 제어부(212), 비디오 디스플레이 프로세서부(214), 표시부(216) 및 음성부(218)를 포함한다.
역다중화부(200)는 전송받은 스트림을 패킷으로 역다중화하고, PES 패킷파서부(202)는 상기 패킷으로부터 비디오 및 오디오 SL 패킷을 추출하여 SL 패킷파서부(204)에 전송하는 한편, 오디오 및 비디오가 재생되어야 할 시간을 나타내는 재생시간스탬프(Presentation Time Stamp:PTS)값을 추출하여 오디오 및 비디오 동기 제어부(212)에 전송한다.
재생시간스탬프(PTS)는 오디오 및 비디오의 재생 단위마다 주어지는 값으로서, PES 헤더에 위치하며, PES 패킷 내에 요소 스트림(ES)의 첫 부분이 포함될 경우에 존재한다. 재생시간스탬프(PTS)는 복원된 데이터를 재생할 시점을 시스템 타 임클록(STC)을 기준으로 나타내는 정보이다.
시스템 타임클록(STC)은 부호화 시스템과 복호화 시스템의 동기화에 이용되는 클록으로서, 부호화 시스템과 복호화 시스템이 동일한 값을 갖는다. 또한, 부호화 시스템은 비디오 신호가 내부적으로 가지고 있는 지연(delay) 때문에, 오디오 및 비디오 신호 동기화와 정상적인 비디오 복호를 위해서 시스템 타임클록(STC)을 기준으로 디코딩타임스탬프(DTS) 및/또는 재생시간스탬프(PTS)를 발생시켜 함께 전송한다.
SL 패킷파서부(204)는 PES 패킷파서부(202)로부터 추출된 오디오 SL 패킷으로부터 오디오 요소 스트림을 추출하여 오디오 복호화부(206)에 전송하고, 비디오 SL 패킷으로부터 비디오 요소 스트림을 추출하여 비디오 복호화부(208)에 전송한다.
시스템 디코더부(210)는 역다중화부(200)로부터 스트림을 전송받아 상기 오디오 복호화부(206)와 비디오 복호화부(208) 각각에 시스템 타임 클록 기준값(SCR, System Clock Reference)을 제공한다.
앞서 설명한 역다중화부(200), 패킷형 요소 스트림(Packetized Elementary Stream: 이하 PES) 패킷파서부(202), 동기화 층(Synchronization Layer: 이하 SL) 패킷파서부(204) 등은 관련 기술 분야의 당업자들에게 공지된 요소들로서, 본 발명에서 새롭게 고안해낸 요소들은 아님을 당업자들은 충분히 이해할 것이다.
한편, 오디오 복호화부(206)는, SL 패킷 파서부(204)에 의해 추출된 오디오 요소 스트림의 복호화시에 시스템 디코더부(210)로부터 수신한 SCR값에 기반하여 오디오가 실제로 복호화된 시간을 나타내는 오디오 시스템 타임 클록(STCA)값을 생성하고, PES 패킷파서부(202)로부터 전송받은 오디오 재생시간스탬프(PTSA)값과 오디오 시스템 타임 클록(STCA)값의 차이값을 계산하여 오디오 및 비디오 동기 제어부(212)에 전송한다.
마찬가지로, 비디오 복호화부(208)는, SL 패킷 파서부(204)에 의해 추출된 비디오 요소 스트림의 복호화시에, 시스템 디코더부(210)로부터 수신한 SCR값에 기반하여 비디오가 실제로 복호화된 시간을 나타내는 비디오 시스템 타임 클록(STCv)값을 생성하고, PES 패킷파서부(202)로부터 전송받은 비디오 재생시간스탬프(PTSv)값과 상기 비디오 시스템 타임 클록(STCv)값의 차이값을 계산하여 오디오 및 비디오 동기 제어부(212)에 전송한다.
즉, 재생시간스탬프(PTS)값과 시스템 타임 클록(STC)값의 차이값의 계산은 오디오 복호화부(206)와 비디오 복호화부(208) 각각이 독립적으로 수행하여, 오디오 및 비디오 동기 제어부(212)에 전송한다.
오디오 및 비디오 동기 제어부(212)는 오디오 복호화부(206)로부터 받은 차이값과 비디오 복호화부(208)로부터 받은 차이값이 미리 디지털 방송장치에 적정범위로 설정한 범위내에 있는지 판단한다. 일실시예에서, 상기 적정범위는 통상 오디오 신호의 경우 오디오 샘플링 레이트 44.1 kHz 기준으로 했을때, -13 ms이상 +10ms 이하의 범위이고, 비디오 신호의 경우는 비디오 프레임 레이트 30 frame/sec 기준으로 했을때, -20 ms이상 +13ms 이하 범위로 설정된다.
오디오 및 비디오 동기 제어부(212)는 오디오 복호화부(206)와 비디오 복호화부(208)로부터 받은 각각의 차이값이 상기 설정된 범위내에 있는지 판단하여, 만일 설정된 범위내에 있으면 상기 오디오 복호화부(206)에 정상적인 복호화 명령을 전달하여 음성부(218)를 통하여 정상적인 오디오 출력이 수행되도록 하고, 마찬가지로 비디오 복호화부(208)에도 정상적인 복호화 명령을 전달하여 비디오 디스플레이 프로세서(214)에서 비디오 디스플레이 포맷을 변환하여 표시부(216)로 출력되도록 한다.
그러나, 상기 판단결과 오디오 복호화부(206)로부터 받은 차이값이 상기 설정된 범위를 벗어난 경우에, 오디오 및 비디오 동기 제어부(212)는 오디오 복호화부(206) 또는 비디오 복호화부(208)에 프레임의 스킵(Skip) 또는 반복(Repeat) 명령을 내려 동기화한다.
다시말해, 이론적으로는 시스템 타임클록(STC)과 재생시간스탬프(PTS)값이 동일할 때 오디오 및 비디오 신호를 출력하지만, 실제 적용에 있어서는 재생시간스탬프(PTS)값과 시스템 타임클록(STC)의 시간 차이값이 기설정된 범위를 만족하면 오디오 및 비디오 데이터를 출력하고, 상기 기설정된 범위를 벗어난 상태에서 재생시간스탬프(PTS)값이 시간적으로 시스템 타임클록(STC)보다 앞선 영역에 있을 경우에는 현재 프레임을 스킵하고, 재생시간스탬프(PTS)값이 시간적으로 시스템 타임클록(STC)보다 뒤진 영역에 있을 경우에는 현재 프레임을 반복하거나 대기하도록 함으로써 동기화를 수행한다.
도 3은 본 발명의 일실시예에 따른 오디오 및 비디오 동기화 방법을 설명하기 위한 재생시간스탬프(PTS)와 시스템 타임클록(STC)의 시간 관계를 나타낸 도면이다.
도 3을 참조하면, 순차적으로 형성된 하나의 데이터 스트림에서, 이미 동기영역으로 기설정된 동기범위를 편의상 제 2영역, 상기 기설정된 동기영역보다 앞선 영역을 제 1영역, 상기 기설정된 동기영역보다 나중 영역을 제 3영역으로 표시된다.
상기 제 2영역의 경우는 시스템타임클록(STC)을 기준으로 재생시간스탬프(PTS)가 기설정된 범위 내에 있으므로, 오디오 및 비디오 동기 제어부는 오디오 및 비디오 신호의 동기가 맞다고 판정한다. 한편, 기설정된 동기영역을 벗어난 제 1영역과 제 3영역의 경우는, 상기 시스템 타임클록(STC)값을 기준으로 상기 재생시간스탬프(PTS)값이 기설정된 범위를 벗어난 경우로서, 제 1영역의 경우 재생시간스탬프(PTS)값이 시스템 타임클록(STC)값보다 빠른 경우이므로 현재 비디오 프레임(혹은 픽쳐)을 스킵하여 다음 프레임으로 이동하고, 제 3 영역의 경우 재생시간스탬프(PTS)값이 시스템 타임클록(STC)값보다 늦는 경우이므로 현재 비디오 프레임(혹은 픽쳐)을 반복(Repeat)하거나 기다리게(Wait) 함으로써 오디오 및 비디오 신호의 동기를 맞추게 된다.
상기한 오디오 및 비디오의 시스템 타임클록(STC) 정보는 송신측과 동기된 시스템 시간 기준값(SCR)을 바탕으로 오디오 및 비디오 복호과정 종료 후에, 오디오 및 비디오 동기 제어부(212)로 출력되며, 만약 비디오 디스플레이 프로세서에서 다양한 애플리케이션에 따라 디스플레이 포맷의 변환 과정을 처리하는 경우, 이로 인한 비디오 신호 출력의 지연(비디오 지터)이 발생하게 되므로, 하기의 수학식 1과 같이 비디오의 STC 정보(STCV)에 STCJIT성분을 더해서 STCV' 신호를 생성한다. 또한 상기 STCJIT는 오디오 및 비디오 동기화를 위해 오디오 신호의 STC 정보(STCA)에도 수학식 2와 같이 적용된다.
STC V' = STCV + STCJIT
STC A' = STCA + STCJIT
상기 수식에 의해 오디오/비디오 복호화부(206, 208)에서 출력된 STC 정보는 PES 패킷파서(202)에서 추출된 PTS 정보와의 시간 차이 정보를 수학식 3과 수학식 4와 같이 계산된다.
TDV = PTSV - STC V' = PTSV - (STCV + STCJIT)
TDA = PTSA - STC A' = PTSA - (STCA + STCJIT)
다시말해, 비디오 복호화부의 경우, 상기 수식에 의해 계산된 시간 차이값 TDV가 기설정된 범위 내에 존재하면(도 3에서 제 2영역), 정상적인 비디오 복호화 과정을 수행하고, 범위를 벗어 날 경우 중 음수값일 경우(도 3에서 제 1영역)에는 현재 비디오 프레임을 스킵하고, 양수값일 경우(도 3에서 제 3영역)에는 현재 비디오 프레임을 반복 재생하게 된다.
도 4는 본 발명에 따른 비디오 동기화 방법을 나타낸 플로우챠트이다. 도 4를 참조하면, 비디오 복호화부(208)는 SL 패킷파서로부터 비디오 요소 비트스트림을 받아 정상적인 복호화 과정을 시작한다(S400).
다음, 오디오 및 비디오 동기 제어부(212)는 PES 패킷파서(202)로부터 PTSV값의 수신 여부를 판단하여(S402), 수신된 것으로 판단되면, 비디오 복호기로부터 출력된 STCV'값과의 시간 차 TDV를 계산한다(S404), 상기 PTSV값이 수신되지 않았다면, 상기 PTSV값이 수신될 때까지 정상적인 비디오 신호 복호화를 수행한다.
다음, 오디오 및 비디오 동기 제어부(212)는 상기 TDV 값이 기설정된 범위에 있는지 판단한다(S406). 여기서 상기 TDV 값의 기설정 범위는 가변적일 수 있으나, 본 발명의 일실시예로, 비디오 프레임 레이트 30 frame/sec 기준으로 했을때, -20 ms이상 +13ms 이하의 범위이다.
단계(S406)의 판단결과, 상기 TDV 값이 기설정된 범위에 있지 않은 경우는 도 3에 도시된 제 1영역 또는 제 3영역에 있는 경우가 있는데, 상기 제 1영역에 있는 경우는 상기 TDV 가 음수값을 갖는 경우로써 현재 비디오 프레임을 스킵(Skip)하고(S408), 다음 순서의 비디오 프레임을 버퍼링하여(S410), 동기를 맞춘다. 또한, 상기 TDV 값이 제 3영역에 있는 경우는 TDV 가 양수값을 갖는 경우로써 현재 비디오 프레임을 반복하여(S412) 동기를 맞춘다.
한편, 단계(S406)의 판단결과 TDV 값이 기설정된 범위에 있는 경우에는 그대로 현재 비디오 프레임을 복호화하여 출력시킨 후(S414), 다음 비디오 신호의 정상적인 복호화를 수행한다.
도 5는 본 발명에 따른 오디오 동기화 방법을 나타낸 플로우챠트이다. 도 5를 참조하면, 오디오 복호화부(206)는 SL 패킷파서(202)로부터 오디오 요소 비트스트림을 받아 정상적인 복호화 과정을 시작한다(S500).
다음, 오디오 및 비디오 동기 제어부(212)는 PES 패킷파서(202)로부터 PTSA값의 수신여부를 판단하고(S502), 수신된 것으로 판단되면, 오디오 복호화부(206)로부터 출력된 STCA'값과의 시간 차 TDA를 계산한다(S504). 상기 PTSA값이 수신되지 않았다면, 상기 PTSA값이 수신될 때까지 정상적인 오디오 신호 복호화를 수행한다.
오디오 신호 복호화는 비디오 신호의 복호화의 경우보다 정밀한 동기가 필요하기 때문에, 오디오 및 비디오 동기 제어기는 단계(S504)에 의해 계산된 TDA가 먼저 양수의 값을 가지는지 판단한다(S506).
상기 판단결과, 상기 TDA 값이 음수값을 갖는 경우, 오디오 출력을 묵음화하여(S508), 현재 오디오 프레임을 스킵한 후(S510), TDA 값이 양의 값을 갖도록 조절 하고, 만일 상기 TDA 값이 양수값을 갖는 경우, 오디오 및 비디오 동기 제어부(212)는 TDA 값이 기설정된 범위에 있는지 판단한다(S512).
여기서 상기 TDA 값의 기설정 범위는 가변적일 수 있으나, 본 발명의 일실시예로, 오디오 샘플링 레이트 44.1 kHz 기준으로 했을때, -13 ms이상 +10ms 이하의 범위이며, 상기 오디오 출력을 묵음화하는 이유는 깨지는 스트림을 바로 출력하기 보다는 음성 출력레벨을 낮추면서 묵음화하여 출력하는 것이 자연스럽기 때문이다.
단계(S512)의 판단결과, TDA 값이 상기 기설정 범위에 있지 않다면, TDA 값을 카운터 레지스터에 설정하고(S514), 오디오 코덱 출력을 묵음화하여(S516), 설정 시간 만큼 오디오 신호의 출력을 지연시킨 후(S518), 코덱으로 오디오 신호를 정상출력하고(S520), 다음 오디오 신호의 정상적인 복호화를 수행한다.
또한, 단계(S512)의 판단결과, TDA 값이 상기 기설정 범위에 있다면, 지연시키는 과정없이 코덱으로 오디오 신호를 정상출력하고(S520), 다음 오디오 신호의 정상적인 복호를 수행한다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.
예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 비디오와 오디오의 동기화를 각각 독립적으로 수행하면서, 비디오 디스플레이 포맷 변환 등으로 발생하는 비디오 지터(jitter)를 오디오 동기화에 적용하여 보다 정확한 오디오 및 비디오 동기화를 수행할 수 있다.
또한, 오디오 동기화에 있어서는 프레임 단위 이내의 정밀한 동기화가 가능하여 보다 정교한 오디오 및 비디오 동기화를 수행할 수 있다.

Claims (8)

  1. 디지털 멀티미디어 방송 수신 장치에서 오디오 및 비디오를 독립적으로 동기화하는 방법에 있어서, 상기 방법은,
    오디오가 재생되어야 하는 시간을 나타내는 오디오 재생시간 스탬프(PTSA)값과 상기 오디오가 복호화된 실제 시간을 나타내는 오디오 시스템 타임클록(STCA)값의 제1 차이값(TDA)을 계산하는 단계와,
    상기 제1 차이값(TDA)이 기설정된 오디오 동기 범위를 벗어난다면 현재 오디오 프레임을 스킵하거나 지연시킴으로써 오디오 동기화를 수행하는 단계와,
    비디오가 재생되어야 하는 시간을 나타내는 비디오 재생시간스탬프(PTSV)값과 상기 비디오가 복호화된 실제 시간을 나타내는 비디오 시스템 타임클록(STCV)값의 제2 차이값(TDV)을 계산하는 단계와,
    상기 제2 차이값(TDV)이 기설정된 비디오 동기 범위를 벗어난다면 현재 비디오 프레임을 스킵하거나 반복함으로써 비디오 동기화를 수행하는 단계
    를 포함하는 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  2. 제 1항에 있어서,
    상기 오디오 동기화를 수행하는 단계는,
    상기 제1 차이값(TDA)이 음수값을 갖는 경우, 현재 오디오 프레임을 스킵함으로써 상기 제1 차이값(TDA)이 양의 값을 갖도록 조절하는 단계
    를 더 포함하는 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  3. 제 2항에 있어서, 상기 오디오 동기화를 수행하는 단계는,
    상기 제1 차이값(TDA)이 양수값으로서 상기 기설정된 오디오 동기 범위를 벗어나는 경우에는, 상기 제1 차이값(TDA)만큼 오디오 프레임의 출력을 지연시키는 단계를 포함하는 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  4. 제 1항에 있어서, 상기 기설정된 오디오 동기 범위는 오디오 샘플링 레이트 44.1 kHz 기준으로 했을때, -13 ms이상 +10ms 이하의 범위인 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  5. 제 1항에 있어서, 상기 비디오 동기화를 수행하는 단계는,
    상기 제2 차이값이 상기 기설정된 비디오 동기 범위를 벗어나는 음수값인 경우에는 현재 비디오 프레임을 스킵하는 단계와,
    상기 제2 차이값이 상기 기설정된 비디오 동기 범위를 벗어나는 양수값인 경우에는 현재 비디오 프레임을 반복재생하는 단계
    를 포함하는 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  6. 제 1항에 있어서, 상기 기설정된 비디오 동기 범위는 비디오 프레임 레이트 30 frame/sec 기준으로 할 때, -20 ms이상 +13ms 이하의 범위인 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  7. 제 1항에 있어서,
    상기 오디오 시스템 타임 클록(STCA)값 및 상기 비디오 시스템 타임 클록(STCV)값은 비디오 신호 출력 지연 시간으로 인해 발생된 비디오 지터(Jitter) 성분이 포함된 값인 것을 특징으로 하는 오디오 및 비디오 동기화 방법.
  8. 오디오가 실제로 복호화된 시간을 나타내는 오디오 시스템 타임 클록(STCA)값과 오디오 재생시간스탬프(PTSA)값의 제1 차이값을 계산하는 제1 계산 수단;
    비디오가 실제로 복호화된 시간을 나타내는 비디오 시스템 타임 클록(STCv)값과 비디오 재생시간스탬프(PTSv)값의 제2 차이값을 계산하는 제2 계산 수단; 및
    상기 제1 차이값이 기설정된 오디오 동기화 범위를 벗어나는 경우에는 현재 오디오 프레임을 스킵하거나 지연시키도록 오디오 복호화 제어 신호를 생성하고, 상기 제2 차이값이 기설정된 비디오 동기화 범위를 벗어나는 경우에는 현재 비디오 프레임을 스킵하거나 반복하도록 비디오 복호화 제어 신호를 제어하는 오디오 및 비디오 동기 제어부
    를 포함하는 것을 특징으로 하는 오디오 및 비디오 동기화 장치.
KR1020050037598A 2004-12-10 2005-05-04 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치 Ceased KR20060065436A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040104274 2004-12-10
KR20040104274 2004-12-10

Publications (1)

Publication Number Publication Date
KR20060065436A true KR20060065436A (ko) 2006-06-14

Family

ID=37160700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050037598A Ceased KR20060065436A (ko) 2004-12-10 2005-05-04 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20060065436A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100802133B1 (ko) * 2006-09-20 2008-02-11 삼성전자주식회사 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법
CN101924941A (zh) * 2010-08-30 2010-12-22 深圳市宏电技术股份有限公司 一种多媒体解码方法、系统及多媒体播放设备
WO2017071670A1 (zh) * 2015-10-30 2017-05-04 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN109275008A (zh) * 2018-09-17 2019-01-25 青岛海信电器股份有限公司 一种音视频同步的方法和装置
CN114979736A (zh) * 2022-05-10 2022-08-30 海信视像科技股份有限公司 显示设备和音画同步方法
KR20220126534A (ko) * 2021-03-09 2022-09-16 주식회사 케이티 콘텐츠 출력 장치 및 콘텐츠 출력 장치의 지연 보상 방법
CN116016803A (zh) * 2022-11-18 2023-04-25 海宁奕斯伟集成电路设计有限公司 视频信号的解码电路、方法、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100802133B1 (ko) * 2006-09-20 2008-02-11 삼성전자주식회사 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법
CN101924941A (zh) * 2010-08-30 2010-12-22 深圳市宏电技术股份有限公司 一种多媒体解码方法、系统及多媒体播放设备
WO2017071670A1 (zh) * 2015-10-30 2017-05-04 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106792073A (zh) * 2016-12-29 2017-05-31 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN106792073B (zh) * 2016-12-29 2019-09-17 北京奇艺世纪科技有限公司 跨设备的音视频数据同步播放的方法、播放设备及系统
CN109275008A (zh) * 2018-09-17 2019-01-25 青岛海信电器股份有限公司 一种音视频同步的方法和装置
KR20220126534A (ko) * 2021-03-09 2022-09-16 주식회사 케이티 콘텐츠 출력 장치 및 콘텐츠 출력 장치의 지연 보상 방법
CN114979736A (zh) * 2022-05-10 2022-08-30 海信视像科技股份有限公司 显示设备和音画同步方法
CN114979736B (zh) * 2022-05-10 2024-05-03 海信视像科技股份有限公司 显示设备和音画同步方法
CN116016803A (zh) * 2022-11-18 2023-04-25 海宁奕斯伟集成电路设计有限公司 视频信号的解码电路、方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP1520423B1 (en) Robust method for achieving audio/video synchronization in mpeg decoders in personal video recording applications
CN100525459C (zh) 使用因特网协议保持流式音频和视频的同步
JP5119239B2 (ja) デジタル放送受信装置
JP5586511B2 (ja) 同期制御装置及びプログラム
RU2509378C2 (ru) Способ и устройство для формирования выровненного многоканального аудиосигнала
KR101967818B1 (ko) 수신 장치 및 그 수신 방법
US20080008281A1 (en) Clock compensation techniques for audio decoding
AU751335B2 (en) Video and audio signal processing
JP2009272945A (ja) 同期再生装置
EP2276192A2 (en) Method and apparatus for transmitting/receiving multi - channel audio signals using super frame
CN100499823C (zh) 实现mxf视频文件与pcm音频文件同步播放的方法
KR20060065436A (ko) 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치
KR100864009B1 (ko) 오디오／비디오 동기화 방법
CA2490879C (en) Reproducing apparatus and method, and recording medium
US8228999B2 (en) Method and apparatus for reproduction of image frame in image receiving system
JP2004015553A (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
EP2084704A1 (en) Apparatus and method for transmitting or replaying multi-channel audio signal
KR101336553B1 (ko) 계층적 부호화 장치 및 방법
KR100240331B1 (ko) 디코더 시스템의 비디오/오디오 동기화 장치
KR100499519B1 (ko) 오디오 립 싱크 제어방법
KR100998449B1 (ko) Ｄｍｂ 수신장치 및 그 버퍼제어 방법
JP5352545B2 (ja) デジタル放送送出装置
KR100950771B1 (ko) 방송 신호의 송신 및 수신 방법
JP3543716B2 (ja) ストリーム生成方法及び装置
KR100881312B1 (ko) 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050504

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061023

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20070314

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20061023

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I