[go: up one dir, main page]

KR960008053B1 - Apparatus for synchronization of image signal and sound signal - Google Patents

Apparatus for synchronization of image signal and sound signal Download PDF

Info

Publication number
KR960008053B1
KR960008053B1 KR1019930013511A KR930013511A KR960008053B1 KR 960008053 B1 KR960008053 B1 KR 960008053B1 KR 1019930013511 A KR1019930013511 A KR 1019930013511A KR 930013511 A KR930013511 A KR 930013511A KR 960008053 B1 KR960008053 B1 KR 960008053B1
Authority
KR
South Korea
Prior art keywords
signal
video
data
decoder
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019930013511A
Other languages
Korean (ko)
Other versions
KR950004894A (en
Inventor
김근환
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019930013511A priority Critical patent/KR960008053B1/en
Publication of KR950004894A publication Critical patent/KR950004894A/en
Application granted granted Critical
Publication of KR960008053B1 publication Critical patent/KR960008053B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The apparatus is for synchronizing MPEG-Picture and MPEG-Voice while complying with the standard under the MPEG recommendation. The synchronization apparatus includes a data processing unit(1), a RAM(2), buffers(3,4), a STC counter(5), registers(6,7,8,9), comparators(10,11,12,13), a picture decoder(14), a voice decoder(15) and a decoder controller(20). The apparatus improves a system application capability by solving the synchronization problem such as a lack of lip sync.

Description

영상신호와 음성신호간의 동기화장치Synchronization device between video signal and audio signal

제1도는 MPEG영상, 음성신호의 처리시스템을 각각 보인 일반적인 블록 구성도.1 is a general block diagram showing an MPEG video and audio signal processing system, respectively.

제2도(a)는 영상신호의 디코딩과 디스플레이 처리 타이밍도.2A is a timing diagram for decoding and displaying a video signal.

제2도(b)는 음성신호의 디코딩과 플레이 처리 타이밍도.2B is a timing diagram of decoding and playing processing of a voice signal.

제3도는 본 발명의 일실시예에 따른 동기화장치의 블럭 구성도.3 is a block diagram of a synchronization device according to an embodiment of the present invention.

제4도는 본 발명의 다른 실시예에 따른 동기화장치의 블록 구성도.4 is a block diagram of a synchronization device according to another embodiment of the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

1 : 데이터 처리부 2 : RAM1: data processing unit 2: RAM

3,4, : 버퍼 5 : STC 카운터3,4, buffer 5: STC counter

6,7,8,9 : 레지스터 10,11,12,13 : 비교부6,7,8,9: registers 10,11,12,13: comparison unit

14 : 영상 디코더 15 : 음성 디코더14: video decoder 15: voice decoder

20 : 디코더 제어부20: decoder control unit

본 발명은 압축된 영상, 음성 정보 신호를 디코딩하여 처리하는 장치에 있어서 영상신호 처리시스템과 음성신호 처리시스템간의 동기를 맞추기 위한 영상신호와 음성신호간 동기화장치에 관한 것이다.The present invention relates to a synchronization device between a video signal and an audio signal for synchronizing between a video signal processing system and an audio signal processing system in a device for decoding and processing compressed video and audio information signals.

일반적인 데이터와는 달리 다차원적 특성을 갖는 정지영상 및 동영상신호를 디지털 방식으로 나타내는데 있어서는 방대한 양의 데이터 신호가 발생된다.Unlike general data, a vast amount of data signals are generated in digital representation of still and moving images having multidimensional characteristics.

이러한 디지털 영상신호를 처리, 저장, 전송 및 표시하는 응용분야는 상대적으로 고가의 장비가 필요하게 되나, 최근의 여상 입력소자, 저장장치, 표시소자등의 신호 처리기술의 개발에 힘입어 고선명 텔레비젼, 멀티미디어 컴퓨터등 디지털 영상의 응용분야가 광범위하게 확산되는 추세에 있다.Application fields for processing, storing, transmitting and displaying such digital video signals require relatively expensive equipment. However, thanks to the recent development of signal processing technologies such as image input devices, storage devices, and display devices, high-definition television, Application fields of digital video, such as multimedia computers, are widely spreading.

또한, 디지털화된 영상신호는 일반 데이터와는 달리 상당량의 중복성 정보를 포함하고 있어 이들을 제거하더라도 원래 영상의 화질에 영향을 미치지 않는다는 특성을 이용하는 영상 압축기술이 다각도로 개발되고 있고, 이미 개발된 동영상신호의 압축기술은 크게 화상전화용 압축방식과 저장매체용 압축방식으로 발전되고 있으며, 1988년 5월 설립된 MPEG(Moving Picture Experts Group)에서는 컴퓨터 환경에서의 동영상을 편리하게 취급할 수 있도록 압축기법의 표준화작업이 진행되고 있다.In addition, unlike the general data, the digitized video signal contains a considerable amount of redundancy information. Therefore, a video compression technology is being developed at various angles. Compression technology has been largely developed into the compression method for video telephony and storage media. MPEG (Moving Picture Experts Group) was established in May 1988. Standardization work is underway.

MPEG는 상술한 화상압축뿐만 아니라 관련된 음성신호 압축, 음성 및 영상신호의 동기에 대한 주세를 다루고 있다. 즉, MPEG는 MPEG-영상, MPEG-음성, MPEG-시스템으로 구성되어 있다. MPEG-영상은 약 1.2Mbits/s의 영상신호의 압축에 대해 다루고 있으며, MPEG-음성은 채널당 64, 128, 192Kbits/s의 전송속도를 갖는 디지털 음성신호의 압축에 대해 다루고 있다. 또한 MPEG-시스템은 여러개의 압축된 음성 및 영상신호의 다중화 및 동기문제를 다루고 있다.MPEG deals with not only the above-mentioned image compression but also related audio signal compression, synchronization of audio and video signals. In other words, MPEG is composed of MPEG video, MPEG audio, and MPEG system. MPEG-Video deals with the compression of video signals of approximately 1.2 Mbits / s, and MPEG-Audio deals with the compression of digital audio signals with transmission rates of 64, 128 and 192 Kbits / s per channel. The MPEG-system also addresses the problem of multiplexing and synchronizing multiple compressed audio and video signals.

이러한 MPEG 영상 및 음성을 처리하는 시스템에 의하며, 일반적으로 제1도에 개략적으로 나타낸 바와 같이 각각의 디코더(22,25)와 버퍼(21,24)를 이용하여 압축된 영상 및 음성신호를 처리하고 있고, 영상신호를 신장하기 위해서, 외부에서 만들어진 동기신호(Vsync)에 따라 상기 디코더가 동작하여 제2도에 도시된 바와같은 타이밍관계에 따르도록 하고 있다.The MPEG video and audio processing system generally processes compressed video and audio signals using respective decoders 22 and 25 and buffers 21 and 24 as schematically shown in FIG. In order to extend the video signal, the decoder operates in accordance with an externally generated synchronization signal Vsync to comply with the timing relationship as shown in FIG.

즉, 영상신호의 처리에 있어서는 일정한 시간간격을 가진 동기신호에 맞추어 제2도(a)와 같이 입력된 MPEG-영상신호를 디코딩하고 디스플레이하게 하며, 음성신호의 처리에 있어서는 제2(b)도의 타이밍도와 같이 별도의 타이밍으로 디코딩 및 플레이하게 된다. MPEG의 영상은 양방향 예측 프레임(B 픽처) 때문에 전송순서(디코딩순서)가 디스플레이 순서와 달라지게 된다. 즉, IO B1 B2 P3 B4 B5…와 같은 디스플레이 순서가 전송될때는(디코딩될때는) IO P3 B1 B2 P6 B4 B5…의 순이 되는 것이다.That is, in the processing of the video signal, the MPEG-video signal input as shown in FIG. 2 (a) is decoded and displayed in accordance with the synchronization signal having a predetermined time interval, and in the processing of the audio signal in FIG. Decode and play at a separate timing as shown in the timing chart. In MPEG video, the transmission order (decoding order) is different from the display order because of the bidirectional predictive frame (B picture). Namely, IO B1 B2 P3 B4 B5... When a display sequence such as is transmitted (when decoded) IO P3 B1 B2 P6 B4 B5... Will be in order.

이것은 제2도(a)에 나타난 바와 같다. 디코딩후에는 프레임이 디스플레이 순서대로 재배열되어야 하므로 이를 위하여 제1도에 프레임 재배열용 버퍼(23)가 있다. 제2도(a)와 같이 프레임 재배열 때문에 초기기도시의 지연외에는 첫프레임이 디코딩된 후 두 영상프레임의 시간지연후에 디스플레이 된다.This is as shown in Fig. 2 (a). After decoding, the frames need to be rearranged in the display order. Thus, the buffer rearrangement buffer 23 is shown in FIG. As shown in FIG. 2 (a), due to the frame rearrangement, the first frame is decoded and displayed after the time delay of two image frames, except for the delay shown in the initial drawing.

한편, 제2도(b)와 같이 MPEG 음성에 있어서는 초기 기동시의 지연외에 첫프레임이 디코딩후 한 음성프레임의 지연후에 플레이된다.On the other hand, as shown in Fig. 2 (b), in the MPEG audio, in addition to the delay at the initial startup, the first frame is played after the delay of one audio frame after decoding.

이와 같이 영상 시스템과 음성 시스템을 완전히 별도로 운영을 한다면 싱크(lip sync)가 맞지 않게 된다. 따라서 상기 두 시스템간의 동기를 맞추기 위해 특별한 고려가 필요하게 된다. 이를 위하여 MPEG에서는 타임 스탬프(time stamp)개념을 도입하여 동기 문제를 달성한다고 하고 있다. 그러나, MPEG 에서는 구체적인 회로 구성을 채택하는 것은 아니고 단지 많은 방법중 비교적 효과적인 것을 규정한 표준안이며, 단지 동기를 위해서 STC(System Time Clock ; 이하 STC라 함)와 DTS(Decoding Time Stapm ; 이하 DTS 함) 및 PTS(Presentation Time Stamp ; 이하 PTS라 함)을 사용한다고만 규정하고 있다.In this way, if the video system and the audio system are completely operated separately, the lip sync is not matched. Therefore, special consideration is needed to synchronize the two systems. To this end, MPEG introduces a time stamp concept to achieve a synchronization problem. However, MPEG does not adopt a specific circuit configuration, but is a standard that stipulates that it is relatively effective among many methods, and only for synchronization, STC (System Time Clock) or DTS (Decoding Time Stapm) is used for synchronization. And PTS (hereinafter referred to as PTS).

본 발명은 상기한 MPEG 권고안 범위내에서 표준안에 부합됨과 아울러 구체적으로 MPEG-영상과 MPEG-음성 동기를 맞추는 동기화 장치를 제공하는데 그 목적이 있다.An object of the present invention is to provide a synchronization device that conforms to the standard within the scope of the MPEG recommendation described above, and specifically synchronizes MPEG video and MPEG audio.

상기 목적을 달성하기 위한 본 발명의 일관점에 따르면, 멀티플렉스된 비트스트림의 데이터신호를 입력하여 신호처리수단을 통해 디멀티플렉싱한 다음 각각의 버퍼를 통해 영상 디코더 및 음성 디코더에 전달함으로써, 영상신호와 음성신호를 동기화시켜 디스플레이하는 영상신호와 음성신호간 동기화장치에 있어서, 상기 신호처리수단은, 상기 멀티클렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수개의 타임스템프, 영상신호 및 음성신호를 추출하며, 이로부터 추출된 시스템 타이클럭기준과 복수의 타임스템프는 일시 저장 및 복원하여 출력하고, 상기 추출된 영상신호 및 음성신호는 상기 버퍼(3,4,)를 통해 상기 영상 디코더(14) 및 음성디코더(15)로 출력하도록 하는 데이터 검출 및 저장수단과 ; 상기 데이터 검출 및 저장수단의 시스템 타임크럭기준과 복수의 타임스템프간의 비교에 의해서 발생되는 인터럽트 신호에 기초하여 상기 버퍼링된 영상 및 음성신호에 대한 디코딩 및 디스플레이(또는 플레이) 동작개시를 제어하는 디코딩타임 제어수단을 구비함을 특징으로 하는 영상신호와 음성신호간 동기화장치가 제공된다.According to an aspect of the present invention for achieving the above object, by inputting the data signal of the multiplexed bitstream and demultiplexed through the signal processing means and then delivered to the video decoder and the audio decoder through the respective buffer, And a video signal and an audio signal for synchronizing and displaying an audio signal, wherein the signal processing means comprises: a system time clock reference included in the data signal by demultiplexing a data signal of the multiplexed bitstream; And extracting a plurality of time stamps, video signals, and audio signals, and storing and restoring the system tie clock reference and the plurality of time stamps extracted therefrom, and outputting the extracted video and audio signals. Number of data detection and storage for outputting to the video decoder 14 and the audio decoder 15 through And; Decoding time for controlling the start of decoding and displaying (or playing) operations on the buffered video and audio signals based on an interrupt signal generated by a comparison between a system time clock reference of the data detection and storage means and a plurality of time stamps. Provided is a synchronization device between a video signal and an audio signal, characterized by having a control means.

또한, 본 발명에 따른 상기한 구성의 영상신호와 음성신호간 동기화 장치에 채용되는 데이터 검출 및 저장수단은, 멀티플렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수의 타임스템프, 영상신호 및 음성신호를 추출하는 데이터 처리부(1)와, 데이터 처리부(1)에 의해서, 추출된 상기 시스템 타임클럭기준과 복수의 타임스템프를 일시 저장 및 복원하는 RAM(2)으로 구성되며, RAM(2)은, 데이터 처리부(1)에서 추출한 복수의 타임스템프로서 DTS-V, DTS-A, PTS-V 및 PTS-A의 4개의 값을 저장하는 영역을 포함한다.In addition, the data detection and storage means employed in the synchronization device between the video signal and the audio signal of the above configuration according to the present invention, the system time clock reference included in the data signal by demultiplexing the data signal of the multiplexed bitstream And a data processor 1 for extracting a plurality of time stamps, video signals, and audio signals, and a RAM for temporarily storing and restoring the extracted system time clock criteria and a plurality of time stamps by the data processor 1 ( 2), and the RAM 2 includes an area for storing four values of DTS-V, DTS-A, PTS-V, and PTS-A as a plurality of time stamps extracted by the data processing unit 1. .

더욱이, 상기한 구성의 본 발명에 따른 동기화 장치에 포함되는 디코딩타임 제어수단은, 데이터 처리부(1)로부터의 시스템 클럭을 입력으로 하여 기준시각을 제공하는 STC 카운터(5)와, 데이터 처리부(1)로부터의 복수의 타임스템프를 일시 저장 후 출력하는 레지스터(6,7,8,9)와, 상기 STC카운터(5)의 시스템 타임클럭기준에 따른 기준시각을 참조하여 상기 레지스터(6,7,8,9)로부터 제공되는 복수의 타임 스템프를 각각 비교하여 일치되는 시점에, 그에 상응하는 인터럽트 신호를 발생하여 출력하는 비교부(10,11,12,13)와, 상기 비교부(10,11,12,13)의 인터럽트 신호에 응답하여 상기 영상 디코더(14) 및 음성 디코더(15)의 영상 및 음성신호에 대한 디코딩 동작개시와, 디스플레이(또는 플레이) 동작개시를 수행하기 위한 디코딩 개시신호와 디스플레이(또는 플레이) 개시신호를 제공하는 디코더 제어부(20)로 구성된다.Furthermore, the decoding time control means included in the synchronization device of the present invention having the above-described configuration includes an STC counter 5 for providing a reference time by inputting a system clock from the data processing unit 1, and a data processing unit 1; Registers 6, 7, 8, and 9 for temporarily storing and outputting a plurality of time stamps from < RTI ID = 0.0 >) and < / RTI > A comparison unit (10, 11, 12, 13) for generating and outputting an interrupt signal corresponding to the plurality of time stamps provided from (8, 9), respectively, at a matching time point, and the comparison unit (10, 11) And a decoding start signal for starting the video and audio signals of the video decoder 14 and the audio decoder 15 and a display (or play) operation in response to the interrupt signals 12 and 13; Display (or play) A decoder control unit 20 to provide a signal.

상기 목적을 달성하기 위한 본 발명의 다른 관점에 따르면, 멀티플렉스된 비트스트림의 데이터신호를 입력하여 신호처리수단을 통해 디멀티플렉싱한 다음 각각의 버퍼를 통해 영상 디코더 및 음성 디코더에 전달함으로써, 영상신호와 음성신호를 동기화시켜 디스플레이하는 영상신호와 음성신호간 동기화장치에 있어서, 상기 신호처리수단은, 상기 멀티플렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수개의 타임스템프, 영상신호 및 음성신호를 추출하며, 이로부터 추출된 시스템 타임클럭기준과 복수의 타임스템프는 일시 저장 및 복원하여 출력하고, 상기 추출된 영상신호 및 음성신호는 상기 버퍼(3,4)를 통해 상기 영상 디코더(14) 및 음성 디코더(15)로 출력하도록 하는 데이터 검출 및 저장수단과, 상기 데이터 검출 및 저장수단의 시스템 타임클럭기준과 복수의 타임스템프간의 비교에 의거하여 발생되는 스트로브 신호에 기초하여 상기 버퍼링된 영상 및 음성신호에 대한 디코딩 및 디스플레이(또는 플레이) 동작을 동시에 수행할 수 있도록 하는 디코딩 개시신호와 디스플레이(또는 플레이) 개시신호를 상기 영상 디코더(14)와 음성디코더(15)로 출력하는 디코더 제어수단을 구비함을 특징으로 영상신호와 음성신호간 동기화장치가 제공된다.According to another aspect of the present invention for achieving the above object, by inputting the data signal of the multiplexed bitstream and demultiplexed through the signal processing means and then delivered to the video decoder and the audio decoder through the respective buffer, And a video signal and an audio signal for synchronizing and displaying an audio signal, wherein the signal processing means comprises: a system time clock reference included in the data signal by demultiplexing a data signal of the multiplexed bitstream; A plurality of time stamps, video signals, and audio signals are extracted, and the system time clock reference and the plurality of time stamps extracted therefrom are temporarily stored, restored, and output. 4) data detection and storage for output to the video decoder 14 and the audio decoder 15 through However, decoding and displaying (or playing) the buffered video and audio signals are simultaneously performed based on a strobe signal generated based on a comparison between a system time clock reference of the data detection and storage means and a plurality of time stamps. And a decoder control means for outputting a decoding start signal and a display (or play) start signal to the video decoder 14 and the audio decoder 15 so that the video signal and the audio signal can be synchronized. do.

또한, 본 발명에 따른 상기한 구성이 영상신호와 음성신호간 동기화 장치에 채용되는 데이터 검출 및 저장수단은, 멀티플렉스된 비스스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타이클럭기준과 복수의 타임스템프를 추출하는 데이터 처리부(1)와, 상기 데이터 처리부(1)에 의해서 추출된 상기 시스템 타임클럭기준과 복수의 타임스템프를 일시 저장 및 목원하는 RAM(2)으로 구성되며, 상기 데이터 검출 및 저장수단내의 RAM(2)은, 상기 데이터 처리부(1)에서 추출한 복수의 타임스템프로서 DTS-V, DTS-A, PTS-V 및 PTS-A의 4개의 값을 저장하는 영역을 포함한다.In addition, the data detection and storage means employed in the synchronization device between the video signal and the audio signal according to the present invention is a system tie clock reference included in the data signal by demultiplexing the multiplexed bisstream data signal. And a data processing unit 1 for extracting a plurality of time stamps, and a RAM 2 for temporarily storing and storing the system time clock reference extracted by the data processing unit 1 and a plurality of time stamps. The RAM 2 in the data detection and storage means includes an area for storing four values of DTS-V, DTS-A, PTS-V, and PTS-A as a plurality of time stamps extracted by the data processing unit 1. do.

더욱이, 상기한 구성의 본 발명에 따른 동기화 장치에 포함되는 디코더 제어수단은, 데이터 처리부(1)로부터의 시스템 클럭을 입력으로 하여 기준시각을 제공하는 STC 카운터(5)와, 데이터 처리부(1)로부터의 복수의 타임스템프를 일시 저장 후 출력하는 레지스터(6,7,8,9)와, 상기 STC카운터(5)의 시스템 타임클럭기준에 따른 기준시각을 참조하여 상기 레지스터(6,7,8,9)로부터 제공되는 복수의 타임 스템프를 각각 비교하여 일치되는 시점에, 그에 상응하는 스트로브 신호에 기초하여 상기 영상 디코더(14) 및 음성 디코더(15)의 디코더 동작과 디스플레이(또는 플레이) 동작을 수행하도록 하는 비교부(10,11,12,13)로 구성된다.Further, the decoder control means included in the synchronization device of the present invention having the above-described configuration includes an STC counter 5 which provides a reference time by inputting a system clock from the data processor 1, and a data processor 1; Registers 6, 7, 8, and 9 for temporarily storing and outputting a plurality of timestamps from the registers; and the registers 6, 7, and 8 with reference to the reference time according to the system time clock reference of the STC counter 5. And compare the plurality of time stamps provided from (9) with each other and perform decoder and display (or play) operations of the video decoder 14 and the audio decoder 15 on the basis of the corresponding strobe signal. Comparator 10, 11, 12, 13 to perform.

이하 첨부된 도면을 참고하여 본 발명에 따른 바람직한 실시예에 대하여 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

제3도는 본 발명의 일실시예에 따른 동기화 장치도이고, 제4도는 본 발명의 다른 실시예에 따른 동기화 장치도이다.3 is a synchronization device diagram according to an embodiment of the present invention, Figure 4 is a synchronization device diagram according to another embodiment of the present invention.

제3도를 참조하면, 본 발명의 일실시예에 따른 동기화 장치는 데이터 처리부(1)와, RAM(2), 버퍼(3,4), STC 카운터(5), 레지스터(6,7,8,9), 비교부(10,11,12,13), 영상 디코더(14), 음성 디코더(15) 및 디코더 제어부(20)를 포함한다.Referring to FIG. 3, a synchronization device according to an embodiment of the present invention includes a data processor 1, a RAM 2, a buffer 3, 4, an STC counter 5, and a register 6, 7, 8. And 9), a comparator 10, 11, 12, 13, an image decoder 14, an audio decoder 15, and a decoder controller 20.

데이터 처리부(1)는 멀티플렉스된 비트스트림의 데이터신호를 디멀트플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과 복수의 타임스템프를 추출하며, 상기 추출된 시스템 타임클럭기준은 STC 카운터(5)로 제공하고, 상기 추출된 복수의 타임스템프는 후술하는 RAM(2) 및 레지스터(6,7,8,9)로 제공하도록 구성된다. 또한, 멀티플렉스된 비트스트림의 데이터신호를 디멀트플렉스하여 추출되는 영상신호는 후술하는 버퍼(3)에 제공되고, 상기 디멀티플렉스하여 추출되는 음성신호는 후술하는 버퍼(4)에 제공되도록 구성된다.The data processor 1 demultiplexes the data signal of the multiplexed bitstream to extract a system time clock criterion and a plurality of time stamps included in the data signal, and the extracted system time clock criterion is an STC counter 5. And the extracted plurality of timestamps are provided to the RAM 2 and the registers 6, 7, 8, and 9 described later. The video signal extracted by demultiplexing the data signal of the multiplexed bitstream is provided to a buffer 3 to be described later, and the audio signal extracted by the demultiplexed is provided to a buffer 4 to be described later. do.

버퍼(3,4)는 데이터 처리부(1)로부터 추출되어 입력되는 영상 및 음성신호를 버퍼링한 다음에 상기 영상 신호는 후술하는 영상 디코더(14)로 출력하고, 상기 음성신호는 후술하는 음성 디코더(!5)로 출력하도록 구성된다.The buffers 3 and 4 buffer the video and audio signals extracted and input from the data processing unit 1, and then output the video signals to the video decoder 14, which will be described later. Output to! 5).

STC 카운터(5)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 PTS-V데이터를 일시 저장 후 후술하는 비교부(10,11,12,13)의 일측단자로 제공되도록 구성되며, 상기 STC 카운터(5)는 33비트 크기의 카운터로 이루어진다.The STC counter 5 is configured to temporarily store PTS-V data among a plurality of time stamps provided from the data processing unit 1 and to provide one side terminal of the comparators 10, 11, 12, and 13 described later. The STC counter 5 consists of a 33-bit counter.

레지스터(6)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 PTS-V 데이터를 일시 저장 후 후술하는 비교부(10)의 타측단자에 제공되도록 구성되며, 레지스터(7)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 PTS-A 데이터를 일시 저장 후 후술하는 비교부(11)의 타측단자에 제공되도록 구성된다.The register 6 is configured to temporarily store PTS-V data among a plurality of time stamps provided from the data processing unit 1 and to provide it to the other terminal of the comparison unit 10 described later. The register 7 is a data processing unit ( The PTS-A data is temporarily stored in the plurality of time stamps provided from 1) and then provided to the other terminal of the comparison section 11 described later.

레지스터(8)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 DTS-V 데이터를 일시 저장 후 후술하는 비교부(12)의 타측단자에 제공되도록 구성되며, 레지스터(9)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 DTS-A 데이터를 일시 저장 후 후술하는 비교부(13)의 타측단자에 제공되도록 구성된다.The register 8 is configured to temporarily store DTS-V data among a plurality of time stamps provided from the data processing unit 1, and to provide it to the other terminal of the comparison unit 12 described later. The register 9 is a data processing unit ( The DTS-A data is temporarily stored in the plurality of time stamps provided from 1) and provided to the other terminal of the comparison section 13 described later.

비교부(10)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(6)로부터 제공되는 PTS-V 데이터와의 비교 결과 일치되는 시점에 인터럽트 신호(IRQ1)를 발생하여 후술하는 디코더 제어부(20)로 제공하도록 구성된다.The comparator 10 generates an interrupt signal IRQ1 at a time point that matches the reference time provided from the STC counter 5 and the PTS-V data provided from the register 6 and generates a decoder control unit 20 to be described later. Is configured to provide

비교부(11)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(7)로부터 제공되는 PTS-A 데이터와의 비교 결과 일치되는 시점에 인터럽트 신호(IRQ2)를 발생하여 후술하는 디코더 제어부(20)로 제공하도록 구성된다.The comparator 11 generates an interrupt signal IRQ2 at a point of time when the comparison time between the reference time provided from the STC counter 5 and the PTS-A data provided from the register 7 matches, and thus the decoder controller 20 described later. Is configured to provide

비교부(12)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(8)로부터 제공되는 DTS-V 데이터와의 비교 결과 일치되는 시점에 인터럽트 신호(IRQ3)를 발생하여 후술하는 디코더 제어부(20)로 제공하도록 구성된다.The comparator 12 generates an interrupt signal IRQ3 at a time point that matches the reference time provided from the STC counter 5 with the DTS-V data provided from the register 8, and the decoder controller 20 described later. Is configured to provide

비교부(13)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(9)로부터 제공되는 DTS-A 데이터와의 비교 결과 일치되는 시점에 인터럽트 신호(IRQ4)를 발생하여 후술하는 디코더 제어부(20)로 제공하도록 구성된다.The comparator 13 generates an interrupt signal IRQ4 at a point of time when a comparison result between the reference time provided from the STC counter 5 and the DTS-A data provided from the register 9 matches and the decoder controller 20 described later. Is configured to provide

디코더 제어부(20)는 비교부(10)로부터 인터럽트 신호(IRQ1)가 인가되는 시점에 디스플레이 개시신호를 상기 영상 디코더(14)로 제공함으로써, 후술되는 내용으로부터 디코딩된 영상신호를 TV 시스템으로 출력하도록 구성되며, 비교부(11)로부터 인터럽트 신호(IRQ2)가 인가되는 시점에 플레이 개시신호를 상기 음성 디코더(15)로 제공함으로써, 후술되는 내용으로부터 디코딩된 음성신호를 앰프로 출력하도록 구성된다.The decoder controller 20 provides a display start signal to the video decoder 14 at the time when the interrupt signal IRQ1 is applied from the comparator 10 to output the video signal decoded from the following description to the TV system. And providing a play start signal to the audio decoder 15 at the time when the interrupt signal IRQ2 is applied from the comparator 11, thereby outputting the audio signal decoded from the following description to the amplifier.

또한, 디코더 제어부(20)는 비교부(12)로부터 인터럽트 신호(IRQ3)가 인가되는 시점에 디스플레이 개시신호를 상기 영상 디코더(14)로 제공함으로써, 상기 버퍼(3)로부터 제공되는 영상신호를 디코딩하게 되며, 비교부(13)로부터 인터럽트 신호(IRQ4)가 인가되는 시점에 디코딩 개시신호를 상기 음성 디코더(15)로 제공함으로써, 상기 버퍼(4)로부터 제공되는 음성신호를 디코딩하도록 구성된다.In addition, the decoder controller 20 decodes a video signal provided from the buffer 3 by providing a display start signal to the video decoder 14 at the time when the interrupt signal IRQ3 is applied from the comparator 12. When the interrupt signal IRQ4 is applied from the comparator 13, the decoding start signal is provided to the voice decoder 15 to decode the voice signal provided from the buffer 4.

제4도를 참조하면, 본 발명의 다른 실시예에 따른 동기화 장치를 제3도에서 반복된 구성부재에 포함시켜 설명한다. 즉, 데이터 처리부(1)와, RAM(2), STC 카운터(5), 레지스터(6,7,8,9), 비교부(10,11,12,13), 영상 디코더(14) 및 음성 디코더(15)를 포함한다.Referring to FIG. 4, a synchronization device according to another embodiment of the present invention will be described as being included in the repeated components of FIG. 3. That is, the data processor 1, the RAM 2, the STC counter 5, the registers 6, 7, 8, 9, the comparators 10, 11, 12, 13, the video decoder 14, and the audio. And a decoder 15.

데이터 처리부(1)는 멀티플렉스된 비트스트림의 데이터신호를 디멀트플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과 복수의 타임스템프를 추출하며, 상기 추출된 시스템 타임클럭기준은 STC 카운터(5)로 제공하고, 상기 추출된 복수의 타임스템프는 후술하는 RAM(2) 및 레지스터(6,7,8,9)로 제공하도록 구성된다. 또한, 멀티플렉스된 비트스트림의 데이터신호를 디멀트플렉스하여 추출되는 영상신호는 버퍼(3)을 통해 후술하는 영상디코더(14)에 제공되고, 상기 디멀티플렉스하여 추출되는 음성신호 또한, 버퍼(4)를 통해 후술하는 음성 디코더(15)에 제공되도록 구성된다.The data processor 1 demultiplexes the data signal of the multiplexed bitstream to extract a system time clock criterion and a plurality of time stamps included in the data signal, and the extracted system time clock criterion is an STC counter 5. And the extracted plurality of timestamps are provided to the RAM 2 and the registers 6, 7, 8, and 9 described later. The video signal extracted by demultiplexing the data signal of the multiplexed bitstream is provided to a video decoder 14 to be described later through the buffer 3, and the audio signal extracted by the demultiplexing is also buffered ( 4) to be provided to the voice decoder 15 to be described later.

STC 카운터(5)는 데이터 처리부(1)로부터 입력되는 시스템 클럭을 카운터하여 얻어지는 기준시각을 후술하는 비교부(10,11,12,13)의 일측단자로 제공되도록 구성되며, 상기 STC 카운터(5)는 33비트 크기의 카운터로 이루어진다.The STC counter 5 is configured to be provided as one side terminal of the comparators 10, 11, 12, and 13 which describe the reference time obtained by countering the system clock input from the data processor 1, and the STC counter 5 ) Consists of a 33-bit counter.

레지스터(6)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 PTS-V 데이터를 일시 저장 후 후술하는 비교부(11)의 타측단자에 제공되도록 구성되며, 레지스터(7)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 PTS-A 데이터를 일시 저장 후 후술하는 비교부(13)의 타측단자에 제공되도록 구성된다.The register 6 is configured to temporarily store PTS-V data among a plurality of time stamps provided from the data processing unit 1 and to provide it to the other terminal of the comparison unit 11 described later. The register 7 is a data processing unit ( The PTS-A data is temporarily stored in the plurality of time stamps provided from 1) and then provided to the other terminal of the comparison section 13 described later.

레지스터(8)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 영상신호의 DTS-V 데이터를 일시 저장 후 후술하는 비교부(10)의 타측단자에 제공되도록 구성되며, 레지스터(9)는 데이터 처리부(1)로부터 제공되는 복수의 타임스템프중 DTS-A 데이터를 일시 저장 후 후술하는 비교부(12)의 타측단자에 제공되도록 구성된다.The register 8 is configured to temporarily store DTS-V data of a video signal among a plurality of time stamps provided from the data processing unit 1, and to provide it to the other terminal of the comparison unit 10 described later. The DTS-A data is temporarily stored in the plurality of time stamps provided from the data processing unit 1 and then provided to the other terminal of the comparison unit 12 described later.

비교부(10)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(8)로부터 제공되는 DTS-V 데이터와의 비교 결과 일치되는 시점에 스트로브신호를 발생하여 후술하는 영상 디코더(14)로 제공하도록 구성된다.The comparator 10 generates a strobe signal at a point in time at which the reference time provided from the STC counter 5 and the DTS-V data provided from the register 8 coincide, and provides the image signal to the image decoder 14 described later. Is configured to.

비교부(11)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(6)로부터 제공되는 PTS-A 데이터와의 비교 결과 일치되는 시점에 스트로브신호를 발생하여 후술하는 영상 디코더(14)로 제공하도록 구성된다.The comparator 11 generates a strobe signal at a point in time at which the reference time provided from the STC counter 5 matches with the PTS-A data provided from the register 6, and provides the strobe signal to the image decoder 14 described later. Is configured to.

비교부(12)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(9)로부터 제공되는 DTS-A 데이터와의 비교 결과 일치되는 시점에 스트로브신호를 발생하여 후술하는 음성 디코더(15)로 제공하도록 구성된다.The comparator 12 generates a strobe signal at a point of time when the reference time provided from the STC counter 5 matches with the DTS-A data provided from the register 9, and provides the strobe signal to the voice decoder 15 described later. Is configured to.

비교부(13)는 STC 카운터(5)로부터 제공되는 기준시각과 레지스터(7)로부터 제공되는 PTS-A 데이터와의 비교 결과 일치되는 시점에 스트로브신호를 발생하여 후술하는 음성 디코더(15)로 제공하도록 구성된다.The comparator 13 generates a strobe signal at the point of time when the comparison time between the reference time provided from the STC counter 5 and the PTS-A data provided from the register 7 matches and provides the voice decoder 15 to be described later. Is configured to.

이하, 예시된 도면을 참조하여 본 발명에 따른 바람직한 실시예에 대하여 설명한다.Hereinafter, with reference to the illustrated drawings will be described a preferred embodiment according to the present invention.

제1실시예First embodiment

MPEG-시스템에 따른 MPEG-시스템 동기의 기본원리는 단일의 90KHz 시스템 클럭을 사용하여 디코더에서는 부호화되고 멀티플렉싱된 데이터를 수신하는 시간과 영상 및 음성의 디코딩 그릭 디스플레이 시간을 규정하는 타임스템프를 사용한다는 것으로, 제3 및 제4도에 나타낸 본 발명의 장치에서도 상기 언급한 멀트플렉스된 비트스트림 입력 신호를 받는다.The basic principle of MPEG-system synchronization in accordance with MPEG-systems is that the decoder uses a single 90KHz system clock and uses a timestamp that defines the time to receive encoded and multiplexed data and the decoding glyph display of video and audio. The apparatus of the present invention, shown in Figures 3 and 4, also receives the aforementioned multiplexed bitstream input signal.

제3도 및 제4도에 도시된 본 발명의 영상복호기는 프레임 재배열용 버퍼(RAM)가 포함되어 있고 음성 복호기에도 플레이 지연을 위한 음성 프레임 버퍼(RAM)가 포함되어 있다.The video decoder of the present invention shown in FIGS. 3 and 4 includes a frame rearrangement buffer (RAM), and the audio decoder also includes a voice frame buffer (RAM) for play delay.

멀티플렉스된 입력신호는 영상신호와 음성신호가 혼입되어 있는 것이므로 데이터 처리부(1)에 의해서 디멀티플렉싱하여 각각의 신호로 분리하여 처리된다.Since the multiplexed input signal is a video signal and an audio signal mixed, the multiplexed input signal is demultiplexed by the data processor 1 to be processed into a separate signal.

그리고 디멀티플렉싱을 행하면서 동시에 입력신호에 포함되어 있는 SCR, DTS, PTS를 검출하여 이후 신호처리시 활용하도록 한다. 상기 디멀티플렉싱과 입력신호중에 포함된 타이밍신호의 검출을 위해서는 디멀티플렉싱 수단과 타이밍신호 검출수단의 설계에 의해서도 가능하지만 본 실시예에 있어서는 제3도에 도시된 바와같이 프로그램에 의해 제어되는 장치로 실현된다.In addition, while performing demultiplexing, the SCR, DTS, and PTS included in the input signal are detected to be used in subsequent signal processing. The demultiplexing and timing signal included in the input signal can be detected by the design of the demultiplexing means and the timing signal detecting means. In this embodiment, however, the apparatus is controlled by a program as shown in FIG. do.

데이터 처리부(1)는 처리되는 데이터의 일시적인 보관등을 위한 기억장치인 RAM(2)을 구비하고, 내부 입출력수단에 의한 입력 데이터를 수신한 사기 데이터 처리부(1)는 입력데이터중에 포함된 타이밍신호를 추출하며, 또한 추출된 영상신호 및 음성신호를 각각의 버퍼(3,4)에 저장한다.The data processor 1 includes a RAM 2 which is a storage device for temporarily storing data to be processed, and the fraudulent data processor 1 that receives the input data by the internal input / output means includes a timing signal included in the input data. And extract the extracted video and audio signals into respective buffers 3 and 4.

데이터 처리부(1)는 타이밍 신호를 추출하여 연결되어 있는 기억장치인 RAM(2)에 일시 기억하여 두고, 적당한 조건하에서 복수의 게지스터(6,7,8,9)또는 STC 카운터(5)에 전송한다.The data processor 1 temporarily stores the timing signal in RAM 2, which is a storage device connected thereto, and temporarily stores the timing signal in the plurality of registers 6, 7, 8, 9 or STC counter 5 under suitable conditions. send.

추출된 타이밍 신호중에서 SCR는 데이터 처리부(1)에 연결된 STC카운터(5)로 전송된다. STC는 시스템 타임클럭으로서 MPEG 표준에 따른 90KHz의 클럭이며 시스템의 기준 타이밍을 제공한다.Of the extracted timing signals, the SCR is transmitted to the STC counter 5 connected to the data processor 1. The STC is a system time clock of 90 KHz according to the MPEG standard and provides the system's reference timing.

그리고 데이터 처리부(1)는 영상 및 음성신호에 대한 각각의 첫 번째 DTS, PTS를 읽어서, 각각 PTS-V, PTS-A, DTS-V, DTS-A 레지스터(6,7,8,9)에 저장한다.The data processor 1 reads the first DTS and PTS for the video and audio signals, and writes them to the PTS-V, PTS-A, DTS-V, and DTS-A registers 6, 7, 8, and 9, respectively. Save it.

RAM(2)은 언제나 데이터 처리부(1)에 의해서 현재의 PTS, DTS 값을 가지도록 4개의 기억공간을 유지하고 이들 값은 각각의 레지스터(6,7,8,9)로 전송된다.The RAM 2 always retains four storage spaces to have current PTS and DTS values by the data processing section 1, and these values are transferred to the respective registers 6, 7, 8, 9.

이때, 전송되는 시기는 STC카운터(5)의 내용과 각 레지스터(6,7,8,9)의 내용이 서로 일치할 때 발생되는 인터럽트 신호에 의해 처리되며, 이후에는 상기 PTS, DTS를 각각 필요한 만큼 증가시켜 레지스터(6,7,8,9)에 전송한다.At this time, the transmission time is processed by the interrupt signal generated when the contents of the STC counter 5 and the contents of each register 6, 7, 8, 9 coincide with each other, and then the PTS and DTS are required. Increment by to transfer to the register (6, 7, 8, 9).

상기한 인터럽트 신호발생을 위해서 제3도에 도시된 바와같이 SCR 카운터(5)의 내용과 각각의 레지스터(6,7,8,9)의 값을 비교하는 비교부(10,11,12,13)가 설치되고, 각 비교기(10,11,12,13)는 상기 두 타이밍 신호가 일치되는 시점에 해당되는 인터럽트 신호(IRQ1-IRQ4)를 발생하여 디코더 제어부(20)로 제공한다.Comparators 10, 11, 12, 13 for comparing the contents of the SCR counter 5 with the values of the respective registers 6, 7, 8, and 9 as shown in FIG. ), And each of the comparators 10, 11, 12, and 13 generates an interrupt signal IRQ1 to IRQ4 corresponding to the timing point at which the two timing signals coincide with each other, and provides it to the decoder controller 20.

즉, DTS가 STC와 일치하는 순간, 다시 말해 디코딩 개시시점에, 디코더 제어부(20)는 비교부(10)로부터의 인터럽트 신호(IRQ1)를 인가받고, 이에 따른 인터럽트 서비스 프로그램을 동작시킨다. 따라서, 영상 디코더(14)는 디코더 제어부(20)로부터 제공되는 디코딩 개시신호에 의거하여 상기 버퍼(3)로부터 제공된 영상신호에 대하여 디코딩 동작을 수행하게 된다. 또한, 디코더 제어부(20)는 비교부(11)로부터의 인터럽트 신호(IRQ2)를 인가받고, 이에 따른 인터럽트 서비스 프로그램을 동작시키며, 음성 디코더(15)는 디코더 제어부(20)로부터 제공되는 디코딩 개시신호에 의거하여 상기 버퍼(4)로부터 제공되는 음성신호에 대하여 디코딩 동작을 수행하게 된다.That is, the moment the DTS matches the STC, that is, at the start of decoding, the decoder controller 20 receives the interrupt signal IRQ1 from the comparator 10 and operates the interrupt service program accordingly. Accordingly, the image decoder 14 performs a decoding operation on the image signal provided from the buffer 3 based on the decoding start signal provided from the decoder controller 20. In addition, the decoder controller 20 receives the interrupt signal IRQ2 from the comparator 11 and operates the interrupt service program accordingly, and the voice decoder 15 receives the decoding start signal provided from the decoder controller 20. On the basis of this, the decoding operation is performed on the audio signal provided from the buffer 4.

이후에, PTS와 STC 내용이 서로 일치하는 경우, 디코더 제어부(20)는 비교부(12)로부터의 인터럽트 신호(IRQ3)를 인가받고, 이에 따른 인터럽트 서비스 프로그램을 동작시킨다. 그리고, 영상 디코더(14)는 디코더 제어부(20)로부터 제공되는 디스플레이 개시신호에 의거하여 상기 디코딩된 영상신호에 대한 디스플레이 동작을 수행하게 된다.Subsequently, when the contents of the PTS and the STC coincide with each other, the decoder controller 20 receives the interrupt signal IRQ3 from the comparator 12 and operates the interrupt service program accordingly. The video decoder 14 performs a display operation on the decoded video signal based on the display start signal provided from the decoder controller 20.

또한, 디코더 제어부(20)는 비교부(13)로부터의 인터럽트 신호(IRQ4)를 인가받고, 이에 따른 인터럽트 서비스 프로그램을 동작시킨다. 그리고, 음성 디코더(15)는 디코더 제어부(20)로부터 제공되는 플레이 개시신호에 의거하여 상기 디코딩된 음성신호에 대한 플레이 동작을 수행하게 된다.In addition, the decoder controller 20 receives the interrupt signal IRQ4 from the comparator 13 and operates the interrupt service program accordingly. The voice decoder 15 performs a play operation on the decoded voice signal based on the play start signal provided from the decoder controller 20.

따라서, 영상 및 음성 디코더(14)(15)는 디코딩된 영상 및 음성신호를 TV 시스템과 앰프로 출력하게 된다.Accordingly, the video and audio decoders 14 and 15 output the decoded video and audio signals to the TV system and the amplifier.

제2도의 (a)와 (b)는 종래의 경우에 있어서, 외부에서 만들어진 동기신호에 따라서 디코딩 및 디스플레이 되는 타이밍관계를 나타내는 것이나, 본 실시예에서도 마찬가지로 타이밍 관계는 유사하다.(A) and (b) in FIG. 2 show the timing relationship to be decoded and displayed in accordance with an externally generated synchronization signal in the conventional case, but the timing relationship is similar in this embodiment as well.

MPEG에서 보여주는 GOP(Group Of Picture) 구조에 따르면, 전송 프레임은 IBBPBBPBBIB…의 패턴을 갖는다. I-픽춰(Intra-picture)는 프레임 화상을 구획한 블록별로 이산 코사인 변환과 양자화 과정을 적용한 공간 방향의 중복성만을 제거한 것이고, P-픽춰(Predictive-picture)는 순방향의 영상간 예측 부호화기법과 이산 코사인 변환기법을 사용하여 데이터를 압축한 것이며, B-픽춰(Bidirectional-picture)는 양방향성 영상간 예측부호화기법과 이산 코사인 변환기법을 사용하여 데이터를 압축한 것이다.According to the GOP (Group Of Picture) structure shown in MPEG, the transmission frame is IBBPBBPBBIB... Has a pattern. Intra-picture removes only spatial direction redundancy by applying discrete cosine transform and quantization process for each block partitioning the frame image, and P-picture (predictive-picture) uses forward inter-picture prediction coding and discrete cosine. Data is compressed using the transform method, and B-picture (Bidirectional-picture) is data compressed using the bidirectional inter-prediction encoding and discrete cosine transform methods.

타이밍도에서 동기발생시점은 제2도(a)의 경우 프레임 간격에 따라서 발생되고 있고, 그 시점에서 이를 테면 I0,P3,B1,B2,P6…와 같이 동기신호에 맞추어 디코딩되는데, 이러한 타이밍 관계에서 동기신호의 발생시점은 본 발명에서 인터럽트 신호(IRQ3)의 발생에 대응되며, 디스플레이의 시점은 인터럽트 신호(IRQ1)에 해당된다. 상기와 같이 인터럽트신호의 발생시점은 비교기의 출력에 의한 것이고, 이것을 제어하는 것은 STC카운터(5)에 의한 것이다.In the timing diagram, the timing of synchronizing is generated according to the frame interval in the case of FIG. 2 (a). At this time, for example, I0, P3, B1, B2, P6... In this timing relationship, the timing of generating the synchronization signal corresponds to the generation of the interrupt signal IRQ3, and the timing of the display corresponds to the interrupt signal IRQ1. As described above, the point of occurrence of the interrupt signal is caused by the output of the comparator, and it is controlled by the STC counter 5.

이것은 동기신호 간격을 제어하는 것이고, 이것을 위해서 데이터 처리부(1)는 입력 비트스트림으로부터 프레임 레이트(frame rate)에 대한 정보를 읽어서 타임스탬프의 증분량을 계산하여 이 값을 가지고 있으며, 이 값이 프레임 간격을 제어하는데 사용된다.This is to control the synchronization signal interval. For this purpose, the data processor 1 reads the information on the frame rate from the input bitstream, calculates the increment of the timestamp, and has this value. Used to control the spacing.

음성신호의 경우에 있어서도, 제2도(b)의 타이밍 관계는 각각 인터럽트 신호(IRQ4,IRQ2)에 해당한다.Also in the case of an audio signal, the timing relationship in FIG. 2 (b) corresponds to the interrupt signals IRQ4 and IRQ2, respectively.

인터럽트의 발생시점에서 동작이 제어되는 것과 인터럽트 처리는 동시에 이루어질 수 없으나, 데이터 처리부(1)는 단순히 인터럽트 발생시점에서 제어신호를 해당하는 신호처리 블록에 인가하는 것이므로 동기일치가 가능해진다.Although the operation is controlled at the time of the occurrence of the interrupt and the interrupt processing cannot be performed at the same time, the data processing unit 1 simply applies the control signal to the corresponding signal processing block at the time of the interruption, thereby enabling synchronization matching.

제4도의 제2실시예는, 복수의 비교기(10-13)의 출력이 영상 디코더(14) 및 음성디코더(15)에 직접 인가되도록 구성된다.The second embodiment of FIG. 4 is configured such that the outputs of the plurality of comparators 10-13 are directly applied to the video decoder 14 and the audio decoder 15. FIG.

본 실시예에 따르면, 복수의 비교기(10-13)의 출력이 동시에 나타났을 때 즉, 영상신호와 음성신호의 동시처리(디코딩 처리)를 위해서 비교기(!0)와 비교기(12)의 출력에 의해서 영상 디코더(14) 및 음성디코더(15)는 상기 버퍼링된 영상 및 음성신호에 대하여 디코딩 동작을 하게 된다. 즉, 비교기(10,11,12,13)의 출력은 디코더에 대해 스프로부(strobe)신호로서 작용함으로서 동시동작, 다시 말해 동기 일치화가 된다.According to this embodiment, when the outputs of the plurality of comparators 10-13 appear simultaneously, that is, for the simultaneous processing (decoding processing) of the video signal and the audio signal, the outputs of the comparator! 0 and the comparator 12 As a result, the video decoder 14 and the audio decoder 15 perform decoding operations on the buffered video and audio signals. In other words, the outputs of the comparators 10, 11, 12, 13 act as a sprobe signal to the decoder, thereby achieving simultaneous operation, that is, synchronous matching.

마찬가지로, 비교기(11,13)의 출력은 영상 디스플레이, 음성플레이를 위한 제어신호로서 동기를 맞출 수 있는 것이다.Similarly, the outputs of the comparators 11 and 13 can be synchronized as control signals for video display and audio play.

이상 설명한 바와같이, 기존의 디지털 영상신호 처리시스템과 음성신호 처리시스템은 분리되어 각각 연구가 진행되었기 때문에 두 시스템간 동기 즉, 립싱크(lip sync)에 대한 배려가 없어 시스템 활용에 문제가 있었으나, 본 발명에서와 같이 간단한 구성으로 동기문제를 해결함으로써 시스템 적응력이 향상되는 효과가 있다.As described above, since the conventional digital video signal processing system and the audio signal processing system were separately studied, there was a problem in utilizing the system because there was no consideration of synchronization between the two systems, that is, lip sync. As in the present invention, the system adaptability is improved by solving the synchronization problem with a simple configuration.

Claims (8)

멀티플렉스된 비트스트림의 데이터신호를 입력하여 신호처리수단을 통해 디멀티플렉싱한 다음 각각의 버퍼를 통해 영상 디코더 및 음성 디코더에 전달함으로써, 영상신호와 음성신호를 동기화시켜 디스플레이하는 영상신호와 음성신호간 동기화장치에 있어서, 상기 신호처리수단은, 상기 멀티클렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수개의 타임스템프, 영상신호 및 음성신호를 추출하며, 이로부터 추출된 시스템 타이클럭기준과 복수의 타임스템프는 일시 저장 및 복원하여 출력하고, 상기 추출된 영상신호 및 음성신호는 상기 버퍼(3,4,)를 통해 상기 영상 디코더(14) 및 음성디코더(15)로 출력하도록 하는 데이터 검출 및 저장수단과 ; 상기 데이터 검출 및 저장수단의 시스템 타임클럭기준과 복수의 타임스템프간의 비교에 의해서 발생되는 인터럽트 신호에 기초하여 상기 버퍼링된 영상 및 음성신호에 대한 디코딩 및 디스플레이(또는 플레이) 동작개시를 제어하는 디코딩타임 제어수단을 구비함을 특징으로 하는 영상신호와 음성신호간 동기화장치.The data signals of the multiplexed bitstreams are input, demultiplexed through signal processing means, and then transmitted to the video decoder and the audio decoder through respective buffers, so that the video signal and the audio signal are synchronized and displayed. In the synchronization device, the signal processing means demultiplexes the data signal of the multiplexed bitstream to extract a system time clock reference included in the data signal, a plurality of time stamps, video signals, and audio signals. The system tie clock reference and the plurality of time stamps extracted therefrom are temporarily stored and restored, and the extracted video and audio signals are outputted through the buffers 3 and 4 through the buffers 3 and 4. Data detection and storage means for outputting to the decoder 15; Decoding time for controlling the start of decoding and displaying (or playing) operations on the buffered video and audio signals based on an interrupt signal generated by a comparison between a system time clock reference of the data detection and storage means and a plurality of time stamps. Synchronization device between the video signal and the audio signal characterized in that it comprises a control means. 제1항에 있어서,상기 데이터 검출 및 저장수단은, 상기 멀티플렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수의 타임스템프, 영상신호 및 음성신호를 추출하는 데이터 처리부(1)와 ; 상기 데이터 처리부(1)에 의해서 추출된 상기 시스템 타임클럭기준과 복수의 타임스템프를 일시 저장 및 복원하는 RAM(2)으로 구성됨을 특징으로 하는 영상신호와 음성신호간 동기화장치.The data detection and storage unit of claim 1, wherein the data detection and storage unit is configured to demultiplex the data signal of the multiplexed bitstream to obtain a system time clock reference included in the data signal, a plurality of time stamps, a video signal, and an audio signal. A data processor 1 for extracting; And a RAM (2) for temporarily storing and restoring the system time clock reference and a plurality of time stamps extracted by the data processor (1). 제2항에 있어서, 상기 RAM(2)은, 상기 데이터 처리부(1)에서 추출한 복수의 타임스템프로서 DTS-V, DTS-A, PTS-V 및 PTS-A의 4개의 값을 저장하는 영역을 포함하는 것을 특징으로 하는 영상신호와 음성신호간 동기화장치.3. The RAM 2 according to claim 2, wherein the RAM 2 stores a region for storing four values of DTS-V, DTS-A, PTS-V, and PTS-A as a plurality of time stamps extracted by the data processing unit 1. Synchronizing device between the video signal and the audio signal comprising a. 제1항 내지 3항중 어느 한 항에 있어서, 상기 디코딩타임 제어수단, 상기 데이터 처리부(1)로부터의 시스템 클럭을 입력으로 하여 기준시각을 제공하는 STC 카운터(5)와 ; 상기 데이터 처리부(1)로부터의 복수의 타임스템프를 일시 저장 후 출력하는 레지스터(6,7,8,9)와 ; 상기 STC 카운터(5)의 시스템 타임클럭기준에 따른 기준시각을 참조하여 상기 레지스터(6,7,8,9)로부터 제공되는 복수의 타임스템프를 각각 비교하여 일치되는 시점에, 그에 상응하는 인터럽트 신호에 응답하여 출력하는 비교부(10,11,12,13)와 ; 상기 비교부(10,11,12,13)의 인터럽트 신호에 응답하여 상기 영상 디코더(14) 및 음성 디코더(15)의 영상 및 음성신호에 대한 디코딩 동작개시와, 디스플레이(또는 플레이) 동작개시를 수행하기 위한 디코딩 개시신호와 디스플레이(또는 플레이) 개시신호를 제공하는 디코더 제어부(20)로 구성됨을 특징으로 하는 영상신호와 음성신호간 동기화장치.4. The apparatus according to any one of claims 1 to 3, further comprising: an STC counter (5) for providing a reference time by inputting said decoding time control means and a system clock from said data processor (1); Registers (6,7,8,9) for temporarily storing and outputting a plurality of time stamps from the data processing section (1); Interrupt signals corresponding to the time points provided from the registers 6, 7, 8, and 9 with reference to the reference time according to the system time clock reference of the STC counter 5, respectively, A comparator (10, 11, 12, 13) for outputting in response to the response; In response to the interrupt signals of the comparators 10, 11, 12, and 13, the decoding operation and the display (or play) operation of the video and audio signals of the video decoder 14 and the audio decoder 15 are started. And a decoder controller (20) for providing a decoding start signal and a display (or play) start signal for performing the video signal and the audio signal. 멀티플렉스된 비트스트림의 데이터신호를 입력하여 신호처리수단을 통해 디멀티플렉싱한 다음 각각의 버퍼를 통해 영상 디코더 및 음성 디코더에 전달함으로써, 영상신호와 음성신호를 동기화시켜 디스플레이하는 영상신호와 음성신호간 동기화장치에 있어서, 상기 신호처리수단은, 상기 멀티플렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타임클럭기준과, 복수개의 타임스템프, 영상신호 및 음성신호를 추출하며, 이로부터 추출된 시스템 타임클럭기준과 복수의 타임스템프는 일시 저장 및 복원하여 출력하고, 상기 추출된 영상신호 및 음성신호는 상기 버퍼(3,4)를 통해 상기 영상 디코더(14) 및 음성 디코더(15)로 출력하도록 하는 데이터 검출 및 저장수단과 ; 상기 데이터 검출 및 저장수단의 시스템 타임클럭기준과 복수의 타임스템프간의 비교에 의거하여 발생되는 스트로브 신호에 기초하여 상기 버퍼링된 영상 및 음성신호에 대한 디코딩 및 디스플레이(또는 플레이) 동작을 동시에 수행할 수 있도록 하는 디코딩 개시신호와 디스플레이(또는 플레이) 개시신호를 상기 영상 디코더(14)와 음성디코더(15)로 각각 출력하는 디코더 제어수단을 구비함을 특징으로 영상신호와 음성신호간 동기화장치.The data signals of the multiplexed bitstreams are input, demultiplexed through signal processing means, and then transmitted to the video decoder and the audio decoder through respective buffers, so that the video signal and the audio signal are synchronized and displayed. In the synchronization device, the signal processing means demultiplexes the data signal of the multiplexed bitstream to extract a system time clock reference included in the data signal, a plurality of time stamps, video signals, and audio signals, The system time clock reference and the plurality of time stamps extracted therefrom are temporarily stored, restored, and output, and the extracted video and audio signals are output through the video decoder 14 and the audio decoder through the buffers 3 and 4. Data detecting and storing means for outputting to the 15); The decoding and display (or play) operation of the buffered video and audio signals may be simultaneously performed based on a strobe signal generated based on a comparison between a system time clock reference of the data detection and storage means and a plurality of time stamps. And decoder control means for outputting a decoding start signal and a display (or play) start signal to the video decoder (14) and the audio decoder (15), respectively. 제5항에 있어서, 상기 데이터 검출 및 저장수단과, 상기 멀트플렉스된 비트스트림의 데이터신호를 디멀티플렉스하여 데이터신호에 포함된 시스템 타이클럭기준과 복수의 타임스템프를 추출하는 데이터 처리부(1)와 ; 상기 데이터 처리부(1)에 의해서 추출된 상기 시스템 타임클럭기준과 복수의 타임스템프를 일시 저장 및 복원하는 RAM(2)으로 구성됨을 특징으로 하는 영상신호와 음성신호간 동기화장치.6. The data processor (1) according to claim 5, wherein said data detection and storage means and said data processing unit (1) demultiplex the data signal of said multiplexed bitstream to extract a system tie clock reference and a plurality of time stamps included in the data signal. Wow ; And a RAM (2) for temporarily storing and restoring the system time clock reference and a plurality of time stamps extracted by the data processor (1). 제6항에 있어서, 상기 RAM(2)은, 상기 데이터 처리부(1)에서 추출한 복수의 타임스템프로서 DTS-V, DTS-A, PTS-V 및 PTS-A의 4개의 값을 저장하는 영역을 포함하는 것을 특징으로 하는 영상신호와 음성신호간 동기화장치.7. The RAM 2 according to claim 6, wherein the RAM 2 stores a region for storing four values of DTS-V, DTS-A, PTS-V, and PTS-A as a plurality of time stamps extracted by the data processing unit 1. Synchronizing device between the video signal and the audio signal comprising a. 제5항 내지 7항중 어느 한 항에 있어서, 상기 디코더 제어수단은, 상기 데이터 처리부(1)로부터의 시스템 클럭을 입력으로 하여 기준시각을 제공하는 STC 카운터(5)와 ; 상기 데이터 처리부(1)로부터의 복수의 타임스템프를 일시 저장 후 출력하는 레지스터(6,7,8,9)와 ; 상기 STC카운터(5)의 시스템 타임클럭기준에 따른 기준시각을 참조하여 상기 레지스터(6,7,8,9)로부터 제공되는 복수의 타임 스템프를 각각 비교하여 일치되는 시점에, 그에 상응하는 스트로브 신호를 상기 영상 디코더(14) 및 음성 디코더(15)로 인가하여 상기 영상 및 음성 신호에 대한 디코딩 및 디스플레이(또는 플레이) 동작을 수행할 수 있도록 하는 비교부(10,11,12,13)로 구성됨을 특징으로 하는 영상신호와 음성신호간 동기화장치.8. The decoder according to any one of claims 5 to 7, wherein the decoder control means comprises: an STC counter (5) which provides a reference time by inputting a system clock from the data processing section (1); Registers (6,7,8,9) for temporarily storing and outputting a plurality of time stamps from the data processing section (1); By comparing the time stamps provided from the registers 6, 7, 8, and 9 with reference to the reference time according to the system time clock reference of the STC counter 5, the corresponding strobe signals are matched at the corresponding time points. And a comparator (10, 11, 12, 13) for applying to the video decoder 14 and the audio decoder 15 to perform the decoding and display (or play) operation for the video and audio signals Synchronizing device between the video signal and the audio signal characterized in that.
KR1019930013511A 1993-07-16 1993-07-16 Apparatus for synchronization of image signal and sound signal Expired - Fee Related KR960008053B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019930013511A KR960008053B1 (en) 1993-07-16 1993-07-16 Apparatus for synchronization of image signal and sound signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019930013511A KR960008053B1 (en) 1993-07-16 1993-07-16 Apparatus for synchronization of image signal and sound signal

Publications (2)

Publication Number Publication Date
KR950004894A KR950004894A (en) 1995-02-18
KR960008053B1 true KR960008053B1 (en) 1996-06-19

Family

ID=19359466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930013511A Expired - Fee Related KR960008053B1 (en) 1993-07-16 1993-07-16 Apparatus for synchronization of image signal and sound signal

Country Status (1)

Country Link
KR (1) KR960008053B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100368759B1 (en) * 2000-07-20 2003-01-24 삼성탈레스 주식회사 Bidirectional transmitting method of mpec moving picture

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100368759B1 (en) * 2000-07-20 2003-01-24 삼성탈레스 주식회사 Bidirectional transmitting method of mpec moving picture

Also Published As

Publication number Publication date
KR950004894A (en) 1995-02-18

Similar Documents

Publication Publication Date Title
KR100203262B1 (en) Interface device of video decoder for syncronization of picture
KR100365384B1 (en) A method for obtaining video data for a desired service from a packetized data stream
AU688585B2 (en) Syntax parser for a video decompression processor
KR100301826B1 (en) Video decoder
US6449352B1 (en) Packet generating method, data multiplexing method using the same, and apparatus for coding and decoding of the transmission data
EP2757795B1 (en) Video multiplexing apparatus, video multiplexing method, multiplexed video decoding apparatus, and multiplexed video decoding method
KR0185927B1 (en) Image decoding apparatus and method for converting frame rate of input bit stream
EP1643772B1 (en) System, method and apparatus for clean channel change
JP2001204032A (en) Mpeg decoder
US7446819B2 (en) Apparatus and method for processing video signals
KR960008053B1 (en) Apparatus for synchronization of image signal and sound signal
KR20060099687A (en) Apparatus and method for video synchronization using timestamps
KR100222705B1 (en) Apparatus of synchronous outputting audio and video
JPH09247666A (en) Moving image decoding timing estimate method, moving image coder and moving image decoder
JP2823806B2 (en) Image decoding device
US20040264579A1 (en) System, method, and apparatus for displaying a plurality of video streams
KR0134490B1 (en) Apparatus for controlling the synchronization of video and
KR960013217B1 (en) Video and audio signal synchronization apparatus for mpeg decoder system
JPH099215A (en) Data multiplexing method, data transmission method, multiplex data decoding method, multiplex data decoding device
JP3615379B2 (en) Image decoding apparatus and multiplexing apparatus
KR20020004689A (en) Apparatus and method for controlling time stamp generation in MPEG multiple
JP2001157211A (en) Image decoding method and device, and storage medium
JPH08223582A (en) Compressed image data selection system and image processing system
JP2001177828A (en) Synchronization control encoder
HK1046608A1 (en) Video decoding apparatus for decoding and displaying synchronously in a picture unit

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

G160 Decision to publish patent application
PG1605 Publication of application before grant of patent

St.27 status event code: A-2-2-Q10-Q13-nap-PG1605

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20010529

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20020620

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20020620

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000