[go: up one dir, main page]

KR20070096920A - 비디오 프레임의 렌더링 지속시간 결정 장치 및 방법 - Google Patents

비디오 프레임의 렌더링 지속시간 결정 장치 및 방법 Download PDF

Info

Publication number
KR20070096920A
KR20070096920A KR1020070028875A KR20070028875A KR20070096920A KR 20070096920 A KR20070096920 A KR 20070096920A KR 1020070028875 A KR1020070028875 A KR 1020070028875A KR 20070028875 A KR20070028875 A KR 20070028875A KR 20070096920 A KR20070096920 A KR 20070096920A
Authority
KR
South Korea
Prior art keywords
event
video frame
video
audio
rendering duration
Prior art date
Application number
KR1020070028875A
Other languages
English (en)
Other versions
KR100847534B1 (ko
Inventor
시엔-리 린
시엔-밍 차이
치-웨이 첸
Original Assignee
콴타 컴퓨터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콴타 컴퓨터 인코포레이티드 filed Critical 콴타 컴퓨터 인코포레이티드
Publication of KR20070096920A publication Critical patent/KR20070096920A/ko
Application granted granted Critical
Publication of KR100847534B1 publication Critical patent/KR100847534B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에서는 렌더링 지속시간(rendering duration) 결정 방법 및 장치가 제공된다. 오디오/비디오 레코딩 시스템(audio/video recording system)은 오디오 비트스트림(audio bit stream)과 비디오 비트 스트림(video bit stream)을 레코딩 하는데 사용된다. 오디오 비트 스트림은 복수개의 오디오 프레임(audio frame)을 포함한다. 비디오 비트 스트림은 N개의 비디오 프레임을 포함한다. 본 발명에 따르면, 최초, 최후 비디오 프레임의 렌더링 지속시간은 상기 시스템이 오디오 프레임과 비디오 프레임을 기록(record)하기 시작하는 순간을 기초로 하여 결정된다. 또한 본 발명에 따르면, i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, i번째 비디오 프레임의 렌더링 지속시간은 NL에 기초하여 결정된다. 본 발명에 따르면, 시스템이 i번째 비디오 프레임에 대한 동기화 보정 명령을 받았을 때, i번째 비디오 프레임의 렌더링 지속시간은 보정값(correction value)에 따라 결정된다.
렌더링, 지속시간, 오디오 프레임, 비디오 프레임

Description

비디오 프레임의 렌더링 지속시간 결정 장치 및 방법 {APPARATUS AND METHOD FOR DETERMINING RENDERING DURATION OF VIDEO FRAME}
도 1A는 MPEG-4 표준이 적용된 멀티미디어 파일의 일 실시예를 나타낸다.
도 1B는 비디오 프레임 테이블의 일 실시예를 나타낸다.
도 1C는 도 1B의 비디오 프레임 테이블과 대응되며, 비디오 프레임의 렌더링 지속시간들 간에 관계를 나타낸다.
도 2A는 일시정지 레코딩 이벤트에서 오디오 프레임과 비디오 프레임 사이의 관계를 나타낸다.
도 2B는 재시작 레코딩 이벤트에서 오디오 프레임과 비디오 프레임 사이의 관계를 나타낸다.
도 3A는 본 발명의 첫번째 바람직한 실시예에 따른 방법의 순서도를 나타낸다.
도 3B는 시스템이 멀티미디어 파일의 기록을 시작/재시작 할 때, 오디오 비트 스트림과 비디오 비트 스트림 간의 관계를 나타낸다.
도 4A는 본 발명의 두번째 바람직한 실시예에 따른 방법의 순서도를 나타낸다.
도 4B는 시스템이 멀티미디어 파일의 기록을 정지/일시정지 할 때, 오디오 비트 스트림과 비디오 비트 스트림 간의 관계를 나타낸다.
도 5는 본 발명의 네번째 바람직한 실시예에 따라, 첫번째 바람직한 실시예를 포함하는 방법의 순서도를 나타낸다.
도 6은 본 발명의 바람직한 실시예의 오디오/비디오 레코딩 시스템에 대한 기능 블럭도를 나타낸다.
본 발명은 렌더링 지속시간(rendering duration) 결정을 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 오디오/비디오 레코딩 시스템(audio/video recording system)에서, 다양한 레코딩 이벤트(recording event)에 기초하여 비디오 프레임(video frame)의 렌더링 지속시간을 결정해주는 방법 및 장치에 관한 것이다.
일반적으로, 멀티미디어 파일(multimedia file)은 비디오 비트 스트림(video bit stream)과 오디오 비트 스트림(audio bit stream)을 포함한다. 또한, 비디오 비트 스트림은 다수의 비디오 프레임(video frame)을 포함하고, 오디오 비트 스트림은 다수의 오디오 프레임(audio frame)을 포함한다. 멀티미디어 파일이 기록될 때, 오디오/비디오 레코딩 시스템은 비디오 비트 스트림의 각 비디오 프레임 타이밍과 순서에 따라, 그리고 오디오 비트 스트림의 각 오디오 프레임 타이밍과 순서에 따라 기록하여야 한다. 멀티미디어 파일에 렌더링이 필요할 때, 오디오/비디오 플레이어는 렌더링 시간과 순서에 따라 멀티미디어 파일의 오디오 프레임과 비디오 프레임을 렌더링한다.
또한, 오디오/비디오 레코딩 시스템은 MPEG-4 표준을 적용하며 프레임 테이블(국제표준 ISO/IEC 14496-1) 내에 비디오 프레임과 오디오 프레임의 순서와 렌더링 시간을 기록한다. 각 비디오 비트 스트림 또는 오디오 비트 스트림은 상응하는 프레임 테이블을 가지며, 각 프레임은 적어도 하나의 아이템(item)을 포함하고, 각 아이템은 두 개의 필드(field)를 가진다. 여기에서, 아이템의 첫번째 필드에는 프레임 개수(frame number)가 기록되고, 두 번째 필드에는 프래임 지속시간(frame duration)이 기록된다. 프레임 지속시간은 오디오 프레임 또는 비디오 프레임의 렌더링 지속시간을 의미하고, 프레임개수는 같은 프레임 지속시간을 가지는 비디오 프레임 또는 오디오 프레임의 배열(series) 개수를 의미한다. 이는 MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템이 각 오디오/비디오 프레임의 절대적 타이밍 정보가 아닌 상대적 타이밍 정보를 기록한다는 것을 보여준다.
도 1A는 MPEG-4 표준이 적용된 멀티미디어 파일의 예를 나타낸다. 멀티미디어 파일은 멀티미디어 헤더(101)와 멀티미디어 데이터(102)를 포함한다. 여기에서 멀티미디어 헤더(101)는 비디오 프레임 테이블(103)을 포함하고, 멀티미디어 데이터(102)는 비디오 비트 스트림(104)과 오디오 비트 스트림(124)을 포함하며, 비디오 비트 스트림(104)은 비디오 프레임(105~110)을 포함한다.
도 1B는 비디오 프레임 테이블(103)의 예를 나타낸다. 비디오 프레임 테이블(103) 내에서, 각 열(row)은 아이템을 의미하고, 각 아이템은 두개의 필드를 포함하며, 두개의 필드는 비디오 프레임 개수(111)와 비디오 프레임 지속시간(112)을 나타낸다. 도 1B에서 볼 수 있듯이, 첫번째 아이템(113)은 두개의 필드값 (2,33)을 가지며, 이는 비디오 프레임 테이블(103)에 상응하는 비디오 비트 스트림(104) 내에서, 비디오 프레임(105)과 비디오 프레임(106)의 렌더링 지속시간은 33 단위시간(time unit)으로 서로 같다는 것을 나타낸다. 또한 두번째 아이템(114)은 두개의 필드값 (1,34)를 가지며, 이는 뒤이어 나오는 비디오 프레임(107)의 렌더링 지속시간이 34 단위시간 임을 나타낸다. 세번째 아이템(115)은 두개의 필드값 (2,33)을 가지며, 이는 비디오 프레임(107)에 이어서, 비디오 프레임(108)과 비디오 프레임(109)이 모두 33 단위시간을 가진다는 것을 나타낸다.
도 1C는 도 1B의 비디오 프레임 테이블과 대응되며, 비디오 프레임의 렌더링 지속시간들 사이에 상대적 관계를 나타낸다. 부가적으로, 총 렌더링 지속시간은 비디오 프레임의 총 갯수와 비디오 프레임의 지속시간들로부터 계산될 수 있다.
오디오/비디오 레코딩 시스템이 멀티미디어 파일을 기록할 때, 시작(starting), 재시작(resuming), 정지(stopping), 일시정지(pausing), 프레임 손실(frame loss), 오디오/비디오 동기화 보정(audio/video synchronization)의 다양한 레코딩 이벤트(recording event)가 발생한다. 멀티미디어 파일이 재생되고자 할 때, 이 같은 레코딩 이벤트는 멀티미디어 파일의 비디오 비트 스트림과 오디오 비트 스트림 간 비동기화 에러(asynchronous error)의 원인이 될 수도 있다.
도 2A와 도 2B는 종래기술에서의 일시정지 레코드 이벤트와 재시작 레코드 이벤트에서 발생할 수 있는 오디오/비디오 레코더의 비동기화 에러를 각각 나타내 고 있다. 종래기술의 오디오/비디오 레코딩 시스템에 의해 기록된 MPEG-4 멀티미디어 파일에서, 비디오 프레임과 오디오 프레임의 지속시간은 모두 확정된 하나의 값을 가진다. 이는 오디오/비디오 레코딩 시스템이 DA시간을 주기로 하여 모든 오디오 프레임을 기록하고, DV시간을 주기로 하여 모든 비디오 프레임을 기록한다는 것을 의미한다.
도 2A는 일시정지 레코딩 이벤트가 발생한 경우, 오디오 프레임과 비디오 프레임간의 관계를 도시하고 있다. 도 2A서 볼 수 있듯이, 특정 시각 TP에 일시정지 레코딩 이벤트가 발생하면, 오디오 비트 스트림(210)의 가장 마지막 오디오 프레임은 오디오 프레임(211)이 되고, 오디오 비트 스트림(210)의 총 레코딩 시간은 5DA가 된다. 또한 정지 레코딩 이벤트가 발생했을 때, 비디오 비트 스트림(212)의 가장 마지막 비디오 프레임은 비디오 프레임(213)이고, 비디오 스트림(212)의 총 레코딩 시간은 3DV이다. 오디오 비트 스트림(210)의 총 기록 시간(5DA)과 비디오 비트 스트림(212)의 총 기록 시간(3DV)은 서로 일치하지 않음을 확인할 수 있다.
도 2B는 재시작 레코딩 이벤트가 발생한 경우, 오디오 프레임과 비디오 프레임간의 관계를 도시하고 있다. 재시작 레코딩 이벤트가 발생한 경우, 최초의 오디오 프레임(214)는 5DA에 시작되며, 첫번째 비디오 프레임(215)는 3DV에 재생된다. 이러한 현상은 비디오 비트 스트림(212)과 오디오 비트 스트림(210)간의 비동기화 에러를 발생시키며, 이러한 경우, 멀티미디어 파일 재생시에 3DV-5DA의 시차(time difference : dT)가 발생하였다고 한다.
따라서, 본 발명의 주목적은 랜더링 지속시간 결정 방법 및 장치를 제공함에 있으며, 더욱 상세하게는 멀티미디어 파일의 비디오 프레임 지속시간 결정을 통해, 비디오 비트 스트림과 오디오 비트 스트림 간의 비동기화 에러를 제거하여, 멀티미디어 파일의 재생시 비디오와 오디오 신호 간의 비동기화 문제를 해결할 수 있도록 함에 있다.
본 발명의 목적은 렌더링 지속시간(rendering duration) 결정을 위한 방법 및 장치를 제공함에 있다. 일반적으로, 오디오/비디오 레코딩 시스템(audio/video recording system)은 멀티미디어 객체(multimedia object)의 오디오 비트 스트림(audio bit stream)과 비디오 비트 스트림(video bit stream)을 레코딩 이벤트(recording event)에 따라 기록하는 경우에 적용된다. 또한, 오디오 비트 스트림은 복수 개의 오디오 프레임(audio frame)을 포함하고, 비디오 비트 스트림은 N개의 비디오 프레임(video frame)을 포함하며, 여기에서 N은 1보다 큰 양의 정수이다. 본 발명의 방법 및 장치는 오디오 프레임과 비디오 프레임의 기록을 위한 레코딩 이벤트와 시간에 따라, 레코딩 이벤트의 이벤트 비디오 프레임에 상응하는 렌더링 지속시간을 결정하는데 적용된다. 본 발명에 따르면, i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실 된 때에, i번째 비디오 프레임의 렌더링 지속 시간은 NL에 따라 결정된다. 본 발명에 따르면, 시스템이 i번째 비디오 프레임을 위한 동기화 보정 명령(command of synchornization correction)을 수신했을 때, i번째 비디오 프레임의 렌더링 지속시간은 보정값(correction value)에 따라 결정된다. 또한 i는 1에서 N-1사이의 정수값이고, NL은 N보다 작은 양의 정수이다.
본 발명의 바람직한 실시예에 따르면, 시작(start)/재시작(resume) 레코딩 이벤트의 상황에서, 시작/재시작 이벤트 비디오 프레임의 렌더링 지속시간 결정 방법이 제공된다. 우선, 본 방법에 의하면 시작/재시작 레코딩 이벤트에 상응하는 이벤트 오디오 프레임의 오디오 시작/재시작 레코딩 시간(TA0)과 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0)의 차이값을 계산한다. 그러면 상기 방법에 의해 첫번째 비디오 프레임의 렌더링 지속시간(DRE)이 상기 차이값(E)과 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)를 바탕으로 결정되고, 시작/재시작 이벤트 아이템의 값이 (1,DRE)로 멀티미디어 파일의 비디오 프레임 테이블에 입력되게 된다.
본 발명의 바람직한 실시예에 따르면, 정지(stop)/일시정지(pause) 레코딩 이벤트의 상황에서, 정지/일시정지 이벤트 비디오 프레임의 렌더링 지속시간 결정을 위한 방법이 제공된다. 우선 본 방법에 의하면, 정지/일시정지 레코딩 이벤트에 상응하는 이벤트 오디오 프레임의 오디오 정지/일시정지 레코딩 시간(TAE)과 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE)의 차이값을 계산한다. 그러면 상기 방법에 의해 가장 마지막 비디오 프레임의 렌더링 지속시간(DRE)이 차이값(E)과 오디오 비트 스트림의 소정 오디오 프레임 주기(DA)을 바탕으로 결정되며, 그 후에 정지/일시정지 레코딩 이벤트 아이템 값이 (NV-1, DV)과 (1,DRE)로 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 입력되게 된다.
본 발명의 바람직한 실시예에 따르면, i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, 비디오 비트 스트림의 i번째 비디오 프레임의 렌더링 지속시간을 결정하기 위한 방법이 제공된다. 상기 방법에 의하면, i번째 비디오 프레임의 렌더링 지속시간(DRE)이 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 손실 비디오 프레임(NL)의 총 개수를 바탕으로 결정되며, 그 후에 비디오 프레임 손실 이벤트 아이템 값이 (NV-2,DV), (1,DRE) 및 (1, DV)로 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 채워지게 된다.
본 발명의 바람직한 실시예에 따르면, 상기 시스템이 i번째 비디오 프레임에 대한 동기화 보정 명령을 받은 경우, i번째 비디오 프레임의 렌더링 지속시간을 결정하기 위한 방법이 제공된다. 상기 방법에 의하면, i번째 비디오 프레임의 렌더링 지속시간(DRE)이 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 i번째 비디오 프레임의 비디오 프레임 보정값(dT)을 바탕으로 결정되며, 그 후에 동기화 보정 이벤트 아이템 값은 (NV-1, DV), (1, DRE)로 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 채워진다.
본 발명의 바람직한 실시예에 따르면, 비디오 비트 스트림 내에서 이벤트 비디오 프레임의 렌더링 지속시간을 결정하기 위한 장치가 제공된다. 또한, 상기 장치는 처리부(processing module)를 포함한다. 레코딩 이벤트가 시작/재시작 이벤트 상태일 때, 처리부는 시작/재시작 이벤트에 상응하는 이벤트 오디오 프레임의 오디오 시작/재시작 레코딩 시간(TA0)과 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0)을 기록한다. 그 후에, 처리부는 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)를 바탕으로, 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다.
본 발명의 바람직한 실시예에 따르면, 비디오 비트 스트림 내에서 이벤트 비디오 프레임의 렌더링 지속시간을 결정하기 위한 장치가 제공된다. 또한, 상기 장치는 처리부를 포함한다. 레코딩 이벤트가 정지/일시정지 이벤트 상태일 때, 처리 부는 이벤트 비디오 프레임에 상응하는 이벤트 오디오 프레임의 오디오 정지/일시정지 레코딩 시간(TAE)과 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE)을 기록한다. 그 후에, 처리부는 오디오 비트 스트림의 소정 오디오 프레임 주기(DA)를 바탕으로, 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다.
본 발명의 바람직한 실시예에 따르면, i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, 비디오 비트 스트림의 i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 결정하기 위한 장치가 제공된다. 또한, 상기 장치는 처리부를 포함한다. 그리고, 처리부는 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 손실 비디오 프레임(NL)의 총 개수를 바탕으로, i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간(DRE)을 결정한다.
본 발명의 바람직한 실시예에 따르면, 상기 시스템이 i번째 비디오 프레임(이벤트 비디오 프레임)에 대한 동기화 보정 명령을 받은 경우, i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 결정하기 위한 장치가 제공된다. 또한, 상기 장치는 처리부를 포함한다. 그리고, 처리부는 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 i번째 비디오 프레임에 대한 비디오 프레임 보정값(dT)을 바탕으로, i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 결정한다.
본 발명에 대해, 이하에서 다양한 도면들로 기술된 바람직한 실시예에 대한 상세한 설명을 읽어본 후에는, 당해 기술분야의 보통의 기술 수준을 통해 분명하게 이해할 수 있을 것이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 목적은 렌더링 지속시간(rendering duration) 결정 방법 및 장치를 제공함에 있다. 또한 본 발명은 멀티미디어 파일(multimetia file)과 같은 멀티미디어 객체(multimedia object)를 기록하기 위한 오디오/비디오 레코딩 시스 템(audio/video recording system)에 적용될 수 있다. 그리고, 멀티미디어 객체는 오디오 프레임 테이블(audio frame table), 비디오 프레임 테이블(video frame table), 오디오 비트 스트림(audio bit stream) 및 비디오 비트 스트림(video bit stream)을 포함한다. 또한, 오디오 비트 스트림은 복수개의 오디오 프레임을 포함하고, 상기 비디오 스트림은 복수개의 비디오 스트림을 포함한다. 예를 들어 비디오 비트 스트림은 N개의 비디오 프레임을 가지며 N은 1보다 큰 양의 정수가 될 수 있다. 본 발명의 방법과 장치는 오디오/비디오 레코딩 시스템이 오디오프레임과 비디오프레임을 기록한 시간과 레코딩 이벤트(recording event)에 따라, 레코딩 이벤트에 상응하는 이벤트 비디오 프레임(event vedio frame)의 렌더링 지속시간을 결정한다. 그 다음에, 이벤트 비디오 프레임의 렌더링 지속시간은 멀티미디어 파일의 비디오 프레임 테이블에 입력된다. 또한, 이벤트 비디오 프레임의 렌더링 지속시간은 임시적으로 메모리에 저장되어 있다가, 레코딩이 완료된 후에 비디오 프레임 테이블에 입력될 수 있다. 더욱이, 레코딩 이벤트는 시작(start)/재시작(resume) 이벤트, 정지(stop)/일시정지(pause) 이벤트, 비디오 프레임 손실 이벤트(video frame lost event), 동기화 보정 이벤트(synchronization correction event)의 패턴을 포함한다. 본 발명에 따르면, i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, i번째 비디오 프레임의 렌더링 지속시간은 NL에 기초하여 결정된다. 본 발명에 따르면, 상기 시스템이 i번째 비디오 프레임에 대한 동기화 보정 명령을 받았을 때, i번째 비디오 프레임의 렌더링 지속시간은 보정 값(correction value)에 따라 결정된다. 또한, i는 1에서 N-1사이의 정수값이고, NL은 N보다 작은 양의 정수 값이다.
첫번째 바람직한 실시예
도 3A에는 본 발명의 바람직한 실시예에 따른 방법에 대한 순서도가 도시되어 있다. 상기 바람직한 실시예에 따르면, 시작/재시작 레코딩 이벤트 상황에서 오디오/비디오 레코딩 시스템이 이벤트 비디오 프레임을 기록하는 때에, 상기 방법은 시작/재시작 이벤트 비디오 프레임의 렌더링 지속시간을 결정하고, 멀티미디어 파일의 비디오 프레임 테이블에 상기 렌더링 지속시간을 입력하는데 이용된다. 상기 방법에 따르면 우선 S311단계에서, 시작/재시작 레코딩 이벤트에 따라, 레코딩 이벤트에 해당되는 이벤트 오디오 프레임의 오디오 시작/재시작 레코딩 시간(TA0)과 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0)을 기록하고, 그 후에 TA0와 TV0간의 차이값(E)를 계산한다. 그 다음으로, S312 단계는, 차이값(E)과 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)에 따라, 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정하고, 상기 렌더링 지속시간(DRE)은 멀티미디어 파일의 비디오 프레임 테이블에 입력된다. 소정의 비디오 프레임 주기(DV)는 비디오 샘플링 주파수(FS)의 역수로 정의되어 확정된 값을 가질수도 있음에 유의 해야 한다.
실제로, 차이값(E)는 다음의 식을 통해 구할 수 있다.
E=TA0-TV0
또한, 렌더링 지속시간(DRE)는 다음의 식을 통해 구할 수 있다.
DRE=DV-E, 본 방정식은 이하의 식과 같다.
DRE=DV+TV0-TA0
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 도 3A에서와 같이 렌더링 지속시간(DRE)을 계산하는 처리과정을 수행한다. 또한, 시작/재시작 레코딩 이벤트와 렌더링 지속시간(DRE)에 따라, 오디오/비디오 레코딩 시스템은 이벤트 비디오 프레임과 관련된 멀티미디어 파일의 비디오 프레임 테이블에 시작/재시작 레코딩 이벤트 아이템에 (1,DRE)값을 추가한다. 즉, 이벤트 비디오 프레임의 갯수는 1이고, 이벤트 비디오 프레임의 렌더링 지속시간은 DRE임을 나타낸다.
도 3A를 참고하여 도 3B를 살펴보면, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 멀티미디어 파일에 오디오 비트 스트림(321)과 비디오 비트 스트림(322)을 기록하는데 사용된다. 오디오/비디오 레코딩 시스템이 시작/재시작 레코딩 이벤트 상황 하에 멀티미디어 파일에 기록하는 것을 시작 또는 재시작하는 때에, 오디오 비트 스트림(321)과 비디오 비트 스트림(322)과 레코딩 시간(recording time) 사이의 관계는 도 3B에 도시되어 있다. 도 3B에서 볼 수 있듯이, 고유번호(serial number) A0인 오디오 프레임(323)은 오디오 비트 스트림(321)의 시작/재 시작 레코딩 이벤트 오디오 프레임이며, 상기 고유번호가 V0인 비디오 프레임(324)은 비디오 비트 스트림(322)의 시작/재시작 레코딩 이벤트 비디오 프레임이다. 도 3A에 도시된 방법에 따르면, 상기 시스템은 DV에서 DRE로 시작/재시작 이벤트 비디오 프레임(324)의 렌더링 지속시간을 조정할 수 있고, 멀티미디어 파일의 비디오 프레임 테이블에 시작/재시작 레코딩 이벤트 아이템 값을 (1,DRE)로 입력하여 멀티미디어 파일이 재생될 때 비동기화 문제를 방지할 수 있다.
두번째 바람직한 실시예
도 4A에 의하면, 본 발명의 두번째 바람직한 실시예에 따른 방법에 대한 순서도가 도시되어 있다. 상기 바람직한 실시예에 따르면, 오디오/비디오 레코딩 시스템이 정지/일시정지 레코딩 이벤트 상황 하에 이벤트 비디오 프레임을 기록할 때에, 상기 방법은 정지/일시정지 이벤트 비디오 프레임의 렌더링 지속시간을 결정하고, 멀티미디어 파일의 비디오 프레임 테이블에 렌더링 지속시간을 입력하는데 사용된다. 상기 방법에 따르면, 우선적으로 정지/일시정지 이벤트의 경우, 레코딩 이벤트에 상응하는 이벤트 오디오 프레임의 오디오 정지/일시정지 레코딩 시간(TAE)과 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE)을 기록하며, 그 후에 TAE와 TVE간의 차이값(E)를 계산한다(S411). 그 다음, 차이값(E)과 오디오 비트 스트림의 소정 오디오 프레임 주기(DA)를 바탕으로 이벤트 비디오 프레임의 랜더링 지속시간(DRE)을 결정하고, 멀티미디어 파일의 비디오 프레임 테이블에 상기 랜더링 지속시간(DRE)를 입력한다(S412). 소정의 프레임 주기(DA)는 오디오 셈플링 주파수(FA)의 역수와 소정의 프레임사이즈(SF)의 곱으로 결정되는 확정된 값이 될 수 있음에 유의해야 한다. (DA=(1/FA)*SF)
실제로, 차이값(E)은 다음과 같은 방정식을 통해 계산될 수 있다.
E=TAE-TVE
또한, 렌더링 지속시간(DRE)는 다음과 같은 방정식을 통해 계산될 수 있다.
DRE=DA+E, 본 방정식은 이하의 식과 같다.
DRE=DA+TAE-TVE
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 도 4A에서와 같이 렌더링 지속시간(DRE)을 계산하기 위한 처리과정을 수행한다. 또한, 오디오/비디오 레코딩 시스템은 소정 비디오 프레임 주기(DV), 비디오 프레임의 총 갯수(NV), 렌더링 지속시간(DRE)을 바탕으로, 정지/일시정지 레코딩 이벤트에 따른 이벤트 비디오 프레임과 관련된 멀티미디어 파일의 비디오 프레임 테이블에 정지/일시정지 이벤트 아이템 값으로 (NV-1, DV), (1,DRE)를 순차적으로 입력한다. 이는, 이벤트 비디오 프레임 이전의 정상적인 비디오 프레임의 갯수는 NV-1이고, 모든 정상적인 비디오 프레임의 주기는 DV이며, 이벤프 비디오 프레임의 수는 1개이며, 이벤트 비디 오 프레임의 렌더링 지속시간은 DRE임을 의미한다.
도 4A를 참고하여 도 4B를 살펴 보면, MPEG-4 표준을 적용한 오디오/비디오 레코딩 시스템은 멀티미디어 파일에 오디오 비트 스트림(421)과 비디오 비트 스트림(422)을 기록하는데 사용된다. 오디오/비디오 레코딩 시스템이 정지/일시정지 이벤트 상황 하에 멀티미디어 파일 기록을 정지 또는 일시정지 하는 때에, 오디오 비트 스트림(421), 비디오 비트 스트림(422)과 레코딩 시간 사이의 관계가 도 4B에 도시되어 있다. 도 4B에서 확인할 수 있듯이, 고유 번호 A6을 가진 오디오 프레임(423)은 오디오 비트 스트림(421)의 정지/일시정지 레코딩 이벤트 오디오 프레임이며, 고유번호 V3을 가진 비디오 프레임(424)은 비디오 비트 스트림(422)의 정지/일시정지 레코딩 이벤트 비디오 프레임을 나타낸다. 도 4A에 도시된 방법에 따르면, 상기 시스템은 DV부터 DRE까지의 정지/일시정지 레코딩 이벤트 비디오 프레임(424)의 렌더링 지속시간을 조정할 수 있으며, 그 후에 멀티미디어 파일의 비디오 프레임 테이블 내의 정지/일시정지 레코딩 이벤트 아이템 값을 (NV-1,DV)와 (1,DRE)로 입력하여 멀티미디어 파일 재생시 비동기화 문제를 방지할 수 있다.
세번째 바람직한 실시예
본 발명의 세번째 바람직한 실시예는 i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 결정하기 위한 방법이다. 즉, 오디오/비디오 레코딩 시스템이 비 디오 프레임 손실 상황에 있는 경우이다. 상기 방법에 의하면, 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 손실된 비디오 프레임의 총 갯수(NL)를 바탕으로 i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간(DRE)을 결정하고, 멀티미디어 파일의 비디오 프레임 테이블에 렌더링 지속시간(DRE)을 순차적으로 입력시킨다.
실제로, 렌더링 지속시간(DRE)은 다음과 같은 식에 의해 계산된다.
DRE=(1+NL)*DV
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 상기 방법을 수행하는데 적용되며, 비디오 프레임 로스트 이벤트, 비디오 비트 스트림의 소정 비디오 프레임 주기(DV), 손실된 비디오 프레임의 총 개수(NL), 렌더링 지속시간을 바탕으로, i번째 비디오 프레임(이벤트 비디오 프레임)과 관련된 비디오 프레임 테이블 내에 비디오 프레임 손실 이벤트 아이템 값을 (NV-2,DV),(1,DRE),(1,DV)로 입력하는데 적용된다. 이는, 손실 이벤트 전의 정상적인 비디오 프레임의 개수는 NV-2이고, 각 정상적인 비디오 프레임의 주기는 DV이며, 이벤트 비디오 프레임의 개수는 1개이고, 이벤트 비디오 프레임의 렌더링 지속시간은 DRE임을 의미한다. 손실 이벤트 이후의 비디오 프레임은 주기가 DV인 정상적인 비디오 프레임이다.
실제로, 비디오 프레임 손실 이벤트가 시스템에서 발생하였을 때, MPEG-4 표 준이 적용된 오디오/비디오 레코딩 시스템은 손실된 비디오 프레임을 대체할 수 있도록 i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 DRE로 연장시키기 위해 상기 방법을 사용한다. 그 후에 멀티미디어 파일의 비디오 프레임 테이블 내의 비디오 프레임 손실 이벤트 아이템 값을 (NV-2,DV),(1,DRE),(1,DV)를 순차적으로 입력하여, 멀티미디어 파일 재생시에 비동기화 문제를 방지할 수 있다.
네번째 바람직한 실시예
본 발명의 네번째 바람직한 실시예에 따른 방법은, i번째 비디오 프레임에 대한 동기화 보정 명령을 시스템이 받았을 때, 비디오 비트 스트림의 i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간을 결정하는 것이다. 즉, 오디오/비디오 레코딩 시스템은 동기화 보정 상황에 있음을 의미한다. 상기 방법에 따르면, 비디오 비트 스트림의 소정 비디오 프레임 주기(DV)와 i번째 비디오 프레임에 대한 비디오 프레임 보정값(dT)을 바탕으로, i번째 비디오 프레임의 렌더링 지속시간(DRE)를 결정하고, 그 후에 멀티미디어 파일의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)를 입력한다.
실제로, 렌더링 지속시간(DRE)는 다음의 식에 의해 계산된다.
DRE=DV-dT
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 동기화 보정 이벤트, 비디오 비트 스트림의 소정 비디오 프레임 주기(DV), 비디오 프레임의 총 갯수(NV) 및 렌더링 지속시간(DRE)을 바탕으로, i번째 비디오 프레임(이벤트 비디오 프레임)과 관련된 비디오 프레임 테이블 내에 동기화 보정 이벤트 아이템값을 (NV-1,DV), (1,DRE)로 새로 추가시키기 위해 상기 방법을 이용한다. 그 후에 멀티미디어 파일의 비디오 프레임 테이블 내에 동기화 보정 이벤트 아이템 값을 (NV-1,DV), (1,DRE)로 입력하며, 이는 멀티미디어 파일 재생시 비동기화 문제를 방지하기 위함이다. 또한 동기화 보정 이벤트 아이템 (NV-1,DV), (1,DRE)의 의미는 다음과 같다. 동기화 보정 이벤트 전의 정상적인 비디오 프레임의 갯수는 NV-1이고, 각각의 정상적인 비디오 프레임의 주기는 DV이며, 동기화 보정 이벤트 비디오 프레임의 수는 1개이고, 이벤트 비디오 프레임의 렌더링 지속시간은 DRE이다.
실제로, 오디오/비디오 레코딩 시스템은 이상값(ideal value)과 다른 기준주파수(reference frequency)를 가지고 있다. 따라서 상기 시스템은 i번째 비디오 프레임의 렌더링 지속시간을 보정하기 위해 상기 장치를 이용한다.
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 본 발명의 첫번째 내지 네번째 바람직한 실시예에 따른 방법을 모두 포함하는 방법을 사용할 수 있다. 상기 시스템은 비디오 프레임 테이블내에 비디오 프레임의 배열(sequence)과 렌더링 지속시간을 기록한다. 도 5에는 상기 방법의 순서도가 도시되어 있다. 일단 시스템은 오디오 비트 스트림과 비디오 비트 스트림의 기록을 시작 또는 재시작 하라는 명령을 받는다(S501). 그 후, 시스템은 비디오 프레임의 총 갯수(NV)와 손실된 비디오 프레임의 총 갯수(NL)를 0으로 세팅하고, 소정 비디오 프레임 주기(DV)를 비디오 샘플링 주파수(FS)의 역수로 세팅한다(S502). 그 다음에, 시스템은 비디오 프레임을 레코딩한다(S503). 시스템은 S503단계에서의 레코딩이 성공하였는지 판단한다(S504). 만약 S504단계의 결과가 'NO' 이면, NL=NL+1을 하고(S505), S503, S504단계를 다시 거친후에 S504의 결과가 'YES'가 될 때까지 S505단계를 반복한다. 반면, S504단계의 결과가 'YES'인 경우 NV=NV+1을 한다(S506). S506단계 후에, 어떤 레코딩 이벤트가 발생하였는지 판단한다(S507). 만약 S507단계의 결과가 'NO'이면, S503에서 S507까지의 단계를 S507의 결과가 'YES'가 될 때까지 반복한다. 그리고 S507의 결과가 'YES'인 경우에는 현재 기록된 비디오 프레임이 이벤트 비디오 프레임이 된다. 계속해서, 레코딩 이벤트의 타입을 판단한다(S508). 만약 레코딩 이벤트가 시작/재시작 레코딩 이벤트이면, S511~S513을 포함하고 있는 P1절차(procedure P1)를 수행한다. 시스템은 이벤트 비디오 프레임에 상응하는 이벤트 오디오 프레임의 오디오 시작/재시작 레코딩 시간(TA0)과 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0)에 의해, 첫번째 차이값(E1)을 계산한다(S511). 또한, E1과 DV를 이용해 이벤트 비디오 프레임의 렌더링 지속시간(DRE)를 결정한다(S512). 그 후, 시스템은 비디오 프레임 테이블 내의 시작/재시작 이벤트 아이템에 (1,DRE)를 추가하고, 멀티미디어 파일의 비디오 프레임 테이블에 시작/재시작 이벤트 아이템을 (1,DRE)로 입력한다(S513). S513 단계가 완료된 후에 시스템은 S502단계로 되돌아 간다. 그러나 레코딩 이벤트가 정지/일시정지 레코딩 이벤트인 경우, S521~S523단계를 포함하는 P2절차를 수행한다. 시스템은 이벤트 비디오 프레임에 상응하는 이벤트 오디오 프레임의 오디오 정지/일시정지 레코딩 시간(TAE)과 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE)에 의해, 차이값 E2를 계산한다(S521). 또한, 시스템은 E2와 DA를 이용해서 이벤트 비디오 프레임의 렌더링 지속시간(DRE)를 결정한다(S522). 그 후에, 시스템은 비디오 프레임 테이블에 두개의 정지/일시정지 아이템 (NV-1,DV), (1,DRE)를 추가하고, 이 두 아이템을 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 입력시킨다(S523). S523단계가 완료된 후에, 시스템은 기록을 정지하거나 일시정지한다(S524). 만약 레코딩 이벤트가 비디오 프레임 손실 이벤트이고 비디오 비트 스트림의 i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실된 경우, S531~S532단계를 포함하는 P3절차가 수행된다. 시스템은 비디오 비트 스트림의 소정 주기(DV)와 손실된 비디오 프레임의 총 갯수(NL)을 바탕으로, i번째 비디오 프레임의 렌더링 지속시간(DRE)를 결정한다(S531). 그 후에, 시스템은 비디오 프레임 테이블에 세개의 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE),(1,DV)를 추가하고, 상기 비디오 프레임 손실 이벤트 아이템을 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 입력한다(S532). S532단계가 완료된 후에, 시스템은 S502단계로 돌아간다. 마지막으로, 레코딩 이벤트가 동기화 보정 이벤트인 경우, S541~S542단계를 포함하는 P4절차가 수행된다. 시스템은 비디오 비트 스트림의 소정 주기(DV)와 i번째 비디오 프레임에 대한 비디오 프레임 보정값(dT)을 이용해서, i번째 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다(S541). 그 후, 시스템은 i번째 비디오 프레임과 관련된 비디오 프레임 테이블 내에 두개의 동기화 보정 이벤트 아이템인 (NV-1,DV),(1,DRE)를 추가하고, 이 두개의 동기화 보정 이벤트 아이템을 멀티미디어 파일의 비디오 프레임 테이블에 순차적으로 입력한다(S542). S542단계가 완료된 후, 시스템은 S502단계로 돌아간다.
도 6은 본 발명의 바람직한 실시예에 따른 오디오/비디오 레코딩 시스템(600)의 기능적 블럭도를 나타낸다. 오디오/비디오 레코딩 시스템(600)은 처리부(processing module)(601), 메모리부(memory module)(602), 오디오 입력장치(audio inputting device)(603), 오디오 입력 인터페이스(audio inputting interface)(604), 비디오 입력장치(video inputting device)(605), 비디오 입력 인터페이스(video inputting interface)(606), 오디오 인코더(audio encoder)(607), 비디오 인코더(video encoder)(608), 저장 인터페이스(storage interface)(609), 저장장치(storage device)(610), 버스(bus)(611)를 포함한다. 더욱 상세하게는, 오디오/비디오 레코딩 시스템(600) 내의 각 부(module), 장치(device), 인터페이 스(interface) 및 인코더(encoder) 들은 버스(611)를 통해 서로 연결된다. 또한 오디오 인코더(607)와 비디오 인코더(608)는 소프트웨어로 만들어질 수도 있으며, 처리부(601)에 의해 실행되거나 디지털 신호처리소자(digital signal processor : DSP)에 의해 수행될 수도 있다. ARM 마이크로프로세서와 같은 처리부(601)는 SDRAM과 같은 메모리부(502)내의 오디오/비디오 레코딩 프로그램을 실행시키는데 사용된다. 마이크(microphone)와 같은 오디오 입력장치(603)는 음성신호를 모으는데 사용되고, 오디오 입력 인터페이스(604)는 오디오 입력장치(603)와 버스(611)를 연결시키는데 사용된다. 또한 수집된 음성 데이터(audio data)는 메모리부(602)에 저장된다. CMOS 센서와 같은 비디오 입력장치(605)는 영상을 수집하는데 이용되며, 비디오 입력 인터페이스(606)은 비디오 입력장치(605)와 버스(611)를 연결하는데 이용된다. 또한 수집된 영상 데이터(video data)는 메모리부(602)에 저장된다. MPEG-4 ACC 오디오 인코더와 같은 오디오 인코더(607)는 메모리부(602)에 저장된 음성데이터를 오디오 프레임으로 부호화하며, MPEG-4 비디오 인코더와 같은 비디오 인코더(608)은 메모리부(602)에 저장된 영상데이터를 비디오 프레임으로 부호화한다. 저장 인터페이스(609)는 저장장치(610)와 버스(611)를 연결시키는데 이용되며, SD카드와 같은 저장장치(610)는 비디오 프레임과 오디오 프레임으로 구성된 멀티미디어 파일을 저장하는데 사용된다. 또한, 도 6의 시스템 구조는 휴대용 캠코더, 가정용 오디오/비디오 레코더, 오디오/비디오 재생/녹화 컨버터 등의 장치 내부에 칩으로 적절하게 활용될 수 있다.
사용자가 레코딩을 시작하고자 할 때, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 메모리부(602)에 저장된 오디오/비디오 레코딩 프로그램을 실행시킨다. 우선, 처리부(601)는 비디오 프레임의 총 갯수(NV)와 손실된 비디오 프레임의 총 갯수(NL)을 0으로 세팅하고, 소정 비디오 프레임 주기(DV)를 비디오 샘플링 주파수(FS)의 역수가 되도록 세팅한다. 그 후에 오디오 입력장치(603)가 작동되도록 오디오 입력 인터페이스(604)를 제어하고, 비디오 입력장치(605)가 작동되도록 비디오 입력 인터페이스(606)를 제어한다. 그 다음으로, 오디오 입력 인터페이스(604)는 오디오 입력장치(603)로부터 음성데이터를 받고, 비디오 입력 인터페이스(606)는 비디오 입력장치(605)로부터 영상데이터를 받는다. 이러한 데이터가 입력되었을 때, 오디오 입력 인터페이스(604) 및/또는 비디오 입력 인터페이스(606)는 처리부(601)에 데이터를 처리할 것을 알린다. 이에 따라, 처리부(601)는 음성 데이터 및/또는 비디오 데이터를 버스(611)를 통해 메모리부(602)로 이동시킨다. 그 후에 음성 데이터를 오디오 프레임으로 압축하도록 오디오 인코더(607)를 제어하고, 영상 데이터를 비디오 프레임으로 압축하도록 비디오 인코더(608)를 제어한다.
결과적으로, 처리부(601)는 비디오 프레임의 레코딩이 성공적인지 여부를 판단한다. 만약 레코딩이 성공적이면 처리부(601)는 NV=NV+1을 수행하고, 레코딩이 잘못되었다면, 처리부(601)는 NL=NL+1을 수행한다. 레코딩이 성공적이면, 처리부(601)는 어떤 레코딩 이벤트가 발생하는지 여부를 더 판단한다. 만약 레코딩 이벤트가 발생하지 않았다면, 처리부(601)는 오디오 입력장치(603)와 비디오 입력장치(605) 를 통해 음성 데이터 및 영상 데이터를 받고, 이 데이터들을 상응하는 오디오 프레임과 비디오 프레임으로 변환한다. 반대로, 레코딩 이벤트가 발생하였다면, 처리부(601)는 발생된 이벤트가 시작/재시작 이벤트, 정지/일시정지 이벤트, 비디오 프레임 손실 이벤트, 동기화 보정 이벤트 중 어떤 타입의 이벤트인지 판단한다. 그 후에, 처리부(601)는 레코딩 이벤트와 상응하는 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 계산하고, 임시적으로 버스(611)를 통해 메모리부(602)에 이벤트 아이템 (1,DRE)를 저장한다. 그 다음, 오디오/비디오 파일의 포멧(format)에 따라, 처리부(601)는 멀티미디어 파일내의 오디오 프레임과 비디오 프레임에 해당되는 이벤트 아이템을 구성하고, 이 파일을 저장 인터페이스(609)를 매개로 하여 버스(611)를 통해 저장장치(610)내의 파일로 저장시킨다.
다섯번째 바람직한 실시예
도 6을 참고하여 도 5를 살펴보면, 레코딩 이벤트가 시작/재시작 이벤트인 경우, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 시작/재시작 레코딩 이벤트에 해당되는 이벤트 오디오 프레임의 오디오 시작/재시작 레코딩 시간(TA0)과 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0)을 기록한다. 또한, 처리부(601)는 비디오 비트 스트림의 소정 주기(DV)를 바탕으로 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다.
실제로, 차이값(E)은 다음의 식에 의해 계산될 수 있다.
E=TA0-TV0
또한, 렌더링 지속시간(DRE)은 다음의 식에 의해 계산될 수 있다.
DRE=DV-E, 본 방정식은 이하의 식과 같다
DRE=DV+TV0-TA0
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정한 후에, 멀티미디어 파일의 비디오 프레임 테이블 내에 이벤트 비디오 프레임과 관련된 시작/재시작 이벤트 아이템(1,DRE)을 추가시키고, 버스(611)와 저장 인터페이스(609)를 통해 저장 장치(610)내에 시작/재시작 이벤트 아이템 (1,DRE)를 입력시킨다.
여섯번째 바람직한 실시예
도 6을 참고하여 도 5를 살펴보면, 레코딩 이벤트가 정지/일시정지 이벤트인 경우, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 정지/일시정지 이벤트에 해당되는 이벤트 오디오 프레임의 오디오 정지/일시정지 레코딩 시간(TAE)과 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE)을 기록한다. 또한 처리부(601)는 오디오 비트 스트림의 소정 주기(DA)를 바탕으로, 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다.
실제로, 차이값(E)은 다음과 같은 식으로 계산된다.
E=TAE-TVE
또한, 렌더링 지속시간(DRE)은 다음과 같은 식으로 계산된다.
DRE=DA+E, 본 방정식은 이하의 식과 같다
DRE=DA+TAE-TVE
실제로, MPEG-4 표준을 적용시킨 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 일단 이벤트 비디오 프레임의 렌더링 지속시간(DRE)을 결정 한 후에, 이벤트 비디오 프레임과 관련된 멀티미디어 파일의 비디오 프레임 테이블 내의 정지/일시정지 이벤트 아이템 (NV-1,DV),(1,DRE)를 추가시키고, 버스(611)와 저장 인터페이스(609)를 통해 저장장치(610)에 정지/일시정지 이벤트 아이템 (NV-1,DV),(1,DRE)를 입력시킨다.
일곱번째 바람직한 실시예
도 6을 참고하여 도 5를 살펴보면, 레코딩 이벤트가 비디오 프레임 손실 이벤트인 경우, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 i+1번째 비디오 프레임부터 i+NL번째 비디오 프레임까지 손실되었다고 판단한다. 그 후에, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 비디오 비트 스트림의 소정 주기(DV)와 손실된 비디오 프레임의 총 갯수(NL)를 바탕으로, i번째 비디오 프레임의 렌더링 지속시간(DRE)를 결정한다.
실제로, 렌더링 지속시간(DRE)는 다음의 식으로 계산된다.
DRE=(1+NL)*DV
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 일단 i번째 비디오 프레임(이벤트 비디오 프레임)의 렌더링 지속시간(DRE)를 결정한 후에, 이벤트 비디오 프레임과 관련된 멀티미디어 파일의 비디오 프레임 테이블 내에 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE),(1,DV)를 추가시키고, 버스(611)와 저장 인터페이스(609)를 통해 저장장치(610)에 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE),(1,DV)을 저장시킨다.
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템은 손실 비디오 프레임을 대체하도록, i번째 비디오 프레임의 렌더링 지속시간을 DRE까지 연장시키기 위해 상기 장치를 이용한다.
여덟번째 바람직한 실시예
도 6을 참고하여 도 5를 살펴보면, 레코딩 이벤트가 동기화 보정 이벤트인 경우, 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 i번째 비디오 프레임에 대한 동기화 보정 명령을 받게 된다. 그 후에 비디오 비트 스트림의 소정 주기(DV)와 i번째 비디오 프레임의 비디오 프레임 보정값(dT)을 바탕으로, 처리부(601)는 i번째 비디오 프레임의 렌더링 지속시간(DRE)을 결정한다.
실제로, 렌더링 처리시간(DRE)은 다음의 식에 의해 계산된다.
DRE=DV-dT
실제로, MPEG-4 표준이 적용된 오디오/비디오 레코딩 시스템(600)의 처리부(601)는 일단 i번째 비디오 프레임의 렌더링 지속시간(DRE)을 결정한 후에, 이벤트 비디오 프레임과 관련된 멀티미디어 파일의 비디오 프레임 테이블 내에 동기화 보정 이벤트 아이템 (NV-1,DV),(1,DRE)를 추가시키고, 버스(611)와 저장 인터페이스(609)를 통해 저장장치(610)에 동기화 보정 이벤트 아이템 (NV-1,DV),(1,DRE)를 입력시킨다.
실제로, 오디오/비디오 레코딩 시스템은 이상값(ideal value)과 다른 기준주파수를 가지고 있으므로, 시스템은 i번째 비디오 프레임의 렌더링 지속기간을 보정하기 위해 상기 장치를 활용한다.
이상 설명한 바와 같이, 본 발명에 따르면, 멀티미디어 파일의 비디오 프레임 지속시간을 적절히 결정하여, 비디오 비트 스트림과 오디오 비트 스트림 간의 비동기화 에러를 제거할 수 있으며, 이를 통해 멀티미디어 파일 재생 중에 비디오와 오디오 신호 간의 비동기화가 발생하는 문제를 해결할 수 있다.
또한, 이상에서는 본 실시예와 설명들을 통해, 본 발명의 특징이나 기술적 사상은 바람직하게 기술되었지만, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 본 발명의 요지에 벗어남 없이 다양한 수정 및 변형실시가 가능하다. 따라서 상기 기술된 발명은 부가된 청구범위에 의해서만 그 경계를 제한하여 해석되어야 한다.

Claims (20)

  1. 오디오 프레임 테이블(audio frame table), 비디오 프레임 테이블(video frame table), 복수 개의 오디오 프레임(audio frame)을 포함하는 오디오 비트 스트림(audio bit stream), 및 복수 개의 비디오 프레임(video frame)을 포함하는 비디오 비트 스트림(video bit stream)을 포함하는 멀티미디어 객체를 레코딩하기 위한 오디오/비디오 레코딩 시스템(audio/video recording system)에 적용되는 렌더링 지속시간(rendering duration) 결정 방법에 있어서,
    이벤트 비디오 프레임(event video frame)을 레코딩(recording)하는 단계;
    상기 이벤트 비디오 프레임에 상응하는 레코딩 이벤트(recording event)를 판단하는 단계;
    상기 레코딩 이벤트에 따라서, 상기 이벤트 비디오 프레임에 상응하는 렌더링 지속시간을 계산하는 단계; 및
    상기 멀티미디어 객체(multimedia object)의 비디오 프레임 테이블(video frame table) 내에 상기 렌더링 지속시간을 입력하는 단계;를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정 방법.
  2. 제 1 항에 있어서,
    상기 멀티미디어 객체의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)을 입력하는 단계는,
    임시적으로 메모리에 상기 렌더링 지속시간(DRE)을 저장한 후에 멀티미디어 객체의 비디오 프레임 테이블 내에 랜더링 지속시간을 입력하는 단계를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  3. 제 1 항에 있어서,
    상기 레코딩 이벤트가 시작(start)/재시작(resume) 이벤트인 경우에, 상기 이벤트 비디오 프레임에 상응하는 렌더링 지속시간(rendering duration)(DRE)을 계산하는 단계는,
    이벤트 비디오 프레임(event video frame)에 상응하는 이벤트 오디오 프레임(event audio frame)의 오디오 시작/재시작 레코딩 시간(TA0), 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0) 및 비디오 프레임의 소정 주기(DV)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정하는 단계;
    DRE=DV+TV0-TA0
    를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  4. 제 3 항에 있어서,
    상기 멀티미디어 객체의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)을 입력하는 단계는,
    시작/재시작 이벤트 아이템 (1,DRE)를 새로 추가(add)하고, 멀티미디어 객체의 비디오 프레임 테이블 내에 상기 시작/재시작 이벤트 아이템 (1,DRE)를 입력하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  5. 제 1 항에 있어서,
    상기 레코딩 이벤트가 정지(stop)/일시정지(pause) 이벤트인 경우에, 상기 이벤트 비디오 프레임에 상응하는 렌더링 지속시간(rendering duration)(DRE)을 계산하는 단계는,
    이벤트 비디오 프레임(event video frame)에 상응하는 이벤트 오디오 프레임(event audio frame)의 오디오 정지/일시정지 레코딩 시간(TAE), 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE) 및 오디오 프레임의 소정 주기(DA)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정하는 단계;
    DRE=DA+TAE-TVE
    를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  6. 제 5 항에 있어서,
    상기 멀티미디어 객체의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)을 입력하는 단계는,
    비디오 프레임의 소정 주기(DV), 비디오 프레임의 총 갯수(NV) 및 렌더링 지속시간(DRE)을 바탕으로, 정지/일시정지 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 새로 추가하고, 멀티미디어 객체의 비디오 프레임 테이블 내에 상기 정지/일시정지 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 순차적으로 입력하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  7. 제 1 항에 있어서,
    상기 레코딩 이벤트가 비디오 프레임 손실 이벤트(video frame lost event)인 경우에, 상기 이벤트 비디오 프레임에 상응하는 렌더링 지속시간(rendering duration)(DRE)을 계산하는 단계는,
    손실 비디오 프레임(lost video frame)의 총 갯수(NL) 및 비디오 프레임의 소정 주기(DV)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정하는 단계;
    DRE=(1+NL)*DV
    를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  8. 제 7 항에 있어서,
    상기 멀티미디어 객체의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)을 입력하는 단계는,
    비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE) 및 (1,DV)를 새로 추가하고, 멀티미디어 객체의 비디오 프레임 테이블 내에 상기 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE) 및 (1,DV)를 순차적으로 입력하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  9. 제 1 항에 있어서,
    상기 레코딩 이벤트가 동기화 보정 이벤트(synchronization correction event)인 경우에, 상기 이벤트 비디오 프레임에 상응하는 렌더링 지속시간(rendering duration)(DRE)을 계산하는 단계는,
    비디오 프레임의 소정 주기(DV) 및 비디오 프레임 보정값(correction value)(dT)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정하는 단계;
    DRE=DV-dT
    를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  10. 제 9 항에 있어서,
    상기 멀티미디어 객체의 비디오 프레임 테이블 내에 렌더링 지속시간(DRE)을 입력하는 단계는,
    비디오 프레임의 총 갯수(NV)를 바탕으로, 동기화 보정 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 새로 추가하고, 멀티미디어 객체의 비디오 프레임 테이블 내에 상기 동기화 보정 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 순차적으로 입력하는 것을 특징으로 하는 렌더링 지속시간 결정방법.
  11. 멀티미디어 객체(multimedia object)의 오디오 비트 스트림(audio bit stream)과 비디오 비트 스트림(video bit stream)을 레코딩(recording)할 때 사용되고, 상기 오디오 비트 스트림은 복수개의 오디오 프레임을 포함하며, 상기 비디오 스트림은 복수개의 비디오 프레임을 포함하는 렌더링 지속시간(rendering duration) 결정장치에 있어서,
    영상 데이터(video data)를 입력받기 위한 비디오 입력장치(video inputting device);
    음성 데이터(audio data)를 입력받기 위한 오디오 입력장치(audio inputting device);
    상기 영상 데이터를 압축하여 비디오 프레임(video frame)을 생성하는 비디오 인코더(video encoder);
    상기 음성 데이터를 압축하여 오디오 프레임(audio frame)을 생성하는 오디 오 인코더(audio encoder);
    오디오/비디오 레코딩 프로그램(audio/video recording program), 상기 비디오 프레임 및 상기 오디오 프레임을 임시적으로 저장하는 메모리부(memory module);
    멀티미디어 파일(multimedia file)을 저장하는 저장장치(storage device); 및
    상기 오디오/비디오 레코딩 프로그램을 실행시키고, 레코딩 이벤트(recording event)에 따라 이벤트 비디오 프레임(event video frame)에 상응하는 렌더링 지속시간(rendering duration)을 계산하며, 상기 멀티미디어 파일의 비디오 프레임 테이블(video frame table) 내에 상기 렌더링 지속시간을 입력하는 처리부(processing module);를 포함하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  12. 제 11 항에 있어서,
    상기 처리부는 상기 메모리부에 렌더링 지속시간(DRE)를 임시적으로 저장시키는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  13. 제 11 항에 있어서,
    상기 레코딩 이벤트가 시작(start)/재시작(resume) 이벤트인 경우에, 상기 처리부는,
    이벤트 비디오 프레임(event video frame)에 상응하는 이벤트 오디오 프레임(event audio frame)의 오디오 시작/재시작 레코딩 시간(TA0), 이벤트 비디오 프레임의 비디오 시작/재시작 레코딩 시간(TV0) 및 비디오 프레임의 소정 주기(DV)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정;
    DRE=DV+TV0-TA0
    하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  14. 제 13 항에 있어서,
    상기 처리부는,
    상기 레코딩 이벤트에 따른, 시작/재시작 이벤트 아이템 (1,DRE)를 새로 추가하고, 멀티미디어 파일의 비디오 프레임 테이블 내에 상기 시작/재시작 이벤트 아이템 (1,DRE)를 입력하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  15. 제 11 항에 있어서,
    상기 레코딩 이벤트가 정지(stop)/일시정지(pause) 이벤트인 경우에, 상기 처리부는,
    이벤트 비디오 프레임(event video frame)에 상응하는 이벤트 오디오 프레 임(event audio frame)의 오디오 정지/일시정지 레코딩 시간(TAE), 이벤트 비디오 프레임의 비디오 정지/일시정지 레코딩 시간(TVE) 및 오디오 프레임의 소정 주기(DA)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정;
    DRE=DA+TAE-TVE
    하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  16. 제 15 항에 있어서,
    상기 처리부는,
    상기 레코딩 이벤트에 따른, 정지/일시정지 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 새로 추가하고, 멀티미디어 파일의 비디오 프레임 테이블 내에 상기 정지/일시정지 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 입력하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  17. 제 11 항에 있어서,
    상기 레코딩 이벤트가 비디오 프레임 손실 이벤트(video frame lost event)인 경우에, 상기 처리부는,
    손실 비디오 프레임(lost video frame)의 총 갯수(NL) 및 비디오 프레임의 소정 주기(DV)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정;
    DRE=(1+NL)*DV
    하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  18. 제 17 항에 있어서,
    상기 처리부는,
    상기 레코딩 이벤트에 따른, 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE) 및 (1,DV)를 새로 추가하고, 멀티미디어 파일의 비디오 프레임 테이블 내에 상기 비디오 프레임 손실 이벤트 아이템 (NV-2,DV),(1,DRE) 및 (1,DV)를 입력하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  19. 제 11 항에 있어서,
    상기 레코딩 이벤트가 동기화 보정 이벤트(synchronization correction event)인 경우에, 상기 처리부는,
    비디오 프레임의 소정 주기(DV) 및 비디오 프레임 보정값(correction value)(dT)를 바탕으로, 다음의 식을 계산하여 렌더링 지속시간(DRE)을 결정;
    DRE=DV-dT
    하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
  20. 제 19 항에 있어서,
    상기 처리부는,
    레코딩 이벤트에 따른, 동기화 보정 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 새로 추가하고, 멀티미디어 파일의 비디오 프레임 테이블 내에 상기 동기화 보정 이벤트 아이템 (NV-1,DV) 및 (1,DRE)를 입력하는 것을 특징으로 하는 렌더링 지속시간 결정장치.
KR1020070028875A 2006-03-24 2007-03-23 비디오 프레임의 렌더링 지속시간 결정 장치 및 방법 KR100847534B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW095110412 2006-03-24
TW095110412A TWI322949B (en) 2006-03-24 2006-03-24 Apparatus and method for determining rendering duration of video frame

Publications (2)

Publication Number Publication Date
KR20070096920A true KR20070096920A (ko) 2007-10-02
KR100847534B1 KR100847534B1 (ko) 2008-07-21

Family

ID=38533536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070028875A KR100847534B1 (ko) 2006-03-24 2007-03-23 비디오 프레임의 렌더링 지속시간 결정 장치 및 방법

Country Status (3)

Country Link
US (1) US7885514B2 (ko)
KR (1) KR100847534B1 (ko)
TW (1) TWI322949B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041428A1 (en) * 2007-08-07 2009-02-12 Jacoby Keith A Recording audio metadata for captured images
US20090074376A1 (en) * 2007-09-17 2009-03-19 Himax Technologies Limited Apparatus and method for efficient av synchronization
KR101535827B1 (ko) * 2008-12-05 2015-07-27 삼성전자주식회사 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법
WO2014087449A1 (en) * 2012-12-04 2014-06-12 Hitachi, Ltd. Network device and method of controlling the network device
US10991350B2 (en) * 2017-08-29 2021-04-27 Intelliterran, Inc. Apparatus, system, and method for recording and rendering multimedia
CN110324643B (zh) 2019-04-24 2021-02-02 网宿科技股份有限公司 一种视频录制方法及系统
US10986378B2 (en) * 2019-08-30 2021-04-20 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US11005909B2 (en) 2019-08-30 2021-05-11 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US11184648B2 (en) 2019-08-30 2021-11-23 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
CN112272327B (zh) * 2020-10-26 2021-10-15 腾讯科技（深圳）有限公司 数据处理方法、装置、存储介质及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5674803A (en) * 1993-09-20 1997-10-07 Labelon Corporation Heat-printable material having thermally printed indicia
JP3698376B2 (ja) 1996-08-19 2005-09-21 松下電器産業株式会社 同期再生装置
JP3552506B2 (ja) 1997-12-05 2004-08-11 松下電器産業株式会社 再生方法及び再生装置
US6134243A (en) 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6081299A (en) 1998-02-20 2000-06-27 International Business Machines Corporation Methods and systems for encoding real time multimedia data
KR100329391B1 (ko) 1999-01-04 2002-03-22 구자홍 디지털 데이터 스트림의 기록방법 및 장치
US6646655B1 (en) * 1999-03-09 2003-11-11 Webex Communications, Inc. Extracting a time-sequence of slides from video
WO2002035747A2 (en) * 2000-10-20 2002-05-02 Koninklijke Philips Electronics N.V. Rendering device and arrangement
CN1287554C (zh) 2001-08-10 2006-11-29 旭联科技股份有限公司 影音教材制播系统与影音制播方法
US7274862B2 (en) * 2001-09-27 2007-09-25 Sony Corporation Information processing apparatus
KR20050085288A (ko) * 2002-12-04 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트를 렌더링할 때 콘텐트 동등성을 고려하는 방법
US7440682B2 (en) * 2004-04-28 2008-10-21 Fujifilm Corporation Electronic-album displaying system, electronic-album displaying method, remote controller, machine readable medium storing remote control program, schedule generating device, and machine readable medium storing schedule generating program
TWI265733B (en) 2004-07-27 2006-11-01 Mediatek Inc Playback device capable of synchronizing playback of video signal portion and audio signal portion of AV signal and method thereof

Also Published As

Publication number Publication date
TW200736939A (en) 2007-10-01
KR100847534B1 (ko) 2008-07-21
TWI322949B (en) 2010-04-01
US20070223884A1 (en) 2007-09-27
US7885514B2 (en) 2011-02-08

Similar Documents

Publication Publication Date Title
KR100847534B1 (ko) 비디오 프레임의 렌더링 지속시간 결정 장치 및 방법
JP4076754B2 (ja) 同期方法
US6339760B1 (en) Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
US6163646A (en) Apparatus for a synchronized playback of audio-video signals
CN101076121B (zh) 流生成装置、成像装置、数据处理装置和流生成方法
CN107093436B (zh) 预录的音视频数据的存储方法及装置、移动终端
US7084908B2 (en) Image signal recording apparatus with controlled recording of main, preceding and succeeding moving image signals
US6801536B1 (en) Remultiplexing audio/video PES streams from an MPEG transport system
EP1199890B1 (en) Coded data transfer control method and storage and reproduction system
JP4006553B2 (ja) 記録再生装置および方法
JP3881992B2 (ja) 受信装置、受信プログラム、および受信プログラムを記録した記録媒体
JP4466390B2 (ja) 動画装置、動画再生方法、及びプログラム
CN101800063B (zh) 决定视频帧播放持续时间的方法及装置
CN101071602B (zh) 决定视频帧播放持续时间的方法及装置
JPH11308613A (ja) 映像音響同期方法および装置および映像音響同期プログラムを記録した記録媒体
TWI277346B (en) Processing device switching time axis in video data stream and method thereof
JPH10210483A (ja) 動画像再生装置及びその方法
KR100442279B1 (ko) 디지털 영상 저장 재생 장치
JP3301695B2 (ja) 符号化信号復号装置
KR100631783B1 (ko) 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
JP2024154102A (ja) 撮像装置
JP3923553B2 (ja) 映像音声処理装置の同期装置
KR100698185B1 (ko) 녹화/재생 장치와 녹화 및 재생 방법
EP2487910B1 (en) Image coding device and image coding method
JP2005210636A (ja) デジタルデータ再生方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070323

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20071218

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080506

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080715

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080716

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110620

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20110704

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20110704

Start annual number: 5

End annual number: 6

FPAY Annual fee payment

Payment date: 20140610

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140610

Start annual number: 7

End annual number: 9

FPAY Annual fee payment

Payment date: 20180509

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180509

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20190508

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20190508

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20210526

Start annual number: 14

End annual number: 14

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230426