[go: up one dir, main page]

KR100565333B1 - 휴대단말기의 비디오 오디오 동기장치 및 방법 - Google Patents

휴대단말기의 비디오 오디오 동기장치 및 방법 Download PDF

Info

Publication number
KR100565333B1
KR100565333B1 KR1020040046697A KR20040046697A KR100565333B1 KR 100565333 B1 KR100565333 B1 KR 100565333B1 KR 1020040046697 A KR1020040046697 A KR 1020040046697A KR 20040046697 A KR20040046697 A KR 20040046697A KR 100565333 B1 KR100565333 B1 KR 100565333B1
Authority
KR
South Korea
Prior art keywords
video
audio
session
signal
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040046697A
Other languages
English (en)
Other versions
KR20050121536A (ko
Inventor
서광덕
김찬우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040046697A priority Critical patent/KR100565333B1/ko
Priority to JP2005162052A priority patent/JP4099494B2/ja
Priority to US11/157,353 priority patent/US7710943B2/en
Priority to CNB2005101038276A priority patent/CN100536575C/zh
Priority to EP05013473A priority patent/EP1610558A3/en
Publication of KR20050121536A publication Critical patent/KR20050121536A/ko
Application granted granted Critical
Publication of KR100565333B1 publication Critical patent/KR100565333B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28—Timers or timing mechanisms used in protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 멀티미디어 휴대단말기의 수신된 비디오와 오디오 신호가 알티피 세션에서 일정한 샘플링 레이트를 유지하면, 표준시간 연산량을 줄이는 것으로, 제어에 의하여 송수신되는 비디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티피부; 비디오 알티피부에 접속하고 송수신되는 비디오와 오디오 신호의 세션설정과 패킷과 언패킷 처리를 감시하고 동기 표준시간을 연산하는 제어부; 제어부의 제어에 의하여 송수신되는 비디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티시피부; 제어부의 제어에 의하여 송수신되는 오디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티피부; 제어부의 제어에 의하여 송수신되는 오디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티시피부; 제어부가 연산한 비디오와 오디오 동기 표준시간을 각각 기록저장하고 출력하는 표준시간부가 포함되어 이루어지는 장치구성을 특징 등으로 하여, 한번의 연산으로 표준시간을 구하고, 저장 사용하므로 비디오와 오디오 신호를 신속하게 동기시키며 부하를 줄이어 신뢰도가 증가하는 효과가 있다.

Description

휴대단말기의 비디오 오디오 동기장치 및 방법{A METHOD AND A APPARATUS OF SYNCHRONIZATION VIDEO SIGNAL WITH AUDIO SIGNAL FOR MOBILE PHONE}
도1 은 일반적인 이동통신 시스템의 기능 구성도,
도2 는 종래 휴대단말기의 멀티미디어 신호 송신방법 순서도,
도3 은 종래 휴대단말기의 멀티미디어 송신상태 신호 흐름도,
도4 는 종래 휴대단말기의 멀티미디어 신호 수신방법 순서도,
도5 는 종래 휴대단말기의 멀티미디어 수신상태 신호 흐름도,
도6 은 본 발명 휴대단말기의 비디오 오디오 동기장치 기능 구성도,
도7 은 본 발명 휴대단말기의 비디오 오디오 동기방법 순서도,
도8 은 본 발명 휴대단말기의 멀티미디어 수신상태 신호 흐름도.
** 도면의 주요 부분에 대한 부호 설명 **
100 : 무선부 110 : 제어부 120 : 비디오 알티피부
130 : 비디오 알티시피부 140 : 입출력부
150 : 표준시간부 160 : 오디오 알티시피부
170 : 오디오 알티피부
본 발명은 멀티미디어 휴대단말기의 수신된 비디오와 오디오 매체신호를 동기 일치시키는 것으로, 특히, 멀티미디어 신호를 전송하는 알티피(RTP) 세션에서 각 매체의 샘플링 레이트가 일정한 경우 동기를 위한 연산량을 획기적으로 줄이는 휴대단말기의 수신 비디오 오디오 동기장치 및 방법에 관한 것이다.
휴대단말기(MS: MOBILE STATION)는 가입 등록된 이동통신 시스템의 해당 기지국(RAN: RADIO ACCESS NETWORK)이 형성하는 서비스 영역(SERVICE AREA) 안을 자유롭게 이동하면서 이동교환국(MSC: MOBILE SWITCHING CENTER)의 감시와 제어와 스위칭(SWITCHING)에 의하여 설정된 통신경로를 경유하므로, 언제 어디서나 원하는 상대방과 즉시 무선접속하여 통신하는 것으로, 개인이 항상 직접 휴대하면서 어디든지 이동하는 첨단 무선통신장비 이다.
상기 휴대단말기(MS)는, 초기에 음성급 신호 매체를 위주로 통신하였고, 다음세대에서는 문자급 데이터 신호 매체를 이용하여 메시지 또는 이메일 등과 같은 대량의 정보를 빠르게 전송하는 통신방식으로 발전하게 되었으며, 현재의 3 세대에서는 상기의 음성급 매체와 문자급 매체에 영상급 매체를 포함하는 멀티미디어(MULT-MEDIA) 방식으로, 보다 많은 정보를 상대방에게 신속하게 전송하는 통신방식으로 발전하였다.
상기와 같은 3세대 멀티미디어 통신방식 휴대단말기는, 무선접속된 상대방과 영상 및 음성신호를 이용하여 통신하는 것으로, 상대방의 영상과 음성을 듣는 동시에 본인의 영상과 음성을 상대방에게 보내어 동시 통신한다.
상기 멀티미디어 통신방식은, 영상(IMAGE)의 비디오(VIDEO) 신호와 음성(VOICE)의 오디오(AUDIO) 신호를 각각 처리하여 상대방에게 송신(TRANSMITTING)하고, 수신측에서는 상기 각각 수신된 비디오 신호와 오디오 신호가 일치하는 상태로 동기(SYNC: SYNCHRONIZATION)시켜 출력한다.
즉, 상기 멀티미디어 신호는, 송신측에서 각각 해당 처리되고 무선송신되어 상대방에게 전송되며, 상대방 수신측은 무선수신하고 복조 처리하는 등등의 과정에서 각각 시간적인 차이가 발생하므로, 최종적으로 출력할 때, 상기 수신된 비디오 매체 신호와 오디오 매체 신호를 동기(SYNC)시켜 출력하여야 한다.
상기 멀티미디어 휴대단말기의 비디오 매체 신호와 오디오 매체 신호의 멀티미디어는 알티피(RTP: REALTIME TRANSPORT PROTOCOL) 세션(SESSION)을 통하여 알티피 패킷(RTP PACKET)으로 전송하며, 상기 알티피 패킷(RTP PACKET)에는 멀티미디어를 구성하는 각 매체의 샘플링 레이트를 검출하여 생성된 알티피 타임스탬프(RTP TIME STAMP)가 포함되고, 상기 알티피 패킷은 알티시피(RTCP: REALTIME TRANSPORT CONTROL PROTOCOL)에 의하여 제어를 받고 전송된다.
상기 알티시피(RTCP)는, 일 예로, 에스알(SR: SENDER REPORT) 패킷 방식과 알알(RR: RECEIVER REPORT) 패킷 방식과 에스디에스(SDS: SOURCE DESCRIPTION) 패킷 방식 등등을 이용하여 해당 제어를 한다.
상기 알티시피 에스알(RTCP SR) 패킷(PACKET)은, 엔티피(NTP) 타임스탬프와 알티피(RTP) 타임스탬프(TIME STAMP)를 포함하고, 알티피(RTP) 패킷은 알티피(RTP) 타임스탬프가 포함된다.
상기 알티시피(RTCP)의 엔티피(NTP: NETWORK TIME PROTOCOL) 타임스탬프(TIME STAMP)는 실제시간(REAL TIME) 또는 절대시간(공업적 율리우스 적일)을 공급받아 생성되는 시간정보이다.
상기 휴대단말기는, 수신된 멀티미디어 신호의 비디오 매체와 오디오 매체를 동기(SYNC)시키기 위하여, 상기 알티피 타임스탬프와 엔티피 타임스탬프를 연산처리하고 동기를 일치시킨다.
그러나, 상기 휴대단말기의 수신된 비디오 신호와 오디오 신호를 동기시키는 연산처리에 많은 부하(LOAD)가 소요되는 문제가 있고, 상기와 같은 연산처리 부하 문제를 해결하는 기술을 개발할 필요가 있다
이하, 종래 기술에 의한 휴대단말기의 수신 비디오 오디오 동기방식을 첨부된 도면을 참조하여 설명한다.
종래 기술을 설명하기 위하여 첨부된 것으로, 도1 은 일반적인 이동통신 시스템의 기능 구성도 이고, 도2 는 종래 기술에 의한 휴대단말기의 멀티미디어 신호 송신방법 순서도 이며, 도3 은 종래 기술에 의한 휴대단말기의 멀티미디어 송신상태 신호 흐름도 이고, 도4 는 종래 기술에 의한 휴대단말기의 멀티미디어 신호 수신방법 순서도 이며, 도5 는 종래 기술에 의한 휴대단말기의 멀티미디어 수신상태 신호 흐름도 이다.
상기 도1을 참조하여 일반적인 이동통신 시스템을 설명하면, 휴대단말기(MS)(10)는 기지국(RAN)(20)이 형성하는 서비스 영역(SERVICE AREA) 안을 자유롭게 이동하면서, 상대방을 호출하여 통신하고자 하는 경우, 상대방의 해당 고유번호(ID)를 다이얼링(DIALING)하여 입력하고 호접속 요청신호를 무선송신한다.
상기와 같이 휴대단말기(10)로부터 무선송신되는 호접속 요청신호는, 기지국(20)에서 무선수신하여 이동교환국(MSC)(30)에 인가하고, 상기 이동교환국(30)은 입력된 호접속 요청신호를 분석하여 해당 스위칭 처리하므로, 상대방과의 통신경로를 설정한다.
상기 설정된 통신경로에 접속된 상대방이 호출에 응답하는 경우, 상기 휴대단말기(10)는 설정된 통신경로를 통하여 접속된 상대방과 통신을 한다.
상기 휴대단말기(10)는 음성급 신호만을 이용하는 통신방식과, 문자를 이용하는 데이터 통신방식과, 음성신호와 문자신호와 영상신호가 포함되는 멀티미디어급 통신방식 중에서 하나를 선택하여 상대방과 통신한다.
상기 멀티미디어 통신방식에서는, 오디오(AUDIO)의 음성신호와 문자신호와 비디오(VIDEO)의 영상신호 매체를 각각 해당 처리하여 무선송신하고, 상기 신호를 무선수신하며 각각 해당 복조처리하여 출력하므로, 최종 출력되는 매체에 동기가 이루어지지 않는 경우가 발생하며, 상기와 같은 문제를 해결하기 위하여, 수신측에서 각 매체를 동기(SYNC)시켜 출력한다.
이하, 상기 첨부된 도2와 도3을 참조하여 종래 기술에 의한 휴대단말기의 비디오 오디오 송신방법을 설명한다.
상기 휴대단말기(MS)는, 비디오(VIDEO)와 오디오(AUDIO)의 멀티미디어(MULTIMEDIA) 신호를 송신하고자 하는 경우(S10), 다자간 통신을 하는지 판단한다(S20).
상기 판단(S20)에서 다자간 통신하는 경우, 각 다자 통신 휴대단말기의 절대시간을 동기(SYNC)시켜 엔티피(NTP) 타임이 동기되도록 하고(S30), 멀티미디어 신호 송신을 위한 엔티피 타임으로 자체 리얼클럭을 적용할 것인지 판단한다(S40).
상기 판단(S40)에서 자체 리얼클럭을 적용하고자 하는 경우, 엔티피(NTP)에 자체 생성된 리얼클럭을 적용하며, 상기 판단(S40)에서 자체 리얼클럭을 적용하지 않는 경우는 무선수신된 리얼클럭을 적용할 것인지 판단한다(S60).
상기 판단(S60)에서 무선수신된 리얼클럭을 멀티미디어 신호 송신에 사용하고자 하는 경우는, 기지국(RAN) 등으로부터 무선수신되는 리얼클럭을 엔티피(NTP)에 적용한다(S70).
상기와 같이 엔티피에 적용된 리얼클럭을 이용하여 알티시피(RTCP) 제어를 받는 알티피(RTP) 패킷으로 해당 비디오와 오디오의 멀티미디어 신호를 호접속된 상대방에게 무선송신한다(S80).
즉, 상기 휴대단말기는 비디오와 오디오 신호를 이용하는 멀티미디어 통신을 하는데 있어서, 다자간 통신하는 경우는 각 해당 휴대단말기의 엔티피가 일치하도록 동기(SYNC)시키는 연산을 하고, 일대일의 멀티미디어 통신을 하는 경우는 엔티피 동기를 시키지 않는다.
상기 첨부된 도3에, 상기와 같은 구성의 멀티미디어 신호 송신 흐름도가 도시되어 있다.
상기와 같은 휴대단말기는, 멀티미디어 신호 무선송신에 필요한 절대시간 정보인 엔티피(NTP)로 자체 생성된 리얼클럭을 적용할 것인지 또는, 기지국(RAN) 등 에서 무선송신되는 리얼클럭을 무선수신하여 적용할 것인지 판단하고, 상기 판단에서 적용할 것으로 선택된 해당 리얼클럭을 절대시간인 엔티피에 적용하며, 상기 엔티피를 포함하는 알티피에 의하여 해당 멀티미디어 신호를 지정된 상대방에게 송신한다.
이하, 상기 첨부된 도4를 참조하여, 종래 기술에 의한 휴대단말기의 비디오 오디오 신호 수신방법을 설명한다.
상기 휴대단말기(MS)는 비디오와 오디오에 의한 멀티미디어 신호를 수신할 것인지 판단하고(S100), 상기 판단(S100)에서 비디오와 오디오 신호에 의한 멀티미디어 신호를 수신하는 경우, 비디오와 오디오의 각각에 의한 알티피 시간과 절대시간인 엔티피(NTP) 시간을 표준화한 시간을 연산한다(S110).
상기 표준화 시간 연산에는 다음과 같은 수학식이 사용된다.
(식 1)
Figure 112004027035533-pat00001
(식 2)
Figure 112004027035533-pat00002
(식 3)
Figure 112004027035533-pat00003
상기 수학식에서
Figure 112004027035533-pat00004
와
Figure 112004027035533-pat00005
는 비디오와 오디오 신호의 알티시피(RTCP) 에스알(SR) 패킷에 의한 절대시간인 엔티피(NTP) 타임 스탬프와 알티피(RTP) 타임 스탬프의 차이 연산에 의하여 산출된다.
상기와 같은 값을 이용하여 표준화 시간인
Figure 112004027035533-pat00006
을 구하면 각각의 비디오와 오디오의 샘플링 레이트로부터 결정되는 알티피(RTP) 타임스탬프의 영향이 배제된 시간값을 산출한다.
상기의 수학식으로 연산하여 산출된 표준화시간 값을 이용하여 버퍼링(BUFFERING)된 각각의 비디오(VIDEO) 신호와 오디오(AUDIO) 신호를 동기(SYNC) 처리하고, 상기 동기된 각각의 비디오 신호와 오디오 신호를 디코딩(DECODING) 처리하며, 상기와 같이 디코딩된 비디오(VIDEO)와 오디오(AUDIO) 신호를 각각 재생하고(S120), 상기와 같이 동기되어 재생된 비디오와 오디오의 멀티미디어 신호를 출력한다(S130).
상기 첨부된 도5에 상기와 같은 구성의 멀티미디어 신호 수신 흐름도가 도시되어 있다.
상기와 같은 구성의 종래 기술은, 송신하는 측에서 다자간 멀티미디어 통신하는 경우, 각 휴대단말기 사이의 엔티피 시간정보를 동기시키고, 일대일의 멀티미 디어 통신하는 경우는 오버헤드(OVERHEAD)가 되므로 엔티피(NTP) 동기시키는 것이 불필요하다.
그러나, 상기와 같은 종래 기술은, 수신되는 오디오와 비디오 신호를 동기시키기 위하여 상기 수식과 같은 복잡한 연산을 하므로 부하가 과도하게 발생하는 문제가 있다.
특히, 다자간 멀티미디어 통신하는 경우, 각 해당 휴대단말기의 엔티피 시간정보를 일치 연산하는 과정이 더 추가되어 휴대단말기의 부하를 가중시키는 문제가 있다.
본 발명은 휴대단말기의 멀티미디어 통신을 위한 알티피 세션에서, 비디오와 오디오 신호의 샘플링 레이트가 변하지 않고 일정한 경우, 미리 연산되어 기록저장된 표준화 알티피 타임스탬프로 동기하므로 동기연산을 위한 부하가 대폭 줄어드는 휴대단말기의 비디오와 오디오 동기장치 및 방법을 제공하는 것이 그 목적이다.
상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 제어에 의하여 송수신되는 비디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티피부와; 상기 비디오 알티피부에 접속하고 송수신되는 비디오와 오디오 신호의 세션설정과 패킷과 언패킷 처리를 감시하고 동기 표준시간을 연산하는 제어부와; 상기 제어부의 제어에 의하여 송수신되는 비디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티시피부와; 상기 제어부의 제어에 의하여 송수신되는 오디오 신호와 알티피 타임스탬프 의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티피부와; 상기 제어부의 제어에 의하여 송수신되는 오디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티시피부와; 상기 제어부가 연산한 비디오와 오디오 동기 표준시간을 각각 기록저장하고 출력하는 표준시간부가 포함되어 이루어지는 장치구성을 특징으로 한다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기에 의하여 멀티미디어 신호를 수신하는 경우 샘플링 레이트가 고정되어 있는지를 판단하는 시작과정과; 상기 과정에서 판단하여 샘플링 레이트가 고정되어 있으면 저장된 표준시간을 적용하고 고정되어 있지 않으면 표준시간을 연산하는 시간과정과; 상기 과정의 표준시간으로 비디오와 오디오를 동기하고 디코딩과 재생하여 출력하는 재생과정으로 이루어지는 방법을 특징으로 한다.
이하, 본 발명에 의한 휴대단말기의 비디오 오디오 동기장치 및 방법을 첨부된 도면을 참조하여 설명한다.
본 발명을 설명하기 위하여 첨부된 것으로, 도6 은 본 발명에 의한 휴대단말기의 비디오 오디오 동기장치 기능 구성도 이며, 도7 은 본 발명에 의한 휴대단말기의 비디오 오디오 동기방법 순서도 이고, 도8 은 본 발명에 의한 휴대단말기의 멀티미디어 수신상태 신호 흐름도 이다.
상기 도6을 참조하여 본 발명에 의한 휴대단말기의 비디오 오디오 동기장치를 설명하면, 제어부(110)의 제어에 의하여 알티피 세션의 비디오와 오디오 패킷 데이터를 무선송수신하는 무선부(100)와,
제어부의 제어(110)에 의하여 송수신되는 비디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 것으로, 제어부(110)의 제어에 의하여 비디오 알티피 세션을 설정하고, 입력되는 비디오 신호를 알티피(RTP) 타임스탬프(TIME STAMP)와 함께 비디오 알티피 패킷으로 변환하여 전송하며, 알티피 세션으로 무선수신되는 비디오 알티피 패킷을 언패킷 하는 비디오 알티피부(120)와,
상기 무선부(100)와 비디오 알티피부(120)에 접속하고 송수신되는 비디오와 오디오 신호의 세션설정과 패킷과 언패킷 처리를 감시하고 동기 표준시간을 연산하는 것으로, 비디오와 오디오 신호의 송수신을 위하여 알티피(RTP)와 알티시피(RTCP) 세션(SESSION)을 설정하고 패킷(PACKET)과 언패킷(UN-PACKET)을 제어하며 송수신되는 비디오와 오디오 신호의 샘플링 레이트가 알티피 세션에서 고정상태이면 동기를 위한 각각의 표준 알티피 타임스탬프를 연산하여 기록저장하고 동기를 위하여 출력하는 제어부(110)와,
상기 제어부(110)의 제어에 의하여 송수신되는 비디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 것으로, 제어부(110)의 제어에 의하여 비디오(VIDEO) 알티시피(RTCP) 세션(SESSION)을 설정하고, 비디오 알티피부 제어신호와 엔티피(NTP) 타임스탬프를 비디오 알티시피 패킷(PACKET)으로 변환하여 전송하며, 비디오 알티시피 세션으로 무선수신되는 비디오 알티시피 패킷을 언패킷(UN-PACKET)하는 비디오 알티시피부(130)와,
상기 제어부(110)의 제어에 의하여 비디오와 오디오가 포함되는 멀티미디어 신호를 입출력하고 다이얼링 신호와 제어명령을 입력하는 입출력부(140)와,
상기 제어부(110)가 연산한 비디오와 오디오 동기 표준시간을 각각 기록저장하고 출력하는 것으로, 제어부(110)에 의하여 비디오 신호와 오디오 신호의 샘플링 레이트가 일정하게 고정되어 변하지 않는 경우, 각각 연산한 표준 알티피 타임 스탬프를 할당된 영역에 기록저장하고 출력하는 표준시간부(150)와,
상기 제어부(110)의 제어에 의하여 송수신되는 오디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 것으로, 제어부(110)의 제어에 의하여 오디오 알티시피 세션을 설정하고, 오디오 알티피 제어신호를 엔티피 타임스탬프와 함께 오디오 알티시피 패킷으로 변환하여 전송하며, 오디오 알티시피 세션으로 무선수신되는 오디오 알티시피 패킷을 언패킷하는 오디오 알티시피부(160)와,
상기 제어부(110)의 제어에 의하여 송수신되는 오디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 것으로, 제어부(110)의 제어에 의하여 오디오(AUDIO) 알티피(RTP) 세션(SESSION)을 설정하고, 입력되는 오디오 신호를 알티피(RTP) 타임스탬프와 함께 오디오 알티피 패킷으로 변환하여 전송하며, 오디오 알티피 세션으로 무선수신되는 오디오 알티피 패킷을 언패킷하는 오디오 알티피부(170)가 포함되어 이루어지는 장치 구성이다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 비디오 오디오 동기장치를 첨부된 도면을 참조하여 상세히 설명한다.
상기 휴대단말기의 제어부(110)는, 입출력부(140)로부터 비디오와 오디오의 멀티미디어 신호가 입력되고 상대방을 지정하여 전송하고자 하는 경우, 상기 입력된 비디오 신호는 비디오 알티피부(120)에 인가하며, 상기 비디오 알티피부(120)는 비디오 신호를 전송하기 위한 비디오 알티피 세션(SESSION)을 설정하고, 아날로그 신호를 디지털 신호로 변환하는 샘플링(SAMPLING)하며, 상기 샘플링의 레이트(RATE)를 표시하는 알티피 타임스탬프(RTP TIME STAMP)와 샘플링된 비디오 데이터를 알티피 패킷(RTP PACKET)으로 변환처리하여 출력한다.
상기 제어부(110)는 비디오 알티시피부(130)를 제어하여, 비디오 알티시피 세션을 설정하도록 하고, 상기 알티피 패킷 처리된 데이터가 전송되는 것을 제어하는 신호와, 절대시간 또는 공업적 표준시간인 엔티피(NTP) 타임스탬프를 패킷 처리하여 출력한다.
또한, 오디오 신호도 상기와 동일하게, 상기 입출력부(140)로부터 입력되고 상대방을 지정하여 전송하고자 하는 경우, 상기 입력된 오디오 신호는 오디오 알티피부(170)에 인가하며, 상기 오디오 알티피부(170)는 오디오 신호를 전송하기 위한 오디오 알티피 세션(SESSION)을 설정하고, 아날로그 신호를 디지털 신호로 변환하는 샘플링(SAMPLING)하며, 상기 샘플링의 레이트(RATE)를 표시하는 알티피 타임스탬프(RTP TIME STAMP)와 샘플링된 오디오 데이터를 알티피 패킷(RTP PACKET)으로 변환처리하여 출력하는 동시에, 오디오 알티시피부(130)를 제어하여, 오디오 알티시피 세션을 설정하도록 하고, 상기 알티피 패킷 처리된 데이터가 전송되는 것을 제어하는 신호와, 절대시간 또는 공업적 표준시간인 엔티피(NTP) 타임스탬프를 패킷 처리하여 출력한다.
상기 비디오와 오디오의 해당 알티시피부(130, 160)는 알티시피 에스알(SR: SEND REPORT) 패킷에 의하여 엔티피(NTP) 타임스탬프로 함께 출력한다.
상기와 같이 각각 알티피와 알티시피 패킷 처리된 각각의 신호는 무선부(100)에 인가되고, 지정된 상대방에게 전송된다.
상기 상대방 휴대단말기는 무선부(100)를 통하여 수신된 신호를 제어부(110)에 인가하고, 상기 제어부(110)는, 비디오 알티피 패킷 데이터는 비디오 알티피부(120)에, 비디오 알티시피 패킷 데이터는 비디오 알티시피부(130)에, 오디오 알티피 패킷 데이터는 오디오 알티피부(170)에, 오디오 알티시피 패킷 데이터는 오디오 알티시피부(160)에, 각각 인가하여, 각각 언패킷 처리하고, 동기를 맞추기 위한 알티피 타임 스탬프를 연산한다.
일반적으로, 멀티미디어 휴대단말기에서 오디오와 비디오 신호의 샘플링 레이트(SAMPLING RATE)는 알티피(RTP: REALTIME TRANSPORT PROTOCOL) 세션(SESSION) 내에서 일정하게 고정되어 변하지 않는다.
즉, 알티피 세션을 위하여 샘플링되는 비디오와 오디오 신호의 샘플링 레이트는 고정되어 일정하다.
일 실시 예로, 비디오 신호의 샘플링 레이트는 90 KHz 이고, 오디오 신호의 샘플링 레이트는 8 KHz 로 고정되어 있다고 하면, 상기 비디오 신호에 상기 식 1의 [델타NTP(time_stamp)] / [델타RTP(time_stamp)] 값은 (2^32) / (90K) 로서, 약 47721.8588444가 되며, 상기 오디오 신호에 의한 값은 (2^32) / (8K) 로서, 약 536870.912가 된다.
상기 나눗셈의 분자부분(FRACT PART)은, 초 단위를 8 바이트(BYTE)로 표시하도록 이동통신 시스템의 규격에서 제시하고 있으나, 8 바이트(BYTE)를 모두 사용하는 경우 너무 세밀하므로, 4 바이트(BYTE)의 값인 2^32를 이용하여, 초(S: SECOND)를 분할하므로, 1 / (2^32) S 증가분을 기반으로 하여, 1초(S)에 엔티피 타임스탬프가 2^32 만큼 증가하는 경우, 알티피 타임스탬프 값은 각 매체의 샘플링 레이트 만큼 증가한다.
즉, 상기 수학식 1에서 비율을 매번 알티시피 에스알 패킷을 수신하는 경우마다 연산을 하지 않고, 상기와 같이 정해진 샘플링 레이트에 의하여 연산된 고정 값을 사용하여도 된다.
상기와 같이 고정된 샘플링 레이트에 의한 값은, 상기 제어부(110)에 의하여 각 비디오와 오디오 신호의 표준시간 값이 연산되고, 상기 각각 연산된 표준시간 값은 표준시간부(150)의 할당된 영역에 기록저장되고, 출력된다.
상기 제어부(110)는, 수신된 비디오 신호와 오디오 신호의 샘플링 레이트가 알티피 세션에서 고정된 경우, 상기 표준시간부(150)에 연산되어 기록저장된 해당 값을 읽어 출력시키고, 상기 표준시간부(150)로부터 출력되는 표준시간 값에 의하여 오디오 신호와 비디오 신호를 동기(SYNC) 처리한다.
상기와 같이 동기 처리된 비디오 신호와 오디오 신호는, 각각 해당 디코딩(DECODING)을 하고, 재생되어 상기 입출력부(140)에 인가되므로 멀티미디어 신호로 출력되며, 상기와 같은 본 발명의 신호 흐름은, 상기 첨부된 도8에 상세히 도시되어 있다.
다른 일 실시 예로, 제어부(110)가 FPU(FLOATING POINT UNIT)가 없는 FIXED POINT UNIT ALU(ARITHMETIC LOGIC UNIT)의 일반적인 내장형 마이크로프로세서이고, 분자 단위의 엔티피 타임스탬프에서 1초를 기반으로 하는 경우, 상기의 분수부(FRACT PART) 전체를 소수점 이하를 나타내는 32 비트 숫자로 하고, 인테저 연산만으로 계산할 수 있다.
상기와 동일하게 비디오 신호의 샘플링 레이트를 90 KHz로 하는 경우, 적당히 SCALING 하면, 비디오 신호는 다음 수학 식과 같이 표현된다.
(식 4)
Figure 112004027035533-pat00007
상기 NTPtime_stamp에 관계된 값은 Q.10의 정밀도로 1 / (2^10) 까지의 정밀도를 가지도록 하면 되고, NTPtime_stamp,i+1 는 Q.10으로 만들어야 하는데, NTP 타임 스탬프가 64 bit value 이므로 NTP 타임 스탬프의 INT 부분 중, 하위 22 비트를 상위 22 비트에 넣어주고, NTP 타임 스탬프의 FRACT PART 중 상위 10 비트를 하위 10 비트에 순차적으로 넣어주는 연산을 하면 Q.10을 가지는 VARIABLE로 만들 수 있다.
상기 수학식 계산으로 연산된 INTEGER 값 중, 상위 22 비트는 INTEGER PART를 나타내며, 하위 10 비트는 FRACTIONAL PART를 타나냄을 알 수 있고, INTEGER로 나타내기 위한 SCALING 등은 OVERFLOW나 SQNR(신호대잡음비)이 작은 범위가 되도록 해주면 된다.
상기와 동일하게 오디오 신호의 샘플링 레이트를 8 KHz로 하는 경우, 적당히 SCALING 하면, 다음 수학 식과 같이 표현된다.
(식 5)
Figure 112004027035533-pat00008
상기 수학식은 DIVISION 이나 FLOTING POINT 연산 전혀 없이 원하고자 하는 식을 구현했음을 알 수 있고, 상기에서 설명한 비디오와 오디오의 샘플링 레이트, 90KHz와 8 KHz는 하나의 실시 예로, 다른 값이 얼마든지 사용할 수 있다.
상기 일 실시 예의 값들을 실제 대입하여 연산하면, SQNR은 2^22 까지의 작고 정밀한 값을 표시할 수 있으므로, 휴대단말기가 한번 연산된 표준시간 값을 약 48일 이상 동기 표준시간 값으로 사용할 수 있음을 알 수 있다.
또한, 해당 이동통신 시스템의 규격상, NTP 타임스탬프가 8 바이트(BYTE)의 64 비트(BIT)로 이루어지지만, 실제 32 비트로 SCALING 하여 INTEGER 처리하여도 충분한 정밀도를 갖는다.
상기와 같은 구성의 본 발명은, 비디오 신호와 오디오 신호는 샘플링되어 알티피 세션으로 전송되는 경우, 일정한 샘플링 레이트로 전송되고, 고정된 해당 표 준시간 연산값을 이용하여 동기를 시키므로, 연산과정이 줄어들어 부하를 줄이고 신뢰성을 제고하는 장점이 있다.
이하, 상기 첨부된 도7을 참조하여 본 발명에 의한 휴대단말기의 비디오 오디오 동기방법을 설명한다.
이동통신용 휴대단말기에 의하여 멀티미디어 신호를 수신하는 경우 샘플링 레이트가 고정되어 있는지를 판단하는 것으로, 휴대단말기에 의하여 지정된 상대방으로부터 비디오와 오디오가 포함되는 멀티미디어 신호를 무선수신하는지 판단하는 과정(S200); 상기 과정(S200)에서 판단하여 멀티미디어 신호를 무선수신하는 경우, 비디오와 오디오의 각 샘플링 레이트가 고정상태로 변하지 않는지를 판단하는 과정(S210)으로 이루어지는 시작과정과,
상기 시작과정에서 판단하여 샘플링 레이트가 고정되어 있으면 저장된 표준시간을 적용하고 고정되어 있지 않으면 새로운 표준시간을 연산하는 것으로, 상기 시작과정에서 판단하여 비디오와 오디오 신호의 샘플링 레이트가 고정되어 변하지 않는 경우, 휴대단말기 제어부(110)에 의하여 상기 샘플링 레이트로 각각 연산하고 기록저장한 표준시간 알티피 타임스탬프를 읽어 적용하는 과정(S220); 상기 시작과정에서 판단하여 샘플링 레이트가 변하는 경우는, 휴대단말기 제어부(110)에 의하여 표준시간을 연산 적용하는 과정(S250)으로 이루어지는 시간과정과,
상기 과정의 표준시간으로 비디오와 오디오를 동기하고 디코딩과 재생하여 출력하는 것으로, 상기 시간과정에서 설정된 표준 알티피 타임 스탬프로 비디오와 오디오 신호를 동기시키고 디코딩 재생하는 과정(S230); 상기 과정(S230)에서 동기 되어 재생된 비디오와 오디오의 멀티미디어 신호를 출력하는 과정(S240)으로 이루어지는 재생과정으로 구성된다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 비디오 오디오 동기방법을 첨부된 도면을 참조하여 상세히 설명한다.
상기 휴대단말기가 비디오와 오디오로 이루어지는 멀티미디어 신호를 수신하는 경우(S200), 제어부(110)는 알티피 세션을 통하여 전송되는 비디오와 오디오 신호가 각각 고정된 샘플링 레이트로 전송되는지를 판단한다(S210).
상기 판단(S210)에서 샘플링 레이트가 고정되어 알티피 세션으로 전송되는 경우는, 제어부(110)에 의하여 연산되고 표준시간부(150)에 기록저장된 표준시간을 읽어 적용준비를 하고(S220), 상기 판단(S210)에서 알티피 세션으로 전송되는 비디오 신호, 오디오 신호의 샘플링 레이트가 고정되지 않는 경우는 알티시피 에스알 패킷을 받을 때마다, 해당 엔티피 타임 스탬프를 읽어 표준시간을 연산한다(S250).
상기의 표준시간을 이용하여 수신된 비디오 신호와 오디오 신호를 동기(SYNC)하고 디코딩과 재생하며(S230), 상기 재생된 멀티미디어 신호를 해당 입출력부(140)를 통하여 출력한다(S240).
따라서, 상기와 같은 구성의 본 발명은, 휴대단말기의 알티피 세션으로 전송되는 비디오 신호와 오디오 신호의 샘플링 레이트가 일정하게 고정된 경우, 상기 비디오 신호와 오디오 신호의 동기를 위하여, 한번 연산하고 표준시간부(150)의 할당된 영역에 각각 기록저장한 표준시간을 이용하므로, 상기 표준시간 연산을 위하여 부하를 가중시키지 않고 동기를 신속하게 하는 장점이 있다.
상기 구성의 본 발명은, 휴대단말기의 알티피 세션을 통하여 전송되는 비디오 신호와 오디오 신호의 샘플링 레이트가 일정한 상태에서, 한번의 연산으로 표준시간을 구하고, 할당된 메모리 영역에 기록저장하여 사용하므로 신속하게 동기시키는 산업적 이용효과가 있다.
또한, 멀티미디어의 비디오와 오디오 신호가 일정한 샘플링 레이트에 의하여 연산되고 기록저장된 표준시간 값을 출력 사용하므로, 휴대단말기의 부하를 줄이어 신뢰도가 증가하는 사용상 편리한 효과가 있다.

Claims (12)

  1. 제어에 의하여 송수신되는 비디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티피부와,
    상기 비디오 알티피부에 접속하고 송수신되는 비디오와 오디오 신호의 세션설정과 패킷과 언패킷 처리를 감시하고 동기 표준시간을 연산하는 제어부와,
    상기 제어부의 제어에 의하여 송수신되는 비디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 비디오 알티시피부와,
    상기 제어부의 제어에 의하여 송수신되는 오디오 신호와 알티피 타임스탬프의 알티피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티피부와,
    상기 제어부의 제어에 의하여 송수신되는 오디오 신호와 엔티피 타임스탬프의 알티시피 세션을 설정하고 패킷과 언패킷 처리하는 오디오 알티시피부와,
    상기 제어부가 연산한 비디오와 오디오 동기 표준시간을 각각 기록저장하고 출력하는 표준시간부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  2. 제1 항에 있어서,
    상기 제어부의 제어에 의하여 알티피 세션의 비디오와 오디오 패킷 데이터를 무선송수신하는 무선부와,
    상기 제어부의 제어에 의하여 비디오와 오디오가 포함되는 멀티미디어 신호 를 입출력하고 다이얼링 신호와 제어명령을 입력하는 입출력부가 더 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  3. 제1 항에 있어서, 상기 비디오 알티피부는,
    상기 제어부의 제어에 의하여 비디오 알티피 세션을 설정하고, 입력되는 비디오 신호를 알티피 타임스탬프와 함께 비디오 알티피 패킷으로 변환하여 전송하며, 알티피 세션으로 무선수신되는 비디오 알티피 패킷을 언패킷하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  4. 제1 항에 있어서, 상기 비디오 알티시피부는,
    상기 제어부의 제어에 의하여 비디오 알티시피 세션을 설정하고, 비디오 알티피부 제어신호와 엔티피 타임스탬프를 비디오 알티시피 패킷으로 변환하여 전송하며, 비디오 알티시피 세션으로 무선수신되는 비디오 알티시피 패킷을 언패킷하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  5. 제1 항에 있어서, 상기 오디오 알티피부는,
    상기 제어부의 제어에 의하여 오디오 알티피 세션을 설정하고, 입력되는 오디오 신호를 알티피 타임스탬프와 함께 오디오 알티피 패킷으로 변환하여 전송하며, 오디오 알티피 세션으로 무선수신되는 오디오 알티피 패킷을 언패킷하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  6. 제1 항에 있어서, 상기 오디오 알티시피부는,
    상기 제어부의 제어에 의하여 오디오 알티시피 세션을 설정하고, 오디오 알티피 제어신호를 엔티피 타임스탬프와 함께 오디오 알티시피 패킷으로 변환하여 전송하며, 오디오 알티시피 세션으로 무선수신되는 오디오 알티시피 패킷을 언패킷하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  7. 제1 항에 있어서, 상기 제어부는,
    비디오와 오디오 신호의 송수신을 위하여 알티피와 알티시피 세션을 설정하고 패킷과 언패킷을 제어하며 송수신되는 비디오와 오디오 신호의 샘플링 레이트가 알티피 세션에서 고정상태이면 동기를 위한 각각의 표준 알티피 타임스탬프를 연산하여 기록저장하고 동기를 위하여 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  8. 제1 항에 있어서, 상기 표준시간부는,
    상기 제어부에 의하여 비디오 신호와 오디오 신호의 샘플링 레이트가 일정하게 고정되어 변하지 않는 경우, 각각 연산한 표준 알티피 타임 스탬프를 할당된 영역에 기록저장하고 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기장치.
  9. 휴대단말기에 의하여 멀티미디어 신호를 수신하는 경우 샘플링 레이트가 고정되어 있는지를 판단하는 시작과정과,
    상기 과정에서 판단하여 샘플링 레이트가 고정되어 있으면 저장된 표준시간을 적용하고 고정되어 있지 않으면 표준시간을 연산하는 시간과정과,
    상기 과정의 표준시간으로 비디오와 오디오를 동기하고 디코딩과 재생하여 출력하는 재생과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기방법.
  10. 제9 항에 있어서, 상기 시작과정은,
    휴대단말기에 의하여 지정된 상대방으로부터 비디오와 오디오가 포함되는 멀티미디어 신호를 무선수신하는지 판단하는 과정과,
    상기 과정에서 판단하여 멀티미디어 신호를 무선수신하는 경우, 비디오와 오디오의 각 샘플링 레이트가 고정상태로 변하지 않는지를 판단하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기방법.
  11. 제9 항에 있어서, 상기 시간과정은,
    상기 시작과정에서 판단하여 비디오와 오디오 신호의 샘플링 레이트가 고정되어 변하지 않는 경우, 휴대단말기 제어부에 의하여 상기 샘플링 레이트로 각각 연산하고 기록저장한 표준시간 알티피 타임스탬프를 읽어 적용하는 과정과,
    상기 시작과정에서 판단하여 샘플링 레이트가 변하는 경우는, 휴대단말기 제어부에 의하여 표준시간을 연산 적용하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기방법.
  12. 제9 항에 있어서, 상기 재생과정은,
    상기 시간과정에서 설정된 표준 알티피 타임 스탬프로 비디오와 오디오 신호를 동기시키고 디코딩 재생하는 과정과,
    상기 과정에서 동기되어 재생된 비디오와 오디오의 멀티미디어 신호를 출력하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 비디오 오디오 동기방법.
KR1020040046697A 2004-06-22 2004-06-22 휴대단말기의 비디오 오디오 동기장치 및 방법 Expired - Fee Related KR100565333B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020040046697A KR100565333B1 (ko) 2004-06-22 2004-06-22 휴대단말기의 비디오 오디오 동기장치 및 방법
JP2005162052A JP4099494B2 (ja) 2004-06-22 2005-06-01 移動通信端末機のビデオ・オーディオのデータ同期化方法
US11/157,353 US7710943B2 (en) 2004-06-22 2005-06-21 Synchronizing video/audio data of mobile communication terminal
CNB2005101038276A CN100536575C (zh) 2004-06-22 2005-06-22 同步移动通信终端的视频和音频数据的方法
EP05013473A EP1610558A3 (en) 2004-06-22 2005-06-22 Synchronizing video/audio of mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040046697A KR100565333B1 (ko) 2004-06-22 2004-06-22 휴대단말기의 비디오 오디오 동기장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050121536A KR20050121536A (ko) 2005-12-27
KR100565333B1 true KR100565333B1 (ko) 2006-03-30

Family

ID=36081060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040046697A Expired - Fee Related KR100565333B1 (ko) 2004-06-22 2004-06-22 휴대단말기의 비디오 오디오 동기장치 및 방법

Country Status (5)

Country Link
US (1) US7710943B2 (ko)
EP (1) EP1610558A3 (ko)
JP (1) JP4099494B2 (ko)
KR (1) KR100565333B1 (ko)
CN (1) CN100536575C (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772193B1 (ko) * 2006-07-07 2007-11-01 한국전자통신연구원 Ｇｐｓ 시간 정보를 갖는 데이터 생성 장치
US7953118B2 (en) * 2006-12-08 2011-05-31 Microsoft Corporation Synchronizing media streams across multiple devices
US7765315B2 (en) 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
US8849432B2 (en) 2007-05-31 2014-09-30 Adobe Systems Incorporated Acoustic pattern identification using spectral characteristics to synchronize audio and/or video
CN101123611B (zh) * 2007-09-25 2012-05-23 中兴通讯股份有限公司 一种流媒体数据的发送方法
EP2124449A1 (en) 2008-05-19 2009-11-25 THOMSON Licensing Device and method for synchronizing an interactive mark to streaming content
US8819749B2 (en) 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
WO2011153475A1 (en) * 2010-06-04 2011-12-08 Skype Ireland Technologies Holdings Limited Server-assisted video conversation
US8924345B2 (en) 2011-09-26 2014-12-30 Adobe Systems Incorporated Clustering and synchronizing content
KR101974077B1 (ko) * 2013-05-22 2019-08-23 한화테크윈 주식회사 Rtp 패킷을 이용한 재생 영상의 시간 표시 방법
CN103269448A (zh) * 2013-05-24 2013-08-28 浙江工商大学 基于rtp/rtcp反馈预警算法实现音视频同步方法
US9300713B2 (en) * 2013-08-16 2016-03-29 Qualcomm Incorporated Clock synchronization for multi-processor/multi-chipset solution
CN105100963B (zh) 2014-05-22 2017-12-22 纬创资通股份有限公司 影音媒体文件合成方法与服务系统
JP6941093B2 (ja) 2015-09-30 2021-09-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 異種ネットワーキング環境におけるメディアレンダリングの同期化
CN105516118B (zh) * 2015-12-03 2019-06-11 Tcl集团股份有限公司 一种基于非rtc智能电视的时间同步方法及系统
CN105611222B (zh) * 2015-12-25 2019-03-15 北京紫荆视通科技有限公司 音频数据处理方法、装置、被控设备和系统
CN107517401B (zh) * 2016-06-15 2019-11-19 成都鼎桥通信技术有限公司 多媒体数据播放方法及装置
CN106791271B (zh) * 2016-12-02 2019-08-13 福建星网智慧科技股份有限公司 一种音视频同步方法
CN110225385B (zh) * 2019-06-19 2021-09-10 鼎桥通信技术有限公司 一种音视频同步调整方法和装置
WO2021159329A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 流媒体网络时延确定方法、装置、计算机设备、可读存储介质和远程驾驶系统
CN113747208B (zh) * 2020-05-27 2023-05-26 阿里巴巴集团控股有限公司 音视频数据同步方法、数据同步方法、服务端及接收端
CN112004102A (zh) * 2020-08-03 2020-11-27 杭州当虹科技股份有限公司 一种基于ip直播流的多机位画面同步方法
CN114697720B (zh) * 2020-12-31 2023-11-07 北京易掌云峰科技有限公司 自适应音视频rtp时间戳的同步方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003794B2 (en) * 2000-06-27 2006-02-21 Bamboo Mediacasting, Inc. Multicasting transmission of multimedia information
JP4649091B2 (ja) * 2002-01-30 2011-03-09 株式会社エヌ・ティ・ティ・ドコモ 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム
JP4000905B2 (ja) * 2002-05-22 2007-10-31 ソニー株式会社 情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
JP3825416B2 (ja) * 2003-04-14 2006-09-27 国立大学法人北陸先端科学技術大学院大学 データ同期方法、データ同期システム及びデータ同期プログラム
US20070206682A1 (en) * 2003-09-29 2007-09-06 Eric Hamilton Method And Apparatus For Coding Information
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization

Also Published As

Publication number Publication date
US20050281246A1 (en) 2005-12-22
EP1610558A2 (en) 2005-12-28
JP2006014299A (ja) 2006-01-12
CN100536575C (zh) 2009-09-02
CN1738437A (zh) 2006-02-22
KR20050121536A (ko) 2005-12-27
US7710943B2 (en) 2010-05-04
JP4099494B2 (ja) 2008-06-11
EP1610558A3 (en) 2006-02-08

Similar Documents

Publication Publication Date Title
KR100565333B1 (ko) 휴대단말기의 비디오 오디오 동기장치 및 방법
EP2063662B1 (en) Multimedia apparatus and synchronization method thereof
JP3544963B2 (ja) 同期再生のための方法および装置
US7725136B2 (en) Information processing apparatus
EP1195996B1 (en) Apparatus, method and computer program product for decoding and reproducing moving images, time control method and multimedia information receiving apparatus
US20070291107A1 (en) Apparatus and method for sending/receiving text message during video call in mobile terminal
KR20170061100A (ko) 매체 동기화 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체
KR20050094693A (ko) 휴대단말기의 동영상효과 메시지 전송장치 및 방법
US20060123063A1 (en) Audio and video data processing in portable multimedia devices
WO2018204117A1 (en) Web real-time communication from an audiovisual file
JP2008061010A (ja) 映像音声送信装置
JP5115120B2 (ja) 映像表示装置及び音声出力装置
CN113422997A (zh) 一种播放音频数据的方法、装置及可读存储介质
WO2004086782A1 (en) Video alerting method for asynchronous wireless telecommunication system
JP2002314676A (ja) 録音再生装置
EP1718076A2 (en) Mobile terminal for selectively storing video call data and video call data storing method therefor
CN101102510A (zh) 便携式图像终端机的音频和视频同步方法
KR100563719B1 (ko) 이동통신 단말기의 다채널 스트리밍 제어방법
KR100669622B1 (ko) 휴대 영상 단말기의 오디오 및 비디오 동기화 방법
JP2000174693A (ja) 無線通信システム
JPH06296277A (ja) テレビ電話装置
KR20070106085A (ko) 이동통신 단말기에서 통화 품질에 따른 통신 모드 자동전환 장치 및 방법
KR100575801B1 (ko) Ｒｔｐ를 이용한 실시간 립싱크 구현 시스템
KR100650245B1 (ko) 이동통신단말기 및 그 멀티미디어 데이터 처리방법
US20060088296A1 (en) Image processor and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20040622

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060209

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060322

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060323

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090105

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20091230

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20101223

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20111220

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130226

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130226

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140224

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20150224

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20160224

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20170224

Start annual number: 12

End annual number: 12

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190102