KR100677441B1 - 휴대단말기의 영상과 음성신호 동기장치 및 방법 - Google Patents

Abstract

본 발명은, 멀티미디어 휴대단말기에서 사람의 음성신호 인지시간을 반영하여 음성신호와 영상신호를 빠르게 립싱크하는 것으로, 상대방과 멀티미디어 통신하는 경우, 입출력부로부터 입력되는 음성과 영상 신호를 영상처리부와 음성처리부에서 디지털 변조하고 무선부를 통하여 실시간 송신하며 립싱크연산부를 제어하여 연산된 변조시간 차이값을 송신하며, 무선부로부터 상대방의 멀티미디어 신호를 수신하는 경우는, 영상처리부와 음성처리부를 통하여 각각 디지털 복조하고, 립싱크연산부를 제어하여 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영하여 립싱크 시간차이값을 연산하고, 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 복조된 영상신호와 동기상태로 입출력부에 출력하는 구성을 특징으로 하고, 또한, 상대방과 통신을 위하여 멀티미디어 신호를 송신하는 경우, 음성과 영상의 멀티미디어 신호를 디지털 변조하고 연산된 음성과 영상 신호의 변조시간 차이값을 포함하여 송신하며, 멀티미디어 신호를 수신하는 경우, 음성과 영상의 멀티미디 신호를 수신하여 디지털 복조하고 음성과 영상 신호의 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 인지 시간차이값을 반영한 립싱크 시간차이값을 연산하고, 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 영상신호와 음성신호를 출력하는 일련의 과정으로 이루어지는 특징이 있다.

Description

휴대단말기의 영상과 음성신호 동기장치 및 방법{METHODS AND APPARATUS' OF SYNCHRONOUS AUDIO WITH VIDEO SIGNAL FOR MOBILE PHONE}

도1 은 일반적인 이동통신 시스템의 기능 구성도,

도2 는 종래 휴대단말기의 영상신호와 음성신호 동기방법 순서도,

도3 은 본 발명 휴대단말기의 영상과 음성신호 동기장치 기능 구성도,

도4 는 본 발명 휴대단말기의 영상과 음성신호 동기방법 순서도.

** 도면의 주요 부분에 대한 부호 설명 **

100 : 무선부 110 : 제어부 120 : 메모리부

130 : 입출력부 140 : 립싱크 연산부 150 : 음성처리부

160 : 영상처리부

본 발명은, 멀티미디어 휴대단말기에서 수신되는 영상신호와 음성신호를 빠르게 립싱크 동기하는 것으로, 특히, 송신측과 수신측에서 발생하는 디지털 변복조 시간차이값에 사람이 인식하는 시간차이값을 반영하므로, 음성신호의 출력지연을 줄이어, 신속하고 원활한 멀티미디어 통신이 진행되도록 하는 휴대단말기의 영상과 음성신호 동기장치 및 방법에 관한 것이다.

이동통신용 휴대단말기(MS: MOBILE STATION)는, 가입 등록된 시스템의 해당 기지국(RAN: RADIO ACCESS NETWORK)이 형성하는 서비스 영역(SERVICE AREA) 안을 자유롭게 이동하면서 이동교환국(MSC: MOBILE SWITCHING CENTER)의 감시와 제어와 스위칭(SWITCHING)에 의하여 설정된 통신경로를 경유하여, 언제 어디서나 원하는 상대방과 즉시 무선접속하여 통신하고, 개인이 항상 직접 휴대하면서 어디든지 이동하는 첨단 무선통신장비 이다.

상기 이동통신 시스템은 초기의 1 세대에서 음성급 신호만을 이용하여 통신하였으나, 2 세대에서는 문자메시지를 이용하는 데이터 통신방식으로 발전하고, 현재의 3 세대(3GPP) 이동통신 시스템은, 음성신호와 문자신호와 영상신호를 포함하는 멀티미디어급 통신방식으로 발전하였다.

휴대단말기는 이동성과 휴대성을 위하여 소형 경량으로 제작되므로, 부피가 작고 구성이 제한되며, 프로세서 및 메모리 등과 같은 관련 자원의 처리능력에 한계가 있다.

상기 멀티미디어 통신에 사용되는 영상신호와 음성신호는 디지털 처리되며, 상기 영상신호는 처리할 데이터 량이 많으므로, 음성신호보다 송신하는데 지연시간이 많이 소요된다.

상기 이동통신 시스템에서 상대방과 직접 접속하여 실시간 통신하는 경우, 입력되는 영상신호와 음성신호는 처리되는 즉시 전송하지만, 영상신호의 경우 처리할 데이터의 량이 많으므로, 처리 완료 후 전송까지 음성신호 대비 많은 시간이 소 요되는 동시에, 수신측에서 처리하는 경우에도 음성급 신호 대비 처리시간이 길어진다.

상대방과 멀티미디어 통신하는 경우, 음성급 신호는 출력되지만, 영상신호가 늦게 출력되므로, 영상신호와 음성신호의 동기가 일치하지 않는 문제가 있다.

따라서, 멀티미디어 통신에서의 음성신호와 영상신호가 일치하는 립싱크 기술을 개발하는 동시에 신속하고 원활한 통신이 진행되도록 하는 기술을 개발할 필요가 있다.

이하. 종래 기술에 의한 휴대단말기의 영상신호와 음성신호가 동기되는 립싱크 방식을 첨부된 도면을 참조하여 설명한다.

종래 기술을 설명하기 위한 것으로, 도1 은 일반적인 이동통신 시스템의 기능 구성도 이고, 도2 는 종래 기술에 의한 휴대단말기의 영상신호와 음성신호 동기방법 순서도 이다.

상기 첨부된 도1을 참조하여 일반적인 이동통신 시스템을 설명하면, 휴대단말기(10)는 기지국(RAN)(20)이 형성하는 서비스 영역 안을 자유롭게 이동하면서 언제 어디서나 원하는 상대방과 무선접속하여 즉시 통화한다.

상기 기지국(20)이 형성하는 서비스 영역은 제한되므로, 다수의 기지국(20)이 일정한 간격으로 연속 시설되므로 전국을 이동통신 서비스 영역으로 형성하고, 상기 다수의 기지국(20)은 이동교환국(30)의 제어와 감시에 의하여 운용되며, 상기 이동교환국(30)은 휴대단말기(10)의 가입정보를 기록저장하고 위치를 등록하여 해당 기지국(20)을 통한 이동통신 서비스를 제공한다.

상기 휴대단말기(10)가 접속요청하는 상대방이 다른 통신시스템에 가입 등록된 경우, 상기 이동교환국(30)은 공중망(40)을 제어하여 해당 통신망에 접속하므로 모든 통신망의 상대방과 무선접속하여 통신한다.

상기 휴대단말기(10)는 영상신호와 음성신호가 포함되는 멀티미디어 방식으로 통신할 수 있으며, 상기 영상신호는 음성신호 보다 데이터 량이 많으므로, 상기 휴대단말기에서 처리하여 송신하는 시간에 차이가 있고, 수신하여 처리하는 경우에도 시간의 차이가 발생한다.

따라서, 영상신호와 음성신호의 동기 또는 립싱크(LIP SYNCHRONOUS)가 일치하지 않아 멀티미디어 통신이 부자연스러운 문제가 있다.

이하, 상기 첨부된 도2를 참조하여 종래 기술에 의한 휴대단말기의 영상신호와 음성신호 동기방법을 설명한다.

상기 휴대단말기를 이용하여 멀티미디어 통신신호를 송신하고자 하는 경우(S10), 영상신호와 음성신호가 포함되는 멀티미디어 신호를 입력하고(S20), 상기 입력된 신호를 각각 디지털 변조 처리한 후에 송신한다(S30).

상기 휴대단말기로 상대방이 전송하는 멀티미디어 신호를 수신하는 경우(S40), 음성신호와 영상신호를 수신하여 디지털 복조 처리하고(S50), 영상신호와 음성신호를 동기(LIP SYNC.) 처리하여 출력한다(S60).

상기 멀티미디어 통신에서 영상신호는 데이터 량이 많으므로, 디지털 처리하는데 많은 시간이 소요되고, 음성신호는 비교적 데이터 량이 적으므로, 디지털 처리하여 송신하는데 소요되는 시간이 영상신호 대비 빠르다.

또한, 수신측에서도 동일한 현상이 발생하므로, 영상신호와 음성신호의 동기가 일치하지 않는 문제가 있고, 멀티미디어 통신의 음성과 영상신호가 따로 출력되어 통신이 부자연스러워지는 문제가 있다.

상기와 같은 문제를 일부 해결하기 위한 종래 기술로, 송신측과 수신측에서 각각 발생하는 영상신호와 음성신호의 처리 지연 시간을 연산하고, 수신측에서 출력되는 음성신호를 지연시키므로, 수신 출력되는 영상신호와 음성신호의 동기를 일치시키는 기술이 있다.

그러나, 지연시간 만큼 통신이 늘어지고, 회신이 늦어지므로, 사용자가 지연상태를 느끼게 되어 통신이 정상적으로 진행되지 못하거나 통신시간이 길어지는 등의 문제가 있다.

본 발명은, 멀티미디어 통신하는 휴대단말기의 수신측에서, 송신측과 수신측의 영상신호 지연시간을 감안하되 사람의 청각 인식 오차를 반영하므로, 음성급 신호를 빠르게 출력하여 통신진행 시간을 줄이는 동시에 원활하고 자연스러운 멀티미디어 통신이 진행되도록 하는 휴대단말기의 영상과 음성신호 동기장치 및 방법을 제공하는 것이 그 목적이다.

상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기의 제어부에 의한 것으로 상대방과 멀티미디어 통신하는 경우, 입출력부로부터 입력되는 음성과 영상 신호를 영상처리부와 음성처리부에서 디지털 변조하고 무선부를 통하여 실시간 송신하며 립싱크연산부를 제어하여 연산된 변조시간 차이값을 송신하며, 무선부로부터 상대방의 멀티미디어 신호를 수신하는 경우는, 영상처리부와 음성처리부를 통하여 각각 디지털 복조하고, 립싱크연산부를 제어하여 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영하여 립싱크 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 복조된 영상신호와 동기상태로 입출력부에 출력하는 구성으로 이루어지는 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 멀티미디어 통신신호를 무선송수신하고, 영상신호와 음성신호의 변조 시간차이값을 무선송신하는 무선부와; 상기 무선부와 접속하고 멀티미디어 송신신호를 디지털 변조하며 시간차이값을 포함 출력하고, 수신신호를 복조하며 연산된 립싱크 값이 반영된 멀티미디어 신호를 출력하는 제어부와; 상기 제어부에 접속하고, 송수신되는 영상신호를 디지털 변조와 복조하여 출력하는 영상처리부와; 상기 제어부에 접속하고, 송수신되는 음성신호를 디지털 변조와 복조하여 출력하는 음성처리부와; 상기 제어부에 접속하고 영상처리부와 음성처리부가 변조와 복조하는 시간 차이값을 각각 연산 출력하고 립싱크 시간을 연산 출력하는 립싱크 연산부가 포함되어 이루어지는 구성을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기의 제어부는 상대방과 통신을 위하여 멀티미디어 신호를 송신하는 경우, 음성과 영상의 멀티미디어 신호를 디지털 변조하고 연산된 음성과 영상 신호의 변조시간 차이값을 포함하여 송신하며, 상대방의 멀티미디어 신호를 수신하는 경우, 음성과 영상 의 멀티미디 신호를 수신하여 디지털 복조하고 음성과 영상 신호의 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 영상신호와 음성신호를 동기된 상태로 출력하는 일련의 과정으로 이루어지는 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기 제어부에 의하여 상대방과 통신하고자 송신하는 경우, 음성과 영상의 멀티미디어 신호를 입력하고 각각 디지털 변조하는 입력과정과; 상기 과정에서 디지털 변조된 멀티미디어 신호를 상대방에 송신하고 음성과 영상 신호의 변조시간 차이값을 연산하여 송신하는 연산과정과; 상기 제어부 판단에 의하여 상대방이 전송하는 멀티미디어 신호를 수신하는 경우, 수신된 신호를 디지털 복조하는 복조과정과; 상기 과정에 의한 음성과 영상 신호의 복조시간 차이값을 연산하고 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크값을 연산하는 시차과정과; 상기 과정에서 연산된 립싱크 값으로 복조된 음성신호를 지연시켜 영상신호와 동기상태로 출력하는 립싱크 과정으로 이루어지는 것을 특징으로 한다.

이하, 본 발명에 의한 것으로, 휴대단말기의 영상과 음성신호 동기장치 및 방법을 첨부된 도면을 참조하여 설명한다.

본 발명을 설명하기 위하여 첨부된 것으로, 도3 은 본 발명에 의한 휴대단말기의 영상과 음성신호 동기장치 기능 구성도 이고, 도4 는 본 발명에 의한 휴대단 말기의 영상과 음성신호 동기방법 순서도 이다.

상기 첨부된 도3을 참조하여 본 발명에 의한 것으로, 휴대단말기의 영상과 음성신호 동기장치를 설명하면, 이동통신용 휴대단말기의 제어부(110)는 상대방과 멀티미디어(MULTIMEDIA) 통신하는 경우, 입출력부(130)로부터 입력되는 음성과 영상 신호를 영상처리부(160)와 음성처리부(150)에서 디지털 변조하고 무선부(100)를 통하여 실시간 송신하며 립싱크연산부(140)를 제어하여 연산된 변조시간 차이값을 송신하며, 무선부(100)로부터 상대방의 멀티미디어 신호를 수신하는 경우는, 영상처리부(160)와 음성처리부(150)를 통하여 각각 디지털 복조하고, 립싱크연산부(140)를 제어하여 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영하여 립싱크(LIP SYNCHRONOUS) 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 복조된 영상신호와 함께 입출력부에 출력하는 구성이다.

상기와 같은 구성을 다시 설명하면, 멀티미디어 통신신호를 무선송수신하고, 영상신호와 음성신호의 변조 시간차이값을 무선송신하는 무선부(100)와,

상기 무선부(100)와 접속하고 멀티미디어 송신신호를 디지털 변조하며 시차값 또는 시간차이값을 포함 출력하고, 수신신호를 복조하며 연산된 립싱크 값이 반영된 멀티미디어 신호를 출력하는 것으로, 입출력부(130)로부터 송신할 멀티미디어 신호가 인가되는 경우, 영상신호는 영상처리부(160)에 인가하여 디지털 변조(MODULATION)하고 무선부(100)에 인가하여 상대방에 무선송신하며, 영상신호 변조 시간정보는 립싱크 연산부(140)에 인가하고, 음성신호는 음성처리부(150)에 인가하 여 디지털 변조하고 무선부(100)에 인가하여 상대방에 무선송신하며, 음성신호 변조 시간정보는 립싱크 연산부(140)에 인가하고, 립싱크연산부(140)를 제어하여 영상신호와 음성신호의 변조 시간차이값을 연산하며, 상기 무선부(100)에 인가하여 상대방에 전송하고, 상기 무선부(100)로부터 상대방이 전송한 멀티미디어 신호와 시간차이값을 무선수신하면, 영상신호는 영상처리부(160)에 인가하여 디지털 복조하고 영상신호 복조 시간정보는 립싱크 연산부(140)에 인가하며, 음성신호는 음성처리부(150)에 인가하여 디지털 복조하고 음성신호 복조 시간정보는 립싱크연산부(140)에 인가하고, 립싱크연산부(140)를 제어하여 변조 시간차이값과 복조시간 차이값에 사람의 인식 시간차이값을 반영한 립싱크값을 연산하며, 상기 연산된 립싱크값 만큼 복조된 음성신호를 지연시켜 영상신호와 함께 입출력부에 출력하는 운용을 제어와 감시하는 제어부(110)와,

상기 제어부(110)에 접속하고 해당 제어에 의하여 운용 프로그램과 데이터를 기록저장 출력하는 메모리부(120)와,

상기 제어부(110)에 접속하고, 해당 제어에 의하여 영상신호와 음성신호가 포함되는 멀티미디어 신호를 입력하며 립싱크된 멀티미디어 신호를 출력하는 입출력부(130)와,

상기 제어부(110)에 접속하고 영상처리부(160)와 음성처리부(150)가 변조와 복조하는 시간 차이값을 각각 연산 출력하고 립싱크 시간을 연산 출력하는 립싱크 연산부(140)와,

상기 제어부(110)에 접속하고, 송수신되는 음성신호를 디지털 변조와 복조하 여 출력하는 것으로, 제어부(110)의 제어에 의하여 입출력부(130)가 인가하는 음성신호를 디지털 신호로 변조하고, 해당 변조시간 정보와 함께 출력하며, 무선부(100)가 수신하여 인가하는 음성신호를 디지털 신호로 복조하고 해당 복조시간 정보와 함께 출력하는 음성처리부(150)와,

상기 제어부(110)에 접속하고, 송수신되는 영상신호를 디지털 변조와 복조하여 출력하는 것으로, 제어부(110)의 제어에 의하여 입출력부(130)가 인가하는 영상신호를 디지털 신호로 변조하고, 해당 변조시간 정보와 함께 출력하며, 무선부(100)가 수신하여 인가하는 영상신호를 디지털 신호로 복조하고 해당 복조시간 정보와 함께 출력하는 영상처리부(160)가 포함되는 구성이다.

이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 영상과 음성신호 동기장치를 첨부된 도면을 참조하여 상세히 설명한다.

상기 이동통신용 휴대단말기(MS)는, 디지털 방식으로 영상(VIDEO) 신호와 음성(VOICE 또는 AUDIO) 신호가 포함되는 멀티미디어 신호를 이용하여 상대방과 이동상태에서 무선통신한다.

상기 휴대단말기는 영상과 음성에 의한 멀티미디어 신호가 입력되면, 각각 디지털 방식으로 변조(MODULATION) 처리하여 무선송신하고, 상대방으로부터 무선수신되는 멀티미디어 신호를 디지털 처리하여 복조(DEMODULATION) 출력하는 방식으로 상대방과 무선통신한다.

상기 영상신호는 음성신호에 비하여 디지털 처리되는 데이터 량이 매우 많으므로, 송신을 위한 변조와 수신처리를 위한 복조 과정에서 각각 시간이 많이 소요 된다.

상기 휴대단말기(MS)로 무선접속된 상대방과 멀티미디어 무선통신하는 경우, 해당 음성과 영상신호를 실시간 전송하여야 한다.

상기 휴대단말기로 상대방에 디지털 처리된 멀티미디어 신호를 송신하는 경우, 데이터 량이 작은 음성급 신호는 빨리 무선송신하고, 데이터 량이 많은 영상급 신호는 데이터 처리에 시간이 소요되므로 그만큼 늦게 무선송신하게 된다.

또한, 수신측에서도 상기와 마찬가지로, 음성급 신호는 데이터 량이 적으므로 빠르게 처리되어 출력되고, 영상급 신호는 데이터 량이 많으므로, 처리에 시간이 소요되어 늦게 출력되므로, 최종 출력되는 멀티미디어 신호는 송신측에서 발생하는 지연시간과 수신과정에서 발생하는 지연시간 만큼, 영상(VIDEO)신호가 지연 출력되어 립싱크(LIP SYNC)가 이루어지지 않게되는 동시에 이질감이 발생된다.

상기와 같이 데이터 량이 많은 음성신호를 지연시켜 영상신호와 립싱크를 하는 경우, 송신측에서 통신내용을 송신하고, 상대방이 확인하기까지는 상기 립싱크된 시간만큼 지연되며, 상기 지연된 통신내용에 응답하는 경우, 상기와 동일한 과정을 통하여 지연되어, 멀티미디어 통신이 매우 부자연스럽게 진행된다.

또한, 사람은 영상신호를 시각적으로 확인하고 인지하는 시간과 음성신호를 청각적으로 확인하고 인지하여 동기시키는 시간에 약간의 차이가 있다.

따라서, 상기 사람의 인지 시간차이를 반영하여 상기 립싱크 지연시간에서 차감하고, 음성신호를 사람의 인지 시간차이 만큼 빠르게 출력하므로, 멀티미디어 통신이 보다 자연스럽고 빠르며 원활하게 진행되도록 하는 것이 본 발명 기술이다.

상기 휴대단말기(MS)의 제어부(110)는, 동작전원이 공급되면, 각 기능부를 활성화 제어하는 동시에, 메모리부로부터 해당 운용 프로그램과 응용 프로그램 및 데이터를 읽어 대기(STANDBY) 상태가 되고, 상기 대기상태에서, 멀티미디어 통신할 상대방과 무선부(100)를 통하여 무선접속된 상태에서, 상기 입출력부(130)로부터 영상신호와 음성신호를 입력하고 지정된 상대방에 송신하고자 하는 경우, 상기 입출력부(130)로부터 입력되는 영상신호는 영상처리부(160)에 인가하고, 음성신호는 음성처리부(150)에 인가한다.

상기 영상처리부(160)는 제어부(110)의 제어에 의하여 입력된 영상신호를 디지털 변조(MODULATION) 출력하고, 상기 음성처리부(150)에서도 제어부(110)의 제어에 의하여 입력된 음성신호를 디지털 변조(MODULATION) 출력한다.

상기 제어부(110)는 영상처리부(160)와 음성처리부(150)로부터 디지털 변조되어 입력되는 신호를 무선부(100)에 인가하여 지정된 상대방에 실시간(REALTIME) 무선송신하는 동시에, 상기 각 영상신호와 음성신호의 디지털 변조 시간정보를 상기 립싱크연산부(140)에 인가하여 시간차이값(TD-SKEW)을 연산하게 하고, 상기 제어부(110)는 연산된 시간차이값(TD-SKEW)을 무선부(100)에 인가하여 상대방에 무선송신한다.

상기와 같이 휴대단말기로부터 송신되는 멀티미디어 신호는 이동통신 기지국(RAN)과 이동교환국(MSC) 시스템을 경유하여 지정된 상대방에 전송되므로, 상기 시스템에 의하여 발생되는 지연시간(TD-NET: TIME DELAY NETWORK)이 존재하지만, 상기 시스템 지연시간(TD-NET)은 영상신호와 음성신호에서 거의 동일하게 발생하므 로, 고려하지 않기로 한다.

상기 휴대단말기(MS)가 활성화된 무선부(100)를 통하여 상대방이 전송하는 멀티미디어 신호와 변조시간 차이값(TD-SKEW)을 무선수신하는 경우, 상기 무선수신된 멀티미디어 신호의 영상신호를 분리검출하여 영상처리부(160)에 인가하고, 음성신호를 분리검출하여 음성처리부(150)에 인가하며, 분리검출된 변조시간 차이값(TD-SKEW)은 립싱크처리부(140)에 각각 인가한다.

상기 영상처리부(160)는 수신되어 인가되는 영상신호를 디지털 복조(DEMODULATION)하여 출력하고, 상기 음성처리부(150)는 수신되어 인가되는 음성신호를 디지털 복조(DIGITAL DEMODULATION)하여 출력한다.

상기 제어부(110)는, 영상처리부(160)와 음성처리부(150)로부터 각각 복조된 영상신호와 음성신호를 인가받고, 메모리부(120)의 할당된 영역에 임시 기록저장하며, 상기 영상처리부(160)와 음성처리부(150)가 각각 복조(DEMODULATION)하는데 소요되는 시간정보를 검출하여 상기 립싱크연산부(140)에 인가하고, 상기 립싱크연산부(140)는 제어부(110)의 제어에 의하여 영상신호와 음성신호의 복조시간 차이값(TD-REC)을 연산한다.

상기 제어부(110)는, 상기 메모리부(120)로부터 사람의 인식 시간차이값(TD-NEG)을 읽어, 상기 립싱크연산부(140)에 인가하는 동시에 제어하여, 변조시간 차이값(TD-SKEW)과 복조시간 차이값(TD-REC)에 사람의 인식 시간차이값(TD-NEG)을 반영한 립싱크 시간차이값(TD-AUD)을 연산한다.

상기와 같이 연산된 립싱크 시간차이값을 인가받은 제어부는, 상기 메모리부 의 할당된 영역에 임시 기록저장된 영상신호와 음성신호를 읽고, 상기 립싱크 시간차이값 만큼 음성신호를 지연시켜 영상신호와 동기된 상태로 설정하고, 상기 입출력부(130)에 출력하므로 무선통신이 진행된다.

따라서, 사람에 의한 인식 시간차이값(TD-NEG)이 반영되어, 음성신호가 상기 인식시간 차이값 만큼 빨리 출력되므로, 통신이 원활하고 신속하게 진행되며, 어색하거나 이질감이 발생하지 않는 장점이 있다.

이하, 상기 첨부된 도4를 참조하여, 본 발명에 의한 것으로, 휴대단말기의 영상과 음성신호 동기방법을 설명한다.

이동통신용 휴대단말기의 제어부(110)는 상대방과 통신을 위하여 멀티미디어 신호를 무선송신하는 경우, 음성과 영상의 멀티미디어 신호를 디지털 변조(DIGITAL MODULATION)하고 연산된 음성과 영상 신호의 변조시간 차이값을 포함하여 무선송신하며, 상대방의 멀티미디어 신호를 무선수신하는 경우, 음성과 영상의 멀티미디 신호를 무선수신하여 디지털 복조(DIGITAL DEMODULATION)하고 음성과 영상 신호의 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크(LIP SYNCHRONOUS) 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호(VOICE SIGNAL)를 지연(DELAY)시켜 영상신호(VIDEO SIGNAL)와 음성신호를 동기(SYNCHRONOUS)된 상태로 출력하는 일련의 과정으로 이루어진다.

상기와 같은 일련의 과정을 다시 설명하면, 휴대단말기 제어부(110)에 의하여 상대방과 통신하고자 무선송신하는 경우, 음성(AUDIO)과 영상(VIDEO)의 멀티미 디어(MULTIMEDIA) 신호를 입력하고 각각 디지털 변조(DIGITAL MODULATION)하는 것으로, 제어부(110) 판단에 의하여 상대방과 통신하고자 멀티미디어 신호를 송신할 것인지 판단하는 과정(S100); 상기 과정(S100)에서 상대방에 멀티미디어 신호를 송신하는 경우, 멀티미디어의 음성과 영상 신호를 각각 디지털 변조하는 과정(S110)으로 이루어지는 입력과정과,

상기 입력과정에서 디지털 변조된 멀티미디어 신호를 상대방에 송신하고 음성과 영상 신호의 변조시간 차이값을 연산하여 송신하는 것으로, 디지털 변조된 음성과 영상 신호를 상대방에 각각 실시간(REALTIME) 송신하는 과정(S120); 상기 과정(S120)에 의한 음성과 영상신호의 디지털 변조시간 차이값을 연산하고 상대방에 무선송신하는 과정(S130)으로 이루어지는 연산과정과,

상기 제어부(110) 판단에 의하여 상대방이 전송하는 멀티미디어 신호를 무선수신하는 경우, 수신된 신호를 디지털 복조하는 것으로, 제어부(110)에 의하여 상대방과 통신하고자 멀티미디어 신호와 시간차이값을 수신하는지 판단하는 과정(S140); 상기 과정(S140)에서 멀티미디어 신호를 수신하는 경우에 음성과 영상 신호를 실시간 수신하고 각각 디지털 복조하는 과정(S150)으로 이루어지는 복조과정과,

상기 복조과정에 의한 음성과 영상 신호의 복조시간 차이값을 연산하고 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크 시간차이값을 연산하는 것으로, 멀티미디어(MULTIMEDIA)의 음성(VOICE 또는 AUDIO)과 영상(VIDEO) 신호를 각각 복조(DEMODULATION)하는데 발생하는 시간 차이값을 연산하는 과정(S160); 상기 과정(S160)에서 연산된 복조시간 차이값과 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크(LIP SYNCHRONOUS) 시간차이값을 연산하는 과정(S170)으로 이루어지는 시차과정과,

상기 시차과정에서 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 영상신호와 동기된 상태로 동시 출력하는 립싱크 과정(S180)으로 구성된다.

이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 영상과 음성신호 동기방법을 첨부된 도면 참조에 의하여 상세히 설명한다.

상기 이동통신용 휴대단말기(MS)로 지정된 상대방과 영상신호가 포함되는 멀티미디어 신호를 송신하여 무선통신하고자 하는 경우(S100), 제어부(110)는 입출력부(130)로부터 인가되는 멀티미디어 신호를 분석하여, 영상신호는 영상처리부(160)에 인가하여 디지털 변조(MODULATION)하고, 음성신호는 음성처리부(150)에 인가하여 디지털 변조(MODULATION)한다(S110).

상기 제어부(110)는, 상기와 같이 디지털 변조된 영상신호와 음성신호를 각각 무선부(100)에 인가하여 실시간(REALTIME)으로 지정된 상대방에 무선송신하고(S120), 립싱크연산부(140)를 제어하여 음성신호와 영상신호의 변조시간 차이값(TD-SKEW)을 연산하여 무선부(100)에 인가하므로, 지정된 상대방에 무선송신한다(S130).

상기 휴대단말기(MS)의 제어부(110)는, 무선부(100)를 감시하여, 상대방으로부터 상기 변조시간 차이값(TD-SKEW) 신호가 포함되는 멀티미디어 신호가 수신되는 것으로 판단되면(S140), 상기 변조시간 차이값(TD-SKEW)은 립싱크연산부(140)에 인 가하고, 멀티미디어 신호를 분석하여 영상신호는 영상처리부(160)에 인가하여 디지털 복조(DEMODULATION)하며, 음성신호는 음성처리부(150)에 인가하여 디지털복조 한다(S150).

상기 과정의 제어부(110)는, 상기 영상처리부(160)와 음성처리부(150)를 감시하여 음성신호와 영상신호의 복조시간을 검출하고, 상기 립싱크연산부(140)에 인가하여 연산하므로, 복조시간 차이값(TD-REC)을 산출하며(S160), 메모리부(120)로부터 읽은 사람의 인지 시간차이값(TD-NEG)을 인가하고, 상기 인지 시간차이값(TD-NEG)이 반영된 립싱크 시간차이값(TD-AUD)을 연산한다(S170).

상기 과정의 립싱크 시간차이값(TD-AUD)을 인가받은 제어부(110)는, 상기 메모리부(120)의 할당된 영역에 임시 기록저장된 영상신호와 음성신호를 읽고 음성신호를 립싱크 시간차이값 만큼 지연(DELAY)하므로, 영상신호와 동기(SYNCHRONOUS)된 상태로 설정하여 입출력부(130)에 출력한다(S180).

따라서, 상대방으로부터 수신되는 멀티미디어 신호의 음성신호는 사람의 인지 시간차이값만큼 빠르게 출력되므로, 멀티미디어 통신이 빠르고 원활하게 진행되는 장점이 있다.

상기와 같은 구성의 본 발명은, 멀티미디어 통신에서 영상신호와 음성신호의 처리시간 차이에 의하여 발생되는 멀티미디어 출력지연을, 사람에 의한 인지 시간차이값이 반영된 립싱크 시간값에 의하여 음성신호를 빠르게 출력하므로, 실시간 멀티미디어 통신이 최소한의 지연으로 빠르게 진행되는 산업적 이용효과가 있다.

또한, 사람의 인지시간 차이값 만큼 음성신호가 빠르게 출력되고 영상신호와 립싱크 동기되어 출력되므로, 멀티미디어 통신이 자연스럽게 진행되어 신뢰성을 제고하는 사용상 편리한 효과가 있다.

Claims (12)

1. 휴대단말기의 제어부는 상대방과 멀티미디어 통신하는 경우, 입출력부로부터 입력되는 음성과 영상 신호를 영상처리부와 음성처리부에서 디지털 변조하고 무선부를 통하여 실시간 송신하며 립싱크연산부를 제어하여 연산된 변조시간 차이값을 송신하며, 무선부로부터 상대방의 멀티미디어 신호를 수신하는 경우는, 영상처리부와 음성처리부를 통하여 각각 디지털 복조하고, 립싱크연산부를 제어하여 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영하여 립싱크 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 복조된 영상신호와 동기상태로 입출력부에 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.
2. 멀티미디어 통신신호를 무선송수신하고, 영상신호와 음성신호의 변조 시간차이값을 무선송신하는 무선부와,

   상기 무선부와 접속하고 멀티미디어 송신신호를 디지털 변조하며 시차값을 포함 출력하고, 수신신호를 복조하며 연산된 립싱크 값이 반영된 멀티미디어 신호를 출력하는 제어부와,

   상기 제어부에 접속하고, 송수신되는 영상신호를 디지털 변조와 복조하여 출력하는 영상처리부와,

   상기 제어부에 접속하고, 송수신되는 음성신호를 디지털 변조와 복조하여 출 력하는 음성처리부와,

   상기 제어부에 접속하고 영상처리부와 음성처리부가 변조와 복조하는 시간 차이값을 각각 연산 출력하고 립싱크 시간을 연산 출력하는 립싱크 연산부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상과 음성신호 동기장치.
3. 제2 항에 있어서,

   상기 제어부에 접속하고, 해당 제어에 의하여 영상신호와 음성신호가 포함되는 멀티미디어 신호를 입력하며 립싱크된 멀티미디어 신호를 출력하는 입출력부와,

   상기 제어부에 접속하고 해당 제어에 의하여 운용 프로그램과 데이터를 기록저장 출력하는 메모리부가 더 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상과 음성신호 동기장치.
4. 제2 항에 있어서, 상기 영상처리부는,

   상기 제어부의 제어에 의하여 상기 입출력부가 인가하는 영상신호를 디지털 신호로 변조하고, 해당 변조시간 정보와 함께 출력하며, 상기 무선부가 수신하여 인가하는 영상신호를 디지털 신호로 복조하고 해당 복조시간 정보와 함께 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기장치.
5. 제2 항에 있어서, 상기 음성처리부는,

   상기 제어부의 제어에 의하여 상기 입출력부가 인가하는 음성신호를 디지털 신호로 변조하고, 해당 변조시간 정보와 함께 출력하며, 상기 무선부가 수신하여 인가하는 음성신호를 디지털 신호로 복조하고 해당 복조시간 정보와 함께 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기장치.
6. 제2 항에 있어서, 상기 제어부는,

   상기 입출력부로부터 송신할 멀티미디어 신호가 인가되는 경우, 영상신호는 영상처리부에 인가하여 디지털 변조하고 무선부에 인가하여 상대방에 무선송신하며, 영상신호 변조 시간정보는 립싱크 연산부에 인가하고, 음성신호는 음성처리부에 인가하여 디지털 변조하고 무선부에 인가하여 상대방에 무선송신하며, 음성신호 변조 시간정보는 립싱크 연산부에 인가하고, 립싱크연산부를 제어하여 영상신호와 음성신호의 변조 시간차이값을 연산하며, 상기 무선부에 인가하여 상대방에 전송하고, 상기 무선부로부터 상대방이 전송한 멀티미디어 신호와 시간차이값을 무선수신하면, 영상신호는 영상처리부에 인가하여 디지털 복조하고 영상신호 복조 시간정보는 립싱크 연산부에 인가하며, 음성신호는 음성처리부에 인가하여 디지털 복조하고 음성신호 복조 시간정보는 립싱크 연산부에 인가하고, 립싱크연산부를 제어하여 변조 시간차이값과 복조시간 차이값에 사람의 인식 시간차이값을 반영한 립싱크값을 연산하며, 상기 연산된 립싱크값 만큼 복조된 음성신호를 지연시켜 영상신호와 함께 입출력부에 출력하는 운용을 제어와 감시하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기장치.
7. 휴대단말기의 제어부는 상대방과 통신을 위하여 멀티미디어 신호를 송신하는 경우, 음성과 영상의 멀티미디어 신호를 디지털 변조하고 연산된 음성과 영상 신호의 변조시간 차이값을 포함하여 송신하며, 상대방의 멀티미디어 신호를 수신하는 경우, 음성과 영상의 멀티미디 신호를 수신하여 디지털 복조하고 음성과 영상 신호의 복조시간 차이값을 연산하며 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크 시간차이값을 연산하고, 상기 연산된 립싱크 시간차이값으로 복조된 음성신호를 지연시켜 영상신호와 음성신호를 동기된 상태로 출력하는 일련의 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.
8. 휴대단말기 제어부에 의하여 상대방과 통신하고자 송신하는 경우, 음성과 영상의 멀티미디어 신호를 입력하고 각각 디지털 변조하는 입력과정과,

   상기 과정에서 디지털 변조된 멀티미디어 신호를 상대방에 송신하고 음성과 영상 신호의 변조시간 차이값을 연산하여 송신하는 연산과정과,

   상기 제어부 판단에 의하여 상대방이 전송하는 멀티미디어 신호를 수신하는 경우, 수신된 신호를 디지털 복조하는 복조과정과,

   상기 과정에 의한 음성과 영상 신호의 복조시간 차이값을 연산하고 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크값을 연산하는 시차과정과,

   상기 과정에서 연산된 립싱크 값으로 복조된 음성신호를 지연시켜 영상신호와 동기상태로 출력하는 립싱크 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.
9. 제8 항에 있어서, 상기 입력과정은,

   상기 휴대단말기의 제어부 판단에 의하여 상대방과 통신하고자 멀티미디어 신호를 송신할 것인지 판단하는 과정과,

   상기 과정에서 상대방에 멀티미디어 신호를 송신하는 경우, 멀티미디어의 음성과 영상 신호를 각각 디지털 변조하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.
10. 제8 항에 있어서, 상기 연산과정은,

    상기 입력과정에서 디지털 변조된 음성과 영상 신호를 상대방에 각각 실시간 송신하는 과정과,

    상기 과정에 의한 음성과 영상신호의 디지털 변조시간 차이값을 연산하고 상대방에 송신하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.
11. 제8 항에 있어서, 상기 복조과정은,

    상기 제어부에 의하여 상대방과 통신하고자 멀티미디어 신호와 시간차이값을 수신하는지 판단하는 과정과,

    상기 과정에서 멀티미디어 신호를 수신하는 경우에 음성과 영상 신호를 실시간 수신하고 각각 디지털 복조하는 과정으로 이루어지는 것을 특징으로 하는 휴대 단말기의 영상과 음성신호 동기방법.
12. 제8 항에 있어서, 상기 시차과정은,

    상기 복조과정에서 멀티미디어의 음성과 영상 신호를 각각 복조하는데 발생하는 시간 차이값을 연산하는 과정과,

    상기 과정에서 연산된 복조시간 차이값과 수신된 변조시간 차이값과 사람의 인지 시간차이값을 반영한 립싱크 시간차이값을 연산하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상과 음성신호 동기방법.

Images