KR20120035100A - 스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치 - Google Patents
스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20120035100A KR20120035100A KR1020110085358A KR20110085358A KR20120035100A KR 20120035100 A KR20120035100 A KR 20120035100A KR 1020110085358 A KR1020110085358 A KR 1020110085358A KR 20110085358 A KR20110085358 A KR 20110085358A KR 20120035100 A KR20120035100 A KR 20120035100A
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- voice
- call
- analysis
- video call
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 230000008451 emotion Effects 0.000 title claims abstract description 117
- 238000004458 analytical method Methods 0.000 claims abstract description 304
- 238000004891 communication Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000002996 emotional effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 4
- 238000012384 transportation and delivery Methods 0.000 claims description 4
- 230000011664 signaling Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004040 coloring Methods 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 스마트 단말에서의 영상 통화 중 실시간으로 통화자의 감정을 분석하여 제공하는 방법 및 장치에 관한 것으로서, 통화 중 감정 분석 제공 방법은 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치를 통해 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 상대방의 감정 분석을 제공하는 방법으로, 음성 통화, 영상 통화 또는 mVoIP 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하는 제1 단계, 커뮤니케이션 서비스 수행 도중 사용자 단말에서 상대방 단말로부터의 음성 신호를 수신하는 제2 단계, 사용자 단말에 탑재된 음성 분석 엔진을 통해 음성 신호를 분석하는 제3 단계, 및 음성 신호의 분석 결과를 출력하는 제4 단계를 포함하고, 분석 결과는 제1 단말과 제2 단말 간의 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 표시될 수 있다.
Description
본 발명은 스마트폰, 태블릿 PC(Personal Computer), 스마트패드 등의 스마트 단말을 사용하는 사용자에게 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치에 관한 것으로, 보다 상세하게는 스마트 단말의 어플리케이션을 활용하여 이동통신망이나 와이파이(WiFi) 망에서 영상 통화를 연결하고 영상 통화 중 음성을 실시간 분석하고 분석 결과를 서로 다른 망 간의 사용자에게 다양한 콘텐츠 서비스와 함께 제공할 수 있는 통화 중 감정 분석 제공 방법 및 이러한 방법을 이용한 통화 중 감정 분석 제공 장치에 관한 것이다.
최근 통신 기술 및 통신 환경의 발전에 따라 고화질의 HD(High Definition)급 영상 통화 서비스가 폭넓게 제공되고 있다. 그러나, 종래의 영상 통화 서비스는 단순히 사용자의 영상을 상대방에게 보내주는 기능으로 영상통화 내용이 단조롭고 어색한 통화가 될 수 있다는 단점이 있어서 아직 크게 활성화되고 있지 못한 실정이다.
또한, 기존의 3G 이동통신망에서의 영상 통화 서비스는 화면 해상도가 낮고, 통화 중 양방향(Interactive) 서비스도 불가능한 한계가 있다. 또한, 기존의 영상통화에서 제공되는 다양한 서비스는 해당 서비스를 지원하기 위한 별도의 서버 시스템이 존재해야 하기 때문에, 시스템 구성 비용 및 복잡도가 증가하는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 감안하여 안출된 것으로서, 스마트 단말을 이용하여 HD급 영상 통화 서비스를 수행하는 경우, 영상 통화 중에 스마트 단말을 이용하여 음성 분석 결과를 제공할 수 있으며, 특히 음성 분석 결과를 이용한 다양한 서비스의 접근 방법을 제공함으로써 영상 통화 중 사용자의 편의성을 증대시킬 수 있는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 3G 망에서뿐만 아니라 와이파이(WiFi) 망이나 LTE(Long Term Evolution) 망을 포함한 인터넷에서도 영상 통화 서비스를 제공하면서 감정 분석 서비스를 제공할 수 있는 동시에, 음성 분석 결과를 시각적인 형태로 사용자에게 보여줌으로써 통화 내용의 간섭을 받지 않은 상태에서 직관적으로 상대방의 감정 분석 결과를 표시할 수 있는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 스마트 단말의 어플리케이션을 사용하여 다양한 어플리케이션 활용 기회를 제공할 수 있고, 음성 분석 결과를 다양한 형태의 이미지, 그래프 등의 멀티미디어 콘텐츠 형태로 제공할 수 있으며, 그것에 의해 사용자의 흥미를 유발하고 만족도를 향상시킬 수 있는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 전술한 영상 통화 중 감정 분석 제공 방법을 이용하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명의 일 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법은, 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치를 통해 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 상대방의 감정 분석을 제공하는 방법으로, 음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하는 제1 단계; 커뮤니케이션 서비스 수행 도중 사용자 단말에서 상대방 단말로부터의 음성 신호를 수신하는 제2 단계; 사용자 단말에 탑재된 음성 분석 엔진을 통해 음성 신호를 분석하는 제3 단계; 및 음성 신호의 분석 결과를 출력하는 제4 단계-여기에서, 분석 결과는 제1 단말과 제2 단말 간의 커뮤니케이션 서비스 수행 도중 적어도 하나의 사용자 단말의 화면에 표시됨-를 포함한다.
일 실시예에서, 제1 단계는, 서비스 제공 장치로부터 통화 가능한 착신측 상대방 단말에 대한 전화번호 목록을 받는 단계, 및 착신측 상대방 단말의 상태 정보에 따라 통화 경로를 선택하는 단계를 포함한다. 여기에서, 전화번호 목록은 착신측 상대방 단말이 가입자 또는 비가입자에 대한 가입 정보와, 인터넷, 패킷교환망 및 회선교환망 중 어디에 위치하는가에 대한 위치 정보 중 적어도 어느 하나를 포함한 상태 정보를 구비한다.
일 실시예에서, 제1 단계는, 통화 경로의 선택에 따라, 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 로그인 상태인 상대방 단말이 위치하는 인터넷 또는 패킷교환망으로 호 설정 요청 신호를 전송하는 단계를 포함한다.
일 실시예에서, 제1 단계는, 통화 경로의 선택에 따라, 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 로그아웃 상태인 상대방 단말이 위치하는 인터넷 또는 패킷교환망으로 호 설정 요청 신호를 전송하는 단계를 포함한다.
일 실시예에서, 제1 단계는, 통화 경로의 선택에 따라, 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 상대방 단말이 위치하는 회선교환망으로 호 설정 요청 신호를 전송하는 단계를 포함한다.
일 실시예에서, 사용자 단말은 감정 분석 엔진이 탑재되고 커뮤니케이션 서비스를 위한 사용자 인터페이스를 제공하며 서비스 제공 장치과 연동하는 어플리케이션을 구비한다. 여기에서, 감정 분석 엔진은, 제1 단말과 제2 단말의 통화 도중 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부, 입력부로부터의 음성 스트리밍 데이터를 사용자 단말의 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부, 및 음성 분석부로부터의 분석 결과를 사용자 단말에 전달하는 출력부를 구비한다.
일 실시예에서, 상기 방법은 어플리케이션에서 사용자 단말의 화면에 제공하는 콘텐츠 전송 메뉴의 선택에 응하여 콘텐츠 전송 메뉴에 상응하는 멀티미디어 콘텐츠를 상대방 단말로 전송하는 단계를 더 포함한다. 여기에서, 멀티미디어 콘텐츠는 텍스트, 텍스트 형태의 이미지, 정지영상 또는 동영상 형태의 아이콘, 음향 효과, 또는 이들의 조합을 포함할 수 있다.
본 발명의 또 다른 일 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법은, 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치에서 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 상대방 단말 사용자의 감정을 분석하여 제공하는 방법으로, 음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하는 제1 단계; 제1 단계에서 사용자 단말로부터 받은 상대방 단말과의 호 설정 요청 신호에 응하여 사용자 단말에 대한 감정 분석 서비스 설정을 확인하는 제2 단계; 감정 분석 서비스 설정에 따라 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성 신호를 수신하는 제3 단계; 음성 분석 엔진을 통해 음성 신호를 분석하는 제4 단계; 및 음성 신호의 분석 결과를 사용자 단말로 전송하는 제5 단계를 포함한다. 여기에서, 분석 결과는 제1 단말과 제2 단말 간의 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 실시간으로 표시된다.
일 실시예에서, 제1 단계는, 호 설정 요청 신호에 응하여 상대방 단말이 위치하는 네트워크가 회선교환망, 패킷교환망, 또는 인터넷인지를 판단하는 단계를 더 포함한다.
일 실시예에서, 상기 방법은, 상대방 단말이 위치하는 네트워크의 판단 결과에 따라 회선교환망, 패킷교환망, 및 인터넷 중 어느 하나에 결합된 감정 분석 서버를 선택하여 상기 제1 및 제2 단말들 간의 커뮤니케이션 서비스 세션에 연결하는 단계를 더 포함한다. 여기에서, 감정 분석 서버는, 패킷교환망 또는 인터넷에 위치하는 사용자 단말과 영상 통화를 지원하는 회선교환망에 위치하는 상대방 단말 사이에서 감정 분석 서비스를 제공하는 제1 감정 분석 서버에 탑재된 제1 감정 분석 엔진; 및 패킷교환망 또는 인터넷에 위치하는 사용자 단말과 음성 통화를 지원하는 회선교환망에 위치하는 상대방 단말 사이에서 감정 분석 서비스를 제공하는 제2 감정 분석 서버에 탑재된 제2 감정 분석 엔진을 포함할 수 있다. 제1 및 제2 감정 분석 서버는 해당 기능을 수행하는 수단 또는 구성부를 구비한 단일 장치 내에 구현될 수 있다.
일 실시예에서, 제1 또는 제2 감정 분석 엔진은, 제1 단말과 제2 단말 간의 통화 도중 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부; 입력부로부터의 음성 스트리밍 데이터를 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및 음성 분석부로부터의 분석 결과를 출력하는 출력부를 구비한다.
일 실시예에서, 상기 방법은, 커뮤니케이션 서비스 수행 도중 사용자 단말로부터 콘텐츠 전송 요청 신호를 받고, 콘텐츠 전송 요청 신호에 상응하는 멀티미디어 콘텐츠를 상대방 단말로 전송하는 단계를 더 포함한다. 여기에서, 멀티미디어 콘텐츠는 텍스트, 텍스트 형태를 가진 이미지, 정지영상 또는 동영상 형태의 아이콘, 음향 효과, 또는 이들의 조합을 포함할 수 있다.
일 실시예에서, 상기 방법은, 커뮤니케이션 서비스 종료 이후, 멀티미디어 메시지 서비스 센터를 통해 분석 결과를 사용자 단말로 전송하는 단계를 더 포함한다.
본 발명의 또 다른 일 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법은, 어플리케이션 서버(AS: Application Server), 및 SIP 시그널링 서버[SS: SIP(Session Initiation Protocol) Signaling Server]를 구비한 서비스 제공 장치에서 적어도 하나의 스마트 단말에서의 영상 통화 중 실시간으로 통화자의 감정을 분석하여 제공하는 방법에 있어서, 인터넷망 또는 패킷교환망을 통해 발신 단말로부터 착신 단말과의 영상 통화를 위한 호 접속 요청 신호를 받는 제1 단계; SS에서 AS로 회선교환망으로의 호 라우팅을 요청하는 제2 단계; AS에 의해 발신 및 착신에 대한 인증과 가입자 정보를 처리하고 착신 단말을 관리하는 기지국의 교환기로 ISUP((Integrated Services Digital Network User Part) 프로토콜 호를 요청하는 제3 단계; AS에 의해 착신 단말과 영상통화 채널의 할당을 위한 협상을 수행하고, 협상 결과에 따라 발신 단말과 착신 단말 간의 영상통화로를 개설하는 제4 단계; 영상통화로에서 전송되는 음성 신호를 음성 분석 엔진에 의해 분석하는 제5 단계; 및 분석 결과에 해당하는 멀티미디어 데이터를 영상통화 신호에 합성하고, 합성 신호를 발신 단말, 착신 단말, 또는 발신 단말과 착신 단말 측으로 전송하는 제6 단계를 포함한다.
일 실시예에서, 상기 방법은 영상통화 후에 음성 신호의 최종 분석 결과에 해당하는 또 다른 멀티미디어 데이터를 발신 단말, 착신 단말, 또는 발신 단말과 착신 단말 측으로 전송하는 제7 단계를 더 포함한다.
일 실시예에서, 음성 분석 엔진은 음성 스트리밍 데이터 수신 프로세스에 의해 영상통화 중 음성 신호를 획득하고, 음성 분석 프로세스에 의해 음성분석정보 테이블이 저장된 데이터베이스를 이용하여 음성 신호를 분석하여 분석 데이터를 생성하고, 생성된 분석 데이터를 음성분석 데이터 전송 프로세스에 따라 서비스 제공 장치 내의 미디어 트랜스코딩 서버로 전송한다. 여기에서, 분석 데이터에 대응하는 멀티미디어 데이터는 미디어 트랜스코딩 서버에 의해 영상통화 신호에 합성된다.
본 발명의 또 다른 일 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법은, 어플리케이션 서버(AS: Application Server), 및 SIP 시그널링 서버[SS: SIP(Session Initiation Protocol) Signaling Server]를 구비한 서비스 제공 장치에서 적어도 하나의 스마트 단말에서의 영상 통화 중 실시간으로 통화자의 감정을 분석하여 제공하는 방법에 있어서, 적어도 하나의 스마트 단말에 음성 분석 엔진이 구비된 영상통화 어플리케이션을 제공하는 준비 또는 제0 단계; 인터넷망 또는 패킷교환망을 통해 발신 단말로부터 착신 단말과의 영상 통화를 위한 호 접속 요청 신호를 받는 제1 단계; SS에서 AS로 회선교환망으로의 호 라우팅을 요청하는 제2 단계; AS에 의해 발신 및 착신에 대한 인증과 가입자 정보를 처리하고 착신 단말이 위치하는 기지국의 교환기로 ISUP((Integrated Services Digital Network User Part) 프로토콜 호를 요청하는 제3 단계; 착신 단말과 영상통화 채널의 할당을 위한 협상을 수행하고, 협상 결과에 따라 발신 단말과 착신 단말 간의 영상통화로를 개설하는 제4 단계를 포함하는 영상 통화 중 실시간으로 통화자의 감정을 분석하여 제공하는 방법이 제공된다. 여기에서, 영상통화로에서 전송되는 음성 신호는 스마트 단말에 탑재된 음성 분석 엔진에 의해 분석되며, 음성 신호의 분석 결과에 해당하는 멀티미디어 데이터는 발신 또는 착신 단말에서 출력되거나 영상통화 어플리케이션에 의해 영상통화 신호에 합성되어 착신 또는 발신 측의 상대편 단말로 전송된다.
일 실시예에서, 상기 방법은 영상통화 후에 음성 신호의 최종 분석 결과에 해당하는 또 다른 멀티미디어 데이터가 스마트 단말에서 출력되는 단계를 더 포함한다.
일 실시예에서, 영상통화 어플리케이션은, 영상통화 중 영상통화로에서 전송되는 음성 스트리밍 데이터를 실시간으로 획득 또는 추출하는 입력부; 실시간 음성 스트리밍 데이터 획득부로부터 음성 데이터를 받고, 음성분석정보 테이블이 저장된 데이터베이스를 이용하는 음성 분석 프로세스에 따라 상기 음성 데이터에 대한 분석 데이터를 생성하고, 생성된 상기 분석 데이터를 전송 프로세스에 따라 출력하는 음성 분석 엔진; 및 음성 분석 엔진으로부터 분석 데이터를 받고 받은 분석 데이터를 영상통화로 측으로 출력하는 출력부를 포함한다.
본 발명의 또 다른 일 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치는, 스마트 단말에서의 영상 통화 중 실시간으로 통화자의 감정을 분석하여 제공하는 서비스 제공 장치로서, 인터넷망 또는 패킷교환망과 회선교환망과의 연동을 담당하는 어플리케이션 서버(AS: Application Server); AS와 인터넷망 또는 패킷교환망과의 사이에 연결되며, SIP(Session Initiation Protocol) 호 시그널링을 처리하는 SIP 시그널링 서버(SS: SIP Signaling Server); 및 AS 및 SS에 의해 발신 단말과 착신 단말 간에 개설된 영상통화로에서 전송되는 음성 신호를 분석하여 분석 데이터를 생성하고 분석 데이터에 대응하는 멀티미디어 데이터를 영상통화로 측으로 출력하는 음성 분석 엔진 서버를 포함한다.
일 실시예에서, 음성 분석 엔진 서버는, 영상통화로에서 전송되는 음성 신호를 추출하는 실시간 음성 데이터 획득부; 실시간 음성 데이터 획득부로부터 음성 신호를 받고, 음성 분석 프로세스에 따라 음성분석정보 테이블이 저장된 데이터베이스를 이용하여 음성 신호에 대한 분석 데이터를 생성하고, 생성된 분석 데이터를 전송 프로세스에 따라 출력하는 음성 분석 엔진; 및 음성 분석 엔진으로부터 분석 데이터를 받고 받은 분석 데이터를 영상통화로 측으로 전달하는 분석 데이터 수신부를 포함한다.
일 실시예에서, 상기 장치는 발신 단말, 착신 단말, 또는 발신 단말과 착신 단말에 상응하는 적어도 하나의 스마트 단말에 영상 통화 어플리케이션을 제공하는 자동응답시스템 또는 웹 고객센터를 더 포함한다.
본 발명의 또 다른 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치는, 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치를 통해 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 상대방의 감정 분석을 제공하는 장치로서, 음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스 수행을 위한 통화로를 설정하는 신호 처리부; 및 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성 신호를 수신하고, 수신한 음성 신호를 분석하고, 음성 신호의 분석 결과를 출력하는 감정 분석 엔진을 포함한다. 여기에서, 사용자 단말에서 구동하는 어플리케이션에 탑재되는 감정 분석 엔진은, 제1 단말과 제2 단말의 통화 도중 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부; 입력부로부터의 음성 스트리밍 데이터를 사용자 단말의 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및 음성 분석부로부터의 분석 결과를 출력하는 출력부를 구비한다. 그리고, 어플리케이션은 커뮤니케이션 서비스를 위한 사용자 인터페이스를 사용자 단말에 제공하며, 제1 단말과 제2 단말 간의 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 음성 분석 결과를 이미지 또는 그래프 형태로 표시하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치는, 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치에서 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 상대방 단말 사용자의 감정을 분석하여 제공하는 장치로서, 음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하고, 사용자 단말로부터 받은 상대방 단말에 대한 호 설정 요청 신호에 응하여 사용자 단말에 대한 감정 분석 서비스 설정을 확인하는 신호 처리 서버; 및 신호 처리 서버의 제어 신호 또는 감정 분석 서비스 설정에 따라 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성을 수신하고, 수신한 음성을 분석하고, 음성 분석 결과를 사용자 단말로 전달하는 감정 분석 서버를 포함한다. 여기에서, 감정 분석 서버에 탑재되는 감정 분석 엔진은, 제1 단말과 제2 단말 간의 통화 도중 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부; 입력부로부터의 음성 스트리밍 데이터를 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및 음성 분석부로부터의 음성 분석 결과를 사용자 단말로 출력하는 출력부를 구비한다. 음성 분석 결과는 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 표시될 수 있다.
본 발명에 의하면, 스마트 단말로 영상 통화 서비스를 이용하는 경우, 음성분석 결과를 보면서 영상 통화를 수행할 수 있으며, 특히 음성 분석 결과를 이용한 다양한 서비스의 접근 방법을 제공함으로써 사용자의 편의성을 증대시킬 수 있다.
또한, 본 발명에 의하면, 3G 망에서뿐만 아니라 WiFi 망 내에서도 영상 통화 서비스를 제공하면서 감정 분석 서비스를 제공할 수 있다.
또한, 본 발명은 음성분석 결과를 시각적인 형태로 사용자에게 보여줌으로써 통화내용의 간섭을 받지 않은 상태에서 직관적으로 음성 분석 결과를 보면서 통화를 수행할 수 있다.
또한, 본 발명에 의하면, 스마트 단말의 어플리케이션을 이용하므로 다양한 스마트 단말 어플리케이션의 활용 기회를 제공할 수 있다.
또한, 본 발명에 의하면, 감정 분석 결과를 다양한 형태의 이미지, 그래프 등의 멀티미디어 콘텐츠 형태로 제공할 수 있으므로, 사용자의 흥미를 유발하고 만족도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치를 설명하기 위한 개략적인 시스템 및 망 구성도이다.
도 2a는 도 1의 서비스 제공 장치를 통한 스마트 단말과 착신 단말 간의 연결 방식을 설명하기 위한 도면이다.
도 2b는 도 2a의 연결 방식을 테이블로 나타낸 도면이다.
도 3a 내지 도 3c는 도 1의 서비스 제공 장치에서 제공하는 스마트 단말과 착신 단말 간의 연결 방식을 도식적으로 나타낸 도면들이다.
도 4는 본 발명의 일 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법의 개략적인 흐름도이다.
도 5는 도 4의 서비스 제공 방법에 따른 영상 통화 호 연결 절차의 일 실시예를 나타낸 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법의 개략적인 흐름도이다.
도 7a 및 도 7b는 도 6의 서비스 제공 방법에 따른 영상 통화 호 연결 절차의 일 실시예를 나타낸 흐름도이다.
도 8은 본 발명의 서비스 제공 방법에 채용가능한 음성 분석 엔진의 개략적인 구성도이다.
도 9 내지 도 14는 본 발명의 서비스 제공 방법에 채용가능한 사용자 단말에서의 감정 분석 결과 화면의 일례를 설명하기 위한 도면들이다.
도 2a는 도 1의 서비스 제공 장치를 통한 스마트 단말과 착신 단말 간의 연결 방식을 설명하기 위한 도면이다.
도 2b는 도 2a의 연결 방식을 테이블로 나타낸 도면이다.
도 3a 내지 도 3c는 도 1의 서비스 제공 장치에서 제공하는 스마트 단말과 착신 단말 간의 연결 방식을 도식적으로 나타낸 도면들이다.
도 4는 본 발명의 일 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법의 개략적인 흐름도이다.
도 5는 도 4의 서비스 제공 방법에 따른 영상 통화 호 연결 절차의 일 실시예를 나타낸 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법의 개략적인 흐름도이다.
도 7a 및 도 7b는 도 6의 서비스 제공 방법에 따른 영상 통화 호 연결 절차의 일 실시예를 나타낸 흐름도이다.
도 8은 본 발명의 서비스 제공 방법에 채용가능한 음성 분석 엔진의 개략적인 구성도이다.
도 9 내지 도 14는 본 발명의 서비스 제공 방법에 채용가능한 사용자 단말에서의 감정 분석 결과 화면의 일례를 설명하기 위한 도면들이다.
본 발명의 실시예를 첨부 도면을 참조하여 구체적으로 설명하기에 앞서 우선 본 발명의 전체적인 구성을 개략적으로 설명하면 다음과 같다.
본 발명의 구성은 스마트 단말의 어플리케이션(이하, 간단히 앱이라고 한다), 발신자와 착신자 간의 영상통화 연결 방식, 실시간 음성 분석을 위한 엔진, 감정 정보를 활용하기 위한 서비스 방안으로 이루어진다.
영상통화 연결 방식은 와이파이(WiFi) 망 내에서의 피어투피어(Peer to peer) 방식과, WiFi 망과 3G 망 간의 연결 방식으로 구분되며, WiFi 망 내에서의 피어투피어 방식에서는 스마트 단말들 간의 호 연결 과정을 통해 영상 통화가 연결되고, WiFi 망과 3G 망 간의 영상통화 연결은 VSCS(Voice Switching and Control System)를 이용하여 연결한다. VSCS는 WiFi 망과 3G 망 간의 영상 통화 지원을 위한 본 실시예의 서비스 제공 장치의 일부 구성부이다.
스마트 단말들 간의 피어투피어 연결 방식에서의 실시간 음성 분석은 적어도 어느 한쪽의 스마트 단말에서 직접 수행하며, WiFi 망과 3G 망 간의 연결 방식에서의 실시간 음성 분석은 서비스 제공 장치를 이용하여 수행한다.
영상통화 호 연결을 위한 프로토콜은 SIP(Session Initiation Protocol)를 사용하고, 영상 및 음성 미디어 처리를 위해서는 RTP(Real-Time Transport Protocol)/RTCP(Real-Time Transport Control Protocol)를 사용한다.
영상통화 중 실시간으로 처리된 감정 분석 결과는 통화 중 다양한 영상, 그래프, 멀티미디어 콘텐츠 등으로 표현되는 서비스로 제공될 수 있다.
본 발명이 적용될 수 있는 분야는 다음과 같다.
(1) 3G 이동통신망, mVoIP(mobile Voice over Internet Protocol), WiFi 망 등의 스마트 단말 앱을 이용한 영상통화 연결
(2) 3G 이동통신망, mVoIP(mobile Voice over Internet Protocol), WiFi 망 등에서 스마트 단말 앱을 이용한 영상통화 중에 발신자 혹은 착신자의 음성을 분석하여 그 결과를 실시간으로 다양한 형태의 서비스로 활용 가능하게 하는 서비스 제공
(3) 스마트 단말 앱을 지원하는 음성분석 엔진을 활용하여 WiFi 망에서 스마트 단말들 간의 피어투피어(Peer to peer) 서비스를 제공
(4) 영상통화 시 감정에 대한 분석을 통해 단조로운 영상통화에 재미를 부여 함으로서 사용자의 참여도 증대에 기여
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치(이하, 간단히 "서비스 제공 장치"라고 한다)를 설명하기 위한 개략적인 시스템 및 망 구성도이다.
도 1을 참조하면, 서비스 제공 장치(100)는 인터넷 또는 광대역 코드 분할 다중 접속(WCDMA: Wireless Code Division Multiple Access) 네트워크에서의 호 처리, 이종 망 간의 호 처리, 음성 분석, 음성 분석 결과 합성 기능을 수행함으로써 통화 중 사용자에게 상대방의 감정 분석 결과를 제공한다.
서비스 제공 장치(100)는 영상 통화 또는 mVoIP 통화를 위한 호 연결을 설정하기 위하여 적어도 하나의 발신측 및 적어도 하나의 착신측 사용자 단말들 간에 송수신되는 메시지를 처리하는 신호 처리 서버를 포함한다. 또한, 서비스 제공 장치(100)는 감정 분석 서비스를 제공하기 위한 감정 분석 엔진이 탑재된 감정 분석 서버를 포함한다. 이러한 감정 분석 서버는 서로 다른 망 간의 커뮤니케이션 서비스에서의 감정 분석 서비스를 원활하게 제공하기 위하여 망 연동 장치와 결합될 수 있다.
서비스 제공 장치(100)는 네트워크를 통해 다양한 사용자 단말 또는 이동 단말(11, 13, 15, 19)과 연결된다. 네트워크는 CDMA 2G 네트워크, WCDMA 3G 네트워크 및 인터넷을 포함한다. 도 1에서 사용자 단말(11)은 소위 영상전화로 불리며, WCDMA 회선교환망에서 음성, 화상/영상, 및 데이터 통신을 수행하는 이동통신 단말을 지칭하고, 사용자 단말(13, 15)은 소위 스마트 단말로 불리며, 와이파이(WiFi) 등의 무선랜을 포함한 인터넷(Internet)이나 WCDMA 패킷교환 망에서 음성, 화상/영상, 및 데이터 통신을 수행하는 이동통신 단말을 지칭하고, 사용자 단말(19)은 소위 음성전화로 불리며, CDMA 회선교환망에서 음성 및 데이터 통신을 수행하는 이동통신 단말을 지칭한다.
좀더 구체적으로 설명하면, 서비스 제공 장치(100)는 WiFi/WCDMA 패킷교환망[PS(Packet Switched) Network]과 WCDMA 회선교환망[CS(Circuit Switched) Network]과의 연동을 담당하는 기본 서버군(110), 기본 서버군(110)과 패킷교환망과의 사이에 위치하며 영상 통화를 지원하는 제1 확장 서버군(130), 및 WCDMA 회선교환망[CS(Circuit Switched) Network, 110]과 연동하며 실시간 음성 스트리밍 데이터를 분석하고 그 결과를 전달하는 제2 확장 서버군(150)을 구비할 수 있다.
여기에서, 기본 서버군(110)은 어플리케이션 서버(AS: Application Server; 112), 미디어 트랜스코딩 서버(MTS: Media Transcoding Server; 114), 어플리케이션 플러스 서버(APS: Application Plus Server; 116), 웹 어플리케이션 서버[WAS: Web/WAP(Wireless Application Protocol) Application Server; 122], 데이터베이스 시스템(DBS: DataBase System; 124) 및 오퍼레이션 관리 서버(OMS: OA&M Server: Operation Administration and Management Server; 126)를 구비하고, 제1 확장 서버군(130)은 SIP 시그널링 서버[SS: SIP(Session Initiation Protocol) Signaling Server; 132] 및 레지스터 서버(RS: Register Server; 134)를 구비하고, 제2 확장 서버군(150)은 SEC-IP 서버(Smart Emotion Call Internet Protocol Server; 152) 및 EAES(Emotion Analysis Engine Server; 154)를 구비하도록 구현될 수 있다.
본 실시예에 있어서, SS(132)와 AS(112)의 조합 또는 SS(132)는 본 발명 장치인 서비스 제공 장치의 신호 처리 서버에 대응하고, SEC-IP 서버(152) 및 EAES(154)는 감정 분석 서버에 대응하며, AS(112) 및 MTS(114)는 감정 분석 서비스를 제공하기 위한 망 연동 장치에 대응할 수 있다.
기본 서버군(110)은 소위 3세대 네트워크(3G Network)로 불리는 WCDMA 회선교환망에서 음성 및 영상 호를 라우팅하고 처리할 수 있는 이동통신 사업자 교환기인 WMSC(Wireless Mobile Switching Center; 22), 및 외부망과 내부망의 게이트웨이(Gateway) 역할을 담당하는 PGS[PCX(Private Communication eXchange) Gateway System; 24]를 통하여 WCDMA 회선교환망과 연동한다. WCDMA 회선교환망은 영상 전화와 같은 WCDMA 사용자 단말의 음성 및 영상 호를 라우팅(Routing)하고 처리한다.
기본 서버군(110)에 있어서, AS(112)는 네트워크의 호 시나리오를 처리한다. 본 실시예에서 AS(112)는 서비스 제공 장치(100)와 WCDMA 회선교환망과의 연동 기능을 담당하며, ISUP(Integrated Services Digital Network User Part) 호 처리, WiFi/WCDMA 패킷교환망과 WCDMA 회선교환망 간의 착신 서비스 시나리오 처리를 담당한다. 또한, AS(112)는 WiFi/패킷교환 망으로부터 들어온 호에 대해서 ISUP 호 아웃바운드(Outbound)를 처리하며, 서비스 제공 장치(100)에서의 음성 분석, 컨텐츠 추출, 및 음성 분석 결과 합성을 위해 제2 확장 서버군(150)과 연동한다.
MTS(114)는 미디어 처리를 위한 디지털 신호 처리 보드(Digital Signal Processing Board; DSP 보드)를 제어한다. 본 실시예에서 MTS(114)는 DSP 보드를 제어하여 AS(112)로부터 요청받은 미디어 제어 요청에 대한 처리를 수행한다. 예컨대, MTS(114)는 음성 데이터에 대한 분리, 영상 데이터에 대한 실시간 전송 프로토콜(RTP: Real-time Transport Protocol) 분리, 이미지 영상 합성, 영상 위 영상 합성 및 동영상 재생의 기능을 담당한다.
APS(116)는 외부의 레거시(Legacy) 시스템과 연동하여 발신, 착신, 및 인증 정보를 처리한다. 본 실시예에서 APS(116)는 기존 레거시 인증 시스템 및 고객 정보 시스템과 연동하여 사용자 인증, 발신 및 착신에 대한 인증, 가입자 정보 조회 등의 기능을 수행한다. 여기서, 레거시 시스템은 고객관리 시스템(CS: Customer Care System), 빌링 서버(BS: Billing Server), 문자메시지서비스 센터(SMSC: Short/Long Message Service Center) 또는 멀티미디어메시지서비스 센터(MMSC: Multimedia Message Service Center), 및 유/무선 포털(Wire/Wireless Portal)을 구비할 수 있다.
WAS(122)는 웹 비즈니스 로직을 처리한다. 본 실시예에서 WAS[WEB/WAP(ME) Application Server; 122)는 유무선 인터넷 접속 처리 장치로서 고객이 유무선 인터넷에 접속하여 서비스 제공 장치(100)에서 제공하는 본 발명의 서비스를 위한 인터넷 사용자 인터페이스(UI: User Interface)를 구비한다.
DBS(124)는 데이터베이스(Database)를 처리하고 관리한다. 본 실시예에서 DBS(124)는 본 발명의 앱 또는 어플을 다운받고 가입한 가입자의 가입자 정보, 해당 컨텐츠 정보, 호 통계 정보, 서비스 통계 정보, 서비스 관리 통계 정보에 대한 데이터베이스를 관리한다.
OMS(126)는 시스템의 운용 및 관리를 담당한다. 본 실시예에서 OMS(126)는 서비스 제공 장치(100)를 운용 및 관리하기 위한 장치로서, 서비스 제공 장치(100)의 시스템 구성(System Configuration) 관리, 통계 처리 관리, 장애 처리 관리, 운용 관리 등의 기능을 수행한다.
제1 확장 서버군(130)은 WCDMA 회선교환망에 위치하면서 WCDMA 패킷망(Packet Network) 또는 외부의 패킷교환망(Packet Switched Network)과의 정보 연결(Interworking)을 담당하는 SGSN[Service GPRS(General Packet Radio Service) Support Node; 32] 및 GGSN(Gateway GPRS Support Node; 34)을 통해 WCDMA 회선교환망(110)과 연동한다. WCDMA 패킷교환망(120)은 스마트 단말(13)의 데이터 통신을 처리한다.
이러한 제1 확장 서버군(130)은 인터넷 또는 패킷교환망에 위치하면서 SGSN(32)과 GGSN(34)에 연결되는 세션 보더 컨트롤러(SBC: Session Border Controller; 미도시)를 통해 WCDMA 패킷교환망과 연동하며, 스마트 단말(13)이 영상전화(11)와 패킷 데이터(Packet Data) 통신을 하는 경우, 이들 사이의 영상통화를 지원한다. 여기에서, SBC는 SIP 네트워크에서 제공하는 산업 표준을 따르는 장비로서, 인터넷 또는 WCDMA 패킷교환망에 위치하며, SIP(Session Initiation Protocol) 간에 발생할 수 있는 NAT(Network Address Translation) 트래버셜(Traversal)을 처리한다.
제1 확장 서버군(130)에 있어서, SS(132)는 SIP 호 시그널링을 처리한다. 본 실시예에서 SS(132)는 IMS(Internet protocol Multimedia Subsystem) 네트워크 기반의 SIP 시그널링을 처리하는 노드(Node)이며, S-프락시(SIP Proxy) 기능을 수행한다. 또한, SS(132)는 IMS 네트워크로부터 라우팅되는 SIP 호에 대한 관리, 통계, CDR(Call Detail Records)을 처리하며, 해당되는 SIP 호를 AS(112)로 호 라우팅을 수행한다. 여기에서, IMS 네트워크는 IP 멀티미디어 서비스를 제공하기 위한 노드들의 집합 또는 기반 구조(Architectural Framework)을 지칭하며, 호 세션 제어부(CSCF: Call Session Control Function), 홈 가입자 서버(HSS: Home Subscriber Server)를 포함할 수 있고, 소정의 IP 기반의 멀티미디어 서비스가 설정되어 있는 사용자 단말에 대한 정보를 본 실시예의 서비스 제공 장치에 전달할 수 있다.
RS(134)는 위치 정보 및 상태 정보, 버디 리스트를 관리한다. 본 실시예에서, RS(134)는 특정 서비스 예컨대 본 발명의 앱을 다운받고 서비스에 가입한 가입자의 관리, 가입자의 버디 리스트 관리, 가입자 상태 관리, 가입자 인증 관리를 담당하며, SIP 프로토콜을 기반으로 IMS 네트워크와 연동한다. RS(134)는 영상전화(11)나 스마트 단말(13) 등의 사용자 단말의 로그인시, 상태 변경시, 버디 리스트 요청시 해당 신호를 처리한다.
제2 확장 서버군(150)은 서비스 제공 장치(100)에 탑재되는 적어도 하나의 음성 분석 엔진 서버를 포함하며, 발신 단말과 착신 단말 간의 영상통화로에서 전송되는 음성 신호를 실시간으로 분석하고 분석 결과로서 분석 데이터를 출력한다.
제2 확장 서버군(150)에 있어서, SEC-IP 서버(152)는 패킷교환망에서 2G 또는 3G로의 음성통화 연결 시 영상통화 또는 음성통화 중의 음성 스트리밍 데이터를 획득하고 획득한 음성 신호를 분석하고, 분석 데이터를 생성하고 분석 데이터를 출력하는 감정 분석용 음성 분석 엔진 서버이다. 출력된 데이터는 음성 분석 엔진 서버나 미디어 트랜스코딩 서버 등에서 영상통화 신호와 합성될 수 있다.
EAES(154)는 패킷교환망에서 3G로의 영상통화 연결 시 실시간 음성 신호를 획득하고 음성 신호를 분석하여 분석 결과를 출력하는 감정 분석용 음성 분석 엔진 서버이다.
한편, 본 실시예에서 서비스 제공 장치(100)는 WAS(122)를 통해 스마트 단말인 발신 단말 및/또는 스마트 단말인 착신 단말로 영상통화 어플리케이션(이하, 앱이라 한다)을 제공하는 자동응답 시스템 또는 웹 고객센터(미도시)를 구비할 수 있다.
전술한 경우, 사용자 단말(13, 15)은 음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스 수행을 위한 통화로를 설정하는 신호 처리부; 및 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성 신호를 수신하고, 수신한 음성 신호를 분석하고, 음성 신호의 분석 결과를 출력하는 감정 분석 엔진을 구비할 수 있다. 감정 분석 엔진은 커뮤니케이션 서비스를 지원하기 위하여 사용자 단말에 설치된 어플리케이션에 탑재될 수 있다.
본 실시예에 따른 서비스 제공 장치(100)는 발신측 또는 착신측의 스마트 단말에 소정의 영상통화 앱을 제공하며, 이 스마트 단말 앱은 다음과 같은 기능을 수행할 수 있다.
첫째, 영상통화 연결을 위한 호 연결 처리 기능을 수행할 수 있다. 둘째, 영상통화 영상 및 음성정보를 송수신하기 위한 데이터 스트리밍(Data Streaming) 기능을 수행할 수 있다. 셋째, 영상통화 영상 및 음성정보를 압축 또는 해제하기 위한 인코딩(Encoding) 및 디코딩(Decoding) 기능을 수행할 수 있다. 넷째, 음성 검색 및 분석을 위한 스마트 단말용 음성 분석 엔진을 구비할 수 있다. 다섯째, 분석 결과를 화면에 디스플레이(Display)하기 위한 서비스 기능을 수행할 수 있다.
또한, 영상 통화와 영상 통화 중 음성 분석 관련 서비스 제공을 위한 제1 확장 서버군(130)은 다음과 같은 기능을 수행한다.
첫째, WiFi 망에서 피어투피어(Peer to peer) 방식으로 영상통화가 가능하도록 하는 기능을 수행할 수 있다. 둘째, WiFi 망과 3G 이동통신망 사용자 간의 영상 통화시 양단 간의 영상, 음성 미디어와 호 연결 제어를 위한 시그널 처리 기능을 수행할 수 있다. 셋째, 서비스 로그오프 사용자를 위한 호 알림 기능을 수행할 수 있다. 넷째, 사용자 정보 저장을 위한 서버 기능을 수행할 수 있다.
또한, 스마트 단말 또는 제2 확장 서버군(150)은 음성 분석 및 처리를 위해 다음과 같은 동작을 수행할 수 있다.
첫째, 실시간 통화중 음성 추출 및 검색을 위한 스마트 단말용 음성분석 엔진을 구비할 수 있다. 둘째, 서로 다른 망의 가입자 간의 서비스 제공을 위한 서버 및 서버용 음성 분석 엔진을 구비할 수 있다. 셋째, 음성 분석 엔진을 통해 얻은 정보를 분류 및 가공하여 수치화하는 기능을 수행할 수 있다.
또한, 스마트 단말 또는 서비스 제공 장치(100)에서의 분석 결과 서비스는 다음과 같이 제공될 수 있다.
첫째, 분석 결과 지수를 활용한 서비스로 제공될 수 있다. 둘째, 각 결과에 맞는 다양한 감정 처리를 합성 영상과 콘텐츠로 처리하여 제공될 수 있다.
본 실시예에 의하면, 서비스 제공 장치(100)는 스마트 단말과 스마트 단말, 스마트 단말과 영상전화, 또는 스마트 단말과 비가입자 또는 타통신망의 가입자 간의 영상통화 중 음성 분석 서비스 및 음성 분석 결과 전송 서비스를 제공할 수 있다.
도 2a는 도 1의 서비스 제공 장치를 통한 스마트 단말과 착신 단말 간의 연결 방식을 설명하기 위한 도면이다. 도 2b는 도 2a의 연결 방식을 테이블로 나타낸 도면이다.
본 발명에 의한 서비스를 이용하기 위하여 우선적으로 고려해야 하는 몇 가지 사항을 설명하면, 첫째, 발신자는 본 발명의 서비스 제공 장치에서 제공하는 서비스에 가입하고, 스마트 단말 앱을 사용할 수 있어야 한다. 둘째, 가입자는 착신자를 선택하여 영상통화 연결을 하게 되고, 본 발명에서 제공하는 서비스를 이용할 수 있다. 셋째, 착신자의 접속 상태, 망 구분에 따라 영상통화 연결 시도를 각각 다른 방법으로 시도할 수 있다. 위의 세 가지 선행 조건이 만족하면, 가입자는 영상 통화 연결 후 본 발명에서 제공하는 서비스를 이용할 수 있다.
영상통화 연결 시도에 따른 세 가지 경우의 서비스 제공 세부 방안을 설명하면 다음과 같다. 각각의 서비스 제공 세부 방안에 따라 감정 분석을 수행하는 방식도 변경된다.
도 2a를 참조하면, 일 실시예에서 발신 단말로서의 스마트 단말(13)은 WiFi 또는 3G 패킷교환망을 통해 제1 착신 단말(15)로 영상통화 호 접속을 시도하고, 해당 네트워크에서 제공하는 영상통화로를 통해 제1 착신 단말(15)과 영상통화를 할 수 있다. 그 경우, 도 2b의 표(200)에 나타낸 바와 같이, 발신측 가입자는 로그인 상태인 착신측 가입자와 WiFi/패킷교환 망 내에서의 통화로를 통해 영상통화 또는 음성통화를 할 수 있다.
또 다른 일 실시예에서, 발신측 가입자는 로그오프 상태인 착신측 가입자를 WiFi 또는 패킷교환망을 통해 호출하고 착신측 가입자의 응답에 따라 해당 네트워크에서 스마트 단말(13)과 제2 착신 단말(17) 간에 제공하는 통화로를 통해 착신측 가입자와 영상통화 또는 음성통화를 할 수 있다. 여기에서, 서비스 제공 장치(100)는 발신 단말(13)로부터 영상 호 접속 요청을 받고, WiFi 또는 패킷교환망과 연동하여 착신 단말(17)의 앱을 호출한 후 해당 영상 호를 설정할 수 있다.
또 다른 일 실시예에서, 발신측 가입자는 비가입자 또는 타 통신망에 위치하는 착신측 가입자에게 영상통화 호 접속을 시도할 수 있다. 여기에서 서비스 제공 장치(100)는 WiFi 또는 3G 패킷교환망과 3G 회선교환망 사이에서 스마트 단말(13)과 제3 착신 단말(19) 간에 영상통화로를 개설하고 발신측 가입자와 착신측 가입자가 서로 영상통화를 할 수 있도록 한다.
도 3a 내지 도 3c는 도 1의 서비스 제공 장치에서 제공하는 스마트 단말과 착신 단말 간의 연결 방식을 도식적으로 나타낸 도면들이다.
먼저, 도 3a를 참조하면, 발신 단말(13)과 착신 단말(15)이 WiFi 또는 패킷교환망 내에서 서로 연결되는 경우, 스마트 단말인 발신 단말(13), 스마트 단말인 착신 단말(15), 또는 발신 단말(13)과 착신 단말(15) 모두는 영상통화 또는 음성통화 중에 상대편에 대한 감정 분석을 수행할 수 있다. 그 경우, 감정 분석은 본 실시예의 서비스 제공 장치(100)로부터 제공받은 별도의 음성 분석 엔진 또는 영상통화 앱의 음성 분석 엔진에 의해 수행된다.
또한, 본 실시예에 따른 서비스 제공 장치(100)는 발신 단말(13)과 착신 단말(15)에서 음성 분석을 하지 않는 경우, 발신 단말(13), 착신 단말(15), 또는 이들 모두에 대하여 음성 분석 및 분석 결과와 관련된 서비스를 제공할 수 있다.
또한, 서비스 제공 장치(100)는 발신 단말(13)의 영상통호 호 접속 요청에 따라 로그오프된 착신 단말(15) 또는 착신 단말(15)의 영상통화 앱을 호출할 수 있다.
다음, 도 3b를 참조하면, 발신 단말(13)과 착신 단말(11)이 WiFi 또는 3G 패킷교환망, 서비스 제공 장치(100) 및 3G 회선교환망을 경유하는 통화로에 의해 서로 연결되는 경우, 서비스 제공 장치(100)는 발신 단말(13)과 착신 단말(11) 간에 영상통화로를 개설하고, 영상통화로를 통해 전송되는 실시간 음성 신호를 분석하여 분석 데이터를 생성하고, 분석 결과와 관련된 서비스를 제공할 수 있다.
다음, 도 3c를 참조하면, 발신 단말(13)과 착신 단말(19)이 2G 타통신망을 경유하는 음성통화로에 의해 서로 연결되는 경우, 서비스 제공 장치(100)는 발신 단말(13)과 착신 단말(19a) 사이에서 음성통화로를 개설하고, 음성통화로를 통해 전송되는 음성 신호를 실시간 분석하여 분석 데이터를 생성하고, 분석 결과와 관련된 서비스를 제공할 수 있다.
전술한 실시예에서, 서비스 제공 장치(100)는 도 3b에 도시한 연결 방식과 도 3c에 도시한 연결 방식에 따라 각각 음성 분석 및 분석 결과에 관련한 서비스를 제공하기 위하여 2개 이상의 음성 분석 서버 또는 음성 분석 엔진을 구비할 수 있다.
다음은 도 1의 서비스 제공 장치에 채용가능한 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법(이하, 서비스 제공 방법이라 한다)을 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 서비스 제공 방법의 개략적인 흐름도이다.
본 실시예에 따른 서비스 제공 방법에 있어서 사용자 단말에 탑재된 영상 통화 앱의 동작을 설명하면 다음과 같다. 본 실시예는 발신 단말과 착신 단말이 WiFi 망 내에서 피어투피어(Peer to peer) 연결된 경우에 대응된다.
도 4를 참조하면, 우선 발신측 가입자 즉 발신자는 스마트 단말에서 소정의 영상통화 앱 예컨대 본 발명의 앱을 실행시키고, 앱의 화면에서 해당 서비스를 위한 로그인을 수행하고(S410), 해당 서비스 메뉴를 선택한다(S420).
다음, 발신자는 착신자의 URI(Uniform Resource Identifier) 정보를 검색하고(S430), 착신자로 영상 통화를 시도한다(S440). 영상 통화는 발신자의 스마트 단말에서 영상통화 호 접속 요청을 위한 메시지(MSG)를 생성한 후 IBCF(Interconnection Border Control Function)/CSCF(Call Session Control Function)로 전송함으로써 트리거될 수 있다. 여기에서, IBCF 또는 CSCF는 IMS 네트워크를 구성하는 서버들 중 하나로서 URI에 대응하는 착신 단말을 찾아 해당 착신 단말과 발신 단말 간의 영상통화 호 연결을 처리한다.
발신자와 착신자 간에 SIP 절차에 따라 영상 통화 호가 설정되면(S450), 발신자 또는 착신자는 영상 통화 중 자신의 스마트 단말에 탑재된 음성 검색 엔진을 통해 상대방의 음성 데이터 예컨대 감정 정보를 수집하여 가공 및 분석하고, 분석 결과를 영상통화 중에 자신의 단말에 디스플레이한다(S460).
그리고, 통화가 종료되면(S470), 스마트 단말에서는 음성 분석에 대한 최종 분석 결과를 디스플레이할 수 있다(S480).
도 5는 도 4의 서비스 제공 방법에 따른 영상 통화 호 연결 절차의 일 실시예를 나타낸 흐름도이다.
본 실시예에 따른 서비스 제공 장치는 WiFi/3G 패킷교환(PS) 망에서 WiFi/3G PS 망 간에 연결되는 영상통화 호 처리 절차를 지원하는 IMS 네트워크 또는 IBCF/CSCF에 연결된다. 본 실시예에서, 스마트플랫폼(100a)은 IMS 네트워크와 IMS 네트워크에 결합된 서비스 제공 장치를 포함한다.
도 5를 참조하면, 제1 단말(13)은 우선 스마트플랫폼(100a)을 통해 서비스 제공 장치로부터 착신자 전화번호 목록을 수신한다(S510). 인터넷 또는 패킷교환망에 위치하는 발신측 제1 단말(13)은 착신측 제2 단말에 대한 착신 아이디를 검색한 후, 착신 아이디의 로그인 또는 로그오프 상태를 체크한다(S520). 착신자가 로그온 상태이면, 다음의 절차로 진행하고, 착신자가 로그온 상태가 아니면, A 프로세스 예컨대 로그오프 착신자의 앱 호출 절차에 대한 별도의 프로세스를 진행할 수 있다.
상기 단계(S520)의 확인 결과 착신자가 로그온 상태이면, 착신 아이디를 기준으로 착신자가 WiFi를 포함한 인터넷이나 패킷교환망 또는 회선교환망에 위치하는지를 확인한다(S522). 상기 단계(S522)의 확인 결과, 착신자가 인터넷 또는 패킷교환 망에 위치하면, 인터넷/패킷교환망과 인터넷/패킷교환망 간의 영상통화 연결을 진행된다.
영상통화 연결을 위하여 제1 단말(13)은 IBCF/CSCF를 포함한 스마트플랫폼(100a)로 INVITE 메시지로 호를 요청한다(S530). IBCF/CSCF는 HSS로 해당 착신자의 위치(Location)를 질의하고, 그에 대한 응답을 받는다. 그리고, IBCF/CSCF는 제2 단말(15)로 INVITE 메시지를 전달한다(S532).
제2 단말(15)은 단말 자체에서 링(Ring)을 플레이(Play)하며, IBCF/CSCF로 180 링잉(ringing) 메시지 즉 180 응답 메시지를 전달한다(S534). 그리고, IBCF/CSCF는 제1 단말(13)로 180 응답 메시지를 전달한다(S536). 발신측 제1 단말(105)은 180 메시지를 받고 링백톤(Ring Back Tone)을 플레이할 수 있다(S540).
착신자가 통화 버튼을 누르면, 제2 단말(15)은 응답(Answer)으로 200 OK 메시지를 IBCF/CSCF로 전달한다(S550). IBCF/CSCF는 해당 응답 메시지를 제1 단말(13)로 전달한다(S552). 제1 단말(13)은 200 OK 메시지를 수신하였음을 알리는 ACK 메시지를 IBCF/CSCF로 전달한다(S554). IBCF/CSCF는 ACK 메시지를 제2 단말(15)로 전달한다(S556). 전술한 과정이 완료되면, 발신측 제1 단말(13)과 착신측 제2 단말(15) 간에 영상통화로가 개설되며(S560), 양단 간에 음성 및 영상 신호가 전송 가능하게 된다.
영상통화 중에 제1 단말(13)은 서비스 제공 장치 측에서 제공한 영상통화 앱의 음성 분석 엔진을 통해 제2 단말(15)로부터 수신한 음성 신호를 분석하여 상대방을 감정 분석을 수행할 수 있다. 예를 들면, 제1 단말(13)은 영상통화 앱을 통해 제2 단말(15) 측으로부터 입력되는 음성 신호를 실시간 추출하고(S570), 추출한 음성 데이터를 분석하고(S572), 음성 분석 결과를 생성하고(S574), 생성한 음성 분석 결과를 제1 단말(13)의 화면에 출력할 수 있다(S576). 이와 유사하게 영상 통화 중 제2 단말(15)에서도 제1 단말(13) 측으로부터 입력되는 음성 신호에 대하여 음성 분석을 수행하고 제1 단말 사용자에 대한 감정 분석을 수행할 수 있다.
본 실시예에 의하면, 제1 단말(13) 및 제2 단말(15) 중 적어도 어느 하나의 사용자 단말에서 통화 중에 사용자가 상대방의 음성 신호에 기초하여 상대방의 감정을 분석하고 이를 단말 화면에 표시할 수 있다(S580).
도 6은 본 발명의 또 다른 실시예에 따른 서비스 제공 방법의 개략적인 흐름도이다.
도 6을 참조하여 본 실시예에 따른 서비스 제공 장치의 동작을 설명하면 다음과 같다. 본 실시예는 발신자가 WiFi 망 또는 패킷교환망에 위치하고, 착신자가 3G 이동통신망 또는 회선교환망에 위치하며 네트워크에 연결된 서비스 제공 장치를 통해 서로 영상통화를 하는 경우에 대응된다.
발신자는 우선 자신의 스마트 단말에서 본 발명의 서비스를 위한 영상통화 앱을 실행시키고, 앱의 화면에서 해당 서비스를 위한 로그인을 수행하고(S610), 해당 서비스 메뉴를 선택한다(S620).
발신자는 착신자의 전화번호를 검색하고(S630), 원하는 착신자의 전화번호로 영상통화 연결을 시도한다(S640). 영상통화는 발신자의 스마트 단말에서 영상통화 호 접속 요청을 위한 메시지(MSG)를 생성한 후 IBCF/CSCF를 통해 신호 처리 서버로 영상통화 호 접속 요청 메시지를 전송함으로써 트리거될 수 있다.
발신자와 착신자 간에 영상 통화가 연결되면(S650), 제2 확장 서버군(도 1의 150 참조)은 영상 통화 중 실시간으로 음성 데이터를 추출하고, 추출한 음성 데이터를 분석하고 분석 결과를 생성한 후 영상통화 중인 발신측 스마트 단말의 화면에 디스플레이되도록 한다(S660).
통화가 종료되면(S670), 본 서비스 제공 장치의 기본 서버군(도 1의 110 참조)은 최종 결과를 SMSC, LMSC, 또는 MMSC를 통해 발신자의 스마트 단말로 음성 분석에 대한 최종 결과를 전송할 수 있다(S680).
도 7a 및 도 7b는 도 6의 서비스 제공 방법의 영상 통화 호 연결 절차를 나타낸 흐름도이다.
본 실시예의 서비스 제공 장치에 의한 서비스 시나리오의 전체적인 호 흐름과 음성 분석 및 처리를 위한 절차는 과정은 다음과 같다. 본 실시예에서 서비스 제공 장치는 WiFi 또는 3G 패킷교환망에서 3G 회선교환망 간에 연결되는 영상통화 호 처리를 수행한다.
도 7a를 참조하면, 인터넷 또는 패킷교환망에 위치하는 발신측 제1 단말(13)은 우선 착신측 제2 단말에 대한 착신 아이디를 검색한 후, 착신 아이디의 로그인 또는 로그오프 상태를 체크한다(S710). 착신자가 로그온 상태가 아니면, A 프로세스 예컨대 로그오프 착신자의 앱 호출 절차에 대한 별도의 프로세스를 진행할 수 있다.
상기 단계(S710)의 확인 결과, 착신자가 로그온 상태이면, 착신 아이디를 기준으로 착신측 제2 단말(11)이 WIFI 또는 패킷교환망에 위치하는지를 확인한다(S712). 확인 결과, 제2 단말(11)이 회선교환망에 위치하면, 인터넷 또는 패킷교환망과 회선교환망 간의 영상통화 연결로 이후의 과정을 진행된다.
우선, 제1 단말(13)은 IBCF/CSCF(50)로 INVITE 메시지로 호를 요청한다(S720). IBCF/CSCF(50)는 SS(132)로의 호 라우팅을 한다(S722). SS(132)는 VSCS(Voice Switching and Control System; 110)로 신규 호를 요청한다(S724). 여기서, VSCS(110)는 본 실시예의 서비스 제공 장치의 기본 서버군에 대응된다. VSCS(110)는 교환기(22, 이하 WMSC라고 한다)로 호 요청에 대한 IAM(Initial Address Message)를 전달한다(S726). WMSC(22)는 착신측 제2 단말(11)로 호 셋업(Setup)을 요청한다(S728).
착신측 제2 단말(11)은 링을 플레이하며 WMSC(22)로 알림(ALERT) 메시지를 전달한다(S730). WMSC(22)는 VSCS(110)로 ACM(Address Complete Message)를 전달하고(S732), VSCS(110)로 CPG(Call ProGress) 메시지를 전달한다(S734). CPG 메시지는 전화 라인의 상태 예컨대 비지(busy), 링잉(ringing), 낫링잉(not ringing) 등에 대한 정보를 포함한다. VSCS(110)는 SS(132)로 제2 단말(11)이 현재 링잉 상태임을 ALERT 메시지로 전달한다(S736). SS(132)는 IBCF/CSCF(50)로 어얼리 미디어(Early Media)를 위한 183 메시지 예컨대 183 Session Progress 메시지를 전달한다(S738). IBCF/CSCF(50)는 제1 단말(11)로 183 메시지를 전달한다(S740).
여기에서, VSCS(110)는 위의 단계(S736)에서 ACM을 받고 제2 단말(11)이 컬러링 서비스를 사용하고 있으면 해당 컬러링 IP(Internet Protocol) 서버(이하, 컬러링 서버라고 한다, 미도시)와 H.245 협상(Nego.)을 진행하여 WMSC(22)를 통해 컬러링 서버와 영상통화로를 개설한다(S742).
다음으로, 제1 단말(13)은 183 Session Progress 메시지에 따라 어얼리 미디어(Early Media)를 처리하기 위하여 PRACK(Provisional Response ACKnowledgement) 메시지를 IBCF/CSCF(50)로 전달한다(S744). IBCF/CSCF(50)는 전달받은 PRACK 메시지를 SS(132)로 전달한다(S746). SS(132)는 VSCS(110)로 어얼리 미디어 처리를 위한 PRACK 메시지를 전달한다(S748). 여기에서, VSCS(110)는 어얼리 미디어 메시지에 따라 내부적으로 제1 단말(13)과 제2 단말(11) 간의 스위치(Switch)를 처리한다. 그리고, VSCS(110)는 SS(132)로 어얼리 미디어를 위한 1차 영상통화로 개설이 완료되었음을 OK 메시지로 전달한다(S750). SS(132)는 IBCF/CSCF(50)로 1차 영상통화로 개설 완료를 알리는 200 OK 메시지를 전달한다(S752). IBCF/CSCF(50)는 제1 단말(13)로 200 OK 메시지를 전달한다(S754). 전술한 과정이 완료되면, 컬러링 서버와 제1 단말(13) 간에 1차 영상통화로가 개설되며(S756), 컬러링 서버로부터의 통화연결음에 대응하는 영상 및/또는 음성이 제1 단말(13)로 전달될 수 있다.
착신자가 통화 버튼을 누르면, 착신측 제2 단말(11)은 WMSC(22)로 Answer 메시지를 전달한다(S760). WMSC(22)는 VSCS(110)로 ANM(Answer Message) ISUP 메시지를 전달한다(S762). VSCS(110)는 SS(132)로 Answer 메시지를 전달한다(S764). SS(132)는 ANM 메시지를 SIP 200 OK 메시지로 변경하여 IBCF/CSCF(50)로 전달한다(S766). IBCF/CSCF(50)는 200 OK 메시지를 제1 단말(13)로 전달한다(S768). 여기에서, VSCS(110)는 상기 단계(S762)에서 ANM 메시지를 받은 후 제2 단말(11)과 2차 H.245 협상을 진행하여 제2 단말(11)과 VSCS(110) 간에 영상 통화로를 개설한다(S770).
제1 단말(13)은 200 OK 메시지를 받았다는 ACK 메시지를 IBCF/CSCF(50)로 전달한다(S772). IBCF/CSCF(50)는 해당 ACK 메시지를 SS(132)로 전달한다(S774). SS(132)는 해당 ACK 메시지를 VSCS(110)로 전달한다(S776). 전술한 과정이 완료되면, 제1 단말(13)과 제2 단말(11) 간에 2차 영상통화로가 개설된다(S778).
도 7b를 참조하면, 2차 영상통화로가 개설(S778)된 후 서버측 장치 즉 VSCS(110)에서는 다음과 같은 음성 분석 과정이 진행될 수 있다. 본 실시예는 WiFi 또는 패킷교환망과 회선교환망 간에 제2 영상통화로가 연결된 상태에서 서비스 제공 장치에서 제공하는 음성 분석 및 처리 절차에 대응된다.
2차 영상통화로가 개설(S778)된 후 VSCS(110)는 우선 서비스 제공 장치 내의 SEC-IP 서버(도 1의 152 참조) 또는 EAES(도 1의 154 참조)로부터 음성 분석 및 분석 결과에 대한 분석 데이터를 받을 수 있다. 여기에서, SEC-IP 서버(152) 또는 EAES(154)에 탑재된 음성 분석 엔진은 음성 스트리밍 데이터 수신 프로세스에 따라 실시간으로 음성 스트리밍 데이터를 수집 또는 추출(S780)하고, 음성 분석 프로세스에 따라 음성 분석 엔진을 활용하여 음성분석정보가 저장된 데이터베이스로부터 대응 음성 분석 정보를 획득하여 해당 음성 정보를 분석(S782)한 후, 분석 데이터로부터 음성 분석 결과를 생성(S784)하고, 음성 분석 결과를 음성 분석 데이터 전송 프로세스에 따라 수치화된 정보로 변환 및/또는 출력(S786)할 수 있다.
전술한 절차에 의하면, VSCS(110)는 SEC-IP 서버(152) 또는 EAES(154)로부터 받은 분석 데이터에 대응하는 멀티미디어 데이터 예컨대 그래프 이미지를 MTS(도 1의 114 참조)를 통해 영상통화 신호에 오버레이(Overlay) 또는 합성하여 발신자의 단말에 디스플레이되도록 제1 단말(13)로 전송할 수 있다(S790). 또한, VSCS(110)는 통화 종료 후 SEC-IP 서버(152) 또는 EAES(154)로부터 전체 음성 분석 결과를 받고, 받은 전체 음성 분석 결과나 그에 대응하는 멀티미디어 데이터를 멀티미디어 메시지 서비스 센터를 통해 제1 단말(13)로 전송할 수 있다(S792).
도 8은 본 발명의 서비스 제공 방법에 채용가능한 음성 분석 엔진의 개략적인 구성도이다.
도 8을 참조하면, 발신측 또는 착신측 사용자 단말이나 서비스 제공 장치에 채용가능한 음성 분석 엔진(800)은 입력부(810), 음성 분석부(820), 및 출력부(830)를 구비한다. 입력부(810)는 발신측 제1 단말과 착신측 제2 단말의 통화 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 대응하는 상대방 단말로부터 음성 스트리밍 데이터를 획득 또는 추출한다. 음성 분석부(820)는 입력부(810)로부터의 음성 스트리밍 데이터를 음성 스트리밍 데이터 수신 프로세스에 따라 수신하고, 수신한 음성 스트리밍 데이터를 사용자 단말의 데이터베이스(825)에 기저장된 음성분석 정보테이블에 기초하여 분석하고, 분석한 음성 스트리밍 데이터를 음성분석 데이터 전송 프로세스에 따라 출력한다. 출력부(830)는 음성 분석부(820)로부터의 음성 스트리밍 데이터의 분석 결과를 사용자 단말에 전달한다.
본 실시예의 음성 분석 엔진의 음성 분석 및 처리 과정을 좀더 상세히 설명하면 다음과 같다. 예를 들어, WiFi 망 내의 피어투피어 접속 즉 WiFi/3G PS 망과 WiFi/3G PS 망 간에 영상통화로가 연결된 상태에서 스마트 단말에서의 음성 분석 및 처리 절차는 다음과 같다.
우선, 발신자의 스마트 단말에 탑재된 소정의 영상통화 앱(예컨대, 스마트쇼콜 앱)은 입력부(810)를 통해 착신자의 음성 신호를 분리하여 음성 분석부(820)로 전달한다. 음성 분석부(820)는 소정의 음성 스트리밍 데이터 수신 프로세스에 따라 입력부(810)로부터 실시간으로 음성 신호를 받는다.
음성 분석부(820)는 음성 분석 프로세스에 따라 해당 음성 스트리밍 데이터를 분석하고 그 결과를 앱의 분석 데이터 출력부(830)에 전달한다. 즉, 본 단계는 음성분석 프로세스를 통해 음성 분석 엔진에 구비된 데이터베이스(825)의 음성분석정보 테이블에 기초하여 음성 스트리밍 데이터의 분석 결과를 획득하고, 획득한 분석 결과를 음성분석 데이터 전송 프로세스에 따라 출력부(830)로 전달하도록 구현될 수 있다. 발신측 사용자 단말의 앱은 분석 결과를 그래프와 이미지를 사용하여 영상통화 중에 발신자의 스마트 단말의 디스플레이부에 표시한다. 그리고, 앱은 영상통화 종료 후 음성 분석 결과를 보고서 형태로 화면에 디스플레이할 수 있다.
본 실시예에 따른 스마트 단말의 앱의 일부 기능(810, 830에 대응)과 음성 분석부(820)는 음성 분석 측면에서 실질적으로 위에서 설명한 서비스 제공 장치의 음성 분석 엔진에도 동일하게 적용될 수 있다.
도 9, 도 10, 도 11, 도 12, 도 13 및 14는 본 발명의 서비스 제공 방법에 채용가능한 사용자 단말에서의 감정 분석 결과 화면의 일례를 설명하기 위한 도면들이다.
먼저, 도 9 및 도 10에 나타낸 바와 같이, 발신자 또는 착신자에 의해 발신측 스마트 단말(910)에서 영상통화가 종료되면, 발신측 스마트 단말 앱이나 서비스 제공 장치는 해당 스마트 단말에 음성 분석 결과가 자동으로 노출되도록 작동한다(912). 스마트 단말에서의 음성 분석 결과의 자동 노출은 착신측 스마트 단말에서도 물론 가능하다.
음성 분석 결과는 다양한 형태의 서비스로 응용될 수 있는데, 예컨대 상대방의 사랑 지수를 표시하는데 이용될 수 있다. 사랑 지수는 최종 러브 지수, 당황 지수, 집중 지수 등의 항목으로 구분되어 표시될 수 있다. 여기에서, 최종 러브 지수는 백분율로 표시되고, 당황 지수, 집중 지수 등은 매우 높음, 높음, 보통, 낮음, 및 매우 낮음 등과 같이 직관적으로 구분가능한 레벨로 표시될 수 있다.
다음으로, 도 10에 나타낸 바와 같이, 영상통화 도중 또는 발신자 또는 착신자에 의해 영상통화가 종료된 직후, 발신측 또는 착신측 스마트 단말(920)은 발신측 스마트 단말 앱이나 서비스 제공 장치에서는 음성 분석 결과를 이용하여 상대방 음성에 기초한 진실도 분석 결과를 출력할 수 있다(922).
진실도 분석 결과는 통화 종료 도중이나 종료 후에 해당 스마트 단말에 자동 노출될 수 있다. 진실도 분석 결과는 최종 진실도, 진실도 탐지 횟수, 스트레스 탐지 횟수 등의 항목으로 구분되어 표시될 수 있다. 그 경우, 최종 진실도는 백분율로 표시될 수 있고, 진실도 탐지 횟수는 부정확, 진실, 대화회피 등의 서브항목을 구비할 수 있다. 또한, 스트레스 탐지 횟수는 전체 판단 횟수 중 흥분한 횟수가 몇 회인가로 표시될 수 있다.
다음으로, 도 11에 나타낸 바와 같이, 도 9 또는 도 10의 음성 분석 결과를 이용하여 상대방의 음성 분석 결과를 백분율로 나타낸 다양한 영상 화면이 제공될 수 있다(930). 예를 들면, 분석 결과에서 진실도가 30%이면, 상대방에 대한 영상 화면은 30%의 레벨 그래프 표시와 함께 상대방의 얼굴이 불량한 상태를 가지는 가상 얼굴 영상으로 대체될 수 있다(932). 분석 결과에서 진실도가 20%이면, 상대방에 대한 영상 화면에는 20%의 레벨 그래프 표시와 함께 코 길이가 길어진 피노키오 영상이 표시될 수 있다(934). 또한, 분석 결과에서 진실도가 10%이면, 상대방에 대한 영상 화면에는 10%의 레벨 그래프 표시와 함께 상대방에 대응하는 가상 얼굴에 소위 뿅망치로 불리는 장난감 망치를 내려치는 영상이 표시될 수 있다(936). 그리고, 도 11의 상대방에 대한 영상 화면에서 상대방의 얼굴 영상은 다양한 대체 영상이 가능한데, 대체 가능한 영상(940)은 도 12에 도시한 바와 같다.
또한, 도 13에 나타낸 바와 같이, 스마트 단말 앱 또는 서비스 제공 장치는 전술한 음성 분석 결과를 이용하여 발신측 또는 착신측 스마트 단말에 사랑 지수를 표시할 때 음성 분석 결과에 따라 다양한 대체 화면을 제공할 수 있다(950).
예를 들면, 분석 결과에서 사랑 측정 지수가 70%이면, 상대방 화면에 사랑 측정 지수 70%에 대한 레벨 그래프를 표시하면서 'Love'라는 문구와 함께 불꽃놀이 등과 같이 해당 문구와 관련된 멀티미디어 영상 콘텐츠(952)를 제공할 수 있고, 분석 결과에서 사랑 측정 지수가 80%이면, 상대방 화면에 사랑 측정 지수 80%에 대한 레벨 그래프를 표시하면서 다수의 키스 이미지 등과 같이 약 80%에 해당하는 멀티미디어 이미지가 포함된 영상 콘텐츠(954)를 제공할 수 있으며, 분석 결과에서 사랑 측정 지수가 90%이면, 상대방 화면에 사랑 측정 지수 90%에 대한 레벨 그래프를 표시하면서 남녀가 분위기 있게 키스하는 실루엣이 포함된 영상 콘텐츠(956)를 제공할 수 있다. 대체 화면에 있어서, 스마트 단말의 화면에는 자신의 통화 영상을 꾸밀 수 있도록 이모티콘 선택용 아이콘(958)이 제공될 수 있다. 이모티콘(958)은 예컨대 도 14에 도시한 바와 같은 이모티콘이 이용될 수 있다.
전술한 실시예에 의하면, 본 발명은 다음과 같은 특징을 가진다. 첫째, 본 발명은 스마트 단말 앱을 활용하여, 영상통화를 기존의 3G 이동통신 망뿐만 아니라 WiFi 망에서 가능하게 한다. 둘째, 영상통화 중에 다양한 시각적 효과를 표현함으로써 더욱 흥미로운 영상통화 서비스를 제공할 수 있다. 셋째, 스마트 단말 앱을 활용하여 실시간 음성 분석을 통하여 감정 상태를 수치적으로 표현할 수 있는 서비스를 제공할 수 있다. 넷째, 감정 상태의 수치적 표현을 활용한 다양한 서비스로의 응용이 가능하다.
이상에서 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 전술한 실시예에 한정되는 것이 아니며 다양한 형태의 수정 또는 변형 실시가 가능함은 물론이다.
Claims (18)
- 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치를 통해 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 상대방의 감정 분석을 제공하는 방법으로,
음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하는 제1 단계;
상기 커뮤니케이션 서비스 수행 도중 사용자 단말에서 상대방 단말로부터의 음성 신호를 수신하는 제2 단계;
상기 사용자 단말에 탑재된 음성 분석 엔진을 통해 상기 음성 신호를 분석하는 제3 단계; 및
상기 음성 신호의 분석 결과를 출력하는 제4 단계-여기에서, 상기 분석 결과는 상기 제1 단말과 상기 제2 단말 간의 커뮤니케이션 서비스 수행 도중 상기 사용자 단말의 화면에 표시됨-
를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제1항에 있어서,
상기 제1 단계는,
상기 서비스 제공 장치로부터 통화 가능한 착신측 상대방 단말에 대한 전화번호 목록을 받는 단계-여기에서, 상기 전화번호 목록은 상기 착신측 상대방 단말이 가입자 또는 비가입자에 대한 가입 정보와, 인터넷, 패킷교환망 및 회선교환망 중 어디에 위치하는가에 대한 위치 정보 중 적어도 어느 하나를 포함한 상태 정보를 구비함; 및
상기 착신측 상대방 단말의 상태 정보에 따라 통화 경로를 선택하는 단계
를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제2항에 있어서,
상기 제1 단계는, 상기 통화 경로의 선택에 따라, 상기 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 로그인 상태인 상기 상대방 단말이 위치하는 인터넷 또는 패킷교환망으로 호 설정 요청 신호를 전송하는 단계를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제2항에 있어서,
상기 제1 단계는, 상기 통화 경로의 선택에 따라, 상기 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 로그아웃 상태인 상기 상대방 단말이 위치하는 인터넷 또는 패킷교환망으로 호 설정 요청 신호를 전송하는 단계를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제2항에 있어서,
상기 제1 단계는, 상기 통화 경로의 선택에 따라, 상기 사용자 단말이 위치하는 와이파이(WiFi)를 포함한 인터넷이나 패킷교환망에서 상기 상대방 단말이 위치하는 회선교환망으로 호 설정 요청 신호를 전송하는 단계
를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제1항에 있어서,
상기 사용자 단말은 감정 분석 엔진이 탑재되고 상기 커뮤니케이션 서비스를 위한 사용자 인터페이스를 제공하며 상기 서비스 제공 장치과 연동하는 어플리케이션을 구비하고,
상기 감정 분석 엔진은,
상기 제1 단말과 제2 단말의 통화 도중 상기 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부;
상기 입력부로부터의 상기 음성 스트리밍 데이터를 상기 사용자 단말의 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및
상기 음성 분석부로부터의 분석 결과를 상기 사용자 단말에 전달하는 출력부를 구비하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제6항에 있어서,
상기 어플리케이션에서 사용자 단말의 화면에 제공하는 콘텐츠 전송 메뉴의 선택에 응하여 상기 콘텐츠 전송 메뉴에 상응하는 멀티미디어 콘텐츠를 상기 상대방 단말로 전송하는 단계
를 더 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제7항에 있어서,
상기 멀티미디어 콘텐츠는 텍스트, 텍스트 형태의 이미지, 정지영상 또는 동영상 형태의 아이콘, 음향 효과, 또는 이들의 조합을 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치에서 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 상대방 단말 사용자의 감정을 분석하여 제공하는 방법에 있어서,
음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하는 제1 단계;
상기 제1 단계에서 사용자 단말로부터 받은 상기 상대방 단말과의 호 설정 요청 신호에 응하여 상기 사용자 단말에 대한 감정 분석 서비스 설정을 확인하는 제2 단계;
상기 감정 분석 서비스 설정에 따라 상기 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성 신호를 수신하는 제3 단계;
상기 음성 분석 엔진을 통해 상기 음성 신호를 분석하는 제4 단계; 및
상기 음성 신호의 분석 결과를 상기 사용자 단말로 전송하는 제5 단계-여기에서, 상기 분석 결과는 상기 제1 단말과 상기 제2 단말 간의 커뮤니케이션 서비스 수행 도중 상기 사용자 단말의 화면에 실시간으로 표시됨-
를 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제9항에 있어서,
상기 제1 단계는, 상기 호 설정 요청 신호에 응하여 상기 상대방 단말이 위치하는 네트워크가 회선교환망, 패킷교환망, 또는 인터넷인지를 판단하는 단계
를 더 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제10항에 있어서,
상기 상대방 단말이 위치하는 네트워크의 판단 결과에 따라 회선교환망, 패킷교환망, 및 인터넷 중 어느 하나에 결합된 감정 분석 서버를 선택하여 상기 제1 및 제2 단말들 간의 커뮤니케이션 서비스 세션에 연결하는 단계
를 더 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제11항에 있어서,
상기 감정 분석 서버는,
패킷교환망 또는 인터넷에 위치하는 사용자 단말과 영상 통화를 지원하는 회선교환망에 위치하는 상대방 단말 사이에서 감정 분석 서비스를 제공하는 제1 감정 분석 서버에 탑재된 제1 감정 분석 엔진; 및
패킷교환망 또는 인터넷에 위치하는 사용자 단말과 음성 통화를 지원하는 회선교환망에 위치하는 상대방 단말 사이에서 감정 분석 서비스를 제공하는 제2 감정 분석 서버에 탑재된 제2 감정 분석 엔진
을 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제12항에 있어서,
상기 제1 또는 제2 감정 분석 엔진은,
상기 제1 단말과 상기 제2 단말 간의 통화 도중 상기 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부;
상기 입력부로부터의 상기 음성 스트리밍 데이터를 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및
상기 음성 분석부로부터의 분석 결과를 출력하는 출력부
를 구비하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제9항에 있어서,
상기 커뮤니케이션 서비스 수행 도중 상기 사용자 단말로부터 콘텐츠 전송 요청 신호를 받고, 상기 콘텐츠 전송 요청 신호에 상응하는 멀티미디어 콘텐츠를 상기 상대방 단말로 전송하는 단계
를 더 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제14항에 있어서,
상기 멀티미디어 콘텐츠는 텍스트, 텍스트 형태를 가진 이미지, 정지영상 또는 동영상 형태의 아이콘, 음향 효과, 또는 이들의 조합을 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제9항에 있어서,
상기 커뮤니케이션 서비스 종료 이후, 멀티미디어 메시지 서비스 센터를 통해 상기 분석 결과를 상기 사용자 단말로 전송하는 단계
를 더 포함하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 방법.
- 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치를 통해 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 상대방의 감정 분석을 제공하는 통화 중 감정 분석 제공 장치로서,
음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스 수행을 위한 통화로를 설정하는 신호 처리부; 및
상기 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성 신호를 수신하고, 수신한 음성 신호를 분석하고, 음성 신호의 분석 결과를 출력하는 감정 분석 엔진
을 포함하고,
상기 감정 분석 엔진은, 상기 제1 단말과 제2 단말의 통화 도중 상기 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부; 상기 입력부로부터의 상기 음성 스트리밍 데이터를 사용자 단말의 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및 상기 음성 분석부로부터의 분석 결과를 출력하는 출력부를 구비하고, 사용자 단말에서 구동하는 어플리케이션에 탑재되며,
상기 어플리케이션은 상기 커뮤니케이션 서비스를 위한 사용자 인터페이스를 사용자 단말에 제공하며, 상기 제1 단말과 상기 제2 단말 간의 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 상기 분석 결과를 표시하는 것을 특징으로 하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치.
- 제1 단말과 제2 단말 사이에서 커뮤니케이션 서비스를 제공하는 서비스 제공 장치에서 제1 단말 및 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 상대방 단말 사용자의 감정을 분석하여 제공하는 장치로서,
음성 통화, 영상 통화 또는 mVoIP(Mobile Voice over Internet Protocol) 통화를 포함한 커뮤니케이션 서비스를 위한 통화로를 설정하고, 사용자 단말로부터 받은 상대방 단말에 대한 호 설정 요청 신호에 응하여 사용자 단말에 대한 감정 분석 서비스 설정을 확인하는 신호 처리 서버; 및
상기 신호 처리 서버의 제어 신호 또는 상기 감정 분석 서비스 설정에 따라 상기 커뮤니케이션 서비스 수행 도중 상대방 단말로부터의 음성을 수신하고, 수신한 음성을 분석하고, 음성 분석 결과를 사용자 단말로 전달하는 감정 분석 서버
를 포함하고,
상기 감정 분석 서버에 탑재되는 감정 분석 엔진은, 상기 제1 단말과 상기 제2 단말 간의 통화 도중 상기 상대방 단말로부터 음성 스트리밍 데이터를 획득하는 입력부; 입력부로부터의 음성 스트리밍 데이터를 데이터베이스에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부; 및 음성 분석부로부터의 음성 분석 결과를 사용자 단말로 출력하는 출력부를 구비하고,
상기 음성 분석 결과는 커뮤니케이션 서비스 수행 도중 사용자 단말의 화면에 표시되는 것을 특징으로 하는 스마트 단말에서의 영상 통화 중 감정 분석 제공 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100096324 | 2010-10-04 | ||
| KR20100096324 | 2010-10-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120035100A true KR20120035100A (ko) | 2012-04-13 |
Family
ID=46137147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110085358A KR20120035100A (ko) | 2010-10-04 | 2011-08-25 | 스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120035100A (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014004048A1 (en) * | 2012-06-27 | 2014-01-03 | Intel Corporation | Devices, systems, and methods for enriching communications |
| KR101404409B1 (ko) * | 2012-07-31 | 2014-06-09 | 에스케이플래닛 주식회사 | 통신 상대방 간에 심리상태를 확인하기 위한 통신 서비스 방법, 이를 위한 단말 장치 및 이를 위한 서비스 장치 |
| WO2015088213A1 (ko) * | 2013-12-12 | 2015-06-18 | 삼성전자 주식회사 | 이미지 정보 표시 방법 및 장치 |
| KR20160104463A (ko) * | 2015-02-26 | 2016-09-05 | 김윤희 | 고객의 감정 정보를 사업자에게 제공하는 전화번호 안내 장치, 전화번호 안내 시스템 그리고 전화번호 안내 방법 |
| US9471837B2 (en) | 2014-08-19 | 2016-10-18 | International Business Machines Corporation | Real-time analytics to identify visual objects of interest |
| US9600743B2 (en) | 2014-06-27 | 2017-03-21 | International Business Machines Corporation | Directing field of vision based on personal interests |
| WO2019050237A1 (ko) * | 2017-09-07 | 2019-03-14 | 삼성전자 주식회사 | 정보 제공 방법 및 이를 지원하는 전자 장치 |
| US11544469B2 (en) | 2018-02-22 | 2023-01-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
-
2011
- 2011-08-25 KR KR1020110085358A patent/KR20120035100A/ko not_active Application Discontinuation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014004048A1 (en) * | 2012-06-27 | 2014-01-03 | Intel Corporation | Devices, systems, and methods for enriching communications |
| US10373508B2 (en) | 2012-06-27 | 2019-08-06 | Intel Corporation | Devices, systems, and methods for enriching communications |
| KR101404409B1 (ko) * | 2012-07-31 | 2014-06-09 | 에스케이플래닛 주식회사 | 통신 상대방 간에 심리상태를 확인하기 위한 통신 서비스 방법, 이를 위한 단말 장치 및 이를 위한 서비스 장치 |
| WO2015088213A1 (ko) * | 2013-12-12 | 2015-06-18 | 삼성전자 주식회사 | 이미지 정보 표시 방법 및 장치 |
| US9600743B2 (en) | 2014-06-27 | 2017-03-21 | International Business Machines Corporation | Directing field of vision based on personal interests |
| US9892648B2 (en) | 2014-06-27 | 2018-02-13 | International Business Machine Corporation | Directing field of vision based on personal interests |
| US9471837B2 (en) | 2014-08-19 | 2016-10-18 | International Business Machines Corporation | Real-time analytics to identify visual objects of interest |
| KR20160104463A (ko) * | 2015-02-26 | 2016-09-05 | 김윤희 | 고객의 감정 정보를 사업자에게 제공하는 전화번호 안내 장치, 전화번호 안내 시스템 그리고 전화번호 안내 방법 |
| WO2019050237A1 (ko) * | 2017-09-07 | 2019-03-14 | 삼성전자 주식회사 | 정보 제공 방법 및 이를 지원하는 전자 장치 |
| US11544469B2 (en) | 2018-02-22 | 2023-01-03 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120035100A (ko) | 스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치 | |
| CN101242663B (zh) | 基于同号移动终端与软终端通话切换方法、系统及设备 | |
| CN103179373B (zh) | 可视通信系统、终端网关、视频网关以及可视通信方法 | |
| US8072968B2 (en) | Method and apparatus for supporting multiple active sessions on a per user basis | |
| CN100486367C (zh) | 一种实现彩像业务的系统和方法 | |
| EP2028788A1 (en) | A stream media service system and a realization method thereof | |
| CN102394989A (zh) | 在通话期间播放多媒体铃音的方法、服务器及终端设备 | |
| CN101141519B (zh) | 用于决定主叫放音的方法和装置 | |
| KR100969458B1 (ko) | 세션 설정 프로토콜을 이용한 멀티미디어 링백 서비스시스템 및 그 방법 | |
| CN100466761C (zh) | 内置视频网关的移动交换中心及实现多媒体互通的方法 | |
| CN1976376B (zh) | 一种呼叫会话的方法、ip电话系统及ip电话终端 | |
| CN101031000B (zh) | 窄带用户使用宽带彩铃的系统及方法 | |
| CN101951491A (zh) | 一种播放视频业务的方法和系统 | |
| CA2617243C (en) | Method for collecting user behavior during run-time in a mobile 3gpp ip based multimedia subsystem (ims) | |
| CN102045535A (zh) | 一种实现用户视频选择客服人员的装置、系统及方法 | |
| KR100657617B1 (ko) | Ｓｉｐ 기반의 무선 패킷 교환망 시스템 | |
| KR100660739B1 (ko) | 통신시스템에서의 대체 영상 서비스 방법 | |
| KR20070041262A (ko) | 통화 중 컨텐츠 전환이 가능한 컨텐츠 통화 서비스 시스템및 그 방법 | |
| KR100715597B1 (ko) | Ｓｉｐ 기반 패킷 통신 망에서의 멀티미디어 발신자 정보서비스 방법 및 그 시스템 | |
| KR100680290B1 (ko) | Ｓｉｐ 기반의 무선 패킷 교환망 시스템에서의 착신 라우팅방법 및 그 시스템 | |
| KR101208119B1 (ko) | 스마트 카드를 이용한 ｓｉｐ 기반 영상통화 서비스 시스템 및 그 방법 | |
| KR100963010B1 (ko) | 스마트 카드를 이용한 ｓｉｐ 기반 영상통화 서비스 시스템및 그 방법 | |
| KR100623917B1 (ko) | 통신시스템에서의 등록정보 표시 서비스 방법 | |
| CN101764895A (zh) | 一种实现被叫终端多媒体彩振的方法、服务器及系统 | |
| KR20060028338A (ko) | 번호기반의 멀티미디어 스트리밍 서비스 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110825 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20121206 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20131030 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20121206 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |