[go: up one dir, main page]

KR102228455B1 - 대화의 소재를 제공하는 장치, 서버 및 방법 - Google Patents

대화의 소재를 제공하는 장치, 서버 및 방법 Download PDF

Info

Publication number
KR102228455B1
KR102228455B1 KR1020130092663A KR20130092663A KR102228455B1 KR 102228455 B1 KR102228455 B1 KR 102228455B1 KR 1020130092663 A KR1020130092663 A KR 1020130092663A KR 20130092663 A KR20130092663 A KR 20130092663A KR 102228455 B1 KR102228455 B1 KR 102228455B1
Authority
KR
South Korea
Prior art keywords
user
keyword
information
conversation
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130092663A
Other languages
English (en)
Other versions
KR20150016786A (ko
Inventor
김혜인
이상일
이성규
홍성설
신정훈
이연우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130092663A priority Critical patent/KR102228455B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2014/007075 priority patent/WO2015020354A1/en
Priority to CN201480044791.6A priority patent/CN105453578B/zh
Priority to EP14834146.4A priority patent/EP3031213B1/en
Priority to EP20177120.1A priority patent/EP3720060B1/en
Priority to CN201911347506.9A priority patent/CN111147949B/zh
Priority to US14/452,170 priority patent/US11048750B2/en
Publication of KR20150016786A publication Critical patent/KR20150016786A/ko
Priority to KR1020210031470A priority patent/KR102371563B1/ko
Application granted granted Critical
Publication of KR102228455B1 publication Critical patent/KR102228455B1/ko
Priority to US17/362,091 priority patent/US11620333B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 실시예에 따른 대화 소재 제공 방법은 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 단계; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 단계; 상기 키워드에 대한 관심 정보를 획득하는 단계; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 단계; 및 상기 관심 정보 및 상기 토픽들을 표시하는 단계를 포함한다.

Description

대화의 소재를 제공하는 장치, 서버 및 방법{Device and sever for providing a subject of conversation and method for providing the same}
본 발명의 실시예들은 대화의 소재를 제공하는 장치, 서버 및 방법에 관한 것이다.
텔레비전 또는 스마트폰 등은 사용자가 시청 가능한 영상을 표시하고, 사용자에게 정보를 제공할 수 있는 장치이다. 최근에는 사용자는 텔레비전을 이용하여 방송을 시청할 뿐만 아니라, 웹 서핑과 같이 정보를 검색하거나 사용자 간에 통화하는 수단으로 사용되기도 한다.
특히, 영상 통화가 가능한 텔레비전을 이용하여 사용자가 대화를 하는 동안, 텔레비전은 사용자에게 정보를 제공하기도 하고, 광고 등의 영상을 제공하기도 한다. 사용자는 상대방과 통화 중에 대화를 진행하기 위하여 필요한 정보를 획득하고 싶지만, 통화 중 문자 입력을 수행하는데 불편함이 있고, 정보를 검색하는데 다소 시간이 걸린다. 따라서, 사용자가 통화 중 대화의 진행을 돕기 위해 사용자에게 필요한 정보들을 제공할 필요가 있다.
본 발명은 통화 중인 사용자에게 대화를 진행하기 위한 대화 소재를 제공하는 장치, 서버 및 방법을 제공함에 있다.
본 발명의 일 실시예에 따르면, 대화 소재 제공 방법은 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 단계; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 단계; 상기 키워드에 대한 관심 정보를 획득하는 단계; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 단계; 및 상기 관심 정보 및 상기 토픽들을 표시하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따르면, 대화 소재를 제공하는 장치는 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 텍스트 변환부; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 키워드 선정부; 상기 키워드에 대한 관심 정보를 획득하는 관심 정보 획득부; 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 토픽 결정부; 및 상기 관심 정보 및 상기 토픽들을 표시하는 표시부를 포함한다.
본 발명의 또 다른 실시예에 따르면, 서버는 통화 중인 사용자의 음성 데이터를 변환한 텍스트를 수신하는 수신부; 상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하고, 상기 키워드에 대한 관심 정보를 획득하고, 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 정보 처리부; 상기 관심 정보 및 상기 토픽들을 송신하는 송신부를 포함한다.
본 발명의 실시예에 따르면, 통화 중인 사용자에게 사용자의 대화 의도를 반영한 관심 정보 및 토픽(topic)을 제공할 수 있는 효과가 있다.
또 다른 실시예에 따르면, 관심 정보, 서브 토픽 및 관련 토픽을 동시에 제공하여, 사용자가 원하는 정보를 선택할 수 있는 효과가 있다.
또 다른 실시예에 따르면, 사용자의 관심을 반영한 정보들을 재구성하여 제공할 수 있는 효과가 있다.
또 다른 실시예에 따르면, 사용자의 대화 중 탐지된 장소, 시간, 인물 등을 나타내는 단어를 키워드로 결정하고, 사용자의 SMS, SNS에서 키워드와 매칭되는 단어를 포함하는 SMS, SNS를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다.
도 1을 참조하면, 대화 소재 제공 장치(100)는 텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130), 토픽 결정부(140) 및 표시부(150)를 포함한다. 대화 소재 제공 장치(100)는 통화 중인 사용자가 대화를 계속하여 진행할 수 있도록, 표시부(150)를 통하여 사용자에게 대화 소재를 제공한다.
사용자는 통화 중 문자를 입력하여 검색을 수행하기가 쉽지 않다. 따라서, 사용자가 문자를 직접 입력하지 않더라도 사용자의 대화 내용을 분석하여 사용자가 원하는 정보를 제공하는 것이 필요하다.
또한, 사용자는 대화 중 언급된 주제에 대하여 보다 심화된 대화를 진행하고 싶은 경우가 있다. 이 경우, 언급된 주제에 관한 세부적인 정보들을 제공함으로써, 사용자의 대화를 도울 수 있다.
또한, 사용자는 대화 중 이전의 대화 내용이나 사용자 자신이 이전에 방문했던 곳 등을 확인하고 싶을 때가 있다. 따라서, 사용자의 이전 대화 내용을 표시하거나 사용자가 이전에 방문했던 곳 등을 표시하여 사용자의 욕구를 충족시킬 수 있다.
대화 소재 제공 장치(100)는 사용자가 통화 중 원하는 정보가 무엇인지 의도를 파악하여, 사용자가 원하는 정보를 제공할 수 있다.
대화 소재 제공 장치(100)는 영상 또는 정보를 표시할 수 있는 장치로서, 예를 들면 텔레비전, 스마트폰 또는 태블릿 PC의 형태로 구현될 수 있다.
또한, 대화 소재 제공 장치(100)는 영상 또는 음성 통화가 가능한 장치일 수 있다. 대화 소재 제공 장치(100)는 정보 처리를 위해 외부의 서버와 네트워크를 통해 연결되고, 서버와 정보를 송수신할 수 있다.
텍스트 변환부(110)는 사용자의 대화 중 입력되는 음성 데이터를 텍스트로 변환한다. 음성 데이터는 사용자가 대화 소재 제공 장치(100)를 이용하여 상대방과 통화하는 동안 입력되는 사용자의 음성을 나타낸다. 또한, 음성 데이터에는 사용자의 음성뿐만 아니라, 사용자와 통화하는 상대방의 음성도 포함될 수 있다.
텍스트 변환부(110)는 변환된 텍스트를 키워드 선정부(120)로 출력한다.
키워드 선정부(120)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다. 키워드는 하나 또는 그 이상의 단어들일 수 있으며, 사용자의 대화에서 인식될 수 있는 사용자의 의도(intention), 문맥(context), 견해(opinion) 또는 감정(sentiment) 등을 고려하여 선정될 수 있다. 또한, 키워드는 사용자의 대화에서뿐만 아니라, 사용자의 이전 대화 히스트리(history), SNS(social network service) 또는 문자(SMS) 등을 고려하여 선정될 수도 있다. 즉, 다수의 의미를 내포하는 단어의 경우, 키워드 선정부(120)는 사용자의 이전 대화 히스토리를 참고하여 다수의 의미 중 어느 하나의 의미를 갖는 것으로 단어를 해석할 수 있다.
키워드 선정부(120)는 텍스트에서 반복되는 단어를 키워드로 선정하거나 동일한 카테고리 내에서 복수의 단어들이 사용되는 경우 해당 카테고리를 키워드로 선정할 수 있다. 또한, 키워드 선정부(120)는 사용자의 SNS 계정으로 업로드된 정보들을 검색하거나 사용자의 문자들을 검색하여 키워드를 선정할 수 있다.
키워드 선정부(120)는 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 장소, 시간 또는 인물 등을 나타내는 단어를 키워드로 결정할 수 있다. 또한, 관심 정보 획득부(130)는 장소, 시간 또는 인물 등을 나타내는 단어가 인접하여 탐지된 경우, 탐지된 단어들을 키워드로 결정할 수도 있다. 예를 들어, 한 문장에서 장소, 시간 또는 인물 등을 나타내는 단어가 2개 이상 탐지된 경우, 탐지된 단어들이 키워드로 결정된다.
키워드 선정부(120)는 선정된 키워드를 관심 정보 획득부(130)로 출력한다.
관심 정보 획득부(130)는 입력된 키워드에 대한 관심 정보를 획득한다. 관심 정보는 키워드와 일치하는 상세한 정보(detail information)를 나타낸다. 다시 말해서, 관심 정보는 키워드를 이용하여 검색된 정보들 중에서, 사용자가 관심 있는 상세한 정보를 나타낸다.
관심 정보는 키워드를 검색하여 획득된 홈페이지 또는 검색된 정보들 중에서 사용자가 원하는 정보들만이 취합된 정보일 수 있다. 즉, 키워드를 검색하고, 검색된 결과들 중에서 사용자의 의도와 가장 부합하는 정보를 선택함으로써 제공되는 상세한 정보를 관심 정보라고 할 수 있다. 또한, 검색된 정보들 중에서 일부 정보만을 각각 추출하고, 추출된 정보를 재구성하여 관심 정보를 생성할 수도 있다. 즉, 관심 정보는 사용자의 의도에 따라 편집될 수 있다.
관심 정보 획득부(130)는 사용자의 디바이스 또는 사용자의 SNS 계정을 이용하여 관심 정보를 획득할 수 있다. 다시 말해서, 관심 정보 획득부(130)는 사용자가 통화를 하기 위해 사용 중인 디바이스 이외에 사용자의 또 다른 디바이스에 저장된 정보들을 검색하여 관심 정보를 획득할 수 있다. 또한, 관심 정보 획득부(130)는 사용자의 SNS 계정으로 로그인하여, 사용자가 SNS에 업로드한 글, 사진 또는 댓글 등을 검색하여 관심 정보를 획득할 수도 있다.
관심 정보 획득부(130)는 사용자의 SMS 또는 SNS에서 장소, 시간 또는 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS에 업로드된 글, 사진 또는 댓글 등을 관심 정보로 획득할 수 있다. 다시 말해서, 키워드 선정부(120)에서 장소, 시간 또는 인물을 나타내는 단어가 키워드로 선정되었다면, 관심 정보 획득부(130)는 사용자의 정보 즉, 사용자의 대화 히스토리, 사용자의 SMS, 또는 사용자의 SNS를 검색하여 일치하는 단어를 찾는다. 관심 정보 획득부(130)는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS에서 일치하는 단어가 발견되면, 일치하는 단어를 포함하는 사용자의 대화 히스토리의 일부분, 사용자의 SMS 또는 사용자의 SNS에 개시된 내용 등을 관심 정보로 획득한다. 사용자는 획득된 관심 정보를 확인함으로써, 대화 중 언급된 장소, 시간 또는 인물 등에 대한 정보를 획득할 수 있다. 이와 관련하여, 도 11에서 일 예를 들어 보다 상세히 설명한다.
토픽 결정부(140)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다. 사용자의 정보는 사용자의 이전 대화 히스트리, SNS, SMS, 모바일 메신저, 관심사항, 검색 이력 또는 사용자가 자주 가는 장소 등 사용자에 관한 모든 정보를 포함한다. 또한, 사용자 정보는 사용자가 소유하고 있는 다양한 디바이스로부터 획득할 수 있는 정보를 포함한다.
사용자의 SNS의 경우, 사용자가 SNS 계정에 로그인을 허락하거나, 로그인 된 상태일 경우에 검색이 가능하다. 또한, 모바일 메신저에서 친구들과 주고 받은 대화 내용도 사용자의 정보에 포함될 수 있다.
토픽의 종류로서 서브 토픽(sub topic)과 관련 토픽(related topic)이 있을 수 있다. 서브 토픽은 키워드의 하위 개념에 해당하는 토픽들을 나타낸다. 관련 토픽은 키워드와 대등한 개념에 해당하는 토픽들을 나타낸다. 또한, 서브 토픽에는 관련 토픽에 대한 서브 토픽도 포함된다. 구체적으로, 서브 토픽 및 관련 토픽은 키워드의 형태로 결정되고 표시될 수 있다.
토픽 결정부(140)는 사용자의 정보와 키워드를 이용하여 토픽들을 결정한다. 토픽 결정부(140)는 사용자의 정보를 검색하여, 키워드와 일치하는 정보를 찾고, 일치하는 정보를 토픽으로 결정할 수 있다.
또한, 토픽 결정부(140)는 사용자의 정보를 이용하여 사용자 관심 모델(user interest model)을 생성하고, 사용자 관심 모델과 키워드를 이용하여 토픽을 결정할 수 있다.
사용자 관심 모델은 사용자가 관심을 갖는 분야들을 미리 결정해둔 모델일 수 있다. 사용자 관심 모델은 사용자의 정보가 업데이트 될 때마다 업데이트 될 수 있다. 다시 말해서, 사용자가 웹 사이트를 방문하거나, 어플리케이션을 사용하는 등의 행위가 발생하면, 사용자의 행위를 기초로 사용자 관심 모델은 업데이트된다.
예를 들어, 사용자 관심 모델은 사용자의 정보가 업데이트 될 때마다, 토픽 후보들(topic candidate)에 부여하는 가중치를 수정함으로써 업데이트 될 수 있다. 즉, 사용자 관심 모델에는 복수의 토픽 후보들이 포함될 수 있으며, 각각의 토픽 후보들에는 가중치가 부여된다. 토픽 후보들에 부여된 가중치는 사용자의 정보가 업데이트될 때마다 수정될 수 있다.
토픽 결정부(140)는 사용자의 정보를 이용하여 사용자가 어떠한 분야들에 관심이 있는지를 미리 설정해두고, 키워드가 입력되면 입력된 키워드와 관련된 분야들에서 토픽을 결정한다. 토픽 결정부(140)는 키워드와 관련된 하위 개념의 분야에서는 하위 토픽을 결정하고, 키워드와 관련된 대등한 개념의 분야에서는 관련 토픽을 결정한다.
텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130) 및 토픽 결정부(140) 들은 하나 또는 그 이상의 프로세서에 의해 구현될 수 있다.
표시부(150)는 관심 정보 및 토픽들을 표시한다. 표시부(150)는 관심 정보만을 표시하거나, 관심 정보 및 토픽들을 동시에 표시한다. 표시부(150)는 표시 영역에 관심 정보를 가장 크게 표시하고, 토픽들은 하단에 관심 정보보다 작게 표시할 수 있다. 또한, 표시부(150)는 관심 정보 및 토픽들과 함께 키워드를 함께 표시할 수 있다. 이때, 사용자의 대화 중 키워드가 변경되면, 표시부(150)는 표시 영역상의 일부분에 이전 키워드들을 표시한다. 이와 관련하여, 도 9에서 보다 상세히 설명한다.
표시부(150)는 키워드 및 토픽들의 관계를 도시하는 그래프를 표시할 수도 있다. 즉, 표시부(150)는 키워드와 하위 토픽 또는 관련 토픽들의 관계를 나타내는 그래프를 표시할 수 있다. 이와 관련하여, 도 10에서 보다 상세히 설명한다.
사용자는 표시부(150)에 표시된 관심 정보 및 토픽들을 통해 관심 있는 정보들을 획득할 수 있고, 정보들을 이용하여 상대방과 대화를 더 진행할 수 있다.
표시부(150)는 텔레비전 또는 스마트폰의 스크린 등을 나타낸다. 예를 들면, 표시부(150)는 액정 표시 장치, 플라즈마 디스플레이 패널(Plasma Display Panel), 유기 전계 발광 표시 장치(Organic electroluminescence panel) 등의 형태로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 대화 소재 제공 장치(100)를 나타낸 도면이다. 도 2는 도 1의 대화 소재 제공 장치(100)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 대화 소재 제공 장치(100)에 관하여 이상에서 기술된 내용은 도 2의 실시예에 따른 대화 소재 제공 장치(100)에도 적용된다.
도 2를 참조하면, 대화 소재 제공 장치(100)는 음성 인식부(190), 프로세서(160) 표시부(150), 메모리(170) 및 네트워크 연결부(180)를 포함한다.
음성 인식부(190)는 사용자의 음성을 인식한다. 예를 들어, 음성 인식부(190)는 마이크와 같이 소리를 전기 신호로 변환하는 디바이스를 나타낸다.
프로세서(160)는 음성 인식부(190)로부터 입력된 음성 데이터를 이용하여 사용자에게 대화 소재를 제공한다. 프로세서(160)는 네트워크 연결부(180)를 통해 서버로부터 정보를 획득할 수 있으며, 메모리(170)에 저장된 정보를 획득할 수 있다. 프로세서(160)는 획득된 정보 및 음성 데이터를 이용하여 현재 통화 중인 사용자가 원하는 관심 정보를 획득하고, 토픽들을 결정하여 표시부(150)로 출력할 수 있다.
프로세서(160)는 음성 인식부(190)뿐만 아니라, 네트워크 연결부(180), 메모리(170) 및 표시부(150)와 연결되어 상호간에 데이터를 입출력 할 수 있다.
프로세서(160)는 네트워크 연결부(180)를 통해, 외부의 기기 또는 서버와 연결될 수 있다. 또한, 프로세서(160)는 네트워크 연결부(180)를 통해 외부의 기기 또는 서버에 저장된 정보들을 검색하거나 획득할 수 있다. 예를 들어, 프로세서(160)는 음성 데이터에서 선정된 키워드를 서버로 송신하고, 서버로부터 사용자의 관심 정보를 획득할 수도 있다.
프로세서(160)는 메모리(170)에 저장된 정보들을 이용할 수 있다. 메모리(170)에는 사용자의 SNS 계정에 대한 정보, 사용자의 SMS, 사진, 설치된 어플리케이션 등이 저장된다.
프로세서(160)는 사용자 관심 모델을 생성하고 업데이트할 수 있다. 프로세서(160)는 사용자의 정보를 바탕으로 사용자 관심 모델을 생성하고, 생성된 사용자 관심 모델에 선정된 키워드를 입력함으로써 토픽들을 결정할 수 있다. 또한, 프로세서(160)는 키워드를 선정할 때마다, 선정된 키워드를 반영하여 사용자 관심 모델을 업데이트할 수 있다.
도 1에 도시된 텍스트 변환부(110), 키워드 선정부(120), 관심 정보 획득부(130) 및 토픽 결정부(140)는 프로세서(160)에 포함될 수 있다.
프로세서(160)는 입력된 데이터를 처리하는 장치로서, 다수의 논리 게이트(logic gate)들의 어레이(array)로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 3은 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다. 도 3을 참조하면, 서버(200)는 수신부(210), 정보 처리부(220), 송신부(230) 및 메모리(240)를 포함한다. 서버(200)는 대화 소재 제공 장치(100)로부터 수신된 정보를 바탕으로 관심 정보를 선정하거나 토픽들을 결정할 수 있다. 서버(200)는 관심 정보 또는 토픽들을 송신부(230)를 통하여 대화 소재 제공 장치(100)로 전송한다.
수신부(210)는 대화 소재 제공 장치(100)로부터 데이터를 수신한다. 수신되는 데이터는 음성 데이터 또는 음성 데이터가 변환된 텍스트 일 수 있다. 또한, 수신부(210)는 키워드도 수신할 수 있다.
수신부(210)는 대화 소재 제공 장치(100)로부터 수신된 데이터를 정보 처리부(220)로 출력한다.
수신부(210) 또는 송신부(230)는 안테나와 같이, 유무선 통신에서 전자기파를 보내거나 받는 장치일 수 있다.
정보 처리부(220)는 수신부(210)를 통해 입력된 데이터를 이용하여 관심 정보를 선정하거나 토픽들을 결정할 수 있다.
정보 처리부(220)는 입력되는 음성 데이터를 텍스트로 변환한다. 음성 데이터는 사용자가 대화 소재 제공 장치(100)를 이용하여 상대방과 통화하는 동안 입력되는 사용자의 음성이 기록된 데이터를 나타낸다. 또한, 음성 데이터는 사용자의 음성뿐만 아니라, 사용자와 통화하는 상대방의 음성도 포함될 수 있다.
정보 처리부(220)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다. 키워드는 하나 또는 그 이상의 단어들일 수 있으며, 사용자의 대화에서 인식될 수 있는 사용자의 의도(intention), 문맥(context), 견해(opinion) 또는 감정(sentiment) 등을 고려하여 선정될 수 있다. 또한, 키워드는 사용자의 대화에서뿐만 아니라, 사용자의 이전 대화 히스트리, SNS 또는 SMS 등을 고려하여 선정될 수도 있다.
정보 처리부(220)는 텍스트에서 반복되는 단어를 키워드로 선정하거나 동일한 카테고리 내에서 복수의 단어들이 사용되는 경우 해당 카테고리를 키워드로 선정할 수 있다.
또한, 정보 처리부(220)는 사용자의 SNS 계정으로 업로드된 정보들을 검색하거나 사용자의 문자들을 검색하여 키워드를 선정할 수 있다.
정보 처리부(220)는 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 장소, 시간 또는 인물 등을 나타내는 단어를 키워드로 결정할 수 있다. 또한, 정보 처리부(220)는 장소, 시간 또는 인물 등을 나타내는 단어가 한 문장 내에서 인접하여 탐지된 경우, 탐지된 단어들을 키워드로 결정할 수도 있다.
정보 처리부(220)는 입력된 키워드에 대한 관심 정보를 획득한다.
정보 처리부(220)는 사용자의 디바이스 또는 사용자의 SNS 계정을 이용하여 관심 정보를 획득할 수 있다. 다시 말해서, 정보 처리부(220)는 사용자가 통화를 하기 위해 사용 중인 디바이스 이외에 사용자의 또 다른 디바이스에 저장된 정보들을 검색하여 관심 정보를 획득할 수 있다. 또한, 정보 처리부(220)는 사용자의 SNS 계정으로 로그인하여, 사용자가 SNS에 업로드한 글, 사진 또는 댓글 등을 검색하여 관심 정보를 획득할 수도 있다. 이하, SNS라 함은 사용자의 계정으로 로그인 가능한 SNS에 사용자가 업로드한 글, 사진 또는 댓글 등을 의미한다. 또한, SMS라 함은 사용자가 소유하는 디바이스에서 사용자가 주고 받은 메시지를 의미한다.
정보 처리부(220)는 사용자의 SMS 또는 SNS에서 장소, 시간 또는 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS를 관심 정보로 획득할 수 있다. 다시 말해서, 장소, 시간 또는 인물을 나타내는 단어가 키워드로 선정되었다면, 정보 처리부(220)는 사용자의 정보 즉, 사용자의 대화 히스토리, 사용자의 SMS, 또는 사용자의 SNS를 검색하여 일치하는 단어를 찾는다. 정보 처리부(220)는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS에서 일치하는 단어가 발견되면, 일치하는 단어를 포함하는 사용자의 대화 히스토리의 일부분, 사용자의 SMS 또는 사용자의 SNS에 개시된 내용 등을 관심 정보로 획득한다. 사용자는 획득된 관심 정보를 확인함으로써, 대화 중 언급된 장소, 시간 또는 인물 등에 대한 정보를 획득할 수 있다.
정보 처리부(220)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다. 사용자의 정보는 사용자의 이전 대화 히스트리, SNS, SMS, 관심사항, 검색 이력 또는 사용자가 자주 가는 장소 등 사용자에 관한 모든 정보를 포함한다. 또한, 사용자 정보는 사용자가 소유하고 있는 다양한 디바이스로부터 획득할 수 있는 정보를 포함한다.
정보 처리부(220)는 사용자의 정보와 키워드를 이용하여 토픽들을 결정한다. 정보 처리부(220)는 사용자의 정보를 검색하여, 키워드와 일치하는 정보를 찾고, 일치하는 정보를 토픽으로 결정할 수 있다.
또한, 정보 처리부(220)는 사용자의 정보를 이용하여 사용자 관심 모델(user interest model)을 생성하고, 사용자 관심 모델과 키워드를 이용하여 토픽을 결정할 수 있다. 사용자 관심 모델은 사용자가 관심을 갖는 분야들을 미리 결정해둔 모델일 수 있다.
사용자의 정보가 업데이트 될 때마다, 사용자 관심 모델은 업데이트 될 수 있다. 다시 말해서, 사용자가 웹 사이트를 방문하거나, 어플리케이션을 사용하는 등의 행위가 발생하면, 사용자의 행위를 기초로 사용자 관심 모델은 업데이트된다.
정보 처리부(220)는 사용자의 정보를 이용하여 사용자가 어떠한 분야들에 관심이 있는지를 미리 설정해두고, 키워드가 입력되면 입력된 키워드와 관련된 분야들에서 토픽을 결정한다. 정보 처리부(220)는 키워드와 관련된 하위 개념의 분야에서는 하위 토픽을 결정하고, 키워드와 관련된 대등한 개념의 분야에서는 관련 토픽을 결정한다.
메모리(240)는 정보 처리부(220)에서 처리하는 데이터들을 저장하거나, 정보 처리부(220)에 의해 생성된 사용자 관심 모델을 나타내는 데이터를 저장한다.
메모리(240)는 비휘발성 저장 매체로서, 예를 들면 하드디스크 드라이브, 플래시 메모리, SSD(solid state disk), 자기 기록 매체 등일 수 있다.
도 4는 본 발명의 일 실시예에 따른 서버(200)를 나타낸 도면이다. 도 4는 도 3의 서버(200)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 서버(200)에 관하여 이상에서 기술된 내용은 도 4의 실시예에 따른 서버(200)에도 적용된다.
도 4를 참조하면, 서버(200)는 형태소 분석기(310), 문맥 분석기(320) 및 인텐션 분석기(330)를 포함하며, 온톨로지(340), 사용자 히스토리(350) 및 사용자 관심 모델(360)를 저장한다.
서버(200)는 텍스트를 분석하여 사용자의 대화 의도를 해석할 수 있다. 구체적으로, 서버(200)는 텍스트에 포함된 단어들의 형태소를 구분하고, 형태소들의 문맥 상의 의미를 해석하여 사용자의 대화 의도를 해석할 수 있다.
형태소 분석기(310)는 텍스트에 포함된 명사, 동사, 관사 또는 조사 등을 인식한다. 즉, 형태소 분석기(310)는 텍스트에 포함된 단어들이 각각 어떠한 품사를 갖는지를 판단한다. 형태소 분석기(310)에 의한 분석은 서버(200)에 텍스트가 수신되면 수행되는 최초의 단계일 수 있다.
문맥 분석기(320)는 텍스트에 포함된 문장 또는 단어들의 전후 관계를 분석한다. 텍스트에 동일한 단어가 포함되어 있더라도, 문맥 분석기(320)는 문장 등의 전후 관계에 따라서 동일한 단어를 다른 의미로 해석할 수 있다. 문맥 분석기(320)는 형태소 분석기(310)에 의해 형태소 분석이 완료된 이후에, 형태소 분석 결과에 기초하여 수행된다.
인텐션 분석기(330)는 텍스트에 포함된 사용자의 의도를 분석한다. 다시 말해서, 인텐션 분석기(330)는 사용자가 지금 하고자 하는 대화의 의도를 분석한다. 인텐션 분석기(330)는 문맥 분석기(320)에서 해석된 단어의 의미를 통해 사용자의 의도를 확인할 수 있다.
서버(200)는 사용자 히스토리(350)를 수집하고 저장한다. 서버(200)는 저장된 사용자 히스토리(350)를 이용하여 사용자의 의도를 판단할 수도 있으며, 사용자의 관심 정보 또는 토픽을 결정할 수도 있다. 서버(200)는 대화 소재 제공 장치(100)를 포함하여, 사용자가 접속하는 웹 사이트 등으로부터 정보를 수집할 수 있다.
서버(200)는 사용자 히스토리(350)를 저장하여 사용자 관심 모델(360)을 생성할 때 이용할 수도 있다.
또한, 서버(200)는 사용자 히스토리(350)를 주기적으로 업데이트 할 수도 있다.
서버(200)는 사용자 관심 모델(360)을 생성하고 저장한다. 서버(200)는 사용자 히스토리(350)를 이용하여 사용자 관심 모델(360)을 생성할 수 있다.
서버(200)는 온톨로지(340)를 이용하여 사용자의 관심 정보 또는 토픽을 재구성할 수 있다. 온톨로지(340)는 입력된 정보를 재구성하는 데이터 베이스를 나타낸다. 예를 들어, 서버(200)는 선정된 사용자 관심 정보에 그림, 영상 또는 문자 등이 포함되는 경우, 그림, 영상, 또는 문자 등의 정보를 어떻게 구성할 것인지를 결정한다. 또한, 서버(200)는 관심 정보 및 토픽의 배치 등을 결정한다.
서버(200)는 재구성된 정보들을 대화 소재 제공 장치(100)로 전송할 수 있다.
도 5는 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 대화 소재 제공 장치(100)는 사용자의 대화 및 사용자의 정보를 이용하여 관심 정보 및 토픽들을 표시한다.
도 5에서는 대화 소재 제공 장치(100)가 키워드를 선정함에 있어서 사용자의 정보를 이용할 수 있음을 나타낸다. 다시 말해서, 대화 소재 제공 장치(100)는 사용자의 대화만을 분석하여 키워드를 선정할 수도 있지만, 사용자의 정보에 기초하여 키워드를 선정할 수도 있다.
510 블록은 사용자의 대화를 나타낸다. 510 블록에서 사용자의 음성 데이터를 획득하는 것은 대화 소재 제공 장치(100)에서 수행된다.
520 블록은 사용자의 정보를 나타낸다. 사용자의 정보는 사용자의 현재 위치 또는 자주 가는 곳 등의 장소에 대한 정보를 포함할 수 있다.
530 단계에서, 사용자의 정보에 기초하여 키워드가 선정되며, 530 단계는 대화 소재 제공 장치(100) 또는 서버(200)에서 수행될 수 있다. 예를 들어, 현재 사용자의 위치가 어딘지에 따라, 키워드가 선정될 있다. 사용자가 이동하는 경우에는, 사용자의 이동 경로에 따라 새로운 키워드가 선정될 수 있다. 키워드가 선정되면, 540 단계로 진행한다.
540 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 선정된 키워드에 대한 관심 정보를 획득한다.
550 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 서브 토픽을 결정한다.
560 단계에서, 대화 소재 제공 장치(100) 또는 서버(200)는 관련 토픽을 결정한다.
540 내지 560 단계는 순차적으로 또는 동시에 수행될 수 있다.
570 단계에서, 대화 소재 제공 장치(100)는 관심 정보 및 토픽들을 표시한다. 서버(200)는 관심 정보 및 토픽들을 대화 소재 제공 장치(100)로 전송한다. 570 단계는 540 내지 560 단계가 모두 수행된 이후에 수행된다. 다만, 대화 소재 제공 장치(100)의 경우, 540단계가 먼저 종료된 경우 관심 정보만을 우선적으로 표시할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 순서도이다. 도 6은 도 1의 대화 소재 제공 장치(100)의 또 다른 실시예를 나타낸 도면이다. 따라서, 이하 생략된 내용이라 하더라도 대화 소재 제공 장치(100)에 관하여 이상에서 기술된 내용은 도 6의 실시예에 따른 대화 소재 제공 장치(100)에도 적용된다.
610 단계에서, 대화 소재 제공 장치(100)는 통화 중인 사용자의 음성 데이터를 텍스트로 변환한다.
620 단계에서, 대화 소재 제공 장치(100)는 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정한다.
630 단계에서, 대화 소재 제공 장치(100)는 키워드에 대한 관심 정보를 획득한다.
640 단계에서, 대화 소재 제공 장치(100)는 사용자의 정보에 기초하여 상기 키워드와 관련된 토픽들을 결정한다.
650 단계에서, 대화 소재 제공 장치(100)는 관심 정보 및 상기 토픽들을 표시한다.
도 7은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다. 도 7을 참조하면, 대화 소재 제공 장치(100)와 서버(200)가 정보를 송수신하는 것을 나타낸다. 도 7은 대화 소재 제공 장치(100)에서 주요 단계들이 수행되는 프로세스를 도시한다.
서버(200)는 사용자의 정보를 수집하고(702), 사용자의 정보를 대화 소재 제공 장치(100)로 전송한다(703). 서버(200)는 사용자 정보를 전송하는 동작만 수행하고, 나머지 동작은 대화 소재 제공 장치(100)에서 수행된다.
대화 소재 제공 장치(100)에서는 사용자의 음성 데이터를 텍스트로 변환하는 동작(701), 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 동작(704), 키워드에 대한 관심 정보를 획득하는 동작(705)들이 수행될 수 있다.
또한, 대화 소재 제공 장치(100)에서는 사용자 관심 모델을 업데이트하는 동작(706)이 수행될 수 있는데, 사용자 관심 모델이 대화 소재 제공 장치(100)에서 생성되거나 대화 소재 제공 장치(100)에 저장되어 있는 경우에 사용자 관심 모델에 대한 업데이트가 수행될 수 있다.
대화 소재 제공 장치(100)는 서브 토픽 및 관련 토픽을 결정하는 동작(707) 및 관심 정보 및 토픽들을 표시하는 동작(708)을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 프로세스를 도시한 도면이다. 도 8은 서버(200)에서 주요 단계들이 수행되는 프로세스를 도시한다. 서버(200)는 대화 소재 제공 장치(100)로부터 텍스트를 수신(802)한 이후에, 관심 정보 및 토픽들을 전송할 때의 동작들을 수행한다.
대화 소재 제공 장치(100)는 사용자의 음성 데이터를 텍스트로 변환하고(801), 변환된 텍스트를 서버(200)로 전송한다(802).
서버(200)는 사용자의 정보 또는 대화 히스토리를 수집한다(803). 서버(200)는 서버(200)내의 메모리(240)에 수집된 사용자의 정보를 저장할 수 있다. 서버(200)는 일정한 주기 또는 사용자의 정보가 업데이트 될 때마다 메모리(240)에 업데이트된 정보를 저장한다.
서버(200)는 수신된 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 동작(804), 키워드에 대한 관심 정보를 획득하는 동작(805), 사용자 관심 모델을 업데이트하는 동작(806) 및 서브 토픽 및 관련 토픽을 결정하는 동작(807)을 수행할 수 있다.
서버(200)는 관심 정보의 선정과 토픽들의 결정이 종료되면, 관심 정보 및 토픽들을 대화 소재 제공 장치(100)로 전송한다(808). 서버(200)는 선정된 관심 정보 및 결정된 토픽들을 어떻게 표시할 것인지를 결정할 수 있다. 즉, 서버(200)는 관심 정보 또는 토픽들이 표시되는 위치나 크기 등을 결정할 수 있다.
대화 소재 제공 장치(100)는 수신된 관심 정보 및 토픽들을 표시한다(809).
도 9는 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 도 9는 디지털 텔레비전에 사용자가 통화 중 대화 소재를 표시되는 것을 도시하고 있다.
사용자(910) 및 상대방(920)은 현재 통화 중인 사람들을 나타낸다. 도 9에서는 영상 통화를 하고 있는 사람들을 도시하고 있으나, 영상 통화가 아닌 단순히 음성 통화를 하는 경우도 본 발명의 실시예에 포함된다. 또한, 2명 이상의 사람들이 통화하는 다중 통화의 경우도 본 발명의 실시예에 포함된다.
관심 정보(930)는 사용자(910)와 상대방(920)이 대화하고자 하는 키워드에 대한 정보를 나타낸다. 키워드가 결정되면, 대화 소재 제공 장치(100)는 키워드를 검색하여 정보를 획득할 수 있다. 검색된 정보 중에서, 사용자(910)의 관심 사항에 해당하는 정보를 선별하고, 선별된 정보를 표시할 수 있다. 이때, 선별된 정보는 관심 정보(930)를 나타낸다.
관심 정보(930)는 어느 하나의 정보를 나타낼 수도 있다. 예를 들어, 관심 정보(930)는 사용자(910)가 원하는 여행지에 대한 정보로서, 여행지의 홈페이지일 수 있다. 대화 소재 제공 장치(100)는 여행지의 홈페이지를 직접 표시함으로써, 사용자에게 여행지에 대한 정보를 직접적으로 제공한다.
또한, 관심 정보(930)는 다수의 정보들이 정리된 형태일 수도 있다. 예를 들어, 관심 정보(930)는 사용자가 원하는 여행지에 대한 정보로서, 여행지 근처에 위치한 식당들 또는 여행지에 위치한 숙박 시설들을 열거하는 형태의 정보일 수 있다. 또는, 관심 정보(930)는 사용자(910)가 원하는 여행지의 위치, 가는 방법, 여행지 홈페이지 정보, 여행지에 위치한 식당들 또는 숙박 시설들의 연락처 등을 정리한 형태의 정보일 수도 있다.
도 9는 관심 정보(930)가 가장 넓은 표시 영역에 도시되고 있는 것을 나타낸다. 도 9에서는 관심 정보(930)가 우측 상단에 도시되었으나, 관심 정보(930)가 표시되는 위치나 크기는 변경될 수 있다.
이전 관심 정보(940)는 이전에 선정된 관심 정보를 나타낸다. 이전 관심 정보(940)는 관심 정보(930)보다 작은 크기로 표시된다. 또한, 관심 정보(930)가 변경되면, 관심 정보(930)에 표시되었던 내용을 이전 관심 정보(940)에 추가로 표시한다.
도 9에서는 이전 관심 정보(940)로 날씨, 아이리스 주제곡 및 안면도 수목원을 도시하고 있다. 날씨, 아이리스 주제곡 및 안면도 수목원은 관심 정보(930)에 표시되었던 키워드들이다. 사용자(910)는 이전 관심 정보(940)에 표시된 사항들을 선택하여 다시 관심 정보(930)로 표시되게 할 수 있다. 이전 관심 정보(940)에 표시된 사항이 선택되면, 관심 정보(930)와 이전 관심 정보(940)는 모두 업데이트된다. 즉, 선택된 이전 관심 정보와 관심 정보(930)는 위치가 서로 바뀌어 표시된다.
서브 토픽 또는 관련 토픽들(950)은 대화 소재 제공 장치(100)의 가장 하단에 표시된다. 서브 토픽 또는 관련 토픽들(950)도 사용자에 의해 선택될 수 있으며, 선택된 토픽은 관심 정보(930)로 표시된다.
도 10은 본 발명의 일 실시예에 따른 대화 소재를 표시하는 방법을 설명하기 위한 도면이다. 도 10은 스마트폰에서 관심 정보 또는 토픽들이 표시되는 것을 설명하기 위한 도면이다. 스마트폰의 경우 텔레비전보다 표시 가능한 영역이 좁을 수 있다. 따라서, 스마트폰의 경우, 상단과 하단으로 나누어 상단에는 관심 정보를 표시하고, 하단에는 토픽들을 표시할 수 있다. 또한, 좌측과 우측으로 나누어, 관심 정보는 좌측에 표시하고, 우측에는 토픽들을 표시할 수 있다.
도 10에서는 스마트폰의 표시 영역을 상단과 하단으로 나누어 표시하는 경우를 나타낸다. 또한, 도 10에서는 관심 정보를 표시하는 대신에, 상단에 관계 그래프(1010)를 표시하고 있다.
관계 그래프(1010)는 키워드와 토픽들의 관계를 도시하는 그래프를 나타낸다. 예를 들어, 여행이 키워드로 선정된 경우, 서브 또는 관련 토픽들로 하이킹, 제주도, 미국, 바다 등이 결정될 수 있다. 토픽들은 사용자의 이전 여행지 또는 대화 중 언급된 여행지들로 결정될 수 있다. 또한, 미국 여행에 대한 서브 토픽으로 미국의 도시들 중에서 라스베가스 또는 LA 등이 결정될 수 있다.
스마트폰의 하단에는 서브 또는 관련 토픽들(1020)이 문자로 표시된다. 예들 들어, 영화가 키워드로 선정된 경우, 서브 또는 관련 토픽들로 아이언맨, 셜록 홈즈, 오블리언 및 로미위드러브 등이 결정될 수 있다. 토픽들은 현재 개봉 중인 영화 또는 사용자가 최근에 관람한 영화들 중에서 결정될 수 있다. 또한, 아이언맨에 대한 서브 토픽으로 아이언맨3의 개봉관이나 주연 배우의 이름인 로버트 다우니가 결정될 수 있다.
도 11은 본 발명의 일 실시예에 따른 대화 소재를 제공하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 대화 소재 제공 장치는 사용자의 대화(1110)에 포함된 단어와 매칭되는 단어를 포함하는 SMS(1120)를 표시한다. 사용자는 표시된 SMS(1120)를 확인하여 대화를 진행할 수 있다.
사용자의 대화(1110)에서 "지난 주말에 우리 어디 갔었지?" 라는 의문문이 탐지되는 경우, 대화 소재 제공 장치(100)는 의문문에 포함된 장소, 시간 또는 인물을 나타내는 단어를 추출한다. 또한, 대화 소재 제공 장치(100)는 의문문에 포함된 장소, 시간 또는 인물 등을 나타내는 의문사를 추출할 수도 있다. 대화 소재 제공 장치(100)는 장소, 시간 또는 인물을 나타내는 단어 또는 의문사와 매칭되는 SMS 또는 SNS를 검색한다. 대화 소재 제공 장치(100)는 검색된 SMS 또는 SNS를 표시하거나, 검색된 SMS 또는 SNS에 포함된 정보를 추출하여 표시한다.
사용자는 대화 중 이전에 있었던 일을 기억하지 못하는 경우가 있다. 사용자가 이전 일을 기억하지 못하는 경우, 대화 소재 제공 장치(100)는 사용자의 SMS 또는 SNS의 기록을 검색하여 표시하여 준다.
예를 들어 설명하면, 사용자의 대화(1110)에서 "지난 주말에 우리 어디 갔었지?" 라는 의문문이 탐지되면, 대화 소재 제공 장치(100)는 "지난 주말" 이라는 시간을 나타내는 단어를 추출하고, "지난 주말"의 날짜를 계산한다. 대화 소재 제공 장치(100)는 계산된 날짜에 수신된 SMS나 사용자가 업로드한 SNS의 글을 검색한다. 대화 소재 제공 장치(100)는 계산된 날짜에 수신된 SMS들 중에서 장소를 나타내는 단어를 포함하는 SMS를 표시한다. 또한, 대화 소재 제공 장치(100)는 계산된 날짜 또는 전후의 날짜에 업로드된 사용자 계정의 SNS의 글들 중에서 장소를 나타내는 단어를 포함하는 SNS의 글을 표시한다.
예를 들어, 대화 소재 제공 장치(100)는 "지난 주말"이 언제인지 계산하여, 7월 9일임을 확인한다. 대화 소재 제공 장치(100)는 7월 9일에 사용자의 SMS에서 카드 결제 내역이 있는 경우, 카드 결제 내역을 표시한다. 카드 결제 내역은 사용자가 7월 9일에 어느 장소에 갔었는지를 알 수 있는 정보를 제공한다. 만약, 7월 9일에 카드 결제 내역이 복수 개가 있는 경우, 대화 소재 제공 장치(100)는 복수의 카드 결제 내역을 표시하거나, 카드 결제 내역에 포함된 장소를 추출하여 표시한다.
사용자의 대화(1110) 중에서 "어디" 라는 장소를 나타내는 의문사가 포함되는 경우, 대화 소재 제공 장치(100)는 장소를 키워드로 추출할 수 있다. 즉, 사용자는 지난 주말에 어느 장소에 갔었는지가 궁금한 것이기 때문에, 대화 소재 제공 장치(100)는 지난 주말에 검색된 SMS에서 장소를 나타내는 단어인 "에버랜드"를 키워드로 추출할 수 있다.
또 다른 예로서, 대화 소재 제공 장치(100)는 의문문에 장소, 시간 또는 인물을 나타내는 단어가 적어도 2개 이상 포함된 경우에 SMS, SNS를 검색할 수 있다.
또 다른 예로서, 대화 소재 제공 장치(100)는 하나의 문장에 장소, 시간 또는 인물을 나타내는 단어와 장소, 시간 또는 인물을 나타내는 의문사가 모두 포함되는 경우에 SMS, SNS를 검색할 수 있다.
한편, 본 발명은 컴퓨터 판독가능 기록매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 기록매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 기록매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)를 포함한다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (24)

  1. 통화 중인 사용자의 음성 데이터를 텍스트로 변환하는 단계;
    상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하는 단계;
    상기 키워드에 대한 관심 정보를 획득하는 단계;
    사용자 관심 모델과 상기 선정된 키워드에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 단계; 및
    상기 관심 정보 및 상기 토픽들을 표시하는 단계를 포함하고,
    상기 사용자 관심 모델은 상기 사용자의 정보를 이용하여 생성되고, 복수의 토픽 후보들을 포함하며, 상기 사용자의 정보가 업데이트 될 때마다, 상기 복수의 토픽 후보들에 부여된 가중치를 수정함으로써 업데이트되는, 대화 소재를 제공하는 방법.
  2. 제1항에 있어서,
    상기 사용자의 정보는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS 등을 포함하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  3. 제1항에 있어서, 상기 토픽들을 결정하는 단계는,
    사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS 등을 고려하여, 상기 키워드의 하위 개념에 해당하는 토픽들을 서브 토픽으로 결정하고, 상기 키워드와 대등한 개념에 해당하는 관련 토픽을 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  4. 제1항에 있어서, 상기 토픽들을 결정하는 단계는,
    상기 키워드를 상기 사용자 관심 모델에 입력하여, 상기 토픽들을 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  5. 제1항에 있어서, 상기 표시하는 단계는,
    상기 키워드, 상기 토픽들의 관계를 도시하는 그래프를 표시하고,
    사용자의 대화 중 상기 키워드가 선정될 때마다, 상기 키워드를 순차적으로 표시하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  6. 제1항에 있어서, 상기 관심 정보를 획득하는 단계는,
    사용자의 디바이스 또는 사용자의 SNS 계정을 이용하여 획득하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  7. 제1항에 있어서, 상기 키워드를 선정하는 단계는,
    상기 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 상기 장소, 상기 시간 또는 상기 인물 등을 나타내는 단어를 상기 키워드로 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  8. 제7항에 있어서, 상기 관심 정보를 획득하는 단계는,
    사용자의 SMS 또는 SNS에서 상기 장소, 상기 시간 또는 상기 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS를 획득하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  9. 제1항에 있어서, 상기 관심 정보를 획득하는 단계는,
    상기 키워드를 검색한 결과 중에서 사용자의 관심 사항들을 추출하고, 상기 관심 사항들을 재구성하여 상기 관심 정보를 획득하는 것을 특징으로 하는, 대화 소재를 제공하는 방법.
  10. 삭제
  11. 통화 중인 사용자의 음성 데이터를 텍스트로 변환하고,
    상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하고,
    상기 키워드에 대한 관심 정보를 획득하며,
    사용자 관심 모델과 상기 선정된 키워드에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 적어도 하나의 프로세서; 및
    상기 관심 정보 및 상기 토픽들을 표시하는 표시부를 포함하고,
    상기 사용자 관심 모델은 상기 사용자의 정보를 이용하여 생성되고, 복수의 토픽 후보들을 포함하며, 상기 사용자의 정보가 업데이트 될 때마다, 상기 복수의 토픽 후보들에 부여된 가중치를 수정함으로써 업데이트되는, 대화 소재를 제공하는 장치.
  12. 제11항에 있어서,
    상기 사용자의 정보는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS 등을 포함하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  13. 제11항에 있어서,
    상기 적어도 하나의 프로세서는 사용자의 대화 히스토리, 사용자의 SMS 또는 사용자의 SNS 등을 고려하여, 상기 키워드의 하위 개념에 해당하는 토픽들을 서브 토픽 및 상기 키워드와 대등한 개념에 해당하는 관련 토픽을 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  14. 제11항에 있어서,
    상기 적어도 하나의 프로세서는 상기 키워드를 상기 사용자 관심 모델에 입력하여, 상기 토픽들을 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  15. 제11항에 있어서,
    상기 표시부는 상기 키워드, 상기 토픽들의 관계를 도시하는 그래프를 표시하고,
    사용자의 대화 중 상기 키워드가 선정될 때마다, 상기 키워드를 순차적으로 표시하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  16. 제13항에 있어서,
    상기 표시부는 상기 키워드, 상기 서브 토픽 및 상기 관련 토픽을 동시에 표시하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  17. 제11항에 있어서,
    상기 적어도 하나의 프로세서는 상기 텍스트에서 장소, 시간 또는 인물 등의 단어가 탐지되면, 상기 장소, 상기 시간 또는 상기 인물 등을 나타내는 단어를 상기 키워드로 결정하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  18. 제17항에 있어서,
    상기 적어도 하나의 프로세서는 사용자의 SMS 또는 SNS에서 상기 장소, 상기 시간 또는 상기 인물을 나타내는 단어와 일치하는 단어를 검색하고, 일치하는 단어를 포함하는 사용자의 SMS 또는 SNS를 획득하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  19. 제11항에 있어서,
    상기 적어도 하나의 프로세서는 상기 키워드를 검색한 결과 중에서 사용자의 관심 사항들을 추출하고, 상기 관심 사항들을 재구성하여 상기 관심 정보를 획득하는 것을 특징으로 하는, 대화 소재를 제공하는 장치.
  20. 삭제
  21. 통화 중인 사용자의 음성 데이터를 변환한 텍스트를 수신하는 수신부;
    상기 텍스트 중에서 사용자의 의도를 나타내는 키워드를 선정하고, 상기 키워드에 대한 관심 정보를 획득하고, 사용자 관심 모델과 상기 선정된 키워드에 기초하여 상기 키워드와 관련된 토픽들을 결정하는 정보 처리부;
    상기 관심 정보 및 상기 토픽들을 송신하는 송신부를 포함하고,
    상기 사용자 관심 모델은 상기 사용자의 정보를 이용하여 생성되고, 복수의 토픽 후보들을 포함하며, 상기 사용자의 정보가 업데이트 될 때마다, 상기 복수의 토픽 후보들에 부여된 가중치를 수정함으로써 업데이트되는, 서버.
  22. 삭제
  23. 삭제
  24. 삭제
KR1020130092663A 2013-08-05 2013-08-05 대화의 소재를 제공하는 장치, 서버 및 방법 Active KR102228455B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020130092663A KR102228455B1 (ko) 2013-08-05 2013-08-05 대화의 소재를 제공하는 장치, 서버 및 방법
CN201480044791.6A CN105453578B (zh) 2013-08-05 2014-07-31 用于提供会话话题的设备、服务器和方法
EP14834146.4A EP3031213B1 (en) 2013-08-05 2014-07-31 Apparatus and method for providing conversation topic
EP20177120.1A EP3720060B1 (en) 2013-08-05 2014-07-31 Apparatus and method for providing conversation topic
PCT/KR2014/007075 WO2015020354A1 (en) 2013-08-05 2014-07-31 Apparatus, server, and method for providing conversation topic
CN201911347506.9A CN111147949B (zh) 2013-08-05 2014-07-31 用于提供会话话题的设备、服务器和方法
US14/452,170 US11048750B2 (en) 2013-08-05 2014-08-05 Apparatus, server, and method for providing conversation topic
KR1020210031470A KR102371563B1 (ko) 2013-08-05 2021-03-10 대화의 소재를 제공하는 장치, 서버 및 방법
US17/362,091 US11620333B2 (en) 2013-08-05 2021-06-29 Apparatus, server, and method for providing conversation topic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130092663A KR102228455B1 (ko) 2013-08-05 2013-08-05 대화의 소재를 제공하는 장치, 서버 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031470A Division KR102371563B1 (ko) 2013-08-05 2021-03-10 대화의 소재를 제공하는 장치, 서버 및 방법

Publications (2)

Publication Number Publication Date
KR20150016786A KR20150016786A (ko) 2015-02-13
KR102228455B1 true KR102228455B1 (ko) 2021-03-16

Family

ID=52428440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130092663A Active KR102228455B1 (ko) 2013-08-05 2013-08-05 대화의 소재를 제공하는 장치, 서버 및 방법

Country Status (5)

Country Link
US (2) US11048750B2 (ko)
EP (2) EP3720060B1 (ko)
KR (1) KR102228455B1 (ko)
CN (2) CN111147949B (ko)
WO (1) WO2015020354A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102228455B1 (ko) * 2013-08-05 2021-03-16 삼성전자주식회사 대화의 소재를 제공하는 장치, 서버 및 방법
US9456070B2 (en) 2014-09-11 2016-09-27 Ebay Inc. Methods and systems for recalling second party interactions with mobile devices
JP5940135B2 (ja) * 2014-12-02 2016-06-29 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 話題提示方法、装置及びコンピュータ・プログラム。
US10275522B1 (en) 2015-06-11 2019-04-30 State Farm Mutual Automobile Insurance Company Speech recognition for providing assistance during customer interaction
US9596349B1 (en) 2015-06-29 2017-03-14 State Farm Mutual Automobile Insurance Company Voice and speech recognition for call center feedback and quality assurance
JP6774018B2 (ja) * 2016-09-15 2020-10-21 富士ゼロックス株式会社 対話装置
WO2018061824A1 (ja) * 2016-09-29 2018-04-05 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
US11295738B2 (en) * 2016-12-30 2022-04-05 Google, Llc Modulation of packetized audio signals
US10347247B2 (en) * 2016-12-30 2019-07-09 Google Llc Modulation of packetized audio signals
WO2018221120A1 (ja) * 2017-06-01 2018-12-06 株式会社インタラクティブソリューションズ 表示装置
US11423280B2 (en) 2017-10-27 2022-08-23 International Business Machines Corporation Cognitive commuter assistant
KR101933822B1 (ko) * 2018-01-22 2019-03-29 숭실대학교산학협력단 얼굴인식 기반 지능형 스피커, 이를 이용한 능동적인 대화 제공 방법 및 이를 수행하기 위한 기록매체
CN110472021A (zh) * 2018-05-11 2019-11-19 微软技术许可有限责任公司 会话中推荐新闻的技术
US11150965B2 (en) * 2019-06-20 2021-10-19 International Business Machines Corporation Facilitation of real time conversations based on topic determination
CN113157966B (zh) * 2021-03-15 2023-10-31 维沃移动通信有限公司 显示方法、装置及电子设备
CN116246629A (zh) * 2023-02-13 2023-06-09 深圳市优必选科技股份有限公司 人机对话方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110125501A1 (en) * 2009-09-11 2011-05-26 Stefan Holtel Method and device for automatic recognition of given keywords and/or terms within voice data

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332122B1 (en) * 1999-06-23 2001-12-18 International Business Machines Corporation Transcription system for multiple speakers, using and establishing identification
US7117152B1 (en) * 2000-06-23 2006-10-03 Cisco Technology, Inc. System and method for speech recognition assisted voice communications
US20020075303A1 (en) 2000-12-18 2002-06-20 Nortel Networks Limited And Bell Canada Method and system for creating a virtual team environment
US7885645B2 (en) * 2001-05-15 2011-02-08 Research In Motion Limited Information system with detachable information module
US20030097262A1 (en) * 2001-11-20 2003-05-22 Gateway, Inc. Handheld device having speech-to text conversion functionality
KR20020039281A (ko) 2002-03-20 2002-05-25 조근식 인터넷상에서의 대화를 이용한 상품 추천 방법 및 그 시스템
DE10220524B4 (de) * 2002-05-08 2006-08-10 Sap Ag Verfahren und System zur Verarbeitung von Sprachdaten und zur Erkennung einer Sprache
EP1457862A1 (en) * 2003-03-11 2004-09-15 AML Exceltech Limited Apparatus for composing and retrieving a text message
US7650170B2 (en) * 2004-03-01 2010-01-19 Research In Motion Limited Communications system providing automatic text-to-speech conversion features and related methods
KR100725719B1 (ko) 2005-02-04 2007-06-08 주식회사 유진로봇 음성과 태스크 오브젝트 기반의 대화시스템
US20080147514A1 (en) * 2006-12-18 2008-06-19 Clikit Technologies, Inc. Instant or text message ordering and purchasing system
US8060565B1 (en) * 2007-01-31 2011-11-15 Avaya Inc. Voice and text session converter
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
KR100895535B1 (ko) 2007-05-10 2009-04-30 (주) 지육공팔 컨설팅그룹 데이터 검색 장치 및 그 방법
KR20080109322A (ko) 2007-06-12 2008-12-17 엘지전자 주식회사 사용자의 직관적 의도 파악에 따른 서비스 제공 방법 및장치
US8255224B2 (en) 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US9384186B2 (en) * 2008-05-20 2016-07-05 Aol Inc. Monitoring conversations to identify topics of interest
US20090307090A1 (en) * 2008-06-05 2009-12-10 Embarq Holdings Company, Llc System and Method for Inserting Advertisements in Voicemail
US8359192B2 (en) * 2008-11-19 2013-01-22 Lemi Technology, Llc System and method for internet radio station program discovery
KR20100094282A (ko) * 2009-02-18 2010-08-26 주식회사 그래텍 정보 제공 시스템 및 방법
KR101625208B1 (ko) * 2009-03-05 2016-05-31 삼성전자주식회사 정보 구성장치와 전자장치 및 정보 구성방법
KR101578737B1 (ko) * 2009-07-15 2015-12-21 엘지전자 주식회사 이동 단말기의 음성 처리 장치 및 그 방법
KR101429612B1 (ko) * 2009-08-28 2014-08-13 에스케이플래닛 주식회사 관심도 기반 태그 맵 서비스 시스템 및 방법
US8515888B2 (en) * 2009-10-30 2013-08-20 Google Inc. Affiliate linking where answerer requests permission to insert an interactive link in an answer
US8341196B2 (en) * 2009-11-23 2012-12-25 Nokia Corporation Method and apparatus for creating a contextual model based on offline user context data
US20110131207A1 (en) * 2009-12-01 2011-06-02 Sony Ericsson Mobile Communications Ab Text messaging hot topics
US20120303452A1 (en) 2010-02-03 2012-11-29 Nokia Corporation Method and Apparatus for Providing Context Attributes and Informational Links for Media Data
US8464297B2 (en) * 2010-06-23 2013-06-11 Echostar Broadcasting Corporation Apparatus, systems and methods for identifying a video of interest using a portable electronic device
WO2012100051A2 (en) * 2011-01-20 2012-07-26 Ipc Systems, Inc. User interface displaying communication information
US9058616B2 (en) 2011-06-15 2015-06-16 Nhn Corporation System and method for providing mobile advertisement
CN102866990B (zh) * 2012-08-20 2016-08-03 北京搜狗信息服务有限公司 一种主题对话方法和装置
US10346542B2 (en) * 2012-08-31 2019-07-09 Verint Americas Inc. Human-to-human conversation analysis
US20140237057A1 (en) * 2013-02-21 2014-08-21 Genesys Telecommunications Laboratories, Inc. System and method for processing private messages in a contact center
KR102228455B1 (ko) * 2013-08-05 2021-03-16 삼성전자주식회사 대화의 소재를 제공하는 장치, 서버 및 방법
GB201404612D0 (en) * 2014-03-14 2014-04-30 Microsoft Corp Communication event history
KR102444165B1 (ko) * 2017-01-20 2022-09-16 삼성전자주식회사 적응적으로 회의를 제공하기 위한 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110125501A1 (en) * 2009-09-11 2011-05-26 Stefan Holtel Method and device for automatic recognition of given keywords and/or terms within voice data

Also Published As

Publication number Publication date
US11048750B2 (en) 2021-06-29
CN105453578B (zh) 2020-01-17
EP3031213A1 (en) 2016-06-15
WO2015020354A1 (en) 2015-02-12
KR20150016786A (ko) 2015-02-13
CN111147949A (zh) 2020-05-12
CN105453578A (zh) 2016-03-30
EP3031213B1 (en) 2020-07-15
US11620333B2 (en) 2023-04-04
EP3720060A1 (en) 2020-10-07
US20150039308A1 (en) 2015-02-05
EP3031213A4 (en) 2017-03-15
US20210326380A1 (en) 2021-10-21
CN111147949B (zh) 2022-02-22
EP3720060B1 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
KR102228455B1 (ko) 대화의 소재를 제공하는 장치, 서버 및 방법
US11315546B2 (en) Computerized system and method for formatted transcription of multimedia content
US10645142B2 (en) Video keyframes display on online social networks
KR102247533B1 (ko) 음성 인식 장치 및 그 제어 방법
US10915824B2 (en) Trend basis and behavioral analytics system and methods
US20180285700A1 (en) Training Image-Recognition Systems Using a Joint Embedding Model on Online Social Networks
US10083379B2 (en) Training image-recognition systems based on search queries on online social networks
CN108121736B (zh) 一种主题词确定模型的建立方法、装置及电子设备
US20170154104A1 (en) Real-time recommendation of reference documents
US20150348549A1 (en) Better resolution when referencing to concepts
JP5957048B2 (ja) 曖昧性を解消する教師データの生成方法、生成システム、及び生成プログラム
CN108351870A (zh) 根据活动模式的计算机语音识别和语义理解
CN110175223A (zh) 一种实现问题生成的方法及装置
KR20160010416A (ko) 맞춤형 실시간 지능 채널
CN110209777A (zh) 问答的方法及电子设备
KR20150106479A (ko) 컨텐츠 공유 서비스 시스템, 그의 컨텐츠 공유를 위한 장치 및 컨텐츠 공유 서비스 제공 방법
CN109101505B (zh) 一种推荐方法、推荐装置和用于推荐的装置
KR20140060217A (ko) 오디오 신호에 의해 메시지를 포스팅하는 시스템 및 방법
CN110475158B (zh) 视频学习素材的提供方法、装置、电子设备及可读介质
KR102012501B1 (ko) 컨텐츠 추천 서비스 제공 시스템 및 방법
KR101731016B1 (ko) 상황 인지 기반 번역 제공 방법 및 이를 위한 장치
EP3296890A1 (en) Video keyframes display on online social networks
KR102371563B1 (ko) 대화의 소재를 제공하는 장치, 서버 및 방법
CN112948662A (zh) 一种推荐方法、装置和用于推荐的装置
KR102184962B1 (ko) 음성 입력 처리 시스템 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130805

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180803

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130805

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191125

Patent event code: PE09021S01D

AMND Amendment
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200519

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20201105

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200519

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20191125

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20201105

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200716

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20200123

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20201210

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20201204

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20201105

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200716

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200123

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20210310

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210310

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210311

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 4

End annual number: 4