[go: up one dir, main page]

KR102544262B1 - 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치 - Google Patents

사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치 Download PDF

Info

Publication number
KR102544262B1
KR102544262B1 KR1020220103673A KR20220103673A KR102544262B1 KR 102544262 B1 KR102544262 B1 KR 102544262B1 KR 1020220103673 A KR1020220103673 A KR 1020220103673A KR 20220103673 A KR20220103673 A KR 20220103673A KR 102544262 B1 KR102544262 B1 KR 102544262B1
Authority
KR
South Korea
Prior art keywords
user terminal
text
user
artificial intelligence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220103673A
Other languages
English (en)
Inventor
유승재
Original Assignee
(주)페르소나에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)페르소나에이아이 filed Critical (주)페르소나에이아이
Priority to KR1020220103673A priority Critical patent/KR102544262B1/ko
Application granted granted Critical
Publication of KR102544262B1 publication Critical patent/KR102544262B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은, 음성 인식을 수행하기 위한 제1 인공지능 모델, 질의 응답을 수행하기 위한 제2 인공지능 모델, 및 발화 내용에 매칭되는 표정과 입 모양을 생성하기 위한 제3 인공지능 모델을 포함하는, 메타휴먼(Metahuman)에 대한 데이터가 저장된 메모리, 적어도 하나의 단말과 통신하는 통신부, 및 메모리 및 통신부와 연결된 프로세서를 포함하는, 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치에 관한 것이다.

Description

사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치{ELECTRONIC DEVICE PROVIDING TWO-WAY INTERACTION SERVICE BETWEEN USER AND META-HUMAN ON STREAMING BASIS}
본 발명은 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍(Streaming) 기반으로 제공하는 전자 장치에 관한 것으로, 상세하게는, 질의 및 그에 대한 응답을 주고받음에 있어서, 사람과 메타휴먼이 실시간으로 이를 수행하되, 메타휴먼의 표정, 입 모양 및 음성을 실시간으로 업데이트하여, 스트리밍을 기반으로 사용자에게 제공하는 기술이다.
종래의 버추얼휴먼(virtual human), 가상 인간, 메타휴먼 등 디지털 세상에서 존재하는 인간은 단방향으로의 소통 기능, 즉, 메타휴먼이 말하는 것을 사람에게 일방적으로 제공하는 기능만이 존재하여, 실제 사람과의 대화가 불가능한 한계점이 존재해왔다.
또한, 이런 메타휴먼을 제공하는 서비스를 이용하기 위해서는, 고용량의 데이터를 웹이나 어플리케이션을 통해 단말에 저장해야만 하기 때문에, 저장소의 용량을 낭비하는 문제점이 존재해왔다.
한편, 스트리밍(Streaming)이란, 인터넷에서 음성이나 영상, 애니메이션 등을 다운로드 없이 실시간으로 재생하는 기법이다.
한편, 상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
등록특허공보 제10-2069964호, 2020.01.17.
본 발명이 해결하고자 하는 과제는 메타휴먼의 입 모양 변화 및 감정 상태의 변화를 나타내는 표정 이미지 데이터를 실시간으로 업데이트 하되, 이를 스트리밍(Streaming)을 기반으로 사용자에게 제공하는, 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치는, 음성 인식을 수행하기 위한 제1 인공지능 모델, 질의 응답을 수행하기 위한 제2 인공지능 모델, 및 발화 내용에 매칭되는 표정과 입 모양을 생성하기 위한 제3 인공지능 모델을 포함하는, 메타휴먼(Metahuman)에 대한 데이터가 저장된 메모리, 적어도 하나의 단말과 통신하는 통신부, 및 메모리 및 통신부와 연결된 프로세서를 포함하며, 이에 따라, 프로세서는, 통신부를 통해, 사용자 단말로부터 휴먼 모드에 대한 서비스 요청을 수신하면, 메타휴먼의 실시간 표정 및 실시간 음성을 포함하는 스트리밍(Streaming) 데이터를 사용자 단말로 제공하고, 통신부를 통해, 사용자 단말로부터 획득된 음성 데이터를 제1 인공지능 모델에 입력하여 제1 텍스트를 획득하고, 제1 텍스트를 제2 인공지능 모델에 입력하여 제2 텍스트를 획득하고, 제2 텍스트를 제3 인공지능 모델에 입력하여 표정 이미지 데이터를 획득하고, 표정 이미지 데이터를 포함하는 스트리밍 데이터를 업데이트한다.
추가로, 프로세서는, 표정 이미지 데이터를 포함하는 스트리밍 데이터를 업데이트함에 있어서, 제2 텍스트를 음성으로 변화하여, 업데이트된 스트리밍 데이터와 함께 사용자 단말로 제공할 수 있다.
한편, 제1 인공지능 모델은, 사용자의 음성 데이터에 포함된 텍스트인 질의 텍스트를 추출하도록 훈련된 모델이고, 제2 인공지능 모델은, 질의 텍스트에 포함된 질의의 맥락을 파악하고, 이에 대한 응답인 응답 텍스트를 생성하도록 훈련된 모델이고, 제3 인공지능 모델은, 응답 텍스트에 포함된 단어의 속성을 바탕으로 단어에 매칭되는 감정을 식별하여, 응답 텍스트에 매칭되는 입 모양 이미지와 식별된 감정에 매칭되는 표정 이미지를 선택하도록 훈련된 모델일 수 있다.
구체적으로, 제1 인공지능 모델은 오디오 데이터로부터 텍스트를 추출하기 위한, 종래의 AM(Acoustic Model), LM(Language Model), 발음 사전 등이 결합된 모델일 수 있으며, 제2 인공지능 모델은 질의 응답 관계의 텍스트를 추철하기 위한, 종래의 자연어 이해 및 처리, 질의의 맥락 파악 등을 수행하는 모델일 수 있으며, 제3 인공지능 모델은 텍스트에 매칭되는 입 모양을 선택하고, 텍스트에 포함되는 단어의 속성, 텍스트가 구성하는 문장의 말투 및/또는 뉘앙스를 추출하여 그에 매칭되는 표정을 선택하도록 훈련되는 모델일 수 있으나, 각각이 이에 한정되는 것은 아니다.
추가로, 프로세서는, 통신부를 통해, 사용자 단말로부터 AI 모드에 대한 서비스 요청을 수신하면, AI 모드에 대한 이미지 및 사용자 명령을 획득하는 UI(User Interface)를 사용자 단말로 제공하고, UI에 대해 입력된 사용자 명령을 바탕으로 획득된 질의 텍스트를 제2 인공지능 모델에 입력하여 응답 정보를 획득하고, 응답 정보를 사용자 단말로 제공하고, 여기서, 응답 정보는, 텍스트 및 음성 중 적어도 하나를 포함할 수 있다.
한편, 프로세서는, 스트리밍 데이터를 사용자 단말로 제공함에 있어서, 통신부 및 사용자 단말 간의 통신 상태를 모니터링하고, 데이터 속도가 임계치 미만인 경우, AI 모드로 전환할 수 있다.
추가로, 프로세서는, 사용자 단말을 통해 획득되는 음성 데이터를 사용자 단말의 사용자에 대해 저장하고, 음성 데이터에 매칭되는 시점 별 메타휴먼의 표정 이미지를 식별하고, 음성 데이터에 대한 시점 별 피치를 획득하고, 피치 변화량이 임계값 미만인 시간 구간이 식별되면, 식별된 시간 구간에 포함되는 적어도 하나의 메타휴먼의 표정 이미지를 사용자 단말의 사용자에 대해 선호 이미지로 저장할 수 있다.
또한, 프로세서는, 스트리밍 데이터를 사용자 단말로 제공함에 있어서, 사용자 단말의 사용자에 대해 저장된 적어도 하나의 선호 이미지를 식별하고, 선호 이미지 중, 가장 많이 중복된 이미지를 메타휴먼의 기본 표정으로 설정할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치에 의하면, 고사양의 데이터 다운로드 없이 사용자에게 실시간으로 업데이트 되는 메타휴먼에 대한 이미지를 제공하여 쌍방향 대화가 가능한 서비스를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 구성도이다.
도 2는 본 개시의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3은 본 개시의 일 실시예에 따른 시스템의 구성도이다.
도 4는 본 개시의 일 실시예에 따른 기본 흐름도이다.
도 5 및 도 6은 본 개시의 일 실시예에 따른 스트리밍 데이터 제공 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 구성도이고, 도 2는 본 개시의 일 실시예에 따른 사용자 단말의 구성도이고, 도 3은 본 개시의 일 실시예에 따른 시스템의 구성도이다.
도시된 바와 같이, 본 발명의 일 면에 따른 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치는, 음성 인식을 수행하기 위한 제1 인공지능 모델, 질의 응답을 수행하기 위한 제2 인공지능 모델, 및 발화 내용에 매칭되는 표정과 입 모양을 생성하기 위한 제3 인공지능 모델을 포함하는, 메타휴먼(Metahuman)에 대한 데이터가 저장된 메모리(110), 적어도 하나의 단말과 통신하는 통신부(120), 및 메모리(110) 및 통신부(120)와 연결된 프로세서(130)를 포함한다.
일 실시예로, 전자 장치(100)는, 서버, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), PDA(personal digital assistant), PMP(portable multimedia player), 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다.
제1 인공지능 모델은, 사용자의 음성 데이터에 포함된 텍스트인 질의 텍스트를 추출하도록 훈련된 모델이다.
제2 인공지능 모델은, 질의 텍스트에 포함된 질의의 맥락을 파악하고, 이에 대한 응답인 응답 텍스트를 생성하도록 훈련된 모델이다.
제3 인공지능 모델은, 응답 텍스트에 포함된 단어의 속성을 바탕으로 단어에 매칭되는 감정을 식별하여, 응답 텍스트에 매칭되는 입 모양 이미지와 식별된 감정에 매칭되는 표정 이미지를 선택하도록 훈련된 모델이다.
여기서 맥락은, 사전적 의미에 따라, 서로 연관되어 이루는 줄거리를 의미하며, 질의에 따른 응답, 응답에 따른 다음 질의를 각각 선택하기 위한 기준이 된다.
한편, 메모리(110)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(110)는 비휘발성 메모리(110), 휘발성 메모리(110), 플래시메모리(110)(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
통신부(120)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(120)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
프로세서(130)는 메모리(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 전자 장치(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU는 메모리(110)에 액세스하여, 메모리(110)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 나아가, 프로세서는 인공지능 모델을 제어할 수 있다. 이 경우, 프로세서는 인공지능 모델을 제어하기 위한 그래픽 전용 프로세서(예: GPU)를 포함할 수 있음은 물론이다.
한편, 본 발명에 따른 인공지능 모델은 교사 지도학습(supervised learning) 또는 비교사 지도학습(unsupervised learning)기반의 모델일 수 있다. 나아가, 본 발명에 따른 인공지능 모델은 SVM(support vector machine), Decision tree, neural network 등 및 이들이 응용된 방법론을 포함할 수 있다.
일 실시예로, 본 발명에 따른 인공지능 모델은 학습데이터를 입력하여 학습된 합성곱 신경망(Convolutional deep Neural Networks, CNN) 기반의 인공지능 모델일 수 있다. 다만, 이에 한정되는 것은 아니며, 다양한 인공지능 모델이 본 발명에 적용될 수 있음은 물론이다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 인공지능 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
이때, 합성곱 신경망(Convolutional deep Neural Networks, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 또한, 합성곱 신경망은 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
또한, 심층 신경망(Deep Neural Networks, DNN)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.
이때, 심층 신경망의 구조는 퍼셉트론(perceptron)으로 구성될 수 있다. 퍼셉트론은 여러 개의 입력 값(input)과 하나의 프로세서(prosessor), 하나의 출력 값으로 구성된다. 프로세서는 여러 개의 입력 값에 각각 가중치를 곱한 후, 가중치가 곱해진 입력 값들을 모두 합한다. 그 다음 프로세서는 합해진 값을 활성화함수에 대입하여 하나의 출력 값을 출력한다. 만약 활성화함수의 출력 값으로 특정한 값이 나오기를 원하는 경우, 각 입력 값에 곱해지는 가중치를 수정하고, 수정된 가중치를 이용하여 출력 값을 다시 계산할 수 있다. 이때, 각각의 퍼셉트론은 서로 다른 활성화함수를 사용할 수 있다. 또한 각각의 퍼셉트론은 이전 계층에서 전달된 출력들을 입력으로 받아들인 다음, 활성화 함수를 이용해서 출력을 구한다. 구해진 출력은 다음 계층의 입력으로 전달된다. 상술한 바와 같은 과정을 거치면 최종적으로 몇 개의 출력 값을 얻을 수 있다.
순환 신경망(Reccurent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 Directed cycle을 구성하는 신경망을 말한다. 순환 신경망은 앞먹임 신경망과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다.
심층 신뢰 신경망(Deep Belief Networks, DBN)이란 기계학습에서 사용되는 그래프 생성 모형(generative graphical model)으로, 딥 러닝에서는 잠재변수(latent variable)의 다중계층으로 이루어진 심층 신경망을 의미한다. 계층 간에는 연결이 있지만 계층 내의 유닛 간에는 연결이 없다는 특징이 있다.
심층 신뢰 신경망은 생성 모형이라는 특성상 선행학습에 사용될 수 있고, 선행학습을 통해 초기 가중치를 학습한 후 역전파 혹은 다른 판별 알고리즘을 통해 가중치의 미조정을 할 수 있다. 이러한 특성은 훈련용 데이터가 적을 때 굉장히 유용한데, 이는 훈련용 데이터가 적을수록 가중치의 초기값이 결과적인 모델에 끼치는 영향이 세지기 때문이다. 선행학습된 가중치 초기값은 임의로 설정된 가중치 초기값에 비해 최적의 가중치에 가깝게 되고 이는 미조정 단계의 성능과 속도향상을 가능케 한다.
상술한 인공지능 및 그 학습방법에 관한 내용은 예시를 위하여 서술된 것이며, 상술한 실시 예들에서 이용되는 인공지능 및 그 학습방법은 제한되지 않는다. 예를 들어, 당 업계의 통상의 기술자가 동일한 과제해결을 위하여 적용할 수 있는 모든 종류의 인공지능 기술 및 그 학습방법이 개시된 실시 예에 따른 시스템을 구현하는 데 활용될 수 있다.
한편, 프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(130)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.
한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(110)에는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
한편, 도시된 바와 같이, 사용자 단말(200)은 전자 장치(100)와 통신하는 통신모듈(210), 사용자로부터 명령을 획득하는 입출력 모듈(220), 및 통신모듈(210) 및 입출력 모듈(220)에 연결되어, 사용자 단말(200)의 전반적인 동작을 수행하는 제어모듈(230)을 포함하고, 사용자 단말(200)은 스트리밍 기반 쌍방향 대화 응대 서비스를 제공받는 사용자가 소유한 전자기기일 수 있다.
일 실시예로, 사용자 단말(200)은, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), PDA(personal digital assistant), PMP(portable multimedia player), 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다.
한편, 입출력 모듈(220)은 사용자의 음성을 획득하기 위한 마이크, 메타휴먼에 대한 이미지를 출력하기 위한 디스플레이, 메타휴먼에 대한 음성을 출력하기 위한 스피커를 포함하고, 또한, 입출력 모듈(220)은 디스플레이 표면에 대한 접촉을 통해 사용자 명령을 획득하거나 및/또는 별도의 입력 장치(ex. 키보드, 키패드, 마우스 등)를 더 포함하여, 사용자 명령을 획득할 수 있다.
이때, 디스플레이는 다양한 정보를 시각적으로 출력하기 위한 구성이다.
디스플레이는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되는 것은 아니고 이밖에 종래 알려진 다양한 형태의 디스플레이를 포함할 수 있다. 디스플레이는, 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수 있으며, 접히거나 구부러질 수 있는 플렉서블 디스플레이로 구현될 수도 있다.
도 4는 본 개시의 일 실시예에 따른 기본 흐름도이고, 도 5 및 도 6은 본 개시의 일 실시예에 따른 스트리밍 데이터 제공 예시도이다.
도 4에 도시된 바와 같이, 본 발명의 일 면에 따른 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치(100)는, 통신부(120)를 통해, 사용자 단말(200)로부터 휴먼 모드에 대한 서비스 요청을 수신하면, 메타휴먼의 실시간 표정 및 실시간 음성을 포함하는 스트리밍(Streaming) 데이터를 사용자 단말(200)로 제공(S410)하여, 통신부(120)를 통해, 사용자 단말(200)로부터 음성 데이터를 획득(S420)한다.
이때, 전자 장치(100)는 획득된 음성 데이터를 제1 인공지능 모델에 입력하여 제1 텍스트를 획득(S430)하고, 제1 텍스트를 제2 인공지능 모델에 입력하여 제2 텍스트를 획득(S440)하고, 제2 텍스트를 제3 인공지능 모델에 입력하여 표정 이미지 데이터를 획득(S450)하고, 이에 따라, 표정 이미지 데이터를 포함하는 스트리밍 데이터를 업데이트(S460)한다.
표정 이미지 데이터는 메타휴먼이 텍스트를 발화하는 입모양 및 표정을 텍스트를 발화하는 음성을 구성하는 음소에 따라 변화하는 이미지로 구성된 데이터이다.
한편, 단계 S460을 수행함에 있어서, 전자 장치(100)는 제2 텍스트를 음성으로 변화하여, 업데이트된 스트리밍 데이터와 함께 사용자 단말(200)로 제공할 수 있다.
반면, 사용자 단말(200)로부터 휴먼 모드에 대한 서비스 요청이 아닌, AI 모드에 대한 서비스 요청을 수신하면, 전자 장치(100)는, AI 모드에 대한 이미지 및 사용자 명령을 획득하는 UI(User Interface)를 사용자 단말(200)로 제공할 수 있다.
이에 따라, UI에 대해 입력된 사용자 명령을 바탕으로 획득된 질의 텍스트를 제2 인공지능 모델에 입력하여 응답 정보를 획득하고, 응답 정보를 사용자 단말(200)로 제공한다.
이때, 응답 정보는, 텍스트 이미지, 및 메타휴먼에 대해 기 설정된 목소리를 바탕으로 텍스트를 발화하는 음성 중 적어도 하나를 포함할 수 있다.
예컨대, 도 5 및 도 6에 도시된 바와 같이, 전자 장치(100)가 사용자의 “다음 수업은 어디서 하지?”를 발음하는 음성 데이터를 획득한 경우, 전자 장치(100)는 이를 실시간으로 업데이트된 스트리밍 데이터로 변환하기 위해, 제1 내지 제3 인공지능 모델을 순차적으로 거쳐 출력된 표정 이미지 데이터를 바탕으로, 제2 텍스트를 발화하하는 메타휴먼에 대한 데이터(메타휴먼의 실시간 표정 및 실시간 음성을 포함)를 사용자 단말(200)을 통해 출력함으로써, 사용자는 사용자 단말(200)을 통해, “다음 수업인 영어회화 1은 3번 강의실에서 8분 뒤에 시작됩니다.”를 발음하는 사운드를 획득하고, 이를 발화하는 입모양 및 표정이 변화되는 메타휴먼의 이미지를 실시간으로 시청할 수 있다.
한편, 스트리밍 데이터가 실시간으로 업데이트 됨에 따라, 전자 장치(100)는 제2 텍스트에 미래의 시간에 대한 잔여 시간이 포함되는 경우, 스트리밍 데이터가 사용자 단말(200)을 통해 출력되는 시점에서의 잔여 시간으로 자동 환산되도록 할 수 있다.
한편, 단계 S410을 수행함에 있어서, 전자 장치(100)는, 통신부(120) 및 사용자 단말(200) 간의 통신 상태를 모니터링하고, 데이터 속도가 임계치 미만인 경우, 휴먼 모드를 AI 모드로 전환할 수 있다.
실시예로, 전자 장치(100)가 통신 상태를 모니터링함에 있어서, 전자 장치(100)는 제2 텍스트를 발화하는 음성을 출력하는데 걸리는 제1 시간을 식별하고, 사용자 단말(200)로부터 업데이트된 스트리밍 데이터를 출력하는데 소요된 제2 시간을 식별할 수 있다.
이때, 제2 시간은 제1 시간과 동일하거나 제1 시간을 초과한다.
이후, 전자 장치(100)는 제1 시간 및 제2 시간 간의 차값을 산출하고, 산출된 차값이 임계차값을 초과하는 경우, 데이터 속도가 임계치 미만인 것으로 판단할 수 있다.
실시예로, 전자 장치(100)가 데이터 속도가 임계치 미만인 것으로 판단함에 따라, 휴먼 모드를 AI 모드로 전환한 이후, 전자 장치(100)는 통신부(120)를 통해, 사용자 단말(200)로부터 휴먼 모드에 대한 서비스 요청을 수신하면, 메타휴먼에 대한 스트리밍 데이터를 사용자 단말(200)로 제공하되, 휴먼 모드로 전환되면서 사용자 단말(200)을 통해 최초 출력된 응답 정보에 대한 데이터 속도가 임계치 미만인지 여부를 판단한다.
이때, 데이터 속도가 임계치 미만인 경우, 전자 장치(200)는 사용자 단말(200)의 사용자에 대해, 휴먼 모드로 전환되면서 최초 출력된 응답 정보에 대한 데이터 속도를 기준으로 임계차값을 보정하여 저장함으로써, 사용자가 허용하는 통신 상태(속도)를 사용자 별로 적용할 수 있다.
한편, 전자 장치(100)는, 사용자 단말(200)을 통해 획득되는 음성 데이터를 사용자 단말(200)의 사용자에 대해 저장하고, 음성 데이터에 매칭되는 시점 별 메타휴먼의 표정 이미지를 식별할 수 있다.
이후, 전자 장치(100)는 음성 데이터에 대한 시점 별 피치를 획득하고, 피치 변화량이 임계값 미만인 시간 구간이 식별되면, 식별된 시간 구간에 포함되는 적어도 하나의 메타휴먼의 표정 이미지를 사용자 단말(200)의 사용자에 대해 선호 이미지로 저장한다.
이에 따라, 단계 S410을 수행함에 있어서, 전자 장치(100)는 사용자 단말(200)의 사용자에 대해 저장된 적어도 하나의 선호 이미지를 식별하고, 선호 이미지 중, 가장 많이 중복된 이미지를 메타휴먼의 기본 표정으로 설정할 수 있다.
구체적으로, 사용자의 음성이 흥분 상태인 경우, 피치 변화량이 임계값을 초과할 수 있으며, 일정 시간 내 피치 변화 횟수 또한 일정 횟수 이상 획득될 수 있다.
이에 따라, 전자 장치(100)는 사용자의 음성이 흥분되지 않는 것으로 나타나는 시간 구간에 사용자 단말(200)로 제공된 스트리밍 데이터에 포함된 이미지를 사용자가 선호하는 메타휴먼의 표정으로 식별하고, 이를, 사용자가 선호하는 메타휴먼의 포정인, 선호 이미지로 저장함으로써, 사용자에 대해 선호 이미지로 가장 많이 중복된 이미지를, 메타휴먼이 응답 정보를 발화하기 전, 발화를 하지 않는 상태에서 표현하는 기본 표정으로 설정할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
또한, 본 발명의 서로 다른 실시예들은 상호 보완되거나 결합될 수 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler), 파이썬(Python) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 서버
110 : 메모리
120 : 통신부
130 : 프로세서
200 : 사용자 단말
210 : 통신모듈
220 : 입출력 모듈
230 : 제어모듈

Claims (7)

  1. 전자 장치에 있어서,
    음성 인식을 수행하기 위한 제1 인공지능 모델, 질의 응답을 수행하기 위한 제2 인공지능 모델, 및 발화 내용에 매칭되는 표정과 입 모양을 생성하기 위한 제3 인공지능 모델을 포함하는, 메타휴먼(Metahuman)에 대한 데이터가 저장된 메모리;
    적어도 하나의 단말과 통신하는 통신부; 및
    상기 메모리 및 상기 통신부와 연결된 프로세서;를 포함하고,
    상기 프로세서는,
    상기 통신부를 통해, 사용자 단말로부터 휴먼 모드에 대한 서비스 요청을 수신하면, 상기 메타휴먼의 실시간 표정 및 실시간 음성을 포함하는 스트리밍(Streaming) 데이터를 상기 사용자 단말로 제공하고,
    상기 통신부를 통해, 상기 사용자 단말로부터 획득된 음성 데이터를 상기 제1 인공지능 모델에 입력하여 제1 텍스트를 획득하고,
    상기 제1 텍스트를 상기 제2 인공지능 모델에 입력하여 제2 텍스트를 획득하고,
    상기 제2 텍스트를 상기 제3 인공지능 모델에 입력하여 표정 이미지 데이터를 획득하고,
    상기 표정 이미지 데이터로 상기 스트리밍 데이터를 업데이트하고,
    상기 통신부를 통해, 상기 사용자 단말로부터 AI 모드에 대한 서비스 요청을 수신하면, 상기 AI 모드에 대한 이미지 및 사용자 명령을 획득하는 UI(User Interface)를 사용자 단말로 제공하고,
    상기 UI에 대해 입력된 사용자 명령을 바탕으로 획득된 질의 텍스트를 상기 제2 인공지능 모델에 입력하여 응답 정보를 획득하고,
    상기 응답 정보를 상기 사용자 단말로 제공하고,
    상기 스트리밍 데이터를 상기 사용자 단말로 제공함에 있어서, 상기 통신부 및 상기 사용자 단말 간의 통신 상태를 모니터링하고, 데이터 속도가 임계치 미만인 경우, AI 모드로 전환하고,
    상기 AI 모드로 전환된 이후, 상기 사용자 단말로부터 휴먼 모드에 대한 서비스 요청을 수신하면, 상기 스트리밍 데이터를 상기 사용자 단말로 제공하되, 상기 휴먼 모드로 전환되면서 상기 사용자 단말을 통해 최초 출력된 응답 정보에 대한 데이터 속도가 임계치 미만인지 여부를 판단하고,
    상기 최초 출력된 응답 정보에 대한 데이터 속도가 임계치 미만인 경우, 상기 사용자 단말의 사용자에 대해, 상기 최초 출력된 응답 정보에 대한 데이터 속도를 기준으로 임계치를 보정하여 저장하고,
    상기 응답 정보는,
    텍스트 및 음성 중 적어도 하나를 포함하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 스트리밍 데이터를 업데이트함에 있어서, 상기 제2 텍스트를 음성으로 변화하여, 상기 업데이트된 스트리밍 데이터와 함께 상기 사용자 단말로 제공하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 제1 인공지능 모델은,
    사용자의 음성 데이터에 포함된 텍스트인 질의 텍스트를 추출하도록 훈련된 모델이고,
    상기 제2 인공지능 모델은,
    상기 질의 텍스트에 포함된 질의의 맥락을 파악하고, 이에 대한 응답인 응답 텍스트를 생성하도록 훈련된 모델이고,
    상기 제3 인공지능 모델은,
    상기 응답 텍스트에 포함된 단어의 속성을 바탕으로 상기 단어에 매칭되는 감정을 식별하여, 상기 응답 텍스트에 매칭되는 입 모양 이미지와 상기 식별된 감정에 매칭되는 표정 이미지를 선택하도록 훈련된 모델인, 전자 장치.
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 사용자 단말을 통해 획득되는 음성 데이터를 상기 사용자 단말의 사용자에 대해 저장하고,
    상기 음성 데이터에 매칭되는 시점 별 메타휴먼의 표정 이미지를 식별하고,
    상기 음성 데이터에 대한 시점 별 피치를 획득하고,
    피치 변화량이 임계값 미만인 시간 구간이 식별되면, 상기 식별된 시간 구간에 포함되는 적어도 하나의 메타휴먼의 표정 이미지를 상기 사용자 단말의 사용자에 대해 선호 이미지로 저장하는, 전자 장치.
  7. 제6 항에 있어서,
    상기 프로세서는,
    상기 스트리밍 데이터를 사용자 단말로 제공함에 있어서, 상기 사용자 단말의 사용자에 대해 저장된 적어도 하나의 선호 이미지를 식별하고,
    상기 선호 이미지 중, 가장 많이 중복된 이미지를 상기 메타휴먼의 기본 표정으로 설정하는, 전자 장치.
KR1020220103673A 2022-08-19 2022-08-19 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치 Active KR102544262B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220103673A KR102544262B1 (ko) 2022-08-19 2022-08-19 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220103673A KR102544262B1 (ko) 2022-08-19 2022-08-19 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치

Publications (1)

Publication Number Publication Date
KR102544262B1 true KR102544262B1 (ko) 2023-06-16

Family

ID=86948073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220103673A Active KR102544262B1 (ko) 2022-08-19 2022-08-19 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치

Country Status (1)

Country Link
KR (1) KR102544262B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102712474B1 (ko) * 2023-12-06 2024-10-02 주식회사 유니메오 간병챗봇 데이터셋 자동 업데이트 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR20190107289A (ko) * 2019-08-30 2019-09-19 엘지전자 주식회사 인공지능 로봇 및 인공지능 로봇의 음성인식 방법
KR102034255B1 (ko) * 2017-06-29 2019-10-18 네이버 주식회사 사람-기계 간 감정 대화를 위한 방법 및 시스템
KR102069964B1 (ko) 2017-03-01 2020-01-23 소니 주식회사 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
KR102069964B1 (ko) 2017-03-01 2020-01-23 소니 주식회사 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
KR102034255B1 (ko) * 2017-06-29 2019-10-18 네이버 주식회사 사람-기계 간 감정 대화를 위한 방법 및 시스템
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR20190107289A (ko) * 2019-08-30 2019-09-19 엘지전자 주식회사 인공지능 로봇 및 인공지능 로봇의 음성인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102712474B1 (ko) * 2023-12-06 2024-10-02 주식회사 유니메오 간병챗봇 데이터셋 자동 업데이트 방법 및 시스템

Similar Documents

Publication Publication Date Title
WO2020135194A1 (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
JP6802005B2 (ja) 音声認識装置、音声認識方法及び音声認識システム
US20230018473A1 (en) System and method for conversational agent via adaptive caching of dialogue tree
WO2021036644A1 (zh) 一种基于人工智能的语音驱动动画方法和装置
WO2021169431A1 (zh) 交互方法、装置、电子设备以及存储介质
US6526395B1 (en) Application of personality models and interaction with synthetic characters in a computing system
WO2023284435A1 (zh) 生成动画的方法及装置
US20190251956A1 (en) System and method for prediction based preemptive generation of dialogue content
KR20180108400A (ko) 전자 장치, 그의 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN114495927A (zh) 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、系统及介质
CN114173188B (zh) 视频生成方法、电子设备、存储介质和数字人服务器
CN113948060A (zh) 一种网络训练方法、数据处理方法及相关设备
KR20200059112A (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
CN116468826B (zh) 表情生成模型的训练方法、表情生成的方法及装置
KR102544262B1 (ko) 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치
US20220253609A1 (en) Social Agent Personalized and Driven by User Intent
US11659248B1 (en) Method, server and computer-readable medium for generating interactive content
CN117036556A (zh) 虚拟形象驱动方法、装置及机器人
CN115376487A (zh) 数字人的控制方法、模型训练方法和装置
KR102585761B1 (ko) 구획 별 주소를 인식하여 음성을 텍스트로 변환하는 주소봇 서비스를 제공하는 전자 장치의 제어 방법
KR102673384B1 (ko) 딥러닝 기반 구음 장애 분류 장치, 시스템의 제어 방법, 및 컴퓨터 프로그램
US11706492B1 (en) Method, server and computer-readable medium for recommending nodes of interactive content
KR102576754B1 (ko) 딥러닝 기반 구음 장애 음성 개선 변환 장치, 시스템의 제어 방법, 및 컴퓨터 프로그램
KR102738804B1 (ko) 캐릭터 통화서비스 제공방법, 이를 수행하는 컴퓨팅시스템, 및 컴퓨터-판독가능 기록매체

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220819

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20220819

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221129

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230313

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230612

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230613

End annual number: 3

Start annual number: 1

PG1601 Publication of registration