KR102223294B1

KR102223294B1 - Conversational interaction flow management for artificial intelligence speakers that track mobility of multiple users

Info

Publication number: KR102223294B1
Application number: KR1020200021170A
Authority: KR
Inventors: 이의진; 차나래; 김아욱; 강수원; 박철영
Original assignee: 한국과학기술원
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2021-03-05
Anticipated expiration: 2040-02-20
Also published as: WO2021167152A1

Abstract

복수 사용자의 움직임 추적을 통한 인공지능 스피커와의 대화 상호작용 흐름 관리 기술이 개시된다. 일 실시예에 따른 컴퓨터로 구현되는 상호작용 관리 시스템에 의해 수행되는 상호작용 관리 방법은, 복수의 사용자의 움직임 추적을 위한 센서 데이터를 수집하는 단계; 상기 수집된 센서 데이터를 이용하여 복수의 사용자의 움직임 상황 정보를 추출하는 단계; 및 상기 추출된 움직임 상황 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절하는 단계를 포함할 수 있다. Disclosed is a technology for managing a conversational interaction flow with an artificial intelligence speaker through motion tracking of multiple users. An interaction management method performed by a computer-implemented interaction management system according to an embodiment includes: collecting sensor data for tracking motions of a plurality of users; Extracting motion situation information of a plurality of users by using the collected sensor data; And adjusting the interaction flow with the smart speaker based on the extracted motion situation information.

Description

CONVERSATIONAL INTERACTION FLOW MANAGEMENT FOR ARTIFICIAL INTELLIGENCE SPEAKERS THAT TRACK MOBILITY OF MULTIPLE USERS}

아래의 설명은 스마트 스피커를 통한 의사결정 과업을 수행하는 사용자와의 대화 상호작용을 관리하는 기술에 관한 것이다.The description below relates to a technology for managing conversational interactions with users who perform decision-making tasks through smart speakers.

스마트 스피커는 인공지능 기술을 기반으로 대화하듯 음성으로 명령을 내려 기능을 사용할 수 있는 차세대 음성 인터페이스 서비스 플랫폼이다. 2018년 상반기 전 세계 스마트 스피커 판매량은 25.8백만대 이고, 2017년 상반기에 비해 197% 증가하였으며, 전세계 스마트 스피커 시장이 2020년까지 21억 달러(약 2조 3천400억원) 규모로 성장할 것으로 전망하고 있다. 스마트 홈의 허브 역할을 할 것으로 기대되는 스마트 스피커의 선점은 스마트 홈 시장 선점과 연결된다. 국내 스마트 홈 시장은 연평균 9.5%의 성장률을 보이며, 2025년에는 약 31조 원 규모로 확대될 전망이다. Smart speaker is a next-generation voice interface service platform that allows you to use functions by giving commands by voice, just like conversations based on AI technology. The global smart speaker sales volume in the first half of 2018 was 25.8 million units, an increase of 197% compared to the first half of 2017, and the global smart speaker market is expected to grow to $2.1 billion (about 2.4 trillion won) by 2020. . The preoccupation of smart speakers, which is expected to serve as a hub of the smart home, is linked to preoccupation in the smart home market. The domestic smart home market shows an annual average growth rate of 9.5%, and is expected to expand to about 31 trillion won in 2025.

이러한, 스마트 스피커를 활용하여 다양한 과업이 수행될 수 있다. 예를 들면, 스마트 스피커를 통해 노래 듣기("신나는 노래를 틀어줘"), 가전제품 컨트롤 ("침실 불을 꺼줘", "뉴스를 꺼줘"), 시간, 날씨, 온도 정보 듣기("내일 날씨를 알려줘", "지금 몇 시야?"), 인터넷 검색을 통한 정보 묻기("kosher 소금과 보통 소금의 차이가 무엇인지 알려줘"), 타이머, 알람 설정("20분 타이머를 설정해줘"), 쇼핑("크래커를 쇼핑 리스트에 추가해줘", "DVD를 주문해줘") 등의 다양한 과업 수행이 가능하다. 또한, 사용자의 명령 없이도 사용자의 정보 및 행동, 주변 소리 등에 기반하여 과업이 수행 될 수 있다. 예를 들면, 캘린더 일정 정보에 기반하여, 캘린더에 기록된 일정 시작 시간이 다가오면, 선제적으로 알림을 제공하거나, 유리컵 깨지는 소리, 경보 알람이 울리는 소리 등에 기반하여, 선제적으로 경고를 해주거나 또는 사용자가 침대에 눕거나 침실로 들어 갈 경우, 창문을 잠그는 등 수면전에 해야 하는 일들에 대해 선제적으로 리마인드를 하는 것 등의 과업이 수행될 수 있다.Various tasks can be performed using such a smart speaker. For example, listening to a song through a smart speaker ("Play an exciting song"), controlling appliances ("Turn off the bedroom lights", "Turn off the news"), listening to time, weather, and temperature information ("Play tomorrow's weather"). Tell me", "What time is it now?"), asking for information by browsing the Internet ("Tell me what is the difference between kosher salt and normal salt"), timer, alarm setting ("Set a 20 minute timer"), shopping ( You can perform various tasks such as "add crackers to your shopping list" and "order DVDs"). In addition, tasks can be performed based on the user's information and actions, ambient sound, etc. without the user's command. For example, based on calendar event information, when the start time of the event recorded in the calendar is approaching, it preemptively provides a reminder, or preemptively warns based on the sound of breaking a glass or the sound of an alarm alarm. Tasks such as preemptive reminders of things to be done before sleep, such as locking windows, etc., may be performed when the user lies on a bed or enters a bedroom.

스마트 스피커는 복수의 사용자가 존재 가능한 고정형 디바이스이다. 예를 들면, 가족 구성원이나 룸메이트 등의 집 구성원이 거실, 부엌 등의 장소에 있는 스마트 스피커를 함께 사용할 수 있다. 스마트 홈 내에서 개별 사용자의 움직임에 따라 자신과 스마트 스피커 사이의 거리가 변한다. 사용자와 스마트 스피커 사이의 거리에 따라 스마트 스피커와의 상호작용에 문제가 발생할 수 있다. 사용자와 스마트 스피커 사이의 상호작용은 대화인데 일반적으로 대화는 두 개체의 거리에 영향을 받는다. 거리가 멀어질수록 소리가 작아져 대화를 지속하기 어려워진다. 예를 들면, 사용자가 스마트 스피커가 설치된 거실 외 다른 공간(화장실, 방, 마당)으로 이동하는 경우, 거리가 멀어지거나 벽 등의 장애물로 대화에 어려움이 생긴다. 집 밖으로 나가는 경우 물리적으로 대화가 전혀 불가능하게 될 수도 있다. 반대로, 다른 공간에 있던 사용자가 스마트 스피커가 설치된 공간으로 이동하여 대화가 가능하게 되는 경우도 있다. 물리적으로 대화가 가능할 지라도 사용자가 스마트 스피커와의 상호작용을 선호하지 않는 상황에 있을 수 있다. 예를 들면, 사용자는 평소보다 대화 소리에 더 집중 해야 하며 더 큰소리로 말을 해야 하는 등 스마트 스피커와의 상호작용이 부담스러워 선호하지 않을 수도 있다. 스마트 홈 내에서 개별 사용자의 움직임을 고려하여 스마트 스피커와의 상호작용을 관리하는 기술이 필요하다. The smart speaker is a fixed device in which a plurality of users can exist. For example, household members such as family members or roommates can use smart speakers in places such as living rooms and kitchens. The distance between themselves and the smart speaker changes according to the movement of individual users within the smart home. Depending on the distance between the user and the smart speaker, a problem may occur in the interaction with the smart speaker. The interaction between the user and the smart speaker is a conversation, and in general, the conversation is affected by the distance between the two entities. As the distance increases, the sound decreases, making it difficult to continue the conversation. For example, when a user moves to a space (toilet, room, yard) other than a living room in which a smart speaker is installed, the distance increases or obstacles such as walls cause difficulty in conversation. If you leave the house, you may be physically unable to talk at all. Conversely, in some cases, a user in a different space may move to a space where a smart speaker is installed and chat is possible. Even if the conversation is physically possible, the user may be in a situation where the user does not prefer to interact with the smart speaker. For example, the user may not prefer the interaction with the smart speaker because it is burdensome, such as having to focus more on the conversation sound than usual and have to speak louder. There is a need for a technology to manage interactions with smart speakers in consideration of the movement of individual users within a smart home.

본 발명이 이루고자 하는 기술적 과제는 복수의 사용자의 움직임이 있는 상황에서 의사소통 거리제한이 있는 고정형 인공지능 스피커를 모바일 사용자가 원활하게 사용할 수 있도록 돕기 위해 대화의 시작, 멈춤, 재개를 지원하는 상호작용 흐름 관리를 제공하는 것이다.The technical problem to be achieved by the present invention is an interaction that supports the start, stop, and resume of a conversation in order to help mobile users to smoothly use a fixed artificial intelligence speaker with a communication distance limitation in a situation where a plurality of users moves. It is to provide flow management.

컴퓨터로 구현되는 상호작용 관리 시스템에 의해 수행되는 상호작용 관리 방법은, 복수의 사용자의 움직임 추적을 위한 센서 데이터를 수집하는 단계; 상기 수집된 센서 데이터를 이용하여 복수의 사용자의 움직임 상황 정보를 추출하는 단계; 및 상기 추출된 움직임 상황 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절하는 단계를 포함할 수 있다. An interaction management method performed by a computer-implemented interaction management system includes: collecting sensor data for tracking motions of a plurality of users; Extracting motion situation information of a plurality of users by using the collected sensor data; And adjusting the interaction flow with the smart speaker based on the extracted motion situation information.

상기 상호작용 관리 방법은, 사용자의 피드백에 따라 상호작용 흐름에 대한 사용자의 선호도 정보를 설정하는 단계를 더 포함하고, 상기 사용자의 선호도 정보를 설정하는 단계는, 사용자의 과업의 특성에 따른 움직임 상황, 상호작용 가능 또는 상호작용 허용되는 다른 사용자의 존재 여부를 고려하여 새로운 대화의 시작 또는 중단된 대화를 시작할 것인지에 대한 사용자의 선호도 정보를 설정하는 단계를 포함할 수 있다. The interaction management method further includes the step of setting user preference information for the interaction flow according to the user's feedback, and the setting of the user's preference information comprises: a motion situation according to a characteristic of the user's task. And setting preference information of a user on whether to start a new conversation or start a stopped conversation in consideration of whether or not another user is allowed to interact or be allowed to interact.

상기 수집하는 단계는, 카메라를 이용해 획득된 영상 데이터, 상기 스마트 스피커와의 사용자의 대화 데이터, 웨어러블 기기를 포함하는 전자 기기의 센서 데이터 중 적어도 하나 이상을 수집하는 단계를 포함할 수 있다. The collecting may include collecting at least one of image data acquired using a camera, user conversation data with the smart speaker, and sensor data of an electronic device including a wearable device.

상기 추출하는 단계는, 상기 스마트 스피커를 기준으로 상기 스마트 스피커와 대화가 가능한 의사소통 반경을 설정하고, 상기 획득된 각각의 데이터를 사용하여 움직임 대상, 움직임 상태, 사용자의 속도 정보, 스마트 스피커에 대한 이탈 소요 시간 정보 중 적어도 하나 이상을 포함하는 사용자의 움직임 상황 정보를 추출하는 단계를 포함할 수 있다. In the extracting step, a communication radius in which a conversation with the smart speaker is possible is set based on the smart speaker, and a movement object, a movement state, user's speed information, and a smart speaker are used by using each of the acquired data. It may include the step of extracting the movement situation information of the user including at least one or more of the departure time information.

상기 추출하는 단계는, 상기 스마트 스피커와 대화를 수행했던 복수의 사용자가 존재하는 경우, 상기 획득된 각각의 데이터를 이용하여 움직임의 대상을 판별하는 단계를 포함할 수 있다.The extracting may include determining an object of movement by using the obtained respective data when there are a plurality of users who have performed a conversation with the smart speaker.

상기 추출하는 단계는, 상기 스마트 스피커와 현재 대화를 수행하는 사용자의 경우, 스마트 스피커와 대화를 수행함에 따라 발생하는 음성 정보를 분석하여 움직임의 대상을 판별하는 단계를 포함할 수 있다.The extracting may include, in the case of a user currently performing a conversation with the smart speaker, determining an object of movement by analyzing voice information generated as a result of the conversation with the smart speaker.

상기 추출하는 단계는, 상기 스마트 스피커에 설정된 의사소통 반경에서 관찰되는 사용자의 움직임 방향, 속도를 포함하는 사용자의 움직임 상태를 추적하고, 상기 추적된 사용자의 움직임 상태에 기초하여 상기 스마트 스피커와의 상황 정보를 유추하고, 상기 유추된 상황 정보를 이용하여 상기 사용자가 상기 스마트 스피커에 설정된 의사소통 반경을 벗어나는데 소요되는 시간을 추측하는 단계를 포함할 수 있다. The extracting may include tracking a user's movement state including the user's movement direction and speed observed in a communication radius set in the smart speaker, and a situation with the smart speaker based on the tracked user's movement state. Inferring information, and estimating a time required for the user to leave the communication radius set in the smart speaker using the inferred context information.

상기 조절하는 단계는, 상기 스마트 스피커에 설정된 의사소통 반경을 중심으로 상기 스마트 스피커에 접근 또는 이탈하는 사용자의 움직임 상황 정보에 기초하여 상기 스마트 스피커와 사용자 간의 대화 시작, 정지 또는 재개 중 어느 하나를 포함하는 상호작용 흐름을 조절하는 단계를 포함할 수 있다. The adjusting may include any one of starting, stopping, or resuming a conversation between the smart speaker and the user based on motion situation information of a user approaching or leaving the smart speaker based on a communication radius set in the smart speaker. It may include the step of controlling the interaction flow.

상기 조절하는 단계는, 상기 사용자가 상기 스마트 스피커에 설정된 의사소통 반경을 벗어날 경우, 상기 스마트 스피커에서 선제적으로 사용자와 새로운 대화를 시작할 것인지 여부를 판단하거나 또는, 진행 중인 대화를 중지하고 추후에 대화를 계속할 것인지 결정하는 단계를 포함할 수 있다. The adjusting may include determining whether or not to preemptively start a new conversation with the user in the smart speaker when the user deviates from the communication radius set in the smart speaker, or to stop a conversation in progress and have a conversation later. It may include determining whether to continue.

상기 조절하는 단계는, 상기 사용자가 과업을 종료하기까지 시간이 부족한 것으로 판단함에 따라 사용자와의 새로운 대화를 시작하지 않는 단계를 포함할 수 있다. The adjusting may include not starting a new conversation with the user as the user determines that there is insufficient time to complete the task.

상기 조절하는 단계는, 주어진 과업에 대한 사용자의 선호도가 설정된 경우, 상기 사용자의 선호도를 반영하여 과업 진행 여부를 결정하는 단계를 포함할 수 있다.The adjusting may include determining whether to proceed with the task by reflecting the user's preference when the user's preference for a given task is set.

상기 조절하는 단계는, 상기 스마트 스피커와 진행 중인 대화가 존재할 경우, 대화의 진행 여부를 포함하는 메시지를 통하여 사용자에게 질의하고, 상기 질의에 대한 응답을 통하여 상기 진행 중인 대화를 중단하고 현재 상태를 저장하고, 상기 저장된 현재 상태를 기준으로 진행 중인 대화를 재개할 수 있도록 하는 단계를 포함할 수 있다. In the adjusting step, if there is a conversation in progress with the smart speaker, a query is made to the user through a message including whether or not a conversation is in progress, and the ongoing conversation is stopped through a response to the query, and the current state is saved. And resuming an ongoing conversation based on the stored current state.

상기 조절하는 단계는, 상기 스마트 스피커에 설정된 의사소통 반경에서 현재 대화 중인 사용자가 벗어나고, 의사소통 반경에 존재하는 다른 사용자와 의사 소통이 가능할 경우, 상기 스마트 스피커가 진행 중인 대화를 중지하고, 의사소통 반경에 존재하는 다른 사용자와 대화를 계속 이어나가는 단계를 포함할 수 있다. In the adjusting step, when the current conversational user deviates from the communication radius set in the smart speaker and communication with other users existing in the communication radius is possible, the smart speaker stops the ongoing conversation, and communicates. It may include the step of continuing the conversation with another user existing in the radius.

상기 조절하는 단계는, 상기 스마트 스피커에 설정된 의사소통 반경에 사용자가 접근할 경우, 상기 접근하는 사용자가 새로운 대화 과업이 가용한 경우 스마트 스피커에서 사용자에게 새로운 대화 과업을 제시하거나, 상기 접근한 사용자가 수행했던 중단된 과업이 존재할 경우, 상기 중단된 과업을 재개하는 단계를 포함할 수 있다. In the adjusting step, when a user approaches a communication radius set in the smart speaker, the approaching user presents a new conversation task to the user in the smart speaker when a new conversation task is available, or the approaching user If there is a suspended task that has been performed, it may include the step of resuming the interrupted task.

상호작용 관리 시스템은, 복수의 사용자의 움직임 추적을 위한 센서 데이터를 수집하는 센서 데이터 수집부; 상기 수집된 센서 데이터를 이용하여 복수의 사용자의 움직임 상황 정보를 추출하는 움직임 상황 정보 추론부; 상기 사용자의 피드백에 따라 상호작용 흐름에 대한 사용자의 선호도 정보를 설정하는 사용자 선호도 설정부; 및 상기 추출된 움직임 상황 정보 및 상기 설정된 사용자의 선호도 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절하는 상호작용 흐름 조절부를 포함할 수 있다. The interaction management system includes: a sensor data collection unit that collects sensor data for tracking motions of a plurality of users; A motion condition information inference unit for extracting motion condition information of a plurality of users by using the collected sensor data; A user preference setting unit for setting user preference information for an interaction flow according to the user's feedback; And an interaction flow controller configured to adjust the interaction flow with the smart speaker based on the extracted motion situation information and the set user preference information.

고정형 인공지능 스피커의 의사소통 거리제한으로 인하여 모바일 사용자는 대화 흐름 중단 문제를 겪게 된다. 본 발명의 실시예에 따르면 사용자의 움직임을 고려하여 선제적으로 상호작용에 대한 흐름 조절(대화 시작, 멈춤, 재개)을 제공하므로 사용자의 움직임으로 인한 상호작용 흐름 중단 문제를 해결할 수 있다. Due to the limitation of the communication distance of the fixed artificial intelligence speaker, the mobile user suffers from a problem of interruption of the conversation flow. According to an exemplary embodiment of the present invention, since the flow control (start, stop, and resume a conversation) for the interaction is preemptively provided in consideration of the movement of the user, the problem of interruption of the interaction flow due to the movement of the user can be solved.

도 1은 일 실시예에 따른 상호작용 관리 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 상호작용 관리 시스템에서 대화를 수행하는 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 상호작용 관리 시스템에서 의사소통 반경을 설하는 것을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 상호작용 관리 시스템에서 상호작용 흐름을 조절하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 상호작용 관리 시스템에서 인공지능 스피커와의 대화 상호작용 흐름 관리 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 상호작용 관리 시스템에서 인공지능 스피커와의 대화 상호작용 흐름 관리 방법을 설명하기 위한 또 다른 흐름도이다. 1 is a block diagram illustrating a configuration of an interaction management system according to an embodiment.
2 is a diagram illustrating an operation of performing a conversation in an interaction management system according to an exemplary embodiment.
3 is a diagram for explaining setting a communication radius in the interaction management system according to an embodiment.
4 is a diagram for describing an operation of adjusting an interaction flow in an interaction management system according to an exemplary embodiment.
5 is a flowchart illustrating a method of managing a flow of a conversation interaction with an artificial intelligence speaker in an interaction management system according to an exemplary embodiment.
6 is another flowchart illustrating a method of managing a flow of a conversation interaction with an artificial intelligence speaker in an interaction management system according to an exemplary embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

실시예에서는 스마트 스피커를 통한 의사결정 과업을 수행하는 사용자와의 대화 상호작용을 관리하는 것으로, 복수의 사용자의 움직임이 있는 상황에서 의사소통 거리제한이 있는 고정형 스마트(인공지능) 스피커를 사용자가 원활하게 사용할 수 있도록 돕기 위하여 대화의 시작, 멈춤, 재개를 지원하는 상호작용 흐름 관리를 제공하는 방법 및 시스템을 설명하기로 한다. 이를 통해, 고정형 인공지능 스피커의 의사소통 거리제한으로 인하여 사용자들이 겪는 대화 흐름 중단 문제를 해결할 수 있다. In the embodiment, a conversational interaction with a user performing a decision-making task is managed through a smart speaker, and a fixed type smart (artificial intelligence) speaker with a communication distance limitation in a situation where a plurality of users moves is smoothly used by the user. In order to help you use it properly, a method and system for providing interactive flow management that supports the start, stop, and resume of a conversation will be described. Through this, it is possible to solve the problem of interrupting the conversation flow experienced by users due to the communication distance limitation of the fixed artificial intelligence speaker.

도 1은 일 실시예에 따른 상호작용 관리 시스템의 구성을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of an interaction management system according to an embodiment.

상호작용 관리 시스템(100)은 복수의 사용자의 움직임 추적을 통한 인공지능 스피커와의 대화 상호작용 흐름 관리를 위한 것으로, 센서 데이터 수집부(110), 움직임 상황 정보 추론부(120), 사용자 선호도 설정부(130) 및 상호작용 흐름 조절부(140)를 포함할 수 있다. 상호작용 관리 시스템(100)은 복수의 사용자의 움직임을 고려하여 선제적으로 대화 시작, 중지, 재개를 포함하는 상호작용에 대한 흐름 관리를 제공할 수 있다. The interaction management system 100 is for managing the flow of dialogue interactions with artificial intelligence speakers through motion tracking of a plurality of users, and a sensor data collection unit 110, a motion situation information inference unit 120, and user preference setting It may include a unit 130 and an interaction flow control unit 140. The interaction management system 100 may preemptively provide flow management for interaction including starting, stopping, and resuming a conversation in consideration of movements of a plurality of users.

센서 데이터 수집부(110)는 복수의 사용자의 움직임 추적을 위하여 다중 센서 데이터를 수집할 수 있다. The sensor data collection unit 110 may collect multi-sensor data to track motions of a plurality of users.

움직임 상황 정보 추론부(120)는 수집된 다중 센서 데이터를 사용하여 복수의 사용자의 움직임 상황 정보를 추출할 수 있다. 움직임 상황 정보 추론부(120)는 사용자의 정보, 의사소통 반경(의사 소통 제한 거리 범위)에 기초하여 사용자의 움직임 현황(예를 들면, 스마트 스피커에 접근 중, 이탈 중), 사용자의 속도, 이탈 소요 시간 중 적어도 하나 이상을 포함하는 사용자의 움직임 상황 정보를 추출할 수 있다.The motion condition information inference unit 120 may extract motion condition information of a plurality of users by using the collected multi-sensor data. The motion situation information inference unit 120 is based on the user's information and the communication radius (communication restriction distance range), the user's motion status (eg, approaching the smart speaker, while leaving), the user's speed, and the departure. It is possible to extract the user's motion situation information including at least one or more of the required time.

사용자 선호도 설정부(130)는 사용자의 피드백에 기초하여 상호작용 흐름에 대한 사용자의 선호도를 설정할 수 있다. 예를 들면, 사용자 선호도 설정부(130)는 사용자로부터의 피드백 정보에 기초하여 사용자의 선호도를 판단할 수 있고, 또는, 사용자로부터 피드백을 통하여 상호작용 흐름에 대한 선호도 정보가 입력됨을 수신할 수 있다.The user preference setting unit 130 may set the user's preference for the interaction flow based on the user's feedback. For example, the user preference setting unit 130 may determine the user's preference based on the feedback information from the user, or may receive that preference information for the interaction flow is inputted through the feedback from the user. .

상호작용 흐름 조절부(140)는 추출된 사용자의 움직임 상황 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절할 수 있다. 상호작용 흐름 조절부(140)는 대화의 시작, 중지 또는 재개 중 적어도 하나 이상을 포함하는 상호작용에 대한 흐름을 조절할 수 있다. 상호작용 흐름 조절부(140)는 의사소통 반경을 중심으로 스마트 스피커에 접근 또는 이탈하는 사용자의 움직임 상황 정보에 따라 상호작용 흐름을 조절할 수 있다. The interaction flow control unit 140 may adjust the interaction flow with the smart speaker based on the extracted user's movement situation information. The interaction flow controller 140 may adjust a flow for interaction including at least one or more of starting, stopping, or resuming a conversation. The interaction flow control unit 140 may adjust the interaction flow according to the movement situation information of a user approaching or leaving the smart speaker based on the communication radius.

도 2는 일 실시예에 따른 상호작용 관리 시스템에서 대화를 수행하는 동작을 설명하기 위한 도면이다. 2 is a diagram illustrating an operation of performing a conversation in an interaction management system according to an exemplary embodiment.

상호작용 관리 시스템은 스마트 스피커에서 동작될 수 있다. 예를 들면, 상호작용 관리 시스템은 스마트 스피커에서 플랫폼 형태로 구성되거나, 또는, 상호작용 관리를 위한 어플리케이션이 설치됨으로써 상호작용 관리 서비스가 제공될 수 있다. 스마트 스피커는 음성인식 기술과 클라우드, 인공지능 기술을 활용하여 음성정보를 전달하는 사용자 인터페이스 기기로 사용자의 요청에 대한 처리를 수행한다. 스마트 스피커란 일종의 무선 스피커로서, 하나 이상의 인상적인 말(hot word)의 도움을 받아 상호작용 동작과 핸즈프리 활성화를 제공하는 가상 비서가 내장된 보이스 커맨드 디바이스를 의미할 수 있다. 일부 스마트 스피커들은 무선 네트워크(예를 들면, 와이파이)를 이용하는 전자 기기의 역할을 할 수 있으며, 무선 네트워크(예를 들면, 블루투스)와 기타 무선 프로토콜 표준을 사용하여 스마트 홈 장치를 통제하기 위한 목적으로 오디오 재생의 이용 범위를 넓힐 수 있다. 이때, 각각의 스마트 스피커는 각각의 독창적인 인터페이스와 기능을 갖추고 있으며, 애플리케이션이나 스마트 홈 소프트웨어를 통해 시작되거나 통제될 수 있다. The interaction management system can be operated on a smart speaker. For example, the interaction management system may be configured in the form of a platform in a smart speaker, or an application for interaction management may be installed to provide an interaction management service. The smart speaker is a user interface device that delivers voice information using voice recognition technology, cloud, and artificial intelligence technology, and processes user requests. A smart speaker is a kind of wireless speaker, and may mean a voice command device with a built-in virtual assistant that provides interactive operation and hands-free activation with the help of one or more impressive hot words. Some smart speakers can act as electronic devices using a wireless network (e.g., Wi-Fi), for the purpose of controlling smart home devices using a wireless network (e.g., Bluetooth) and other wireless protocol standards. The range of use of audio playback can be broadened. At this time, each smart speaker has its own unique interface and function, and can be started or controlled through an application or smart home software.

스마트 스피커에서 사용자와의 대화를 수행하는 상호작용(인터랙션)이 수행될 수 있다. 일례로, 사용자로부터 음성 데이터 또는 텍스트 데이터가 입력될 수 있다. 상호작용 관리 시스템은 사용자로부터 입력됨 음성 데이터 또는 텍스트 데이터에 대한 자연어 처리를 통해 자연어를 이해할 수 있다. 대화 관리자는 사용자의 발화 의도를 파악하여 대응을 위한 의미적 표현을 생성할 수 있으며, 진행 중인 대화 또는 새로운 대화 시작에 대한 상호작용 흐름 제어를 수행할 수 있다. 예를 들면, 대화 관리자는 언어적인 분석을 통하여 각 발화의 의미를 분석하고, 문맥과 상황에 기초하여 사용자의 의도를 파악할 수 있다. 대화 관리자는 형태소 분석, 개체명 인식, 영역 검출(날씨, 일정 등), 화행(Speech acts) 분석(예약 요구, 수정, 취소 등)을 수행할 수 있고, 또는 입력된 의미 표현으로부터 발화할 문장을 생성할 수 있다. 대화 관리자는 대화 흐름과 상황을 고려하여 사용자의 발화의 의도에 대한 최선의 대화 전략(예를 들면, 차례 선정, 교감 및 오해 보상, 대화 주도 및 확인 전략 등)을 결정하여 발화에 대응(상호작용)하기 위한 표현을 생성할 수 있다. 이때, 대화 관리자는 상호작용 관리 시스템의 데이터베이스에 저장된 정보에 기초하여 사용자의 발화 의도를 파악할 수 있고, 파악된 발화 의도에 대한 표현을 생성할 수 있다. 또한, 대화 관리자는 데이터베이스에 저장된 정보를 이용하여 진행 중인 대화 또는 새로운 대화 시작에 대한 상호작용 흐름을 제어하기 위한 정보를 제공할 수 있다. 상호작용 관리 시스템은 파악된 발화 의도에 대한 표현을 사용자에게 전달하기 위하여 자연어를 생성하여, 음성 데이터 또는 텍스트 데이터로 출력할 수 있다. An interaction (interaction) that conducts a conversation with a user in the smart speaker may be performed. For example, voice data or text data may be input from a user. The interaction management system can understand natural language through natural language processing on voice data or text data input from a user. The conversation manager can grasp the user's utterance intention and generate a semantic expression for a response, and can control the flow of interaction for an ongoing conversation or a new conversation start. For example, the conversation manager can analyze the meaning of each utterance through linguistic analysis and grasp the user's intention based on the context and situation. The conversation manager can perform morpheme analysis, entity name recognition, area detection (weather, schedule, etc.), speech acts analysis (reservation request, correction, cancellation, etc.), or can generate sentences to be uttered from the input semantic expression. Can be generated. The conversation manager determines the best conversation strategy for the intention of the user's speech in consideration of the flow and situation of the conversation (e.g., selection of order, compensation for communion and misunderstanding, strategy for leading and confirming conversation, etc.) and responding to the speech (interaction You can create expressions for ). In this case, the conversation manager can grasp the user's speech intention based on the information stored in the database of the interaction management system, and can generate an expression for the identified speech intention. In addition, the conversation manager may provide information for controlling an interaction flow for an ongoing conversation or a new conversation start by using information stored in the database. The interaction management system may generate natural language and output it as voice data or text data in order to deliver the expression of the identified utterance intention to the user.

도 3은 일 실시예에 따른 상호작용 관리 시스템에서 의사소통 반경을 설하는 것을 설명하기 위한 도면이다. 3 is a diagram for explaining setting a communication radius in the interaction management system according to an embodiment.

상호작용 관리 시스템은 소리 정보 및 영상 정보를 수집하여 움직임 상황 정보를 분류하고, 분류된 움직임 상황 정보의 수집에 적합한 질문을 생성하여 경험 샘플링을 수행할 수 있다. 이에, 상호작용 관리 시스템은 사용자의 움직임 상황 정보를 분석하기 위하여 소리 정보만을 이용하는 한계를 해결할 수 있다. The interaction management system may collect sound information and image information, classify motion situation information, and generate a question suitable for collection of the classified motion situation information, and perform experiential sampling. Accordingly, the interaction management system can solve the limitation of using only sound information to analyze the user's motion situation information.

상호작용 관리 시스템은 복수의 사용자의 움직임 추적을 위하여 다중 센서 데이터를 수집할 수 있다. 상호작용 관리 시스템은 카메라를 이용한 사진 촬영을 통하여 획득된 영상 데이터, 스마트 스피커와의 사용자의 대화 데이터, 웨어러블 기기를 포함하는 전자 기기로부터 센서 데이터 중 적어도 하나 이상의 데이터를 수집할 수 있다. 예를 들면, 도플러 효과 추적에 따른 사용자의 대화 소리를 수집할 수 있고, 사용자의 전자 기기(예를 들면, 웨어러블 기기, 스마트 밴드 등)으로부터 사용자와 관련된 센서 데이터를 수집할 수 있다. 전자 기기의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 기기(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. The interaction management system may collect multi-sensor data to track motions of a plurality of users. The interaction management system may collect at least one of image data acquired through photographing using a camera, user conversation data with a smart speaker, and sensor data from an electronic device including a wearable device. For example, the user's conversation sound according to the Doppler effect tracking may be collected, and sensor data related to the user may be collected from the user's electronic device (for example, a wearable device, a smart band, etc.). Examples of electronic devices include smart phones, mobile phones, navigation systems, computers, notebook computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), tablet PCs, game consoles, There are wearable devices, internet of things (IoT) devices, virtual reality (VR) devices, and augmented reality (AR) devices.

일례로, 상호작용 관리 시스템은 카메라를 이용하여 주기적 또는 동적 상황에 순응하여 비주기적으로 사진 촬영을 진행하여 영상 정보를 획득할 수 있다. 이때, 상호작용 관리 시스템은 영상 정보를 통하여 기 등록된 사용자 정보와 매칭함으로써 사용자를 식별할 수 있다. 또는, 상호작용 관리 시스템은 영상 정보를 통하여 사용자의 움직임 상황 정보를 획득할 수 있다. 사용자 움직임 상황 정보 수집의 경우 카메라 외에 라이다, PIR 센서, 무선 신호를 대신 사용 가능하다. For example, the interaction management system may acquire image information by taking a picture aperiodically in response to a periodic or dynamic situation using a camera. In this case, the interaction management system may identify a user by matching with previously registered user information through image information. Alternatively, the interaction management system may obtain information on a user's motion situation through image information. In the case of collecting user movement situation information, in addition to the camera, a lidar, a PIR sensor, and a wireless signal can be used instead.

상호작용 관리 시스템은 다중 센서 데이터를 사용하여 복수의 사용자의 움직임 상황 정보를 추출할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 대화가 가능한 의사소통 반경을 정의할 수 있다. 예를 들면, 스마트 스피커를 중심으로 대화가 가능한 의사소통 반경(예를 들면, 반경 5m, 또는, 스마트 스피커가 위치한 방 등)이 정의될 수 있다. The interaction management system may extract motion situation information of a plurality of users by using multi-sensor data. The interaction management system can define the communication radius that can be communicated with the smart speaker. For example, a communication radius (for example, a radius of 5 m, or a room in which a smart speaker is located) in which conversation is possible may be defined around the smart speaker.

상호작용 관리 시스템은 다중 센서 데이터를 이용하여 움직임 대상 또는 움직임 상태 중 적어도 하나 이상을 포함하는 사용자의 움직임 정보를 추출할 수 있다. 일례로, 상호작용 관리 시스템은 어떤 사용자가 움직이고 있는지에 대한 움직임 대상을 판단할 수 있다. 예를 들면, 스마트 스피커에 복수의 사용자가 존재하는 경우, 카메라, 웨어러블 기기를 포함하는 전자 기기, 목소리로부터 수집되는 정보를 적어도 하나 이상 사용하여 움직임 대상이 판별될 수 있다. 이때, 상호작용 관리 시스템에 각각의 사용자의 식별 정보가 데이터베이스에 저장될 수 있고, 저장된 사용자의 식별 정보와 스마트 스피커를 통해 수집되는 정보와 비교하여 움직임 대상을 판단할 수 있다. 또는, 상호작용 관리 시스템은 스마트 스피커와 현재 대화를 수행하는 사용자의 경우, 사용자의 음성 정보를 분석하여 움직임 대상을 판별할 수도 있다. The interaction management system may extract motion information of a user including at least one or more of a motion object or a motion state by using multi-sensor data. As an example, the interaction management system may determine a moving object as to which user is moving. For example, when a plurality of users are present in the smart speaker, a motion target may be determined by using at least one or more information collected from a camera, an electronic device including a wearable device, and a voice. In this case, identification information of each user may be stored in a database in the interaction management system, and a movement object may be determined by comparing the stored identification information of the user with information collected through a smart speaker. Alternatively, in the case of a user currently conducting a conversation with the smart speaker, the interaction management system may determine a movement target by analyzing the user's voice information.

다른 예로서, 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에서 관찰되는 사용자의 움직임 상태를 판단할 수 있다. 상호작용 관리 시스템은 사용자가 의사소통 반경에서 어떠한 움직임이 관찰되는 지 추적할 수 있다. 예를 들면, 상호작용 관리 시스템은 추적되는 사용자의 움직임을 기록해놓을 수 있다. 또한, 상호작용 관리 시스템은 사용자의 움직임 방향 및 속도를 통하여 움직임 상태를 판단할 수 있으며, 판단된 사용자의 움직임 방향 및 속도를 통하여 상황 정보(예를 들면, 스마트 스피커와 거리가 가까워짐, 멀어짐, 배회 중 등)을 유추할 수 있다. 또한, 상호작용 관리 시스템은 상황 정보를 활용하여 사용자가 의사소통 반경을 벗어나는 데까지 소용되는 시간 정보를 유추할 수도 있다. As another example, the interaction management system may determine a motion state of a user observed in a communication radius set in the smart speaker. The interaction management system allows the user to track what movement is observed in the communication radius. For example, an interaction management system may record the user's movements being tracked. In addition, the interaction management system can determine the state of movement through the direction and speed of the user's movement, and situation information (e.g., the smart speaker and the distance closer, distant, roaming) through the determined movement direction and speed of the user. Middle, etc.) can be inferred. In addition, the interaction management system may use the context information to infer time information used until the user leaves the communication radius.

상호작용 관리 시스템은 상기 수집한 추출한 상황 정보와 과거 상호작용 이력을 기초로 하여 상호작용 패턴을 학습할 수 있다. 예를 들면, 사용자 움직임이 수분 이상 없음이 판별된 상황에 스마트 스피커가 선제적으로 상호작용한 이력이 자주 발견되는 패턴을 학습하여, 상기 상황 정보가 추출되는 시점을 선제적 상호작용 가능 시점으로 삼을 수 있다.The interaction management system may learn an interaction pattern based on the collected and extracted context information and a past interaction history. For example, a pattern in which the history of preemptively interacting with a smart speaker is often found in a situation where it is determined that the user's movement is not more than a few minutes, and the time at which the situation information is extracted is considered as the time when the preemptive interaction is possible Can be.

도 4를 참고하면, 상호작용 관리 시스템은 추출된 사용자의 움직임 상황 정보를 활용하여 스마트 스피커와의 상호 작용 흐름을 조절할 수 있다. 파악된 움직임 상황 정보를 사용하여 다음의 상황을 처리할 수 있다. 우선, 의사소통 반경에서 벗어나는 사례에 대하여 설명하기로 한다. 상호작용 관리 시스템은 상호작용 흐름을 조절할 수 있다. 일례로, 상호작용 관리 시스템은 스마트 스피커가 선제적으로 새로운 대화를 시작할 것인지 여부를 판단할 수 있다. 예를 들면, 상호작용 관리 시스템은 사용자가 새로운 과업을 종료하기까지 시간이 부족한 것으로 판단되면, 새로운 대화 과업을 시작하지 않을 수 있다. 또한, 상호작용 관리 시스템은 주어진 과업에 대한 사용자의 선호도가 설정된 경우, 사용자 개인의 선호도에 기초하여 과업 진행 여부를 결정할 수 있다. 또는, 상호작용 관리 시스템은 진행 중인 대화를 중단하고 추후에 대화를 계속할 것인지 상호작용을 수행할 수 있다. 예를 들면, 상호작용 관리 시스템은 스마트 스피커와 진행 중인 대화가 존재할 경우, "잠시 후에 계속할까요?"와 같이 질의하며 현재 대화를 중단하고, 현재 상태를 저장하여 추후에 대화를 재개할 수 있도록 할 수 있다. Referring to FIG. 4, the interaction management system may adjust the interaction flow with the smart speaker by using the extracted user's motion situation information. The following situations can be processed using the identified motion situation information. First, a case outside the communication radius will be described. The interaction management system can regulate the interaction flow. For example, the interaction management system may determine whether the smart speaker will preemptively start a new conversation. For example, the interaction management system may not start a new conversation task if it is determined that there is insufficient time for the user to finish the new task. In addition, when the user's preference for a given task is set, the interaction management system may determine whether to proceed with the task based on the user's individual preference. Alternatively, the interaction management system may interrupt an ongoing conversation and perform an interaction whether to continue the conversation later. For example, if there is a conversation in progress with the smart speaker, the interaction management system can stop the current conversation by querying "Would you like to continue in a minute?" and save the current state so that the conversation can be resumed at a later time. I can.

다른 예로서, 사용자가 의사소통 반경에서 벗어나고 다른 사용자가 계속 가능한 사례에 대하여 설명하기로 한다. 상호작용 관리 시스템은 스마트 스피커가 진행 중인 대화를 중단하고 의사소통 반경에 존재하는 다른 사용자와 대화를 계속해 나갈 수 있도록 한다. As another example, a case where a user is out of a communication radius and another user can continue will be described. The interaction management system allows the smart speaker to stop a conversation in progress and continue the conversation with other users who are in the communication radius.

또 다른 예로서, 의사소통 반경에 사용자가 접근하는 사례에 대하여 설명하기로 한다. 상호작용 관리 시스템은 사용자에게 맞는 새로운 대화 과업이 가용한 경우, 스마트 스피커가 선제적으로 사용자에게 과업을 제시할 수 있다. 또는, 상호작용 관리 시스템은 주어진 사용자가 수행했었던 중단된 과업이 존재할 경우, 중단된 과업을 재개할 수 있다. As another example, a case where a user approaches a communication radius will be described. In the interaction management system, when a new conversation task suitable for the user is available, the smart speaker can preemptively present the task to the user. Alternatively, the interaction management system may resume the interrupted task if there is an interrupted task that a given user has performed.

또한, 상호작용 관리 시스템은 사용자의 상호작용 흐름에 대한 개인 선호도가 설정되어 있는 경우, 각 사례에 대하여 사용자의 개인 선호도에 따라 작동할 수 있도록 상호작용 흐름을 제어할 수 있다. 상호작용 관리 시스템은 주어진 과업의 특성에 맞는 움직임 상황(예를 들면, 가까워짐/멀어짐 등) 특징 및 상호작용 가능/허용되는 다른 사용자의 존재 여부를 고려하여 새로운 대화의 시작 또는 중단된 대화를 시작할 것인지에 대한 사용자의 선호도를 설정할 수도 있다. In addition, when a personal preference for the user's interaction flow is set, the interaction management system may control the interaction flow to operate according to the user's personal preference for each case. The interaction management system decides whether to start a new conversation or start an interrupted conversation, taking into account the characteristics of the movement situation (e.g., getting closer/away, etc.) appropriate to the characteristics of a given task and the presence of other users who are allowed/allowed to interact. You can also set the user's preference for.

도 5는 일 실시예에 따른 상호작용 관리 시스템에서 인공지능 스피커와의 대화 상호작용 흐름 관리 방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a method of managing a flow of a conversation interaction with an artificial intelligence speaker in an interaction management system according to an exemplary embodiment.

단계(510)에서 상호작용 관리 시스템은 복수의 사용자의 움직임 추적을 위한 센서 데이터를 수집할 수 있다. 상호작용 관리 시스템은 카메라를 이용해 획득된 영상 데이터, 스마트 스피커와의 사용자의 대화 데이터, 웨어러블 기기를 포함하는 전자 기기로부터 센서 데이터 중 적어도 하나 이상을 수집할 수 있다. 예를 들면, 상호작용 관리 시스템은 사진/영상 촬영 등 카메라를 활용한 기법들을 통하여 영상 데이터를 획득할 수 있다. In step 510, the interaction management system may collect sensor data for tracking motions of a plurality of users. The interaction management system may collect at least one or more of image data acquired using a camera, user conversation data with a smart speaker, and sensor data from an electronic device including a wearable device. For example, the interaction management system may acquire image data through techniques using a camera such as photographing/video recording.

단계(520)에서 상호작용 관리 시스템은 수집된 데이터를 이용하여 복수의 사용자의 움직임 상황 정보를 추출할 수 있다. 상호작용 관리 시스템은 스마트 스피커를 기준으로 스마트 스피커와 대화가 가능한 의사소통 반경을 설정하고, 획득된 각각의 데이터를 사용하여 움직임 대상, 움직임 상태, 사용자의 속도 정보, 스마트 스피커에 대한 이탈 소요 시간 정보 중 적어도 하나 이상을 포함하는 사용자의 움직임 상황 정보를 추출할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 대화를 수행했던 복수의 사용자가 존재하는 경우, 획득된 각각의 데이터를 이용하여 움직임의 대상을 판별할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 현재 대화를 수행하는 사용자의 경우, 스마트 스피커와 대화를 수행함에 따라 발생하는 음성 정보를 분석하여 움직임의 대상을 판별할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에서 관찰되는 사용자의 움직임 방향, 속도를 포함하는 사용자의 움직임 상태를 추적하고, 추적된 사용자의 움직임 상태에 기초하여 스마트 스피커와의 상황 정보를 유추하고, 유추된 상황 정보를 이용하여 사용자가 스마트 스피커에 설정된 의사소통 반경을 벗어나는데 소요되는 시간을 추측할 수 있다. In step 520, the interaction management system may extract motion situation information of a plurality of users by using the collected data. The interaction management system sets the communication radius for conversation with the smart speaker based on the smart speaker, and uses each acquired data to move the target, movement status, user's speed information, and departure time information for the smart speaker. It is possible to extract the user's motion situation information including at least one or more. The interaction management system may determine the object of movement by using each acquired data when there are a plurality of users who have engaged in a conversation with the smart speaker. In the case of a user currently performing a conversation with the smart speaker, the interaction management system may determine the object of movement by analyzing voice information generated by the conversation with the smart speaker. The interaction management system tracks the user's movement state including the user's movement direction and speed observed in the communication radius set in the smart speaker, and infers context information with the smart speaker based on the tracked user's movement state. , Using the inferred situation information, it is possible to estimate the time it takes for the user to leave the communication radius set in the smart speaker.

단계(530)에서 상호작용 관리 시스템은 추출된 움직임 상황 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경을 중심으로 스마트 스피커에 접근 또는 이탈하는 사용자의 움직임 상황 정보에 기초하여 스마트 스피커와 사용자 간의 대화 시작, 정지 또는 재개 중 어느 하나를 포함하는 상호작용 흐름을 조절할 수 있다. 상호작용 관리 시스템은 사용자가 상기 스마트 스피커에 설정된 의사소통 반경을 벗어날 경우, 스마트 스피커에서 선제적으로 사용자와 새로운 대화를 시작할 것인지 여부를 판단하거나 또는, 진행 중인 대화를 중지하고 추후에 대화를 계속할 것인지 결정할 수 있다. 상호작용 관리 시스템은 사용자가 과업을 종료하기까지 시간이 부족한 것으로 판단함에 따라 사용자와의 새로운 대화를 시작하지 않을 수 있다. 상호작용 관리 시스템은 스마트 스피커와 진행 중인 대화가 존재할 경우, 대화의 진행 여부를 포함하는 메시지를 통하여 사용자에게 질의하고, 질의에 대한 응답을 통하여 상기 진행 중인 대화를 중단하고 현재 상태를 저장하고, 저장된 현재 상태를 기준으로 진행 중인 대화를 재개할 수 있도록 할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에서 현재 대화 중인 사용자가 벗어나고, 의사소통 반경에 존재하는 다른 사용자와 의사 소통이 가능할 경우, 스마트 스피커가 진행 중인 대화를 중지하고, 의사소통 반경에 존재하는 다른 사용자와 대화를 계속 이어나갈 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에 사용자가 접근할 경우, 접근하는 사용자에게 새로운 대화 과업이 가용한 경우 스마트 스피커에서 사용자에게 새로운 대화 과업을 제시하거나, 접근한 사용자가 수행했던 중단된 과업이 존재할 경우, 중단된 과업을 재개할 수 있다. In step 530, the interaction management system may adjust the interaction flow with the smart speaker based on the extracted motion situation information. The interaction management system is an interaction flow that includes any one of starting, stopping, or resuming a conversation between the smart speaker and the user based on the motion situation information of the user approaching or leaving the smart speaker based on the communication radius set in the smart speaker. Can be adjusted. The interaction management system determines whether or not to preemptively start a new conversation with the user from the smart speaker when the user deviates from the communication radius set in the smart speaker, or whether to stop the ongoing conversation and continue the conversation later. You can decide. The interaction management system may not start a new conversation with the user as the user determines that there is insufficient time to complete the task. When there is an ongoing conversation with the smart speaker, the interaction management system queries the user through a message including whether or not the conversation has progressed, and stops the ongoing conversation through a response to the query, stores the current state, and saves Based on the current state, it can be possible to resume an ongoing conversation. In the interaction management system, when the current conversational user deviates from the communication radius set in the smart speaker and it is possible to communicate with other users existing in the communication radius, the smart speaker stops the ongoing conversation and exists in the communication radius. You can continue the conversation with other users who do. The interaction management system presents a new conversation task to the user in the smart speaker when a user approaches the communication radius set in the smart speaker, and a new conversation task is available to the approaching user, or the interrupted conversation task performed by the approaching user. If a task exists, the interrupted task can be resumed.

도 6은 일 실시예에 따른 상호작용 관리 시스템에서 인공지능 스피커와의 대화 상호작용 흐름 관리 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating a method of managing a flow of a conversation interaction with an artificial intelligence speaker in an interaction management system according to an exemplary embodiment.

도 6에서는, 사용자의 선호도가 반영된 상호작용 흐름 관리 방법에 대하여 설명하기로 한다. In FIG. 6, a method of managing an interaction flow reflecting a user's preference will be described.

단계(610)에서 상호작용 관리 시스템은 복수의 사용자의 움직임 추적을 위한 센서 데이터를 수집할 수 있다. 상호작용 관리 시스템은 카메라를 이용해 획득된 영상 정보, 스마트 스피커와의 사용자의 대화 데이터, 웨어러블 기기를 포함하는 전자 기기로부터 센서 데이터를 수집할 수 있다. 예를 들면, 상호작용 관리 시스템은 사진/영상 촬영 등 카메라를 활용한 기법들을 통하여 영상 데이터를 획득할 수 있다. In step 610, the interaction management system may collect sensor data for tracking motions of a plurality of users. The interaction management system may collect image information acquired using a camera, user conversation data with a smart speaker, and sensor data from electronic devices including wearable devices. For example, the interaction management system may acquire image data through techniques using a camera such as photographing/video recording.

단계(620)에서 상호작용 관리 시스템은 수집된 센서 데이터를 이용하여 복수의 사용자의 움직임 상황 정보를 추출할 수 있다. 상호작용 관리 시스템은 스마트 스피커를 기준으로 스마트 스피커와 대화가 가능한 의사소통 반경을 설정하고, 획득된 각각의 센서 데이터를 사용하여 움직임 대상, 움직임 상태, 사용자의 속도 정보, 스마트 스피커에 대한 이탈 소요 시간 정보 중 적어도 하나 이상을 포함하는 사용자의 움직임 상황 정보를 추출할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 대화를 수행했던 복수의 사용자가 존재하는 경우, 복수의 사용자로부터 수집된 영상 정보, 웨어러블 기기를 포함하는 전자 기기 및 대화 데이터로부터 수집되는 센서 데이터를 이용하여 움직임의 대상을 판별할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 현재 대화를 수행하는 사용자의 경우, 스마트 스피커와 대화를 수행함에 따라 발생하는 음성 정보를 분석하여 움직임의 대상을 판별할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에서 관찰되는 사용자의 움직임 방향, 속도를 포함하는 사용자의 움직임 상태를 추적하고, 추적된 사용자의 움직임 상태에 기초하여 스마트 스피커와의 상황 정보를 유추하고, 유추된 상황 정보를 이용하여 사용자가 스마트 스피커에 설정된 의사소통 반경을 벗어나는데 소요되는 시간을 추측할 수 있다. In step 620, the interaction management system may extract motion situation information of a plurality of users by using the collected sensor data. The interaction management system sets the communication radius for conversation with the smart speaker based on the smart speaker, and uses each acquired sensor data to move target, movement status, user's speed information, and the time it takes to leave the smart speaker. It is possible to extract the user's motion situation information including at least one or more of the information. The interaction management system uses image information collected from a plurality of users, electronic devices including wearable devices, and sensor data collected from conversation data when there are a plurality of users who have communicated with the smart speaker. Can be determined. In the case of a user currently performing a conversation with the smart speaker, the interaction management system may determine the object of movement by analyzing voice information generated by the conversation with the smart speaker. The interaction management system tracks the user's movement state including the user's movement direction and speed observed in the communication radius set in the smart speaker, and infers context information with the smart speaker based on the tracked user's movement state. , Using the inferred situation information, it is possible to estimate the time it takes for the user to leave the communication radius set in the smart speaker.

단계(630)에서 상호작용 관리 시스템은 추출된 움직임 상황 정보 및 사용자의 피드백에 따라 설정된 상호작용에 대한 사용자의 선호도 정보에 기초하여 스마트 스피커와 상호작용 흐름을 조절할 수 있다. 구체적으로, 상호작용 관리 시스템은 사용자의 피드백에 따라 상호작용 흐름에 대한 사용자의 선호도 정보를 설정할 수 있다. 이때, 사용자의 과업의 특성에 따른 움직임 상황, 상호작용 가능 또는 상호작용 허용되는 다른 사용자의 존재 여부를 고려하여 새로운 대화의 시작 또는 중단된 대화를 시작할 것인지에 대한 사용자의 선호도 정보를 설정할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경을 중심으로 스마트 스피커에 접근 또는 이탈하는 사용자의 움직임 상황 정보에 기초하여 스마트 스피커와 사용자 간의 대화 시작, 정지 또는 재개 중 어느 하나를 포함하는 상호작용 흐름을 조절할 수 있다. 상호작용 관리 시스템은 사용자가 스마트 스피커에 설정된 의사소통 반경을 벗어날 경우, 스마트 스피커에서 선제적으로 사용자와 새로운 대화를 시작할 것인지 여부를 판단하거나 또는, 진행 중인 대화를 중지하고 추후에 대화를 계속할 것인지 결정할 수 있다. 상호작용 관리 시스템은 사용자가 과업을 종료하기까지 시간이 부족한 것으로 판단함에 따라 사용자와의 새로운 대화를 시작하지 않을 수 있다. 상호작용 관리 시스템은 주어진 과업에 대한 사용자의 선호도가 설정된 경우, 사용자의 선호도를 반영하여 과업 진행 여부를 결정할 수 있다. 상호작용 관리 시스템은 스마트 스피커와 진행 중인 대화가 존재할 경우, 대화의 진행 여부를 포함하는 메시지를 통하여 사용자에게 질의하고, 질의에 대한 응답을 통하여 상기 진행 중인 대화를 중단하고 현재 상태를 저장하고, 저장된 현재 상태를 기준으로 진행 중인 대화를 재개할 수 있도록 할 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에서 현재 대화 중인 사용자가 벗어나고, 의사소통 반경에 존재하는 다른 사용자와 의사 소통이 가능할 경우, 스마트 스피커가 진행 중인 대화를 중지하고, 의사소통 반경에 존재하는 다른 사용자와 대화를 계속 이어나갈 수 있다. 상호작용 관리 시스템은 스마트 스피커에 설정된 의사소통 반경에 사용자가 접근할 경우, 접근하는 사용자에게 새로운 대화 과업이 가용한 경우 스마트 스피커에서 사용자에게 새로운 대화 과업을 제시하거나, 접근한 사용자가 수행했던 중단된 과업이 존재할 경우, 중단된 과업을 재개할 수 있다. In step 630, the interaction management system may adjust the interaction flow with the smart speaker based on the extracted movement situation information and the user's preference information for the interaction set according to the user's feedback. Specifically, the interaction management system may set user preference information for the interaction flow according to the user's feedback. In this case, the user's preference information on whether to start a new conversation or start a stopped conversation may be set in consideration of a movement situation according to the characteristics of the user's task and whether or not there is another user allowed to interact or interact with each other. The interaction management system is an interaction flow that includes any one of starting, stopping, or resuming a conversation between the smart speaker and the user based on the motion situation information of the user approaching or leaving the smart speaker based on the communication radius set in the smart speaker. Can be adjusted. The interaction management system determines whether or not to preemptively start a new conversation with the user from the smart speaker when the user deviates from the communication radius set in the smart speaker, or whether to stop the ongoing conversation and continue the conversation at a later time. I can. The interaction management system may not start a new conversation with the user as the user determines that there is insufficient time to complete the task. When the user's preference for a given task is set, the interaction management system may determine whether to proceed with the task by reflecting the user's preference. When there is an ongoing conversation with the smart speaker, the interaction management system queries the user through a message including whether or not the conversation has progressed, and stops the ongoing conversation through a response to the query, stores the current state, and stores the Based on the current state, it can be possible to resume an ongoing conversation. In the interaction management system, when the current conversational user deviates from the communication radius set in the smart speaker and it is possible to communicate with other users existing in the communication radius, the smart speaker stops the ongoing conversation and exists in the communication radius. You can continue the conversation with other users who do. The interaction management system presents a new conversation task to the user in the smart speaker when a user approaches the communication radius set in the smart speaker, and a new conversation task is available to the approaching user, or the interrupted conversation task performed by the approaching user. If a task exists, the interrupted task can be resumed.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and drawings as described above, various modifications and variations can be made from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims

In the interaction management method performed by a computer-implemented interaction management system,
Collecting sensor data for motion tracking of a plurality of users;
Extracting motion situation information of a plurality of users by using the collected sensor data; And
Adjusting the interaction flow with the smart speaker based on the extracted motion situation information
Including,
The adjusting step,
Adjusting the interaction flow including any one of starting, stopping, or resuming a conversation between the smart speaker and the user based on the motion situation information of the user approaching or leaving the smart speaker based on the communication radius set in the smart speaker Steps to do
Interaction management method comprising a.

The method of claim 1,
Step of setting user preference information for the interaction flow according to the user's feedback
Including more,
The step of setting the user's preference information,
Setting the user's preference information on whether to start a new conversation or start an interrupted conversation, taking into account the movement situation according to the characteristics of the user's task and the existence of other users who are allowed to interact or interact with each other.
Interaction management method comprising a.

The method of claim 1,
The collecting step,
Collecting at least one or more of image data acquired using a camera, user conversation data with the smart speaker, and sensor data from an electronic device including a wearable device
Interaction management method comprising a.

The method of claim 1,
The extracting step,
At least one of a movement object, a movement state, a user's speed information, and departure time information for a smart speaker by setting a communication radius in which a conversation with the smart speaker is possible based on the smart speaker, and using the collected sensor data Extracting the user's motion situation information including the above
Interaction management method comprising a.

The method of claim 4,
The extracting step,
When there are a plurality of users who have communicated with the smart speaker, determining a movement object using at least one or more of the collected sensor data
Interaction management method comprising a.

The method of claim 4,
The extracting step,
In the case of a user currently conducting a conversation with the smart speaker, analyzing the voice information generated by the conversation with the smart speaker to determine a movement object
Interaction management method comprising a.

In the interaction management method performed by a computer-implemented interaction management system,
Collecting sensor data for motion tracking of a plurality of users;
Extracting motion situation information of a plurality of users by using the collected sensor data; And
Adjusting the interaction flow with the smart speaker based on the extracted motion situation information
Including,
The extracting step,
At least one of a movement object, a movement state, a user's speed information, and departure time information for a smart speaker by setting a communication radius in which a conversation with the smart speaker is possible based on the smart speaker, and using the collected sensor data Extracting the user's motion state information including the above, tracking the user's motion state including the user's motion direction and speed observed in the communication radius set in the smart speaker, and based on the tracked user's motion state By inferring context information with the smart speaker, and estimating a time required for the user to leave the communication radius set in the smart speaker using the inferred context information
Interaction management method comprising a.

delete

The method of claim 1,
The adjusting step,
When the user deviates from the communication radius set in the smart speaker, determining whether to preemptively start a new conversation with the user from the smart speaker, or stopping the ongoing conversation and determining whether to continue the conversation later
Interaction management method comprising a.

The method of claim 9,
The adjusting step,
Not starting a new conversation with the user as the user determines that there is insufficient time to complete the task
Interaction management method comprising a.

The method of claim 9,
The adjusting step,
When the user's preference for a given task is set, determining whether to proceed with the task by reflecting the user's preference
Interaction management method comprising a.

The method of claim 9,
The adjusting step,
If there is an ongoing conversation with the smart speaker, a query is made to the user through a message including whether or not the conversation is in progress, and the ongoing conversation is stopped and the current state is saved through a response to the query, and the stored current state Steps to allow you to resume a conversation in progress based on
Interaction management method comprising a.

The method of claim 1,
The adjusting step,
When the current conversational user deviates from the communication radius set in the smart speaker and communication with other users existing in the communication radius is possible, the smart speaker stops the ongoing conversation, and other users existing in the communication radius To continue the conversation with
Interaction management method comprising a.

The method of claim 1,
The adjusting step,
When a user approaches the communication radius set in the smart speaker, when a new conversation task is available for the accessing user, the smart speaker presents a new conversation task to the user, or the interrupted task performed by the approaching user is performed. If present, resuming the interrupted task
Interaction management method comprising a.

In the interaction management system,
A sensor data collection unit that collects sensor data for tracking motion of a plurality of users;
A motion condition information inference unit for extracting motion condition information of a plurality of users by using the collected sensor data;
A user preference setting unit for setting user preference information for an interaction flow according to the user's feedback; And
An interaction flow control unit that adjusts the interaction flow with the smart speaker based on the extracted motion situation information and the set user preference information
Including,
The interactive flow control unit,
Adjusting the interaction flow including any one of starting, stopping, or resuming a conversation between the smart speaker and the user based on the motion situation information of the user approaching or leaving the smart speaker based on the communication radius set in the smart speaker doing
Interaction management system.