KR20180125241A

KR20180125241A - Device control according to user's talk position

Info

Publication number: KR20180125241A
Application number: KR1020170059846A
Authority: KR
Inventors: 최은정; 박지희
Original assignee: 네이버 주식회사; 라인 가부시키가이샤
Priority date: 2017-05-15
Filing date: 2017-05-15
Publication date: 2018-11-23
Anticipated expiration: 2037-05-15
Also published as: JP6731894B2; KR102025391B1; JP2018194810A

Abstract

Provided is a technique for device control according to an utterance position of a user capable of selecting a device suitable to a command. In one embodiment of the present invention, a device control method of an electronic device including a voice-based interface may comprise the steps of: receiving a command according to voice input of a user through the voice-based interface; acquiring positional information associated with the voice input when it is necessary to determine a position of the command as an analysis result of the command; and specifying a device to be controlled for controlling an operation corresponding to the command among devices capable of interlocking with the electronic device using the positional information.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a device control method,

아래의 설명은 사용자의 발화 위치에 따른 디바이스 제어에 관한 기술로, 보다 자세하게는 음성 입력에 해당되는 명령어에서 사용자의 발화 위치를 추가로 판단하여 디바이스 동작이나 컨텐츠 제공을 제어하는 디바이스 제어 방법 및 시스템, 그리고 컴퓨터와 결합되어 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체에 관한 것이다.The following description relates to a device control method according to a user's utterance position, and more specifically, a device control method and system for controlling device operation and content provision by additionally determining a user's utterance position in a command corresponding to a voice input, And a computer program and its recording medium stored in a computer-readable recording medium for causing a computer to execute a device control method in combination with the computer.

홈 네트워크 서비스의 인공지능 스피커와 같이 음성을 기반으로 동작하는 인터페이스는 마이크(microphone)를 통해 사용자의 음성 입력을 수신하고 수신된 음성 입력에 기반하여 디바이스 동작이나 컨텐츠 제공을 제어할 수 있다.An interface that operates on a voice basis, such as an artificial intelligent speaker of a home network service, can receive a user's voice input through a microphone and control device operation or content provision based on the received voice input.

예를 들어, 한국공개특허 제10-2011-0139797호(공개일 2011년 12월 30일)는 홈 미디어 디바이스 및 이를 이용한 홈 네트워크 시스템, 방법에 관한 기술로, 홈 네트워크 서비스에서 이동통신망 외에 와이파이와 같은 제2 통신망을 이용하여 홈 네트워크 서비스를 제공하는 것이 가능하고, 홈 내 복수의 멀티미디어 기기를 사용자가 별도의 버튼 조작 없이도 음성 명령을 통해 다중 제어할 수 있는 기술을 개시하고 있다.For example, Korean Unexamined Patent Publication No. 10-2011-0139797 (published on December 30, 2011) discloses a home media device and a home network system and method using the home media device. In the home network service, A home network service can be provided using the same second communication network and a plurality of multimedia devices in a home can be multiplexed and controlled through a voice command without a user having to perform a separate button operation.

이러한 종래기술들에서는 제어 대상 디바이스가 복수 개인 경우 기 등록된 디바이스 명칭을 이용한 발화로 디바이스 제어가 가능하다. 그러나, 동일한 역할을 하는 디바이스가 여러 개인 경우 각각의 디바이스 명칭을 구분하여 등록하고 이를 모두 기억해야 하는 어려움이 있다. 주로 음성을 기반으로 동작하고 별도의 시각 정보를 사용하지 않기 때문에 여러 가지 옵션 중 선택이 필요한 경우 구체적인 요청 사항과 명령 형태 등을 말로 구조화 하여 표현해야 하는 문제점이 있다.In such prior arts, when there are a plurality of control target devices, it is possible to control the device by using the already registered device name. However, when there are a plurality of devices having the same role, it is difficult to register the respective device names separately and to memorize all of them. Since it operates mainly on the basis of voice and does not use any time information, there is a problem that specific request items and command forms need to be structured and expressed in words when various options are required.

구어체 형태로 쉽게 표현 가능한 발화 형태를 파악하여 사용자 의도에 부합하는 디바이스를 제어할 수 있는 디바이스 제어 방법 및 시스템, 그리고 컴퓨터와 결합되어 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.A device control method and system capable of controlling a device conforming to a user's intention by grasping a form that can be easily expressed in a colloquial form, and a device control method and system for controlling a device And provides the program and its recording medium.

대화 맥락을 파악하여 사용자 의도에 부합하는 디바이스를 제어할 수 있는 디바이스 제어 방법 및 시스템, 그리고 컴퓨터와 결합되어 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.A device control method and system capable of controlling a device conforming to a user's intention by grasping a dialogue context and a computer program stored in a computer readable recording medium for causing a computer to execute a device control method in combination with the computer, to provide.

디바이스 사용 패턴 및 히스토리를 기반으로 사용자 의도에 부합하는 디바이스를 제어할 수 있는 디바이스 제어 방법 및 시스템, 그리고 컴퓨터와 결합되어 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램과 그 기록매체를 제공한다.A device control method and system capable of controlling a device conforming to a user's intention based on a device usage pattern and a history and a computer program stored in a computer readable recording medium for causing a computer to execute a device control method in combination with the computer, Thereby providing a recording medium.

음성 기반 인터페이스를 포함하는 전자 기기의 디바이스 제어 방법에 있어서, 상기 음성 기반 인터페이스를 통해 사용자의 음성 입력에 따른 명령어를 수신하는 단계; 상기 명령어의 분석 결과 위치 판단이 필요한 경우 상기 음성 입력과 연관된 위치 정보를 획득하는 단계; 및 상기 위치 정보를 이용하여 상기 전자 기기와 연동 가능한 디바이스 중 상기 명령어에 대응되는 동작을 제어하기 위한 제어 대상 디바이스를 특정하는 단계를 포함하는 디바이스 제어 방법을 제공한다.A device control method of an electronic device including a voice-based interface, the method comprising: receiving a command according to a voice input of a user through the voice-based interface; Acquiring positional information associated with the voice input when it is necessary to determine the position of the command; And specifying a device to be controlled for controlling an operation corresponding to the command among devices capable of interlocking with the electronic device using the position information.

컴퓨터와 결합되어 상기 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.There is provided a computer program stored in a computer-readable recording medium for causing a computer to execute the device control method in combination with a computer.

상기 디바이스 제어 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.And a program for causing the computer to execute the device control method is recorded.

전자 기기에 있어서, 음성 기반 인터페이스; 및 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 음성 기반 인터페이스를 통해 사용자의 음성 입력에 따른 명령어를 수신하고, 상기 명령어의 분석 결과 위치 판단이 필요한 경우 상기 음성 입력과 연관된 위치 정보를 획득하고, 상기 위치 정보를 이용하여 상기 전자 기기와 연동 가능한 디바이스 중 상기 명령어에 대응되는 동작을 제어하기 위한 제어 대상 디바이스를 특정하는 것을 특징으로 하는 전자 기기를 제공한다.13. An electronic device comprising: a voice-based interface; And at least one processor configured to execute instructions executable by the computer to execute instructions readable by the computer, wherein the at least one processor is configured to: receive a command in accordance with a user's voice input via the voice-based interface; Acquires positional information associated with the voice input, and specifies a device to be controlled for controlling an operation corresponding to the command among devices capable of interlocking with the electronic device using the positional information. Lt; / RTI >

음성 입력에 해당되는 명령어에 따라 사용자의 발화 위치를 추가로 판단하여 명령어에 적합한 디바이스를 선택할 수 있다.It is possible to further determine a user's utterance position according to a command corresponding to voice input and select a device suitable for the command.

명령어에 지시 대명사 등이 포함된 경우 사용자의 위치를 기반하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다.If a command includes an instruction pronoun, etc., it is possible to estimate a device conforming to the user's intention based on the user's location.

대화 맥락에서 사용자의 위치를 추정하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다.It is possible to estimate a device that meets the user's intention by estimating the location of the user in a dialogue context.

디바이스 사용 패턴 및 히스토리를 기반으로 하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다.A device conforming to the user's intention can be estimated based on the device usage pattern and the history.

도 1은 본 발명의 일실시예에 따른 음성 기반 인터페이스를 활용한 서비스 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 음성 기반 인터페이스를 활용한 서비스 환경의 다른 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 일실시예에 있어서, 디바이스 제어 방법의 예를 도시한 흐름도이다.
도 6 내지 도 7은 본 발명의 일실시예에 있어서, 지시 대명사가 포함된 음성 입력에 따라 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.
도 8 내지 도 9는 본 발명의 일실시예에 있어서, 위치나 지시 대상이 생략된 음성 입력에 따라 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 있어서, 사용자 행동 패턴 학습을 기반으로 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.1 is a diagram illustrating an example of a service environment using a voice-based interface according to an embodiment of the present invention.
2 is a diagram illustrating another example of a service environment using a voice-based interface according to an embodiment of the present invention.
3 is a diagram illustrating an example of a cloud intelligence platform in one embodiment of the present invention.
4 is a block diagram illustrating an internal configuration of an electronic device and a server according to an embodiment of the present invention.
5 is a flowchart showing an example of a device control method in an embodiment of the present invention.
6 to 7 are diagrams illustrating an example of determining a control target device according to a voice input including an instruction pronoun in an embodiment of the present invention.
8 to 9 are diagrams illustrating an example of determining a control target device in accordance with a voice input in which a position or an instruction target is omitted in an embodiment of the present invention.
10 is a diagram illustrating an example of determining a control target device based on user behavior pattern learning in an embodiment of the present invention.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들에 따른 디바이스 제어 시스템은 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기를 통해 구현될 수 있다. 전자 기기는 발화자의 음성 입력에 따른 명령어에서 발화자의 위치를 추가로 판단하여 디바이스 동작이나 컨텐츠 제공을 제어할 수 있다. 이때, 전자 기기는 명령어에 지시 대명사가 포함되거나 명령어가 불완전 문장으로 이루어진 경우 사용자의 위치를 기반하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다. 아울러, 전자 기기는 발화자의 음성 입력에 따른 대화 맥락을 파악하거나 디바이스 사용 패턴이나 디바이스 제어 히스토리를 파악하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다.The device control system according to embodiments of the present invention can be implemented through an electronic device that provides an interface that operates based on voice. The electronic device can further control the operation of the device and the provision of the contents by further determining the position of the speaker in a command according to the speech input of the speaker. At this time, if the instruction pronoun is included in the command or the command is incomplete, the electronic device can estimate the device that matches the user's intention based on the user's location. In addition, the electronic device can estimate a device conforming to the user's intention by grasping a conversation context according to a voice input of a speaking person, or grasping a device usage pattern or a device control history.

본 발명의 실시예들에 따른 디바이스 제어 방법은 상술한 전자 기기를 통해 수행될 수 있다. 이때, 전자 기기에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 전자 기기는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 일실시예에 따른 디바이스 제어 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터로 구현되는 전자 기기와 결합되어 디바이스 제어 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.A device control method according to embodiments of the present invention can be performed through the above-described electronic device. At this time, a computer program according to an embodiment of the present invention can be installed and driven in the electronic device, and the electronic device can perform the device control method according to an embodiment of the present invention by controlling the driven computer program . The above-described computer program may be stored in a computer-readable recording medium for execution by a computer in combination with an electronic device embodied in a computer to execute the device control method.

도 1은 본 발명의 일실시예에 따른 음성 기반 인터페이스를 활용한 서비스 환경의 예를 도시한 도면이다. 도 1의 실시예에서는 스마트홈(smart home)이나 홈 네트워크 서비스와 같이 댁내의 디바이스들을 연결하여 제어하는 기술에서, 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기(100)가 사용자(110)의 발화에 따라 수신되는 음성 입력 "불 꺼줘"를 인식 및 분석하여 댁내에서 전자 기기(100)와 내부 네트워크를 통해 연계된 댁내 조명기기(120)의 라이트 전원을 제어하는 예를 나타내고 있다.1 is a diagram illustrating an example of a service environment using a voice-based interface according to an embodiment of the present invention. In the embodiment of FIG. 1, an electronic device 100 providing an interface that operates on the basis of a voice is connected to a user 110 via a network, such as a smart home or a home network service, And recognizes and analyzes the received voice input " Turn off " according to the utterance to control the lighting power of the domestic lighting apparatus 120 connected to the electronic apparatus 100 through the internal network at home.

예를 들어, 댁내의 디바이스들은 상술한 댁내 조명기기(120) 외에도 텔레비전, PC(Personal Computer), 주변기기, 에어컨, 냉장고, 로봇 청소기 등과 같은 가전제품을 비롯하여, 수도, 전기, 냉난방 기기 등과 같은 에너지 소비장치, 도어록, 감시카메라 등과 같은 보안기기 등 온라인 상에서 연결되어 제어될 수 있는 다양한 디바이스들을 포함할 수 있다. 또한, 내부 네트워크는 이더넷(Ethernet), HomePNA, IEEE 1394와 같은 유선 네트워크 기술이나, 블루투스(Bluetooth), UWB(ultra Wide Band), 지그비(ZigBee), Wireless 1394, Home RF와 같은 무선 네트워크 기술 등이 활용될 수 있다.For example, the home-use devices may be used in home appliances such as televisions, personal computers (PCs), peripherals, air conditioners, refrigerators, and robot cleaners in addition to the home lighting devices 120, A security device such as a device, a door lock, a surveillance camera, and the like, which can be connected and controlled on-line. In addition, the internal network includes a wired network technology such as Ethernet, HomePNA, and IEEE 1394, and a wireless network technology such as Bluetooth, Ultra Wide Band (UWB), ZigBee, Wireless 1394, Can be utilized.

전자 기기(100)는 댁내의 디바이스들 중 하나일 수 있다. 예를 들어, 전자 기기(100)는 댁내에 구비된 인공지능 스피커나 로봇 청소기 등과 같은 디바이스들 중 하나일 수 있다. 또한, 전자 기기(100)는 스마트폰(smart phone), 휴대폰, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등과 같은 사용자(110)의 모바일 기기일 수도 있다. 이처럼 전자 기기(100)는 사용자(110)의 음성 입력을 수신하여 댁내의 디바이스들을 제어하기 위해 댁내의 디바이스들과 연결 가능한 기능을 포함하는 기기라면 특별히 제한되지 않는다. 또한, 실시예에 따라 상술한 사용자(110)의 모바일 기기들이 댁내의 디바이스들로서 포함될 수도 있다.The electronic device 100 may be one of the devices in the home. For example, the electronic device 100 may be one of devices such as an artificial intelligent speaker, a robot cleaner, and the like provided at home. The electronic device 100 may be a mobile device of a user 110 such as a smart phone, a mobile phone, a notebook, a digital broadcast terminal, a PDA (Personal Digital Assistants), a PMP have. As described above, the electronic device 100 is not particularly limited as long as it is a device including a function capable of connecting with the devices in the home in order to receive the voice input of the user 110 and control the devices in the home. Also, according to the embodiment, the mobile devices of the user 110 described above may be included as in-house devices.

도 2는 본 발명의 일실시예에 따른 음성 기반 인터페이스를 활용한 서비스 환경의 다른 예를 도시한 도면이다. 도 2는 음성을 기반으로 동작하는 인터페이스를 제공하는 전자 기기(100)가 사용자(110)의 발화에 따라 수신되는 음성 입력 "오늘 날씨"를 인식 및 분석하여 외부 네트워크를 통해 외부 서버(210)로부터 오늘의 날씨에 대한 정보를 획득하고, 획득한 정보를 "오늘의 날씨는 ..."와 같이 음성으로 출력하는 예를 나타내고 있다.2 is a diagram illustrating another example of a service environment using a voice-based interface according to an embodiment of the present invention. 2 illustrates an example in which an electronic device 100 providing an interface that operates on a voice recognizes and analyzes a voice input " today's weather " that is received in response to a user's utterance, Information on today's weather, and outputting the obtained information as a voice like " Today's weather ... ".

예를 들어, 외부 네트워크는 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.For example, the external network may be a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network Lt; RTI ID = 0.0 > and / or < / RTI >

도 2의 실시예에서도 전자 기기(100)는 댁내의 디바이스들 중 하나이거나 사용자(110)의 모바일 기기 중 하나일 수 있으며, 사용자(110)의 음성 입력을 수신하여 처리하기 위한 기능과 외부 네트워크를 통해 외부 서버(210)에 접속하여 외부 서버(210)가 제공하는 서비스나 컨텐츠를 사용자(110)에게 제공하기 위한 기능을 포함하는 기기라면 특별히 제한되지 않는다.2, the electronic device 100 may be one of the devices in the home or the mobile device of the user 110, and may have a function for receiving and processing the voice input of the user 110, The present invention is not particularly limited as long as it is a device including a function for connecting to the external server 210 and providing the service or contents provided by the external server 210 to the user 110.

이처럼, 본 발명의 실시예들에 따른 전자 기기(100)는 음성 기반 인터페이스를 통해 사용자(110)의 발화에 따라 수신되는 음성 입력을 적어도 포함하는 사용자 명령을 처리할 수 있는 기기라면 특별히 제한되지 않을 수 있다. 예를 들어, 전자 기기(100)는 직접 사용자의 음성 입력을 인식 및 분석하여 음성 입력에 알맞은 동작을 수행함으로써 사용자 명령을 처리할 수도 있으나, 실시예에 따라 사용자의 음성 입력에 대한 인식이나 인식된 음성 입력의 분석, 사용자에게 제공될 음성의 합성 등의 처리를 전자 기기(100)와 연계된 외부의 플랫폼을 통해 수행할 수도 있다.As described above, the electronic device 100 according to the embodiments of the present invention is not particularly limited as long as it is a device capable of processing a user command including at least the voice input received according to the utterance of the user 110 via the voice-based interface . For example, the electronic device 100 may directly process a user command by recognizing and analyzing a user's voice input and performing an appropriate operation for the voice input. However, according to an exemplary embodiment of the present invention, Analysis of speech input, synthesis of speech to be provided to the user, and the like may be performed through an external platform associated with the electronic device 100. [

도 3은 본 발명의 일실시예에 있어서, 클라우드 인공지능 플랫폼의 예를 도시한 도면이다. 도 3은 전자 기기들(310)과 클라우드 인공지능 플랫폼(320) 및 컨텐츠ㆍ서비스(330)를 나타내고 있다.3 is a diagram illustrating an example of a cloud intelligence platform in one embodiment of the present invention. FIG. 3 shows electronic devices 310, a cloud intelligent platform 320, and a content and service 330. FIG.

일례로, 전자 기기들(310)은 댁내에 구비되는 디바이스들을 의미할 수 있으며, 적어도 앞서 설명한 전자 기기(100)를 포함할 수 있다. 이러한 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 어플리케이션들(이하, 앱들)은 인터페이스 커넥트(340)를 통해 클라우드 인공지능 플랫폼(320)과 연계될 수 있다. 여기서 인터페이스 커넥트(340)는 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 앱들의 개발을 위한 SDK(Software Development Kit) 및/또는 개발 문서들을 개발자들에게 제공할 수 있다. 또한, 인터페이스 커넥트(340)는 전자 기기들(310)이나 전자 기기들(310)에 설치 및 구동되는 앱들이 클라우드 인공지능 플랫폼(320)이 제공하는 기능들을 활용할 수 있는 API(Application Program Interface)를 제공할 수 있다. 구체적인 예로, 개발자들은 인터페이스 커넥트(340)가 제공하는 SDK(Software Development Kit) 및/또는 개발 문서를 이용하여 개발한 기기나 앱은 인터페이스 커넥트(340)가 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(320)이 제공하는 기능들을 활용할 수 있게 된다.For example, the electronic devices 310 may refer to devices included in the home, and may include at least the electronic device 100 described above. Applications (hereinafter referred to as apps) installed and driven in the electronic devices 310 and the electronic devices 310 may be linked to the cloud intelligence platform 320 via the interface connect 340. The interface connect 340 may provide developers with software development kits (SDKs) and / or development documents for developing applications installed and run on the electronic devices 310 or the electronic devices 310. In addition, the interface connect 340 is configured to allow an application program interface (API) that enables applications installed and operated in the electronic devices 310 and the electronic devices 310 to utilize the functions provided by the cloud intelligent platform 320 . As a specific example, a developer can use a software development kit (SDK) provided by the interface connect 340 and / or a device or an application developed using a development document to create a cloud intelligence platform (API) using the API provided by the interface connect 340 320 can be utilized.

여기서 클라우드 인공지능 플랫폼(320)은 음성 기반의 서비스를 제공하기 위한 기능을 제공할 수 있다. 예를 들어, 클라우드 인공지능 플랫폼(320)은 수신된 음성을 인식하고, 출력될 음성을 합성하기 위한 음성처리모듈(321), 수신된 영상이나 동영상을 분석하여 처리하기 위한 비전처리모듈(322), 수신된 음성에 따라 알맞은 음성을 출력하기 위해 적절한 대화를 결정하기 위한 대화처리모듈(323), 수신된 음성에 알맞은 기능을 추천하기 위한 추천모듈(324), 인공지능이 데이터 학습을 통해 문장 단위로 언어를 번역할 수 있도록 지원하는 인공신경망 기반 기계 번역(Neural Machine Translation, NMT, 325) 등과 같이 음성 기반 서비스를 제공하기 위한 다양한 모듈들을 포함할 수 있다.Here, the cloud intelligence platform 320 may provide a function for providing a voice-based service. For example, the cloud artificial intelligence platform 320 may include a speech processing module 321 for recognizing the received speech and synthesizing the speech to be output, a vision processing module 322 for analyzing and processing the received image or moving image, A dialog processing module 323 for determining an appropriate dialogue to output a suitable speech according to the received speech, a recommendation module 324 for recommending a function suitable for the received speech, Based services such as Neural Machine Translation (NMT) 325, which enables translation of a language into a language-based service.

예를 들어, 도 1 및 도 2의 실시예들에서 전자 기기(100)는 사용자(110)의 음성 입력을 인터페이스 커넥트(340)에서 제공하는 API를 이용하여 클라우드 인공지능 플랫폼(320)으로 전송할 수 있다. 이 경우, 클라우드 인공지능 플랫폼(320)은 수신된 음성 입력을 상술한 모듈들(321 내지 325)을 활용하여 인식 및 분석할 수 있으며, 수신된 음성 입력에 따라 적절한 답변 음성을 합성하여 제공하거나, 적절한 동작을 추천할 수 있다.For example, in the embodiments of Figures 1 and 2, the electronic device 100 may transmit the voice input of the user 110 to the cloud intelligence platform 320 using an API provided by the interface connect 340 have. In this case, the cloud intelligent platform 320 can recognize and analyze the received voice input using the above-described modules 321 to 325, synthesize and provide an appropriate answer voice according to the received voice input, Proper operation can be recommended.

또한, 확장 키트(350)는 제3자 컨텐츠 개발자 또는 회사들이 클라우드 인공지능 플랫폼(320)에 기반하여 새로운 음성기반 기능을 구현할 수 있는 개발 키트를 제공할 수 있다. 예를 들어, 도 2의 실시예에서, 전자 기기(100)는 수신된 사용자(110)의 음성 입력을 외부 서버(210)로 전송할 수 있고, 외부 서버(210)는 확장 키트(350)를 통해 제공되는 API를 통해 클라우드 인공지능 플랫폼(320)으로 음성 입력을 전송할 수 있다. 이 경우, 앞서 설명한 바와 유사하게 클라우드 인공지능 플랫폼(320)은 수신되는 음성 입력을 인식, 분석하여 적절한 답변 음성을 합성하여 제공하거나 음성 입력을 통해 처리되어야 할 기능에 대한 추천정보를 외부 서버(210)로 제공할 수 있다. 일례로, 도 2에서, 외부 서버(210)는 음성 입력 "오늘 날씨"를 클라우드 인공지능 플랫폼(320)으로 전송할 수 있고, 클라우드 인공지능 플랫폼(320)으로부터 음성 입력 "오늘 날씨"의 인식을 통해 추출되는 키워드 "오늘" 및 "날씨"를 수신할 수 있다. 이 경우, 외부 서버(210)는 키워드 "오늘" 및 "날씨"를 통해 "오늘의 날씨는 ..."와 같은 텍스트 정보를 생성하여 다시 클라우드 인공지능 플랫폼(320)으로 생성된 텍스트 정보를 전송할 수 있다. 이때, 클라우드 인공지능 플랫폼(320)는 텍스트 정보를 음성으로 합성하여 외부 서버(210)로 제공할 수 있다. 외부 서버(210)는 합성된 음성을 전자 기기(100)로 전송할 수 있고, 전자 기기(100)는 합성된 음성 "오늘의 날씨는 ..."을 스피커를 통해 출력함으로써, 사용자(110)로부터 수신한 음성 입력 "오늘 날씨"가 처리될 수 있다.In addition, the extension kit 350 may provide a development kit that enables third party content developers or companies to implement new voice-based functions based on the cloud intelligence platform 320. 2, the electronic device 100 may transmit the voice input of the received user 110 to the external server 210, and the external server 210 may transmit the voice input of the received user 110 to the external server 210 via the expansion kit 350. For example, The voice input can be transmitted to the cloud intelligence platform 320 through the provided API. In this case, the cloud intelligent platform 320 recognizes and analyzes the received voice input, synthesizes an appropriate answer voice, or provides recommendation information on functions to be processed through voice input to the external server 210 ). 2, the external server 210 may send a voice input "today's weather" to the cloud intelligence platform 320 and may receive the voice input "current weather" from the cloud intelligence platform 320 You can receive keywords "Today" and "Weather" to be extracted. In this case, the external server 210 generates text information such as " Today's weather is ... " through keywords "Today" and "Weather", and transmits the text information generated by the cloud intelligent platform 320 again . At this time, the cloud artificial intelligence platform 320 may synthesize the text information by voice and provide it to the external server 210. The external server 210 can transmit the synthesized voice to the electronic device 100 and the electronic device 100 outputs the synthesized voice " Today's weather ... " through the speaker, The received voice input "Today's weather" can be processed.

이때, 전자 기기(100)는 음성 입력에 대응되는 디바이스 동작이나 컨텐츠 제공을 위해 본 발명의 실시예에 따른 디바이스 제어 방법을 수행할 수 있다.At this time, the electronic device 100 may perform a device control method according to an embodiment of the present invention to perform a device operation corresponding to a voice input or to provide content.

도 4는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 4의 전자 기기(410)는 앞서 설명한 전자 기기(100)에 대응할 수 있고, 서버(420)는 앞서 설명한 외부 서버(210)나 클라우드 인공지능 플랫폼(320)을 구현하는 하나의 컴퓨터 장치에 대응할 수 있다.4 is a block diagram illustrating an internal configuration of an electronic device and a server according to an embodiment of the present invention. The electronic device 410 of FIG. 4 may correspond to the electronic device 100 described above, and the server 420 may correspond to one computer device that implements the external server 210 or the cloud intelligent platform 320 described above .

전자 기기(410)과 서버(420)는 메모리(411, 421), 프로세서(412, 422), 통신 모듈(413, 423) 그리고 입출력 인터페이스(414, 424)를 포함할 수 있다. 메모리(411, 421)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(411, 421)와는 구분되는 별도의 영구 저장 장치로서 전자 기기(410)나 서버(420)에 포함될 수도 있다. 또한, 메모리(411, 421)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기(410)에 설치되어 특정 서비스의 제공을 위해 전자 기기(410)에서 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(411, 421)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(413, 423)을 통해 메모리(411, 421)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(430)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 전자 기기(410)의 메모리(411)에 로딩될 수 있다.The electronic device 410 and the server 420 may include memories 411 and 421, processors 412 and 422, communication modules 413 and 423, and input / output interfaces 414 and 424. The memories 411 and 421 may be a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive. The non-decaying mass storage device such as the ROM and the disk drive may be included in the electronic device 410 or the server 420 as a separate persistent storage device different from the memory 411 and 421. In addition, the memories 411 and 421 are stored with an operating system and at least one program code (for example, a code for an application installed in the electronic device 410 and driven by the electronic device 410 for providing a specific service) . These software components may be loaded from a computer readable recording medium separate from the memories 411 and 421. [ Such a computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, and a memory card. In other embodiments, the software components may be loaded into memory 411, 421 via communication modules 413, 423 rather than a computer readable recording medium. For example, at least one program may be provided by a developer or a file distribution system that distributes the installation files of an application based on a computer program (e.g., the application described above) installed by files provided by the network 430. [ May be loaded into the memory 411 of the device 410.

프로세서(412, 422)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(411, 421) 또는 통신 모듈(413, 423)에 의해 프로세서(412, 422)로 제공될 수 있다. 예를 들어 프로세서(412, 422)는 메모리(411, 421)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.Processors 412 and 422 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and I / O operations. An instruction may be provided to the processor 412, 422 by the memory 411, 421 or the communication module 413, 423. For example, the processors 412 and 422 may be configured to execute instructions received in accordance with program codes stored in a recording device, such as memories 411 and 421. [

통신 모듈(413, 423)은 네트워크(430)를 통해 전자 기기(410)과 서버(420)가 서로 통신하기 위한 기능을 제공할 수 있으며, 전자 기기(410) 및/또는 서버(420)가 다른 전자 기기 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기(410)의 프로세서(412)가 메모리(411)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(430)를 통해 서버(420)로 전달될 수 있다. 역으로, 서버(420)의 프로세서(422)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(430)를 거쳐 전자 기기(410)의 통신 모듈(213)을 통해 전자 기기(410)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(420)의 제어 신호나 명령, 컨텐츠, 파일 등은 프로세서(412)나 메모리(411)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기(410)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication modules 413 and 423 may provide functions for the electronic device 410 and the server 420 to communicate with each other through the network 430 and may be provided by the electronic device 410 and / Electronic devices, or other servers. The request generated by the processor 412 of the electronic device 410 according to the program code stored in the recording device such as the memory 411 is transmitted to the server 420 through the network 430 under the control of the communication module 213 ). &Lt; / RTI > Contents or files provided under the control of the processor 422 of the server 420 are transmitted to the communication module 213 of the electronic device 410 via the communication module 223 and the network 430 (Not shown). For example, control signals, commands, contents, files, and the like of the server 420 received through the communication module 213 can be transmitted to the processor 412 or the memory 411, 410) may be further included in the storage medium (the persistent storage device described above).

입출력 인터페이스(414)는 입출력 장치(415)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(414)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(415)는 전자 기기(410)와 하나의 장치로 구성될 수도 있다. 또한, 서버(420)의 입출력 인터페이스(424)는 서버(420)와 연결되거나 서버(420)가 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다.The input / output interface 414 may be a means for interfacing with the input / output device 415. For example, the input device may include a device such as a microphone, a keyboard or a mouse, and an output device may include a device such as a display, a speaker, and the like. As another example, the input / output interface 414 may be a means for interfacing with a device having integrated functions for input and output, such as a touch screen. The input / output device 415 may be composed of the electronic device 410 and one device. The input / output interface 424 of the server 420 may be a means for interfacing with the server 420 or an interface with a device (not shown) for input or output that the server 420 may include.

또한, 다른 실시예들에서 전자 기기(410) 및 서버(420)는 도 4의 구성요소들보다 더 적은 또는 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기(410)는 상술한 입출력 장치(415) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 전자 기기(410)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 전자 기기(410)에 더 포함되도록 구현될 수 있다.Also, in other embodiments, electronic device 410 and server 420 may include fewer or more components than the components of FIG. However, there is no need to clearly illustrate most prior art components. For example, the electronic device 410 may be implemented to include at least some of the input / output devices 415 described above, or may be implemented with other components such as a transceiver, Global Positioning System (GPS) module, camera, As shown in FIG. More specifically, when the electronic device 410 is a smart phone, it may be an acceleration sensor, a gyro sensor, a camera module, various physical buttons, buttons using a touch panel, an input / output port, May be further included in the electronic device 410.

본 실시예들에서 전자 기기(410)는 사용자의 음성 입력을 수신하기 위한 마이크를 입출력 장치(415)로서 기본적으로 포함할 수 있으며, 사용자의 음성 입력에 대응하는 답변 음성이나 오디오 컨텐츠와 같은 소리를 출력하기 위한 스피커를 입출력 장치(415)로서 더 포함할 수 있다.In the present embodiment, the electronic device 410 may basically include a microphone for receiving a user's voice input as the input / output device 415, and may include a response voice corresponding to the voice input of the user, Output device 415. The input /

도 5는 본 발명의 일실시예에 있어서, 디바이스 제어 방법의 예를 도시한 흐름도이다. 본 발명의 실시예들에 따른 디바이스 제어 방법은 앞서 설명한 전자 기기(410)과 같은 컴퓨터 장치에 의해 수행될 수 있다. 이때, 전자 기기(410)의 프로세서(412)는 메모리(411)가 포함하는 운영체제의 코드나 적어도 하나의 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(412)는 전자 기기(410)에 저장된 코드가 제공하는 제어 명령에 따라 전자 기기(410)가 도 5의 디바이스 제어 방법이 포함하는 단계들(S510 내지 S540)을 수행하도록 전자 기기(410)를 제어할 수 있다.5 is a flowchart showing an example of a device control method in an embodiment of the present invention. The device control method according to embodiments of the present invention may be performed by a computer apparatus such as the electronic apparatus 410 described above. At this time, the processor 412 of the electronic device 410 may be implemented to execute a control instruction according to a code of an operating system included in the memory 411 or a code of at least one program. Here, the processor 412 controls the electronic device 410 to perform the steps (S510 to S540) included in the device control method of FIG. 5 according to the control command provided by the code stored in the electronic device 410 410).

단계(S510)에서 전자 기기(410)는 음성 기반 인터페이스를 통해 발화자로부터 음성 입력에 따른 명령어를 수신할 수 있다. 예를 들어, 전자 기기(410)는 전자 기기(410)가 포함하는 마이크 또는 전자 기기(410)와 연동된 마이크와 같은 음성 입력 장치를 통해 사용자의 발화에 따른 음성 입력을 수신할 수 있다. 발화자의 음성 입력을 수신하는 기술은 음성 인식과 관련하여 이미 잘 알려진 기술들을 통해 당업자가 쉽게 이해할 수 있을 것이다.In step S510, the electronic device 410 may receive a command according to a voice input from a speaking person through a voice-based interface. For example, the electronic device 410 can receive voice input according to a user's utterance through a microphone or an audio input device such as a microphone interlocked with the electronic device 410 included in the electronic device 410. The technique of receiving the speech input of a speaking person will be readily understood by those skilled in the art through techniques already well known in the context of speech recognition.

단계(S520)에서 전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어의 분석 결과 위치 판단이 필요한 경우 음성 입력과 연관된 발화자의 위치 정보를 획득할 수 있다. 일례로, 전자 기기(410)는 명령어에 지시 대명사(예컨대, 여기, 저기, 거기, 이쪽, 저쪽, 그쪽, 이곳, 저곳, 거기, 그곳 등)가 포함되는 경우, 혹은 명령어가 장소나 지시 대상 등이 생략된 불완전 문장으로 이루어진 경우 위치 판단을 위한 추가 로직을 발현할 수 있다. 따라서, 전자 기기(410)는 음성 입력에 따른 명령어만으로 제어 대상 위치나 제어 대상 디바이스를 특정하기 어려운 경우 명령어에 기초하여 발화자의 위치 정보를 추가로 획득할 수 있다. 전자 기기(410)는 위치 판단에 대한 추정이 필요한 경우 음성 입력과 연관된 발화자의 위치 정보를 획득하게 되는데, 이때 음성 입력과 연관된 발화자의 위치 정보는 음성 입력의 수신과 연관된 시점 또는 기간에 측정되는 전자 기기(410)에 대한 발화자의 상대적인 위치나 방향, 상대적인 위치나 방향의 변화 여부, 및 상대적인 위치나 방향의 변화 방향 중 적어도 하나를 포함할 수 있다.In step S520, the electronic device 410 may acquire positional information of a speaking person associated with the speech input when it is necessary to determine the position of the result of analysis of the command received through the speech input of the speaking person. For example, the electronic device 410 may be used when the command includes an instruction pronoun (e.g., here, there, there, here, here, there, here, here, there, Is made up of an incomplete sentence that is omitted, additional logic for position determination can be expressed. Therefore, when it is difficult to specify the control target position or the device to be controlled only by a command according to the voice input, the electronic device 410 can further acquire the position information of the speaker based on the command. The electronic device 410 acquires location information of a speaking person associated with the speech input when the estimation of the location judgment is required. The location information of the speaking person associated with the speech input is an electronic And may include at least one of a relative position or direction of the igniter relative to the device 410, a change in a relative position or direction, and a change direction in a relative position or direction.

예를 들어, 전자 기기(410)는 음성 기반 인터페이스가 포함하는 복수의 마이크로 입력되는 음성 입력의 위상 변이(phase shift)에 기반하여 음성 입력과 연관된 위치 정보를 획득할 수 있다. 복수의 마이크로 입력되는 동일한 소리신호의 위상 변이를 이용하여 소리신호의 발생 위치를 측정하는 기술은 빔 포밍(beam forming) 기술과 같이 이미 잘 알려진 기술을 통해 당업자가 쉽게 이해할 수 있을 것이다. 이 경우, 위치 정보가 발화자의 음성 입력을 통해 측정되기 때문에, 발화자가 특정 방향을 향하고 있을 필요가 없으며, 발화자의 발화를 인식 가능한 거리 이내라면, 발화자의 위치 역시 제한되지 않을 수 있다. 또한, 음성 기반 인터페이스 이외의 별도의 장치가 전자 기기(410)에 추가될 필요성 없이 발화자의 위치 정보를 획득하는 것이 가능해진다.For example, the electronic device 410 may obtain positional information associated with a voice input based on a phase shift of a plurality of microinput voice inputs that the voice-based interface includes. Techniques for measuring the position of a sound signal using the phase shift of a plurality of micro-input sound signals may be readily understood by those skilled in the art, such as beam forming techniques. In this case, since the positional information is measured through the voice input of the speaking person, the position of the speaking person may not be limited if the speaking person does not need to be oriented in a specific direction and is within a recognizable range of speaking. Further, it becomes possible to acquire the position information of the speaker without the need for a separate device other than the voice-based interface to be added to the electronic device 410. [

실시예에 따라 발화자의 위치 정보를 획득하기 위해, 전자 기기(410)가 카메라나 센서와 같은 추가 장비를 포함하는 경우도 고려할 수 있으며, 음성 기반 인터페이스를 통해 측정되는 발화자의 위치 정보와 카메라나 센서와 같은 추가 장비를 이용하여 측정되는 발화자의 위치 정보가 모두 활용될 수도 있다. 카메라 및/또는 센서를 활용하는 경우, 전자 기기(410)는 음성 입력이 수신되는 경우의 카메라 및/또는 센서의 출력값에 기반하여 음성 입력과 연관된 위치 정보를 획득할 수 있다.It is also contemplated that the electronic device 410 may include additional equipment, such as a camera or a sensor, to obtain location information of a speaking person according to an embodiment, and may include location information of the speaking person, The positional information of the igniter may be utilized. When utilizing a camera and / or a sensor, the electronic device 410 may obtain position information associated with the voice input based on the output of the camera and / or the sensor when the voice input is received.

일례로, 전자 기기(410)는 발화자의 위치를 시각적으로 특정하기 위해서 광학 디바이스를 폴링할 수 있다. 카메라와 같은 광학 디바이스는 사용자를 식별하기 위한 인식 소프트웨어(예를 들어, 얼굴 인식, 특징 인식 등)를 이용할 수 있다. 여기서, 폴링은 광학 디바이스에서 광학 정보를 취득하는 것에 대해 정보를 요구하는 것 또는 요구 없이 정보를 수신하는 것을 포함할 수 있다. 광학 디바이스 이외에, 발화자의 위치를 시각적으로 특정하기 위해서 음성 디바이스를 폴링하는 것 또한 가능하다. 음성 툴은 사전에 기록된 음성 프로파일에 기초하여 음성 입력에 따른 발화자를 식별하기 위해 사용될 수 있다.In one example, the electronic device 410 may poll the optical device to visually specify the location of the igniter. An optical device, such as a camera, can use recognition software (e.g., face recognition, feature recognition, etc.) to identify the user. Here, the polling may include receiving information without requiring or requiring information about acquiring optical information at the optical device. In addition to the optical device, it is also possible to poll the voice device to visually specify the location of the speaker. The speech tool can be used to identify a speaker based on speech input based on a previously recorded speech profile.

더 나아가, 전자 기기(410)는 발화자의 음성 입력에 따른 대화 맥락이나 디바이스 제어 히스토리를 기반으로 음성 입력과 연관된 발화자의 위치 정보를 획득할 수 있다. 다시 말해, 전자 기기(410)는 발화자의 이전 대화 맥락이나 디바이스 제어 히스토리를 파악하여 발화자의 상대적인 위치나 방향, 상대적인 위치나 방향의 변화 여부, 및 상대적인 위치나 방향의 변화 방향 중 적어도 하나를 포함하는 위치 정보를 획득할 수 있다. 예를 들어, 음성을 기반으로 동작하는 인터페이스를 통해 최근 레시피에 대한 문의 또는 조리를 위한 타이머 설정 등의 동작이 있었다면 해당 동작을 지시한 음성 입력의 대화 맥락이나 디바이스 제어 히스토리에 의해 발화자의 현재 위치 혹은 최근 위치가 '주방'임을 추정할 수 있다.Furthermore, the electronic device 410 can acquire the location information of the speaker associated with the voice input based on the conversation context or the device control history according to the voice input of the speaker. In other words, the electronic device 410 recognizes the previous conversation context or the device control history of the speaking person, and determines whether or not there is at least one of the relative position or direction of the speaking person, whether the relative position or direction changes, Location information can be obtained. For example, if there is an operation such as setting a timer for inquiry or cooking for a recent recipe through an interface that operates based on a voice, the current position or the current position of the speaker by the dialogue context of the voice input or the device control history It can be assumed that the recent location is a 'kitchen'.

단계(S530)에서 전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어에 대하여 발화자의 위치 정보를 기초로 제어 대상 디바이스를 특정할 수 있다. 전자 기기(410)는 음성 입력에 따른 명령어만으로 제어 대상 위치나 제어 대상 디바이스를 특정하기 어려운 경우 음성 입력과 연관된 발화자의 위치 정보를 기준으로 하여 발화자의 음성 입력에 부합하는 디바이스를 특정할 수 있다.In step S530, the electronic device 410 can specify the control target device based on the position information of the speaking person with respect to the command received through the voice input of the speaking person. When it is difficult to specify the control target position or the device to be controlled only by a command according to the voice input, the electronic device 410 can specify a device that matches the voice input of the speaker based on the position information of the speaker associated with the voice input.

일례로, 전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어에 지시 대명사가 포함된 경우 발화자의 위치 정보를 기초로 제어 대상 디바이스를 특정할 수 있다. 예를 들어, 전자 기기(410)는 발화자의 음성 입력에 대응하는 동작이 가능한 디바이스 중 발화자와 가장 가까운 위치에 있는 디바이스, 혹은 발화자와 가장 먼 위치에 있는 디바이스, 혹은 발화자의 방향에 위치하는 디바이스, 혹은 발화자의 방향과 반대되는 곳에 위치하는 디바이스 등을 제어 대상 디바이스로 특정할 수 있다. 하나의 예시로는 발화자의 음성 입력으로 수신된 명령어에 '여기', '이곳', '이쪽' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자와 가장 가까운 위치에 있는 디바이스 또는 발화자의 방향에 위치하는 디바이스를 제어 대상 디바이스로 특정할 수 있다. 다른 예시로는, 발화자의 음성 입력으로 수신된 명령어에 '저기', '저곳', '저쪽' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자와 가장 먼 위치에 있는 디바이스 또는 발화자의 방향과 반대되는 곳에 위치하는 디바이스를 제어 대상 디바이스로 특정할 수 있다. 또 다른 예시로는, 발화자의 음성 입력으로 수신된 명령어에 '거기', '그곳' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자가 최근 머물렀던 이전 위치에 있는 디바이스를 제어 대상 디바이스로 특정할 수 있다.For example, the electronic device 410 can specify the control target device based on the position information of the speaking person when the instruction word received by the speaking person includes the instruction pronoun. For example, the electronic device 410 may be a device located closest to the speaker or a device located farthest from the speaker, or a device located in the direction of the speaker, among the devices capable of operating corresponding to the speech input of the speaker, Or a device located at a position opposite to the direction of the speaking person can be specified as the control target device. As an example, when the instruction word received by the voice input of the speaker includes an instruction pronoun having the same meaning as 'here', 'here', 'here' and so on, it is located in the direction of a device or a speaker nearest to the speaker The device can be specified as the control target device. As another example, when the instruction word received by the voice input of the speaking person includes an instruction pronoun in the meaning such as 'there', 'under', 'under', etc., the direction of the device or the speaker It is possible to specify a device located at a location as a control target device. In another example, if a command word received by a speech participant includes an instruction pronoun of the same meaning as 'there', 'there', etc., a device at a previous location where the speaker has stayed recently can be specified as a control target device .

다른 예로, 전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어가 장소나 지시 대상 등이 생략된 불완전 문장으로 이루어진 경우 발화자의 위치 정보를 기초로 제어 대상 디바이스를 특정할 수 있다. 즉, 전자 기기(410)는 대화 맥락에서 생략된 지시 대상에 대한 부분을 발화자의 위치 정보를 기초로 추정할 수 있다. 이때, 전자 기기(410)는 발화자의 음성 입력에 따른 이전 대화 맥락이나 디바이스 제어 히스토리에서 추정된 발화자의 위치 정보에 기초하여 제어 대상 디바이스를 특정할 수 있다. 예를 들어, 음성 입력 '동영상 틀어줘'와 같이 장소나 지시 대상이 생략된 명령어의 경우 발화자의 음성 입력에 대응하는 동작이 가능한 디바이스 중 발화자가 최근 머물렀던 위치에 있는 디바이스를 제어 대상 디바이스로 특정할 수 있다.As another example, the electronic device 410 can identify the control target device based on the position information of the speaker when the command received by the speech input of the speaker is an incomplete sentence in which the place, the target, etc. are omitted. That is, the electronic device 410 can estimate the portion of the instruction target omitted in the dialogue context based on the position information of the speaker. At this time, the electronic device 410 can specify the control target device based on the previous dialogue context according to the voice input of the speaker or the position information of the speaker estimated from the device control history. For example, in the case of a command in which a place or an instruction target is omitted, such as a voice input 'play a video', a device at a position where a speaker has recently stayed in a device capable of performing an operation corresponding to a voice input of a speaker is specified as a control target device .

전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어에 대응되는 하나의 제어 동작에 대하여 제어 대상 디바이스로 둘 이상의 디바이스가 특정되는 경우 디바이스 사용 패턴이나 디바이스 제어 히스토리를 기반으로 발화자 의도에 부합하는 디바이스를 선택할 수 있다. 전자 기기(410)는 음성 입력에 따른 명령어만으로 제어 대상 위치나 제어 대상 디바이스를 특정하기 어려운 경우 음성 입력과 연관된 발화자의 위치 정보에 기초하여 제어 대상 디바이스를 특정하게 되는데, 이때 복수 개의 제어 대상 디바이스가 특정되는 경우 특정된 디바이스 중 사용자 행동 패턴 학습을 통해 보다 적합한 디바이스를 선택할 수 있다. 예를 들어, 음성 입력 '뽀로로 영상 틀어줘'와 같은 명령어가 수신된 경우 해당 컨텐츠가 주로 재생된 디바이스 이력을 파악하여 이력이 가장 많은 디바이스를 제어 대상 디바이스로 선정할 수 있다.When two or more devices are specified as a control target device for one control operation corresponding to a command received by a voice input of a speaker, the electronic device 410 generates a device Can be selected. When it is difficult to specify the control target position or the control target device by only a command according to the voice input, the electronic device 410 specifies the control target device based on the position information of the speaker associated with the voice input. At this time, If it is specified, a more suitable device can be selected through user behavior pattern learning among the specified devices. For example, when a command such as voice input 'Play Pororo Video' is received, the device history having the most content reproduced can be grasped and a device having the largest history can be selected as the control target device.

따라서, 전자 기기(410)는 음성 입력에 따른 명령어만으로 제어 대상 디바이스를 특정하기 어려운 경우 음성 입력과 연관된 발화자의 위치 정보에 기초하여 발화자 의도에 부합하는 디바이스를 추정할 수 있다. 더 나아가, 전자 기기(410)는 발화자의 음성 입력에 따른 대화 맥락을 파악하거나 디바이스 사용 패턴 또는 디바이스 제어 히스토리를 파악하여 보다 적합한 제어 대상 디바이스를 선택할 수 있다.Therefore, when it is difficult to specify the control target device by only a command according to the voice input, the electronic device 410 can estimate a device that matches the speaker's intention based on the position information of the speaker associated with the voice input. Furthermore, the electronic device 410 can select a more suitable control target device by grasping a conversation context according to a voice input of a speaker or by grasping a device usage pattern or a device control history.

단계(S540)에서 전자 기기(410)는 발화자의 음성 입력으로 수신된 명령어에 대응되는 동작을 제어하기 위해 단계(S530)에서 특정된 제어 대상 디바이스로 해당 명령어를 전달할 수 있다. 전자 기기(410)는 발화자의 의도에 알맞은 동작이 제어 대상 디바이스에서 이루어지도록 발화자의 음성 입력에 따른 명령어를 해당 디바이스로 전달할 수 있다. 전자 기기(410)는 발화자의 음성 입력에 따른 명령어를 제어 대상 디바이스로 전달하기에 앞서, 제어 대상 위치나 제어 대상 디바이스의 확인이나 추천을 위한 정보를 음성을 출력할 수 있다. 예를 들어, 전자 기기(410)는 음성 입력 '불을 꺼줘'를 인식 및 분석하여 위치나 대상을 특정한 정보, 예컨대 '거실 불을 끌까요'와 같은 확인 또는 추천 음성을 스피커를 통해 출력할 수 있으며, 이에 음성 입력 '응'이 수신됨에 따라 거실에 있는 조명기기의 전원을 끄도록 해당 디바이스로 명령을 전달할 수 있다.In step S540, the electronic device 410 may transmit the command to the control target device specified in step S530 in order to control an operation corresponding to the command received in the voice input of the speaker. The electronic device 410 can transmit a command corresponding to the voice input of the speaking person to the device so that an operation suited to the intention of the speaking person is performed in the device to be controlled. The electronic device 410 can output a voice to the control target position or information for confirmation or recommendation of the control target device before transmitting the command according to the voice input of the speaker to the control target device. For example, the electronic device 410 recognizes and analyzes the voice input 'turn off the light', and can output a confirmation or recommendation voice such as 'turn off the living room light' And upon receipt of the voice input 'yes', the command can be transmitted to the corresponding device so as to turn off the lighting device in the living room.

따라서, 전자 기기(410)는 위치나 지시 대상 등이 특정되지 않은 음성 입력에 대해 발화자의 위치를 추가로 판단함으로써 발화자의 의도에 부합하는 디바이스 동작이나 컨텐츠 제공을 제어할 수 있다. 이에, 지시 대명사를 이용하거나 위치나 지시 대상 등이 생략된 발화 형태더라도 발화자의 위치를 기반으로 하여 다수의 디스플레이나 조명, 다수의 스피커, 방 별 온도 제어 장치 등 댁내에 존재하는 동일한 기능의 복수 개 디바이스에 대한 선택적인 제어가 가능하다.Accordingly, the electronic device 410 can further control the device operation and the content provision conforming to the intention of the speaker by judging the position of the speaker in addition to the voice input for which the position, the instruction target, etc. are not specified. Therefore, even if the pronunciation pronoun is used or the position or direction is omitted, a plurality of the same functions existing in the house, such as a plurality of displays, lighting, a plurality of speakers, a room temperature control device, Selective control over the device is possible.

도 6 내지 도 7은 본 발명의 일실시예에 있어서, 지시 대명사가 포함된 음성 입력에 따라 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.6 to 7 are diagrams illustrating an example of determining a control target device according to a voice input including an instruction pronoun in an embodiment of the present invention.

도 6은 음성 기반 인터페이스를 포함하는 전자 기기(410)가 사용자(110)의 발화 "여기 TV 켜줘"를 인식 및 분석하여, 전자 기기(410)와 내부 네트워크를 통해 연동된 댁내 TV(610)의 전원을 제어하는 예를 나타내고 있다. 사용자(110)의 음성 입력 "여기 TV 켜줘"에 지시 대명사 '여기'가 포함되어 있어 위치 판단에 대한 추정이 필요하고, 이에 사용자(110)의 위치 정보를 추가로 획득하여 이를 바탕으로 사용자(110)가 의도하는 제어 대상 디바이스를 선정할 수 있다.FIG. 6 illustrates an example in which the electronic device 410 including the voice-based interface recognizes and analyzes the ignition " turn on here TV " of the user 110 so that the electronic device 410 and the home TV 610 And an example of controlling the power supply is shown. Since the voice input "Turn on TV here" of the user 110 includes the instruction pronoun 'here', it is necessary to estimate the position of the user 110. Accordingly, the position information of the user 110 is further acquired, Can select the intended device to be controlled.

지시 대명사에 따라 발화자와 디바이스 간의 위치 관계가 사전에 정해질 수 있으며, 예를 들어, '여기', '이곳', '이쪽' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자와 가장 가까운 위치에 있는 디바이스 또는 발화자의 방향에 위치하는 디바이스를, '저기', '저곳', '저쪽' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자와 가장 먼 위치에 있는 디바이스 또는 발화자의 방향과 반대되는 곳에 위치하는 디바이스를, '거기', '그곳' 등과 같은 의미의 지시 대명사가 포함된 경우 발화자가 가장 최근에 머물렀던 이전 위치에 있는 디바이스를 제어 대상 디바이스로 특정할 수 있다.According to the direct pronoun, the positional relationship between the speaker and the device can be determined in advance. For example, if the pronoun includes meaning such as 'here', 'here', 'here' A device located in the direction of a device or a speaker is located at a position opposite to the direction of a device or a speaker located farthest from the speaker in the case where the indication pronoun in the meaning such as 'over there', 'under there' If the device includes an instruction pronoun, such as 'there', 'there', etc., the device at the previous location where the speaker last most recently can be identified as the controlled device.

전자 기기(410)는 전자 기기(410)와 연동된 복수의 서로 다른 디바이스들의 위치를 관리할 수 있다. 이때, 댁내의 디바이스들의 위치는 다양한 방식으로 설정될 수 있다. 예를 들어, 이러한 위치는 사용자(110)나 관리자에 의해 전자 기기(410)에 입력 및 설정될 수도 있고, 전자 기기(410)가 다른 전자 기기들과 통신하기 위해 송수신하는 신호의 세기 등과 같이 이미 알려진 위치 측위기술을 활용하여 측정될 수도 있다. 모바일 기기의 경우에는 그 위치가 위치 측위기술을 활용하여 동적으로 측정될 수 있다. 이때, 전자 기기(410)는 사용자(110)의 위치와 복수의 다른 디바이스들의 위치에 기반하여 측정되는 사용자(110)와 복수의 다른 전자 기기들간의 거리를 더 이용하여 제어 대상 디바이스를 결정할 수 있다. 여기서 사용자(110)의 위치는 사용자(110)의 발화에 기반하여 측정될 수 있음을 앞서 설명한 바가 있다.The electronic device 410 can manage the positions of a plurality of different devices interlocked with the electronic device 410. At this time, the location of the devices in the home can be set in various ways. For example, such a location may be entered and set in the electronic device 410 by the user 110 or the administrator, and may be provided to the electronic device 410, such as the strength of the signal transmitted and received by the electronic device 410 to communicate with other electronic devices. Or may be measured using known location location techniques. In the case of a mobile device, its position can be measured dynamically using position location techniques. At this time, the electronic device 410 may determine the control target device by further using the distance between the user 110 and the plurality of other electronic devices, which is measured based on the position of the user 110 and the positions of the plurality of other devices . Here, the position of the user 110 can be measured based on the utterance of the user 110 as described above.

예를 들어, 도 6에 도시한 바와 같이 사용자(110)가 거실에 서서 "여기 TV 켜줘"를 발화하는 경우 음성 입력에 지시 대명사 '여기'가 포함됨에 따라 사용자(110)의 위치를 추정하여 댁내 복수 개의 TV 중 사용자(110)의 위치와 가장 가까운 거실에 있는 TV(610)를 제어 대상 디바이스로 선택할 수 있다.For example, as shown in FIG. 6, when the user 110 is standing in the living room and uttering " turn on the TV here ", the location of the user 110 is estimated based on the instruction pronoun ' The TV 610 in the living room closest to the position of the user 110 among the plurality of TVs can be selected as the control target device.

다른 예로, 도 7은 음성 기반 인터페이스를 포함하는 전자 기기(410)가 사용자(110)의 발화 "저쪽 방 에어컨 켜줘"를 인식 및 분석하여, 전자 기기(410)와 내부 네트워크를 통해 연동된 댁내 온도 제어 장치(710)의 전원을 제어하는 예를 나타내고 있다. 사용자(110)가 거실에 서서 "저쪽 방 에어컨 켜줘"를 발화하는 경우 음성 입력에 지시 대명사 '저쪽'이 포함됨에 따라 사용자(110)의 위치를 추정하여 댁내 온도 제어 장치 중 사용자(110)의 위치와 가장 먼 방에 있는 온도 제어 장치(710)를 제어 대상 디바이스로 선택할 수 있다.7 illustrates an example in which the electronic device 410 including the voice-based interface recognizes and analyzes the user ' s ignition " turn on the air conditioner over there " And controls the power supply of the control device 710. FIG. When the user 110 is standing in the living room and uttering " turn on the air conditioner on the other side ", the voice input includes the instruction pronoun 'beyond' to estimate the position of the user 110, And the temperature control device 710 in the farthest room can be selected as the control target device.

도 8 내지 도 9는 본 발명의 일실시예에 있어서, 위치나 지시 대상이 생략된 음성 입력에 따라 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.8 to 9 are diagrams illustrating an example of determining a control target device in accordance with a voice input in which a position or an instruction target is omitted in an embodiment of the present invention.

도 8은 음성 기반 인터페이스를 포함하는 전자 기기(410)가 사용자(110)의 발화 "동영상 틀어줘"를 인식 및 분석하여, 전자 기기(410)와 내부 네트워크를 통해 연동된 댁내 디스플레이(810)를 제어하는 예를 나타내고 있다. 예를 들어, 사용자(110)가 음성 기반 인터페이스를 통해 레시피에 대한 문의 또는 조리를 위한 타이머 설정 등의 동작 이후 소정 시간 이내에 "동영상 틀어줘"를 발화한 경우 이전 음성 입력의 대화 맥락이나 디바이스 제어 히스토리에서 사용자(110)가 주방에 위치하는 것을 추정하여 주방 부근에 설치된 디스플레이(예컨대, TV, 냉장고 디스플레이 등)(810)에 해당 컨텐츠를 전달할 수 있다. 혹은, 사용자(110)의 발화 "불고기 레시피 동영상 틀어줘"에 대해 발화 내용 자체의 대화 맥락을 분석하여 사용자(110)의 위치가 주방 부근임을 추정할 수도 있다.8 illustrates an example in which the electronic device 410 including the voice-based interface recognizes and analyzes the speech " play video " of the user 110 and displays the internal display 810 interlocked with the electronic device 410 via the internal network Control is shown. For example, if the user 110 has uttered " play video " within a predetermined period of time after operation such as setting a timer for inquiry or cooking for a recipe via a voice-based interface, (E.g., TV, refrigerator display, etc.) 810 located near the kitchen by estimating that the user 110 is located in the kitchen. Alternatively, it is possible to estimate that the location of the user 110 is near the kitchen by analyzing the conversation context of the utterance contents with respect to the utterance " play a roasted meat recipe video " of the user 110. [

도 9를 참조하면, 사용자(110)가 음성 기반 인터페이스를 통해 주방에서 조리 관련 요청 이후 거실로 돌아오면서 "거기 불 꺼줘"를 발화한 경우 음성 입력에 지시 대명사 '거기'가 포함됨에 따라 사용자(110)의 위치를 추정하여 댁내 조명 중 사용자(110)가 최근 머물렀던 이전 위치의 조명(910)을 제어 대상 디바이스로 선택할 수 있다.Referring to FIG. 9, when the user 110 has uttered " Turn it off " as it returns to the living room after requesting cooking in the kitchen through the voice-based interface, To select the illumination 910 at the previous position where the user 110 has recently stayed in the household lighting as the control target device.

도 10은 본 발명의 일실시예에 있어서, 사용자 행동 패턴 학습을 기반으로 제어 대상 디바이스를 결정하는 예를 도시한 도면이다.10 is a diagram illustrating an example of determining a control target device based on user behavior pattern learning in an embodiment of the present invention.

도 10은 음성 기반 인터페이스를 포함하는 전자 기기(410)가 사용자(110)의 발화 "뽀로로 동영상 틀어줘"를 인식 및 분석하여, 전자 기기(410)와 내부 네트워크를 통해 연동된 댁내 디스플레이(1010)를 제어하는 예를 나타내고 있다. 전자 기기(410)는 사용자(110)의 발화 "뽀로로 동영상 틀어줘"에 위치나 지시 대상 등이 생략되어 있어 사용자(110)의 위치를 추가로 판단할 수 있고 사용자(110)의 위치를 기준으로 하여 제어 대상 디바이스를 선택할 수 있다. 예를 들어, 사용자(110)가 위치한 거실에 동영상 재생이 가능한 디바이스로서 TV(610)와 태블릿(1010)이 존재하는 경우 해당 컨텐츠가 주로 재생된 디바이스 이력을 파악하여 TV(610)와 태블릿(1010) 중 해당 이력이 가장 많은 디바이스를 선정하여 컨텐츠 재생을 제어할 수 있다. 마찬가지로, 사용자(110)의 발화 "힙합 틀어줘"에 대해 사용자(110)의 주변에 음성 컨텐츠 출력이 가능한 디바이스가 여러 개 존재하는 경우 해당 음악 장르가 주로 재생된 디바이스 이력을 파악하여 해당 이력이 가장 많은 디바이스를 제어 대상 디바이스로 선정하여 컨텐츠 재생을 제어할 수 있다.10 illustrates an example in which an electronic device 410 including a voice-based interface recognizes and analyzes a user's utterance " Pororo video call ", and displays the electronic device 410 on the in-house display 1010, As shown in Fig. The electronic device 410 may further determine the location of the user 110 by omitting the location or the indication target in the ignition " Pororo video play " of the user 110, The control target device can be selected. For example, if there is a TV 610 and a tablet 1010 as devices capable of playing back moving pictures in a living room where the user 110 is located, the device 610 and the tablet 1010 ), It is possible to control the content reproduction by selecting a device having the largest history. Likewise, when there are a plurality of devices capable of outputting audio content around the user 110 in response to the utterance " Hip-hop Play " of the user 110, the device history of the music genre is mainly detected, It is possible to control content reproduction by selecting many devices as control target devices.

이상에서와 같이, 본 발명의 실시예들에 따르면, 발화자의 음성 입력에 따른 명령어에 따라 발화자의 위치를 추가로 판단한 후 명령어에 적합한 디바이스를 선정하여 디바이스 동작이나 컨텐츠 제공을 제어할 수 있다. 특히, 명령어에 지시 대명사가 포함되거나 명령어가 위치나 지시 대상이 생략된 불완전 문장으로 이루어진 경우 사용자의 위치를 기반하여 사용자 의도에 부합하는 디바이스를 추정할 수 있으며, 아울러 발화자의 음성 입력에 따른 대화 맥락을 파악하거나 디바이스 사용 패턴이나 디바이스 제어 히스토리를 파악하여 사용자 의도에 부합하는 디바이스를 추정할 수 있다.As described above, according to the embodiments of the present invention, it is possible to additionally determine the location of a speaking person according to a command according to a voice input of a speaking person, and then to control a device operation or a content providing by selecting a device suitable for the command. In particular, it is possible to estimate a device that conforms to the user's intention based on the user's position when the instruction includes pronouns in an instruction or an imperfect sentence in which the instruction is omitted from the location or the instruction target. In addition, The device usage pattern and the device control history can be grasped to estimate a device conforming to the user's intention.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The system or apparatus described above may be implemented as a hardware component, a software component or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device As shown in FIG. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The medium may be one that continues to store computer executable programs, or temporarily store them for execution or download. In addition, the medium may be a variety of recording means or storage means in the form of a combination of a single hardware or a plurality of hardware, but is not limited to a medium directly connected to a computer system, but may be dispersed on a network. Examples of the medium include a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, And program instructions including ROM, RAM, flash memory, and the like. As another example of the medium, a recording medium or a storage medium managed by a site or a server that supplies or distributes an application store or various other software to distribute the application may be mentioned. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

A device control method of an electronic device including a voice-based interface,
Receiving a command according to a user's voice input through the voice-based interface;
Acquiring positional information associated with the voice input when it is necessary to determine the position of the command; And
Identifying a device to be controlled for controlling an operation corresponding to the command among devices capable of interlocking with the electronic device using the positional information
Lt; / RTI >

The method according to claim 1,
Wherein the acquiring comprises:
Acquiring location information associated with the speech input when the command includes an instruction pronoun;
The device control method comprising:

The method according to claim 1,
Wherein the acquiring comprises:
Acquiring positional information associated with the speech input when the command is an incomplete sentence in which the place or direction is omitted
The device control method comprising:

The method according to claim 1,
Wherein the location information associated with the voice input comprises:
A relative position or direction of the user relative to the electronic device measured at a time or period associated with reception of the voice input, whether the relative position or direction changes, and a change direction of the relative position or direction, that
The device control method comprising:

The method according to claim 1,
Wherein the acquiring comprises:
Acquiring position information associated with the speech input based on a phase shift of a plurality of microinputted speech inputs included in the speech based interface
The device control method comprising:

The method according to claim 1,
Wherein the electronic device includes at least one of a camera and a sensor,
Wherein the acquiring comprises:
Acquiring positional information associated with the speech input based on an output value of at least one of the camera and the sensor when the speech input is received
The device control method comprising:

The method according to claim 1,
Wherein the acquiring comprises:
And acquiring location information associated with the voice input by grasping at least one of a dialogue context corresponding to the voice input and a device control history of the user through the voice based interface
The device control method comprising:

3. The method of claim 2,
The step of specifying,
Specifying the control target device based on position information associated with the voice input according to a positional relationship between the user and the device indicated by the directive pronoun
The device control method comprising:

The method according to claim 1,
The step of specifying,
And specifying the control target device using the device usage pattern of the user through the voice-based interface together with the positional information associated with the voice input
The device control method comprising:

The method according to claim 1,
The step of specifying,
If a plurality of devices capable of performing an operation corresponding to the command are used, the device having a high history among a plurality of devices is specified as the control target device using the device usage pattern of the user through the voice based interface
The device control method comprising:

A computer program stored in a computer-readable medium for causing a computer to execute the method of any one of claims 1 to 10 in combination with a computer.

A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method according to any one of claims 1 to 11.

In the electronic device,
Voice based interface; And
At least one processor configured to execute computer readable instructions,
Lt; / RTI >
Wherein the at least one processor comprises:
Receiving a command according to a user's voice input through the voice-based interface,
Acquiring location information associated with the voice input when it is necessary to determine the location of the command,
And specifying a control target device for controlling an operation corresponding to the command among devices capable of interlocking with the electronic apparatus using the position information
.

14. The method of claim 13,
Wherein the at least one processor is further configured to:
Acquiring positional information associated with the speech input when the command includes an instruction pronoun or the command is an incomplete sentence in which a place or a direction is omitted;
.

14. The method of claim 13,
Wherein the location information associated with the voice input comprises:
A relative position or direction of the user relative to the electronic device measured at a time or period associated with reception of the voice input, whether the relative position or direction changes, and a change direction of the relative position or direction, that
.

14. The method of claim 13,
Wherein the at least one processor is further configured to:
Acquiring position information associated with the speech input based on a phase shift of a plurality of microinputted speech inputs included in the speech based interface
.

14. The method of claim 13,
Wherein the electronic device includes at least one of a camera and a sensor,
Wherein the at least one processor is further configured to:
Acquiring positional information associated with the speech input based on an output value of at least one of the camera and the sensor when the speech input is received
.

14. The method of claim 13,
Wherein the at least one processor is further configured to:
And acquiring location information associated with the voice input by grasping at least one of a dialogue context corresponding to the voice input and a device control history of the user through the voice based interface
.

14. The method of claim 13,
Wherein the at least one processor is further configured to:
Acquiring positional information associated with the speech input when the command includes an instruction pronoun,
Wherein the at least one processor, in order to specify the control target device,
Specifying the control target device based on position information associated with the voice input according to a positional relationship between the user and the device indicated by the directive pronoun
.

14. The method of claim 13,
Wherein the at least one processor, in order to specify the control target device,
And specifying the control target device using the device usage pattern of the user through the voice-based interface together with the positional information associated with the voice input
.