[go: up one dir, main page]

WO2020241906A1 - 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치 - Google Patents

음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치 Download PDF

Info

Publication number
WO2020241906A1
WO2020241906A1 PCT/KR2019/006252 KR2019006252W WO2020241906A1 WO 2020241906 A1 WO2020241906 A1 WO 2020241906A1 KR 2019006252 W KR2019006252 W KR 2019006252W WO 2020241906 A1 WO2020241906 A1 WO 2020241906A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice recognition
recognition device
voice
control message
location information
Prior art date
Application number
PCT/KR2019/006252
Other languages
English (en)
French (fr)
Inventor
박윤식
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to JP2021569147A priority Critical patent/JP7335979B2/ja
Priority to KR1020257016693A priority patent/KR20250076689A/ko
Priority to PCT/KR2019/006252 priority patent/WO2020241906A1/ko
Priority to EP19930394.2A priority patent/EP3979238B1/en
Priority to US17/613,420 priority patent/US20220254344A1/en
Priority to KR1020217028549A priority patent/KR102813950B1/ko
Publication of WO2020241906A1 publication Critical patent/WO2020241906A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a method for controlling a device through voice recognition and a user location of a plurality of devices, and a technology for implementing the same.
  • a method of controlling a device based on a user's command utterance position is identified according to collaboration of a plurality of home appliances arranged in a space.
  • a device for determining user location information based on an input voice in which a plurality of voice recognition devices are disposed, and a method for implementing the same, are presented.
  • the present specification proposes a method of controlling devices by calculating the user's location when a command is uttered.
  • An apparatus for controlling another device using voice recognition analyzes a voice command input by a voice input unit to identify a second voice recognition device to execute the command, and the second voice recognition device And a control unit that generates a control message to be transmitted to the user.
  • the apparatus for controlling another device by using voice recognition includes location information of the first voice recognition device in the control message.
  • An apparatus for controlling another device using voice recognition includes a voice file received by a voice input unit in the control message.
  • An apparatus for controlling another device using voice recognition further includes a command database unit in which commands corresponding to functions of a plurality of voice recognition devices are stored.
  • An apparatus operating using voice recognition includes a communication unit receiving a control message from a first voice recognition device and a control unit controlling the function providing unit according to the control message.
  • the control unit of the device determines that the user is located near the first voice recognition device, and provides a function indicated by the control message.
  • the function providing unit is controlled so as to be performed.
  • a method of controlling a device using voice recognition includes a first voice recognition device receiving a voice input, a third voice recognition device, and a second voice providing a function corresponding to the received voice command.
  • the first voice recognition device transmitting a first control message corresponding to the voice command input by the voice input unit of the first voice recognition device
  • the third voice recognition device is the third voice recognition Transmitting a second control message corresponding to the voice command received by the voice input unit of the device, receiving the first control message and the second control message by the communication unit of the second voice recognition device, and the second And providing, by a control unit of the voice recognition device, a function indicated by the first control message and the second control message based on location information of the first voice recognition device and the second voice recognition device.
  • a plurality of voice recognition devices are arranged so that the devices can determine user location information based on the input voice.
  • each device may operate by calculating the user's location when a command is uttered.
  • the robot cleaner may provide map information to accurately determine the user's location.
  • FIG. 1 shows a configuration of a speech recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 shows a configuration in which speech recognition devices are arranged according to an embodiment of the present invention.
  • FIG. 3 is a view showing a process of controlling a device based on a user's location using location information held by a robot cleaner according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of processing a voice command input by a talker by a plurality of voice recognition apparatuses according to an embodiment of the present invention.
  • each device performs an operation sound to share its location according to an embodiment of the present invention.
  • FIG 6 shows an operation process of an air conditioner or air purifier according to an embodiment of the present invention.
  • FIG. 7 shows an operation process of a TV according to an embodiment of the present invention.
  • first, second, A, B, (a), (b) may be used. These terms are only for distinguishing the component from other components, and the nature, order, order, or number of the component is not limited by the term.
  • a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to that other component, but other components between each component It is to be understood that is “interposed”, or that each component may be “connected”, “coupled” or “connected” through other components.
  • components may be subdivided and described for convenience of description, but these components may be implemented in one device or module, or one component may be a plurality of devices or modules. It can also be implemented by being divided into.
  • ⁇ household appliances, household appliances, etc. that are arranged in a specific space and perform a predetermined function
  • devices that are arranged in a specific space and perform a predetermined function
  • speech recognition devices devices that perform speech recognition
  • two or more devices disposed in a specific space may transmit and receive control messages using a communication function.
  • the user may operate the devices by speaking a command set in the device with a voice.
  • the command indicates the operation of the device and may be configured in various ways according to the classification of the device.
  • the command may control the on/off of the device or instruct to perform a specific function configured in the device. This can be configured in various ways for each device.
  • the command can be subdivided into a start command and a control command.
  • the control command is a command that controls the operation of the device.
  • the control command corresponds to a command that controls the function of a device for each device, such as "turn on”, “turn off”, and "weak wind”.
  • Startup commands provide the ability to inform the device so that it can receive control commands.
  • the start command may be the device's categorical name ("TV”, “Radio”, “Refrigerator”), or the device's brand ("Huissen”, “Trom”), or an interjection or conversational word ("Hey” , "Here”).
  • a number of devices may be disposed in the user's living space. Accordingly, in this specification, a microphone array mounted on a plurality of voice recognition devices is used. When a user utters a command, a short-range device is activated by identifying the user's location among voice recognition devices, so that the home appliance can be automatically controlled using the location information of the user and the device.
  • the voice recognition apparatus may directly operate the voice recognition apparatus by receiving a command uttered by the user, or may instruct the target device to operate by checking a target device included in the command.
  • the voice input unit 110 receives a voice.
  • the function providing unit 130 provides a predetermined function. For example, when the voice recognition device is a refrigerator, the function providing unit 130 provides a refrigerating/freezing function of the refrigerating chamber and the freezing chamber. When the voice recognition device is an air conditioner, the function providing unit 130 discharges air and provides the amount and direction of air discharge. When the voice recognition device is an air purifier, the function providing unit 130 provides a function of inhaling air and a function of purifying the inhaled air.
  • the communication unit 180 may communicate with another device or an external cloud server.
  • the cloud server may provide location information of devices or may convert input voice commands into text.
  • the controller 150 cannot provide a separate voice recognition function, the cloud server may provide a voice recognition function for an input voice command.
  • the control unit 150 of the first voice recognition device analyzes the voice command received by the voice input unit 110 to perform the command. Identify the second voice recognition device. Then, the controller 150 of the first voice recognition device generates a control message to be transmitted to the second voice recognition device.
  • the communication unit 180 of the first voice recognition device transmits the control message to a plurality of devices including the second voice recognition device or the second voice recognition device. When transmitting to multiple users, it can be transmitted in a broadcasting method.
  • the communication unit 180 of the second voice recognition device receives a control message from the first voice recognition device.
  • the control unit 150 of the second voice recognition device controls the function providing unit 130 according to the control message.
  • the control message includes location information of the first voice recognition device.
  • the control message includes relative location information of the first voice recognition device generated based on location information of the second voice recognition device.
  • control unit 150 of the first voice recognition device includes the location information (or the above-described relative location information) of the first voice recognition device in the control message. That is, the control message is generated to include location information.
  • the controller 150 of the second voice recognition device may extract location information (or the above-described relative location information) of the first voice recognition device from the received control message.
  • control unit 150 of the first voice recognition device does not separately include the location information (or the above-described relative location information) of the first voice recognition device in the control message
  • control unit 150 of the second voice recognition device Location information of the first voice recognition device or map information including the location information may be received from a server or an external device.
  • the command database unit 170 stores commands corresponding to functions of a plurality of voice recognition devices. In addition to the command corresponding to the function of the voice recognition device, commands corresponding to the functions of other devices may be further stored. In this case, the voice recognition device can check which device the input command targets.
  • the controller 150 of the first voice recognition device may generate a control message by extracting identification information and control information of the second voice recognition device from a voice command input using the command database unit 170.
  • the voice recognition device when the input command is a command for the device itself, the voice recognition device provides a function corresponding to the command. In this case, the location of the user who uttered the command may be confirmed through a speech recognition device or another device.
  • the voice recognition device may transmit the command to a device to perform the command.
  • the interface unit 190 outputs information such as sound, text, or graphics to the outside or receives a control signal from an external remote controller.
  • FIG. 2 shows a configuration in which speech recognition devices are arranged according to an embodiment of the present invention.
  • the space is divided into a wall and a door, and the refrigerator 100a is arranged in the kitchen.
  • An air purifier 100b, an AI speaker 100c, an air conditioner 100d, and a robot cleaner 100e are placed in the living room.
  • the user (ie, the talker) 1 stands around the refrigerator. All of 100a to 100e belong to voice recognition devices that perform a voice recognition function.
  • the talker 1 inputs a command saying "Hi, LG, turn on the air conditioner". If the command is subdivided, "Hi, LG” is a start command and "Turn on air” is a control command.
  • the command of the talker 1 is input to the voice input unit 110 of the refrigerator 100a.
  • the refrigerator 100a receives a command by voice, and the refrigerator 100a analyzes the input command to perform voice recognition.
  • the refrigerator 100a confirms that the talker 1 has commanded the operation of the air conditioner.
  • the refrigerator 100a transmits a control message indicating that the operation of the air conditioner has been instructed to one or more of the air conditioner 100d or other voice recognition devices 100b, 100c, and 100e.
  • the control message includes information that the talker 1 is near the refrigerator 100a.
  • the refrigerator 100a may directly transmit a control message to the air conditioner 100d.
  • the refrigerator 100a may transmit the control message in a broadcasting method, and all voice recognition devices in the space may receive it.
  • the refrigerator 100a may transmit the input command to the AI speaker 100c.
  • the air conditioner 100d may store the position of the refrigerator in advance, or may receive the position of the refrigerator through the AI speaker 100c or the robot cleaner 100e. For example, while the robot cleaner 100e moves and cleans the space, each home appliance or the arrangement state of the space may be stored.
  • a map reflecting the locations of devices may be generated.
  • the location of the refrigerator may be stored in the map.
  • a user may input a command to the robot cleaner to "clean the refrigerator area" in the past, and place the robot cleaner near the refrigerator 100a.
  • a specific point may be set as the refrigerator 100a on the map generated by the robot cleaner from the user or from the outside.
  • the robot cleaner 100e secures space information based on the location information of objects on the previously input space, the robot cleaner 100e holds the location of the refrigerator 100a and the location of the air conditioner 100d. can do.
  • the robot cleaner 100e may provide the location information of the refrigerator 100a or the relative position information of the refrigerator 100a to the air conditioner 100d based on the air conditioner 100d.
  • the air conditioner 100d may check the user's location information using the location information of the refrigerator 100a and control the wind direction and the amount of air to send air to the user.
  • the first voice recognition device 100i for receiving voice input such as a refrigerator 100a, a robot cleaner 100e, and an air conditioner 100d in FIG. It consists of a second voice recognition device (100w).
  • the first voice recognition device 100i receives a voice command commanding to control the second voice recognition device 100w from the talker 1 (S11). Then, the input command is converted to generate a control message (S12). The first voice recognition device 100i transmits a control message to other devices (S13). In this case, the control message may be transmitted in a broadcasting method or may be transmitted 1:1 to the second voice-to-speech recognition apparatus 100w.
  • the first voice recognition apparatus 100i or the second voice recognition apparatus 100w may receive location information of the first voice recognition apparatus 100i in advance from the robot cleaner 100e (S10a, S10b).
  • the control message may include location information of the first voice recognition device 100i.
  • the robot cleaner 100e may check the transmission state of S13 and transmit the location of the first speech recognition device 100i to the second speech recognition device 100w (S10c). .
  • the cloud server 300 may transmit location information of each voice recognition device to the voice recognition devices.
  • the second voice recognition device 100w operates based on the control message and the first voice recognition device (S14). For example, when the control message calculated from the command "Turn on the air conditioner" is transmitted from the first voice recognition device 100i, the second voice recognition device 100w sends air to the first voice recognition device 100i. .
  • the cloud server 300 may store location information of each voice recognition device and provide it to the voice recognition devices again. In this case, the cloud server 300 may provide the positions of other voice recognition devices as relative location information based on each voice recognition device. Alternatively, the cloud server 300 may transmit map information including location information of each voice recognition device, and the communication unit 180 of the voice recognition devices may receive it.
  • FIG. 4 is a diagram illustrating a process of processing a voice command input by a talker by a plurality of voice recognition devices according to an embodiment of the present invention.
  • the volume of the command input to the refrigerator 100a disposed closest to the speaker is the volume of the command input to the air purifier 100b disposed farther than this Greater than
  • the size of the input voice is included in the control message.
  • the first voice recognition apparatus 100i and the third voice recognition apparatus 100j receive voice commands (S21i and S21j). Each device converts voice commands to generate control messages. At this time, each of the devices 100i and 100j includes information on the loudness of the voice received by the devices 100i and 100j when generating the control message (S22i and S22j).
  • Each of the devices 100i and 100j transmits a control message to the second voice recognition device 100w (S23i and S23j).
  • the second voice recognition apparatus 100w operates based on the control message and the volume of the voice included in the control message (S24).
  • the volume of the sound received by the first voice recognition device 100i is 5.
  • the second voice recognition device 100w determines that the user uttered near the first voice recognition device 100i.
  • the second voice recognition device 100w may set the first voice recognition device 100i as the user's location and perform a predetermined function included in the control message.
  • the second voice recognition device 100w may receive and store location information of each device through processes S10a, S10b, and S10c of FIG. 3.
  • the second voice recognition device 100w may receive and store location information of each device from the AI speaker 100c or a cloud server disposed outside.
  • the control message includes location information of the first and third voice recognition devices.
  • the control message includes relative location information of the first and third voice recognition devices generated based on the location information of the second voice recognition device.
  • the second voice recognition apparatus 100w may receive location information in advance from the robot cleaner 100e.
  • control message in FIGS. 3 and 4 may include a voice file received by the voice input unit of the first voice recognition device 100i or the third voice recognition device 100j.
  • the stored voice file may be generated by the first voice recognition device 100i or the third voice recognition device 100j and included in the control message.
  • the first voice recognition apparatus 100i and the third voice recognition apparatus 100j may each transmit a control message to the second voice recognition apparatus 100w.
  • the first voice recognition apparatus 100i transmits a first control message corresponding to a voice command input by the voice input unit 110 of the first voice recognition apparatus 100i (S23i).
  • the third voice recognition apparatus 100j transmits a second control message corresponding to the voice command received by the voice input unit 110 of the third voice recognition apparatus 100j (S23j).
  • the communication unit 180 of the second voice recognition apparatus 100w receives the first control message and the second control message. And, the control unit 150 of the second voice recognition device 100w instructs the first control message and the second control message based on the location information of the first voice recognition device 100i and the second voice recognition device 100j. Provides a function (S24).
  • control unit 150 of the second voice recognition device 100w extracts the location information of the first voice recognition device 100i from the first control message
  • the third voice recognition device 100j extracts the location information from the second control message.
  • Location information can be extracted.
  • the user's location can be more accurately identified by using the two location information. In particular, when comparing the volume information of the voice included in the control message, the user's location can be accurately identified.
  • the refrigerator is the first voice recognition device 100i
  • the air purifier is the third voice recognition device 100j
  • the voices received by the two devices are at the same level.
  • the control unit 150 of the air conditioner determines that the location of the talker is between the air purifier and the refrigerator, and the function control unit 130 directs the wind direction toward the middle point between the two devices. ) Can be controlled.
  • each device performs an operation sound to share its location according to an embodiment of the present invention.
  • the first voice recognition device 100i, the second voice recognition device 100w, and the third voice recognition device 100j respectively broadcast identification information of the device and output operation sounds (S31, S32, S33). Each device stores identification information of other devices and direction or distance information for the input sound.
  • the voice input unit 110 installed in the second voice recognition device 100w is a directional microphone, it can be confirmed that the first voice recognition device 100i is disposed in the left direction.
  • the voice input unit 110 is disposed on both the left and right sides of the second voice recognition device 100w, the direction of the second voice recognition device 100w is determined by using the difference in the loudness of the sound input by both voice input units 110. ) May determine the location of the first voice recognition device 100i.
  • the distance can be calculated according to the size of the input operation sound.
  • the first voice recognition device 100i may notify other devices by including the volume of the operating sound as well.
  • the control unit 150 of each device compares the original sound level of the operation sound output from the other device with the size of the operation sound input to the voice input unit 110. Using this, the controller 250 may calculate the distances of other devices that have output the operating sound. The distance is inversely proportional to the loudness of the sound.
  • each device may store information on the location or distance of other devices. For example, when using a map generated by the robot cleaner 100b or using an operation sound, devices may check the locations or distances of other devices.
  • the first voice recognition device 100i when it receives a voice command from the user, it can transmit the voice command to the second voice recognition device 100w to be actually operated to instruct the operation.
  • the second voice recognition apparatus 100w performs a function by reflecting information that the user who inputs the voice command was in the vicinity of the first voice recognition apparatus 100i.
  • the location information of the user is important.
  • the voice input unit 110 is a single microphone array
  • the direction of the user can be determined using the map generated by the robot cleaner 100b, and the voice recognition devices are based on this. You can make an accurate position determination.
  • the robot cleaner 100b stores the information of the corresponding point as a point to which the user voice input.
  • the voice recognition apparatus may estimate the location of the talker by using the voice input unit 110 of various devices providing voice services, for example, a microphone.
  • the voice recognition apparatus accurately checks the location information of the user by combining the location information of each home appliance and the location of the talker, and performs an operation based on the location of the user. Therefore, it is possible to increase the convenience of use of the device and improve the performance, and automatic control of the devices becomes possible.
  • the voice input unit 110 for example, a microphone array mounted on a voice recognition device disposed at various locations enables the voice recognition device to acquire location information of a user.
  • the voice input unit 110 disposed in the voice recognition device is a directional microphone, direction information of a voice input by each voice recognition device may be included in the control message.
  • the voice recognition device receiving the control message may calculate the location information of the user by collecting direction information.
  • each device outputs an operation sound (notification sound) of the product at a certain point in time, and other devices that receive the input may calculate the location of the device.
  • each device can calculate its own location information and location information of another device by sharing map information that the robot cleaner learns and generates during the driving process.
  • the devices can operate with directionality when the above-described embodiment is applied.
  • the voice recognition device may automatically adjust the volume of the feedback voice comment according to the distance from the user or the location of the user.
  • FIG 6 shows an operation process of an air conditioner or air purifier according to an embodiment of the present invention.
  • the first voice recognition device 100i receives a voice command (S41).
  • the first voice recognition device 100i generates a control message according to the above-described process and transmits it to the second voice recognition device 100w (S42).
  • the controller 150 of the second voice recognition device 100w determines that the user is located near the first voice recognition device 100i and recognizes the first voice. The operation starts with the location of the device 100i as a target (S43). Accordingly, the control unit 150 of the second voice recognition apparatus 100w controls the function control unit 130 to provide a function indicated by the control message. The control unit 150 of the second voice recognition device 100w may adjust the direction and intensity of the wind.
  • the interface unit 190 of the second voice recognition device 100w receives a direction change control signal within a certain time (for example, within 3 to 10 seconds), it is determined that the user has changed the direction of the wind. . Then, the control unit 150 of the second voice recognition device 100w corrects the location information of the first voice recognition device 100i in the changed direction (S44). This includes a situation in which the user adjusts the direction of the air conditioner/air purifier again after firing.
  • FIG. 7 shows an operation process of a TV according to an embodiment of the present invention.
  • S41 and S42 are as described in FIG. 6.
  • the control unit 150 of the second voice recognition device 100w calculates the distance to the first voice recognition device 100i (S53). In addition, when the distance between the two devices is less than a certain standard, the synchronization is performed (S54).
  • the TV placed in the living room calculates the distance to the refrigerator (first voice recognition device) using the received control message or previously received location information. If it is determined that it is within a certain distance, the TV placed in the living room is turned on according to an instruction included in the control message.
  • the TV arranged in bedroom 4 calculates the distance to the refrigerator (first voice recognition device) using the received control message or previously received location information. If it is determined that the distance is greater than the predetermined distance, the TV placed in bedroom 4 does not follow the instructions included in the control message.
  • the interface unit 190 of the second voice recognition device 100w receives a direction change control signal within a certain time (for example, within 3 to 10 seconds), it is determined that the user has changed the direction of the wind. . Then, the control unit 150 of the second voice recognition device 100w corrects the location information of the first voice recognition device 100i in the changed direction (S44). This includes a situation in which the user adjusts the direction of the air conditioner/air purifier again after firing.
  • the present invention is not necessarily limited to these embodiments, and all constituent elements within the scope of the present invention are not It can also be selectively combined and operated.
  • all of the components can be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program is stored in a computer readable storage medium, is read and executed by a computer, and thus an embodiment of the present invention can be implemented.
  • the storage medium of the computer program includes a magnetic recording medium, an optical recording medium, and a storage medium including a semiconductor recording element.
  • the computer program implementing the embodiment of the present invention includes a program module that is transmitted in real time through an external device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Air Conditioning Control Device (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치에 관한 기술로, 본 발명의 일 실시예에 의한 음성인식을 이용하여 타 장치를 제어하는 장치는 음성입력부가 입력받은 음성 명령어를 분석하여 상기 명령어를 수행할 제2음성인식장치를 식별하고, 상기 제2음성인식장치에게 전송할 제어 메시지를 생성하는 제어부를 포함한다.

Description

음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치
본 발명은 복수 장치의 음성인식 및 사용자 위치를 통해 장치를 제어하는 방법 및 이를 구현하는 장치에 관한 기술이다.
최근 가전 제품, 가전 기기 등을 제어함에 있어서 음성에 기반하여 제어하는 기술이 다양하게 제시되고 있다. 특히, 가전 제품이나 가전 기기 등의 장치들을 제어함에 있어서 인간의 음성을 빨리 인식시키기 위해서 음성 인식률을 높이도록 마이크를 다양하게 설치하거나 음성 인식 처리 모듈을 새로이 개발하는 등의 연구가 계속되고 있다.
한편, 음성 인식은 다양한 변수가 발생하는 상황에서 이루어져야 하므로, 이러한 변수에 기반하여 장치가 음성 인식의 정확도를 높이도록 대응하여 동작하는 것이 필요하다. 이에, 본 명세서에서는 공간 내에 배치된 다수 가전 기기들의 협업에 따라 사용자의 명령어 발화 위치를 확인하여 이에 기반하여 기기를 제어하는 방안에 대해 제시한다.
전술한 문제점을 해결하기 위한 것으로, 본 명세서에서는 다수의 음성 인식 장치들이 배치되어 사용자 위치 정보를 입력된 음성에 기반하여 판단하는 장치와 이를 구현하는 방법을 제시한다.
또한, 본 명세서에서는 명령어 발화 시 사용자의 위치를 계산하여 장치들을 제어하는 방안을 제시한다.
또한, 본 명세서에서는 사용자의 위치를 정확하게 판단하기 위해 로봇 청소기가 맵 정보를 제공하는 방안을 제시한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 타 장치를 제어하는 장치는 음성입력부가 입력받은 음성 명령어를 분석하여 상기 명령어를 수행할 제2음성인식장치를 식별하고, 상기 제2음성인식장치에게 전송할 제어 메시지를 생성하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 타 장치를 제어하는 장치는 상기 제1음성인식장치의 위치 정보를 상기 제어 메시지에 포함시킨다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 타 장치를 제어하는 장치는 음성 입력부가 입력받은 음성 파일을 상기 제어 메시지에 포함시킨다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 타 장치를 제어하는 장치는 다수의 음성인식장치들의 기능에 대응하는 명령어가 저장된 명령어 데이터베이스부를 더 포함한다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 동작하는 장치는 제1음성인식장치로부터 제어 메시지를 수신하는 통신부와 상기 제어 메시지에 따라 상기 기능 제공부를 제어하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 동작하는 장치가 공기청정기 또는 에어컨인 경우 장치의 제어부는 제1음성인식장치의 주변에 사용자가 위치한 것으로 판단하고, 제어 메시지가 지시하는 기능을 제공하도록 상기 기능제공부를 제어한다.
본 발명의 일 실시예에 의한 음성인식을 이용하여 장치를 제어하는 방법은 음성을 입력받는 제1음성인식장치, 제3음성인식장치 및 상기 입력받은 음성 명령어에 대응하는 기능을 제공하는 제2음성인식장치에 있어서, 상기 제1음성인식장치는 상기 제1음성인식장치의 음성 입력부가 입력받은 음성 명령어에 대응하는 제1제어 메시지를 전송하는 단계, 상기 제3음성인식장치는 상기 제3음성인식장치의 음성 입력부가 입력받은 음성 명령어에 대응하는 제2제어 메시지를 전송하는 단계, 상기 제2음성인식장치의 통신부가 상기 제1제어 메시지 및 상기 제2제어 메시지를 수신하는 단계, 및 상기 제2음성인식장치의 제어부가 상기 제1음성인식장치 및 상기 제2음성인식장치의 위치 정보에 기반하여 상기 제1제어 메시지 및 제2제어 메시지가 지시하는 기능을 제공하는 단계를 포함한다.
본 발명의 실시예들을 적용할 경우, 다수의 음성 인식 장치들이 배치되어 사용자 위치 정보를 입력된 음성에 기반하여 장치들이 판단할 수 있다.
본 발명의 실시예들을 적용할 경우, 명령어 발화 시 사용자의 위치를 계산하여 각 장치들이 동작할 수 있다.
본 발명의 실시예를 적용할 경우, 사용자의 위치를 정확하게 판단하기 위해 로봇 청소기가 맵 정보를 제공할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 의한 음성 인식 장치의 구성을 보여준다.
도 2는 본 발명의 일 실시예에 의한 음성 인식 장치들이 배치된 구성을 보여준다.
도 3은 본 발명의 일 실시예에 의한 로봇청소기가 보유한 위치 정보를 이용하여 사용자의 위치에 기반한 장치 제어의 과정을 보여준다.
도 4는 본 발명의 일 실시예에 의한 다수의 음성 인식장치들이 발화자가 입력한 음성 명령어를 처리하는 과정을 보여준다.
도 5는 본 발명의 일 실시예에 의한 각각의 장치들이 자신의 위치를 공유하기 위해 작동음을 수행하는 과정을 보여준다.
도 6은 본 발명의 일 실시예에 의한 에어컨 또는 공기청정기의 동작 과정을 보여준다.
도 7은 본 발명의 일 실시예에 의한 TV의 동작 과정을 보여준다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 특정한 공간 내에 배치되어 소정의 기능을 수행하는 가전 제품, 가전 기기 등을 모두 장치라고 통칭한다. 장치들 중에서 음성 인식을 수행하는 장치들을 음성 인식 장치라고 지칭한다. 또한, 특정한 공간 내에 배치되는 둘 이상의 장치들은 통신 기능을 이용하여 제어 메시지를 송수신할 수 있다.
본 명세서에서 사용자는 장치에 설정된 명령어를 음성으로 발화하여 장치들을 동작시킬 수 있다. 명령어는 장치의 동작을 지시하는 것으로 장치의 분류에 따라 다양하게 구성될 수 있다. 일 실시예로, 명령어는 장치의 온/오프를 제어하거나 장치에 구성된 특정한 기능을 수행하는 것을 지시할 수 있다. 이는 장치 별로 다양하게 구성될 수 있다.
또한, 명령어는 기동 명령어와 제어 명령어로 세분될 수 있다. 제어 명령어는 장치의 동작을 제어하는 명령어이다. 제어 명령어는 "켜줘", "꺼줘", "약풍" 등과 같이 장치 별로 장치의 기능을 제어하는 명령어에 해당한다.
기동 명령어는 장치가 제어 명령어를 수신할 수 있도록 장치에게 알려주는 기능을 제공한다. 일 실시예로 기동 명령어는 장치의 분류적 명칭("TV", "라디오", "냉장고")가 되거나 장치의 브랜드("휘센", "트롬"), 또는 감탄사나 대화체의 단어("이봐", "여기")가 될 수 있다.
사용자의 생활 공간 내에는 다수의 장치들이 배치될 수 있다. 따라서, 본 명세서에서는 다수의 음성인식장치(device)에 장착된 마이크 어레이(array)를 활용한다. 사용자가 명령어 발화 시 음성인식장치들 중에서 사용자의 위치 파악을 통한 근거리 장치가 활성화되어 사용자 및 장치의 위치 정보를 활용하여 자동으로 가전 제품을 제어할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 의한 음성 인식 장치의 구성을 보여준다. 음성 인식 장치는 사용자가 발화한 명령어를 입력받아 음성 인식 장치가 직접 동작하거나, 혹은 명령어에 포함된 대상 장치를 확인하여 대상 장치에게 동작을 지시할 수 있다.
음성 입력부(110)는 음성을 입력받는다. 기능 제공부(130)는 소정의 기능을 제공한다. 예를 들어, 음성인식장치가 냉장고의 경우 기능 제공부(130)는 냉장실 및 냉동실의 냉장/냉동 기능을 제공한다. 음성인식장치가 에어컨인 경우 기능 제공부(130)는 공기를 토출하며 공기 토출의 양과 방향을 제공한다. 음성인식장치가 공기청정기인 경우 기능 제공부(130)는 공기를 흡입하는 기능과 흡입한 공기를 청정시키는 기능을 제공한다.
통신부(180)는 다른 장치 또는 외부의 클라우드 서버와 통신을 수행할 수 있다. 클라우드 서버는 장치들의 위치 정보를 제공하거나, 입력된 음성 명령어를 텍스트로 변환할 수 있다. 또한, 제어부(150)가 별도의 음성 인식 기능을 제공하지 못할 경우 클라우드 서버는 입력된 음성 명령어에 대한 음성 인식 기능을 제공할 수 있다.
제1음성인식장치가 음성 명령어를 입력받아 제2음성인식장치에게 전송하는 실시예에서 제1음성인식장치의 제어부(150)는 음성입력부(110)가 입력받은 음성 명령어를 분석하여 명령어를 수행할 제2음성인식장치를 식별한다. 그리고, 제1음성인식장치의 제어부(150)는 제2음성인식장치에게 전송할 제어 메시지를 생성한다.
제1음성인식장치의 통신부(180)는 제어 메시지를 제2음성인식장치 또는 제2음성인식장치를 포함한 다수의 장치들에게 전송한다. 다수에게 전송할 때에는 브로드캐스팅 방식으로 전송할 수 있다.
제1음성인식장치가 음성 명령어를 입력받아 제2음성인식장치에게 전송하는 실시예에서 제2음성인식장치의 통신부(180)는 제1음성인식장치로부터 제어 메시지를 수신한다. 그리고 제2음성인식장치의 제어부(150)는 제어 메시지에 따라 기능 제공부(130)를 제어한다.
제어 메시지는 제1음성인식장치의 위치 정보를 포함한다. 또는 제어메시지는 제2음성인식장치의 위치 정보를 기준으로 생성된 상기 제1음성인식장치의 상대 위치 정보를 포함한다.
따라서, 제1음성인식장치의 제어부(150)는 제1음성인식장치의 위치 정보(또는 전술한 상대 위치 정보)를 상기 제어 메시지에 포함시킨다. 즉, 상기 제어 메시지는 위치 정보를 포함하도록 생성된다. 제2음성인식장치의 제어부(150)는 수신된 제어 메시지에서 제1음성인식장치의 위치 정보(또는 전술한 상대 위치 정보)를 추출할 수 있다.
또한, 제1음성인식장치의 제어부(150)가 별도로 제1음성인식장치의 위치 정보(또는 전술한 상대 위치 정보)를 제어 메시지에 포함시키지 않아도, 제2음성인식장치의 제어부(150)가 클라우드 서버나 외부의 장치로부터 제1음성인식장치의 위치 정보 또는 상기 위치 정보를 포함한 맵 정보를 수신할 수 있다.
명령어 데이터베이스부(170)는 다수의 음성인식장치들의 기능에 대응하는 명령어를 저장한다. 해당 음성인식장치의 기능에 대응하는 명령어 외에도 다른 장치들의 기능에 대응하는 명령어를 더 저장할 수 있다. 이 경우 음성인식장치는 입력된 명령어가 어느 장치를 타겟으로 하는지를 확인할 수 있다.
즉, 제1음성인식장치의 제어부(150)는 명령어 데이터베이스부(170)를 이용하여 입력된 음성 명령어에서 제2음성인식장치의 식별 정보와 제어 정보를 추출하여 제어메시지를 생성할 수 있다.
도 1에서 음성 인식 장치는 입력된 명령어가 해당 장치 자체에 대한 명령어인 경우 명령어에 대응하는 기능을 제공한다. 이때, 명령어를 발화한 사용자의 위치를 음성 인식 장치 또는 다른 장치를 통해 확인할 수 있다.
다른 실시예로, 음성 인식 장치는 입력된 명령어가 해당 장치가 아닌 다른 장치에 대한 명령어인 경우 명령어를 수행할 장치에게 명령어를 전송할 수 있다.
인터페이스부(190)는 외부에 소리나 문자, 그래픽 등의 정보를 출력하거나 외부의 리모트 컨트롤러로부터 제어 신호를 입력받는다.
이하 음성 인식 장치가 동작하는 프로세스를 살펴본다.
도 2는 본 발명의 일 실시예에 의한 음성 인식 장치들이 배치된 구성을 보여준다. 공간이 벽과 문으로 나뉘어지며 주방에 냉장고(100a)가 배치된 상태이다. 거실에 공기청정기(100b), AI 스피커(100c), 에어컨(100d), 로봇청소기(100e)가 배치된 상태이다. 사용자(즉, 발화자)(1)는 냉장고 주변에 서있다. 100a 내지 100e는 모두 음성 인식 기능을 수행하는 음성 인식 장치들에 속한다.
도 2에서 발화자(1)가 "Hi, LG, 에어컨 틀어줘"라고 명령어를 입력한다. 명령어를 세분하면 "Hi, LG"는 기동 명령어이며 "에어컨 틀어줘"는 제어 명령어이다.
발화자(1)의 명령어는 냉장고(100a)의 음성입력부(110)에 입력된다. 냉장고(100a)가 음성으로 명령어를 입력받았고, 입력된 명령어를 냉장고(100a)가 분석하여 음성 인식을 수행한다. 냉장고(100a)는 발화자(1)가 에어컨 동작을 명령했음을 확인한다.
그리고 냉장고(100a)는 에어컨(100d) 또는 다른 음성 인식 장치들(100b, 100c, 100e) 중 어느 하나 이상에게 에어컨 동작이 지시되었다는 제어 메시지를 전송한다. 이때 제어 메시지는 발화자(1)가 냉장고(100a) 주변에 있다는 정보를 포함한다.
냉장고(100a)는 제어 메시지를 에어컨(100d)에게 직접 전송할 수 있다. 또는 냉장고(100a)는 제어 메시지를 브로드캐스팅 방식으로 전송하고 공간 내의 음성 인식 장치들이 모두 이를 수신할 수 있다.
또는 냉장고(100a)는 입력된 명령어를 AI 스피커(100c)에게 전송할 수 있다.
에어컨(100d)은 냉장고의 위치를 미리 저장할 수도 있고, AI 스피커(100c) 또는 로봇 청소기(100e)를 통해 냉장고의 위치를 수신할 수 있다. 예를 들어, 로봇 청소기(100e)가 공간을 이동하며 청소하는 과정에서 각각의 가전 제품이나 공간의 배치 상태를 저장할 수 있다.
그리고 로봇 청소기(100e)가 공간을 학습하는 과정에서 장치들(냉장고, 공기청정기, 에어컨 등)의 위치를 반영한 맵을 생성할 수 있다. 그리고 맵에 냉장고의 위치가 저장될 수 있다.
예를 들어, 사용자가 로봇 청소기에게 과거에 "냉장고 주변을 청소해줘"라고 명령어를 입력하며, 로봇 청소기를 냉장고(100a) 근처에 둘 수 있다. 또는 로봇 청소기가 생성한 맵에 사용자 또는 외부에서 특정 지점을 냉장고(100a)로 설정할 수 있다.
즉, 미리 입력된 공간에 대한 사물들의 위치 정보 기반하여 로봇 청소기(100e)가 공간에 대한 정보를 확보한 경우, 로봇 청소기(100e)는 냉장고(100a)의 위치와 에어컨(100d)의 위치를 보유할 수 있다.
따라서, 로봇 청소기(100e)는 냉장고(100a)의 위치 정보 또는 에어컨(100d)을 기준으로 냉장고(100a)의 상대적 위치 정보를 에어컨(100d)에게 제공할 수 있다.
에어컨(100d)은 냉장고(100a)의 위치 정보를 이용하여 사용자의 위치 정보를 확인하고 풍향과 풍량을 제어하여 사용자를 향해 공기를 송출할 수 있다.
도 3은 본 발명의 일 실시예에 의한 로봇청소기가 보유한 위치 정보를 이용하여 사용자의 위치에 기반한 장치 제어의 과정을 보여준다. 도 2의 실시예와 같이, 냉장고(100a)와 같이 음성을 입력받는 제1음성인식 장치(100i), 로봇 청소기(100e), 도 2에서 에어컨(100d)과 같이 음성으로 입력된 명령어를 수행하는 제2음성인식장치(100w)로 구성된다.
제1음성인식장치(100i)는 발화자(1)로부터 제2음성인식장치(100w)를 제어하도록 명령하는 음성 명령어를 입력받는다(S11). 그리고 입력된 명령어를 변환하여 제어 메시지를 생성한다(S12). 제1음성인식장치(100i)는 제어 메시지를 다른 장치들에게 전송한다(S13). 이때 제어 메시지는 브로드캐스팅 방식으로 전송되거나 제2음성 음성 인식장치(100w)에게 1:1로 전송될 수 있다.
여기서 제1음성인식장치(100i) 또는 제2음성인식장치(100w)는 로봇 청소기(100e)로부터 미리 제1음성인식장치(100i)의 위치 정보를 수신할 수 있다(S10a, S10b). 이 경우 제어메시지는 제1음성인식장치(100i)의 위치 정보를 포함할 수 있다.
또는 S13의 전송이 브로드캐스팅일 경우, 로봇 청소기(100e)는 S13의 전송 상태를 확인하고, 제2음성인식장치(100w)에게 제1음성인식장치(100i)의 위치를 전달할 수 있다(S10c). 또는 클라우드 서버(300)가 각 음성인식장치들의 위치 정보를 음성인식장치들에게 전송할 수 있다.
제2음성인식장치(100w)는 제어 메시지 및 제1음성인식장치에 기반하여 동작한다(S14). 예를 들어 제1음성인식장치(100i)에서 "에어컨을 켜줘"라는 명령어에서 산출된 제어 메시지가 전달되면, 제2음성인식장치(100w)는 제1음성인식장치(100i) 쪽으로 공기를 송출한다.
도 3에서 로봇 청소기(100e) 외에도 클라우드 서버(300)가 각각의 음성 인식장치들의 위치 정보를 저장하고, 이를 다시 음성인식장치들에게 제공할 수 있다. 이때, 클라우드 서버(300)는 각 음성인식장치를 기준으로 다른 음성인식장치들의 위치를 상대적인 위치 정보로 제공할 수 있다. 또는 클라우드 서버(300)는 각각의 음성인식장치들의 위치 정보를 포함한 맵 정보를 전송하고, 음성인식장치들의 통신부(180)가 이를 수신할 수 있다.
도 4는 본 발명의 일 실시예에 의한 다수의 음성 인식장치들이 발화자가 입력한 음성 명령어를 처리하는 과정을 보여준다.
도 2의 공간에서 발화자가 음성으로 명령어를 발화할 경우, 발화자에게 가장 근접하게 배치된 냉장고(100a)에 입력된 명령어의 소리 크기가 이보다 멀리 배치된 공기청정기(100b)에 입력된 명령어의 소리 크기 보다 크다.
따라서, 둘 이상의 음성 인식장치들이 음성을 입력받은 경우, 입력된 음성의 크기를 제어메시지에 포함시킨다.
도 4에서 제1음성인식장치(100i)와 제3음성인식장치(100j)가 음성 명령어를 입력받는다(S21i, S21j). 각각의 장치들은 음성 명령어를 변환하여 제어 메시지를 생성한다. 이때, 각 장치들(100i, 100j)은 제어 메시지 생성 시 각 장치들(100i, 100j)가 입력받은 음성의 소리 크기 정보를 포함시킨다(S22i, S22j).
각 장치들(100i, 100j)은 제2음성인식장치(100w)에게 제어 메시지를 전송한다(S23i, S23j). 제2음성인식장치(100w)는 제어 메시지 및 제어메시지에 포함된 음성의 소리 크기에 기반하여 동작한다(S24).
예를 들어 제1음성인식장치(100i)가 입력받은 소리의 크기가 5이고. 제3음성인식장치(100j)가 입력받은 소리의 크기가 3인 경우, 제2음성인식장치(100w)는 제1음성인식장치(100i) 주변에서 사용자가 발화한 것으로 판단한다. 그리고 제2음성인식장치(100w)는 제1음성인식장치(100i)를 사용자의 위치로 설정하고 제어 메시지에 포함된 소정의 기능을 수행할 수 있다.
여기서 제2음성인식장치(100w)는 도 3의 S10a, S10b, S10c 등의 과정을 통해 각 장치들의 위치 정보를 수신하고 저장할 수 있다. 또는 제2음성인식장치(100w)는 AI 스피커(100c) 또는 외부에 배치된 클라우드 서버로부터 각 장치들의 위치 정보를 수신하여 저장할 수 있다.
제어 메시지는 제1 및 제3음성인식장치의 위치 정보를 포함한다. 또는 제어메시지는 제2음성인식장치의 위치 정보를 기준으로 생성된 제1 및 제3음성인식장치의 상대 위치 정보를 포함한다. 또는 도 3과 같이 로봇 청소기(100e)로부터 제2음성인식장치(100w)가 미리 위치 정보를 수신할 수 있다.
또한, 도 3 및 도 4에서 제어 메시지는 제1음성인식장치(100i) 또는 제3음성인식장치(100j)의 음성 입력부가 입력받은 음성 파일을 포함할 수 있다. 예를 들어, 사용자가 "에어컨을 켜줘"라고 발화한 경우 이를 저장한 음성 파일을 제1음성인식장치(100i) 또는 제3음성인식장치(100j)가 생성하여 제어 메시지에 포함시킬 수 있다.
도 4에서 제1음성인식장치(100i)와 제3음성인식장치(100j)가 각각 제어 메시지를 제2음성인식장치(100w)에게 전송할 수 있다. 예를 들어, 제1음성인식장치(100i)는 제1음성인식장치(100i)의 음성 입력부(110)가 입력받은 음성 명령어에 대응하는 제1제어 메시지를 전송한다(S23i).
마찬가지로 제3음성인식장치(100j)는 제3음성인식장치(100j)의 음성 입력부(110)가 입력받은 음성 명령어에 대응하는 제2제어 메시지를 전송한다(S23j).
그리고 제2음성인식장치(100w)의 통신부(180)가 제1제어 메시지 및 제2제어 메시지를 수신한다. 그리고, 제2음성인식장치(100w)의 제어부(150)가 제1음성인식장치(100i) 및 제2음성인식장치(100j)의 위치 정보에 기반하여 제1제어 메시지 및 제2제어 메시지가 지시하는 기능을 제공한다(S24).
여기서 제2음성인식장치(100w)의 제어부(150)는 제1제어 메시지에서 상기 제1음성인식장치(100i)의 위치 정보를 추출하고 제2제어메시지에서 상기 제3음성인식장치(100j)의 위치 정보를 추출할 수 있다. 두 개의 위치 정보를 이용하여 사용자의 위치를 보다 정확하게 확인할 수 있다. 특히, 제어메시지에 포함된 음성의 크기 정보를 비교할 경우 사용자의 위치를 정확하게 확인할 수 있다.
예를 들어, 도 2의 실시예에서 냉장고가 제1음성인식장치(100i)이고, 공기청정기가 제3음성인식장치(100j)이며, 두 장치가 입력받은 음성의 크기가 같은 수준이다.
이 경우 에어컨이 제2음성인식장치(100w)인 경우, 에어컨의 제어부(150)는 발화자의 위치가 공기청정기와 냉장고 사이라고 판단하고 바람의 방향을 두 장치의 중간 지점을 향하도록 기능제어부(130)를 제어할 수 있다.
도 5는 본 발명의 일 실시예에 의한 각각의 장치들이 자신의 위치를 공유하기 위해 작동음을 수행하는 과정을 보여준다.
제1음성인식장치(100i), 제2음성인식장치(100w), 제3음성인식장치(100j)는 각각 장치의 식별 정보를 브로드캐스팅하며 작동음을 출력한다(S31, S32, S33). 각각의 장치들은 다른 장치들의 식별 정보와 입력된 작동음에 대한 방향 또는 거리정보를 저장한다.
예를 들어, 제2음성인식장치(100w)에 설치된 음성입력부(110)가 지향성 마이크인 경우, 제1음성인식장치(100i)가 좌측 방향에 배치되었음을 확인할 수 있다. 또는 음성입력부(110)가 제2음성인식장치(100w)의 좌측 및 우측에 모두 배치된 경우, 양측 음성입력부(110)가 입력받은 소리의 크기 차이를 이용하여 방향을 제2음성인식장치(100w)는 제1음성인식장치(100i)의 위치를 판단할 수 있다.
또한, 입력된 작동음의 크기에 따라 거리를 산출할 수 있다. 앞서 식별정보의 브로드캐스팅 과정에서 제1음성인식장치(100i)는 작동음의 크기도 함께 포함시켜 다른 장치들에게 통보할 수 있다.
따라서, 작동음이 출력되면 각각의 장치들의 제어부(150)는 다른 장치가 출력한 작동음의 원래 소리 크기와 음성입력부(110)에 입력된 작동음의 크기를 비교한다. 이를 이용하여 제어부(250)는 작동음을 출력한 다른 장치들의 거리를 산출할 수 있다. 소리의 크기에 따라 거리는 반비례한다.
전술한 실시예들에 기반할 경우, 각 장치들은 다른 장치들의 위치나 거리 등에 대한 정보를 저장할 수 있다. 예를 들어, 로봇 청소기(100b)가 생성한 맵을 이용하거나 작동음을 이용할 경우 장치들은 다른 장치들의 위치나 거리를 확인할 수 있다.
그 결과, 제1음성인식장치(100i)가 사용자로부터 음성 명령어를 입력받으면, 이를 실제 동작해야 하는 제2음성인식장치(100w)에게 전달하여 동작을 지시할 수 있다. 제2음성인식장치(100w)는 음성 명령어를 입력한 사용자가 제1 음성인식장치(100i)의 주변에 있었다는 정보를 반영하여 기능을 수행한다. 특히 공기청정기(100b)와 에어컨(100d), 또는 여러 방이나 거실에 다수 배치된 TV 를 동작시킬 때, 사용자의 위치 정보가 중요하다.
본 발명의 실시예들을 적용할 경우, 음성 입력부(110)가 단일한 마이크 어레인 경우에도 로봇 청소기(100b)가 생성한 맵을 이용하여 사용자의 방향을 판단할 수 있으며 음성인식장치들은 이에 기반하여 정확한 위치 판단을 할 수 있다.
특히, 로봇 청소기(100b)의 제어 과정에서 음성 명령 제어 과정에서, 또는 청소를 시작하거나 학습된 특정 구역의 제어 과정에서 가전 제품의 위치를 파악할 수 있다. 사용자가 특정 지점을 음성으로 입력하면, 로봇청소기(100b)는 해당 지점의 정보를 사용자가 음성 입력한 지점으로 저장한다.
전술한 실시예들을 적용할 경우, 음성 인식 장치는 음성 서비스를 제공하는 다양한 장치들의 음성 입력부(110), 예를 들어 마이크를 활용하여 발화자의 위치를 추정할 수 있다. 또한, 음성 인식 장치는 각각의 가전제품들의 위치 정보와 발화자의 위치를 결합하여 사용자의 위치 정보를 정확하게 확인하고, 사용자의 위치에 기반하여 동작을 수행한다. 따라서, 기기 사용의 편의성을 높이고 성능을 개선할 수 있으 며, 장치들의 자동 제어가 가능해진다.
또한, 여러 위치에 배치된 음성 인식 장치에 탑재된 음성 입력부(110), 예를 들어 마이크 어레이는 음성 인식 장치가 사용자의 위치 정보를 취득할 수 있도록 한다. 또한, 음성 인식 장치에 배치된 음성 입력부(110)가 지향성 마이크인 경우 각 음성 인식장치들이 입력받은 음성의 방향 정보가 제어 메시지에 포함될 수 있다.
그리고, 제어 메시지를 수신한 음성 인식 장치는 방향 정보들을 취합하여 사용자의 위치 정보를 산출할 수 있다.
또한, 각각의 장치들이 일정한 시점에서 제품의 작동음(알림음)을 출력하고, 이를 입력받은 다른 장치들은 해당 장치의 위치를 계산할 수 있다.
물론, 도 2 및 도 3에 도시된 바와 같이, 로봇 청소기가 주행 과정에서 학습 및 생성한 맵 정보를 공유함으로써 각각의 장치들이 자신의 위치 정보 및 다른 장치의 위치 정보를 산출할 수 있다.
특히, 에어컨이나 공기청정기, 로봇 청소기와 같이 기능을 수행함에 있어서 위치 정보가 필요한 경우에 전술한 실시예를 적용할 경우 장치들은 방향성을 가지고 동작할 수 있다.
또한, 사용자와의 거리나 사용자의 위치에 따라 음성인식 장치는 피드백 음성 멘트의 볼륨을 자동으로 조절할 수 있다.
도 6은 본 발명의 일 실시예에 의한 에어컨 또는 공기청정기의 동작 과정을 보여준다.
제1음성인식장치(100i)가 음성 명령어를 입력받는다(S41). 제1음성인식장치(100i)는 전술한 프로세스에 따라 제어 메시지를 생성하여 제2음성인식장치(100w)에게 전송한다(S42).
제2음성인식장치(100w)가 공기청정기 또는 에어컨인 경우 제2음성인식장치(100w)의 제어부(150)는 제1음성인식장치(100i)의 주변에 사용자가 위치한 것으로 판단하고 제1음성인식장치(100i)의 위치를 타겟으로 동작을 시작한다(S43). 따라서 제2음성인식장치(100w)의 제어부(150)는 제어 메시지가 지시하는 기능을 제공하도록 기능제어부(130)를 제어한다. 제2음성인식장치(100w)의 제어부(150)는 바람의 방향, 세기 등을 조절할 수 있다.
이후 일정 시간 이내(예를 들어 3초 내지 10초 이내) 제2음성인식장치(100w)의 인터페이스부(190)가 방향전환 제어 신호를 입력받은 경우, 이는 사용자가 바람의 방향을 바꾼 것으로 판단한다. 그리고 제2음성인식장치(100w)의 제어부(150)는 제1음성인식장치(100i)의 위치 정보를 전환된 방향으로 수정한다(S44). 이는 사용자가 발화 후 에어컨/공기청정기의 방향을 다시 조절하기 위한 상황을 포함한다.
도 7은 본 발명의 일 실시예에 의한 TV의 동작 과정을 보여준다. S41, S42는 도 6에서 살펴본 바와 같다.
제2음성인식장치(100w)가 TV인 경우 제2음성인식장치(100w)의 제어부(150)는 제1음성인식장치(100i)와의 거리를 산출한다(S53). 그리고 두 장치 사이의 거리가 일정 기준 이하인 경우 동자을 수행한다(S54).
예를 들어, 도 2를 기준으로, 사용자가 발화한 지점은 냉장고 앞인데, "TV 켜줘"라고 사용자가 발화한 경우를 가정한다. 이때, 침실 4와 거실 모두 TV가 배치되었고, 거실에 배치된 TV와 침실 4에 배치된 TV 모두 제어 메시지를 수신한 상태이다.
이때, 거실에 배치된 TV는 수신한 제어 메시지 또는 이전에 수신한 위치 정보를 이용하여 냉장고(제1음성인식장치)와의 거리를 산출한다. 일정 거리 이내라고 판단되면, 거실에 배치된 TV는 제어 메시지에 포함된 지시에 따라 켜진다.
반면, 침실 4에 배치된 TV 는 수신한 제어 메시지 또는 이전에 수신한 위치 정보를 이용하여 냉장고(제1음성인식장치)와의 거리를 산출한다. 일정 거리 보다 먼 거리라고 판단되면, 침실 4에 배치된 TV는 제어 메시지에 포함된 지시에 따르지 않는다.
그 결과 사용자의 의도에 따라 근접한 곳에 위치한 TV만 켜질 수 있다.
이후 일정 시간 이내(예를 들어 3초 내지 10초 이내) 제2음성인식장치(100w)의 인터페이스부(190)가 방향전환 제어 신호를 입력받은 경우, 이는 사용자가 바람의 방향을 바꾼 것으로 판단한다. 그리고 제2음성인식장치(100w)의 제어부(150)는 제1음성인식장치(100i)의 위치 정보를 전환된 방향으로 수정한다(S44). 이는 사용자가 발화 후 에어컨/공기청정기의 방향을 다시 조절하기 위한 상황을 포함한다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

Claims (16)

  1. 음성을 입력받는 제1음성인식장치에 있어서,
    음성을 입력받는 음성입력부;
    기능의 제공하는 기능제공부;
    상기 음성입력부가 입력받은 음성 명령어를 분석하여 상기 명령어를 수행할 제2음성인식장치를 식별하고, 상기 제2음성인식장치에게 전송할 제어 메시지를 생성하는 제어부; 및
    상기 제어 메시지를 상기 제2음성인식장치 또는 상기 제2음성인식장치를 포함한 다수의 장치들에게 전송하는 통신부를 포함하는, 음성인식을 이용하여 타 장치를 제어하는 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 제1음성인식장치의 위치 정보를 포함하는 상기 제어 메시지를 생성하는, 음성인식을 이용하여 타 장치를 제어하는 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 제2음성인식장치의 위치 정보를 기준으로 상기 제1음성인식장치의 상대 위치 정보를 생성하고 상기 제어 메시지는 상기 상대 위치 정보를 포함하는, 음성인식을 이용하여 타 장치를 제어하는 장치.
  4. 제1항에 있어서,
    상기 제어 메시지는 상기 음성 입력부가 입력받은 음성 파일을 포함하는, 음성인식을 이용하여 타 장치를 제어하는 장치.
  5. 제1항에 있어서,
    다수의 음성인식장치들의 기능에 대응하는 명령어가 저장된 명령어 데이터베이스부를 더 포함하며,
    상기 제어부는 상기 명령어 데이터베이스부를 이용하여 상기 입력된 음성 명령어에서 상기 제2음성인식장치의 식별 정보와 제어 정보를 추출하여 상기 제어메시지를 생성하는, 음성인식을 이용하여 동작하는 장치.
  6. 음성을 입력받아 동작하는 제2음성인식장치에 있어서,
    음성을 입력받는 음성입력부;
    기능의 제공하는 기능제공부;
    제1음성인식장치로부터 제어 메시지를 수신하는 통신부; 및
    상기 제어 메시지에 따라 상기 기능 제공부를 제어하는 제어부를 포함하는, 음성인식을 이용하여 동작하는 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 제어 메시지에서 상기 제1음성인식장치의 위치 정보를 추출하는, 음성인식을 이용하여 동작하는 장치.
  8. 제6항에 있어서,
    상기 통신부는 클라우드 서버 또는 외부의 장치로부터 상기 제1음성인식장치의 위치 정보 또는 상기 위치 정보를 포함한 맵 정보를 수신하는, 음성인식을 이용하여 동작하는 장치.
  9. 제7항에 있어서,
    상기 제어부는 상기 제2음성인식장치의 위치 정보를 기준으로 생성된 상기 제1음성인식장치의 상대 위치 정보를 상기 제어 메시지에서 추출하는, 음성인식을 이용하여 동작하는 장치.
  10. 제6항에 있어서,
    상기 제어 메시지는 상기 제1음성인식장치의 음성 입력부가 입력받은 음성 파일을 포함하는, 음성인식을 이용하여 동작하는 장치.
  11. 제6항에 있어서,
    상기 제2음성인식장치가 공기청정기 또는 에어컨인 경우
    상기 제어부는 상기 제1음성인식장치의 주변에 사용자가 위치한 것으로 판단하고, 상기 제어 메시지가 지시하는 기능을 제공하도록 상기 기능제공부를 제어하는, 음성인식을 이용하여 동작하는 장치.
  12. 제6항에 있어서,
    상기 제2음성인식장치가 TV인 경우
    상기 제어부는 상기 제1음성인식장치와의 거리에 따라 상기 제어 메시지가 지시하는 기능의 제공 여부를 판단하는, 음성인식을 이용하여 동작하는 장치.
  13. 음성을 입력받는 제1음성인식장치, 제3음성인식장치 및 상기 입력받은 음성 명령어에 대응하는 기능을 제공하는 제2음성인식장치에 있어서,
    상기 제1음성인식장치는 상기 제1음성인식장치의 음성 입력부가 입력받은 음성 명령어에 대응하는 제1제어 메시지를 전송하는 단계;
    상기 제3음성인식장치는 상기 제3음성인식장치의 음성 입력부가 입력받은 음성 명령어에 대응하는 제2제어 메시지를 전송하는 단계;
    상기 제2음성인식장치의 통신부가 상기 제1제어 메시지 및 상기 제2제어 메시지를 수신하는 단계; 및
    상기 제2음성인식장치의 제어부가 상기 제1음성인식장치 및 상기 제2음성인식장치의 위치 정보에 기반하여 상기 제1제어 메시지 및 제2제어 메시지가 지시하는 기능을 제공하는 단계를 포함하는, 음성인식을 이용하여 장치를 제어하는 방법.
  14. 제13항에 있어서,
    상기 제2음성인식장치의 제어부는 상기 제1제어 메시지에서 상기 제1음성인식장치의 위치 정보를 추출하고 상기 제2제어메시지에서 상기 제3음성인식장치의 위치 정보를 추출하는, 음성인식을 이용하여 장치를 제어하는 방법.
  15. 제13항에 있어서,
    상기 통신부는 클라우드 서버 또는 외부의 장치로부터 상기 제1음성인식장치 및 상기 제3음성인식장치의 위치 정보 또는 상기 위치 정보를 포함한 맵 정보를 수신하는, 음성인식을 이용하여 장치를 제어하는 방법.
  16. 제13항에 있어서,
    상기 제1음성인식장치의 인터페이스부가 제1작동음을 출력하는 단계;
    상기 제2음성인식장치의 인터페이스부가 제2작동음을 출력하는 단계; 및
    상기 제2음성인식장치의 제어부가 상기 제1작동음의 크기를 이용하여 상기 제1음성인식장치와 상기 제2음성인식장치 사이의 거리를 산출하는 단계를 더 포함하는, 음성인식을 이용하여 장치를 제어하는 방법.
PCT/KR2019/006252 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치 WO2020241906A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021569147A JP7335979B2 (ja) 2019-05-24 2019-05-24 音声認識を用いて装置を制御する方法、及びこれを具現する装置
KR1020257016693A KR20250076689A (ko) 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치
PCT/KR2019/006252 WO2020241906A1 (ko) 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치
EP19930394.2A EP3979238B1 (en) 2019-05-24 2019-05-24 Method for controlling device by using voice recognition, and device implementing same
US17/613,420 US20220254344A1 (en) 2019-05-24 2019-05-24 Method for controlling device using voice recognition and device implementing the same
KR1020217028549A KR102813950B1 (ko) 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/006252 WO2020241906A1 (ko) 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치

Publications (1)

Publication Number Publication Date
WO2020241906A1 true WO2020241906A1 (ko) 2020-12-03

Family

ID=73552795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006252 WO2020241906A1 (ko) 2019-05-24 2019-05-24 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치

Country Status (5)

Country Link
US (1) US20220254344A1 (ko)
EP (1) EP3979238B1 (ko)
JP (1) JP7335979B2 (ko)
KR (2) KR102813950B1 (ko)
WO (1) WO2020241906A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968166A (zh) * 2021-02-26 2022-08-30 华为技术有限公司 语音交互的方法与电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12087283B2 (en) * 2020-11-12 2024-09-10 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20230050111A (ko) * 2021-10-07 2023-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102778750B1 (ko) * 2021-12-13 2025-03-12 한국광기술원 로봇 청소기를 이용한 인공지능 스피커의 음성 인식 강화 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150043058A (ko) * 2013-10-14 2015-04-22 주식회사 케이티 리모콘 서비스를 제공하는 이동 로봇 및 이동 로봇의 리모콘 서비스 제공 방법
US20150194152A1 (en) * 2014-01-09 2015-07-09 Honeywell International Inc. Far-field speech recognition systems and methods
WO2018137872A1 (en) * 2017-01-30 2018-08-02 Philips Lighting Holding B.V. A controller for controlling a plurality of light sources.
US20180300103A1 (en) * 2014-12-22 2018-10-18 Intel Corporation Connected device voice command support
KR101972545B1 (ko) * 2018-02-12 2019-04-26 주식회사 럭스로보 음성 명령을 통한 위치 기반 음성 인식 시스템

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU568801B1 (en) * 1986-05-21 1988-01-07 Mitsubishi Denki Kabushiki Kaisha Control system for room air conditioner
JP2001145180A (ja) * 1999-11-10 2001-05-25 Nec Corp 電化製品集中制御システム及び遠隔制御装置
JP2003330483A (ja) * 2002-05-09 2003-11-19 Matsushita Electric Ind Co Ltd 音声入力装置、被制御機器及び音声制御システム
KR100571837B1 (ko) * 2004-03-05 2006-04-17 삼성전자주식회사 자율주행기기의 주행제어방법 및 장치
US8972052B2 (en) * 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
TW200833152A (en) * 2007-01-31 2008-08-01 Bluepacket Comm Co Ltd Multimedia switching system
US20100293502A1 (en) * 2009-05-15 2010-11-18 Lg Electronics Inc. Mobile terminal equipped with multi-view display and method of controlling the mobile terminal
KR101741583B1 (ko) * 2009-11-16 2017-05-30 엘지전자 주식회사 로봇 청소기 및 그의 제어 방법
US8635058B2 (en) * 2010-03-02 2014-01-21 Nilang Patel Increasing the relevancy of media content
JP4987103B2 (ja) * 2010-07-05 2012-07-25 シャープ株式会社 空気調節機
US9240111B2 (en) * 2010-10-06 2016-01-19 Microsoft Technology Licensing, Llc Inferring building metadata from distributed sensors
US8957847B1 (en) * 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
JP2014020670A (ja) * 2012-07-18 2014-02-03 Mitsubishi Electric Corp 空気調和機の室内機
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
WO2015011819A1 (ja) * 2013-07-25 2015-01-29 三菱電機株式会社 脱臭装置
US9438440B2 (en) * 2013-07-29 2016-09-06 Qualcomm Incorporated Proximity detection of internet of things (IoT) devices using sound chirps
KR20150104311A (ko) * 2014-03-05 2015-09-15 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
CN104123333B (zh) * 2014-03-17 2017-02-15 腾讯科技（深圳）有限公司 用于位置共享的数据处理方法和装置
KR102146462B1 (ko) * 2014-03-31 2020-08-20 삼성전자주식회사 음성 인식 시스템 및 방법
DE202014006891U1 (de) * 2014-07-02 2014-10-22 Christian Stroetmann Datenbrille
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
KR20160048492A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US9812126B2 (en) * 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
US10126406B2 (en) * 2014-12-02 2018-11-13 Qualcomm Incorporated Method and apparatus for performing ultrasonic presence detection
US9521496B2 (en) * 2015-02-12 2016-12-13 Harman International Industries, Inc. Media content playback system and method
KR101659037B1 (ko) * 2015-02-16 2016-09-23 엘지전자 주식회사 로봇 청소기, 이를 포함하는 원격 제어 시스템 및 이의 제어 방법
US10591575B2 (en) * 2015-04-22 2020-03-17 Hisep Technology Ltd. Direction finding system device and method
CN105187282B (zh) * 2015-08-13 2018-10-26 小米科技有限责任公司 智能家居设备的控制方法、装置、系统及设备
US9996316B2 (en) * 2015-09-28 2018-06-12 Amazon Technologies, Inc. Mediation of wakeword response for multiple devices
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10610146B1 (en) * 2015-12-21 2020-04-07 Dp Technologies, Inc. Utilizing wearable devices in an internet of things environment
US10097919B2 (en) * 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
DK179415B1 (en) * 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
PL3387331T3 (pl) * 2016-07-15 2021-02-22 Versuni Holding B.V. Ukierunkowane dostarczanie czystego powietrza
US11435888B1 (en) * 2016-09-21 2022-09-06 Apple Inc. System with position-sensitive electronic device interface
KR102668731B1 (ko) * 2016-10-03 2024-05-24 구글 엘엘씨 디바이스 토폴로지에 기초한 음성 명령 프로세싱
US10181323B2 (en) * 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
KR101952414B1 (ko) * 2016-10-25 2019-02-26 엘지전자 주식회사 청소기 및 그 제어방법
US10349224B2 (en) * 2017-01-24 2019-07-09 Essential Products, Inc. Media and communications in a connected environment
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US10670285B2 (en) * 2017-04-20 2020-06-02 Trane International Inc. Personal comfort variable air volume diffuser
KR20180118461A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
KR102392297B1 (ko) 2017-04-24 2022-05-02 엘지전자 주식회사 전자기기
KR102025391B1 (ko) * 2017-05-15 2019-09-25 네이버 주식회사 사용자의 발화 위치에 따른 디바이스 제어
DK179560B1 (en) * 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
KR101968725B1 (ko) * 2017-05-19 2019-04-12 네이버 주식회사 음성요청에 대응하는 정보 제공을 위한 미디어 선택
KR101966253B1 (ko) * 2017-06-09 2019-04-05 네이버 주식회사 무빙 디바이스를 이용하여 사용자의 위치 및 공간에 알맞은 정보를 제공하는 방법 및 장치
US10983753B2 (en) * 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
DE102017113279A1 (de) * 2017-06-16 2018-12-20 Vorwerk & Co. Interholding Gmbh System aus mindestens einem Haushaltsgerät, mindestens einem sich selbsttätig fortbewegenden Reinigungsgerät und einer Steuereinrichtung
US11424947B2 (en) * 2017-08-02 2022-08-23 Lenovo (Singapore) Pte. Ltd. Grouping electronic devices to coordinate action based on context awareness
US11233782B2 (en) * 2017-10-04 2022-01-25 Resilience Magnum IP, LLC Single node network connectivity for structure automation functionality
KR102421824B1 (ko) * 2017-10-17 2022-07-19 삼성전자주식회사 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법
WO2019148074A1 (en) * 2018-01-26 2019-08-01 Alexander Lawrence Reeder Smart air vent
US10412556B1 (en) * 2018-03-15 2019-09-10 Capital One Services, Llc Dynamic re-configuration of a user interface based on location information
US20200020165A1 (en) * 2018-07-12 2020-01-16 Bao Tran Smart device
US11183183B2 (en) * 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11086582B1 (en) * 2019-04-30 2021-08-10 Amazon Technologies, Inc. System for determining positional relationships between display devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150043058A (ko) * 2013-10-14 2015-04-22 주식회사 케이티 리모콘 서비스를 제공하는 이동 로봇 및 이동 로봇의 리모콘 서비스 제공 방법
US20150194152A1 (en) * 2014-01-09 2015-07-09 Honeywell International Inc. Far-field speech recognition systems and methods
US20180300103A1 (en) * 2014-12-22 2018-10-18 Intel Corporation Connected device voice command support
WO2018137872A1 (en) * 2017-01-30 2018-08-02 Philips Lighting Holding B.V. A controller for controlling a plurality of light sources.
KR101972545B1 (ko) * 2018-02-12 2019-04-26 주식회사 럭스로보 음성 명령을 통한 위치 기반 음성 인식 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968166A (zh) * 2021-02-26 2022-08-30 华为技术有限公司 语音交互的方法与电子设备
EP4290362A4 (en) * 2021-02-26 2024-07-17 Huawei Technologies Co., Ltd. VOICE INTERACTION METHOD AND ELECTRONIC DEVICE

Also Published As

Publication number Publication date
EP3979238A4 (en) 2023-04-26
US20220254344A1 (en) 2022-08-11
KR102813950B1 (ko) 2025-05-27
EP3979238B1 (en) 2025-04-02
EP3979238A1 (en) 2022-04-06
JP7335979B2 (ja) 2023-08-30
KR20250076689A (ko) 2025-05-29
KR20210116671A (ko) 2021-09-27
JP2022534692A (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
WO2020241906A1 (ko) 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치
WO2019156272A1 (ko) 음성 명령을 통한 위치 기반 음성 인식 시스템
WO2018147687A1 (en) Method and apparatus for managing voice-based interaction in internet of things network system
WO2016035933A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2018208026A1 (ko) 수신된 음성 입력의 입력 음량에 기반하여 출력될 소리의 출력 음량을 조절하는 사용자 명령 처리 방법 및 시스템
WO2018008885A1 (ko) 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN111971647B (zh) 语音识别设备、语音识别设备的协作系统和语音识别设备的协作方法
EP3900310A1 (en) Method for location inference of iot device, server, and electronic device supporting the same
US20190020493A1 (en) Apparatus, system and method for directing voice input in a controlling device
WO2014107076A1 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
WO2014196769A1 (ko) 음성 향상 방법 및 그 장치
JP3838029B2 (ja) 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
JP2019159306A (ja) ファーフィールド音声制御デバイス及びファーフィールド音声制御システム
JP2018013545A (ja) 音声対話装置および発話制御方法
WO2016198132A1 (en) Communication system, audio server, and method for operating a communication system
WO2019160388A1 (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
WO2015126008A1 (ko) 음향조명기기의 밸런스 조절 제어 방법
WO2022097970A1 (ko) 전자장치 및 그 제어방법
WO2021206281A1 (en) Electronic device and operation method thereof
WO2020138943A1 (ko) 음성을 인식하는 장치 및 방법
US11399226B2 (en) Voice input apparatus
WO2023121231A1 (en) Computer implemented method for determining false positives in a wakeup-enabled device, corresponding device and system
IT201800010269A1 (it) Unità interna per impianti citofonici o videocitofonici con funzioni di assistente vocale
WO2022108190A1 (ko) 전자장치 및 그 제어방법
WO2022065733A1 (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930394

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217028549

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021569147

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019930394

Country of ref document: EP

Effective date: 20220103

WWG Wipo information: grant in national office

Ref document number: 2019930394

Country of ref document: EP