[go: up one dir, main page]

CN111433736A - 机器控制系统、机器控制方法、以及程序 - Google Patents

机器控制系统、机器控制方法、以及程序 Download PDF

Info

Publication number
CN111433736A
CN111433736A CN201880077883.2A CN201880077883A CN111433736A CN 111433736 A CN111433736 A CN 111433736A CN 201880077883 A CN201880077883 A CN 201880077883A CN 111433736 A CN111433736 A CN 111433736A
Authority
CN
China
Prior art keywords
phrase
unit
user
registration
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880077883.2A
Other languages
English (en)
Other versions
CN111433736B (zh
Inventor
须山明彦
虫壁和也
塚田启介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN111433736A publication Critical patent/CN111433736A/zh
Application granted granted Critical
Publication of CN111433736B publication Critical patent/CN111433736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G08C2201/21—Programming remote control devices via third means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

用户可以容易地得到在语音输入中能够受理的短语。机器控制系统获取与设备有关的用户设定，基于所获取的所述用户设定，生成能够控制所述设备的短语，输出使所生成的所述短语显示的数据。

Description

机器控制系统、机器控制方法、以及程序
技术领域
本发明涉及机器控制系统、机器控制方法、以及程序。
背景技术
近年来，例如智能电话或智能扬声器等通过利用了语音识别的语音输入而即使不进行物理上的操作也能够轻易地进行操作的机器在增加。
发明内容
发明要解决的课题
在语音输入中，输入某些短语作为指示。由于这里输入的短语的句子原本自由度高，所以用户不知道什么样的短语会被受理作为语音输入。因此，考虑准备对能够受理的短语进行说明的手册的方法，但是存在如下问题：只能指导固定短语，因此，即使能够对全部用户指导公共的短语，也无法指导基于用户而变化的短语。
本发明是鉴于上述课题而完成的，其目的在于，提供用户能够容易且可靠地得到在语音输入中能够受理的短语的技术。
用于解决课题的方案
为了解决上述课题，本发明的机器控制系统包括：设定获取单元，获取与设备有关的用户设定；短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及显示数据输出单元，输出用于使所生成的所述短语显示的数据。
此外，本发明的机器控制方法包括：获取与设备有关的用户设定的步骤；基于所获取的所述用户设定，生成能够控制所述设备的短语的步骤；以及输出用于使所生成的所述短语显示的数据的步骤。
此外，本发明的程序使计算机作为下述单元发挥功能，即：设定获取单元，获取与设备有关的用户设定；短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及显示数据输出单元，输出用于使所生成的所述短语显示的数据。
发明效果
根据本发明，用户能够容易地得到在语音输入中能够受理的短语。
附图说明
图1是表示本发明的实施方式涉及的机器控制系统的结构的图。
图2是表示机器表格的一例的图。
图3是表示通过语音识别装置、命令数据发送装置、机器以及用户终端实现的功能的框图。
图4是表示消息的一例的图。
图5是表示语音输入的利用注册的处理的一例的流程图。
图6是表示语音输入利用表格的一例的图。
图7是对机器注册的处理进行说明的时序图。
图8是表示机器注册中的用户终端的处理的例子的流程图。
图9是表示机器注册中的机器的处理的例子的流程图。
图10是表示机器注册中的命令数据发送装置的处理的例子的流程图。
图11是表示样本短语的模板的一例的图。
图12是表示短语生成部以及短语输出部的处理的例子的流程图。
图13是表示所显示的样本短语的一例的图。
图14是表示所显示的样本短语的另一例的图。
图15是表示动作指示受理部、消息生成部、消息发送部、消息接收部、命令执行部的处理的一例的流程图。
具体实施方式
以下，基于附图对本发明的实施方式的例子进行说明。
[1.系统结构]图1表示本发明的实施方式涉及的机器控制系统的结构。如图1所示，机器控制系统1包括第一机器20－1、第二机器20－2、第三机器20－3、语音输入装置30、语音识别装置40、以及命令处理系统50。以下，有时将第一机器20－1、第二机器20－2、以及第三机器20－3总称为“机器20”来记载。
机器20以及语音输入装置30设置于本地区域，连接到LAN2。LAN2可以是有线LAN，也可以是无线LAN。LAN2经由路由器4连接到互联网6。语音识别装置40以及命令处理系统50设置于本地区域外。即，从机器20以及语音输入装置30来看，语音识别装置40以及命令处理系统50设置于互联网6侧。另外，“本地区域”是指能够进行经由LAN2的通信的有限范围的区域。
机器20是成为由机器控制系统1进行的控制的对象的机器。在图1中示出3台机器20，但是也可以包含4台以上的机器20，还可以只包含2台以下的机器20。
例如，机器20是音频机器或者视听机器。具体而言，机器20是AV接收器、AV放大器、扬声器、光盘播放机器(“ブルーレイディスク(蓝光光盘)”(注册商标)播放器或者DVD(注册商标)播放器等)、或者电视接收机。此外，例如，机器20也可以是乐器(电子乐器或者电气乐器等)。另外，机器20也可以是这些以外的机器。
在以下，设想第一机器20－1是AV接收器、第二机器20－2是电视接收机、且第三机器20－3是蓝光光盘播放器的例子。第二机器20－2经由HDMI(高清多媒体接口(High-Definition Multimedia Interface)：注册商标)线缆连接到第一机器20－1的第一HDMI端子(HDMI1)，第三机器20－3经由HDMI线缆连接到第一机器20－1的第二HDMI端子(HDMI2)。此外，私有IP地址“192.168.0.2”、“192.168.0.3”、“192.168.0.4”分别被设定给第一机器20－1、第二机器20－2、第三机器20－3。
如图1所示，第一机器20－1包括控制部21、存储部22、以及通信部23。控制部21包括至少一个微处理器(CPU)，根据在存储部22中存储的程序而执行处理。存储部22包括主存储部(例如RAM)以及辅助存储部(例如，非易失性的半导体存储器、或者硬盘驱动器)。存储部22用于存储程序或数据。通信部23用于在与其他装置之间发送接收数据。在图1中被省略，但是第二机器20－2以及第三机器20－3还包括控制部21、存储部22、以及通信部23。
另外，机器20也可以具有用于读取在信息存储介质(例如光盘或者存储卡等)中存储的程序或数据的结构(例如光盘驱动器或者存储卡插槽等)。并且，程序也可以经由信息存储介质而提供给机器20。程序也可以经由互联网6而提供给机器20。
语音输入装置30包括麦克风，受理语音输入。在本实施方式中，为了用户语音输入对机器20的动作指示而使用语音输入装置30。例如，在希望经由X公司提供的命令处理系统50使设置于客厅的机器20从待机状态启动的情况下，用户将“AAA叫MC打开起居室”(AAAask MC to turn on the Living Room)等输入给语音输入装置30。这里，“AAA”是用于开始对于语音输入装置30的语音输入的单词(唤醒词(Wake Word))，例如是语音输入装置30的名称，“MC”是命令处理系统50的名称。
表示输入给语音输入装置30的语音(短语)的语音数据与用户ID一起经由互联网6发送给语音识别装置40。语音识别装置40例如由服务器计算机实现。语音识别装置40也可以通过所谓的云计算由多个服务器实现。语音识别装置40通过执行语音识别处理将语音数据转换为程序(命令处理系统50)容易理解的形式的数据。例如，语音识别装置40从短语的语音数据生成规定形式的动作指示，该规定形式的动作指示包含表示该用户的指示的种类和指示的对象的字符串。并且，动作指示与用户ID一起发送给命令处理系统50。另外，也可以是，在直到语音数据被发送给命令处理系统50为止的期间，通过任一个互联网侧的装置(处理)来赋予用户ID。
这里，语音识别装置40能够基于从用户发送的语音的内容、例如短语中的特定的单词组而对能够处理该短语的内容的命令处理系统50发送动作指示。用户将希望利用的命令处理系统50事先注册到语音识别装置40中。语音识别装置40基于从用户输入的短语中的单词，选择所注册的命令处理系统50之中的其中一个，向所选择的命令处理系统50发送动作指示。此外，语音识别装置40也可以对特定的机器20受理多个种类的短语，经由与种类相应的命令数据发送装置10来控制机器20。例如，根据短语的种类，短语中的指示的语句的格式不同。
例如，在短语的第一种类中，使名称为“起居室”(Living Room)的机器20启动的短语是“AAA叫MC打开起居室”(AAA ask MC to turn on the Living Room)，在短语的第二种类中，使该机器20启动的短语是“AAA打开起居室”(AAA turn on the Living Room)。在第一种类中，短语包含用于识别命令处理系统50的名称、即“MC”，但是在第二种类中，短语不包含该名称。关于语音识别装置40是受理第一种类的短语并发送动作指示还是受理第二种类的短语并发送动作指示，由用户进行设定。该设定的细节将后述。语音识别装置40受理第一种类的短语时成为发送目标的命令处理系统50也可以与第二种类不同。
用户终端60受理用户进行的触控操作等物理操作而控制机器20。此外，用户终端60基于用户的操作进行命令处理系统50或语音识别装置40的设定。用户终端60例如是智能电话或个人计算机。用户终端60包括控制部61、存储部62、以及通信部63。控制部61、存储部62、通信部63与控制部21、存储部22、以及通信部23相同。
如图1所示，命令处理系统50包括命令数据发送装置10、数据库52、以及MQTT(消息队列遥测传输(Message Queueing Telemetry Transport))服务器53。
数据库52存储各种数据。例如，数据库52存储各用户拥有的机器20的信息。图2表示在数据库52中存储的机器表格的一例。机器表格T1被按每个用户(与用户ID关联地)进行存储。另外，在命令处理系统50(数据库52)、用户终端60以及机器20中使用的用户ID可以与在语音输入装置30以及语音识别装置40中使用的用户ID不同，也可以相同。在这些用户ID不同的情况下，用于转换这些用户ID的对应关系数据被存储在命令处理系统50或者语音识别装置40中。
如图2所示，机器表格T1包含“ID”、“名称”、“机器ID”、“IP地址”、“命令种类”、“端子”、“连接目标”、“能否接收”、“能够受理的命令”字段。
“ID”字段表示对用户拥有的各机器20唯一地进行识别的信息。在图2中，第一机器20－1相当于机器ID“1”，第二机器20－2相当于机器ID“2”。
“名称”字段表示机器20的名称。该名称用于用户对动作指示的对象的机器20进行指定。作为名称，可以使用由用户设定的任意的名称，也可以例如使用由机器20的制造商等设定的初始名称而能够由用户进行修正。
“机器ID”字段是仅通过它来唯一地确定机器20的机器ID。机器ID可以是机器20的MAC地址，也可以是基于MAC地址而生成的ID。“IP地址”字段表示对机器20具有的有线或者无线网络接口卡设定的IP地址。“命令种类”字段表示在机器20中使用的命令的种类(体系)。“端子”字段表示机器20具有的输入端子的列表。“连接目标”字段表示在机器20连接到其他机器20的输入端子且从机器20输出的语音被输入给其他机器20的情况下机器20所连接的其他机器20的输入端子。
“能否接收”字段表示能否经由互联网6接收包含命令的消息。关于消息将后述。例如，“0”或者“1”被注册到“能否接收”字段中。“0”表示无法经由互联网6接收消息，“1”表示能够经由互联网6接收消息。
“能够受理的命令”字段表示机器20能够受理的命令的列表。若在“能够受理的命令”字段的列表中设定了“电源”(Power)，则表示该机器能够基于来自外部的命令而从待机状态启动，若没有设定“电源”则表示无法从待机状态启动。此外，若在“能够受理的命令”字段的列表中设定了“音量”(Volume)，则表示该机器能够基于来自外部的命令而控制音量，若没有设定“音量”则表示无法控制音量。
机器表格T1的数据由各用户进行注册。用户通过从用户终端60访问命令数据发送装置10，能够将自己拥有的机器20的信息注册到机器表格T1中。
关于注册的细节将后述。
另外，在数据库52中还存储机器表格T1以外的数据。例如，在数据库52中，用户和用于机器20而表示该用户能够输入的短语的种类的数据被关联地存储。此外，也可以将表示动作指示和命令的对应关系的数据(换言之，用于将动作指示转换为命令的数据)存储到数据库52中。
命令数据发送装置10例如由服务器计算机实现。如图1所示，命令数据发送装置10包括控制部11、存储部12、以及通信部13。控制部11、存储部12、以及通信部13与控制部21、存储部22、以及通信部23相同。另外，命令数据发送装置10也可以具有用于读取在信息存储介质(例如光盘或者存储器卡等)中存储的程序或数据的结构要素(例如光盘驱动器或者存储卡插槽等)。并且，程序也可以经由信息存储介质而提供给命令数据发送装置10。程序也可以经由互联网6而提供给命令数据发送装置10。
命令数据发送装置10能够访问数据库52。命令数据发送装置10和数据库52可以由一个服务器计算机实现，也可以由不同的服务器计算机实现。
命令数据发送装置10受理从语音识别装置40发送的对于机器20的动作指示，基于该动作指示生成包含命令的消息，将该消息向该机器20发送。更具体而言，消息被经由MQTT服务器53向机器20发送。MQTT服务器53用于使用MQTT协议来发送接收数据。命令数据发送装置10和MQTT服务器53可以由一个服务器计算机实现，也可以由不同的服务器计算机实现。
[2.功能块]图3是表示由命令数据发送装置10、机器20以及用户终端60实现的功能的框图。
如图3所示，命令数据发送装置10包括动作指示受理部110、消息生成部120、消息发送部130、机器信息获取部140、语音利用注册部150、机器注册部160、以及注册结果发送部170。动作指示受理部110、消息生成部120、消息发送部130、机器信息获取部140、语音利用注册部150、机器注册部160、以及注册结果发送部170通过由控制部11执行在存储部12中储存的各功能的程序而被实现。
此外，如图3所示，机器20包括消息接收部210、命令执行部220、机器信息发送部230以及设定部260。消息接收部210、命令执行部220、机器信息发送部230以及设定部260通过由控制部21执行在存储部22中储存的各功能的程序而被实现。
此外，如图3所示，用户终端60包括注册控制部610、设定获取部620、短语生成部630、短语输出部640。注册控制部610、设定获取部620、短语生成部630、短语输出部640通过由控制部61执行在存储部62中储存的各功能的程序而被实现。
[2－1]首先，对动作指示受理部110、消息生成部120、消息发送部130、消息接收部210、以及命令执行部220进行说明。
动作指示受理部110受理对于机器20的动作指示。例如，动作指示受理部110从语音识别装置40接收由语音识别装置40转换为文本数据等对于程序而言能够理解的形式的数据的动作指示。
在动作指示受理部110接收到对于机器20的动作指示的情况下，消息生成部120生成包含用户ID和命令的消息。该用户ID用于确定动作指示涉及的用户。命令是用于进行与动作指示相应的动作的文本等数据。
图4是表示消息D1的一例的图。图4所示的消息D1是在受理了动作指示的情况下所生成的消息的一例，该动作指示表示从待机状态启动第一机器20－1的意思。
消息D1包含条目“uid”、“type”(类型)、“id”、“command”(命令)。条目“uid”表示进行了动作指示的用户的用户ID。在图4所示的例子中，用户ID“U1”被设定给条目“uid”。条目“type”(类型)表示数据的类别。在图4所示的例子中，“cmd”被设定给条目“type”(类型)。这表示在消息中包含命令。条目“id”表示能够对消息唯一地进行识别的识别信息。在条目“command”(命令)中设定的数据表示命令的内容。条目“command”(命令)包括条目“ip”、“path”(路径)、“method”(方式)。条目“ip”表示命令的目标地址。在图4的例子中第一机器20－1的IP地址被设定给条目“ip”。条目“path”(路径)相当于命令本体。条目“method”(方式)表示所使用的HTTP协议的方式。
消息发送部130向机器20发送由消息生成部120生成的消息。另外，在成为动作指示的对象的机器20无法经由互联网6接收消息的情况(在“能否接收”字段中被设定了“0”的情况)下，消息发送部130也可以向其他机器20发送消息，并使该其他机器20向作为对象的机器20转发消息的内容。
消息被使用MQTT协议向机器20发送。换言之，消息发送部130经由MQTT服务器53向机器20发送消息。在MQTT服务器53中存在多个主题(topic)。各个主题的识别信息基于机器20的机器ID而被设定。在从命令数据发送装置10向机器20发送时，命令数据发送装置10向具有与机器ID相应的识别信息的请求侧的主题发布消息，机器20获取对具有该识别信息的请求侧的主题所发布的消息。另外，也可以通过与MQTT协议不同的协议进行命令处理系统50和机器20之间的通信。
消息接收部210经由互联网6接收消息。命令执行部220基于消息中包含的命令来执行命令。命令执行部220也可以直接解释消息中包含的命令而直接控制机器20。此外，命令执行部220也可以具有：内部执行部，执行从位于本地区域的用户终端60等经由LAN2接收的命令；以及转换部，转换接收到的消息中包含的命令，在内部向该内部执行部发送转换后的命令。例如，机器20使HTTP守护进程(daemon)启动，内部执行部从转换部经由HTTP协议受理命令即可。
[2－2]接着，对注册控制部610、设定获取部620、短语生成部630、短语输出部640、语音利用注册部150、机器注册部160、注册结果发送部170、设定部260的概要进行说明。
注册控制部610使得能够由语音识别装置40受理用户的第一种类以及第二种类之中至少一方的短语，并向命令处理系统50发送动作指示。更具体而言，注册控制部610使语音识别装置40以及命令处理系统50关于该用户执行利用注册的处理。此外，注册控制部610基于用户的操作将成为语音输入所指示的对象的机器20注册到命令处理系统50中。
设定获取部620检测连接到本地区域的机器20，从检测到的机器20获取机器20的语音输入中的包含机器20的名称在内的机器信息。此外，设定获取部620从注册控制部610或者命令处理系统50获取表示语音识别装置40能够受理的短语的种类的信息。将机器信息或表示短语的种类的信息汇总而在以下记载为用户设定。其理由在于，语音输入中的机器20的名称、或能够利用的短语的种类是能够由用户进行设定的条目。另外，在由设定获取部620检测到多个机器20的情况下，注册控制部610例如将检测到的机器20之中由用户指定的1个或者多个机器20作为成为语音输入所指示的对象的机器20进行注册。
语音利用注册部150从用户终端60的注册控制部610接收用户注册基于语音输入的命令处理系统50的利用的请求(利用注册请求)，执行用于由命令数据发送装置10和语音识别装置40协作而实现该用户进行的语音输入的处理。
机器注册部160从用户终端60的注册控制部610接收注册成为语音输入所指示的对象的机器20的请求(机器注册请求)，将该机器20作为语音输入的对象进行注册。注册结果发送部170发送机器20的注册的结果(机器注册结果)和样本短语的模板。
设定部260从用户终端60的注册控制部610接收用户ID注册指示，将该用户ID注册指示中包含的用户ID写入非易失性存储器中。此外，设定部260从用户终端60的注册控制部610接收连接开始指示，使得连接到命令处理系统50中包含的MQTT服务器53，从而能够进行来自命令处理系统50的接收。
短语生成部630基于由设定获取部620获取的用户设定，生成能够控制机器20的短语。短语输出部640输出使所生成的短语显示的数据。短语输出部640通过输出该数据，在用户终端60的显示画面等用户能够进行视觉确认的设备上显示所生成的短语。
[2－3]接着，对机器信息获取部140以及机器信息发送部230进行说明。
机器信息获取部140获取机器20的机器信息。机器信息获取部140生成消息(在以下记载为“机器信息请求”)，将该消息经由互联网6向机器20发送。机器信息请求包含用于使机器20向机器信息获取部140发送该机器20的机器信息的命令、以及用户ID。更具体而言，机器信息获取部140经由MQTT服务器53向机器20发送机器信息请求。另外，机器信息请求的生成以及发送也可以由消息生成部120以及消息发送部130执行。
若机器信息请求被接收到，则机器信息发送部230经由互联网6向命令数据发送装置10返回机器20的机器信息。机器信息例如包含机器20的机型信息、用户确定机器20的名称、机器ID、IP地址。此外，机器信息也可以包含表示机器20的当前状态的当前信息。另外，机器信息发送部230经由MQTT服务器53向命令数据发送装置发送机器信息。机器信息获取部140接收机器信息。并且，机器信息获取部140提取接收到的机器信息之中必要的条目，并将这些条目注册到机器表格T1中。
[3.处理]对机器控制系统1执行的处理进行说明。
[3－1]首先，对语音输入的利用注册的处理进行说明。语音输入的利用注册的处理包括：使语音识别装置40关于用户能够受理1个或者多个种类的短语而发送动作指示的处理；以及对使命令处理系统50能够受理该动作指示的信息进行注册的处理。在用户进行基于语音输入的命令处理系统50的利用之前，需要进行该处理。
在以下，关于第一种类的短语，对进行利用注册的处理的例子进行说明。另外，关于第二种类的短语，也通过与以下相同的处理进行注册即可。图5是表示语音输入的利用注册的处理的一例的流程图。以下记载的、语音利用注册部150进行的处理通过由控制部11执行该功能的程序来执行。注册控制部610进行的处理通过由控制部61执行该功能的程序来执行。
首先，在由用户指示了利用注册的处理的开始的情况下，用户终端60的注册控制部610向命令处理系统50发送利用注册请求(步骤S111)。此外，命令数据发送装置10的语音利用注册部150经由通信部13接收利用注册请求(步骤S121)。利用注册请求包含由用户直接地或者间接地指定的表示受理语音输入的语音识别装置40以及处理动作指示的命令处理系统50的信息。此外，注册控制部610发送用户的认证信息(步骤S112)，语音利用注册部150经由通信部13接收用户的认证信息(步骤S122)。从用户终端60发送的认证信息例如也可以是用户ID以及密码。此外，也可以是，在存在与命令处理系统50不同的认证服务器的情况下，注册控制部610将注册控制部610通过对认证服务器输入由用户输入的用户的识别信息和密码而从认证服务器获取到的访问许可信息(令牌的一种)作为认证信息发送。在该情况下，注册控制部610使用访问许可信息从认证服务器获取用户ID即可。另外，这里输入的用户ID和在命令处理系统50和机器20中利用的用户ID也可以不同。例如，语音利用注册部150也可以生成认证信息中包含的用户ID的哈希值作为在后续的处理中利用的用户ID。
若获取到认证信息，则语音利用注册部150进行以下设定：由语音识别装置40受理基于来自用户的第一种类的短语的语音输入；以及由语音识别装置40关于第一种类的短语向命令处理系统50发送动作指示(步骤S123)。
并且，语音利用注册部150将语音输入的利用注册状况储存到数据库中(步骤S124)。图6是表示语音输入利用表格的一例的图。语音输入利用表格包含“用户ID”、“第一种类注册”、“第二种类注册”字段。“用户ID”成为对表格的记录唯一地进行识别的关键字(key)。“第一种类注册”表示关于“用户ID”字段的用户是否进行了用于受理第一种类的短语的利用注册的处理。“第二种类注册”表示关于“用户ID”字段的用户是否进行了用于受理第二种类的短语的利用注册的处理。
若语音输入的利用注册状况被储存到数据库中，则语音利用注册部150发送表示语音输入的利用注册是否成功的应答(步骤S125)，注册控制部610接收利用注册应答(步骤S113)。
[3－2]接着，对基于用户的操作而将成为语音输入所指示的对象的机器20注册到命令处理系统50中的处理(注册处理)进行说明。图7是对机器注册的处理进行说明的时序图。图8是表示机器注册中的用户终端60的处理的例子的流程图。图9是表示机器注册中的机器20的处理的例子的流程图。图10是表示机器注册中的命令数据发送装置10的处理的例子的流程图。
机器注册部160、注册结果发送部170以及机器信息获取部140的处理通过由控制部11执行其功能的程序来进行。注册控制部610、设定获取部620、短语生成部630以及短语输出部640的处理通过由控制部61执行其功能的程序来进行。机器信息发送部230、设定部260的处理通过由控制部21执行其功能的程序来进行。
在以下，以基于图7的时序图的顺序，对用户终端60、命令数据发送装置10、机器20执行的注册处理进行说明。
首先，在从用户获取到机器注册开始的指示的情况下，用户终端60的注册控制部610经由通信部63向命令处理系统50发送利用注册确认请求(步骤S211)。利用注册确认请求更具体而言是语音识别装置40询问关于1个或者多个种类的短语是否进行了利用注册的信息。接着，命令数据发送装置10的机器注册部160接收利用注册确认请求，发送表示语音识别的利用注册的状况的利用注册确认应答(步骤S251)。更具体而言，机器注册部160关于进行了机器注册开始的指示的用户获取储存在语音输入利用表格中的记录，基于第一种类注册以及第二种类注册的字段的值，回答表示进行了利用注册的短语的种类的信息。另外，在利用注册确认应答中也可以包含表示正在操作用户终端60的用户的用户ID的信息。用户终端60的注册控制部610接收利用注册确认应答，将表示进行了利用注册的短语的种类的信息等储存到存储部62中(步骤S212)。另外，关于用户，在用于操作机器20的任何种类的短语都没有进行利用注册的情况下，错误消息作为利用注册确认应答而被发送，注册控制部610对用户输出用于进行利用注册的画面。
设定获取部620若接收到利用注册确认应答，则检测连接到本地区域(LAN2)的1个或者多个机器20，向检测到的1个或者多个机器20发送机器信息请求(步骤S213)。机器20的机器信息发送部230接收机器信息请求，向用户终端60发送机器信息(步骤S221)。机器信息包含由用户设定的机器的名称以及机器ID。用户终端60的设定获取部620接收所发送的机器信息(步骤S214)。
若接收到机器信息，则注册控制部610对检索到的机器20发送用户ID注册指示(步骤S215)。机器20的设定部260接收用户ID注册指示(步骤S222)。用户ID注册指示包含想要注册到机器20中的用户ID的信息。此外，若用户ID注册指示被接收到，则设定部260将用户ID写入非易失性存储器(步骤S223)。
若用户ID被写入，则用户终端60的注册控制部610对检索到的机器发送向MQTT服务器的连接开始指示(步骤S216)。机器20的设定部260接收向MQTT服务器53的连接开始指示(步骤S224)。并且，设定部260向MQTT服务器53连接(步骤S225)，设为能够从MQTT服务器53接收动作指示的状态。
若机器20向MQTT服务器53连接，则用户终端60的注册控制部610向命令处理系统50(命令数据发送装置10)发送机器注册请求(步骤S217)。机器注册请求包含用户ID、以及所要注册的机器20的机器ID。命令数据发送装置10从用户终端60接收机器注册请求(步骤S252)。另外，在机器注册请求中也可以取代用户ID而包含向认证服务器的访问许可信息。在该情况下，命令数据发送装置10也可以使用访问许可信息从认证服务器获取成为用户ID或者用户ID的基础的信息。
并且，机器注册部160向具有机器注册请求中包含的机器ID的机器20发送机器信息请求(步骤S253)。机器信息发送部230从命令处理系统50(MQTT服务器53)接收机器信息请求，向命令处理系统50发送机器信息(步骤S226)。机器注册部160接收机器信息(步骤S254)。机器信息包含：表示命令的体系的信息、具有的输入端子的信息、连接到输入端子的其他机器20的信息、表示是否能够经由互联网6接收消息的信息、机器20能够受理的命令的列表。机器注册部160将接收到的机器信息之中的至少一部分(包含机器ID)与用户ID进行关联并储存到数据库的机器表格T1中(步骤S255)。另外，机器注册部160也可以对机器信息中包含的信息进行取舍选择以及整形，并储存到机器表格T1中。
若机器注册部160完成步骤S255为止的处理，则注册结果发送部170基于语音输入的利用注册状况，换言之基于语音识别装置40关于用户能够受理的短语的种类，选择样本短语的模板(步骤S256)。此外，机器注册部160向用户终端60发送表示机器的注册是否已成功的机器注册结果、以及所选择的样本短语的模板(步骤S257)。
图11是表示样本短语的模板的一例的图。样本短语(sample phrase)是用户通过语音输入能够控制机器20的短语。图11示出关于第一种类以及第二种类的短语进行了利用注册的情况的例子。第一模板TP1包括第一种类的短语的样本的模板，第二模板TP2包括第二种类的短语的样本的模板。样本的文本是设定到“sentence”(句子)条目中的字符串。由于机器的名称能够由用户设定而无法事先准备，所以在样本的文本中嵌入临时字符串“％s”。设定在“feature”(特征)条目中的字符串表示成为操作对象的机器20所具有的必要的命令。
短语生成部630从命令处理系统50(命令数据发送装置10)接收对于机器注册请求的处理的结果、以及样本短语的模板(步骤S218)。短语生成部630基于接收到的模板、以及作为用户设定的利用注册的状况以及机器的名称，来生成样本短语，短语输出部640输出所生成的样本短语(步骤S219)。
在以下，对短语生成部630以及短语输出部640的处理进一步进行详细说明。图12是表示短语生成部630以及短语输出部640的处理的例子的流程图。
首先，短语生成部630选择能够执行样本短语所需的命令的机器20，获取所选择的机器20的名称(步骤S311)。短语生成部630例如收集被设定在模板的“feature”(特征)条目中的命令，此外，在储存在机器表格T1中的与某个用户有关的记录之中，选择存在被收集在能够受理的命令的字段中的全部命令的记录，获取该记录中包含的机器的名称。
接着，短语生成部630进行与用户设定(表示进行了利用注册的短语的种类的信息以及机器的名称)相应的处理。更具体而言进行以下的处理。首先，短语生成部630判定表示进行了利用注册的短语的种类的信息是否表示能够受理第一种类的短语的状态(步骤S312)。在表示能够受理第一种类的短语的状态的情况下(步骤S312的“是”)，短语生成部630通过将第一模板TP1的语句之中机器名的部位替换为所选择的机器的名称，从而生成样本短语(步骤S313)。并且，短语输出部640输出样本短语的数据，以使所生成的样本短语显示于用户终端60的画面(步骤S314)。这里，在表示进行了利用注册的短语的种类的信息不表示能够受理第一种类的短语的状态的情况下(步骤S312的“否”)，跳过步骤S313以及S314的处理。
图13是表示所显示的样本短语的一例的图。图13的例子是在被设定为能够受理第一种类的短语的情况下基于第一模板TP1而显示的画面的一例。由于名称“Living Room”(起居室)的机器20能够处理音量操作的命令，所以被作为样本短语输出。
接着，短语生成部630判定表示进行了利用注册的短语的种类的信息是否表示能够受理第二种类的短语的状态(步骤S315)。在表示能够受理第二种类的短语的状态的情况下(步骤S315的“是”)，短语生成部630通过将第二模板TP2的语句之中机器名的部位置换为所选择的机器的名称，从而生成样本短语(步骤S316)。并且，短语输出部640输出样本短语的数据，以使所生成的样本短语显示于用户终端60的画面(步骤S317)。这里，在表示进行了利用注册的短语的种类的信息不表示能够受理第二种类的短语的状态的情况下(步骤S315的“否”)，跳过步骤S316以及S317的处理。
图14是表示所显示的样本短语的另一例的图。图14的例子是在被设定为能够受理第二种类的短语的情况下基于第二模板TP2而显示的画面的一例。
这样，通过动态地控制作为命令的输入例而示出的样本短语，用户能够容易且可靠地得到在语音输入中能够受理的样本短语。此外，通过在样本短语的生成中还利用用户设定，从而即使在所受理的短语根据用户而发生变化的情况下，用户也无需替换样本短语的文本。由此，用户能够容易地识别所受理的正确的样本短语。
[3－3]在以下，对命令处理系统50受理动作指示而控制机器20的处理进行说明。图15是表示动作指示受理部110、消息生成部120、消息发送部130、消息接收部210、命令执行部220的处理的一例的流程图。在以下记载的、动作指示受理部110、消息生成部120、消息发送部130的处理通过由控制部11执行其功能的程序来执行。消息接收部210、命令执行部220的处理通过由控制部21执行其功能的程序来执行。
首先，动作指示受理部110从语音识别装置40获取动作指示(步骤S511)。并且，消息生成部120基于获取到的动作指示，获取成为动作指示的对象的用户的用户ID，基于动作指示中包含的机器的名称和机器表格T1，获取与用户ID进行了关联的机器ID且是成为动作指示的对象的机器20的机器ID(步骤S512)。并且，消息生成部120生成包含与动作指示对应的命令以及获取到的用户ID的消息(步骤S513)，消息发送部130向成为动作指示的对象的机器20发送所生成的消息(步骤S514)。
成为动作指示的对象的机器20的消息接收部210接收消息(步骤S521)。接着，消息接收部210对消息中包含的用户ID和被写入在机器20的非易失性存储器中的用户ID进行比较(步骤S522)。在这些用户ID相同的情况下(步骤S522的“是”)，命令执行部220执行消息中包含的命令(步骤S523)。另一方面，在这些用户ID不同的情况下(步骤S522的“否”)，这些消息被丢弃，消息中的命令不会被执行。
如上述，消息接收部210基于用户ID的比较结果来控制是否执行命令。由此，能够防止机器20的非预期的动作。特别地，在机器20已被转让而在命令处理系统50侧机器注册未被解除的情况下，在转让的用户错误地语音输入了对于机器20的命令的情况下，在以往，有机器20根据该命令进行错误动作的顾虑。另一方面，在本实施方式中，由于若受让的用户进行机器注册，则不论转让的用户输入怎样的命令，在机器20侧包含该命令的消息都会被丢弃，所以能够抑制进行非预期的动作的可能性。
[附记]根据关于以上说明的实施方式的记载能够掌握，在本说明书中公开了包含以下记载的发明的多样的技术思想。
本发明的机器控制系统包括：设定获取单元，获取与设备有关的用户设定；短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及显示数据输出单元，输出使所生成的所述短语显示的数据。
本发明的机器控制方法包括：获取与设备有关的用户设定的步骤；基于所获取的所述用户设定，生成能够控制所述设备的短语的步骤；以及输出使所生成的所述短语显示的数据的步骤。
本发明的程序使计算机作为下述单元发挥功能，即：设定获取单元，获取与设备有关的用户设定；短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及显示数据输出单元，输出使所生成的所述短语显示的数据。
在上述发明的一方式中，也可以是，所述设定获取单元在语音输入中获取用于确定所述设备的名称，所述短语生成单元基于所获取的所述名称而生成能够控制所述设备的短语。
在上述发明的一方式中，也可以是，所述设定获取单元在语音输入中获取多个设备各自能够执行的命令，所述短语生成单元基于所述多个设备各自能够执行的命令，生成包含所述多个设备的名称之中的其中一个的短语。
在上述发明的一方式中，也可以是，所述设定获取单元获取表示对用户的指示语音进行识别的识别部作为对于所述设备的指示而能够受理的短语的种类的信息，所述短语生成单元基于所获取的所述信息而生成能够控制所述设备的短语。
在上述发明的一方式中，也可以是，所述识别部由用户进行设定，以使能够受理包含对系统进行识别的识别名称的第一种类的短语、以及不包含所述识别名称的第二种类的短语中的其中一个，其中，所述系统是获取由该识别部生成的动作指示而控制所述设备的系统，所述短语生成单元基于是否能够受理第一类别以及第二类别的短语中的各个而生成能够控制所述设备的短语。

Claims (7)

1.一种机器控制系统，包括：
设定获取单元，获取与设备有关的用户设定；
短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及
显示数据输出单元，输出使所生成的所述短语显示的数据。
2.如权利要求1所述的机器控制系统，
所述设定获取单元在语音输入中获取用于确定所述设备的名称，
所述短语生成单元基于所获取的所述名称，生成能够控制所述设备的短语。
3.如权利要求2所述的机器控制系统，
所述设定获取单元在语音输入中获取多个设备各自能够执行的命令，
所述短语生成单元基于所述多个设备各自能够执行的命令，生成包含所述多个设备的名称之中的其中一个的短语。
4.如权利要求1所述的机器控制系统，
所述设定获取单元获取表示对用户的指示语音进行识别的识别部作为对于所述设备的指示而能够受理的短语的种类的信息，
所述短语生成单元基于所获取的所述信息，生成能够控制所述设备的短语。
5.如权利要求4所述的机器控制系统，
所述识别部由用户进行设定，以使能够受理包含对系统进行识别的识别名称的第一种类的短语、以及不包含所述识别名称的第二种类的短语中的其中一个，其中，所述系统是获取由该识别部生成的动作指示而控制所述设备的系统，
所述短语生成单元基于能否受理第一类别以及第二类别的短语中的各个，生成能够控制所述设备的短语。
6.一种机器控制方法，包括：
获取与设备有关的用户设定的步骤；
基于所获取的所述用户设定，生成能够控制所述设备的短语的步骤；以及
输出使所生成的所述短语显示的数据的步骤。
7.一种程序，用于使计算机作为下述单元发挥功能，即：
设定获取单元，获取与设备有关的用户设定；
短语生成单元，基于所获取的所述用户设定，生成能够控制所述设备的短语；以及
显示数据输出单元，输出使所生成的所述短语显示的数据。
CN201880077883.2A 2017-12-01 2018-11-20 机器控制系统以及机器控制方法 Active CN111433736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-231631 2017-12-01
JP2017231631A JP6962158B2 (ja) 2017-12-01 2017-12-01 機器制御システム、機器制御方法、及びプログラム
PCT/JP2018/042864 WO2019107224A1 (ja) 2017-12-01 2018-11-20 機器制御システム、機器制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111433736A true CN111433736A (zh) 2020-07-17
CN111433736B CN111433736B (zh) 2024-05-07

Family

ID=66665578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077883.2A Active CN111433736B (zh) 2017-12-01 2018-11-20 机器控制系统以及机器控制方法

Country Status (5)

Country Link
US (1) US11574631B2 (zh)
EP (1) EP3719630A4 (zh)
JP (1) JP6962158B2 (zh)
CN (1) CN111433736B (zh)
WO (1) WO2019107224A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
AU2014214676A1 (en) 2013-02-07 2015-08-27 Apple Inc. Voice trigger for a digital assistant
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP7596926B2 (ja) 2021-05-24 2024-12-10 株式会社リコー 情報処理システム、音声操作システム、プログラム、音声操作方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259114A (ja) * 2001-03-05 2002-09-13 Nec Corp 音声認識コンピュータシステム
CN1389064A (zh) * 2000-08-21 2003-01-01 皇家菲利浦电子有限公司 带有可下载话音命令集的话音控制的遥控装置
CN1429019A (zh) * 2001-12-18 2003-07-09 松下电器产业株式会社 装有声音识别功能的电视机及其控制方法
JP2010130223A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 音声操作システムおよび音声操作方法
CN103921727A (zh) * 2013-01-11 2014-07-16 歌乐株式会社 信息处理装置及其语音操作方法、语音操作系统
CN104681026A (zh) * 2013-11-27 2015-06-03 夏普株式会社 语音识别终端及系统、服务器及其控制方法、非易失性存储介质
US20150243287A1 (en) * 2013-04-19 2015-08-27 Panasonic Intellectual Property Corporation Of America Control method for household electrical appliance, household electrical appliance control system, and gateway
US20150254057A1 (en) * 2014-03-04 2015-09-10 Microsoft Technology Licensing, Llc Voice-command suggestions
CN106218557A (zh) * 2016-08-31 2016-12-14 北京兴科迪科技有限公司 一种带语音识别控制的车载麦克风
CN106537496A (zh) * 2014-07-29 2017-03-22 雅马哈株式会社 终端装置、信息提供系统、信息呈现方法和信息提供方法
JP2017122930A (ja) * 2017-03-13 2017-07-13 シャープ株式会社 発話制御装置、方法、発話システム、及びプログラム
CN107004412A (zh) * 2014-11-28 2017-08-01 微软技术许可有限责任公司 用于监听设备的设备仲裁
CN107148555A (zh) * 2014-12-12 2017-09-08 歌乐株式会社 声音输入辅助装置、声音输入辅助系统及声音输入方法

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903871A (en) 1996-04-22 1999-05-11 Olympus Optical Co., Ltd. Voice recording and/or reproducing apparatus
JPH09288500A (ja) 1996-04-22 1997-11-04 Olympus Optical Co Ltd 音声記録再生装置
JPH1138995A (ja) * 1997-07-16 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
JP2001128262A (ja) 1999-10-28 2001-05-11 Yokogawa Electric Corp リモートコントロールシステム
JP2002202826A (ja) 2000-12-28 2002-07-19 Canon Inc 情報処理システムと該情報処理システムにおける課金方法、及びネットワークデバイス、情報処理装置、並びに記憶媒体
JP2004015627A (ja) 2002-06-10 2004-01-15 Sharp Corp Ａｖ機器の遠隔制御システム
CN1472977A (zh) 2002-07-16 2004-02-04 ���µ�����ҵ��ʽ���� 网络终端设定信息管理方法及信息终端装置
US7234115B1 (en) 2002-09-26 2007-06-19 Home Director, Inc. Home entertainment system and method
US20040088535A1 (en) * 2002-10-31 2004-05-06 International Business Machines Corporation Method, apparatus and computer program product for selecting computer system settings for various operating circumstances
KR100606760B1 (ko) 2003-07-07 2006-07-31 엘지전자 주식회사 사용자 예약에 따른 홈 네트워크 시스템 및 그 제어방법
JP3885792B2 (ja) 2003-09-29 2007-02-28 日本電気株式会社 ネットワークシステム，ｗｏｌ装置，ネットワークｔｖチューナ，及び情報装置起動方法
DE10360655A1 (de) * 2003-12-23 2005-07-21 Daimlerchrysler Ag Bediensystem für ein Fahrzeug
US8078298B2 (en) * 2004-03-26 2011-12-13 Harman International Industries, Incorporated System for node structure discovery in an audio-related system
CN101272384A (zh) 2004-05-21 2008-09-24 语音移动有限公司 远程访问系统和方法以及其智能代理
US7385960B2 (en) 2005-02-28 2008-06-10 Microsoft Corporation Measurement based mechanism to enable two wireless devices to directly communicate with each other to support traffic prioritization
US8135395B2 (en) 2005-03-18 2012-03-13 Qualcomm Incorporated Methods and apparatus for monitoring configurable performance levels in a wireless device
US20070091168A1 (en) 2005-10-25 2007-04-26 Hyun Lee Method to support simultaneous wireless connection of multiple media components
US8079074B2 (en) 2007-04-17 2011-12-13 Microsoft Corporation Dynamic security shielding through a network resource
EP2045140B1 (en) * 2007-10-01 2010-01-27 Harman/Becker Automotive Systems GmbH Adjustment of vehicular elements by speech control
KR101424718B1 (ko) 2007-10-17 2014-08-04 삼성전자 주식회사 원격 접속 환경에서 접속 가능한 홈 네트워크 정보를제공하는 장치 및 그 방법
JP5161599B2 (ja) 2008-01-31 2013-03-13 シャープ株式会社 電子機器、遠隔制御システム、信号処理方法、制御プログラムおよび記録媒体
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
KR20120032644A (ko) 2010-09-29 2012-04-06 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 제어 방법
US8595319B2 (en) 2010-10-13 2013-11-26 Verizon Patent And Licensing Inc. Home network video peer-to-peer for mobile devices
JP2012165918A (ja) 2011-02-15 2012-09-06 Fujifilm Corp 放射線画像撮影装置、及び通信モード設定装置
US8860779B2 (en) 2011-05-23 2014-10-14 Broadcom Corporation Two-way audio and video communication utilizing segment-based adaptive streaming techniques
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9201859B2 (en) * 2011-12-15 2015-12-01 Microsoft Technology Licensing, Llc Suggesting intent frame(s) for user request(s)
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US8520807B1 (en) 2012-08-10 2013-08-27 Google Inc. Phonetically unique communication identifiers
US10454800B2 (en) * 2012-09-28 2019-10-22 Panasonic Intellectual Property Corporation Of America Information notification method, information notification system, and server device
US20140149118A1 (en) * 2012-11-28 2014-05-29 Lg Electronics Inc. Apparatus and method for driving electric device using speech recognition
JP6225920B2 (ja) * 2012-12-28 2017-11-08 株式会社ソシオネクスト 音声認識付き機器及び音声認識方法
US9220012B1 (en) 2013-01-15 2015-12-22 Marvell International Ltd. Systems and methods for provisioning devices
US9330169B2 (en) * 2013-03-15 2016-05-03 Bose Corporation Audio systems and related devices and methods
KR20140121179A (ko) 2013-04-05 2014-10-15 한국전자통신연구원 홈 네트워크 상호 연동 서비스 제공 방법
US9384751B2 (en) 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9472205B2 (en) 2013-05-06 2016-10-18 Honeywell International Inc. Device voice recognition systems and methods
JP6223713B2 (ja) 2013-05-27 2017-11-01 株式会社東芝 電子機器、方法及びプログラム
KR101380608B1 (ko) 2013-07-26 2014-04-10 (주) 코콤 스마트기기 기반 가정 주변기기 제어시스템 및 그 제어방법
US20150053779A1 (en) * 2013-08-21 2015-02-26 Honeywell International Inc. Devices and methods for interacting with an hvac controller
JP6213181B2 (ja) 2013-11-20 2017-10-18 ヤマハ株式会社 同期再生システム及び同期再生方法
JP2015106358A (ja) 2013-12-02 2015-06-08 日立アプライアンス株式会社 リモートアクセスシステムおよび宅内機器制御装置
US9348559B2 (en) 2013-12-23 2016-05-24 International Business Machines Corporation Interconnecting portal components with dialog state transitions
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
US9544310B2 (en) 2014-01-27 2017-01-10 Microsoft Technology Licensing, Llc Discovering and disambiguating identity providers
JP6256116B2 (ja) 2014-03-10 2018-01-10 富士通株式会社 通信端末、セキュアログイン方法、及びプログラム
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
KR102261552B1 (ko) 2014-06-30 2021-06-07 삼성전자주식회사 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
CN105490890A (zh) 2014-09-16 2016-04-13 中兴通讯股份有限公司 智能家庭终端及其控制方法
US9094363B1 (en) 2014-11-17 2015-07-28 Microsoft Technology Licensing, Llc Relevant communication mode selection
US9701135B2 (en) 2015-01-30 2017-07-11 S-Printing Solution Co., Ltd. Image forming apparatus, recording medium, terminal, server, note printing method, and storage medium
EP3067884B1 (en) 2015-03-13 2019-05-08 Samsung Electronics Co., Ltd. Speech recognition system and speech recognition method thereof
WO2016157658A1 (ja) 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
CN106252749B (zh) 2015-06-04 2020-12-29 松下知识产权经营株式会社 蓄电池包的控制方法以及蓄电池包
KR101572111B1 (ko) 2015-07-01 2015-11-27 주식회사 이노스코리아 랜덤하면서 유일한 코드를 생성하는 전자 장치 및 방법
JP6461738B2 (ja) 2015-07-24 2019-01-30 シャープ株式会社 連携システムおよび機器制御サーバ
US10018977B2 (en) 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
US10999345B2 (en) 2015-10-19 2021-05-04 At&T Intellectual Property I, L.P. Real-time video delivery for connected home applications
CN105242556A (zh) 2015-10-28 2016-01-13 小米科技有限责任公司 智能设备的语音控制方法、装置、控制设备及智能设备
WO2017085546A1 (en) 2015-11-17 2017-05-26 Idee Limited Security systems and methods for continuous authorized access to restricted access locations
CN108292502A (zh) 2015-11-25 2018-07-17 三菱电机株式会社 语音对话装置及语音对话方法
US10038941B2 (en) 2015-12-07 2018-07-31 Caavo Inc Network-based control of a media device
US9912977B2 (en) 2016-02-04 2018-03-06 The Directv Group, Inc. Method and system for controlling a user receiving device using voice commands
JP6610356B2 (ja) 2016-03-14 2019-11-27 コニカミノルタ株式会社 ジョブ実行システム、ジョブ実行方法、画像処理装置及びジョブ実行プログラム
US10021731B2 (en) 2016-03-24 2018-07-10 Panasonic Intellectual Property Management Co., Ltd. Home interior monitoring system and communication control method
US20170331807A1 (en) 2016-05-13 2017-11-16 Soundhound, Inc. Hands-free user authentication
US10204215B2 (en) 2016-05-24 2019-02-12 Mastercard International Incorporated System and method for processing a transaction with secured authentication
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10044869B2 (en) 2016-06-29 2018-08-07 Paypal, Inc. Voice-controlled audio communication system
WO2018013964A1 (en) 2016-07-15 2018-01-18 Rain Bird Corporation Wireless remote irrigation control
CN107734213A (zh) 2016-08-11 2018-02-23 漳州立达信光电子科技有限公司 智能家用电子装置与系统
US9892732B1 (en) 2016-08-12 2018-02-13 Paypal, Inc. Location based voice recognition system
US10026403B2 (en) 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
KR102481881B1 (ko) 2016-09-07 2022-12-27 삼성전자주식회사 외부 디바이스를 제어하는 서버 및 그 방법
US10157613B2 (en) 2016-11-17 2018-12-18 BrainofT Inc. Controlling connected devices using a relationship graph
JP6725006B2 (ja) 2016-12-02 2020-07-15 ヤマハ株式会社 制御装置および機器制御システム
US20180174581A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Voice-activated vehicle lighting control hub
US20180170242A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Bluetooth-enabled vehicle lighting control hub
JP6725008B2 (ja) 2016-12-29 2020-07-15 ヤマハ株式会社 コマンドデータ送信装置、ローカルエリア装置、機器制御システム、コマンドデータ送信装置の制御方法、ローカルエリア装置の制御方法、機器制御方法、及びプログラム
US10679608B2 (en) 2016-12-30 2020-06-09 Google Llc Conversation-aware proactive notifications for a voice interface device
CN108322365A (zh) 2017-01-14 2018-07-24 富士康(昆山)电脑接插件有限公司 语音控制系统
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
KR102417524B1 (ko) 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
US10574451B2 (en) 2017-10-19 2020-02-25 Bank Of America Corporation Method and apparatus for perfect forward secrecy using deterministic hierarchy
JP7192208B2 (ja) 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
JP7067082B2 (ja) 2018-01-24 2022-05-16 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US11276396B2 (en) 2018-05-01 2022-03-15 Dell Products, L.P. Handling responses from voice services
US11308947B2 (en) 2018-05-07 2022-04-19 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US10803864B2 (en) 2018-05-07 2020-10-13 Spotify Ab Voice recognition system for use with a personal media streaming appliance
US11119725B2 (en) 2018-09-27 2021-09-14 Abl Ip Holding Llc Customizable embedded vocal command sets for a lighting and/or other environmental controller

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389064A (zh) * 2000-08-21 2003-01-01 皇家菲利浦电子有限公司 带有可下载话音命令集的话音控制的遥控装置
JP2002259114A (ja) * 2001-03-05 2002-09-13 Nec Corp 音声認識コンピュータシステム
CN1429019A (zh) * 2001-12-18 2003-07-09 松下电器产业株式会社 装有声音识别功能的电视机及其控制方法
JP2010130223A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 音声操作システムおよび音声操作方法
CN103921727A (zh) * 2013-01-11 2014-07-16 歌乐株式会社 信息处理装置及其语音操作方法、语音操作系统
US20150243287A1 (en) * 2013-04-19 2015-08-27 Panasonic Intellectual Property Corporation Of America Control method for household electrical appliance, household electrical appliance control system, and gateway
CN104681026A (zh) * 2013-11-27 2015-06-03 夏普株式会社 语音识别终端及系统、服务器及其控制方法、非易失性存储介质
US20150254057A1 (en) * 2014-03-04 2015-09-10 Microsoft Technology Licensing, Llc Voice-command suggestions
CN106537496A (zh) * 2014-07-29 2017-03-22 雅马哈株式会社 终端装置、信息提供系统、信息呈现方法和信息提供方法
CN107004412A (zh) * 2014-11-28 2017-08-01 微软技术许可有限责任公司 用于监听设备的设备仲裁
CN107148555A (zh) * 2014-12-12 2017-09-08 歌乐株式会社 声音输入辅助装置、声音输入辅助系统及声音输入方法
CN106218557A (zh) * 2016-08-31 2016-12-14 北京兴科迪科技有限公司 一种带语音识别控制的车载麦克风
JP2017122930A (ja) * 2017-03-13 2017-07-13 シャープ株式会社 発話制御装置、方法、発話システム、及びプログラム

Also Published As

Publication number Publication date
WO2019107224A1 (ja) 2019-06-06
JP6962158B2 (ja) 2021-11-05
US20200294494A1 (en) 2020-09-17
EP3719630A4 (en) 2021-08-25
EP3719630A1 (en) 2020-10-07
CN111433736B (zh) 2024-05-07
US11574631B2 (en) 2023-02-07
JP2019101730A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
CN111433736B (zh) 机器控制系统以及机器控制方法
US11557291B2 (en) Method for location inference of IoT device, server, and electronic device supporting the same
CN108133707B (zh) 一种内容分享方法及系统
EP3843091A1 (en) Voice user interface shortcuts for an assistant application
US11538470B2 (en) Electronic device for processing user utterance and controlling method thereof
KR20190088945A (ko) 전자장치, 서버 및 그 제어방법
CN112074898A (zh) 用于意图推理的上下文无关文法的机器生成
JP2019046468A (ja) インターフェイススマートインタラクティブ制御方法、装置、システム及びプログラム
US11404052B2 (en) Service data processing method and apparatus and related device
US11664024B2 (en) Artificial intelligence device
JP6254209B2 (ja) 音声を利用できるテルネットインターフェイス
US20190164556A1 (en) Master-slave personal digital assistant data and knowledge exchange system and method
CN108108094A (zh) 一种信息处理方法、终端及计算机可读介质
US20210343283A1 (en) Electronic device for sharing user-specific voice command and method for controlling same
JP7192208B2 (ja) 機器制御システム、デバイス、プログラム、及び機器制御方法
CN112215010B (zh) 一种语义识别方法及设备
CN114299939A (zh) 一种智能设备、智能家居的语音控制设备及控制方法
CN107193810B (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
EP4184309A1 (en) Display device
WO2022019145A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11038980B2 (en) Information processing apparatus, information processing method, and program
CN114387969A (zh) 双线程智能屏控制方法、装置、电子设备及存储介质
JP2022061119A (ja) ネットワークシステム、情報処理方法、サーバ、および電気機器
KR20180107880A (ko) 어투 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant