[go: up one dir, main page]

CN111128157B - 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调 - Google Patents

一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调 Download PDF

Info

Publication number
CN111128157B
CN111128157B CN201911270433.8A CN201911270433A CN111128157B CN 111128157 B CN111128157 B CN 111128157B CN 201911270433 A CN201911270433 A CN 201911270433A CN 111128157 B CN111128157 B CN 111128157B
Authority
CN
China
Prior art keywords
intelligent household
household appliance
person
wake
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911270433.8A
Other languages
English (en)
Other versions
CN111128157A (zh
Inventor
李保水
王子
梁博
廖湖锋
王慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911270433.8A priority Critical patent/CN111128157B/zh
Publication of CN111128157A publication Critical patent/CN111128157A/zh
Application granted granted Critical
Publication of CN111128157B publication Critical patent/CN111128157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manufacturing & Machinery (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调，预先设定物体与智能家电的注视唤醒关系,通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则智能家电进入免唤醒状态采集语音信息。通过绑定物体与智能家电的关系，物体可以是设备也可以日常用品，当用户正视某一物体即可对应语音控制对应绑定的智能家电，用户能够免唤醒语音操作空调，提升了用户的无感交互体验，同时也在一定程度上增加了其语音唤醒的趣味性。

Description

一种智能家电的免唤醒语音识别控制方法、计算机可读存储 介质及空调
技术领域
本发明涉及语音唤醒技术领域，具体涉及一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调。
背景技术
目前随着人工智能领域的迅速发展以及人们对智能监控、智能家居及新型人机交互的需求日益提升。目前市面上的智能语音音箱已经遍地开花，语音交互技术已经较为成熟，语音交互应用于家电产品也逐渐增多，如语音空调。基于图像无感交互技术在家电行业的应用也渐渐地出现，图像技术结合语音控制的控制迎来新的机遇。通常我们控制语音空调（或语音智能设备），每次发出语音控制指令之前都需要进行先唤醒的操作，发出语音唤醒词控制指令，待唤醒后才开始控制指令的识别操作，每次操作都需要唤醒。
发明内容
针对现有技术的不足，本发明提出了一种智能家电的免唤醒语音识别控制方法，通过结合图像识别技术进行免唤醒直接语音空调，提升用户的交互体验，同时通过设备绑定实现正视某一设备即可控制某一设备，无需每次操作设备时要唤醒设备名称。
为实现上述目的，本发明采用如下技术方案：
一种智能家电的免唤醒语音识别控制方法，预先设定物体与智能家电的注视唤醒关系,通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则智能家电进入免唤醒状态采集语音信息。通过绑定物体与智能家电的关系，物体可以是设备也可以日常用品，当用户正视某一物体即可对应语音控制对应绑定的智能家电，用户能够免唤醒语音操作空调，提升了用户的无感交互体验，同时也在一定程度上增加了其语音唤醒的趣味性。
进一步的，所述通过视觉传感器实时检测当前环境的人物人体信息具体为：通过双目摄像头实时检测可视区域人物脸部和头部的动态信息，脸部的动态信息具体包括眼睛状态信息和嘴部动态信息。通过检测的眼睛状态信息和嘴部动态信息可以直观直接反映用户当前的意图，提高判断的准确率，降低误唤醒的几率。
进一步的，所述利用神经网络算法分析判断人物是否有意启动对应的智能家电具体为：检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电；若用户是在注视目标智能家电，则判断人物嘴部是否处于运动发声状态，若人物嘴部处于运动发声状态，则判断人物有意启动目标智能家电。先通过头部和脸部的信息判断是否处于注视智能家电状态，再检测嘴部动作进入唤醒操作，双目摄像头检测到人脸时即刻开启检测嘴部状态，通过循环记忆神经网络匹配算法模型识别嘴部动作，使得设备能够更准确地识别到用户将要控制设备，进入免唤醒，降低误判率。
进一步的，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负y°以内，若满足则确定用户正在注视目标智能家电，其中y为预设角度值。设置的图像偏置角度可以有效解决了图像正脸识别的识别率问题，有效地避免高误识别率问题，提高识别率。
进一步的，所述预先设定物体与智能家电的注视唤醒关系具体为：设定若干组目标物体与智能家电之间一一对应绑定关系，注视目标物体A设定对应免唤醒可语音控制智能家电A。用户无需每次操作设备时要唤醒设备名称，可直接正视某一目标物体即可控制某一智能家电。
进一步的，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：若判断人物未注视目标智能家电，则结束唤醒过程。当用户未注视目标智能家电，表明其没有唤醒智能家电的意图，这时候就不用进行下一步的判断，直接结束唤醒，避免造成误唤醒的情况发生。
进一步的，所述判断人物嘴部是否处于运动发声状态具体为：若判断人物嘴部处于闭合状态，则结束唤醒过程。在用户注视目标智能家电的基础上，若人物嘴部处于闭合说明用户也没有唤醒智能家电的意图，两步的判断确保了唤醒的精确。
进一步的，所述判断人物有意启动目标智能家电具体为：人物嘴部处于运动发声状态，采集语音信息并识别，若识别检测到的语音是控制指令，则进入智能家电语音控制状态；若识别检测到的语音不是控制指令，则结束唤醒过程。对检测到的语音进行精确的分析判断，可以有效提高识别率。
一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器调用时实现以上任一项所述的智能家电的免唤醒语音识别控制方法。
一种空调，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器调用时实现以上任一项所述的智能家电的免唤醒语音识别控制方法。
本发明提供的一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调的有益效果在于：智能家电配置双目摄像头技术，通过图像识别技术检测人脸的注视情况及嘴型动作，利用循环神经网络处理和预测图像数据，判断用户将控制空调，此时空调处于免唤醒状态，用户可以直接说语音命令控制智能家电，提升了用户的无感交互体验；用户无需每次操作设备时要唤醒设备名称，可直接正视某一设备即可控制某一设备，增加了唤醒控制的趣味性。
附图说明
图1为本发明流程示意图；
图2为本发明LSTM循环神经网络模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例1：一种智能家电的免唤醒语音识别控制方法。
如图1所示，一种智能家电的免唤醒语音识别控制方法，应用家电具体为语音空调，具体步骤如下：
S1，预先设定物体与智能家电的注视唤醒关系，具体为设定若干组目标物体与智能家电之间一一对应绑定关系，语音空调配置双目摄像头，双目摄像头能有效避免静态图片，摄像头实时检测可视区域用户脸和头部的动态，识别用户双眼聚焦位置是否对应目标物体，摄像头迅速检测并识别用户的头部和脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断用户是否正在注视某一目标物体；具体为将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负5°以内，若满足则确定用户正在注视目标物体；
S2,若用户是在注视目标物体，则判断用户嘴巴是否处于运动发声状态；
S3，若判断人物未注视目标物体，则结束唤醒过程；
S4，若嘴巴属于运动发声状态，则采集当前时段声音信息，语音识别模块获取该声音信息是否对应有效的控制指令；
S5, 若判断人物嘴部处于闭合状态，则结束唤醒过程；
S6，当识别到语音控制指令后语音空调进入语音控制状态；
S7，当识别不到语音控制指令则结束唤醒过程。
如图2所示，深度学习循环神经网络为LSTM循环神经网络模块，具体为：首先，“遗忘门”层通过sigmoid函数来控制，它会根据上一时刻的输出ht−1（隐藏状态）和当前输入xt来产生一个0到1的ft(遗忘门值)，来决定是否让上一时刻学到的信息Ct−1通过或部分通过；其次，产生需要更新的新信息，这一步包含两部分，第一部分“输入门”层通过sigmoid函数来决定哪些值用来更新，第二部分是tanh函数生成新的候选值Ct（状态），它作为当前层产生的候选值可能会添加到cell state（单元状态）中，再把这两部分产生的值结合来进行更新；最后，“输出门”，通过sigmoid函数来得到一个初始输出，然后使用tanh函数将 Ct值缩放到-1到1间，再与sigmoid得到的输出逐对相乘，从而得到模型的输出ht。
在空调双目摄像头可视范围内预设用户注视的目标（目标可以为某一物体或具体设备，用户注视目标的画图面均在摄像头的可视区域内），目标A设定对应免唤醒可语音直接控制设备A；目标B设定对应免唤醒可语音直接控制设备B；目标C设定对应免唤醒可语音直接控制设备C等等，可进行多预设。当检测到用户注视某一目标时即可判断用户将要控制某一设备，此刻用户可以直接语音进行控制某一设备。如检测到用户注视A目标，则立即唤醒空调进行拾音，并将控制指令转发去控制相应的设备1。
本实施例中，房间里放置空调，空调的双目摄像头可视范围内放置有除湿机设备，摄像头能够识别到用户注视除湿机设备的画面，对此进行了预先的设定，设定设备正常通电且互相绑定情况下，当空调摄像头检测到用户正在注视除湿机设备时，空调立即进入免唤醒侦听拾音状态，用户语音指令即可直接控制除湿机。比如在房间内用户正视除湿机设备，空调检测到后进入拾音状态并等待转发控制指令给除湿机以实现控制除湿机，实现了看着谁就对谁说的免唤醒交互。
实施例2：种智能家电的免唤醒语音识别控制方法。
与实施例1不同之处在于，目标物体为画和花瓶等，双目摄像头能够识别到用户注视画的画面和用户注视花瓶的画面。对此进行了预先的设定，用户注视画时设定对应可控制热水器设备、用户注视花瓶时设定对应可控制空气净化器设备。当空调双目摄像头检测到用户正在注视画的画面图像时，空调立即进入免唤醒侦听拾音状态，用户语音指令即可直接控制热水器设备。当空调摄像头检测到用户正在注视花瓶的画面图像时，空调立即进入免唤醒侦听拾音状态，用户语音指令即可直接控制空气净化器设备。
实施例3：一种计算机可读存储介质。
一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器调用时实现实施例1或实施例2所述的智能家电的免唤醒语音识别控制方法。
实施例4：一种空调。
一种空调，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器调用时实现实施例1或实施例2所述的智能家电的免唤醒语音识别控制方法。
以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (6)

1.一种智能家电的免唤醒语音识别控制方法，其特征在于,预先设定物体与智能家电的注视唤醒关系,通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则智能家电进入免唤醒状态采集语音信息；所述预先设定物体与智能家电的注视唤醒关系具体为：设定若干组目标物体与智能家电之间一一对应绑定关系，注视目标物体A设定对应免唤醒可语音控制智能家电A，
所述通过视觉传感器实时检测当前环境的人物人体信息具体为：通过双目摄像头实时检测可视区域人物脸部和头部的动态信息，脸部的动态信息具体包括眼睛状态信息和嘴部动态信息，
所述利用神经网络算法分析判断人物是否有意启动对应的智能家电具体为：检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电；若用户是在注视目标智能家电，则判断人物嘴部是否处于运动发声状态，若人物嘴部处于运动发声状态，则判断人物有意启动目标智能家电，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：若判断人物未注视目标智能家电，则结束唤醒过程，深度学习循环神经网络为LSTM循环神经网络模块，具体为：首先，“遗忘门”层通过sigmoid函数来控制，它会根据上一时刻的输出隐藏状态ht-1和当前输入xt来产生一个0到1的遗忘门值ft，来决定是否让上一时刻学到的信息Ct-1通过或部分通过；其次，产生需要更新的新信息，这一步包含两部分，第一部分“输入门”层通过sigmoid函数来决定哪些值用来更新，第二部分是tanh函数生成新的候选值状态Ct，它作为当前层产生的候选值可能会添加到单元状态cell state中，再把这两部分产生的值结合来进行更新；最后，“输出门”，通过sigmoid函数来得到一个初始输出，然后使用tanh函数将Ct值缩放到-1到1间，再与sigmoid得到的输出逐对相乘，从而得到模型的输出ht。
2.如权利要求1所述的智能家电的免唤醒语音识别控制方法，其特征在于，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负y°以内，若满足则确定用户正在注视目标智能家电，其中y为预设角度值。
3.如权利要求1所述的智能家电的免唤醒语音识别控制方法，其特征在于，所述判断人物嘴部是否处于运动发声状态具体为：若判断人物嘴部处于闭合状态，则结束唤醒过程。
4.如权利要求1所述的智能家电的免唤醒语音识别控制方法，其特征在于，所述判断人物有意启动目标智能家电具体为：人物嘴部处于运动发声状态，采集语音信息并识别，若识别检测到的语音是控制指令，则进入智能家电语音控制状态；若识别检测到的语音不是控制指令，则结束唤醒过程。
5.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器调用时实现权利要求1-4任一项所述的智能家电的免唤醒语音识别控制方法。
6.一种空调，包括处理器和存储器，所述存储器用于存储计算机程序，其特征在于，所述计算机程序被所述处理器调用时实现权利要求1-4任一项所述的智能家电的免唤醒语音识别控制方法。
CN201911270433.8A 2019-12-12 2019-12-12 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调 Active CN111128157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911270433.8A CN111128157B (zh) 2019-12-12 2019-12-12 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911270433.8A CN111128157B (zh) 2019-12-12 2019-12-12 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调

Publications (2)

Publication Number Publication Date
CN111128157A CN111128157A (zh) 2020-05-08
CN111128157B true CN111128157B (zh) 2022-05-27

Family

ID=70499139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911270433.8A Active CN111128157B (zh) 2019-12-12 2019-12-12 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调

Country Status (1)

Country Link
CN (1) CN111128157B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880854B (zh) * 2020-07-29 2024-04-30 百度在线网络技术（北京）有限公司 用于处理语音的方法和装置
CN112420043A (zh) * 2020-12-03 2021-02-26 深圳市欧瑞博科技股份有限公司 基于语音的智能唤醒方法、装置、电子设备及存储介质
CN113138560B (zh) * 2021-04-12 2024-06-25 维沃移动通信有限公司 终端控制方法、装置、设备及可读存储介质
CN113593544A (zh) * 2021-06-11 2021-11-02 青岛海尔科技有限公司 设备的控制方法和装置、存储介质及电子装置
CN115691485A (zh) * 2021-07-26 2023-02-03 华为技术有限公司 设备唤醒方法、相关装置及通信系统
CN114216200B (zh) * 2021-11-11 2024-04-26 青岛海尔空调器有限总公司 空调互联的控制方法、控制系统、电子设备和存储介质
CN114509953A (zh) * 2022-02-18 2022-05-17 美的集团(上海)有限公司 设备控制方法、计算机程序产品、控制设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与系统
CN108519819A (zh) * 2018-03-30 2018-09-11 北京金山安全软件有限公司 智能设备的处理方法、装置、智能设备及介质
CN109977811A (zh) * 2019-03-12 2019-07-05 四川长虹电器股份有限公司 基于嘴部关键位置特征检测实现免语音唤醒的系统及方法
CN110136714A (zh) * 2019-05-14 2019-08-16 北京探境科技有限公司 自然交互语音控制方法及装置
CN110335600A (zh) * 2019-07-09 2019-10-15 四川长虹电器股份有限公司 家电设备的多模态交互方法及系统
CN110531853A (zh) * 2019-08-23 2019-12-03 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与系统
CN108519819A (zh) * 2018-03-30 2018-09-11 北京金山安全软件有限公司 智能设备的处理方法、装置、智能设备及介质
CN109977811A (zh) * 2019-03-12 2019-07-05 四川长虹电器股份有限公司 基于嘴部关键位置特征检测实现免语音唤醒的系统及方法
CN110136714A (zh) * 2019-05-14 2019-08-16 北京探境科技有限公司 自然交互语音控制方法及装置
CN110335600A (zh) * 2019-07-09 2019-10-15 四川长虹电器股份有限公司 家电设备的多模态交互方法及系统
CN110531853A (zh) * 2019-08-23 2019-12-03 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统

Also Published As

Publication number Publication date
CN111128157A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111128157B (zh) 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调
TWI646444B (zh) 一種喚醒智慧機器人的方法及智慧機器人
CN110291489B (zh) 计算上高效的人类标识智能助理计算机
CN111145739A (zh) 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
WO2022110564A1 (zh) 智能家居多模态人机自然交互系统及其方法
WO2021135577A9 (zh) 音频信号处理方法、装置、电子设备及存储介质
CN109767769A (zh) 一种语音识别方法、装置、存储介质及空调
SE545310C2 (en) Improved turn-taking
CN104102181B (zh) 智能家居控制方法、装置及系统
CN106203380B (zh) 超声波手势识别方法及系统
CN107360157A (zh) 一种用户注册方法、装置及智能空调器
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
WO2018006374A1 (zh) 一种基于主动唤醒的功能推荐方法、系统及机器人
CN110822648B (zh) 空调器及其控制方法、计算机可读存储介质
CN110524559B (zh) 基于人员行为数据的智能人机交互系统及方法
CN110426962A (zh) 一种智能家居设备的控制方法及系统
CN114926837B (zh) 一种基于人-物时空交互行为的情感识别方法
WO2020125038A1 (zh) 语音控制方法及装置
CN105042789A (zh) 一种智能空调的控制方法及系统
CN106653020A (zh) 一种基于深度学习的智慧视听设备多业务控制方法及系统
CN114967490A (zh) 一种家居场景控制方法、装置、智能门锁及控制系统
CN111399647A (zh) 一种人工智能自适应互动教学系统
CN112669837B (zh) 智能终端的唤醒方法、装置及电子设备
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
Amit et al. Recognition of real-time hand gestures using mediapipe holistic model and LSTM with MLP architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant