[go: up one dir, main page]

CN108762504A - 一种通过单眨眼控制的人机录入装置、方法及系统 - Google Patents

一种通过单眨眼控制的人机录入装置、方法及系统 Download PDF

Info

Publication number
CN108762504A
CN108762504A CN201810521422.1A CN201810521422A CN108762504A CN 108762504 A CN108762504 A CN 108762504A CN 201810521422 A CN201810521422 A CN 201810521422A CN 108762504 A CN108762504 A CN 108762504A
Authority
CN
China
Prior art keywords
action
man
eye
blink
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810521422.1A
Other languages
English (en)
Inventor
李永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Brain Lee Mdt Infotech Ltd
Original Assignee
Guangzhou Brain Lee Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Brain Lee Mdt Infotech Ltd filed Critical Guangzhou Brain Lee Mdt Infotech Ltd
Priority to CN201810521422.1A priority Critical patent/CN108762504A/zh
Publication of CN108762504A publication Critical patent/CN108762504A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供的一种通过单眨眼控制的人机录入装置,包括眨眼识别模块,用于读取眼部动作,并将眼部动作转换成电信号;控制模块,用于接收和判断眼部动作的电信号,识别出单眨眼动作后输出进入/退出录入模式的控制信号。动作识别采用单眨眼检测,单眨眼是人类非生理性动作,通过对称检查两眼动作的差值,抗干扰性更好,更具有普适性。本发明还公开了基于单眨眼控制的人机录入装置的人机录入方法及系统,具有广阔的应用前景。

Description

一种通过单眨眼控制的人机录入装置、方法及系统
技术领域
本发明涉及人机交互技术领域,具体涉及一种通过单眨眼控制的人机录入装置、方法和系统。
背景技术
现有技术中的人机交互控制主要采用键盘、鼠标、手柄、触控屏、遥控器等实现,随着人工智能的发展,基于语音、动作识别等作为人机交互控制手段,提高人机交互控制效率。
基于肢体动作的人机交互方式理论上很方便,但还存在以下问题:
1)不能很好的区分生理动作和有意识的录入动作;
比如可以将点头作为一个动作录入,代表电视换台这的确很方便,但是人在不需要换台的时候也会点头,而这时候如果换台则做给用户带来很大困扰。
2)不能准确运作检测去噪
比如我们可以为了检测眨眼动作,我们可以通过检测眼角皮肤运动来实现,只是有时人们的发笑或打喷嚏的时候也会带动眼角的皮肤运动
通过检测眼部肌肉的肌电信号的时候也有类似的问题。
3)需要额外的方式进入或退出录入模式,操作麻烦。
发明内容
针对现有技术中的缺陷,本发明提供一种通过单眨眼控制的人机录入装置,采用单眨眼作为动作信号,单眨眼检测通过对称检查两眼差值的抗干扰性更好,更具有普适性。
本发明还公开了基于通过单眨眼控制的人机录入装置的单眨眼录入方法和系统。
一种通过单眨眼控制的人机录入装置,其特征在于,包括:
眨眼识别模块,用于读取眼部动作,并将眼部动作转换成电信号;
控制模块,用于接收和判断眼部动作的电信号,识别出单眨眼动作后输出进入/退出录入模式的控制信号。
有益效果:动作识别采用单眨眼检测,单眨眼是人类非生理性动作,通过对称检查两眼动作的差值,抗干扰性更好,更具有普适性。
进一步,所述眨眼识别模块包括:
左眼动作传感装置,用于检测左眼的动作,并将左眼动作的电信号实时传输至控制模块;
右眼动作传感装置,用于检测右眼的动作,并将右眼动作的电信号实时传输至控制模块。
采用进一步技术方案的有益效果:选用两个动作传感装置,分别安装在左眼和右眼附近或者皮肤上,用于直接检测眼部动作信号。采用两个动作传感器,安装、布置都较为方便,读取准确。
进一步,所述左眼动作传感装置和右眼动作传感装置为基于摩擦纳米发电技术或压电纳米发电技术的传感器。
采用进一步技术方案的有益效果:左眼动作传感装置和右眼动作传感装置为近年来热门的摩擦纳米发电技术设计的新型传感器(眨眼开关),该传感器探测的是眨眼引起的太阳穴附近皮肤的微小运动,不仅灵敏度极高,并且相对于传统探测方法还具有更好的耐久性和稳定性。
该传感器由上下两层薄膜构成,中间有一定间隔。传感器接触眼角附近的皮肤。当眼睛眨动,眼角周围皮肤产生微小运动,会使两层薄膜产生接触;眨完眼后眼睛睁开,两层薄膜就会分离。在薄膜背面制备一层导电层,就可产生与眨眼对应的脉冲电信号输出。
传感器还可以是采用压电纳米发电技术的传感器,利用纳米线的弯曲和伸展将机械能转化为电能。
进一步,所述眨眼识别模块为视频录入装置,用于实时读取双眼视频画面。
采用进一步技术方案的有益效果:视频录入装置能够读取双眼甚至是面部的表情,采用面部识别算法等,识别出眼部动作。采用视频录入装置,录入简单方便,但对处理器性能要求高。
进一步,所述眨眼识别模块包括:
两个眼部动作检测装置,分别设置于双眼周围的皮肤表面;
比较器,分别与两个眼部动作检测装置连接,用于接收和比较两个眼部动作检测装置的动作信号,并输出检测结果至控制模块。
采用进一步技术方案的有益效果:在双眼周围的皮肤表面设置动作检测装置,皮肤动作后会牵动动作检测装置运动,动作检测装置将运动传递至比较器,比较器分析和比对两个两侧传导的动作信号,并将分析后的信号传输至控制模块。
控制模块根据传导的信号,判断信号差值是否超过阈值,超过阈值,输出进入/退出录入模式的控制信号,或由用户确认进入/退出录入模式。
进一步,所述两个眼部动作检测装置与比较器采用机械传动结构连接;
所述比较器内部设置有动作传感器,用于接收对应的眼部动作检测装置的动力信号,比较器比较两个眼部动作信号的大小,输出比较信号至控制模块。
采用进一步技术方案的有益效果:两个眼部动作检测装置分别设置于双眼周围的皮肤表面,与动作传感器分别机械连接,眼部动作后,通过机械传动的方式(通过但不限于绳索、传动杆等连接),将运动的动力/位移传递到动作传感器,动作传感器读取力信号的大小/位移信号。若检测力信号,力越大,代表皮肤动作越大,眨眼幅度越大。若检测位移信号,则将两个位移信号矢量叠加后,判断位移的方向和大小。比较和判断两个力信号/位移信号的差值是否在阈值范围内,如果不在阈值范围内,根据预设的规则,判断差值的正负,从而判断出单眨眼动作以及是左眨眼还是右眨眼,根据单眨眼预设的控制规则进行人机交互。
进一步,所述动作传感器为霍尔传感器、两个压力传感器、角度转感器、位移传感器、距离传感器、接触开关或者接近开关。
采用进一步技术方案的有益效果:动作传感器优选霍尔传感器、两个压力传感器、角度转感器、位移传感器、距离传感器、接触开关或者接近开关,但是不限于上述动作传感器,只要是能够检测眼部动作检测装置传输来的力作为检测信号的传感装置都可采用。
一种通过单眨眼控制的人机录入方法,其特征在于,基于上述通过单眨眼控制的人机录入装置;
S1:读取眼部动作;
S2:识别出眼部动作中的单眨眼动作,控制进入/退出录入模式。
进一步,识别出眼部动作的单眨眼动作后,直接进入/退出录入模式,或用户确认进入/退出录入模式。
一种录入系统,其特征在于,包括上述的通过单眨眼控制的人机录入装置。
本发明的有益效果:本发明的一种通过单眨眼控制的人机录入装置及采用该装置的录入方法和系统,基于单眨眼作的动作信号作为控制信号,单眨眼是人类非生理性动作,通过对称检查两眼动作的差值,抗干扰性更好,更具有普适性,便于在人机交互和智能机器人领域等良好的推广和广泛使用,具有很高的应用价值。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1为实施例1的流程框图;
图2为实施例2的流程框图;
图3为实施例3的流程框图;
图4为实施例4的流程框图;
图5为实施例5采用角度传感器的眨眼识别模块的结构示意图;
图6为采用霍尔传感器的眨眼识别模块的结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例1:
一种通过单眨眼控制的人机录入装置,如图1所示,包括左眼动作传感装置101和右眼动作传感装置102。左眼动作传感装置101和右眼动作传感装置102设置在双眼皮肤或双眼周围,用于检测眼部的动作信号,并将动作信号传递到控制模块。控制模块103对接收到的两路信号进行分析,判断出单眨眼信号。并根据单眨眼信号控制执行机构104动作。
控制模块103选用基于ARM嵌入式的控制装置,或单片机,集成度高和小型化,便于人体佩戴使用。
左眼动作传感装置101和右眼动作传感装置102优先选用近年来热门的摩擦纳米发电技术设计的新型传感器(眨眼开关),该传感器由上下两层薄膜构成,中间有一定间隔。传感器接触眼角附近的皮肤。当眼睛眨动,眼角周围皮肤产生微小运动,会使两层薄膜产生接触;眨完眼后眼睛睁开,两层薄膜就会分离。在薄膜背面制备一层导电层,就可产生与眨眼对应的脉冲电信号输出。该传感器探测的是眨眼引起的太阳穴附近皮肤的微小运动,不仅灵敏度极高,并且相对于传统探测方法还具有更好的耐久性和稳定性。
实施例2:
如图2所示,单眨眼控制的人机录入装置,包括用于采集眼部动作的视频录入装置201,视频录入装置201安装在面部前部上方等能够读取到双眼画面的位置。视频录入装置201将读取到的双眼动作信号实时传输至控制模块103,控制模块103为DSP芯片,用于快速处理图片信号,识别眨眼动作,并输出控制信号控制执行机构104根据预设规则动作。
实施例3:
如图3所示,单眨眼控制的人机录入装置包括第一眼部动作检测装置301和第二眼部动作检测装置302,第一眼部动作检测装置301和第二眼部动作检测装置302安装在眼部周围皮肤,在眼部动作后,第一眼部动作检测装置301和第二眼部动作检测装置302跟随眼部皮肤运动。
如图6所示,第一眼部动作检测装置301和第二眼部动作检测装置302之间设置拉绳8。比较器303中设置霍尔传感器7,拉绳上设置有靠近霍尔传感器的磁性部件9,霍尔传感器7根据磁性部件9位移的变化输出信号至控制模块103,控制模块103根据接收到的信号判断磁性部件位移的大小和方向,判断位移方向和位移大小是否超过阈值,若超过阈值,则控制模块103输出控制信号控制执行机构104根据预设命令执行动作。
拉绳8为弹性拉绳,或其上至少两段为弹性绳,保证磁性部件9回位。
实施例4:
与实施例3类似,单眨眼控制的人机录入装置包括第一眼部动作检测装置301和第二眼部动作检测装置302,第一眼部动作检测装置301和第二眼部动作检测装置302安装在眼部周围皮肤。
第一眼部动作检测装置301和第二眼部动作检测装置302分别与比较器303中设置的第一压力传感器401和第二压力传感器402连接,该第一压力传感器401和第二压力传感器402的输出端分别与比较器设置的比较器芯片的两输入端连接,比较器芯片的输出端与控制模块103的输入端连接。
在眼部动作后,第一眼部动作检测装置301和第二眼部动作检测装置302跟随眼部皮肤运动,通过机械传动结构将运动信号传递到第一压力传感器401和第二压力传感器402,运动位移越大,施加到压力传感器上的压力值越大,比较器设置的比较器芯片对第一压力传感器401和第二压力传感器402输出的压力值进行比较和计算,输出计算结果至控制模块103,控制模块103判断眼部两侧的位移方向和位移大小是否超过阈值,若超过阈值,则控制模块103输出控制信号控制执行机构104根据预设命令执行动作。
实施例5:
单眨眼控制的人机录入装置包括第一眼部动作检测装置301和第二眼部动作检测装置302,第一眼部动作检测装置301和第二眼部动作检测装置302安装在眼部周围皮肤。第一眼部动作检测装置301和第二眼部动作检测装置302分别通过第一拉绳501和第二拉绳502与角度传感器6的转动轴连接。第一拉绳501和第二拉绳502为弹性绳,或其上至少一段为弹性绳,用于保证角度传感器6的转动轴实时和准确的归位。在眼部动作后,第一眼部动作检测装置301和第二眼部动作检测装置302跟随眼部皮肤运动,并通过第一拉绳501和第二拉绳502牵动角度传感器6转动轴转动,若第一拉绳501拉力大,则角度传感器6转动轴朝向第一拉绳501牵引方向转动,若第二拉绳502拉力大,则角度传感器6转动轴朝向第二拉绳502牵引方向转动,若施加在第一拉绳501上的拉力与施加到第二拉绳502上的拉力大小相同,则角度传感器6转动轴不转动。角度传感器6的转轴转动角度还与较大的牵引力的牵引位移有关系。角度传感器6转动轴转动输出计数值,比较器303根据实时计数数据判断眼部动作判断数值比较结果,并将比较结果发送至控制模块103,控制模块103根据预设指令输出控制信号控制执行机构104根据预设命令执行动作。
基于上述实施例的单眨眼控制的人机录入装置,可以应用到智能家居,如切换电视节目,以及人工智能所应用到的任何技术领域内,具有广阔的使用前景。
最后说明,以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种通过单眨眼控制的人机录入装置,其特征在于,包括:
眨眼识别模块,用于读取眼部动作,并将眼部动作转换成电信号;
控制模块,用于接收和判断眼部动作的电信号,识别出单眨眼动作后输出进入/退出录入模式的控制信号。
2.根据权利要求1所述的通过单眨眼控制的人机录入装置,其特征在于,所述眨眼识别模块包括:
左眼动作传感装置,用于检测左眼的动作,并将左眼动作的电信号实时传输至控制模块;
右眼动作传感装置,用于检测右眼的动作,并将右眼动作的电信号实时传输至控制模块。
3.根据权利要求2所述的通过单眨眼控制的人机录入装置,其特征在于,所述左眼动作传感装置和右眼动作传感装置为基于摩擦纳米发电技术或压电纳米发电技术的传感器。
4.根据权利要求1所述的通过单眨眼控制的人机录入装置,其特征在于,所述眨眼识别模块为视频录入装置,用于实时读取双眼视频画面。
5.根据权利要求1所述的通过单眨眼控制的人机录入装置,其特征在于,所述眨眼识别模块包括:
两个眼部动作检测装置,分别设置于双眼周围的皮肤表面;
比较器,分别与两个眼部动作检测装置连接,用于接收和比较两个眼部动作检测装置的动作信号,并输出检测结果至控制模块。
6.根据权利要求5所述的通过单眨眼控制的人机录入装置,其特征在于,所述两个眼部动作检测装置与比较器采用机械传动结构连接;
所述比较器内部设置有动作传感器,用于接收对应的眼部动作检测装置的动力信号,比较器比较两个眼部动作信号的大小,输出比较信号至控制模块。
7.根据权利要求6所述的通过单眨眼控制的人机录入装置,其特征在于,所述动作传感器为:霍尔传感器、两个压力传感器、角度转感器、位移传感器、距离传感器、接触开关或者接近开关。
8.一种通过单眨眼控制的人机录入方法,其特征在于,基于权利要求1-8的通过单眨眼控制的人机录入装置;
S1:读取眼部动作;
S2:识别出眼部动作中的单眨眼动作,控制进入/退出录入模式。
9.根据权利要求8所述的通过单眨眼控制的人机录入方法,其特征在于,
识别出眼部动作的单眨眼动作后,直接进入/退出录入模式,或用户确认进入/退出录入模式。
10.一种录入系统,其特征在于,包括权利要求1-7的通过单眨眼控制的人机录入装置。
CN201810521422.1A 2018-05-28 2018-05-28 一种通过单眨眼控制的人机录入装置、方法及系统 Pending CN108762504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810521422.1A CN108762504A (zh) 2018-05-28 2018-05-28 一种通过单眨眼控制的人机录入装置、方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810521422.1A CN108762504A (zh) 2018-05-28 2018-05-28 一种通过单眨眼控制的人机录入装置、方法及系统

Publications (1)

Publication Number Publication Date
CN108762504A true CN108762504A (zh) 2018-11-06

Family

ID=64006191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810521422.1A Pending CN108762504A (zh) 2018-05-28 2018-05-28 一种通过单眨眼控制的人机录入装置、方法及系统

Country Status (1)

Country Link
CN (1) CN108762504A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456076A (zh) * 2021-07-05 2021-10-01 江苏安全技术职业学院 一种基于云计算的眼动数据心理健康反馈装置
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN115120436A (zh) * 2022-06-27 2022-09-30 广东技术师范大学 一种眼睛控制的智慧医疗床及其控制方法
US12183121B2 (en) 2021-12-22 2024-12-31 Tobii Ab Method for generating a video comprising blink data of a user viewing a scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070287497A1 (en) * 2006-06-09 2007-12-13 Ray Worthington Douglas Computer compressed myopia eyeglasses lens
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN104755023A (zh) * 2012-11-02 2015-07-01 索尼公司 图像显示设备和信息输入设备
CN105867607A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔中的菜单选择方法、装置及虚拟现实头盔
CN105912120A (zh) * 2016-04-14 2016-08-31 中南大学 基于人脸识别的移动机器人人机交互控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070287497A1 (en) * 2006-06-09 2007-12-13 Ray Worthington Douglas Computer compressed myopia eyeglasses lens
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN104755023A (zh) * 2012-11-02 2015-07-01 索尼公司 图像显示设备和信息输入设备
CN105867607A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔中的菜单选择方法、装置及虚拟现实头盔
CN105912120A (zh) * 2016-04-14 2016-08-31 中南大学 基于人脸识别的移动机器人人机交互控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡陈果: "中国科学家研制出新型传感器"眨眨眼"就能开关家电", 《今日电子》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456076A (zh) * 2021-07-05 2021-10-01 江苏安全技术职业学院 一种基于云计算的眼动数据心理健康反馈装置
CN113456076B (zh) * 2021-07-05 2022-03-15 江苏安全技术职业学院 一种基于云计算的眼动数据心理健康反馈装置
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN113855019B (zh) * 2021-08-25 2023-12-29 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
US12183121B2 (en) 2021-12-22 2024-12-31 Tobii Ab Method for generating a video comprising blink data of a user viewing a scene
CN115120436A (zh) * 2022-06-27 2022-09-30 广东技术师范大学 一种眼睛控制的智慧医疗床及其控制方法

Similar Documents

Publication Publication Date Title
CN108762504A (zh) 一种通过单眨眼控制的人机录入装置、方法及系统
CN102326133B (zh) 用于使得设备进入活动模式的系统、方法和装置
CN1174337C (zh) 识别人眼注视与否的方法和装置及其应用
CN107632699B (zh) 基于多感知数据融合的人机自然交互系统
CN108406848A (zh) 一种基于场景分析的智能机器人及其运动控制方法
CN102799270B (zh) 一种基于静电和肌电探测的人机交互方法
CN102789326B (zh) 一种基于静电探测的非接触式人机交互方法
CN104573653A (zh) 一种物体运动状态的识别装置及方法
CN110632853A (zh) 一种基于手势识别的智能家居控制系统及其使用方法
CN204537060U (zh) 一种基于肌电流和多传感器协同作用的人机交互设备
CN108037831A (zh) 一种终端接近控制方法及装置
CN205594339U (zh) 一种体感智能家居控制系统
CN109598823B (zh) 基于多传感器的身份识别方法
CN106873716A (zh) 一种可穿戴设备入水检测装置和方法以及一种可穿戴设备
CN116909390A (zh) 基于手套的多模态数据采集系统
CN118860164A (zh) 一种用于手势识别的可穿戴人机界面装置
CN206825435U (zh) 一种机器人
CN116270056A (zh) 一种多模态轮椅控制系统
CN112631422B (zh) 一种基于人体行为触发的媒体交互系统
CN207123736U (zh) 人机交互式衣架模特控制系统
CN107546820A (zh) 一种移动式无线充电垫座及无线充电控制方法
WO2019193601A1 (en) Piezoelectric sensors integrated hand gesture recognition device
CN120256352A (zh) 智能通用型辅助装置
CN212743612U (zh) 一种具有语音提示功能的智能门把手
CN109741491B (zh) 一种指静脉人脸锁主控模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106

RJ01 Rejection of invention patent application after publication