[go: up one dir, main page]

CN113160260B - 一种头眼双通道智能人机交互系统及运行方法 - Google Patents

一种头眼双通道智能人机交互系统及运行方法 Download PDF

Info

Publication number
CN113160260B
CN113160260B CN202110499945.2A CN202110499945A CN113160260B CN 113160260 B CN113160260 B CN 113160260B CN 202110499945 A CN202110499945 A CN 202110499945A CN 113160260 B CN113160260 B CN 113160260B
Authority
CN
China
Prior art keywords
data
module
head
eye
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110499945.2A
Other languages
English (en)
Other versions
CN113160260A (zh
Inventor
于天河
温宏韬
王鹏
王世龙
庞广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Penglu Intelligent Technology Co ltd
Harbin University of Science and Technology
Original Assignee
Harbin Penglu Intelligent Technology Co ltd
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Penglu Intelligent Technology Co ltd, Harbin University of Science and Technology filed Critical Harbin Penglu Intelligent Technology Co ltd
Priority to CN202110499945.2A priority Critical patent/CN113160260B/zh
Publication of CN113160260A publication Critical patent/CN113160260A/zh
Application granted granted Critical
Publication of CN113160260B publication Critical patent/CN113160260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种头眼双通道智能人机交互系统及运行方法，属于人机交互技术领域。头眼双通道智能人机交互系统包括：眼部图像采集模块、头部姿态检测模块、系统核心模块、无线数据传输模块和电源模块，眼部图像采集模块和头部姿态检测模块均与系统核心模块连接，系统核心模块与无线数据传输模块连接，电源模块同时为眼部图像采集模块、头部姿态检测模块、系统核心模块和无线数据传输模块通电。本发明通过用头部姿态确定注视区域完成粗定位，用视线确定具体的注视点，实现头眼双输入通道控制的人机交互方式，解决了单输入通道人机交互系统存在的缺陷。

Description

一种头眼双通道智能人机交互系统及运行方法
技术领域
本发明涉及一种头眼双通道智能人机交互系统及运行方法，属于人机交互技术领域。
背景技术
人机交互技术，作为人与计算机之间信息交流的接口，在军事、工业、教育、医疗、家居等领域应用广泛。随着电子技术和计算机技术的快速发展，人机交互方式也发生了巨大的改变，不再局限于传统的鼠标键盘输入、显示屏输出等，而是逐渐发展为集传统交互方式与眼动、姿态、语音等自然人机交互方式于一体的多通道交互方式，极大提高了人机交互的智能性。
由于视线能够反映人眼的关注信息，在人机交互中被当作重要的信息输入源，因此视线追踪技术备受该领域研究人员的关注。但目前基于视线追踪的视线控制技术存在固有的缺陷，比如难以完成大范围内的精确操作以及头动对系统精度造成的偏差，仅仅依靠视线进行人机交互的实用性依然较低。
由于人眼的注视点是由眼睛和头部的方位共同决定的，头部方位决定人眼能够注视到的范围，眼睛确定精确的注视方向。如果将头部姿态作为一种互补输入通道，与视线输入通道相结合，用头部姿态确定注视区域完成粗定位，用视线确定具体的注视点，实现头眼双输入通道控制的人机交互方式，弥补单输入通道存在的缺陷，则能大大提高视线交互的实用性，将具有巨大的市场和经济效益。
发明内容
本发明的目的在于解决现有单通道视觉交互系统在实际应用中实用性较低的问题，而公开一种基于视线追踪技术和头部姿态检测技术的头眼双通道智能人机交互系统及方法。
一种头眼双通道智能人机交互系统，头眼双通道智能人机交互系统包括：眼部图像采集模块、头部姿态检测模块、系统核心模块、无线数据传输模块和电源模块，眼部图像采集模块和头部姿态检测模块均与系统核心模块连接，系统核心模块与无线数据传输模块连接，电源模块同时为眼部图像采集模块、头部姿态检测模块、系统核心模块和无线数据传输模块通电；
进一步的，头眼双通道智能人机交互系统还包括电子终端，其中，
眼部图像采集模块，用于获取人眼灰度图像数据，并将人眼灰度图像数据传输至系统核心模块；
头部姿态检测模块，用于获取三轴姿态数据，再对三轴姿态数据进行姿态解算，并将姿态解算结果发送至系统核心模块；
系统核心模块，用于对灰度图像数据和姿态解算结果进行处理，转换为适用于计算机的交互数据，并发送交互数据至电子终端；
无线数据传输模块，用于使系统核心模块和电子终端无线连接；
电子终端，用于将交互数据转换成为适用于电子终端的操作指令；
头眼双通道智能人机交互系统还包括头戴式框架，头戴式框架包括镜框、左支腿、右支腿、充电接口、LED状态指示灯和镜片拓展框，左支腿和右支腿分别转动连接于镜框的左右两端，充电接口设置于左支腿上，镜片拓展框设置在镜框中，LED状态指示灯设置于左支腿的外侧面上；
LED状态指示灯为RGB指示灯，用于指示系统的不同状态；
镜片拓展框中安装有镜片，镜片为平面镜片或近视镜片；
左支腿和右支腿均为空腔结构；
进一步的，系统核心模块内嵌于右支腿的空腔中，系统核心模块包括眼部图像缓存模块和FPGA控制与数据处理模块，FPGA控制与数据处理模块分别与眼部图像采集模块、头部姿态检测模块、眼部图像缓存模块连接；
眼部图像采集模块安装在镜框的右下部，眼部图像采集模块包括单个集成红外LED且可调角度的微型红外摄像头、摄像头左右角度调节滚轮和摄像头上下角度调节滚轮，微型红外摄像头的左右角度和上下角度分别通过摄像头左右角度调节滚轮和摄像头上下角度调节滚轮调节；
眼部图像数据缓存模块，用于把微型红外摄像头输出的视频图像数据以帧为单位缓存起来；
FPGA控制与数据处理模块，用于以帧为单位读取眼部图像数据缓存模块中的数据，并利用FPGA控制与数据处理模块内部的视线追踪算法处理图像数据得到视线落点数据；
FPGA控制与数据处理模块，还用于获取头部姿态检测模块输出的姿态数据，对姿态数据进行处理后得到头部姿态角数据；
FPGA控制与数据处理模块，还用于通过数据融合将视线落点数据和头部姿态角数据进行融合处理，转换为适用于计算机的交互数据，
头部姿态检测模块内嵌在镜框的中上部；头部姿态检测模块包括三轴陀螺仪、三轴加速度计和数字运动处理器DMP；
无线数据传输模块核心为低功耗蓝牙芯片，与FPGA控制与数据处理模块连接。
进一步的，电源模块包括电源管理模块、聚合物锂电池和电源开关按钮，其中，电源管理模块与充电接口连接，聚合物锂电池与电源管理模块连接，电源开关按钮与电源管理模块相连；
进一步的，在电源充电状态下，LED状态指示灯发出红光，充满时发出绿光；在电源开关按钮按下时，头眼双通道智能人机交互系统电源接通，LED状态指示灯发出蓝光，表示系统开始正常工作；电量低于预设低电量警戒线时，LED状态指示灯闪烁并发出红光。
一种头眼双通道智能人机交互方法，基于上述的一种头眼双通道智能人机交互系统，头眼双通道智能人机交互方法包括以下步骤：
S100、视线信息提取；
S200、头部姿态检测；
S300、数据融合处理；
S400、交互数据发送。
进一步的，在S100中，具体包括以下步骤：
S110、使用微型红外摄像头获取原始图像，并将原始图像转换为人眼灰度图像数据；
S120、将获取到的人眼灰度图像数据以帧为单位缓存到眼部图像数据缓存模块；
S130、由FPGA控制与数据处理模块从眼部图像数据缓存模块读取人眼灰度图像数据，使用视线追踪算法提取视线信息。
进一步的，在S130中，视线信息的提取包括以下步骤：
S131、眼部图像预处理：图像预处理包括中值滤波，滤除眼部图像中的椒盐噪声；
S132、瞳孔边缘特征提取：瞳孔边缘特征提取包括图像的二值化、形态学处理和Sobel边缘检测三个子步骤：
二值化：利用事先确定的灰度阈值T和如下公式对图像f(x,y)进行二值化分割得到二值图像g(x,y)：
其中，T＝35；
形态学处理：对于图像中仍然存在的睫毛或瞳孔边缘噪点，利用数学形态学运算对图像进行处理，具体的，系统根据图像中噪声的特点，选用半径为6的盘形结构元素B，先利用公式(2)对图像A进行闭运算、再利用公式(3)对图像A进行开运算处理：
Sobel边缘检测：采用3×3的Sobel水平方向算子Gx和垂直方向算子Gy对图像进行卷积计算，提取瞳孔区域的边缘轮廓；
S133、利用瞳孔的近圆特性提取瞳孔中心：具体的，计算瞳孔区域轮廓的最小外接矩形，用矩形形心(x0,y0)近似代替瞳孔中心；
S134、视线落点估计：视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，
标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：
其中，XG、YG分别为标定界面的标定点的横纵坐标，Xe、Ye分别为对应瞳孔中心横纵坐标，a0～a5和b0～b5为映射函数的待定参数，将9组标定数据代入方程组中求解待定参数即可得到映射方程，通过此方程可将瞳孔中心坐标映射为注视区域内的坐标。
进一步的，在S200中，的头部姿态检测，首先通过头部姿态检测模块内部的三轴陀螺仪和三轴加速度计获取三轴姿态数据，再使用数字运动处理器DMP对三轴姿态数据进行姿态解算，FPGA控制与数据处理模块读取使用三轴姿态数据姿态解算后的四元数，最后对四元数进行公式转换即可得到姿态角数据，具体转换过程如下：
四元数定义：一个四元数表示为q＝w+xi+yj+zk，写成矩阵形式为：
q＝(w,x,y,z)T (6)
|q|2＝w2+x2+y2+z2＝1 (7)
四元数与欧拉角转换，利用式(8)，四元数进行转换得到姿态角：
其中，θ、ψ分别表示滚转角Roll、俯仰角Pitch和偏航角Yaw。
进一步的，在S300中，的数据融合处理，首先通过FPGA控制与数据处理模块获取S200中通过姿态解算得到的姿态角数据，利用阈值判断头部运动是否产生有效运动；然后获取S200中得到的原始加速度数据，通过不断对加速度数据进行二次积分得到位移数据，利用阈值判断头部运动作为交互动作的有效性，并将有效交互动作的位移通过映射方程映射为交互界面坐标数据，将非交互动作产生的位移叠加到视线落点上，用来补偿头部运动对视线落点估计造成的偏差。
进一步的，在S400中的交互数据发送，是通过FPGA控制与数据处理模块将交互数据通过无线数据传输模块发送到电脑端，电脑将交互数据转换为成鼠标的操作指令，完成与人机之间的交互。
本发明的有以下优点：本发明提出了一种头眼双通道智能人机交互系统及交互方法，通过用头部姿态确定注视区域完成粗定位，用视线确定具体的注视点，实现头眼双输入通道控制的人机交互方式，解决了单输入通道人机交互系统存在的缺陷。本发明提出的一种头眼双通道智能人机交互方法，把头动分为具有交互意图的动作和非交互意图动作，将交互意图动作映射为交互数据，将非交互意图动作用于补偿视线落点，减小了无意识头动对视线追踪带来的偏差，提升了视线交互技术的实用性。本发明提出的一种头眼双通道智能人机交互系统，数据的采集、处理和发送都基于嵌入式硬件设计，对上位机的硬件性能要求低，使用方便，适用性强。
附图说明
图1为本发明的一种头眼双通道智能人机交互系统的系统结构框图；
图2为本发明的一种头眼双通道智能人机交互系统的系统结构示意图；
图3为本发明的视线信息提取的方法步骤图；
图4为本发明的Sobel算子示意图；
图5为瞳孔中心提取示意图；
图6为九点标定界面示意图；
图7为头部运动识别流程图；
图8为头部运动示意图；
图9为头部运动示意图；
图10为九点标定界面示意图。
其中，1为头戴式框架、1-1为镜框、1-2为左支腿、1-3为右支腿、1-4为充电接口、1-5为LED状态指示灯、1-6为镜片扩展框、2为眼部图像采集模块、2-1为微型红外摄像头、2-2为摄像头左右角度调节滚轮、2-3为摄像头上下角度调节滚轮、3为头部姿态检测模块、4为系统核心模块、4-1为眼部图像数据缓存模块、4-2为FPGA控制与数据处理模块、5为无线数据传输模块、6为电源模块、6-1为电源管理模块、6-2为聚合物锂电池、6-3为电源开关按钮。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明提出了一种头眼双通道智能人机交互系统，头眼双通道智能人机交互系统包括：眼部图像采集模块2、头部姿态检测模块3、系统核心模块4、无线数据传输模块5和电源模块6，眼部图像采集模块2和头部姿态检测模块3均与系统核心模块4连接，系统核心模块4与无线数据传输模块5连接，电源模块6同时为眼部图像采集模块2、头部姿态检测模块3、系统核心模块4和无线数据传输模块5通电。
进一步的，头眼双通道智能人机交互系统还包括电子终端，其中，
眼部图像采集模块2，用于获取人眼灰度图像数据，并将人眼灰度图像数据传输至系统核心模块4；
头部姿态检测模块3，用于获取三轴姿态数据，再对三轴姿态数据进行姿态解算，并将姿态解算结果发送至系统核心模块4；
系统核心模块4，用于对灰度图像数据和姿态解算结果进行处理，转换为适用于计算机的交互数据，并发送交互数据至电子终端；
无线数据传输模块5，用于使系统核心模块4和电子终端无线连接；
电子终端，用于将交互数据转换成为适用于电子终端的操作指令。
进一步的，参照图2所示，头眼双通道智能人机交互系统还包括头戴式框架1，头戴式框架1包括镜框1-1、左支腿1-2、右支腿1-3、充电接口1-4、LED状态指示灯1-5和镜片拓展框1-6，左支腿1-2和右支腿1-3分别转动连接于镜框1-1的左右两端，充电接口1-4设置于左支腿1-2上，镜片拓展框1-6设置在镜框1-1中，LED状态指示灯1-5设置于左支腿1-2的外侧面上。
进一步的，LED状态指示灯1-5为RGB指示灯，可发出红、绿、蓝三种颜色光，用于指示系统的不同状态。
进一步的，镜片拓展框1-6中安装有镜片，镜片为平面镜片或近视镜片，可增加系统的可拓展性和实用性。
进一步的，左支腿1-2和右支腿1-3均为空腔结构。
进一步的，系统核心模块4内嵌于右支腿1-3的空腔中，系统核心模块4包括眼部图像缓存模块4-1和FPGA控制与数据处理模块4-2，FPGA控制与数据处理模块4-2分别与眼部图像采集模块2、头部姿态检测模块3、眼部图像缓存模块4-1连接。
进一步的，眼部图像采集模块2安装在镜框1-1的右下部，眼部图像采集模块2包括单个集成红外LED且可调角度的微型红外摄像头2-1、摄像头左右角度调节滚轮2-2和摄像头上下角度调节滚轮2-3，微型红外摄像头2-1的左右角度和上下角度分别通过摄像头左右角度调节滚轮2-2和摄像头上下角度调节滚轮2-3调节。
进一步的，其中，
眼部图像数据缓存模块4-1，用于把微型红外摄像头2-1输出的视频图像数据以帧为单位缓存起来；
FPGA控制与数据处理模块4-2，用于以帧为单位读取眼部图像数据缓存模块4-1中的数据，并利用FPGA控制与数据处理模块4-2内部的视线追踪算法处理图像数据得到视线落点数据；
FPGA控制与数据处理模块4-2，还用于获取头部姿态检测模块3输出的姿态数据，对姿态数据进行处理后得到头部姿态角数据；
FPGA控制与数据处理模块4-2，还用于通过数据融合将视线落点数据和头部姿态角数据进行融合处理，转换为适用于计算机的交互数据。
进一步的，头部姿态检测模块3内嵌在镜框1-1的中上部；头部姿态检测模块3包括三轴陀螺仪、三轴加速度计和数字运动处理器DMP。
进一步的，无线数据传输模块5核心为低功耗蓝牙芯片，与FPGA控制与数据处理模块4-2连接，用于把交互数据通过无线形式发送到手机或电脑等终端中。
进一步的，电源模块6包括电源管理模块6-1、聚合物锂电池6-2和电源开关按钮6-3，其中，电源管理模块6-1与充电接口1-4连接，聚合物锂电池6-2与电源管理模块6-1连接，电源开关按钮6-3与电源管理模块6-1相连。
进一步的，在电源充电状态下，LED状态指示灯1-5发出红光，充满时发出绿光；在电源开关按钮6-3按下时，头眼双通道智能人机交互系统电源接通，LED状态指示灯1-5发出蓝光，表示系统开始正常工作；电量低于预设低电量警戒线时，LED状态指示灯1-5闪烁并发出红光。
一种头眼双通道智能人机交互方法，基于上述的一种头眼双通道智能人机交互系统，头眼双通道智能人机交互方法包括以下步骤：
S100、视线信息提取；
S200、头部姿态检测；
S300、数据融合处理；
S400、交互数据发送。
进一步的，在S100中，具体包括以下步骤：
S110、使用微型红外摄像头2-1获取原始图像，并将原始图像转换为人眼灰度图像数据；
S120、将获取到的人眼灰度图像数据以帧为单位缓存到眼部图像数据缓存模块4-1；
S130、由FPGA控制与数据处理模块4-2从眼部图像数据缓存模块4-1读取人眼灰度图像数据，使用视线追踪算法提取视线信息。
进一步的，在S130中，参照图3所示，所述视线信息的提取包括以下步骤：
S131、眼部图像预处理：所述图像预处理包括中值滤波，滤除眼部图像中的椒盐噪声；
S132、瞳孔边缘特征提取：瞳孔边缘特征提取包括图像的二值化、形态学处理和Sobel边缘检测三个子步骤：
二值化：利用事先确定的灰度阈值T和如下公式对图像f(x,y)进行二值化分割得到二值图像g(x,y)：
其中，T＝35；
形态学处理：对于图像中仍然存在的睫毛或瞳孔边缘噪点，利用数学形态学运算对图像进行处理，具体的，系统根据图像中噪声的特点，选用半径为6的盘形结构元素B，先利用公式(2)对图像A进行闭运算、再利用公式(3)对图像A进行开运算处理：
Sobel边缘检测：参照图4所示，采用3×3的Sobel水平方向算子Gx和垂直方向算子Gy对图像进行卷积计算，提取瞳孔区域的边缘轮廓；
S133、利用瞳孔的近圆特性提取瞳孔中心：具体的，计算瞳孔区域轮廓的最小外接矩形，用矩形形心(x0,y0)近似代替瞳孔中心；
S134、视线落点估计：参照图5、图6所示，视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，
标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：
其中，XG、YG分别为标定界面的标定点的横纵坐标，Xe、Ye分别为对应瞳孔中心横纵坐标，a0～a5和b0～b5为映射函数的待定参数，将9组标定数据代入方程组中求解待定参数即可得到映射方程，通过此方程可将瞳孔中心坐标映射为注视区域内的坐标。
S135、视线落点估计：视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；本系统为保证视线交互的自然性和小范围区域内视线控制的精确性，将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，参照图6所示，
标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：
其中，XG、YG分别为标定界面的标定点的横纵坐标，Xe、Ye分别为对应瞳孔中心横纵坐标，a0～a5和b0～b5为映射函数的待定参数，将9组标定数据代入方程组中求解待定参数即可得到映射方程，通过此方程可将瞳孔中心坐标映射为注视区域内的坐标。
进一步的，在S200中，头部姿态检测，首先通过头部姿态检测模块3内部的三轴陀螺仪和三轴加速度计获取三轴姿态数据，再使用数字运动处理器DMP对三轴姿态数据进行姿态解算，FPGA控制与数据处理模块4-2读取使用角速度数据和加速度数据姿态解算后的四元数，最后对四元数进行公式转换即可得到姿态角数据，具体转换过程如下：
四元数定义：一个四元数表示为q＝w+xi+yj+zk，写成矩阵形式为：
q＝(w,x,y,z)T (6)
|q|2＝w2+x2+y2+z2＝1 (7)
四元数与欧拉角转换，利用式(8)，四元数进行转换得到姿态角：
其中，θ、ψ分别表示滚转角Roll、俯仰角Pitch和偏航角Yaw。
进一步的，在S300中，参照图7所示，数据融合处理，首先通过FPGA控制与数据处理模块4-2获取S200中通过姿态解算得到的姿态角数据，利用阈值判断头部运动是否产生有效运动；然后获取S200中得到的原始加速度数据，通过不断对加速度数据进行二次积分得到位移数据，利用阈值判断头部运动作为交互动作的有效性，并将有效交互动作的位移通过映射方程映射为交互界面坐标数据，将非交互动作产生的位移叠加到视线落点上，用来补偿头部运动对视线落点估计造成的偏差。
具体的，(1)有效交互动作：
头部运动位移大于设定阈值时，被识别为具有交互意图的动作，此时同样采用基于九点标定的二维多项式映射的方法，将空间三维坐标系中头部运动轨迹在X-Y平面上的投影生成的位移矢量作为方程的输入，得到位移矢量与交互界面标定点之间的关系，头部的运动用空间三维坐标系来表示如图8所示；头部运动轨迹在X-Y平面上的分量如图9所示，绕俯仰角Pitch的运动可以分解到Z轴和Y轴，绕偏航角Yaw的运动可以分解到Z轴和X轴，而绕滚转角Roll的运动可以分解到X轴和Y轴；标定界面为整个交互界面，如图10所示。
标定方法为：保持身体不动，通过头部的运动，使得视线保持直视标定界面上的某个点，依次完成九个点的标定，得到九组位移矢量作为方程组的输入，代入方程组求解待定参数，将头部动作映射为计算机交互界面光标位置的变化；当用户头部运动产生交互动作时，系统将屏蔽视觉输入通道的数据，将头部运动数据作为控制交互界面光标的唯一数据来源，用户仅通过头部的运动确定注视区域，完成粗定位；当头部运动停止后，系统将开启视觉输入通道，将视线落点数据作为交互界面光标移动的数据来源，用户通过视线的移动控制光标在上述注视区域内移动完成精确定位；系统通过设置注视时间阈值，将用户视线注视动作模拟为交互界面光标的双击操作；
(2)无效交互动作：
头部运动位移小于设定阈值时，被识别为无意识头动，作为非交互动作；此时头部运动将作为对视线落点的补偿，补偿方式为将头部运动相对于X-Y平面上的位移数据叠加到瞳孔中心坐标上，然后利用建立的二维映射方程对对视线落点进行估计；
进一步的，在S400中交互数据发送，是通过FPGA控制与数据处理模块4-2将交互数据通过无线数据传输模块5发送到电脑端，电脑将交互数据转换为成鼠标的操作指令，完成与人机之间的交互。
以上实施示例只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种头眼双通道智能人机交互系统，其特征在于，所述头眼双通道智能人机交互系统包括：眼部图像采集模块(2)、头部姿态检测模块(3)、系统核心模块(4)、无线数据传输模块(5)和电源模块(6)，所述眼部图像采集模块(2)和头部姿态检测模块(3)均与所述系统核心模块(4)连接，所述系统核心模块(4)与所述无线数据传输模块(5)连接，所述电源模块(6)同时为所述眼部图像采集模块(2)、头部姿态检测模块(3)、系统核心模块(4)和无线数据传输模块(5)通电;
所述头眼双通道智能人机交互系统还包括电子终端，其中，
所述眼部图像采集模块(2)，用于获取人眼灰度图像数据，并将所述人眼灰度图像数据传输至所述系统核心模块(4)；
所述头部姿态检测模块(3)，用于获取三轴姿态数据，再对所述三轴姿态数据进行姿态解算，并将姿态解算结果发送至所述系统核心模块(4)；
所述系统核心模块(4)，用于对所述灰度图像数据和姿态解算结果进行处理，转换为适用于计算机的交互数据，并发送所述交互数据至所述电子终端；
所述无线数据传输模块(5)，用于使所述系统核心模块(4)和电子终端无线连接；
所述电子终端，用于将所述交互数据转换成为适用于所述电子终端的操作指令；
所述所述头眼双通道智能人机交互系统还包括所述头戴式框架(1)，所述头戴式框架(1)包括镜框(1-1)、左支腿(1-2)、右支腿(1-3)、充电接口(1-4)、LED状态指示灯(1-5)和镜片拓展框(1-6)，所述左支腿(1-2)和右支腿(1-3)分别转动连接于所述镜框(1-1)的左右两端，所述充电接口(1-4)设置于所述左支腿(1-2)上，所述镜片拓展框(1-6)设置在所述镜框(1-1)中，所述LED状态指示灯(1-5)设置于所述左支腿(1-2)的外侧面上；
所述LED状态指示灯(1-5)为RGB指示灯，用于指示系统的不同状态；
所述镜片拓展框(1-6)中安装有镜片，所述镜片为平面镜片或近视镜片；
所述左支腿(1-2)和右支腿(1-3)均为空腔结构；
进一步的，所述系统核心模块(4)内嵌于所述右支腿(1-3)的空腔中，所述系统核心模块(4)包括眼部图像缓存模块(4-1)和FPGA控制与数据处理模块(4-2)，所述FPGA控制与数据处理模块(4-2)分别与所述眼部图像采集模块(2)、头部姿态检测模块(3)、眼部图像缓存模块(4-1)连接；
所述眼部图像采集模块(2)安装在所述镜框(1-1)的右下部，所述眼部图像采集模块(2)包括单个集成红外LED且可调角度的微型红外摄像头(2-1)、摄像头左右角度调节滚轮(2-2)和摄像头上下角度调节滚轮(2-3)，所述微型红外摄像头(2-1)的左右角度和上下角度分别通过摄像头左右角度调节滚轮(2-2)和摄像头上下角度调节滚轮(2-3)调节；
所述眼部图像数据缓存模块(4-1)，用于把所述微型红外摄像头(2-1)输出的视频图像数据以帧为单位缓存起来；
所述FPGA控制与数据处理模块(4-2)，用于以帧为单位读取所述眼部图像数据缓存模块(4-1)中的数据，并利用所述FPGA控制与数据处理模块(4-2)内部的视线追踪算法处理图像数据得到视线落点数据；
所述FPGA控制与数据处理模块(4-2)，还用于获取所述头部姿态检测模块(3)输出的姿态数据，对所述姿态数据进行处理后得到头部姿态角数据；
所述FPGA控制与数据处理模块(4-2)，还用于通过数据融合将所述视线落点数据和所述头部姿态角数据进行融合处理，转换为适用于计算机的交互数据；
所述头部姿态检测模块(3)内嵌在所述镜框(1-1)的中上部；所述头部姿态检测模块(3)包括三轴陀螺仪、三轴加速度计和数字运动处理器DMP；
所述无线数据传输模块(5)核心为低功耗蓝牙芯片，与所述FPGA控制与数据处理模块(4-2)连接。
2.根据权利要求1所述的一种头眼双通道智能人机交互系统，其特征在于，电源模块(6)包括电源管理模块(6-1)、聚合物锂电池(6-2)和电源开关按钮(6-3)，其中，所述电源管理模块(6-1)与所述充电接口(1-4)连接，所述聚合物锂电池(6-2)与电源管理模块(6-1)连接，所述电源开关按钮(6-3)与电源管理模块(6-1)相连。
3.根据权利要求1所述的一种头眼双通道智能人机交互系统，其特征在于，在电源充电状态下，所述LED状态指示灯(1-5)发出红光，充满时发出绿光；在电源开关按钮(6-3)按下时，所述头眼双通道智能人机交互系统电源接通，所述LED状态指示灯(1-5)发出蓝光，表示系统开始正常工作；电量低于预设低电量警戒线时，所述LED状态指示灯(1-5)闪烁并发出红光。
4.一种头眼双通道智能人机交互方法，基于权利要求1-3任一项所述的一种头眼双通道智能人机交互系统，其特征在于，所述头眼双通道智能人机交互方法包括以下步骤：
S100、视线信息提取；
S200、头部姿态检测；
S300、数据融合处理；
S400、交互数据发送。
5.根据权利要求4所述的一种头眼双通道智能人机交互方法，其特征在于，在S100中，具体包括以下步骤：
S110、使用所述微型红外摄像头(2-1)获取原始图像，并将所述原始图像转换为人眼灰度图像数据；
S120、将获取到的所述人眼灰度图像数据以帧为单位缓存到所述眼部图像数据缓存模块(4-1)；
S130、由所述FPGA控制与数据处理模块(4-2)从所述眼部图像数据缓存模块(4-1)读取所述人眼灰度图像数据，使用视线追踪算法提取视线信息。
6.根据权利要求5所述的一种头眼双通道智能人机交互方法，其特征在于，在S130中，所述视线信息的提取包括以下步骤：
S131、眼部图像预处理：所述图像预处理包括中值滤波，滤除眼部图像中的椒盐噪声；
S132、瞳孔边缘特征提取：瞳孔边缘特征提取包括图像的二值化、形态学处理和Sobel边缘检测三个子步骤：
二值化：利用事先确定的灰度阈值T和如下公式对图像f(x,y)进行二值化分割得到二值图像g(x,y)：
其中，T＝35；
形态学处理：对于图像中仍然存在的睫毛或瞳孔边缘噪点，利用数学形态学运算对图像进行处理，具体的，系统根据图像中噪声的特点，选用半径为6的盘形结构元素B，先利用公式(2)对图像A进行闭运算、再利用公式(3)对图像A进行开运算处理：
Sobel边缘检测：采用3×3的Sobel水平方向算子Gx和垂直方向算子Gy对图像进行卷积计算，提取瞳孔区域的边缘轮廓；
S133、利用瞳孔的近圆特性提取瞳孔中心：具体的，计算瞳孔区域轮廓的最小外接矩形，用矩形形心(x0,y0)近似代替瞳孔中心；
S134、视线落点估计：视线落点估计采用基于九点标定的二维多项式映射的方法，得到瞳孔中心坐标与标定点之间的映射关系；将交互界面的长、宽三等分得到等面积的九个注视区域，选择其中一块区域作为标定界面，
标定方法具体为：用户调整身体位置，使得目光直视时视线落在标定界面中间标定点处，然后保持头部不动，依次注视标定界面上的九个点，系统记录瞳孔中心坐标和对应的标定点坐标，建立如下二维映射方程：
其中，XG、YG分别为标定界面的标定点的横纵坐标，Xe、Ye分别为对应瞳孔中心横纵坐标，a0～a5和b0～b5为映射函数的待定参数，将9组标定数据代入方程组中求解待定参数即可得到映射方程，通过此方程可将瞳孔中心坐标映射为注视区域内的坐标。
7.根据权利要求4所述的一种头眼双通道智能人机交互方法，其特征在于，在S200中，所述的头部姿态检测，首先通过头部姿态检测模块(3)内部的三轴陀螺仪和三轴加速度计获取三轴姿态数据，再使用数字运动处理器DMP对所述三轴姿态数据进行姿态解算，FPGA控制与数据处理模块(4-2)读取使用三轴姿态数据姿态解算后的四元数，最后对四元数进行公式转换即可得到姿态角数据，具体转换过程如下：
四元数定义：一个四元数表示为q＝w+xi+yj+zk，写成矩阵形式为：
q＝(w,x，y,z)T (6)
|q|2＝w2+x2+y2+z2＝1 (7)
四元数与欧拉角转换，利用式(8)，四元数进行转换得到姿态角：
其中，θ、ψ分别表示滚转角Roll、俯仰角Pitch和偏航角Yaw。
8.根据权利要求4所述的一种头眼双通道智能人机交互方法，其特征在于，在S300中，所述的数据融合处理，首先通过FPGA控制与数据处理模块(4-2)获取S200中通过姿态解算得到的姿态角数据，利用阈值判断头部运动是否产生有效运动；然后获取S200中得到的原始加速度数据，通过不断对加速度数据进行二次积分得到位移数据，利用阈值判断头部运动作为交互动作的有效性，并将有效交互动作的位移通过映射方程映射为交互界面坐标数据，将非交互动作产生的位移叠加到视线落点上，用来补偿头部运动对视线落点估计造成的偏差。
9.根据权利要求4所述的一种头眼双通道智能人机交互方法，其特征在于，在S400中所述的交互数据发送，是通过FPGA控制与数据处理模块(4-2)将交互数据通过无线数据传输模块(5)发送到电脑端，电脑将交互数据转换为成鼠标的操作指令，完成与人机之间的交互。
CN202110499945.2A 2021-05-08 2021-05-08 一种头眼双通道智能人机交互系统及运行方法 Active CN113160260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110499945.2A CN113160260B (zh) 2021-05-08 2021-05-08 一种头眼双通道智能人机交互系统及运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110499945.2A CN113160260B (zh) 2021-05-08 2021-05-08 一种头眼双通道智能人机交互系统及运行方法

Publications (2)

Publication Number Publication Date
CN113160260A CN113160260A (zh) 2021-07-23
CN113160260B true CN113160260B (zh) 2024-05-07

Family

ID=76874130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110499945.2A Active CN113160260B (zh) 2021-05-08 2021-05-08 一种头眼双通道智能人机交互系统及运行方法

Country Status (1)

Country Link
CN (1) CN113160260B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240447A1 (zh) * 2022-06-14 2023-12-21 北京小米移动软件有限公司 一种头部动作的检测方法、装置、设备及存储介质
CN115035589A (zh) * 2022-06-17 2022-09-09 中国银行股份有限公司 一种推荐方法、系统、虚拟现实设备及存储介质
CN117616368A (zh) * 2022-06-20 2024-02-27 北京小米移动软件有限公司 一种人机交互方法、装置、计算机装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN112578682A (zh) * 2021-01-05 2021-03-30 陕西科技大学 一种基于眼电控制的智能助障家居系统
CN215814080U (zh) * 2021-05-08 2022-02-11 哈尔滨鹏路智能科技有限公司 一种头眼双通道智能人机交互系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN112578682A (zh) * 2021-01-05 2021-03-30 陕西科技大学 一种基于眼电控制的智能助障家居系统
CN215814080U (zh) * 2021-05-08 2022-02-11 哈尔滨鹏路智能科技有限公司 一种头眼双通道智能人机交互系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于眼动跟踪的智能家居控制器;王鹏;陈园园;邵明磊;刘博;张伟超;;电机与控制学报;20200515(第05期);全文 *

Also Published As

Publication number Publication date
CN113160260A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
CN113160260B (zh) 一种头眼双通道智能人机交互系统及运行方法
CN110310329B (zh) 操作显示设备的方法、信息处理系统及非暂时性存储介质
US10078377B2 (en) Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
CN112102389B (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和系统
US11715231B2 (en) Head pose estimation from local eye region
CN104113680B (zh) 视线跟踪系统及方法
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
KR20230164185A (ko) 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
CN107357428A (zh) 基于手势识别的人机交互方法及装置、系统
CN103838378A (zh) 一种基于瞳孔识别定位的头戴式眼睛操控系统
US20220027621A1 (en) Sensor Fusion Eye Tracking
CN114078278B (zh) 注视点定位方法与装置、电子设备和存储介质
CN114661152B (zh) 一种降低视觉疲劳的ar显示控制系统及方法
CN113963416A (zh) 一种基于激光视觉反馈的眼动交互方法及系统
CN108681403A (zh) 一种采用视线跟踪的小车控制方法
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
Rahmaniar et al. Touchless head-control (thc): Head gesture recognition for cursor and orientation control
CN215814080U (zh) 一种头眼双通道智能人机交互系统
CN119576126A (zh) 基于稠密地图语义分割的混合现实眼动交互系统及方法
CN116560503A (zh) 一种眼动控制的多模块智能设备
Zhu et al. A novel target tracking method of unmanned drones by gaze prediction combined with YOLO algorithm
US11982814B2 (en) Segmented illumination display
CN104375631A (zh) 一种基于移动终端的非接触式交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant