CN109875863B - 基于双目视觉与脑力影像训练的头戴式vr视力提升系统 - Google Patents

Abstract

本发明公开了一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，包括头戴式VR视力提升训练设备和用户端APP；所述头戴式VR视力提升训练设备包括双目相机和VR成像模组，所述双目相机设置于外壳的正前方，所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜；双目相机、脑波监测设备、亮度传感器分别与微处理器连接；所述微处理器通过无线通信模块与用户端APP进行通信；本发明提供了一种安全性高、成本低、智能化程度高的新型视力提升训练系统，在屈光不正治疗领域具有重要的意义。

Description

基于双目视觉与脑力影像训练的头戴式VR视力提升系统

技术领域

本发明涉及一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，属于计算机视觉与视力提升领域。

技术背景

近年来，随着电子娱乐产品的盛行和学生课业负担的加重，我国青少年视力不良现象尤为突出，且呈现高发、低龄化趋势，已成为亟待解决的一大社会问题，各相关部门均在积极寻找有效的视力下降防控手段。

目前国内外常见的视力不良问题方法如硬性角膜塑形镜、药物治疗及激光手术等都与眼球产生直接接触，易出现对眼睛造成二次伤害，安全问题难以保障。生物学研究表明，大脑对于模糊、重影等非正常图像具有一定的补偿能力，且可以通过针对性的训练进行增强。由此提出了“脑力影像”理论，通过刺激大脑视觉神经，增强大脑视觉系统处理能力，缓解弱视、近视、斜视等视力问题，是一种非接触性、无副作用、无反弹的高安全性治疗方法，受到了广大患者的欢迎。但是，现有的“脑力影像训练”系统对专业治疗环境依赖大，效率低，治疗期间经济与时间成本高，无法满足我国庞大视力不良患者的治疗需求，导致大部分青少年延误了治疗的最佳时期。

为了提升视力训练效率，已有企业提出将脑力影像训练与智能变焦眼镜相结合，研发了一款便携式视力提升训练眼镜。该训练镜根据用户验光情况确定镜片变焦范围，通过镜片的交错运动实现动态变焦，方便患者随时随地进行自我视觉训练，开启了便携式穿戴设备在自主视力提升训练领域的应用。然而，该训练镜仍存在诸多不足：(1)通过机械运动调节光学镜片进行自动变焦，运行过程中噪声大，易干扰使用者注意力；(2)采用光学镜片变焦进行训练，无法针对训练场景准确调节变焦内容，且不能定制视觉训练素材，训练模式单一；(3)训练过程中忽视了使用者反馈信息的收集和分析，无法定制化训练方案，智能化程度不足，导致用户体验和治疗效果的下降；(4)对光学器件及精密仪器设计及制作有很高要求，设备成本高。

发明内容

本发明所要解决的技术问题是：提高视力提升便携式训练设备的调整精确度、智能化程度，同时降低其成本及设备噪声。

为解决上述技术问题，本发明以VR(virtual reality)设备为训练平台，将双目视觉感知、脑波数据处理等技术与脑力影像训练原理相结合，提出一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统。

本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统，包括头戴式VR视力提升训练设备和用户端APP；

所述头戴式VR视力提升训练设备包括外壳、双目相机和VR成像模组，所述双目相机设置于外壳的正前方，所述VR成像模组包括微处理器、无线通信模块、微型电机一、微型电机二和双目透镜；双目相机、脑波监测设备、亮度传感器分别与微处理器连接；所述微处理器通过无线通信模块与用户端APP进行通信；

所述双目相机通过传动机构一与微型电机一连接，双目透镜通过传动机构二与微型电机二连接，所述微型电机一、微型电机二均与微处理器连接；

所述微处理器运行以下程序模块：

模糊成像校正程序模块，用于根据用户验光数据拟合视力退化模型，通过视力退化模型实现用户视网膜成像的模糊成像校正；

双目图像深度轴建立程序模块，用于建立双目图像场景深度轴；

人体唤醒度监测程序模块，用于通过眼电伪迹检测方法判断用户是否处于唤醒状态；

大脑兴奋度监测程序模块，利用预先建立好的检测模型对大脑兴奋度进行检测；

视觉训练素材生成程序模块，用于根据深度信息将双目视频中的双目图像制成视觉训练素材。

所述双目相机均为120°广角相机。

所述亮度传感器位于VR设备外壳内侧。

基于双目视觉与脑力影像训练的头戴式VR视力提升系统的工作方法，包括以下步骤：

1)首先在用户端APP输入个人验光参数，包括左、右眼的球镜[S_L,S_R]、柱镜[C_L,C_R]与轴位[A_L,A_R]与瞳距PD四项，组成7维个人参数序列P_e＝[S_L,S_R,C_L,C_R,A_L,A_R,PD]，传输入VR设备进行初始设置；

2)根据7维个人参数序列P_e中的瞳距PD信息，微处理器控制微型电机，带动双目相机与双目透镜移动，改变双目相机与双目透镜的基线距，使所述基线距与输入瞳距一致；基线距分别指左目相机与右目相机之间的水平距离、左目透镜与右目透镜之间的水平距离；

3)使用者佩戴好VR设备后，亮度传感器检测到光线变暗，发出指令，控制双目相机与脑波传感器开始采集信息，并将实时采集的双目视频数据与脑波数据信息传输入微处理器中进行分析处理；

4)微处理器中的人体唤醒度监测程序模块，通过眼电伪迹检测方法判断人体是否处于唤醒状态，若用户处于非唤醒状态超过设定时间，则语音提示用户积极配合训练；

5)微处理器同时对双目视频数据与脑波数据进行处理，其中双目视频数据处理内容依次为模糊成像校正与视觉训练素材生成：将处理后的双目视频数据传输至VR电子屏幕进行播放；

6)系统运作过程中重复步骤3)-步骤5)直至用户结束使用。

与现有技术相比，本发明的有益效果是：

1)本发明摒弃了传统光学镜片，提出利用双目相机采集场景信息，并通过双目立体图像感知技术对图像进行处理，实现不同区域的精准变焦，从而能精确地引导人眼关注系统设定的不同深度层区域，极大地提升了系统训练过程的有效性；

2)本发明采用VR设备进行沉浸式训练，且无光学变焦机械运动噪声，可帮助使用者更好地集中注意力；

3)本发明通过脑波监测仪监督人体唤醒度与大脑兴奋度，可实时获取用户状态，并进行智能语音提醒，提高了用户的训练效率；

4)与光学智能变焦镜片训练相比，本发明以VR设备进行视觉训练，不仅可以通过实际场景进行视功能训练，还可将其他制作VR视频课程作为训练素材进行训练，功能多样。

附图说明

图1为本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统架构；

图2为本发明的基于双目视觉与脑力影像训练的头戴式VR视力提升系统处理流程图；

图3为眼电伪迹干扰示意图；

图4为屈光不正成像过程以及模糊成像校正过程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明的基于双目视觉与脑力影像训练的；头戴式VR视力提升系统包括头戴式VR视力提升训练设备和用户端APP；

所述头戴式VR视力提升训练设备包括双目相机1和VR成像模组2，所述双目相机设置于外壳的正前方，所述VR成像模组包括微处理器、无线通信模块、微型电机和双目透镜；双目相机、脑波监测传感器3、亮度传感器5分别与微处理器连接；所述亮度传感器位于VR设备内侧中央；所述微处理器通过无线通信模块与用户端APP进行通信；

所述双目相机通过传动机构一与微型电机一连接，双目透镜通过传动机构二与微型电机二连接，所述微型电机一、微型电机二均与微处理器连接；

可由微处理器运行的软件控制微型电机带动双目相机与双目透镜跟随人眼瞳距而调整基线距，以保障视物舒适度和清晰度，根据人眼瞳距距离范围统计结果，本系统设置的基线距调整范围为[50mm,80mm]。

所述双目相机均为120°广角相机，最大化用户视野。

所述脑波监测设备包括脑波监测传感器3与参考电极耳夹4，脑波监测传感器与参考电极耳夹相互连接，内部均有金属触点，脑波监测传感器作为作用电极，工作时需与人体前额皮肤充分接触，参考电极耳夹作为参考电极，使用时与耳垂皮肤充分接触；脑波监测传感器与参考电极耳夹采集的电信号均传输入至微处理器进行处理，获取脑电信号，脑电信息即为作用电极与参考电极的差值。

所述亮度传感器位于头戴式VR视力提升训练设备外壳内侧，用于检测头戴式VR视力提升训练设备是否处于佩戴状态。

VR成像模组还包括电子屏幕、语音播放器，电子屏幕、语音播放器均与微处理器相连接，分别用于播放系统处理后的图像、语音信息。

还包括锂电池，锂电池用于为设备中所有部件供电。

如图1所示，微处理器运行的程序模块包括模糊校正程序模块、双目图像深度轴建立程序模块、人体唤醒度监测程序模块、大脑兴奋度监测程序模块及视觉训练素材生成程序模块。

系统运作流程如图2所示：

1)首先在用户端APP输入个人验光参数，包括左、右眼的球镜[S_L,S_R](近视或远视度数)、柱镜[C_L,C_R](散光度数)与轴位[A_L,A_R](散光度数方向)与瞳距PD四项，组成7维个人参数序列P_e＝[S_L,S_R,C_L,C_R,A_L,A_R,PD]，传输入VR设备进行初始设置；

2)根据7维个人参数序列P_e中的瞳距PD信息，微处理器控制微型电机，带动双目相机与双目透镜移动，改变双目相机与双目透镜的基线距，使所述基线距与输入瞳距一致；基线距分别指左目相机与右目相机之间的水平距离、左目透镜与右目透镜之间的水平距离；

3)使用者佩戴好VR设备后，亮度传感器检测到光线变暗，发出指令，控制双目相机与脑波传感器开始采集信息，并将实时采集的双目视频数据与脑波数据信息传输入微处理器中进行分析处理；

4)微处理器中的人体唤醒度监测程序模块，通过眼电伪迹检测方法判断人体是否处于唤醒状态(即用眼状态)，若用户处于非唤醒状态超过设定时间，如2分钟，则语音提示用户积极配合训练；

5)微处理器同时对双目视频数据与脑波数据进行处理，其中双目视频数据处理内容依次为模糊成像校正与视觉训练素材生成，将处理后的双目视频数据传输至VR电子屏幕进行播放；

51)微处理器中的模糊校正程序模块根据用户验光数据拟合视力退化模型，通过视力退化模型实现用户视网膜成像的模糊成像校正，提高视觉清晰度；

52)微处理器中的双目图像深度轴建立程序模块，建立双目图像场景深度轴，视觉训练素材生成程序模块根据深度信息将双目视频制成视觉训练素材；

53)将处理后的双目视频数据传输至VR电子屏幕进行播放，引导人眼关注不同远近的目标物体，促进晶状体的调节，同时刺激视觉神经，起到锻炼大脑视觉功能的效果，帮助视力不良患者提升视力。

微处理器中的大脑兴奋度监测程序模块同时利用预先建立好的检测模型对大脑兴奋度进行检测，首先对采集的脑电信号进行去眼电伪迹操作，去眼电等噪声干扰，再将脑波数据与检测模型进行匹配，得出当前用户兴奋度等级，若用户处于疲劳状态，则提醒用户进行休息，并根据大脑兴奋度调整训练间隔时间T，兴奋度越高，则训练间隔时间T越短。

6)系统运作过程中重复步骤(3)-(5)直至用户结束使用。

在步骤4)中，所述基于眼电伪迹检测人体唤醒度，根据眼电信号幅值大，频率低的特点，眼电出现处，脑波信号将会收到明显干扰，幅值明显增大、而频率明显降低。如图3所示，虚线表示用户眼部状态，低电平表示用户处于闭眼状态，高电平表示用户处于睁眼状态，通过对脑波图的分析可知，用户在睁眼的瞬间，脑波会出现大幅度的脉冲震荡，经过均值滤波对脑波数据进行平滑后，睁眼瞬间造成的瞬时脉冲更为明显。因此，本发明通过监测用户脑波中是否存在瞬时脉冲，即可判断用户是否处于用眼状态，以此来判断其是否在配合进行视觉训练。

在步骤51)中，模糊成像校正的具体方法为：如图4所示，将存在视力不良患者的人眼屈光系统等价于一个视力退化模型，正常图像I(x,y)通过视力退化模型后，将产生退化后的模糊图像

表示卷积计算，通过求解屈光不正模型矩阵的逆矩阵A_m ^-1，将逆矩阵A_m ^-1与正常图像I(x,y)进行卷积，对正常图像I(x,y)进行逆转变，改变正常图像I(x,y)原本的分布得到模糊校正图像I′(x，y)，

使模糊校正图像I′(x，y)经过屈光不正模型A_m的卷积后，患者即可在视网膜上呈现清晰图像G'(x,y)，即：

其中，x，y分别为成像平面上的横坐标与纵坐标。因此，求解视力退化模型A_m是实现以上步骤的关键。视力退化模型即屈光不正模型。

研究表明，人眼视觉系统波像差与屈光不正程度存在一定关联，本发明利用Zernike多项式对人眼波像差进行拟合，并提取Zernike多项式第2、3、4项系数Z₂，Z₃，Z₄推测视力退化模型A_m，其中：

系数Z₂＝[2(x²+y²)-1，xy，x²-y²]，Z₂中三项分别表示散焦度、垂直平方向像散和水平方向像散，与柱镜屈光度(散光)呈正相关；

系数Z₃＝[x(-2+3x²+3y²)y(-2+3x²+3y²)]，系数Z₃中两项系数分别代表水平方向彗差与垂直方向彗差，与柱镜屈光度呈负相关；

系数Z₄＝1-6(x²+y²)-6(x²+y²)²表示球差，与人眼球镜屈光度(近、远视)负相关。

因此，本发明根据用户输入验光数值[S_L,S_R,C_L,C_R,A_L,A_R]对各项三项系数进行相应加权，拟合该用户左、右眼的视力退化模型

其中，x，y分别为成像平面上的横坐标与纵坐标，[S_L,S_R]分别为左、右眼的球镜(近视或远视度数)，[C_L,C_R]分别为左、右眼的柱镜(散光度数)，[A_L,A_R]分别为左、右眼的轴位(散光度数方向)；

模糊校正后的双目图像I_L'(x,y)、I_R'(x,y)由视力退化模型的逆矩阵

与原图像I_L(x,y)、I_R(x,y)的卷积得到：

在步骤52)中，所述建立双目图像深度轴的具体步骤为：

521)首先通过边缘、纹理、颜色特征分别对双目相机采集的双目图像中的左目图像和右目图像进行区域分割，具体步骤如下：

a.首先利用结构化随机森林边缘检测算法快速提取图像边缘概率图PB；

b.利用SLIC算法将双目相机采集的左目图像或者右目图像图像分割为N块超像素，提取每个超像素块的边缘像素点，并以8-邻域统计所有边缘像素点的邻域点，获取所有邻域点在边缘概率图PB上值并求平均E_{s_i}，S_i∈[1,N]指代超像素块的标号，以平均值作为该超像素块的边缘概率，依次获取所有超像素块的边缘概率值，得到超像素边缘概率图SPB；

c.采用阈值T_merge＝avg(SPB)进行边缘筛选，将小于边缘概率小于阈值的超像素块进行合并，获取初始分割图Seg_o，其包含N_os个初始分割区域；

d.将模糊校正图像转换至CIELab颜色空间，提取Seg_o中每个区域的颜色、纹理等8维特征：Sp(i)＝{L_{os_i},a_{os_i},b_{os_i},g_{os_i},Ccon_{os_i},Ccor_{os_i},En_{os_i},Hg_{os_i}}，其中，os_i＝1,2,3,4,···,N_os为Seg_o中每个区域的标号，L_{os_i},a_{os_i},b_{os_i},g_{os_i}分别代表第os_i个区域的L、a、b颜色均值以及灰度均值，

Ccon_{os_i},Ccor_{os_i},En_{os_i},Hg_{os_i}分别表示第os_i个区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值；

e.统计N_os个区域的像素点个数，筛选出包含像素点个数小于阈值S_r的区域为小区域R_sm(sm_j),sm_j∈[1,N_sm]，其中，N_sm为小区域总个数，同时并依次寻找每个小区域的所有相邻区域

代表第sm_j个小区域的相邻区域数量，计算每个小区域与其对应的相邻区域的相似度S_ms(k,sm_j)：

S_ms(k,sm_j)＝[ε+0.5·(||L_k-L_{sm_j}||₂+||a_k-a_{sm_j}||₂+||b_k-b_{sm_j}||₂+||g_k-g_{sm_j}||₂)+0.5·(||Ccon_k-Ccon_{sm_j}||₂+||Ccor_k-Ccor_{sm_j}||₂+||En_k-En_{sm_j}||₂+||Hg_k-Hg_{sm_j}||₂)]^-1

其中，L_{sm_j}，a_{sm_j}，b_{sm_j}，g_{sm_j}分别为第sm_j个小区域的L、a、b颜色均值和灰度均值，Ccon_{sm_j}，Ccor_{sm_j}，En_{sm_j}，Hg_{sm_j}分别为第sm_j个小区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值；L_k，a_k，b_k，g_k分别为第sm_j个小区域的第k个相邻区域的L、a、b颜色均值和灰度均值，Ccon_k，Ccor_k，En_k，Hg_k分别为第sm_j个小区域的第k个相邻区域的灰度共生矩阵中的对比度均值、互相关性均值、能量均值和同质性均值；

提取相似度最大的相邻区域作为当前区域的合并区域进行合并；以此步骤依次将所有小区域合并至相邻的相似区域中，完成二次分割，获取最终分割结果Seg_f，最终分割结果Seg_f中的分割区域总数为N_rm。

522)分别对左目图像和右目图像建立深度轴，具体步骤如下：

a.通过SURF算法分别获取左右目图像中的特征点，并根据欧氏距离获取初始匹配点对，再根据正确匹配点对之间的斜率应接近于0的先验条件，剔除斜率在[-2,2]之外的匹配点对，完成正确匹配点对的筛选，并计算所有匹配点对之间的视差，即该匹配点对水平坐标差的绝对值；

b.通过匹配点对找到左目图像和右目图像内分割区域的对应关系，组成左-右目分割区域对；

c.提取左目图像中每个区域的内的匹配点，统计对应视差值，计算每个区域内所有匹配点对应的视差值的中值作为该区域的深度值，并赋给该区域的所有像素点，最后将左目图像中每个区域的深度值赋给右目图像中的对应区域，以此完成左目和右目图像深度轴的建立。

523)由视觉训练素材生成程序模块生成视觉训练方案：首先模糊化双目图像，使人眼得到放松，再按设定时间间隔T依次清晰化地显示左目和右目图像中的每个深度层区域，引导人眼关注不同远近的物体进行训练。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (4)

1.一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，其特征在于，包括头戴式VR视力提升训练设备和用户端APP；

所述头戴式VR视力提升训练设备包括外壳、双目相机和VR成像模组，所述双目相机设置于外壳的正前方，所述VR成像模组包括微处理器、无线通信模块、微型电机一、微型电机二和双目透镜；双目相机、脑波监测设备、亮度传感器分别与微处理器连接；所述微处理器通过无线通信模块与用户端APP进行通信；

所述双目相机通过传动机构一与微型电机一连接，双目透镜通过传动机构二与微型电机二连接，所述微型电机一、微型电机二均与微处理器连接；

所述微处理器运行以下程序模块：

模糊成像校正程序模块，用于根据用户验光数据拟合视力退化模型，通过视力退化模型实现用户视网膜成像的模糊成像校正；

双目图像深度轴建立程序模块，用于建立双目图像场景深度轴；所述建立双目图像场景深度轴的具体步骤为：

521)首先通过边缘、纹理、颜色特征分别对双目相机采集的双目图像中的左目图像和右目图像进行区域分割；

522)分别对左目图像和右目图像建立深度轴，具体步骤如下：

a.通过SURF算法分别获取左右目图像中的特征点，并根据欧氏距离获取初始匹配点对，剔除匹配点对之间的斜率在[-2,2]之外的匹配点对，完成正确匹配点对的筛选，并计算所有匹配点对之间的视差，即该匹配点对水平坐标差的绝对值；

b.通过匹配点对找到左目图像和右目图像内分割区域的对应关系，组成左-右目分割区域对；

c.提取左目图像中每个区域的内的匹配点，统计对应视差值，计算每个区域内所有匹配点对应的视差值的中值作为该区域的深度值，并赋给该区域的所有像素点，最后将左目图像中每个区域的深度值赋给右目图像中的对应区域，以此完成左目和右目图像深度轴的建立；

523)由视觉训练素材生成程序模块生成视觉训练方案：首先模糊化双目图像，使人眼得到放松，再按设定时间间隔T依次清晰化地显示左目图像和右目图像中的每个深度层区域，引导人眼关注不同远近的物体进行训练；

人体唤醒度监测程序模块，用于通过眼电伪迹检测方法判断用户是否处于唤醒状态；

大脑兴奋度监测程序模块，利用预先建立好的检测模型对大脑兴奋度进行检测；

视觉训练素材生成程序模块，用于根据深度信息将双目视频中的双目图像制成视觉训练素材。

2.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，其特征在于，所述脑波监测设备包括脑波监测传感器与参考电极耳夹，脑波监测传感器与参考电极耳夹相互连接，脑波监测传感器与参考电极耳夹采集的电信号均传输入至微处理器进行处理，获取脑电信号。

3.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，其特征在于，所述亮度传感器位于头戴式VR视力提升训练设备外壳内侧，用于检测头戴式VR视力提升训练设备是否处于佩戴状态。

4.根据权利要求1所述的一种基于双目视觉与脑力影像训练的头戴式VR视力提升系统，其特征在于，VR成像模组还包括电子屏幕、语音播放器，电子屏幕、语音播放器均与微处理器相连接，分别用于播放微处理器处理后的图像、语音信息。

Images