CN112684896A - 一种适用于低视力患者的智能仿生眼镜及其控制方法 - Google Patents
一种适用于低视力患者的智能仿生眼镜及其控制方法 Download PDFInfo
- Publication number
- CN112684896A CN112684896A CN202011642499.8A CN202011642499A CN112684896A CN 112684896 A CN112684896 A CN 112684896A CN 202011642499 A CN202011642499 A CN 202011642499A CN 112684896 A CN112684896 A CN 112684896A
- Authority
- CN
- China
- Prior art keywords
- eeg
- patient
- image
- information
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 62
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 208000010415 Low Vision Diseases 0.000 title claims abstract description 31
- 230000004303 low vision Effects 0.000 title claims abstract description 31
- 210000004556 brain Anatomy 0.000 claims abstract description 50
- 230000010365 information processing Effects 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000001771 impaired effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 50
- 230000008451 emotion Effects 0.000 claims description 33
- 230000007935 neutral effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 12
- 101000739754 Homo sapiens Semenogelin-1 Proteins 0.000 claims description 9
- 102100037550 Semenogelin-1 Human genes 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000036651 mood Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 229920000742 Cotton Polymers 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000002845 discoloration Methods 0.000 claims 1
- 230000004438 eyesight Effects 0.000 abstract description 9
- 208000029257 vision disease Diseases 0.000 abstract description 9
- 230000004393 visual impairment Effects 0.000 abstract description 7
- 238000013136 deep learning model Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 abstract description 5
- 210000001508 eye Anatomy 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 11
- 230000003321 amplification Effects 0.000 description 10
- 238000003199 nucleic acid amplification method Methods 0.000 description 10
- 230000005611 electricity Effects 0.000 description 9
- 206010047571 Visual impairment Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 206010027951 Mood swings Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种适用于低视力患者的智能仿生眼镜及控制方法,眼镜包括:实时采集图像的图像采集模块,采集、监测视障患者脑电波信号的脑电控制模块,接收图像信息和脑电波信息的信息处理模块,实时接收图像采集模块图像信息的图像处理系统,连接于信息处理模块并展示处理后画面的图像显示模块;眼镜采集视障患者脑电波信号,将信号转换为命令值,来控制助视器直接显示患者想要的图像结果,降低低视力患者的操作风险;本发明的控制方法通过深度学习模型来更好的调整学习算法参数,调整权重输入维度,更好更流畅的进行脑电控制调节,实现让有视力障碍的人能更好的调节眼前所看物体的图像特征,模拟人眼被动调节功能,方便患者的生活。
Description
技术领域
本发明涉及医疗辅助设备,特别是一种适用于低视力患者的智能仿生眼镜及其控制方法。
背景技术
对于人类来说,80%的环境信息要通过眼睛获取,足见双眼的重要性。但遗憾的是,视觉障碍如今仍然是全球范围内没有完全解决的难题。
世界卫生组织(WHO)2019年发布的《世界视力报告》指出,全球至少有22亿人正在承受视力受损或失明的痛苦,盲人数量每年增加700万。其中至少10亿人本可以预防或通过必要的医疗或护理服务来解决近视、远视、青光眼、白内障等问题。
根据低视力临床研究表现,现阶段的低视力人群康复手段主要通过助视器来获得视觉训练或者视觉重建。然而目前市面上助视器的大多数控制方式局限于手柄、手势、语音等控制方式,不跟普通人一样可以通过眼睛进一步的确认效果,对于其视力存在障碍的患者来说,在很多场景下,很难触发其想实现的操作,容易发生误操作或者操作流程过长。
随着技术的发展,目前国内外陆续发布实现了人造眼球,通过手术植入的方式,将患者的人眼替换为人造眼球,通过人造眼球底部的实现类似视网膜的图像捕捉,然而由于该技术太过超前,产品并未投入真正使用,本身也不具备批量化生产的能力,高昂的手术花费让大多数视力残疾人根本无法承受,且手术本身存在较大风险,大多数患者仍然无法接受。
市场需要一种非植入式的仿生眼镜,区别于原先的助视器手动使用形态,专门面向有视力障碍的残障人士专门打造的增强现实眼镜,让有视力障碍的人能更好的调节眼前所看物体的图像特征,模拟人眼被动调节功能,以便更好生活,本发明解决这样的问题。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种适用于低视力患者的智能仿生眼镜及其控制方法,能够让有视力障碍的人能更好的调节眼前所看物体的图像特征,模拟人眼的被动调节节奏,达到仿生眼镜的效果。
为了实现上述目标,本发明采用如下的技术方案:
一种适用于低视力患者的智能仿生眼镜,包括:实时采集图像的图像采集模块,采集、监测视障患者脑电波信号的脑电控制模块,接收图像信息和脑电波信息的信息处理模块,实时接收图像采集模块图像信息的图像处理系统,连接于信息处理模块并展示处理后画面的图像显示模块。
前述的一种适用于低视力患者的智能仿生眼镜,图像采集模块包括:设置于仿生眼镜上的RGB摄像头,设置于仿生眼镜上的红外摄像头。
前述的一种适用于低视力患者的智能仿生眼镜,脑电控制模块包括:置于人脑后部衬垫的棉絮层周边并用于采集脑电波信息的软性采集片,位于衬垫中心的脑电发射单元,连接于软性采集片和脑电发射单元的脑电监测芯片。
前述的一种适用于低视力患者的智能仿生眼镜,软性采集片包括:位于脑后端的6个EEG信号电极片,处于头部左右两端的2个SEMG信号电极片。
前述的一种适用于低视力患者的智能仿生眼镜,脑电控制模块还包括:连接于脑电监测芯片的硬质调节器。
前述的一种适用于低视力患者的智能仿生眼镜,图像显示模块为模态显示屏。
一种适用于低视力患者的智能仿生眼镜的控制方法,
步骤一,在多个场景下进行训练,建立回归模型参数:
患者进入各个场景,重复实行以下步骤:
患者带上设备后,软件采集片贴在脑后,此时处于训练模式下,眼镜的显示屏上显示眼镜的默认展示设定好的命令集,同步该模式下画面展示内容为特定图形界面,让患者进行跟随练习,同时通过多个EEG信号电极片和SEMG信号电极片记录患者的EEG和SEMG信号,通过电极片之间的协同工作将信号进行放大并转换为数字信号,将数字信号传给信息处理模块后,信息处理模块对患者的脑电信号进行多频带滤波后,提取脑电的特征参数,筛查出特征波的周期、振幅、相位信息,训练好眼部控制时的反馈信息,经过训练后,建立场景下的脑电命令回归模型,用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征;
设备使用时,系统内自动建立自回归频谱,训练时的结果作为命令的触发条件并保存在信息处理模块中,训练完成后,比较触发脑电信息的特征来响应患者命令;
步骤二,佩戴智能仿生眼镜后确定场景,与原先训练时建立的数据集相比较,计算特征波的置信区间:
佩戴智能仿生眼镜后,眼镜的图像采集模块开始实时采集外界图像信息,并输出到图像显示模块,同步信息处理模块对当前图像进行场景分析,辨别当前所处环境,当场景识别返回结果存在多个置信结果时,患者可以手动选择;
场景确定完成后,患者对于眼前画面质量进行主观评断,脑电采集片采集脑部信息后,进行特征参数提取,筛查出特征波的周期、振幅、相位信息,与原先训练时建立的数据集相比较,计算特征波的置信区间;
步骤三,深度学习训练模型训练步骤包括:
首先当脑电采集系统监测到脑电控制命令时,开始执行操作,其中执行操作后患者情绪的波动情况,通过类别进行标记,P=+1,M=0,N=-1;
当患者脑电命令触发后,对于后续命令执行效果,进行情绪波动后;
若识别到积极或中性,未接受到下一次脑电命令时,则当前结果为递归截止条件,以情绪标记累积当前值,在深度模型中记录当前情绪表达效果和当前映射关系;
若情绪波动捕捉为消极时,进行下一阶权值递归,同时触发第二级命,二阶递归结果为积极或中性时,标记此情绪及识别路径,记为映射方案,强化深度模型,表示当患者发生此种情绪时,更希望从之前状态跳转至当前,以当前结果为递归截止条件;
若情绪波动为消极时,重新进行下一阶递归序列,依次类推,直至患者情绪转为积极或中性;
模型6阶后视为训练使用完成,若此时患者情绪偏向于中性,则此次结果以前5次映射为有效记录,最后一次认为人为情绪因素中断或终止训练,不计为有效数据。
前述的一种适用于低视力患者的智能仿生眼镜的控制方法,
步骤一中,用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征的计算方法包括如下内容:
选用Marple算法得到FAR特征系数和最小均方误差(LMS)算法,具体参数模型如下:
输入为白噪声的线性系统,输入u(n)和输出x(n),模型为在n时刻的输出是n时刻的输入u(n)和p个过去的输出x(n-k)的加权和;
前述的一种适用于低视力患者的智能仿生眼镜的控制方法,
步骤二中,计算特征波的置信区间的方法包括如下内容:
其中k1为周期权值,k1=5;k2为振幅权值,k2=1;k3为相位权值,k3=3;
其中ΔT为周期变化值;ΔA为振幅变化值;Δθ为相位变化值;
前述的一种适用于低视力患者的智能仿生眼镜的控制方法,特定调整的方式包括:放大、缩小、变色。
本发明的有益之处在于:
本发明通过外脑机接口与患者所用助视器相结合,产品后端采集视障患者脑电波信号,将信号转换为命令值,来控制助视器直接显示患者想要的图像结果,降低低视力患者的操作风险;
本发明通过深度学习模型来更好的调整学习算法参数,调整权重输入维度,更好更流畅的进行脑电控制调节能够让有视力障碍的人能更好的调节眼前所看物体的图像特征,模拟人眼被动调节功能,以便更好生活。
附图说明
图1是本发明的一种实施例的结构示意图;
图2是本发明控制方法的一种实施例的流程图;
图3是本发明深度学习训练模型训练中递归的演示示意图;
图4是本发明实例演示中场景一的信号集示意图,对应不同的信号命令,其中(a)-放大信号,(b)-缩小信号,(c)-变色信号,(d)-切换信号,(e)-调淡信号,(f)-调浓信号,(g)-变亮信号,(h)-变暗信号,(i)-菜单信号;
图5是本发明实例演示中产生的接受(积极)、拒绝(消极)、平静(中性)三种情况的信号示意图,其中(j)-接受(积极)信号示意图,(k)-拒绝(消极)信号示意图,(l)-平静(中性)信号示意图。
图中标号的含义为:
1模态显示屏,2图像采集模块,3EEG信号电极片,4SEMG信号电极片,5信息处理模块。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示,一种适用于低视力患者的智能仿生眼镜,包括:实时采集图像的图像采集模块2,采集、监测视障患者脑电波信号的脑电控制模块,接收图像信息和脑电波信息的信息处理模块5,实时接收图像采集模块2图像信息的图像处理系统,连接于信息处理模块5并展示处理后画面的图像显示模块。
图像采集模块2包括:设置于仿生眼镜上的RGB摄像头,设置于仿生眼镜上的红外摄像头。
信息处理模块5为手机或电脑处理器,可以支持图像二值化、变色、特征提取、深度学习训练等算法,包括进行图像处理以及脑电信号处理。
脑电控制模块包括:置于人脑后部衬垫的棉絮层周边并用于采集脑电波信息的软性采集片,位于衬垫中心的脑电发射单元,连接于软性采集片和脑电发射单元的脑电监测芯片,连接于脑电监测芯片的硬质调节器。硬质调节器可以实现不同环境下的强度调节,方便准确进行脑电监测。
软性采集片包括:位于脑后端的6个EEG信号电极片3,处于头部左右两端的2个SEMG信号电极片4。
图像显示模块为模态显示屏1,这样增强现实眼镜。
如图2所示,一种适用于低视力患者的智能仿生眼镜的控制方法,包括如下内容:
步骤一:在多个场景下进行训练,建立回归模型参数:
因为脑电本身是极微弱电流,在不同环境工作时,对于患者的脑电控制存在不同的阈值要求,在某特定场景下初次使用时,需要在该场景下对患者的脑电命令特征进行采集:
优先选择日常的生活环境作为场景一,患者带上设备后,软件采集片贴在脑后,此时增强现实眼镜处于训练模式下,眼镜的显示屏上显示眼镜的默认展示设定好的命令集,如放大、缩小、更改模式等,同步该模式下画面展示内容为特定图形界面,让患者进行跟随练习,同时通过上面的8个电极片记录患者的EEG和SEMG信号,EEG信号收集单元占6个,处于脑后端,SEMG信号收集单元占2个,分别处于头部左右两端,通过电极片之间的协同工作将信号进行放大并转换为数字信号,将数字信号传给信息处理模块5后,信息处理模块5对患者的脑电信号进行多频带滤波后,提取脑电的频率、电压、形态等特征参数,筛查出特征波的周期、振幅、相位等信息,训练好眼部控制时的反馈信息,经过一定量的训练后,建立场景下的脑电命令回归模型,用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征。
作为一种优选,用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征的具体方法采用Marple算法得到FAR特征系数和最小均方误差(LMS)算法,因为Marple算法使所有的系数都可以自由选择,着眼于调整模型的全部系数使均方误差极小化,能取得更好的结果得到AAR特征系数,同步将模型参数存入信息处理模块5;
具体参数模型如下:
输入为白噪声的线性系统,输入u(n)和输出x(n),模型为在n时刻的输出是n时刻的输入u(n)和p个过去的输出x(n-k)的加权和;
设备使用时,系统内自动建立自回归频谱,训练时的结果作为命令的触发条件并保存在信息处理模块5中,训练完成后,比较触发脑电信息的特征来响应患者命令。
其次将工作环境作为环境二,重复实行前面的步骤方式;
初次训练准备时,默认采集生活和工作两个常用场景,生活场景下定义为生活自回归模型参数,工作场景下为工作自回归模型参数,另外患者可根据自身不同需求在不同环境下采集相应模型参数,后续补充的模型参数定为场景3、场景4等;
同时训练过程中,设备的图像采集模块2依次采集环境内图像信息,检测图像中的物体与环境特征,返回并记录检测出的场景名称,分别标注并保存不同脑电命令回归模型参数,以便患者第二次进入该场景或类似场景时,系统可自动调整出该回归参数,提高脑电控制的准确性。
步骤二:佩戴智能仿生眼镜后确定场景,与原先训练时建立的数据集相比较,计算特征波的置信区间:
经过步骤一,患者对设备的控制命令进行了脑电波形特定强化训练,此时佩戴本发明的新型智能仿生眼镜后,眼镜的图像采集模块2开始实时采集外界图像信息,并输出到图像显示模块,同步信息处理模块5对当前图像进行场景分析,辨别当前所处环境,当场景识别返回结果存在多个置信结果时,患者可以手动选择
场景确定完成后,患者对于眼前画面质量进行主观评断,脑电采集片采集脑部信息后,进行特征参数提取,筛查出特征波的周期、振幅、相位信息,与原先训练时建立的数据集相比较,计算特征波的置信区间,优先计算周期、振幅、相位的系列偏离度,置信度计算公式如下:
其中k1为周期权值,k1=5;k2为振幅权值,k2=1;k3为相位权值,k3=3;
其中ΔT为周期变化值;ΔA为振幅变化值;Δθ为相位变化值;
步骤三:深度学习训练模型训练:
新型智能仿生眼镜使用过程中,通过脑电控制模块收集多数训练EEG数据集,除去原先的控制命令外,这些数据集的收集可以获取控制命令外其他的情绪电波表达,用于患者深度学习模型的建立,这些模型可实现比传统机器学习技术更好的性能,通过脑电另一层的情绪拓补数据建立辅助应用方法,本研究拟通过患者的情绪变化来提高命令触发的合理性。
首先在收集数据时使用电极坐标生成了拓扑保留差分熵特征,生成的高分辨率EEG图像来增强特征波表达。通过拟议的递归算法模型重新整理脑电图特征的方法可以使聚类的效果能够获得更好的表示,并在更新的数据上对其进行了训练,以估计三种情绪类别:积极(P)、中性(M)和消极(N)的影响程度。
使用过程中通过使用者的情绪变化对命令执行进行标记,采用情绪变化的递归效应训练深度学习模型,通过一直矫正脑电控制的触发响应,直至输出使用者满意的控制逻辑后,达到符合使用者要求的方式。
深度学习训练模型训练步骤包括以下几点来得到预设的三种情绪分别对于调节图像命令执行的置信度:
首先当脑电采集系统监测到脑电控制命令时,开始执行操作,其中执行操作后患者情绪的波动情况,通过类别进行标记,P=+1,M=0,N=-1;
如图3所示,当患者脑电命令触发后,对于后续命令执行效果,进行情绪波动后识别到积极或中性,未接受到下一次脑电命令时,则当前结果为递归截止条件,以情绪标记累积当前值,在深度模型中记录当前情绪表达效果和当前映射关系;当情绪波动捕捉为消极时,进行下一阶权值递归,同时触发第二级命令,如进一步放大、缩小或撤销之前动作等,二阶递归结果为积极或中性时,标记此情绪及识别路径,记为映射方案,强化深度模型,表示当患者发生此种情绪时,更希望从之前状态跳转至当前,以当前结果为递归截止条件;当情绪波动为消极时,重新进行下一阶递归序列,依次类推,直至患者情绪转为积极或中性。
需要注意的是模型6阶后视为训练使用完成,此时患者情绪偏向于中性,则此次结果以前5次映射为有效记录,最后一次可认为人为情绪因素中断或终止训练,不计为有效数据。
本发明研究通过硬件设备的高度依赖性,可以有效统计患者个人的训练使用数据,解决原先脑电深度学习样本过少的问题,更精准的完善算法模型,从而更细致的区分积极、中性和消极的情绪不同程度,建立更精细分类。
本发明通过脑电控制模块分别监测患者对于当前画面质量的认可程度,再进一步在信息处理模块5下修正脑电命令的回归模型,继而根据情绪程度不同,进行一个参数跳跃,参数跳跃的意义在于,当患者出现极度消极信号时,意味模型出现极大偏差或参数调节节奏过慢,来实现设置跳跃进而更灵活的调用脑电命令回归模型,从而建立根据患者情绪程度来建立深度学习模型的影响因子来调整脑电命令的参数权重,进而更好的来实现脑电的控制“步长”,让图像切换更为顺畅自然,模拟人眼的被动调节节奏。
以下通过具体的病例来演示本发明的控制运算过程:
病例介绍:患者视力特征左眼视力<0.01,右眼视力0.25,右眼视野43°,同步患有肢体障碍,对于遥控按键使用存在困难,本发明拟通过脑电控制方案对其进行功能训练,在日常生活和工作情况下达到视力康复作用。
使用控制方法过程如下:
步骤一:设备开机后进行参数初始化,此时设备内所用的调整参数全部归0;
步骤二:患者在不同环境下,大脑所能发散的脑电信号强弱会有差异,需要在不同的场景环境下去尝试采集不同脑电特征。优先选择生活场景下,让患者设备选择进入训练模式,设备佩戴完成后,图像采集系统拍摄周边场景进行场景识别保存,此时画面显示明确的引导指令;同步优选的,本发明中自回归初始模型Marple算法中阶次p取3更利于本设备对脑电信号的处理;模型对EEG信号分段,每段数据长为1s,下一段与上一段重叠为0.5s,数据长5s,共分为10段。
依次循环眼镜内各项操控命令图标或动画,如放大、缩小、变色、加粗等信号,引导患者脑中产生相应命令的接受信息,截取其中信号突变段位作为当前信号特征,对特征进行信号标记。当后续引导命令产生相同或在置信区间内的电波突变时,触发命令成功,此时提示患者记录结束,将信号集保存为场景一,如图4所示。
换种场景后,重新记录一次,记为场景二,重复上述步骤;
步骤三:患者佩戴眼镜进行正常生活,此时图像采集系统打开,优先识别当前场景触发指令集,同步图像采集信号展示外界实时图像信息,此时患者会根据自身情况来选择不同的画面特征,由于患者本身右眼视力较低,使用时习惯触发放大功能,此时画面跳转,患者表现出一些异常信号,表明当前效果并不是他想要的,患者脑电中产生了接受(积极)、拒绝(消极)、平静(中性)三种情况,依次表现如图5所示。
通过深度学习训练,系统依次轮转切换方法,如患者使用时,散发出明显的放大信号,此时软件进行画面放大,当患者出现明显拒绝(消极)信号时,表明当前放大信号识别错误或放大倍数不够,此时优先选择软件返回原先倍数后,再次执行越阶放大,此时患者仍表现为拒绝(消极)信号时,软件返回原先倍数后,执行缩小命令,此时患者表现出接受(积极)信号,此时界面停止切换,同步将原先的命令集进行修正,重复多阶,确保患者后续情绪出现接受或中性时,训练完成,此时患者对眼镜有比较明确的命令掌控,通过眼镜画面放大缩小或变色的能力右眼视力提高到0.6,左眼视力无恢复,且可不通过肢体或语音控制方式来根据自我的感受变化进行眼睛视物调节,达到仿生眼镜效果。
本发明通过外脑机接口与患者所用助视器相结合,产品后端采集视障患者脑电波信号,将信号转换为命令值,来控制助视器直接显示患者想要的图像结果,降低低视力患者的操作风险,是一款专门面向有视力障碍的残障人士专门打造的增强现实眼镜。本发明的控制方法通过深度学习模型来更好的调整学习算法参数,调整权重输入维度,更好更流畅的进行脑电控制调节,实现让有视力障碍的人能更好的调节眼前所看物体的图像特征,模拟人眼被动调节功能,方便患者的生活。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (10)
1.一种适用于低视力患者的智能仿生眼镜,其特征在于,包括:实时采集图像的图像采集模块,采集、监测视障患者脑电波信号的脑电控制模块,接收图像信息和脑电波信息的信息处理模块,实时接收图像采集模块图像信息的图像处理系统,连接于信息处理模块并展示处理后画面的图像显示模块。
2.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜,其特征在于,所述图像采集模块包括:设置于仿生眼镜上的RGB摄像头,设置于仿生眼镜上的红外摄像头。
3.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜,其特征在于,所述脑电控制模块包括:置于人脑后部衬垫的棉絮层周边并用于采集脑电波信息的软性采集片,位于衬垫中心的脑电发射单元,连接于软性采集片和脑电发射单元的脑电监测芯片。
4.根据权利要求3所述的一种适用于低视力患者的智能仿生眼镜,其特征在于,所述软性采集片包括:位于脑后端的6个EEG信号电极片,处于头部左右两端的2个SEMG信号电极片。
5.根据权利要求3所述的一种适用于低视力患者的智能仿生眼镜,其特征在于,所述脑电控制模块还包括:连接于脑电监测芯片的硬质调节器。
6.根据权利要求1所述的一种适用于低视力患者的智能仿生眼镜,其特征在于,所述图像显示模块为模态显示屏。
7.一种适用于低视力患者的智能仿生眼镜的控制方法,其特征在于,
步骤一,在多个场景下进行训练,建立回归模型参数:
患者进入各个场景,重复实行以下步骤:
患者带上设备后,软件采集片贴在脑后,此时处于训练模式下,眼镜的显示屏上显示眼镜的默认展示设定好的命令集,同步该模式下画面展示内容为特定图形界面,让患者进行跟随练习,同时通过多个EEG信号电极片和SEMG信号电极片记录患者的EEG和SEMG信号,通过电极片之间的协同工作将信号进行放大并转换为数字信号,将数字信号传给信息处理模块后,信息处理模块对患者的脑电信号进行多频带滤波后,提取脑电的特征参数,筛查出特征波的周期、振幅、相位信息,训练好眼部控制时的反馈信息,经过训练后,建立场景下的脑电命令回归模型,用确定性自回归模型(FAR)和自适应自回归模型(AAR)提取脑电特征;
设备使用时,系统内自动建立自回归频谱,训练时的结果作为命令的触发条件并保存在信息处理模块中,训练完成后,比较触发脑电信息的特征来响应患者命令;
步骤二,佩戴智能仿生眼镜后确定场景,与原先训练时建立的数据集相比较,计算特征波的置信区间:
佩戴智能仿生眼镜后,眼镜的图像采集模块开始实时采集外界图像信息,并输出到图像显示模块,同步信息处理模块对当前图像进行场景分析,辨别当前所处环境,当场景识别返回结果存在多个置信结果时,患者可以手动选择;
场景确定完成后,患者对于眼前画面质量进行主观评断,脑电采集片采集脑部信息后,进行特征参数提取,筛查出特征波的周期、振幅、相位信息,与原先训练时建立的数据集相比较,计算特征波的置信区间;
步骤三,深度学习训练模型训练步骤包括:
首先当脑电采集系统监测到脑电控制命令时,开始执行操作,其中执行操作后患者情绪的波动情况,通过类别进行标记,P=+1,M=0,N=-1;
当患者脑电命令触发后,对于后续命令执行效果,进行情绪波动后;
若识别到积极或中性,未接受到下一次脑电命令时,则当前结果为递归截止条件,以情绪标记累积当前值,在深度模型中记录当前情绪表达效果和当前映射关系;
若情绪波动捕捉为消极时,进行下一阶权值递归,同时触发第二级命,二阶递归结果为积极或中性时,标记此情绪及识别路径,记为映射方案,强化深度模型,表示当患者发生此种情绪时,更希望从之前状态跳转至当前,以当前结果为递归截止条件;
若情绪波动为消极时,重新进行下一阶递归序列,依次类推,直至患者情绪转为积极或中性;
模型6阶后视为训练使用完成,若此时患者情绪偏向于中性,则此次结果以前5次映射为有效记录,最后一次认为人为情绪因素中断或终止训练,不计为有效数据。
10.根据权利要求9所述的一种适用于低视力患者的智能仿生眼镜的控制方法,其特征在于,所述特定调整的方式包括:放大、缩小、变色。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642499.8A CN112684896B (zh) | 2020-12-31 | 2020-12-31 | 一种适用于低视力患者的智能仿生眼镜及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642499.8A CN112684896B (zh) | 2020-12-31 | 2020-12-31 | 一种适用于低视力患者的智能仿生眼镜及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112684896A true CN112684896A (zh) | 2021-04-20 |
CN112684896B CN112684896B (zh) | 2025-01-17 |
Family
ID=75456759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011642499.8A Active CN112684896B (zh) | 2020-12-31 | 2020-12-31 | 一种适用于低视力患者的智能仿生眼镜及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112684896B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255134A (ja) * | 2005-03-17 | 2006-09-28 | Ikeda Denshi Kogaku Kenkyusho:Kk | 脳波計測表示方法及び装置 |
CN102715902A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 特殊人群的情绪监护方法 |
CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
CN105138119A (zh) * | 2015-08-04 | 2015-12-09 | 湖南七迪视觉科技有限公司 | 一种基于人体生物特征控制自动变焦的立体视觉系统 |
KR20170026922A (ko) * | 2015-08-31 | 2017-03-09 | 한양대학교 에리카산학협력단 | 뇌파를 이용한 스마트 글라스의 구동 방법 |
US20170319123A1 (en) * | 2016-05-06 | 2017-11-09 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders |
CN110600103A (zh) * | 2019-09-25 | 2019-12-20 | 李牧什 | 一种提升视力的可穿戴智能服务系统 |
CN110824979A (zh) * | 2019-10-15 | 2020-02-21 | 中国航天员科研训练中心 | 一种无人设备控制系统和方法 |
US20200364539A1 (en) * | 2020-07-28 | 2020-11-19 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
-
2020
- 2020-12-31 CN CN202011642499.8A patent/CN112684896B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255134A (ja) * | 2005-03-17 | 2006-09-28 | Ikeda Denshi Kogaku Kenkyusho:Kk | 脳波計測表示方法及び装置 |
CN102715902A (zh) * | 2012-06-15 | 2012-10-10 | 天津大学 | 特殊人群的情绪监护方法 |
CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
CN105138119A (zh) * | 2015-08-04 | 2015-12-09 | 湖南七迪视觉科技有限公司 | 一种基于人体生物特征控制自动变焦的立体视觉系统 |
KR20170026922A (ko) * | 2015-08-31 | 2017-03-09 | 한양대학교 에리카산학협력단 | 뇌파를 이용한 스마트 글라스의 구동 방법 |
US20170319123A1 (en) * | 2016-05-06 | 2017-11-09 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders |
CN110600103A (zh) * | 2019-09-25 | 2019-12-20 | 李牧什 | 一种提升视力的可穿戴智能服务系统 |
CN110824979A (zh) * | 2019-10-15 | 2020-02-21 | 中国航天员科研训练中心 | 一种无人设备控制系统和方法 |
US20200364539A1 (en) * | 2020-07-28 | 2020-11-19 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
Non-Patent Citations (2)
Title |
---|
伍亚舟, 吴宝明, 何庆华, 卓豫, 谢奇, 张玲: "基于想象左右手运动思维脑电的提取及分类研究", 《第三军医大学学报》, vol. 28, no. 23, pages 2323 - 2326 * |
汪家琦;吴泽琨;王一鸣;王书平;丁伊博;: "基于多模态深度融合网络可穿戴式导盲设备", 科技创新导报, no. 33, pages 104 - 108 * |
Also Published As
Publication number | Publication date |
---|---|
CN112684896B (zh) | 2025-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210345048A1 (en) | Ear-worn electronic device incorporating motor brain-computer interface | |
CN106621287A (zh) | 一种基于脑机接口与虚拟现实技术的上肢康复训练方法 | |
CN107463780A (zh) | 一种3d虚拟自闭症治疗系统及治疗方法 | |
CN106999337A (zh) | 眼睛训练系统和计算机程序产品 | |
CN107422841A (zh) | 一种基于非接触式情绪识别的人机交互方法 | |
CN105105771B (zh) | 潜能值测验的认知指标分析方法 | |
CN112163518A (zh) | 情绪监测的情绪建模方法及情绪监测调节系统 | |
US20210401339A1 (en) | Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality | |
CN206162388U (zh) | 一种脑机交互穿戴系统 | |
CN106200006A (zh) | 脑电波控制的智能ar眼镜设备 | |
CN104793493A (zh) | 一种基于实时神经网络的半自动睡眠分期装置 | |
CN110824979A (zh) | 一种无人设备控制系统和方法 | |
WO2020065534A1 (en) | System and method of generating control commands based on operator's bioelectrical data | |
CN108714020A (zh) | 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质 | |
CN103488995A (zh) | 一种识别颈部转动的方法 | |
KR101953612B1 (ko) | 가상현실을 이용하는 노출훈련을 통한 공황장애 치료장치 | |
CN112684896A (zh) | 一种适用于低视力患者的智能仿生眼镜及其控制方法 | |
CN117438076B (zh) | 一种耳石症vr辅助诊治的系统、仪器及方法 | |
CN117860544B (zh) | 一种基于多模态虚拟现实交互的智能按摩系统 | |
CN113359991A (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
CN108319367A (zh) | 一种脑机接口方法 | |
CN107411761B (zh) | 一种基于手指振动触觉刺激的定向注意力测量系统及方法 | |
Rupanagudi et al. | A simplified approach to assist motor neuron disease patients to communicate through video oculography | |
CN115758119A (zh) | 一种基于脑机接口和动作识别的瘫痪患者监护系统 | |
CN112402767A (zh) | 眼动脱敏再加工干预系统及眼动脱敏再加工干预方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |