CN109324417A - 助视器及其控制方法、计算机存储介质 - Google Patents

Abstract

本发明公开了一种助视器的控制方法，所述助视器包括显示装置和具有摄像装置的AR增强现实眼镜盒，所述AR眼镜盒用于容置所述显示装置，并将所述显示装置显示的图像信息进行反射处理，所述显示装置接收所述摄像装置获取的图像信息；对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。本发明还公开了一种助视器及计算机存储介质，使助视器的使用更加方便，适用范围更广。

Description

助视器及其控制方法、计算机存储介质

技术领域

本发明涉及助视器技术领域，尤其涉及助视器及其控制方法、计算机存储介质。

背景技术

低视力是指手术、药物或一般验光配镜无法改善的视功能障碍，主要特征包括视力下降和视野缩小。患者类型为双眼中好眼最佳矫正视力小于0.3，且等于或大于0.05的人群。低视力也可包括即使经过治疗或标准的屈光矫正后仍有视功能损害的患者，其视力小于0.3到光感，或视野半径小于10度，但仍能应用或有潜力应用视力去做或准备做各项工作。为了让低视力患者能够看清世界，使其仅存的视力得到有效利用，可以使用助视器来为患者提供方便。助视器通过电子或光学放大，使患者可以进行一定的阅读活动。

然而当前助视器的使用方式有一定的限制，例如，放大镜须手持使用，或者只能在固定的场景下使用，无法进行移动，在日常使用时很不方便。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种助视器及其控制方法、计算机存储介质，旨在解决当前助视器使用不方便的问题。

为实现上述目的，本发明提供一种助视器的控制方法，所述助视器包括显示装置和具有摄像装置的AR增强现实眼镜盒，所述AR眼镜盒用于容置所述显示装置，并将所述显示装置显示的图像信息进行反射处理，所述助视器的控制方法包括以下步骤：

所述显示装置接收所述摄像装置获取的图像信息；

对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；

将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。

优选地，所述图像增强处理包括放大、缩小、对比度调节、亮度调节、反色、色彩模式选择和分辨率调节中的至少任一种，所述图像矫正处理包括弯曲畸变矫正和镜面反向矫正中的至少任一种。

优选地，所述助视器还包括语音模块，所述将完成图像处理的所述图像信息进行显示之后还包括以下步骤：

对所述显示装置显示的画面进行识别处理并语音提醒。

优选地，所述助视器的控制方法还包括：

在接收到用户发出的指令时，获取与搜索指令相关的画面，并进行图像处理以及显示。

优选地，所述助视器的控制方法还包括：

将所述显示装置无线连接到智能设备，并在所述显示设备上显示对应所述智能设备的控制界面；

在接收到用户发出的指令时，根据所述控制指令对所述智能设备进行控制处理。

优选地，所述将完成图像处理的所述图像信息进行显示之后还包括以下步骤：

对所述显示装置显示的画面进行双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理，并保存经截图处理或录制处理的画面。

优选地，所述助视器还包括与所述显示装置连接的控制终端，所述助视器的控制方法的步骤包括：

在接收到用户通过所述控制终端触发的参数修改指令时，根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

此外，为实现上述目的，本发明还提供一种助视器，所述助视器包括：显示装置、具有摄像装置的AR眼镜盒、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的助视器的控制程序，所述助视器的控制程序被所述处理器执行时实现如上所述中任一项所述的助视器的控制方法的步骤。

优选地，所述助视器还包括所述显示装置连接的控制终端和语音模块，所述控制终端用于触发参数修改指令，以根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有助视器的控制程序，所述助视器的控制程序被处理器执行时实现如上所述中任一项所述的助视器的控制方法的步骤。

本发明实施例提出的助视器及其控制方法、计算机存储介质，通过所述显示装置接收所述摄像装置获取的图像信息，再对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理，然后将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中，使助视器的使用更加方便，适用范围更广。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明助视器的控制方法第一实施例的流程示意图；

图3为本发明助视器的控制方法第二实施例的流程示意图；

图4为本发明助视器的控制方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：

所述显示装置接收所述摄像装置获取的图像信息；

对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；

将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。

由于现有技术中，助视器的使用方式有一定的限制，例如，放大镜须手持使用，或者只能在固定的场景下使用，无法进行移动，在日常使用时很不方便。

本发明提供一种解决方案，通过所述显示装置接收所述摄像装置获取的图像信息，再对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理，然后将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中，使助视器的使用更加方便，适用范围更广。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端为助视器，该助视器包括显示装置和具有摄像装置的AR眼镜盒。如图1所示，该终端可以包括：处理器1001，例如CPU，存储器1002，用户接口1003，通信总线1004。其中，通信总线1004用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。存储器1002可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。可选地，终端还可以包括摄像头。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1002中可以包括用户接口模块以及助视器的控制程序。在图1所示的终端中，用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1002中存储的助视器的控制程序，并执行以下操作：

所述显示装置接收所述摄像装置获取的图像信息；

对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；

将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

所述图像增强处理包括放大、缩小、对比度调节、亮度调节、反色、色彩模式选择和分辨率调节中的至少任一种，所述图像矫正处理包括弯曲畸变矫正和镜面反向矫正中的至少任一种。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

对所述显示装置显示的画面进行识别处理并语音提醒。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

在接收到用户发出的指令时，获取与搜索指令相关的画面，并进行图像处理以及显示。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

将所述显示装置无线连接到智能设备，并在所述显示设备上显示对应所述智能设备的控制界面；

在接收到用户发出的控制指令时，根据所述控制指令对所述智能设备进行控制处理。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

对所述显示装置显示的画面进行双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理，并保存经截图处理或录制处理的画面。

进一步地，处理器1001可以调用存储器1002中存储的助视器的控制程序，还执行以下操作：

在接收到用户通过所述控制终端触发的参数修改指令时，根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

参照图2，图2为本发明助视器的控制方法第一实施例的流程示意图；

本实施例提出助视器的控制方法，所述助视器包括显示装置和具有摄像装置的AR增强现实眼镜盒，所述AR眼镜盒用于容置所述显示装置，并将所述显示装置显示的图像信息进行反射处理，所述助视器的控制方法包括以下步骤：

步骤S10，所述显示装置接收所述摄像装置获取的图像信息；

在本实施例中，终端为助视器。助视器是能够改善或提高低视力患者视觉能力的任何一种装置或设备，与助听器相似，助听器能使听力差的人听到他原来听不到的声音，而助视器可以使低视力患者能看清楚他本来看不到或看不清的东西。所以，凡是能提高视力残疾患者视力的任何装置或设备均称为助视器。助视器主要分为光学助视器(凸透镜、棱镜、平面镜、望远镜)；非光学助视器(大字印刷品、闭路电视等)。本实施例的助视器包括显示装置和具有摄像装置的AR眼镜盒，摄像头固定安装在AR眼镜盒子前方，以便于在用户穿戴了该AR眼镜盒后，摄像头获取的图像信息与用户朝向的真实场景一致。用户可以通过转身和扭头来调整摄像头拍摄的方向获取四周环境的图像信息，与正常情况下人们的动作相同，在使用时更加方便。显示装置可为智能手机，可放置在AR眼镜盒内设有的凹槽内，智能手机与摄像头通过数据线相连，一般通过OTG(一种数据交换方法)方式连接，以保证画面的稳定性。在摄像头获取到图像信息后，实时地将图像信息的数据传输到智能手机内。由于智能手机应用比较普遍，几乎人手一个，所以只需要配备一个高清摄像头和AR眼镜盒和安装特定应用程序就可以实现助视的目的，用户投入的成本更低。此外，由于采用的是独立摄像头，而不是通过手机摄像头，该摄像头拍摄到的画面画质可以更高，以便于用户得到更加真实的观看体验，同时也可避免手机放在AR眼镜盒内不便于拍摄的问题。

步骤S20，对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；

在本实施例中，在图像信息传输到智能手机后，进行对图像信息进行图像处理。图像处理的过程主要由手机内的特定应用程序执行。图像处理包括图像增强处理和图像矫正处理。图像增强处理可通过图像处理算法对图像信息进行放大、缩小、对比度、亮度调节、反色、色彩模式选择和分辨率调节等处理。其中，图像处理算法是指对图像进行处理所用的算法，其包括对图像去噪、图像变换、图像分析、图像压缩、图像增强、图像模糊处理等。色彩模式选择可提供全彩模式显示、半彩模式显示、灰度模式显示等选项供用户进行选择。全彩模式显示为全彩显示。半彩模式显示是指由于不同的低视力患者会对部分色彩比较敏感，用户可根据自身需求，选择几种颜色在图像信息中进行正常显示，并将其他颜色替换为这几种颜色之间的渐变色进行显示，以便于对部分色彩敏感的用户使用。灰度模式显示则是将图像信息中的所有颜色替换为灰度色进行显示。此外，在色彩模式选择后，用户还可进行对于图像信息的其他处理，以最大限度地帮助用户解决低视力问题。由于可采用像素更高的摄像头，因此用户在使用时还对图像信息的分辨率进行调整，以适应用户对于图像信息画质的不同要求。通过图像增强处理过程后，图像信息的内容辨识度更高，可更容易被低视力患者识别出来，方便低视力患者观看。

图像矫正处理包括弯曲畸变矫正和镜面反向矫正。由于AR眼镜盒子的镜面包括两个半球曲面，在图像信息通过该曲面反射到用户眼中时，用户看到的画面会发生畸变，所以需要对图像信息进行弯曲畸变矫正，以确保画面经曲面反射后用户看到的画面是正常的。并且经过反射后用户看到的画面会左右颠倒，与真实场景形成镜面，所以还需对图像信息进行镜面反向矫正，以确保用户看到的画面与真实场景一致。本发明的AR眼镜盒针对低视力用户实现多种图像处理过程，满足用户的多种不同需求，更方便低视力人群使用。

同时，可将显示设备通过无线方式连接到智能设备，连接方式可以是通过网络，智能设备可以是常用的智能家居设备，如空调、智能冰箱、智能电视、监控器等。在显示设备与智能设备连接后，可在显示设备上显示与智能设备对应的控制界面，以方便用户进行控制。在用户发出指令时，通过显示设备将控制指令发送至智能设备，以达到控制智能设备的目的。此外，还可设置控制终端与该智能手机相连，如蓝牙手柄，或是语音控制模块，通过识别用户的语音指令，用于控制该智能手机内的特定应用程序。在接收到用户通过蓝牙手柄或语音输入触发的参数修改指令时，控制特定应用程序根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。其中，搜索是指根据用户语音输入或是手动输入的搜索指令，通过网络获取与搜索指令相关的画面，并进行图像处理以及显示，例如，用户可以搜索新闻、视频、音乐、有声书等相关内容进行显示或播放。由于不用多次从AR眼镜盒中拿出智能手机进行操作，在使用时更加方便。

步骤S30，将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。

在本实施例中，智能手机放置在AR眼镜盒内，当经过处理的图像信息显示在手机屏幕上时，经过AR眼镜盒子上的镜面反射，用户可看到与真实场景一致的画面。AR眼镜盒子为头戴式设备，可以随时进行移动，使用场景更多，并且在使用时可以解放双手，极大解除了使用限制。

在本实施例公开的技术方案中，通过所述显示装置接收所述摄像装置获取的图像信息，再对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理，然后将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中，使助视器的使用更加方便，适用范围更广。

如图3所示，图3为本发明助视器的控制方法第二实施例的流程示意图；

本实施例以图2所示第一实施例为基础，在步骤S30之后还可以包括步骤S40，步骤S40的步骤为：

步骤S40，对所述显示装置显示的画面进行识别处理并语音提醒。

在本实施例中，对于低视力特别严重的用户，在使用助视器观察环境时看到的画面可能依然是模糊的，只能看到大致的轮廓，因此需要语音对用户进行辅助使用。在接收到用户输入的识别指令时，识别人脸或物体，并语音提醒，或是识别文字，并转化为语音。在人脸识别之前，可在助视器内或是服务器端预存家人和朋友的照片，当显示的画面为人物时，将显示的画面与预存照片进行对比识别，在识别出画面中的人物时，通过语音模块对用户进行提醒。在显示的画面为物体时，可对物体进行识别，在识别出画面中的物体时，通过语音模块提醒用户。此外，在用户观看报纸、杂志等具有文字的物品时，可识别其中的文字内容，并转化为语音进行播放，改善了低视力用户看不清的情况。以上对于对所述显示装置显示的画面的识别处理均可通过无线控制终端进行控制，如蓝牙手柄，或是语音控制模块，通过用户输入语音指令，然后识别语音指令来进行控制。

在本实施例公开的技术方案中，对所述显示装置显示的画面进行识别处理并语音提醒，其中，所述识别处理包括识别人脸或物体和识别文字，并语音提醒，实现用户在使用助视器时进行语音辅助，改善了低视力用户看不清的情况。

如图4所示，图4为本发明助视器的控制方法第三实施例的流程示意图；

本实施例以图2所示第一实施例为基础，在步骤S30之后还可以包括步骤S50，步骤S50的步骤为：

步骤S50，对所述显示装置显示的画面进行双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理，并保存经截图处理或录制处理的画面。

在本实施例中，由于左右眼分别看具有一定视觉差异的图像，会有更加逼真的视觉效果，因此可对图像信息进行双屏显示处理，将呈现在智能手机上的图像信息画面分为左右两个部分，分别显示左右眼看到的图像。在用户通过该助视器观看到了一些感兴趣的画面或需要仔细观看的画面，可通过控制终端发出暂停指令，控制智能手机暂停显示画面，使显示画面停止在某一刻，以便于用户可以仔细观看。用户还可对这些画面进行拍照，将照片存储在智能手机或服务器端，或者对这些场景进行录制处理，将录制的场景画面作为视频文件存储在智能手机或服务器端。用户在使用该助视器时，由于不同的用户可能在瞳距和视觉焦点的上下位置有轻微的差异，导致每个用户的最佳视物点不同，因此，用户对画面进行上下移动或左右移动，将画面中心调节至最佳视物点。如上所述的双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理都可通过控制终端进行控制，使用时更加简单。此外，该控制终端可以是通过蓝牙连接的无线控制终端，如遥控器等，也可以是语音控制模块等，通过识别用户的语音指令进行控制。

在本实施例公开的技术方案中，通过对所述显示装置显示的画面进行双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理，并保存经截图处理或录制处理的画面，实现用户记录及保存精彩画面的需求。

此外，本发明实施例还提出一种助视器，所述助视器包括：显示装置、具有摄像装置的AR眼镜盒、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的助视器的控制程序，所述助视器的控制程序被所述处理器执行时实现如上实施例所述的助视器的控制方法的步骤。

此外，所述助视器还包括与所述显示装置连接的控制终端和语音模块，所述控制终端用于触发参数修改指令，以便于根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

此外，本发明实施例还提出一种计算机存储介质，所述计算机存储介质上存储有助视器的控制程序，所述助视器的控制程序被所述处理器执行时实现如上实施例所述的助视器的控制方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种助视器的控制方法，其特征在于，所述助视器包括显示装置和具有摄像装置的AR增强现实眼镜盒，所述AR眼镜盒用于容置所述显示装置，并将所述显示装置显示的图像信息进行反射处理，所述助视器的控制方法包括以下步骤：

所述显示装置接收所述摄像装置获取的图像信息；

对所述图像信息进行图像处理，其中，图像处理的方式包括图像增强处理和图像矫正处理；

将完成图像处理的所述图像信息进行显示，以使完成图像处理的所述图像信息经过所述AR眼镜盒的反射作用进入到人眼中。

2.如权利要求1所述的助视器的控制方法，其特征在于，所述图像增强处理包括放大、缩小、对比度调节、亮度调节、反色、色彩模式选择和分辨率调节中的至少任一种，所述图像矫正处理包括弯曲畸变矫正和镜面反向矫正中的至少任一种。

3.如权利要求1所述的助视器的控制方法，其特征在于，所述助视器还包括语音模块，所述将完成图像处理的所述图像信息进行显示之后还包括以下步骤：

对所述显示装置显示的画面进行识别处理并语音提醒。

4.如权利要求1所述的助视器的控制方法，其特征在于，所述助视器的控制方法还包括：

在接收到用户发出的指令时，获取与搜索指令相关的画面，并进行图像处理以及显示。

5.如权利要求1所述的助视器的控制方法，其特征在于，所述助视器的控制方法还包括：

将所述显示装置无线连接到智能设备，并在所述显示设备上显示对应所述智能设备的控制界面；

在接收到用户发出的指令时，根据所述控制指令对所述智能设备进行控制处理。

6.如权利要求1所述的助视器的控制方法，其特征在于，所述将完成图像处理的所述图像信息进行显示之后还包括以下步骤：

对所述显示装置显示的画面进行双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理，并保存经截图处理或录制处理的画面。

7.如权利要求1至6中任一项所述的助视器的控制方法，其特征在于，所述助视器还包括与所述显示装置连接的控制终端，所述助视器的控制方法的步骤包括：

在接收到用户通过所述控制终端触发的参数修改指令时，根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

8.一种助视器，其特征在于，所述助视器包括：显示装置、具有摄像装置的AR眼镜盒、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的助视器的控制程序，所述助视器的控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的助视器的控制方法的步骤。

9.如权利要求8所述的助视器，其特征在于，所述助视器还包括与所述显示装置连接的控制终端和语音模块，所述控制终端用于触发参数修改指令，以根据所述参数修改指令对所述图像信息进行图像增强处理、识别处理并语音提醒、搜索处理、双屏处理、上下调节、左右调节、暂停处理、截图处理或录制处理中的对应操作，以及对智能设备进行控制处理。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有助视器的控制程序，所述助视器的控制程序被处理器执行时实现如权利要求1至7中任一项所述的助视器的控制方法的步骤。