[go: up one dir, main page]

CN111540335B - 色盲矫正装置、方法、智能眼镜以及控制器和介质 - Google Patents

色盲矫正装置、方法、智能眼镜以及控制器和介质 Download PDF

Info

Publication number
CN111540335B
CN111540335B CN202010286361.2A CN202010286361A CN111540335B CN 111540335 B CN111540335 B CN 111540335B CN 202010286361 A CN202010286361 A CN 202010286361A CN 111540335 B CN111540335 B CN 111540335B
Authority
CN
China
Prior art keywords
image
color
processed
pixel level
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010286361.2A
Other languages
English (en)
Other versions
CN111540335A (zh
Inventor
朱海超
陈一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN202010286361.2A priority Critical patent/CN111540335B/zh
Publication of CN111540335A publication Critical patent/CN111540335A/zh
Priority to US17/225,760 priority patent/US11657545B2/en
Application granted granted Critical
Publication of CN111540335B publication Critical patent/CN111540335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/022—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using memory planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种色盲矫正装置、方法、智能眼镜以及控制器和介质，所述方法包括根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；基于所述待处理图像、调整矩阵和调整映射表生成目标图像。本发明增加了颜色的辨识度并提高了成像效果，能够实现良好的色盲矫正。

Description

色盲矫正装置、方法、智能眼镜以及控制器和介质
技术领域
本发明涉及色盲矫正技术领域，尤其涉及一种色盲矫正装置、方法、智能眼镜以及控制器和介质。
背景技术
色盲是指对颜色的辨认出现障碍，例如红绿色盲患者就是无法分辨红色和绿色。色盲给患者在生活中造成了许多的困难，而色盲在人群中也非常常见。色盲的成因是视椎细胞发育有问题，其根本原因就是染色体上的基因缺失导致，属于一种遗传疾病，现在没有办法进行医治，所以很难完全恢复色盲人至正常人的水平。现有技术通常帮助患者增强颜色的辨别能力来实现色盲矫正，大概分成四类：第一类是带上墨镜，比如黄色，红色的或者绿色的墨镜。第二类是在显示器上做改变颜色的方法。这些方法可以根据显示内容的不同动态调整颜色。第三类是利用3D显示器，在显示的时候通过3D信息来增强颜色的辨识度。第四类方法利用VR眼镜或者AR眼镜的方式增强颜色度。
上述技术均具有对应的缺陷，第一类的颜色无法根据看到的环境内容进行调整。而且因为墨镜往往只有一种颜色，这就导致了某些重要信息可能被滤过，而且佩戴极其不舒适。第二类在显示器上显示时，改变内容的颜色。这种方法只能针对于电视，显示器或者手机等带显示的设备，对于看普通的物体是没有任何帮助的。第三类只能针对于电视，显示器或者手机带显示的设备，对于看普通的物体是没有任何帮助的。相对于前三种方法，第四类方法可以根据环境动态的调整颜色而不局限于一种颜色，且这类方法都是可以佩戴的设备，方便随身携带。但是，第四类并没有对环境的光照和颜色估计进行很好估计。由于环境对相机成像影响很大，所以导致颜色估计出现偏差。此外，这类方法也需要将图像显示在眼镜上，所以也要考虑显示器对颜色的造成的偏差，这类方法目前也没有考虑这个隐私。且同样是显示成像问题，这类方法也没有考虑人眼和物体运动的特性，导致成像效果比较差，可以应用的场景是非常有限的。
发明内容
本发明目的在于，提供一种色盲矫正装置、方法、智能眼镜以及控制器和介质，增加了颜色的辨识度并提高了成像效果，能够实现良好的色盲矫正。
根据本发明第一实施例，提供了一种色盲矫正方法，包括:
根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；
基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；
将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；
基于所述待处理图像、调整矩阵和调整映射表生成目标图像。
进一步的，所述根据环境色温调整相机捕获的图像颜色，通过以下公式来调整相机捕获的图像的RGB值：
Figure BDA0002448660950000021
Figure BDA0002448660950000022
Figure BDA0002448660950000023
其中，T表示环境色温/100。
进一步的，所述将调整图像的像素级别调整至预设像素级别，包括：
将所述调整图像的预设关键帧进行逆色调映射，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。
进一步的，还包括，采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，其中，所述第一神经网络为编码器-解码器架构的神经网络。
进一步的，还包括：根据色盲的种类和色盲程度设定所述RGB目标值。
进一步的，基于所述待处理图像、调整矩阵和调整映射表生成目标图像，包括：
将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；
根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；
若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。
进一步的，所述将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像，包括：
将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；
对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。
根据本发明第二实施例，提供了一种色盲矫正装置，包括:
待处理图像获取模块，配置为根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；
调整矩阵确定模块，配置为基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；
调整映射表确定模块，配置为将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；
目标图像生成模块，配置为基于所述待处理图像、调整矩阵和调整映射表生成目标图像。
进一步的，所述待处理图像获取模块包括图像颜色调整单元，配置为根据环境色温调整相机捕获的图像颜色，具体通过以下公式来调整相机捕获的图像的RGB值：
Figure BDA0002448660950000031
Figure BDA0002448660950000032
Figure BDA0002448660950000033
其中，T表示环境色温/100。
进一步的，所述待处理图像获取模块包括像素级别调整单元，配置为将所述将调整图像的像素级别调整至预设像素级别，具体配置为：
将所述调整图像的预设关键帧进行逆色调映射，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。
进一步的，所述像素级别调整单元进一步配置为，采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，其中，所述第一神经网络为编码器-解码器架构的神经网络。
进一步的，还包括RGB目标值设定模块：配置为根据色盲的种类和色盲程度设定所述RGB目标值。
进一步的，所述目标图像生成模块包括：
待映射图像获取单元，配置为将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；
待显示图像获取单元，配置为根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；
目标图像生成单元，配置为若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。
进一步的，所述待映射图像获取单元包括：
第一处理子单元，配置为将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；
第二处理子单元，配置为对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。
根据本发明第三实施例，提供了一种智能眼镜，包括所述色盲矫正装置。
进一步的，所述智能眼睛沿光传播方向依次包括第一光学元件、颜色温度传感器、相机、色盲矫正装置、投影仪和第二光学元件，其中，
所述第一个光学元件用于向相机反射图像；
所述颜色温度传感器用于感知环境色温和环境颜色；
所述相机用于采集图像；
所述色盲矫正装置用于将所述星际采集的图像进行色盲矫正，生成目标图像；
所述投影仪用于将所述目标图像投射至眼镜镜面；
所述第二光学元件用于将眼镜镜面的目标图像传输至人眼。
进一步的，若所述智能眼镜为VR眼镜，则所述第一光学元件和第二光学元件均为反射镜；
若所述智能眼镜为AR眼镜，则所述第一光学元件为分光片，所述第二光学元件为合光片。
根据本发明第四实施例，提供了一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述方法的步骤。
根据本发明第五实施例，提供了一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述方法的步骤。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明一种色盲矫正装置、方法、智能眼镜以及控制器和介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明通过动态调整颜色，能够为色盲人群增加颜色的辨识度并提高了成像效果，能够实现良好的色盲矫正，且应用于智能眼镜时便于穿戴，提升了用户的体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明一实施例提供的色盲矫正方法流程图；
图2为本发明一实施例提供的编码器-解码器架构的神经网示意图；
图3(a)为本发明一实施例提供的真实的图像示意图；
图3(b)为本发明一实施例提供的真实的图像通过本发明色盲矫正后的图像示意图；
图4为本发明一实施例提供的色盲矫正装置示意图；
图5为本发明一实施例提供的VR智能眼镜示意图；
图6为本发明一实施例提供的AR智能眼镜示意图。
【符号说明】
1：待处理图像获取模块 2：调整矩阵确定模块
3：调整映射表确定模块 4：目标图像生成模块
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种色盲矫正装置、方法、智能眼镜以及控制器和介质的具体实施方式及其功效，详细说明如后。
本发明实施例提供了一种色盲矫正方法，如图1所示，包括以下步骤:
步骤S1、根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；
步骤S2、基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；
具体通过下式求得：
Figure BDA0002448660950000061
等式的右边表示正常的显示的RGB三个通道的值，左边表示经过色盲校正的RGB三个通道的值，M表示调整矩阵。
作为示例，可根据色盲的种类和色盲程度设定所述RGB目标值。
步骤S3、将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；
步骤S4、基于所述待处理图像、调整矩阵和调整映射表生成目标图像。
作为一种示例，步骤S1中，具体可通过相机采集图像，可采用颜色温度传感器(color temperature sensor)对相机感受到的环境光进行补偿，其中，所述根据环境色温调整相机捕获的图像颜色，通过以下公式来调整相机捕获的图像的RGB值：
Figure BDA0002448660950000062
Figure BDA0002448660950000063
Figure BDA0002448660950000071
其中，T表示环境色温/100，即例如对于环境色温为6000K，T＝60。
当根据温度调整完颜色后，接着需要根据图像内容对环境的颜色进行进一步的估计。作为一种示例，步骤S1中，所述将调整图像的像素级别调整至预设像素级别，包括步骤S11、将所述调整图像的预设关键帧进行逆色调映射(Reverse Tone Mapping)，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。相机系统里的像素级别一般是8bit，为了更加精确地估计图像，可将预设像素级别设定为32bit。
步骤S11中，可以采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，帧间的运动估计可采用光流法。其中，所述第一神经网络为编码器-解码器架构的神经网络，如图2所示。
作为一种示例，所述步骤S4包括：
步骤S41、将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；
步骤S42、根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；
步骤S43、若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。
对于AR眼镜来说，进入人眼的图像主要是两部分图像信息混合在一起的：
BlendedColor＝fFG+fBG
其中BlendedColor就是人眼最后看到的颜色。fFG就是表示在显示器上显示的图像，fBG是透过镜片的光照信息图像。
而对于VR眼镜，因为看不到外面的世界，BlendedColor＝fFG，人眼看到的是只有显示器上显示的图像。
作为一种示例，步骤S41中包括：
步骤S411、将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；
步骤S412、对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。
步骤S412采用光流信息和分割出的信息，实现对一个物体做颜色转换的时候保留语义信息。
通过本发明所述方法，为色盲人群增加颜色的辨识度，如图3所示示例，图3(a)表示真实的图像，图3(b)为真实的图像通过本发明转换后，色盲人所看到的图像。本示例模拟红绿色盲，可以看到色盲人看到是一片灰色，而经过本发明所述方法处理后，色盲人能分辨出里面的数字，增强了他们的辨识能力。此外，通过本发明所述方法进行色盲矫正，可以帮助色盲人群进行购物，导航，识别路牌和交通信号灯等等。
本发明还提供了一种色盲矫正装置，如图4所示，包括待处理图像获取模块1、调整矩阵确定模块2、调整映射表确定模块3和目标图像生成模块4，其中，待处理图像获取模块1配置为根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；调整矩阵确定模块2配置为基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；调整映射表确定模块3配置为将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；目标图像生成模块4配置为基于所述待处理图像、调整矩阵和调整映射表生成目标图像。
作为一种示例，所述待处理图像获取模块1包括图像颜色调整单元，配置为根据环境色温调整相机捕获的图像颜色，具体通过以下公式来调整相机捕获的图像的RGB值：
Figure BDA0002448660950000081
Figure BDA0002448660950000082
Figure BDA0002448660950000083
其中，T表示环境色温/100，即例如对于环境色温为6000K，T＝60。。
作为一种示例，所述待处理图像获取模块1包括像素级别调整单元，配置为将所述将调整图像的像素级别调整至预设像素级别，具体配置为：将所述调整图像的预设关键帧进行逆色调映射，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。相机系统里的像素级别一般是8bit，为了更加精确地估计图像，可将预设像素级别设定为32bit。
所述像素级别调整单元进一步配置为采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，帧间的运动估计可采用光流法。其中，所述第一神经网络为编码器-解码器架构的神经网络。
作为一种示例，所述装置还包括RGB目标值设定模块：配置为根据色盲的种类和色盲程度设定所述RGB目标值。
作为一种示例，所述目标图像生成模块4包括待映射图像获取单元、待显示图像获取单元和目标图像生成单元，其中，待映射图像获取单元配置为将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；待显示图像获取单元配置为根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；目标图像生成单元配置为若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。对于AR眼镜来说，进入人眼的图像主要是两部分图像信息混合在一起的：
BlendedColor＝fFG+fBG
其中BlendedColor就是人眼最后看到的颜色。fFG就是表示在显示器上显示的图像，fBG是透过镜片的光照信息图像。
而对于VR眼镜，因为看不到外面的世界，BlendedColor＝fFG，人眼看到的是只有显示器上显示的图像。
作为一种示例，所述待映射图像获取单元包括第一处理子单元和第二处理子单元，其中，第一处理子单元配置为将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；第二处理子单元配置为对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。采用光流信息和分割出的信息，实现对一个物体做颜色转换的时候保留语义信息。
通过本发明所述方法，为色盲人群增加颜色的辨识度，如图3所示示例，图3(a)表示真实的图像，图3(b)为真实的图像通过本发明所述装置转换后，色盲人所看到的图像。本示例模拟红绿色盲，可以看到色盲人看到是一片灰色，而经过本发明所述装置处理后，色盲人能分辨出里面的数字，增强了他们的辨识能力。此外，通过本发明所述装置进行色盲矫正，可以帮助色盲人群进行购物，导航，识别路牌和交通信号灯等等。
本发明实施例还提供了一种智能眼镜，包括本发明实施例所述色盲矫正装置。
作为一种示例，所述智能眼睛沿光传播方向依次包括第一光学元件、颜色温度传感器、相机、色盲矫正装置、投影仪和第二光学元件，其中，所述第一个光学元件用于向相机反射图像；所述颜色温度传感器用于感知环境色温和环境颜色；所述相机用于采集图像；所述色盲矫正装置用于将所述星际采集的图像进行色盲矫正，生成目标图像；所述投影仪用于将所述目标图像投射至眼镜镜面；所述第二光学元件用于将眼镜镜面的目标图像传输至人眼。
作为示例，若所述智能眼镜为VR眼镜，如图5所示，则所述第一光学元件和第二光学元件均为反射镜；若所述智能眼镜为AR眼镜，如图6所示，则所述第一光学元件为分光片，所述第二光学元件为合光片。
本发明实施例还提供一种控制器，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现所述色盲矫正方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现所述色盲矫正方法的步骤。
本发明实施例通过动态调整颜色，能够为色盲人群增加颜色的辨识度并提高了成像效果，能够实现良好的色盲矫正，且应用于智能眼镜时便于穿戴，提升了用户的体验。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (17)

1.一种色盲矫正方法，其特征在于，包括:
根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；
基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；
将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；
基于所述待处理图像、调整矩阵和调整映射表生成目标图像；
其中，所述将调整图像的像素级别调整至预设像素级别，包括：
将所述调整图像的预设关键帧进行逆色调映射，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。
2.根据权利要求1所述的色盲矫正方法，其特征在于，
所述根据环境色温调整相机捕获的图像颜色，通过以下公式来调整相机捕获的图像的RGB值：
Figure FDA0002905857280000011
Figure FDA0002905857280000012
Figure FDA0002905857280000013
其中，T表示环境色温/100。
3.根据权利要求1所述的色盲矫正方法，其特征在于，
还包括，采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，其中，所述第一神经网络为编码器-解码器架构的神经网络。
4.根据权利要求1所述的色盲矫正方法，其特征在于，
还包括：根据色盲的种类和色盲程度设定所述RGB目标值。
5.根据权利要求1所述的色盲矫正方法，其特征在于，
所述基于所述待处理图像、调整矩阵和调整映射表生成目标图像，包括：
将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；
根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；
若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。
6.根据权利要求5所述的色盲矫正方法，其特征在于，
所述将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像，包括：
将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；
对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。
7.一种色盲矫正装置，其特征在于，包括:
待处理图像获取模块，配置为根据环境色温调整图像颜色得到调整图像，然后根据图像内容将调整图像的像素级别调整至预设像素级别，得到待处理图像；
调整矩阵确定模块，配置为基于所述待处理图像的RGB值和预设的RGB目标值确定调整矩阵；
调整映射表确定模块，配置为将显示器上的显示的颜色和标准比色卡的颜色进行对比校正，确定调整映射表；
目标图像生成模块，配置为基于所述待处理图像、调整矩阵和调整映射表生成目标图像；
其中，所述待处理图像获取模块包括像素级别调整单元，配置为将所述将调整图像的像素级别调整至预设像素级别，具体配置为：
将所述调整图像的预设关键帧进行逆色调映射，将除所述预设关键帧以外的其他帧进行运动估计，从而将所述调整图像的像素级别调整至预设像素级别，其中，所述调整图像每预设数量帧处理一帧，处理的这帧为所述关键帧。
8.根据权利要求7所述的色盲矫正装置，其特征在于，
所述待处理图像获取模块包括图像颜色调整单元，配置为根据环境色温调整相机捕获的图像颜色，具体通过以下公式来调整相机捕获的图像的RGB值：
Figure FDA0002905857280000031
Figure FDA0002905857280000032
Figure FDA0002905857280000033
其中，T表示环境色温/100。
9.根据权利要求7所述的色盲矫正装置，其特征在于，
所述像素级别调整单元进一步配置为，采用第一神经网络将所述调整图像的预设关键帧进行逆色调映射，采用光流法将除所述预设关键帧以外的其他帧进行运动估计，其中，所述第一神经网络为编码器-解码器架构的神经网络。
10.根据权利要求7所述的色盲矫正装置，其特征在于，
还包括RGB目标值设定模块：配置为根据色盲的种类和色盲程度设定所述RGB目标值。
11.根据权利要求7所述的色盲矫正装置，其特征在于，
所述目标图像生成模块包括：
待映射图像获取单元，配置为将所述待处理图像的像素级别恢复至原始像素级别，得到待映射的图像；
待显示图像获取单元，配置为根据所述调整映射表和调整矩阵将所述待映射的图像进行映射，得到待显示的图像；
目标图像生成单元，配置为若进行AR显示，则将待显示的图像与透过镜片的光照信息图像混合后进行显示，若进行VR显示，则将所述待显示的图像进行显示。
12.根据权利要求11所述的色盲矫正装置，其特征在于，
所述待映射图像获取单元包括：
第一处理子单元，配置为将所述待处理图像输入第二神经网络进行处理，所述第二神经网络为所述第一神经网络倒转的架构；
第二处理子单元，配置为对于所述除所述预设关键帧以外的其他帧,估计所述帧与帧之间每个像素的运动轨迹，根据当前帧的当前像素的需要显示的值和所述帧与帧之间每个像素的运动轨迹估计出所述除所述预设关键帧以外的其他帧个像素显示的值，从而得到所述待映射的图像。
13.一种智能眼镜，其特征在于，包括权利要求7-12中任意一项所述色盲矫正装置。
14.根据权利要求13所述的智能眼镜，其特征在于，
所述智能眼睛沿光传播方向依次包括第一光学元件、颜色温度传感器、相机、色盲矫正装置、投影仪和第二光学元件，其中，
所述第一个光学元件用于向相机反射图像；
所述颜色温度传感器用于感知环境色温和环境颜色；
所述相机用于采集图像；
所述色盲矫正装置用于将所述星际采集的图像进行色盲矫正，生成目标图像；
所述投影仪用于将所述目标图像投射至眼镜镜面；
所述第二光学元件用于将眼镜镜面的目标图像传输至人眼。
15.根据权利要求14所述的智能眼镜，其特征在于，
若所述智能眼镜为VR眼镜，则所述第一光学元件和第二光学元件均为反射镜；
若所述智能眼镜为AR眼镜，则所述第一光学元件为分光片，所述第二光学元件为合光片。
16.一种控制器，其包括存储器与处理器，其特征在于,所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现权利要求1至6中任意一项权利要求所述的方法的步骤。
17.一种计算机可读存储介质，用于存储计算机程序，其特征在于,所述程序在由一计算机或处理器执行时实现如权利要求1至6中任意一项权利要求所述的方法的步骤。
CN202010286361.2A 2020-04-13 2020-04-13 色盲矫正装置、方法、智能眼镜以及控制器和介质 Active CN111540335B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010286361.2A CN111540335B (zh) 2020-04-13 2020-04-13 色盲矫正装置、方法、智能眼镜以及控制器和介质
US17/225,760 US11657545B2 (en) 2020-04-13 2021-04-08 Device, method, smart glasses for color vision deficiency correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286361.2A CN111540335B (zh) 2020-04-13 2020-04-13 色盲矫正装置、方法、智能眼镜以及控制器和介质

Publications (2)

Publication Number Publication Date
CN111540335A CN111540335A (zh) 2020-08-14
CN111540335B true CN111540335B (zh) 2021-04-23

Family

ID=71978624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286361.2A Active CN111540335B (zh) 2020-04-13 2020-04-13 色盲矫正装置、方法、智能眼镜以及控制器和介质

Country Status (2)

Country Link
US (1) US11657545B2 (zh)
CN (1) CN111540335B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2908110A1 (es) * 2021-12-02 2022-04-27 Univ Madrid Complutense Gafas de compensación del color
CN114840704B (zh) * 2022-04-13 2022-10-18 云南省农业科学院质量标准与检测技术研究所 植物颜色比对方法、装置、设备及存储介质
CN118570111B (zh) * 2024-07-31 2025-02-14 汉朔科技股份有限公司 图像显示增强方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788342A (zh) * 2009-01-23 2010-07-28 三菱电机株式会社 颜色校准系统
CN103310736A (zh) * 2012-03-16 2013-09-18 联想(北京)有限公司 一种显示方法和装置
CN103514828A (zh) * 2012-06-15 2014-01-15 中兴通讯股份有限公司 根据光线的色温变化调节界面显示的装置、方法和终端
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN106249406A (zh) * 2016-08-30 2016-12-21 喻阳 改善色彩感知和矫正色盲色弱视觉的人工智能透镜及设计方法
CN108712639A (zh) * 2018-05-29 2018-10-26 凌云光技术集团有限责任公司 图像颜色校正方法、装置及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101973664B (zh) 2010-09-27 2012-05-09 普罗米绿色能源(深圳)有限公司 污水处理设备、方法及其应用
CN204079633U (zh) 2014-09-28 2015-01-07 大连东泰有机废物处理有限公司 一种沼液浓缩预处理装置
CN105624024B (zh) 2014-10-31 2018-01-19 南京法迈特科技发展有限公司 腔道内容物中微生物分离装置
CN204411879U (zh) 2015-01-13 2015-06-24 南京圣卡孚科技有限公司 错流过滤膜与盲端过滤膜连续分离非均相催化剂的装置
KR102261422B1 (ko) * 2015-01-26 2021-06-09 삼성디스플레이 주식회사 표시 장치
NZ773833A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2018004005A1 (ja) * 2016-06-30 2018-01-04 株式会社プロスパークリエイティブ 色変換システム、色変換装置及び色変換方法
CN106396267A (zh) 2016-10-21 2017-02-15 南阳市宣溢环保设备股份有限公司 畜禽养殖废水处理系统
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
CN108676704B (zh) 2018-07-30 2024-08-06 奇辉生物科技(扬州)有限公司 一种肠道内容物分离回收装置、方法及其产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788342A (zh) * 2009-01-23 2010-07-28 三菱电机株式会社 颜色校准系统
CN103310736A (zh) * 2012-03-16 2013-09-18 联想(北京)有限公司 一种显示方法和装置
CN103514828A (zh) * 2012-06-15 2014-01-15 中兴通讯股份有限公司 根据光线的色温变化调节界面显示的装置、方法和终端
CN104306102A (zh) * 2014-10-10 2015-01-28 上海交通大学 针对视觉障碍患者的头戴式视觉辅助系统
CN106249406A (zh) * 2016-08-30 2016-12-21 喻阳 改善色彩感知和矫正色盲色弱视觉的人工智能透镜及设计方法
CN108712639A (zh) * 2018-05-29 2018-10-26 凌云光技术集团有限责任公司 图像颜色校正方法、装置及系统

Also Published As

Publication number Publication date
US11657545B2 (en) 2023-05-23
CN111540335A (zh) 2020-08-14
US20210319597A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN111540335B (zh) 色盲矫正装置、方法、智能眼镜以及控制器和介质
CN108153502B (zh) 基于透明屏幕的手持式增强现实显示方法及装置
US10356383B2 (en) Adjustment of perceived roundness in stereoscopic image of a head
CN107105333A (zh) 一种基于视线追踪技术的vr视频直播交互方法与装置
US20150304625A1 (en) Image processing device, method, and recording medium
US20230244307A1 (en) Visual assistance
CN102043942A (zh) 目视方向判断方法、影像处理方法及其装置、和显示装置
CN106095106A (zh) 虚拟现实终端及其显示光心距的调整方法及装置
CN111913561A (zh) 基于眼睛状态的显示方法及装置、显示设备及存储介质
CN110099268A (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
US11726320B2 (en) Information processing apparatus, information processing method, and program
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
US11941171B1 (en) Eye gaze tracking method, apparatus and system
US11436987B1 (en) Adaptive backlight activation for low-persistence liquid crystal displays
US20170206051A1 (en) Content sharing methods and apparatuses
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
KR101780813B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
US20250116879A1 (en) Driving method for liquid crystal grating, and display apparatus and display method for display apparatus
CN112153319A (zh) 基于视频通信技术的ar信息显示方法和装置
CN106775527A (zh) 调节显示面板的显示参数的方法、装置和显示设备
US11580922B2 (en) Display latency reduction
CN115756285A (zh) 屏幕显示亮度调整方法及装置、存储介质及电子设备
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
Yoshimura et al. Appearance-based gaze estimation for digital signage considering head pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant