CN115063307A - 一种基于亮度一致性的增强现实色度调节方法 - Google Patents

Abstract

本发明提出一种基于亮度一致性条件下的虚实场景色度动态调节方法，通过学习智能群体算法中的粒子群优化算法和小生境思想，刚开始在全局散布不同的像素点，再通过设置全局最优像素点和局部最优像素点，通过每次迭代时像素点不断更新向全局最优点和局部最优点看齐，直到全局处于一定的色度收敛区间内。同时为了提高时间效率，可以预先设置一个优化率，再通过扫描原始图像的色度值差距筛选掉一些极端像素点。同现有技术相比，本发明实现了在不同条件的场景下，有效避免了显示图像的分层感，使显示效果更符合人眼的视觉习惯，实现了叠加图像的色度有效均衡。

Description

一种基于亮度一致性的增强现实色度调节方法

技术领域

本发明涉及增强现实技术领域，具体为一种基于亮度一致性的增强现实色度调节方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是一种基于计算机实时计算和多传感器融合，将现实世界与虚拟信息叠加起来的技术。该技术可以通过对人的视觉、听觉、触觉等感受进行模拟和再输出，并将预设的虚拟信息叠加到真实世界的场景中，给用户一种亦虚亦实，虚实相融的超脱现实的视觉体验。

本发明所要讨论的增强现实，主要是指视觉方面的增强现实技术，其核心在于将想要叠加的虚拟信息和真实世界在物理空间中的匹配以及可视化。现阶段，增强现实技术常见用于军事战斗、医疗健康、效果展示等领域中，但在使用过程中则会发现在叠加虚拟物体时，常会出现叠加的虚拟物体和周围环境有明显的突兀感，不能达到较好的叠加效果，给用户的真实感较弱。

由此为了让整个叠加画面显得更加符合人眼的视觉习惯，并且画面色彩有效均衡，我们需要预先对画面全局光照进行处理，在此基础上再对局部和全局的色度进行调节，让虚实场景相互融合。

发明内容

技术问题：为了克服现有技术中存在的不足，本发明目的是提供一种基于亮度一致性的增强现实色度调节方法，可以在光照一致性约束条件下，根据预先设置的优化率动态调节符合人眼视觉习惯的色度空间，避免了明显的分层感和强反差感，实现了虚实融合、简洁美观的画面。

技术方案：本发明的一种基于亮度一致性的增强现实色度调节方法包括：

步骤1，提取真实环境的平均亮度值：根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照来源；

提取实际场景中像素点的亮度值，然后记录其平均值为全局平均亮度值；

步骤2，预先设置亮度一致条件下的色度优化率：将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件；

记录调整后的全局像素点色度值序列作为初始化粒子参数；

在初始化时用户选择是否输入期待的优化率；

步骤3，根据预先设定的色度值范围将虚实场景的全局像素点置于符合人眼视觉习惯的区间。

其中，

所述根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照来源包括：

读取叠加物体和真实物体的物体边界点和阴影边界点；

将所述物体边界点与对应的阴影边界点对应相连；

确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数。

所述确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数，即根据所有所述特征向量的双向延长线的交点位置即为光源在真实场景中的像素点位置。

所述的色度优化率默认设置为80％。

所述将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件，其中的比例因子α由每个像素点的初始参数值与全局平均亮度值的比值决定。

所述的步骤3包括：

按照预设的小生境范围将全局分为若干个种群，计算全局最优粒子色度值和种群最优粒子色度值；

结合色度的调节公式更新粒子下一次循环输入的速度矢量和色度矢量；

判断是否全局都处于预设的色度值范围中，若是则结束循环，否则继续更新全局粒子的最新速度矢量和色度矢量以及全局、种群最优粒子的色度值。

所述的更新粒子的下一次循环输入的速度矢量公式为

其中，v代表当前粒子参加循环时的速度矢量；

n代表当前的迭代次数；

在一个粒子总数为N的全局中，i可以取值i＝1,2,…,N；

在一个粒子空间维度为D的全局中，d可以取值d＝1,2,…,D；

代表第n次循环时当前粒子i在d维空间的个体速度矢量；

代表第n次循环时当前粒子i所计算的个体历史最优值粒子q在d维空间的速度矢量，记作个体历史最优解；

代表第n次循环时当前粒子i所在的全局中的历史最优粒子g在d维空间的速度矢量，记作全局历史最优解；

代表第n次循环时当前粒子i所在的邻域中的历史最优粒子p在d维空间的速度矢量，记作局部(种群)历史最优解；

粒子更新色度矢量公式为

其中，x代表当前粒子参加循环时的色度矢量；

n代表当前的迭代次数；

在一个粒子总数为N的全局中，i可以取值i＝1,2,…,N；

在一个粒子空间维度为D的全局中，d可以取值d＝1,2,…,D；

代表第n次循环时粒子i在d维空间的色度矢量。

附图说明

图1为本发明方法的色度调节流程图。

图2为本发明实施例1所述的基于群体智能算法的色度调节方法的流程图。

具体实施方式

本发明的一种基于亮度一致性的增强现实色度调节方法，包括以下步骤：

提取真实环境的平均亮度值；

预先设置亮度一致条件下的色度优化率；

根据预先设定的色度值范围将虚实场景的全局像素点置于符合人眼视觉习惯的区间。

其中，提取真实环境的平均亮度值，包括：

根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照来源；

提取实际场景中像素点的亮度值，然后记录其平均值为全局平均亮度值。

进一步的，根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照参数包括：

读取叠加物体和真实物体的物体边界点和阴影边界点；

将所述物体边界点与对应的阴影边界点对应相连；

确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数；

进一步的，确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数即为根据所有所述特征向量的延长线或反向延长线的交点位置确定为光源在真实场景中的像素点位置。

其中，预先设置亮度一致条件下的色度优化率，包括：

将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件；

记录调整后的全局像素点色度值序列作为初始化粒子参数；

为进一步提高方法的时间效率或满足不同用户的使用需求，在输入时可以选择是否输入期待的优化率，本方法默认设置色度优化率为80％。

进一步的，将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件包括：

比例因子α由每个像素点的初始参数值与全局平均亮度值的比值决定。

其中，根据预先设定的色度值范围将虚实场景的全局像素点置于符合人眼视觉习惯的区间，包括：

按照预设的小生境范围将全局分为若干个种群，计算全局最优粒子色度值和种群最优粒子色度值；

结合色度的调节公式更新粒子下一次循环输入的速度矢量和色度矢量；

判断是否全局都处于预设的色度值范围中，若是则结束循环，否则继续更新全局粒子的最新速度矢量和色度矢量以及全局、种群最优粒子的色度值。

其中，结合色度的调节公式更新粒子下一次循环输入的速度矢量和色度矢量分别为

为了使本方法涉及领域的人员更好地理解本发明方法，下面将结合本发明实施例中的附图，对本发明实施例中的技术方法进行清楚、完整地描述。

图1为本发明实施例提供的增强现实技术中对输入图像进行色度调节的方法流程图。如图1所示，本发明实施例提供的增强现实技术中对叠加图像的色度调节方法，具体包括：

步骤1，输入环境真实图像和对应的叠加虚拟图像。

本步骤中，当用户确定了想要叠加虚实场景的地点后，则需要通过陀螺仪或重力感应器等获取用户当前的视角和取景设备的位姿，并根据该视角确定用户能观看到真实场景的视野范围，获取初始的环境真实图像。

此外，叠加虚拟对象是用户预先在负责输入处理的电子设备中设置的想要叠加在真实环境中的对象，其类型可包括但不局限于现实环境可以提取的轮廓清晰的实体对象、在素材库中可以构建出来的有大致轮廓的虚幻对象和可以模拟的环境素材(例如雨水、太阳光圈等)。这些叠加的虚拟对象不局限于静态图像，用户可以根据真实环境和使用需要自行定义。

具体地，与真实环境图像对应指的是在固有基础常识和不违背道德伦理的条件下，可以为表达特定信息与真实场景所需的氛围相匹配的虚拟对象，或为了达到更好的显示效果而叠加的虚拟对象。在使用素材库中储存的虚拟对象时可以通过以下方式：

根据人工智能学习与初始图像相似度最高的图像模板，通过数字图像处理技术提取在该模板中可以适配于当前场景的虚拟对象，再根据用户的叠加目的进行筛选；

搜索素材库，通过对真实环境图像结合表达目的进行分析得到在真实场景中待增强的目标对象，在素材库中查找与该目标对象匹配的虚拟对象。

示例性的，若在真实环境图像中可以看到教室外面的耀眼阳光，但是在摄像设备提取图像时，对环境的成像功能较差，那么就可以根据分析现场环境，在光源射进来的方向加上适当的光圈和逐渐减弱的光线达到更加真实的效果。

步骤2，提取环境光照参数和全局平均亮度值。

本步骤中，获取的真实场景画面的初始光源参数包括但不局限于光源的坐标位置、光源的光照强度等。进一步的，首先可以根据输入的真实场景画面确定其是否处于太阳光照下，如果是，则初始光源参数可以通过以下方式得到：

通过精准定位该地的地理位置和时间信息即可根据相关部门公布的天气信息得到；

通过计算输入图像中的至少两个真实物体的实物轮廓和对应的阴影信息(包括但不局限于灰度值、轮廓线、方向信息等)确定当前场景的光照参数。

具体的，根据所得真实场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照参数包括：

读取叠加物体和真实物体的物体边界点和阴影边界点；

将所述物体边界点与对应的阴影边界点对应相连；

确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数。

进一步的，确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数即为根据所有所述特征向量的延长线或反向延长线的交点位置确定为光源在真实场景中的像素点位置。

此外，计算全局平均亮度值时，由于一般相机的原始数据类型都是YUV格式，只需要计算亮度通道Y通道的平均值。对于RGB图像，可以将RGB颜色空间转为YIQ色彩空间，其中Y是指颜色的明视度，则可得到公式：亮度Y＝0.299R+0.587G+0.114B。本发明的输入图像格式不局限于以上两种，只需要转化为可以计算出亮度通道的公式即可求解，本发明在此不做限定。

步骤3，按照预设的色度优化率排除一些极端像素点。

本步骤中，需要先根据前一步计算的全局亮度值将全局像素点都按照相应的比例因子α调整为全局平均亮度值，这样才能保证了光照一致性约束条件，并记录调整后的全局像素点色度值序列作为待优化的基础像素点参数。同时，为进一步提高方法的时间效率或满足不同用户的使用需求，在输入时用户可以选择是否输入期待的优化率，本方法默认设置色度优化率为80％。

进一步的，如果用户有设置优化率的需求，那么存储的基础像素点群会计算色调(分为高光区域、中间调区域、阴影区域)和饱和度(分为低饱和度对比、中饱和度对比和高饱和度对比)按照1：1的加权平均值从小到大排序，然后根据用户输入的优化率去除序列的首尾各一半比例的像素点得到优化像素点群。

步骤4，调节全局像素点的色度值到收敛范围内。

本步骤中，需要按照方法预设的小生境范围将全局像素点分为若干个像素点种群，计算全局最优粒子色度值和种群最优粒子色度值，然后结合色度的调节公式更新粒子下一次循环输入的速度矢量和色度矢量。每次循环都需要判断是否全局都处于预设的色度值范围中，若是则结束循环，否则继续更新全局粒子的最新速度矢量和色度矢量以及全局、种群最优粒子的色度值。

具体的，小生境的范围确定需要根据用户的使用需求具体调节，当用户更注重时间效率时，可以采用较大的小生境范围高效处理问题，当用户更加注重最终结果的精确度时，则可以考虑用较小的小生境范围迭代出更加精确的结果。

本发明实施例通过摄像设备获取当前真实环境的模拟的虚拟叠加图像；再通过提取当前环境的光照参数和全局平均亮度保证了亮度一致性前提条件；根据用户预设的色度优化率排除了一定的极端像素点，最后再学习群体智能算法调节全局像素点到设置的收敛区间内。本发明实现了在不同条件的场景下，有效避免了显示图像的分层感，使显示效果更符合人眼的视觉习惯，实现了叠加图像的色度有效均衡。

图2为本发明实施例1所述的基于群体智能算法的色度调节方法的流程图。如图2所示，本实施例为图1所示实施例的具体实现方案，因此不再赘述图1所示实施例中各步骤的具体实现方法和有益效果，本发明实施例提供的增强现实场景中基于群体智能算法的色度调节方法，具体包括：

S201，初始化待优化的基础粒子群参数。

S202，计算粒子的个体历史最优值、全局最优粒子和局部最优粒子。

S203，更新粒子速度矢量和色度矢量。

S204，判断全局是否收敛。

S205，若全局达到收敛区间，则可以输出结果。

本实施例中，首先对于实例1中已经处理为亮度一致性的待优化的基础粒子群参数进行初始化，包括设定群体规模，学习因子值，以及最大迭代次数，随机产生每个粒子的初始速度矢量等等；初始化后便开始评价每个粒子的色度值；然后将每个粒子的色度值与其自身所经历的个体最优值进行比较，若当前最优，则将该粒子当前位置作为个体历史最优解(个体历史最优解qbest)；对于每一个粒子，将其色度值与全局所经历的最优解(全局历史最优解gbest)的色度值进行比较，若当前较优，将该粒子当前色度值作为最新的全局历史最优解；然后对全局粒子的速度矢量及其色度矢量进行更新。为了提高算法的时间效率和结果精确度，在此引入了小生境思想，又引入了小生境种群中的邻域最优解。通过筛选粒子邻域中的最优解(局部历史最优解pbest)，使得当前粒子的邻域在迭代更新的过程中动态搭建，增加粒子学习群体的多样性，加快算法的收敛速度，减小色度调节的完成时间。最后再来判断当前情况是否满足结束迭代的条件，比如，判断是否符合预设的色度收敛区间、达到最大迭代次数或者最小精度要求，若否，则返回继续计算粒子群中每个粒子的色度值，进入下次迭代；若是，则停止迭代，输出结果。

Claims (7)

1.一种基于亮度一致性的增强现实色度调节方法，其特征在于，该方法包括：

步骤1，提取真实环境的平均亮度值：根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照来源；

提取实际场景中像素点的亮度值，然后记录其平均值为全局平均亮度值；

步骤2，预先设置亮度一致条件下的色度优化率：将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件；

记录调整后的全局像素点色度值序列作为初始化粒子参数；

在初始化时用户选择是否输入期待的优化率；

步骤3，根据预先设定的色度值范围将虚实场景的全局像素点置于符合人眼视觉习惯的区间。

2.根据权利要求1所述的基于亮度一致性的增强现实色度调节方法，其特征在于所述根据所得实际场景中的物体位置及其周围未被遮蔽的物体阴影区域的位置，确定场景中的光照来源包括：

读取叠加物体和真实物体的物体边界点和阴影边界点；

将所述物体边界点与对应的阴影边界点对应相连；

确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数。

3.根据权利要求2所述的基于亮度一致性的增强现实色度调节方法，其特征在于所述确定所有特征点相连的有向向量相交的交点记为当前场景的光照参数，即根据所有所述特征向量的双向延长线的交点位置即为光源在真实场景中的像素点位置。

4.根据权利要求1所述的基于亮度一致性的增强现实色度调节方法，其特征在于，所述的色度优化率默认设置为80％。

5.根据权利要求1所述的基于亮度一致性的增强现实色度调节方法，其特征在于，所述将全局像素点都按照相应的比例因子α调整为全局平均亮度值保证了光照一致性约束条件，其中的比例因子α由每个像素点的初始参数值与全局平均亮度值的比值决定。

6.根据权利要求1所述的基于亮度一致性的增强现实色度调节方法，其特征在于，所述的步骤3包括：

按照预设的小生境范围将全局分为若干个种群，计算全局最优粒子色度值和种群最优粒子色度值；

结合色度的调节公式更新粒子下一次循环输入的速度矢量和色度矢量；

判断是否全局都处于预设的色度值范围中，若是则结束循环，否则继续更新全局粒子的最新速度矢量和色度矢量以及全局、种群最优粒子的色度值。

7.根据权利要求6所述的基于亮度一致性的增强现实色度调节方法，其特征在于，所述的更新粒子的下一次循环输入的速度矢量公式为

其中，v代表当前粒子参加循环时的速度矢量；

n代表当前的迭代次数；

在一个粒子总数为N的全局中，i可以取值i＝1,2,…,N；

在一个粒子空间维度为D的全局中，d可以取值d＝1,2,…,D；

代表第n次循环时当前粒子i在d维空间的个体速度矢量；

代表第n次循环时当前粒子i所计算的个体历史最优值粒子q在d维空间的速度矢量，记作个体历史最优解；

代表第n次循环时当前粒子i所在的全局中的历史最优粒子g在d维空间的速度矢量，记作全局历史最优解；

代表第n次循环时当前粒子i所在的邻域中的历史最优粒子p在d维空间的速度矢量，记作局部(种群)历史最优解；

粒子更新色度矢量公式为

其中，x代表当前粒子参加循环时的色度矢量；

n代表当前的迭代次数；

在一个粒子总数为N的全局中，i可以取值i＝1,2,…,N；

在一个粒子空间维度为D的全局中，d可以取值d＝1,2,…,D；

代表第n次循环时粒子i在d维空间的色度矢量。

Images