CN113034660A

CN113034660A - 一种基于pbr反射模型的激光雷达仿真方法

Info

Publication number: CN113034660A
Application number: CN202110330512.4A
Authority: CN
Inventors: 李红; 吕攀; 辛越; 杨国青; 吴朝晖
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2021-06-25
Anticipated expiration: 2041-03-23
Also published as: CN113034660B

Abstract

本发明公开了一种基于PBR反射模型的激光雷达仿真方法，可以充分利用渲染引擎及图形处理器的加速能力，同时利用障碍物表面法向、粗糙度、高光系数等材质信息，得到逼真的点云强度信息。本发明真实感激光雷达仿真流程包括两个渲染阶段：第一个渲染阶段以场景纹理的形式输出激光雷达视角下场景模型的表面位置、表面法向以及表面材质信息；第二个渲染阶段根据场景模型的表面信息计算点云中每个点的位置和强度，以点云纹理的形式输出。因此，本发明仿真方法能够真实地模拟激光雷达的强度信息，并且借助于GPU的图形渲染管线来提高计算效率。

Description

一种基于PBR反射模型的激光雷达仿真方法

技术领域

本发明属于传感器仿真技术领域，具体涉及一种基于PBR反射模型的激光雷达仿真方法。

背景技术

传感器是机器人感知周围环境的主要途径，传感器仿真是移动机器人仿真系统至关重要的一环，仿真系统能否实时提供与现实世界相仿的高质量传感器数据，是整个仿真系统正常工作的关键。

激光雷达能够为移动机器人提供精准的环境深度测量，因此被广泛应用于环境感知以及定位任务。近几年随着使用专业图形引擎的仿真系统的出现，激光雷达仿真的真实程度远远落后于摄像头仿真，但是感知和定位算法的进步对激光雷达仿真的提出了更高的要求。

现阶段主流的激光雷达仿真方法有光线投射方法和场景深度还原方法，其中光线投射方法模拟激光雷达的扫描方式，计算虚拟光线于场景物体的交点，得到点云的坐标信息；场景深度还原方法则通过仿真环境中的虚拟相机深度缓冲进行图形处理和矫正后得到点云坐标信息。

公开号为CN103400003A的中国专利提供了一种基于GPU编程实现的激光雷达场景仿真方法，将BRDF的参数保存成DDS数据纹理，在片段程序中对数据纹理采样，再根据BRDF反射模型计算激光亮度值；该专利技术生成场景BRDF材质纹理文件是在CPU上完成的，需要事先设定材质编号，在具有复杂材质的场景下适用度不高。公开号为CN110133625A的中国专利提供了一种快速球坐标激光雷达仿真方法，由CPU与GPU进行协同运算，在片元着色器中对三角面进行射线检测计算碰撞点坐标。公开号为CN109814093A的中国专利提供了一种基于CPU多核计算的激光雷达仿真方法以及装置，能够模拟车辆在高速运行时的激光雷达点云偏移误差。

发明内容

鉴于上述，本发明提供了一种基于PBR(Physical based rendered，基于物理的渲染)反射模型的激光雷达仿真方法，可以充分利用渲染引擎及图形处理器的加速能力，并且利用障碍物表面法向、粗糙度、高光系数等材质信息得到逼真的点云强度信息。

一种基于PBR反射模型的激光雷达仿真方法，包括如下步骤：

(1)将激光雷达视角下的场景位置、法向和材质信息分别渲染到三张场景纹理中；

(2)创建并保存激光雷达仿真结果中的点云纹理，将点云纹理的纹理坐标以等角度采样的方式映射到三张场景纹理上；对于点云纹理的每个纹素，按等角度映射后的坐标进行场景纹理采样，点云纹理的分辨率与激光雷达分辨率相同，每个纹素对应激光雷达仿真结果中的每个点；

(3)对于点云纹理的每个纹素，根据场景纹理的采样结果和PBR反射模型计算点云的强度信息，并将计算结果保存到点云纹理中；

(4)读取点云纹理中的点云数据，丢弃强度值过小的点，得到激光雷达仿真数据并将其保存到激光雷达仿真结构体数组中。

进一步地，所述步骤(1)的渲染过程即利用激光雷达仿真模块根据机器人位姿捕获该位姿状态下激光雷达360度视角的场景信息并保存到场景纹理中，场景纹理包括场景位置纹理、场景法向纹理、场景材质纹理，其中场景位置纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下的x、y、z坐标，场景法向纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下单位法向量的x、y、z分量，场景材质纹理中每个纹素的R、G、B通道分别为材质的R通道底色、粗糙度、高光。

进一步地，所述步骤(1)中通过调整仿真软件中的摄像机位置和视角大小，使其与激光雷达的位置和视角保持一致，然后将摄像机视角下场景的位置信息、表面法向以及材质信息分别渲染到三张场景纹理中，材质信息来源于图像渲染材质。

进一步地，所述场景纹理的生成过程即利用了GPU渲染管线的顶点着色器和像素着色器，顶点着色器用于计算模型顶点的属性，像素着色器用于计算渲染目标中每个像素的RGBA通道值，具体地：首先在顶点着色器中使用模型空间到世界空间的变换矩阵计算模型顶点在世界坐标系下的位置以及顶点所在位置的法向信息，之后经过渲染管线的光栅化处理得到渲染目标纹理中每个纹素对应的模型点在世界坐标系中的位置和法向以及材质贴图的纹理坐标；在像素着色器中，对于场景位置纹理中的每个纹素，RGB通道值为该点在激光雷达临时坐标系下的坐标值；对于场景法向纹理中的每个纹素，RGB通道值为该点表面在激光雷达临时坐标系下的单位法向量，且与该表面在世界坐标系下的单位法向量相等；场景材质纹理生成前需要根据材质贴图纹理坐标对模型材质纹理进行采样得到材质属性，对于场景材质纹理中的每个纹素，RGB通道值分别对应材质属性的R通道底色、粗糙度和高光。

进一步地，所述步骤(2)中的场景纹理采样即按照激光雷达水平方向等角度采样的方式，对场景位置纹理、场景法向纹理、场景材质纹理进行柱面采样，采样结果为点云中每个点的位置、表面法向、材质的属性信息，从而得到激光雷达等角度采样模型下场景纹理坐标与点云纹理坐标的映射关系，即点云纹理坐标(u_p,v_p)映射的场景纹理坐标为

其中

进一步地，所述步骤(3)中采用基于Lambertian漫反射BRDF(Bidirectionalreflectance distribution function，双向反射分布函数)和Cook-Torrance微表面镜面反射的BRDF着色模型，该模型由漫反射分量和镜面反射分量相加得到；考虑到激光雷达即使光源又是观察者以及激光的反射强度与入射角度之间的关系，通过对BRDF着色模型变体得到以材质粗糙度、底色、高光系数为参数的PBR反射模型，进而根据场景纹理和PBR反射模型在全局着色器中计算出激光点云的强度信息。

进一步地，所述步骤(1)～(3)在GPU上完成，步骤(4)则由CPU从GPU内存中读取点云数据，点云纹理每个纹素的RGBA通道分别对应点云的XYZ坐标和强度值，CPU在丢弃异常数据后得到激光雷达仿真结果。

基于上述技术方案，本发明具有以下有益技术效果：

1.本发明使用的材质纹理信息来源于图像渲染中的材质纹理，在仿真软件中可以直接使用，自动生成复杂的场景纹理信息，不需要手动处理。

2.本发明使用GPU的图形渲染管线，在片元着色器中只进行强度值的计算，提高了仿真计算效率。

附图说明

图1为本发明激光雷达仿真渲染阶段的流程示意图。

图2为本发明激光雷达仿真方法的流程示意图。

图3为激光雷达等角度采样模型的俯视图。

图4为激光雷达等角度采样模型的侧视图。

图5为实验仿真样例场景示意图。

图6为仿真数据的可视化结果示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明提出的真实感激光雷达仿真流程包括两个渲染阶段，如图1所示，第一个渲染阶段以场景纹理的形式输出激光雷达视角下场景模型的表面位置、表面法向以及表面材质信息；第二个渲染阶段根据场景模型的表面信息计算点云中每个点的位置和强度，以点云纹理的形式输出；具体的仿真流程如图2所示。

(1)第一个渲染阶段将激光雷达仿真模块根据机器人位姿捕获该位姿状态下的激光雷达360度视角的场景信息并保存到纹理中，场景纹理主要包括场景位置纹理、场景法向纹理、场景材质纹理等。其中场景位置纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下的x、y、z坐标，场景法向纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下的单位法向量的x、y、z分量，场景材质纹理中每个纹素的R、G、B通道分别为材质的底色R通道、粗糙度、高光等属性；场景纹理的数据格式如表1所示。

表1

场景纹理的生成算法如下，该过程输入场景模型Model、模型空间到世界空间的变换矩阵M_M→W和模型的材质贴图Tex_m，输出场景位置纹理RT_p、场景法向纹理RT_n和场景材质纹理RT_m。

场景纹理的生成过程利用了GPU的渲染管线的顶点着色器和像素着色器，顶点着色器计算模型顶点的属性，像素着色器计算渲染目标中每个像素的RGBA通道值。首先在顶点着色器中使用变换矩阵M_M→W计算模型顶点在世界坐标系下的位置以及顶点的所在位置的法向信息，之后经过渲染管线的光栅化处理，得到渲染目标纹理RT中每个纹素对应的模型点在世界坐标系中的位置p和法向n以及材质贴图的纹理坐标uv_m。在像素着色器中，对于场景位置纹理RT_p中的每个纹素，RGB通道值为该点在激光雷达临时坐标系下的坐标值；对于场景法向纹理RT_n中的每个纹素，RGB通道值为该点表面在激光雷达临时坐标系下的单位法向量，与该表面在世界坐标系下的单位法向量相等；场景材质纹理RT_m生成前需要根据材质贴图纹理坐标uv_m对模型材质纹理采样，得到材质属性material，RT_m中的每个纹素，RGB通道值分别对应material的红色底色、粗糙度和高光。

(2)创建保存激光雷达仿真结果的点云纹理，纹理的分辨率与激光雷达分辨率相同，每个纹素对应激光仿真结果的每个点。

(3)开始第二个渲染阶段，依照激光雷达水平方向等角度采样的方式，对场景位置纹理、场景法向纹理、场景材质纹理等进行柱面采样，采样结果为点云中每个点的位置、表面法向、材质等属性信息。

如图3所示，以激光雷达前方向90度水平视角区域为例，设激光雷达的投影柱面与投影中心O的距离为r，某采样点对应的场景纹理坐标为(u_c,v_c)，对应的点云纹理坐标为(u_p,v_p)，则该采样线与x轴正向夹角α为：

又因为：

所以：

激光雷达投影柱面与相机视锥体的棱恰好相交，如图4所示，因此激光雷达投影柱面的高度h_p与相机投影面高度h_c的关系为：

v_p与v_c有相似的关系，即：

所以：

至此我们得到了激光雷达等角度采样模型下场景纹理坐标与点云纹理坐标的映射关系：点云纹理坐标(u_p,v_p)对应的场景纹理采样坐标是

其中

(4)根据上一步的点属性采样结果以及PBR光线反射模型计算点的反射强度，剔除部分异常的点，最后的计算结果保存到点云纹理中。

本发明真实感激光雷达仿真使用了Lambertian漫反射BRDF(Bidirectionalreflectance distribution function，双向反射分布函数)和Cook-Torrance微表面镜面反射BRDF着色模型，激光雷达的BRDF着色模型由漫反射分量和镜面反射分量相加得到：

f(l，v)＝f_diff(l，v)+f_spec(l，v)

式中：f_diff和f_spec分别为漫反射BRDF分量和镜面反射BRDF分量，l和v分别为反射点指向光源的单位向量和反射点指向观察者的单位向量。

根据Lambertian漫反射理论，激光雷达BRDF漫反射分量为：

式中：c_base为材质底色。

通用的Cook-Torrance微表面镜面着色模型为：

式中：D为法线分布函数，描述了微表面的发现分布情况；F为菲涅尔系数，描述表面高光情况和；G为几何函数，描述了微表面之间的遮挡情况；n为表面的单位法向，h定义为：

考虑上述对激光雷达即使光源又是观察者，得到微表面模型的变体：

法向分布函数项使用Disney的GGX/Trowbridge-Reitz模型的变体：

式中：α定义为材质粗糙度参数的平方，即α＝Roughness²。

为了兼顾仿真真实度和计算有效性，菲涅尔项使用Schlick提出的菲涅尔系数计算的近似方法，使用球面高斯近似代替其指数项，菲涅尔项的定义为：

F(l)＝F₀+(1-F₀)2^-12.53789

式中：F₀为材质的高光系数。

几何函数使用Disney几何函数的变体：

其中：Roughness为表面的粗糙度参数。

考虑到激光的反射强度与激光束的入射角度的关系后，激光雷达的PBR反射模型为：

其中：L表示场景中某点反射的激光强度与激光雷达发出的激光束强度的比值。

上述的分析讨论得出了以材质粗糙度、底色、高光系数为参数的PBR反射模型，根据场景纹理与激光反射模型，可以在全局着色器中计算激光点云中每个点的强度信息。

(5)CPU读取点云纹理中，读取纹理中的每个纹素，将结果保存到激光雷达仿真结构体数组中。

本发明真实感激光雷达仿真模型在虚幻引擎中实现，对场景信息有一定要求，仿真过程中的前提和假设为：(1)在仿真之前场景模型、材质和纹理等信息已经导入到引擎中；(2)场景模型的材质信息包含底色(Base Color)、粗糙度(Roughness)、金属色(Metallic)、高光(Specular)等PBR材质参数。

本发明激光雷达仿真方法部署在高图形性能的计算机上，实施中使用的图形处理器型号为NVIDIA GTX 1080Ti，显存为11GB。仿真计算机操作系统为Windows 10，仿真计算机与装有Ubuntu 18.04和ROS的测试计算机使用网线连接，ROS版本为melodic，在仿真计算机启动仿真软件后，使用ROS的可视化工具Rviz显示激光雷达的仿真结果。

仿真分为两个渲染阶段：第一个阶段产生位置、法向、材质三种场景纹理，存储激光雷达视角下透视投影采样点的位置、法向和材质属性值，用于第二阶段的计算；第二个阶段根据激光雷达等角度采样模型采样场景纹理，再根据PBR反射模型计算点云强度，将点云的位置信息和强度信息存储到点云纹理中。第二阶段完成后，CPU读取点云纹理，将点云数据转换为ROS消息发布，使用Rviz软件可以看到点云的可视化结果。

实验中设定激光雷达垂直扫描线数为64，水平分辨率为0.2°，工作频率为10Hz。仿真样例说明如图5所示，A1区域为机器人正对的墙面，A2区域为机器人右方的墙面，A3区域为支撑柱，A1、A2和A3的材质都是墙面材质，记为材质A；B1区域为机器人左侧的窗框，B2区域为机器人后方的窗框，B1和B2的材质都是黑色漆面材质，记为材质B；C1区域为窗玻璃，材质为透明的玻璃材质C，激光仿真中直接透过该材质；地面使用的材质记为D。表2给出了对激光雷达仿真强度值产生影响的两种材质的属性参数。

表2

在Rviz软件中可视化的点云仿真数据如图6所示，从点云的几何分布来看，符合64线激光雷达的点云特点。从强度值分析中看出，正对区域A1、A2、B1、B2的强度值要高于其他同材质区域，反映了激光入射角度对反射强度的影响；材质B的高光系数大于材质A,正对区域B1、B2的反射强度高于A1、A2，但材质B的非正对区域反射强度低于材质A的非正对区域，地面的反射强度低于材质A的区域，高于材质B的非正对区域，反映了材质属性对反射强度的影响。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims

1.一种基于PBR反射模型的激光雷达仿真方法，包括如下步骤：

2.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述步骤(1)的渲染过程即利用激光雷达仿真模块根据机器人位姿捕获该位姿状态下激光雷达360度视角的场景信息并保存到场景纹理中，场景纹理包括场景位置纹理、场景法向纹理、场景材质纹理，其中场景位置纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下的x、y、z坐标，场景法向纹理中每个纹素的R、G、B通道分别为对应点在激光雷达坐标系下单位法向量的x、y、z分量，场景材质纹理中每个纹素的R、G、B通道分别为材质的R通道底色、粗糙度、高光。

3.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述步骤(1)中通过调整仿真软件中的摄像机位置和视角大小，使其与激光雷达的位置和视角保持一致，然后将摄像机视角下场景的位置信息、表面法向以及材质信息分别渲染到三张场景纹理中，材质信息来源于图像渲染材质。

4.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述场景纹理的生成过程即利用了GPU渲染管线的顶点着色器和像素着色器，顶点着色器用于计算模型顶点的属性，像素着色器用于计算渲染目标中每个像素的RGBA通道值，具体地：首先在顶点着色器中使用模型空间到世界空间的变换矩阵计算模型顶点在世界坐标系下的位置以及顶点所在位置的法向信息，之后经过渲染管线的光栅化处理得到渲染目标纹理中每个纹素对应的模型点在世界坐标系中的位置和法向以及材质贴图的纹理坐标；在像素着色器中，对于场景位置纹理中的每个纹素，RGB通道值为该点在激光雷达临时坐标系下的坐标值；对于场景法向纹理中的每个纹素，RGB通道值为该点表面在激光雷达临时坐标系下的单位法向量，且与该表面在世界坐标系下的单位法向量相等；场景材质纹理生成前需要根据材质贴图纹理坐标对模型材质纹理进行采样得到材质属性，对于场景材质纹理中的每个纹素，RGB通道值分别对应材质属性的R通道底色、粗糙度和高光。

5.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述步骤(2)中的场景纹理采样即按照激光雷达水平方向等角度采样的方式，对场景位置纹理、场景法向纹理、场景材质纹理进行柱面采样，采样结果为点云中每个点的位置、表面法向、材质的属性信息，从而得到激光雷达等角度采样模型下场景纹理坐标与点云纹理坐标的映射关系，即点云纹理坐标(u_p,v_p)映射的场景纹理坐标为

其中

6.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述步骤(3)中采用基于Lambertian漫反射BRDF和Cook-Torrance微表面镜面反射的BRDF着色模型，该模型由漫反射分量和镜面反射分量相加得到；考虑到激光雷达即使光源又是观察者以及激光的反射强度与入射角度之间的关系，通过对BRDF着色模型变体得到以材质粗糙度、底色、高光系数为参数的PBR反射模型，进而根据场景纹理和PBR反射模型在全局着色器中计算出激光点云的强度信息。

7.根据权利要求1所述的激光雷达仿真方法，其特征在于：所述步骤(1)～(3)在GPU上完成，步骤(4)则由CPU从GPU内存中读取点云数据，点云纹理每个纹素的RGBA通道分别对应点云的XYZ坐标和强度值，CPU在丢弃异常数据后得到激光雷达仿真结果。

8.根据权利要求1所述的激光雷达仿真方法，其特征在于：该仿真方法充分利用渲染引擎及图形处理器的加速能力，同时利用障碍物表面法向、粗糙度、高光系数等材质信息，得到逼真的点云强度信息；该仿真方法流程包括两个渲染阶段：第一个渲染阶段以场景纹理的形式输出激光雷达视角下场景模型的表面位置、表面法向以及表面材质信息；第二个渲染阶段根据场景模型的表面信息计算点云中每个点的位置和强度，以点云纹理的形式输出。