CN113607158B - 基于可见光通信的平板光源视觉识别匹配定位方法及系统 - Google Patents

Abstract

本发明涉及可见光通信室内定位的技术领域，提出了一种基于可见光通信的平板光源视觉识别匹配定位方法及系统，用以解决现有室内定位方法精度不足，成本高，实时性差的技术问题问题。本发明通过CMOS图像传感器的卷帘快门效应对可见光通信的矩形平板LED光源成像，利用数字图像处理方法获取光源矩形区域轮廓及图像的明暗条纹信息，通过定义光源图像信号自相关序列和临近度，实现了光源匹配识别，从而获取平板光源的ID及矩形角点坐标信息，在IMU姿态传感器辅助成像的基础上实现了矩形光源四个角点图像坐标与世界坐标关系的匹配，实现了基于可见光通信平板光源的高精度视觉定位，实现厘米级移动定位，能够满足室内机器人移动定位导航应用需求。

Description

基于可见光通信的平板光源视觉识别匹配定位方法及系统

技术领域

本发明涉及室内可见光通信视觉定位的技术领域，尤其涉及一种基于可见光通信的平板光源视觉识别匹配定位方法及系统，基于可见光通信技术实现平板LED光源视觉识别匹配定位。

背景技术

室内等地下空间环境难以接收室外卫星导航信号，一些室内载体在室内自主运动时需要采用室内定位技术。当前室内定位技术正在快速发展，其中基于可见光通信的室内定位技术能够实现位置信息服务与照明相统一，已经成为未来室内定位技术主要发展方向之一。随着室内照明系统的升级，地下停车场、商场、自动化工厂等大型建筑室内广泛采用LED照明系统，这些区域也是自动驾驶、机器人智能化未来应用的重点场所。例如，某地下停车场的平板LED光源，这类型平板LED光源长度尺寸超过0.5m，宽度通常是长度的四分之一以上，具有显著的矩形视觉特征，因此在满足照明的同时可以作为建筑位置信息服务的标识。

目前，市场上已有的室内定位方案存在的主要问题有：

(1)基于无线电信号的定位方法精度不足。使用WIFI/蓝牙/ZigBee的室内定位方法定位精度一般为1-10m，难以满足室内机器人厘米级定位精度需要。

(2)成本过高，系统复杂。基于UWB(超宽带)的定位方案测试精度可以达到10cm，但需要部署密集的定位基站，系统成本高、部署复杂，且容易受到电磁干扰，系统定位精度不够稳定。过多的基站部署可能对室内电磁环境产生干扰。

(3)定位延时大、实时性不足，基于视觉图像监控的方案可以对运动目标进行监控定位，系统完成定位后将位置信息反馈给运动载体具有一定延时，不适合移动目标自主定位。

(4)当前多数可见光通信视觉定位使用圆形筒灯作为定位标识，圆形筒灯尺寸受限，仅能提供一个定位参考点和尺度信息，因此需要两盏以上圆形筒灯才能提供有效视觉定位参考。

(5)基于可见光通信视觉成像解码技术对成像质量要求较高，图像误码率较高，难以实时解码。

发明内容

针对现有室内定位方法精度不足，成本高，实时性差，不满足室内移动机器人定位导航需求的技术问题，本发明提出一种基于可见光通信的平板光源视觉识别匹配定位方法及系统，基于可见光通信即室内平板LED与单目视觉测量实现高精度室内定位，满足室内高精度移动定位场景，适用于室内等地下空间高精度移动定位导航。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于可见光通信的平板光源视觉识别匹配定位方法，使用可见光通信技术在矩形LED光源上加载ID信号，使用CMOS图像传感器对矩形LED光源进行视觉成像，同时使用IMU姿态传感器记录成像时的倾斜姿态角和航向角；运用数字图像处理技术对矩形光源图像进行提取，获取矩形光源区域的明暗条纹灰度图像和矩形轮廓，进而使用信号自相关方法识别匹配光源的ID信息并计算光源矩形轮廓的四个角点，根据摄影测量原理实现高精度视觉定位。

进一步地，所述CMOS图像传感器调整ISO值和曝光度对矩形LED光源进行视觉成像，获取平板光源图像，平板光源图像中包含光源连续的条纹信息。

进一步地，所述矩形光源区域的矩形轮廓的获取方法为：对平板光源图像进行高斯运算，通过OPENCV库进行二值化并查找矩形区域的轮廓线；运用边缘提取方法提取矩形区域的轮廓序列点，根据轮廓序列点分别拟合四条轮廓直线，相邻轮廓直线的连接点即为矩形光源区域的角点。

进一步地，所述使用信号自相关方法识别匹配光源的ID信息的方法为：将两个光源的ID信息匹配度问题转换为两个光源的条纹灰度图像的条纹信号的自相关序列的匹配度问题：基于自信号自相关方法计算明暗条纹灰度图像中灰度条纹的周期并计算一个周期的自相关序列，将自相关序列作为匹配特征与信号调制的ID信息关联建立光源匹配数据库，计算最小的临近度K在光源匹配数据库中进行光源匹配。

进一步地，所述光源匹配数据库中的表包含了光源编号、光源匹配模板、光源四个角点的坐标；所述光源匹配得到光源编号，光源编号对应的光源四个角点的世界坐标。

进一步地，所述建立光源匹配数据库的方法为：对获取的矩形光源区域的明暗条纹灰度图像逐行进行均值计算生成明暗条纹序列V＝{v₁,v₂,v₃,···,v_i},v₁,v₂,v₃,···,v_i∈[0,255]，i是灰明暗条纹度图像的行号；明暗条纹序列V进行信号自相关计算，得到信号自相关序列N＝{n₁,n₂,n₃,···,n_T,···}，并计算自相关序列N的周期T；提取信号自相关序列N的前T个序列值进行归一化处理，得到标准化序列X＝{x₁,x₂,x₃,···,x_T},x₁,x₂,x₃,···,x_T∈[0,1]；将自相关序列N作为匹配特征与信号调制的ID信息关联，建立光源匹配数据库。

进一步地，所述临近度K的计算方法为：定义两个光源匹配度序列D_T＝X1_T-X2_T，X1_T、X2_T分别是两个光源一个周期归一化的信号自相关序列，且D_T＝{d₁,d₂,d₃,···,d_T},d₁,d₂,d₃,···,d_T∈(-1,1)；

则两个光源的ID信息的匹配度，即临近度K＝a×H+b×M+c×S+d×W；

其中，a、b、c、d为系数，H为序列D_T的最大值与最小值之差，M为序列D_T的绝对值之和的平均值，S为序列D_T的标准差，W为序列D_T中超出序列D_T平均值2倍标准差的序列的绝对值之和的平均值；临近度K的值越小表示匹配度越高。

进一步地，当CMOS类型相同、周期T相同且最小的临近度K时为最佳匹配条件，得到光源匹配数据库中与待定位的矩形平板光源最匹配的光源的ID信息，ID信息对应的光源四个角点的世界坐标作为光源角点的坐标{P1,P2,P3,P4}。

进一步地，在确定矩形LED光源的角点的世界坐标与其像点坐标的对应关系时，假定以一种对应关系基于单应性直接法计算CMOS图像传感器的位姿，比较计算得到的航向角与IMU姿态传感器的地磁方向角的差值，如果差值小于预设阈值则为正确关系，否则继续假定计算；4个角点的序列对应关系共有4种，最多计算4次即可确定对应关系；根据正确的对应关系使用IMU姿态传感器辅助迭代法进行成像定位计算。

进一步地，所述预设阈值为航向角与地磁方位角的偏差角度C＜45°。

进一步地，所述摄影测量原理运用视觉平面四点定位方法计算CMOS图像传感器的摄像头相对矩形平板光源的位置信息，实现视觉定位。

一种基于可见光通信的平板光源视觉识别匹配定位系统，包括矩形平板光源和定位装置，矩形平板光源为可见光通信平板LED光源；所述定位装置包括COMS成像传感器和IMU姿态传感器，COMS成像传感器和IMU姿态传感器均与微处理器相连接。

进一步地，所述微处理器与电池相连接，微处理器与电池均设置在壳体中，COMS成像传感器固定设置在壳体上，IMU姿态传感器设置在壳体内；所述微处理器对IMU姿态传感器和COMS成像传感器采集的数据进行处理，实现视觉识别匹配定位。

本发明的有益效果：利用矩形平板光源作为视觉定位信标，使用可见光通信技术在矩形平板光源上调制定位ID信息，通过CMOS图像传感器对平板光源进行成像，调整ISO值获取连续的条纹信息，通过计算条纹图像的自相关序列计算条纹信号周期，使用一个周期的信号自相关序列作为匹配特征与ID信息关联建立光源匹配数据库，光源匹配数据库含有光源匹配的信号自相关序列以及对应光源4个角点的空间三维坐标信息，提出一种临近度K计算方法实现光源视觉识别匹配；在光源识别匹配同时利用数字图像处理技术提取矩形平板光源的矩形角点，仅使用一个矩形平板光源即可实现视觉定位，使视觉定位更加简单鲁棒。本发明基于可见光通信与视觉测量融合的定位方法，可以利用室内矩形平板LED光源实现厘米级移动定位，能够满足室内机器人移动定位导航应用需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

图2为本发明的结构示意图。

图3为本发明矩形平板光源的视觉提取效果图。

图4为本发明光源视觉匹配的流程图。

图5为本发明多个光源视觉匹配的效果图。

图6为本发明视觉定位的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，如图1所示，一种基于可见光通信的平板光源视觉识别匹配定位方法，其步骤如下：

步骤一、利用可见光通信技术在矩形平板光源上进行信号调制，利用CMOS图像传感器对矩形平板光源进行视觉成像，同时利用IMU姿态传感器记录视觉成像时的倾斜姿态角和航向角。

针对可见光通信平板LED光源，提出了一种平板光源匹配算法与定位参考点提取方法，实现了基于平板光源的室内视觉定位系统。利用可见光通信技术实现矩形平板光源可见光通信信号调制，调制ID信息。可见光通信技术中，基于LED-ID技术进行信号调制，调制频率为16kHz，采用曼彻斯特编码，组成3个十六进制数字。

本发明使用普通CMOS图像传感器即CMOS卷帘开门相机调整ISO值和曝光度对光源进行视觉成像，如图3所示获取的平板光源图像包括两个光源图像，一个长方形光源，一个正方形光源；平板光源图像中包含矩形平板光源连续的条纹信息。ISO值是调节CMOS图像传感器的感光强度的参数，用来配合曝光度使光源图像更容易区分形成明暗条纹图像。视觉成像用来后续的视觉定位，视觉成像定位精度高，同时能够对光源成像识别。定位装置中有IMU姿态传感器，它与CMOS图像传感器集成为成像定位模块装置，使用IMU姿态传感器辅助成像，使用IMU测量的航向角判别光源图像四个角点与其世界坐标系中坐标的对应关系。通过控制CMOS图像传感器的感光ISO值得到的明暗条纹序列具有连续性，通过数字图像处理的OPENCV库的轮廓边缘提取方法提取光源矩形轮廓线。本发明使用了矩形LED光源，提取了条纹信息和矩形轮廓特征。

步骤二、利用计算机视觉提取算法提取视觉成像图像中的矩形平板光源的矩形区域，矩形区域的四个轮廓边分别拟合4条直线，4条直线相交得到光源的4个角点坐标，对4个角点图像坐标进行逆时针排序。

计算机视觉提取算法的实现方法是：获取CMOS图像传感器视觉成像采集的矩形光源的图像，首先对图像进行高斯运算，然后通过OPENCV库进行二值化并查找矩形轮廓。运用数字图像边缘提取方法提取光源区域的轮廓图像点，根据光源轮廓序列点拟合四条轮廓直线，轮廓直线的连接点即为平板光源区域的矩形角点。通过光源轮廓点拟合得到矩形光源的四个角点坐标。矩形轮廓点都是序列，可以首先拟合四条直线，然后相邻直线相交得到四个角点，用于后续的视觉定位参考。

步骤三、基于信号自相关方法计算光源图像灰度条纹的周期并计算一个周期的自相关序列，将自相关序列作为匹配特征与步骤一中信号调制的ID信息关联建立光源匹配数据库。

本申请与申请号为201710150722.9的发明专利的区别在于：手机获取的明暗条纹信息区分度较大可以直接解码，本发明不直接解码，而是求解周期进行周期信号匹配，优点在于识别鲁棒性，解码对图像要求高，容易解码错误或不识别，使用普通摄像头即可完成光源匹配识别。

信号自相关是常用的数字信号处理方法。光源匹配得到光源编号，光源编号对应光源的四个角点的世界坐标，这个是提前测量好的，在数据库信息中提前输入的。

对提取的光源灰度条纹图像逐行进行均值计算生成明暗条纹序列V＝{v₁,v₂,v₃,···,v_i},v∈[0,255]，i是灰度条纹图像的行号，对应图像的行。明暗条纹序列V进行信号自相关计算，得到信号自相关序列N＝{n₁,n₂,n₃,···,n_T,···}，并计算自相关序列N的周期T，周期函数在周期T的倍数位会出现极大值。

提取信号自相关序列N的前T个序列值进行归一化处理，得到标准化序列X＝{x₁,x₂,x₃,···,x_T},x∈[0,1]，归一化后的范围。将自相关序列作为匹配特征与步骤一中信号调制的ID信息关联建立光源匹配数据库，光源匹配数据库中的表包含了光源编号、光源匹配模板、光源四个角点的坐标。

步骤四、基于最小临近度K(最邻近计算方法)计算方法进行光源匹配数据库匹配，获取矩形平板光源四个角点参考坐标，实现光源视觉识别匹配。

光源条纹可以得到归一化的一个周期的数值序列X，序列X有T维，这个序列就是匹配模板，临近度K的计算方法就是关于两个序列的匹配度计算方法。将一个周期标准化序列X的两个光源的ID信息匹配度问题转换为两个光源的灰度条纹图像的条纹信号的自相关序列的匹配度问题。定义两个光源匹配度序列D_T＝X1_T-X2_T，X1_T、X2_T分别是两个光源一个周期归一化的信号自相关序列，且D_T＝{d₁,d₂,d₃,···,d_T},d∈(-1,1)。

定义两个光源的ID信息匹配度为：K＝a×H+b×M+c×S+d×W；

其中，a、b、c、d为系数，H为序列D_T的最大值与最小值之差，M为序列D_T的绝对值之和的平均值，S为序列D_T的标准差，W为序列D_T中超出序列D_T平均值2倍标准差的序列的绝对值之和的平均值。作为特例，具体实施时系数a＝0.25；b＝0.25，c＝4，d＝0.02；临近度K的值越小表示匹配度越高。

具体地光源匹配流程如图4所示，对于得到矩形平板LED光源的灰度条纹图像，得到CMOS图像传感器的类型，提取灰度条纹图像的明暗条纹序列V，计算提取一个周期自相关序列并归一化为标准化序列X，计算临近度K与光源信息(匹配)数据库匹配，当CMOS类型相同、周期T相同且最小临近度K时为最佳匹配条件，得到光源信息数据库中与待定位的(就是待匹配的成像)矩形平板光源最匹配的光源的ID信息，并作为光源角点的坐标{P1,P2,P3,P4}。根据光源匹配流程，多个光源视觉匹配效果如图5所示，由图5可知，上述光源匹配方法可以解决多光源识别问题，同时也能够提取光源的四个角点。

步骤五、最后运用视觉平面四点定位方法计算CMOS图像传感器的摄像头相对矩形平板光源的位置信息，实现视觉定位。利用视觉平面四点定位方法将步骤四得到的矩形平板光源四个角点参考坐标转化为世界坐标，实现对矩形平板光源的定位。

根据光源视觉匹配获取ID信息对应的矩形平板光源的四个角点坐标，在确定矩形光源的角点世界坐标与其像点坐标的对应关系时，首先假定以一种对应关系基于单应性直接法计算CMOS图像传感器的位姿，然后比较计算得到的航向角与IMU姿态传感器的地磁方向差值，如果差值小于一定阈值则为正确关系，否则继续假定计算，其流程如图6所示。4个角点的序列对应关系共有4种，因此最多计算4次即可确定对应关系，然后根据正确的对应关系利用常见的视觉定位算法计算定位装置的坐标，使用IMU姿态传感器辅助迭代法进行成像定位计算。

opencv库的数字图像处理方法得到图像逆时针序列坐标{c1,c2,c3,c4}，单应性直接法是假定矩形角点序列世界坐标与图像坐标序列的一种对应关系，根据视觉定位算法计算CMOS图像传感器的航向角H，成像定位得到三维位置和三维姿态，其中一个姿态就是航向角H，同时获取IMU传感器的地磁方位角M，计算航向角H与地磁方位角M的偏差角度C，若C＜45°输出正确的坐标对应关系。

本发明通过CMOS成像传感器的卷帘快门效应对可见光通信矩形平板光源成像，利用数字图像处理方法获取光源矩形区域轮廓及图像的明暗条纹信息，通过定义光源图像信号自相关序列和匹配度K，实现了光源匹配识别，从而获取光源的ID及平板光源的矩形角点坐标信息，在IMU姿态传感器辅助成像的基础上实现了矩形光源四个角点图像坐标与世界坐标关系的匹配，进一步实现了基于可见光通信平板光源的高精度视觉定位。

实施例2，一种平板光源视觉识别匹配定位系统，如图2所示，包括矩形平板光源1和定位装置，矩形平板光源1为可见光通信平板光源且作为定位光源，定位装置对矩形平板光源1进行定位。所述定位装置包括COMS成像传感器2和IMU姿态传感器3，COMS成像传感器2和IMU姿态传感器3均与微处理器4相连接，微处理器4与电池5相连接，微处理器4与电池5均设置在壳体6中，COMS成像传感器2固定设置在壳体6上用于采集矩形平板光源1的图像；IMU姿态传感器3设置在壳体6内，用于采集定位装置的姿态。微处理器4用于对IMU姿态传感器3和COMS成像传感器2采集的数据进行处理，微处理器4上设有视觉计算定位模块，利用视觉定位算法实现视觉识别匹配定位。电池5用于整个装置的供电。

其他结构和原理与实施例1相同。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，使用可见光通信技术在矩形LED光源上加载ID信号，使用CMOS图像传感器对矩形LED光源进行视觉成像，同时使用IMU姿态传感器记录成像时的倾斜姿态角和航向角；运用数字图像处理技术对矩形光源图像进行提取，获取矩形光源区域的明暗条纹灰度图像和矩形轮廓，进而使用信号自相关方法识别匹配光源的ID信息并计算光源矩形轮廓的四个角点，根据摄影测量原理实现高精度视觉定位；

所述使用信号自相关方法识别匹配光源的ID信息的方法为：将两个光源的ID信息匹配度问题转换为两个光源的条纹灰度图像的条纹信号的自相关序列的匹配度问题：基于自信号自相关方法计算明暗条纹灰度图像中灰度条纹的周期并计算一个周期的自相关序列，将自相关序列作为匹配特征与信号调制的ID信息关联建立光源匹配数据库，计算最小的临近度K在光源匹配数据库中进行光源匹配；

所述临近度K的计算方法为：定义两个光源匹配度序列D_T＝X1_T-X2_T，X1_T、X2_T分别是两个光源一个周期归一化的信号自相关序列，且D_T＝{d₁,d₂,d₃,···,d_T},d₁,d₂,d₃,···,d_T∈(-1,1)；

则两个光源的ID信息的匹配度，即临近度K＝a×H+b×M+c×S+d×W；

其中，a、b、c、d为系数，H为序列D_T的最大值与最小值之差，M为序列D_T的绝对值之和的平均值，S为序列D_T的标准差，W为序列D_T中超出序列D_T平均值2倍标准差的序列的绝对值之和的平均值；临近度K的值越小表示匹配度越高。

2.根据权利要求1所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述CMOS图像传感器调整ISO值和曝光度对矩形LED光源进行视觉成像，获取平板光源图像，平板光源图像中包含光源连续的条纹信息。

3.根据权利要求2所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述矩形光源区域的矩形轮廓的获取方法为：对平板光源图像进行高斯运算，通过OPENCV库进行二值化并查找矩形区域的轮廓线；运用边缘提取方法提取矩形区域的轮廓序列点，根据轮廓序列点分别拟合四条轮廓直线，相邻轮廓直线的连接点即为矩形光源区域的角点。

4.根据权利要求1所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述光源匹配数据库中的表包含了光源编号、光源匹配模板、光源四个角点的坐标；所述光源匹配得到光源编号，光源编号对应的光源四个角点的世界坐标。

5.根据权利要求1所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述建立光源匹配数据库的方法为：对获取的矩形光源区域的明暗条纹灰度图像逐行进行均值计算生成明暗条纹序列V＝{v₁,v₂,v₃,···,v_i},v₁,v₂,v₃,···,v_i∈[0,255]，i是灰明暗条纹度图像的行号；明暗条纹序列V进行信号自相关计算，得到信号自相关序列N＝{n₁,n₂,n₃,···,n_T,···}，并计算自相关序列N的周期T；提取信号自相关序列N的前T个序列值进行归一化处理，得到标准化序列X＝{x₁,x₂,x₃,···,x_T},x₁,x₂,x₃,···,x_T∈[0,1]；将自相关序列N作为匹配特征与信号调制的ID信息关联，建立光源匹配数据库。

6.根据权利要求1所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，当CMOS类型相同、周期T相同且最小的临近度K时为最佳匹配条件，得到光源匹配数据库中与待定位的矩形平板光源最匹配的光源的ID信息，ID信息对应的光源四个角点的世界坐标作为光源角点的坐标{P1,P2,P3,P4}。

7.根据权利要求6所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，在确定矩形LED光源的角点的世界坐标与其像点坐标的对应关系时，假定以一种对应关系基于单应性直接法计算CMOS图像传感器的位姿，比较计算得到的航向角与IMU姿态传感器的地磁方向角的差值，如果差值小于预设阈值则为正确关系，否则继续假定计算；4个角点的序列对应关系共有4种，最多计算4次即可确定对应关系；根据正确的对应关系使用IMU姿态传感器辅助迭代法进行成像定位计算。

8.根据权利要求7所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述预设阈值为航向角与地磁方位角的偏差角度C＜45°。

9.根据权利要求7所述的基于可见光通信的平板光源视觉识别匹配定位方法，其特征在于，所述摄影测量原理运用视觉平面四点定位方法计算CMOS图像传感器的摄像头相对矩形平板光源的位置信息，实现视觉定位。

10.根据权利要求1-9中任意一项所述的基于可见光通信的平板光源视觉识别匹配定位方法的定位系统，其特征在于，包括矩形平板光源(1)和定位装置，矩形平板光源(1)为可见光通信平板LED光源；所述定位装置包括COMS成像传感器(2)和IMU姿态传感器(3)，COMS成像传感器(2)和IMU姿态传感器(3)均与微处理器(4)相连接。

11.根据权利要求10所述的定位系统，其特征在于，所述微处理器(4)与电池(5)相连接，微处理器(4)与电池(5)均设置在壳体(6)中，COMS成像传感器(2)固定设置在壳体(6)上，IMU姿态传感器(3)设置在壳体(6)内；所述微处理器(4)对IMU姿态传感器(3)和COMS成像传感器(2)采集的数据进行处理，实现视觉识别匹配定位。