CN102291541A

CN102291541A - 一种车辆虚拟合成显示系统

Info

Publication number: CN102291541A
Application number: CN2011102593050A
Authority: CN
Inventors: 毛湘伦
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-09-05
Filing date: 2011-09-05
Publication date: 2011-12-21

Abstract

一种车辆虚拟合成显示系统，其包括平板电脑(1)、车辆周围左右前后各摄像机(2-7)、行车电脑(8)、和车辆行驶状态传感器(9-12)，所述平板电脑(1)将摄像机(2-7)各自传输来的图像进行叠加合成，虚拟生成鸟瞰全景图像，所述行车电脑(8)适时获取传感器(9-12)的车辆数据，所述平板电脑(1)调用所述行车电脑(8)适时获取的车辆数据后，生成车辆运动趋势轨迹图像，所述的虚拟鸟瞰全景图像加上鸟瞰的车辆自身图像，再加上车辆运动趋势轨迹图像合成生成车辆辅助判断鸟瞰全景图像。

Description

一种车辆虚拟合成显示系统

技术领域

本发明涉及一种车辆外部图像的虚拟合成显示系统，特别涉及一种车辆辅助驾驶虚拟合成显示系统。

背景技术

如图1所示，中国专利申请CN200910142345.X公开了一种含测距功能的倒车影像装置，其包括有：发光源10、镜头组20及显示器30，该发光源10装设于汽车车尾，该发光源10能够投射出光线11，该光线11并于待测物A、B上产生图样；该镜头组20装设于汽车车尾，该镜头组20内具有镜头、感光组件及电路板，该镜头采集汽车后方的影像于感光组件上，该电路板再根据该感光组件所读取到的图样的紧密度，运算出待测物与汽车车尾的离车距离；该显示器设于车内供驾驶者观看，且电性连接该镜头组，使该显示器显示待测物影像及待测物的离车距离。该申请通过发光源投射在待测物上图样的紧密度，运算出待测物的离车距离，藉以避免驾驶者对待测物离车距离的误判；该光线为不可见光，所以不会使后方来车或行人受到影响。

WO2009/104675公开了一种车辆周边图像显示系统，它具有：车载外部摄像机，安装在本车上，对车辆周边进行摄像；监视器，设定在驾驶者能够目视的车厢内位置；监视器影像生成单元，基于从所述车载外部摄像机输入的实际摄像机影像，生成送给所述监视器的显示影像，所述监视器影像生成单元具有：图像处理部，对从所述车载外部摄像机输入的实际摄像机影像进行视点变换，成为从驾驶者的视点位置观察的虚拟摄像机图像；图像存储部，将从驾驶者的视点预先摄影的车厢内影像作为车厢内图像预先进行存储；图像合成电路，对来自所述图像存储部的车厢内图像进行半透明化处理而成为半透明车厢内图像，并利用将所述半透明车厢内图像重叠到来自所述图像处理部的虚拟摄像机图像的图像合成，生成透过半透明车厢内图像而表现虚拟摄像机图像的合成图像。该车辆周边图像显示系统仅使用车载外部摄像机系统，并且，能够无视差且直观地掌握驾驶者的死角部分，在图像合成中，将从驾驶者的视点预先摄影的车厢内影像作为半透明车厢内图像，对于在监视器上显示的合成图像来说，透过半透明车厢内图像而表现虚拟摄像机图像，能够根据由半透明车厢内图像得到的与本车的位置关系明确地目视利用虚拟摄像机图像得到的成为驾驶者的死角的外部状况。

如图2所示，WO2009/104675的侧视监视器系统A1具有侧面摄像机1(车载外部摄像机)、图像处理控制单元2(监视器影像生成单元)、监视器3、混合比率手动控制界面4和外部传感器5。所述侧面摄像机1通过内置在左车侧反射镜中或者配置在左车侧反射镜附近而被安装，对成为驾驶者的死角的车辆的前侧方部分进行摄像。该侧面摄像机1利用摄像元件(CCD、CMOS等)取得车辆的前侧方部分的实际摄像机影像数据。所述监视器3设定在驾驶者能够目视的车厢内位置(例如，仪表板位置等)，输入来自图像处理控制单元2的显示影像，并进行图像显示。在该监视器3中，具有利用液晶显示器或有机EL显示器等进行显示的显示画面3a。此处，作为监视器3，可以在侧视监视器系统A1中设定专用的监视器；此外，也可以在用于消除死角的摄像机系统中设定专用的监视器；此外，也可以占用导航系统等其他系统的监视器。所述图像处理控制单元2基于从侧面摄像机1输入的实际摄像机影像，生成送给所述监视器3的显示影像。该图像处理控制单元2具有译码器41、图像存储器42、图像处理部43、图像存储器44(图像存储部)、控制电路(CPU)45、叠加电路46(图像合成电路)、编码器47、混合外部控制部48和亮度判定传感器49(亮度检测单元)。所述图像处理部43对从侧面摄像机1输入的实际摄像机影像进行视点变换，成为从驾驶者的视点位置观察的虚拟摄像机图像。具体地说，利用译码器41对从侧面摄像机1输入的实际摄像机影像进行模拟/数字变换，并存储在图像存储器42中。然后，在图像处理部43中，实施“包括各种处理(亮度调整、色调校正、边缘校正等)的图像处理”、“是否在驾驶者的视点附近配置了虚拟摄像机这样的视点变换处理”。所述图像存储器44将从驾驶者的视点预先摄影的车厢内影像RP(图3)作为车厢内图像预先存储。对于所述叠加电路46来说，对来自图像存储器44的车厢内图像RP进行半透明化处理，而作成半透明车厢内图像RG，并利用将所述半透明车厢内图像RG重叠到来自所述图像处理部43的虚拟摄像机图像上的图像合成，生成透过半透明车厢内图像RG而表现虚拟摄像机图像的合成图像。

因此上述现有技术仅仅解决车辆驾驶员盲区的问题，即图像仅仅涉及车辆盲区附近的图像，它没有涉及其他车辆(障碍物)与本车相对位置，以及本车即将行驶轨迹模拟，因此它给驾驶员行为提示有限，特别对车辆超车、并线、路边停车入位时给驾驶员提示非常有限。

发明内容

因此，本发明提供一种包括本车在内的全方位的车辆外部图像的虚拟合成系统。

本发明辅助驾驶系统包括平板电脑、车辆周围各摄像机、行车电脑、和车辆各种传感器。其中平板电脑、行车电脑、车辆各传感器、车辆周围各摄像机、互联网互联起来构成网络系统，

平板电脑将摄像机各自传输的图像进行叠加合成，虚拟生成鸟瞰全景图像。行车电脑适时获取传感器的车辆数据，平板电脑调用行车电脑适时获取的车辆数据后，生成车辆运动趋势轨迹图像，虚拟鸟瞰全景图像加上车辆自身鸟瞰图像，再加上车辆运动趋势轨迹图像合成生成车辆辅助判断全景图像。

该车辆辅助判断鸟瞰全景图像供驾驶员在行车并线、路边停车入位等参考。

本发明还附有许多其它功能，由于本发明平板电脑与互联网相连，因此可以通过互联网远程控制平板电脑，平板电脑适时启动车辆周围各摄像机，来获取车辆周边鸟瞰全景图像，从而构成车辆防盗系统。

由于本发明平板电脑与车辆的行车电脑相连，而平板电脑可以对行车电脑存储数据调取和浏览，因此车辆4S店可以适时获取车辆车况信息，从而构成车辆车况远程监控系统。

本发明车辆虚拟合成显示方法，其步骤包括：平板电脑将摄像机各自传输来的图像进行叠加合成，虚拟生成鸟瞰全景图像；所述行车电脑适时获取传感器的车辆数据；所述平板电脑调用所述行车电脑适时获取的车辆数据后，生成车辆运动趋势轨迹图像；虚拟鸟瞰全景图像加上车辆自身鸟瞰图像，再加上车辆运动趋势轨迹图像合成生成车辆辅助判断全景图像。

附图说明

图1是现有技术的含测距功能的倒车影像装置示意图；

图2是现有技术的车辆周边图像显示系统框图；

图3是本发明车辆外部图像获取示意图；

图4是本发明车辆外部图像叠加合成示意图；

图5是本发明车辆平板电脑与行车电脑及车辆传感器互联示意图；

图6是本发明车辆辅助判断鸟瞰全景图生成的流程图；

图7是本发明车辆并线辅助判断鸟瞰全景示意图；

图8是本发明车辆路边辅助停车判断鸟瞰全景示意图。

具体实施方式

下面结合附图详细描述本发明。图3示出了本发明车辆外部图像获取过程，本发明辅助驾驶系统包括平板电脑1、车辆右前方摄像机2、车辆右后方摄像机3、车辆后方摄像机4、车辆左后方摄像机5、车辆左前方摄像机6、车辆前方摄像机7，平板电脑1置于车辆中央仪表板上，车辆右前方摄像机2和车辆右后方摄像机3置于车辆右侧后视镜上，车辆左后方摄像机5和车辆左前方摄像机6置于车辆右侧后视镜上，车辆前方摄像机7置于车辆前保险杠前面车身上，车辆后方摄像机4置于车辆后保险杠后面车身上，上述摄像机2-7属于数码摄像机。当然本发明并不局限上述这样设置，也可以将车辆两侧车身上各设置一台或若干台摄像机。车辆右前方摄像机2、车辆右后方摄像机3、车辆后方摄像机4、车辆左后方摄像机5、车辆左前方摄像机6、车辆前方摄像机7分别与平板电脑1相连，如图4所示，上述摄像机2-7将各自的图像传输到平板电脑1中，平板电脑1自动将不同方向的图像叠加合成全景图像。

从普通摄像机图像拼接中获得全景图、结合了计算机图形学、计算机视觉、图像处理、摄影测量学等许多学科的理论和成果，用真实的图像来代替传统的几何建模，可实现复杂的虚拟现实系统，在计算机显示设备上再现出场景原貌的过程，较之基于几何模型的方法，它生成的景物真实自然，绘制速度不依赖于场景的复杂程度，并能得到一个基于图像的虚拟场景漫游系统。有关于这类研究文献很多，例如：

清华大学计算机科学与技术系的漆驰、刘强在2001年第7期《计算机辅助设计与图形学学报》发表的《摄像机图像序列的全景图拼接》；

中国科学院软件研究所郑新、吴恩华在2001年12期《软件学报》上发表的《从多幅参考图像合成目标图像的逆映射算法》；

华中科技大学机械科学与工程学院陈永强、王启付在2001年第1期《华中科技大学学报：自然科学版》上发表的《虚拟环境中变形图像拼接技术研究》；

湖南大学计算机与通信学院蒋亚军、朱理、邹北骥、邹昊在2003年6月《武汉大学学报(工学版)》上发表的《基于小波变换的虚拟现实场景中的图像处理》；

解放军信息工程大学徐源的2005年硕士学位论文《基于虚拟实景动态漫游系统的设计》；

解放军信息工程大学陈源的2008硕士学位论文《基于图像的虚拟场景生成技术研究》；

解放军信息工程大学杨燕的2007年硕士学位论文《基于图像的球面场景构造研究与实现》；

国防科学技术大学邹琼兵的2004硕士学位论文《基于图像的虚拟场景漫游技术研究》；

大连理工大学胡志萍的2005年博士学位论文《图像特征提取、匹配和新视点图像生成技术研究》；

大连理工大学郭明恩的2007年博士学位论文《基于图像的图像构建绘制和对象辨识》；

Google Earth地图采用成熟的宽带流技术，能实时地为用户提供3D图形及图标的基础数据，可以从任意角度浏览到你所观察区的高清晰地形地貌。

上述研究文献结合于此作为本发明的技术公开参考，它公开了本发明平板电脑1自动将不同方向的图像叠加合成生成虚拟全景图的具体实施方式。

本发明利用安装在车辆周围的数码摄像机获取图像，首先对所得图像进行去失真处理，得到矫正后图像，进行对地面的单应性变换，得到以某一虚拟视点为坐标原点的俯视图。同时计算其在单应性变换后俯视图中的位置，以此确定拼接缝隙和进行拼接缝隙的全景图拼接优化处理。最后输出虚拟鸟瞰坐标系下各个图像之间位置计算参数，生成全景虚拟鸟瞰图像。

图5示出了本发明车辆平板电脑与行车电脑及车辆传感器互联状况，平板电脑1为内置无线网卡的触摸式电脑，它可以适时地无线上网，当然也可以获取交通管理中心的适时路状信息。平板电脑1与车辆的行车电脑8相连，因此平板电脑1可以对行车电脑8存储数据调取和浏览，车辆行驶状况传感器包括车辆转向行车电脑8又分别与车辆转向角度传感器9、车辆档位传感器10、车辆轮速传感器11、车辆制动传感器12这些车辆行驶状况传感器相连，行车电脑8适时获取车辆行驶状况传感器9-12的车辆数据，平板电脑1调用该车辆数据。实际上行车电脑8中检测的车辆数据远比上述车辆行驶状况传感器9-12的车辆数据多，行车电脑8的所有数据均能被平板电脑1调用，加密后被远程互联网调用。

图6是本发明车辆辅助判断鸟瞰全景图生成的流程图，平板电脑1将摄像机2-7各自传输的图像进行叠加合成，虚拟生成鸟瞰全景图像。再将行车电脑8适时获取传感器9-12的车辆数据，平板电脑1调用该车辆数据后，生成车辆运动趋势轨迹图像，虚拟鸟瞰全景图像加上鸟瞰的车辆自身图像，再加上车辆运动趋势轨迹图像合成生成车辆辅助判断鸟瞰全景图像。其中鸟瞰的车辆自身图像是基于计算机内存中预先存储的信息调用。

图7是本发明车辆并线辅助判断鸟瞰全景示意图，它示出了本发明合成后的车辆辅助判断鸟瞰全景图像，该车辆辅助判断全景图像虚拟成只有一台摄像机14，其高高置于本车车辆上方，俯视整个路面，其包括本车13及周边车辆15情况，并且还适时显示出车辆运动趋势轨迹，供驾驶员辅助参考。

图8是本发明车辆路边辅助停车判断鸟瞰全景示意图。该车辆辅助判断鸟瞰全景图像虚拟成只有一台摄像机14，其高高置于本车车辆上方，俯视整个路面，其包括本车13及周边车辆15情况，并且还适时显示出车辆运动趋势轨迹和预警提示。

本发明车辆虚拟合成显示方法，其步骤下列包括：平板电脑1将摄像机2-7各自传输来的图像进行叠加合成，虚拟生成鸟瞰全景图像；所述行车电脑8适时获取车辆行驶状况传感器9-12的车辆数据；所述平板电脑1调用所述行车电脑8适时获取的车辆数据后，生成车辆运动趋势轨迹图像。

本发明并不局限于上述实施方式和功能，由于本发明平板电脑1又与互联网相连，因此可以通过互联网远程控制平板电脑1，平板电脑1适时启动车辆周围各摄像机2-7，来获取车辆周边鸟瞰全景图像，从而构成车辆防盗系统。

由于本发明平板电脑与车辆的行车电脑相连，而平板电脑1可以对行车电脑8存储数据调取和浏览，因此车辆4S店可以适时获取车辆车况信息，从而构成车辆车况远程监控系统。

Claims

1.一种车辆虚拟合成显示系统，其包括平板电脑(1)、车辆周围左右前后各摄像机(2-7)、行车电脑(8)、和车辆行驶状态传感器(9-12)，其特征在于所述平板电脑(1)将摄像机(2-7)各自传输来的图像进行叠加合成，虚拟生成鸟瞰全景图像，所述行车电脑(8)适时获取传感器(9-12)的车辆数据，所述平板电脑(1)调用所述行车电脑(8)适时获取的车辆数据后，生成车辆运动趋势轨迹图像，所述的虚拟鸟瞰全景图像加上鸟瞰的车辆自身图像，再加上车辆运动趋势轨迹图像合成生成车辆辅助判断鸟瞰全景图像。

2.如权利要求1所述的车辆虚拟合成显示系统，其特征在于所述平板电脑(1)为内置无线网卡的触摸式电脑，它可以适时地无线上网，能获取交通管理中心的适时路状信息。

3.如权利要求1所述的车辆虚拟合成显示系统，其特征在于所述虚拟生成鸟瞰全景图像虚拟为只有一台摄像机(14)，其高高置于本车车辆上方，俯视整个路面情况，其整个路面情况包括本车(13)及周边车辆(15)情况。

4.如权利要求2所述的车辆虚拟合成显示系统，其特征在于通过互联网远程控制所述平板电脑(1)，所述平板电脑(1)适时启动车辆周围各摄像机(2-7)，来获取车辆周边鸟瞰全景图像，构成车辆防盗系统。

5.如权利要求2所述的车辆虚拟合成显示系统，其特征在于通过互联网远程控制所述平板电脑(1)，而所述平板电脑(1)调取和浏览所述行车电脑(8)存储数据，构成车辆车况远程监控系统。

6.一种车辆虚拟合成显示方法，其步骤包括：

平板电脑(1)将摄像机(2-7)各自传输来的图像进行叠加合成，虚拟生成鸟瞰全景图像；

所述行车电脑(8)适时获取车辆行驶状况传感器(9-12)的车辆数据；

所述平板电脑(1)调用所述行车电脑(8)适时获取的车辆数据后，生成车辆运动趋势轨迹图像；

所述虚拟全景图像附加上鸟瞰车辆自身图像；

再加上车辆运动趋势轨迹图像合成生成车辆辅助判断鸟瞰全景图像。

7.如权利要求6所述的车辆虚拟合成显示方法，通过互联网远程控制所述平板电脑(1)及所述各摄像机(2-7)，构成车辆防盗方法。

8.如权利要求6所述的车辆虚拟合成显示方法，通过互联网远程控制所述平板电脑(1)及所述行车电脑(8)，构成车辆车况远程监控方法。