CN102591014A - 一种全景视觉观察系统及其工作方法 - Google Patents

Abstract

本发明揭示了一种观察系统，包括外部视频收发系统和内部显示收发系统。所述外部视频收发系统包括可见光视频传感器、红外线视频传感器、传感器运动控制机构和传感器无线信号收发器；内部显示收发系统优选为一头盔，头盔上设有无线信号收发器、头盔转动角度传感器、微处理器电路和显示屏。所述外部视频传感器通过传感器无线信号收发器将外部景象信号发给头盔无线信号收发器；头盔无线信号收发器将外部景象信号传给微处理器电路；设置在头盔上的头盔转动角度传感器实时监测头盔在X、Y、Z三个轴向的转动角度并将转动角度信号传给头盔上的微处理器电路；微处理器电路根据头盔实际位置(角度)实时合成或切换到适宜的外部景象并在显示器上显示出来，同时还可通过外部视频传感器运动控制机构控制视频传感器实时转动到需要的位置。

Description

一种全景视觉观察系统及其工作方法

技术领域

本发明涉及全景视觉系统，特别是一种用在具有高度机动性且外部视野不足的移动装备上的、可全天候、全方位显示外部景象的实时观察系统及其工作方法。

背景技术

人类感知客观世界有70％的信息是由视觉获取的，眼睛是人类最主要的感觉器官，图像视觉信息是人类从客观世界获得信息的主要来源之一。众所周知，视觉是一种感知周围环境最复杂的手段，也是最有效的手段。随着科学技术的发展，计算机视觉的应用范围日益扩大，其目的就是使用计算机代替人眼及大脑对周边环境进行感知、解释和理解，例如在军用或安全车辆上，驾驶员通常需要观察其车辆周围所发生的情况又尽量避免将自己暴露给敌人，所述计算机视觉便是应用于此。

随着成像技术和图像并行处理技术的飞速发展，全景视觉系统将在对运动目标检测和跟踪、对空间目标探测与跟踪、对外部空间探测及视频监控等军用、民用领域获得广泛的应用前景。在外太空探测领域，如登陆火星、月球进行探测，视觉环境感知更是必不可少的重要技术手段之一，像这样全方位的获取周围环境视觉信息的要求，是传统视觉环境感知系统所不能够满足的。传统视觉主要依赖视野有限的局部信息，存在精度差、视景范围小、作用距离短、实时性差等不足，缺乏获取全局与大尺度信息的手段，所以当视觉传感器或被观察物体突然移动时会导致目标物体移出视觉传感器的视野范围。

与传统视觉环境感知系统的可视范围较小不同，全景成像指大于半球视场(360°×180°)的球面成像。它的主要功能即为将透视全景图像还原成符合人眼观察习惯的展开图像，以便于监控观察。由于全景成像可视范围大于半球这一特殊的视场优势，成为了视觉环境感知领域的研究热点，并且在军事和民用等领域有着广阔的应用前景。通常，全景图像处理使用计算机作为平台，完整的计算机图像处理系统一般包括视频输入装置、图像采集卡、计算机系统(包括处理器，主板，内存，以及硬盘)等。由摄像头产生的模拟视频信号经过图像采集卡后，变为数字图像信号，存储于计算机的内存中，根据计算机操作员的指令或者预先编制的程序，计算机调用实时图像处理程序进行处理。处理结果以文件形式存于计算机硬盘上或者在计算机监视器上显示。但是这种视觉系统成本较高而且体积较大，能耗较高，在一些移动平台或高可靠性的场合并不适用。

最近，已有使用万向架安装的摄像机来提供展示于平板显示器或头盔显示器上的全景视觉系统。在所述系统中，取景方向通常可通过改变所述万向架安装的摄像机的取景方向来调节。通常，诸如控制杆或头部跟踪器的指向装置控制取景方向。但由于固有的机械运动延迟限制了改变所需图像的速度，所以万向架安装的摄像机是有缺点的。此外，其需要巨大、笨重、高度复杂且昂贵的专用计算机用以图像俘获和处理也是其不足之处。

因此，不需要专用计算机并可平稳地将所述多台摄像机的邻近视野混合在一起，且能使驾驶员在全景取景区域内跟踪移动目标的多摄像机全景可视系统将是有益的。

为了提高现代一些军事设施的电子信息识别能力和信息化操作的整体水平，本发明充分发挥了现代电子影象技术在信息采集、传输、反馈和记录方面的积极作用，提供了一种在移动装备上应用的观察系统，以进行实时场景影象信息的即时采集、传输、反馈和记录，为军事决策和指挥协调提供直观依据。它包括一种可全方位显示外部景象的实时观察系统及其工作方法，可应用于坦克、装甲车、飞机、直升机、潜艇、太空设备等移动的装备上，能够稳定、高效的观察周围环境及自动跟踪目标物体。此观察系统不仅能够减少安装的摄像机数量、有效降低能量消耗、减轻重量，而且使用无线传输，使得布线的复杂性、散热等关键指标得以改善，与传统方法相比具有更大的优势。

根据本发明，其观察系统包括多个视觉传感器，每个视觉传感器从其摄像机的视野产生图像数据。此外，每个摄像机的视野与一邻近视野重叠。所述微处理器电路混合编辑处理来自所述重叠视野的图像数据以生成全景数据。

本发明还包括一内部显示控制系统，优选为一头盔，在所述头盔上设有一无线信号收发器、一微处理器电路、一头盔角度传感器和一显示屏。所述微处理器电路实现了更快的数据更新速度和数据信息的智能显像，优选地，头盔上还设有一显示屏旋转轴。

该系统可以为移动装备驾驶员或成员间的合作及实施有效打击威胁目标提供360°视觉态势感知能力，它可以让驾驶员在驾驶的同时全面了解作战情况。该系统的另一个特别的能力是，可以在各种天气条件下，昼夜提供360°景象，让驾驶员能够在极限环境中持续作战。

优选地，红外视频传感器将被应用于本发明之中，它是利用红外探测器和光学成相物镜接收被测目标的红外辐射能量分布图形，从而形成红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是将物体发出的不可见红外能量转变为可见的热图象，热图象上的不同颜色代表被测物体的不同温度。由于红外成像技术能够进行非接触式的、高分辨率的温度成像，能够生成高质量的图像，可提供测量目标的众多信息，弥补了人类肉眼在光线不足或暗夜环境中的局限，因此已经在电力系统、土木工程、汽车、冶金、石化、医疗等诸多行业得到广泛的应用，未来发展前景更不可限量。

目前，全景视觉已经成为现代战车的共同要求。在现代军事供给和设备展上，一系列系统得到了展示的机会。现有的大部分系统是基于综合视频图象之上，为战车提供一个全景浏览周边环境的能力。全景视觉系统被看成是周边保护和态势感知的重要组成部分，这也进一步提升了军事武器上火炮探测系统和远程控制武器站以及其它一些装备的作战能力。

发明内容

如上所述，本发明提供了一种新型全景观察系统(可视电子设备)，能够在可见光、夜晚和能见度差的条件下实时显示外部全景图像，并且以“带在头上”的形式出现。

本发明解决其相关技术问题所采用的主要技术方案是：在有驾驶舱的装备如坦克、装甲车、飞机、直升机、潜艇、太空装备、火车等相关位置设置或安装一种可全方位显示外部景象的实时观察系统，包括：外部视频收发系统和内部显示控制系统。其中，外部视频收发系统包括：可见光视频传感器、红外线视频传感器、传感器运动控制机构和传感器无线信号收发器；内部显示控制系统优选为一头盔，头盔上设有无线信号收发器、头盔转动角度传感器、微处理器电路和显示屏，显示屏还可以以眼镜的形式出现；其中，所述可见光视频传感器用于在日间或光线充足的环境中实时摄录外部景象；所述红外线视频传感器用于在夜间及光线昏暗时实时摄录外部景象；所述传感器运动控制机构用于控制传感器在水平方向及垂直方向旋转；所述传感器无线信号收发器用于向头盔无线发射外部图像信号，并接收内部控制系统发出的控制可见光视频及红外线视频传感器转动的信号；所述内部无线信号收发器用于向传感器无线信号收发器发出控制可见光视频传感器及红外线视频传感器运动的信号，接收由传感器无线信号收发器发出的外部图像信号；所述头盔转动角度传感器用于实时监测头盔在X、Y、Z三个方向的转动角度；所述微处理器电路用于接收头盔转动角度传感器信号，根据头盔实际位置实时合成外部景象并在显示屏上显示外部景象。同时此电路还用于控制外部可见光视频传感器及红外视频传感器根据头盔的位置实时转动；所述显示屏用于实时显示外部图像。所述头盔上还设有显示器旋转轴。所述外部视频收发系统安装在所述装备的外部，所述内部显示控制系统安装在所述装备内部的头盔上。

一种全景视觉观察系统的工作方法，其中，该系统的外部视频收发系统被安装在一装备外部相关位置上，驾驶员在该装置内部进行相关操作的同时佩戴着该系统的内部显示控制系统优选为一头盔，其工作方法如下：

(a)外部视频传感器通过传感器无线信号收发器将外部景象信号发给内部无线信号收发器。

(b)内部无线信号收发器将外部景象信号传给微处理器电路。

(c)微处理器电路将邻近视频传感器的重叠视野进行混合编辑生成全景图像并显示在显示屏上。

(d)设置在头盔上的头盔转动角度传感器实时监测头盔在X、Y、Z三个轴向的转动角度并将转动角度信号传给微处理器电路。

(e)微处理器电路根据头盔实际位置(角度)将视野位置信号通过无线信号收发系统发送到传感器控制机构。

(f)传感器控制机构根据头盔位置信号控制外部视频传感器在水平方向及垂直方向旋转。

附图说明

图1为外部视觉传感器安装在一装备外部相关位置上；

图2为外部视觉传感器安装在一装备外部支架上；

图3为所述全景视觉观察系统的系统结构图；

图4为一头盔上显示器与旋转轴的位置结构图。

其中，附图上标明的外部视觉传感器的数量仅为举例之用，且不限于附图。

为了更好的理解本发明，现把附图中的标号说明如下：

具体实施方式

实施方式1：

如图3所示，一种全景视觉观察系统，包括：外部视频收发系统和内部显示控制系统。其中，外部视频收发系统包括：可见光视频传感器3-1、红外线视频传感器3-2、传感器运动控制机构3-3和传感器无线信号收发器3-4；内部显示控制系统优选为一头盔，头盔上设有无线信号收发器3-5、头盔转动角度传感器3-6、微处理器电路3-7和显示屏3-8；其中，

所述可见光视频传感器3-1用于在日间或光线充足时实时摄录外部景象；

所述红外线视频传感器3-2用于在夜间及光线昏暗时实时摄录外部景象；

所述传感器运动控制机构3-3用于控制传感器在水平方向和垂直方向的旋转；

所述传感器无线信号收发器3-4用于向头盔无线发射外部图像信号，接收头盔发出的控制可见光视频传感器及红外线视频传感器运动的信号；

所述头盔无线信号收发器3-5用于向外部视频传感器无线信号收发器3-4发出控制可见光视频传感器3-1及红外线视频传感器3-2运动的信号，接收由外部视频传感器无线信号收发器3-4发出的外部图像信号；

所述头盔转动角度传感器3-6用于实时监测头盔在X、Y、Z三个方向的转动角度；

所述微处理器电路3-7用于接收头盔转动角度传感器3-6发出的信号，根据头盔实际位置实时合成外部景象并在显示屏3-8上显示外部景象，同时此电路还通过传感器运动控制机构3-3控制外部可见光视频传感器3-1及红外视频传感器3-2根据头盔实际位置实时转动；

所述显示屏3-8用于实时显示外部图像，也可以做成眼镜供驾驶员佩戴。

图1是本发明的实施方式1，在例如具有视窗1-1这种视野极为有限的密闭装备1-2外部设置视觉传感器1-3至1-7和1-11。所述视频传感器的数量及位置仅为举例之用且不限于此。其中，所述外部视觉传感器如图3所示包括可见光视频传感器3-1、红外视频传感器3-2、可见光视频传感器及红外视频传感器运动控制机构3-3和外部视觉传感器无线信号收发器3-4；

在密闭装置1-2内部设有一头盔1-10，头盔1-10上设有显示屏1-9。其中，如图3所示，头盔上设有头盔无线信号收发器3-5、头盔转动角度传感器3-6、微处理器电路3-7、显示屏3-8。其中，显示屏3-8也可以做成眼镜形式。

如图4所示，优选地，所述头盔4-2上还设有显示器旋转轴4-3，当驾驶员需要对密闭装置内部进行操作或无需观察外部景象时，所述显示屏4-1可借助于显示屏旋转轴4-3向上推起，方便驾驶员操作。

一种全景视觉观察系统的工作方法，见图1和图3。其中，该系统的外部视频收发系统被固定于一密闭装备1-2外部相关位置。驾驶员1-8在该装备内部，佩戴该系统的内部显示控制系统优选为一头盔1-10。其工作方法如下：

(a)外部视频传感器1-3至1-7、1-11通过传感器无线信号收发器3-4将外部景象信号发给内部无线信号收发器3-5。

(b)内部无线信号收发器3-5将外部景象信号传给微处理器电路3-7。

(c)微处理器电路3-7将邻近视频传感器的重叠视野进行混合编辑生成全景图像并显示在显示屏3-8上。

(d)设置在头盔上的头盔转动角度传感器3-6实时监测头盔在X、Y、Z三个轴向的转动角度并将转动角度信号传给微处理器电路3-7。

(e)微处理器电路3-7根据头盔实际位置(角度)将视野位置信号通过无线信号收发系统3-5发送到传感器控制机构3-3。

(f)传感器控制机构3-3根据头盔位置信号控制外部视频传感器1-3-1-7、1-11在水平方向及垂直方向旋转。

实施方式2：

如图3所示，一种可全方位显示外部景象的实时观察系统。包括：外部视频收发系统和内部显示控制系统，其中，外部视频收发系统包括：可见光视频传感器3-1、红外线视频传感器3-2、传感器运动控制机构3-3和传感器无线信号收发器3-4；内部显示控制系统优选为一头盔，头盔上设有无线信号收发器3-5、头盔转动角度传感器3-6、微处理器电路3-7和显示屏3-8。其中，

所述可见光视频传感器3-1用于在日间或光线充足时实时摄录外部景象；

所述红外线视频传感器3-2用于在夜间及光线昏暗时实时摄录外部景象；

所述传感器运动控制机构3-3用于控制传感器在水平方向和垂直方向旋转；

所述传感器无线信号收发器3-4用于向头盔无线发射外部图像信号，接收头盔发出的控制可见光视频传感器及红外线视频传感器运动的信号；

所述头盔无线信号收发器3-5用于向外部视频传感器无线信号收发器3-4发出控制可见光视频传感器3-1及红外线视频传感器3-2转动的信号，接收由外部视频传感器无线信号收发器3-4发出的外部图像信号；

所述头盔转动角度传感器3-6用于实时监测头盔在X、Y、Z三个方向的转动角度；

所述微处理器电路3-7用于接收头盔转动角度传感器3-6的信号，根据头盔实际位置实时合成外部景象并在显示屏3-8上显示外部景象，同时此电路还通过传感器运动控制机构3-3控制外部可见光视频传感器3-1及红外视频传感器3-2根据头盔实际位置实时转动；

所述显示屏3-8用于实时显示外部图像，也可以做成眼镜供驾驶员佩戴。

图2是本发明的实施方式2，在例如具有视窗2-12这种视野极为有限的密闭装备2-1外部设置视觉传感器2-2-2-7，被固定于外部支架2-8上。所述外部支架2-8设置在密闭装备2-1外部的相关位置上，所述视频传感器及外部支架的数量及位置仅为举例之用且不限于此。其中，所述外部视觉传感器如图3所示包括可见光视频传感器3-1、红外视频传感器3-2、传感器运动控制机构3-3和传感器无线信号收发器3-4。

在密闭装备2-1内部设有一头盔2-11，头盔2-11上设有显示屏2-10。其中，如图3所示，头盔上设有头盔无线信号收发器3-5、头盔转动角度传感器3-6、微处理器电路3-7、显示屏3-8。

如图4所示，优选地，所述头盔4-2上还设有显示屏旋转轴4-3，当驾驶员需要对密闭装置内部进行操作或无需观察外部景象时，所述显示屏4-1可借助于显示屏旋转轴4-3向上推起，方便驾驶员的操作。

一种全景视觉观察系统的工作方法，见图2和图3。其中，该系统的外部视频收发系统被安装在一外部支架2-8上，所述外部支架2-8被设置于所述密闭装备2-1外部的相关位置上。驾驶员2-9在该装备内部，佩戴着该系统的内部显示控制系统优选为一头盔2-11。其工作方法如下：

(a)外部视频传感器2-2-2-7通过传感器无线信号收发器3-4将外部景象信号发给内部无线信号收发器3-5。

(b)内部无线信号收发器3-5将外部景象信号传给微处理器电路3-7。

(c)微处理器电路3-7将邻近视频传感器的重叠视野进行混合编辑生成全景图像并显示在显示屏3-8上。

(d)设置在头盔上的头盔转动角度传感器3-6实时监测头盔在X、Y、Z三个轴向的转动角度并将转动角度信号传给微处理器电路3-7。

(e)微处理器电路3-7根据头盔实际位置(角度)将视野位置信号通过无线信号收发系统3-5发送到传感器控制机构3-3。

(f)传感器控制机构3-3根据头盔位置信号控制外部视频传感器2-2-2-7在水平方向及垂直方向旋转。

Claims (10)

1.一种全景视觉观察系统，包括：

外部视频收发系统和内部显示控制系统。其中，

外部视频收发系统包括：可见光视频传感器、红外线视频传感器、传感器运动控制机构和传感器无线信号收发器；

内部显示控制系统优选为一头盔，头盔上设有无线信号收发器、头盔转动角度传感器、微处理器电路和显示屏；

其中，

所述可见光视频传感器用于在日间或光线充足时实时摄录外部景象；

所述红外线视频传感器用于在夜间及光线昏暗时实时摄录外部景象；

所述传感器运动控制机构用于控制传感器在水平方向和垂直方向的旋转；

所述传感器无线信号收发器用于向头盔无线发射外部图像信号，接收头盔发出的控制可见光视频传感器及红外线视频传感器运动的信号；

所述头盔无线信号收发器用于向外部视频传感器无线信号收发器发出控制可见光视频传感器及红外线视频传感器运动的信号，接收由外部视频传感器无线信号收发器发出的外部图像信号；

所述头盔转动角度传感器用于实时监测头盔在X、Y、Z三个方向的转动角度；

所述微处理器电路用于接收头盔转动角度传感器发出的信号，根据头盔实际位置实时合成外部景象并在显示屏上显示外部景象，同时此电路还通过传感器运动控制机构控制外部可见光视频传感器及红外视频传感器根据头盔实际位置实时运动；

所述显示屏用于实时显示外部图像，也可以做成眼镜供驾驶员佩戴。

2.根据权利要求1所述的全景视觉观察系统，其特征是：所述外部视频传感器≥1台。

3.根据权利要求1所述的全景视觉观察系统，其特征是：所述外部视频收发系统还包括一红外线视频传感器用于在夜间及光线昏暗时实时摄录外部景象。

4.根据权利要求1所述的全景视觉观察系统，其特征是：所述内部显示控制系统优选为一头盔，所述无线信号收发器、微处理器电路、头盔转动角度传感器和显示屏被安装在所述头盔的相关位置上。

5.根据权利要求4所述的全景视觉观察系统，其特征是：所述头盔上安装有一头盔转动角度传感器，用于实时监测头盔在X、Y、Z三个方向的转动角度，并向微处理器电路实时传递头盔转动角度信号。

6.根据权利要求4所述的全景视觉观察系统，其特征是：所述头盔上还设有一显示屏旋转轴，用于调节所述显示屏的位置，所述调节方向优选为垂直方向。

7.根据权利要求5所述的全景视觉观察系统，其特征是：所述微处理器电路还用于接收所述头盔转动角度传感器发出的头盔转动角度信号。

8.根据权利要求7所述的全景视觉观察系统，其特征是：所述微处理器电路可根据所述头盔转动角度信号实时合成外部景象显示在显示屏上。

9.根据权利要求7所述的全景视觉观察系统，其特征是：所述微处理器电路还可根据所述头盔转动角度信号通过所述传感器运动控制机构控制外部视频传感器实时转动。

10.一种用于权利要求1所述的全景视觉观察系统的工作方法，其特征是：该系统的外部视频收发系统被安装在一装备外部的相关位置上，一驾驶员在该装置内部佩戴该系统的内部显示控制系统优选为一头盔，该系统的工作方法如下：

(a)外部视频传感器通过传感器无线信号收发器将外部景象信号发给内部无线信号收发器；

(b)内部无线信号收发器将外部景象信号传给微处理器电路；

(c)微处理器电路将邻近视频传感器的重叠视野进行混合编辑生成全景图像并显示在显示屏上；

(d)设置在头盔上的头盔转动角度传感器实时监测头盔在X、Y、Z三个轴向的转动角度并将转动角度信号传给微处理器电路；

(e)微处理器电路根据头盔实际位置(角度)将视野位置信号通过无线信号收发系统发送到传感器控制机构；

(f)传感器控制机构根据头盔位置信号控制外部视频传感器在水平方向及垂直方向旋转。

Images