CN104601954B - 一种全景图像拼接装置、方法及监控系统 - Google Patents

Abstract

本发明公开了一种全景图像拼接装置，包括图像拼接模块及至少两路图像传输路，每一图像传输路包括图像采集模块、距离检测模块及开关模块，所述距离检测模块预设一阈值距离，所述图像采集模块对外界物体成像时，所述距离检测模块检测所述图像采集模块与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述距离检测模块控制所述开关模块闭合，所述图像采集模块采集的图像通过所述开关模块传输至所述图像拼接模块；当所述距离小于所述阈值距离时，所述距离检测模块控制所述开关模块断开，所述图像拼接模块对通过所述开关模块的图像进行拼接，并生成全景图像。本发明还公开了一种全景图像监控系统，能实时、准确的进行全景监控。

Description

一种全景图像拼接装置、方法及监控系统

技术领域

本发明涉及领域全景图像领域，尤其涉及一种全景图像拼接装置、方法及监控系统。

背景技术

在现有的视频监控系统中，视频图像监控系统广泛应用于公共安全领域、军事侦测领域以及私人侦测领域等等。随着技术的发展，全景图像拼接理论、技术和方法是当前图像处理领域的一个研究热点，其目的是解决因成像设备的视角限制，不能直接拍摄到360度全视场图像的问题。

专利CN 103297668A公示一种全景视频图像摄录系统，它利用多个摄像头从各个方位采集图像，并将这些图像拼接成全景图像，从而在实现360°全景监控及实时监控。然而上述的全景视频图像摄录系统存在以下不足：一方面，由于多角度或全景监控系统中传输的图像数据量是单一角度监控系统中的数倍，因而该系统对数据传输能力要求很高；另一方面，该系统也对一些无效的图像进行拼接，给系统带来了一些无必要处理的图像数据，进而导致该系统的处理器要处理非常大的数据量，影响了系统的运行速度并增加了功耗。

发明内容

针对上述问题，本发明的目的在于提供一种全景图像拼接装置、方法，通过去除多个摄像头采集的图像中的无效图像，减少了需要处理的图像数据，从而加快了运行速度，并减少了功耗。

本发明还提供一种基于上述全景图像拼接装置、方法的全景图像监控系统。

本发明实施例提供一种全景图像拼接装置，包括图像拼接模块及至少两路图像传输路，每一所述图像传输路包括图像采集模块、距离检测模块及开关模块，所述开关模块的一端电连接所述图像采集模块及所述距离检测模块，另一端电连接所述图像拼接模块，所述距离检测模块预设一阈值距离，所述图像采集模块对外界物体成像时，所述距离检测模块检测所述图像采集模块与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述距离检测模块控制所述开关模块闭合，所述图像采集模块采集的图像通过所述开关模块传输至所述图像拼接模块；当所述距离小于所述阈值距离时，所述距离检测模块控制所述开关模块断开，所述图像采集模块采集的图像无法通过所述开关模块，所述图像拼接模块对通过所述开关模块的图像进行拼接，并生成全景图像。

作为上述方案的改进，所述阈值距离根据所述图像采集模块的工作场景自适应设定，不同图像传输路的所述距离检测模块预设的阈值距离相同或不同。

作为上述方案的改进，所述全景图像拼接装置还包括图像预处理模块，所述图像预处理模块的一端电连接每一所述开关模块，另一端电连接所述图像拼接模块，以对每一所述开关模块传输的图像进行预处理后传输至所述图像拼接模块，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

作为上述方案的改进，每一所述图像传输路还包括一图像预处理模块，所述图像预处理模块的一端电连接所述开关模块，另一端电连接所述图像拼接模块，以对通过所述开关模块的图像进行预处理后传输至所述图像拼接模块，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

作为上述方案的改进，所述全景图像拼接装置还包括图像压缩编码模块，所述图像压缩编码模块的一端电连接所述图像拼接模块，另一端电连接一显示终端，以对所述图像拼接模块传输的全景图像进行压缩后，传输至所述显示终端。

作为上述方案的改进，所述距离检测模块为红外测距传感器。

本发明实施例还提供一种全景图像拼接方法，包括如下步骤：

通过至少两路图像传输路对外界物体进行成像，以获得至少两个图像，其中，每一所述图像传输路包括图像采集模块、距离检测模块及开关模块；

当所述距离检测模块检测所述 图像采集模块与所述外界物体的距离大于或等于所述距离检测模块预设的阈值距离时，闭合所述开关模块，以使所述图像采集模块采集的图像通过所述开关模块传输至图像拼接模块；

当所述距离检测模块检测所述 图像采集模块与所述外界物体的距离小于所述距离检测模块预设的阈值距离时，断开所述开关模块，以使所述图像采集模块采集的图像无法通过所述开关模块传输至图像拼接模块；及

对通过所述开关模块的图像进行拼接，以获得全景图像。

作为上述方案的改进，所述全景图像拼接方法还包括：

对通过所述开关模块的图像进行预处理，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

作为上述方案的改进，所述全景图像拼接方法还包括：

对所述全景图像进行压缩，并将压缩后的全景图像传输至一显示终端。

本发明实施例还提供一种全景图像监控系统，包括显示终端及上述的全景图像拼接装置，其中，所述显示终端与所述全景图像拼接装置电连接，以接收并显示所述全景图像拼接装置传输的全景图像。

本发明实施例提供的图像拼接装置、方法及监控系统，通过所述距离检测模块及所述开关模块的配合，在判断所述N路图像传输路中的一路或多路传输的图像为无效的图像后，禁止让这一路或多路的图像传输到所述图像拼接模块，减少了所述图像拼接模块所要拼接的图像的数量，从而加快了图像拼接和处理的速度，并减少了功耗。此外，由于无效的图像被去除掉，可保证最终获得的全景图像具有较佳的成像效果，便于从所述全景图像中获取真正需要的信息。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供图像拼接装置的结构示意图。

图2是图1所示的第一图像传输路的结构示意图。

图3是本发明第二实施例提供的图像拼接装置的结构示意图。

图4是本发明第三实施例的第一图像传输路的结构示意图。

图5是本发明第四实施例提供的图像拼接装置的结构示意图。

图6是本发明第五实施例提供的全景图像监控系统的结构示意图。

图7是本发明第六实施例提供的图像拼接方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明第一实施例提供的图像拼接装置的结构示意图。在本发明实施例中，所述图像拼接装置100包括至少两路图像传输路及图像拼接模块40，所述至少两路图像传输路采集图像，并将符合预定要求的图像传输至所述图像拼接模块40，所述图像拼接模块40对接收到的图像进行拼接后，将拼接生成的全景图像传输至一显示终端，以在所述显示终端上显示所述全景图像。

请参阅图2，在本发明实施例中，所述至少两路图像传输路可包括第一图像传输路10、第二图像传输路20、第三图像传输路30…第N图像传输路等，其中，每个图像传输路彼此呈类似并联的关系，且任一图像传输路均包括至少一个的图像采集模块、距离检测模块及开关模块。以所述第一图像传输路10为例，所述第一图像传输路10包括第一图像采集模块11、第一距离检测模块12及第一开关模块13，其中，所述第一开关模块13的一端电连接所述第一图像采集模块11及所述第一距离检测模块12，另一端则电连接所述图像拼接模块40。

在本发明实施例中，所述第一距离检测模块12预设一阈值距离，所述第一图像采集模块11对外界物体成像时，所述第一距离检测模块12检测所述第一图像采集模块11与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述第一距离检测模块12控制所述第一开关模块13闭合，所述第一图像采集模块11采集的图像通过所述第一开关模块13传输至所述图像拼接模块40；当所述距离小于所述阈值距离时，所述第一距离检测模块12控制所述第一开关模块13断开，所述第一图像采集模块11采集的图像无法通过所述第一开关模块12，即无法传输至所述图像拼接模块40。

在本发明实施例中，N路图像传输路的结构均与所述第一图像传输路10的结构大致相同，从而可用于去除成像过程中的无效的图像，减小图像传输和处理的压力。具体为，在实际的成像过程中，N路图像传输路的N个图像采集模块在进行图像采集时，可能有若干个图像采集模块的镜头被遮挡物遮挡，特别是被位于镜头前的遮挡物遮挡到，这导致被遮挡物遮挡到的图像采集模块采集到的图像为无效的图像，即这些图像是非需要的图像，这些图像不仅增加了图像传输和处理的压力，而且，干扰了真正有用的图像信息，因而需要对其进行去除。本发明实施例通过所述距离检测模块预设一阈值距离，并将图像采集模块与所述成像物体之间的距离小于所述阈值距离时，所述图像采集模块采集到的图像设定为无效的图像，并通过所述开关模块禁止这些无效的图像通过，从而实现了对这些无效图片的去除。

需要说明的是，在本发明实施例中，所述图像采集模块可为但并不限于：电荷耦合元件(Charge-coupled Device，CCD)、互补金属氧化物半导体(Complementary MetalOxide Semiconductor，CMOS)或N型金属氧化物半导体(N Mental Oxide Semiconductor，NMOS)，其成像原理可为电子成像、光学成像或光纤成像等，在此不做限定。

需要说明的是，在本发明实施例中，所述N路图像传输路中的N个图像采集模块可按照预设的位置进行摆放，如所述N个图像采集模块可等间距的排列在一个圆周上，以实现360度的全方位图像采集，或者所述N个图像采集模块也可排列成半圆周、矩形或其他任意形状，这些设计方案均在本发明的保护范围之内，在此不再赘述。

需要说明的是，在本发明实施例中，所述距离检测模块可为红外测距传感器，所述距离检测模块可集成于所述图像采集模块内，或紧贴在所述图像采集模块，从而在所述图像采集模块在进行图像采集时，所述距离检测模块检测到其自身与所述外界物体的距离即大致等于所述图像采集模块与所述外界物体的距离。

需要说明的是，在本发明实施例中，所述距离检测模块预设的阈值距离可根据实际的应用场景进行设定，例如，根据应用场景是远距离成像或近距离成像，可设置不同的阈值距离，以兼顾成像效果及图像处理速度。

需要说明的是，在本发明实施例中，所述N路图像传输路中的N个距离检测模块预设的阈值距离可相同也可不同，这些均可根据实际的需要进行设定，只要满足这种设计结构的方案，均在本发明的保护范围之内，在此不再赘述。

在本发明实施例中，所述图像拼接模块40可为基于现场可编程门阵列(FPGA)或专用集成电路(ASIC)的图像拼接电路，其属于专用集成电路中的一种半定制集成电路。所述图像拼接模块40对所述图像预处理模块50传输过来的多个图像进行图像拼接，并在消除边沿重影等步骤后，生成所述全景图像。

综上所述，本发明实施例提供的图像拼接装置100，通过所述距离检测模块及所述开关模块的配合，在判断所述N路图像传输路中的一路或多路传输的图像为无效图像后，禁止让这一路或多路的图像传输到所述图像拼接模块40，减少了所述图像拼接模块40所要拼接的图像的数量，从而加快了所述图像拼接和处理的速度，并减少了功耗。此外，由于无效的图像被去除掉，可保证最终获得的全景图像具有较佳的成像效果，便于从所述全景图像中获取真正需要的信息。

请一并参阅图3，图3是本发明第二实施例提供的图像拼接装置的结构示意图。在本发明实施例中，所述图像拼接装置200除了包括上述第一实施例的所有功能模块外，还进一步包括一图像预处理模块250，所述图像预处理模块50的一端连接所述N路图像传输路的N个开关模块，并在接收来自所述开关模块的图像后，对所述图像进行预处理，其中，所述预处理包括但不限于图像增强、快速中值滤波及图像二值化等，以使所述图像获得更佳的显示效果。

本发明实施例提供的图像拼接装置200，通过所述图像预处理模块250对图像进行处理，使得所述图像获得更佳的显示效果。

请一并参阅图4，图4是本发明第三实施例的第一图像传输路的结构示意图。在本发明的实施例中，所述图像预处理模块350设置于所述N路图像传输路内，即每一图像传输路均包括有一个图像预处理模块350。由于每一路图像传输路获取的图像需进行的预处理效果可能更不相同，比如，对第一路图像传输路10获取的图像可能需要进行图像增强，而对第二路图像传输路20获取的图像可能需要进行快速中值滤波，因而通过在每一路图像传输路均设置一个图像预处理模块，可加快图像预处理的速度，并获得更好的图像显示效果。

请一并参阅图5，图5是本发明第四实施例提供的图像拼接装置的结构示意图。在本发明实施例中，所述图像拼接装置400可包括上述任一实施例的功能模块，此外，还进一步包括图像压缩编码模块460，所述图像压缩编码模块460的一端电连接所述图像拼接模块40，另一端电连接所述显示终端。所述图像压缩编码模块460用于接收所述图像拼接模块40传输过来的全景图像，并对所述全景图像进行压缩编码后，传输至所述显示终端，以在所述显示终端上显示所述全景图像。

本发明实施例提供的图像拼接装置400，由于所述全景图像经过了所述图像压缩编码模块460的压缩，图像数据较小，因而可提供传输的效率。

请参阅图6，图6是本发明第五实施例提供的全景图像监控系统的结构示意图。所述全景图像监控系统包括显示终端及上项任一实施例所述的全景图像拼接装置。其中，所述显示终端可为移动终端(如智能手机)、平板电脑、笔记本电脑或台式电脑等。由于所述全景图像拼接装置可对全景进行快速和准确的成像，因而，所述全景图像监控系统可实现实时、准确的监控效果。

请参阅图7，图7是本发明第六实施例提供的全景图像拼接方法的流程图，其包括如下步骤：

S601，通过至少两路图像传输路对外界物体进行成像，以获得至少两个图像，其中，每一所述图像传输路包括图像采集模块、距离检测模块及开关模块。

请一并参阅图1及图2，在本发明实施例中，所述至少两路图像传输路可包括第一图像传输路、第二图像传输路、第三图像传输路…第N图像传输路等，其中，每个图像传输路彼此呈类似并联的关系，且任一图像传输路均包括至少一个的图像采集模块、距离检测模块及开关模块。以所述第一图像传输路为例，所述第一图像传输路包括第一图像采集模块、第一距离检测模块及第一开关模块，其中，所述第一开关模块的一端电连接所述第一图像采集模块及所述第一距离检测模块，另一端则电连接所述图像拼接模块。

S603，当所述距离检测模块检测所图像采集模块与所述外界物体的距离大于或等于所述距离检测模块预设的阈值距离时，闭合所述开关模块，以使所述图像采集模块采集的图像通过所述开关模块传输至图像拼接模块。

在本发明实施例中，所述第一距离检测模块预设一阈值距离，所述第一图像采集模块对外界物体成像时，所述第一距离检测模块检测所述第一图像采集模块与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述第一距离检测模块控制所述第一开关模块闭合，所述第一图像采集模块采集的图像通过所述第一开关模块传输至所述图像拼接模块。

S605，当所述距离检测模块检测所述 图像采集模块与所述外界物体的距离小于所述距离检测模块预设的阈值距离时，断开所述开关模块，以使所述图像采集模块采集的图像无法通过所述开关模块传输至图像拼接模块。

在本发明实施例中，当所述距离小于所述阈值距离时，所述第一距离检测模块控制所述第一开关模块断开，所述第一图像采集模块采集的图像无法通过所述第一开关模块，即无法传输至所述图像拼接模块。

S607，对通过所述开关模块的图像进行拼接，以获得全景图像。

在本发明实施例中，所述图像拼接模块可为基于现场可编程门阵列(FPGA)或专用集成电路(ASIC)的图像拼接电路，其属于专用集成电路中的一种半定制集成电路。所述图像拼接模块对所述图像预处理模块传输过来的多个图像进行图像拼接，并在消除边沿重影等步骤后，生成所述全景图像。

综上所述，本发明实施例提供的图像拼接方法，通过所述距离检测模块及所述开关模块的配合，在判断所述N路图像传输路中的一路或多路传输的图像为无效图像后，禁止让这一路或多路的图像传输到所述图像拼接模块，减少了所述图像拼接模块所要拼接的图像的数量，从而加快了所述图像拼接和处理的速度，并减少了功耗。此外，由于无效的图像被去除掉，可保证最终获得的全景图像具有较佳的成像效果，便于从所述全景图像中获取真正需要的信息。

本发明第七实施例还提供一种全景图像拼接方法。所述全景图像拼接方法除了包括第六实施例的所有步骤外，还进一步包括：

对通过所述开关模块的图像进行预处理，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

请一并参阅图3，在本发明实施例中，所述图像拼接装置还进一步包括图像预处理模块，所述图像预处理模块在接收来自所述开关模块的图像后，对所述图像进行预处理，其中，所述预处理包括但不限于图像增强、快速中值滤波及图像二值化等，以使所述图像获得更佳的显示效果。

请一并参阅图4，在本发明的实施例中，所述图像预处理模块也可设置于所述N路图像传输路内，即每一图像传输路均包括有一个图像预处理模块。由于每一路图像传输路获取的图像需进行的预处理效果可能更不相同，比如，对第一路图像传输路获取的图像可能需要进行图像增强，而对第二路图像传输路获取的图像可能需要进行快速中值滤波，因而通过在每一路图像传输路均设置一个图像预处理模块，可加快图像预处理的速度，并获得更好的图像显示效果。

本发明实施例提供的图像拼接方法，通过所述图像预处理模块对图像进行处理，使得所述图像获得更佳的显示效果。

本发明第八实施例还提供一种全景图像拼接方法，所述全景图像拼接方法除了包括第六实施例或第七实施例的所有步骤外，还进一步包括：

对所述全景图像进行压缩，并将压缩后的全景图像传输至一显示终端。

请一并参阅图5，在本发明实施例中，所述图像拼接装置还进一步包括图像压缩编码模块，所述图像压缩编码模块的一端电连接所述图像拼接模块，另一端电连接所述显示终端。所述图像压缩编码模块用于接收所述图像拼接模块传输过来的全景图像，并对所述全景图像进行压缩编码后，传输至所述显示终端，以在所述显示终端上显示所述全景图像。

本发明实施例提供的全景图像拼接方法，由于所述全景图像经过了所述图像压缩编码模块的压缩，图像数据较小，因而可提供传输的效率。

本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本发明实施例方法中的步骤可以根据实际需要进行合并、划分和删减。

以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种全景图像拼接装置，包括图像拼接模块，其特征在于，还包括至少两路图像传输路，每一所述图像传输路包括图像采集模块、距离检测模块及开关模块，所述开关模块的一端电连接所述图像采集模块及所述距离检测模块，另一端电连接所述图像拼接模块，所述距离检测模块预设一阈值距离，所述图像采集模块对外界物体成像时，所述距离检测模块检测所述图像采集模块与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述距离检测模块控制所述开关模块闭合，所述图像采集模块采集的图像通过所述开关模块传输至所述图像拼接模块；当所述距离小于所述阈值距离时，所述距离检测模块控制所述开关模块断开，所述图像采集模块采集的图像无法通过所述开关模块，所述图像拼接模块对通过所述开关模块的图像进行拼接，并生成全景图像。

2.根据权利要求1所述的全景图像拼接装置，其特征在于，所述阈值距离根据所述图像采集模块的工作场景自适应设定，不同图像传输路的所述距离检测模块预设的阈值距离相同或不同。

3.根据权利要求1所述的全景图像拼接装置，其特征在于，所述全景图像拼接装置还包括图像预处理模块，所述图像预处理模块的一端电连接每一所述开关模块，另一端电连接所述图像拼接模块，以对每一所述开关模块传输的图像进行预处理后传输至所述图像拼接模块，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

4.根据权利要求1所述的全景图像拼接装置，其特征在于，每一所述图像传输路还包括一图像预处理模块，所述图像预处理模块的一端电连接所述开关模块，另一端电连接所述图像拼接模块，以对通过所述开关模块的图像进行预处理后传输至所述图像拼接模块，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

5.根据权利要求3所述的全景图像拼接装置，其特征在于，所述全景图像拼接装置还包括图像压缩编码模块，所述图像压缩编码模块的一端电连接所述图像拼接模块，另一端电连接一显示终端，以对所述图像拼接模块传输的全景图像进行压缩后，传输至所述显示终端。

6.根据权利要求1-5任意一项所述的全景图像拼接装置，其特征在于，所述距离检测模块为红外测距传感器。

7.一种全景图像拼接方法，其特征在于，包括如下步骤：

通过至少两路图像传输路对外界物体进行成像，以获得至少两个图像，其中，每一所述图像传输路包括图像采集模块、距离检测模块及开关模块；

当所述距离检测模块检测所述 图像采集模块与所述外界物体的距离大于或等于所述距离检测模块预设的阈值距离时，闭合所述开关模块，以使所述图像采集模块采集的图像通过所述开关模块传输至图像拼接模块；

当所述距离检测模块检测所述 图像采集模块与所述外界物体的距离小于所述距离检测模块预设的阈值距离时，断开所述开关模块，以使所述图像采集模块采集的图像无法通过所述开关模块传输至图像拼接模块；及

对通过所述开关模块的图像进行拼接，以获得全景图像。

8.根据权利要求7所述的全景图像拼接方法，其特征在于，所述全景图像拼接方法还包括：

对通过所述开关模块的图像进行预处理，其中，所述预处理包括图像增强、快速中值滤波及图像二值化中的至少一个图像处理操作。

9.根据权利要求7所述的全景图像拼接方法，其特征在于，所述全景图像拼接方法还包括：

对所述全景图像进行压缩，并将压缩后的全景图像传输至一显示终端。

10.一种全景图像监控系统，包括显示终端，其特征在于，所述全景图像监控系统还包括如权利要求1-6任意一项所述的全景图像拼接装置，其中，所述显示终端与所述全景图像拼接装置电连接，以接收并显示所述全景图像拼接装置传输的全景图像。