CN106768325A - 多光谱光场视频采集装置 - Google Patents

Abstract

本发明提出一种多光谱光场视频采集装置，包括：滤镜阵列，用于对目标观测对象发出的目标光线进行滤光调制，得到滤光光线；相机阵列，设置在滤镜阵列后方，用于在触发后，采集滤波光线，并输出滤波光线对应的方向信息及光谱信息；存储装置，与相机阵列相连，用于存储方向信息及光谱信息；控制器，用于向相机阵列发送触发指令，以使相机阵列触发，并从存储装置中获取方向信息及光谱信息，对方向信息及光谱信息进行解耦，并根据得到的深度图像对目标观测对象所处的场景进行渲染，以得到场景的光谱信息与光场信息。本发明能够实时地采集目标对象的光线信息，从而得到对象的多光谱光场视频，具有成本低、分辨率高的优点。

Description

多光谱光场视频采集装置

技术领域

本发明涉及光谱成像技术领域，特别涉及一种多光谱光场视频采集装置。

背景技术

光谱成像技术，是将成像和光谱两大技术有机结合发展出来的新技术，在成像的同时也获得各个像元的光谱信息，从而构建一组光强随空间坐标和波长坐标分布的数据立方。相比于常规的成像，光谱成像结合了拍摄对象的光谱信息；而相比于传统的光谱分析，光谱成像又涵盖了对象的空间信息，兼具图像和光谱信息，实现图谱合一，开辟光谱及图像分析的新方向。

光场成像技术，是通过相机阵列形式或者在光路中增加微透镜阵列，获取对象的二维空间分布信息和光线传播的方向信息，利用到拍摄对象各角度的空域的相关性，可以实现场景的深度求取、三维重建以及重聚焦等功能。将光场成像技术融入光谱成像领域，可以在成像过程中记录下光线的方向信息，在实际的场景中，可以利用方向信息，重建出不同焦平面下的光谱图像，有助于突出场景中的有价值的信息。

常见的光谱成像系统，多采用线扫模式或者切换滤镜的方式来获取光谱信息，充分利用到传感器单元，可以构建出数据量较大的空间分辨率较高的光谱数据立方，但是无论是线扫还是切换滤镜，都是需要牺牲时间进行扫描或切换，降低时间分辨率，从而无法针对动态场景进行实时的光谱成像。而采用光栅或是棱镜分光的方式，可以做到实时的成像，但是单个像元的光谱数据是需要多个传感器单元来共同探测，这样讲导致数据的空间分辨率降低。同理，针对场景的光场成像，采用微透镜阵列的方式，也是用到多个传感器单元探测单个像元的光线方向信息，也是会在很大程度上降低空间分辨率。因此，如何动态地采集多光谱光场的高空间分辨率图像，是需要解决的一个重点问题。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种多光谱光场视频采集装置，该装置能够实时地采集目标对象的光线信息，从而得到对象的多光谱光场视频，具有成本低、分辨率高的优点。

为了实现上述目的，本发明的实施例公开了一种多光谱光场视频采集装置，包括：滤镜阵列，所述滤镜阵列用于对目标观测对象发出的目标光线进行滤光调制，得到滤光光线；相机阵列，所述相机阵列设置在所述滤镜阵列后方，用于在触发后，采集所述滤波光线，并输出所述滤波光线对应的方向信息及光谱信息；存储装置，所述存储模块与所述相机阵列相连，用于存储所述方向信息及光谱信息；控制器，所述控制器分别与所述相机阵列和存储装置相连，用于向所述相机阵列发送触发指令，以使所述相机阵列触发，并从所述存储装置中获取所述方向信息及光谱信息，对所述方向信息及光谱信息进行解耦，并根据得到的深度图像对目标观测对象所处的场景进行渲染，以得到所述场景的光谱信息与光场信息。

另外，根据本发明上述实施例的多光谱光场视频采集装置还可以具有如下附加的技术特征：

在一些示例中，还包括：显示模块，所述显示模块与分别与所述控制器和所述相机阵列相连，所述控制器用于在所述相机阵列触发前，控制所述相机阵列对所述目标观测对象进行预览，并通过所述显示模块显示预览结果。

在一些示例中，所述相机阵列包括多个相机，所述多个相机的类型相同且等距排列，用于采集来自不同方向的滤波光线。

在一些示例中，所述滤镜阵列包括多个滤镜，所述多个滤镜的谱段不同，且所述多个滤镜与所述多个相机一一对应设置。

在一些示例中，所述滤镜阵列与所述相机阵列的距离小于预设距离，且所述滤镜的直径大于所述相机的直径。

在一些示例中，所述多个相机同步触发。

在一些示例中，所述相机的分辨率高于预设分辨率。

在一些示例中，所述控制器通过无线通信方式或有线通信方式分别与所述相机阵列和存储装置相连，以向所述相机阵列发送所述触发指令，以及从所述存储装置中获取所述方向信息及光谱信息。

在一些示例中，所述滤镜的滤光特性与目标光线的方向无关。

在一些示例中，所述显示模块为移动终端。

根据本发明实施例的多光谱光场视频采集装置，具有如下优点：

1、融合了场景的光谱成像及光场成像，且无需线扫及滤镜切换等机械操作，实现了对动态场景的多光谱光场信息的实时采集，为场景的多光谱成像、重聚焦、三维重建等工作提供了数据支持。

2、单一相机同时采集场景的光谱信息和方向信息，并在后台利用场景跨光谱通道跨视点(即不同的光谱和方法)下的空间信息的相关性，提出了光谱信息和方向信息的解耦方案，在采集同等光谱信息和方向信息的数据量的前提下，可以减少相机数量，从而降低系统的成本和规模。

3、利用相机传感器对单一光谱通道及单一方向的光线进行成像，得到图像的空间分辨率等同于常规的成像，可获取场景的高空间分辨率图像。

4、后台通过无线同步控制各个相机，进行数据传输，并提供预览窗口，很大程度上便捷了整个数据采集过程。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的多光谱光场视频采集装置的系统示意图；以及

图2是根据本发明一个实施例的多光谱光场视频采集装置的成像部分示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明实施例的多光谱光场视频采集装置。

图1是根据本发明一个实施例的多光谱光场视频采集装置的系统示意图。如图1所示，该多光谱光场视频采集装置包括：滤镜阵列110、相机阵列120、存储装置130及控制器140。

其中，滤镜阵列110用于对目标观测对象发出的目标光线进行滤光调制，得到滤光光线。

相机阵列120设置在滤镜阵列110方，用于在触发后，采集滤波光线，并输出滤波光线对应的方向信息及光谱信息。

其中，相机阵列120包括多个相机，多个相机的类型相同且等距排列，用于采集来自不同方向的滤波光线，以获取光场信息。对应地，滤镜阵列110包括多个滤镜，多个滤镜的谱段不同，且多个滤镜与多个相机一一对应设置。其中，滤镜的滤光特性与目标光线的方向无关。换言之，即各个相机前段对应配置了不同谱段的滤光装置(如滤镜)，以采集目标的各个谱段的光线，获取光场信息。不同位置的滤镜具备不同的滤光特性，而滤镜的光谱曲线根据应用场景确定，因此，需要选择合适的谱段针对特定对象进行探测。

需要说明的是，目标的光场信息是由通过相机阵列的形式获取，单一相机内部对采集到的光线没有进行分光操作，从而每一个相机的感光元器件都是对某一视角的目标进行成像，获取高空间分辨率的图像。进一步地，目标的光谱信息是由相机阵列120前置滤光阵列110实现的，光谱信息的采集过程不存在视角及谱段的切换，从而实现对目标光线信息的实时采集，也即完成对目标对象的光谱及光场图像的视频采集。

在具体示例中，例如，各个相机自带电源及数据存储装置，并且通过无线方式与后方控制器140进行通信。

进一步地，滤镜阵列110与相机阵列120的距离小于预设距离，且滤镜的直径大于相机的直径。

在本发明的一个实施例中，相机阵列120中的多个相机根据触发指令同步触发。

进一步地，相机阵列120中的每个相机的分辨率高于预设分辨率，即每个相机具有高分辨率。

存储装置130与相机阵列120相连，用于存储方向信息及光谱信息。

控制器140分别与相机阵列120和存储装置130相连，用于向相机阵列120发送触发指令，以使相机阵列120触发，并从存储装置130中获取方向信息及光谱信息，对方向信息及光谱信息进行解耦，并根据得到的深度图像对目标观测对象所处的场景进行渲染，以得到场景的光谱信息与光场信息。

具体地，控制器140通过无线通信方式(如蓝牙)或有线通信方式分别与相机阵列120和存储装置130相连，以向相机阵列120发送触发指令，以及从存储装置130中获取方向信息及光谱信息。

换言之，在采集过程中，目标对象发出的光线经由各个滤镜调制，分别入射到对应各个滤镜的相机上，单一相机采集得到了特定波长及特定方向的光线信息，且波长及方向信息是相互耦合；数据由各个相机独立存储，在采集过程结束后，数据经由无线或有线的方式传输至后台(即控制器140)，后台程序根据目标对象发出光线在空间域的冗余性，即不同波长不同方向的图像之间的相关性，对各个相机采集到的光线信息进行联合解耦，从而获取目标对象在各个波长和各个方向上的光线信息。同时由于数据获取过程中，各个相机是可连续实时的采集的，得到的是一组视频流，满足了对动态场景多光谱光场实时成像的需求。采集各方向各波长的光线信息，各相机内部不涉及分光的环节，充分利用到相机的传感单元进行成像，得到的图像信息在空间上是具备高分辨率的。

进一步地，在本发明的一个实施例中，该多光谱光场视频采集装置还包括：显示模块，显示模块与分别与控制器140和相机阵列120相连，控制器140用于在相机阵列120触发前，控制相机阵列120对目标观测对象进行预览，并通过显示模块显示预览结果，从而实现对目标对象的预览。在本发明的一个实施例中，显示模块例如为移动终端，移动终端例如通过蓝牙与控制器140相互通信，从而实现在采集钱对目标对象进行预览。换言之，即在视频采集前，可通过无线在后台或移动终端对目标对象进行实时预览。

为了便于理解，以下结合具体实施例对本发明实施例的多光谱光场视频采集装置做进一步详细描述。

在本实施例中，结合图1和图2所示，该多光谱光场视频采集装置例如包括：滤镜阵列、相机阵列、存储装置及后台服务器(即控制器)。目标对象的光线经过滤镜阵列在相机阵列成像，并将数据记录在存储装置。后台服务器通过无线网络控制相机的预览、触发与采集过程，并进行数据传输；数据的后期处理过程也在后台服务器端完成。针对相互耦合的方向信息与光谱信息，后台服务器端根据空间信息的冗余性，进行跨通道的立体匹配，对方向信息与光谱信息进行解耦，并根据得到的深度图像对场景做进一步渲染，从而得到场景的光谱信息与光场信息。参见图2，滤镜阵列安置于相机阵列前段，滤镜与相机一一对应，滤镜的直径要大于相机，且滤镜阵列与相机阵列相距很近，确保入射进相机的光线都经过了滤镜的调制，同时防止滤镜阵列的固定板对相机的视野造成遮挡。

在本实施例中，例如，滤镜阵列及相机阵列以3×3的规模为例，相机之间的间距为10cm，滤镜阵列与相机阵列的距离不大于0.5cm。进一步地，滤镜厚度为1mm，为平面镜，其光谱特性为10到20nm的带通滤波；此外，可以根据应用场景的需求，更换其他光谱特性曲线的滤镜。进一步地，相机采用的参数为4K30，即4096×2160的空间分辨率和30帧每秒的时间分辨率，便于场景的动态及高空间分辨率采集。进一步地，无线网络的架构是通过集线器加无线网卡完成的。集线器总线端连接后台服务器，各接口分别连接无线网卡，后台服务器设置无线网卡，与相机端自带的无线信号相连，完成对相机的同步、控制及数据传输。通过编写后台服务器的程序，实现相机的预览、触发指令及数据传输。此外，可以根据应用场景的需求，调整相机的采集帧率、图像分辨率及聚焦面等参数。后台服务器端，针对相互耦合的方向信息与光谱信息，利用场景空间信息的冗余性，进行跨通道的立体匹配，对方向信息和光谱信息进行数据解耦。

综上，本发明实施例的多光谱光场视频采集装置的结构及主要工作原理例如可概述为：相机前段分别安置滤光装置，针对不同位置的相机，安置不同谱段的滤光装置；通过架构无线网络，由后台对所有相机进行同步控制；由目标观测对象出射的光，入射到各个位置的高分辨率相机中，相机采集到了兼具目标光线的方向信息及光谱信息，在全光函数的数据维度中，各个相机采集到的方向信息与光谱信息是相互耦合的，可根据空间信息的冗余性，传输至后台进行数据解耦及渲染；后台触发相机后，可实时地采集目标观测对象的光线信息，包含方向信息及光谱信息，并由存储装置进行离线存储；并且在采集前，系统可由无线或蓝牙，在后台或外置移动端，对目标观测对象进行预览。

根据本发明实施例的多光谱光场视频采集装置，具有如下优点：

1、融合了场景的光谱成像及光场成像，且无需线扫及滤镜切换等机械操作，实现了对动态场景的多光谱光场信息的实时采集，为场景的多光谱成像、重聚焦、三维重建等工作提供了数据支持。

2、单一相机同时采集场景的光谱信息和方向信息，并在后台利用场景跨光谱通道跨视点(即不同的光谱和方法)下的空间信息的相关性，提出了光谱信息和方向信息的解耦方案，在采集同等光谱信息和方向信息的数据量的前提下，可以减少相机数量，从而降低系统的成本和规模。

3、利用相机传感器对单一光谱通道及单一方向的光线进行成像，得到图像的空间分辨率等同于常规的成像，可获取场景的高空间分辨率图像。

4、后台通过无线同步控制各个相机，进行数据传输，并提供预览窗口，很大程度上便捷了整个数据采集过程。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (10)

1.一种多光谱光场视频采集装置，其特征在于，包括：

滤镜阵列，所述滤镜阵列用于对目标观测对象发出的目标光线进行滤光调制，得到滤光光线；

相机阵列，所述相机阵列设置在所述滤镜阵列后方，用于在触发后，采集所述滤波光线，并输出所述滤波光线对应的方向信息及光谱信息；

存储装置，所述存储模块与所述相机阵列相连，用于存储所述方向信息及光谱信息；

控制器，所述控制器分别与所述相机阵列和存储装置相连，用于向所述相机阵列发送触发指令，以使所述相机阵列触发，并从所述存储装置中获取所述方向信息及光谱信息，对所述方向信息及光谱信息进行解耦，并根据得到的深度图像对目标观测对象所处的场景进行渲染，以得到所述场景的光谱信息与光场信息。

2.根据权利要求1所述的多光谱光场视频采集装置，其特征在于，还包括：

显示模块，所述显示模块与分别与所述控制器和所述相机阵列相连，所述控制器用于在所述相机阵列触发前，控制所述相机阵列对所述目标观测对象进行预览，并通过所述显示模块显示预览结果。

3.根据权利要求1所述的多光谱光场视频采集装置，其特征在于，所述相机阵列包括多个相机，所述多个相机的类型相同且等距排列，用于采集来自不同方向的滤波光线。

4.根据权利要求3所述的多光谱光场视频采集装置，其特征在于，所述滤镜阵列包括多个滤镜，所述多个滤镜的谱段不同，且所述多个滤镜与所述多个相机一一对应设置。

5.根据权利要求4所述的多光谱光场视频采集装置，其特征在于，所述滤镜阵列与所述相机阵列的距离小于预设距离，且所述滤镜的直径大于所述相机的直径。

6.根据权利要求5所述的多光谱光场视频采集装置，其特征在于，所述多个相机同步触发。

7.根据权利要求1-6任一项所述的多光谱光场视频采集装置，其特征在于，所述相机的分辨率高于预设分辨率。

8.根据权利要求1所述的多光谱光场视频采集装置，其特征在于，所述控制器通过无线通信方式或有线通信方式分别与所述相机阵列和存储装置相连，以向所述相机阵列发送所述触发指令，以及从所述存储装置中获取所述方向信息及光谱信息。

9.根据权利要求4所述的多光谱光场视频采集装置，其特征在于，所述滤镜的滤光特性与目标光线的方向无关。

10.根据权利要求2所述的多光谱光场视频采集装置，其特征在于，所述显示模块为移动终端。