[go: up one dir, main page]

CN117151976A - 基于事件数据的遮挡环境高分辨率成像方法及装置 - Google Patents

基于事件数据的遮挡环境高分辨率成像方法及装置 Download PDF

Info

Publication number
CN117151976A
CN117151976A CN202310907436.8A CN202310907436A CN117151976A CN 117151976 A CN117151976 A CN 117151976A CN 202310907436 A CN202310907436 A CN 202310907436A CN 117151976 A CN117151976 A CN 117151976A
Authority
CN
China
Prior art keywords
event stream
stream data
occlusion
event
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310907436.8A
Other languages
English (en)
Inventor
高跃
李思奇
李一鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310907436.8A priority Critical patent/CN117151976A/zh
Publication of CN117151976A publication Critical patent/CN117151976A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于事件数据的遮挡环境高分辨率成像方法及装置，其中，方法包括：获取遮挡环境下的有遮挡事件流数据；将有遮挡事件流数据沿时间维度均分为多段事件流数据；构建脉冲卷积神经网络；得到多个事件流数据特征向量；构建去遮挡成像网络；得到分辨率低于第一预设阈值的多个去遮挡成像结果；构建高分辨率图像生成网络；拼接多个去遮挡成像结果，并进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。由此，解决了相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。

Description

基于事件数据的遮挡环境高分辨率成像方法及装置
技术领域
本申请涉及计算机视觉及神经形态计算技术领域，特别涉及一种基于事件数据的遮挡环境高分辨率成像方法及装置。
背景技术
事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。
事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。
脉冲神经网络是第三代人工神经网络，它把时间信息的影响也考虑其中。脉冲神经网络中的神经元不是在每一次迭代传播中都被激活，而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。脉冲神经网络模拟神经元更加接近实际，更加适用于处理时序脉冲信号。
相关技术中，使用事件相机记录遮挡缝隙中的场景信息，从而对遮挡物背后的场景进行图像生成。
然而，相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像，亟待改进。
发明内容
本申请提供一种基于事件数据的遮挡环境高分辨率成像方法及装置，以解决相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。
本申请第一方面实施例提供一种基于事件数据的遮挡环境高分辨率成像方法，包括以下步骤：获取遮挡环境下的有遮挡事件流数据；将所述有遮挡事件流数据沿时间维度均分为多段事件流数据；基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络；将所述多段事件流数据分别输入至所述脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量；构建去遮挡成像网络；将所述多个事件流数据特征向量输入至所述去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果；构建高分辨率图像生成网络；以及拼接所述多个去遮挡成像结果，并利用所述高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
可选地，在本申请的一个实施例中，所述多段事件流数据包括第一至第三事件流数据，其中，所述第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
可选地，在本申请的一个实施例中，所述脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
可选地，在本申请的一个实施例中，所述去遮挡成像网络使用U-Net结构，所述去遮挡成像网络的输入层的输入通道数为32，所述去遮挡成像网络的输出层的输出通道数为所述有遮挡事件流数据的图像帧的通道数。
可选地，在本申请的一个实施例中，所述高分辨率图像生成网络包含上采样层和U-Net网络，其中，所述上采样层利用双线性插值的方式将输入图像的空间分辨率放大为2倍，且所述U-Net网络的输入层的输入通道数为3*k，以及所述U-Net网络的输出层的输出通道数为1，其中，k为所述有遮挡事件流数据的图像帧的通道数。
本申请第二方面实施例提供一种基于事件数据的遮挡环境高分辨率成像装置，包括：获取模块，用于获取遮挡环境下的有遮挡事件流数据；均分模块，用于将所述有遮挡事件流数据按照时间均分为多段事件流数据；第一构建模块，用于基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络；第一传播模块，用于将所述多段事件流数据分别输入至所述脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量；第二构建模块，用于构建去遮挡成像网络；第二传播模块，用于将所述多个事件流数据特征向量输入至所述去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果；第三构建模块，用于构建高分辨率图像生成网络；以及第三传播模块，用于拼接所述多个去遮挡成像结果，并利用所述高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
可选地，在本申请的一个实施例中，所述多段事件流数据包括第一至第三事件流数据，其中，所述第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
可选地，在本申请的一个实施例中，所述脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
可选地，在本申请的一个实施例中，所述去遮挡成像网络使用U-Net结构，所述去遮挡成像网络的输入层的输入通道数为32，所述去遮挡成像网络的输出层的输出通道数为所述有遮挡事件流数据的图像帧的通道数。
可选地，在本申请的一个实施例中，所述高分辨率图像生成网络包含上采样层和U-Net网络，其中，所述上采样层利用双线性插值的方式将输入图像的空间分辨率放大为2倍，且所述U-Net网络的输入层的输入通道数为3*k，以及所述U-Net网络的输出层的输出通道数为1，其中，k为所述有遮挡事件流数据的图像帧的通道数。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于事件数据的遮挡环境高分辨率成像方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于事件数据的遮挡环境高分辨率成像方法。
本申请实施例可以在遮挡环境下移动的事件相机所获取的事件流数据的基础上，通过脉冲神经网络、去遮挡成像网络和高分辨率图像生成网络获得去遮挡高分辨率图像生成结果，从而实现有效的无遮挡高分辨率成像，实现对场景的有效精准观测，提高事件流数据去噪效果。由此，解决了相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于事件数据的遮挡环境高分辨率成像方法的流程图；
图2为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的工作原理示意图；
图3为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的事件流数据示意图；
图4为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的多端事件流数据示意图；
图5为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的低分辨率去遮挡成像结果示意图；
图6为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的遮挡环境高分辨率图像生成示意图；
图7为根据本申请实施例的一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图；
图8为根据本申请实施例的遮挡场景下传统相机获取的2D成像示意图；
图9为根据本申请实施例的基于事件数据的遮挡环境高分辨率成像装置的示例图；
图10为根据本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于事件数据的遮挡环境高分辨率成像方法及装置。针对上述背景技术中心提到的相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像的问题，本申请提供了一种基于事件数据的遮挡环境高分辨率成像方法，在该方法中，可以在遮挡环境下移动的事件相机所获取的事件流数据的基础上，通过脉冲神经网络、去遮挡成像网络和高分辨率图像生成网络获得去遮挡高分辨率图像生成结果，从而实现有效的无遮挡高分辨率成像，实现对场景的有效精准观测，提高事件流数据去噪效果。由此，解决了相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。
具体而言，图1为本申请实施例所提供的一种基于事件数据的遮挡环境高分辨率成像方法的流程示意图。
如图1所示，该基于事件数据的遮挡环境高分辨率成像方法包括以下步骤：
在步骤S101中，获取遮挡环境下的有遮挡事件流数据。
具体而言，本申请实施例可以获取原始数据，在存在遮挡的情况下，移动事件相机，从事件相机获取事件流数据ε，如图3所示。
在步骤S102中，将有遮挡事件流数据沿时间维度均分为多段事件流数据。
举例而言，本申请实施例可以对有遮挡事件流数据进行预处理，将事件流数据ε根据时间均分为3段，记为ε1，ε2，ε3，如图4所示。
可选地，在本申请的一个实施例中，多段事件流数据包括第一至第三事件流数据，其中，第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
在步骤S103中，基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络。
具体而言，本申请实施例可以构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建脉冲卷积神经网络。
可选地，在本申请的一个实施例中，脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；隐藏卷积层的输入通道数为16，隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；输出卷积层的输入通道数为16，输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
在步骤S104中，将多段事件流数据分别输入至脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量。
举例而言，本申请实施例可以将多段事件流数据ε1，ε2，ε3分别输入至脉冲卷积神经网络，进行前向传播，得到多个事件流数据特征向量F1，F2，F3。
在步骤S105中，构建去遮挡成像网络。
在实际执行过程中，本申请实施例可以使用U-Net结构构建去遮挡成像网络。输出层的输出通道数为k。其中，k为获取的视频数据的图像帧的通道数，即获取为灰度视频时k＝1，获取为彩色视频时k＝3。
可选地，在本申请的一个实施例中，去遮挡成像网络使用U-Net结构，去遮挡成像网络的输入层的输入通道数为32，去遮挡成像网络的输出层的输出通道数为有遮挡事件流数据的图像帧的通道数。
在步骤S106中，将多个事件流数据特征向量输入至去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果。
具体而言，本申请实施例可以将多个事件流数据特征F1，F2，F3分别输入至去遮挡成像网络，进行前向传播，得到分辨率低于第一预设阈值的去遮挡成像结果I1，I2，I3。
其中，本申请实施例可以将事件流数据特征向量F1使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I1，将事件流数据特征向量F2使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I2，将事件流数据特征向量F3使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I3，如图5所示。
在步骤S107中，构建高分辨率图像生成网络。
举例而言，本申请实施例的高分辨率图像生成网络可以包含上采样层和U-Net网络。其中，关于高分辨率图像生成网络的参数说明将在下文进行详细阐述。
可选地，在本申请的一个实施例中，高分辨率图像生成网络包含上采样层和U-Net网络，其中，上采样层利用双线性插值的方式将输入图像的空间分辨率放大为2倍，且U-Net网络的输入层的输入通道数为3*k，以及U-Net网络的输出层的输出通道数为1，其中，k为有遮挡事件流数据的图像帧的通道数。
在实际执行过程中，若本申请实施例获取为彩色视频时，则k＝3；若获取为灰度视频时，则k＝1。
在步骤S108中，拼接多个去遮挡成像结果，并利用高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
具体而言，本申请实施例可以将得到的分辨率低于第一预设阈值的去遮挡成像结果I1，I2，I3拼接起来，并使用高分辨率图像生成网络进行前向传播，得到高分辨率去遮挡图像，实现遮挡环境高分辨率成像的效果，如图6所示。
结合图2至图6所示，以一个实施例对本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的工作原理进行详细阐述。
其中，本申请实施例的基于事件数据的遮挡环境高分辨率成像方法的具体步骤如图2所示。
步骤S201：原始数据获取。
具体而言，本申请实施例可以在存在遮挡的情况下，移动事件相机，从事件相机获取事件流数据ε，如图3所示。
步骤S202：数据预处理。
举例而言，本申请实施例可以对有遮挡事件流数据进行预处理，将事件流数据ε根据时间均分为3段，记为ε1，ε2，ε3，如图4所示。
其中，多段事件流数据包括第一至第三事件流数据，其中，第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
步骤S203：脉冲神经网络构建。
在实际执行过程中，本申请实施例可以使用Spike Response模型作为神经元动力学模型，构建脉冲卷积神经网络。
其中，所构建的脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层。输入卷积层的输入通道数为2，对应事件流的正极性事件和负极性事件，卷积核的尺寸为3×3，步长为1，输出通道数为16。隐藏卷积层的输入通道数为16，卷积核的尺寸为3×3，步长为1，输出通道数为16。输出卷积层的输入通道数为16，卷积核的尺寸为3×3，步长为1，输出通道数为32。
步骤S204：事件流编码计算。
举例而言，本申请实施例可以将多段事件流数据ε1，ε2，ε3分别输入至脉冲卷积神经网络，进行前向传播，得到多个事件流数据特征向量F1，F2，F3。
步骤S205：去遮挡成像网络构建。
在实际执行过程中，本申请实施例可以使用U-Net结构构建去遮挡成像网络。输出层的输出通道数为k。其中，k为获取的视频数据的图像帧的通道数，即获取为灰度视频时k＝1，获取为彩色视频时k＝3。
步骤S206：低分辨率去遮挡成像计算。
具体而言，本申请实施例可以将多个事件流数据特征F1，F2，F3分别输入至去遮挡成像网络，进行前向传播，得到分辨率低于第一预设阈值的去遮挡成像结果I1，I2，I3。
其中，本申请实施例可以将事件流数据特征向量F1使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I1，将事件流数据特征向量F2使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I2，将事件流数据特征向量F3使用去遮挡成像网络进行前向传播得到低分辨率去遮挡成像结果I3，如图5所示。
步骤S207：高分辨率图像生成网络构建。
在实际执行过程中，本申请实施例中的高分辨率图像生成网络可以包含一个上采样层和一个U-Net结构。上采样层使用双线性插值的方法将输入图像的空间分辨率放大为2倍。U-Net结构的输入层的输入通道数为3×k。输出层的输出通道数为1。其中，k为步骤1中获取的视频数据的图像帧的通道数，即步骤1中获取为灰度视频时k＝1，步骤1中获取为彩色视频时k＝3。
步骤S208：高分辨率图像生成计算。
具体而言，本申请实施例可以将得到的低分辨率去遮挡成像结果I1，I2，I3拼接起来，并使用高分辨率图像生成网络进行前向传播，得到高分辨率去遮挡图像，实现遮挡环境高分辨率成像的效果，如图6所示。
其中，图7为一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图。
图8是遮挡场景下传统相机获取的2D成像结果。
根据本申请实施例提出的基于事件数据的遮挡环境高分辨率成像方法，可以在遮挡环境下移动的事件相机所获取的事件流数据的基础上，通过脉冲神经网络、去遮挡成像网络和高分辨率图像生成网络获得去遮挡高分辨率图像生成结果，从而实现有效的无遮挡高分辨率成像，实现对场景的有效精准观测，提高事件流数据去噪效果。由此，解决了相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。
其次参照附图描述根据本申请实施例提出的基于事件数据的遮挡环境高分辨率成像装置。
图9是本申请实施例的基于事件数据的遮挡环境高分辨率成像装置的方框示意图。
如图9所示，该基于事件数据的遮挡环境高分辨率成像装置10包括：获取模块100、均分模块200、第一构建模块300、第一传播模块400、第二构建模块500、第二传播模块600、第三构建模块700和第三传播模块800。
其中，获取模块100，用于获取遮挡环境下的有遮挡事件流数据。
均分模块200，用于将有遮挡事件流数据按照时间均分为多段事件流数据。
第一构建模块300，用于基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络。
第一传播模块400，用于将多段事件流数据分别输入至脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量。
第二构建模块500，用于构建去遮挡成像网络。
第二传播模块600，用于将多个事件流数据特征向量输入至去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果。
第三构建模块700，用于构建高分辨率图像生成网络。
第三传播模块800，用于拼接多个去遮挡成像结果，并利用高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
可选地，在本申请的一个实施例中，多段事件流数据包括第一至第三事件流数据，其中，第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
可选地，在本申请的一个实施例中，脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；隐藏卷积层的输入通道数为16，隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；输出卷积层的输入通道数为16，输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
可选地，在本申请的一个实施例中，去遮挡成像网络使用U-Net结构，去遮挡成像网络的输入层的输入通道数为32，去遮挡成像网络的输出层的输出通道数为有遮挡事件流数据的图像帧的通道数。
可选地，在本申请的一个实施例中，高分辨率图像生成网络包含上采样层和U-Net网络，其中，上采样层利用双线性插值的方式将输入图像的空间分辨率放大为2倍，且U-Net网络的输入层的输入通道数为3*k，以及U-Net网络的输出层的输出通道数为1，其中，k为有遮挡事件流数据的图像帧的通道数。
需要说明的是，前述对基于事件数据的遮挡环境高分辨率成像方法实施例的解释说明也适用于该实施例的基于事件数据的遮挡环境高分辨率成像装置，此处不再赘述。
根据本申请实施例提出的基于事件数据的遮挡环境高分辨率成像装置，可以在遮挡环境下移动的事件相机所获取的事件流数据的基础上，通过脉冲神经网络、去遮挡成像网络和高分辨率图像生成网络获得去遮挡高分辨率图像生成结果，从而实现有效的无遮挡高分辨率成像，实现对场景的有效精准观测，提高事件流数据去噪效果。由此，解决了相关技术中，受限于事件相机的低分辨率，仅能使用纯视频或纯事件流生成去遮挡的低分辨率图像，对场景的精准观测不足，无法生成高分辨率的无遮挡图像等问题。
图10为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行程序时实现上述实施例中提供的基于事件数据的遮挡环境高分辨率成像方法。
进一步地，电子设备还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于事件数据的遮挡环境高分辨率成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于事件数据的遮挡环境高分辨率成像方法，其特征在于，包括以下步骤：
获取遮挡环境下的有遮挡事件流数据；
将所述有遮挡事件流数据沿时间维度均分为多段事件流数据；
基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络；
将所述多段事件流数据分别输入至所述脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量；
构建去遮挡成像网络；
将所述多个事件流数据特征向量输入至所述去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果；
构建高分辨率图像生成网络；以及
拼接所述多个去遮挡成像结果，并利用所述高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
2.根据权利要求1所述的方法，其特征在于，所述多段事件流数据包括第一至第三事件流数据，其中，所述第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
3.根据权利要求1所述的方法，其特征在于，所述脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
4.根据权利要求1所述的方法，其特征在于，所述去遮挡成像网络使用U-Net结构，所述去遮挡成像网络的输入层的输入通道数为32，所述去遮挡成像网络的输出层的输出通道数为所述有遮挡事件流数据的图像帧的通道数。
5.根据权利要求1所述的方法，其特征在于，所述高分辨率图像生成网络包含上采样层和U-Net网络，其中，所述上采样层利用双线性插值的方式将输入图像的空间分辨率放大为2倍，且所述U-Net网络的输入层的输入通道数为3*k，以及所述U-Net网络的输出层的输出通道数为1，其中，k为所述有遮挡事件流数据的图像帧的通道数。
6.一种基于事件数据的遮挡环境高分辨率成像装置，其特征在于，包括：
获取模块，用于获取遮挡环境下的有遮挡事件流数据；
均分模块，用于将所述有遮挡事件流数据按照时间均分为多段事件流数据；
第一构建模块，用于基于脉冲神经网络和预设神经元动力学模型，构建脉冲卷积神经网络；
第一传播模块，用于将所述多段事件流数据分别输入至所述脉冲卷积神经网络，以进行前向传播，得到多个事件流数据特征向量；
第二构建模块，用于构建去遮挡成像网络；
第二传播模块，用于将所述多个事件流数据特征向量输入至所述去遮挡成像网络，以进行前向传播，得到分辨率低于第一预设阈值的多个去遮挡成像结果；
第三构建模块，用于构建高分辨率图像生成网络；以及
第三传播模块，用于拼接所述多个去遮挡成像结果，并利用所述高分辨率图像生成网络进行前向传播，得到分辨率高于第二预设阈值的无遮挡图像。
7.根据权利要求6所述的装置，其特征在于，所述多段事件流数据包括第一至第三事件流数据，其中，所述第一至第三事件流数据的获取公式为：
其中，ε1为第一事件流数据，ε2为第二事件流数据，ε3为第三事件流数据，T为获取的完整事件流ε的持续时间长度。
8.根据权利要求6所述的装置，其特征在于，所述脉冲神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，且对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16；所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于事件数据的遮挡环境高分辨率成像方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于事件数据的遮挡环境高分辨率成像方法。
CN202310907436.8A 2023-07-21 2023-07-21 基于事件数据的遮挡环境高分辨率成像方法及装置 Pending CN117151976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310907436.8A CN117151976A (zh) 2023-07-21 2023-07-21 基于事件数据的遮挡环境高分辨率成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310907436.8A CN117151976A (zh) 2023-07-21 2023-07-21 基于事件数据的遮挡环境高分辨率成像方法及装置

Publications (1)

Publication Number Publication Date
CN117151976A true CN117151976A (zh) 2023-12-01

Family

ID=88908906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310907436.8A Pending CN117151976A (zh) 2023-07-21 2023-07-21 基于事件数据的遮挡环境高分辨率成像方法及装置

Country Status (1)

Country Link
CN (1) CN117151976A (zh)

Similar Documents

Publication Publication Date Title
US9615039B2 (en) Systems and methods for reducing noise in video streams
CN114885144B (zh) 基于数据融合的高帧率3d视频生成方法及装置
CN114881921B (zh) 基于事件及视频融合的去遮挡成像方法及装置
Zhang et al. Formulating event-based image reconstruction as a linear inverse problem with deep regularization using optical flow
Duan et al. Guided event filtering: Synergy between intensity images and neuromorphic events for high performance imaging
CN110610486B (zh) 单目图像深度估计方法及装置
CN113076685A (zh) 图像重建模型的训练方法、图像重建方法及其装置
Gao et al. Superfast: 200× video frame interpolation via event camera
JP2024537758A (ja) ビデオ会議のための関心領域（ｒｏｉ）ベースのアップスケーリング
CN112771843A (zh) 信息处理方法、装置和成像系统
CN114885112B (zh) 基于数据融合的高帧率视频生成方法及装置
WO2021101732A1 (en) Joint rolling shutter correction and image deblurring
JP7176616B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム
CN116385283A (zh) 一种基于事件相机的图像去模糊方法及系统
Chen et al. Self-supervised joint dynamic scene reconstruction and optical flow estimation for spiking camera
CN116485863A (zh) 基于数据融合的深度图像视频生成方法及装置
JP2002281381A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN114372932A (zh) 一种图像处理的方法及计算机程序产品
Gour et al. Hardware accelerator for real-time image resizing
CN118570101A (zh) 一种基于多模态信息融合的事件图像去模糊方法及系统
CN117151976A (zh) 基于事件数据的遮挡环境高分辨率成像方法及装置
CN116091337B (zh) 一种基于事件信号神经编码方式的图像增强方法及装置
CN117078731A (zh) 事件数据驱动的遮挡环境高分辨率深度估计方法及装置
CN114627161B (zh) 源图片到驱动图片的运动迁移的方法和系统
CN111915587A (zh) 视频处理方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination