[go: up one dir, main page]

CN118298194B - 一种面向相机光通信的条纹图像处理方法、装置及设备 - Google Patents

一种面向相机光通信的条纹图像处理方法、装置及设备 Download PDF

Info

Publication number
CN118298194B
CN118298194B CN202410725911.4A CN202410725911A CN118298194B CN 118298194 B CN118298194 B CN 118298194B CN 202410725911 A CN202410725911 A CN 202410725911A CN 118298194 B CN118298194 B CN 118298194B
Authority
CN
China
Prior art keywords
stripe
image
model
extraction
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410725911.4A
Other languages
English (en)
Other versions
CN118298194A (zh
Inventor
邓乾
刘文平
李思涵
付国强
黄泽亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Da Chang Technology Development Co ltd
HUBEI UNIVERSITY OF ECONOMICS
Original Assignee
Da Chang Technology Development Co ltd
HUBEI UNIVERSITY OF ECONOMICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Da Chang Technology Development Co ltd, HUBEI UNIVERSITY OF ECONOMICS filed Critical Da Chang Technology Development Co ltd
Priority to CN202410725911.4A priority Critical patent/CN118298194B/zh
Publication of CN118298194A publication Critical patent/CN118298194A/zh
Application granted granted Critical
Publication of CN118298194B publication Critical patent/CN118298194B/zh
Priority to US18/795,162 priority patent/US12249114B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请属于可见光通信领域，具体公开了一种面向相机光通信的条纹图像处理方法、装置及设备，该方法包括：获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；基于条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型；图像重建模型作为生成对抗网络的生成器，条纹提取模型作为生成对抗网络的判别器。通过本申请，利用GAN将两种矛盾性质的任务进行生成对抗，能够有效地均衡图像重建准确度和条纹提取准确度，获得适用于可见光通信场景的图像重建模型和条纹提取模型。

Description

一种面向相机光通信的条纹图像处理方法、装置及设备
技术领域
本申请属于可见光通信领域，更具体地，涉及一种面向相机光通信的条纹图像处理方法、装置及设备。
背景技术
可见光通信是一种利用可见光波段进行通信的技术。它利用可见光的特性进行数据传输，通过调制光的亮度或颜色来传递信息。
可见光通信的原理是利用LED灯或激光器等光源发射光信号，接收端使用相机接收并解码光信号，从而实现数据传输。在可见光通信场景下，光源发射光信号时，会以一定的频率闪烁，这种闪烁是肉眼无法察觉的。当光信号经过传输到接收端时，接收端通过相机中的光传感器以一定的帧率捕捉图像，由于LED灯的闪烁频率和相机的帧率不同，在捕捉到的图像中出现了带条纹的现象，图像中出现了明暗交替的条纹。这些条纹的间距和亮度变化对应着LED灯的闪烁频率和亮度变化，从而可以通过提取图像中的条纹，获取条纹序列，进而解码光信号。
对于条纹图像，一般会有条纹图像重建任务和条纹提取任务，其中条纹图像重建任务用于消除图像中的条纹，恢复背景图像，条纹提取任务用于提取图像中的条纹。图像重建和条纹提取是一对相互矛盾的任务。当图像中黑色条纹过多的时候，有利于条纹提取的任务，却不利于图像重建；相反，越少的黑色条纹有利于图像重建任务，而不利于条纹提取任务。在可见光通信场景下，如何均衡图像重建准确度和条纹提取准确度是本领域亟待解决的技术问题。
发明内容
针对现有技术的缺陷，本申请的目的在于实现在可见光通信场景下，均衡图像重建准确度和条纹提取准确度。
为实现上述目的，第一方面，本申请提供了一种面向相机光通信的条纹图像处理方法，包括：
获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；
基于条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，图像重建模型用于将条纹图像重建为无条纹图像，条纹提取模型用于基于条纹图像提取条纹；
其中，图像重建模型作为生成对抗网络的生成器，条纹提取模型作为生成对抗网络的判别器。
需要说明书的是，条纹图像所携带的条纹序列用于表征可见光通信编码信息。条纹序列标签作为有监督训练过程中条纹提取的标签，可以是通过人工方式对条纹图像样本中的条纹进行提取所获取的。无条纹图像标签作为有监督训练过程中图像重建的标签，可以是在无可见光通信的情况下，通过人工方式对环境背景进行图像采集所获取到的无条纹图像，而且此环境背景与对应条纹图像样本中所示的环境背景相同。对于上述无可见光通信的情况，在此情况下，如果布设有可见光通信设备，可见光通信设备暂停控制周围环境中的光源闪烁。
可以理解的是，图像重建和条纹提取是一对相互对抗（矛盾）的任务，利用条纹图像数据集和GAN将两种矛盾性质的任务进行生成对抗，能够有效地均衡图像重建准确度和条纹提取准确度，获得适用于可见光通信场景的图像重建模型和条纹提取模型。
在一种可能的实现方式中，上述基于条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，包括：
基于条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签，持续计算损失值并优化模型参数，直至满足训练停止条件；
计算损失值并优化模型参数，包括：
输入条纹图像样本和对应的条纹序列标签至图像重建模型，获取图像重建模型输出的训练阶段重建图像；
输入条纹图像样本至条纹提取模型，获取条纹提取模型输出的条纹图像样本条纹提取结果，并输入无条纹图像标签至条纹提取模型，获取条纹提取模型输出的无条纹图像条纹提取结果，并输入训练阶段重建图像至条纹提取模型，获取条纹提取模型输出的重建图像条纹提取结果；
基于训练阶段重建图像、重建图像条纹提取结果和无条纹图像标签，获取图像重建模型对应的损失值，并基于条纹图像样本条纹提取结果、无条纹图像条纹提取结果、重建图像条纹提取结果和条纹序列标签，获取条纹提取模型对应的损失值；
基于图像重建模型对应的损失值和条纹提取模型对应的损失值，通过反向传播方式优化模型参数。
上述满足训练停止条件可以是损失值小于预设损失阈值，或，达到最大迭代训练轮数。对于条纹图像样本条纹提取结果，其数据结构可以是序列形式，也即条纹序列。对于无条纹图像条纹提取结果，其可以是条纹提取模型对无条纹图像标签进行处理所获取的条纹提取结果。对于重建图像条纹提取结果，其数据结构可以是序列形式，也即条纹序列。
在一种可能的实现方式中，上述基于训练阶段重建图像、重建图像条纹提取结果和无条纹图像标签，获取图像重建模型对应的损失值，包括：
比较训练阶段重建图像中像素点和无条纹图像标签中对应像素点之间的差异（可以是计算L1损失），获取第一类生成器损失；
比较重建图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类生成器损失；
基于第一类生成器损失和第二类生成器损失，进行加权求和，获取图像重建模型对应的损失值。
对于无条纹图像对应的条纹序列，此处进行举例说明。如果用0表示图像中一列（或一行）像素是有条纹的，用1表示图像中一列（或一行）像素是无条纹的，那么无条纹图像对应的条纹序列为全1的序列。
上述比较重建图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，具体可以是计算二元交叉熵损失（Binary Cross Entropy Loss，BCE）或计算均方误差损失（Mean Squared Error Loss，MSE）。
在一种可能的实现方式中，上述基于条纹图像样本条纹提取结果、无条纹图像条纹提取结果、重建图像条纹提取结果和条纹序列标签，获取条纹提取模型对应的损失值，包括：
比较条纹图像样本条纹提取结果和条纹序列标签之间的差异，获取第一类判别器损失；
比较无条纹图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类判别器损失；
比较重建图像条纹提取结果和条纹序列标签之间的差异，获取第三类判别器损失；
基于第一类判别器损失、第二类判别器损失和第三类判别器损失，进行加权求和，获取条纹提取模型对应的损失值。
上述比较条纹图像样本条纹提取结果和条纹序列标签之间的差异，具体可以是计算BCE损失或计算MSE损失。
上述比较无条纹图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，具体可以是计算BCE损失或计算MSE损失。
上述比较重建图像条纹提取结果和条纹序列标签之间的差异，具体可以是计算BCE损失或计算MSE损失。
可选地，在加权求和过程中，第二类判别器损失对应的权重系数除以第三类判别器损失对应的权重系数所得的比值大于或等于10。
需要说明的是，第二类判别器损失对应的权重系数与第三类判别器损失对应的权重系数这两者之间相差至少一个数量级。相差一个数量级意味着两个数量之间的差异为10倍，例如，如果第三类判别器损失对应的权重系数为0.05，第二类判别器损失对应的权重系数为0.5，那么这两个数量就相差一个数量级。
在一种可能的实现方式中，在获取图像重建模型和条纹提取模型之后，还包括：
通过相机获取周围环境的条纹图像，周围环境中光源在可见光通信设备的控制下进行闪烁；
将条纹图像输入至图像重建模型，获取图像重建模型输出的重建图像；和/或，将条纹图像输入至条纹提取模型，获取条纹提取模型输出的条纹序列。
在一种可能的实现方式中，图像重建模型是基于编码器和解码器构建的，并通过跳跃连接（skip connections，或称为残差连接）将编码器和解码器的特征图进行连接，编码器用于对图像特征进行下采样，解码器用于对图像特征进行上采样。
可选地，图像重建模型是基于U-Net网络构建的，U-Net网络为具有对称U形结构的全卷积网络，U-Net网络结构包括编码器和解码器部分，编码器用于提取图像特征，解码器用于将特征映射回原始图像尺寸。在编码器部分，U-Net网络采用了卷积神经网络（CNN）进行特征提取，同时使用池化操作来减小特征图的尺寸。在解码器部分，U-Net网络使用上采样来增加特征图的尺寸，并通过跳跃连接（skip connections）将编码器和解码器部分的特征图进行连接，以帮助网络学习更好的特征表示。
示例性地，编码器由N个数量的下采样模块构成，相应地，解码器由N个数量的上采样模块构成。
下采样模块通过级联一个卷积层、一个批量归一化模块和一个随机丢弃（Dropout）层构成。
上采样模块通过级联一个转置卷积模块、一个批量归一化模块、一个Relu激活函数模块和一个随机丢弃（Dropout）层构成。
可选地，为了保障图像重建模型所输出的重构图像尺寸与原始图像尺寸一致，可以在编码器的最后一个上采样模块之后连接一个重建模块，重建模块用于将最后一个上采样模块的特征映射回原始图像尺寸。
示例性地，重建模块通过级联一个上采样层、一个零填充（Zero Padding）层、一个卷积层、一个Tanh激活函数模块和一个像素值缩放层构成。上采样层可以采用最近邻插值的上采样方式。
对于像素值缩放层，可以通过以下像素值缩放公式来实现，其中，表示像素值缩放层的输入，也即Tanh激活函数模块的输出，表示像素值缩放层的输出；可以理解的是，经过Tanh激活函数的输出结果是（-1，1）区间，而像素值的范围是（0，1），通过上述像素值缩放公式对Tanh激活函数模块的输出值进行缩放，以调整到（0，1）区间。
在一种可能的实现方式中，图像重建模型中的一个或多个跳跃连接是基于双交叉注意力（Dual Cross-Attention，DCA）模块构建的。
双交叉注意力模块基于通道交叉注意（Channel Cross Attention，CCA）模块和空间交叉注意（Spatial Cross Attention，SCA）模块来构建的。
例如，双交叉注意力模块具体包括多尺度块嵌入（Multi-scale PatchEmbedding）模块、通道交叉注意模块、空间交叉注意模块、归一化模块以及激活函数模块。
可以将编码器一个或多个特征层作为输入，输入至多尺度块嵌入模块，以获取编码器的向量表示，该向量表示可以由多个标记（Token）组成，进而通过通道交叉注意模块和空间交叉注意模块所形成的双交叉注意力机制，对编码器的向量表示进行处理，更新向量表示以捕获长距离依赖关系，进而使用归一化模块以及激活函数模块，对更新后的向量表示进行序列化和上采样之后，连接至解码器的对应层。其中，激活函数模块可以采用高斯误差线性单元（Gaussian Error Linear Unit，GeLU）。
在一种可能的实现方式中，条纹提取模型是通过级联序列生成网络、多个卷积层、线性层以及激活函数模块所构建的。
对于序列生成网络，其可以配置多个通道，每个通道由一个特征提取模块实现，每个通道的输入相同，聚合多个通道的输出特征之后输入至后续的卷积层；序列生成网络用于识别图像中条纹序列并生成序列特征，序列特征输入至后续卷积层。
例如，可以通过堆叠一系列模块（building block），来构建序列生成网络中的特征提取模块。堆叠一系列模块可以是级联一个批量归一化（Batch Normalization，BN）模块、一个注意力模块、另一个BN模块以及一个多层感知模块，在第一个批量归一化模块的输入和注意力模块的输出之间设置有跳跃连接，在第二个批量归一化模块的输入和多层感知模块的输出之间设置有跳跃连接。
特征提取模块的注意力模块可以通过级联一个卷积层、GeLU激活函数、多尺度卷积注意力模块以及一个大小的卷积核来构建，其中卷积层可以采用大小的卷积核。
多尺度卷积注意力模块可以通过级联四个卷积层来构建。其中，第一个卷积层采用大小的深度（depth-wise）可分离卷积核；第二个卷积层设置有三个通道，分别采用大小的深度可分离卷积核、大小的深度可分离卷积核和大小的深度可分离卷积核；第三个卷积层设置有三个通道，分别采用大小的深度可分离卷积核、大小的深度可分离卷积核和大小的深度可分离卷积核；第四个卷积层采用大小的卷积核；在第一个卷积层的输入和第四个卷积层的输出之间设置有基于卷积注意力机制（Convolutional Attention）的跳跃连接；在第一个卷积层的输出和第三个卷积层的输出之间设置有跳跃连接。
多层感知模块可以通过级联一个大小的卷积核、大小的深度可分离卷积核、GeLU和一个卷积层来构建，其中卷积层可以采用大小的卷积核。
第二方面，本申请提供一种面向相机光通信的条纹图像处理装置，包括：
样本获取模块，用于获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；
模型训练模块，用于基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，所述图像重建模型用于将条纹图像重建为无条纹图像，所述条纹提取模型用于基于条纹图像提取条纹；
其中，所述图像重建模型作为所述生成对抗网络的生成器，所述条纹提取模型作为所述生成对抗网络的判别器。
第三方面，本申请提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
总体而言，通过本申请所构思的以上技术方案与现有技术相比，具有以下有益效果：
通过利用条纹图像数据集和GAN将两种矛盾性质的任务进行生成对抗，能够有效地均衡图像重建准确度和条纹提取准确度，获得适用于可见光通信场景的图像重建模型和条纹提取模型。
附图说明
图1是本申请实施例提供的面向相机光通信的条纹图像处理方法的流程示意图；
图2是本申请实施例提供的GAN的结构示意图；
图3是本申请实施例提供的图像重建模型的结构示意图；
图4是本申请实施例提供的下采样模块的结构示意图；
图5是本申请实施例提供的上采样模块的结构示意图；
图6是本申请实施例提供的重建模块的结构示意图；
图7是本申请实施例提供的条纹提取模型的结构示意图；
图8是本申请实施例提供的特征提取模块的结构示意图；
图9是本申请实施例提供的特征提取模块中注意力模块的结构示意图；
图10是本申请实施例提供的多尺度卷积注意力模块的结构示意图；
图11是本申请实施例提供的多层感知模块的结构示意图；
图12是本申请实施例提供的条纹提取实验结果的示意图；
图13是本申请实施例提供的面向相机光通信的条纹图像处理装置的结构示意图；
图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了便于更加清晰地理解本申请各实施例，首先对一些相关的背景知识进行如下介绍。
对于一个标准的GAN网络在图像重建任务中的运用，生成器与判别器共同构成了GAN的两个部分，生成器负责根据输入的图像，对其进行下采样，接着上采样，获得重建图像输出，判别器根据输入的两张图像（例如真实图像和重建图像），利用卷积层获得判别输出判别结果，其中判别器的输出是一个数组，表示在原始图像中，每个部分是否属于真实图像。
模型的损失函数包括两个部分，一个是生成器损失，一个是判别器损失，其中，生成器损失包括真实图像与预测图像的重建损失以及来自于判别器的判别损失，判别器的判别损失反映判别器认为生成器的输出是否为真实图像的情况；判别器的损失包括利用MSE损失对真实图像对的判别情况以及利用MSE损失对假图像的判别情况。两个网络（生成器和判别器）不断学习，形成对抗过程，生成器的任务是使得输出与真实图像的差距小，同时还要生成尽可能骗过判别器的内容，判别器的优化目标为训练自身，使得自身可以识别哪种图像是真实图像，哪种是生成器生成的图像。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个处理单元是指两个或者两个以上的处理单元等；多个元件是指两个或者两个以上的元件等。
下面结合本申请实施例中的附图对本申请实施例进行描述。
图1是本申请实施例提供的面向相机光通信的条纹图像处理方法的流程示意图，如图1所示，该方法的执行主体可以是电子设备，例如服务器等。该方法包括以下步骤S101和步骤S102。
步骤S101，获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签。
需要说明书的是，条纹图像所携带的条纹序列用于表征可见光通信编码信息。条纹序列标签作为有监督训练过程中条纹提取的标签，可以是通过人工方式对条纹图像样本中的条纹进行提取所获取的。无条纹图像标签作为有监督训练过程中图像重建的标签，可以是在无可见光通信的情况下，通过人工方式对环境背景进行图像采集所获取到的无条纹图像，而且此环境背景与对应条纹图像样本中所示的环境背景相同。对于上述无可见光通信的情况，在此情况下，如果布设有可见光通信设备，可见光通信设备暂停控制周围环境中的光源闪烁。
步骤S102，基于条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，图像重建模型用于将条纹图像重建为无条纹图像，条纹提取模型用于基于条纹图像提取条纹。
其中，图像重建模型作为生成对抗网络的生成器，条纹提取模型作为生成对抗网络的判别器。
生成对抗网络（Generative Adversarial Network，GAN）由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器负责生成数据样本，而判别器负责判断生成的数据样本是真实的还是伪造的。GAN的工作原理是通过让生成器和判别器相互对抗地训练，使得生成器能够生成足够逼真的数据样本，而判别器能够准确地区分真实数据和生成数据。在训练过程中，生成器不断生成数据样本，而判别器不断学习如何更好地判断真实数据和生成数据，直到生成器生成的数据样本无法被判别器区分为止。
可以理解的是，图像重建和条纹提取是一对相互对抗（矛盾）的任务，利用条纹图像数据集和GAN将两种矛盾性质的任务进行生成对抗，能够有效地均衡图像重建准确度和条纹提取准确度，获得适用于可见光通信场景的图像重建模型和条纹提取模型。
提取的条纹序列可以方便的运用于可见光通信中进行信息的解码。而图像重建结果可以用于环境感知和目标识别与检测等任务。
图2是本申请实施例提供的GAN的结构示意图，如图2所示，图像重建模型作为生成对抗网络的生成器，条纹提取模型作为生成对抗网络的判别器。
图像重建模型可以是基于编码器和解码器构建的，并通过跳跃连接（skipconnections，或称为残差连接）将编码器和解码器的特征图进行连接，编码器用于对图像特征进行下采样，解码器用于对图像特征进行上采样。
图3是本申请实施例提供的图像重建模型的结构示意图，如图3所示，图像重建模型可以是基于U-Net网络构建的，U-Net网络为具有对称U形结构的全卷积网络，U-Net网络结构包括编码器和解码器，编码器用于提取图像特征，解码器用于将特征映射回原始图像尺寸。在编码器部分，U-Net网络采用了卷积神经网络（CNN）进行特征提取，同时使用池化操作来减小特征图的尺寸。在解码器部分，U-Net网络使用上采样来增加特征图的尺寸，并通过跳跃连接（skip connections）将编码器和解码器部分的特征图进行连接，以帮助网络学习更好的特征表示。如图3所示，对于指向某一个上采样模块的跳跃连接，跳跃连接所传递的特征图与上采样模块所输出的特征图相融合，融合之后的特征图输入至下一级模块。
示例性地，如图3所示，图像重建模型的输入图像（原始图像）的维度可以是，相应地，图像重建模型的输出图像（重建图像）的维度也是，也即图像重建模型的输入图像的维度与输出图像的维度保持相同。
示例性地，编码器由N个数量的下采样模块构成，相应地，解码器由N个数量的上采样模块构成。
图4是本申请实施例提供的下采样模块的结构示意图，如图4所示，下采样模块通过级联一个卷积层、一个批量归一化模块和一个随机丢弃（Dropout）层构成。
图5是本申请实施例提供的上采样模块的结构示意图，如图5所示，上采样模块通过级联一个转置卷积模块、一个批量归一化模块、一个Relu激活函数模块和一个随机丢弃（Dropout）层构成。
可选地，为了保障图像重建模型所输出的重构图像尺寸与原始图像尺寸一致，如图3所示，可以在编码器的最后一个上采样模块之后连接一个重建模块，重建模块用于将最后一个上采样模块的特征映射回原始图像尺寸。
示例性地，图6是本申请实施例提供的重建模块的结构示意图，如图6所示，重建模块通过级联一个上采样层、一个零填充（Zero Padding）层、一个卷积层、一个Tanh激活函数模块和一个像素值缩放层构成。上采样层可以采用最近邻插值的上采样方式。
对于像素值缩放层，可以通过以下像素值缩放公式来实现，其中，表示像素值缩放层的输入，也即Tanh激活函数模块的输出，表示像素值缩放层的输出；可以理解的是，经过Tanh激活函数的输出结果是（-1，1）区间，而像素值的范围是（0，1），通过上述像素值缩放公式对Tanh激活函数模块的输出值进行缩放，以调整到（0，1）区间。
在一种可能的实现方式中，图像重建模型中的一个或多个跳跃连接是基于双交叉注意力（Dual Cross-Attention，DCA）模块构建的。
双交叉注意力模块基于通道交叉注意（Channel Cross Attention，CCA）模块和空间交叉注意（Spatial Cross Attention，SCA）模块来构建的。
例如，双交叉注意力模块具体包括多尺度块嵌入（Multi-scale PatchEmbedding）模块、通道交叉注意模块、空间交叉注意模块、归一化模块以及激活函数模块。
可以将编码器一个或多个特征层作为输入，输入至多尺度块嵌入模块，以获取编码器的向量表示，该向量表示可以由多个标记（Token）组成，进而通过通道交叉注意模块和空间交叉注意模块所形成的双交叉注意力机制，对编码器的向量表示进行处理，更新向量表示以捕获长距离依赖关系，进而使用归一化模块以及激活函数模块，对更新后的向量表示进行序列化和上采样之后，连接至解码器的对应层。其中，激活函数模块可以采用高斯误差线性单元（Gaussian Error Linear Unit，GeLU）。
图7是本申请实施例提供的条纹提取模型的结构示意图，如图7所示，条纹提取模型是通过级联序列生成网络、多个卷积层、线性层以及激活函数模块所构建的。
对于序列生成网络，其可以配置多个通道，每个通道由一个特征提取模块实现，图7中示出的为4个通道，也即特征提取模块；每个通道的输入相同，聚合多个通道的输出特征之后输入至后续的卷积层；序列生成网络用于识别图像中条纹序列并生成序列特征，序列特征输入至后续卷积层。
示例性地，对于条纹提取模型中的多个卷积层，图7中示出的为4个卷积层，4个卷积层的输入维度依次为512、256、128以及64，卷积层在这里的作用是聚合特征，使得最终经过线性层的计算减小。
示例性地，如图7所示，在输入图像宽度为512的情况下，条纹提取模型的输出维度为512，与输入图像宽度一致的序列，线性层之后可以经过激活函数模块处理，控制序列中每一位的取值范围为0或1。例如，如图7所示，激活函数模块可以是sigmoid函数模块。可以理解的是，在相机采用列扫描方式采集图像的情况下，序列表示在垂直方向上，图像列是否为黑色条纹，例如，0表示这一列像素是有条纹的，1表示无条纹。
例如，图8是本申请实施例提供的特征提取模块的结构示意图，如图8所示，可以通过堆叠一系列模块（building block），来构建序列生成网络中的特征提取模块。如图8所示，堆叠一系列模块可以是级联一个批量归一化（Batch Normalization，BN）模块、一个注意力模块、另一个BN模块以及一个多层感知模块，在第一个批量归一化模块的输入和注意力模块的输出之间设置有跳跃连接，在第二个批量归一化模块的输入和多层感知模块的输出之间设置有跳跃连接。
图9是本申请实施例提供的特征提取模块中注意力模块的结构示意图，如图9所示，特征提取模块的注意力模块可以通过级联一个卷积层、GeLU激活函数、多尺度卷积注意力模块以及一个大小的卷积核来构建，其中卷积层可以采用大小的卷积核。
图10是本申请实施例提供的多尺度卷积注意力模块的结构示意图，如图10所示，多尺度卷积注意力模块可以通过级联四个卷积层来构建。其中，第一个卷积层采用大小的深度（depth-wise）可分离卷积核；第二个卷积层设置有三个通道，分别采用大小的深度可分离卷积核、大小的深度可分离卷积核和大小的深度可分离卷积核；第三个卷积层设置有三个通道，分别采用大小的深度可分离卷积核、大小的深度可分离卷积核和大小的深度可分离卷积核；第四个卷积层采用大小的卷积核；在第一个卷积层的输入和第四个卷积层的输出之间设置有基于卷积注意力机制（Convolutional Attention）的跳跃连接；在第一个卷积层的输出和第三个卷积层的输出之间设置有跳跃连接。
图11是本申请实施例提供的多层感知模块的结构示意图，如图11所示，多层感知模块可以通过级联一个大小的卷积核、大小的深度可分离卷积核、GeLU和一个卷积层来构建，其中卷积层可以采用大小的卷积核。
在获取图像重建模型和条纹提取模型之后，通过相机获取周围环境的条纹图像，将条纹图像输入至条纹提取模型，可以获取条纹提取模型输出的条纹序列，图12是本申请实施例提供的条纹提取实验结果的示意图，如图12所示，可以横坐标表示列序号，纵坐标表示列长度。
下面对图像重建损失以及条纹提取损失进行说明。
图像重建模型对应的损失值可以是对以下两类损失。
对于图像重建的第一类损失（或称为第一类生成器损失），真实图像和图像重建模型输出的图像之间的L1像素损失，该损失作为图像重建的第一类损失。真实图像是无条纹的图像，也即无条纹图像标签。
对于图像重建的第二类损失（或称为第二类生成器损失），此处需要详细说明的是，图像重建模型在图像重建任务中，应该尽可能生成没有条纹的图像，图像重建的任务就是去除条纹，而这里的条纹提取模型充当（条纹）判别器，用于判断图像重建模型生成的图像是否含有条纹，如前文所述，图像重建模型应该尽可能生成无条纹的图像，然后经过条纹提取模型之后，应该尽可能输出序列全为1的序列，当输出序列全为1的时候意味着这个时候输入图像已经不包含条纹了，根据这个构思，首先定义一个与条纹提取模型输出维度一致的全1的序列向量，用于表示期望图像重建模型的输出经过条纹提取模型得到的序列应该全为1，接着在实际训练过程中，图像重建模型的输出经过条纹提取模型得到的条纹序列与这个全为1的序列做损失计算（BCE损失或MSE损失），该损失作为图像重建的第二类损失。在实际训练过程中，由于条纹提取模型本身的输出是一个条纹序列，包含了条纹的位置信息，这个在训练过程中，可以很好的指导图像重建模型对特定条纹部分进行重建。
训练过程中，输入至条纹提取模型的图像包括：条纹图像、无条纹图像标签和生成器输出的重建图像。条纹提取模型对应的损失值可以是对以下三类损失进行加权求和所确定的。
对于条纹提取的第一类损失（或称为第一类判别器损失），将条纹图像输入至条纹提取模型，并计算条纹提取模型的对应输出（条纹序列）与真实的黑色条纹序列（条纹图像对应的序列标签）的BCE损失或MSE损失，用于训练条纹提取模型对带条纹图像的提取能力，该损失作为条纹提取的第一类损失。
对于条纹提取的第二类损失（或称为第二类判别器损失），条纹提取模型作为判别图像是否含有条纹的判别器，还应该学习什么时候图像没有条纹，这个时候的损失为无条纹图像标签经过条纹提取模型处理后得到的条纹序列与全为1的序列的BCE损失或MSE损失，该损失作为条纹提取的第二类损失。
对于条纹提取的第三类损失（或称为第三类判别器损失），在对抗训练的后期，图像重建模型输出的重建图像越来越接近于真实的无条纹图像（背景图像），条纹提取器从该重建图像中提取出条纹的难度越来越大，但是重建图像中依然存在残影，为了引导条纹提取模型识别出重建图像中的条纹，假定图像重建模型输出的图像一定有条纹，将重建图像经过条纹提取模型处理后得到的条纹序列与真实的黑色条纹序列之间计算损失（BCE损失或MSE损失）作为条纹提取的第三类损失，能够在对抗训练的后期有效地引导条纹提取模型识别出重建图像中的条纹，增加对抗难度，促使图像重建模型进一步消除重建图像中的残影，以提升训练效果。
对于条纹提取的三类损失的权重系数，由于第一类损失对应于训练条纹提取模型的条纹提取能力，第二类损失对应于训练条纹提取模型识别无条纹图像的能力，这是条纹提取模型的两种识别能力，而第三类损失用于在对抗训练的后期增强对抗难度，而不用于训练条纹提取模型的识别能力，可见第一类损失和第二类损失在训练过程中起到主导训练的作用，第三类损失在训练过程中起到辅助训练的作用，也即第三类损失的权重系数不易过大，避免影响条纹提取模型的性能，因而第三类损失的权重系数设置为一个相对较小的值。例如，第一类损失的权重系数为0.5，第二类损失的权重系数为0.5，第三类损失的权重系数为0.03，第三类损失的权重系数小于其他两类损失的权重系数0.5。
下面为损失函数的一个具体示例。
图像重建模型对应的损失函数如下：
；
第二类生成器损失通过如下公式计算获取：
；
其中，（第二类生成器损失）表示的是生成器输出经过条纹提取器得到的输出与全为1的序列进行计算得到的MSE损失。（第一类生成器损失）表示无条纹图像标签和图像重建模型输出的图像的像素L1损失。
条纹提取模型对应的损失函数如下：
；
其中，表示条纹图像样本，表示无条纹图像标签，D和G分别表示判别器（条纹提取模型）和生成器（图像重建模型），表示MSE损失，表示条纹序列标签，表示全为1的序列。
下面对本申请提供的面向相机光通信的条纹图像处理装置进行描述，下文描述的面向相机光通信的条纹图像处理装置与上文描述的面向相机光通信的条纹图像处理方法可相互对应参照。
图13是本申请实施例提供的面向相机光通信的条纹图像处理装置的结构示意图，如图13所示，该装置包括：样本获取模块10和模型训练模块20。其中：
样本获取模块10，用于获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；
模型训练模块20，用于基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，所述图像重建模型用于将条纹图像重建为无条纹图像，所述条纹提取模型用于基于条纹图像提取条纹；
其中，所述图像重建模型作为所述生成对抗网络的生成器，所述条纹提取模型作为所述生成对抗网络的判别器。
可以理解的是，上述各个单元/模块的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。
应当理解的是，上述装置用于执行上述实施例中的方法，装置中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该装置的工作过程可参考上述方法中的对应过程，此处不再赘述。
基于上述实施例中的方法，本申请实施例提供了一种电子设备，图14是本申请实施例提供的电子设备的结构示意图，如图14所示，该电子设备可以包括：处理器(Processor)810、通信接口(Communications Interface)820、存储器(Memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。
基于上述实施例中的方法，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。
基于上述实施例中的方法，本申请实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。
可以理解的是，本申请实施例中的处理器可以是中央处理单元（CentralProcessing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器（Random Access Memory，RAM）、闪存、只读存储器（Read-only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘（Solid State Disk，SSD））等。
可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。
本领域的技术人员容易理解，以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种面向相机光通信的条纹图像处理方法，其特征在于，包括：
获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；
基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，所述图像重建模型用于将条纹图像重建为无条纹图像，所述条纹提取模型用于基于条纹图像提取条纹；
其中，所述图像重建模型作为所述生成对抗网络的生成器，所述条纹提取模型作为所述生成对抗网络的判别器；
所述基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，包括：
基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，持续计算损失值并优化模型参数，直至满足训练停止条件；
所述计算损失值并优化模型参数，包括：
输入所述条纹图像样本和对应的条纹序列标签至所述图像重建模型，获取所述图像重建模型输出的训练阶段重建图像；
输入所述条纹图像样本至所述条纹提取模型，获取所述条纹提取模型输出的条纹图像样本条纹提取结果，并输入无条纹图像标签至所述条纹提取模型，获取所述条纹提取模型输出的无条纹图像条纹提取结果，并输入所述训练阶段重建图像至所述条纹提取模型，获取所述条纹提取模型输出的重建图像条纹提取结果；
基于所述训练阶段重建图像、所述重建图像条纹提取结果和所述无条纹图像标签，获取所述图像重建模型对应的损失值，并基于所述条纹图像样本条纹提取结果、所述无条纹图像条纹提取结果、所述重建图像条纹提取结果和所述条纹序列标签，获取所述条纹提取模型对应的损失值；
基于所述图像重建模型对应的损失值和所述条纹提取模型对应的损失值，通过反向传播方式优化模型参数；
所述基于所述训练阶段重建图像、所述重建图像条纹提取结果和所述无条纹图像标签，获取所述图像重建模型对应的损失值，包括：
比较所述训练阶段重建图像中像素点和所述无条纹图像标签中对应像素点之间的差异，获取第一类生成器损失；
比较所述重建图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类生成器损失；
基于所述第一类生成器损失和所述第二类生成器损失，进行加权求和，获取所述图像重建模型对应的损失值；
所述基于所述条纹图像样本条纹提取结果、所述无条纹图像条纹提取结果、所述重建图像条纹提取结果和所述条纹序列标签，获取所述条纹提取模型对应的损失值，包括：
比较所述条纹图像样本条纹提取结果和所述条纹序列标签之间的差异，获取第一类判别器损失；
比较所述无条纹图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类判别器损失；
比较所述重建图像条纹提取结果和所述条纹序列标签之间的差异，获取第三类判别器损失；
基于所述第一类判别器损失、所述第二类判别器损失和所述第三类判别器损失，进行加权求和，获取所述条纹提取模型对应的损失值。
2.根据权利要求1所述面向相机光通信的条纹图像处理方法，其特征在于，在获取图像重建模型和条纹提取模型之后，还包括：
通过相机获取周围环境的条纹图像，周围环境中光源在可见光通信设备的控制下进行闪烁；
将所述条纹图像输入至所述图像重建模型，获取所述图像重建模型输出的重建图像，和/或，将所述条纹图像输入至所述条纹提取模型，获取所述条纹提取模型输出的条纹序列。
3.根据权利要求1或2所述面向相机光通信的条纹图像处理方法，其特征在于，所述图像重建模型是基于编码器和解码器构建的，并通过跳跃连接将所述编码器和所述解码器的特征图进行连接，所述编码器用于对图像特征进行下采样，所述解码器用于对图像特征进行上采样。
4.根据权利要求3所述面向相机光通信的条纹图像处理方法，其特征在于，所述图像重建模型中的一个或多个跳跃连接是基于双交叉注意力DCA模块构建的。
5.根据权利要求1或2所述面向相机光通信的条纹图像处理方法，其特征在于，所述条纹提取模型是通过级联序列生成网络、多个卷积层、线性层以及激活函数模块所构建的。
6.一种面向相机光通信的条纹图像处理装置，其特征在于，包括：
样本获取模块，用于获取条纹图像数据集，条纹图像数据集包括条纹图像样本和条纹图像样本对应的条纹序列标签以及无条纹图像标签；
模型训练模块，用于基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，所述图像重建模型用于将条纹图像重建为无条纹图像，所述条纹提取模型用于基于条纹图像提取条纹；
其中，所述图像重建模型作为所述生成对抗网络的生成器，所述条纹提取模型作为所述生成对抗网络的判别器；
所述基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，训练生成对抗网络，获取图像重建模型和条纹提取模型，包括：
基于所述条纹图像样本和所述条纹图像样本对应的条纹序列标签以及无条纹图像标签，持续计算损失值并优化模型参数，直至满足训练停止条件；
所述计算损失值并优化模型参数，包括：
输入所述条纹图像样本和对应的条纹序列标签至所述图像重建模型，获取所述图像重建模型输出的训练阶段重建图像；
输入所述条纹图像样本至所述条纹提取模型，获取所述条纹提取模型输出的条纹图像样本条纹提取结果，并输入无条纹图像标签至所述条纹提取模型，获取所述条纹提取模型输出的无条纹图像条纹提取结果，并输入所述训练阶段重建图像至所述条纹提取模型，获取所述条纹提取模型输出的重建图像条纹提取结果；
基于所述训练阶段重建图像、所述重建图像条纹提取结果和所述无条纹图像标签，获取所述图像重建模型对应的损失值，并基于所述条纹图像样本条纹提取结果、所述无条纹图像条纹提取结果、所述重建图像条纹提取结果和所述条纹序列标签，获取所述条纹提取模型对应的损失值；
基于所述图像重建模型对应的损失值和所述条纹提取模型对应的损失值，通过反向传播方式优化模型参数；
所述基于所述训练阶段重建图像、所述重建图像条纹提取结果和所述无条纹图像标签，获取所述图像重建模型对应的损失值，包括：
比较所述训练阶段重建图像中像素点和所述无条纹图像标签中对应像素点之间的差异，获取第一类生成器损失；
比较所述重建图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类生成器损失；
基于所述第一类生成器损失和所述第二类生成器损失，进行加权求和，获取所述图像重建模型对应的损失值；
所述基于所述条纹图像样本条纹提取结果、所述无条纹图像条纹提取结果、所述重建图像条纹提取结果和所述条纹序列标签，获取所述条纹提取模型对应的损失值，包括：
比较所述条纹图像样本条纹提取结果和所述条纹序列标签之间的差异，获取第一类判别器损失；
比较所述无条纹图像条纹提取结果和无条纹图像对应的条纹序列之间的差异，获取第二类判别器损失；
比较所述重建图像条纹提取结果和所述条纹序列标签之间的差异，获取第三类判别器损失；
基于所述第一类判别器损失、所述第二类判别器损失和所述第三类判别器损失，进行加权求和，获取所述条纹提取模型对应的损失值。
7.一种电子设备，其特征在于，包括：
至少一个存储器，用于存储计算机程序；
至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-5任一所述的方法。
CN202410725911.4A 2024-06-06 2024-06-06 一种面向相机光通信的条纹图像处理方法、装置及设备 Active CN118298194B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410725911.4A CN118298194B (zh) 2024-06-06 2024-06-06 一种面向相机光通信的条纹图像处理方法、装置及设备
US18/795,162 US12249114B1 (en) 2024-06-06 2024-08-05 Stripe image processing method and apparatus for camera optical communication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410725911.4A CN118298194B (zh) 2024-06-06 2024-06-06 一种面向相机光通信的条纹图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN118298194A CN118298194A (zh) 2024-07-05
CN118298194B true CN118298194B (zh) 2024-08-02

Family

ID=91688389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410725911.4A Active CN118298194B (zh) 2024-06-06 2024-06-06 一种面向相机光通信的条纹图像处理方法、装置及设备

Country Status (2)

Country Link
US (1) US12249114B1 (zh)
CN (1) CN118298194B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN115456890A (zh) * 2022-08-23 2022-12-09 浙江工业大学 基于多尺度双域判别器的生成对抗医学ct图像去噪方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8334898B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
WO2016075948A1 (ja) * 2014-11-14 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法、再生装置およびプログラム
US20210279841A1 (en) * 2020-03-09 2021-09-09 Nvidia Corporation Techniques to use a neural network to expand an image
US11923903B2 (en) * 2021-06-28 2024-03-05 Clostra, Inc. Flash-to-camera non-radio communication channel
KR102727102B1 (ko) * 2021-12-31 2024-11-06 국민대학교산학협력단 인공신경망 기반 led 스트라이프 재구성 방법 및 장치
CN116206060A (zh) * 2023-02-16 2023-06-02 河海大学 一种基于生成对抗网络的红外图像细节重建方法
CN117422619A (zh) * 2023-09-06 2024-01-19 中国石油大学(北京) 图像重建模型的训练方法、图像重建方法、装置及设备
CN117252793A (zh) * 2023-09-21 2023-12-19 东北大学 结合多曝光融合的叶片反光编码图像条纹修复系统及方法
CN117994240A (zh) * 2024-02-29 2024-05-07 北京市遥感信息研究所 多尺度二级光学遥感图像条纹噪声智能检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN115456890A (zh) * 2022-08-23 2022-12-09 浙江工业大学 基于多尺度双域判别器的生成对抗医学ct图像去噪方法

Also Published As

Publication number Publication date
US12249114B1 (en) 2025-03-11
CN118298194A (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
Wang et al. Perceptual adversarial networks for image-to-image transformation
CN112598579B (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
CN114638767B (zh) 基于生成对抗网络的腹腔镜影像除烟方法
Hu et al. A multi-stage underwater image aesthetic enhancement algorithm based on a generative adversarial network
CN115619743A (zh) Oled新型显示器件表面缺陷检测模型的构建方法及其应用
Bai et al. Robust texture-aware computer-generated image forensic: Benchmark and algorithm
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
Wu et al. Towards robust text-prompted semantic criterion for in-the-wild video quality assessment
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
Zhang et al. Unsupervised depth estimation from monocular videos with hybrid geometric-refined loss and contextual attention
CN118037641A (zh) 基于双流特征提取多尺度图像篡改检测与定位方法
WO2023154986A1 (en) Method, system, and device using a generative model for image segmentation
CN117115108A (zh) 图像异常检测方法、装置及电子设备
CN117392499A (zh) 一种显著性目标的检测方法及装置
Mazumdar et al. Two-stream encoder–decoder network for localizing image forgeries
CN112818774A (zh) 一种活体检测方法及装置
CN116452469A (zh) 一种基于深度学习的图像去雾处理方法及装置
Chao et al. Instance-aware image dehazing
CN115546171A (zh) 一种基于关注阴影边界和特征校正的阴影检测方法及设备
Mazumdar et al. Siamese convolutional neural network‐based approach towards universal image forensics
CN115131695B (zh) 视频检测模型的训练方法、视频检测方法及装置
CN118298194B (zh) 一种面向相机光通信的条纹图像处理方法、装置及设备
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant