[go: up one dir, main page]

CN117593711A - 车辆采集图像敏感信息处理方法及系统 - Google Patents

车辆采集图像敏感信息处理方法及系统 Download PDF

Info

Publication number
CN117593711A
CN117593711A CN202311550766.2A CN202311550766A CN117593711A CN 117593711 A CN117593711 A CN 117593711A CN 202311550766 A CN202311550766 A CN 202311550766A CN 117593711 A CN117593711 A CN 117593711A
Authority
CN
China
Prior art keywords
feature
convolution
vehicle
output
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311550766.2A
Other languages
English (en)
Inventor
董士风
滕越
林传文
吴光周
王佐成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Space Research Institute
Original Assignee
Data Space Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Space Research Institute filed Critical Data Space Research Institute
Priority to CN202311550766.2A priority Critical patent/CN117593711A/zh
Publication of CN117593711A publication Critical patent/CN117593711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种车辆采集图像敏感信息处理方法及系统，方法包括采集包含车载图像，并将车载图像输入至敏感目标检测模型，敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；利用骨干网络对车载图像进行特征提取，生成多个不同分辨率的特征图；利用特征金字塔网络对特征图进行不同尺度的融合，得到多尺度卷积特征及上下文注意力模块输出的上下文特征；将多尺度卷积特征和上下文特征送入多尺度检测头网络，得到敏感目标区域；对敏感目标区域进行脱敏处理后，得到脱敏后的车载图像；本发明可有效检测出车辆采集图像中的敏感目标。

Description

车辆采集图像敏感信息处理方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种车辆采集图像敏感信息处理方法及系统。
背景技术
目前，随着新能源汽车的迅速发展，车载图像传感器也被广泛应用，海量的车载图像数据也轻易的被采集。然而，图像数据包含的敏感信息会带来一些纠纷问题，因此需要在不影响数据后续使用的情况下对这些敏感信息进行处理。对敏感信息进行处理首先要检测图像中的敏感信息，传统的方法常采用滑动窗口遍历来进行区域选择，然后用尺度不变特征变换(Scale-invariant feature transform，SIFT)、方向梯度直方图(Histogram ofOriented Gradient,HOG)等方法进行特征提取，再输入分类器如支持向量机(SupportVector Machine,SVM)中进行分类。近些年来，由于深度卷积神经网络(Deep ConvolutionNeural Network，DCNN)强大的特征提取能力，一些深度学习方法以端到端的方式用于对图像进行目标检测。基于深度学习的方法不仅可以识别，还可以定位图像中特定类别的物体，代替了效率低下的手工设计提取特征方式，目前也是学术界和工业界的热门研究课题。
但目前的车辆采集图像敏感区域检测方法仍有一些局限性和难点，使得检测精度不高：
1)车辆采集图像包含目标种类多，场景复杂，而且大部分是有用目标，需要检测的敏感目标和不需检测的目标通常混在一起，单独检测难度较大。
2)各种类别的目标呈现在图像上是多尺度的，而敏感目标一般多为小尺度，这样的多类别和多尺度跨度，导致敏感目标检测难度较大。
而在相关技术中，公布号为CN116108490A的专利申请文献是基于Faster R-CNN方法改进，使用的是SwinTransformer_small模型作为Backbone，其构建的改进特征融合策略，将特征尺度空间进行自下而上路径以及多方向的横向连接融合，构建了一个多路径特征金字塔，但没有考虑到特征图上的特征不应一视同仁，而应该重点关注有目标的区域；公布号为CN111914917A的专利申请文献中提出结合特征金字塔网络和注意力机制实现目标检测；公布号为CN114863426A的专利申请文献引入了通道注意力机制对特征金字塔特征进行融合，但是没有考虑到小目标所包含的特征少，容易定位不准确的问题。
发明内容
本发明所要解决的技术问题在于如何有效地检测出车辆采集图像中的敏感目标。
本发明通过以下技术手段解决上述技术问题的：
提出一种车辆采集图像敏感信息处理方法，所述方法包括：
采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图Fi；
利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
进一步地，所述特征金字塔网络的输出层包括卷积输出层和嵌入输出层，所述嵌入输出层后嵌入有上下文注意力模块；所述利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征，包括：
利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到各卷积输出层输出的卷积特征和嵌入输出层输出的卷积特征；
利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征；
将各卷积输出层输出的卷积特征构成多尺度卷积特征。
进一步地，所述利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征，包括：
对于输入至所述上下文注意力模块的特征Pn进行膨胀卷积处理，生成特征P′n；
计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n；
将特征Pn与特征P″n拼接后经过卷积层Wr降低维度，得到上下文特征P″′n。
进一步地，所述计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n，公式表示为：
f(Pn(xi),P′n(xj))＝θ(Pn(xi))Tφ(P′n(xj))
P″n＝Wzyi+Pn(xi)
式中，yi是输入x在位置i的表达式，Pn(xi)是特征图Pn位置i处的值，P′n(xj)是P′n位置j处的值，C(Pn)表示归一化系数，f(Pn(xi),P′n(xj))表示计算Pn(xi)和P′n(xj)之间的相似度，g(P′n(xj))表示P′n(xj)要学习的权重矩阵，θ(Pn(xi))表示Pn(xi)要学习的权重矩阵，φ(P′n(xj))表示P′n(xj)要学习的权重矩阵，Wz表示权重矩阵。
进一步地，所述多尺度检测头网络包括并行的全连接分支、第一卷积分支和第二卷积分支，所述全连接分支包括若干全连接层，用于进行回归分类；
所述第一卷积分支用于进行敏感目标区域的边框中心坐标预测，包括依次连接的卷积层Conv_1、中心池化模块和全连接层FC_1，
所述第二卷积分支用于进行敏感目标区域的边框比例预测，包括依次连接的残差模块、卷积层Conv_2、平均池化层和全连接层FC_2。
进一步地，所述中心池化模块包括垂直池化层和水平池化层，所述垂直池化层的输入连接卷积层Conv_3，所述水平池化层的输入连接卷积层Conv_4，所述垂直池化层的输出和所述水平池化层的输出相加后输出至卷积层Conv_5，所述卷积层Conv_5和卷积层Conv_6的输出相加后输出至卷积层Conv_7，所述卷积层Conv_7的输出经卷积层Conv_8与卷积层Conv_9连接，所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_6的输入均连接所述卷积层Conv_1
所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_5、卷积层Conv_6、卷积层Conv_7和卷积层Conv_8之后均连接有批归一化层。
进一步地，所述将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域，包括：
利用所述多尺度检测头网络对所述多尺度卷积特征和所述上下文特征进行检测，利用所述全连接分支网络预测所述车载图像的类别，利用所述第一卷积分支预测所述车载图像中敏感目标边框中心点，利用所述第二卷积分支预测所述车载图像中敏感目标边框尺寸比例；
将所述多尺度检测头网络的每个分支的检测结果整合为每个敏感目标的类别和每个敏感目标所在区域。
进一步地，所述骨干网络采用采用ResNet-50或者ResNet-101。
进一步地，所述对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像，包括：
对所述敏感目标区域生成掩码，并利用所述掩码对敏感目标区域像素化随机填充覆盖，得到脱敏后的车载图像。
此外，本发明还提出了一种车辆采集图像敏感信息处理系统，所述系统包括：
图像采集模块，用于采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
特征提取模块，用于利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图Fi；
特征融合模块，用于利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
检测模块，用于将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
脱敏模块，用于对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
本发明的优点在于：
(1)本发明通过获取车载图像，使用目标检测算法检测车载图像中敏感目标所在区域，接着对敏感目标所在区域使用进行脱敏，在保证图像中隐私安全的同时，还可以合法获取车载图像中包含的信息，提高了车辆采集数据收集的安全性；并且在对敏感目标进行检测的网络模型中采用了一种嵌入有上下文注意力模块的特征金字塔网络，该上下文注意力模块可围绕敏感目标建立特性之间的长距离依赖关系，并考虑上下文信息之间的关系，对图像中敏感目标的相对上下文特征信息进行提取的同时保留原始特征，避免了局部信息的丢失，有利于实现外观尺度比较小的目标的检测，以便将待检测的敏感目标与其他类似大小的目标区分开来，提高了敏感目标检测模型的性能，可有效检测出车辆采集图像中的敏感目标。
(2)上下文注意力模块保持输入和输出特征图的大小不变，可以灵活地嵌入到网络中。
(3)将检测任务分解为多个子任务，并将多尺度检测头网络分为对应的多个分支，分支中设置了中心池化模块，实现根据给定类别的分数预测准确的边界框，解决了小目标定位不准确的问题。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一实施例提出的一种车辆采集图像敏感信息处理方法的流程示意图；
图2是本发明一实施例中特征金字塔网络的结构示意图；
图3是本发明一实施例中在特征金字塔网络中嵌入上下文注意力模块的结构示意图；
图4是本发明一实施例中上下文注意力模块与传统的注意力模块的结构示意图，其中，(a)为传统注意力模块的结构示意图，(b)为本发明上下文注意力模块的结构示意图；
图5是本发明一实施例中多尺度检测头网络的结构示意图；
图6是本发明一实施例中的中心池化模块的结构示意图；
图7是本发明一实施例中车载图像脱敏效果图；
图8是本发明一实施例提出的一种车辆采集图像敏感信息处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明第一实施例公开了一种车辆采集图像敏感信息处理方法，所述方法包括以下步骤：
S10、采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
具体地，本实施例利用车载图像传感器采集视频数据M，再获取视频数据中的每帧图像(W、H和3分别表示图像的宽度、高度和通道数，/>表示三维的数组)，这些目标帧图像作为采集的车载图像上传至敏感目标检测模型。
S20、利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图Fi；
S30、利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
S40、将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
S50、对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
本实施例通过获取车载图像，使用目标检测算法检测车载图像中敏感目标所在区域，接着对敏感目标所在区域使用进行脱敏，在保证图像中隐私安全的同时，还可以合法获取车载图像中包含的信息，提高了车辆采集数据收集的安全性；并且在对敏感目标进行检测的网络模型中采用了一种嵌入有上下文注意力模块的特征金字塔网络，该上下文注意力模块可围绕敏感目标建立特性之间的长距离依赖关系，并考虑上下文信息之间的关系，对图像中敏感目标的相对上下文特征信息进行提取的同时保留原始特征，避免了局部信息的丢失，有利于实现外观尺度比较小的目标的检测，以便将复杂背景中待检测的敏感目标与其他类似大小的目标区分开来，提高了敏感目标检测模型的性能，可有效检测出车辆采集图像中的敏感目标。
车辆采集图像包含目标种类多，场景复杂，而且大部分是有用目标，需要检测敏感目标和不需检测的目标通常混在一起，单独检测难度较大，而且由于车载采集图像会经常出现质量问题，如分辨率低、光照条件差和遮挡等原因，使得车辆采集图像的背景比较复杂，本实施例通过设置嵌入有上下文注意力模块的特征金字塔网络来实现在复杂北京中将待测敏感目标与其他目标准确区分开。
在一实施例中，所述骨干网络采用采用ResNet-50或者ResNet-101。
具体地，本实施例利用骨干网络会对于输入的车载图像进行特征提取来表示上下文信息的特征之间的关系，骨干网络采用ResNet-50或者ResNet-101，可以提取具有不同尺度或上下文信息的特征图。骨干网络对于输入的车载图像I生成多个不同分辨率的特征图其生成过程定义如下：
Fi＝fi(Fi-1)＝fi(fi-1(…f2(f1(I))))
其中，表示第i层的输出特征图。这些特征图由fi()计算所得。
在一实施例中，如图2所示，所述特征金字塔网络包括左侧的自下而上的路径，作为卷积网络的前馈计算，右侧的自顶向下的路径通过对在空间上更抽象但语义更强高层特征图进行上采样来幻化高分辨率的特征，随后通过侧向连接从底向上的路径，使得高层特征得到增强，每个横向连接自底向上路径和自顶向下路径的特征图具有相同的尺寸。
其中，自顶向下的路径P2、P3、P4、P5分别代表特征图的最终输出(Conv2、Conv3、Conv4和Conv5)。层P2、层P3、层P4和层P5的锚框面积分别为322、642、1282和2562，缩放比例设置为[32、64、128、256]。这样使用不同尺度和形状的锚框有助于特征金字塔网络实现平移不变性。
需要说明的是，在特征金字塔网络(Feature Pyramid Network，FPN)结构中，它是一种自上而下的架构，融合了不同尺度，在所有尺度上构建高级语义特征图，并在不同尺度特征图上进行预测，从而实现了显著的改进。
进一步地，如图3所示，通过将上下文注意力模块嵌入特征金字塔网络构建上下文注意力特征金字塔网络。值得注意的是上下文注意力模块是一个灵活的模块，不仅可以放在P4层之后，也可以放在其他层之后，得到上下文注意力特征金字塔网络(ContextAttention Feature Pyramid Network，CA-FPN)。应当理解的是，若上下文注意力模块嵌入在P4层之后，则P4层即为嵌入输出层。
本实施例中车载图像经过骨干网络模型后，采用自上而下的特征金字塔网络提取的高级特征来表示上下文信息，并插入上下文注意力模块(Context Attention Module,CAM)来获取有用的上下文特征信息，通过提出的上下文注意力模块构建特性之间的依赖关系，并考虑上下文信息之间的关系。
在一实施例中，所述特征金字塔网络的输出层包括卷积输出层和嵌入输出层，所述嵌入输出层后嵌入有上下文注意力模块；所述步骤S30：利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征，包括以下步骤：
S31、利用所述特征金字塔网络对特征图Fi进行不同尺度的融合，得到各卷积输出层输出的卷积特征和嵌入输出层输出的卷积特征；
S32、利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征；
S33、将各卷积输出层输出的卷积特征构成多尺度卷积特征。
在一实施例中，所述步骤S32：利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征，包括以下步骤：
S321、对于输入至所述上下文注意力模块的特征Pn进行膨胀卷积处理，生成特征P′n；
S322、计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n；
S323、将特征Pn与特征P″n拼接后经过卷积层Wr降低维度，得到上下文特征P″′n。
需要说明的是，本实施例设计的上下文注意力模块采用的是改进的Non-local模块，见图4-(b)，而图4-(a)示出了传统的Non-local模块的结构示意图，Non-local模块作为一种既能获取上下文信息又能捕捉空间信息的方法，能够获取特征之间的远距离依赖关系，在Non-local模块中，两个区域之间的相似性计算之后，再对两个分支进行加权和。这一操作更加关注语义相关区域，从而获得上下文特征信息，并建立不同上下文特征信息之间的关系。图4-(a)中显示了模型是如何找到相关线索来支持其预测的，加权求和操作可被视为一种注意机制。因此，Non-local模块的操作有助于提高性能。然而，在待检测的敏感目标的外观尺度比较小时，通过相同大小的卷积核提取的语义特征是相同的，这使得检测器很难将待检测的敏感目标与其他类似大小的目标区分开来。并且Non-local方法具有局限性，Non-local操作提取的信息有时可能会融合一些错误的特征，导致Non-local操作的最终输出发生很大变化。
如图4-(b)所示，本实施例使用相似性计算方法用于整合通过膨胀卷积和普通卷积获得的两个不同语义层次，以最大限度地发挥它们的优势，通过计算相似性可以更准确的将来自两个不同大小感受野的信息组合在一起。接着，将不同大小感受野打的特征图组合在一起后生成新的特征图。最后，将生成的新特征与典型卷积特征进行合并，得到上下文特征，在提取的上下文特征信息同时保留了原始特征。
具体地，对特征图层Pn(n＝3,4,5)使用膨胀卷积生成P′n，可以在不引入过多参数的情况下扩大检测感受野，这样既增加了有效感受野，又降低了计算成本。公式表示为：
P′n＝ReLU[D(Pn)]
式中，ReLU表示激活函数，D表示膨胀卷积操作。
接着计算Pb和P′n之间的相似性后，将相应的相似度作为权重，计算Pn中所有位置的加权和，生成特征图P″n，将Pn和P″n连接起来就得到了最终的上下文特征图P″′n。
需要说明的是，对于一些小尺度目标来说，使用膨胀卷积会带来网格效应，它们并不需要一个大的感受野，因此，无条件的地使用膨胀卷积无法完美地处理所有情况，本实施例接着计算Pn和P′n之间的相似性后，将相应的相似度作为权重，计算Pn中所有位置的加权和，通过使用点积来组合来自膨胀卷积层和普通卷积层的信息，解决这一问题。
在一实施例中，所述步骤S322：计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n，公式表示为：
f(Pn(xi),P′n(xj))＝θ(Pn(xi))Tφ(P′n(xj))
P″n＝Wzyi+Pn(xi)
式中，yi是输入x在位置i的表达式，Pn(xi)是特征图Pn位置i处的值，P′n(xj)是P′n位置j处的值，C(Pn)表示归一化系数，f(Pn(xi),P′n(xj))表示计算Pn(xi)和P′n(xj)之间的相似度，g(P′n(xj))表示P′n(xj)要学习的权重矩阵，θ(Pn(xi))表示Pn(xi)要学习的权重矩阵，φ(P′n(xj))表示P′n(xj)要学习的权重矩阵，Wz表示权重矩阵。
请注意，这里使用点积函数来表示这种成对关系，该函数由相似度计算公式给出。表达式yi的归一化系数为C(Pn)＝N，其中N是Pn中的像素数。
表示1×1卷积运算的θ、φ和g是要学习的权重矩阵，它们有助于提高上下文注意力模块的容量，并通过设置通道数来控制计算复杂度。值得注意的是，在上下文注意力模块中，函数f的两个输入，Pn(xi)和P′n(xj)来自标准卷积Pn和具有更大感受野的膨胀卷积P′n得到的特征图，这是与Non-local模块的不同之处。此外，在函数f之前，没有应用1×1卷积层来降低Pn(xi)和P′n(xj)的维度，这也是与Non-local模块的不同之处，这是因为在特征金字塔网络中进行了降维操作，如果通道数保持不变，就能保留更多信息。
在特征P″n的计算公式中，采用了1×1卷积层进行加权求和操作，其中"+Pn(xi)"代表残差连接。值得注意的是，在加权求和操作之后，采用了批量归一化处理，使优化结果更加平滑。这种平滑会使梯度行为更具预测性和稳定性，从而加快训练速度，这反过来又有助于缓解梯度消失问题。而为了保留原始特征，本实施例将Pn和Pn″连接起来，然后设计了一个1×1卷积层Wr来降低维度，最终上下文注意力模块的输出为Pn″′。
需要说明的是，本实施例提出的如图4-(b)所示的改进后的Non-local模块与图4-(a)中的Non-local模块相比，本实施例提出的上下文注意力模块具有新颖性和独特性，不仅因为输入与Non-local模块不同，而且它串联了原始输入层，避免了训练过程中的发散，从而提高了模型的性能，这也是与Non-local模块不同之处。同时，上下文注意力模块保持输入和输出特征图的大小不变，可以灵活地嵌入到网络中，如图3所示。
在一实施例中，如图5所示，所述多尺度检测头网络包括并行的全连接分支、第一卷积分支和第二卷积分支，所述全连接分支包括若干全连接层，用于进行回归分类；
所述第一卷积分支用于进行敏感目标区域的边框中心坐标预测，包括依次连接的卷积层Conv_1、中心池化模块和全连接层FC_1，
所述第二卷积分支用于进行敏感目标区域的边框比例预测，包括依次连接的残差模块、卷积层Conv_2、平均池化层和全连接层FC_2。
具体地，多尺度检测头网络具有多分支结构，包括一个全连接分支和两个卷积分支。全连接分支包括依次连接的三个全连接层FC，用于对物体进行分类(cls)回归，有一个带有权重的1024维度的全卷积层；第一卷积分支为位置分支，用于估算边界框的中心坐标；第二卷积分支为比例分支，用于估算边界框的大小。
其中，全连接分支包括依次连接的三个全连接层FC，第一卷积分支包括依次连接的3×3卷积层Conv_1、中心池化模块和全连接层FC_1，通过在第一卷积分支中添加中心池化模块，以提高定位精度；第二卷积分支包括由一个残差模块和四个3×3卷积层组成，残差模块将通道从C增加到1024，用于平均池化，并在尺度分支末尾增加1024纬度的全连接层FC_2。
本实施例针对于图像中同时出现的大小尺度的物体，多尺度检测头网络会将不同尺度的物体对应到不同大小的特征图上进行检测，即对该物体的类别进行预测，对物体所在位置进行回归。
在一实施例中，所述步骤S40：将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域，包括以下步骤：
利用所述多尺度检测头网络对所述多尺度卷积特征和所述上下文特征进行检测，利用所述全连接分支网络预测所述车载图像的类别ci，利用所述第一卷积分支预测所述车载图像中敏感目标边框中心点(xi,yi)，利用所述第二卷积分支预测所述车载图像中敏感目标边框的长宽(wi,hi)；
将所述多尺度检测头网络的每个分支的检测结果整合为每个敏感目标的类别和每个敏感目标所在区域。
需要说明的是，多尺度检测头网络为了解决图像中的多尺度目标问题，在4个不同的特征级别融合上下文信息，同时可以在具有不同感受野的特征层上预测目标。所使用的多尺度检测头网络会根据给定类别的分数预测准确的边界框。为了克服分类和定位之间的错位，将检测任务分解为多个子任务，具体来说，定位分为中心点定位、比例预测，以便提供更准确的边界框回归。每个子任务都通过精心设计的架构来实现，因此，多尺度检测头网络有三个分支。最后，多尺度检测头网络将所有分支的结果整合为分类结果和边界框R＝{(ci,xi,yi,wi,hi)}。
在一实施例中，如图6所示，所述中心池化模块包括垂直池化层和水平池化层，所述垂直池化层的输入连接卷积层Conv_3，所述水平池化层的输入连接卷积层Conv_4，所述垂直池化层的输出和所述水平池化层的输出相加后输出至卷积层Conv_5，所述卷积层Conv_5和卷积层Conv_6的输出相加后输出至卷积层Conv_7，所述卷积层Conv_7的输出经卷积层Conv_8与卷积层Conv_9连接，所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_6的输入均连接所述卷积层Conv_1
所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_5、卷积层Conv_6、卷积层Conv_7和卷积层Conv_8之后均连接有批归一化层。
本实施例设置的中心池化模块返回的特征图大小为H×W×N，其中N为类别数。中心池化由水平池化和垂直池化组成，通过同时对行和列的特征进行最大化处理，并将结果相加。对于一个特征图Pi，一个通道中的输出特性表示其在一个类别中的几何中心信息，并确定该位置是否为中心点。在中心池化模块之后，再使用全连接层来预测Pi在本地坐标系中的相对偏移量。
本实施例所设置的中心池化模块可更精确的定位物体，不仅可定位图像中的物体也实现了物体的类别分类。
在一实施例中，所述步骤S50：对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像，具体包括：
对所述敏感目标区域生成掩码，并利用所述掩码对敏感目标区域像素化随机填充覆盖，得到脱敏后的车载图像。
本实施例对敏感信息进行脱敏的预设算法，包括将输出的检测结果R＝{(ci,xi,yi,wi,hi)}中目标的边框信息{(xi,yi,wi,hi)}生成掩码将该图像区域像素化随机填充的方式进行覆盖，最后，将对敏感信息进行脱敏后的图像输出，如图7所示。
此外，如图8所示，本发明第二实施例还公开了一种车辆采集图像敏感信息处理系统，所述系统包括：
图像采集模块10，用于采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
特征提取模块20，用于利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图；
特征融合模块30，用于利用所述特征金字塔网络对特征图进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
检测模块40，用于将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
脱敏模块50，用于对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
在一实施例中，所述特征金字塔网络的输出层包括卷积输出层和嵌入输出层，所述嵌入输出层后嵌入有上下文注意力模块；所述特征融合模块30包括：
尺度融合单元，用于利用所述特征金字塔网络对特征图进行不同尺度的融合，得到各卷积输出层输出的卷积特征和嵌入输出层输出的卷积特征；
上下文特征组合单元，用于利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征；
多尺度卷积特征构成单元，用于将各卷积输出层输出的卷积特征构成多尺度卷积特征。
在一实施例中，所述上下文注意力模块，具体用于：
对于输入至所述上下文注意力模块的特征Pn进行膨胀卷积处理，生成特征P′n；
计算特征Pb和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n；
将特征Pn与特征P″n拼接后经过卷积层Wr降低维度，得到上下文特征P″′n。
具体地，公式表示为：
f(Pn(xi),P′n(xj))＝θ(Pn(xi))Tφ(P′n(xj))
P″n＝Wzyi+Pn(xi)
式中，yi是输入x在位置i的表达式，Pn(xi)是特征图Pn位置i处的值，P′n(xj)是P′n位置j处的值，C(Pn)表示归一化系数，f(Pn(xi),P′n(xj))表示计算Pn(xi)和P′n(xj)之间的相似度，g(P′n(xj))表示P′n(xj)要学习的权重矩阵，θ(Pn(xi))表示Pn(xi)要学习的权重矩阵，φ(P′n(xj))表示P′n(xj)要学习的权重矩阵，Wz表示权重矩阵。
在一实施例中，所述多尺度检测头网络包括并行的全连接分支、第一卷积分支和第二卷积分支，所述全连接分支包括若干全连接层，用于进行回归分类；
所述第一卷积分支用于进行敏感目标区域的边框中心坐标预测，包括依次连接的卷积层Conv_1、中心池化模块和全连接层FC_1，
所述第二卷积分支用于进行敏感目标区域的边框比例预测，包括依次连接的残差模块、卷积层Conv_2、平均池化层和全连接层FC_2。
在一实施例中，所述中心池化模块包括垂直池化层和水平池化层，所述垂直池化层的输入连接卷积层Conv_3，所述水平池化层的输入连接卷积层Conv_4，所述垂直池化层的输出和所述水平池化层的输出相加后输出至卷积层Conv_5，所述卷积层Conv_5和卷积层Conv_6的输出相加后输出至卷积层Conv_7，所述卷积层Conv_7的输出经卷积层Conv_8与卷积层Conv_9连接，所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_6的输入均连接所述卷积层Conv_1
所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_5、卷积层Conv_6、卷积层Conv_7和卷积层Conv_8之后均连接有批归一化层。
在一实施例中，所述检测模块40，包括：
分支任务检测单元，用于利用所述多尺度检测头网络对所述多尺度卷积特征和所述上下文特征进行检测，利用所述全连接分支网络预测所述车载图像的类别，利用所述第一卷积分支预测所述车载图像中敏感目标边框中心点，利用所述第二卷积分支预测所述车载图像中敏感目标边框尺寸比例；
结果输出单元，用于将所述多尺度检测头网络的每个分支的检测结果整合为每个敏感目标的类别和每个敏感目标所在区域。
在一实施例中，所述骨干网络采用采用ResNet-50或者ResNet-101。
在一实施例中，所述脱敏模块50，具体用于：
对所述敏感目标区域生成掩码，并利用所述掩码对敏感目标区域像素化随机填充覆盖，得到脱敏后的车载图像。
需要说明的是，本发明所述车辆采集图像敏感信息处理系统的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆采集图像敏感信息处理方法，其特征在于，所述方法包括：
采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图；
利用所述特征金字塔网络对特征图进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
2.如权利要求1所述的车辆采集图像敏感信息处理方法，其特征在于，所述特征金字塔网络的输出层包括卷积输出层和嵌入输出层，所述嵌入输出层后嵌入有上下文注意力模块；所述利用所述特征金字塔网络对特征图进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征，包括：
利用所述特征金字塔网络对特征图进行不同尺度的融合，得到各卷积输出层输出的卷积特征和嵌入输出层输出的卷积特征；
利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征；
将各卷积输出层输出的卷积特征构成多尺度卷积特征。
3.如权利要求2所述的车辆采集图像敏感信息处理方法，其特征在于，所述利用所述上下文注意力模块对所述嵌入输出层出的卷积特征进行组合，得到上下文特征，包括：
对于输入至所述上下文注意力模块的特征Pn进行膨胀卷积处理，生成特征P′n；
计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n；
将特征Pn与特征P″n拼接后经过卷积层Wr降低维度，得到上下文特征P″′n。
4.如权利要求3所述的车辆采集图像敏感信息处理方法，其特征在于，所述计算特征Pn和特征P′n的相似性后，将得到的相似性作为权重计算特征Pn中所有位置的加权和，生成特征P″n，公式表示为：
f(Pn(xi),P′n(xj))＝θ(Pn(xi))Tφ(P′n(xj))
P″n＝Wzyi+Pn(xj)
式中，yi是输入x在位置i的表达式，Pn(xi)是特征图Pn位置i处的值，P′n(xj)是P′n位置j处的值，C(Pn)表示归一化系数，f(Pn(xi),P′n(xj))表示计算Pn(xi)和P′n(xj)之间的相似度，g(P′n(xj))表示P′n(xj)要学习的权重矩阵，θ(Pn(xi))表示Pn(xi)要学习的权重矩阵，φ(P′n(xj))表示P′n(xj)要学习的权重矩阵，Wz表示权重矩阵。
5.如权利要求1所述的车辆采集图像敏感信息处理方法，其特征在于，所述多尺度检测头网络包括并行的全连接分支、第一卷积分支和第二卷积分支，所述全连接分支包括若干全连接层，用于进行回归分类；
所述第一卷积分支用于进行敏感目标区域的边框中心坐标预测，包括依次连接的卷积层Conv_1、中心池化模块和全连接层FC_1，
所述第二卷积分支用于进行敏感目标区域的边框比例预测，包括依次连接的残差模块、卷积层Conv_2、平均池化层和全连接层FC_2。
6.如权利要求5所述的车辆采集图像敏感信息处理方法，其特征在于，所述中心池化模块包括垂直池化层和水平池化层，所述垂直池化层的输入连接卷积层Conv_3，所述水平池化层的输入连接卷积层Conv_4，所述垂直池化层的输出和所述水平池化层的输出相加后输出至卷积层Conv_5，所述卷积层Conv_5和卷积层Conv_6的输出相加后输出至卷积层Conv_7，所述卷积层Conv_7的输出经卷积层Conv_8与卷积层Conv_9连接，所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_6的输入均连接所述卷积层Conv_1
所述卷积层Conv_3、卷积层Conv_4和卷积层Conv_5、卷积层Conv_6、卷积层Conv_7和卷积层Conv_8之后均连接有批归一化层。
7.如权利要求5所述的车辆采集图像敏感信息处理方法，其特征在于，所述将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域，包括：
利用所述多尺度检测头网络对所述多尺度卷积特征和所述上下文特征进行检测，利用所述全连接分支网络预测所述车载图像的类别，利用所述第一卷积分支预测所述车载图像中敏感目标边框中心点，利用所述第二卷积分支预测所述车载图像中敏感目标边框尺寸比例；
将所述多尺度检测头网络的每个分支的检测结果整合为每个敏感目标的类别和每个敏感目标所在区域。
8.如权利要求1所述的车辆采集图像敏感信息处理方法，其特征在于，所述骨干网络采用采用ResNet-50或者ResNet-101。
9.如权利要求1所述的车辆采集图像敏感信息处理方法，其特征在于，所述对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像，包括：
对所述敏感目标区域生成掩码，并利用所述掩码对敏感目标区域像素化随机填充覆盖，得到脱敏后的车载图像。
10.一种车辆采集图像敏感信息处理系统，其特征在于，所述系统包括：
图像采集模块，用于采集包含车载图像，并将所述车载图像输入至敏感目标检测模型，所述敏感目标检测模型包括骨干网络、特征金字塔网络和多尺度检测头网络，其中，所述特征金字塔网络中的一个输出层后嵌入有上下文注意力模块；
特征提取模块，用于利用所述骨干网络对所述车载图像进行特征提取，生成多个不同分辨率的特征图；
特征融合模块，用于利用所述特征金字塔网络对特征图进行不同尺度的融合，得到多尺度卷积特征及所述上下文注意力模块输出的上下文特征；
检测模块，用于将多尺度卷积特征和上下文特征送入所述多尺度检测头网络，得到敏感目标区域；
脱敏模块，用于对所述敏感目标区域进行脱敏处理后，得到脱敏后的车载图像。
CN202311550766.2A 2023-11-16 2023-11-16 车辆采集图像敏感信息处理方法及系统 Pending CN117593711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311550766.2A CN117593711A (zh) 2023-11-16 2023-11-16 车辆采集图像敏感信息处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311550766.2A CN117593711A (zh) 2023-11-16 2023-11-16 车辆采集图像敏感信息处理方法及系统

Publications (1)

Publication Number Publication Date
CN117593711A true CN117593711A (zh) 2024-02-23

Family

ID=89910859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311550766.2A Pending CN117593711A (zh) 2023-11-16 2023-11-16 车辆采集图像敏感信息处理方法及系统

Country Status (1)

Country Link
CN (1) CN117593711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118840382A (zh) * 2024-07-11 2024-10-25 沈阳工业大学 基于ds-aspp和cbem的器官和医疗图像分割结果修正系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118840382A (zh) * 2024-07-11 2024-10-25 沈阳工业大学 基于ds-aspp和cbem的器官和医疗图像分割结果修正系统

Similar Documents

Publication Publication Date Title
Rani et al. Object detection and recognition using contour based edge detection and fast R-CNN
Deng et al. Toward fast and accurate vehicle detection in aerial images using coupled region-based convolutional neural networks
Bevandić et al. Simultaneous semantic segmentation and outlier detection in presence of domain shift
CN112233097A (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN109919013A (zh) 视频图像中基于深度学习的人脸检测方法及装置
US20120263346A1 (en) Video-based detection of multiple object types under varying poses
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN101981582A (zh) 用于检测对象的方法、装置和程序
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
US20250037305A1 (en) Face pose estimation method and apparatus, electronic device, and storage medium
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN118397253B (zh) 小目标检测方法、装置及终端设备
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
CN115984537A (zh) 图像处理方法、装置及相关设备
Khellal et al. Pedestrian classification and detection in far infrared images
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115937704B (zh) 基于拓扑感知神经网络的遥感图像道路分割方法
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
CN117593711A (zh) 车辆采集图像敏感信息处理方法及系统
CN110969104B (zh) 基于二值化网络检测可行驶区域的方法、系统及存储介质
US20240104913A1 (en) Extracting features from sensor data
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN119152185A (zh) 一种目标检测方法、装置、车辆及存储介质
CN113408429A (zh) 一种具有旋转适应性的目标检测方法及系统
Lu et al. AMLNet: Attention multibranch loss CNN models for fine-grained vehicle recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination