[go: up one dir, main page]

CN109242096A - 用于训练深度神经网络的技术 - Google Patents

用于训练深度神经网络的技术 Download PDF

Info

Publication number
CN109242096A
CN109242096A CN201810722332.9A CN201810722332A CN109242096A CN 109242096 A CN109242096 A CN 109242096A CN 201810722332 A CN201810722332 A CN 201810722332A CN 109242096 A CN109242096 A CN 109242096A
Authority
CN
China
Prior art keywords
image
dnn
training set
computer
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810722332.9A
Other languages
English (en)
Inventor
陈理
R·L·萨希塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109242096A publication Critical patent/CN109242096A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于训练深度神经网络的技术。例如，各种实施例总体上涉及用于训练深度神经网络的技术，诸如利用迭代方法。一些实施例特别涉及通过用由深度神经网络(DNN)的先前迭代误分类的图像迭代地训练DNN来生成强化的DNN的DNN训练系统。例如，一个或多个实施例可包括逻辑以生成由先前用一组样本图像训练的第一DNN误分类的对抗图像。在一些实施例中，该逻辑可以确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集。第二训练集可用于训练第二DNN。在各种实施例中，上述过程可以重复达预定数量的迭代以产生强化的DNN。

Description

用于训练深度神经网络的技术
背景技术
机器学习包括研究和构建可以从数据中学习并对数据做出预测的算法。深度神经网络可以实现算法来被执行称为深度学习的一类机器学习。典型地，深度学习可以利用许多层人工神经元(诸如，非线性处理单元)的级联。通常，每个相继的层使用前一层的输出作为输入。整体而言，人工神经元可以利用深度学习算法来执行特征提取和转换。深度学习可包括监督算法和无监督算法。大体上，无监督算法用于模式分析，而监督算法用于模式分类。
附图说明
图1示出第一操作环境的实施例。
图2A示出第二操作环境的实施例。
图2B示出第三操作环境的实施例。
图3A示出第四操作环境的实施例。
图3B示出第五操作环境的实施例。
图4示出第六操作环境的实施例。
图5示出第一逻辑流程的实施例。
图6示出第二逻辑流程的实施例。
图7示出存储介质的实施例。
图8示出计算架构的实施例。
图9示出通信架构的实施例。
具体实施方式
例如，各种实施例总体上涉及用于训练深度神经网络的技术，诸如利用迭代方法。一些实施例特别涉及通过用由深度神经网络(DNN)的先前迭代误分类的图像迭代地训练DNN来生成强化的DNN的DNN训练系统。在一个或多个实施例中，例如，设备可以包括存储器和逻辑，该逻辑的至少一部分实现在耦合到存储器的电路中。在一个或多个此类实施例中，该逻辑可以生成由先前用一组样本图像训练的第一DNN误分类的对抗图像。在一些实施例中，该逻辑可以确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集。在一些此类实施例中，第二训练集可以被用来训练第二DNN。在各种实施例中，上述过程可以重复达预定数量的迭代以产生强化的DNN。描述并要求保护这些和其他实施例。
DNN所面临的一些挑战包括无法以可靠且高效的方式适当地对图像分类。这些挑战可能是由于DNN无法适当地标识仅几个像素发生变化的图像而导致的。例如，对抗对手可能能够制作DNN无法适当地进行分类的图像，称为对抗图像。在此类实例中，这种对抗图像可能包含将被DNN误分类的路牌，从而导致事故。此外，看起来没有意义的图像可能会被DNN误分类。例如，针对图像识别所训练的DNN可能将貌似白噪声的图像分类为猎豹。进一步增加复杂性，在各种实施例中，可以使用DNN来检测恶意软件。在一些实例中，对抗对手可能能够通过改变恶意软件代码中次要的或无关紧要的部分来避免被DNN检测到。这些和其他因素可能导致性能差且适用性有限的DNN。此类限制可能会大大降低DNN的能力、可用性和可靠性，从而导致益处受限的低效系统。
本文描述的各种实施例包括通过迭代训练过程产生强化的DNN的DNN训练系统。在一些实施例中，恶意软件可以被视为从字节码生成的图像。在一些此类实施例中，可以使用这些图像来训练DNN以执行恶意软件分类。在各种实施例中，DNN训练系统可以生成由经训练以执行恶意软件分类的DNN误分类的对抗图像。在各种此类实施例中，然后可以使用对抗图像来训练未来的DNN迭代。以这种方式，可以通过强化的DNN实现改进的分类准确度、尤其是对抗图像的分类准确度，从而导致更强健的DNN。在一个或多个实施例中，用于恶意软件检测的图像分析可揭示未检测到的关系。例如，恶意软件图像会显示与家族的相似性以及跨家族的差异性。在一些实施例中，通过将字节码直接变换为像素强度以进行分类可以避免特征提取。在一些此类实施例中，以这种方式避免特征提取可以提高效率，同时实现高准确度。以这些和其他方式，DNN训练系统可以诸如在恶意软件检测中实现改进的和更强健的图像分类，以实现具有更强的可靠性、更好的灵活性、增强的能力和更高效率的改进的DNN，从而产生若干技术效果和优点。
根据对本文中使用的标记法和命名法的一般引用，可以在计算机或计算机网络上执行的程序过程方面来呈现以下具体实施方式的一个或多个部分。这些程序性描述和表示由本领域技术人员使用以便最高效地将他们工作的实质传递给本领域其他技术人员。过程在此一般被理解为导致所期望结果的自洽的操作序列。这些操作是需要对物理量进行物理操纵的那些操作。通常但非必然地，这些量采取能被存储、传输、组合、比较并以其他方式操纵的电、磁或光信号的形式。主要出于惯用法的原因，时不时地将这些信号称为位、值、元素、符号、字符、项、数字等被证明是方便的。然而，应当注意，所有这些和类似术语旨在与适当的物理量相关联，并且仅仅是应用于那些量的方便的标记。
此外，通常按术语将这些操纵称为常与由人类操作者执行的脑力操作相关联的相加或比较。然而，在形成一个或多个实施例的部分的本文所述的操作中的任何操作中，在多数情况下，没有人类操作者的此类能力是必需的或需要的。相反，这些操作是机器操作。用于执行各实施例的多个操作的有用的机器包括通用数字计算机，其由存储于其中的、根据本文的教导而被写入的计算机程序选择性地激活或配置；和/或包括专门为所需目的而构造的设备。各实施例也涉及用于执行这些操作的设备或系统。可为所需目的专门构造这些设备，或者这些设备可包含通用计算机。各种此类机器的所需结构将根据给定的描述而显而易见。
现在将参考附图，其中自始至终相同的附图标记用于指类似的元件。在以下描述中，为了进行解释，阐述了众多具体细节以便提供对该描述的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实施各新颖的实施例。在其他实例中，以框图形式示出了多个公知的结构和设备以便于对这些结构和设备的描述。本发明旨在涵盖在权利要求范围之内的所有修改、等效方案和替换方案。
图1示出可以表示各种实施例的操作环境100的示例。操作环境100可以包括深度神经网络(DNN)训练系统102。在操作环境100中，DNN训练系统102可以包括训练集管理器104、DNN训练器106和对抗图像生成器108。在本文中描述的一个或多个实施例中，DNN训练系统102可以接收输入101，并基于该输入产生强化的DNN 150。各实施例不限于该上下文。
在各种实施例中，DNN训练系统102的组件可互操作以产生强化的DNN 150。在一些实施例中，创建强化的DNN 150可包括生成对抗样本(例如，图像)以攻击用于恶意软件检测的深度学习算法和/或利用对抗样本对序列化的DNN执行迭代训练。例如，训练集管理器104可以基于输入101来确定第一训练集，DNN训练器106然后可以使第一DNN被训练以使用第一训练集对图像进行分类。在一些此类的示例中，对抗图像生成器108可能生成由第一DNN误分类的一个或多个对抗图像。在一个或多个实施例中，可以使用由对抗图像生成器108实现的分析攻击来生成一个或多个对抗图像。如将在下文中更详细地所描述，在一个或多个此类的实施例中，由对抗图像生成器108实现的分析攻击可包括诱发(causative)攻击和演进(evolution)攻击。
在一些实施例中，由第一DNN误分类的一个或多个对抗图像然后可被提供给训练集管理器104以包括在第二训练集中。在各种实施例中，可以重复生成对抗图像、确定更新的(updated)训练集以及用更新的训练集来训练DNN的过程以使得满足迭代参数。例如，输入101可以包括迭代参数五。在此类实例中，这可以对应于DNN训练系统102执行五轮的以下操作：生成对抗图像，确定更新的训练集，并且用更新的训练集来训练DNN。在一个或多个实施例中，用包括所生成的最后一轮对抗图像的训练集训练的DNN可以作为强化的DNN 150被输出。
图2A示出可以表示各种实施例的操作环境200A的示例。操作环境200A可以包括训练集管理器104和DNN训练器106。在操作环境200A中，训练集管理器104可以接收迭代参数201和初始训练数据集202作为输入101。在本文描述的各种实施例中，训练集管理器104可以将初始训练数据集202转换为训练集216-1。在各种此类实施例中，训练集216-1可被传递到DNN训练器并被用于训练DNN。在一些实施例中，迭代参数201可以确定为训练DNN创建多少个不同的训练集。各实施例不限于该上下文。
在一个或多个实施例中，初始训练数据集202可以包括一个或多个训练数据204-1、204-2、204-n的片段(即，训练数据204)。在一个或多个此类实施例中，初始训练数据集202中的训练数据204的一些或全部片段可包括包含字节码(例如，字节码208-1、208-2、208-n或字节码208)的汇编文件(例如，汇编文件206-1、206-2、206-n或汇编文件206)。在各种实施例中，训练数据的每个片段可以与类别(例如，类别210-1、210-2、210-n或类别210)相关联。在各种此类实施例中，类别的关联性可以用在深度学习算法中以训练DNN。例如，可以训练DNN以检测恶意软件。在此类实例中，类别210可以包括“恶意软件”和“非恶意软件”。
在各种实施例中，训练集管理器104可将初始训练数据集202转换为训练集216-1。在各种此类实施例中，训练数据204-1、204-2、204-n可以分别转换为样本图像212-1、212-2、212-n(即，样本图像212)。在一些实施例中，训练集管理器104可以通过直接将相关联的字节码变换为像素强度来将训练数据转换为样本图像。在一个或多个实施例中，样本图像212-1、212-2、212-n可分别包括类别214-1、214-2、214-n(即，类别214)。在一个或多个此类的实施例中，类别214可以与对应于用于创建样本图像的字节码的类别(例如，类别210-1、210-2、210-n)相同或类似。在各种实施例中，类别210可以是类别214的子集。在其他实施例中，类别214可以是类别210的子集。
在一些实施例中，训练集管理器104可以接收初始训练数据集202和迭代参数201作为输入101。在各种实施例中，初始训练数据集202可以包括具有K个类别的未被污染的数据样本。在一个或多个实施例中，迭代参数201可以包括用于指定用于强化DNN的迭代次数的1位的参数M。一旦初始训练数据集202被转换为训练集216-1，训练集216-1就可被提供给DNN训练器106以训练第一轮DNN。
图2B示出可以表示各种实施例的操作环境200B的示例。操作环境200B可以包括训练集管理器104、DNN训练器106和对抗图像生成器108。在操作环境200B中，训练集管理器104可以基于训练集216-1和对抗图像集254-1来确定训练集216-2。因此，在操作环境200B中，对抗图像集254-1先前诸如由对抗图像生成器108基于对用训练集216-1训练的DNN执行的分析攻击来生成。各实施例不限于该上下文。
在各种实施例中，训练集管理器104可以从对抗图像生成器108接收对抗图像集254-1。在一个或多个实施例中，对抗图像252-1、252-2、252-n可以各自与类别253-1、253-2、253-n(即，类别253)相关联。在一个或多个此类实施例中，类别253中的每一个都可以与类别210不同。因此，在各种实施例中，与K个类别的训练集216-1相对，训练集216-2可以包括K+1个类别。例如，类别210可以包括“恶意软件”或“非恶意软件”，而类别253包括“诱发对抗图像”和“演进对抗图像”。在一些实施例中，类别253可以全部是相同的类别，诸如，“对抗图像”。
在一些实施例中，训练集管理器104可以基于训练集216-1和对抗图像集254-1来确定训练集216-2。在本文中描述的一个或多个实施例中，训练集管理器104可以包括训练集216-1的一个或多个样本图像212以及训练集216-2中的对抗图像集254-1的一个或多个对抗图像252-1、252-2、252-n(即，对抗图像252)。在各种实施例中，训练集216-2可以包括训练集216-1的每个样本图像212和对抗图像集254-1的每个对抗图像252。在一些实施例中，训练集管理器104然后可以将训练集216-2提供给DNN训练器106以训练第二DNN。
图3A示出可以表示各种实施例的操作环境300A的示例。操作环境300A可以包括训练集管理器104、DNN训练器106和对抗图像生成器108。在操作环境200A中，DNN训练器106可以从训练集管理器104接收训练集216-1。在所示实施例中，DNN训练器106可以包括训练器集合216-1、未经训练的DNN 302、经训练的DNN 304-1和迭代跟踪器306。在本文中描述的各种实施例中，DNN训练器106可以使用未经训练的DNN 302上的训练集216-1来产生经训练的DNN 304-1。在各种此类实施例中，未经训练的DNN 302可以包括训练集216-1作为输入被提供给的深度学习算法。在一些此类的实施例中，基于训练集216-1，深度学习算法可以生成经训练的DNN 304-1。各实施例不限于该上下文。
在一些实施例中，DNN训练器106可以从训练集管理器104接收训练集216-1。在一些此类实施例中，训练集216-1可以被应用于未经训练的DNN 302以产生经训练的DNN 304-1。在各种实施例中，迭代跟踪器306可以跟踪DNN训练系统102已经执行的迭代次数。在各种此类实施例中，迭代跟踪器306可以基于迭代参数201来确定期望的迭代次数。在操作环境300A中，迭代跟踪器306可以确定更多的迭代将被执行。例如，迭代跟踪器306可以包括计数器，其初始设置为与迭代参数201匹配。在此类实例中，每当生成经训练的DNN时，该计数器可以递减。在一些此类实例中，如果计数器高于零，则经训练的DNN可以被提供给对抗图像生成器108。在其他此类实例中，如果计数器值为零，则经训练的DNN可以作为强化的DNN150被输出。
在各种实施例中，经训练的DNN 304-1可以是卷积神经网络，该卷积神经网络能够对表示为从相应字节码生成的图像的恶意软件进行分类。在各种此类实施例中，重新设定图像的宽度和/或高度的大小可能不会显著地影响分类准确性。在一些实施例中，经训练的DNN 304-1可以具有多层感知器架构。在一个或多个实施例中，经训练的DNN 304-1可以执行两类别的分类任务。
图3B示出可以表示各种实施例的操作环境300B的示例。操作环境300B可以包括训练集管理器104和DNN训练器106。在操作环境300B中，DNN训练器106可以利用从训练集管理器104接收的训练集216-2来生成经训练的DNN 304-2。在所示实施例中，经训练的DNN 304-2被输出为强化的DNN 150。在此类的实施例中，响应于迭代跟踪器306确定已执行适当数量的迭代，经训练的DNN 304-2可作为强化的DNN 150被输出。因此，在操作环境200B中，迭代参数201被设置为2。然而，将理解的是，在其他实施例中，迭代参数201可以被设置为任何正整数。各实施例不限于该上下文。
图4示出可以表示各种实施例的操作环境400的示例。操作环境400可以包括训练集管理器104、DNN训练器106和对抗图像生成器108。在操作环境400中，对抗图像生成器108可以包括诱发图像生成器402和演进图像生成器404。在所示实施例中，对抗图像生成器108可以从训练集管理器104接收训练集216-1，并且从DNN训练器106接收经训练的DNN 304-1。在本文中描述的各种实施例中，诱发图像生成器402和演进图像生成器404可以对经训练的DNN 304-1执行分析攻击以生成对抗图像集254-1。将认识到，对抗图像生成器108在经训练的DNN的任何迭代上产生对抗图像集。例如，训练集216-2和经训练的DNN 304-2可以由诱发图像生成器402和演进图像生成器404利用以产生对抗图像集254-2(未示出)。各实施例不限于该上下文。
在一个或多个实施例中，诱发图像生成器402可对经训练的DNN304-1执行诱发分析攻击以生成集合254-1中的一个或多个对抗样本或图像，和/或演进图像生成器404可对经训练的DNN 304-1执行演进分析攻击以生成集合254-1中的一个或多个对抗图像。通常，分析攻击可以例如包括：改变基图像(例如，样本图像212-n)的一个或多个部分以生成测试图像；将该测试图像提供给经训练的DNN(例如，经训练的DNN 304-1)以进行分类；并且当经训练的DNN将该测试图像分类为与目标分类或类别不同的事物时，将该测试图像包括为对抗图像集254-1中的对抗图像(例如，对抗图像252-2)。在一些实施例中，目标分类可以是基图像的类别。在一个或多个实施例中，对抗图像或样本可能出现两个总体种类。在一个或多个此类实施例中，第一种类可以包括看起来非常接近干净样本的恶意软件样本，并且第二种类可以包括看起来非常接近恶意软件样本的干净样本。在各种实施例中，第一种类可能不被未强化的DNN检测到而通过，而第二种类可能增加错误肯定(false positive)。
在一些实施例中，诱发图像生成器402可以按如下方式执行诱发攻击。给定有效输入x(例如，样本图像212-1)，找到类似的x'以使得分类输出C(x)≠C(x')，但是x和x'根据某个距离度量是接近的。在各种实施例中，诱发攻击试图改变(诸如，在样本图像212-2中的)最小数量的像素，这导致经训练的DNN以对x进行分类不同的方式对x’进行分类。在一个或多个实施例中，诱发攻击可以经由快速梯度符号方法来实现。在一个或多个此类实施例中，快速梯度符号方法可以被定义为在一些实施例中，快速梯度符号方法可以实现对抗图像的快速且高效的生成。在各种实施例中，诱发攻击(诸如，由诱发图像生成器402执行的那些攻击)可产生被分类为良性图像的对抗图像。
在各种实施例中，演进型图像生成器404可以按如下方式执行演进攻击。将样本图像(例如，样本图像212)的集合考虑为群体。给定有效的输入x，使用演进算法找到不相似的x'，使得x'是白噪声，但被经训练的DNN分类为有效标签。在一些实施例中，在每次迭代中，演进算法可以选择随机机体(organism)(例如，样本图像212-n)，随机地使其突变，并且基于优化适应度函数来替换它。在一个或多个实施例中，演进攻击可以使用表型精英(MAP-elite)的多维存档来实现。在一个或多个此类实施例中，MAP-elite可以实现对包含得分良好的的个体的群体的同时演进。
在一个或多个实施例中，分析攻击和/或对抗图像可以成为对在汇编文件(例如，汇编文件206-2)中改变或注入代码的指导。在一个或多个此类实施例中，在汇编文件中改变或注入代码可以针对于避免被经训练的DNN分类为恶意软件。在一个或多个此类实施例中，可以使用图像上的滑动窗口技术来近似汇编文件中的位置。在各种实施例中，可以在基图像(例如，误分类的测试图像所基于的样本图像)上使用滑动窗口技术。在各种此类实施例中，扰动或改变的部分可以是由滑动窗口技术标识的补片(patch)。在一些实施例中，当涉及经训练的DNN进行预测时，这可以用于确定字节码的哪个部分具有最重的权重。
在各种实施例中，如果补片较大，则其他可包含用于在对应的汇编文件中进行代码注入的位置。在一个或多个实施例中，通过滑动窗口技术在基图像中标识的位置是无法准确地往回映射到汇编文件(其是文本)的像素。因此，在一个或多个此类实施例中，由滑动窗口技术标识的部分近似于汇编文件的具有需要改变的字节码的部分。在一些实施例中，可以使用符号执行来评估代码修改/注入的有效性。在一些此类实施例中，当对抗图像被包括以用于分类时，深度学习算法的准确度可能降低，并且可能包含错误肯定率。
在一些实施例中，DNN训练系统102可以针对增强对分析攻击的深度学习弹性(resiliency)。因此，作为防御机制，DNN训练系统102可以重建DNN的迭代层和/或利用对抗图像来增强深度学习算法的强健性。在一个或多个实施例中，DNN训练系统102的操作可以按如下方式进行。对第一DNN“DNN1”的输入(例如，输入101)可以是具有K个类别和1位的参数M的未受污染的数据样本或图像，该1位的参数M用于指定用于强化DNN的迭代的次数(例如，迭代参数201)。可以在未受污染的数据样本上训练DNN1。然后，DNN训练系统102可以生成对抗示例，诸如，由诱发攻击和演进攻击构建的示例。这些攻击可以略微修改未受污染的数据样本(例如，基图像)以产生测试图像。当DNN1将测试图像分类在错误的类别(例如，不是目标类别)中时，该测试图像可以被标识为对抗图像，并且被包括在对抗图像集(例如，对抗图像集254-1)中。在一些实施例中，对抗图像可以被添加到后续的训练集(例如，训练集216-2)作为新的类别。在此类实施例中，训练集216-2将具有K+1个类别。
在一个或多个实施例中，可以在训练集216-2上训练第二DNN“DNN2”。在一个或多个此类实施例中，诱发图像生成器402和演进图像生成器404然后可以对DNN2执行分析攻击。在各种实施例中，DNN训练系统102可以重复该过程直到达到迭代次数M。例如，在恶意软件分析中，输入可能是恶意软件图像和迭代参数8。在此类示例中，可以在恶意软件图像的集合上训练DNN1。在一些实施例中，可以利用2层感知器(2-MLP)。在一些此类实施例中，可基于速度考虑来利用2-MLP。
在一些实施例中，取决于数据大小，可以利用用于DNN的不同架构。例如，对于MLP，层数可能会有所不同。在另一个实例中，对于LeNet，滤波器尺寸可改变。在一个或多个实施例中，DNN训练系统102然后可以使用诱发和演进攻击来发动对抗攻击以确定对抗图像。在各种实施例中，诱发攻击的实现可基于使对抗图像的L-无限或切比雪夫(Chebyshev)距离最小化。在一些实施例中，扰乱或改变的部分可以成为对改变相关联的字节码的指导。在一些此类实施例中，字节码在汇编文件中的位置可以经由对图像执行的滑动窗口技术来近似。在一个或多个实施例中，可以使用符号执行来评估有效性。在各种实施例中，在验证之后，创建包括对抗图像的新训练集，并且因此得到的训练集具有K+1个类别。在各种此类实施例中，可以在具有K+1个类别的得到的训练集上训练DNN2，并重复该过程，直到DNN8被训练。在一些实施例中，DNN8可以作为强化的DNN 150被输出。在一个或多个实施例中，对抗图像的分类可以在五次迭代内改善。
在各种实施例中，DNN训练系统102可以防护对深度学习的各种分析攻击。在一些实施例中，DNN训练系统102可以适用于改进在自主驾驶、计算机视觉、语音识别、物联网和恶意软件检测中的一项或多项中使用的深度学习的弹性。例如，对于自主驾驶，当自主车辆的相机拍摄真实世界图像，但是攻击扰乱了图像中的最小数量的像素时，则该车辆所使用的未强化的机器学习算法可能对该图像误分类。在此类示例中，这种误分类可能导致事故。因此，在一个或多个实施例中，DNN训练系统102可以防止由误分类导致的危险后果发生。在各种实施例中，用DNN训练系统102克服对抗图像可以避免安全问题和/或给深度学习算法对它们解决的任务的更准确的理解。
图5示出了逻辑流程500的一个实施例，该逻辑流程500可以表示可以在各种实施例中执行的操作，诸如结合生成强化的DNN 150的实施例。逻辑流程500可以表示由图1-4的操作环境100、200、300、400的一个或多个组件(诸如，DNN训练系统102、训练集管理器104、DNN训练106或对抗图像生成器108)执行的操作中的一些或全部。实施例不限于此上下文。
在图5中所示的说明性实施例中，逻辑流程500可以在框502开始。在框502“输入迭代参数”处，可以接收迭代参数作为输入。例如，训练集管理器104可以接收输入101中的迭代参数201。进展到框504“输入样本”，可以接收样本作为输入。例如，训练集管理器104可以接收初始训练数据集202作为输入101中的输入样本。
在框506“确定当前训练集”处，可以确定当前的训练集。例如，可以从初始训练数据集202确定训练集216-1。在各种实施例中，训练集216-1可以包括一个或多个样本图像。在一些实施例中，训练集管理器104可以将字节码转换为像素强度以生成样本图像。例如，字节码208-1可以被变换为像素强度以生成样本图像212-1。
继续到框508“在当前的训练集上训练DNN-i”，可以在当前的训练集上训练DNN的当前迭代。例如，可以基于训练集216-1生成经训练的DNN 304-1。在一些实施例中，可以将当前的训练集输入到未经训练的DNN(例如，未经训练的DNN 302)以生成当前经训练的DNN(例如，经训练的DNN 304-1)。
在框510“足够的迭代被执行？”处，可以判定是否已经执行了足够数量的迭代。例如，迭代跟踪器306可以对所执行的迭代的次数进行计数，并将其与迭代参数201进行比较。如果已经执行了足够的迭代，则当前的DNN可以作为强化的DNN 150被输出。另一方面，如果没有足够的迭代被执行，则在框512处，可递增迭代计数，并且逻辑流程500可以进展至框514。
在框514“生成测试图像”处，可以生成测试图像。例如，样本图像的一个或多个部分可以被改变以生成测试图像。进展到框515“将测试图像提供给DNN以进行分类”，可以将测试图像提供给DNN以进行分类。继续到框516“测试图像被适当地分类？”，可以判定测试图像是否被DNN适当地分类。例如，如果测试图像的分类与目标分类匹配，则测试图像被适当地分类。然而，如果测试图像的分类与目标分类不匹配，则测试图像被不适当地分类。
当测试图像被适当地分类时，逻辑流程500可以进展到框518。在框518“改变测试图像的部分”处，改变被适当地分类的测试图像的部分，并且在框515处，经被改变的测试图像重新提交至DNN以进行分类。往回参考框516，当测试图像未被适当地分类时，在框520处，测试图像可被标识为对抗图像。继续到框522“足够的对抗图像被标识？”，可以判定是否针对当前迭代已经标识了足够的对抗图像。如果没有标识足够的对抗图像，则逻辑流程500可以返回到框514“生成测试图像”。然而，如果足够的对抗图像已被标识，则逻辑流程500可以进展到框524“输入对抗图像”。在框524处，可将对抗图像提供为对框506“确定当前的训练集”的输入。因此，当逻辑流程500从框526返回到框506时，当前的训练集可以用对抗图像来更新。在各种实施例中，这可以使DNN强化的下一次迭代开始。
图6示出逻辑流程600的一个实施例，该逻辑流程600可以表示可以在各种实施例中执行的操作，诸如结合生成强化的DNN 150的实施例。逻辑流程600可以表示由图1-4的操作环境100、200、300、400的一个或多个组件(诸如，DNN训练系统102、训练集管理器104、DNN训练106或对抗图像生成器108)执行的操作中的一些或全部。实施例不限于此上下文。
在图6中所示的说明性实施例中，逻辑流程600可以在框602开始。在框602“生成由第一深度神经网络(DNN)误分类的对抗图像，该第一DNN用一个或多个样本图像的第一训练集进行训练”处，由第一DNN误分类的对抗图像，该第一DNN在一个或多个样本图像的第一训练集上进行训练。例如，对抗图像252-1可由对抗图像生成器108基于经训练的DNN 304-1不适当地对于对抗图像252-1进行分类而生成。在一些实例中，可以通过改变诸如样本图像212-1之类的基图像的一个或多个部分来产生对抗图像252-1。
进展到框604“确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集的一个或多个部分”，确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像以及一个或多个样本图像的第一训练集的一个或多个部分。例如，训练集管理器104可以确定训练集216-2以包括训练集216-1和对抗图像集254-1。
在框606“提供第二训练集来训练第二DNN”处，可提供第二训练集来训练第二DNN。例如，训练集216-2可以被输入到未经训练的DNN 302以产生经训练的DNN 304-2。在各种实施例中，经训练的DNN 304-2可由DNN训练系统102输出为强化的DNN 150。在各种此类实施例中，这可基于迭代跟踪器306判定迭代参数201已被满足。
图7示出存储介质700的实施例。存储介质700可包括任何非暂态计算机可读存储介质或机器可读存储介质，如光学存储介质、磁存储介质或半导体存储介质。在各实施例中，存储介质700可包括制品。在一些实施例中，存储介质700可以存储计算机可执行指令，诸如用于实现本文中所描述的逻辑流程或操作(参照图4和图5的逻辑流程500和600)中的一者或多者的计算机可执行指令。计算机可读存储介质或机器可读存储介质的示例可包括能够存储电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器，等等。计算机可执行指令的示例可包括任何合适类型的代码，诸如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、面向对象的代码、可视代码等。实施例不限于此上下文。
图8示出可适于实现如先前所述的各个实施例的示例性计算架构800的实施例。在各实施例中，计算架构800可包括电子设备或可实现为电子设备的部分。在一些实施例中，计算架构800可表示例如实现图1-4的操作环境100、200、300、400的一个或多个组件的计算机系统。在一些实施例中，计算架构800可表示例如实现本文中所述的一个或多个实施例的DNN训练系统102的一个或多个部分或组件。实施例不限于此上下文。
如本申请中所使用，术语“系统”和“组件”和“模块”旨在指的是计算机相关的实体，无论是硬件、硬件和软件的组合、软件还是执行中的软件，其示例由示例性计算架构800来提供。例如，组件可以是但不限于是以下各项：处理器上运行的进程、处理器、硬盘驱动器、多个(光和/或磁存储介质的)存储驱动器、对象、可执行代码、执行的线程、程序、和/或计算机。作为说明，在服务器上运行的应用和服务器两者都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程内，并且组件可以局部化在一个计算机上和/或分布在两个或更多个计算机之间。此外，组件可通过各种类型的通信介质彼此通信地耦合以协调操作。该协调可以涉及单向或双向的信息交换。例如，组件能以在通信介质上传递的信号的形式来传递信息。该信息可被实现成分配给各条信号线的信号。在此类分配中，每一条消息都是信号。然而，进一步的实施例可替代地采用数据消息。此类数据消息可以跨各个连接被发送。示例性连接包括并行接口、串行接口和总线接口。
计算架构800包括各种常见计算元件，诸如，一个或多个处理器、多核处理器、协处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡、多媒体输入/输出(I/O)组件，电源，等等。然而，实施例不限于由计算架构800来实现。
如图8中所示，计算架构800包括处理单元804、系统存储器806以及系统总线808。处理单元804可以是各种市场上可买到的处理器中的任一种，包括但不限于：的速龙毒龙和皓龙 处理器；的应用、嵌入式或安全处理器；的和的龙珠和处理器；IBM和的Cell处理器；的赛扬酷睿(2)安腾奔腾 至强和处理器；以及类似的处理器。双微处理器、多核处理器和其他多处理器架构也可用作处理单元804。
系统总线808为系统组件提供接口，包括但不限于系统存储器80到处理单元804。系统总线808可以是若干类型的总线结构中的任一种，这些总线结构可使用各种市场上可购买到的总线架构中的人一种互连到存储器总线(利用或buliy9ong存储器控制器)、外围总线和局部总线。接口适配器可经由槽架构连接至系统总线808。示例槽架构可包括但不限于：加速图形端口(AGP)、卡片式总线、(扩展式)工业标准架构((E)ISA)、微通道架构(MCA)、网络用户总线(NuBus)、外围组件互连(扩展式)(PCI(X))、PCI快速、个人计算机存储卡国际协会(PCMCIA)总线等。
系统存储器806可以包括一个或多个更高速的存储器单元的形式的各种类型的计算机可读存储介质，诸如，只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存(例如，一个或多个闪存阵列)、诸如铁电聚合物存储器等聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、诸如独立盘冗余阵列(RAID)驱动之类的设备阵列、固态存储器设备(例如，USB存储器、固态驱动(SSD))以及适于存储信息的任何其他类型的存储介质。在图8中示出的所示实施例中，系统存储器806可包括非易失性存储器810和/或易失性存储器812。基本输入/输出系统(BIOS)可以存储在非易失性存储器810中。
计算机802可包括一个或多个较低速的存储器单元的形式的各种类型的计算机可读存储介质，包括内部(或外部)硬盘驱动器(HDD)814、用于读从可移除磁盘816读取或向可移除磁盘写入的磁软盘驱动器(FDD)818、以及用于从可移除光盘820(例如，CD-ROM或DVD)读取或向可移除光盘820写入的光盘驱动器822。HDD 814、FDD 816和光盘驱动器820可分别通过HDD接口824、FDD接口826和光盘驱动器接口828连接到系统总线808。用于外部驱动器实现的HDD接口824可包括通用串行总线(USB)和IEEE 994接口技术中的至少一者或包括这两者。
驱动器及相关联的计算机可读介质提供了对数据、数据结构、计算机可执行指令等的易失性和/或非易失性存储。例如，多个程序模块可被存储在驱动器和存储器单元810、812中，包括操作系统830、一个或多个应用程序832、其他程序模块834和程序数据836。在一个实施例中，一个或多个应用程序832、其他程序模块834和程序数据836可以包括例如DNN训练系统102的各种应用和/或组件，诸如，训练集管理器104、DNN训练器106和/或对抗图像生成器108的一个或多个部分。
用户可以通过一个或多个有线/无线输入设备(例如，键盘838和诸如鼠标840等指点设备)将命令和信息键入到计算机802中。其他输入设备可能包括话筒、红外(IR)遥控器、射频(RF)遥控器、游戏面板、手写笔、读卡器、软件狗、指纹识别器、手套、绘图板、操纵杆、键盘、视网膜读取器、触摸屏(例如，电容式、电阻式等)、轨迹球、触控板、传感器、触控笔等。这些和其他输入设备通常通过耦合到系统总线804的输入设备接口842连接到处理单元808，但也可通过诸如并行端口、IEEE 994串行端口、游戏端口、USB端口、IR接口等其他接口被连接。
监视器844或其他类型的显示设备也经由诸如视频适配器846之类的接口连接到系统总线808。监视器844可位于计算机802的内部或外部。除了监视器844之外，计算机通常包括诸如扬声器、打印机等其他外围输出设备。
计算机802可使用经由有线和/或无线通信至一个或多个远程计算机(诸如，远程计算机848)的逻辑连接在联网环境中操作。在各种实施例中，一个或多个迁移可以经由联网环境发生。远程计算机848可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他常见的网络节点，并且通常包括相对于计算机802描述的许多或所有元件，但为简明起见仅示出了存储器/存储设备850。所描绘的逻辑连接包括到局域网(LAN)852和/或例如广域网(WAN)854的更大网络的有线/无线连接性。此类LAN和WAN联网环境常见于办公室和公司，并且促进诸如内联网之类的企业范围的计算机网络，所有这些都可连接到例如因特网之类的全球通信网络。
当在LAN联网环境中使用时，计算机802通过有线和/或无线通信网络接口或适配器856连接到LAN 852。适配器856可以促进到LAN 852的有线和/或无线通信，并且还可包括其上设置的用于使用适配器856的无线功能进行通信的无线接入点。
当在WAN联网环境中使用时，计算机802可包括调制解调器1358，或连接到WAN1354上的通信服务器，或具有用于诸如通过因特网等在WAN 854上建立通信的其他手段。调制解调器858经由输入设备接口842连接到系统总线808，该调制解调器858可以是内部或外部的和/或有线和/或无线的设备。在联网环境中，相对于计算机802所描绘的程序模块或其部分可以存储在远程存储器/存储设备850中。将会领会，所示的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。
计算机802可操作以使用IEEE 802系列标准来与有线和无线设备或实体进行通信，这些设备或实体诸如可操作的设置于无线通信(例如，IEEE802.16空中调制技术)中的无线设备。这至少包括Wi-Fi(或无线保真)、WiMax和蓝牙TM无线技术，等等。由此，通信可以如同常规网络那样的预定义结构，或者仅仅是至少两个设备之间的自组织(ad hoc)通信。Wi-Fi网络使用称为IEEE802.11x(a、b、n、g等等)的无线电技术来提供安全、可靠、快速的无线连接性。Wi-Fi网络可用于将计算机彼此连接，连接到因特网以及连接到有线网络(其使用IEEE 802.3相关的介质和功能)。
图9示出适用于实现如先前所描述的各实施例(诸如，虚拟机迁移)的示例性通信架构900的框图。通信架构900包括各种常见通信元件，诸如，发射机、接收机、收发机、无线电装置、网络接口、基带处理器、天线、放大器、滤波器、电源等等。然而，各实施例不限于由通信架构900来实现。
如图9中所示，通信架构900包括一个或多个客户机902和服务器904。客户机902和服务器904可操作地连接到可被用来存储相应客户机902和服务器904本地的信息(诸如，cookie和/或相关联的上下文信息)的一个或多个相应的客户机数据存储908和服务器数据存储910。在各实施例中，服务器904中的任何一个可以结合从客户机902中的任一个接收到的数据存储在服务器数据存储910中的任一个上来实现本文描述的逻辑流程或操作以及图7的存储介质700中的一者或多者。
客户机902和服务器904可以使用通信框架906在彼此之间传递信息。通信框架906可实现任何公知的通信技术和协议。通信框架906可以被实现为分组交换型网络(例如，诸如因特网之类的公共网络、诸如企业内联网之类专有网络，等等)、电路交换型网络(例如，公共交换型电话网)、或分组交换型网络和电路交换型网络的组合(使用合适的网关和转换器)。
通信框架906可以实现布置成接受、通信和连接到通信网络的各种网络接口。网络接口可以被认为是输入输出接口的专用形式。网络接口可以采用连接协议，包括但不限于直接连接，以太网(例如，粗、细、双绞线10/100/1900Base T等)、令牌环、无线网络接口、蜂窝网络接口、IEEE 802.11a-x网络接口、IEEE 802.16网络接口、IEEE 802.20网络接口等。此外，可以使用多个网络接口来与各种通信网络类型进行接合。例如，可以采用多个网络接口来允许广播、多播和单播网络上的通信。如果处理要求规定更大的速度和容量，则可以类似地采用分布式网络控制器架构来共享负载平衡并且以其他方式增加客户机902和服务器904所需的通信带宽。通信网络可以是有线和/或无线网络中的任何一个以及有限和无线网络的组合，包括但不限于直接互连、安全定制连接、专用网络(例如，企业内联网)、公共网络(例如，因特网)、个域网(PAN)、局域网(LAN)、城域网(MAN)、作为互联网节点的操作任务(OMNI)、广域网(WAN)、无线网络、蜂窝网络和其他通信网络。
可使用硬件元件、软件元件或这两者的组合来实现各实施例。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任意组合。确定是否使用硬件元件和/或软件元件来实现实施例可根据任何数量的因素而变化，这些因素诸如所期望的计算速率、功率电平、热容限、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示处理器中的各种逻辑的表示性指令来实现，该表示性指令在被机器读取时使得该机器制造用于执行本文中所述的技术的逻辑。被称为“IP核”的此类表示可以被存储在有形的机器可读介质上，并可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。例如，可使用机器可读介质或者制品来实现一些实施例，这些介质或者制品可存储指令或者一组指令，这些指令或一组指令在由机器执行时可使该机器根据实施例来执行方法和/或操作。此类机器可包括例如任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并可使用硬件和/或软件的任何合适组合来实现。机器可读介质或制品可包括例如任何合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储单元，例如，存储器、可移除或不可移除介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、紧凑盘只读存储器(CD-ROM)、紧凑盘可记录(CD-R)、紧凑盘可重写(CD-W)、光盘、磁性介质、磁光介质、可移除存储器卡或盘、各种类型的数字多功能盘(DVD)、磁带、盒式磁带等等。指令可包括任何合适类型的代码，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等，它们使用任何合适的高级、低级、面向对象的、可视的、编译的和/或解释的编程语言来实现。
以下示例涉及进一步的实施例，大量的排列和配置将根据这些实施例变得显而易见。
示例1是用于执行分析攻击的设备，该设备包括：存储器；和逻辑，所述逻辑的至少一部分在耦合到所述存储器的电路中实现，该逻辑用于：生成由第一深度神经网络(DNN)误分类的对抗图像，所述第一DNN利用一个或多个样本图像的第一训练集进行训练；确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集的一个或多个部分；以及提供第二训练集来训练第二DNN。
示例2包括示例1的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：改变基图像的一个或多个部分以生成测试图像；将测试图像提供给第一DNN进行分类；以及当测试图像的分类与目标分类不同时，将测试图像标识为由第一DNN误分类的对抗图像。
示例3包括示例2的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：当测试图像的分类与目标分类不同并且测试图像的分类与满足阈值置信水平的置信水平相关联时，将测试图像标识为由第一DNN误分类的对抗图像。
示例4包括示例2的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：当测试图像的分类与目标分类相同时，改变测试图像的一个或多个部分。
示例5包括示例2的主题，该逻辑用于：当测试图像的分类与目标分类不同时，基于基图像的一个或多个被改变的部分来改变用于生成基图像的汇编文件中的字节码的一个或多个部分。
示例6包括示例5的主题，该逻辑用于：基于滑动窗口技术来标识要改变的字节码的一个或多个部分。
示例7包括示例6的主题，滑动窗口技术利用基图像的一个或多个被改变的部分和基图像。
示例8包括示例2的主题，所述基图像包括所述第一训练集中的样本图像，并且所述目标分类包括所述样本图像的分类。
示例9包括示例8的主题，其中基图像和测试图像根据距离度量是接近的。
示例10包括示例2的主题，目标分类包括与白噪声相关联的分类，与同第一训练集相关联的任何分类不同的分类或不可分类的分类。
示例11包括示例2的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：利用快速梯度符号方法来改变基图像的一个或多个部分以生成测试图像。
示例12包括示例2的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：利用演进算法来改变基图像的一个或多个部分以生成测试图像。
示例13包括示例12的主题，该演进算法用于利用表型精英的多维存档。
示例14包括示例2的主题，生成由第一DNN误分类的对抗图像包括用于以下操作的逻辑：当基图像的一个或多个部分被改变以生成测试图像时，使基图像与测试图像之间的契比雪夫或L-无限距离最小化。
示例15包括示例1的主题，第一和第二DNN经训练以检测恶意软件。
示例16包括示例1的主题，从字节码生成第一训练集中的至少一个样本图像。
示例17包括示例16的主题，该逻辑用于将字节码变换为像素强度以生成第一训练集中的至少一个样本图像。
示例18包括示例16的主题，该字节码包括恶意软件字节码。
示例19包括示例1的主题，该逻辑用于：生成由第二DNN误分类的第二对抗图像；确定第三训练集，该第三训练集包括由第二DNN误分类的第二对抗图像和第二训练集的一个或多个部分；以及提供第三训练集来训练第三DNN。
示例20包括示例19的主题，第二训练集的一个或多个部分包括由第一DNN误分类的对抗图像。
示例21包括示例19的主题，第二训练集的一个或多个部分包括第一训练集中的一个或多个样本图像中的至少一个样本图像。
示例22包括示例1的主题，第一和第二DNN利用多层感知器架构。
示例23包括示例22的主题，该逻辑用于改变多层感知器架构中的多个层。
示例24包括示例1的主题，第一和第二DNN利用卷积神经网络架构。
示例25包括示例24的主题，该逻辑用于改变卷积神经网络中的滤波器大小。
示例26是包括一组指令的至少一种非暂态计算机可读介质，响应于所述指令在计算设备上被执行，使所述计算设备：生成由第一深度神经网络(DNN)误分类的对抗图像，所述第一DNN利用一个或多个样本图像的第一训练集进行训练；确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集的一个或多个部分；以及提供第二训练集来训练第二DNN。
示例27包括示例26的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：改变基图像的一个或多个部分以生成测试图像；将测试图像提供给第一DNN进行分类；以及当测试图像的分类与目标分类不同时，将测试图像标识为由第一DNN误分类的对抗图像。
示例28包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：当测试图像的分类与目标分类不同并且测试图像的分类与满足阈值置信水平的置信水平相关联时，将测试图像标识为由第一DNN误分类的对抗图像。
示例29包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：当测试图像的分类与目标分类相同时，改变测试图像的一个或多个部分。
示例28包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：当测试图像的分类与目标分类不同时，基于基图像的一个或多个被改变部分来改变用于生成基图像的汇编文件中的字节码的一个或多个部分。
示例31包括示例30的主题，包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：基于滑动窗口技术标识要改变的字节码的一个或多个部分。
示例32包括示例31的主题，滑动窗口技术利用基图像的一个或多个被改变的部分和基图像。
示例33包括示例27的主题，所述基图像包括所述第一训练集中的样本图像，并且所述目标分类包括所述样本图像的分类。
示例34包括示例33的主题，其中基图像和测试图像根据距离度量是接近的。
示例35包括示例27的主题，目标分类包括与白噪声相关联的分类，与同第一训练集相关联的任何分类不同的分类或不可分类的分类。
示例36包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：利用快速梯度符号方法来改变基图像的一个或多个部分以生成测试图像。
示例37包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：利用演进算法来改变基图像的一个或多个部分以生成测试图像。
示例38包括示例37的主题，该演进算法用于利用表型精英的多维存档。
示例39包括示例27的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：当基图像的一个或多个部分被改变以生成测试图像时，使基图像与测试图像之间的契比雪夫或L-无限距离最小化。
示例40包括示例26的主题，第一和第二DNN被训练用于检测恶意软件。
示例41包括示例26的主题，从字节码生成第一训练集中的至少一个样本图像。
示例42包括示例41的主题，生成由第一DNN误分类的对抗图像包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：将字节码变换为像素强度以生成第一训练集中的至少一个样本图像。
示例43包括示例41的主题，该字节码包括恶意软件字节码。
示例44包括示例26的主题，包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：生成由第二DNN误分类的第二对抗图像；确定第三训练集，该第三训练集包括由第二DNN误分类的第二对抗图像和第二训练集的一个或多个部分；以及提供第三训练集来训练第三DNN。
示例45包括示例44的主题，第二训练集的一个或多个部分包括由第一DNN误分类的对抗图像。
示例46包括示例44的主题，第二训练集的一个或多个部分包括第一训练集中的一个或多个样本图像中的至少一个。
示例47包括示例26的主题，第一和第二DNN利用多层感知器架构。
示例48包括示例47的主题，包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：改变多层感知器架构中的多个层。
示例49包括示例26的主题，第一和第二DNN利用卷积神经网络架构。
示例50包括示例49的主题，包括指令，响应于该指令在所述计算设备上被执行，使所述计算设备：改变卷积神经网络中的滤波器大小。
示例51是一种计算机实现的方法，该方法包括：生成由第一深度神经网络(DNN)误分类的对抗图像，所述第一DNN利用一个或多个样本图像的第一训练集进行训练；确定第二训练集，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集的一个或多个部分；以及提供第二训练集来训练第二DNN。
示例52包括示例51的主题，生成由第一DNN误分类的对抗图像包括：改变基图像的一个或多个部分以生成测试图像；将测试图像提供给第一DNN进行分类；以及当测试图像的分类与目标分类不同时，将测试图像标识为由第一DNN误分类的对抗图像。
示例53包括示例52的主题，生成由第一DNN误分类的对抗图像包括：当测试图像的分类与目标分类不同并且测试图像的分类与满足阈值置信水平的置信水平相关联时，将测试图像标识为由第一DNN误分类的对抗图像。
示例54包括示例52的主题，生成由第一DNN误分类的对抗图像包括：当测试图像的分类与目标分类相同时，改变测试图像的一个或多个部分。
示例55包括示例52的主题，包括：在测试图像的分类与目标分类不同时，基于基图像的一个或多个被改变的部分来改变用于生成基图像的汇编文件中的字节码的一个或多个部分。
示例56包括示例55的主题，包括：基于滑动窗口技术来标识要改变的字节码的一个或多个部分。
示例57包括示例56的主题，滑动窗口技术利用基图像的一个或多个改变部分和基图像。
示例58包括示例52的主题，所述基图像包括所述第一训练集中的样本图像，并且所述目标分类包括所述样本图像的分类。
示例59包括示例58的主题，其中基图像和测试图像根据距离度量是接近的。
示例60包括示例52的主题，目标分类包括与白噪声相关联的分类，与同第一训练集相关联的任何分类不同的分类或不可分类的分类。
示例61包括示例52的主题，生成由第一DNN误分类的对抗图像包括：利用快速梯度符号方法来改变基图像的一个或多个部分以生成测试图像。
示例62包括示例52的主题，生成由第一DNN误分类的对抗图像包括：利用演进算法来改变基图像的一个或多个部分以生成测试图像。
示例63包括示例62的主题，该演进算法用于利用表型精英的多维存档。
示例64包括示例52的主题，生成由第一DNN误分类的对抗图像包括：当基图像的一个或多个部分被改变以生成测试图像时，使基图像与测试图像之间的契比雪夫或L-无限距离最小化。
示例65包括示例51的主题，第一和第二DNN经训练以检测恶意软件。
示例66包括示例51的主题，从字节码生成第一训练集中的至少一个样本图像。
示例67包括示例66的主题，包括将字节码变换为像素强度以生成第一训练集中的至少一个样本图像。
示例68包括示例66的主题，该字节码包括恶意软件字节码。
示例69包括示例51的主题，包括：生成由第二DNN误分类的第二对抗图像；确定第三训练集，该第三训练集包括由第二DNN误分类的第二对抗图像和第二训练集的一个或多个部分；以及提供第三训练集来训练第三DNN。
示例70包括示例69的主题，第二训练集的一个或多个部分包括由第一DNN误分类的对抗图像。
示例71包括示例69的主题，第二训练集的一个或多个部分包括第一训练集中的一个或多个样本图像中的至少一个。
示例72包括示例51的主题，第一和第二DNN利用多层感知器架构。
示例73包括示例72的主题，包括改变多层感知器架构中的多个层。
示例74包括示例51的主题，第一和第二DNN利用卷积神经网络架构。
示例75包括示例74的主题，包括改变卷积神经网络中的滤波器大小。
示例75包括示例74的主题，包括改变卷积神经网络中的滤波器大小。
示例76是用于执行分析攻击的设备，该设备包括：用于生成由第一深度神经网络(DNN)误分类的对抗图像的装置，所述第一DNN利用一个或多个样本图像的第一训练集进行训练；用于确定第二训练集的装置，该第二训练集包括由第一DNN误分类的对抗图像和一个或多个样本图像的第一训练集的一个或多个部分；以及用于提供第二训练集来训练第二DNN的装置。
示例77包括示例76的主题，生成由第一DNN误分类的对抗图像包括：用于改变基图像的一个或多个部分以生成测试图像的装置；用于将测试图像提供给第一DNN进行分类的装置；以及用于当测试图像的分类与目标分类不同时将测试图像标识为由第一DNN误分类的对抗图像的装置。
示例78包括示例77的主题，生成由第一DNN误分类的对抗图像包括：用于当测试图像的分类与目标分类不同并且测试图像的分类与满足阈值置信水平的置信水平相关联时将测试图像标识为由第一DNN误分类的对抗图像的装置。
示例79包括示例77的主题，生成由第一DNN误分类的对抗图像包括用于当测试图像的分类与目标分类相同时改变测试图像的一个或多个部分的装置。
示例80包括示例77的主题，包括用于当测试图像的分类与目标分类时不同基于基图像的一个或多个被改变的部分来改变用于生成基图像的汇编文件中的字节码的一个或多个部分的装置。
示例81包括示例80的主题，包括用于基于滑动窗口技术来标识要改变的字节码的一个或多个部分的装置。
示例82包括示例81的主题，滑动窗口技术利用基图像的一个或多个改变部分和基图像。
示例83包括示例77的主题，所述基图像包括所述第一训练集中的样本图像，并且所述目标分类包括所述样本图像的分类。
示例84包括示例83的主题，其中基图像和测试图像根据距离度量是接近的。
示例85包括示例77的主题，目标分类包括与白噪声相关联的分类，与同第一训练集相关联的任何分类不同的分类或不可分类的分类。
示例86包括示例77的主题，生成由第一DNN误分类的对抗图像包括用于利用快速梯度符号方法来改变基图像的一个或多个部分以生成测试图像的装置。
示例87包括示例77的主题，生成由第一DNN误分类的对抗图像包括用于利用演进算法来改变基图像的一个或多个部分以生成测试图像的装置。
示例88包括示例87的主题，该演进算法用于利用表型精英的多维存档。
示例89包括示例77的主题，生成由第一DNN误分类的对抗图像包括用于当基图像的一个或多个部分被改变以生成测试图像时使基图像与测试图像之间的契比雪夫或L-无限距离最小化的装置。
示例90包括示例76的主题，第一和第二DNN经训练以检测恶意软件。
示例91包括示例76的主题，从字节码生成第一训练集中的至少一个样本图像。
示例92包括示例91的主题，包括用于将字节码变换为像素强度以生成第一训练集中的至少一个样本图像的装置。
示例93包括示例91的主题，该字节码包括恶意软件字节码。
示例94包括示例76的主题，包括：用于生成由第二DNN误分类的第二对抗图像的装置；用于确定第三训练集的装置，该第三训练集包括由第二DNN误分类的第二对抗图像和第二训练集的一个或多个部分；以及用于提供第三训练集来训练第三DNN的装置。
示例95包括示例94的主题，第二训练集的一个或多个部分包括由第一DNN误分类的对抗图像。
示例96包括示例94的主题，第二训练集的一个或多个部分包括第一训练集中的一个或多个样本图像中的至少一个。
示例97包括示例76的主题，第一和第二DNN利用多层感知器架构。
示例98包括示例97的主题，包括用于改变多层感知器架构中的多个层的装置。
示例99包括示例76的主题，第一和第二DNN利用卷积神经网络架构。
示例100包括示例99的主题，包括用于改变卷积神经网络中的滤波器大小的装置。
已出于说明和描述的目的呈现了各示例实施例的前述描述。它不旨在穷尽或者将本公开限制于所公开的准确的形式。根据上述公开，许多修改和变体是可能的。本公开的范围不是由该详细说明书限制而是由所附权利要求限定。将来提出的要求本申请优先权的申请可以以不同的方式要求所公开的主题，并且通常可包括如在此多方面地公开或以其他方式展示的一个或多个限制的任意集合。

Claims (25)

1.一种计算机实现的方法，包括：
生成由第一深度神经网络DNN误分类的对抗图像，所述第一DNN利用一个或多个样本图像的第一训练集进行训练；
确定第二训练集，所述第二训练集包括由所述第一DNN误分类的所述对抗图像和所述一个或多个样本图像的第一训练集的一个或多个部分；以及
提供所述第二训练集来训练第二DNN。
2.如权利要求1所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：
改变基图像的一个或多个部分以生成测试图像；
将所述测试图像提供给所述第一DNN以进行分类；以及
当所述测试图像的分类与目标分类不同时，将所述测试图像标识为由所述第一DNN误分类的所述对抗图像。
3.如权利要求2所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：当所述测试图像的分类与所述目标分类不同并且所述测试图像的分类与满足阈值置信水平的置信水平相关联时，将所述测试图像标识为由所述第一DNN误分类的所述对抗图像。
4.如权利要求2所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：当所述测试图像的分类与所述目标分类相同时，改变所述测试图像的一个或多个部分。
5.如权利要求2所述的计算机实现的方法，包括：当所述测试图像的分类与所述目标分类不同时，基于所述基图像的一个或多个被改变的部分来改变用于生成所述基图像的汇编文件中的字节码的一个或多个部分。
6.如权利要求5所述的计算机实现的方法，包括：基于滑动窗口技术来标识所述字节码的要改变的一个或多个部分。
7.如权利要求6所述的计算机实现的方法，所述滑动窗口技术用于利用所述基图像的一个或多个被改变的部分和所述基图像。
8.如权利要求2所述的计算机实现的方法，所述基图像包括所述第一训练集中的样本图像，并且所述目标分类包括所述样本图像的分类。
9.如权利要求8所述的计算机实现的方法，其中，所述基图像和所述测试图像根据距离度量是接近的。
10.如权利要求2所述的计算机实现的方法，所述目标分类包括与白噪声相关联的分类、与同所述第一训练集相关联的任何分类不同的分类或不可分类的分类。
11.如权利要求2所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：利用快速梯度符号方法来改变所述基图像的一个或多个部分以生成所述测试图像。
12.如权利要求2所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：利用演进算法来改变所述基图像的一个或多个部分以生成所述测试图像。
13.如权利要求12所述的计算机实现的方法，所述演进算法用于利用表型精英的多维存档。
14.如权利要求2所述的计算机实现的方法，生成由所述第一DNN误分类的所述对抗图像包括：当所述基图像的一个或多个部分被改变以生成所述测试图像时，使所述基图像与所述测试图像之间的契比雪夫或L-无限距离最小化。
15.如权利要求1所述的计算机实现的方法，所述第一DNN和所述第二DNN经训练以检测恶意软件。
16.如权利要求1所述的计算机实现的方法，所述第一训练集中的至少一个样本图像从字节码生成。
17.如权利要求1所述的计算机实现的方法，包括：将所述字节码变换为像素强度，以生成所述第一训练集中的所述至少一个样本图像。
18.如权利要求16所述的计算机实现的方法，所述字节码包括恶意软件字节码。
19.如权利要求1所述的计算机实现的方法，包括：
生成由所述第二DNN误分类的第二对抗图像；
确定第三训练集，所述第三训练集包括由所述第二DNN误分类的所述第二对抗图像和所述第二训练集的一个或多个部分；以及
提供所述第三训练集来训练第三DNN。
20.如权利要求19所述的计算机实现的方法，所述第二训练集的一个或多个部分包括由所述第一DNN误分类的对抗图像。
21.如权利要求19所述的计算机实现的方法，所述第二训练集的一个或多个部分包括所述第一训练集中的所述一个或多个样本图像中的至少一个样本图像。
22.如权利要求1所述的计算机实现的方法，所述第一DNN和所述第二DNN用于利用多层感知器架构。
23.如权利要求1所述的计算机实现的方法，所述第一DNN和所述第二DNN用于利用卷积神经网络架构。
24.一种设备，包括用于执行如权利要求1至23中任一项所述的方法的装置。
25.一种机器可读介质，包含代码，所述代码在被执行时使机器执行如权利要求1-23中任一项所述的方法。
CN201810722332.9A 2017-07-01 2018-06-29 用于训练深度神经网络的技术 Pending CN109242096A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/640,470 2017-07-01
US15/640,470 US10839291B2 (en) 2017-07-01 2017-07-01 Hardened deep neural networks through training from adversarial misclassified data

Publications (1)

Publication Number Publication Date
CN109242096A true CN109242096A (zh) 2019-01-18

Family

ID=64661931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810722332.9A Pending CN109242096A (zh) 2017-07-01 2018-06-29 用于训练深度神经网络的技术

Country Status (3)

Country Link
US (2) US10839291B2 (zh)
CN (1) CN109242096A (zh)
DE (1) DE102018115440A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461264A (zh) * 2020-05-25 2020-07-28 南京大学 基于生成对抗网络的具有可伸缩性模块化图像识别方法
CN111475810A (zh) * 2020-04-13 2020-07-31 广州锦行网络科技有限公司 一种恶意软件检测器训练方法及系统、检测方法及系统
CN111694557A (zh) * 2019-03-15 2020-09-22 上海商汤智能科技有限公司 数据处理方法及装置、图像处理方法及装置、电子设备
CN111915486A (zh) * 2020-07-30 2020-11-10 西华大学 基于图像超分辨重建的对抗样本防御方法
WO2020238101A1 (zh) * 2019-05-27 2020-12-03 商汤集团有限公司 对象检测方法、装置、设备及计算机可读存储介质
CN112084830A (zh) * 2019-06-13 2020-12-15 百度（美国）有限责任公司 通过基于视觉的感知系统检测对抗样本
CN112329908A (zh) * 2021-01-04 2021-02-05 中国人民解放军国防科技大学 一种用于神经网络模型测试的图像生成方法
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN113841157A (zh) * 2019-05-23 2021-12-24 渊慧科技有限公司 通过使用局部线性度正则化训练更安全的神经网络
CN114846464A (zh) * 2020-01-21 2022-08-02 迪士尼企业公司 保护内容处理管道

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678241B2 (en) 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
JP6898561B2 (ja) * 2017-09-08 2021-07-07 富士通株式会社 機械学習プログラム、機械学習方法、および機械学習装置
JP2019079374A (ja) * 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像処理システム、画像処理方法および画像処理プログラム
US11494667B2 (en) * 2018-01-18 2022-11-08 Google Llc Systems and methods for improved adversarial training of machine-learned models
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11080603B2 (en) * 2018-05-18 2021-08-03 Google Llc Systems and methods for debugging neural networks with coverage guided fuzzing
JP7192895B2 (ja) * 2019-02-12 2022-12-20 日本電気株式会社 モデル構築装置、モデル構築方法、コンピュータプログラム及び記録媒体
US11216001B2 (en) 2019-03-20 2022-01-04 Honda Motor Co., Ltd. System and method for outputting vehicle dynamic controls using deep neural networks
US10929719B2 (en) * 2019-03-28 2021-02-23 GM Global Technology Operations LLC Adversarial attack on black box object detection algorithm
CN110070115B (zh) * 2019-04-04 2021-09-03 广州大学 一种单像素攻击样本生成方法、装置、设备及存储介质
US11042758B2 (en) 2019-07-02 2021-06-22 Ford Global Technologies, Llc Vehicle image generation
CN110503650A (zh) * 2019-07-08 2019-11-26 南京航空航天大学 眼底血管图像分割对抗样本生成方法、分割网络安全评价方法
US11606389B2 (en) * 2019-08-29 2023-03-14 Nec Corporation Anomaly detection with graph adversarial training in computer systems
CN112016677B (zh) * 2019-09-23 2024-07-26 南京地平线机器人技术有限公司 深度神经网络的训练方法、装置和电子设备
EP3798897A1 (en) * 2019-09-30 2021-03-31 JENOPTIK Traffic Solutions UK Ltd Methods for artificial neural networks
DE102019216184A1 (de) 2019-10-21 2021-04-22 Volkswagen Aktiengesellschaft Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
CN111340066B (zh) * 2020-02-10 2022-05-31 电子科技大学 一种基于几何向量的对抗样本生成方法
CN111475797B (zh) * 2020-03-26 2023-09-29 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN113452541B (zh) * 2020-03-27 2023-02-03 上海商汤智能科技有限公司 网络带宽调整方法和相关产品
CN113994332A (zh) * 2020-04-13 2022-01-28 华为技术有限公司 一种非安全软件检测装置、检测方法以及存储介质
US10922788B1 (en) * 2020-04-30 2021-02-16 StradVision, Inc. Method for performing continual learning on classifier in client capable of classifying images by using continual learning server and continual learning server using the same
CN112035834A (zh) * 2020-08-28 2020-12-04 北京推想科技有限公司 对抗训练方法及装置、神经网络模型的应用方法及装置
CN112949476B (zh) * 2021-03-01 2023-09-29 苏州美能华智能科技有限公司 基于图卷积神经网络的文本关系检测方法、装置及存储介质
CN113361583A (zh) * 2021-06-01 2021-09-07 珠海大横琴科技发展有限公司 一种对抗样本检测方法和装置
CN115082761A (zh) * 2022-01-06 2022-09-20 鸿海精密工业股份有限公司 模型产生装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809821A (zh) * 2003-03-03 2006-07-26 微软公司 用于防止垃圾邮件的反馈循环
US20130138436A1 (en) * 2011-11-26 2013-05-30 Microsoft Corporation Discriminative pretraining of deep neural networks
US20140090061A1 (en) * 2012-09-26 2014-03-27 Northrop Grumman Systems Corporation System and method for automated machine-learning, zero-day malware detection
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN105844300A (zh) * 2016-03-24 2016-08-10 河南师范大学 一种基于随机森林算法的优化分类方法及装置
US9519780B1 (en) * 2014-12-15 2016-12-13 Symantec Corporation Systems and methods for identifying malware
DE202017102381U1 (de) * 2017-04-21 2017-05-11 Robert Bosch Gmbh Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130138613A1 (en) * 2011-11-29 2013-05-30 Quantum Corporation Synthetic backup data set
US9292040B2 (en) * 2013-04-30 2016-03-22 Hewlett Packard Enterprise Development Lp Synthetic time series data generation
US9785719B2 (en) * 2014-07-15 2017-10-10 Adobe Systems Incorporated Generating synthetic data
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
US10460235B1 (en) * 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809821A (zh) * 2003-03-03 2006-07-26 微软公司 用于防止垃圾邮件的反馈循环
US20130138436A1 (en) * 2011-11-26 2013-05-30 Microsoft Corporation Discriminative pretraining of deep neural networks
US20140090061A1 (en) * 2012-09-26 2014-03-27 Northrop Grumman Systems Corporation System and method for automated machine-learning, zero-day malware detection
US9519780B1 (en) * 2014-12-15 2016-12-13 Symantec Corporation Systems and methods for identifying malware
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN105844300A (zh) * 2016-03-24 2016-08-10 河南师范大学 一种基于随机森林算法的优化分类方法及装置
DE202017102381U1 (de) * 2017-04-21 2017-05-11 Robert Bosch Gmbh Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDRAS ROZSA ET AL.: "Adversarial Diversity and Hard Positive Generation", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 19 December 2016 (2016-12-19), pages 410 - 417 *
杨益敏: "基于字节码图像的Android 恶意代码家族分类方法", 《网络与信息安全学报》, vol. 2, no. 6, 30 June 2016 (2016-06-30), pages 38 - 43 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694557B (zh) * 2019-03-15 2024-04-16 上海商汤智能科技有限公司 数据处理方法及装置、图像处理方法及装置、电子设备
CN111694557A (zh) * 2019-03-15 2020-09-22 上海商汤智能科技有限公司 数据处理方法及装置、图像处理方法及装置、电子设备
CN113841157A (zh) * 2019-05-23 2021-12-24 渊慧科技有限公司 通过使用局部线性度正则化训练更安全的神经网络
JP7101267B2 (ja) 2019-05-27 2022-07-14 センスタイム グループ リミテッド 対象検出方法、装置、機器及びコンピュータ可読記憶媒体
KR20210006429A (ko) * 2019-05-27 2021-01-18 센스타임 그룹 리미티드 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체
JP2021530015A (ja) * 2019-05-27 2021-11-04 センスタイム グループ リミテッド 対象検出方法、装置、機器及びコンピュータ可読記憶媒体
WO2020238101A1 (zh) * 2019-05-27 2020-12-03 商汤集团有限公司 对象检测方法、装置、设备及计算机可读存储介质
KR102455745B1 (ko) * 2019-05-27 2022-10-17 센스타임 그룹 리미티드 오브젝트 검출 방법, 장치, 장비 및 컴퓨터 판독 가능 저장 매체
CN112084830A (zh) * 2019-06-13 2020-12-15 百度（美国）有限责任公司 通过基于视觉的感知系统检测对抗样本
CN112633306B (zh) * 2019-09-24 2023-09-22 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN112633306A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 对抗图像的生成方法及装置
CN114846464B (zh) * 2020-01-21 2025-01-28 迪士尼企业公司 保护内容处理管道
CN114846464A (zh) * 2020-01-21 2022-08-02 迪士尼企业公司 保护内容处理管道
CN111475810A (zh) * 2020-04-13 2020-07-31 广州锦行网络科技有限公司 一种恶意软件检测器训练方法及系统、检测方法及系统
CN111461264A (zh) * 2020-05-25 2020-07-28 南京大学 基于生成对抗网络的具有可伸缩性模块化图像识别方法
CN111915486A (zh) * 2020-07-30 2020-11-10 西华大学 基于图像超分辨重建的对抗样本防御方法
CN111915486B (zh) * 2020-07-30 2022-04-22 西华大学 基于图像超分辨重建的对抗样本防御方法
CN112329908A (zh) * 2021-01-04 2021-02-05 中国人民解放军国防科技大学 一种用于神经网络模型测试的图像生成方法

Also Published As

Publication number Publication date
DE102018115440A1 (de) 2019-01-03
US20210081793A1 (en) 2021-03-18
US20190005386A1 (en) 2019-01-03
US10839291B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN109242096A (zh) 用于训练深度神经网络的技术
US11829880B2 (en) Generating trained neural networks with increased robustness against adversarial attacks
TWI673625B (zh) 統一資源定位符（ｕｒｌ）攻擊檢測方法、裝置以及電子設備
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
Raval et al. Olympus: Sensor privacy through utility aware obfuscation
US11468358B2 (en) Framework for semi-supervised learning when no labeled data is given
JP6812086B2 (ja) 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体
CN108182394A (zh) 卷积神经网络的训练方法、人脸识别方法及装置
CN107077545A (zh) 用于主动认证的系统和方法
CN106716958A (zh) 横向移动检测
CN113366494A (zh) 用于少样本无监督图像到图像转换的方法
CN106663126A (zh) 用于运动任务分析的视频处理
CN107480642A (zh) 一种基于时域分段网络的视频动作识别方法
US11755708B2 (en) Methods and systems for facilitating secure authentication of user based on known data
CN106022349A (zh) 用于设备类型确定的方法和系统
US20240070273A1 (en) Systems, devices, and methods for generating cybersecurity threat intelligence
US11727686B2 (en) Framework for few-shot temporal action localization
CN110851621A (zh) 基于知识图谱预测视频精彩级别的方法、装置及存储介质
Han et al. Backdooring multimodal learning
CN112560823B (zh) 基于分布学习的自适应方差和权重的人脸年龄估计方法
Toğaçar Detecting attacks on IoT devices with probabilistic Bayesian neural networks and hunger games search optimization approaches
CN111694954A (zh) 图像分类方法、装置和电子设备
Guan et al. EnsembleDroid: A malware detection approach for android system based on ensemble learning
CN113079168B (zh) 一种网络异常检测方法、装置及存储介质
Ingle et al. Generate Adversarial Attack on Graph Neural Network using K-Means Clustering and Class Activation Mapping.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination