[go: up one dir, main page]

CN107679620A - 人工神经网络处理装置 - Google Patents

人工神经网络处理装置 Download PDF

Info

Publication number
CN107679620A
CN107679620A CN201710258566.8A CN201710258566A CN107679620A CN 107679620 A CN107679620 A CN 107679620A CN 201710258566 A CN201710258566 A CN 201710258566A CN 107679620 A CN107679620 A CN 107679620A
Authority
CN
China
Prior art keywords
unit
data
calculation
neural network
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710258566.8A
Other languages
English (en)
Other versions
CN107679620B (zh
Inventor
方绍峡
隋凌志
于谦
王俊斌
单羿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xilinx Inc
Original Assignee
Beijing Insight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Insight Technology Co Ltd filed Critical Beijing Insight Technology Co Ltd
Priority to CN201710258566.8A priority Critical patent/CN107679620B/zh
Priority to US15/600,807 priority patent/US10282659B2/en
Publication of CN107679620A publication Critical patent/CN107679620A/zh
Application granted granted Critical
Publication of CN107679620B publication Critical patent/CN107679620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本申请公开一种用于运行神经网络的处理器，其包括内存控制器组、片上总线和处理器内核。处理器内核进一步包括：寄存器、第一指令单元、第二指令单元、指令分发单元、数据传输控制器、缓存模块和计算模块。该处理器支持多种神经网络算法并且可以显著提高运算效率。

Description

人工神经网络处理装置
发明领域
本申请涉及人工神经网络，例如卷积神经网络(CNN)。更具体地，本申请涉及一种用于实现人工神经网络的处理装置。
背景技术
人工智能近年得到迅速发展，极大地影响了人们的生活。基于人工神经网络，尤其是卷积神经网络(CNN，Convolutional Neural Network)的方法在很多应用中、例如在计算机视觉领域中得到广泛使用。
图1示出了典型的深度卷积神经网络(CNN)的实施例。如图1所示，典型的CNN由一系列有序运行的层组成。
CNN模型的参数被称为“权重”。CNN的第一层读取输入图像，并输出一系列的特征图。下一层读取由上一层产生的特征图，并输出新的特征图。最后，一个分类器输出输入图像可能属于的每一类别的概率。CNN中两种基本层类型包括卷积层(CONV层)和全连层(FC层)，在CONV层之后通常有池化层(Pooling层)。
例如，对于一个CNN层，表示第j个输入特征图，表示第i个输出特征图，bi表示第i个输出图的偏置项。对于CONV层，nin和nout分别代表输入和输出特征图的数量。对于FC层，nin和nout分别代表输入和输出特征向量的长度。
此时，CONV层以一系列特征图作为输入，并以卷积内核卷积获得输出特征图。通常与CONV层相连的非线性层，即，非线性激励函数被施加到输出特征图中的每个元素。
CONV层可以用表达式(1)表示：
其中，gi,j是应用到第j个输入特征图和第i个输出特征图的卷积内核。
FC层是应用于输入特征向量上的一个线性变换，其可以用表达式(2)表示：
fout＝Wfin+b (2)
其中，W是一个nout×nin变换矩阵，b是偏置项。应注意，对于FC层，输入的不是几个二维特征图的组合，而是一个特征向量。因此，在表达式(2)中，参数nin和nout实际上对应于输入和输出特征向量的长度。
池化层通常与CONV层相连，用于输出每个特征图中的每个分区的最大值或平均值。池化层的最大值可以由表达式(3)表示:
其中，p是池化内核的大小。这种非线性的“降采样”不仅为下一层降低了特征图的大小和计算，还提供了一种平移不变性。
相较于传统算法，CNN需要较高的运算量与带宽需求。目前主要依靠中央处理器(CPU)阵列、图形处理器(GPU)阵列完成计算。然而，CPU、GPU等通用处理器不能充分利用卷积神经网络的特点，因此导致运算效率较低，带来了较大的功耗、成本开销。此外，如今愈发需要在终端设备上以低成本、低功耗、高性能来完成人工智能算法的计算，而现有通用处理器无法满足该需求。
发明内容
为了克服上述缺点，本申请提出一种新的用于运行神经网络的神经网络处理装置，其包括：内存控制器组，其包括一个或多个内存控制器，每个内存控制器用于访问对应的外部储存芯片，所述外部储存芯片储存神经网络数据和指令；片上总线，用于内存控制器组与处理器内核阵列之间的通信；和处理器内核阵列，所述处理器内核阵列包括一个或多个处理器内核，每个处理器内核进一步包括：寄存器，用于配置神经网络处理器的工作参数和获取神经网络处理器的工作状态；第一指令单元，用于获取并解析外部储存芯片中的指令；第二指令单元，用于获取并解析外部储存芯片中的指令；指令分发单元，用于选择启动第一指令单元和第二指令单元中的一个，并将启动的指令单元的解析结果传递至数据传输控制器；数据传输控制器，用于基于指令模块的解析结果将神经网络数据写入数据写调度单元，以及将计算模块的计算结果从数据读调度单元写回外部储存芯片；缓存模块，用于储存神经网络数据和计算结果，所述计算结果包括中间计算结果和最终计算结果；和计算模块，其包括一个或多个计算单元，用于进行运行神经网络所需的计算。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是示出了典型的深度卷积神经网络的示意图；
图2a和图2b示出了实现图1的深度卷积神经网络的一个示例性硬件构造；
图3示出了实现图1的深度卷积神经网络的另一个示例性硬件构造；
图4示出了根据本申请实施例的用于实现卷积神经网络的示例性卷积神经网络处理装置；
图5示出了图4中用于实现卷积神经网络算法的外部储存芯片构成；
图6示出了根据实施例的图4中两个指令单元和一个指令分发单元的内部构造及其工作机制；
图7示出了根据一个实施例的数据写调度单元、缓存池和数据读调度单元的内部构造及其工作机制；
图8示出了根据本申请实施例的卷积神经网络处理装置的示例性工作流程；
图9示出了根据本申请实施例的卷积神经网络处理装置在并行工作模式下的示例性工作流程。
具体实施方式
下面将结合附图，对本申请的技术方案进行清楚、完整的描述。
申请人之前的研究成果
发明人之一曾经提出过如下用于实现卷积神经网络(CNN)的硬件构造。
图2a和图2b示出了实现CNN的一个实施例性硬件构造。
如图2a所示，整个硬件构造可以分为两个部分：可编程处理模块(PL)和通用处理系统(PS)。
根据一个实施例，PL端是FPGA芯片，其配置有：复杂计算核、缓冲区、控制器和直接存储器访问(DMA)。
具体地，复杂计算核包括多个处理单元(PE)，处理单元负责CNN的CONV层、池化层，和FC层的大多数计算任务。缓冲区包括输入缓冲区和输出缓冲区，用于准备处理单元使用的数据并存储结果。控制器用于获取外部存储器上的指令、对其解码并对除了DMA以外的所有模块进行调配。DMA用于传输PS端的外部存储器和PL端的缓冲区之间的数据和指令。
通用处理系统包括通用处理器(CPU)和外部存储器。外部存储器存储所有的CNN模型参数、数据和指令。CPU运行裸机程序并通过配置DMA帮助协调整个推理阶段。此外，也在CPU上实现Softmax函数。
在一个实例中，基于图2a的硬件结构，完整的图像推理过程包括顺序执行的三个阶段：数据准备、数据处理和结果输出。
数据准备阶段：在该阶段，计算所需的所有数据，包括：存储在外部存储器中的图像数据、模型数据和控制数据。其中，控制数据包括DMA使用的缓冲区描述符(BD)和控制器使用的指令。此时，尚未从相机获得图像数据。
数据处理阶段：当所有数据准备好时，CPU主机开始给DMA配置预先存储在外部存储器中的BD。配置的DMA加载数据和指令给控制器，触发可编程处理模块上的计算过程。每次DMA中断，CPU主机为每个DMA的BD列表加上自持指针地址，配置新的BD，这一阶段工作直到最后的BD转移。
结果输出阶段：当收到来自DMA的最后的BD中断时，处理器主机将Softmax函数用于来自PE的最终结果，并输出结果。
图2b示出了图2a的计算单元的结构。
如图2b所示，计算单元包括复杂卷积核、加法器树、非线性模块(NL)、池化模块(Pool)、偏置移位模块和数据移位模块。
复杂卷积核采用行缓冲设计，当输入数据经过行布局的缓冲时，行缓冲释放一个窗口选择函数给输入图像。因此一个乘法器和一个加法器树跟随被选择窗口计算卷积，每个循环一批数据。
加法器树用于对卷积器的所有结果求和。它可以加上来自输出缓冲区的中间数据或来自输入缓冲区的偏置数据。
NL模块是用于非线性激励函数的输入数据流。例如，所述函数可以是ReLU函数。
池化模块利用行缓冲区，将特定的2×2窗口用于输入数据流，并输出其中的最大值。
偏置移位模块和数据移位模块支持动态量化范围的转换。具体而言，偏置移位模块针对权重进行移位，数据移位模块针对数据进行移位。
利用图2a和图2b的硬件构造，可以优化计算能力，缩短处理数据的时间。
图3示出了实现CNN的另一个实施例性硬件构造。
如图3所示，在该实施例中，通用处理器(CPU)用于调度可编程处理模块(PL)和直接存储器访问器(DMA)。
DMA分别与CPU、可编程处理模块和外部存储器连接，用于CPU和可编程处理模块之间的通信。具体而言，DMA通过FIFO在外部存储器和可编程处理模块之间传输数据。
专用加速器包括：控制器、计算核和缓冲区。其中
控制器用于获取指令，并基于所述指令对计算核进行调度。
计算核用于基于指令和数据进行计算任务，并且包括：卷积核、加法器树、非线性模块等。卷积核的大小通常只有几个选项如3×3、5×5和7×7。例如，为卷积操作设计的二维卷积器是一个3×3窗口。加法器树对卷积器的所有结果求和。非线性模块适用于非线性激励函数的输入数据流。例如，所述函数可以是ReLU函数。此外，最大池化模块(未示出)用于池化操作，例如，将特定的2×2窗口用于输入数据流，并输出其中的最大值。
缓冲区用于保存专用加速器的数据和指令，并且包括输入数据缓冲区、输出数据缓冲区、偏置移位模块。偏置移位用于支持动态量化范围的转换。例如，针对权重进行移位，或者针对数据进行移位。输入数据缓冲区还可以包括输入数据缓冲器和权重缓冲器。输入数据缓冲器可以是线状数据缓冲器，用于保存运算需要的数据，并延迟释放所述数据，以实现所述数据的重用。
本发明的进一步改进
在本申请中，基于图2a、图2b和图3的硬件构造，发明人提出一种改进的用于实现人工神经网络算法、例如CNN算法的处理装置，其旨在充分利用神经网络的算法特性与数据特点，在同等晶体管数与功耗下，实现较高的神经网络运算效率。
图4示出了根据本申请实施例的用于实现卷积神经网络的示例性卷积神经网络处理装置。
如图4所示，根据本申请实施例的卷积神经网络处理装置包括卷积神经网络处理器1(Deep Learning Processor Unit,以下简称DPU)和外部储存芯片阵列2，二者通过高速接口连接。
图5示出了图4中用于实现卷积神经网络算法的外部储存芯片构成。已知，训练好的卷积神经网络算法包括网络拓扑结构和神经网络参数。如上文所述，卷积神经网络模型的参数被称为“权重”。
如图5所示，卷积神经网络拓扑结构通过编译器编译成指令流数据25。指令流数据25与神经网络参数26、图像数据27，特征图数据28(即，中间运算结果)一起存储在外部储存芯片组2中。
返回参照图4，DPU1包括通用处理器内核6、内存控制器组3、片上高速互联总线7和卷积神经网络处理器内核阵列8，其中各单元通过片上高速互联总线7通信。
在一个实施例中，内存控制器组3可以包括m个内存控制器，每个内存控制器可以控制一组外部储存芯片。例如，内存控制器-1(由附图标记5表示)可以用于存取外部储存芯片组-1(由附图标记4表示)中的数据。应理解，可以根据实际需要对内存控制器、外部储存芯片组的数目进行配置，本申请不对此进行限制。
通用处理器内核6用于在处理过程开始时将指令流数据25基址写入配置寄存器13并启动DPU；接收DPU任务完成中断信号，对DPU的卷积神经网络计算结果进行进一步分析处理；执行各类非CNN任务等。
卷积神经网络处理器内核阵列8可以包括一个或多个卷积神经网络处理器内核。例如，在本实施例中，卷积神经网络处理器内核阵列8包括n个卷积神经网络处理器内核9。应理解，可以根据实际需要对卷积神经网络处理器内核的数目进行配置，本申请不对此进行限制。
通过在卷积神经网络处理器内核阵列中配置多个卷积神经网络处理器内核，可以例如支持多张图片、多种算法的并行运行，使卷积神经网络处理器具备极高的并发处理能力。
更具体地，如图4所示，每个卷积神经网络处理器内核9可以包括一个或多个指令单元、指令分发单元12，配置寄存器13、数据传输控制器14、数据写调度单元15、缓存池16、数据读调度单元17、和计算模块，该计算模块包括一个或多个计算单元。
配置寄存器13用于暂存指令流数据25基址以及其他DPU工作所需的辅助配置信息。此外，通用处理器内核可以从配置寄存器13获得当前各个DPU的工作状态信息。
指令单元用于获得指令流数据25，并将指令解码并传送至指令分发单元12。指令单元可以包括指令获取模块和指令解析模块。其中，指令获取模块用于向总线申请获取位于外部储存芯片组的指令数据。指令解析模块用于解码指令，解析指令依赖关系。
指令分发单元12用于进一步将指令解析为用于数据搬移与计算的各执行单元的控制信号，并将控制信号传递至相应的执行单元，执行单元可以是数据传输控制器、数据写调度单元、缓存池、数据读调度单元、和所述一个或多个计算单元。
在一个实施例中，卷积神经网络处理器内核9可以包括多个指令单元1、2。
图6示出了根据本发明实施例的两个指令单元和一个指令分发单元的内部构造及其工作机制。
如图6所示，卷积神经网络处理器内核可以包括指令单元-1和指令单元-2，每个指令单元包括指令获取模块和指令解析模块，并且分别与指令分发单元通信。指令分发单元继而与各执行单元通信，以将控制信号传递至相应的执行单元。
在这种构造下，当执行指令单元-1中的指令流时，若执行单元因为访存延迟或其他原因停顿，指令分发单元可以暂停该指令单元并启动另一指令单元，具体地，指令分发单元可以发送保存现场控制信号并启动指令单元-2，以获取指令单元-2中的另一条指令流并继续执行。
通过在卷积神经网络处理器内核中配置两个指令单元，可以提高处理器的运算效率。
具体而言，传统的处理器内核通过提高处理器的时钟频率与片上缓存容量来改善性能，但在实际应用中，由于指令相关、数据依赖、资源冲突等原因，执行单元往往得不到充分利用，使得处理器的效率受到限制。
而在本实施例中，如上文所述，通过在卷积神经网络处理器内核中设置两个指令单元，可以同时获取两个独立的指令流，从而有效降低指令间的相关性，并且在其中一条指令流执行停顿时，可以切换至另一条指令流继续执行。这样，通过多个指令单元，可以复用同一套计算单元阵列，从而保证计算单元在尽可能多的时间里处于工作状态以使计算单元的效率最大化。
应理解，在该实施例中，出于资源与效率平衡的考虑，处理器内核支持两个指令单元。然而，根据实际需要，处理器内核可以支持一个、两个或更多个指令单元，本发明不对此进行限制。
返回参照图4，在该实施例中，数据传输控制器14用于与总线、数据写调度单元15和数据读调度单元17交互。具体地，当装载外部数据时，数据从外部存储芯片经由内存控制器、总线、数据传输控制器传输至数据写调度单元；当存储外部数据时，数据从数据读调度单元经由数据传输控制器、总线、内存控制器传输至外部存储芯片。数据写调度单元15用于将卷积神经网络的数据和计算单元的计算结果写入到缓存池16中。
缓存池16用于储存卷积神经网络的数据和计算单元的计算结果，包括中间计算结果和最终计算结果。
数据读调度单元17用于从缓存池16中读取计算所需的数据和计算单元的计算结果，并将计算结果传递给相应的执行单元。
图7更详细地示出了图4所示的数据写调度单元15、缓存池16和数据读调度单元17的内部构造及其工作机制。
如图7所示，数据写调度单元15可以由k个通道151的写调度器和写仲裁单元152组成。缓存池16可以由多个缓存块组成。数据读调度单元17可以由t个通道171的读调度器和读仲裁单元172组成。应理解，可以根据实际需要对数据写调度单元的通道数目、缓存池的缓存块数目、和数据读调度单元的通道数目进行配置，本申请不对此进行限制。
数据读调度单元17的各个通道相互独立，用于与不同种类的计算单元的输入连接。数据写调度单元15的各个通道也相互独立，用于与不同种类的计算单元的输出相连接。计算单元的计算类型例如可以包括卷积计算、求和计算、非线性计算、池化计算、逐元素计算、尺寸变换计算等。
此外，数据传输控制器14的输入可以占用数据读调度单元17的某几个通道，并将数据通过片上高速互联总线7送至内存控制器组3。应理解，可以根据实际需要对数据传输控制器的输入所占用的通道数目进行配置，本申请不对此进行限制。
在这种构造下，当各计算单元将数据写入缓存池不同位置和/或读取缓存池中不同位置的数据时，由于数据写调度单元和/或数据读调度单元的各通道相互独立，因此各计算单元的写入和/或读取可以并发执行，互不干扰。当某几个计算单元希望将各自的数据写入缓存池同一位置和/或读取缓存池中同一位置的数据时，数据写调度单元和/或数据读调度单元的仲裁器将按一定规则进行裁决，优先级较高的通道畅通，优先级较低的通道被暂时堵塞，从而以队列形式完成数据的写入和/或读取。
利用这种构造，可以最大化地利用片上缓存资源。
具体而言，传统的处理器内核采用输入缓冲区->计算核阵列->输出缓冲区的整体结构。在这种结构中，一旦确定缓冲区的各部分缓存尺寸后，在实际运行中不可以再更改电路。然而，由于卷积神经网络的浅层输入数据多、中间结果多、输出结果多、权重数据少，而深层输入数据少、中间结果少、输出结果少、权重数据多，希望处理器的缓存区能够适配算法的多样性，从而进一步提高缓存利用率。
而在本申请中，处理器内核取消了分立的输入缓冲、中间结果缓存、输出缓存设计，而代之以统一的缓存池、多通道数据读调度单元和多通道数据写调度单元的结构。借助这种构造，处理器可以支持任意可配置数量的读/写通道并发请求，并且每个读/写通道均可以访问整个缓存池空间。因此，针对上卷积神经网络的上述算法特点，可以根据实际计算需求申请、分配、使用各通道的缓存空间，从而最大化地利用片上缓存资源。
返回参照图4，在该实施例中，每个卷积神经网路处理器内核中的计算模块可以包括相对独立的卷积计算单元阵列19和混合计算单元18。
卷积计算单元阵列19可以包括一个或多个卷积计算单元，并且可以根据实际情况对卷积计算单元的数目进行配置。每个卷积计算单元可以包括乘法器阵列、加法树和非线性计算阵列。
在一个示例中，乘法器阵列用于进行卷积计算并获得卷积计算结果；加法树与乘法器阵列相连并对卷积计算结果求和；非线性计算阵列与所述加法树相连，用于把非线性函数操作应用到加法树的输出上。
在卷积计算单元阵列19包括多个卷积计算单元的情况下，由于单个卷积计算单元中的乘法器阵列、加法树、非线性计算阵列采用流水线方式设计，并且同时复制多条流水线并行运算，组成卷积计算单元阵列的所有乘法器、加法器、非线性计算的运算模块数目远超传统处理器，并且这些计算单元支持同时进行运算，因而可以获得远超传统处理器的计算性能与效率。
混合计算单元18可以包括任意尺寸的池化(pooling)、逐元素(elementwise)、尺寸变换(resize)、全连接(full connected)等计算单元。应理解，混合计算单元还可以包括其他计算单元，这些计算单元也包含在本发明的范围内。
如上文所述并且参照图7，各个计算单元均可以拥有自己独立的访问缓存池通道，或者可以与其他计算单元共享某一通道。由于可以根据实际情况对数据读/写调度单元的通道数目进行配置，因此本申请的处理器构造可以支持各种新型计算方式扩展。
在实现CNN的实际应用中，由于混合计算是基于卷积计算结果的再加工，因此通过分离卷积计算单元阵列和混合计算单元，卷积计算和混合计算在访问缓存池资源方面不冲突，从而达到并行执行计算提高效率的目的。
具体而言，如上文所述，传统的处理器内核采用输入缓冲区->计算核阵列->输出缓冲区的结构，因而，其计算结构的表现形式限制为卷积运算->混合运算的流水式运算。这种结构虽然可以较好地支持纯卷积计算，但对于不同尺寸的池化、逐元素、尺寸变换、全连接等运算的扩展计算能力较差。
以2x2最大池化运算为例(即，在卷积计算结果上，每相邻4个数取一个最大值输出)，假设已经确定卷积计算单元电路结构每时钟输出4x4＝16个结果，那么2x2最大池化运算可以设置为每时钟在此基础上输出16/4＝4个结果。但是，如果某一算法要求为3x3最大池化运算(即，在卷积计算结果上，每相邻9个数取一个最大值输出)，则受制于确定的卷积计算单元电路结构，处理器无法支持该特性或者需要额外增加定制的缓存。
而在本申请中，由于采用统一的缓存池、多通道数据读调度单元和多通道数据写调度单元设计，卷积计算单元与混合计算单元可以脱离顺序执行的流水线限制而彼此独立，同时可以保证各计算单元的数据吞吐率。这样，可以有效提高计算模块的灵活性与并行度。
应理解，也可以采取其他方式实现卷积计算单元与混合计算单元的分离，例如，向卷积计算单元与混合计算单元分别分配专用的缓存，这些方式也包含在本发明的范围内。
图8示出了根据本申请实施例的卷积神经网络处理装置的示例性工作流程，其包括如下步骤：
步骤8001：通用处理器内核(CPU)6将指令流数据25基址写入配置寄存器13，然后启动DPU；
步骤8002：启动DPU后，一个或多个指令单元独立地向片上高速互联总线7发起指令读取请求，申请获取位于外部储存芯片2中的指令流数据25。获取指令后，指令单元将指令解码，并送至指令分发单元12；
步骤8003：指令分发单元12进一步解析指令，并将控制信号传递至各个执行单元；
步骤8004：数据传输控制器14接受来自指令分发单元12的控制信号，向片上高速互联总线7发起数据读取请求，申请位于外部储存芯片2中的权重数据26、图像数据27和特征图数据28，并将获得的数据送至数据写调度单元15；
步骤8005：数据写调度单元15将数据写入缓存池16；
步骤8006：数据读调度单元17将计算所需的数据从缓存池16中以流水线方式取出，并送入卷积计算单元阵列19；
步骤8007：卷积计算单元阵列19以流水线的方式处理输入数据，并将计算结果输出至数据写调度单元15；
步骤8008：数据写调度单元15将卷积计算结果写回缓存池16；
步骤8009：数据读调度单元17将计算所需的数据从缓存池16中以流水线方式取出，并送入混合计算单元18；
步骤8010：混合计算单元18进行池化、点乘、调整图像尺寸等运算，此时混合计算单元18可以流水线的方式处理输入数据，并将计算结果输出至数据写调度单元15；
步骤8011：数据写调度单元15将混合计算结果写回缓存池16；
步骤8012：数据读调度单元17将数据从缓存池16读出，并送至数据传输控制器14。数据传输控制器14向片上高速互联总线7发起写请求，将数据写回至外部储存芯片2的指定位置；
步骤8013：若已经完成所有任务，卷积神经网络处理器内核9将发起中断，告知通用处理器内核6指令流已执行完成。
尽管上文描述了根据本申请的处理装置的实施例性工作流程，应理解，该流程的工作步骤可以不完全按顺序执行，而是并行执行。
图9示出了根据本申请实施例的卷积神经网络处理装置在并行工作模式下的示例性工作流程。
如图9所示，卷积神经网络处理装置可以例如实现同一计算任务内的并行或不同计算任务间并行。
如图9所示，在一个实施例中，卷积神经网络处理装置可以实现同一计算任务内的并行运算。例如，在计算任务1(由附图标记30表示)中，执行上文所述的步骤8006、8007、8008时，即，从缓存池中读取卷积计算所需数据、进行计算、和将计算结果写回缓存池，数据读调度单元17、缓存池16、卷积计算单元阵列19和数据写调度单元15被占用。由于在该实施例中，图像数据读调度单元17、缓存池16和和数据写调度单元15支持多通道的并行操作，因此可以同时执行步骤8009、8010、8011，即，从缓存池中读取混合计算所需数据、进行计算、和将计算结果写回缓存池。此时，步骤8009、8010、8011占用图像数据读调度单元17、缓存池16、混合计算单元18和数据写调度单元15。
在另一个实施例中，卷积神经网络处理装置可以实现不同计算任务间的并行运算。例如，当计算任务1执行步骤8006、8009时，其占用数据读调度单元17，而数据传输控制器14、数据写调度单元15处于空闲状态。因此，可以同时执行计算任务2(由附图标记31表示)的步骤8004、8005，即，数据获取和存储至缓存池。
同理，当计算任务1执行步骤8007、8010而占用卷积计算单元阵列17、混合计算单元18时，由于数据读调度单元17处于空闲状态，计算任务2可以进行步骤8006、8008，因而占用数据读调度单元17。此时，数据传输控制器14、数据写调度单元15处于空闲状态，计算任务3(由附图标记33表示)可以执行步骤8004、8005。
当各执行单元运行时长相差较大，无法完全并行时，一旦某个执行单元进入空闲，指令分发单元12可以在第一时间分发任务至该单元，从而提高运算效率。
采用上述机制，可以使DPU的各个执行单元尽可能满负荷运转，从而实现效率最大化。
应理解，尽管上文实施例仅以卷积神经网络作为解释本申请的例子，本申请的处理装置并不局限于卷积神经网络或某种特定算法，而是可以支持各种神经网络算法，包括但不限于VGG、GoogleNet、AlexNet、ResNet。
基于上述技术方案可知，本申请提出的神经网络处理装置尤其具有以下有益的技术效果：
首先，本申请的神经网络处理装置支持多种神经网络算法，通过利用配套编译器将不同应用算法编译为处理装置可执行的指令流，可以实现广泛兼容的目的。
其次，本申请的神经网络处理装置通过统一的数据写调度单元、缓存池和数据读调度单元的构造使空间分配和计算方式更为灵活，允许根据实际计算需求申请、分配、使用各通道的缓存空间，从而最大化地利用片上缓存资源。
第三，本申请的神经网络处理装置通过独立进行卷积计算与混合计算将计算与存储分离，从而提高了运算效率。
最后，本申请的神经网络处理装置通过配置两个或更多个指令单元，保证计算单元在尽可能多的时间里处于工作状态，从而提了运算效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种用于运行神经网络的神经网络处理器，包括：
内存控制器组，其包括一个或多个内存控制器，每个内存控制器用于访问对应的外部储存芯片，所述外部储存芯片储存神经网络数据和指令；
片上总线，用于内存控制器组与处理器内核阵列之间的通信；和
处理器内核阵列，所述处理器内核阵列包括一个或多个处理器内核，每个处理器内核进一步包括：
寄存器，用于配置神经网络处理器的工作参数和获取神经网络处理器的工作状态；
第一指令单元，用于获取并解析外部储存芯片中的指令；
第二指令单元，用于获取并解析外部储存芯片中的指令；
指令分发单元，用于选择启动第一指令单元和第二指令单元中的一个，并将启动的指令单元的解析结果传递至数据传输控制器；
数据传输控制器，用于基于解析结果将外部储存芯片中的神经网络数据写入缓存模块，以及将计算模块的计算结果从缓存模块写回外部储存芯片；
缓存模块，用于储存神经网络数据和计算模块的计算结果，所述计算结果包括中间计算结果和最终计算结果；和
计算模块，其包括一个或多个计算单元，用于进行运行神经网络所需的计算。
2.根据权利要求1的神经网络处理器，其中，所述第一指令单元还包括：
第一指令获取单元，用于获取外部储存芯片组中的指令；
第一指令解析单元，用于对获取的指令进行解析以获得解析结果。
3.根据权利要求1的神经网络处理器，其中，所述第二指令单元还包括：
第二指令获取单元，用于获取外部储存芯片组中的指令；
第二指令解析单元，用于对获取的指令进行解析以获得解析结果。
4.根据权利要求1的神经网络处理器，其中，指令分发单元对第一指令单元或第二指令单元的解析结果进一步解码，并将解码结果发送至数据传输控制器。
5.根据权利要求1的神经网络处理器，其中，计算模块还包括：
卷积计算单元阵列，包括多个卷积计算单元，每个卷积计算单元用于进行卷积计算并获得卷积计算结果；和
混合计算单元，用于进行混合计算并获得混合计算结果。
6.根据权利要求5的神经网络处理器，其中，卷积计算单元还包括：
乘法器阵列，用于进行卷积计算并获得卷积计算结果；
加法树，其与乘法器阵列相连，用于对卷积计算结果求和；和
非线性计算阵列，其与所述加法树相连，用于把非线性函数操作应用到加法树的输出上。
7.根据权利要求5的神经网络处理器，其中，混合计算单元还包括：池化计算单元、逐元素计算单元、尺寸变换计算单元和全连接计算单元。
8.根据权利要求1的神经网络处理器，其中，所述缓存模块进一步包括：
数据写调度单元，用于将神经网络数据和计算模块的计算结果写入缓存池；
缓存池，用于储存神经网络数据和计算模块的计算结果，所述计算结果包括中间计算结果和最终计算结果；
数据读调度单元，用于从缓存池读取计算所需的数据和计算模块的计算结果。
9.根据权利要求8的神经网络处理器，其中，所述缓存池进一步包括：一个或多个缓存块。
10.根据权利要求8的神经网络处理器，其中，数据写调度单元还包括：
一个或多个写调度通道，每个写调度通道用于与所述一个或多个计算单元中的对应计算单元的输出连通；和
写仲裁单元，用于根据预定规则对所述一个或多个写调度通道进行排队，从而对所述一个或多个计算单元的计算结果的写入进行调度。
11.根据权利要求8的神经网络处理器，其中，数据读调度单元还包括：
一个或多个读调度通道，每个读调度通道用于与所述一个或多个卷积计算单元中的对应计算单元的输入连通；和
写仲裁单元，用于根据预定规则对所述一个或多个读调度通道进行排队，从而对所述一个或多个卷积计算单元的计算结果的读取进行调度。
CN201710258566.8A 2017-04-19 2017-04-19 人工神经网络处理装置 Active CN107679620B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710258566.8A CN107679620B (zh) 2017-04-19 2017-04-19 人工神经网络处理装置
US15/600,807 US10282659B2 (en) 2017-04-19 2017-05-22 Device for implementing artificial neural network with multiple instruction units

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710258566.8A CN107679620B (zh) 2017-04-19 2017-04-19 人工神经网络处理装置

Publications (2)

Publication Number Publication Date
CN107679620A true CN107679620A (zh) 2018-02-09
CN107679620B CN107679620B (zh) 2020-05-26

Family

ID=61133593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710258566.8A Active CN107679620B (zh) 2017-04-19 2017-04-19 人工神经网络处理装置

Country Status (2)

Country Link
US (1) US10282659B2 (zh)
CN (1) CN107679620B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679621A (zh) * 2017-04-19 2018-02-09 北京深鉴科技有限公司 人工神经网络处理装置
CN107704922A (zh) * 2017-04-19 2018-02-16 北京深鉴科技有限公司 人工神经网络处理装置
CN108985449A (zh) * 2018-06-28 2018-12-11 中国科学院计算技术研究所 一种对卷积神经网络处理器的控制方法及装置
CN108984426A (zh) * 2018-08-03 2018-12-11 北京字节跳动网络技术有限公司 用于处理数据的方法和装置
CN109359732A (zh) * 2018-09-30 2019-02-19 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
CN109542513A (zh) * 2018-11-21 2019-03-29 济南浪潮高新科技投资发展有限公司 一种卷积神经网络指令数据存储系统及方法
CN110058882A (zh) * 2019-03-14 2019-07-26 成都恒创新星科技有限公司 一种用于cnn加速的opu指令集定义方法
CN110147251A (zh) * 2019-01-28 2019-08-20 腾讯科技（深圳）有限公司 用于计算神经网络模型的架构、芯片及计算方法
WO2019183095A1 (en) * 2018-03-22 2019-09-26 Amazon Technologies, Inc. Processing for multiple input data sets
CN110309912A (zh) * 2018-03-27 2019-10-08 北京深鉴智能科技有限公司 数据存取方法、装置、硬件加速器、计算设备、存储介质
WO2019202425A1 (en) * 2018-04-20 2019-10-24 International Business Machines Corporation Time, space, and energy efficient neural inference via parallelism and on-chip memory
WO2019206162A1 (zh) * 2018-04-25 2019-10-31 华为技术有限公司 计算装置和计算方法
WO2019206161A1 (zh) * 2018-04-25 2019-10-31 华为技术有限公司 池化运算装置
WO2019212688A1 (en) * 2018-05-04 2019-11-07 Apple Inc. Systems and methods for assigning tasks in a neural network processor
CN110516801A (zh) * 2019-08-05 2019-11-29 西安交通大学 一种高吞吐率的动态可重构卷积神经网络加速器架构
CN110569970A (zh) * 2019-09-12 2019-12-13 合肥工业大学 一种应用于卷积神经网络中硬件加速器的数据传输方法
CN110785779A (zh) * 2018-11-28 2020-02-11 深圳市大疆创新科技有限公司 神经网络处理装置、控制方法以及计算系统
CN110928675A (zh) * 2018-09-20 2020-03-27 合肥君正科技有限公司 一种适应于神经网络处理器协同工作的方法和装置
CN110942145A (zh) * 2019-10-23 2020-03-31 南京大学 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统
CN111193916A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111382857A (zh) * 2018-12-29 2020-07-07 上海寒武纪信息科技有限公司 任务处理装置、神经网络处理器芯片、组合装置以及电子设备
WO2020143235A1 (zh) * 2019-01-08 2020-07-16 广东浪潮大数据研究有限公司 二维卷积运算处理方法、系统、设备及计算机存储介质
CN108829610B (zh) * 2018-04-02 2020-08-04 浙江大华技术股份有限公司 一种神经网络前向计算过程中的内存管理方法及设备
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
CN111832718A (zh) * 2020-06-24 2020-10-27 上海西井信息科技有限公司 芯片架构
WO2021155669A1 (zh) * 2020-02-03 2021-08-12 苏州浪潮智能科技有限公司 一种基于分布式权值存储加速神经网络计算的架构及方法
CN114548388A (zh) * 2022-01-10 2022-05-27 北京达佳互联信息技术有限公司 数据处理方法、装置、设备及存储介质
CN114580628A (zh) * 2022-03-14 2022-06-03 北京宏景智驾科技有限公司 一种神经网络卷积层的高效量化加速方法及硬件电路
CN114638352A (zh) * 2022-05-18 2022-06-17 成都登临科技有限公司 一种处理器架构、处理器及电子设备
US11461631B2 (en) 2018-03-22 2022-10-04 Amazon Technologies, Inc. Scheduling neural network computations based on memory capacity
CN115208845A (zh) * 2021-04-09 2022-10-18 盛立安元科技(杭州)股份有限公司 发送数据包的方法、装置、设备、存储介质、程序产品
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582432B (zh) * 2019-02-19 2023-09-12 嘉楠明芯(北京)科技有限公司 一种网络参数处理方法及装置
WO2021077364A1 (zh) * 2019-10-24 2021-04-29 北京希姆计算科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN112819022B (zh) * 2019-11-18 2023-11-07 同方威视技术股份有限公司 基于神经网络的图像识别装置和图像识别方法
CN111008040B (zh) * 2019-11-27 2022-06-14 星宸科技股份有限公司 缓存装置及缓存方法、计算装置及计算方法
CN111047035B (zh) * 2019-12-09 2024-04-19 Oppo广东移动通信有限公司 神经网络处理器、芯片和电子设备
US20210191765A1 (en) * 2019-12-18 2021-06-24 Deep Vision Inc. Method for static scheduling of artificial neural networks for a processor
CN111291876B (zh) * 2020-01-21 2023-03-28 星宸科技股份有限公司 运算装置、运算方法和运算芯片
US11461651B2 (en) 2020-04-09 2022-10-04 Micron Technology, Inc. System on a chip with deep learning accelerator and random access memory
US11887647B2 (en) 2020-04-09 2024-01-30 Micron Technology, Inc. Deep learning accelerator and random access memory with separate memory access connections
US11726784B2 (en) 2020-04-09 2023-08-15 Micron Technology, Inc. Patient monitoring using edge servers having deep learning accelerator and random access memory
US11355175B2 (en) 2020-04-09 2022-06-07 Micron Technology, Inc. Deep learning accelerator and random access memory with a camera interface
US11874897B2 (en) 2020-04-09 2024-01-16 Micron Technology, Inc. Integrated circuit device with deep learning accelerator and random access memory
KR20230008768A (ko) * 2020-06-05 2023-01-16 주식회사 퓨리오사에이아이 뉴럴 네트워크 프로세싱 방법 및 이를 위한 장치
CN114020240A (zh) * 2021-11-05 2022-02-08 四川九洲空管科技有限责任公司 基于fpga实现跨时钟域的时域卷积计算装置和方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020161926A1 (en) * 2001-02-14 2002-10-31 Ken Cameron Method for controlling the order of datagrams
US20070094481A1 (en) * 2005-06-28 2007-04-26 Snook James A Neural Modeling and Brain-Based Devices Using Special Purpose Processor
US20100077140A1 (en) * 2008-09-23 2010-03-25 Philip Abraham Scalable schedulers for memory controllers
CN102004719A (zh) * 2010-11-16 2011-04-06 清华大学 支持同时多线程的超长指令字处理器结构
US20120192005A1 (en) * 2011-01-21 2012-07-26 Apple Inc. Sharing a fault-status register when processing vector instructions
CN103077132A (zh) * 2013-01-07 2013-05-01 浪潮(北京)电子信息产业有限公司 一种高速缓存处理方法及协议处理器高速缓存控制单元
CN103927268A (zh) * 2014-04-08 2014-07-16 中国科学院微电子研究所 一种存储器的访问方法及装置
US20140344623A1 (en) * 2013-05-14 2014-11-20 Electronics And Telecommunications Research Institute Apparatus and method for detecting fault of processor
US8935651B1 (en) * 2007-12-28 2015-01-13 Cadence Design Systems, Inc. Methods and apparatus for data path cluster optimization
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
US20160179434A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Storage device and method for performing convolution operations
CN106203621A (zh) * 2016-07-11 2016-12-07 姚颂 用于卷积神经网络计算的处理器
US9553590B1 (en) * 2012-10-29 2017-01-24 Altera Corporation Configuring programmable integrated circuit device resources as processing elements
CN106355246A (zh) * 2015-10-08 2017-01-25 上海兆芯集成电路有限公司 三配置神经网络单元
CN107679621A (zh) * 2017-04-19 2018-02-09 北京深鉴科技有限公司 人工神经网络处理装置
CN107704922A (zh) * 2017-04-19 2018-02-16 北京深鉴科技有限公司 人工神经网络处理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346351B2 (en) * 2015-10-08 2019-07-09 Via Alliance Semiconductor Co., Ltd. Neural network unit with output buffer feedback and masking capability with processing unit groups that operate as recurrent neural network LSTM cells

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243827A1 (en) * 2001-02-14 2005-11-03 John Rhoades Lookup engine
US7290162B2 (en) * 2001-02-14 2007-10-30 Clearspeed Solutions Limited Clock distribution system
US20020161926A1 (en) * 2001-02-14 2002-10-31 Ken Cameron Method for controlling the order of datagrams
US20070094481A1 (en) * 2005-06-28 2007-04-26 Snook James A Neural Modeling and Brain-Based Devices Using Special Purpose Processor
US8935651B1 (en) * 2007-12-28 2015-01-13 Cadence Design Systems, Inc. Methods and apparatus for data path cluster optimization
US20100077140A1 (en) * 2008-09-23 2010-03-25 Philip Abraham Scalable schedulers for memory controllers
CN102004719A (zh) * 2010-11-16 2011-04-06 清华大学 支持同时多线程的超长指令字处理器结构
US20120192005A1 (en) * 2011-01-21 2012-07-26 Apple Inc. Sharing a fault-status register when processing vector instructions
US9553590B1 (en) * 2012-10-29 2017-01-24 Altera Corporation Configuring programmable integrated circuit device resources as processing elements
CN103077132A (zh) * 2013-01-07 2013-05-01 浪潮(北京)电子信息产业有限公司 一种高速缓存处理方法及协议处理器高速缓存控制单元
US20140344623A1 (en) * 2013-05-14 2014-11-20 Electronics And Telecommunications Research Institute Apparatus and method for detecting fault of processor
CN103927268A (zh) * 2014-04-08 2014-07-16 中国科学院微电子研究所 一种存储器的访问方法及装置
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
US20160179434A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Storage device and method for performing convolution operations
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器
CN106355246A (zh) * 2015-10-08 2017-01-25 上海兆芯集成电路有限公司 三配置神经网络单元
CN106203621A (zh) * 2016-07-11 2016-12-07 姚颂 用于卷积神经网络计算的处理器
CN107679621A (zh) * 2017-04-19 2018-02-09 北京深鉴科技有限公司 人工神经网络处理装置
CN107704922A (zh) * 2017-04-19 2018-02-16 北京深鉴科技有限公司 人工神经网络处理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAIYUAN GUO 等: "Angel-Eye: A Complete Design Flow for Mapping CNN onto Customized Hardware", 《2016 IEEE COMPUTER SOCIETY ANNUAL SYMPOSIUM ON VLSI》 *
盛荣菊 等: "人工神经网络FPGA硬件实现的研究进展", 《电气自动化》 *
程丹 等: "基于NIOSⅡ多核技术的Hopfield神经网络硬件实现方法", 《东北师大学报（自然科学版）》 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704922B (zh) * 2017-04-19 2020-12-08 赛灵思公司 人工神经网络处理装置
CN107704922A (zh) * 2017-04-19 2018-02-16 北京深鉴科技有限公司 人工神经网络处理装置
US10824939B2 (en) 2017-04-19 2020-11-03 Xilinx, Inc. Device for implementing artificial neural network with flexible buffer pool structure
US10902315B2 (en) 2017-04-19 2021-01-26 Xilinx, Inc. Device for implementing artificial neural network with separate computation units
CN107679621A (zh) * 2017-04-19 2018-02-09 北京深鉴科技有限公司 人工神经网络处理装置
US11461631B2 (en) 2018-03-22 2022-10-04 Amazon Technologies, Inc. Scheduling neural network computations based on memory capacity
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
US11797853B2 (en) 2018-03-22 2023-10-24 Amazon Technologies, Inc. Processing for multiple input data sets
EP3738081A1 (en) * 2018-03-22 2020-11-18 Amazon Technologies Inc. Processing for multiple input data sets
WO2019183095A1 (en) * 2018-03-22 2019-09-26 Amazon Technologies, Inc. Processing for multiple input data sets
US12067492B2 (en) 2018-03-22 2024-08-20 Amazon Technologies, Inc. Processing for multiple input data sets in a multi-layer neural network
CN110309912B (zh) * 2018-03-27 2021-08-13 赛灵思公司 数据存取方法、装置、硬件加速器、计算设备、存储介质
CN110309912A (zh) * 2018-03-27 2019-10-08 北京深鉴智能科技有限公司 数据存取方法、装置、硬件加速器、计算设备、存储介质
CN108829610B (zh) * 2018-04-02 2020-08-04 浙江大华技术股份有限公司 一种神经网络前向计算过程中的内存管理方法及设备
WO2019202425A1 (en) * 2018-04-20 2019-10-24 International Business Machines Corporation Time, space, and energy efficient neural inference via parallelism and on-chip memory
GB2586556A (en) * 2018-04-20 2021-02-24 Ibm Time, space, and energy efficient neural inference via parallelism and on-chip memory
GB2586556B (en) * 2018-04-20 2021-08-11 Ibm Time, space, and energy efficient neural inference via parallelism and on-chip memory
WO2019206161A1 (zh) * 2018-04-25 2019-10-31 华为技术有限公司 池化运算装置
WO2019206162A1 (zh) * 2018-04-25 2019-10-31 华为技术有限公司 计算装置和计算方法
CN112074846A (zh) * 2018-05-04 2020-12-11 苹果公司 用于在神经网络处理器中分配任务的系统和方法
WO2019212688A1 (en) * 2018-05-04 2019-11-07 Apple Inc. Systems and methods for assigning tasks in a neural network processor
CN108985449A (zh) * 2018-06-28 2018-12-11 中国科学院计算技术研究所 一种对卷积神经网络处理器的控制方法及装置
CN108985449B (zh) * 2018-06-28 2021-03-09 中国科学院计算技术研究所 一种对卷积神经网络处理器的控制方法及装置
CN108984426A (zh) * 2018-08-03 2018-12-11 北京字节跳动网络技术有限公司 用于处理数据的方法和装置
CN108984426B (zh) * 2018-08-03 2021-01-26 北京字节跳动网络技术有限公司 用于处理数据的方法和装置
CN110928675A (zh) * 2018-09-20 2020-03-27 合肥君正科技有限公司 一种适应于神经网络处理器协同工作的方法和装置
CN110928675B (zh) * 2018-09-20 2023-08-18 合肥君正科技有限公司 一种适应于神经网络处理器协同工作的方法和装置
US11062201B2 (en) 2018-09-30 2021-07-13 Advanced New Technologies Co., Ltd. Chip and chip-based data processing method
US11361217B2 (en) 2018-09-30 2022-06-14 Advanced New Technologies Co., Ltd. Chip and chip-based data processing method
CN109359732A (zh) * 2018-09-30 2019-02-19 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
CN109542513B (zh) * 2018-11-21 2023-04-21 山东浪潮科学研究院有限公司 一种卷积神经网络指令数据存储系统及方法
CN109542513A (zh) * 2018-11-21 2019-03-29 济南浪潮高新科技投资发展有限公司 一种卷积神经网络指令数据存储系统及方法
CN110785779A (zh) * 2018-11-28 2020-02-11 深圳市大疆创新科技有限公司 神经网络处理装置、控制方法以及计算系统
CN111222635A (zh) * 2018-12-29 2020-06-02 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111382857A (zh) * 2018-12-29 2020-07-07 上海寒武纪信息科技有限公司 任务处理装置、神经网络处理器芯片、组合装置以及电子设备
CN111193916A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111191788A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111382857B (zh) * 2018-12-29 2023-07-18 上海寒武纪信息科技有限公司 任务处理装置、神经网络处理器芯片、组合装置以及电子设备
WO2020143235A1 (zh) * 2019-01-08 2020-07-16 广东浪潮大数据研究有限公司 二维卷积运算处理方法、系统、设备及计算机存储介质
CN110147251A (zh) * 2019-01-28 2019-08-20 腾讯科技（深圳）有限公司 用于计算神经网络模型的架构、芯片及计算方法
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
CN110058882A (zh) * 2019-03-14 2019-07-26 成都恒创新星科技有限公司 一种用于cnn加速的opu指令集定义方法
CN110058882B (zh) * 2019-03-14 2023-01-06 深圳市比昂芯科技有限公司 一种用于cnn加速的opu指令集定义方法
CN110516801A (zh) * 2019-08-05 2019-11-29 西安交通大学 一种高吞吐率的动态可重构卷积神经网络加速器架构
CN110569970B (zh) * 2019-09-12 2022-03-15 合肥工业大学 一种应用于卷积神经网络中硬件加速器的数据传输方法
CN110569970A (zh) * 2019-09-12 2019-12-13 合肥工业大学 一种应用于卷积神经网络中硬件加速器的数据传输方法
CN110942145A (zh) * 2019-10-23 2020-03-31 南京大学 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统
WO2021155669A1 (zh) * 2020-02-03 2021-08-12 苏州浪潮智能科技有限公司 一种基于分布式权值存储加速神经网络计算的架构及方法
CN111832718B (zh) * 2020-06-24 2021-08-03 上海西井信息科技有限公司 芯片架构
CN111832718A (zh) * 2020-06-24 2020-10-27 上海西井信息科技有限公司 芯片架构
CN115208845A (zh) * 2021-04-09 2022-10-18 盛立安元科技(杭州)股份有限公司 发送数据包的方法、装置、设备、存储介质、程序产品
CN115208845B (zh) * 2021-04-09 2024-12-10 盛立安元科技(杭州)股份有限公司 发送数据包的方法、装置、设备、存储介质、程序产品
CN114548388A (zh) * 2022-01-10 2022-05-27 北京达佳互联信息技术有限公司 数据处理方法、装置、设备及存储介质
CN114580628A (zh) * 2022-03-14 2022-06-03 北京宏景智驾科技有限公司 一种神经网络卷积层的高效量化加速方法及硬件电路
CN114638352A (zh) * 2022-05-18 2022-06-17 成都登临科技有限公司 一种处理器架构、处理器及电子设备
CN114638352B (zh) * 2022-05-18 2023-05-30 成都登临科技有限公司 一种处理器架构、处理器及电子设备

Also Published As

Publication number Publication date
US10282659B2 (en) 2019-05-07
CN107679620B (zh) 2020-05-26
US20180307974A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN107679620A (zh) 人工神经网络处理装置
CN107679621A (zh) 人工神经网络处理装置
CN107704922A (zh) 人工神经网络处理装置
US12086700B2 (en) Neural processor
CN112465129B (zh) 片内异构人工智能处理器
WO2022125123A1 (en) Accelerating multi-node performance of machine learning workloads
JP2020074099A (ja) 処理装置と処理方法
US20200184320A1 (en) Neural network processing
CN114118354A (zh) 高效的softmax计算
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
CN110389783A (zh) 用于具有累加的收缩点积的指令和逻辑
US11934308B2 (en) Processor cluster address generation
CN111142938A (zh) 一种异构芯片的任务处理方法、任务处理装置及电子设备
CN107004253A (zh) 用于增强的图像处理并行性的具有等价类的基于图形的应用程序编程接口架构
CN110352403A (zh) 图形处理器寄存器重命名机制
Huang et al. IECA: An in-execution configuration CNN accelerator with 30.55 GOPS/mm² area efficiency
CN108170640A (zh) 神经网络运算装置及应用其进行运算的方法
CN113342485A (zh) 任务调度方法、装置、图形处理器、计算机系统及存储介质
CN110414672B (zh) 卷积运算方法、装置及系统
CN118035618B (zh) 数据处理器、数据处理方法、电子设备、存储介质
CN110377874A (zh) 卷积运算方法及系统
CN117271145B (zh) 一种基于混合计算架构的多任务智能处理器
CN115391053B (zh) 基于cpu和gpu混合计算的在线服务方法及装置
CN118674610B (zh) 一种基于区块链的ai计算管控方法、系统及设备
CN118260070A (zh) 一种加速异构处理器池化运算的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180606

Address after: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant after: Beijing deep Intelligent Technology Co., Ltd.

Address before: 100083, 8 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: Beijing insight Technology Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191008

Address after: 2100 San Jose Rojack Avenue, California, USA

Applicant after: XILINX INC

Address before: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: Beijing Shenjian Intelligent Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant