CN112800715B - 软件定义晶上系统及数据交互方法和系统体系架构 - Google Patents

Abstract

本发明属于半导体技术领域，特别涉及一种软件定义晶上系统及数据交互方法和系统体系架构，该系统包含：晶圆级互连基板，设置在晶圆级互连基板上的若干预制件，以及用于不同预制件之间互连的软件定义晶上互连网络，每个预制件根据领域应用功能需求集成有不同函数算粒；预制件遵循统一的接口标准和物理层协议规范，且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换，以利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。本发明打破现有集成电路的设计方法、计算范式、实现材料、集成方式等边界条件，实现面向领域应用的不同预制件的灵活互连与功能重建，以满足复杂多样的应用任务需求。

Description

软件定义晶上系统及数据交互方法和系统体系架构

技术领域

本发明属于半导体技术领域，特别涉及一种软件定义晶上系统及数据交互方法和系统体系架构。

背景技术

随着摩尔定律和登纳德缩放定律逐渐失效，传统的基于器件、组件、模块、机架逐层堆叠系统的工程技术路线遭遇可持续发展瓶颈。目前，芯片工艺制程越来越接近量子效应区域，单位面积中容纳的晶体管数量越来越多、良率控制越来越难、功耗问题越来越突出、制造和设计成本呈指数级攀升，单芯片性能提升业已逼近天花板。同时，继续沿用“堆砌”器件、组件、机架的传统工程技术路线来发展人工智能、边缘计算、大数据、云平台、5G等新一代信息系统时，在功耗、时延、性能、体积、可靠性、可维性等方面正遭遇前所未有的严峻挑战。为了维持后摩尔时代集成电路领域的可持续发展，基于预制件组装和晶圆级异构集成技术的晶上系统(System on Wafer，SoW)逐步成为集成电路领域的研究热点。

由于不同种类的应用任务具有不同的计算特征，对计算-存储-通信资源要求也各不相同，且应用任务内部可能混合多种类型的并行性、不同的局限性、不同的通信和同步要求，同一种应用在不同体系结构上运算性能将差异很大，因此需要应用从功能和性能的角度去适配固化的系统结构，灵活性和可扩展性较差且具有较大的局限性，应用效能也将大打折扣，难以满足复杂多样的应用任务需求。

发明内容

为此，本发明提供一种软件定义晶上系统及数据交互方法和系统体系架构，打破现有集成电路的设计方法、计算范式、实现材料、集成方式等边界条件，可以将大型信息基础设施的工程技术路线由基于器件、组件、模块、机架逐层堆叠式系统演进为不同颗粒度“预制件”的拼接组装式实现，以实现面向领域应用的不同预制件的灵活互连与功能重建，以满足复杂多样的应用任务需求。

按照本发明所提供的设计方案，一种软件定义晶上系统，包含：晶圆级互连基板，设置在晶圆级互连基板上的若干预制件，以及用于不同预制件之间互连的软件定义晶上互连网络，每个预制件根据领域应用功能需求集成有不同的函数算粒；预制件遵循统一的接口标准和物理层协议规范，且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换，并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。

作为本发明软件定义晶上系统，进一步的，所述预制件采用软件定义专用预制件和/或已有商用预制件。

作为本发明软件定义晶上系统，进一步地，预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。

作为本发明软件定义晶上系统，进一步地，所述晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路；各预制件通过热压焊与晶圆级互连基板连接。

作为本发明软件定义晶上系统，进一步地，预制件内部的函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。

进一步地，作为本发明软件定义晶上系统数据交互方法，包含：

统计各预制件计算特征及状态信息并进行抽象形式化表示，为实时认知决策和资源分配提供资源信息；对目标应用任务进行任务分解，得到应用任务计算特征和业务属性，并通过抽象形式化表示，为实时认知决策和资源分配提供业务信息；

依据资源信息和业务信息重组预制件内函数化算粒模块及不同预制件连接关系，动态构建适用于任务应用的预制件互联结构，以满足任务应用。

作为本发明软件定义晶上系统数据交互方法，进一步地，依据资源信息和业务信息将预制件内不同的函数化算粒模块通过软件定义方式进行不同的算粒组合和功能重建来满足应用任务需求映射。

进一步地，本发明还提供一种软件定义晶上系统体系架构，包含硬件资源层、资源感知层、认知决策层、业务感知层和应用层，其中，应用层提供各种应用业务支持，硬件资源层根据不同应用需求集成有若干预制件；资源感知层用于通过感知算法获取硬件资源层各个预制件的计算特征及状态信息，并将资源信息传递给认知决策层；业务感知层对目标应用任务进行任务分解得到应用任务的计算特征和业务属性，并将业务信息反馈给认知决策层；认知决策层依据资源信息和业务信息动态构建适用于应用任务需求的计算结构，并将该计算结构作为系统配置，硬件资源层依据系统配置重构预制件之间的组合关系和互连结构。

本发明的有益效果：

本发明借鉴预制件组装和晶圆级异构集成等理念，实现不同功能、性能、工艺等混合粒度预制件的高效集成，可有效破解当前集成电路面临的发展困局，改变现有“芯片、模组、机匣、机架、系统”逐层堆叠的工程技术路线，刷新新一代信息系统的物理形态，使设计指标获得连乘性增益；针对不同计算任务的不同的计算需求，以软件灵活定义与主动感知重构相结合的方式，快速灵活地实现针对不同应用的计算结构重构，满足不同的计算需求，配置数据量小，重构速度快，具有较大的灵活性；针对计算构件资源的状态(可用、已用、保留、故障等)采用计算结构灵活重构，计算任务快速迁移的方式，有效避开故障器件或不可用构件，进而提高系统的可靠性，具有较好的应用前景。

附图说明：

图1为实施例中软件定义晶上系统结构示意；

图2为实施例中软件定义晶上系统数据交互方法示意；

图3为实施例中系统体系架构示意；

图4为实施例中预制件级函数化算粒组合与功能重建示意；

图5为实施例中面向领域应用的软件定义算粒组合与功能重建示意。

图1中，标号1代表晶圆级互连基板，标号2代表预制件，标号3代表电源管理、测试等功能模块，标号4代表软件定义互联网络(电/光)，标号5代表IO、模拟等功能模块。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种软件定义晶上系统，包含：晶圆级互连基板，设置在晶圆级互连基板上的若干预制件，以及用于不同预制件之间互连的软件定义晶上互连网络，每个预制件根据领域应用功能需求集成有不同的函数算粒；预制件遵循统一的接口标准和物理层协议规范，且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换，并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。

目前，国内外针对SoW的研究尚处于初步阶段，其最早来自于美国DARPA在电子复兴(ERI)计划中启动的“通用异构集成和IP重用策略(CHIPS)”项目，其愿景是创建由独立模块化、可重用的IP块组成的全行业生态系统，可使用现有的和新兴的集成技术将这些IP块组装到系统中。2019年9月，人工智能芯片初创公司Cerebras Systems发布世界最大芯片“晶圆级引擎(WSE，Wafer Scale Engine)”，该系统基于台积电16nm工艺制造，拥有46225平方毫米面积、1.2万亿个晶体管、40万个AI核心、18GB SRAM缓存、9PB/s内存带宽和100Pb/s互连带宽，并联合美国能源部推出世界上最快的深度学习计算CS-1系统，代表SoW领域的最新研究与应用成果。通用异构集成及知识产权复用策略(CHIPS)项目通过die-to-die内部互联技术将多个chiplet芯片与底层基础芯片封装在一起，构成多功能的异构System inPackages(SiPs)芯片，该技术主要来源于先进的封装技术，属于chiplet级拼装集成路线，但其仅代表着一种实现工艺上的创新，在系统体系结构方面没有涉及，属于刚性体系结构的范畴。晶圆级引擎WSE在整块晶圆上集成40万个AI核心，采用单工艺节点、大芯片集成的技术路线，其内部小单元均采用同一工艺，主要基于同构和复制的模式来实现AI核心的海量集成，属于同质同构集成领域，适用于特定的应用领域。此外，现有的SoW相关研究通常基于刚性固定的体系结构，系统内部具有固定的计算资源、存储资源、IO资源等、且各资源之间的连接关系和通信带宽亦相对固定。本案实施例中，借鉴预制件组装和晶圆级异构集成等理念，实现不同功能、性能、工艺等混合粒度预制件的高效集成，可有效破解当前集成电路面临的发展困局，改变现有“芯片、模组、机匣、机架、系统”逐层堆叠的工程技术路线，刷新新一代信息系统的物理形态，使设计指标获得连乘性增益。各种软件定义领域专用预制件或其他成熟商用预制件将基于统一的接口标准和物理层协议规范，利用晶圆级互连基板和软件定义晶上互连网络来实现异质、异构预制件之间的互连互通和晶圆级系统集成。

作为本发明实施例中的软件定义晶上系统，进一步的，所述预制件采用软件定义专用预制件和/或已有商用预制件。进一步地，预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。

预制件的设计可根据领域应用的功能需求进行函数化的模块集成与实现，预制件内部不同的函数化算粒在数据调度层的支持下将以软件定义的方式进行不同的算粒组合与功能重建，以适应不同的应用需求和任务映射需求。根据不同的应用需求，SDSoW异构系统内部可能集成成百上千个不同工艺制程、不同功能和结构(如计算、存储、互连、IO等)、不同设计和制造厂商的预制件。为支持异构异质预制件的灵活集成，晶圆上不同预制件之间的互连将遵循统一的接口标准和物理层协议规范。大量的软件定义领域专用预制件、各种成熟的商用预制件以及统一的互连标准将为系统应用性能的发挥提供灵活、充足的硬件资源支持。

进一步地，所述晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路；各预制件通过热压焊与晶圆级互连基板连接。

软件定义晶上互连网络根据系统集成需求可由大量的互连预制件所构成。一方面各个互连预制件可通过晶上互连接口与其他互连预制件一起构建灵活的、规模更大的晶圆级互连网络；另一方面可通过微凸点将互连接口引到晶圆级互连基板，便于晶圆上大量异构异质预制件的互连。在软硬件协同计算架构下，晶圆上集成的预制件可通过软件定义晶上互连结构进行互连互通，实现速率可定义、带宽可定义、协议可定义，可以满足不同应用的计算需求、存储需求、互连需求和IO需求等。晶圆级互连基板通过RDL或者光刻的方式可为预制件之间的互连提供丰富的连线资源，异质异构的预制件单元和晶圆级互连基板通过热压焊(Thermo Compression Bonding，TCB)的方式连接在一起。一方面，基于晶圆级互连基板来实现预制件的互连和封装可实现应用系统物理形态的微型化、轻薄化；另一方面，借助晶圆级互连的高带宽、低延迟、低功耗等显著优势，多个同构/异构、同质/异质的软件定义领域专用预制件互连和封装成(亚)晶圆尺寸规模的芯片则可用于解决计算、存储、传感、网络等预制件的晶圆级集成封装，实现应用系统的低延迟、高带宽和高能效。

进一步地，所述函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。

不同功能、性能、工艺等混合粒度预制件在晶圆级智能编译工具和软件定义晶上网络的支持下可以实现面向领域应用的不同预制件的灵活互连与功能重建，让计算架构可以主动根据应用需求进行动态改变，一个计算任务在不同阶段、不同时段、不同资源条件、不同服务质量、不同经济性要求等因素影响下可动态生成合适的计算结构与环境为之服务，即“结构适应应用”的柔性可变结构。根据不同的系统应用需求，各种软件定义领域专用预制件或其他成熟商用预制件将基于统一的接口标准和物理层协议规范，利用晶圆级互连基板和软件定义晶上互连网络来实现预制件之间的互连互通和系统集成。

如图1所示，软件定义晶上系统(SDSoW，Software defined System on Wafer)在集成电路设计、加工和封装的全流程充分借鉴预制件组装和晶圆级异构集成等先进理念，不同功能、性能、工艺等混合粒度预制件可以在晶圆级规模实现异质、异构集成。晶圆上不同预制件之间的互连将遵循统一的接口标准和物理层协议规范。根据晶上系统的不同应用需求，晶圆级互连基板通过RDL或者光刻的方式可为预制件之间的互连提供丰富的连线资源和通信支持，异质异构的预制件单元和晶圆级互连基板通过热压焊(ThermoCompression Bonding，TCB)的方式连接在一起，以支持晶圆级规模预制件的灵活集成。SDSoW可以在整块晶圆上集成成百上千的传感、射频、计算、存储、通信等预制件颗粒，打破现有集成电路的设计方法、计算范式、实现材料、集成方式等边界条件，可以将大型信息基础设施的工程技术路线由细粒度的层层堆叠式演进为不同颗粒度“预制件”的拼接组装式。整个SDSoW主要由软件定义领域专用预制件、软件定义晶上互连网络和晶圆级互连基板三大部分组成，其他IO、模拟、电源管理和面向测试需求的功能器件等可以以预制件的形式集成，或直接在晶圆母板上实现功能的集成。

进一步地，基于上述的系统，本发明还提供一种软件定义晶上系统数据交互方法，参见图2所示，包含：

S101、统计各预制件计算特征及状态信息并进行抽象形式化表示，为实时认知决策和资源分配提供资源信息；对目标应用任务进行任务分解，得到应用任务计算特征和业务属性，并通过抽象形式化表示，为实时认知决策和资源分配提供业务信息；

S102、依据资源信息和业务信息重组预制件内函数化算粒模块及不同预制件连接关系，动态构建适用于任务应用的预制件互连网络结构，以满足任务应用。

作为本发明实施例中的软件定义晶上系统数据交互方法，进一步地，依据资源信息和业务信息将预制件内不同的函数化算粒模块通过软件定义方式进行不同的算粒组合和功能重建来满足应用任务需求映射。

进一步地，为了提高SDSoW系统的灵活性和应用效能，本发明还提供一种软件定义晶上系统体系架构，包含硬件资源层、资源感知层、认知决策层、业务感知层和应用层，其中，应用层提供各种应用业务支持，硬件资源层根据不同应用需求集成有若干预制件；资源感知层用于通过感知算法获取硬件资源层各个预制件的计算特征及状态信息，并将资源信息传递给认知决策层；业务感知层对目标应用任务进行任务分解得到应用任务的计算特征和业务属性，并将业务信息反馈给认知决策层；认知决策层依据资源信息和业务信息动态构建适用于应用任务需求的计算结构，并将该计算结构作为系统配置，硬件资源层依据系统配置重构预制件组合互联结构。

参见图3所示，本案实施例采用一种领域专用软硬件协同计算架构，整个体系结构包括5层，从下至上依次为硬件资源层、资源感知层、认知决策层、业务感知层和应用层。该架构一方面基于拟态计算思想，实现预制件级面向领域的算粒分解与集成、软件定义算粒组合与功能重建，让计算架构可以主动根据应用需求进行动态改变，一个计算任务在不同阶段、不同时段、不同资源条件、不同服务质量、不同经济性要求等因素影响下可动态生成(或选择)合适的计算结构与环境为之服务，即“结构适应应用”的柔性可变结构，解决当前计算系统无法兼顾性能/能效和灵活性的难题；另一方面基于软件定义互连思想，实现预制件接口协议类型、功能性能和电气参数的软件定义，灵活支持超短距、短距、中长距等不同晶圆级互连场景的高效、可靠通信。不同功能、性能、工艺等混合粒度预制件在晶圆级智能编译工具和软件定义晶上网络的支持下可以实现面向领域应用的不同预制件的灵活互连与功能重建，以满足复杂多样的应用任务需求。

硬件资源层：参见图4所示，根据不同的应用需求，SDSoW异构系统内部可能集成成百上千个不同工艺制程、不同功能和结构(如计算、存储、互连、IO等)、不同设计和制造厂商的预制件。预制件的设计将根据领域应用的功能需求进行函数化的模块集成与实现，预制件内部不同的函数化算粒在数据调度层的支持下将以软件定义的方式进行不同的算粒组合与功能重建(如FFT、矩阵求逆、矩阵乘、卷积等)，以适应不同的应用需求和任务映射，如图3所示。不同功能、性能的预制件之间的互连采用统一的互连协议与接口标准。预制件接口的设计将基于软件定义互连思想，实现预制件接口协议类型、功能性能和电气参数的软件定义，并灵活支持超短距、短距、中长距等不同晶圆级互连场景的高效、可靠通信。

资源感知层：通过感知算法得到硬件资源层中各个预制件的计算特征(功能、性能等)和状态信息(可用、已用、保留、故障等)，并对其进行抽象和形式化表示后传送给认知决策层，为实时认知决策和资源分配提供资源信息。

业务感知层：对接收的应用任务按照特定的规则和计算粒度进行任务分解，得到应用任务的计算特征和业务属性，并对其进行抽象和形式化表示后传送给认知决策层，为实时认知决策和资源分配提供业务信息。

认知决策层：根据感知信息(业务、资源)、调度原则和知识库进行主动决策，动态构建适用于应用需求的处理结构，该结构可随着应用的变化(如计算进展阶段、处理负荷变化)进行结构的主动变更。为此，一个计算任务在不同阶段、不同时段、不同资源条件、不同服务质量要求等因素影响下，可根据计算效能动态地生成合适的计算结构。认知决策层输出的相关信息将作为系统的配置信息直接作用于系统中的硬件资源层，并基于软件定义的方式直接决定各个预制件的组合关系及其预制件之间的互连关系。

应用层：提供对各种应用业务的支持。

参见图5所示，本案实施例中，针对SDSoW多功能一体化的高效能计算需求，硬件资源层中的各个预制件可基于多目标全局优化策略完成基础构件的提取与优化，实现计算效能、重构灵活性、重构便捷性以及系统可靠性的有机平衡。根据预制件的设计规模和功能耦合度，基础构件的粒度可以是整个预制件，也可以是预制件内部的函数化功能模块。在资源感知层，硬件资源层中的各个预制件将以基础构件的形式被感知和记录，并以计算特征(功能、性能等)和当前状态信息的形式提供给认知决策层进行后续决策和调度处理。同样，应用任务在业务感知层将按照特定的规则和计算粒度进行任务分解，得到应用任务的计算特征和业务属性，并提供给认知决策层进行后续决策和调度处理。认知决策层将根据任务的计算需求、资源需求和资源属性，按照预设或配置的决策算法完成基础构件与应用任务之间的映射关系，并输出相关信息作为系统的配置信息直接作用于系统中的硬件资源层。根据输出的系统配置信息，基础构件之间将基于统一的互连协议与接口标准，通过软件定义晶上互连结构进行互连互通，实现速率可定义、带宽可定义、协议可定义，可以满足不同应用的计算需求、存储需求、互连需求和IO需求等。最终，基础构件可以根据系统任务变化进行实时重构，进而充分发挥异构计算资源优势，更为高效地满足不同任务的计算需求，提高系统的整体计算效能。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种软件定义晶上系统数据交互方法，其特征在于，基于软件定义晶上系统实现，包含：

统计各预制件计算特征及状态信息并进行抽象形式化表示，为实时认知决策和资源分配提供资源信息；对目标应用任务进行任务分解，得到应用任务计算特征和业务属性，并通过抽象形式化表示，为实时认知决策和资源分配提供业务信息；

依据资源信息和业务信息重组预制件内函数化算粒模块及不同预制件连接关系，动态构建适用于任务应用的预制件互联结构，以满足任务应用；

软件定义晶上系统，包含：晶圆级互连基板，设置在晶圆级互连基板上的若干预制件，以及用于不同预制件之间互连的软件定义晶上互连网络，每个预制件根据领域应用功能需求集成有不同的函数算粒；预制件遵循统一的接口标准和物理层协议规范，且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换，并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。

2.根据权利要求1所述的软件定义晶上系统数据交互方法，其特征在于，依据资源信息和业务信息将预制件内不同的函数化算粒模块通过软件定义方式进行不同的算粒组合和功能重建来满足应用需求和任务映射需求。

3.根据权利要求1所述的软件定义晶上系统数据交互方法，其特征在于，所述预制件采用软件定义专用预制件和/或已有商用预制件。

4.根据权利要求1或3所述的软件定义晶上系统数据交互方法，其特征在于，预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。

5.根据权利要求1所述的软件定义晶上系统数据交互方法，其特征在于，所述晶圆级互连晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路；各预制件通过热压焊与晶圆级互连晶圆级互连基板连接。

6.根据权利要求1所述的软件定义晶上系统数据交互方法，其特征在于，所述函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。

7.一种软件定义晶上系统体系架构，其特征在于，基于软件定义晶上系统实现，包含硬件资源层、资源感知层、认知决策层、业务感知层和应用层，其中，应用层提供各种应用业务支持，硬件资源层根据不同应用需求集成有若干预制件；资源感知层用于通过感知算法获取硬件资源层各个预制件的计算特征及状态信息，并将资源信息传递给认知决策层；业务感知层对目标应用任务进行任务分解得到应用任务的计算特征和业务属性，并将业务信息反馈给认知决策层；认知决策层依据资源信息和业务信息动态构建适用于应用任务需求的计算结构，并将该计算结构作为系统配置，硬件资源层依据系统配置重构预制件组合互联结构；软件定义晶上系统，包含：晶圆级互连基板，设置在晶圆级互连基板上的若干预制件，以及用于不同预制件之间互连的软件定义晶上互连网络，每个预制件根据领域应用功能需求集成有不同的函数算粒；预制件遵循统一的接口标准和物理层协议规范，且相互之间通过晶圆级互连基板和软件定义晶上互连网络进行数据交换，并利用软件定义方式重组和/或重建不同函数算粒来适应不同的应用需求和任务映射需求。

8.根据权利要求7所述的软件定义晶上系统体系架构，其特征在于，所述预制件采用软件定义专用预制件和/或已有商用预制件。

9.根据权利要求7或8所述的软件定义晶上系统体系架构，其特征在于，预制件分别采用不同工艺制程和/或不同功能结构和/或不同制造厂商的异构异质预制件。

10.根据权利要求7所述的软件定义晶上系统体系架构，其特征在于，所述晶圆级互连晶圆级互连基板通过重布线层RDL或光刻方式提供预制件之间的互联线路；各预制件通过热压焊与晶圆级互连晶圆级互连基板连接。

11.根据权利要求7所述的软件定义晶上系统体系架构，其特征在于，所述函数算粒包括但不限于FFT处理算粒或矩阵求逆处理算粒或矩阵乘处理算粒或卷积处理算粒。

Images