CN107346292A - 服务器系统及其计算机实现的方法 - Google Patents
服务器系统及其计算机实现的方法 Download PDFInfo
- Publication number
- CN107346292A CN107346292A CN201610564912.0A CN201610564912A CN107346292A CN 107346292 A CN107346292 A CN 107346292A CN 201610564912 A CN201610564912 A CN 201610564912A CN 107346292 A CN107346292 A CN 107346292A
- Authority
- CN
- China
- Prior art keywords
- card
- pcie
- server system
- switch
- sas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000007787 solid Substances 0.000 claims abstract description 28
- 230000002093 peripheral effect Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 abstract description 15
- 230000015654 memory Effects 0.000 description 50
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 102100021975 CREB-binding protein Human genes 0.000 description 1
- 101100457838 Caenorhabditis elegans mod-1 gene Proteins 0.000 description 1
- 101000896987 Homo sapiens CREB-binding protein Proteins 0.000 description 1
- 101150110972 ME1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920002492 poly(sulfone) Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2005—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/387—Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
- G06F13/4068—Electrical coupling
- G06F13/4072—Drivers or receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0026—PCI express
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0028—Serial attached SCSI [SAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0032—Serial ATA [SATA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/38—Universal adapter
- G06F2213/3802—Harddisk connected to a computer port
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
- Information Transfer Systems (AREA)
Abstract
服务器系统及其计算机实现的方法。本发明的各种实施例提供结合有交换卡和转接卡的服务器系统来提供弹性的硬盘(HDD)和固态硬盘(SSD)的支持的系统和方法。更具体来说,一服务器系统包括具有至少两种不同类型的接口(例如:一串行连接小型计算机系统接口(Serial Attached SCSI,SAS接口)、一串行ATA(Serial ATA,SATA)接口或一快速周边组件互连(Peripheral Component Interconnect Express,PCIe)接口)的交换卡以及一个包括第一中央处理单元(CPU)以及第二中央处理单元的控制器。第一中央处理单元连接至一第一转接卡,而第二中央处理单元连接至一第二转接卡。第一转接卡以及第二转接卡耦接于服务器系统的交换卡。
Description
技术领域
本发明涉及在电信网络中的硬盘(HDD)以及固态硬盘(SSD)的弹性支持。
背景技术
现代的服务器群(server farm)或数据中心通常采用大量的服务器来负责处理各种应用服务的处理需求。每个服务器处理多种操作并且需要一某种程度的存储容量以维持这些操作。其中的一些操作是关键的并且可能容易遇到系统故障。关键的服务器系统通常采用冗余拓扑(redundant topologies)并且可能需要增强的或不同的存储能力。
然而,传统的服务器系统为了能够同时支持不同的存储功能(例如:硬盘(harddisk drive,简称HDD)与固态硬盘(solid state drive,简称SSD)),在一服务器和/或存储系统中需要大的主板空间以及电缆路由(cable routing)区域。因此,需要一种可在服务器系统的有限主板空间与电缆路由区域内提供弹性的硬盘以及固态硬盘的支持解决办法。
发明内容
依据本发明的各种实施例的系统以及方法可提供了解决上述问题的方法,其可通过在一服务器系统中结合交换卡以及转接卡,以提供弹性的硬盘以及固态硬盘的支持。更确切来说,一个服务器系统包括具有至少两种不同类型的接口(例如:一串行连接小型计算机系统接口(Serial Attached SCSI,以下简称SAS接口)、一串行ATA(Serial ATA,以下简称SATA)接口或一快速周边组件互连(Peripheral Component Interconnect Express,以下简称PCIe)接口)的交换卡以及一个包括第一中央处理单元(CPU)以及第二CPU的控制器。第一CPU连接至一第一转接卡(adapter card),而第二CPU连接至一第二转接卡。第一转接卡以及第二转接卡耦接于服务器系统的交换卡。控制器可以检测转接卡的类型,并发送一个信号,以使交换卡支持相应类型的服务器系统的存储装置。
在一些实施例中,相应于判定一服务器系统的一第一转接卡以及一第二转接卡支持SAS硬盘(HDD)时,一控制器可致使服务器系统的一交换卡致能(enable)交换卡之一SAS接口以及禁能交换卡的其他非SAS接口。控制器(例如:第一CPU与第二CPU)可接着经由第一转接卡或第二转接卡中的至少一个以及交换卡的SAS接口与服务器系统的多个SAS硬盘进行通信。
在一些实施例中,相应于判定一服务器系统的一第一转接卡以及一第二转接卡支持PCIe固态硬盘(SSD)时,一控制器可致使服务器系统的一交换卡致能交换卡的一PCIe接口以及禁能交换卡的其他非PCIe接口。控制器(例如:第一CPU与第二CPU)可接着经由经由第一转接卡或第二转接卡中的至少一个以及交换卡的PCIe接口与服务器系统的多个PCIe固态硬盘进行通信。
在一些实施例中,服务器系统的第一转接卡与第二转接卡彼此互连以支持冗余拓扑。相应于判定第一转接卡或第一转接卡的其中一元件具有一故障,控制器可经由第二转接卡或第一转接卡的剩余元件以及服务器系统的一交换卡来管理服务器系统的多个硬盘或多个固态硬盘。
在一些实施例中,一服务器系统的一第一转接卡以及一第二转接卡支持SAS硬盘。第一转接卡包括一第一SAS控制器以及一第一扩展器。第一SAS控制器连接至服务器系统的第一CPU且第一扩展器经由服务器系统的交换卡连接至服务器系统的SAS硬盘。第二转接卡包括一第二SAS控制器以及一第二扩展器。第二SAS控制器连接至服务器系统的第二CPU,而第二扩展器经由交换卡连接至服务器系统的SAS硬盘。在一些实施例中,第一扩展器连接至第二SAS控制器且第一SAS控制器连接至第二扩展器以支持冗余拓朴。
在一些实施例中,一服务器系统的一第一转接卡以及一第二转接卡支持PCIe固态硬盘。第一转接卡包括一第一PCIe切换器,而第二转接卡包括一第二PCIe切换器。第一PCIe切换器经由服务器系统的交换卡连接至服务器系统的一第一CPU与PCIe固态硬盘。第二PCIe切换器经由交换卡连接至服务器系统的一第二CPU与PCIe固态硬盘。在一些实施例中,为了支持冗余拓扑,第一PCIe切换器耦接于第二PCIe切换器与第二CPU,并且第二PCIe切换器耦接于第一CPU。
附图说明
为使本发明的上述和其他目的、特征、和优点能更明显易懂,下文特举出一或多个优选实施例,并配合附图,作详细说明如下。注意的是,虽然公开书依附图进行说明,然其并非用以限定本发明,本领域技术人员在不脱离本发明的精神和范围内,当可做些许更动与润饰,其原理与附加特征可配合附图描述与解释,其中:
图1A-1B显示依据本发明实施例的支持弹性的硬盘与固态硬盘的示范服务器系统的示意方块图;
图1C显示依据本发明一实施例的包括一存储子系统与一服务器系统的示范服务器系统的示意方块图;
图1D显示依据本发明一实施例的交换卡的示意方块图;
图2显示依据本发明一实施例的用以在一服务器系统中支持弹性的硬盘与固态硬盘的方法的流程图;
图3显示依据本发明各种实施例的运算装置的示意图;以及
图4与5显示依据本发明各种实施例的示范系统的示意图。
【符号说明】
100A、100B、100C、100D~系统;
101~服务器系统;
102~存储系统;
104~交换卡;
106~PCIe接口;
108~SAS接口;
109~存储装置;
110~控制器;
112~第一CPU;
114~第二CPU;
116、118~转接卡;
120、124~SAS控制器;
122、126~扩展器;
128、130~转接卡;
132、134~PCIe切换器;
140~电源供应;
141、142~电源供应单元(PSU);
145~电源按键;
146~南桥(NB);
148~硬盘(HDD);
150~插槽;
152~ISA插槽;
154~PCI总线;
160~PCIe插槽;
161~PCIe插槽;
162~散热元件;
165~处理器;
170~PCI插槽;
171~PCI插槽;
172~快取存储器;
174~存储子系统模块;
176~北桥(NB);
180~主存储器;
190~转接卡;
191、192~扩展器;
1042~FPGA;
1911、1912、1921、1922~存储装置;
200~方法流程图;
202、204、206、208、209、210、212、214、215、216~执行步骤;
300~运算装置;
315~总线;
361~存储器;
362~CPU;
363~处理器;
368~接口;
400~系统;
405~系统总线;
410~处理器;
412~快取存储器;
415~存储器;
420~ROM;
425~RAM;
430~存储装置;
432~MOD 1;
434~MOD 2;
436~MOD 3;
435~输出装置;
440~通信接口;
445~输入装置;
500~服务器系统;
555~处理器;
560~芯片组;
565~输出装置;
570~存储装置;
575~RAM;
580~桥接器;
585~用户接口元件;以及
590~通信接口。
具体实施方式
本发明的各种实施例提供结合有交换卡和转接卡的服务器系统来提供弹性的硬盘(以下简称HDD)和固态硬盘(以下简称SSD)支持系统和方法。更具体来说,一个服务器系统包括具有至少两种不同类型的接口(例如:一串行连接小型计算机系统接口(SerialAttached SCSI,以下简称SAS接口)、一串行ATA(Serial ATA,以下简称SATA)接口或一快速周边组件互连(Peripheral Component Interconnect Express,以下简称PCIe)接口)的交换卡以及一个包括第一中央处理单元(CPU)以及第二CPU的控制器。第一CPU连接至一第一转接卡(adapter card),而第二CPU连接至一第二转接卡。第一转接卡转接卡以及第二转接卡耦接于服务器系统的交换卡。控制器可以检测转接卡的类型,并发送一个信号,以使交换卡支持相应类型的服务器系统的存储装置。
图1A显示依据本发明实施例的支持弹性的硬盘与固态硬盘的示范服务器系统100A的示意方块图。在本实施例中,系统100A支持SAS硬盘。系统100A包括存储系统102、控制器110、以及转接卡(例如:第一转接卡116与第二转接卡118)。存储系统102包括多个存储装置(例如:SAS HDD、SATA HDD、或SSD)以及一交换卡(switch card)104。交换卡104具有至少一个SAS接口108以及PCIe接口106以分别对应支持SAS HDD以及PCIe SSD。在一些实施例中,交换卡104包括至少一个SATA接口以支持SATA HDD。第一转接卡116包括第一SAS控制器120以及第一扩展器(expander)122,而第二转接卡118包括第二SAS控制器124以及第二扩展器126。控制器110包括第一CPU 112与第二CPU 114,其用以接收来自第一转接卡116或第二转接卡118的数据,以判断转接卡116,118是否支持SAS HDD、PCIe SSD、SATA HDD、或其它合适的存储装置,并且致使交换卡104致能(enable)对应于所判定的存储装置的一接口(例如:接口106与108的其中一个)以及禁能(disable)交换卡104的其他接口(例如,106与108中的另一个)。
在本例中,第一CPU 112耦接于第一SAS控制器120(例如:经由PCIex8连接),而第二CPU 114耦接于第二SAS控制器124(例如:经由PCIex8连接)。第一扩展器122以及第二扩展器126分别经由一12Gx4连接来连接至第一SAS控制器120以及第二SAS控制器124,并且经由一12Gx16连接来连接至交换卡104。第一CPU 112可以经由第一SAS控制器120、第一扩展器122以及具有一已致能的SAS接口的交换卡104与存储系统102的多个存储装置进行通信。第一CPU 112也可经由第一SAS控制器120、第二扩展器126以及具有一已致能的SAS接口的交换卡104与存储系统102的多个存储装置进行通信。另一方面,第二CPU 114可以经由第二SAS控制器124、第二扩展器126以及具有一已致能的SAS接口的交换卡104与存储系统102的多个存储装置进行通信。第二CPU 114也可经由第二SAS控制器124、第一扩展器122以及具有一已致能的SAS接口的交换卡104与存储系统102的多个存储装置进行通信。
在一些实施例中,相应于判定第一转接卡116或第一转接卡116的一元件具有一故障时,控制器110可经由第二转接卡118或第一转接卡116的剩余元件以及存储系统102的交换卡104来管理存储系统102的多个存储装置。举例来说,当第一SAS控制器120发生故障时,控制器110可经由第二CPU 114、第二SAS控制器124、第二扩展器126和/或第一扩展器122、以及交换卡104与存储系统102的多个存储装置通信。在另一实例中,当第一扩展器122发生故障时,控制器110可经由第一CPU 112、第一SAS控制器120、第二扩展器126与交换卡104来与存储系统102的多个存储装置通信;或者经由第二CPU 114、第二SAS控制器124、第二扩展器126与交换卡104来与存储系统102的多个存储装置通信。
图1B显示依据本发明实施例的支持弹性的硬盘与固态硬盘的示范服务器系统100B的示意方块图。在本实施例中,系统100B支持SSD。系统100B包括存储系统102、控制器110、以及转接卡(例如:第一转接卡128与第二转接卡130)。存储系统102包括多个存储装置(例如:SAS HDD、SATA HDD、或SSD)以及一交换卡(switch card)104。交换卡104包括至少一个SAS接口108以及PCIe接口106以分别对应支持SAS HDD以及PCIe SSD。在一些实施例中,交换卡104包括至少一个SATA接口以支持SATA HDD。第一转接卡128包括第一PCIe切换器(PCIe switch)132,而第二转接卡130包括第二PCIe切换器134。控制器110包括第一CPU112与第二CPU 114,其用以接收来自第一转接卡128或第二转接卡130的数据,以判断转接卡128,130是否支持SAS HDD、PCIe SSD、SATA HDD、或其它合适的存储装置,并且致使交换卡104致能对应于所判定的存储装置的一接口(例如:接口106与108的其中一个)以及禁能(disable)交换卡104的其他接口(例如,106与108中的另一个)。
在本例中,第一CPU 112耦接于第一PCIe切换器132(例如:经由PCIex8连接),而第二CPU 114耦接于第二PCIe切换器134(例如:经由PCIex8连接)。第一PCIe切换器132以及第二PCIe切换器134分别经由一PCIex16连接来连接至交换卡104。第一CPU 112可以经由第一PCIe切换器132以及具有一已致能的PCIe接口的交换卡104与存储系统102的多个存储装置进行通信。第一CPU 112也可经由第二PCIe切换器134以及具有一已致能的PCIe接口的交换卡104与存储系统102的多个存储装置进行通信。另一方面,第二CPU 114可以经由第二PCIe切换器134以及具有一已致能的PCIe接口的交换卡104与存储系统102的多个存储装置进行通信。第二CPU 114也可经由第一PCIe切换器132以及具有一已致能的PCIe接口的交换卡104与存储系统102的多个存储装置进行通信。
在一些实施例中,相应于判定第一转接卡128或第一转接卡128的一元件具有一故障时,控制器110可经由第二转接卡130或第一转接卡128的剩余元件以及存储系统102的交换卡104来管理存储系统102的多个存储装置。举例来说,当第一转接卡128发生故障时,控制器110可经由第二CPU 114、第二转接卡130以及交换卡104与存储系统102的多个存储装置通信。在另一实例中,当第一PCIe切换器132发生故障时,控制器110可经由第二CPU 114、第二转接卡130与交换卡104,或者经由第一CPU 112、第二转接卡130与交换卡104来与存储系统102的多个存储装置通信。
图1C显示依据本发明一实施例的包括一存储子系统102与一服务器系统101的示范系统100C的示意方块图。
在本实施例中,服务器系统101包括连接到快取存储器172的至少一个微处理器或处理器165、一或多个散热元件162、一主存储器(MEM)180、至少一电源供应单元(PSU)141,其中PSU 141可以电源供应140接收一交流电源并提供电力给服务器系统101。存储子系统102包括从电源供应140接收AC电源并提供电力给存储子系统102的一个或多个PSU 142、至少一扩展器(例如:扩展器191与192)、以及多个存储装置(例如:1911、1912、1921与1922)。存储装置可以包括SCSI(SAS)硬盘、串行ATA(SATA)硬盘或固态硬盘(SSD)中的至少一个。存储装置可以是单独的存储装置,或者可以一起被设置为磁盘阵列(Redundant Array ofIndependent Disks,RAID)。每一扩展器用以管理存储子系统102的一或多个存储装置(例如:接收命令并将它们导向到相应的存储装置),并且可与一网络中的远端装置、一管理模块以及存储子系统102中的其他扩展器进行通信。前述命令可以包括读或写命令、信息请求、或管理命令(例如:分区命令)。命令可以表示为文本格式、小型服务器系统接口(SCSI)格式、AT附件(ATA)格式或串行ATA(SATA)格式。在本实施例中,扩展器191用以管理存储装置1911以及1912,而扩展器192则用以管理存储装置1921以及1922。
在本实施例中,前述至少一个扩展器(例如:扩展器191与192)也可以在一或多个转接卡190和存储子系统102之间提供一个命令列接口(command-line interface,CLI)。一或多个转接卡190或远端用户可以通过CLI输入命令。CLI可包括,但不限于,数字命令语言(digital command language,DCL),各种Unix壳层(Unix shell)、微计算机控制程序(CP/M)、command.com、cmd.exe以及资源时间共享系统(resource time sharing system,RSTS)CLI。
在一些实施例中,存储子系统102的扩展器连接至存储子系统102的多个具有连接冗余的存储装置的,以保护对抗一个故障的通信链结(例如:故障的缆线或端口,或者意外拔出的连接)。在一些实施例中,存储子系统102与服务器系统101可以配置在单个机架或可在不同服务器机架进行配置。
至少一PSU 141用以提供电力至服务器系统101的各种元件,例如:处理器165、快取存储器172、北桥逻辑176,PCIe插槽160、主存储器180、南桥逻辑146、存储装置148、ISA插槽150、PCI插槽170以及控制器110。在服务器系统101的电源开启后,服务器系统101用以从存储器、计算机存储装置或外部存储装置中载入软件应用程序以执行各种操作。硬盘148架构成可用于服务器系统101的操作系统与各种应用程序的逻辑区块并且可用于在服务器系统101断电后继续保存服务器的数据。PSU 142用以提供电力至存储子系统102的各种元件,例如:前述多个存储装置、前述至少一扩展器、以及一或多个散热元件162。
主存储器180可以通过北桥(NB)逻辑176耦接至处理器165。存储器控制模块(未绘示)可用以通过在存储器操作期间产生(assert)必要的控制信号来控制主存储器180的操作。主存储器180可以包括,但不限于,动态随机存取存储器(dynamic random accessmemory,DRAM)、双倍数据速率动态随机存取存储器(dual data rate DRAM,DDR DRAM)、静态随机存取存储器(static RAM,SRAM),或其他类型的适当存储器。
在一些实施例中,处理器165可为多内核处理器,其中的每一内核通过连接到北桥逻辑176的一CPU总线耦接在一起。在一些实施例中,北桥逻辑176可整合在处理器165中。北桥逻辑176也可连接至多个快速周边组件互连(Peripheral Component Interconnectexpress,PCIe)端口160以及南桥(SB)逻辑146。前述多个PCIe端口160可用于连接以及作为总线,如PCI Express×1、USB 2.0、SMBus卡、SIM卡、PCIe另一通道的未来扩展、1.5伏以及3.3伏电力、以及诊断服务器的机箱上的发光二极管(Light-Emitting Diode,LED)的电线。
在本例中,北桥逻辑176以及南桥逻辑146通过一周边组件互连(peripheralcomponent interconnect,PCI)总线154连接。PCI总线154可支持标准化格式的CPU功能,此标准化格式独立于所有的CPU的本地总线的格式。PCI总线154可另外连接至多个PCI插槽170(例如:PCI插槽171)。总线控制器(未绘示)可将连接PCI总线的装置视为直接连接到CPU总线,分派在处理器165的地址空间的地址,且与单独总线时钟同步。PCI卡可用于多个PCI插槽170包括但不受限于,网络接口卡(Network Interface Card,NIC)、音效卡、数据机、TV调谐器卡、硬盘控制器、显示卡、小计算机系统接口(Small Computer System Interface,SCSI)转换器、以及个人计算机存储卡国际协会(PCMCIA)卡等。
南桥逻辑146可经由扩展总线,将PCI总线154耦接至多个扩展卡或插槽150(例如:ISA插槽152)。扩展总线可为用于南桥逻辑146以及周边装置之间通信的一总线,并且可包括,但不限于,工业标准架构(Industry Standard Architecture,ISA)总线、PC/104总线,低引脚数(low pin count)总线、扩展ISA(Expansion ISA,EISA)总线、通用串行总线(Universal Serial Bus,USB)、整合式电子驱动接口(Integrated Drive Electronics,IDE)总线、或任何适合用于周边装置的数据通信的其他总线。
在本例中,南桥逻辑146更耦接至连接到前述至少一PSU 141的控制器110。在一些实施例中,控制器110可为基板管理控制器(Baseboard Management Controller,BMC)、机架管理控制器(Rack Management Controller,RMC)或其他合适类型的系统控制器。控制器用于控制至少一PSU 141的操作和/或其他可应用操作。在一些实施例中,控制器110用以监控处理需求以及服务器系统101的元件状态和/或连接状态。
在本例中,控制器110通过一电缆线或无线连接(例如:I 2C、SM总线(SMBus)或PCIe)连接至存储子系统102的至少一个扩展器(例如:扩展器191与192)。
图1D显示依据本发明一实施例的交换卡104的示意方块图100D。在本实施例中,交换卡104包括一个现场可编程辑门阵列(Field-Programmable Gate Arrays,FPGA)1042。FPGA 1042可以接收配置配置(CFG)数据以及高速信号(例如:PCIe或SAS数据)。依据来自控制器(例如:图1A以及图1B中所示的控制器110)的CFG数据,FPGA 1042可以将接收到的SAS和PCI-E的信号重导向至专用于对应协议的对应输出。
在图1A与图1B所示的例子中,控制器110包括两个计算节点(computing node)。每个计算节点包括至少一个处理器、随机存取存储器(RAM)、基板管理控制器(BMC)...等。每个计算节点可以接收状态信号或传送控制信号至周边元件(例如:转接卡116和118以及存储元件),使得计算节点可以监控周边元件的状态并相应地控制周边元件。当服务器系统101处于正常操作时,控制器110的计算节点可以检查转接卡(例如:116和118)的类型。
当检测到的是一SAS转接卡,控制器110可以发送一个SAS CFG信号到FPGA 1042。FPGA 1042可以接收此CFG信号,接着将输入数据重导向至存储系统102的SAS HDD。此时,FPGA 1042的PCIe接口被禁能。
如果检测到的是一PCIe转接卡,控制器110可以发送一个PCIe CFG信号到FPGA1042。FPGA 1042可以接收此CFG信号,接着将输入数据重导向至存储系统102的PCIe SSD。此时,FPGA 1042的SAS接口被禁能。
在第一扩展器122故障的事件发生时,控制器110可检测到第一扩展器122发生故障,并启动第二扩展器126。因此,控制器110的一个或多个节点可经由第二扩展器126来存取存储系统102的硬盘。在第一PCIe切换器132故障的事件发生时,控制器110可检测到第一PCIe切换器132发生故障,并启动第二PCIe切换器134。因此,控制器110的一个或多个节点可经由第二PCIe切换器134来存取存储系统102的固态硬盘。
虽然图1A、1B、1C与1D的示范系统100A、100B、100C与100D中分别只显示一些元件,示范系统100A、100B、100C与100D中也可包括可处理或存储数据,或接收或传送信号的各类型的电子或运算元件。另外,示范系统100A、100B、100C与100D内的电子或运算元件可用于执行各类型的应用程序和/或可使用各类型的操作系统。这些操作系统可包括但不受限于Android、柏克莱软件套件(Berkeley Software Distribution,BSD)、iPhoneOS(iOS)、Linux、OS X、类Unix的即时操作系统(例如:QNX)、微软视窗、微软视窗电话、以及IBMz/OS。
取决于示范系统100A、100B、100C与100D中所需的实施方式而定,可使用各种网络和讯息通信协议,包括但不受限于TCP/IP,开放式系统互联通信(Open SystemInterconnection,OSI)、文件传输通信协议(File Transfer Protocol,FTP)、通用随插即用(Universal Plug and Play,UpnP)、网络文件系统(Network File System,NFS)、网络文件共享系统(Common Internet File System,CIFS)、AppleTalk等等。本领域技术人员可知图1A、1B、1C与1D中显示的示范系统100A、100B、100C与100D用于说明的目的。因此,网络系统可使用许多合适的变化来实现,同时仍依据本发明各种实施例提供网络平台设定。
在图1A、1B、1C与1D的实施例设置中,示范系统100A、100B、100C与100D内也可包括一或多个无线元件,用于与特定无线通道的运算范围内之一或多个电子装置通信。无线通道可为任意用于让装置进行无线通信的合适通道,例如蓝牙、蜂窝、NFC、或Wi-Fi通道。同时需要了解装置可有一或多个已知有线通信连接,如已知技术。在本发明各种实施例的范围中可尽可能的包括各种其他元件和/或其结合。
以上讨论意在描述本发明的原理与各种实施例。当完全理解上述公开内容时,各种变化和修改将变得显而易见。
图2显示依据本发明一实施例的用以在一服务器系统中支持弹性的硬盘与固态硬盘的方法200的流程图。需要了解实施例方法200仅用于表示目的,且依据本发明实施例的其他方法可包括以相似或替代顺序、或平行方式执行更多、更少、或替代步骤。实施例方法200首先在步骤202中接收来自两个或多个转接卡(例如:如图1A、1B以及1C中所示的转接卡)的数据。
在步骤204中,服务器系统的一控制器可判断前述两个或多个转接卡是否支持SASHDD、SATA HDD、固态硬盘(SSD)、或其它合适的存储装置,如图1A、图1B、以及图1C中所示。
相应于判定前述两个或多个转接卡支持SAS HDD时,在步骤206中,控制器可致能服务器系统的一交换卡的一SAS接口并且禁能此交换卡的所有其它类型的接口,如图1A、图1C、以及图1D中所示。
在步骤208中,控制器可经由第一转接卡、第二转接卡、以及交换卡的SAS接口中的至少一个与服务器系统的多个SAS HDD进行通信,如图1A、图1C、以及图1D所示。
在步骤209中,可判断转接卡或转接卡的任何元件是否有故障。在步骤210中,相应于判定第一转接卡具有故障,控制器可经由第二转接卡以及交换卡与多个SAS HDD进行通信,如图1A、图1C、以及图1D所示。相应于判定没有任何故障发生时,流程200返回到步骤206。
在步骤212中,相应于判定两个或多个转接卡支持PCIe SSD时,控制器可致能交换卡的一PCIe接口并禁能交换卡的其他类型的接口,如图1A、图1C、以及图1D所示。在步骤214中,控制器可经由第一转接卡、第二转接卡、以及交换卡的PCIe接口中的至少一个与服务器系统的多个PCIe SSD进行通信,如图1A、图1C、以及图1D所示。在步骤215中,可判断转接卡或转接卡的任何元件是否有故障。在步骤216中,相应于判定第一转接卡具有故障,控制器可经由第二转接卡以及交换卡与多个PCIe SSD进行通信,如图1A、图1C、以及图1D所示。相应于判定没有任何故障发生时,流程200返回到步骤212。
术语
一计算机网络为藉由通信连接和区段互连的节点的地理分配聚集,用以在终端之间传输数据,例如:个人计算机和工作站。可适用于许多类型的网络,其类型范围从局域网络(Local Area Network,LAN)和广域网络(Wide Area Network,WAN)到重叠式(overlay)和软件定义网络,例如虚拟可扩展局域网络(Virtual Extensible Local Area Network,VXLAN)。
LAN通常连接位于相同通用物理位置,例如大楼或校园的专用私有通信连接的节点。另一方面,WAN通常连接长距通信连接的地理分散节点,例如共同载波电话线、光纤路径、同步光纤网络(Synchronous Optical network,SONET)、或同步数字阶级(SynchronousDigital Hierarchy,SDH)连结。LAN和WAN可包括第2层(L2)和/或第3层(L3)网络和装置。
互联网为WAN的一个例子,其连接世界上的不同网络,提供各种网络上的节点之间的全球通信。节点通常依据预定义通信协议例如传输控制通信协议/互联网通信协议(TCP/IP)等交换离散数据讯框或分组而在前述网络上进行通信。在本申请中,通信协议可视为一组定义节点间如何彼此互动的规则。计算机网络可进一步藉由中继网络节点例如路由器等互连,以延伸每个网络的有效“大小”。
重叠式网络(overlay network)一般允许在一物理网络基础建设上产生以及分层虚拟网络。重叠式网络通信协议,例如虚拟可扩展区域网(Virtual Extensible LAN,VXLAN)、一般路由封装实现网络虚拟化(Network Virtualization Using Generic RouterEncapsulation,NVGRE)、网络虚拟化共存(Network Virtualization Overlays,NVO3)、以及传输层隧道(Stateless Transport Tunneling,STT),提供流量封装方案,允许通过逻辑通道通过L2和L3网络而承载网络流量。这种逻辑通道可通过虚拟通道终端(VTEP)起始以及结束。
另外,重叠式网络可包括虚拟区段,例如VXLAN重叠式网络内的VXLAN区段,其可包括虚拟L2和/或L3重叠式网络,虚拟机器(Virtual Machine,VM)可在之上进行通信。虚拟区段可通过虚拟网络识别值(VNI)而被辨识,例如VXLAN网络识别值,此虚拟网络识别值可特别辨识相关虚拟区段或网域。
网络虚拟化允许硬件和软件资源结合入虚拟网络。举例来说,网络虚拟化可使多个VM分别通过虚拟LAN(VLAN)依附于物理网络。VM可分别依据其VLAN进行分组,且可与其他VM以及内部或外部网络的其他装置通信。
网络区段,例如物理或虚拟区段、网络、装置、端口、物理或逻辑连结、和/或流量大致来说可分为桥接或洪水网域(flood domain)。桥接网域或洪水网域可表示一广播网域,例如L2广播网域。桥接网域或洪水网域可包括单独子网络,但也可包括多子网络。另外,桥接网域可相关于网络装置上的桥接网域接口,例如一切换器。桥接网域接口可为支持L2桥接网络以及L3路由网络之间流量的逻辑接口。此外桥接网域接口可支持互联网通信协议(IP)终止、VPN终止、地址解析处理、MAC定位等等。桥接网域和桥接网域接口两者可藉由相同索引或识别值而被辨识。
此外,终端群组(EndPoint Group,下称EPG)在网络中可用于将应用程序对映(mapping)至网络。特别来说,EPG可使用网络中应用程序终端的分组,应用连接性和政策来对应用程序分组。EPG可作为用于装运的容器,或是应用程序或应用程序元件的集合,以及实现转送和政策逻辑的层级。EPG也允许从藉由使用逻辑应用程序边界代替决定地址将网络政策、安全性、以及转送分开。
在一或多个网络也可提供云端运算,藉以使用共享资源提供运算服务。云端运算可大致上包括互联网为基础的运算,其中运算资源通过网络(例如"云端")可取得的资源集合被动态提供与分配给用户端或用户计算机或其他装置的随选(on-demand)功能。云端运算资源,例如,可包括任意类型的资源,例如运算、存储、以及网络装置,虚拟机器(VirtualMachine,简称VM)等等。举例来说,资源可包括服务装置(防火墙、深度分组检测,流量监控、负载均衡等等)、运算/处理装置(服务器、CPU的、存储器、暴力(brute force)处理能力)、存储装置(例如依附网络的存储器、存储局域网络装置)等等。此外,这种资源会用于支持虚拟网络、虚拟机器(VM)、数据库、应用程序(Apps)等等。
云端运算资源可包括"私有云端”、"公有云端”、和/或"混和式云端。"混和式云端"可为一种由2或多个云端所组成的云端基础建设,该2或多个云端可通过技术相互运作或进行同盟。本质上混和式云端为私有和公有云端之间的互动,其中私有云端结合公有云端并以一种安全且有弹性(scalable)的方式使用公有云端资源。云端运算资源也可通过虚拟网络在重叠式网络例如VXLAN之内提供。
在网络切换系统中,可维持一查找数据库(lookup database)以保持多个依附切换系统的终端之间的路径轨迹。然而终端可具有各种设定且相关于许多承租者。终端可具有各种类型的识别值,例如IPv4、IPv6、或第2层。查找数据库必须设定不同模式来处理不同类型的终端识别值。一些查找数据库的能力是设计用于处理不同地址类型的进入分组。另外网络切换系统中的查找数据库通常受限于1K虚拟路由以及转送(VRF)。因此,需要用于处理各种类型的终端识别值的改良查找算法。本发明所公开的技术提出用于电信网络中的地址查找所需的技术。本发明所公开的系统、方法、和计算机可读取存储介质用于藉由将终端识别值对映到一致空间且允许一致处理不同形式的查找来统一各种类型的终端识别值。接着参见图3和图4所示,实施例系统和网络的简单描述将在此公开。本发明实施例的变形于各个实施例中描述。相关技术请参考图3。
图3显示依据本发明一实施例的运算装置(computing device)300的示意图。运算装置300包括主中央处理单元(CPU)362、接口368、以及总线315(例如PCI总线)。当在合适软件或固件的控制下动作时,CPU 362用于负责执行分组管理、错误检测、和/或路由功能,例如不当连接(miscabling)检测功能。CPU362较佳地在包括操作系统以及任意合适应用程序软件的软件控制之下完成上述功能。CPU 362可包括一或多个处理器363,例如来自Motorola微处理器家族或MIPS微处理器家族的处理器。在另一实施例中,处理器363为特定设计的硬件,用于控制运算装置300的操作。在特定实施例中,存储器361(例如非易失性RAM和/或ROM)也形成CPU 362一部分。然而,存储器可通过许多不同方式耦接系统。
接口368通常提供作为接口卡(有时称为"线路卡(line card)")。一般来说,接口368控制通过网络的数据分组的传送与接收且有时支持与运算装置300一起使用的其他周边。可提供的接口为以太网接口、讯框中继接口、缆线接口、DSL接口、令牌环(token ring)接口等等。此外,可提供各种非常高速接口例如快速令牌环接口、无线接口、以太网接口、Gigabit以太网接口、ATM接口、HSSI接口、POS接口、FDDI接口等等。一般而言,这些接口可包括用于合适介质的通信的合适端口。在一些实施例中,接口也可包括独立处理器,以及在一些实施例中可包括易失性RAM。独立处理器可控制分组切换、介质控制和管理等此种通信密集任务。藉由对通信密集任务提供分开的处理器,上述接口允许主微处理器362有效执行路由运算、网络诊断、安全性功能等等。
虽然图3所示的系统为本发明实施例的一特定运算装置,然其绝非本发明实施例仅有的网络装置构造。举例来说,经常使用具有单独处理器的构造,该单独处理器处理通信以及路由运算等等。另外,其他类型的接口和介质也能与路由器一起使用。
无论网络装置的设定是什么,网络装置都会使用一或多个存储器或存储器模块(包括存储器361)用于针对存储通用网络操作的程序指令以及针对上述漫游、路由优化和路由功能的机制。例如程序指令可控制操作系统和/或一或多个应用程序的操作。存储器或多个存储器也可用于存储表格例如移动连结、注册、和相关表格等等。
图4与5显示依据本发明多个实施例的示范系统的示意图。本领域技术人员在应用本发明实施例时可应用更合适的实施例。本领域技术人员也已知其他系统实施例的可能性。
图4显示已知系统中一种总线运算系统构造400,其中系统的元件互相使用总线405进行电性通信。系统400的例子包括处理单元(CPU或处理器)410以及系统总线405,此系统总线405耦接各种系统元件到处理器410,各种系统元件包括系统存储器415,例如只读存储器(ROM)420和随机存取存储器(RAM)425。系统400可包括高速存储器的快取存储器,此高速存储器直接连接、靠近、或整合为处理器410的一部分。系统400可将数据从存储器415和/或存储装置430复制到快取存储器412用于处理器410的快速存取。以此方式快取存储器可在等待数据时提供效能增进,避免处理器410延迟。上述以及其他模块会控制或用于控制处理器410藉以执行各种动作。同时也可使用其他系统存储器415。存储器415可包括多个具有不同效能特性的不同类型存储器。处理器410可包括任意通用处理器以及硬件模块或软件模块,例如存储于存储装置430的模块432,模块434,和模块436,用于控制处理器410以及特殊功用处理器,其中软件指令结合入实际处理器设计。处理器410可实质上为完全自给自足的运算系统,包括多内核或处理器、总线,存储器控制器、快取存储器等等。多核处理器可为对称或非对称。
为了使用户可以和运算装置400互动,输入装置445会代表任意数量的输入机制,例如用于演讲的麦克风、用于手势或图形输入的触控屏幕、键盘、鼠标、动作输入、语音以及其他。输出装置435也可为本领域技术人员所知的一或多个输出机制。在一些例子中,多模系统会对用户提供多类型的输入藉以和运算装置400通信。通信接口440会大致上包含并管理用户输入以及系统输出。任意特定硬件设置上的各种操作没有限制,因此这里的基本特征会很容易置入发展增进中的硬件或固件设置。可理解的是,本申请说明书的任何实施例中所提及的任意特征或步骤可与任何实施例中的任意其他特征或步骤组合。
存储装置430为非易失性存储器且可为硬盘或其他类型的计算机可读取介质,该计算机可读取介质会存储计算机可存取数据,且可例如为磁带、快闪存储器卡、固态存储器装置、数字光盘、卡匣、随机存取存储器(RAM)425、只读存储器(ROM)420、以及其混合。
存储装置430可包括软件模块432、434、436,用于控制处理器410。也会考虑其他硬件或软件模块。存储装置430会连接至系统总线405。在某个方面,执行特定功能的硬件模块可包括存储于计算机可读取介质的软件元件,该存储于计算机可读取介质和所需硬件元件有关,该所需硬件元件可例如为用于执行功能的处理器410、总线405、输出装置435(例如显示器)等等。
图5显示一种具有芯片组构造的服务器系统500,该芯片组构造会被使用来执行所述方法并产生及显示图形用户接口(GUI)。服务器系统500为用于实现所公开技术的计算机硬件、软件和固件的实施例。系统500可包括处理器555,表示任意数量的物理和/或逻辑区别资源,执行用于所示运算的软件、固件、和硬件。处理器555会与芯片组560通信,该芯片组560会控制处理器555的输入和输出。在本实施例中,芯片组560输出信息至输出装置565,例如显示器,且会读取和写入信息至存储装置570,存储装置570可包括例如磁盘介质和固态介质。芯片组560也会读取数据和写入数据至RAM575。用于与各种用户接口元件585进行接口的桥接器580会用于与芯片组560进行接口。此种用户接口元件585可包括键盘、麦克风、触控检测和处理电路、指向装置,例如鼠标等等。大致来说系统500的输入会来自各种来源,可以由机器产生和/或人工产生。
芯片组560也会与一或多个具有不同物理接口的通信接口590进行接口。此种通信接口可包括用于宽频无线网络以及个人局域网络(personal area network)的有线和无线本地局域网络的接口。一些用于产生、显示、以及使用本发明实施例GUI的方法的应用程序可包括,藉由处理器555分析存储于存储570或RAM 575的数据而接收通过物理接口或由机器自行产生的请求数据组。另外机器接收来自用户通过用户接口元件585的输入并会藉由使用处理器555解释输入来执行合适的功能,例如浏览功能。
实施例系统400和500会具有大于一个处理器410或为群组一部分或为一起网络连接的运算装置群集,用以提供更多处理能力。
为了清楚解释,在本发明一些实施例可包括独自的功能区块,该功能区块包括软件或硬件和软件的结合实现的方法中的装置、装置元件、步骤或例程(routines)。
在一些实施例中计算机可读取存储装置、介质、以及存储器可包括缆线或包括位流的无线信号等等。然而当提到时,非暂态计算机可读取存储介质明确排除例如能量、载波信号、电磁波、以及信号等等介质。
依据上述实施例的方法会使用计算机可执行指令实现,该计算机可执行指令存储于计算机可读取介质或可由计算机可读取介质提供。此种指令可包括,例如让通用计算机、特殊功能计算机、或特殊功能处理装置执行一些功能或功能群组的指令和数据。部分计算机资源可通过网络存取。计算机可执行指令可为例如二元、中继格式指令例如组合语言、固件、或来源码。计算机可读取介质的实施例会用于存储指令、使用信息、和/或依据所述实施例的方法进行中所产生的信息,该计算机可读取介质包括磁盘或光盘、快闪存储器、非易失性存储器提供的USB装置、网络连接存储装置等等。
依据本发明实施例实现的装置可包括硬件,固件和/或软件,并可使用各种形式因素。形式因素的典型实施例包括笔记型计算机、智慧手机、小型化机构(small formfactor)个人计算机、个人数字助理等等。所述的功能性也会以周边或扩展卡实现。功能性也会藉由其他实施例,由单独装置中电路板上不同芯片或不同程序间的执移动作实现。
指令、传递该指令的介质、执行该指令的运算资源、以及其他支持该运算资源的构造为用以提供公开书所述功能的方式。
本发明实施例的各个方面提供用以远端控制一存储子系统的分区管理的系统以及方法。虽然以上已经引用特定实施例来显示可选操作在不同指令下如何使用,其他实施例可结合可选操作和不同指令。为了清楚解释,在本发明一些实施例可包括独自的功能区块,该功能区块包括软件或硬件和软件的结合实现的方法中的装置、装置元件、步骤或例程。
其他实施例可另外在各种操作环境中实现,该各种操作环境在一些实施例中可包括用于操作多个应用程序的一或多台服务器计算机、用户计算机或运算装置。用户或客户装置可包括任意多个通用个人计算机,例如以标准操作系统运作的桌上型或膝上型计算机、以及以移动软件运作并能支持多个网络和讯息通信协议的蜂窝、无线以及手持装置。该系统也可包括多个以各种商用操作系统以及其他已知针对特殊目的的应用程序运作的工作站,上述特殊目的可例如为发展和数据库管理。上述装置也可包括其他电子装置,例如虚拟终端、瘦客户端、游戏系统以及其他能通过网络通信的装置。
为了延伸实施例,本发明实施例或部分实施例以硬件实现,并以任意一种或以下技术的结合实现:具有逻辑门的离散逻辑电路,可在收到数据信号时用于实现逻辑功能、具有合适的组合逻辑门的应用程序特定集成电路(Application Specific IntegratedCircuit,ASIC)、可编程硬件例如可编程门阵列(Programmable Gate Array,PGA)、现场可编程门阵列(FPGA)等等。
大部分实施例使用本领域技术人员周知的至少一网络,用于支持各种商用通信协议的通信,例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS、AppleTalk等等。网络可为,例如为本地局域网络、广域网络、虚拟私有网络、互联网、内连网(intranet)、外连网(extranet)、公众电话交换网络(public switched telephone network)、红外线网络、无线网络以及以上任意组合。
本发明实施例的方法可使用计算机可执行指令实现,该计算机可执行指令存储于计算机可读取介质或可由计算机可读取介质提供。此种指令可包括,例如让通用计算机、特殊用途计算机、或特殊用途处理装置执行一些功能或功能群组的指令和数据。部分计算机资源可通过网络存取。计算机可执行指令可为例如二元码、中继格式指令例如组合语言、固件、或来源码。计算机可读取介质的实施例可用于存储指令、使用信息、和/或依据所述实施例的方法进行中所产生的信息,该计算机可读取介质包括磁盘或光盘、快闪存储器、具有非易失性存储器的USB装置、网络连接存储装置等等。
依据本发明实现方法实现的装置可包括硬件,固件和/或软件,并使用各种形式因素。形式因素的典型实施例包括笔记型计算机、智慧手机、小型化机构(small formfactor)个人计算机、个人数字助理等等。所述的功能性也可以周边或扩展卡实现。功能性也可藉由其他实施例,由单独装置中电路板上不同芯片或不同程序间的执移动作实现。
在使用网络服务器的实施例中,网络服务器可执行各种服务器或中层应用程序,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器以及商业应用程序服务器。服务器也能够相应于用户装置的请求而执行程序或脚本,例如藉由执行一或多个以任意编程语言或其他脚本语言编写的网络应用程序,上述任意编程语言可例如为C、C#或C++,且上述其他脚本语言可例如为Perl、Python或TCL、以及其中一种组合。服务器也可包括数据库服务器,包括但不限于可在开放商业市场上取得的服务器。
服务器数据中心可包括上述讨论的各种数据存储以及其他存储器和存储介质。各种数据存储以及其他存储器和存储介质会驻于各种位置之内,例如存储介质本地之上(和/或驻于)一或多台计算机或网络上任意计算机或所有计算机的远端。在实施例的特定组合中,信息可驻于本领域技术人员所熟知的存储局域网络(SAN)之内。类似地,用于执行计算机,服务器或其他网络装置特性功能的任意所需文件可于合适之处在本地和/或远端存储。上述系统包括计算机化装置,每个这种装置可包括通过总线电耦接的硬件元件,元件包括,例如至少一中央处理单元(CPU)、至少一输入装置(例如鼠标、键盘、控制器、触控显示器元素或按键)以及至少一输出装置(例如显示器装置、打印机或喇叭)。此种系统也可包括一或多个存储装置,例如碟机、光学存储装置和固态存储装置例如随机存取存储器(RAM)或只读存储器(ROM),以及可移除介质装置、存储器卡、快闪卡等等。
该装置也可包括所述的计算机可读取存储介质读取器、通信装置(例如终端机、网络卡(无线或有线)、红外线运算装置)以及工作存储器。计算机可读取存储介质读取器可连接或用于接收计算机可读取存储介质用于暂时和/或更永久包括、存储、传送、以及提取计算机可读取信息,该计算机可读取存储介质代表远端、本地、固定和/或可移除存储装置以及存储介质。系统和各种装置通常也可包括位于至少一工作存储器装置之内的多个软件应用程序、模块、服务或其他元件,包括操作系统和应用程序程序,例如定制应用程序或网络浏览器。本领域技术人员可知替代实施例具有上述实施例的各种变化型。例如,也可使用定制硬件和/或特定元件可以硬件、软件(包括可携软件、例如小程序(applet))或两者兼有加以实现。另外,也可使用到其他运算装置的连接,该其他运算装置可例如为网络输入/输出装置。
用以包括编码、或部分编码的存储介质和计算机可读取介质可包括本领域已知或使用的任意合适介质,包括存储介质和运算介质,例如但不限于易失性和非易失性、可移除和不可移除介质,以针对存储和/或信息传输的任意方法或技术实现,例如计算机可读取指令、数据构造、程序模块或其他数据,包括RAM、ROM、EPROM、EEPROM、快闪存储器或其他存储器技术、CD-ROM、数字光盘(digital versatile disk,DVD)或其他光学存储、磁盒、磁带、磁盘存储或其他磁性存储装置或任意其他用于存储所需信息且会由系统装置存取的介质,。依据本发明技术和教示,本领域技术人员可知其他方式和/或方法用以实现本发明各种实施例。
本发明虽以优选实施例公开如上,然其并非用以限定本发明,本领域技术人员在不脱离本发明的精神和范围内,当可做些许的更动与润饰,因此本发明的保护范围当视所附权利要求书界定范围为准。
Claims (10)
1.一种服务器系统,包括:
交换卡,其包括串行连接小型计算机系统接口(Serial Attached SCSI,以下简称SAS接口)或串行ATA(Serial ATA,以下简称SATA)接口中的至少其一,以及快速周边组件互连(Peripheral Component Interconnect Express,以下简称PCIe)接口;以及
控制器,其包括第一计算节点以及第二计算节点;
其中,该第一计算节点耦接于第一转接卡(adapter card)且该第二计算节点耦接于第二转接卡;
其中该第一转接卡连接于该第二转接卡;
其中该交换卡连接至该服务器系统的多个存储装置;
其中,该控制器用以经由该第一转接卡或该第二转接卡中的至少一个以及该交换卡与该服务器系统的所述存储装置进行通信。
2.如权利要求1所述的服务器系统,其中该控制器用以:
判定该第一转接卡具有故障;以及
经由该第二转接卡以及该交换卡与该服务器系统的所述存储装置进行通信。
3.如权利要求1所述的服务器系统,其中该控制器用以:
判定该第一转接卡支持至少一台SAS硬盘(HDD)以及该第二转接卡支持至少一台SAS硬盘;
致能该交换卡的该SAS接口以及禁能该交换卡的其他类型的接口;以及经由该第一转接卡或该第二转接卡中的至少一个以及该交换卡的该SAS接口与该服务器系统的多个SAS硬盘进行通信。
4.如权利要求3所述的服务器系统,其中该第一转接卡包括第一SAS控制器以及第一扩展器,该第一SAS控制器耦接于该第一计算节点,而该第一扩展器经由该交换卡耦接于该服务器系统的所述SAS硬盘;且其中该第二转接卡包括第二SAS控制器以及第二扩展器,该第二SAS控制器耦接于该第二计算节点,而该第二扩展器经由该交换卡耦接于该服务器系统的所述SAS硬盘。
5.如权利要求4所述的服务器系统,其中该第一SAS控制器耦接于该第一扩展器以及该第二扩展器,以及该第二SAS控制器耦接于该第一扩展器以及该第二扩展器。
6.如权利要求5所述的服务器系统,其中该控制器用以:
判定该第一SAS控制器或该第一扩展器发生故障;
其中,当判定为该第一SAS控制器发生故障时,该控制器经由该第二计算节点、该第二转接卡的该第二SAS控制器、该第二转接卡的该第二扩展器或该第一转接卡的该第一扩展器以及该交换卡,与该服务器系统的所述SAS硬盘进行通信;以及
当判定为该第一扩展器发生故障时,该控制器经由该第二计算节点、该第二转接卡的该第二SAS控制器、该第二转接卡的该第二扩展器以及该交换卡、或经由该第一计算节点、该第一转接卡的该第一SAS控制器、该第二转接卡的该第二扩展器以及该交换卡,与该服务器系统的所述SAS硬盘进行通信。
7.如权利要求1所述的服务器系统,其中该控制器用以:
判定该第一转接卡支持至少一台PCIe固态硬盘(SSD)以及该第二转接卡支持至少一台PCIe固态硬盘;
致能该交换卡的该PCIe接口以及禁能该交换卡的其他类型的接口;以及
经由该第一转接卡或该第二转接卡中的至少一个以及该交换卡的该PCIe接口与该服务器系统的多个PCIe固态硬盘进行通信。
8.如权利要求7所述的服务器系统,其中该第一转接卡包括第一PCIe切换器,该第一PCIe切换器经由该交换卡耦接于该服务器系统的所述PCIe固态硬盘且耦接于该第一计算节点;且其中该第二转接卡包括第二PCIe切换器,该第二PCIe切换器耦接于该服务器系统的所述PCIe固态硬盘且耦接于该第二计算节点。
9.如权利要求8所述的服务器系统,其中该第一PCIe切换器耦接于该第二计算节点,以及该第二PCIe切换器耦接于该第一计算节点;且其中该控制器用以:
判定该第一PCIe切换器或该第一转接卡发生故障,其中
当判定为该第一PCIe切换器发生故障时,该控制器经由该第二计算节点、该第二转接卡的该第二PCIe切换器、以及该交换卡、或经由该第一计算节点、该第二转接卡的该第二PCIe切换器、以及该交换卡,与该服务器系统的所述PCIe固态硬盘进行通信;以及
当判定该第一转接卡发生故障时,该控制器经由该第二计算节点、该第二转接卡的该第二PCIe切换器、以及该交换卡,与该服务器系统的所述PCIe固态硬盘进行通信。
10.一种计算机实现的方法,用于在计算机系统中提供弹性的串行连接小计算机系统接口(Serial Attached SCSI,简称SAS接口)或串行ATA(Serial ATA,简称SATA)接口中的至少其一的支持,其中该计算机系统包括第一计算节点以及第二计算节点,该方法包括下列步骤:
接收来自该计算机系统的两个或多个转接卡的数据,其中该两个或多个转接卡包括至少一第一转接卡以及第二转接卡,其支持至少一SAS硬盘、至少一SATA硬盘或至少一快速周边组件互连(Peripheral Component Interconnect Express,简称PCIe)固态硬盘;
判断该两个或多个转接卡是否支持该至少一SAS硬盘、该至少一SATA硬盘、或该至少一PCIe固态硬盘;
相应于判定该两个或多个转接卡支持该至少一PCIe固态硬盘,致能该计算机系统的交换卡的PCIe接口并禁能该交换卡的其他类型的接口;以及
经由该两个或多个转接卡以及该交换卡,与该计算机系统的多个SAS硬盘进行通信。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/148,340 US10691628B2 (en) | 2016-05-06 | 2016-05-06 | Systems and methods for flexible HDD/SSD storage support |
US15/148,340 | 2016-05-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107346292A true CN107346292A (zh) | 2017-11-14 |
CN107346292B CN107346292B (zh) | 2019-12-31 |
Family
ID=58692330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610564912.0A Active CN107346292B (zh) | 2016-05-06 | 2016-07-18 | 服务器系统及其计算机实现的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10691628B2 (zh) |
EP (1) | EP3242217B1 (zh) |
JP (1) | JP6498230B2 (zh) |
CN (1) | CN107346292B (zh) |
TW (1) | TWI598746B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959005A (zh) * | 2018-06-29 | 2018-12-07 | 深圳市同泰怡信息技术有限公司 | 带Expander背板的硬盘管控方法及服务器 |
CN109614353A (zh) * | 2018-12-11 | 2019-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种存储扩展柜 |
CN110377135A (zh) * | 2019-07-26 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种psu的管理方法、系统及装置 |
TWI716085B (zh) * | 2019-08-22 | 2021-01-11 | 瑞祺電通股份有限公司 | 無線備援通訊擴充模組 |
CN112491657A (zh) * | 2020-11-27 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种基于串口通讯的通讯连接方法、装置和存储介质 |
CN112860606A (zh) * | 2019-11-28 | 2021-05-28 | 浙江宇视科技有限公司 | 一种接口转换装置及设备 |
CN113342261A (zh) * | 2020-03-02 | 2021-09-03 | 慧荣科技股份有限公司 | 伺服器与应用于伺服器的控制方法 |
CN114564077A (zh) * | 2022-01-29 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种pcie转接卡、实现转接卡的控制方法 |
CN114579500A (zh) * | 2020-12-01 | 2022-06-03 | 广达电脑股份有限公司 | 用于高速数据通讯的系统、中介件及方法 |
CN116303149A (zh) * | 2023-05-18 | 2023-06-23 | 湖南博匠信息科技有限公司 | 基于bmc芯片实现控制器接口拓展的方法及系统 |
TWI817714B (zh) * | 2022-09-13 | 2023-10-01 | 英業達股份有限公司 | 轉接卡及其控制方法、伺服器 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11016924B2 (en) | 2018-03-01 | 2021-05-25 | Samsung Electronics Co., Ltd. | System and method for supporting multi-mode and/or multi-speed non-volatile memory (NVM) express (NVMe) over fabrics (NVMe-oF) devices |
US10990554B2 (en) | 2018-03-02 | 2021-04-27 | Samsung Electronics Co., Ltd. | Mechanism to identify FPGA and SSD pairing in a multi-device environment |
US20240095196A1 (en) * | 2018-03-02 | 2024-03-21 | Samsung Electronics Co., Ltd. | Method for supporting erasure code data protection with embedded pcie switch inside fpga+ssd |
US10635609B2 (en) * | 2018-03-02 | 2020-04-28 | Samsung Electronics Co., Ltd. | Method for supporting erasure code data protection with embedded PCIE switch inside FPGA+SSD |
US11018444B2 (en) | 2018-03-09 | 2021-05-25 | Samsung Electronics Co., Ltd. | Multi-mode and/or multi-speed non-volatile memory (NVM) express (NVMe) over fabrics (NVMe-of) device |
TWI662417B (zh) * | 2018-05-31 | 2019-06-11 | 緯創資通股份有限公司 | 切換卡以及伺服器 |
TWI679861B (zh) | 2018-09-06 | 2019-12-11 | 財團法人工業技術研究院 | 控制器、調整封包通信規則的方法及網路通信系統 |
US11895092B2 (en) * | 2019-03-04 | 2024-02-06 | Appgate Cybersecurity, Inc. | Network access controller operation |
CN110275680B (zh) | 2019-06-24 | 2020-12-01 | 浙江大华技术股份有限公司 | 一种双控双活存储系统 |
CN110389877B (zh) * | 2019-06-25 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 固态硬盘运行时日志读取方法、系统、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050108476A1 (en) * | 2003-11-17 | 2005-05-19 | Hitachi, Ltd. | Storage device and controlling method thereof |
CN201732317U (zh) * | 2010-07-29 | 2011-02-02 | 浪潮电子信息产业股份有限公司 | 一种1u服务器pcie转接卡 |
CN204065979U (zh) * | 2014-09-09 | 2014-12-31 | 浪潮电子信息产业股份有限公司 | 一种免工具拆装pcie转接卡 |
US8943234B1 (en) * | 2013-08-05 | 2015-01-27 | Lsi Corporation | Multi-protocol storage controller |
US20150331765A1 (en) * | 2014-05-19 | 2015-11-19 | Lsi Corporation | Coordination techniques for redundant array of independent disks storage controllers |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783779B1 (en) * | 2003-09-19 | 2010-08-24 | Vmware, Inc | Storage multipath management in a virtual computer system |
US7155546B2 (en) * | 2003-12-18 | 2006-12-26 | Intel Corporation | Multiple physical interfaces in a slot of a storage enclosure to support different storage interconnect architectures |
US8020035B2 (en) | 2008-07-30 | 2011-09-13 | Hewlett-Packard Development Company, L.P. | Expander circuit for a solid state persistent storage device that provides a plurality of interfaces to corresponding storage controllers |
US8402189B2 (en) * | 2010-05-13 | 2013-03-19 | Hitachi, Ltd. | Information processing apparatus and data transfer method |
US8677180B2 (en) * | 2010-06-23 | 2014-03-18 | International Business Machines Corporation | Switch failover control in a multiprocessor computer system |
US8938574B2 (en) * | 2010-10-26 | 2015-01-20 | Lsi Corporation | Methods and systems using solid-state drives as storage controller cache memory |
US8677176B2 (en) * | 2010-12-03 | 2014-03-18 | International Business Machines Corporation | Cable redundancy and failover for multi-lane PCI express IO interconnections |
WO2013072985A1 (ja) * | 2011-11-14 | 2013-05-23 | 株式会社日立製作所 | 計算機システムを管理する管理システム、計算機システムの管理方法及び記憶媒体 |
US9280508B1 (en) | 2013-09-30 | 2016-03-08 | Pmc-Sierra Us, Inc. | Apparatus and method for interoperability between SAS and PCI express |
US9788451B2 (en) * | 2013-12-23 | 2017-10-10 | Dell Products, L.P. | Block chassis sled having one-third width computing and storage nodes for increased processing and storage configuration flexibility within a modular, scalable and/or expandable rack-based information handling system |
US9253257B2 (en) * | 2014-03-11 | 2016-02-02 | Hitachi, Ltd. | Storage subsystem |
US10089125B2 (en) * | 2014-07-23 | 2018-10-02 | Hitachi, Ltd. | Virtual machines accessing file data, object data, and block data |
US9804989B2 (en) * | 2014-07-25 | 2017-10-31 | Micron Technology, Inc. | Systems, devices, and methods for selective communication through an electrical connector |
US10114778B2 (en) * | 2015-05-08 | 2018-10-30 | Samsung Electronics Co., Ltd. | Multi-protocol IO infrastructure for a flexible storage platform |
-
2016
- 2016-05-06 US US15/148,340 patent/US10691628B2/en active Active
- 2016-06-24 TW TW105119874A patent/TWI598746B/zh active
- 2016-07-18 CN CN201610564912.0A patent/CN107346292B/zh active Active
-
2017
- 2017-04-12 JP JP2017078714A patent/JP6498230B2/ja active Active
- 2017-04-26 EP EP17168287.5A patent/EP3242217B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050108476A1 (en) * | 2003-11-17 | 2005-05-19 | Hitachi, Ltd. | Storage device and controlling method thereof |
CN201732317U (zh) * | 2010-07-29 | 2011-02-02 | 浪潮电子信息产业股份有限公司 | 一种1u服务器pcie转接卡 |
US8943234B1 (en) * | 2013-08-05 | 2015-01-27 | Lsi Corporation | Multi-protocol storage controller |
US20150331765A1 (en) * | 2014-05-19 | 2015-11-19 | Lsi Corporation | Coordination techniques for redundant array of independent disks storage controllers |
CN204065979U (zh) * | 2014-09-09 | 2014-12-31 | 浪潮电子信息产业股份有限公司 | 一种免工具拆装pcie转接卡 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959005A (zh) * | 2018-06-29 | 2018-12-07 | 深圳市同泰怡信息技术有限公司 | 带Expander背板的硬盘管控方法及服务器 |
CN109614353A (zh) * | 2018-12-11 | 2019-04-12 | 浪潮(北京)电子信息产业有限公司 | 一种存储扩展柜 |
CN110377135B (zh) * | 2019-07-26 | 2021-06-29 | 苏州浪潮智能科技有限公司 | 一种psu的管理方法、系统及装置 |
CN110377135A (zh) * | 2019-07-26 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种psu的管理方法、系统及装置 |
TWI716085B (zh) * | 2019-08-22 | 2021-01-11 | 瑞祺電通股份有限公司 | 無線備援通訊擴充模組 |
CN112860606A (zh) * | 2019-11-28 | 2021-05-28 | 浙江宇视科技有限公司 | 一种接口转换装置及设备 |
CN113342261A (zh) * | 2020-03-02 | 2021-09-03 | 慧荣科技股份有限公司 | 伺服器与应用于伺服器的控制方法 |
CN112491657A (zh) * | 2020-11-27 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种基于串口通讯的通讯连接方法、装置和存储介质 |
CN114579500A (zh) * | 2020-12-01 | 2022-06-03 | 广达电脑股份有限公司 | 用于高速数据通讯的系统、中介件及方法 |
CN114564077A (zh) * | 2022-01-29 | 2022-05-31 | 苏州浪潮智能科技有限公司 | 一种pcie转接卡、实现转接卡的控制方法 |
CN114564077B (zh) * | 2022-01-29 | 2023-07-14 | 苏州浪潮智能科技有限公司 | 一种pcie转接卡、实现转接卡的控制方法 |
TWI817714B (zh) * | 2022-09-13 | 2023-10-01 | 英業達股份有限公司 | 轉接卡及其控制方法、伺服器 |
CN116303149A (zh) * | 2023-05-18 | 2023-06-23 | 湖南博匠信息科技有限公司 | 基于bmc芯片实现控制器接口拓展的方法及系统 |
CN116303149B (zh) * | 2023-05-18 | 2023-07-21 | 湖南博匠信息科技有限公司 | 基于bmc芯片实现控制器接口拓展的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2017201512A (ja) | 2017-11-09 |
TWI598746B (zh) | 2017-09-11 |
US20170322898A1 (en) | 2017-11-09 |
EP3242217A1 (en) | 2017-11-08 |
CN107346292B (zh) | 2019-12-31 |
JP6498230B2 (ja) | 2019-04-10 |
US10691628B2 (en) | 2020-06-23 |
TW201740287A (zh) | 2017-11-16 |
EP3242217B1 (en) | 2020-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107346292B (zh) | 服务器系统及其计算机实现的方法 | |
US10127055B2 (en) | iSCSI based bare metal OS image deployment and diskless boot | |
EP3242297B1 (en) | System with fresh air flow toward downstream components for cooling | |
CN108983938B (zh) | 当待机电源故障时可操作系统、计算机实现方法、及介质 | |
US20190053405A1 (en) | Multi-node system-fan-control switch | |
US20170308447A1 (en) | Methods and systems for analyzing record and usage in post package repair | |
CN106155264B (zh) | 管理存储子系统的电力消耗的计算机方法与计算机系统 | |
TWI602057B (zh) | 遠程區域管理之儲存系統及其電腦執行方法 | |
CN106502335A (zh) | 用于配置一或多个伺服器的机架系统与其配置方法 | |
CN108334421A (zh) | 使用wol的系统恢复 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |