CN106559246B - 集群的实现方法和服务器 - Google Patents
集群的实现方法和服务器 Download PDFInfo
- Publication number
- CN106559246B CN106559246B CN201510640509.7A CN201510640509A CN106559246B CN 106559246 B CN106559246 B CN 106559246B CN 201510640509 A CN201510640509 A CN 201510640509A CN 106559246 B CN106559246 B CN 106559246B
- Authority
- CN
- China
- Prior art keywords
- route
- network card
- address
- server
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/28—Routing or path finding of packets in data switching networks using route fault recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/025—Updating only a limited number of routers, e.g. fish-eye update
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/22—Alternate routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/46—Cluster building
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/25—Routing or path finding in a switch fabric
- H04L49/252—Store and forward routing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了集群的实现方法和服务器。本发明中,服务器对外同时发布包括网卡的网段地址以及本服务器IP地址的路由;其他设备收到这个服务器IP地址后,会与这个服务器IP地址建立路由,当服务器检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息,这使得路由切换不会导致服务器IP地址发生任何变化,实现了集群内部的业务不受路由切换的影响,无需更改集群内部的配置,进一步提高了集群的高可用性。
Description
技术领域
本申请涉及网络通信技术,特别涉及集群的实现方法和服务器。
背景技术
在集群(cluster)中,集群中的服务器(server)对外发布的是服务器上网卡的IP地址(简称网卡IP地址),当同一集群中其他server以及集群之外的网络设备比如交换机等收到网卡IP地址后,计算到该网卡IP地址的最优路由。之后,利用计算的最优路由向该网卡IP地址发送数据流。
图1示出了集群的结构图。在图1中,集群由server1至server5组成,server1至server5本地均配置了一个网卡,并且,server1至server5上的网卡配置了不同的IP地址。在图1中,server1、server2均通过本地网卡连接至交换机(Switch)1,server3、server4、server5均通过本地网卡连接至Switch2。以图1所示server1为例,server1对外发布本地网卡IP地址,当Switch1、server2收到server1发布的网卡IP地址后,按照路由协议计算至网卡IP地址的最优路由,之后,当Switch1、server2收到发向网卡IP地址的数据流后,按照计算的至该网卡IP地址的最优路由发送数据流。
在网络中,经常会发生链路故障,比如图1所示的Switch1故障,则当图1所示的Switch1故障时,集群中server1、server1就会因为Switch1故障无法继续工作,影响集群的高可用性。
发明内容
本申请提供了集群的实现方法和服务器,以实现高可用集群。
本申请提供的技术方案包括:
一种集群的实现方法,该方法应用于集群中的服务器,所述服务器本地配置有两个以上网卡,该方法包括:
通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由;
通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡,其中,所述其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址;
当有报文向一所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发;
当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
一种服务器,所述服务器应用于集群中,所述服务器本地配置有两个以上网卡,包括:
路由发布单元,用于通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由;
路由确定单元,用于通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡,其中,所述其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址;
转发单元,用于当有报文向一所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发;
路由更新单元,用于当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
由以上技术方案可以看出,本发明中,服务器对外同时发布包括网卡的网段地址以及本服务器IP地址的路由;其他设备收到这个服务器IP地址后,会与这个服务器IP地址建立路由。基于此,当服务器检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息,这对于服务器而言,受影响的只是该连接故障链路的网卡,服务器本身并没有受到影响,也不影响其他路由,这使得路由切换(删除路由相当于路由切换的一种方式)不会导致服务器IP地址发生任何变化,实现了集群内部的业务不受路由切换的影响,无需更改集群内部的配置,进一步提高了集群的高可用性。
附图说明
图1示出了高可用集群的结构图;
图2为本发明实施例提供的方法流程图;
图3为本发明提供的实施例结构示意图;
图4为本发明实施例提供的BGP应用组网图;
图5为本发明实施例提供的OSPF应用组网图;
图6为本发明提供的服务器结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
本发明提供的方法包括图2所示的流程:
参见图2,图2为本发明提供的方法流程图。该方法应用于集群中的任一服务器。如图2所示,该流程可包括以下步骤:
步骤201,通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由。
本发明中,同一集群中的所有服务器配置的网卡数量可相等,也可不等,但不管同一集群中所有服务器配置的网卡数量是否相等,每一服务器上配置的网卡数量都大于1。优选地,作为本发明的一个实施例,本发明中,服务器上的各个网卡被配置不同网段的IP地址,为便于描述,这里将网卡的IP地址简称网卡IP地址。如图3所示集群中的server1,其配置了2个网卡:eth0和eth1,其中,eth0的网卡IP地址属于192.168.100.x网段,eth1的网卡IP地址属于192.168.200.x网段,eth0的网卡IP地址和eth1的IP地址分属不同网段。
在本发明中,服务器本地不同的网卡连接不同的路由交换设备,比如图3中的server1,其上的eth0连接交换机1,eth1连接交换机2。
本发明中,如步骤201所述,在服务器配置网卡后,服务器通过本地配置的每一网卡向本设备的路由邻居发布以下两条路由:包括该网卡的网段地址的路由、服务器IP地址的路由。下文通过两个实施例举例描述了服务器通过本地配置的每一网卡向本设备的路由邻居发布路由,这里暂不赘述。
在本发明中,服务器的IP地址具有环回(Loopback)口的属性,Loopback口是一种看不见摸不着的逻辑接口(也称虚拟接口),Loopback口的属性是指:除非服务器瘫痪,否则Loopback口的状态一直是在线(up)。作为本发明的一个实施例,本发明中,服务器的IP地址可通过以下方式设置:为服务器上的环回(Loopback)口配置一个子接口,设置子接口的IP地址为服务器的IP地址。
至于Loopback口本身的IP地址,为不影响Loopback口,该Loopback口的IP地址的设置,本发明可以不进行任何改进,比如仍可设置默认的IP地址127.0.0.1/8。
在本发明中,服务器IP地址是服务器对外的IP地址,其他设备收到这个服务器IP地址后,就会与这个服务器IP地址建立路由。比如,当服务器将服务器IP地址、网卡IP地址发布后,外部设备比如交换设备收到服务器IP地址、网卡IP地址时,就确定至服务器IP地址的路由,路由的下一跳为接收的网卡IP地址。
步骤202,通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡。
在步骤202中,其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址。下文也举例描述了如何通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息,这里暂不赘述。
在步骤202中,针对同一地址比如客户端IP地址或者同一集群中其它服务器IP地址,可能会出现通过不同网卡接收。基于此,就会确定出从本服务器到上述地址比如客户端IP地址或者同一集群中其它服务器IP地址有多条不同的路由。
通过步骤202,当上述的其它设备地址为同一集群中其它服务器IP地址时,能够实现服务器与同一集群中其它服务器互通,因为服务器上配置的网卡数量大于1个,则能够实现服务器与同一集群中其它服务器互通的路径不止一条。当上述的其它设备地址为客户端IP地址时,能够实现服务器与同一客户端互通,因为服务器上配置的网卡数量大于1,则能够实现服务器与同一客户端互通的路径不止一条。此处的客户端可以访问服务器的用户。
步骤203,当有报文向所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发。
作为本发明的一个实施例,本步骤203中,当到上述其它设备地址的路由有多条时,可按本地预先配置的路由策略从该多条路由中选择一条,通过选择的一条路由转发报文。其中,这里的路由策略具体实现时有多种实现方式,比如最短路径算法、哈希(Hash)算法等,本发明并不具体限定。
步骤204,当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
如步骤201描述的,服务器IP地址是服务器对外的IP地址,其他设备收到这个服务器IP地址后,会生成到这个服务器IP地址的路由。当服务器检测到本地网卡连接的链路故障时,只是删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息,不影响其他网卡的路由。由于服务器具有多个网卡,路由切换(删除路由相当于路由切换的一种方式)不会导致服务器IP地址发生任何变化,实现了集群内部的业务不受路由切换的影响,无需更改集群内部的配置,进一步提高了集群的高可用性。
至此,完成图2所示的流程。
下面通过两个实施例对图2所示流程举例描述:
实施例1:
本实施例1是基于BGP实现的。
在本实施例1下,步骤201中通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由包括:
步骤b1,针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的BGP邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向BGP邻居发布,该网卡的网段路由下一跳为该网卡的网卡IP地址,本服务器IP地址的路由下一跳为该网卡的网卡IP地址。
在本实施例1下,步骤202中,通过通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息包括:
步骤c1,针对本地每一网卡,接收该网卡连接的BGP邻居发布的BGP路由。
下面通过一个具体实施例进行举例描述:
假定上述的BGP邻居连接为EBGP邻居连接,以图4所示的BGP应用组网为例,在图4中,为便于描述,只示出集群中两个服务器server1(通过1.1.1.1/32表示)和server2(通过2.2.2.2/32表示),server1的IP地址1.1.1.1为针对server1上的Loopback口配置的子接口的IP地址,server1上配置了网卡eth0(通过192.168.56.76/24表示)和网卡eth1(通过192.168.55.76/24表示)。server2的IP地址2.2.2.2为针对server2上的Loopback口配置的子接口的IP地址,server2上配置了网卡eth3(通过192.168.54.76/24表示)和网卡eth4(通过192.168.53.76/24表示),网卡eth3的IP地址为192.168.54.76,网卡eth4的IP地址为192.168.53.76。
在图4中,建立server1上网卡eth0与交换机1的接口0之间的EBGP邻居连接(记为EBGP邻居连接1),建立server1上网卡eth1与交换机2的接口1之间的EBGP邻居连接(记为EBGP邻居连接2)。网卡eth0的网段路由记为路由0,路由0的下一跳为网卡eth0IP地址192.168.56.76,网卡eth1的网段路由记为路由1,路由1的下一跳为网卡eth1IP地址192.168.55.76。
在图4中,建立server2上网卡eth3与交换机1的接口3之间EBGP邻居连接(记为EBGP邻居连接3),建立server2上网卡eth4与交换机2的接口4之间的EBGP邻居连接(记为EBGP邻居连接4)。网卡eth3的网段路由记为路由3,路由3的下一跳为网卡eth3IP地址192.168.54.76,网卡eth4的网段路由记为路由4,路由4的下一跳为网卡eth4IP地址192.168.53.76。
在图4中,server1通过EBGP邻居连接1将路由0、本服务器IP地址1.1.1.1的第一路由(记为路由01)发布给交换机1;路由01的下一跳为网卡eth0IP地址192.168.56.76;以及,server1通过EBGP邻居连接2将路由1、本服务器IP地址1.1.1.1的第二路由(记为路由02)发布给交换机2,路由02的下一跳为网卡eth1IP地址192.168.55.76。实现了server1通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由。
类似地,在图4中,server2通过EBGP邻居连接3将路由3、本服务器IP地址2.2.2.2的第一路由(记为路由03)发布给交换机1,路由03的下一跳为网卡eth3IP地址192.168.54.76;以及,server2通过EBGP邻居连接4将路由4、本服务器IP地址2.2.2.2的第二路由(记为路由04)发布给交换机2,路由04的下一跳为网卡eth4IP地址192.168.53.76,这实现了server2通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由。
在图4中,交换机1接收到server1发布的路由0、路由01后,按照现有路由学习会学习到server1的路由(记为路由A1),学习到的路由A1的IP地址为路由01中的服务器IP地址1.1.1.1,下一跳为网卡eth0IP地址192.168.56.76。
交换机2接收到server1发布的路由1、路由02后,按照现有路由学习会学习到server1的路由(记为路由B1),学习到的路由B1的IP地址为路由02中的服务器IP地址1.1.1.1,下一跳为网卡eth1IP地址192.168.55.76。
交换机1接收到server2发布的路由3、路由03后,按照现有路由学习会学习到server2的路由(记为路由A2),学习到的路由A2的IP地址为路由03中的服务器IP地址2.2.2.2,下一跳为网卡eth3IP地址192.168.54.76。
交换机2接收到server2发布的路由4、路由04后,按照现有路由学习会学习到server2的路由(记为路由B2),学习到的路由B2的IP地址为路由04中的服务器IP地址2.2.2.2,下一跳为网卡eth4IP地址192.168.53.76。
在图4中,均配置交换机1、交换机2为反射器。
交换机1通过反射器将本地学习的路由A1、路由A2、以及本地学习的客户端路由A0(到客户端8.1.1.1的路由)反射给交换机2。这里,交换机1在反射路由A1时,按照BGP,会修改路由A1的下一跳为交换机1连接交换机2的接口的IP地址;同理,交换机1也会修改路由A2、路由A0的下一跳为交换机1连接交换机2的接口的IP地址。
交换机2通过BGP反射器将本地学习的路由B1、路由B2、以及本地学习的客户端路由B0(到客户端7.1.1.1的路由)反射给交换机1;这里,交换机2在反射路由B1时,按照BGP,会修改路由B1的下一跳为交换机2连接交换机1的接口的IP地址;同理,交换机2也会修改路由B2、路由B0的下一跳为交换机2连接交换机1的接口的IP地址。
在图4中,交换机1在通过EBGP邻居连接1向server1发布路由时,将本地学习的路由A2、路由A0(到客户端8.1.1.1的路由)、交换机2反射的路由B2、路由B0发布给server1。按照BGP,交换机1在发布路由A2时会修改路由A2的下一跳为本地接口0的接口IP地址。类似地,交换机1也会修改路由A0、路由B2、路由B0的下一跳为本地接口0的接口IP地址。交换机2在通过EBGP邻居连接2向server1发布路由时,将本地学习的路由B2、路由B0(到客户端7.1.1.1的路由)、交换机1反射的路由A2、路由A0发布给server1。按照BGP,交换机2在发布路由B2时会修改路由B2的下一跳为本地接口1的接口IP地址。类似地,交换机2也会修改路由B0、路由A2、路由A0的下一跳为本地接口1的接口IP地址。这实现了server1通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息。
交换机1在通过EBGP邻居连接3向server2发布路由时,将本地学习的路由A1、路由A0(到客户端8.1.1.1的路由)、交换机2反射的路由B1、路由B0发布给server2。按照BGP,交换机1在发布路由A1时会修改路由A1的下一跳为本地接口3的接口IP地址。类似地,交换机1也会修改路由A0、路由B1、路由B0的下一跳为本地接口3的接口IP地址。实现了server2通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息。交换机2在通过EBGP邻居连接4向server2发布路由时,将本地学习的路由B1、路由B0(到客户端7.1.1.1的路由)、交换机1反射的路由A1、路由A0发布给server2。按照BGP,交换机2在发布路由B1时会修改路由B1的下一跳为本地接口4的接口IP地址。类似地,交换机2也会修改路由B0、路由A1、路由A0的下一跳为本地接口4的接口IP地址。实现了server2通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息。
综上,server1上就会存在从server1至server2的两条路由,这两条路由的IP地址相同,都为server2的IP地址2.2.2.2,出接口不同,一个为网卡eth0,另一个为网卡eth1。server1会存在从server1至客户端(8.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址8.1.1.1,出接口不同,一个为网卡eth0,另一个为网卡eth1。server1会存在从server1至客户端(7.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址7.1.1.1,出接口不同,一个为网卡eth0,另一个为网卡eth1。
同样地,server2上存在从server2至server1的两条路由,这两条路由的IP地址相同,都为server1的IP地址1.1.1.1,出接口不同,一个为网卡eth3,另一个为网卡eth4。server2上存在从server2至客户端(8.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址8.1.1.1,出接口不同,一个为网卡eth3,另一个为网卡eth4。server2上存在从server2至客户端(7.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址7.1.1.1,出接口不同,一个为网卡eth3,另一个为网卡eth4。
在实施例1中,以server1为例,当server1收到发向客户端8.1.1.1的报文时,就会选择其中一条路由比如出接口为网卡eth0的路由发送报文;
而当server1检测到网卡eth0连接的链路故障时,server1就会删除上述出接口为网卡eth0的路由,并删除从网卡eth0接收的所有路由信息。server1删除出接口为网卡eth0的路由的消息无需对外发布,其他交换设备或者客户端检测到交换机1故障时,自适应调整路由以防止报文转发至故障交换机1。之后,当server1再次收到发向客户端8.1.1.1的报文时,就只能通过出接口为网卡eth1的路由发送报文。
实施例2:
本实施例2是基于OSPF实现的。在本实施例2中,集群中所有服务器上的网卡、网卡连接在交换设备上的接口处于同一OSPF域。
在本实施例2下,步骤201中,通过本地每一网卡向本设备的路由邻居发布包括该网卡网段地址以及本服务器IP地址的路由包括:
步骤d1,针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的OSPF邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向所述向OSPF邻居发布;该网卡的网段路由下一跳为该网卡的网卡IP地址;本服务器IP地址的路由下一跳为该网卡的网卡IP地址。
在本实施例2下,步骤202中,通过本地每一网卡接收该本设备路由邻居发送的包括其它设备地址的路由信息包括:
步骤e1,针对本地每一网卡,接收该网卡连接的OSPF邻居发布的路由。
下面通过一个具体实施例进行举例描述:
以图5所示的OSPF应用组网为例,在图5中,为便于描述,只示出集群中两个服务器server3(通过3.3.3.3/32表示)和server4(通过4.4.4.4/32表示),server3的IP地址3.3.3.3为针对server3上的Loopback口配置的子接口的IP地址,server3上配置了网卡eth31(通过192.168.100.31/24表示)和网卡eth32(通过192.168.200.32/24表示),网卡eth31的IP地址为192.168.100.31,网卡eth32的IP地址为192.168.200.32。server4的IP地址4.4.4.4为针对server4上的Loopback口配置的子接口的IP地址,server4上配置了网卡eth41(通过192.168.100.41/24表示)和网卡eth42(通过192.168.200.42/24表示),网卡eth41的IP地址为192.168.100.41,网卡eth42的IP地址为192.168.200.42。
在图5中,server3上网卡eth31连接交换机C的接口C31、server3上网卡eth32连接交换机D的接口D32、server4上网卡eth41连接交换机C的接口C41、server4上网卡eth42连接交换机D的接口D42属于同一个OSPF域,记为OSPF域1。
在图5中,建立server3上网卡eth31与交换机C上接口C31之间的OSPF邻居连接(记为OSPF邻居连接31),建立server3上网卡eth32与交换机D上接口D32之间的OSPF邻居连接(记为OSPF邻居连接32)。建立server4上网卡eth41与交换机C上接口C41之间的OSPF邻居连接(记为OSPF邻居连接41),建立server4上网卡eth42与交换机D上接口D42之间的OSPF邻居连接(记为OSPF邻居连接42)。
在图5中,网卡eth31的网段路由记为路由31,下一跳为网卡eth31IP地址192.168.100.31;网卡eth32的网段路由记为路由32,下一跳为网卡eth32IP地址192.168.200.32。网卡eth41的网段路由记为路由41,下一跳为网卡eth41IP地址192.168.100.41,网卡eth42的网段路由记为路由42,下一跳为网卡eth42IP地址192.168.200.42。
在图5中,server3将路由31、本服务器IP地址3.3.3.3的第一路由(记为路由33)通过OSPF邻居连接31在OSPF1域内发布,路由33的下一跳为网卡eth31IP地址192.168.100.31;server3将路由32、本服务器IP地址3.3.3.3的第二路由(记为路由34)通过OSPF邻居连接32在OSPF1域内发布,路由34的下一跳为网卡eth32IP地址192.168.200.32,这实现了server3通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由。
server4将路由41、本服务器IP地址4.4.4.4的第一路由(记为路由43)通过OSPF邻居连接41在OSPF1域内发布给交换机C,路由43的下一跳为网卡eth41IP地址192.168.100.41;server4将路由42、本服务器IP地址4.4.4.4的第二路由(记为路由44)通过OSPF邻居连接42在OSPF1域内发布给交换机D,路由44的下一跳为网卡eth42IP地址192.168.200.42,这实现了server4通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由。
在图5中,交换机C收到server3发布的路由31、路由33,按照现有路由学习会学习到server3的路由(记为路由C3),学习到的路由C1的IP地址为路由33中的服务器IP地址3.3.3.3,下一跳为网卡eth31IP地址192.168.100.31。
交换机D收到来自server3发布的路由32、路由34,按照现有路由学习会学习到server3的路由(记为路由D3),学习到的路由D1的IP地址为路由34中的服务器IP地址3.3.3.3,下一跳为网卡eth32IP地址192.168.200.32。
交换机C收到来自server4发布的路由41、路由43,按照现有路由学习会学习到server4的路由(记为路由C4),学习到的路由C4的IP地址为路由43中的服务器IP地址4.4.4.4,下一跳为网卡eth41IP地址192.168.100.41。
交换机D收到来自server4发布的路由42、路由44,按照现有路由学习会学习到server4的路由(记为路由D4),学习到的路由D4的IP地址为路由44中的服务器IP地址4.4.4.4/32,下一跳为网卡eth42IP地址192.168.200.42。
在图5中,交换机C在OSPF1域内发布学习的路由C3、路由C4、路由C0(到客户端6.1.1.1的路由)至交换机D;交换机C在发布路由C3时,会修改路由C3的下一跳为交换机C连接交换机D的接口的IP地址;同理,交换机C也会修改路由C4、路由C0的下一跳为交换机C连接交换机D的接口的IP地址。交换机D会收到交换机C发布的路由C3、路由C4、路由C0。
交换机D在OSPF1域内发布学习的路由D3、路由D4、路由D0(到客户端5.1.1.1的路由)至交换机C。交换机D在发布路由D3时,会修改路由D3的下一跳为交换机D连接交换机C的接口的IP地址;同理,交换机D也会修改路由D4、路由D0的下一跳为交换机D连接交换机C的接口的IP地址。交换机C会收到交换机D发布的路由D3、路由D4、路由D0。
在图5中,交换机C在OSPF1域内通过OSPF邻居连接31向server3发布路由时,将本地学习的路由C4、路由C0(到客户端6.1.1.1的路由)、交换机D发布的路由D4、路由D0发布给server3。交换机C在发布路由C4时会修改路由C4的下一跳为本地接口C31的接口IP地址。类似地,交换机C也会修改路由C0、路由D4、路由D0的下一跳为本地接口C31的接口IP地址。交换机D在OSPF1域内通过OSPF邻居连接32向server3发布路由时,将本地学习的路由D4、路由D0(到客户端6.1.1.1的路由)、交换机C发布的路由C4、路由C0发布给server3。交换机D在发布路由D4时会修改路由D4的下一跳为本地接口D32的接口IP地址。类似地,交换机C也会修改路由C0、路由C4、路由C0的下一跳为本地接口D32的接口IP地址。这实现了server3通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息。
交换机C在OSPF1域内通过OSPF邻居连接41向server4发布路由时,将本地学习的路由C3、路由C0(到客户端6.1.1.1的路由)、交换机D发布的路由D3、路由D0发布给server4。交换机C在发布路由C3时会修改路由C3的下一跳为本地接口C41的接口IP地址。类似地,交换机C也会修改路由C0、路由D3、路由D0的下一跳为本地接口C41的接口IP地址。交换机D在OSPF1域内通过OSPF邻居连接42向server4发布路由时,将本地学习的路由D3、路由D0(到客户端6.1.1.1的路由)、交换机C发布的路由C3、路由C0发布给server4。交换机D在发布路由D3时会修改路由D3的下一跳为本地接口D42的接口IP地址。类似地,交换机D也会修改路由D0、路由C3、路由C0的下一跳为本地接口D42的接口IP地址。实现了server4通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息。
综上,server3上就会存在从server3至server4的两条路由,这两条路由的IP地址相同,都为server4的IP地址4.4.4.4,出接口不同,一个为网卡eth31,另一个为网卡eth32。server3会存在从server3至客户端(6.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址6.1.1.1,出接口不同,一个为网卡eth31,另一个为网卡eth32。server3会存在从server3至客户端(5.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址5.1.1.1,出接口不同,一个为网卡eth31,另一个为网卡eth32。
同样地,server4上存在从server4至server3的两条路由,这两条路由的IP地址相同,都为server3的IP地址3.3.3.3,出接口不同,一个为网卡eth41,另一个为网卡eth42。server4存在从server4至客户端(6.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址6.1.1.1,出接口不同,一个为网卡eth41,另一个为网卡eth42。server4存在从server4至客户端(5.1.1.1)的两条路由,这两条路由的IP地址相同,都为客户端的IP地址5.1.1.1,出接口不同,一个为网卡eth41,另一个为网卡eth42。
在实施例2中,以server3为例,当server3收到发向客户端(6.1.1.1)的报文时,就会选择其中一条路由比如出接口为网卡eth31的路由发送报文;
而当server3检测到eth31连接的链路故障时,server3就会删除上述出接口为网卡eth31的路由,并删除从eth31接收的所有路由信息。server3删除出接口为网卡eth31的路由的消息无需对外发布,其他交换设备或者客户端检测到交换机C故障时,自适应调整路由以防止报文转发至故障交换机C。之后,当server3再次收到发向客户端(6.1.1.1)的报文时,就只能通过出接口为网卡eth32的路由发送报文。
以上对本发明提供的方法进行了描述。下面对本发明提供的装置进行描述:
参见图6,图6为本发明提供的服务器结构图。服务器为集群中的服务器,本地配置有两个以上网卡,如图6所示,该服务器可包括:
路由发布单元,用于通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由;
路由确定单元,用于通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡,其中,所述其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址;
转发单元,用于当有报文向所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发;
路由更新单元,用于当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
优选地,所述服务器的IP地址具有环回口的属性。
优选地,所述服务器本地不同网卡具有不同网段的IP地址、且连接不同的路由交换设备。
优选地,所述路由发布单元通过本地每一网卡向本设备的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的BGP邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向BGP邻居发布,该网卡的网段路由下一跳为该网卡的网卡IP地址,本服务器IP地址的路由下一跳为该网卡的网卡IP地址;
优选地,所述路由确定单元通过本地每一网卡接收本设备路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的BGP邻居发布的BGP路由。
优选地,所述路由发布单元通过本地每一网卡向本设备的路由邻居发布包括该网卡网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的OSPF邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向OSPF邻居发布;该网卡的网段路由下一跳为该网卡的网卡IP地址;本服务器IP地址的路由下一跳为该网卡的网卡IP地址;
优选地,所述路由确定单元通过本地每一网卡接收该本设备路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的OSPF邻居发布的路由。
至此,完成图6所示装置的结构图。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (11)
1.一种集群的实现方法,其特征在于,该方法应用于集群中的服务器,所述服务器本地配置有两个以上网卡,该方法包括:
通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由;
通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡,其中,所述其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址;
当向所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发;
当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
2.根据权利要求1所述的方法,其特征在于,所述服务器的IP地址具有环回口属性。
3.根据权利要求1所述的方法,其特征在于,所述服务器本地不同的网卡连接不同的路由交换设备;
所述服务器本地不同网卡的IP地址属于不同网段。
4.根据权利要求1至3任一所述的方法,其特征在于,所述通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的BGP邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向BGP邻居发布,该网卡的网段路由下一跳为该网卡的网卡IP地址,本服务器IP地址的路由下一跳为该网卡的网卡IP地址。
5.根据权利要求4所述的方法,其特征在于,所述通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的BGP邻居发布的BGP路由。
6.根据权利要求1至3任一所述的方法,其特征在于,所述通过本地每一网卡向本服务器的路由邻居发布包括该网卡网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的OSPF邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向OSPF邻居发布;该网卡的网段路由下一跳为该网卡的网卡IP地址;本服务器IP地址的路由下一跳为该网卡的网卡IP地址。
7.根据权利要求6所述的方法,其特征在于,所述通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的OSPF邻居发布的路由。
8.一种服务器,其特征在于,所述服务器应用于集群中,所述服务器本地配置有两个以上网卡,包括:
路由发布单元,用于通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由;
路由确定单元,用于通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息,确定本服务器至其它设备地址的路由,所述路由的出接口为该网卡,其中,所述其它设备地址包括:客户端IP地址,或同一集群中其它服务器IP地址;
转发单元,用于当向所述其它设备地址发送报文时,通过至所述其它设备地址的一条路由转发;
路由更新单元,用于当检测到本地网卡连接的链路发生故障时,删除出接口为该网卡的所有路由,并删除从该网卡接收的所有路由信息。
9.根据权利要求8所述的服务器,其特征在于,所述服务器的IP地址具有环回口属性;
所述服务器本地不同网卡具有不同网段的IP地址、且连接不同的路由交换设备。
10.根据权利要求8或9所述的服务器,其特征在于,所述路由发布单元通过本地每一网卡向本服务器的路由邻居发布包括该网卡的网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的BGP邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向BGP邻居发布,该网卡的网段路由下一跳为该网卡的网卡IP地址,本服务器IP地址的路由下一跳为该网卡的网卡IP地址;
所述路由确定单元通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的BGP邻居发布的BGP路由。
11.根据权利要求8或9所述的服务器,其特征在于,所述路由发布单元通过本地每一网卡向本服务器的路由邻居发布包括该网卡网段地址以及本服务器IP地址的路由包括:
针对本地每一网卡,建立从该网卡至该网卡连接的路由交换设备之间的OSPF邻居连接,将该网卡的网段路由以及本服务器IP地址的路由向OSPF邻居发布;该网卡的网段路由下一跳为该网卡的网卡IP地址;本服务器IP地址的路由下一跳为该网卡的网卡IP地址;
所述路由确定单元通过本地每一网卡接收本服务器路由邻居发送的包括其它设备地址的路由信息包括:
针对本地每一网卡,接收该网卡连接的OSPF邻居发布的路由。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510640509.7A CN106559246B (zh) | 2015-09-30 | 2015-09-30 | 集群的实现方法和服务器 |
PCT/CN2016/101143 WO2017054770A1 (zh) | 2015-09-30 | 2016-09-30 | 集群通信 |
JP2018517193A JP6570740B2 (ja) | 2015-09-30 | 2016-09-30 | クラスター通信 |
US15/745,884 US10644991B2 (en) | 2015-09-30 | 2016-09-30 | Cluster communictaion |
EP16850394.4A EP3306861B1 (en) | 2015-09-30 | 2016-09-30 | Cluster communication |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510640509.7A CN106559246B (zh) | 2015-09-30 | 2015-09-30 | 集群的实现方法和服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106559246A CN106559246A (zh) | 2017-04-05 |
CN106559246B true CN106559246B (zh) | 2020-01-10 |
Family
ID=58417623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510640509.7A Active CN106559246B (zh) | 2015-09-30 | 2015-09-30 | 集群的实现方法和服务器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10644991B2 (zh) |
EP (1) | EP3306861B1 (zh) |
JP (1) | JP6570740B2 (zh) |
CN (1) | CN106559246B (zh) |
WO (1) | WO2017054770A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108574630B (zh) | 2017-03-14 | 2020-06-02 | 华为技术有限公司 | Evpn报文处理方法、设备及系统 |
CN108494679B (zh) * | 2018-06-01 | 2020-01-07 | 武汉绿色网络信息服务有限责任公司 | 一种基于Linux系统实现路由器的SSH报文转发方法和装置 |
CN108718279B (zh) * | 2018-06-01 | 2020-04-28 | 武汉绿色网络信息服务有限责任公司 | 一种基于Linux系统实现路由器的portal认证报文转发方法和装置 |
CN108881027B (zh) * | 2018-06-01 | 2020-04-10 | 武汉绿色网络信息服务有限责任公司 | 一种基于Linux系统实现路由器的radius报文转发方法和装置 |
CN110611644A (zh) * | 2018-06-15 | 2019-12-24 | 视联动力信息技术股份有限公司 | 一种数据的传输方法和装置 |
US10937155B2 (en) * | 2018-12-10 | 2021-03-02 | General Electric Company | Imaging system and method for generating a medical image |
CN110266833B (zh) * | 2019-07-16 | 2022-03-29 | 广州虎牙科技有限公司 | Ip地址管理方法及边缘集群 |
CN110995805B (zh) | 2019-11-24 | 2022-02-18 | 浪潮电子信息产业股份有限公司 | 一种集群网卡的确定方法、装置、设备及可读存储介质 |
CN113225264B (zh) * | 2021-04-30 | 2023-01-20 | 中国工商银行股份有限公司 | 一种报文处理系统、方法、装置和计算机设备 |
CN115665026A (zh) * | 2022-09-26 | 2023-01-31 | 京东科技信息技术有限公司 | 一种集群组网的方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821044A (zh) * | 2012-07-27 | 2012-12-12 | 北京奇虎科技有限公司 | 一种配置服务器集群的方法和装置 |
CN104486124A (zh) * | 2014-12-19 | 2015-04-01 | 盛科网络(苏州)有限公司 | 使用逻辑端口实现多系统链路聚合的装置及方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7421505B2 (en) * | 2000-12-21 | 2008-09-02 | Noatak Software Llc | Method and system for executing protocol stack instructions to form a packet for causing a computing device to perform an operation |
US20020156888A1 (en) * | 2001-04-23 | 2002-10-24 | Lee Man-Ho L. | Method and apparatus for detecting and reporting configuration errors in a multi-component switching fabric |
US20030035408A1 (en) * | 2001-08-17 | 2003-02-20 | Hebert James E. | Redundant communication adapter system for connecting a client to an FDDI network |
US7401254B2 (en) * | 2003-04-23 | 2008-07-15 | Dot Hill Systems Corporation | Apparatus and method for a server deterministically killing a redundant server integrated within the same network storage appliance chassis |
CN100479465C (zh) * | 2005-06-10 | 2009-04-15 | 杭州华三通信技术有限公司 | 网络设备实现链路聚合的方法 |
US7979563B2 (en) | 2007-08-16 | 2011-07-12 | International Business Machines Corporation | Method and system for dynamic client/server network management using proxy servers |
US7818408B1 (en) * | 2008-04-24 | 2010-10-19 | Network Appliance, Inc. | Automated virtual interface failover in a mass storage cluster |
TWI476610B (zh) * | 2008-04-29 | 2015-03-11 | Maxiscale Inc | 同級間冗餘檔案伺服器系統及方法 |
JP5018716B2 (ja) * | 2008-09-29 | 2012-09-05 | 富士通株式会社 | アプリケーション間通信の高信頼化技術 |
CN101488918B (zh) * | 2009-01-09 | 2012-02-08 | 杭州华三通信技术有限公司 | 一种多网卡服务器的接入方法和系统 |
JP4682255B2 (ja) | 2009-03-11 | 2011-05-11 | 富士通株式会社 | 経路制御装置、経路制御方法及び経路制御プログラム |
CN101883160B (zh) * | 2010-07-09 | 2013-03-20 | 杭州华三通信技术有限公司 | 多接口网络设备和多接口网络设备的报文发送方法 |
US20140204760A1 (en) * | 2013-01-22 | 2014-07-24 | Brocade Communications Systems, Inc. | Optimizing traffic flows via mac synchronization when using server virtualization with dynamic routing |
CN103095600B (zh) * | 2013-02-07 | 2015-09-16 | 杭州华三通信技术有限公司 | 一种基于Trill网络的负载均衡的方法及路由设备 |
JP6160151B2 (ja) * | 2013-03-21 | 2017-07-12 | 富士通株式会社 | 中継装置、およびルーティング制御方法 |
US9019814B1 (en) * | 2013-08-05 | 2015-04-28 | Juniper Networks, Inc. | Fast failover in multi-homed ethernet virtual private networks |
CN104506408B (zh) * | 2014-12-31 | 2018-02-06 | 新华三技术有限公司 | 基于sdn的数据传输的方法及装置 |
-
2015
- 2015-09-30 CN CN201510640509.7A patent/CN106559246B/zh active Active
-
2016
- 2016-09-30 WO PCT/CN2016/101143 patent/WO2017054770A1/zh active Application Filing
- 2016-09-30 JP JP2018517193A patent/JP6570740B2/ja active Active
- 2016-09-30 US US15/745,884 patent/US10644991B2/en active Active
- 2016-09-30 EP EP16850394.4A patent/EP3306861B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821044A (zh) * | 2012-07-27 | 2012-12-12 | 北京奇虎科技有限公司 | 一种配置服务器集群的方法和装置 |
CN104486124A (zh) * | 2014-12-19 | 2015-04-01 | 盛科网络(苏州)有限公司 | 使用逻辑端口实现多系统链路聚合的装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3306861B1 (en) | 2020-12-16 |
WO2017054770A1 (zh) | 2017-04-06 |
JP2018530258A (ja) | 2018-10-11 |
EP3306861A1 (en) | 2018-04-11 |
JP6570740B2 (ja) | 2019-09-04 |
US20180198702A1 (en) | 2018-07-12 |
CN106559246A (zh) | 2017-04-05 |
EP3306861A4 (en) | 2018-06-13 |
US10644991B2 (en) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106559246B (zh) | 集群的实现方法和服务器 | |
US9729473B2 (en) | Network high availability using temporary re-routing | |
US9054956B2 (en) | Routing protocols for accommodating nodes with redundant routing facilities | |
US10033667B1 (en) | Enhanced virtual router redundancy protocol | |
EP3399703B1 (en) | Method for implementing load balancing, apparatus, and network system | |
EP2974166B1 (en) | Method and apparatus for ip/mpls fast reroute | |
CN102035676B (zh) | 基于arp协议交互的链路故障检测与恢复的方法和设备 | |
JP7176095B2 (ja) | 通信方法、通信機器、および通信システム | |
US8755382B2 (en) | Intelligent adjunct network device | |
US8938521B2 (en) | Bi-directional synchronization enabling active-active redundancy for load-balancing switches | |
EP2078379A1 (en) | Distributed storage of routing information in a link state protocol controlled network | |
CN103200117B (zh) | 一种负载均衡方法和装置 | |
WO2021082812A1 (zh) | 报文的发送方法和第一网络设备 | |
WO2020135339A1 (zh) | 一种网络路径收敛的方法以及相关设备 | |
CN106572012A (zh) | 一种vpn frr的实现方法和pe设备 | |
WO2017175033A1 (en) | Method and apparatus for enabling non stop routing (nsr) in a packet network | |
CN113366804A (zh) | 防止网络拓扑改变期间的微环路的方法和系统 | |
CN103825826A (zh) | 一种动态路由的实现方法和装置 | |
CN107770061B (zh) | 转发报文的方法及转发设备 | |
EP3429139B1 (en) | Ingress gateway selection for a shortest path bridging network to support inter domain multicast routing | |
CN108768845B (zh) | 一种多归属主机路由同步方法及装置 | |
CN104780097B (zh) | 非全连接网络拓扑条件下的热备方法和第一路由设备 | |
CN116055393B (zh) | 专线通信方法、装置及系统 | |
Cisco | Internetworking Fundamentals Self-Study Guide | |
Cisco | Cisco IOS Apollo Domain, Banyan VINES, DECnet, ISO CLNS, and XNS Command Reference Release 12.1 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant after: NEW H3C TECHNOLOGIES Co.,Ltd. Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant before: HANGZHOU H3C TECHNOLOGIES Co.,Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |