CN100559351C - 远程复制系统以及远程复制控制方法 - Google Patents

Abstract

本发明提供一种远程复制系统以及远程复制控制方法，即使对于不对写入数据附加写入时刻的主计算机在存储系统中写入的数据，也可以保持在副存储系统中存储的数据的复制的一致性。在副存储系统中具备对接收到的全部标记进行记录的接收完成标记信息。主副存储系统，从全部的副存储系统收集接收完成标记信息中的标记号码，从收集到的标记号码，选择全部的副存储系统接收到的标记号码中最大的标记号码，对全部的副存储系统指示进行直到该标记号码为止的数据存储。

Description

远程复制系统以及远程复制控制方法

技术领域

本发明涉及一种远程复制。

背景技术

在专利文献1中公开了以下的技术：存储系统存储计算机使用的数据，并在远距离设定的其他存储系统中一边反映数据的写入顺序一边存储该数据的复制。在专利文献1表示的处理中，从正侧的主计算机接收到写入数据的正侧存储系统，在接收到写入数据之后，立刻将写入数据的接收完成报告给正侧的主计算机。之后，正侧的主计算机从正侧的存储系统中读出写入数据的复制。对该写入数据附加了写入时刻，在将写入数据读出到正侧的主计算机中时，还将写入时刻交给正侧的主计算机，上述写入时刻是发布了关于写入数据的写入要求的时刻。而且，正侧的主计算机，将写入数据和写入时刻传输给副侧的主计算机。收到了写入数据和写入时刻的副侧的主计算机，将写入时刻等信息写入到副侧的存储系统中的控制用卷中，并且参照对各个写入数据附加的写入时刻，按写入时刻顺序将写入数据写入到副侧的存储系统中。通过按照写入时刻顺序，将写入数据写入到副侧的存储系统中，可以在副侧的存储系统中保存具有一致性的数据。

这里，如果无视写入顺序地在副侧的存储系统中反映写入数据(以下，也把在副侧的存储系统中存储写入数据表现为反映数据)，例如在银行帐户的数据库中从帐户A向帐户B移动存款的处理中，无法将帐户A的减额和帐户B的增额作为一个事务处理再现、例如在副侧的存储系统中，在对帐户A的存款额进行减额之前可产生对帐户B的存款额进行增额的期间。此时，在副侧的存储系统中在对帐户A的存款额进行减额之前，当在正侧的存储系统中产生故障而无法使用时，在副侧的存储系统中残留没有一致性的数据，之后即使通过副侧的主计算机继续业务也会进行不正确的处理。因此，通过按照写入顺序在副侧的存储系统中存储写入数据，可以保存具有一致性的数据，可以保证针对具有关联的数据的具有关联的操作之间的顺序的正确性。

在专利文献2中公开了以下的技术：存储系统存储计算机使用的数据，并还将该存储系统存储的数据复制到远距离设置的其他的存储系统中，由此，即使其中一方存储系统由于天灾、火灾等原因而无法使用，也会在其他的存储系统中保存数据。

在专利文献3中公开了以下的技术：存储系统存储计算机使用的数据，并还将该存储系统存储的数据复制到远距离设置的其他的存储系统中，而且还把该其他的存储系统接收到的数据还复制到第三存储系统中，由此得到针对数据的更高等级的冗余度。

【专利文献1】欧洲专利申请公开第0672985号说明书

【专利文献2】美国专利第6092066号公报

【专利文献3】美国专利第6209002号公报

发明内容

在专利文献1公开的技术中，在将来自主计算机的写入数据反映在副侧的存储系统中时，使用主计算机对写入数据附加的写入时刻来保持写入顺序，所以在主计算机不对写入数据附加写入时刻时，无法保持副侧的存储系统中存储的数据的复制的一致性。虽然在所谓的大型机的主计算机中可以对写入要求附加写入时刻，但在所谓的开放式系统的主计算机中不对写入要求附加写入时刻。因此，在专利文献1公开的技术中，对于来自开放式系统的主计算机的I/O，无法保持副侧的存储系统中存储的数据的复制的一致性。

此外，在专利文献2以及专利文献3中，也没有有关在主计算机中包含开放式系统的主计算机时的、保持副侧的存储系统中存储的数据的复制一致性的公开。

因此，公开了以下的技术：在存储系统存储计算机使用的数据、并将该存储系统存储的数据传输给其他的存储系统、由其他的存储系统也保存数据的复制的计算机系统中，即使对于象开放式系统的主计算机那样不对写入数据附加写入时刻的主计算机在存储系统中写入的数据，也可以保持在其他的存储系统(即，副侧的存储系统)中存储的数据的复制的一致性。

本发明的远程复制系统，具备：从主计算机接收写入命令的多个正存储系统；控制所述多个正存储系统的第一控制部；分别与所述多个正存储系统连接的多个副存储系统；以及控制所述多个副存储系统的第二控制部。所述第一控制部，将标记生成指示发送给所述多个正存储系统，上述标记生成指示包含表示标记的生成顺序的标记顺序。所述各个正存储系统，具备：主存储装置；日志存储区域；把按照来自所述主计算机的写入命令的写入对象数据写入所述主存储装置的写入处理部；生成包含该写入对象数据本身在内的日志、即写入日志，并将其存储在所述日志存储区域中的日志生成部；将所述日志存储区域内的日志发送给具备辅助存储装置的副存储系统的日志发送部，上述辅助存储装置与所述主存储装置成为对。所述标记与所述写入日志不同，是不包含写入对象数据本身的日志。所述日志生成部，在生成的日志中包含表示该日志的生成顺序的日志顺序，在从所述第一控制部接收到所述标记生成指示时，生成包含该标记生成指示中包含的标记顺序的标记，并将其存储在所述日志存储区域中。所述各个副存储系统，具备：辅助存储装置；把从正存储系统接收到的标记中包含的标记顺序储存在标记顺序信息中的标记顺序储存部；响应来自所述第二控制部的标记顺序要求，将作为所述标记存储信息中的一个以上的标记顺序的标记顺序组发送给所述第二控制部的标记顺序发送部；以及按照来自所述第二控制部的数据存储指示，根据从正存储系统接收到的日志，将与该日志对应的写入对象数据存储在所述辅助存储装置中的数据存储部。所述第二控制部，具备：将作为所述标记顺序信息的要求的所述标记顺序要求分别发送给所述多个副存储系统的标记顺序要求部；从所述多个副存储系统分别接收多个标记顺序组，选择所述全部标记顺序组中包含的共同的标记顺序的标记顺序选择部；以及数据存储指示部，把数据存储指示发送给所述多个副存储系统，指示所述多个副存储系统存储直到所述选择出的标记顺序为止的数据。

所述存储装置可以是物理的存储装置，也可以是逻辑的存储装置。

此外，写入对象数据的日志可以包含用于确定写入对象数据的管理信息。在日志中除了该管理信息之外还可以加入写入数据自身，也可以不加入写入数据。

此外，日志顺序，如果是可以确定顺序的信息，则可以采用各种各样的信息。例如，可以是号码，也可以是表示时刻的时间戳。此外，因此标记的顺序可以根据日志顺序容易地求出，所以标记顺序如果是可以确定各个标记的识别符，则可以采用各种各样的信息。例如，可以是号码，也可以是表示为确定标记具有足够精度的时刻的时间戳，还可以是可以确定标记的唯一决定的(可以不包含表示顺序的信息)名称。

此外，第一控制部可以是与各个正存储系统连接的第一计算机，如后所述，也可以是所述多个正存储系统中的一个正存储系统。同样地，第二控制部可以是与各个副存储系统连接的第二计算机(可以是第一计算机)，如后所述，也可以是所述多个副存储系统中的一个副存储系统。

在第一实施方式中，所述标记顺序选择部，在存在多个所述共同的标记顺序的情况下，选择多个共同的标记顺序中的最大的标记顺序。

在第二实施方式中，所述第一控制部，对所述多个正存储系统发送写入停止要求，在从所述多个正存储系统接收到针对该写入停止要求的写入停止完成时，将所述标记生成指示发送给所述多个正存储系统。在所述各个正存储系统中，所述写入处理部，在接收到所述写入停止要求时，成为写入停止状态，并将写入停止完成发送给所述第一控制部，在写入停止状态的期间，即使接收到写入命令也不会将写入完成返给所述主计算机。

在第三实施方式中，在所述第二实施方式中，所述第一控制部从正存储系统接收到标记生成完成时，对该正存储系统发送写入停止解除要求。在所述各个正存储系统中，所述日志生成部，在响应所述标记生成指示生成了标记时，将标记生成完成发送给所述第一控制部，所述写入处理部在从所述第一控制部接收到写入停止解除要求时，解除所述写入停止状态。

在第四实施方式中，在所述第三实施方式中，所述写入处理部，从成为所述写入停止状态开始经过了一定时间时，即使没有接收到所述写入停止解除要求也会解除该写入停止状态。

在第五实施方式中，所述标记顺序发送部，将所述发送的标记顺序组中包含的一个以上的标记顺序，控制为直到关于写入对象数据的日志号码连续的点为止的标记的标记顺序。

在第六实施方式中，所述第一控制部存在于所述多个正存储系统中的一个正存储系统中，该第一控制部存在的正存储系统，对于其他的正存储系统作为主正存储系统进行动作。

在第七实施方式中，所述第二控制部存在于所述多个副存储系统中的一个副存储系统中，该第二控制部存在的副存储系统，对于其他的副存储系统作为主副存储系统进行动作。

在第八实施方式中，所述第一控制部存在于所述多个正存储系统中的一个正存储系统中，该第一控制部存在的正存储系统，对于其他的正存储系统作为主正存储系统进行动作。所述第二控制部存在于所述多个副存储系统中的一个副存储系统中。该第二控制部存在的副存储系统，对于其他的副存储系统作为主副存储系统进行动作。所述标记顺序选择部，在存在多个所述共同的标记顺序的情况下，选择多个共同的标记顺序中的最大的标记顺序。所述主正存储系统对所述其他的正存储系统发送写入停止要求，在从该其他的正存储系统接收到针对该写入停止要求的写入停止完成时，将所述标记生成指示发送给该其他的正存储系统，在从该其他的正存储系统接收到标记生成完成时，对该其他的正存储系统发送写入停止解除要求。此外，所述标记生成指示和所述写入停止解除要求，还可以总括为一个指示发送给所述其他的正存储系统。在所述其他的正存储系统中，所述写入处理部在接收到所述写入停止要求时，成为写入停止状态，并将写入停止完成发送给所述第一控制部，在写入停止状态的期间，即使接收到写入命令也不会将写入完成返给所述主计算机。所述日志生成部，在响应所述标记生成指示生成了标记时，将标记生成完成发送给所述第一控制部。所述写入处理部在从所述第一控制部接收到写入停止解除要求时，解除所述写入停止状态，在从成为所述写入停止状态开始经过了一定时间时，即使没有接收到所述写入停止解除要求也会解除该写入停止状态。此外，在所述日志生成部接收到对所述标记生成指示和所述写入停止解除要求进行了总括的一个指示时，生成标记，解除写入停止状态，对所述第一控制部发送标记生成完成。

上述的各部，例如可以通过存储器等存储资源构筑。此外，其他各部可以通过硬件、计算机程序或者他们的组合(例如一部分由计算机程序实现，剩余的部分由硬件实现)来构筑。计算机程序被读入到规定的处理器中执行。此外，在为将计算机程序读入到处理器中来执行的信息处理时，可以适当地使用在存储器等硬件上存在的存储区域。此外，计算机程序可以从CD-ROM等存储媒体安装在计算机中，也可以通过网络下载到计算机中。

根据本发明，即使对于象开放式系统的主计算机那样不对写入数据附加写入时刻的主计算机在正存储系统中写入的数据，也可以保持在副存储系统中存储的数据的复制的一致性。

附图说明

图1是本发明一实施方式的系统全体结构图。

图2表示存储系统的硬件结构的例子。

图3表示正存储系统200的构成例子。

图4表示主正存储系统300的构成例子。

图5表示副存储系统400的构成例子。

图6表示主副存储系统500的构成例子。

图7表示写入数据管理信息236的构成例子。

图8表示顺序号码信息238的构成例子。

图9表示写入保留信息239的构成例子。

图10表示正标记号码信息334的构成例子。

图11表示接收完成标记信息438的构成例子。

图12是写入数据接收程序232的流程的一例。

图13是写入数据传输程序234的流程的一例。

图14是正侧主程序332的流程的一例。

图15是写入保留处理的流程的一例。

图16是标记生成处理的流程的一例。

图17表示传输数据接收程序432的流程的一例。

图18表示副侧主程序532的流程的一例。

图19表示副侧主指示接收程序435的流程的一例。

图20表示写入数据反映程序434的流程的一例。

符号说明

100主机算计

200正存储系统

300主正存储系统

400副存储系统

500主副存储系统

具体实施方式

本发明的一实施方式是特开2005-190456号公报公开的技术(特别是该公报中的实施例5的技术)的改良。以下，为方便起见，将该技术称为[基础技术]。

该基础技术是用于在多个正存储系统和多个副存储系统之间不存在主计算机、实现非同步远程复制的技术。在非同步远程复制中，在副存储系统中存储具有一致性的数据成为课题。在该基础技术中，在从多个正存储系统向多个副存储系统传输的写入数据串中适当插入称为[标记]的特殊的数据，由此，副存储系统可以将该标记作为记号存储具有一致性的数据。

在该基础技术中，由于指示标记插入的正存储系统(以下称为主正存储系统)和其他的正存储系统之间的传输路径的暂时故障等，向一部分正存储系统的标记插入指示暂时停止，因此，使标记生成暂时失败。

此时，在该故障继续，指示停止的期间，主正存储系统不从正存储系统接收标记生成完成。因此，当不采取任何措施时，有可能无法处理来自主计算机的写入要求，在主计算机的业务处理自身停止。

作为消除上述问题的一个方法，例如，具有以下的方法：正存储系统即使不生成标记，也会在一定时间后成为可以开始写入处理的状态。但是，此时，由于在没有插入标记的状态下写入数据，所以无法确保多个正存储系统和多个副存储系统之间的数据的一致性。

为了防止该问题，例如，考虑完全停止远程复制自身的方法。但是，如果这样，即使在多个正存储系统中对数据进行了更新，但在多个副存储系统中却完全不对数据进行更新，从故障恢复的观点出发，不能说是理想的方法。

因此，在本实施方式中，构筑一种可以消除以上这些问题的，改良后的远程复制系统。即，在本实施方式中，即使正存储系统之间的传输路径暂时故障，在一部分正存储系统中标记生成暂时失败，也可以确保一致性地继续进行非同步远程复制。

因此，在本实施方式中构筑了以下的远程复制系统。该远程复制系统的概要如下。在以下的说明中，在多个正存储系统中，将输出标记生成指示的正存储系统称为[主正存储系统]，将不是这样的其他的正存储系统简单地称为[正存储系统]。此外，在多个副存储系统中，将其中一个设为[主副存储系统]，将其他的存储系统简单地称为[副存储系统]。

即，各个副存储系统包含标记存储部，该标记存储部，对从正存储系统接收到的日志组中包含的一个或者多个标记进行存储。主副存储系统从包含自身的全部的副存储系统收集在标记存储部中存储的多个标记信息。而且，主副存储系统根据收集到的标记信息，从全部的副存储系统接收到的标记中选择最新的标记，在全部的副存储系统中支持到该标记为止的数据存储。由此，即使一部分标记没有到达一部分副存储系统，也可以继续进行确保一致性的非同步远程复制。

以下，一边使用附图一边对本实施方式进行说明。

图1是本发明一实时方式的系统全体结构图。此外，在以下的说明中，对于同种的要素赋予同一主号码(例如200)，在区别说明这些要素时，使用主号码和子号码(例如200-1、200-2)来进行说明。

一台以上的主计算机100经由存储网络900-1与多个正存储系统200相连接。此外，主正存储系统300经由存储网络900-1与各个正存储系统200相连接。主正存储系统300还经由存储网络900-1与主计算机100相连接。主正存储系统300和正存储系统200可以为多台，正存储系统200也可以为一台。

主正存储系统300是除了正存储系统200具有的功能之外，还具有正侧主功能的存储系统。

各个正存储系统200经由多台副存储系统400和网络连接。此外，主副存储系统500经由存储网络900-2与各个副存储系统400相连接。主副存储系统500和副存储系统400可以为多台，副存储系统200也可以为一台。

主副存储系统500是除了副存储系统400具有的功能之外，还具有副侧主功能的存储系统。

图2表示存储系统的硬件构成例。

该硬件构成例表示本实施方式中包含的存储系统，即正存储系统200、主正存储系统300、副存储系统400以及主副存储系统500的硬件结构。

存储系统具有控制器210、存储器230、I/O端口205、物理卷240、逻辑卷250以及管理装置260。存储系统由控制器210控制。存储器230可以存储由控制器(例如CPU)210执行的计算机程序和该计算机程序使用的数据。此外，存储器230可以使用一部分区域作为暂时保存主计算机100读写的数据的高速缓存。通过I/O端口205与存储网络900连接，与主计算机100交换数据。物理卷240是用于对主计算机100发送来的数据进行存储的物理硬件。作为物理卷240，例如使用硬盘驱动器、闪速存储器装置等非易失性存储装置。逻辑卷250，是由主计算机100执行的应用程序(未图示)为了读写数据指定的单位。在本实施方式中，逻辑卷250如果还具有作为物理卷240本身进行安装的情况，则还具有作为RAID(Redundant Array of Independent(or Inexpensive)Disks)结构，使用多个物理卷240进行安装的情况。关于这样的逻辑卷250的安装，因为是一般的安装方法，所以在本说明书中不进行详细记述。管理装置260是用于维护·管理存储系统的装置。此外，有时还具有对存储系统给予特别的指示的功能。

图3表示正存储系统200的构成例子。

控制器210、存储器230、I/O端口205以及管理装置260与图2说明的相同。

正存储系统200具有一个或者多个数据卷223。数据卷223是主计算机100执行的应用程序用于读写数据的逻辑卷250。数据卷223作为主卷与副存储系统400的副卷成为配对。用于管理该配对的信息虽然没有图示，但存储在存储器230中。

而且，正存储系统200在存储器230中具有写入数据接收程序232、写入数据传输程序234、正主指示接收程序235、写入数据管理信息236、顺序号码信息238以及写入保留信息239。关于他们的结构和处理将在后面进行叙述。

图4表示主正存储系统300的构成例子。

主正存储系统300的基本结构与正存储系统200等同。不同之处在于在存储器230中还具有正侧主程序332、正标记号码信息334。关于他们的结构和处理将在后面进行叙述。

图5表示副存储系统400的构成例子。

控制器210、存储器230、I/O端口205以及管理装置260与图2说明的相同。

副存储系统400具有一个或者多个数据卷223。这里的数据卷223是对正存储系统200具有的数据卷223的复制数据进行保存的逻辑卷250。正存储系统200具有的数据卷223和副存储系统300具有的数据卷223，在数据逻辑卷223彼此间，具有对应关系。即，当选择某个正存储系统200具有的某个数据卷223时，必定存在与其对应的副存储系统300具有的某个数据卷。将这样的数据卷223彼此之间的关系称为卷对。此外，以下为了避免混淆，将正存储系统的数据卷223称为[主卷]，将与其配对的数据卷223称为[辅助卷]。

而且，副存储系统400在存储器230中具有传输数据接收程序432、写入数据反应程序434、副主指示接收程序435、写入数据管理信息236以及接收完成标记信息438。关于他们的结构和处理在后面进行叙述。

图6表示主副存储系统500的构成例子。

主副存储系统500的基本结构与副存储系统400等同。不同之处在于在存储器230中具有副侧主程序532。关于副侧主程序532的处理将在后面进行叙述。

图7表示写入数据管理信息236的构成例子。

写入数据管理信息236由逻辑卷ID、写入地址、写入数据长、写入数据指针、顺序号码以及标记号码构成。关于他们的设定值和设定方法将在后面进行叙述。

图8表示顺序号码信息238的构成例子。

顺序号码信息238包含整数值，例如通过0进行初始化。

图9表示写入保留信息239的构成例子。

写入保留信息239包含真伪值，例如通过0进行初始化。

图10表示正标记号码信息334的构成例子。

正标记号码信息334包含整数值，例如通过0进行初始化。

图11表示接收完成标记信息438的构成例子。

接收完成标记信息438为可以保存一组或多组标记号码和顺序号码的配对的结构。在图11中，例如表示了以下的样子：保存了标记号码1的标记(以后记为标记1)和与其对应的顺序号码101；与标记1对应的顺序号码210；与标记4对应的顺序号码560；与标记5对应的顺序号码1024等。此外，没有保存标记3和与其对应的顺序号码。这表示具有该接收完成标记信息438的副存储系统还没有接收到标记3。

图12是写入数据接收程序232的流程图的一例。以下，在计算机程序成为主语时，实际上是由执行该计算机程序的控制器(例如CPU)进行处理。此外，在以下流程的说明中，酌情省略主语，但这仅限于计算机程序的流程，被省略了主语的动作的主语是计算机程序。

写入数据接收程序232是在正存储系统200以及主正存储系统300接收到来自主机算计100的写入命令时，由控制器210执行的程序。通过本程序，把来自主机算计100的写入命令中包含的写入数据(成为写入对象的数据)写入到由该写入命令指定的主卷中，并且生成与该写入数据对应的写入数据管理信息236，进行向对应的副存储系统(具有与该主卷对应的副卷的副存储系统)400的传输准备。

写入数据接收程序232在接收到来自主机算计100的写入命令时(步骤1000)，将写入命令中包含的写入数据存储在存储器230具有的高速缓存中(步骤1010)。

然后，写入数据接收程序232参照写入保留信息(步骤1020)，如果写入保留信息239为0则进入到步骤1030。在步骤1030中，生成写入数据管理信息236。即，写入数据接收程序232，在写入数据管理信息236的各个字段设定写入命令中包含的卷ID(主卷的ID)、写入地址(例如逻辑块地址)、写入数据长以及存储了写入数据的高速缓存的首地址。此外，写入数据管理信息236的标记号码设定为0。而且，对顺序号码信息238保存的数据号码加一(步骤1040)，将加法运算后的值设定为写入数据管理信息236的顺序号码(步骤1050)。

另一方面，在步骤1020中，如果写入保留信息239不是0，则进入到步骤1060。写入数据接收程序232进行等待，直到写入保留信息239变为0或者经过适当的时间(例如预先决定的规定时间)为止。在经过休止时间后，写入数据接收程序232在写入保留信息239中写入0(步骤1070)，并进入到步骤1030。之后的处理与上述相同。

如此，生成与从主机算计100接收到的写入命令对应的写入数据管理信息236。而且，根据写入保留信息239表示的值，延迟写入数据管理信息236的生成。此外，可以让用户设定上述步骤1060中适当的时间。此外，正存储系统200或主正存储系统300可以具备用于用户设定上述适当的时间的接口。

图13表示写入数据传输程序234的流程的一例。

写入数据传输程序234是在存储器230中存在由写入数据接收程序232生成的写入数据管理信息236时，由正存储系统200或者主正存储系统300的控制器执行的程序。通过本程序，根据由写入数据接收程序232生成的写入数据管理信息236，将写入数据传输给副存储系统400。

首先，写入数据传输程序234选择一个适当的写入数据管理信息236(步骤1100)。

然后，写入数据传输程序234根据选择出的写入数据管理信息236求出应该发送给副存储系统400的写入数据和写入数据信息。即，写入数据传输程序234把存储在写入数据指针表示的地址的数据作为写入数据。此外，根据该信息236中的逻辑卷ID，求出副卷的逻辑卷ID，将包含该求出的逻辑卷ID、该信息236中的写入地址、写入数据长、顺序号码、以及标记号码的信息作为写入数据信息。写入数据传输程序234将这些写入数据和写入数据信息发送给副存储系统400(步骤1110)。

在发送成功时(步骤1120)进入到步骤1130，删除写入数据管理信息236。此外，在发送失败时，返回步骤1110，反复进行发送直到成功为止。此外，虽然在后面进行叙述，但写入数据管理信息236有时不表示来自主机算计的写入数据，而是表示称为[标记]的特殊的数据。此时，因为写入数据本身不存在，所以不传输写入数据。

反复进行上述处理直到写入数据管理信息236消失。

如此，根据写入数据管理信息236，主机算计100写入的写入数据被传输给副存储系统400。

图14是正侧主程序332的流程的一例。

正侧主程序332对全部正存储系统200和主正存储系统300(以后将全部的正存储系统200和主正存储系统300简单地称为[全部的正存储系统200、300])的正主指定接收程序235输出指示，由全部的正存储系统200、300生成称为[标记]的特殊的写入数据管理信息236。以该标记为记号，在副侧控制数据存储，由此可以跨越多个副存储系统400、500实现保证了一致性的非同步远程复制。此外，正侧主程序332在执行远程复制的期间，通过主正存储系统300的控制器210继续进行动作。

首先，在步骤1200中，使该程序332的处理中止一定时间。该中止时间的长度可以让远程复制系统的用户指定，主正存储系统300也可以具备用于进行指定的接口。然后，对正标记号码信息334中的标记号码加一(步骤1210)，对全部的正存储系统200、300发布写入保留指示(步骤1220)。而且，等待从全部的正存储系统200、300返回写入保留完成通知。然后，对全部的正存储系统200、300发布标记生成指示(步骤1240)。在标记生成指示中包含在步骤1210中更新的正标记号码信息344。之后，返回步骤1200，之后继续进行本处理。

图15是写入保留处理的流程。

写入保留指示是由正主指示接收程序235执行的处理的一部分。在接收到主正存储系统300发布的写入保留指示时，通过由正存储系统200、300的控制器210执行的处理来进行该写入保留指示。

如果接收到写入保留指示，则对写入保留信息239设定0以外的值(例如1)(步骤1300)，对主正存储系统300回复写入保留完成通知(步骤1310)。

图16是标记生成处理的流程。

标记生成处理是由正主指示接收程序235执行的处理的一部分，是在接收到主正存储系统300发行的标记生成指示时，通过正存储系统200、300的控制器210执行的处理。

在接收到来自主正存储系统300的标记生成指示时，调查是否对写入保留信息239设定了0(步骤1400)。在设定了0时，进入到步骤1450，对主正存储系统300回复处理完成通知。在设定了0以外的值时，进入到步骤1410，生成表示标记的写入数据管理信息236。此时，对写入数据管理信息236包含的逻辑卷ID、写入地址、写入数据长以及高速缓存的首地址设定无效值。此外，对写入数据管理信息236的标记号码设定标记生成指示中包含的标记号码。而且，对顺序号码信息238保存的顺序号码加一(步骤1420)，将加法计算后的值设定为写入数据管理信息236的顺序号码(步骤1430)。然后，对写入保留信息239设定0(步骤1440)，将标记生成处理完成通知回复给主正存储系统300(步骤1450)。

图17表示传输数据接收程序432的流程的一例。

传输数据接收程序432，在副存储系统400接收到由正存储系统200的写入数据传输程序234发送的写入数据以及写入数据信息时，由控制器210执行，在副存储系统400的存储器230具有的高速缓存中存储写入数据，生成与该写入数据对应的写入数据管理信息236。

在接收到由正存储系统200的写入数据传输程序234发送的写入数据以及写入数据信息时，根据接收到的写入数据信息，生成写入数据管理信息236(步骤1500)。即，在写入数据管理信息236的各个字段中设定写入数据信息中包含的逻辑卷ID、写入地址、写入数据长、顺序号码以及标记号码。

然后，调查写入数据管理信息236中包含的标记号码是否为0(步骤1510)，如果为0则进入到步骤1520。此时，发送的写入数据信息是通常的写入数据信息，所以可以取得写入数据。由此，将接收到的写入数据存储在存储器230具有的高速缓存中(步骤1520)，将该高速缓存的首地址设定为写入数据指针(步骤1530)，然后进入到步骤1550。

另一方面，当在步骤1510中标记号码为0以外时，即，接收到的写入数据信息表示标记时，进入到步骤1540。在接收完成标记信息438中设定该标记的标记号码和顺序号码。最后，进入到步骤1550，对存储系统200回复写入数据传输成功。

图18表示副侧主程序532的流程的一例。

副侧主程序532对全部副存储系统400和主副存储系统500(以后将全部的副存储系统400和主副存储系统500简单地称为[全部的副存储系统400、500])的副主指示接收程序435和写入数据反映程序434输出指示，根据标记信息控制全部的副存储系统400、500中的数据存储。此外，副侧主程序532在执行远程复制的期间，通过主副存储系统500的控制器210继续进行动作。

在步骤1600中，对全部的副存储系统400、500指示标记信息应答。在步骤1610中等待从全部的副存储系统400、500应答标记信息。详细的情况将在后面进行叙述，而在应答的标记信息中包含一个以上，典型的为多个的标记号码。然后，在步骤1620中，在来自全部的副存储系统400、500的应答中包含的标记号码中，选择最大的标记号码。例如，在存在3台副存储系统的情况下，从第一台副存储系统应答了标记号码1、3、4、5；从第二台应答了标记号码1、2、4、5；从第三台应答了标记号码1、3、4时，从全部应答中包含的标记号码1、4中选择最大的标记号码4。在步骤1630中，对全部的副存储系统400、500指示直到选择出的标记号码为止的数据存储，然后返回步骤1600。之后继续进行处理。

图19表示副侧主指示接收程序435的流程的一例。

副侧主指示接收程序435是在接收到主副存储系统500发布的标记信息应答指示时，由副存储系统400、500的控制器210执行的处理。

在接收到来自主副存储系统500的标记信息应答指示时，从存储器230中存储的写入数据管理信息236包含的顺序号码中求出连续的顺序号码的最大值(步骤1700)。例如，当存在包含顺序号码700、701、702、705、707的写入数据管理信息236时，求出的顺序号码为702。

然后，参照接收完成标记信息438，求出全部的与步骤1700中求出的顺序号码以下的顺序号码对应的标记号码(步骤1710)。例如，在接收完成标记信息438为图11所示的状态，求出的顺序号码为上述的702时，求出的标记号码为1、2、4三个。最后，在步骤1720中，对主副存储系统500应答全部求出的标记号码。

图20表示写入数据反映程序434的流程的一例。

写入数据反映程序434是在接收到主副存储系统500发布的数据存储指示时，由副存储系统400、500的控制器210执行的处理。

在接收到来自主副存储系统500的数据存储指示时，查找具有该指示中的标记号码的接收完成标记信息438的条目，求出与该标记号码对应的顺序号码(步骤1800)。然后，删除具有所指示的标记号码以下的标记号码的接收完成标记信息438的条目(步骤1810)。然后，选择包含所求出的顺序号码以下的顺序号码的全部写入数据管理信息236，并且在写入数据管理信息236所包含的逻辑卷ID、写入地址以及写入数据长表示的副卷的区域中存储写入数据指针指示的写入数据，如果存储结束，则删除该写入数据存储信息236。

如此，在主副存储系统500中收集各个副存储系统400接收到的不仅是最新而且是全部(即，如上所述，顺序号码连续的范围内的标记号码)的标记。主副存储系统500把指定共同的标记号码中最大的标记号码的数据存储指示发送给全部副存储系统400、500。由此，保证全部的副存储系统400、500接收到存储指示中包含的标记号码。由此，即使在缺少一部分标记的状态下继续进行非同步远程复制，也可以确保一致性。

以上对本发明的最佳实施方式进行了说明，但他们只是用于说明本发明的例子，并不是将本发明的范围限定于该实施方式。本发明可以通过其他各种方式来实施。例如，并不限于存储网络900，用其他的方法也可以连接各个存储系统。

Claims (10)

1.一种远程复制系统，其特征在于，

具备：

从主计算机接收写入命令的多个正存储系统；

控制所述多个正存储系统的第一控制部；

分别与所述多个正存储系统连接的多个副存储系统；以及

控制所述多个副存储系统的第二控制部；

所述第一控制部，将标记生成指示发送给所述多个正存储系统，上述标记生成指示包含表示标记的生成顺序的标记顺序；

所述多个正存储系统的各自，具备：

主存储装置；

日志存储区域；

把按照来自所述主计算机的写入命令的写入对象数据写入所述主存储装置的写入处理部；

生成包含该写入对象数据本身在内的日志、即写入日志，并将其存储在所述日志存储区域中的日志生成部；以及

将所述日志存储区域内的日志，发送给具备辅助存储装置的副存储系统的日志发送部，上述辅助存储装置与所述主存储装置构成配对；

所述标记与所述写入日志不同，是不包含写入对象数据本身的日志；

所述日志生成部，在生成的写入日志中包含表示该写入日志的生成顺序的日志顺序，在从所述第一控制部接收到所述标记生成指示时，生成包含在该标记生成指示中包含的标记顺序的标记，并将其存储在所述日志存储区域中；

所述多个副存储系统的各自，具备：

辅助存储装置；

把从正存储系统接收到的标记中包含的标记顺序储存在标记顺序信息中的标记顺序存储部；

响应来自所述第二控制部的标记顺序要求，将作为所述标记顺序信息中的一个以上的标记顺序的标记顺序组，发送给所述第二控制部的标记顺序发送部；以及

按照来自所述第二控制部的数据存储指示，根据从正存储系统接收到的日志，将与该日志对应的写入对象数据，存储在所述辅助存储装置中的数据存储部；

所述第二控制部，具备：

将作为所述标记顺序信息的要求的所述标记顺序要求分别发送给所述多个副存储系统的标记顺序要求部；

从所述多个副存储系统分别接收多个标记顺序组，选择所述全部标记顺序组中包含的共同的标记顺序的标记顺序选择部；以及

数据存储指示部，把数据存储指示发送给所述多个副存储系统，指示所述多个副存储系统存储直到所述选择出的标记顺序为止的数据。

2.根据权利要求1所述的远程复制系统，其特征在于，

所述标记顺序选择部，在存在多个所述共同的标记顺序的情况下，选择多个共同的标记顺序中的最大的标记顺序。

3.根据权利要求1所述的远程复制系统，其特征在于，

所述第一控制部，对所述多个正存储系统发送写入停止要求，在从所述多个正存储系统接收到针对该写入停止要求的写入停止完成时，将所述标记生成指示发送给所述多个正存储系统；

在所述各个正存储系统中，所述写入处理部，在接收到所述写入停止要求时，成为写入停止状态，并将写入停止完成发送给所述第一控制部，在写入停止状态的期间，即使接收到写入命令也不将写入完成返给所述主计算机。

4.根据权利要求3所述的远程复制系统，其特征在于，

所述第一控制部，在从正存储系统接收到标记生成完成时，对该正存储系统发送写入停止解除要求；

在所述各个正存储系统中，所述日志生成部，响应所述标记生成指示生成了标记时，将标记生成完成发送给所述第一控制部，所述写入处理部，在从所述第一控制部接收到写入停止解除要求时，解除所述写入停止状态。

5.根据权利要求4所述的远程复制系统，其特征在于，

所述写入处理部，从成为所述写入停止状态开始经过了一定时间时，即使没有接收到所述写入停止解除要求也解除该写入停止状态。

6.根据权利要求1所述的远程复制系统，其特征在于，

所述标记顺序发送部，将所述发送的标记顺序组中包含的一个以上的标记顺序控制为直到关于写入对象数据的日志号码连续的点为止的标记的标记顺序。

7.根据权利要求1所述的远程复制系统，其特征在于，

所述第一控制部，存在于所述多个正存储系统中的一个正存储系统中，该第一控制部存在的正存储系统，对于其他的正存储系统作为主正存储系统进行动作。

8.根据权利要求1所述的远程复制系统，其特征在于，

所述第二控制部，存在于所述多个副存储系统中的一个副存储系统中，该第二控制部存在的副存储系统，对于其他的副存储系统作为主副存储系统进行动作。

9.根据权利要求1所述的远程复制系统，其特征在于，

所述第一控制部，存在于所述多个正存储系统中的一个正存储系统中，该第一控制部存在的正存储系统，对于其他的正存储系统作为主正存储系统进行动作；

所述第二控制部，存在于所述多个副存储系统中的一个副存储系统中，该第二控制部存在的副存储系统，对于其他的副存储系统作为主副存储系统进行动作；

所述标记顺序选择部，在存在多个所述共同的标记顺序的情况下，选择多个共同的标记顺序中的最大的标记顺序；

所述主正存储系统，对所述其他的正存储系统发送写入停止要求，在从该其他的正存储系统接收到针对该写入停止要求的写入停止完成时，将所述标记生成指示发送给该其他的正存储系统，在从该其他的正存储系统接收到标记生成完成时，对该其他的正存储系统发送写入停止解除要求；

在所述其他的正存储系统中，所述写入处理部，在接收到所述写入停止要求时，成为写入停止状态，并将写入停止完成发送给所述第一控制部，在写入停止状态的期间，即使接收到写入命令也不将写入完成返给所述主计算机，所述日志生成部，响应所述标记生成指示生成了标记时，将标记生成完成发送给所述第一控制部，所述写入处理部，在从所述第一控制部接收到写入停止解除要求时，解除所述写入停止状态，在从成为所述写入停止状态开始经过了一定时间时，即使没有接收到所述写入停止解除要求也解除该写入停止状态。

10.一种远程复制方法，其由具备从主计算机接收写入命令的多个正存储系统、控制所述多个正存储系统的第一控制部、分别与所述多个正存储系统连接的多个副存储系统、以及控制所述多个副存储系统的第二控制部的远程复制系统实现，其特征在于，

所述第一控制部，将标记生成指示发送给所述多个正存储系统，上述标记生成指示包含表示标记的生成顺序的标记顺序；

所述多个正存储系统的各自，在从主计算机接收到写入命令时，将按照该写入命令的写入对象数据写入所述正存储系统的主存储装置中，生成包含该写入对象数据本身在内的日志、即写入日志，在生成的写入日志中包含表示该写入日志的生成顺序的日志顺序，将该生成的写入日志存储在所述正存储系统的日志存储区域中，另一方面，在从所述第一控制部接收到所述标记生成指示时，生成包含在该标记生成指示中包含的标记顺序的日志、即标记，并将其存储在所述日志存储区域中；

所述多个正存储系统的各自，将所述日志存储区域内的日志发送给具备辅助存储装置的副存储系统，该辅助存储装置与所述主存储装置构成配对；

所述各个副存储系统把从正存储系统接收到的标记中包含的标记顺序储存在标记顺序信息中；

所述第二控制部分别向所述多个副存储系统发送作为所述标记顺序信息的要求的所述标记顺序要求；

所述各个副存储系统，响应来自所述第二控制部的标记顺序要求，将作为所述标记顺序信息中一个以上的标记顺序的标记顺序组发送给所述第二控制部；

所述第二控制部，从所述多个副存储系统分别接收多个标记顺序组，选择全部的所述多个标记顺序组中包含的共同的标记顺序，对所述多个副存储系统发送数据存储指示，指示所述多个副存储系统存储直到所述选择出的标记顺序为止的数据；

所述多个副存储系统的各自，按照来自所述第二控制部的数据存储指示，根据从正存储系统接收到的日志，将与该日志对应的写入对象数据存储在所述辅助存储装置中。

Images