JP2006072635A - データ処理システムおよびそのコピー処理方法 - Google Patents

Abstract

【課題】 災害発生時に長距離とデータ消失なしを同時に実現することができるデータ処理システムのコピー処理技術を提供する。
【解決手段】 プロダクションサイト、ローカルサイト、リモートサイトにおいて、プロダクションサイトのディスクアレイ装置６００からリモートサイトのディスクアレイ装置６２０へのリモートコピーを、ローカルサイトのディスクアレイ装置６１０を中継し、同期リモートコピーと非同期リモートコピーとを組み合わせることにより、長距離でデータロスなしによるリモートコピーを実現する。また、ローカルサイト、リモートサイトのディスクアレイ装置６１０，６２０では、レプリカ機能によるコピーを行う。万一、プロダクションサイトが被災した場合、同じデータを持つローカルサイトと、プロダクションサイトから長距離離れたリモートサイトにて業務を継続することができる。
【選択図】 図２

Description

本発明は、複数のディスクアレイ装置を有するデータ処理システムのコピー処理技術に関し、特に、災害発生時に長距離とデータ消失なしを同時に実現するための処理に適用して有効な技術に関する。

本発明者が検討したところによれば、従来のデータ処理システムのコピー処理技術に関しては、以下のような技術が考えられる。

たとえば、近年、顧客に対して常に継続したサービスを提供するために、データを記憶するストレージ装置などのディスクアレイ装置に障害が発生した場合でもサービスを提供できるように、複数のディスクアレイ装置間でのデータコピーに関する技術が提案され、特にリモートサイト間でのデータコピーおよび障害時のデータコピーの継続・再開のための技術が重要となっている。たとえば、複数のディスクアレイ装置を有するデータ処理システムにおいて、第１のディスクアレイ装置に格納された情報を第２および第３のディスクアレイ装置にコピーする技術として、特許文献１に記載される技術などがある。

この特許文献１には、ローカル／プロダクションサイト、ファーストリモートサイト、セカンドリモートサイトにそれぞれディスクアレイ装置を設け、この３つのディスクアレイ装置間で、ローカル／プロダクションサイトのディスクアレイ装置が、このディスクアレイ装置に格納されたデータをファーストリモートサイトのディスクアレイ装置にコピーするために転送し、さらにファーストリモートサイトのディスクアレイ装置が、転送されてきたデータを格納するとともにセカンドリモートサイトのディスクアレイ装置にコピーするために転送し、このセカンドリモートサイトのディスクアレイ装置が、転送されてきたデータを格納することによって、データを冗長化させる技術が開示されている。
米国特許第６２０９００２号明細書

ところで、前記のような本発明者が検討した従来のデータ処理システムのコピー処理技術に関して、本発明者が検討した結果、以下のようなことが明らかとなった。

たとえば、前記特許文献１では、ローカル／プロダクションサイト、ファーストリモートサイト、セカンドリモートサイトのうち、特にファーストリモートサイトのディスクアレイ装置の動作処理に着目した技術であり、また、この際のコピー処理は、ローカル／プロダクションサイトのディスクアレイ装置からファーストリモートサイトのディスクアレイ装置へ、さらにファーストリモートサイトのディスクアレイ装置からセカンドリモートサイトのディスクアレイ装置へと、一方向のみのデータ転送に関するものであり、双方向へのデータ転送を考慮したものではない。

また、従来のデータ処理システムのコピー処理技術では、災害発生時に長距離とデータ消失なしを同時に実現することができない。すなわち、２サイト間の同期リモートコピーでは、同期処理であるためにデータロスは発生しないが、距離が長くなると処理が遅延する。また、２サイト間の非同期リモートコピーでは、距離は長くできるが、仕掛かり中のデータが失われることがある。

そこで、本発明の目的は、災害発生時に長距離とデータ消失なしを同時に実現することができるデータ処理システムのコピー処理技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明は、データを格納する複数の論理ボリュームが設定される記憶デバイスと、記憶デバイスに設定される論理ボリュームにデータを格納する制御を行う制御部とを備えた複数のディスクアレイ装置を有し、複数のディスクアレイ装置のうち、少なくとも、第１のディスクアレイ装置と第２のディスクアレイ装置と第３のディスクアレイ装置とを有し、第１のディスクアレイ装置は第１のサイトに配置され、第２のディスクアレイ装置は第２のサイトに配置され、第３のディスクアレイ装置は第３のサイトに配置され、第１のディスクアレイ装置と第２のディスクアレイ装置と第３のディスクアレイ装置との相互間で双方向にデータ転送が可能なデータ処理システム、およびそのコピー処理方法に適用され、以下のような特徴を有するものである。

すなわち、本発明において、第１のディスクアレイ装置の制御部は、第１のディスクアレイ装置に接続された上位装置から発行されるリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、第２のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は第２のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行う機能を有する。第２のディスクアレイ装置の制御部は、第１のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、第３のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は第３のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行う機能を有する。第３のディスクアレイ装置の制御部は、第２のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、自装置内で処理を行う機能を有するものである。

特に、上位装置から発行されるリモートコマンド機能を持つコマンドは、第１のディスクアレイ装置に対する同期リモートコピーの第１の制御コマンドと、第２のディスクアレイ装置に対する非同期リモートコピーの第２の制御コマンドおよびレプリカ機能の第３の制御コマンドと、第３のディスクアレイ装置に対するレプリカ機能の第４の制御コマンドとを含む。そして、第１のディスクアレイ装置は第１の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、第２のディスクアレイ装置は第２の制御コマンドおよび第３の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、第３のディスクアレイ装置は第４の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有するものである。

さらに、第２のディスクアレイ装置から第３のディスクアレイ装置へのデータ移動は、（ａ）第２の論理ボリュームと第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）第３の論理ボリュームと第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、（ｃ）第２の論理ボリュームと第３の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ状態、（ｄ）第４の論理ボリュームと第５の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ＆Ｓｐｌｉｔ状態、を繰り返して実施するものである。

また、災害発生により第１のディスクアレイ装置が機能停止した場合は、第２の論理ボリュームのデータを、（ａ）第２の論理ボリュームと第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）第３の論理ボリュームと第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、を実施して第３のディスクアレイ装置に移動し、第３のディスクアレイ装置にて業務を再開する。そして、第１のディスクアレイ装置が機能停止した場合の復旧時は、第２のディスクアレイ装置から第１のディスクアレイ装置へのデータ回復を実施するものである。

あるいは、災害発生により第１のディスクアレイ装置と第２のディスクアレイ装置とが機能停止した場合は、第４の論理ボリュームまたは第５の論理ボリュームのデータを使用して、第３のディスクアレイ装置にて業務を再開する。そして、第１のディスクアレイ装置と第２のディスクアレイ装置とが機能停止した場合の復旧時は、第３のディスクアレイ装置から第２のディスクアレイ装置へのデータ回復を実施した後、第２のディスクアレイ装置から第１のディスクアレイ装置へのデータ回復を実施するものである。

また、第２の論理ボリュームと第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態にする際のデータコンシステンシーを確保する場合は、第２の論理ボリュームの同期リモートコピーのペア対象となる第１の論理ボリュームへの書き込み動作を一時的に停止させ、この停止状態の間に第２の論理ボリュームと第３の論理ボリュームとの間のレプリカ機能のペア操作をＳｐｌｉｔ状態にする。この第１の論理ボリュームへの書き込み動作を一時的に停止させる場合は、第１の論理ボリュームと同期リモートコピーのグループを構成するペアが存在する全てのディスクアレイ装置に対してＦｒｅｅｚｅコマンドを発行し、このＦｒｅｅｚｅ状態はＲｕｎコマンドを発行して解除するものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明によれば、複数のディスクアレイ装置を有するデータ処理システムにおいて、リモートコピーとレプリカ機能とを組み合わせてデータを転送することで、災害発生時に長距離とデータ消失なしを同時に実現することが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜データ処理システムの全体構成＞
図１により、本実施の形態に係るデータ処理システムの全体構成の一例を説明する。図１はデータ処理システムの全体構成を示すブロック図である。

本実施の形態に係るデータ処理システムにおいて、ディスクアレイ装置６００は、記憶デバイス制御装置１００と記憶デバイス３００とを備える。記憶デバイス制御装置１００は、情報処理装置２００から受信したコマンドに従って記憶デバイス３００に対する制御を行う。たとえば、情報処理装置２００からデータ入出力要求を受信して、記憶デバイス３００に記憶されているデータの入出力のための処理を行う。データは、記憶デバイス３００が備えるディスクドライブにより提供される物理的な記憶領域上の論理的に設定される記憶領域である論理ボリューム（Ｌｏｇｉｃａｌ Ｕｎｉｔ、以下ＬＵとも記す）に記憶されている。また、記憶デバイス制御装置１００は、情報処理装置２００との間、ディスクアレイ装置６００を管理するための各種コマンドの授受も行う。

情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリを備えたコンピュータである。情報処理装置２００が備えるＣＰＵにより各種プログラムが実行されることにより、様々な機能が実現される。情報処理装置２００は、たとえばメインフレームコンピュータであることもあるし、パーソナルコンピュータやワークステーションであることもある。

図１において、情報処理装置（１）〜（３）２００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４００を介して記憶デバイス制御装置１００と接続されている。ＬＡＮ４００は、インターネットとすることもできるし、専用のネットワークとすることもできる。ＬＡＮ４００を介して行われる情報処理装置（１）〜（３）２００と記憶デバイス制御装置１０との間の通信は、たとえばＴＣＰ／ＩＰプロトコルに従って行われる。情報処理装置（１）〜（３）２００からは、ディスクアレイ装置６００に対して、ファイル名指定によるデータアクセス要求が送信される。

記憶デバイス制御装置１００は、チャネル制御部（１）〜（４）１１０を備える。記憶デバイス制御装置１００は、チャネル制御部（１）〜（４）１１０よりＬＡＮ４００を介して情報処理装置（１）〜（３）２００からのファイルアクセス要求を個々に受け付ける。すなわち、チャネル制御部（１）〜（４）１１０は、個々にＬＡＮ４００上のネットワークアドレス（たとえばＩＰアドレス）が割り当てられていて、それぞれが個別にＮＡＳとして振る舞い、個々のＮＡＳがあたかも独立したＮＡＳが存在するかのように、ＮＡＳとしてのサービスを情報処理装置（１）〜（３）２００に提供することができる。そして、これによりディスクアレイ装置６００の統括的な管理が可能となり、各種設定・制御や障害管理、バージョン管理といった保守業務の効率化が図られる。

なお、本実施の形態に係る記憶デバイス制御装置１００のチャネル制御部（１）〜（４）１１０は、一体的にユニット化された回路基板上に形成されたハードウェアおよびこのハードウェアにより実行されるオペレーティングシステム（以下、ＯＳとも記す）やこのＯＳ上で動作するアプリケーションプログラム、あるいはこのハードウェアにより実行される実行可能オブジェクトコードなどのソフトウェアにより実現される。このため、本実施の形態のディスクアレイ装置６００では、柔軟性に富んだシステム運用が可能となり、多様で変化の激しいユーザニーズによりきめ細かなサービスを提供することが可能となる。

情報処理装置（３），（４）２００は、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）５００を介して記憶デバイス制御装置１００と接続されている。ＳＡＮ５００は、記憶デバイス３００が提供する記憶領域におけるデータの管理単位であるブロックを単位として情報処理装置（３），（４）２００との間でデータの授受を行うためのネットワークである。ＳＡＮ５００を介して行われる情報処理装置（３），（４）２００と記憶デバイス制御装置１００との間の通信は、一般にファイバチャネルプロトコルに従って行われる。情報処理装置（３），（４）２００からは、ディスクアレイ装置６００に対して、ファイバチャネルプロトコルに従ってブロック単位のデータアクセス要求が送信される。

記憶デバイス制御装置１００は、チャネル制御部（５），（６）１１０により情報処理装置（３），（４）２００との間で通信を行う。

情報処理装置（５）２００は、ＬＡＮ４００やＳＡＮ５００などのネットワークを介さずに記憶デバイス制御装置１００と接続されている。情報処理装置（５）２００としては、たとえばメインフレームコンピュータとすることができる。情報処理装置（５）２００と記憶デバイス制御装置１００との間の通信は、たとえばＦＩＣＯＮ（Ｆｉｂｒｅ Ｃｏｎｎｅｃｔｉｏｎ）（登録商標）やＥＳＣＯＮ（Ｅｎｔｅｒｐｒｉｓｅ Ｓｙｓｔｅｍ Ｃｏｎｎｅｃｔｉｏｎ）（登録商標）、ＡＣＯＮＡＲＣ（Ａｄｖａｎｃｅｄ Ｃｏｎｎｅｃｔｉｏｎ Ａｒｃｈｉｔｅｃｔｕｒｅ）（登録商標）、ＦＩＢＡＲＣ（Ｆｉｂｒｅ Ｃｏｎｎｅｃｔｉｏｎ Ａｒｃｈｉｔｅｃｔｕｒｅ）（登録商標）などの通信プロトコルに従って行われる。情報処理装置（５）２００からは、ディスクアレイ装置６００に対して、これらの通信プロトコルに従ってブロックアクセス要求が送信される。

記憶デバイス制御装置１００は、チャネル制御部（７），（８）１１０により情報処理装置（５）２００との間で通信を行う。

ＳＡＮ５００には、ディスクアレイ装置６００の設置場所（プロダクションサイト）に比較的近い場所（ローカルサイト）に設置される他のディスクアレイ装置６１０、ディスクアレイ装置６００の設置場所とは遠隔した長距離離れた場所（リモートサイト）に設置される他のディスクアレイ装置６２０が接続している。ディスクアレイ装置６１０，６２０は、レプリケーションまたはリモートコピーの機能におけるデータの複製先の装置として利用される。なお、ディスクアレイ装置６１０，６２０は、ＳＡＮ５００以外にもＡＴＭなどの通信回線によりディスクアレイ装置６００に接続していることもある。この場合には、たとえばチャネル制御部１１０として上記通信回線を利用するためのインタフェース（チャネルエクステンダ）を備えるチャネル制御部１１０に採用される。

＜記憶デバイス＞
記憶デバイス３００は、多数のディスクドライブ（物理ディスク）を備えており、情報処理装置２００に対して記憶領域を提供する。データは、ディスクドライブにより提供される物理的な記憶領域上に論理的に設定される記憶領域であるＬＵに記憶されている。ディスクドライブとしては、たとえばハードディスク装置やフレキシブルディスク装置、半導体記憶装置などの様々なものを用いることができる。なお、記憶デバイス３００は、たとえば複数のディスクドライブによりディスクアレイを構成するようにすることもできる。この場合、情報処理装置２００に対して提供される記憶領域は、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）により管理された複数のディスクドライブにより提供されるようにすることもできる。

記憶デバイス制御装置１００と記憶デバイス３００との間は、図１のように直接に接続される形態とすることもできるし、ネットワークを介して接続するようにすることもできる。さらに、記憶デバイス３００は、記憶デバイス制御装置１００と一体として構成されることもできる。

＜記憶デバイス制御装置＞
記憶デバイス制御装置１００は、図１のように、チャネル制御部１１０、共有メモリ１２０、キャッシュメモリ１３０、ディスク制御部１４０、管理端末１６０、および接続部１５０を備える。

チャネル制御部１１０は、情報処理装置２００との間で通信を行うための通信インタフェースを備え、情報処理装置２００との間でデータ入出力コマンドなどを授受する機能を備える。たとえば、チャネル制御部１１０は、情報処理装置（１）〜（３）２００からのファイルアクセス要求を受け付ける。これにより、ディスクアレイ装置６００はＮＡＳとしてのサービスを情報処理装置（１）〜（３）２００に提供することができる。また、チャネル制御部１１０は、情報処理装置（３），（４）２００からのファイバチャネルプロトコルに従ったブロックアクセス要求を受け付ける。これにより、ディスクアレイ装置６００は高速アクセス可能なデータ記憶サービスを情報処理装置（３），（４）２００に対して提供することができる。また、チャネル制御部１１０は、情報処理装置（５）２００からのＦＩＣＯＮやＥＳＣＯＮ、ＡＣＯＮＡＲＣ、ＦＩＢＥＲＣなどのプロトコルに従ったブロックアクセス要求を受け付ける。これにより、ディスクアレイ装置６００は情報処理装置（５）２００のようなメインフレームコンピュータに対してもデータ記憶サービスを提供することができる。

各チャネル制御部１１０は、管理端末１６０とともに内部ＬＡＮ１５１などの通信網で接続されている。これにより、チャネル制御部１１０に実行させるマイクロプログラムなどを管理端末１６０から送信し、インストールすることが可能となっている。

接続部１５０は、チャネル制御部１１０、共有メモリ１２０、キャッシュメモリ１３０、およびディスク制御部１４０と接続されている。チャネル制御部１１０、共有メモリ１２０、キャッシュメモリ１３０、およびディスク制御部１４０の間でのデータやコマンドの授受は、接続部１５０を介することにより行われる。接続部１５０は、たとえば高速スイッチングによりデータ転送を行う超高速クロスバスイッチなどのスイッチ、またはバスなどで構成される。チャネル制御部１１０同士がスイッチで接続されていることで、個々のコンピュータ上で動作するＮＡＳサーバがＬＡＮを通じて接続する従来の構成に比べてチャネル制御部１１間の通信パフォーマンスが大幅に向上している。また、これにより高速なファイル共有機能や高速ファイルオーバなどが可能となる。

共有メモリ１２０およびキャッシュメモリ１３０は、チャネル制御部１１０、ディスク制御部１４０により共有される記憶メモリである。共有メモリ１２０は、主に制御情報やコマンドなどを記憶するために利用されるのに対して、キャッシュメモリ１３０は、主にデータを記憶するために利用される。

たとえば、あるチャネル制御部１１０が情報処理装置２００から受信したデータ入出力コマンドが書き込みコマンドであった場合には、当該チャネル制御部１１０は書き込みコマンドを共有メモリ１２０に書き込むとともに、情報処理装置２００から受信した書き込みデータをキャッシュメモリ１３０に書き込む。一方、ディスク制御部１４０は、共有メモリ１２０を監視しており、共有メモリ１２０に書き込みコマンドが書き込まれたことを検出すると、当該コマンドに従ってキャッシュメモリ１３０から書き込みデータを読み出して記憶デバイス３００に書き込む。

また、たとえば、あるチャネル制御部１１０が情報処理装置２００から受信したデータ入出力コマンドが読み出しコマンドであった場合には、当該チャネル制御部１１０は、読み出しコマンドを共有メモリ１２０に書き込むとともに、情報処理装置２００から読み出しコマンドによって要求されたデータをキャッシュメモリ１３０から読み出す。仮に、読み出しコマンドによって要求されたデータがキャッシュメモリ１３０に書き込まれていなかった場合、チャネル制御部１１０またはディスク制御部１４０は、読み出しコマンドによって要求されたデータを記憶デバイス３００から読み出して、キャッシュメモリ１３０に書き込む。

なお、上記の本実施の形態においては、共有メモリ１２０およびキャッシュメモリ１３０がチャネル制御部１１０およびディスク制御部１４０に対して独立に設けられていることについて記載されているが、この場合に限られるものではなく、共有メモリ１２０またはキャッシュメモリ１３０がチャネル制御部１１０およびディスク制御部１４０の各々に分散されて設けられることも好ましい。この場合、接続部１５０は、分散された共有メモリ１２０またはキャッシュメモリ１３０を有するチャネル制御部１１０およびディスク制御部１４０を相互に接続させることになる。

ディスク制御部１４０は、記憶デバイス３００の制御を行う。たとえば、上述のように、チャネル制御部１１０が情報処理装置２００から受信したデータ書き込みコマンドに従って記憶デバイス３００へのデータの書き込みを行う。また、チャネル制御部１１０により送信された論理アドレス指定によるＬＵへのデータアクセス要求を、物理アドレス指定による物理ディスクへのデータアクセス要求に変換する。記憶デバイス３００における物理ディスクがＲＡＩＤにより管理されている場合には、ＲＡＩＤ構成に従ったデータのアクセスを行う。また、ディスク制御部１４０は、記憶デバイス３００に記憶されたデータの複製管理の制御やバックアップ制御を行う。さらに、ディスク制御部１４０は、災害発生時のデータ消失防止（ディザスタリカバリ）などを目的として、プロダクションサイトのディスクアレイ装置６００のデータの複製をローカルサイト、リモートサイトに設置された他のディスクアレイ装置６１０，６２０にも記憶する制御（レプリケーション機能、またはリモートコピー機能）なども行う。

各ディスク制御部１４０は、管理端末１６０とともに内部ＬＡＮ１５１などの通信網で接続されており、相互に通信を行うことが可能である。これにより、ディスク制御部１４０に実行させるマイクロプログラムなどを管理端末１６０から送信し、インストールすることが可能となっている。

＜管理端末＞
管理端末１６０は、ディスクアレイ装置６００を保守・管理するためのコンピュータである。管理端末１６０を操作することにより、たとえば記憶デバイス３００内の物理ディスク構成の設定や、ＬＵの設定、チャネル制御部１１０やディスク制御部１４０において実行されるマイクロプログラムのインストールなどを行うことができる。ここで、記憶デバイス３００内の物理ディスク構成の設定としては、たとえば物理ディスクの増設や減設、ＲＡＩＤ構成の変更（ＲＡＩＤ１からＲＡＩＤ５への変更など）などを行うことができる。

さらに、管理端末１６０からは、ディスクアレイ装置６００の動作状態の確認や故障部位の特定、チャネル制御部１１０で実行されるＯＳのインストールなどの作業を行うこともできる。また、管理端末１６０はＬＡＮや電話回線などで外部保守センタと接続されており、管理端末１６０を利用してディスクアレイ装置６００の障害監視を行ったり、障害が発生した場合に迅速に対応することが可能である。障害の発生は、たとえばＯＳやアプリケーションプログラム、ドライバソフトウェアなどから通知される。この通知は、ＨＴＴＰプロトコルやＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）、電子メールなどにより行われる。これらの設定や制御は、管理端末１６０で動作するＷｅｂサーバが提供するＷｅｂページをユーザインタフェースとしてオペレータなどにより行われる。オペレータなどは、管理端末１６０を操作して障害監視する対象や内容の設定、障害通知先の設定などを行うこともできる。

管理端末１６０は、記憶デバイス制御装置１００に内蔵されている形態とすることもできるし、外付けされている形態とすることもできる。また、管理端末１６０は、記憶デバイス制御装置１００および記憶デバイス３００の保守・管理を専用に行うコンピュータとすることもできるし、汎用のコンピュータに保守・管理機能を持たせたものとすることもできる。

＜データ処理システムの要部構成＞
図２により、本実施の形態に係るデータ処理システムの要部構成の一例を説明する。図２はデータ処理システムの要部構成を示す図である。

本実施の形態に係るデータ処理システムは、データを格納する複数の論理ボリュームが設定される記憶デバイス３００と、記憶デバイス３００に設定される論理ボリュームにデータを格納する制御を行う制御部としてのチャネル制御部１１０およびディスク制御部１４０とを備えた複数のディスクアレイ装置を有し、少なくとも、３つのディスクアレイ装置６００，６１０，６２０を有し、第１のディスクアレイ装置６００はプロダクションサイトに配置され、第２のディスクアレイ装置６１０はローカルサイトに配置され、第３のディスクアレイ装置６２０はリモートサイトに配置され、ディスクアレイ装置６００，６１０，６２０の相互間で双方向にデータ転送が可能な構成となっている。

このデータ処理システムの構成において、プロダクションサイトのディスクアレイ装置６００の制御部は、自ディスクアレイ装置６００に接続されたホスト（上位装置＝情報処理装置２００）から発行されるリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、ローカルサイトのディスクアレイ装置６１０へのリモート転送指示コマンドが付加されていた場合はこのディスクアレイ装置６１０に転送し、付加されていない場合は自装置内で処理を行う機能を有する。ローカルサイトのディスクアレイ装置６１０の制御部は、プロダクションサイトのディスクアレイ装置６００から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、リモートサイトのディスクアレイ装置６２０へのリモート転送指示コマンドが付加されていた場合はこのディスクアレイ装置６２０に転送し、付加されていない場合は自装置内で処理を行う機能を有する。リモートサイトのディスクアレイ装置６２０の制御部は、ローカルサイトのディスクアレイ装置６１０から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、自装置内で処理を行う機能を有する。

すなわち、本実施の形態のデータ処理システムの要部構成は、図２に示すように、プロダクションサイト（Ｐｒｏｄｕｃｔｉｏｎ Ｓｉｔｅ）、このプロダクションサイトに比較的近いローカルサイト（Ｌｏｃａｌ Ｓｉｔｅ）、プロダクションサイトと長距離離れたリモートサイト（Ｒｅｍｏｔｅ Ｓｉｔｅ）において、プロダクションサイトのディスクアレイ装置６００からリモートサイトのディスクアレイ装置６２０へのリモートコピーを、ローカルサイトのディスクアレイ装置６１０を中継し、同期リモートコピーと非同期リモートコピーとを組み合わせることにより、長距離でデータロスなしによるリモートコピーを実現する。万一、プロダクションサイトが被災した場合、同じデータを持つローカルサイトと、プロダクションサイトから長距離離れたリモートサイトにて業務を継続することができる。

なお、ここでは、プロダクションサイト、ローカルサイト、リモートサイトにおける“３ Ｄａｔａ Ｃｅｎｔｅｒ”（３ＤＣ） Ｃａｓｃａｄｉｎｇ構成を主に説明するが、４ＤＣや５ＤＣなどの構成においても、後述する状態制御により、３ＤＣと同様に適用することができる。

プロダクションサイトのディスクアレイ装置６００からローカルサイトのディスクアレイ装置６１０への同期リモートコピーとは、ホスト（ＨＯＳＴ）２００からのライトコマンドに同期したリモートコピー方式である。すなわち、ディスクアレイ装置６００とディスクアレイ装置６１０とを跨ぎ、プロダクションサイトのディスクアレイ装置６００のボリューム（正ボリューム）３１０からローカルサイトのディスクアレイ装置６１０のボリューム（副ボリューム）３４０へのコピーが行われる。

ローカルサイトのディスクアレイ装置６１０からリモートサイトのディスクアレイ装置６２０への非同期リモートコピーとは、ホスト２００からのライトコマンドとは非同期にライトデータをリモートサイトに転送するリモートコピー方式である。すなわち、ディスクアレイ装置６１０とディスクアレイ装置６２０とを跨ぎ、ローカルサイトのディスクアレイ装置６１０のボリューム（正ボリューム）３５０からリモートサイトのディスクアレイ装置６２０のボリューム（副ボリューム）３７０へのコピーが行われる。この非同期リモートコピーでは、更新データの順序性を保証している。

また、ローカルサイトのディスクアレイ装置６１０、リモートサイトのディスクアレイ装置６２０では、レプリカ機能によるコピーが行われる。すなわち、ローカルサイトのディスクアレイ装置６１０の内部においては、ボリューム（正ボリューム）３４０からボリューム３５０（副ボリューム）へのコピーが行われ、またリモートサイトのディスクアレイ装置６２０の内部においては、ボリューム（正ボリューム）３７０からボリューム（副ボリューム）３８０へのコピーが行われる。

なお、ホスト２００から発行されるリモートコマンド機能を持つコマンドは、プロダクションサイトのディスクアレイ装置６００に対する同期リモートコピーの制御コマンドと、ローカルサイトのディスクアレイ装置６１０に対する非同期リモートコピーの制御コマンドおよびレプリカ機能の制御コマンドと、リモートサイトのディスクアレイ装置６２０に対するレプリカ機能の制御コマンドとを含み、それぞれ、ディスクアレイ装置６００には同期リモートコピーの制御コマンドを発行するコマンドデバイス用のボリューム３３０、ディスクアレイ装置６１０には非同期リモートコピーの制御コマンドおよびレプリカ機能の制御コマンドを発行するコマンドデバイス用のボリューム３６０、リモートサイトのディスクアレイ装置６２０にはレプリカ機能の制御コマンドを発行するコマンドデバイス用のボリューム３９０が設定されている。

このプロダクションサイト、ローカルサイト、リモートサイトにおけるデータフローの概略は、以下の通りである。

（１）プロダクションサイトの更新データは、同期リモートコピーにてローカルサイトに同期モードで転送される。

（２）ローカルサイトのデータは、レプリカ機能と非同期リモートコピーを介して定期的にリモートサイトに転送される。すなわち、レプリカ機能と非同期リモートコピーを交互に再同期（Ｒｅｓｙｎｃ）→分割（Ｓｐｌｉｔ（Ｓｕｓｐｅｎｄ））を繰り返すことにより、更新差分をローカルサイトのレプリカ機能の副ボリューム、およびリモートサイトの非同期リモートコピーの副ボリュームに移動する。なお、再同期とは、分離されたペアボリュームを正ボリュームで再同期化することであり、また、分割とは、ペア状態を分割して副ボリュームをリード／ライト可能にすることである。

（３）リモートサイトへの更新データの転送は、前述のように定期的コピーであるため、コピー処理におけるデータ順序性は保証されていないため、レプリカ機能により一貫性のあるデータを保持する。

また、これらの制御は、全てプロダクションサイトから行うことができる。本来、ホストからのコマンドは、ホストにつながれたディスクアレイ装置でしか実行できない。すなわち、プロダクションサイトのホストは、プロダクションサイトのディスクアレイ装置にしかコマンドを発行することができない。そこで、リモートコマンド機能を使うことによって、プロダクションサイトに発行したコマンドが、あたかもローカルサイトやリモートサイトで実行することができる。すなわち、プロダクションサイトのホスト２００から、全てのサイトのディスクアレイ装置６００，６１０，６２０を制御し、一元管理することができる。

＜システム構成＞
図３により、本実施の形態に係るデータ処理システムにおいて、ディスクアレイ装置間リンク構成の一例を説明する。図３はディスクアレイ装置間リンク構成を示す図である。なお、図３におけるリンクの丸付き数字は、文章では単に数字のみで記載する。

図３に示すように、ディスクアレイ装置（ＤＫＣ）６００，６１０，６２０間において、プロダクションサイト−ローカルサイト、ローカルサイト−リモートサイトにおける各ディスクアレイ装置間のリンクは、災害時のフェイルオーバ、および災害回復時のフェイルバックを考慮し、双方向リンクの構成を前提とする。なお、ローカルサイトには、ホストを持たない構成を許可するため、リモートコピー、レプリカ機能のペア制御は、通常の業務運用時（プロダクションサイトでの業務運用）に、プロダクションサイトのホスト２００から一括して制御し、災害発生時はリモートサイトから一括してペアを制御する。なお、図３において、ＳＷはスイッチ、ＥＸはエクステンダをそれぞれ表す。

各ディスクアレイ装置６００，６１０，６２０間のリンクの目的は、項番１〜４に分類することができる。項番１は、プロダクションサイト→ローカルサイトのディスクアレイ装置６００，６１０間リンクであり、正常時に使用され、その用途はリンク１→２の同期リモートコピーによるデータ転送と、プロダクションサイトからローカルサイト、リモートサイトのペア制御である。項番２は、ローカルサイト→リモートサイトのディスクアレイ装置６１０，６２０間リンクであり、正常時に使用され、その用途はリンク３→４の非同期リモートコピーによるデータ転送と、プロダクションサイトからリモートサイトのペア制御である。項番３は、リモートサイト→ローカルサイトのディスクアレイ装置６２０，６１０間リンクであり、フェイルオーバ時に使用され、その用途はリモートサイトからプロダクションサイト、ローカルサイトのペア制御と、リンク４→３の非同期リモートコピーによるデータ転送と、リモートサイトからローカルサイトのペア制御である。項番４は、ローカルサイト→プロダクションサイトのディスクアレイ装置６１０，６００間リンクであり、フェイルバック時に使用され、その用途はリンク２→１の同期リモートコピーによるデータ転送と、リモートサイトからローカルサイト、プロダクションサイトのペア制御である。なお、上記項番１〜３の各リンクは、災害発生時に備えて常設する必要があるが、項番４のリンクは、フェイルバック時に必要なパスであり、常設の必要性は必ずしもない。

また、各ディスクアレイ装置６００，６１０，６２０間のリンクにおけるデータ転送と制御指示の経路は、以下の通りである。プロダクションサイトでの通常業務運用では、データ転送経路がプロダクションサイト→ローカルサイト→リモートサイトのリンク１と２であり、制御指示経路がプロダクションサイト→ローカルサイトのリンク１と、プロダクションサイト→（ローカルサイト）→リモートサイトのリンク１と２である。フェイルオーバ／テイクオーバでは、データ転送経路がローカルサイト→リモートサイトのリンク２であり、制御指示経路がリモートサイト→ローカルサイトのリンク３である。リモートサイトでの業務実行では、データ転送経路がリモートサイト→ローカルサイトのリンク３であり、制御指示経路がリモートサイト→ローカルサイトのリンク３である。フェイルバック／テイクバックでは、データ転送経路がリモートサイト→ローカルサイト→プロダクションサイトのリンク３と４であり、制御指示経路がリモートサイト→ローカルサイトのリンク３と、リモートサイト→（ローカルサイト）→プロダクションサイトのリンク３と４である。

＜動作概要＞
図４により、リモートコピー動作の一例を説明する。図４はリモートコピー動作の概念を示す図である。なお、図４におけるボリュームの丸付き数字は、文章では単に数字のみで記載し、また、このボリューム１，２，３，４，５はそれぞれ図２におけるボリューム３１０，３４０，３５０，３７０，３８０に対応するものである。

図４に示すように、３ＤＣ Ｃａｓｃａｄｉｎｇ構成におけるリモートコピー動作においては、前述したように、プロダクションサイトのホスト２００からのライトデータは、プロダクションサイトのディスクアレイ装置６００から、同期リモートコピーによりローカルサイトのディスクアレイ装置６１０にリアルタイムで転送され、ローカルサイトのデータは、レプリカ機能、および非同期リモートコピーのペア状態をＲｅｓｙｎｃ→Ｓｐｌｉｔ（Ｓｕｓｐｅｎｄ）を交互に繰り返すことにより、リモートサイトのディスクアレイ装置６２０に差分データが転送される。以下に、動作概要を示す。

（１）ボリューム１−２間の同期リモートコピーは常時ペア状態である。

（２）ボリューム２−３間のレプリカ機能、ボリューム３−４間の非同期リモートコピー、およびボリューム４−５間のレプリカ機能は、連携して以下の手順で定期的にデータ移動を実施する。（ａ）ボリューム２−３間レプリカ機能をＳｐｌｉｔ（複数ボリューム間のコンシステンシーを保証）、全ボリュームの分割（ボリューム１−２間レプリカ機能状態＝Ｓｐｌｉｔ状態、ボリューム４−５間レプリカ機能状態＝Ｓｐｌｉｔ状態への状態遷移）確認、（ｂ）ボリューム３−４間非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ→リモートサイトへのデータ移動（差分転送）、（ｃ）ボリューム２−３間レプリカ機能をＲｅｓｙｎｃ→プロダクションサイトからの更新データを移動（差分転送）、（ｄ）ボリューム４−５間レプリカ機能をＲｅｓｙｎｃ＆Ｓｐｌｉｔ→非同期リモートコピーのＲｅｓｙｎｃ処理中はコンシステンシーが保証されていないため、コンシステンシーが保証されたデータを保持するためであり、以上の（ａ）〜（ｄ）を繰り返し行う。

（３）災害発生時の動作
たとえば、プロダクションサイト単独の機能停止では、ボリューム２の最新のデータを上記（ａ）〜（ｂ）を実施してリモートサイトに移動し、リモートサイトで業務を再開する。また、プロダクションサイトとローカルサイトの機能停止による地域災害では、ボリューム５または４のデータを使用して、リモートサイトで業務を再開する。ただし、サイクルタイム分のデータが消失する。

以下、具体的な各コピーペア状態制御手順として、（１）初期コピー形成手順、（２）通常運用時のコピー手順、（３）災害発生時、およびプロダクションサイトの保守点検時などのフェイルオーバ手順、（４）災害回復時、およびプロダクションサイトの保守点検終了時などのフェイルバック手順、を示すが、これらペア操作の前提となる各同期リモートコピー、レプリカ機能、非同期リモートコピーのペア状態遷移条件は以下の通りである。

（１）ボリューム２−３間レプリカ機能とボリューム３−４間非同期リモートコピーは同時にＤｕｐｌｅｘ状態にはできず、一方がＳｕｓｐｅｎｄ／Ｓｐｌｉｔ状態の場合のみ他方をＤｕｐｌｅｘとすることができる。

（２）ボリューム３−４間非同期リモートコピーとボリューム４−５間レプリカ機能は同時にＤｕｐｌｅｘとすることができるが、ボリューム３−４間非同期リモートコピーはＲｅｓｙｎｃ→Ｓｕｓｐｅｎｄを繰り返す動作であり、Ｒｅｓｙｎｃ処理ではデータコンシステンシーが保証されないため、一方がＳｕｓｐｅｎｄ／Ｓｐｌｉｔ状態の場合のみ他方をＤｕｐｌｅｘとする。

通常運用時の各ペアの状態を制御するコマンドは、グループ単位の操作を可能とし、一連の動作はホストのストレージ管理ソフトウェアにて構成定義情報に基づき状態を自動的に制御する。

＜初期コピー形成手順＞
図５により、初期コピー形成手順の一例を説明する。図５は初期コピー形成手順におけるペア状態形成手順を示す図である。なお、初期コピー形成手順は、前述した図４を参照して説明する。

システム構築時の初期コピー形成手順は、以下の通りである。

（１）プロダクションサイト→ローカルサイトの同期リモートコピーペア（ボリューム１−２間）確立、（２）ローカルサイト内のレプリカ機能ペア（ボリューム２−３間）確立、（３）ローカルサイト→リモートサイトの非同期リモートコピーペア（ボリューム３−４間）確立、（４）リモートサイト内のレプリカ機能ペア（ボリューム４−５間）確立、の順に実行される。

この初期コピー形成動作の開始前の各ペアの状態と、完了時の各ペアの状態は、以下の通りである。（１）プロダクションサイト→ローカルサイトの同期リモートコピーペアでは、初期コピー前のペア状態はＳｉｍｐｌｅｘで、初期コピー後のペア状態はＤｕｐｌｅｘとなる。同様に、（２）ローカルサイト内のレプリカ機能ペアでは、初期コピー前はＳｉｍｐｌｅｘで初期コピー後はＤｕｐｌｅｘとなる。（３）ローカルサイト→リモートサイトの非同期リモートコピーペアでは、初期コピー前はＳｉｍｐｌｅｘで初期コピー後はＳｕｓｐｅｎｄとなる。（４）リモートサイト内のレプリカ機能ペアでは、初期コピー前はＳｉｍｐｌｅｘで初期コピー後はＤｕｐｌｅｘとなる。

さらに、ペア状態形成手順は、図５のように、初期状態、ボリューム１→２間ペア形成指示、ボリューム２→３間ペア形成指示、ボリューム２→３間Ｓｕｓｐｅｎｄ指示、ボリューム３→４間ペア形成指示、ボリューム３→４間Ｓｕｓｐｅｎｄ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示、ボリューム４→５間ペア形成指示、を実施する。

たとえば、初期状態では、ボリューム１−２間同期リモートコピー、ボリューム２−３間レプリカ機能、ボリューム３−４間非同期リモートコピー、ボリューム４−５間レプリカ機能は、いずれもＳｉｍｐｌｅｘ状態である。そして、ボリューム１→２間ペア形成指示では、ボリューム１−２間同期リモートコピーにおいて、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム２→３間ペア形成指示では、ボリューム２−３間レプリカ機能において、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム２→３間Ｓｕｓｐｅｎｄ指示では、ボリューム２−３間レプリカ機能において、Ｄｕｐｌｅｘ→Ｓｐｌｉｔｔｉｎｇ→Ｓｐｌｉｔとなる。ボリューム３→４間ペア形成指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム３→４間Ｓｕｓｐｅｎｄ指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｄｕｐｌｅｘ→Ｓｕｓｐｅｎｄｉｎｇ→Ｓｕｓｐｅｎｄとなる。ボリューム２→３間Ｒｅｓｙｎｃ指示、ボリューム４→５間ペア形成指示では、ボリューム２−３間レプリカ機能において、Ｓｐｌｉｔ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ（Ｒｅｓｙｎｃｉｎｇ）→Ｄｕｐｌｅｘとなり、ボリューム４−５間レプリカ機能において、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。

なお、ボリューム２→３間Ｓｕｓｐｅｎｄ指示では、データコンシステンシーを保証するため、Ｆｒｅｅｚｅ中にボリューム２−３間レプリカ機能に対してＳｐｌｉｔ指示を行う。なお、Ｆｒｅｅｚｅに関しては後述する。ボリューム３→４間ペア形成指示では、全てのボリューム２−３間レプリカ機能ペアがＳｐｌｉｔ状態に移行した後、ボリューム３−４間非同期リモートコピーに対してＳｕｓｐｅｎｄ指示する必要がある。ボリューム２→３間Ｒｅｓｙｎｃ指示、ボリューム４→５間ペア形成指示では、全てのボリューム３−４間非同期リモートコピーペアがＳｕｓｐｅｎｄ状態に移行した後、ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能を操作する必要がある。

＜通常運用時のコピー手順＞
図６〜図８により、通常運用時のコピー手順の一例を説明する。それぞれ、図６は通常運用時のコピー手順における各ペアの状態遷移を順次実行する手順を示す図、図７はボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＲｅｓｙｎｃ指示を同時に制御する手順を示す図、図８はボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＳｐｌｉｔ、およびＲｅｓｙｎｃ指示を同時に制御する手順を示す図、である。なお、通常運用時のコピー手順は、前述した図４を参照して説明する。

通常運用時のコピー手順は、以下の通りである。

（１）ローカルサイト内レプリカ機能（ボリューム２−３間）をＳｐｌｉｔ（複数ボリューム間のコンシステンシーを保証）→全ボリュームの同期（ボリューム１−２間レプリカ機能状態＝Ｓｐｌｉｔ状態、ボリューム４−５間レプリカ機能状態＝Ｓｐｌｉｔ状態への状態遷移）確認、（２）ローカルサイト→リモートサイトの非同期リモートコピー（ボリューム３−４間）をＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ→リモートサイトへのデータ移動（差分転送）、（３）ローカルサイト内レプリカ機能（ボリューム２−３間）をＲｅｓｙｎｃ→プロダクションサイトからの更新データを移動（差分転送）、（４）リモートサイト内レプリカ機能（ボリューム４−５間）をＲｅｓｙｎｃ＆Ｓｐｌｉｔ→非同期リモートコピーのＲｅｓｙｎｃ処理中はコンシステンシーが保証されておらず、コンシステンシーが保証されたデータを保持するためである。

この通常運用時のコピー動作において、方式１：各ペアの状態遷移を順次実行する手順は図６、方式２：ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＲｅｓｙｎｃ指示を同時に制御する手順は図７、方式３：ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＳｐｌｉｔ、およびＲｅｓｙｎｃ指示を同時に制御する手順は図８の通りである。

方式１：各ペアの状態遷移を順次実行する手順は、図６のように、初期状態、ボリューム４→５間Ｓｐｌｉｔ指示、ボリューム２→３間Ｓｐｌｉｔ指示、ボリューム３→４間Ｒｅｓｙｎｃ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ指示、ボリューム４→５間Ｒｅｓｙｎｃ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示、を実施する。

たとえば、初期状態では、ボリューム１−２間同期リモートコピー、ボリューム２−３間レプリカ機能、ボリューム４−５間レプリカ機能はＤｕｐｌｅｘ状態であり、ボリューム３−４間非同期リモートコピーはＳｕｓｐｅｎｄ状態である。そして、ボリューム４→５間Ｓｐｌｉｔ指示では、ボリューム４−５間レプリカ機能において、Ｄｕｐｌｅｘ→Ｓｐｌｉｔｔｉｎｇ→Ｓｐｌｉｔとなる。ボリューム２→３間Ｓｐｌｉｔ指示では、ボリューム２−３間レプリカ機能において、Ｄｕｐｌｅｘ→Ｓｐｌｉｔｔｉｎｇ→Ｓｐｌｉｔとなる。ボリューム３→４間Ｒｅｓｙｎｃ指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ（Ｒｅｓｙｎｃｉｎｇ）→Ｄｕｐｌｅｘとなる。ボリューム３→４間Ｓｕｓｐｅｎｄ指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｄｕｐｌｅｘ→Ｓｕｓｐｅｎｄｉｎｇ→Ｓｕｓｐｅｎｄとなる。ボリューム４→５間Ｒｅｓｙｎｃ指示では、ボリューム４−５間レプリカ機能において、Ｓｐｌｉｔ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ（Ｒｅｓｙｎｃｉｎｇ）→Ｄｕｐｌｅｘとなる。ボリューム２→３間Ｒｅｓｙｎｃ指示では、ボリューム２−３間レプリカ機能において、Ｓｐｌｉｔ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ（Ｒｅｓｙｎｃｉｎｇ）→Ｄｕｐｌｅｘとなる。

なお、初期状態では、図６のような状態であることを確認して状態遷移を開始する。ボリューム２→３間Ｓｐｌｉｔ指示では、データコンシステンシーを保証するため、Ｆｒｅｅｚｅ中にボリューム２−３間レプリカ機能に対してＳｐｌｉｔ指示を行う。ボリューム３→４間ペアＲｅｓｙｎｃ指示では、全てのボリューム２−３間レプリカ機能ペアがＳｐｌｉｔ状態に移行した後、ボリューム３−４間非同期リモートコピーに対してＳｕｓｐｅｎｄ指示する必要がある。ボリューム４→５間Ｒｅｓｙｎｃ指示では、全てのボリューム３−４間非同期リモートコピーペアがＳｕｓｐｅｎｄ状態に移行した後、ボリューム４−５間レプリカ機能に対してＲｅｓｙｎｃ指示する必要がある。

方式２：ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＲｅｓｙｎｃ指示を同時に制御する手順は、図７のように、初期状態、ボリューム４→５間Ｓｐｌｉｔ指示、ボリューム２→３間Ｓｐｌｉｔ指示、ボリューム３→４間Ｒｅｓｙｎｃ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ指示、ボリューム４→５間Ｒｅｓｙｎｃ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示、を実施する。

なお、初期状態では、図７のような状態であることを確認して状態遷移を開始する。ボリューム２→３間Ｓｐｌｉｔ指示では、データコンシステンシーを保証するため、Ｆｒｅｅｚｅ中にボリューム２−３間レプリカ機能に対してＳｐｌｉｔ指示を行う。ボリューム３→４間ペアＲｅｓｙｎｃ指示では、全てのボリューム２−３間レプリカ機能ペアがＳｐｌｉｔ状態に移行した後、ボリューム３−４間非同期リモートコピーに対してＳｕｓｐｅｎｄ指示する必要がある。ボリューム４→５間Ｒｅｓｙｎｃ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示では、全てのボリューム３−４間非同期リモートコピーペアがＳｕｓｐｅｎｄ状態に移行した後、ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能に対するＲｅｓｙｎｃ指示を行う必要がある。

方式３：ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＳｐｌｉｔ、およびＲｅｓｙｎｃ指示を同時に制御する手順は、図８のように、初期状態、ボリューム２→３間Ｓｐｌｉｔ指示、ボリューム４→５間Ｓｐｌｉｔ指示、ボリューム３→４間Ｒｅｓｙｎｃ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ指示、ボリューム４→５間Ｒｅｓｙｎｃ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示、を実施する。

なお、初期状態では、図８のような状態であることを確認して状態遷移を開始する。ボリューム２→３間Ｓｐｌｉｔ指示、ボリューム４→５間Ｓｐｌｉｔ指示では、データコンシステンシーを保証するため、Ｆｒｅｅｚｅ中にボリューム２−３間レプリカ機能に対してＳｐｌｉｔ指示を行う。なお、ボリューム４−５間レプリカ機能の操作はＦｒｅｅｚｅ中に行う必要はない。ボリューム３→４間ペアＲｅｓｙｎｃ指示では、全てのボリューム２−３間レプリカ機能ペアがＳｐｌｉｔ状態に移行した後、ボリューム３−４間非同期リモートコピーに対してＳｕｓｐｅｎｄ指示する必要がある。ボリューム４→５間Ｒｅｓｙｎｃ指示、ボリューム２→３間Ｒｅｓｙｎｃ指示では、全てのボリューム３−４間非同期リモートコピーペアがＳｕｓｐｅｎｄ状態に移行した後、ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能に対するＲｅｓｙｎｃ指示を行う必要がある。

＜災害発生時の回復手順＞
図９〜図１６により、災害発生時の回復手順の一例を説明する。それぞれ、図９は災害発生時の回復手順におけるファイルオーバ開始状態を示す図、図１０はデータ移動開始状態へのペア操作処理を示す図、図１１はプロダクションサイト機能停止時の回復手順を示す図、図１２はデータ移動完了時点の各ペア状態を示す図、図１３はリモートサイトでのアプリケーション起動時の各ペア状態を示す図、図１４はアプリケーション立ち上げのための準備手順を示す図、図１５はパターン１〜４の場合の手順を示す図、図１６はパターン５の場合の手順を示す図、である。

災害が発生した場合の回復手順（最新データをリモートサイトに確保する手順）は、以下の通りである。なお、災害の範囲、具体的には被災範囲がプロダクションサイトのみか、プロダクションサイト＋ローカルサイトにより回復手順が異なる。

＜プロダクションサイト被災時の回復手順＞
プロダクションサイトが災害などで機能停止した場合の回復手順は、以下のようになる。

（Ａ）各ペアの状態が安定するまで待つ。これは、各ペアの状態がＳｐｌｉｔｔｉｎｇ、Ｓｕｓｐｅｎｄｉｎｇ、Ｒｅｓｙｎｃｉｎｇの状態では、それぞれのペアが確定していないためである。

（Ｂ）ボリューム２のデータをリモートサイトのボリューム４に移動し、ボリューム４にてアプリケーションの立ち上げを実施する。これは、プロダクションサイトのみの機能停止のため、最新データはボリューム２に存在する。しかし、ボリューム２のデータの移動中にローカルサイトが機能停止すると、ボリューム４が不整合な状態になるため、移動前にボリューム５に整合性の取れたデータを移動しておく。なお、ボリューム２のデータをボリューム４へ移動する手順としては、通常のデータ移動サイクルと同様の手順を用いる。

（１）移動準備
先に示したように、最新のデータはボリューム２に存在するため、実行途中のデータ移動サイクルを中断（実際は、プロダクションサイトのストレージ管理ソフトウェアが機能停止するため、データ移動サイクルは各ペアの状態が確定した時点で停止）しているため、各ペアの状態を、図９に示すように、データ移動開始状態に遷移させる必要がある。すなわち、ボリューム１→２間同期リモートコピーは不定（？）、ボリューム２→３間レプリカ機能はＤｕｐｌｅｘ、ボリューム３→４間非同期リモートコピーはＳｕｓｐｅｎｄ、ボリューム４→５間レプリカ機能はＳｐｌｉｔ、にする。このデータ移動開始状態へのペア操作処理は、図１０のように、状態として、回復開始と、Ａ，Ｃ，Ｅ，Ｌ，Ｎ，Ｔ，Ｖがある。

なお、実際のシステムでは、複数のレプリカ機能のペアをまとめてボリューム２→３と扱う。この場合、同時に全てのペアに対してＳｐｌｉｔやＲｅｓｙｎｃ命令を出すことはできないため、ペアの一部がＤｕｐｌｅｘで、残りがＳｐｌｉｔの状態が発生する。こうした状態を残したままのフェイルオーバは状態を複雑にするため、上記のペア操作処理の前に全てがＤｕｐｌｅｘ（以後、全Ｄｕｐｌｅｘと呼ぶ）にする。全てＳｐｌｉｔにすると、ボリューム３のデータは不整合な状態となる。同様の問題がボリューム３→４、ボリューム４→５にも発生するので、同じく全Ｄｕｐｌｅｘにする。

（２）ボリューム５へのデータ移動
ボリューム５へのデータ移動は、上記の移動準備のペア操作で既に行っているため、何もする必要はない。移動準備前にボリューム４→５がＳｐｌｉｔならば既にボリューム５には整合性の取れたデータが存在し、ボリューム４→５がＤｕｐｌｅｘの場合はボリューム４に整合性の取れたデータが存在するため、上記移動準備のペア操作でボリューム５に移動するためである。

（３）データ移動
次の回復開始状態からのペア操作手順を、図１１に示す。プロダクションサイト機能停止時の回復手順は、図１１のように、回復開始状態、ボリューム２→３間Ｓｐｌｉｔ指示、ボリューム３→４間Ｒｅｓｙｎｃ指示、を実施する。

たとえば、回復開始状態では、ボリューム１−２間同期リモートコピーは不定（？）、ボリューム２−３間レプリカ機能はＤｕｐｌｅｘ、ボリューム３−４間非同期リモートコピーはＳｕｓｐｅｎｄ、ボリューム４−５間レプリカ機能はＳｐｌｉｔ状態である。そして、ボリューム２→３間Ｓｐｌｉｔ指示では、ボリューム２−３間レプリカ機能において、Ｄｕｐｌｅｘ→Ｓｐｌｉｔｔｉｎｇ→Ｓｐｌｉｔとなる。ボリューム３→４間Ｒｅｓｙｎｃ指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ（Ｒｅｓｙｎｃｉｎｇ）→Ｄｕｐｌｅｘとなる。

なお、ボリューム３→４間Ｒｅｓｙｎｃ指示では、全てのボリューム２−３間レプリカ機能ペアがＳｐｌｉｔ状態に移行した後、ボリューム３−４間非同期リモートコピーに対してＳｕｓｐｅｎｄ指示する必要がある。

（４）リモートサイトでのアプリケーション起動
上記（２）のデータ移動が完了した時点で各ボリュームのペア状態は、図１２のようになっている。すなわち、ボリューム１→２間同期リモートコピーは不定（？）、ボリューム２→３間レプリカ機能はＳｐｌｉｔ、ボリューム３→４間非同期リモートコピーはＤｕｐｌｅｘ、ボリューム４→５間レプリカ機能はＳｐｌｉｔ、である。

したがって、ボリューム４を用いてアプリケーションを起動するためには、ボリューム４のペア状態を解除しなければならない。リモートサイトでアプリケーションを動作させている各ペアの状態は、図１３の状態である。すなわち、リモートサイトからローカルサイトへのコピーにおいて、ボリューム４→３間非同期リモートコピーはＤｕｐｌｅｘ、ボリューム３→２間レプリカ機能はＤｕｐｌｅｘ、ボリューム２→１間同期リモートコピーはＳｉｍｐｌｅｘ、である。

以下に、リモートサイトでのアプリケーション立ち上げのための準備手順を、図１４に示す。この準備手順は、データ移動完了状態、ボリューム１→２間Ｄｅｌｅｔｅ指示、ボリューム２→３間Ｄｅｌｅｔｅ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示、ボリューム３→４間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示、ボリューム３→２間ペア形成指示、を実施する。Ｒｅｖｅｒｓｅモードとは、正ボリューム（Ｐ−Ｖｏｌ）／副ボリューム（Ｓ−Ｖｏｌ）を逆転させる操作である。

たとえば、データ移動完了状態では、ボリューム１−２間同期リモートコピーは不定（？）、ボリューム２−３間レプリカ機能はＳｐｌｉｔ、ボリューム３−４間非同期リモートコピーはＤｕｐｌｅｘ、ボリューム４−５間レプリカ機能はＳｐｌｉｔ状態である。そして、ボリューム１→２間Ｄｅｌｅｔｅ指示では、ボリューム１−２間同期リモートコピーにおいて、不定（？）→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム２→３間Ｄｅｌｅｔｅ指示では、ボリューム２−３間レプリカ機能において、Ｓｐｌｉｔ→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｄｕｐｌｅｘ→Ｓｕｓｐｅｎｄｉｎｇ→Ｓｕｓｐｅｎｄとなる。ボリューム３→４間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ→Ｒｅｓｙｎｃｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム３→２間ペア形成指示では、ボリューム２−３間レプリカ機能において、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。なお、ボリューム３→４間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示では、リモートサイトのアプリケーション動作可能状態である。

＜プロダクションサイト、およびリモートサイトが被災した場合の回復手順＞
プロダクションサイトとローカルサイトが被災し、機能が停止した場合には、リモートサイトにあるボリューム４、またはボリューム５のいずれかのデータを用いる。ボリューム４、またはボリューム５のいずれのデータを用いるかは、どちらのデータがより新しいか、またはデータコンシステンシーが保証されているかに依存する。以下に、この判断方法を示す。

たとえば、パターン１は、ボリューム３−４間非同期リモートコピーの状態がＳｕｓｐｅｎｄ、ボリューム４−５間レプリカ機能の状態がＳｐｌｉｔの場合、データ状態がボリューム４とボリューム５が同じか、またはボリューム４が新しい状態であるので、アプリケーション使用データとしてボリューム４のデータを用いる。同様に、パターン２は、それぞれ、Ｓｕｓｐｅｎｄ、Ｒｅｓｙｎｃｉｎｇの場合、状態が確定した後はボリューム４とボリューム５が同じ状態であるので、ボリューム４を用いる。パターン３は、それぞれ、Ｓｕｓｐｅｎｄ、Ｄｕｐｌｅｘの場合、ボリューム４とボリューム５が同じ状態であるので、ボリューム４を用いる。パターン４は、それぞれ、Ｓｕｓｐｅｎｄ、Ｓｐｌｉｔｔｉｎｇの場合、状態が確定した後はボリューム４とボリューム５が同じ状態であるので、ボリューム４を用いる。

また、パターン５は、それぞれ、Ｓｕｓｐｅｎｄ以外（障害Ｓｕｓｐｅｎｄなど）、Ｓｐｌｉｔの場合、ボリューム３−４間非同期リモートコピーにおいてボリューム３のデータをボリューム４に移動中の状態であり、ボリューム４のデータコンシステンシーが保証されていないので、ボリューム５を用いる。パターン６は、それぞれ、Ｓｕｓｐｅｎｄ以外（障害Ｓｕｓｐｅｎｄなど）、Ｓｐｌｉｔ以外（Ｄｕｐｌｅｘ、Ｓｉｍｐｌｅｘなど）の場合、通常運用時には発生しない状態だが、ペア障害から２つのサイトが被災した場合にあり得る状態である。パターン７は、それぞれ、Ｓｕｓｐｅｎｄ、障害Ｓｕｓｐｅｎｄの場合、通常運用時には発生しない状態だが、ペア障害から２つのサイトが被災した場合にあり得る状態である。この障害部位を詳細に解析すれば、ボリューム４、５のどちらかを使える可能性があるが、ペア状態だけでは区別がつかないため、あきらめる。このパターン６と７では、アプリケーション使用データとして用いられるボリュームはない。

次に、アプリケーション起動のための手順を示す。上記パターン１〜４においては、ボリューム４のデータを用いてリモートサイトでのアプリケーションの立ち上げを実施し、パターン５ではボリューム５のデータを用いる。この判定は、ボリューム３−４間非同期リモートコピーとボリューム４−５間レプリカ機能の状態を判定することにより可能である。すなわち、ボリューム３−４間が通常Ｓｕｓｐｅｎｄ、かつボリューム４−５間が障害Ｓｕｓｐｅｎｄの場合はボリューム４を用い、ボリューム３−４間が通常Ｓｕｓｐｅｎｄ以外、かつボリューム４−５間が通常Ｓｕｓｐｅｎｄの場合はボリューム５を用いる。

これにより、ボリューム４、またはボリューム５のいずれのデータを用いるかを決定した後、以下の手順を実施する。

パターン１〜４では、図１５のように、障害発生状態、ボリューム４→５間Ｄｅｌｅｔｅ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示、を実施する。

たとえば、障害発生状態では、ボリューム３−４間非同期リモートコピーはＳｕｓｐｅｎｄ、ボリューム４−５間レプリカ機能はＳｐｌｉｔ／Ｒｅｓｙｎｃｉｎｇ／Ｄｕｐｌｅｘ／Ｓｐｌｉｔｔｉｎｇ状態である。そして、ボリューム４→５間Ｄｅｌｅｔｅ指示では、ボリューム４−５間レプリカ機能において、Ｓｐｌｉｔ／Ｒｅｓｙｎｃｉｎｇ／Ｄｕｐｌｅｘ／Ｓｐｌｉｔｔｉｎｇ→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ→Ｓｕｓｐｅｎｄｉｎｇ→Ｓｕｓｐｅｎｄとなる。なお、ボリューム４→５間Ｄｅｌｅｔｅ指示では、Ｒｅｓｙｎｃｉｎｇ／Ｓｐｌｉｔｔｉｎｇの状態遷移の完了を待ってもよいが、リモートサイト立ち上げ時間短縮のため、状態移行中であっても、レプリカ機能ペアをＤｅｌｅｔｅする。

パターン５の場合には、ボリューム５のデータをアプリケーション立ち上げに用いる。したがって、この場合の手順は、図１６のように、障害発生状態、ボリューム４→５間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示、ボリューム４→５間Ｄｅｌｅｔｅ指示、ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示、を実施する。

たとえば、障害発生状態では、ボリューム３−４間非同期リモートコピーはＳｕｓｐｅｎｄ（障害Ｓｕｓｐｅｎｄ）、ボリューム４−５間レプリカ機能はＳｐｌｉｔ状態である。そして、ボリューム４→５間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示では、ボリューム４−５間レプリカ機能において、Ｓｐｌｉｔ→Ｒｅｓｙｎｃｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム４→５間Ｄｅｌｅｔｅ指示では、ボリューム４−５間レプリカ機能において、Ｄｕｐｌｅｘ→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム３→４間Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅモード）指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ→Ｓｕｓｐｅｎｄｉｎｇ→Ｓｕｓｐｅｎｄとなる。なお、ボリューム４→５間Ｄｅｌｅｔｅ指示では、ボリューム４→５間レプリカ機能の全ペアがＤｕｐｌｅｘ状態になった後、Ｄｅｌｅｔｅコマンドを投入する。

＜災害復旧時の回復手順＞
図１７〜図２５により、災害復旧時の回復手順の一例を説明する。それぞれ、図１７はプロダクションサイト機能停止時のリモートサイトへのフェイルオーバ時の構成を示す図、図１８はプロダクションサイト＆ローカルサイト機能停止時のリモートサイトへのフェイルオーバ時の構成を示す図、図１９はローカルサイト回復手順（ローカルサイト機器が再使用不可能な場合）を示す図、図２０はローカルサイト回復手順（ローカルサイト機器が再使用可能な場合）を示す図、図２１はプロダクションサイト回復手順を示す図、図２２および図２３はプロダクションサイトテスト手順を示す図、図２４および図２５はプロダクションサイトへの業務切り替えを示す図、である。

図１７に示すようにプロダクションサイトが被災した場合、図１８に示すようにプロダクションサイトとローカルサイトが被災した場合、このような場合には、プロダクションサイト、およびプロダクションサイトとローカルサイトが被災などにより機能停止し、リモートサイトにフェイルオーバした構成となる。

上記状態から、プロダクションサイト、およびプロダクションサイトとローカルサイトが災害から復旧した場合のデータ回復手順を、以下に示す。なお、プロダクションサイトとローカルサイトの両方が被災した場合には、その復旧はプロダクションサイトを優先する可能性があるが、データ回復手段としては、リモートサイト→ローカルサイト間のデータ回復を実施した後、ローカルサイト→プロダクションサイトの間のデータ回復を実施する。これにより、プロダクションサイトのみが被災した場合のデータ回復手順が、プロダクションサイトとローカルサイトの両方が被災した場合のデータ回復手順のサブセットとなる。ローカルサイト、プロダクションサイトの復旧手順を以下に示す。

（Ａ）ローカルサイト機器回復
これは、プロダクションサイトの機能停止時のフェイルオーバを行った場合は不要である。（１）ボリューム２→３間レプリカ機能ペア削除、（２）ボリューム４→３間非同期リモートコピーペア再同期（ローカルサイトの機器が再利用不可の場合はボリューム３→４間非同期リモートコピーペア削除、ボリューム４→３間非同期リモートコピーパス形成、ボリューム４→３間非同期リモートコピーペア形成を行い、ローカルサイトの機器が再利用可能な場合はボリューム４→３間非同期リモートコピーペアＲｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）を行う）、（３）ボリューム１→２間同期リモートコピーペア削除、（４）ボリューム３→２間レプリカ機能ペア形成、を実施する。

なお、ボリューム２→３間レプリカ機能ペアが残存している場合、ボリューム４→３間の非同期リモートコピーペア構築不可のため、最初にボリューム２→３間レプリカ機能ペアを削除する。このため、ボリューム２→３間レプリカ機能ペア形成は全コピーとなる。

（Ｂ）プロダクションサイト機器回復
（１）ボリューム１→２間同期リモートコピーペア削除（プロダクションサイトに状態が残っている場合）、（２）ボリューム３→２間レプリカ機能ペアＳｐｌｉｔ、（３）ボリューム２→１間同期リモートコピーペア形成、（４）ボリューム２→１間同期リモートコピーペアＳｕｓｐｅｎｄ、を実施する。

（Ｃ）プロダクションサイトのアプリケーションテスト
（１）ボリューム２→１間同期リモートコピーペアＷｒｉｔｅ許可Ｓｕｓｐｅｎｄ、（２）プロダクションサイトアプリケーション立ち上げ＆テスト、（３）ボリューム３→２間レプリカ機能ペアＲｅｓｙｎｃ、（４）ボリューム３→２間レプリカ機能ペアＳｐｌｉｔ、（５）ボリューム２→１間同期リモートコピーペアＲｅｓｙｎｃ、（６）ボリューム２→１間同期リモートコピーペアＳｕｓｐｅｎｄ、（７）ボリューム３→２間レプリカ機能ペアＲｅｓｙｎｃ、を実施する。

なお、（２）のテストに失敗した場合は、ボリューム２→１間同期リモートコピーペアをＲｅｓｙｎｃ後、再度、Ｗｒｉｔｅ許可Ｓｕｓｐｅｎｄしてテストしてもよい。

（Ｄ）リモートサイトのアプリケーション停止
（１）リモートサイトのアプリケーション停止、（２）ボリューム４→３間非同期リモートコピーペアＳｐｌｉｔ＆削除、（３）ボリューム３→２間レプリカ機能ペアＳｐｌｉｔ＆削除、（４）ボリューム２→１間同期リモートコピーペアＲｅｓｙｎｃ、（５）ボリューム２→１同期リモートコピーペアＳｐｌｉｔ＆削除、（６）ボリューム１→２間同期リモートコピーペア形成、を実施する。なお、ここまでの手順は、リモートサイトのストレージ管理ソフトウェアの制御となる。

（Ｅ）プロダクションサイトへアプリケーション切り替え
（１）プロダクションサイトのアプリケーション立ち上げ、（２）初期コピー形成手順により各ペア状態を回復、を実施する。（２）の時、ボリューム１→２間はＤｕｐｌｅｘ、ボリューム４→５間はＳｐｌｉｔの可能性がある。しかし、ペア形成を行う場合、既にＤｕｐｌｅｘとなっているペアのペア形成を省略したり、ＳｕｓｐｅｎｄやＳｐｌｉｔ状態のペアのペア形成はＲｅｓｙｎｃに置き換えて実行されるため、問題にならない。なお、この手順は、プロダクションサイトのストレージ管理ソフトウェアの制御となる。

以下に、プロダクションサイト、ローカルサイト、復旧時におけるデータ回復のためのペア操作手順を示す。

ローカルサイト回復手順（ローカルサイト機器が再使用不可能な場合）では、図１９のように、リモートサイトへフェイルオーバ状態、ボリューム３→４間Ｄｅｌｅｔｅ指示、ボリューム４→３間ペア形成指示、ボリューム１→２間ペアＤｅｌｅｔｅ指示、ボリューム３→２間ペア形成指示、を実施する。

たとえば、リモートサイトへフェイルオーバ状態では、ボリューム１−２間同期リモートコピーは不定、ボリューム２−３間レプリカ機能はＳｉｍｐｌｅｘ、ボリューム３−４間非同期リモートコピーはＳｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅ）、ボリューム４−５間レプリカ機能はＳｉｍｐｌｅｘ／Ｓｐｌｉｔ状態である。そして、ボリューム３→４間Ｄｅｌｅｔｅ指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｕｓｐｅｎｄ（Ｒｅｖｅｒｓｅ）→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム４→３間ペア形成指示では、ボリューム３−４間非同期リモートコピーにおいて、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。ボリューム１→２間ペアＤｅｌｅｔｅ指示では、ボリューム１−２間同期リモートコピーにおいて、不定→Ｄｅｌｅｔｉｎｇ→Ｓｉｍｐｌｅｘとなる。ボリューム３→２間ペア形成指示では、ボリューム２−３間レプリカ機能において、Ｓｉｍｐｌｅｘ→Ｄｕｐｌｅｘ Ｐｅｎｄｉｎｇ→Ｄｕｐｌｅｘとなる。

ローカルサイト回復手順（ローカルサイト機器が再使用可能な場合）では、図２０のように、リモートサイトへフェイルオーバ状態、ボリューム２→３間Ｄｅｌｅｔｅ指示、ボリューム３→４間Ｒｅｓｙｎｃ（Ｒｅｖｅｒｓｅモード）指示、ボリューム１→２間ペアＤｅｌｅｔｅ指示、ボリューム３→２間ペア形成指示、を実施する。

プロダクションサイト回復手順では、図２１のように、ローカルサイト回復後の状態、ボリューム１→２間ペアＤｅｌｅｔｅ指示、ボリューム４→３間ペア時刻指定Ｓｕｓｐｅｎｄ指示、ボリューム３→２間ペアＳｐｌｉｔ指示、ボリューム４→３間ペアＲｅｓｙｎｃ指示、ボリューム２→１間ペア形成指示、ボリューム２→１間ペアＳｕｓｐｅｎｄ、を実施する。

なお、ボリューム１→２間ペアＤｅｌｅｔｅ指示では、プロダクションサイトの同期リモートコピーペア状態が残存していた場合である。また、ボリューム４→３間ペア時刻指定Ｓｕｓｐｅｎｄ指示〜ボリューム４→３間ペアＲｅｓｙｎｃ指示では、ボリューム２のコンシステンシーを確保するため、時刻指定Ｓｕｓｐｅｎｄを用いる。

プロダクションサイトテスト手順では、図２２，図２３のように、ボリューム２→１間ペア副ボリュームＷｒｉｔｅ許可指示、プロダクションサイトテスト実施、ボリューム３→２間ペアＲｅｓｙｎｃ指示、ボリューム４→３間ペア時刻指定Ｓｕｓｐｅｎｄ指示、ボリューム３→２間ペアＳｐｌｉｔ指示、ボリューム４→３間ペアＲｅｓｙｎｃ指示、ボリューム２→１間ペアＲｅｓｙｎｃ指示、ボリューム２→１間ペアＳｕｓｐｅｎｄ指示、ボリューム３→２間ペアＲｅｓｙｎｃ指示、を実施する。

なお、プロダクションサイトテスト実施において、テスト失敗の場合は、ボリューム２→１間同期リモートコピーペアをＲｅｓｙｎｃ後、再度、Ｗｒｉｔｅ許可Ｓｕｓｐｅｎｄしてテストしてもよい。また、ボリューム４→３間ペア時刻指定Ｓｕｓｐｅｎｄ指示〜ボリューム４→３間ペアＲｅｓｙｎｃ指示では、ボリューム２のコンシステンシーを確保するため、時刻指定Ｓｕｓｐｅｎｄを用いる。

プロダクションサイトへの業務切り替えでは、図２４，図２５のように、リモートサイトアプリケーション停止、ボリューム４→３間ペアＳｕｓｐｅｎｄ＆Ｄｅｌｅｔｅ指示、ボリューム３→２間ペアＳｐｌｉｔ＆Ｄｅｌｅｔｅ指示、ボリューム２→１間ペアＲｅｓｙｎｃ指示、ボリューム２→１間ペアＳｐｌｉｔ＆Ｄｅｌｅｔｅ指示、ボリューム２→１間ペア形成、プロダクションサイトアプリケーション立ち上げ、初期ペア構成手順実施、を実施する。

＜データコンシステンシー保証機能＞
図２６，図２７により、データコンシステンシー保証機能の一例を説明する。それぞれ、図２６はデータコンシステンシーの保証構成を示す図、図２７はＦｒｅｅｚｅ／Ｒｕｎ方式によるボリューム２−３間レプリカ機能ペアＳｐｌｉｔ動作を示す図、である。

３ＤＣ Ｃａｓｃａｄｉｎｇリモートコピーにおいても、リモートサイトにて障害（災害）時のリカバリ動作（フェイルオーバ）を可能とするために、各ボリューム間のデータコンシステンシーを保証する必要がある。

３ＤＣリモートコピーにおいて、データコンシステンシーを保証するポイントは、図２６に示すように、ボリューム１−２間の同期リモートコピーペア、またはボリューム２−３間のレプリカ機能ペア間となるが、同期リモートコピーペアでＳｕｓｐｅｎｄさせてしまうと、プロダクションサイト被災時のデータロスなしを満足しない。これは、ボリューム１−２間同期リモートコピーをＳｕｓｐｅｎｄしてしまうと、最新のデータがボリューム１にしか存在しない状態となってしまい、この状態で、プロダクションサイトが被災した場合、最新のデータが消失してしまうためである。このため、３ＤＣ Ｃａｓｃａｄｉｎｇリモートコピーでは、ボリューム２−３間のレプリカ機能をＳｐｌｉｔする際にデータコンシステンシーを確保する。

このボリューム２−３間のレプリカ機能ペアＳｐｌｉｔ時にデータコンシステンシーを確保する方式は、前述したレプリカ機能ペア一括Ｓｐｌｉｔ機能によりディスクアレイ装置内の各ボリューム間のデータコンシステンシーを確保することができるが、ディスクアレイ装置を跨ったボリューム間のデータコンシステンシーを保証することはできない。したがって、ディスクアレイ装置を跨るボリュームのデータコンシステンシーを保証する方式として、Ｆｒｅｚｅ／Ｒｕｎ方式を採用する。Ｆｒｅｅｚｅ／Ｒｕｎ方式は、レプリカ機能ペア操作対象となるレプリカ機能ペアに対応するボリューム１へのＷｒｉｔｅ動作を一時的に停止（Ｆｒｅｅｚｅ）させ、この間にボリューム２−３間のレプリカ機能ペアをＳｐｌｉｔさせる方式である。

具体的な処理手順を、図２７に示す。なお、図２７において、Ｐｒｉｍａｒｙ Ｓｙｓｔｅｍは、プロダクションサイトのディスクアレイ装置６００とこれに接続されるホスト２００に対応し、また、このＰｒｉｍａｒｙ Ｓｙｓｔｅｍにはアプリケーションプログラム（Ａｐｐｌ）と、コピー処理機能などのストレージ管理ソフトウェアが備えられている。

（１）同期リモートコピーペア形成時、ペアＡとペアＢが同一グループ配下であることを定義する。このペアＡのボリュームＡ（Ｖｏｌ−Ａ）と、ペアＢのボリュームＢ（Ｖｏｌ−Ｂ）は異なるディスクアレイ装置配下でもよい。

（２）Ｓｕｓｐｅｎｄ対象となる同期リモートコピーグループを構成する同期リモートコピーペアが存在する全てのディスクアレイ装置に対してＦｒｅｅｚｅコマンドを発行する。このＦｒｅｅｚｅコマンドを受領したディスクアレイ装置は、グループ設定されている同期リモートコピーペアのＷｒｉｔｅＩＯの実行を保留する。なお、Ｆｒｅｅｚｅコマンド受領時に実行中であったＷｒｉｔｅＩＯは保留されない。

（３）グループを構成するボリューム２−３間レプリカ機能ペアに対してＳｐｌｉｔ指示を行う。具体的には、各ディスクアレイ装置の代表となる任意のレプリカ機能ペアに対してＳｐｌｉｔ指示を発行する。これにより、ディスクアレイ装置は、当該ディスクアレイ装置配下のグループ内のレプリカ機能ペアを一括Ｓｐｌｉｔする。

（４）Ｆｒｅｅｚｅ状態を解除するため、Ｒｕｎコマンドを、Ｆｒｅｅｚｅコマンドを発行した全てのディスクアレイ装置に対して発行する。

なお、ディスクアレイ装置内部でのＷｒｉｔｅＩＯ実行保留において、Ｗｒｉｔｅコマンドを受領した場合に、Ｆｒｅｅｚｅ状態の設定の有無をチェックし、Ｆｒｅｅｚｅ状態が設定されていた場合に、一定時間（数十ｍｓ）Ｓｌｅｅｐした後、再度、Ｆｒｅｅｚｅフラグをチェックする。規定時間以内にＦｒｅｅｚｅ状態が解除されなかった場合にはＦｒｅｅｚｅ状態を強制的に解除する。このチェック報告の目的は、Ｆｒｅｅｚｅ状態解除（Ｒｕｎ）が規定時間以内に発行されなかったことを示す情報をホストに報告するためと、ホストからのリトライを実施することを目的とする。

＜リモートコマンド機能＞
図２８〜図３１により、リモートコマンド機能の一例を説明する。それぞれ、図２８はコマンドデバイスを示す図、図２９はコマンドチェインにおけるプロダクションサイト実行を示す図、図３０はローカルサイト実行を示す図、図３１はリモートサイト実行を示す図、である。

３ＤＣ Ｃａｓｃａｄｉｎｇでは、ストレージ管理ソフトウェアと連携し、プロダクションサイトのディスクアレイ装置６００に対する同期リモートコピーペア操作はもとより、ローカルサイトのディスクアレイ装置６１０に対する非同期リモートコピーペア操作およびレプリカ機能ペア操作、リモートサイトのディスクアレイ装置６２０に対するレプリカ機能ペア操作をプロダクションサイトのホスト（ストレージ管理ソフトウェア）２００から全て行う。そこで、プロダクションサイトのホスト２００から受領したペア操作コマンドをプロダクションサイトのディスクアレイ装置６００はローカルサイトのディスクアレイ装置６１０へ、ローカルサイトのディスクアレイ装置６１０はリモートサイトのディスクアレイ装置６２０へコマンドを転送し、目的のサイトでコマンドを実行する。

コマンドデバイスとして、プロダクションサイトからローカルサイトおよびリモートサイトに対する同期リモートコピー、非同期リモートコピーまたはレプリカ機能ペアを制御するためのペア操作コマンドを発行するためのボリューム３３０，３６０，３９０を、図２８のように各サイトに確保する。

コマンドチェイン方法において、各サイトに対するコマンド発行例を図２９〜図３１に示す。プロダクションサイト以外のサイトへリモート実行を指示する場合は、そのサイトまでの連結順序を指定する必要がある。

プロダクションサイトの実行においては、たとえばホスト２００からコマンドチェインとして、図２９に示すように、ステータス取得コマンド、ステータスリードコマンド、を発行する。これを受けたプロダクションサイトのディスクアレイ装置６００は、ステータス情報をホスト２００へ応答する。

ローカルサイトの実行においては、たとえばホスト２００からコマンドチェインとして、図３０に示すように、ローカルサイトへのリモート転送指示コマンド、ステータス取得コマンド、ステータスリードコマンド、を発行する。これをプロダクションサイトを経由して受けたローカルサイトのディスクアレイ装置６１０は、ステータス情報をプロダクションサイトを経由してホスト２００へ応答する。

リモートサイトの実行においては、たとえばホスト２００からコマンドチェインとして、図３１に示すように、ローカルサイトへのリモート転送指示コマンド、リモートサイトへのリモート転送指示コマンド、ステータス取得コマンド、ステータスリードコマンド、を発行する。これをプロダクションサイト、ローカルサイトを経由して受けたリモートサイトのディスクアレイ装置６２０は、ステータス情報をローカルサイト、プロダクションサイトを経由してホスト２００へ応答する。

＜コマンド仕様＞
３ＤＣ Ｃａｓｃａｄｉｎｇ機能は、ストレージ管理ソフトウェアと連携して実現する。

同期リモートコピー／レプリカ機能制御コマンドおよび情報取得指示コマンドとして、同期リモートコピー／レプリカ機能制御コマンドは、ホスト２００から同期リモートコピー／レプリカ機能のペア制御およびステータス情報取得を実現する手段を提供する。

たとえば、ペア制御コマンドには、同期リモートコピー／レプリカ機能ペア定義、同期リモートコピー／レプリカ機能ペアサスペンド、同期リモートコピー／レプリカ機能ペアリシンク、同期リモートコピー／レプリカ機能ペア解散がある。

＜本実施の形態の効果＞
（１）３ＤＣ Ｃａｓｃａｄｉｎｇ構成などのように、複数のディスクアレイ装置６００，６１０，６２０を有するデータ処理システムにおいて、プロダクションサイトのディスクアレイ装置６００とローカルサイトのディスクアレイ装置６１０との間の同期リモートコピー、ローカルサイトのディスクアレイ装置６１０とリモートサイトのディスクアレイ装置６２０との間の非同期リモートコピーによるリモートコピーと、ローカルサイト、リモートサイトの各ディスクアレイ装置６１０，６２０内のレプリカ機能とを組み合わせてデータを転送することで、プロダクションサイトのみが被災した場合、プロダクションサイトおよびリモートサイトが被災した場合などの災害発生時に、長距離とデータ消失なしを同時に実現することができる。

（２）プロダクションサイトのディスクアレイ装置６００とローカルサイトのディスクアレイ装置６１０との間の同期リモートコピー、ローカルサイトのディスクアレイ装置６１０とリモートサイトのディスクアレイ装置６２０との間の非同期リモートコピー、各ディスクアレイ装置６１０，６２０内のレプリカ機能に関する制御を、プロダクションサイトのディスクアレイ装置６００に接続されるホスト２００からリモートコマンド機能を持つコマンドの発行により一元管理して制御することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

たとえば、前記実施の形態においては、３ＤＣ Ｃａｓｃａｄｉｎｇ構成を例に説明したが、４ＤＣや５ＤＣなど、これ以上の構成においても同様に適用可能である。

また、本発明は、メインフレーム系に限らず、オープン系でも適用可能である。この場合に、ローカルサイトにホストが接続されていても、このホストに負担をかけないようにすることができる。さらに、ボリュームをグループ構成にした場合は、時間指定でサスペンドできないため、Ｆｒｅｅｚｅする。この理由は、オープン系では時刻同期を行うことができないためである。

本発明の一実施の形態に係るデータ処理システムの全体構成を示すブロック図である。 本発明の一実施の形態に係るデータ処理システムの要部構成を示す図である。 本発明の一実施の形態において、ディスクアレイ装置間リンク構成を示す図である。 本発明の一実施の形態において、リモートコピー動作の概念を示す図である。 本発明の一実施の形態において、初期コピー形成手順におけるペア状態形成手順を示す図である。 本発明の一実施の形態において、通常運用時のコピー手順における各ペアの状態遷移を順次実行する手順を示す図である。 本発明の一実施の形態において、ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＲｅｓｙｎｃ指示を同時に制御する手順を示す図である。 本発明の一実施の形態において、ボリューム２−３間レプリカ機能、およびボリューム４−５間レプリカ機能のＳｐｌｉｔ、およびＲｅｓｙｎｃ指示を同時に制御する手順を示す図である。 本発明の一実施の形態において、災害発生時の回復手順におけるファイルオーバ開始状態を示す図である。 本発明の一実施の形態において、データ移動開始状態へのペア操作処理を示す図である。 本発明の一実施の形態において、プロダクションサイト機能停止時の回復手順を示す図である。 本発明の一実施の形態において、データ移動完了時点の各ペア状態を示す図である。 本発明の一実施の形態において、リモートサイトでのアプリケーション起動時の各ペア状態を示す図である。 本発明の一実施の形態において、アプリケーション立ち上げのための準備手順を示す図である。 本発明の一実施の形態において、パターン１〜４の場合の手順を示す図である。 本発明の一実施の形態において、パターン５の場合の手順を示す図である。 本発明の一実施の形態において、プロダクションサイト機能停止時のリモートサイトへのフェイルオーバ時の構成を示す図である。 本発明の一実施の形態において、プロダクションサイト＆ローカルサイト機能停止時のリモートサイトへのフェイルオーバ時の構成を示す図である。 本発明の一実施の形態において、ローカルサイト回復手順（ローカルサイト機器が再使用不可能な場合）を示す図である。 本発明の一実施の形態において、ローカルサイト回復手順（ローカルサイト機器が再使用可能な場合）を示す図である。 本発明の一実施の形態において、プロダクションサイト回復手順を示す図である。 本発明の一実施の形態において、プロダクションサイトテスト手順を示す図である。 本発明の一実施の形態において、図２２に続く、プロダクションサイトテスト手順を示す図である。 本発明の一実施の形態において、プロダクションサイトへの業務切り替えを示す図である。 本発明の一実施の形態において、図２４に続く、プロダクションサイトへの業務切り替えを示す図である。 本発明の一実施の形態において、データコンシステンシーの保証構成を示す図である。 本発明の一実施の形態において、Ｆｒｅｅｚｅ／Ｒｕｎ方式によるボリューム２−３間レプリカ機能ペアＳｐｌｉｔ動作を示す図である。 本発明の一実施の形態において、コマンドデバイスを示す図である。 本発明の一実施の形態において、コマンドチェインにおけるプロダクションサイト実行を示す図である。 本発明の一実施の形態において、コマンドチェインにおけるローカルサイト実行を示す図である。 本発明の一実施の形態において、コマンドチェインにおけるリモートサイト実行を示す図である。

符号の説明

１００…記憶デバイス制御装置、１１０…チャネル制御部、１２０…共有メモリ、１３０…キャッシュメモリ、１４０…ディスク制御部、１５０…接続部、１５１…内部ＬＡＮ、１６０…管理端末、２００…情報処理装置、３００…記憶デバイス、３１０，３３０，３４０，３５０，３６０，３７０，３８０，３９０…ボリューム、４００…ＬＡＮ、５００…ＳＡＮ、６００，６１０，６２０…ディスクアレイ装置。

Claims (20)

1. データを格納する複数の論理ボリュームが設定される記憶デバイスと、前記記憶デバイスに設定される論理ボリュームにデータを格納する制御を行う制御部とを備えた複数のディスクアレイ装置を有し、
   前記複数のディスクアレイ装置のうち、少なくとも、第１のディスクアレイ装置と第２のディスクアレイ装置と第３のディスクアレイ装置とを有し、前記第１のディスクアレイ装置は第１のサイトに配置され、前記第２のディスクアレイ装置は第２のサイトに配置され、前記第３のディスクアレイ装置は第３のサイトに配置され、
   前記第１のディスクアレイ装置は第１の論理ボリューム、前記第２のディスクアレイ装置は第２の論理ボリュームと第３の論理ボリューム、前記第３のディスクアレイ装置は第４の論理ボリュームと第５の論理ボリュームをそれぞれ有し、
   前記第１のディスクアレイ装置と前記第２のディスクアレイ装置と前記第３のディスクアレイ装置との相互間で双方向にデータ転送が可能なデータ処理システムであって、
   前記第１のディスクアレイ装置の制御部は、前記第１のディスクアレイ装置に接続された上位装置から発行されるリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、前記第２のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は前記第２のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行う機能を有し、
   前記第２のディスクアレイ装置の制御部は、前記第１のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、前記第３のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は前記第３のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行う機能を有し、
   前記第３のディスクアレイ装置の制御部は、前記第２のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、自装置内で処理を行う機能を有することを特徴とするデータ処理システム。
2. 請求項１記載のデータ処理システムにおいて、
   前記リモートコマンド機能を持つコマンドは、前記第１のディスクアレイ装置に対する同期リモートコピーの第１の制御コマンドと、前記第２のディスクアレイ装置に対する非同期リモートコピーの第２の制御コマンドおよびレプリカ機能の第３の制御コマンドと、前記第３のディスクアレイ装置に対するレプリカ機能の第４の制御コマンドとを含むことを特徴とするデータ処理システム。
3. 請求項２記載のデータ処理システムにおいて、
   前記第１のディスクアレイ装置は、前記第１の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、
   前記第２のディスクアレイ装置は、前記第２の制御コマンドおよび前記第３の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、
   前記第３のディスクアレイ装置は、前記第４の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有することを特徴とするデータ処理システム。
4. 請求項１記載のデータ処理システムにおいて、
   前記第２のディスクアレイ装置から前記第３のディスクアレイ装置へのデータ移動は、（ａ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）前記第３の論理ボリュームと前記第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、（ｃ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ状態、（ｄ）前記第４の論理ボリュームと前記第５の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ＆Ｓｐｌｉｔ状態、を繰り返して実施することを特徴とするデータ処理システム。
5. 請求項１記載のデータ処理システムにおいて、
   災害発生により前記第１のディスクアレイ装置が機能停止した場合は、前記第２の論理ボリュームのデータを、（ａ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）前記第３の論理ボリュームと前記第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、を実施して前記第３のディスクアレイ装置に移動し、前記第３のディスクアレイ装置にて業務を再開することを特徴とするデータ処理システム。
6. 請求項５記載のデータ処理システムにおいて、
   前記第１のディスクアレイ装置が機能停止した場合の復旧時は、前記第２のディスクアレイ装置から前記第１のディスクアレイ装置へのデータ回復を実施することを特徴とするデータ処理システム。
7. 請求項１記載のデータ処理システムにおいて、
   災害発生により前記第１のディスクアレイ装置と前記第２のディスクアレイ装置とが機能停止した場合は、前記第４の論理ボリュームまたは前記第５の論理ボリュームのデータを使用して、前記第３のディスクアレイ装置にて業務を再開することを特徴とするデータ処理システム。
8. 請求項７記載のデータ処理システムにおいて、
   前記第１のディスクアレイ装置と前記第２のディスクアレイ装置とが機能停止した場合の復旧時は、前記第３のディスクアレイ装置から前記第２のディスクアレイ装置へのデータ回復を実施した後、前記第２のディスクアレイ装置から前記第１のディスクアレイ装置へのデータ回復を実施することを特徴とするデータ処理システム。
9. 請求項１記載のデータ処理システムにおいて、
   前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態にする際のデータコンシステンシーを確保する場合は、前記第２の論理ボリュームの同期リモートコピーのペア対象となる前記第１の論理ボリュームへの書き込み動作を一時的に停止させ、この停止状態の間に前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能のペア操作をＳｐｌｉｔ状態にすることを特徴とするデータ処理システム。
10. 請求項９記載のデータ処理システムにおいて、
    前記第１の論理ボリュームへの書き込み動作を一時的に停止させる場合は、前記第１の論理ボリュームと同期リモートコピーのグループを構成するペアが存在する全てのディスクアレイ装置に対してＦｒｅｅｚｅコマンドを発行し、このＦｒｅｅｚｅ状態はＲｕｎコマンドを発行して解除することを特徴とするデータ処理システム。
11. データを格納する複数の論理ボリュームが設定される記憶デバイスと、前記記憶デバイスに設定される論理ボリュームにデータを格納する制御を行う制御部とを備えた複数のディスクアレイ装置を有し、
    前記複数のディスクアレイ装置のうち、少なくとも、第１のディスクアレイ装置と第２のディスクアレイ装置と第３のディスクアレイ装置とを有し、前記第１のディスクアレイ装置は第１のサイトに配置され、前記第２のディスクアレイ装置は第２のサイトに配置され、前記第３のディスクアレイ装置は第３のサイトに配置され、
    前記第１のディスクアレイ装置は第１の論理ボリューム、前記第２のディスクアレイ装置は第２の論理ボリュームと第３の論理ボリューム、前記第３のディスクアレイ装置は第４の論理ボリュームと第５の論理ボリュームをそれぞれ有し、
    前記第１のディスクアレイ装置と前記第２のディスクアレイ装置と前記第３のディスクアレイ装置との相互間で双方向にデータ転送が可能なデータ処理システムのコピー処理方法であって、
    前記第１のディスクアレイ装置の制御部は、前記第１のディスクアレイ装置に接続された上位装置から発行されるリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、前記第２のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は前記第２のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行い、
    前記第２のディスクアレイ装置の制御部は、前記第１のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、このコマンドを解析し、前記第３のディスクアレイ装置へのリモート転送指示コマンドが付加されていた場合は前記第３のディスクアレイ装置に転送し、付加されていない場合は自装置内で処理を行い、
    前記第３のディスクアレイ装置の制御部は、前記第２のディスクアレイ装置から転送されてきたリモートコマンド機能を持つコマンドを受け取ると、自装置内で処理を行うことを特徴とするデータ処理システムのコピー処理方法。
12. 請求項１１記載のデータ処理システムのコピー処理方法において、
    前記リモートコマンド機能を持つコマンドは、前記第１のディスクアレイ装置に対する同期リモートコピーの第１の制御コマンドと、前記第２のディスクアレイ装置に対する非同期リモートコピーの第２の制御コマンドおよびレプリカ機能の第３の制御コマンドと、前記第３のディスクアレイ装置に対するレプリカ機能の第４の制御コマンドとを含むことを特徴とするデータ処理システムのコピー処理方法。
13. 請求項１２記載のデータ処理システムのコピー処理方法において、
    前記第１のディスクアレイ装置は、前記第１の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、
    前記第２のディスクアレイ装置は、前記第２の制御コマンドおよび前記第３の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有し、
    前記第３のディスクアレイ装置は、前記第４の制御コマンドを発行するコマンドデバイス用の論理ボリュームを有することを特徴とするデータ処理システムのコピー処理方法。
14. 請求項１１記載のデータ処理システムのコピー処理方法において、
    前記第２のディスクアレイ装置から前記第３のディスクアレイ装置へのデータ移動は、（ａ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）前記第３の論理ボリュームと前記第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、（ｃ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ状態、（ｄ）前記第４の論理ボリュームと前記第５の論理ボリュームとの間のレプリカ機能をＲｅｓｙｎｃ＆Ｓｐｌｉｔ状態、を繰り返して実施することを特徴とするデータ処理システムのコピー処理方法。
15. 請求項１１記載のデータ処理システムのコピー処理方法において、
    災害発生により前記第１のディスクアレイ装置が機能停止した場合は、前記第２の論理ボリュームのデータを、（ａ）前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態、（ｂ）前記第３の論理ボリュームと前記第４の論理ボリュームとの間の非同期リモートコピーをＲｅｓｙｎｃ＆Ｓｕｓｐｅｎｄ状態、を実施して前記第３のディスクアレイ装置に移動し、前記第３のディスクアレイ装置にて業務を再開することを特徴とするデータ処理システムのコピー処理方法。
16. 請求項１５記載のデータ処理システムのコピー処理方法において、
    前記第１のディスクアレイ装置が機能停止した場合の復旧時は、前記第２のディスクアレイ装置から前記第１のディスクアレイ装置へのデータ回復を実施することを特徴とするデータ処理システムのコピー処理方法。
17. 請求項１１記載のデータ処理システムのコピー処理方法において、
    災害発生により前記第１のディスクアレイ装置と前記第２のディスクアレイ装置とが機能停止した場合は、前記第４の論理ボリュームまたは前記第５の論理ボリュームのデータを使用して、前記第３のディスクアレイ装置にて業務を再開することを特徴とするデータ処理システムのコピー処理方法。
18. 請求項１７記載のデータ処理システムのコピー処理方法において、
    前記第１のディスクアレイ装置と前記第２のディスクアレイ装置とが機能停止した場合の復旧時は、前記第３のディスクアレイ装置から前記第２のディスクアレイ装置へのデータ回復を実施した後、前記第２のディスクアレイ装置から前記第１のディスクアレイ装置へのデータ回復を実施することを特徴とするデータ処理システムのコピー処理方法。
19. 請求項１１記載のデータ処理システムのコピー処理方法において、
    前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能をＳｐｌｉｔ状態にする際のデータコンシステンシーを確保する場合は、前記第２の論理ボリュームの同期リモートコピーのペア対象となる前記第１の論理ボリュームへの書き込み動作を一時的に停止させ、この停止状態の間に前記第２の論理ボリュームと前記第３の論理ボリュームとの間のレプリカ機能のペア操作をＳｐｌｉｔ状態にすることを特徴とするデータ処理システムのコピー処理方法。
20. 請求項１９記載のデータ処理システムのコピー処理方法において、
    前記第１の論理ボリュームへの書き込み動作を一時的に停止させる場合は、前記第１の論理ボリュームと同期リモートコピーのグループを構成するペアが存在する全てのディスクアレイ装置に対してＦｒｅｅｚｅコマンドを発行し、このＦｒｅｅｚｅ状態はＲｕｎコマンドを発行して解除することを特徴とするデータ処理システムのコピー処理方法。

Images