JP4341897B2 - 記憶装置システム及びデータ複製方法 - Google Patents
記憶装置システム及びデータ複製方法 Download PDFInfo
- Publication number
- JP4341897B2 JP4341897B2 JP2003168588A JP2003168588A JP4341897B2 JP 4341897 B2 JP4341897 B2 JP 4341897B2 JP 2003168588 A JP2003168588 A JP 2003168588A JP 2003168588 A JP2003168588 A JP 2003168588A JP 4341897 B2 JP4341897 B2 JP 4341897B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- storage device
- port
- remote copy
- copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 102
- 230000010076 replication Effects 0.000 title description 2
- 238000012545 processing Methods 0.000 description 149
- 230000015654 memory Effects 0.000 description 131
- 230000008569 process Effects 0.000 description 67
- 238000013508 migration Methods 0.000 description 47
- 230000005012 migration Effects 0.000 description 47
- 238000007726 management method Methods 0.000 description 44
- 230000008859 change Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 238000012546 transfer Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2066—Optimisation of the communication load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2206/00—Indexing scheme related to dedicated interfaces for computers
- G06F2206/10—Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
- G06F2206/1012—Load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、遠隔地にあるディスク装置間でデータをコピーする技術（リモートコピー技術）に関する。
【０００２】
【従来の技術】
地震、火災、ハリケーンといった局地的な災害がディスクシステムの設置サイトを襲った場合、障害が記憶装置システム全体に及ぶ可能性があり、ディスクシステムに格納されているデータを全て喪失する可能性がある。この問題を解決する手段の一つとして、リモートコピー機能がある。
【０００３】
リモートコピーとは、ディザスタリカバリを目的として、物理的に離れた場所にある複数の記憶装置システム間で、ホストコンピュータの介在なしにデータの２重書きを行うものである。正側の記憶装置システムに障害が発生した場合には、ホストコンピュータは副側の記憶装置システムを用いて業務を続ける。
【０００４】
リモートコピー処理が実行される情報処理システムにおいては、物理的に離れた場所にそれぞれ配置された記憶装置システムが専用回線あるいは公衆回線でお互いに接続されている。ある記憶装置システムが有する論理的な記憶領域（以下，「論理ボリューム」）のうち、第１サイトの記憶装置システム上にあるコピー対象である論理ボリューム（以下「コピー元論理ボリューム」と記す。 ）と同容量の論理ボリュームが第２サイトの記憶装置システム上に、コピー元論理ボリュームとペアの論理ボリューム（以下「コピー先論理ボリューム」と記す）として形成される。そして、第１サイトのコピー元論理ボリュームのデータが第２サイトのコピー先論理ボリュームにコピーされる。また、ホストコンピュータが第１サイトにあるコピー元論理ボリューム内のデータを更新した場合、当該更新データは第２サイトの記憶装置システムに転送され、コピー先論理ボリュームにも書き込まれる。このようにリモートコピーの技術では第１サイトと第２サイトにおいて論理ボリュームの２重化状態が保たれる。
【０００５】
従って、リモートコピー技術を用いると、複数の記憶装置システムを有する情報処理システムにおいて、複数の記憶装置システムで同一内容の論理ボリュームを保持することができる。このため、地震や洪水などの自然災害、あるいは火災やテロなどの人的災害により第１サイトが使用不能になっても、ホストコンピュータは第２サイトの記憶装置システム上の論理ボリュームを使用して業務を迅速に再開できる。
【０００６】
尚、リモートコピー技術は、特許文献１に開示されている。
【０００７】
また、第一の記憶装置システム内に存在する記憶領域に格納されているデータを第二の記憶装置システムへ移動し、ホストコンピュータが用いる記憶装置システムを第一の記憶装置システムから第二の記憶装置システムへ変更するデータ移行技術は、記憶装置システムを旧機種から新機種へ変更する場合や、機材保守等のためにホストコンピュータから記憶装置システムへのアクセスを制限したい場合に有効である。データ移行技術の中には、計算機から記憶装置システムに対するアクセスは継続して受けつつ、記憶装置システム間でデータ移行を行うための技術があり、例えば特許文献２や特許文献３に開示されている。
【０００８】
【特許文献１】
米国特許第5742792号明細書
【特許文献２】
米国特許第６１０８７４８号明細書
【特許文献３】
公開２００１−３３１３５５号公報
【０００９】
【発明が解決しようとする課題】
ＳＡＮ（Storage Area Network）の普及に伴い、ストレージ装置に対し容量及び性能に関するスケーラビリティが要求されている。特に、容量に比例した性能がストレージ装置に対して要求されている。そこで係る要求に応えるために、従来のストレージ装置を１クラスタ（若しくは１記憶装置サブシステム）とし、複数クラスタをクラスタ間接続機構で接続することにより、クラスタ構成記憶装置システムが構築される。
【００１０】
各クラスタはネットワーク経由で計算機からの入出力要求を受け付けるが、計算機からはクラスタ構成記憶装置システムが1台の記憶装置システムとして認識される。
【００１１】
係るクラスタ構成記憶装置システムにおいてリモートコピー処理を実行する場合、コピー元ボリュームが属するクラスタ内のリモートコピー用に設定されたチャネルポートを用いてデータが転送される。チャネルポートはリモートコピー専用で使う場合もあれば、通常Ｉ／Ｏと共有して使用する場合もある。リモートコピーペアをリモートコピーポートに割り当てる際には、複数のリモートコピーポート間で順番にリモートコピーポートを選択している。
【００１２】
しかし、リモートコピー処理においてコピーすべきデータの量はペア毎に異なることから、特定のクラスタのリモートコピー用ポートやプロセッサに処理が集中する可能性がある。
【００１３】
本発明の目的は、記憶装置システム内でリモートコピー処理による負荷を分散させることができる技術を提供することである。
【００１４】
本発明の他の目的は、クラスタ構成記憶装置システムが有する複数のリモートコピー用ポート間若しくはクラスタ間で負荷が分散されるよう、リモートコピー処理に用いられるポート若しくはプロセッサを選択できる技術を提供することである。
【００１５】
また、本発明の他の目的は、コピーされるデータが格納されているクラスタとは異なるクラスタの制御によって、リモートコピー処理を実行することができる技術を提供することである。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明においては、計算機システムにおいて、複数のディスク装置と、該複数のディスク装置を接続する制御部と、ネットワークに接続される複数のポートとを各々が有する、複数の記憶装置サブシステムと、前記複数の記憶装置サブシステムを相互に接続する記憶装置サブシステム間接続部とを有する一又は複数の記憶装置システムと、前記ネットワークに接続された管理計算機とを設け、リモートコピーのコピー元及びコピー先の前記記憶装置システムは、それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、前記管理計算機は、コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行い、コピー元の前記記憶装置システムは、前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーするようにした。
また本発明においては、第一の記憶装置システムに格納されているデータを、ネットワークを介して前記第一の記憶装置システムに接続される第二の記憶装置システムにコピーするデータ複製方法において、前記第一及び第二の記憶装置システムは、それぞれ複数のディスク装置と該複数のディスク装置に対する入出力要求を制御する制御装置と、前記ネットワークに接続される一又は複数のポートとを各々有する、複数の記憶装置サブシステムと、該複数の記憶装置サブシステム間を接続するサブシステム間接続装置とを有しており、前記ネットワークには管理計算機が接続され、リモートコピーのコピー元及びコピー先の前記記憶装置システムが、それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、前記管理計算機が、コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行う第一のステップと、コピー元の前記記憶装置システムが、前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーする第二のステップとを設けるようにした。
【００１７】
【発明の実施の形態】
＜第一の実施形態＞
図１は、本発明が適用される計算機システムの一構成例を示す図である。計算機システムは、２台のクラスタ構成記憶装置システム１（以下、これら２台のクラスタ構成記憶装置システムをそれぞれシステム＃１、システム＃２と呼ぶ。）、クラスタ構成記憶装置システム１に格納されたデータを使用する計算機（以下サーバと呼ぶ。）３、及びクラスタ構成記憶装置システムを管理するための計算機（以下ユーザ入出力機器と呼ぶ。）４が、ネットワーク２を介して接続された構成を有する。尚ユーザ入出力機器４は、クラスタ構成記憶装置システム１の保守端末を兼ねている場合もある。保守端末は、クラスタ構成記憶装置システム１内に備えられていても、外部に備えられていてもよい。また、図１では計算機システム内にクラスタ構成記憶装置システム１が2台存在する例を示したが、計算機システム内に存在するクラスタ構成記憶装置システム１の台数を2台に限られることはなく、複数台であれば何台であっても良い。
【００１８】
クラスタ構成記憶装置システム１は、複数のクラスタ（若しくは記憶装置サブシステムと呼ぶ。）１１と、各々のクラスタ１１間を接続するクラスタ間接続機構１２とを有する。尚、クラスタ間接続機構１２は、例えばスイッチである。
【００１９】
各クラスタ１１は、制御部１０、複数のディスク装置１５、及び一又は複数のポート１８を有する。各クラスタ１１は、上位の計算機であるサーバ３及びユーザ入出力機器４とネットワーク２を介して接続される。
【００２０】
制御部１０は、複数のメモリユニット１９、ポートを介してネットワーク２と接続されサーバ３やユーザ入出力機器4との間の入出力を制御する複数台のチャネルアダプタ（以下ＣＨＡと呼ぶ）１３、及び複数のディスク装置と接続されディスク装置への入出力を制御する複数台のディスクアダプタ（以下、ＤＫＡと呼ぶ。）１４を有する。
【００２１】
ＣＨＡ１３とＤＫＡ１４は、制御部１０内に搭載されたプロセッサである。ＣＨＡ１３は、ポート１８を介してクラスタ１１に入力されるサーバ３からのコマンドの解析や、サーバ３とクラスタ１１間でのデータ転送を制御するためのプログラムを実行する。クラスタ構成記憶装置システム１が、いわゆるオープン系のオペレーティングシステムが実行されているサーバ３からコマンドを受信し、このコマンドに応じた処理を実行しなければならない場合には、サーバ３とクラスタ構成記憶装置システム１との間のインターフェースの違いを克服するために必要なハードウェアとプログラムが、更にCHAの構成要素として追加される。
【００２２】
ＤＫＡ１４は、パリティデータの生成等、複数のディスク装置から構成されるディクスアレイの制御と、ディスク装置１５と制御部１０との間のデータ転送の制御とを実施するためのプログラムを実行する。ディスク装置１５は複数のポートを有し，複数のポートは複数のパスを介して各々異なるＤＫＡ１４と接続されている。したがって複数のＤＫＡ１４から同一のディスク装置１５にアクセスできる。
【００２３】
メモリユニット１９は、ＣＨＡ、ＤＫＡ等の各プロセッサからアクセス可能な共有メモリ１７とキャッシュメモリ１６を備える。各プロセッサは、各プロセッサが実行するジョブの管理に必要な情報や、キャッシュメモリの管理情報等、各プロセッサで共有されるべきデータを共有メモリ１７に格納する。共有メモリ１７には、クラスタ内のリソース負荷情報１７３、ボリュームのペア情報１７２、処理要求キュー（図示せず）、及びクラスタ間連携時に必要となる他クラスタ情報の格納位置を示す情報１７１が格納される。尚ここで「ペア」とは、コピーされるデータが格納されるコピー元となる記憶領域（以下「コピー元ボリューム」と呼ぶ）とコピー先となる記憶領域（以下「コピー先ボリューム」）の組のことをいう。
【００２４】
共有メモリ１７に記憶される情報は、クラスタ構成記憶装置システム１内のある一つのクラスタの共有メモリ１７にまとめて格納されていても良いし、複数クラスタ各々の共有メモリ１７に同じ情報が重複して格納されていても良い。本実施形態では、クラスタ毎に情報を分散して格納する。尚、各クラスタ内ではメモリユニット１９が２重化されており、各クラスタは、共有メモリやキャッシュメモリ中に格納されているデータも重複して有する。
【００２５】
クラスタ１１（クラスタ＃１）は接続機構１２を介して，同一クラスタ構成記憶装置システム１（システム＃１）内の他クラスタ（例えばクラスタ＃２）に情報を通知したり、クラスタ＃２が直接クラスタ＃１内に格納されている情報を参照することができる。またクラスタ１１はネットワーク２を介してサーバ３へ情報を通知できる。
【００２６】
ユーザ入出力機器４は、クラスタ構成記憶装置システム１を使用するユーザがクラスタ構成記憶装置システム１にリモートコピー処理を実行させる際に、クラスタ構成記憶装置システム１にコピー先ボリュームを指示するために使用される機器である。具体的には、ＳＶＰ（Service Processor）等の保守端末である。ユーザ入出力機器４は表示画面４１を有する。ユーザ入出力機器４は、表示画面４１にコピー先ボリュームの候補を出力してユーザに提示し、ユーザがコピー先ボリュームを選択する際の視覚的支援を行う。なおサーバ３とユーザ入出力機器４は同じ計算機であっても良い。
【００２７】
クラスタ１１の構成例を図５に示す。クラスタ１１は複数のディスク装置１５と制御部１０を有する。制御部１０は複数のＣＨＡ１３、複数のＤＫＡ１４、複数の共有メモリ１７、複数のキャッシュメモリ１６、及びクラスタ１１が同じクラスタ構成記憶装置システム１内の他のクラスタと通信するためのデータ転送制御コントローラ１３０を有する。複数のCHA、複数のDKA、複数のキャッシュメモリ、複数の共有メモリ、及びデータ転送制御コントローラ１３０はパス（通信路）１４０により相互に接続されている。尚、図5ではクラスタの信頼性向上のため、パス１４０が2本備えられ、CHA、DKA、キャッシュメモリ、共有メモリ、及びデータ転送制御コントローラが各々2本のパス１４０いずれにも接続されているクラスタの構成例を示している。複数のディスク装置１５は各々複数のDKAと接続されている。
【００２８】
ディスク装置１５は物理的記憶領域を有するハードウェアである。サーバ３は、複数のディスク装置１５が有する物理的な記憶領域が論理的に分割された、論理的な記憶領域を単位として記憶領域を管理し、使用する。分割された各々の論理的な記憶領域を論理ボリューム１５１と称する。論理ボリューム１５１の容量及び論理ボリューム１５１のクラスタ構成記憶装置システム１内における物理的な位置（即ち論理ボリュームに対応する物理的な記憶領域）は、ユーザ入出力機器４又はサーバ３を用いてユーザが指定できる。論理ボリュームの物理的な位置を示す情報は、共有メモリ１７内に保存される。
【００２９】
共有メモリ１７に格納されるボリュームペア情報１７２は、ペア情報テーブル２１及びボリューム情報テーブル３１を有する。図２はペア情報テーブル２１の一例を、図３はボリューム情報テーブル３１の一例を示す図である。尚、コピーのペアは、複数のコピー元ボリュームと複数のコピー先ボリュームとが組となっている、複数個対複数個のペアでもよい。本実施例では正ボリュームと副ボリュームの対応が１対１である例を示している。尚、複製されるオリジナルデータを保持するボリューム（即ちコピー元ボリューム）のことを正ボリューム、オリジナルデータの複製データを保持するボリューム（即ちコピー先ボリューム）を副ボリュームと称する。
【００３０】
図２に示すペア情報テーブル２１は、ペア番号２２、正ボリュームのシステム番号２３、正ボリュームボリューム番号２４、正ボリュームクラスタ番号２５、副ボリュームのシステム番号２６、副ボリュームボリューム番号２７、副ボリュームクラスタ番号２８、ペア状態２９、及びコピーポインタエントリ３０の各エントリを有する。
【００３１】
ペア番号２２には正ボリュームと副ボリュームのペアを示す識別情報、具体的にはペア番号が登録される。正ボリュームのシステム番号２３とボリューム番号２４とクラスタ番号２５には、対応するペアを構成する正ボリュームを示す情報、即ち正ボリュームが属するクラスタ構成記憶装置システム１の識別情報であるシステム番号、正ボリュームを識別するための識別情報であるボリューム番号、及び正ボリュームが属するクラスタの識別情報であるクラスタ番号が各々登録される。副ボリュームのシステム番号２６とボリューム番号２７とクラスタ番号２８には、正ボリュームの場合と同様に、副ボリュームが属するクラスタ構成記憶装置システム１の識別情報であるシステム番号、副ボリュームの識別情報であるボリューム番号、及び副ボリュームを管理しているクラスタの識別情報であるクラスタ番号の各々が登録される。ペア状態２９には、対応するペアがコピー中か、コピーが完了したかといったペアの状態を示す情報が登録される。コピーポインタ３０には、対応するペアの正ボリュームのどの範囲までのデータが副ボリュームに既にコピーされたかを示す情報が登録される。
【００３２】
図３に示すボリューム情報テーブル３１には、リモートコピー処理に使用される情報が登録される。尚、本実施形態においては、クラスタ毎にボリューム情報テーブル３１が備えられている。ボリューム情報テーブル３１は、ボリューム番号３２、正／副３３、副ボリュームのボリューム番号３４、副ボリュームクラスタ番号３５、ボリューム属性３６、ペア番号３７の各エントリを有する。
【００３３】
ボリューム番号３１には、クラスタ構成記憶装置システム１が有するある記憶領域（以下「ボリューム」）を特定するための識別情報であるボリューム番号が登録される。正／副３３には、対応するボリュームが正ボリュームか副ボリュームかを示す情報が登録される。対応するボリュームが正ボリュームである場合、ペアである副ボリュームに関する情報がボリューム情報テーブルに登録される。即ち対応する副ボリュームの識別情報であるボリューム番号が、ボリューム番号３４エントリに、又副ボリュームを管理するクラスタの識別情報であるクラスタ番号がクラスタ番号３５エントリに登録される。ボリューム属性３６には、ボリューム番号３２に対応するボリュームのフォーマット形式、容量、状態等の属性情報が登録される。これらの属性情報は、対応するボリュームがリモートコピーのコピー先ボリュームとして設定可能であるか否かを判断する際に用いられる。図３では例として、ボリューム番号が０番であるボリュームに対してペアが３つ生成された場合を示している。図３の場合には、ボリューム番号０番のボリュームのペアの相手は、クラスタ１番のボリューム２０番、１５８番、４２６番と定義されている。
【００３４】
クラスタ構成記憶装置システム１間でリモートコピーを実現するために、本実施形態では、クラスタ構成記憶装置システム１内の複数のクラスタ１１各々が、ペア情報テーブル２１とボリューム情報テーブル３１を有する。そして、ボリューム情報テーブル３１には、そのボリューム情報テーブル３１を保持するクラスタ１１が有する全てのボリュームの情報が格納される。またペア情報テーブル２１には、そのペア情報テーブル２１を有するクラスタ１１が有するボリュームが、正ボリューム若しくは副ボリュームのいずれかとなっている全てのペアに関する情報が登録される。
【００３５】
図７はポート管理情報テーブル７１の一例を示す。ポート管理情報テーブル７１は、クラスタ構成記憶装置システム１の１つないし複数のクラスタの共有メモリ１７に格納される。ポート管理情報テーブル７１には、自クラスタ構成記憶装置システム１が有するポートが、どの装置に接続されているかを示す情報が登録される。即ち、クラスタ構成記憶装置システムが有する各ポートの識別情報であるポート番号７２毎に、ポートを内蔵しているクラスタの識別情報であるクラスタ番号７３、そのポートを制御するＣＨＡの識別情報であるホストアダプタ番号７４、そのポートの接続先を特定するための接続先情報７５、及び当該ポートを使用してアクセスされる一又は複数の論理ボリュームを識別するための一又は複数の論理ボリューム番号７６が、ポート管理情報テーブル７１に格納される。接続先情報７５は、対応するポートの接続先装置の種類を示す情報である“ホスト”“記憶装置システム”“接続なし”等の情報と、接続先の装置を識別するための識別情報である接続先番号を有する。尚、接続先番号としては、たとえば接続先装置の名称が“ホスト”でありポートの先にホストコンピュータが接続されているのであれば、そのホストコンピュータを特定する番号が設定される。又、接続先装置の名称が“記憶装置システム”であり、ポートの先にたとえばクラスタ構成記憶装置システムが接続されている場合には、接続先番号としては、接続先のクラスタ構成記憶装置システム内のクラスタのパス番号が設定される。
【００３６】
図４は、共有メモリ１７に記憶されている他クラスタ情報格納位置１７１を示す情報の一例を示す図である。他クラスタ情報格納位置１７１は、メモリ空間対応テーブル（図示せず）と、他クラスタ情報格納位置テーブル８１とから構成される。
【００３７】
クラスタ構成記憶装置システム１内の各クラスタ１１が有する共有メモリ１７のメモリ空間（即ち、クラスタ構成記憶装置システム内に存在する複数の共有メモリのメモリ空間）は、全体で一つの仮想的なメモリ空間として扱われる。この場合各クラスタ１１が有する共有メモリのメモリ空間は、仮想的なメモリ空間に連続的に割り当てられても良いしばらばらに割り当てられても良い。各クラスタの共有メモリには、仮想的なメモリ空間内の記憶領域を示すアドレスと、物理的なメモリ空間内の記憶領域（即ち現実の共有メモリ内の記憶領域）を示すアドレスとの対応関係を示すメモリ空間対応テーブルが格納されている。
【００３８】
図４は、他のクラスタが有する共有メモリに格納されているペア情報テーブル２１やボリューム情報テーブル３１にアクセスするために用いられる他クラスタ情報格納位置テーブル８１の一例を示す図である。他クラスタ情報格納位置テーブル８１は、クラスタ番号エントリ８２、ペア情報テーブルの先頭アドレスエントリ８３、及びボリューム情報テーブルの先頭アドレスエントリ８４を有する。クラスタ番号エントリ８２にはクラスタを特定するための識別情報であるクラスタ番号が登録される。ぺア情報テーブルの先頭アドレスエントリ８３には、仮想的な共有メモリのメモリ空間におけるペア情報テーブルの格納位置を示す先頭アドレスが登録される。ボリューム情報テーブルの先頭アドレスエントリ８４には、仮想的な共有メモリのメモリ空間における、ボリューム情報テーブルの格納位置を示す先頭アドレスが登録される。
【００３９】
リモートコピーで正ボリュームのデータを副ボリュームにコピーする処理を実行する場合、ＣＨＡ１３又はＤＫＡ１４が他クラスタのペア情報テーブル２１やボリューム情報テーブル３１に格納された情報を参照／更新する必要がある。この場合ＣＨＡ１３やＤＫＡ１４は、参照したい情報が表すペアやボリュームが属するクラスタのクラスタ番号に基づいて他クラスタ情報格納位置テーブル１７１を参照し、対応するペアやボリュームに関する情報が登録されている共有メモリ内の記憶領域の位置を算出する。
【００４０】
例えばクラスタ１番かつボリューム４番のボリュームについてのボリューム情報（即ち、ボリューム情報テーブル３１に登録されている情報のうち当該ボリュームに関する情報）は、以下の式で算出されるアドレスが示す仮想的な共有メモリ空間内の記憶領域に格納されている。
【００４１】
クラスタ１番のボリューム４番のボリューム情報格納位置＝クラスタ１番のボリューム情報テーブル格納先頭アドレス＋１ボリューム当たりの情報量×４ （式１）
そこでＣＨＡ若しくはＤＫＡは、上述の式１によって仮想的な共有メモリ空間内のアドレスを求め、この仮想的な共有メモリ空間内のアドレスを用いてメモリ空間対応テーブルを参照して、実際の共有メモリの物理的なメモリ空間内でのアドレスを得る。そしてＣＨＡ若しくはＤＫＡは、物理的なメモリ空間内でのアドレスを用いてボリューム情報にアクセスするので、ＣＨＡ若しくはＤＫＡは、他のクラスタ内の共有メモリに格納されているボリューム情報にもアクセスすることができる。
【００４２】
尚、ペア情報（即ちペア情報テーブルに格納されている情報のうち任意のペアに関する情報）に関しても、ボリューム情報と同様の方法でＣＨＡ若しくはＤＫＡは他のクラスタ内の共有メモリに格納されているペア情報にアクセスすることができる。
以上のように共有メモリ１７を仮想的に一つのメモリ空間として扱うことにより、ＣＨＡ１３やＤＫＡ１４がクラスタ構成記憶装置システム１が有する全てのクラスタ１１の共有メモリ１７に格納されている情報を参照／更新することが可能になる。
【００４３】
図６は、クラスタ構成記憶装置システム１（システム＃１）のボリュームを他のクラスタ構成記憶装置システム１（システム＃２）のボリュームにバックアップする手順の一例を示したフローチャートである。
【００４４】
最初にコピー元のボリュームを有するシステム＃１（即ち正システム）内のポートの中から、リモートコピー処理を行うリモートコピー用ポートを選択する必要がある。システム＃１は、システム＃１内に存在するポート１８のうちリモートコピー処理に使用可能な一又は複数のリモートコピー用ポート各々の負荷状況を、ユーザ入出力機器４に通知する。ユーザ入出力機器４は、通知された負荷状況を表示画面４１に出力してユーザに提示し、ユーザは提示された情報をもとにリモートコピー用ポート群からリモートコピーに使用するポートを選択する。そして、ユーザはユーザ入出力機器４に選択したポートの識別情報を入力し、ユーザ入出力機器４は入力されたポートの識別情報をシステム＃１に送信する（ステップ６００１）。尚、正側システム（システム＃１）で各リモートコピー用ポートの負荷状況及び空き状況を解析し、リモートコピーに使用するポートの候補を絞り込んだ上で、候補ポートの情報をユーザ入出力機器４に通知し、ユーザ入出力機器４が提示した候補ポートの中からユーザが使用するポートを選択することとしても良い。またシステム＃１がリモートコピー用ポートの負荷状況や空き状況を解析し、解析結果に基づいてリモートコピーに使用するポートを選択することとしても良い。
【００４５】
次にユーザがユーザ入出力機器４を用いて、バックアップデータを格納する副ボリューム及び副システム側でリモートコピー処理を行うリモートコピー用ポートを選択する（ステップ６００２）。ステップ６００２においてもステップ６００１と同様に、副側のクラスタ構成記憶装置システム（システム＃２）が有するリモートコピー用ポートの負荷状況はユーザ入出力機器４を介してユーザに提示され、その情報をもとにユーザがリモートコピー用ポートを選択する。また勿論、副側システム（システム＃２）がリモートコピー用ポートの負荷状況や空き状況を解析し、解析結果に基づいてリモートコピーに使用するポートを選択することとしても良い。尚ステップ６００２では更に、ユーザは副ボリュームを選択し、ユーザ入出力機器４を用いて、システム＃１及びシステム＃２内の共有メモリに格納されているペア情報テーブル２１に、正ボリュームと副ボリュームをリモートコピーペアとして登録する(ステップ６００２)。
【００４６】
次にサーバ３がペアを指定し、そのペアに対するコピー処理をクラスタ構成記憶装置システム１に実行させる。具体的には、サーバ３はリモートコピー実行開始を要求するコマンドをクラスタ構成記憶装置システム１に発行する。このコマンドは、サーバ３が指定したペアの正ボリュームを有するクラスタ記憶装置システム１（システム＃１）内のクラスタ１１に対して発行される（ステップ６００３）。
【００４７】
コマンドを受け取ったクラスタ１１のＣＨＡ１３はコマンドを解析して、正ボリュームに格納されているデータを副ボリュームへバックアップするためのリモートコピー処理を行う（ステップ６００４）。
【００４８】
次に、図６に示したリモートコピー処理のステップ６００１において、リモートコピー処理に使用するリモートコピー用ポートを選択する手順の一例を、図８に示すフローチャートに従って説明する。図８は、リモートコピー用ポートの選択手順の一例を示すフローチャートである。図８では、ユーザがユーザ入出力機器４から正側システム（システム＃１）に対して、予め「コピー元のボリュームが属するクラスタ内のポートから優先的にリモートコピーに使用するポートを選択する」という条件を送信しており、この条件に従ってリモートコピー用ポートを選択する方法の一例を示している。
【００４９】
尚本実施形態においては、各ポートが設定によってリモートコピー用ポート若しくは通常のＩ／Ｏ用ポートに分けられており、制御プロセッサもリモートコピー用若しくは通常Ｉ／Ｏ用に分けられていることを前提とする。しかし、本発明は係る前提に限定されるものではなく、同一ポートでリモートコピー処理と通常Ｉ／Ｏ処理の双方を実行する構成であってもよい。
【００５０】
正側クラスタ構成記憶装置システム1（システム＃１）は、コピー元ボリューム（即ち正ボリューム）となるボリュームＡが存在するクラスタ（クラスタ＃１）内にあるリモートコピー用ポート群の負荷状態を、予め設定されている時間間隔またはユーザ入出力機器４から指定された時間間隔で取得し、ユーザ入出力機器４に出力する（ステップ８００１）。
【００５１】
ユーザはクラスタ＃１内のリモートコピー用ポートのうち、負荷状況が予め設定したしきい値より低いポートがあるかどうか判定する（ステップ８００２）。しきい値より負荷状況が低いポートがあれば、ユーザはそのポートをリモートコピーに使用するポートとして選択する（ステップ８００３）。
【００５２】
しきい値より負荷状況が低いポートがクラスタ＃１内になければ、ユーザは正側システム（システム＃１）内の他のクラスタから１つクラスタを選択し選択されたクラスタ（クラスタ＃２）の識別情報をユーザ入出力機器４に入力する（ステップ８００４）。他のクラスタの識別情報をユーザ入出力機器４から受信した正側システム（システム＃１）は、クラスタ＃２内に存在するリモートコピー用ポートの負荷状況をステップ８００１と同様の方法で取得し、再度ユーザ入出力機器４に出力する。ユーザはユーザ入出力機器４の出力画面を参照して、クラスタ＃２内のリモートコピー用ポートのうち負荷状況がしきい値より低いものがあるかどうか判定する（ステップ８００５）。そしてしきい値より低いリモートコピー用ポートがあれば、その中から実際にリモートコピー処理に使用するポートをユーザは選択し、そのポートの識別情報を正側システム（システム＃１）にユーザ入出力機器４を介して送信する（ステップ８００６）。
【００５３】
クラスタ＃２内のリモートコピー用ポートも全て負荷状況がしきい値より高い場合は、正側システム（システム＃１）にクラスタ＃１及びクラスタ＃２以外の他クラスタがあるかどうかシステム＃１が判断し、他のクラスタがあればステップ８００４へ進む（ステップ８００７）。まだ選択していない他のクラスタがなければ、正側システム（システム＃１）がクラスタ＃１内のリモートコピー用ポートのうち負荷が最も低いリモートコピー用ポート１８を選択し、選択されたポートの識別情報をユーザ入出力機器4に出力してユーザに通知する（ステップ８００８）。
【００５４】
以上の処理によって、ユーザが指定した条件（図８に示す例では、コピー元ボリュームが属するクラスタに存在するリモートコピー用ポートから優先的に、実際にリモートコピー処理に使用するポートを選択するという条件）に従って、ユーザ入出力機器４の画面にリモートコピー用ポート番号、このポートが属するクラスタの番号、及び各ポートの負荷状況が表示され、ユーザは入出力機器４の入力端末を用いて画面に提示された候補ポート中から実際にリモートコピーに利用するポートを選択することができる。表示の方法としては、全ての候補ポートについて一度負荷情報等を提示する方法や、使用できないポートや負荷の高いポートは予めクラスタ構成記憶装置システム１が候補ポートから排除しておき、それらを除いたポートについての情報をユーザ入出力機器４の出力画面に提示する方法がある。
【００５５】
尚、候補ポートを予めクラスタ構成記憶装置システム１側で絞り込んでユーザ入出力機器４に提示する場合には、候補ポートを絞り込む基準、即ちどのような条件で候補ポートを絞り込むかを、ユーザが選択又は指定し、予めクラスタ構成記憶装置システム１に通知しておき、クラスタ構成記憶装置システム１は通知された基準に基づいて候補ポートを絞り込む。
【００５６】
尚、図８に示した例のように、ユーザが候補ポートの中からリモートコピーに使用されるポートを選択するのではなく、クラスタ構成記憶装置システム１の共有メモリに格納されているプログラムが制御部１０によって実行されることによって、クラスタ構成記憶装置システム１の制御部１０がポートの負荷状況を示す負荷情報を取得し、図８に示す判断手順に従って、負荷の低いポートを自動的に選択することとしても良い。また、ユーザ入出力機器４内のメモリに格納されているプログラムがユーザ入出力機器４内の演算部によって実行されることにより、ユーザ入出力機器４が例えば図8に示す判断手順に従ってリモートコピーに使用されるポートを選択することとしても良い。
【００５７】
尚、コピー先ボリューム（即ち副ボリューム）を有する副システム（システム＃２）のリモートコピー用ポートを選択する際にも図８に示す処理と同様の処理が実行される。
【００５８】
クラスタ構成記憶装置システム１内のリモートコピー用ポートの負荷状態は、当該リモートコピー用ポートに割り付けられているリモートコピー処理要求（即ち当該リモートコピー用ポートによって実行されることになっている、現在未処理のリモートコピー処理要求）の数に基づいて、CHAによって判断される。リモートコピー処理要求は共有メモリ１７内のリモートコピー処理要求キューに格納される（図示せず）。未実行のリモートコピー処理要求がリモートコピー処理要求キューに多く蓄積されている程、そのリモートコピー用ポートの負荷が高いと判断される。負荷状況を予測した結果を反映しても良い。
【００５９】
また一見負荷が高いようでも、イレギュラー的に入った要求によりポートの負荷が上がる場合もある。この場合は、係る高負荷な状態は継続しないことを考慮する必要がある。また，過去の負荷状況の周期性を利用して未来の負荷状況を推定することも考えられる。
【００６０】
図１１はリモートコピー用ポート毎に備えられている、リモートコピー処理要求キューの一例を示す図である。図１１に示す例では、リモートコピー用ポート＃２の方がリモートコピー処理要求キュー１１０１内に蓄積されたリモートコピー処理要求１１０２の合計数が多いため、負荷が高いと判断される。
【００６１】
リモートコピー用ポートの負荷を判断する際に、優先度を考慮することもできる。例えば、リモートコピー用ポート＃１に関するリモートコピー処理要求であるリモートコピーペア＃７の優先度（優先度２）が他のリモートコピー処理要求（優先度１）より高い場合は、リモートコピー用ポート＃１の方が負荷が高いと判断される場合がある。ここで優先度とは数が大きい方ほど高いとし、通常は優先度１であるとする。
【００６２】
また、リモートコピー用ポートの負荷を判断する際に、コピーされるデータ量を考慮することもできる。例えばリモートコピー用ポート＃１のリモートコピー処理要求であるリモートコピーペア＃２のコピーデータ量が大きい場合は、同じ１要求でも処理時間が長くかかるため、リモートコピー用ポート＃１は負荷が高いと判断される可能性がある。
【００６３】
さらに、最初にペアボリュームを作成する際に実行される形成コピー処理の場合、ボリューム全体のコピー処理を行うため、いくつかの同一データ単位のライト処理が継続することが予想される。
【００６４】
そこで例えば、優先度２の要求は優先度１の要求の３つ分である、という法則をユーザが経験から決めて、クラスタ構成記憶装置システム１にユーザ入出力機器４から入力して設定しておいてもよいし、係る情報を初期値として内部で設定しておいてもよい。またリモートコピー処理要求キューの内容をユーザ入出力機器の表示画面４１に表示させて、キューに登録されているリモートコピー処理要求の内容に応じて、その都度ユーザがリモートコピー処理要求の優先度を判断し、クラスタ構成記憶装置システム１に設定してもよい。例えばリモートコピー処理要求がコピーデータ量の多い要求であったり、形成コピー要求である場合には、当該リモートコピー処理要求の優先度を高く設定することが考えられる。
【００６５】
尚、上述の実施形態では主に、どのリモートコピー用ポートを選択するかをユーザが決定する場合について述べたが、クラスタ構成記憶装置システム内の共有メモリに格納されているプログラムが、制御部１０によって実行されることにより、クラスタ構成記憶装置システムがリモートコピーに使用されるリモートコピー用ポートを選択する場合もある。
【００６６】
次に、図６のステップ６００２の処理である，バックアップ先のボリューム（即ち副ボリューム）の選択方法について図１３のフローチャートに従って説明する。尚、本実施形態においては、バックアップ先（即ち副側）のクラスタ構成記憶装置システム１の構成が、バックアップ元のクラスタ構成記憶装置システムと同じ構成である場合の例を述べるが、バックアップ先のクラスタ構成記憶装置システムの構成は問わない。また、バックアップ先の記憶装置システムは、必ずしもクラスタ構成を有する記憶装置システムでなくても良い。
【００６７】
本実施形態においては、副側クラスタ構成記憶装置システム（システム＃２）及びユーザ入出力機器４が、ユーザが副ボリュームを選択する際の支援を行う。即ち、ユーザが副ボリュームを選択する際に、リモートコピーを実行する副側クラスタ構成記憶装置システム内のポートの負荷状態も考慮できるようにし、負荷の低いポートを有するCHAによってリモートコピーが実施されるよう副ボリュームを選択するための支援を、システム＃２及びユーザ入出力機器４が行う。
【００６８】
副側クラスタ構成記憶装置システムが複数ある場合には、副側クラスタ構成記憶装置システムの設置場所、システムの稼動状態を各副側クラスタ構成記憶装置システムがユーザ入出力機器４に通知し、ユーザ入出力機器４は通知された情報を表示画面４１に表示する。ユーザは表示画面４１に表示された情報から、バックアップ用のクラスタ構成記憶装置システムを選択し、ユーザ入出力機器４に接続されている入力装置（図示せず。）を用いて選択されたクラスタ構成記憶装置システムの識別情報を入力する（ステップ１３００１）。
【００６９】
ユーザの選択結果は、ユーザ入出力機器４からネットワーク２を介して各副側クラスタ構成記憶装置システムに送信される。ユーザにバックアップ用システムとして選択されたクラスタ構成記憶装置システムは、自クラスタ構成記憶装置システム内に副ボリュームとなる候補ボリュームがあるか調べる（ステップ１３００２）。候補ボリュームは空きボリュームであり、かつコピー元のボリュームの容量以上の容量を有することが必要となる。そして、候補ボリュームとその候補ボリュームがどの副側クラスタ構成記憶装置システムのどのクラスタに存在するかを示した候補ボリュームのリストを、副側クラスタ構成記憶装置システム１がユーザ入出力機器４に送信する。尚、副側クラスタ構成記憶装置システムが１つしか存在しない場合には、ステップ１３００１が実行されることなく、副側クラスタ構成記憶装置システムが候補ボリュームリストをユーザ入出力機器４に送信するステップ１３００２から処理が開始されることとしても良い。
【００７０】
ステップ１３００２で候補となるボリュームが無く、その旨が副側クラスタ構成記憶装置システム１からユーザ入出力機器４に送信された場合には、ユーザ入出力機器４はクラスタ構成記憶装置システムから受信した情報を表示画面４１に表示することによって、選択された副側クラスタ構成記憶装置システムはリモートコピー先としては使用できない旨をユーザへ知らせ、更にリモートコピー先として他のクラスタ構成記憶装置システムを選択し直すよう表示画面に表示してユーザに指示する（ステップ１３００３）。
【００７１】
ステップ１３００２で候補ボリュームがある場合、副側クラスタ構成記憶装置システムは、ポート毎に未実行のリモートコピー処理要求の数を調査することにより、副側クラスタ構成記憶装置システム内のリモートコピー用ポートの負荷状況を取得し、これをユーザ入出力機器４に送信する。ユーザ入出力機器４は、受信したリモートコピー用ポートの負荷状況を表示画面４１に出力してユーザに提示する（ステップ１３００４）。
【００７２】
ユーザは表示画面４１に出力されたリモートコピー用ポートの負荷状況を参照し、負荷状況の低いポートをリモートコピーに使用する副側のポートとして選択する（ステップ１３００５）。選択結果はユーザによって入出力装置からユーザ入出力機器４に入力される。
【００７３】
選択結果を受信したユーザ入出力機器４は、演算部がメモリに格納されているプログラムを実行することにより、ステップ１３００２において副側クラスタ構成記憶装置システムから受信した候補ボリュームのリストを参照して選択されたポートと同じクラスタに属する候補ボリュームが存在するかどうか判定する（ステップ１３００６）。候補ボリュームが存在すれば、ユーザ入出力機器４の演算部がメモリ内のプログラムを実行することにより、候補ボリュームを全てユーザに提示するか、または、候補ボリュームを選択して予め決めた個数だけユーザに提示する。選択する方法は、ランダムでもよいし、ボリューム番号の数字の小さいものから選択しても良い（ステップ１３００７）。ユーザによって選択されたポートと同じクラスタに属する候補ボリュームがなければ、ユーザ入出力機器４が他のクラスタ内の候補ボリュームをユーザに提示する。提示の仕方はステップ１３００７と同様に、全てでもよいし、あらかじめ決めた個数でもよい（ステップ１３００８）。
【００７４】
尚、本実施形態においては、副側でリモートコピーに使用されるポートと副ボリュームがなるべく同じクラスタに存在することとなるよう、ユーザによる副ボリューム選択を支援したが、副ボリュームとリモートコピー用ポートとが別々のクラスタに存在することとなるよう、ユーザによる副ボリュームの選択を支援することとしても良い。
【００７５】
次に、ユーザ入出力機器４が、クラスタ構成記憶装置システム内のリモートコピー用ポートやボリュームに関する情報を取得し、これをユーザに提示する方法について図９を参照しながら説明する。図９はユーザ入出力機器４のメモリに格納されているプログラムの一例を示す図である。
【００７６】
ユーザ入出力機器４の演算部は、図９に示すコピー先ボリューム提示プログラム４２を実行することで、クラスタ構成記憶装置システム内のポートやボリュームに関する情報を取得し、ユーザにリモートコピー先となるボリュームやリモートコピー処理に用いられるリモートコピー用ポートの情報を提供する。ユーザ入出力機器４は、具体的には例えばＰＣやノートＰＣである。
【００７７】
ユーザ入出力機器４はネットワーク２を介してクラスタ構成記憶装置システムとの間で各クラスタの負荷状況等、制御情報をやりとりする。尚、ユーザ入出力機器４はクラスタ構成記憶装置システム１が有する各クラスタ１１と専用線で直接接続されており、専用線を介して制御情報が送受信されても良い。この場合ユーザとクラスタ構成記憶装置システム１との間の制御情報のやり取りが、ネットワーク２のトラフィック負荷に影響を与えないというメリットがある。
【００７８】
図９に示すコピー先ボリューム提示プログラム４２は、クラスタ構成記憶装置システム１内のリモートコピー用ポートやボリュームの情報を取得するデータ取得プログラム１９１、取得された情報と各種条件（例えば、コピー対象のボリュームとリモートコピーに用いられるポートとが同一クラスタ内にあること等）に基づいて、ユーザへ提示するポートを選択する提案管理プログラム１９２、及び提案したポートを表示画面４１表示するための表示プログラム１９３のサブプログラムを有する。
【００７９】
データ取得プログラム１９１は、対象となるクラスタ構成記憶装置システム１に設置されたポートやボリュームの情報を取得する際に実行される。データ取得プログラム１９１が実行されると、クラスタ構成記憶システム１内の全てのポート及び空きボリュームの情報がユーザ入出力機器４によって取得される。データ取得プログラム１９１が実行されることによって取得されるポートの情報とは、ポートが属するクラスタの識別情報である設置クラスタ番号、ポートの使用状況、ポートで実行される予定の未処理のリモートコピー処理要求数、等である。またデータ取得プログラム１９１が実行されることによって取得されるボリュームの情報とは、空きボリュームの識別情報とその空きボリュームのボリューム容量等のことである。
【００８０】
データ取得プログラム１９１が実行されると、専用のコマンドがユーザ入出力機器４からクラスタ構成記憶装置システムに送信される。このコマンドを受信したＣＨＡ１３は共有メモリ１７内に格納されたリソース負荷情報１７３をアクセスすることによって、空きボリュームの情報やポートの負荷情報を取得し、取得された情報はＣＨＡがユーザ入出力機器４に送信する。
【００８１】
尚、コマンドを受信したＣＨＡは、予めクラスタ構成記憶装置システム１に設定されている条件、例えば「副ボリュームと同じクラスタに存在するポートである」等の条件に従って、ポートやボリュームを絞り込み、絞り込んだポートやボリュームに関する情報のみをユーザ入出力機器４へ送信しても良い。この方法だと，ユーザ入出力機器４の負担が軽減される。また、ＣＨＡはクラスタ構成記憶装置システム１内の全てのポートについての情報をユーザ入出力機器４に送信し、ユーザ入出力機器４が提案管理プログラム１９２を実行し、提案管理プログラムの処理によって、表示画面４１に出力してユーザに提示するポートの情報を絞り込んでも良い。
【００８２】
表示プログラム１９３は、表示画面４１に候補ボリュームやリモートコピー用ポートに関する情報を出力し、リモートコピー処理に使用されるボリュームやポートをユーザへ視覚的に提案するために実行されるプログラムである。
【００８３】
次に図６のステップ６００４で実行されるリモートコピー処理について説明する。
【００８４】
ユーザ入出力機器４から正ボリュームと副ボリュームのペアが正側クラスタ構成記憶装置システム及び副側クラスタ構成記憶装置システムに設定されると、正ボリュームから副ボリュームへのデータのコピーが実行される。このペア設定後に実行される正ボリュームから副ボリュームへのデータのコピーを、形成コピーと呼ぶ。また、形成コピー完了後にサーバ３から正ボリュームへライト要求が送信された場合、正側クラスタ構成記憶装置システムが副ボリュームに対して即ライト要求を出す。この結果、副ボリュームが正ボリュームのバックアップとして同じ内容のデータを格納するよう、正側クラスタ記憶装置システムから副側クラスタ構成記憶装置システムへライトデータがコピーされる。この様な正ボリュームのデータの更新に伴う副ボリュームへのデータのコピーを更新コピーと呼ぶ。
【００８５】
例えば図１２に示すように、正側クラスタ構成記憶装置システム１１０（システム＃１）のクラスタ＃１１（１１１）の配下にある論理ボリュームＡ１５２から副側クラスタ構成記憶装置システム２１０（システム＃２）のクラスタ＃２１（２１１）の配下にある論理ボリュームＢ２５２へデータをコピーすることを考える。クラスタ＃１１（１１１）のポート１８２、クラスタ＃１２（１１２）のポート１８６、クラスタ＃２１（２１１）のポート２８２、クラスタ＃２２（２１２）のポート２８６がリモートコピー用ポートとして設定されているものとする。尚、ポート１８１、ポート１８５、ポート２８１、ポート２８５は、クラスタ構成記憶装置システムとサーバとを接続する通常のポートである。リモートコピー用ポートは、記憶システム間でコマンドをやりとりするため、通常のポートとは異なる。
【００８６】
ここで、形成コピーの一例として、図１２におけるリモートコピー用ポート１８６とリモートコピー用ポート２８２がパスで接続されており、これらのリモートコピー用ポートを介して形成コピー処理が実行される手順を図１４のフローチャートに従って説明する。
【００８７】
サーバ＃１（３）が発行した論理ボリュームＡ１５２と論理ボリュームＢ２５２間のリモートコピー要求は、クラスタ構成記憶装置システム＃１（１１０）のクラスタ＃１１（１１１）のＣＨＡ１３のリモートコピー処理実行部１３１が受け取る。尚、リモートコピー処理部はCHAが有するプロセッサがCHAが有するメモリ内に格納されているリモートコピー処理プログラムを実行することによって実現される。リモートコピー要求を受信する際リモートコピー処理実行部１３１は、コピー先の副ボリュームがクラスタ構成記憶装置システム＃２（２１０）のクラスタ＃２２（２１２）の配下に存在するという情報も受け取る（ステップ１４００１）。
【００８８】
次にリモートコピー要求処理実行部１３１は、コピー対象のデータがクラスタ構成記憶装置システム＃１のクラスタ＃１２内のキャッシュメモリ１６上に格納されているか否かを判断し、キャッシュメモリ内に格納されていなければ（ステップ１４００９）、コピー対象のデータを格納しているディスクと接続されている、クラスタ＃１１内のＤＫＡ１４へコピーデータのリード要求を出す（ステップ１４００２）。
【００８９】
クラスタ＃１１のＤＫＡ１４はリモートコピー要求処理実行部１３１からリード要求を受け取り、リード処理を実行する。クラスタ＃１１のＤＫＡ１４は、リードしたデータをクラスタ＃１２のキャッシュメモリ１６へ格納し、読み出したデータのアドレスをリード要求の発行元であるクラスタ＃１１のCHA１３へ通知する。クラスタ＃１１のCHA１３は、どのデータをクラスタ＃１２のキャッシュメモリ１６に格納したかを差分管理部１３２を用いて記録する（ステップ１４００３）。尚、差分管理部１３２はCHA１３が有するプロセッサがCHA１３が有するメモリに格納されている差分管理プログラムを実行することにより実現される。差分管理部１３２は、クラスタ＃１２のキャッシュメモリ１６に格納されたデータのアドレスをCHA１３が有する共有メモリに記憶して管理している。
【００９０】
クラスタ＃１１のＣＨＡ１３のリモートコピー処理実行部１３１は、ステップ１４００１でリモートコピー要求を受け取った時、又はステップ１４００３においてDKA１４からクラスタ＃１２のキャッシュメモリ１６にデータを格納した旨の通知を受けた時、又は予め定められているデータ量分のデータがクラスタ＃１２のキャッシュメモリ１６に溜まった時に、クラスタ＃１２のCHA１３bのリモートコピー処理実行部133を起動する。リモートコピー処理実行部１３３は、クラスタ＃１１のＣＨＡ１３aが有するプロセッサとクラスタ＃１２のCHA１３bが有するプロセッサとの間でプロセッサ通信を行うことで起動されることとしてもよいし、クラスタ＃１１のCHA１３aとクラスタ＃１２のCHA１３bとの間でメッセージを送受信するメッセージ通信で起動されることとしても良い。また、クラスタ＃１１のＣＨＡ１３aがクラスタ＃１２のＣＨＡ１３bへジョブを登録してリモートコピー処理実行部１３３を起動しても良い。（ステップ１４００４）。
【００９１】
クラスタ＃１２のＣＨＡ１３bのリモートコピー処理実行部１３３が起動されると、リモートコピー処理が開始される（ステップ１４００５）。具体的には、リモートコピー処理実行部１３３は、クラスタ＃１２のキャッシュメモリ１６内にクラスタ＃１１が格納したデータを、リモートコピー用ポート１８６を経由して，副側クラスタ構成記憶装置システム＃２内のクラスタ＃２１のキャッシュメモリ１６へ転送する。このときリモートコピー処理実行部１３３は、クラスタ＃１１がクラスタ＃１２のキャッシュメモリ１６にデータを格納した順にデータをクラスタ＃２１へ送信するとは限らない。そこでクラスタ＃１１がクラスタ＃１２のキャッシュメモリ１６にデータを格納した際の書込み順序がわかるように、クラスタ＃１２のＣＨＡ13bは副側クラスタ構成記憶装置システム＃２へデータを渡すときに、クラスタ＃１１が当該データをクラスタ＃１２のキャッシュメモリ１６に格納した順番を示す番号、又はクラスタ＃１２がクラスタ＃１１から当該データを受信した時刻をつけて、当該データを副側クラスタ構成記憶装置システム＃２へ送信する（ステップ１４００６）。
【００９２】
副側クラスタ構成記憶装置システム＃２内のクラスタ＃２１は、ＣＨＡ１３ｃ内のプロセッサがＣＨＡｃ１３内のメモリに格納されているリモートコピー処理実行プログラム（図示せず）を実行することによって、正側クラスタ構成記憶装置システム＃１のクラスタ＃１２からデータを受け取り、クラスタ＃２１のキャッシュメモリ１６ｃに格納する（ステップ１４００７）。そして、クラスタ＃２１のＣＨＡ１３ｃのプロセッサは、キャッシュメモリ１６ｃに格納されているコピーデータを論理ボリュームＢ２５２へ格納するよう、クラスタ＃２１のＤＫＡに指示する。ＣＨＡ１３ｃからの指示を受信したクラスタ＃２１内のＤＫＡ１４ｅは、クラスタ＃１２によってコピーデータに付与された時刻順にコピーデータを論理ボリュームＢ２５２に格納する。若しくは、ＤＫＡ１４ｅは、クラスタ＃１２によってコピーデータに付与された番号順にコピーデータが論理ボリュームＢ２５２に格納されるよう、連続した番号が付与されているコピーデータが確保できたら、その都度そのコピーデータを論理ボリュームＢ２５２に格納することとしても良い（ステップ１４００８）。
【００９３】
尚、以上の処理において、正側クラスタ構成記憶装置システム＃１の論理ボリュームＡ１５２から読み出したデータを格納するキャッシュメモリ及び、リモートコピー処理を実行するＣＨＡ及びＤＫＡは、クラスタ＃１１または＃１２内に存在するキャッシュメモリ、ＣＨＡ、ＤＫＡのいずれであっても良く、上述の例に限定されることなく適宜選択することができる。副側クラスタ構成記憶装置システム＃２でも同様である。
【００９４】
形成コピー実行中又は、形成コピー完了後にホストからのデータ更新要求を受け付けた場合には、更新内容のみを副側クラスタ構成記憶装置システム＃２にコピーする。図１５のフローチャートに従って、係る更新コピー処理の手順を説明する。
【００９５】
サーバ３からのライト要求をクラスタ＃１１のＣＨＡ１３aが受信する（ステップ１５００１）。ＣＨＡ１３aは、クラスタ＃１１内のキャッシュメモリ１６へ、ライト要求に含まれるライトデータを書き込む。非同期処理の場合は更に、クラスタ＃１１のＣＨＡ１３はライトデータをキャッシュメモリ１６に書き込んだ後上位サーバ３へ処理終了を報告する（ステップ１５００２）。
【００９６】
クラスタ＃１１ではどのデータが更新されたかを、差分ビットマップを用いて管理している。差分ビットマップ上では、更新されたデータを示す情報はオン（即ち「１」）とされる。そこでCHA１３aはライトデータに対応する差分ビットマップ上の情報をオンにする。更に上位サーバ３からライトデータを受信した順序でデータをリモートコピーするため、クラスタ＃１１のＣＨＡ１３aの順序管理１３６は、順序管理テーブルを用いて、ライトデータを受信した順序を管理する。そこで、CHA１３aは、ライトデータを順序管理テーブルに登録する。尚、順序管理１３６は、ＣＨＡ13a内のメモリに格納されている順序管理プログラムをＣＨＡ13aが有するプロセッサが実行することによって実現される。また差分ビットマップ及び順序管理テーブルは共有メモリ１７a上に設けられている（ステップ１５００３）。
【００９７】
次にクラスタ＃１１のCHA１３aは、クラスタ＃１２のＣＨＡ１３ｂに、更新コピー処理を実行するよう指示し、CHA１３bのリモートコピー処理実行部１３３が起動される。尚、ステップ１４００４と同様に、ステップ１５００４においてクラスタ＃１１がCHA１３bのリモートコピー処理実行部１３３を起動する方法も複数ある（ステップ１５００４）。
【００９８】
起動を受けたクラスタ＃１２のリモートコピー処理実行部１３３は、コピー処理を開始する。クラスタ＃１２のリモートコピー処理実行部１３３は、クラスタ＃１１内にある順序管理テーブルを参照し、順番の一番早いデータを探す（ステップ１５００５）。そして、リモートコピー処理実行部１３３は、順番の一番早いデータをクラスタ＃１１のキャッシュメモリ１６aから取得し、副側クラスタ構成記憶装置システム＃２へコピー要求を出す。そのとき順序管理１３６が順序管理テーブル上で管理している、ライトデータを受信した順序を示す番号であるシーケンス番号も、リモートコピー処理実行部１３３から副側クラスタ構成記憶装置システム＃２に送信する。尚、リモートコピー処理実行部１３３は、データをクラスタ＃１２のキャッシュメモリ１６b内へ一旦コピーしてからクラスタ構成記憶装置システム＃２へコピー要求を出す構成としてもよい。同期処理の場合はこの時点で、クラスタ１１のＣＨＡ１３aが上位サーバ３へライト処理の完了を報告する（ステップ１５００６）。
【００９９】
クラスタ＃２１にコピーデータをコピーし終わると、リモートコピー処理実行部１３３は、差分ビットマップ中当該コピーデータを示している領域の信号をオフにする。次にクラスタ＃１１のＣＨＡ１３aによって、ライトアフタにて、クラスタ＃１１のキャッシュメモリ１６aから論理ボリュームＡに対応するディスクへデータが格納される。更にクラスタ＃１１のＣＨＡ１３aは、キャッシュメモリ１６aからコピーデータが読み出された後、順序管理テーブルを更新して、当該読み出されたデータを順序管理テーブルから削除する（ステップ１５００７）。そして、次のコピーデータがあればステップ１５００５へ戻る。なければ処理を終了する（ステップ１５００８）。
【０１００】
図１８に差分ビットマップ１９０１の一例を、図１９に順序管理テーブル１９０２の一例を各々示す。上述の様に、差分ビットマップと順序管理テーブルは共有メモリ１７内に格納されている。
【０１０１】
差分ビットマップ１９０１は、各データに対応したビットの値によって、当該データに関し、正ボリュームと副ボリューム間で整合性がとれているかどうかを管理するためのテーブルである。ビットの値が「０」の場合はこのビットに対応するデータについては、正ボリュームと副ボリュームが同じ値を格納していることを示す。ビットの値が「１」の場合には、正ボリュームに格納されているこのビットに対応するデータが更新されており、当該データに関しては、正ボリュームと副ボリュームが異なる値を格納していることを示す。クラスタ構成記憶装置システム１は、リモートコピーペア毎に差分ビットマップを一つずつ有する。
【０１０２】
順序管理テーブル１９０２には、データごとに、正側クラスタ構成記憶装置システムに当該データがライトされた順序を示すシーケンス番号１９０２１、サーバ計算機によって当該データがライトされた時刻（即ち当該データが更新された時刻）１９０２２、当該データ（ライトデータ）が格納されているキャッシュメモリ上の位置を示すライトデータ格納位置情報１９０２３が登録されている。クラスタ構成記憶装置システム１は、リモートコピーペア毎に順序管理テーブル１９０２を一つずつ有する。
【０１０３】
正側クラスタ構成記憶装置システム（システム＃１）は、サーバ計算機３からライトデータを受信すると、ライトデータに付与されているシーケンス番号、サーバ計算機からライトデータを受信した時刻を表すライト時刻、及びライトデータが格納されたキャッシュメモリ上の位置情報を順序管理テーブル１０９２に登録する。そして、データを副ボリュームにコピーするために、当該データを副側クラスタ構成記憶装置に送信する際、正側クラスタ構成記憶装置システム（システム＃１）は、当該データに関する登録を順序管理テーブル１９０２から削除する。
【０１０４】
副側クラスタ構成記憶装置システム（システム＃２）は、正側クラスタ構成記憶装置システム（システム＃１）からライトデータを受け取ると、ライトデータとセットになっているシーケンス番号及びライト時刻を順序管理テーブル１０９２に登録する。そして、連続したシーケンス番号を有するライトデータが順序管理テーブル１０９２に登録されたのを契機に、この連続したシーケンス番号を有するライトデータをディスクに書き込むよう、副側クラスタ構成記憶装置システムのCHAが制御する。シーケンス番号が連続しておらず、間の番号が抜けている場合には、その抜けているシーケンス番号が付与されているライトデータが正側クラスタ構成記憶装置システムから到着し、シーケンス番号が連続するまで待った後、ライトデータをディスクに書き込むよう、副側クラスタ構成記憶装置システム（システム＃２）は制御する。
【０１０５】
次に、リモートコピー処理が開始されてからリモートコピー用ポートをダイナミックに変更する際に、変更先のポートを選択する方法を図１６のフローチャートに従って説明する。
【０１０６】
正側の制御部１０は、予め決めた時間間隔毎に、各ポートの負荷状況を検索する（ステップ１６００１）。そして負荷がしきい値を超えているポートがあるかどうかを判定する。尚、ステップ１６００１において検索した負荷状況をユーザ入出力機器４に通知して、ユーザ入出力機器４から負荷状況をユーザに提示し、ユーザが負荷が閾値を超えているポートがあるかどうかを判定して判定結果をユーザ入出力機器４から入力することとしても良い。
【０１０７】
正側の制御部１０は、負荷がしきい値を超えているポートがあれば本処理を続ける（ステップ１６００２）。負荷がしきい値を超えたポートが特定のクラスタに偏在している場合には、ステップ１６００５に進む。それ以外の場合は、ステップ１６００４に進む（ステップ１６００３）。負荷が閾値を超えたポートが特定のクラスタ内に偏在している場合には、正側の制御部１０は、クラスタ間で負荷を分散する（ステップ１６００５）。それ以外の場合には、正側の制御部１０は、同一クラスタ内のリモートコピー用ポート間で負荷を分散する（ステップ１６００４）。尚、負荷が閾値を超えたポートが特定のクラスタに偏在している場合とは、例えば、クラスタ構成記憶装置システム内のある特定のクラスタ内では、複数のポートの負荷が閾値を超えており、一方同じクラスタ構成記憶装置システム内の他のクラスタ内には負荷が閾値を超えたポートが存在しない場合のことをいう。
【０１０８】
図１６のステップ１６００４において実行される、同一クラスタに属する複数のポート間の負荷を分散するための処理（クラスタ内負荷分散処理）を、図２０のフローチャートに従って説明する。
【０１０９】
正側の制御部１０は、負荷がしきい値を越えているリモートコピー用ポートをひとつ選択する（ステップ２０００１）。この際、負荷が閾値を超えているリモートコピー用ポートが複数存在する場合には、もっとも負荷の高いポートを選択する。次に、正側の制御部１０は、前記選択されたリモートコピーポートと同じクラスタ内のリモートコピー用ポートの負荷状況を検索して取得し、必要であればユーザ入出力機器に検索結果を出力してユーザに検索結果を提示する（ステップ２０００２）。そして選択されたリモートコピー用ポートと同じクラスタに属するリモートコピー用ポートの中に、負荷がしきい値よりも低いリモートコピー用ポートがある場合には、ステップ２０００４へすすみ、なければ本処理を終了する（ステップ２０００３）。正側の制御部１０は、選択されたリモートコピー用ポートと同じクラスタ内のリモートコピー用ポートで、負荷状況がしきい値よりも低いリモートコピー用ポートを選択する（ステップ２０００４）。
【０１１０】
次に、正側の制御部１０は、ステップ２０００１で選択された負荷が閾値を超えているリモートコピー用ポートに割り当てられているリモートコピー処理要求の内、どのリモートコピー処理要求をステップ２０００４で選択されたリモートコピー用ポートに割り当てるか、即ちステップ２０００４で選択されたリモートコピー用ポートにリモートコピー処理をどれだけ委託するかを決定する。このとき、ステップ２０００１で選択されたリモートコピー用ポートと同一クラスタ内に存在するリモートコピー用ポートであって、ステップ２０００１で選択されたリモートコピー用ポートの次に負荷の高いリモートコピー用ポートの負荷状況を考慮する。次に負荷の高いリモートコピー用ポートに割り当てられているリモートコピー処理を、今後他のリモートコピー用ポートに再割当する可能性があるからである。また、リモートコピー要求の再割当後にステップ２０００１及びステップ２０００４において選択されたリモートコピー用ポート各々に割当てられているリモートコピーペアの数がバランスがとれるよう、即ちリモートコピー用ポートにかかる負荷が分散できるよう、再割当するリモートコピー要求を決定する。尚、ステップ２０００２でユーザに提示した負荷状況をもとに、ユーザがステップ２０００４において選択されたポートに再割り当てするリモートコピーペア、若しくはリモートコピーペアの数を指定し、ユーザ入出力機器4に入力することによって、ユーザから指定されたリモートコピーペア、若しくはユーザから指定された数分のリモートコピーペアをステップ２００００４で選択されたリモートコピー用ポートに再割当することとしても良い（ステップ２０００５）。
【０１１１】
しきい値を超えたポートがクラスタ内にまだあれば、再びステップ２０００１から処理を続ける（ステップ２０００６）。
【０１１２】
尚、図２０に示す手順では、負荷が閾値を越えているリモートコピー用ポート１つずつについて順次リモートコピー要求の再割り当てを行ったが、ステップ２０００１において同一クラスタ内に存在する負荷が閾値を超えているリモートコピー用ポートを全て選択し、ステップ２０００５においてステップ２０００１で選択されたリモートコピー用ポート全てについてコピー要求をどのように再割当するか決定することとしても良い。
【０１１３】
次に図１６のステップ１６００５において実行される、複数のクラスタ間でリモートコピー用ポートの負荷を分散するためのクラスタ間負荷分散処理を、図２１のフローチャートに従って説明する。
【０１１４】
正側の制御部１０は、負荷状況がしきい値を越えているリモートコピー用ポートのひとつを選択する（ステップ２１００１）。そして、正側の制御部１０は、ステップ２１００１で選択されたリモートコピー用ポートが属するクラスタとは異なるクラスタを１つ選択する（ステップ２１００２）。正側の制御部１０は、ステップ２１００２で選択されたクラスタ内のリモートコピー用ポートの負荷状況を検索して取得し、必要であれば取得結果をユーザ入出力機器４に出力してユーザに提示する（ステップ２１００３）。ステップ２１００２で選択されたクラスタ内に、負荷がしきい値よりも低いリモートコピー用ポートがある場合はステップ２１００７へすすみ、なければステップ２１００５へ進む（ステップ２１００４）。ステップ２１００５においては、ステップ２１００１で選択されたリモートコピー用ポートが属するクラスタとは異なるクラスタであって、未だ選択されていないクラスタがあるかどうか判断し、あればステップ２１００２へ進む（ステップ２１００５）。なければ本処理は終了し、図２０に示す手順に従って、同一クラスタ内での負荷分散処理を行う。
【０１１５】
ステップ２１００４で負荷が閾値よりも低いリモートコピー用ポートがあった場合には、正側の制御部１０は、負荷がしきい値よりも低いリモートコピー用ポートの中から１つリモートコピー用ポートを選択する（ステップ２１００７）。この際、例えば最も負荷が低いリモートコピー用ポートを選択することとしても良い。そして、ステップ２１００１で選択されたリモートコピー用ポートとステップ２１００７で選択されたリモートコピー用ポートの負荷状況に応じて、ステップ２１００１で選択されたリモートコピー用ポートに割り当てられているリモートコピー処理要求のうち、どの要求もしくは幾つの要求をステップ２１００７で選択されたリモートコピー用ポートに再割当するか決定する。即ち、ステップ２１００１で選択されたリモートコピー用ポートに現在割り当てられているモートコピー処理ペアの数を、いくつまで減らすかを決定する（ステップ２１００８）。この決定処理は、図２０のステップ２０００５と同様の手順によって実行される。
【０１１６】
他にも負荷が閾値を超えているリモートコピー用ポートが存在する場合には、ステップ２１００１に戻って処理を続ける。負荷が閾値を超えているリモートコピーが他には存在しない場合には処理を終了する（ステップ２１０１０）。
【０１１７】
以上図２０及び図２１を用いて説明したリモートコピー用ポートの変更に際する変更後のリモートコピー用ポートの選択方法においては、一例として正側クラスタ構成記憶装置内での負荷分散に着眼した手順を示したが、副側クラスタ構成記憶装置システムにおいても同様の手順によってリモートコピー用ポートの負荷分散処理を実行することができる。またユーザは、ユーザ入出力機器4に出力される、正側及び副側双方のクラスタ構成記憶装置システムのリモートコピー用ポートの負荷を監視して、双方のクラスタ構成記憶装置システムでリモートコピー用ポートの負荷が分散されるよう、使用されるリモートコピー用ポートポートを変更することもできる。
【０１１８】
次に、図２０または図２１に示す手順によって選択されたリモートコピー用ポートに、リモートコピー処理を実際に実行させるための方法を、図１７のフローチャートに従って説明する。
【０１１９】
正側の制御部１０は、変更前のリモートコピー用ポートと変更後のリモートコピー用ポートが同一クラスタ内にあるか否か判定する（ステップ１７００１）。両ポートが同一クラスタ内に存在する場合は、変更前のポートに割り付けられたリモートコピー処理のうち図２０のステップ２０００５や図２１のステップ２１００８において選択された未処理分のリモートコピー処理を、変更後のポートに移動、即ち再割り当てする。具体的には、変更前のリモートコピー用ポートを制御するプロセッサ（CHA）と変更後のリモートコピー用ポートを制御するプロセッサ（CHA）の間で、リモートコピー処理要求を受け渡しを実行する（ステップ１７００２）。尚、リモートコピー処理の受け渡しは、プロセッサ間で、変更前のリモートコピー用ポートに対応するリモートコピー処理要求キュー１１０１に格納されている未処理のリモートコピー処理を、変更後のリモートコピー用ポートに対応するリモートコピー処理要求キュー１１０１に移すことによって実行される。
【０１２０】
次に、変更前のリモートコピー用ポートによってリモートコピー処理が実行中であるリモートコピーペアについてのリモートコピー処理の再割り当てを実行する。リモートコピー処理が変更前のリモートコピー用ポートによって実行中である場合には、実行中の処理が完了するまでそのリモートコピー処理は変更前のリモートコピー用ポートが実行する。そして実行中の処理が終了してから、リモートコピー処理の受け渡しが行われる。具体的には、リモートコピー処理を実行中のペア情報やペアに割り付けられたポート番号の情報を更新する（ステップ１７００３）。
【０１２１】
情報の更新処理が終わったら、変更前のリモートコピー用ポートのリモートコピー処理要求キュー１１０１から、更新された情報に対応するリモートコピーペアに関する未処理分の要求を削除する（ステップ１７００４）。
【０１２２】
ステップ１７００１で変更前のリモートコピー用ポートと変更後のリモートコピー用ポートが異なるクラスタに存在すると判断した場合、クラスタをまたいだプロセッサ（CHA）間でリモートコピー処理の移動を行う。変更前のリモートコピー用ポートに割り付けられた処理のうち、変更後のリモートコピー用ポートに移動するものとして図２０のステップ２０００５や図２１のステップ２１００８において選択された、未処理分のリモートコピー処理要求を、変更後のポートを制御するプロセッサのリモートコピー処理要求キュー１１０１へコピーする。コピーは、プロセッサ間通信若しくは、メッセージ通信若しくは、ジョブ間通信によって実行される（ステップ１７００５）。
【０１２３】
変更前のリモートコピー用ポートが処理実行中であるリモートコピーペアに関しては、実行中の処理が完了するまで変更前のポートでリモートコピー処理を実行する。実行中の処理が終了したら、リモートコピー用ポートに割り当て中のペア情報やペアに割り当てたポート番号の情報を更新し、ステップ１７００４と同様にコピーする。更に、リモートコピーペア情報、差分ビットマップ、及び順序管理テーブルを、変更前のリモートコピー用ポートが属するクラスタ内の共有メモリから、変更後のリモートコピー用ポートが属するクラスタ内の共有メモリへコピーする。（ステップ１７００６）。
【０１２４】
その後、変更前のリモートコピー用ポートを制御するプロセッサのリモートコピー処理要求キュー１１０１から、変更後のリモートコピー用ポートに再割当したリモートコピー要求を削除する（ステップ１７００７）。そして、変更前のリモートコピー用ポートを制御していたプロセッサ（CHA）は、変更後のリモートコピー用ポートを制御するプロセッサ（CHA）へ、リモートコピー処理を実行するよう指示し、リモートコピー処理の起動をかける（ステップ１７００８）。
【０１２５】
次に、図２０のステップ２０００２や図２１のステップ２１００３でユーザ入出力機器４に提示されるリモートコピー用ポートの負荷状況を示す情報の一例を図１０に示す。
【０１２６】
入力画面１０１０は、リモートコピー用ポートの負荷状況をユーザ入出力機器４に表示させるためにユーザが入力する情報の一例を示している。ユーザはユーザ入出力機器４にボリュームを指定するための情報を入力する。入力される情報は、具体的には、当該ボリュームがコピー元又はコピー先ボリュームか否か１０１１、当該ボリュームが属するクラスタ構成記憶装置システムの番号１０１２、当該ボリュームが属するクラスタの番号１０１３、当該ボリュームの番号１０１４である。
【０１２７】
これらの情報を入力データ１０１０として受け付けると、ユーザ入出力機器４のデータ取得部１９１は、取得したデータに基づいて、入力データが示すボリュームに関するリモートコピー処理を行う可能性のあるリモートコピー用ポートの一覧を表示する。
【０１２８】
ユーザ入出力機器４が出力するリモートコピー用ポートに関する情報は、入力情報が示すボリュームと同じクラスタ構成記憶装置システムに属するリモートコピー用ポートの一覧であり、その一例が出力情報１０２０である。リモートコピー用ポートの一覧には、当該ポートが属するクラスタ構成記憶装置システムの番号１０２１、当該ポートが属するクラスタの番号１０２２、当該ポートと接続されるＣＨＡの番号１０２３、当該ポートの使用可否状態１０２４、当該ポートの負荷状態を表す数値１０２５、当該ポートの負荷と予め定められている閾値とを比べた際の当該ポートの負荷の大小１０２６、リモートコピー用パスの番号１０２７が含まれる。
【０１２９】
尚、ユーザ入出力機器４は、リモートコピー処理を実行可能なリモートコピー用ポートの候補を全てを出力したり、リモートコピー用ポートの候補の中から更に負荷の低いポートを選択して出力することも可能である。さらにユーザ入出力機器４は、リモートコピー用ポートの候補の中から、変更後のリモートコピー用ポートとなるべきポートを１つ選択し、選択されたリモートコピー用ポートに関する情報のみを出力することとしても良い。
＜第二の実施形態＞
次に本発明の第二の実施形態を説明する。
【０１３０】
図２２は、第二の実施形態における計算機システムの一例を示す図である。計算機システムは、クラスタ分散記憶装置システム５、クラスタ分散記憶装置システム５に格納されたデータを使用するサーバ３、及びリモートコピー先のボリュームを有する記憶装置システムが存在するサイトであるリモートサイト７が、ネットワーク８で相互に接続された構成を有している。
【０１３１】
クラスタ分散システム５とリモートサイト７の関係は、図１２のクラスタ構成記憶装置システム（システム＃１）１１０とクラスタ構成記憶装置システム（システム＃２）２１０と同様である。
【０１３２】
クラスタ分散システム５は、複数（図２２では例として３つの場合を表示）のクラスタ１１１〜１１３と、サーバ３からの要求を受け取る複数のプロセッサ１２０と、複数のプロセッサ１２０と複数のクラスタ１１１〜１１３を接続する内部ネットワーク１３０と、プロセッサ１２０の制御管理を行ない内部ネットワーク１３０に接続された仮想管理１４０とを有する。複数のプロセッサ１２０とサーバ３とリモートサイト７は、ネットワーク８により接続されている。
【０１３３】
プロセッサ１２０は、クラスタ分散システム５内の論理ボリュームであれば、クラスタ１１１〜１１３配下のどの論理ボリュームへのアクセスでも受け付ける。従ってどのポート１８１〜１８４からも、クラスタ分散システム５内のどの論理ボリュームへもアクセスできる。
【０１３４】
本構成では、従来ネットワーク８と接続しネットワークと記憶装置システムとの間の情報の送受信を制御していたチャネル接続部分をプロセッサ１２０として他の部分から独立化し、プロセッサ１２０はサーバ３から受け取った要求について、プロトコル変換を実行してクラスタが認識できる形式に変換し、当該要求がどのクラスタの配下に存在する論理ボリュームへの要求かを判断し、該当するクラスタへ変換後の要求を送信する。
【０１３５】
クラスタ１１１は制御部と、制御部に接続された一又は複数のディスクドライブ１５を有する。制御部は、複数台のプロセッサ１３９と複数のメモリユニット１９を有する。他のクラスタ１１２やクラスタ１１３も同様の構成を有する。
【０１３６】
プロセッサ１３９は制御部内に搭載されたプロセッサであり、複数のプロセッサ１３９は各々並列に処理を実行する。ポート１８１〜１８４を介してクラスタに入力されるサーバ３からのコマンドの解析や、サーバ３とクラスタ間でのデータ転送を実行するためのプログラムがメモリユニット１９内の共有メモリに格納されており、プロセッサは共有メモリに格納されているプログラムを実行する。またプロセッサは、パリティ生成などのディクスアレイの制御を行うためのプログラムや、ディスクドライブ装置１５と制御部との間のデータの転送を制御するプログラムも実行する。これらのプログラムもメモリユニット１９の共有メモリに格納されている。
【０１３７】
ディスク装置１５は複数のポートを有し、複数のパスで同じクラスタ内の異なるプロセッサ１３９と接続されている。従ってあるクラスタ内に存在するどのプロセッサ１３９からでも、同一クラスタ内のどのディスク装置１５にもアクセスできる。また、リモートコピー処理を実行するプログラム、リモートサイトに格納されているデータとクラスタ分散システム５に格納されているデータの差分を管理するプログラム、データをクラスタ分散システム５からリモートサイト７に転送する際、データの転送順序を管理するプログラム、データ移行処理を実行するプログラムは、制御部内のハードディスク内に格納されており、共有メモリに読み込まれてからプロセッサ１３９によって実行される。
【０１３８】
メモリユニット１９は、各プロセッサ１３９からアクセス可能な共有メモリ１７とキャッシュメモリ１６を備える。各プロセッサ１３９はジョブ管理に必要な情報や、キャッシュメモリを管理するための情報等、各プロセッサで共有されるべきデータを共有メモリ１７に格納する。メモリユニット１９、キャッシュメモリ１６、及び共有メモリ１７の構成は第一の実施形態で述べた構成と同様である。図２に示すペア情報テーブル、図３に示すボリューム情報テーブル，図１８に示すの差分ビットマップ及び図１９に示す順序管理テーブルも共有メモリ１７に格納されている。尚共有メモリ１７とキャッシュメモリ１６が同一メモリであってもよい。また、別の方法として、図２、図３、図１８及び図１９に示す情報を仮想管理１４０内のメモリ（図示せず）に格納し、管理することもできる。メモリユニット１９には複数の共有メモリが備えられており、各々の共有メモリが同じ内容のデータを格納することにより、信頼性を向上させている。
【０１３９】
クラスタ分散システム５は更に、ユーザ入出力機器４を備えており、ユーザ入出力機器４は内部ネットワーク１３０またはネットワーク８に接続されている。図２２には、ユーザ入出力機器４がネットワーク１３０と接続されている場合を図示する。
【０１４０】
論理ボリュームＡ１５２に格納されているデータを、論理ボリュームＢ２５２にリモートコピーする処理の場合、例えばリモートコピー用ポート１８６又はリモートコピー用ポート１８７のうちどれを使うか等のポート選択は、クラスタ側ではできない。リモートコピー要求を受け取るプロセッサ１２０は、クラスタ外にクラスタとは独立して存在し、いずれかのプロセッサ１２０内に設置されているリモートコピー用ポートを使用してリモートコピー処理が実行されることになるからである。
【０１４１】
又、クラスタ分散システム５においては、リモートコピー元となるボリュームＡへアクセスできるのはボリュームAと同じクラスタ１１１内に存在するプロセッサ群だけなので、クラスタ分散システム５に存在する全てのプロセッサの中から、リモートコピー処理を実行するプロセッサを自由に選択することは、本実施形態ではできない。
【０１４２】
尚、本実施形態におけるリモートコピー処理は、図６のステップ６００４と同様にして実行される。但しステップ６００４におけるCHA１３は、本実施形態ではコマンドを受取ったクラスタ１１のプロセッサに相当する。
【０１４３】
図１に示すクラスタ構成記憶装置システムにおいては、どのポートからも、任意のディスク装置へアクセスできたが、図２２に示すクラスタ分散システムにおいては、各プロセッサがアクセスできるディスク装置はクラスタ毎に制限されており、あるプロセッサからアクセス可能なディスク装置は、当該プロセッサと同じクラスタに存在するディスク装置のみである。
【０１４４】
そこで本実施形態においては、特定のクラスタ内のプロセッサ１３９に処理が集中した場合は、負荷の低いプロセッサが存在する他のクラスタ内の論理ボリュームへ、リモートコピー元のボリュームに格納されているデータを移動させた後、当該他のクラスタ内の論理ボリュームとリモートサイト7内の論理ボリュームとの間でリモートコピー処理を実施する。係る処理によって、クラスタ分散システム５内でプロセッサ１３９の負荷を分散することができる。さらにリモートコピー処理が実行中であっても、クラスタ分散システム５内でプロセッサの負荷に偏りが生じていれば、ダイナミックにリモートコピー元ボリュームに格納されているデータを移動させ、クラスタ分散システム５内でプロセッサの負荷を分散させる。
【０１４５】
次に、リモートコピー元のボリュームに格納されているデータの移動が必要かどうかを判断するための処理を図２３のフローチャートに従って説明する。リモートコピーを開始する際にシステム管理者（ユーザ）は、ユーザ入出力機器４を使ってリモートコピー元ボリュームのクラスタ番号を認識する(ステップ２３００１)。例えばユーザ入出力機器４がユーザの指示に基づいて、クラスタ分散システム５が記憶している図２に示すペア情報テーブルを参照することによって、リモートコピー元ボリュームのクラスタ番号を取得し、これをユーザ入出力機器の出力画面に出力する。
【０１４６】
次に、リモートコピー元ボリュームが属するクラスタ内のプロセッサの負荷状況を把握するための処理に移る。クラスタ分散システム５内の各クラスタに存在するプロセッサ群の負荷状況は、仮想管理１４０が各クラスタから取得し管理している。
【０１４７】
図２４に仮想管理１４０が有するメモリに記憶されているプロセッサ負荷状況テーブル２４０１の一例を示す。プロセッサ負荷状況テーブル２４０１には、クラスタ番号２４０２、プロセッサ番号２４０３、当該プロセッサ番号が示すプロセッサの使用可否を示す使用状況２４０４、当該プロセッサにかかっている負荷の程度を示す負荷状況２４０５、当該プロセッサにかかっている負荷と閾値との比較結果を示す閾値比較２４０６、及びリモートコピー用パス番号２４０７が登録される。仮想管理１４０はプロセッサ負荷状況テーブル２４０１を用いてクラスタ分散システム内の各プロセッサの負荷状況を管理する。
【０１４８】
仮想管理１４０が管理する負荷状況に基づいて、リモートコピー元ボリュームが属するクラスタ内のプロセッサの負荷が閾値より大きいか否かが判断される（ステップ２３００５）。この判断はユーザが行っても良いし、クラスタ分散システム５内で自動的に行っても良い。
【０１４９】
ユーザが判断する場合には、仮想管理１４０がユーザ入出力機器４にプロセッサ負荷状況テーブル２４０１に登録されているデータの内容を送信することにより、クラスタ分散システム５内の各プロセッサの負荷状況をユーザ入出力機器４に通知し、ユーザ入出力機器４は受信した情報を出力画面に出力して、ユーザに各プロセッサの負荷状況を提示する。そして、ユーザは出力画面に表示された各プロセッサの負荷状況を参照し、リモートコピー元のボリュームが属するクラスタ内のプロセッサ中に負荷が閾値を超えていないプロセッサが存在するか否かを判断し、判断結果をユーザ入出力機器４に入力する。ユーザから入力された判断結果は、ユーザ入出力機器４から仮想管理１４０に送信される。
【０１５０】
一方クラスタ分散システム５内で自動的にプロセッサの負荷と閾値との大小が判断される場合には、予めしきい値が仮想管理１４０に設定されており、仮想管理１４０はプロセッサ負荷状況テーブル２４０１の負荷状況２４０５が示す値と閾値とを比較して、プロセッサの負荷と閾値との大小の比較を行う。
【０１５１】
尚、単純にプロセッサの負荷と閾値とを比較するのではなく、閾値を２つ設定しておき、第一の閾値に対するプロセッサの負荷の値の比率をユーザ若しくは仮想管理が計算し、計算結果が第二の閾値を超えているか否かで、プロセッサの負荷の高低を判断することとしても良い。
【０１５２】
ステップ２３００５において、リモートコピー元のボリュームが属するクラスタに、プロセッサの負荷が閾値を超えていないプロセッサが存在する場合には、プロセッサの負荷が低いと判断され、コピー元ボリュームに格納されているデータを移行することなく、リモートコピー処理が実行される(ステップ２３００６)。
【０１５３】
ステップ２３００５において、リモートコピー元のボリュームが属するクラスタに、プロセッサの負荷が閾値を超えていないプロセッサが存在しない場合には、プロセッサの負荷が高いと判断され、リモートコピー元のボリュームを有するクラスタの制御部は、リモートコピー元ボリュームに格納されているデータをデータ移行により他クラスタに属する論理ボリュームへ移動する(ステップ２３００７)。このデータ移行処理に関しては、後述する。
【０１５４】
データ移行処理（ステップ２３００７）が終わったら、若しくはデータ移行処理が必要でないと判断されたら（ステップ２３００６）、サーバ３はクラスタ分散システム５に対してリモートコピー要求を発行する(ステップ２３００８)。
【０１５５】
次に、リモートコピー元ボリュームに格納されているデータを他のクラスタに属する論理ボリュームへ移動するための、データ移行処理（ステップ２３００７）の手順について、図２５のフローチャートに従って説明する。
【０１５６】
まずボリュームの移動先クラスタを選択する。ボリュームの移動元の制御部は、リモートコピー元ボリュームが属するクラスタ以外の他のクラスタの中から、データ移行先ボリュームを確保できるクラスタがあるかどうか判断する(ステップ２５００１)。ボリューム移行元の制御部は、仮想管理１４０のメモリ内に格納された各クラスタの空きボリューム情報を元に判断する。
【０１５７】
移行先の論理ボリュームが確保できなければ、データ移行は実行できないので、ユーザ入出力機器４にデータ移行先が確保できない旨を通知するためのメッセージを送信し、ユーザ入出力機器４は受信したメッセージを出力画面に出力する。(ステップ２５００４)。
【０１５８】
他のクラスタの中に移行先の論理ボリュームが確保できる場合には、確保可能な論理ボリュームが属するクラスタの中に、新たなリモートコピー処理を実行可能なプロセッサが存在するかどうかを判断する(ステップ２５００３)。新たなリモートコピー処理が実行可能か否かは、図２３のステップ２３００５と同様、各プロセッサの負荷が閾値を超えているか否かを基準に判断される。
【０１５９】
新たにリモートコピー処理を実行可能なプロセッサが存在しなければ、ユーザ入出力機器４にその旨通知するためのメッセージを送信し、ユーザ入出力機器４は受信したメッセージを出力画面に出力する（ステップ２５００４）。
【０１６０】
確保可能な論理ボリュームが属するクラスタの中に、負荷が閾値を超えておらず、新たなリモートコピー処理が実行可能なプロセッサを有するクラスタが存在する場合には、係るクラスタがデータ移行先の候補となる。候補クラスタが複数ある場合はそのうち１つを選択する(ステップ２５００５)。ステップ２５００５においては、負荷が最も低いプロセッサを持つクラスタを選択してもよいし、クラスタ内に存在する複数のプロセッサ各々の負荷を平均した平均値が最も低いクラスタを選択してもよい。
【０１６１】
データ移行先のクラスタが選択されると、ユーザはリモートコピー元ボリュームに格納されているデータを、選択されたクラスタ内の確保可能な論理ボリュームへ移動させるよう、データ移行指示をユーザ入出力機器４に入力する(ステップ２５００６)。
【０１６２】
データ移行指示は、ユーザ入出力機器４から、リモートコピー元ボリュームが属するクラスタの制御部に送信され、当該制御部内のプロセッサが有するデータ移行部１３７と、データ移行先のクラスタ内のプロセッサが有するデータ移行部１３７との制御によって、クラスタ間でデータ移行処理が実行される(ステップ２５００７)。尚、データ移行処理は、例えば米国特許第６１０８７４８号に記載されている方法によって実行される。
【０１６３】
リモートコピー処理開始後は、予め決められた時間間隔でクラスタ毎にクラスタ内に存在するプロセッサの負荷状況がチェックされ、負荷が閾値を超えているプロセッサが存在していないかどうかが調べられる。このプロセッサの負荷状況のチェックは、チェック対象のプロセッサと同じクラスタ内に存在する他のプロセッサが行うこととしても良いし、仮想管理１４０が行うこととしても良い。仮想管理１４０がチェックを行えば、仮想管理１４０は各クラス他内に存在する全てのプロセッサの負荷状況を管理できるので、負荷の高いプロセッサが存在する場合に、リモートコピー元のボリュームに格納されているデータの移行先クラスタを選択しやすい。尚、チェックの結果、負荷の高いプロセッサが存在することが判明した場合には、リモートコピー処理実行中であっても、リモートコピー元のボリュームに格納されているデータをダイナミックに他のクラスタのボリュームに移動することができる。
【０１６４】
図２２の計算機システムにおいて、クラスタ分散システム５内のリモートコピー元ボリュームから、リモートサイト７内の論理ボリュームへのデータのリモートコピー処理実行中に、ダイナミックにリモートコピー元ボリュームを他クラスタへ移動する方法を図２８のフローチャートに従って説明する。ここで説明する処理は、前述のように定期的にクラスタ分散システム内のプロセッサの負荷を監視していた結果、あるプロセッサの負荷が閾値を超えていることが発見され、リモートコピー元ボリュームに格納されているデータを他のクラスタ内のボリュームに移動すべきであると判断された後の処理である。
【０１６５】
クラスタ分散システム内のプロセッサの中に負荷が閾値を超えているプロセッサが存在する場合、定期的にプロセッサの負荷状況をチェックしている仮想管理若しくはユーザから、リモートコピー元のボリュームに格納されているデータを他のクラスタ内のボリュームへ移行するよう指示する移行要求が発行される。尚、ユーザから移行要求が発行される場合とは、ユーザがユーザ入出力機器４に移行要求を入力した場合のことである。移行要求は仮想管理若しくはユーザ入出力機器４からリモートコピー元のボリュームが属するクラスタ内のプロセッサに送信され、これを受信したプロセッサはリモートコピー処理を中断する（ステップ２８００１）。
【０１６６】
リモートコピー処理を中断すると、新たなリモートコピージョブは作成されない。しかし、コピー先のリモートサイト７からみて、リモートコピー処理を中断した時点でクラスタ分散システム内のリモートコピー元ボリュームに格納されているデータと同じデータがリモートサイト内のリモートコピー先ボリュームに格納されているよう制御する必要がある。そこで、リモートコピー元ボリュームが属するクラスタ内のプロセッサとリモートサイト内のリモートコピー先ボリュームを制御する制御部は、リモートコピー処理中断時にクラスタ分散システム５内で既に発行され、キューにたまっているリモートコピージョブに関しては、リモートコピー処理を完了させる（ステップ２８００２）。この結果、正サイト（クラスタ分散システム５）と副サイト（リモートサイト）の同期がとれた状態で、リモートコピー処理を中断することができる。
【０１６７】
次に、リモートコピー元ボリュームに格納されているデータを、データ移行処理によって、当該ボリュームが属するクラスタ以外の他のクラスタ内の論理ボリュームへ移動する（ステップ２８００３）。また、データ移動中に、サーバ３から発行されたリモートコピー元ボリュームに対するライト要求をクラスタ分散システムのプロセッサ１２０が受信した場合には、コピー先クラスタのメモリ１９内にデータを記録しておく。コピー先クラスタへデータ移動完了してから、移動先制御部は、前記記録したライトデータを上書きして書き込む（ステップ２８００４）。
【０１６８】
更に、図２に示すペア情報テーブル及び図３に示すボリューム情報テーブル中の正ボリュームに関するデータを、データ移行先のボリュームが正ボリュームとなるよう修正して、データ移行元のクラスタからデータ移行先のクラスタへ送信し、データ移行先のクラスタ内の共有メモリに登録（格納）する。そして、データ移行元のクラスタ内の共有メモリに記憶されているペア情報テーブルやボリューム情報テーブルを削除する（ステップ２８００４）。
【０１６９】
尚、リモートコピー元ボリュームに格納されているデータをクラスタ分散システム５内で他の論理ボリュームに移行すると、リモートサイト側にとってはリモートコピー元ボリュームが変更されることとなり、リモートサイト側で管理されているボリュームペア情報も修正する必要がある。そこでクラスタ分散システム５では、リモートサイト側にリモートコピー元ボリュームの変更を隠蔽するため、論理ボリュームのマッピングを変更し、データ移行先の論理ボリュームの識別情報としてデータ移行元の論理ボリュームの識別情報を用いる。このようにすることによって、リモートサイトに格納されているボリュームペア情報は修正しなくても済む。
【０１７０】
ステップ２８００４でリモートコピー処理再開に必要な制御データをデータ移行元のクラスタからデータ移行先のクラスタへ送信し終わると、データ移行先のボリュームとリモートサイト内の論理ボリュームとの間でリモートコピーが再開される。具体的には制御データの送信終了を契機として、データ移行先のクラスタ内の共有メモリに格納されているリモートコピープログラムが起動される（ステップ２８００５）。そして、データ移行先のクラスタ内の制御部と、リモートサイトとの間で、ステップ２８００２で正サイトと副サイトとの間で整合性をとった状態から、リモートコピー処理を再開する。
【０１７１】
図２２に示すクラスタ分散システムでは更に、プロセッサ１２０を介して他のストレージシステム６がクラスタ分散システム５に接続されている。ストレージシステム６は、クラスタ分散システム５と同じ構成を有するストレージシステムでもよいし、クラスタ分散システム５とは異なる構成を有するストレージシステムであっても良い。
【０１７２】
ストレージシステム６は、クラスタ分散システム５内の複数のプロセッサ１２０のうちいずれかのプロセッサと、通信路を介して接続されている。クラスタ分散システム５は、サーバ３から受信したデータ入出力要求がクラスタ分散システム５内のディスク装置に格納されているデータに対する入出力要求ではないと判断した場合に、当該データ入出力要求をストレージシステム６内に格納されているデータに対する第二のデータ入出力要求に変換して、通信路を介して第二のデータ入出力要求をストレージシステム６に送信する。ストレージシステム６はクラスタ分散システム５から第二のデータ入出力要求を受信して、第二のデータ入出力要求内で指定されているデータの入出力処理を実行する。
【０１７３】
クラスタ分散システム５はストレージシステム６が有する記憶領域である論理ボリュームを、クラスタ分散システム５の論理ボリュームとしてサーバ３に提供する。このためクラスタ分散システム５は、自身が取り扱う論理ボリュームに関する情報として、当該論理ボリュームがクラスタ分散システム５が有する記憶領域に相当するのか、クラスタ分散システム５に接続されている他のストレージシステム６が有する記憶領域に相当するのかを示す構成情報管理テーブル（図２７）をもつ。論理ボリュームが他のストレージ装置内のボリュームに相当する場合には、この構成情報管理テーブルに、当該ボリュームにアクセスするために用いられるポートの識別子、及び他ストレージシステム６内で当該論理ボリュームに対して割り当てられている識別子が記述される。
【０１７４】
図２７はクラスタ分散システム５が有する構成情報管理テーブルの一例を示す図である。構成管理テーブルは仮想管理部１４０内のメモリに格納する。または、プロセッサ１２０内のメモリに格納してもよい。構成情報管理２７０１にはクラスタ分散システム５が取り扱う論理ボリュームに関する情報が記述されている。構成情報管理テーブル２７０１にはクラスタ分散システム５のデータ入出力処理の対象となる、クラスタ分散システム５内に存在する論理ボリューム１５２だけでなく、クラスタ分散システム５に接続される他のストレージシステム６がデータ入出力処理を行い、当該他のストレージシステム６内に存在する論理ボリューム１５６についての情報も記述されている（但し，図２７には論理ボリューム１５２の情報のみを示している。）。
【０１７５】
図２７において、ポートＩＤ番号２７０２には論理ボリュームが接続している外部インターフェースのポートＩＤ番号が記述される。ＷＷＮ２７０３には，ポートＩＤに対応するＷＷＮが記述される。ＬＵＮ２７０４には各論理ボリュームのＬＵＮが記述される。容量２７０５には，論理ボリューム１５２が提供する記憶領域の容量が記述される。
【０１７６】
マッピングＬＵＮ２７０６には、そのポートおよびＬＵＮに対応づけられている他のストレージシステム６の論理ボリューム１５６の識別子が記述される。つまりマッピングＬＵＮ２７０５に何らかの記述がある場合は、その論理ボリュームはクラスタ分散システム５に接続される他のストレージシステム６内に存在する論理ボリューム１５６であり、マッピングLUN２７０５に登録がなければ、その論理ボリュームはクラスタ分散システム５内に存在する論理ボリューム１５２であるということになる。
【０１７７】
他のストレージシステム６にリモートコピー元ボリュームが存在する場合、クラスタ分散システム５が当該リモートコピー元ボリュームと対応付けられているLUN２７０４を、別のクラスタ内に存在するプロセッサが管理している論理ボリュームのLUNへマッピングしなおせば、リモートコピー処理を実行するクラスタが変更されることになる。即ちクラスタ分散システム5は、構成情報管理テーブル２７０１に登録されているリモートコピー元ボリュームに関する情報のうち、マッピングLUN2704を別のクラスタ内で管理される論理ボリュームの識別情報に変更すれば、リモートコピー処理を実行するクラスタが変更される。他のストレージシステム６にリモートコピー元ボリュームが存在する場合、リモートコピー処理はリモートコピー元ボリュームと対応付けられているLUN２７０４と対応付けられているクラスタによって実行されるからである。従って係る場合には、リモートコピー元ボリュームと対応付けられているLUNを変更するだけで、他のストレージシステム６内のリモートコピー元ボリュームに格納されている実データを移行することなく、クラスタ間でデータ移行したことと同じ効果が得られる（図２６）。
【０１７８】
上述の実施形態1及び実施形態2によって、リモートコピー処理による負荷をクラスタ構成記憶装置システムやクラスタ分散記憶装置システム内で分散させることができる。
【０１７９】
また、リモートコピー処理中であっても、リモートコピー処理に使用されるポートを変更することができるので、リモートコピー処理中にも複数のリモートコピーポートや複数のクラスタ間で負荷を分散させることができる。
【０１８０】
また、リモートコピー専用のポートを用いてリモートコピー処理を実行する場合には、本実施形態によって、リモートコピー対象のデータが格納されているクラスタとは異なる他のクラスタに存在するリモートコピー用ポートをリモートコピー処理に使用することができるので、リモートコピー用ポートが設置できないクラスタに格納されているデータもリモートコピー処理の対象にすることができるようになる。また、クラスタ構成記憶装置システムやクラスタ分散記憶装置システムにおいて、クラスタ間でリモートコピー用ポートを共有することができ、リモートコピー用ポートの設置数を抑え、リモートコピー用ポートを有効に利用することができるようになる。
【０１８１】
【発明の効果】
本発明によれば、リモートコピー処理による負荷をストレージシステム内で分散することができる。
【図面の簡単な説明】
【図１】本発明が適用される計算機システムの一例を示す図である。
【図２】ペア情報テーブルの一例を示す図である。
【図３】ボリューム情報テーブルの一例を示す図である。
【図４】他クラスタ情報格納位置テーブルの一例を示す図である。
【図５】クラスタの構成例を示すである。
【図６】リモートコピー処理の一例を示すフローチャートである。
【図７】クラスタ構成記憶装置システムが有するのポート管理情報テーブルの一例を示す図である。
【図８】リモートコピー処理に使用されるポートを選択する処理の一例を示すフローチャートである。
【図９】ユーザ入出力機器4のメモリに格納されているプログラムの一例を示す図である。
【図１０】リモートコピー用ポートの負荷状況を示す情報の一例を示す図である。
【図１１】リモートコピー処理要求キューの一例を示す図である。
【図１２】クラスタ構成記憶装置システム間でのリモートコピー処理の一例を示す図である。
【図１３】バックアップ先のボリュームを選択する処理の一例を示すフローチャートである。
【図１４】形成コピー処理の一例を示すフローチャートである。
【図１５】更新コピー処理の一例を示すフローチャートである。
【図１６】リモートコピーに使用されるポートを変更する処理の一例を示すフローチャートである。
【図１７】変更後のリモートコピー用ポートにリモートコピー処理を実行させるための処理の一例を示すフローチャートである。
【図１８】共有メモリに格納されている差分ビットマップの一例を示す図である。
【図１９】共有メモリに格納されている順序管理テーブルの一例を示す図である。
【図２０】クラスタ内負荷分散処理の一例を示すフローチャートである。
【図２１】クラスタ間負荷分散処理の一例を示すフローチャートである。
【図２２】本発明が適用される計算機システムの他の一例を示す図である。
【図２３】リモートコピー元ボリュームのデータ移行が必要か否かを判定するための処理の一例を示すフローチャートである。
【図２４】各プロセッサの負荷状態を登録しているプロセッサ負荷状況テーブルの一例を示す図である。
【図２５】リモートコピー元ボリュームに格納されているデータを他のクラスタ内のボリュームに移行するためのデータ移行処理の一例を示すフローチャートである。
【図２６】リモートコピー処理を実行するクラスタを変更する処理の一例を示す図である。
【図２７】クラスタ分散システムが有する構成情報管理テーブルの一例を示す図である。
【図２８】リモートコピーのペア形成後に、コピー元ボリュームをダイナミックに他クラスタへ移動する処理の一例を示すフローチャートである。
【符号の説明】
１…クラスタ構成記憶装置システム
２…ネットワーク
３…サーバ
４…ユーザ入出力機器
１１…クラスタ
１２…クラスタ間接続機構
１３…ＣＨＡ
１４…ＤＫＡ
１５…ディスク装置
１７…共有メモリ
１６…キャッシュメモリ
【発明の属する技術分野】
本発明は、遠隔地にあるディスク装置間でデータをコピーする技術（リモートコピー技術）に関する。
【０００２】
【従来の技術】
地震、火災、ハリケーンといった局地的な災害がディスクシステムの設置サイトを襲った場合、障害が記憶装置システム全体に及ぶ可能性があり、ディスクシステムに格納されているデータを全て喪失する可能性がある。この問題を解決する手段の一つとして、リモートコピー機能がある。
【０００３】
リモートコピーとは、ディザスタリカバリを目的として、物理的に離れた場所にある複数の記憶装置システム間で、ホストコンピュータの介在なしにデータの２重書きを行うものである。正側の記憶装置システムに障害が発生した場合には、ホストコンピュータは副側の記憶装置システムを用いて業務を続ける。
【０００４】
リモートコピー処理が実行される情報処理システムにおいては、物理的に離れた場所にそれぞれ配置された記憶装置システムが専用回線あるいは公衆回線でお互いに接続されている。ある記憶装置システムが有する論理的な記憶領域（以下，「論理ボリューム」）のうち、第１サイトの記憶装置システム上にあるコピー対象である論理ボリューム（以下「コピー元論理ボリューム」と記す。 ）と同容量の論理ボリュームが第２サイトの記憶装置システム上に、コピー元論理ボリュームとペアの論理ボリューム（以下「コピー先論理ボリューム」と記す）として形成される。そして、第１サイトのコピー元論理ボリュームのデータが第２サイトのコピー先論理ボリュームにコピーされる。また、ホストコンピュータが第１サイトにあるコピー元論理ボリューム内のデータを更新した場合、当該更新データは第２サイトの記憶装置システムに転送され、コピー先論理ボリュームにも書き込まれる。このようにリモートコピーの技術では第１サイトと第２サイトにおいて論理ボリュームの２重化状態が保たれる。
【０００５】
従って、リモートコピー技術を用いると、複数の記憶装置システムを有する情報処理システムにおいて、複数の記憶装置システムで同一内容の論理ボリュームを保持することができる。このため、地震や洪水などの自然災害、あるいは火災やテロなどの人的災害により第１サイトが使用不能になっても、ホストコンピュータは第２サイトの記憶装置システム上の論理ボリュームを使用して業務を迅速に再開できる。
【０００６】
尚、リモートコピー技術は、特許文献１に開示されている。
【０００７】
また、第一の記憶装置システム内に存在する記憶領域に格納されているデータを第二の記憶装置システムへ移動し、ホストコンピュータが用いる記憶装置システムを第一の記憶装置システムから第二の記憶装置システムへ変更するデータ移行技術は、記憶装置システムを旧機種から新機種へ変更する場合や、機材保守等のためにホストコンピュータから記憶装置システムへのアクセスを制限したい場合に有効である。データ移行技術の中には、計算機から記憶装置システムに対するアクセスは継続して受けつつ、記憶装置システム間でデータ移行を行うための技術があり、例えば特許文献２や特許文献３に開示されている。
【０００８】
【特許文献１】
米国特許第5742792号明細書
【特許文献２】
米国特許第６１０８７４８号明細書
【特許文献３】
公開２００１−３３１３５５号公報
【０００９】
【発明が解決しようとする課題】
ＳＡＮ（Storage Area Network）の普及に伴い、ストレージ装置に対し容量及び性能に関するスケーラビリティが要求されている。特に、容量に比例した性能がストレージ装置に対して要求されている。そこで係る要求に応えるために、従来のストレージ装置を１クラスタ（若しくは１記憶装置サブシステム）とし、複数クラスタをクラスタ間接続機構で接続することにより、クラスタ構成記憶装置システムが構築される。
【００１０】
各クラスタはネットワーク経由で計算機からの入出力要求を受け付けるが、計算機からはクラスタ構成記憶装置システムが1台の記憶装置システムとして認識される。
【００１１】
係るクラスタ構成記憶装置システムにおいてリモートコピー処理を実行する場合、コピー元ボリュームが属するクラスタ内のリモートコピー用に設定されたチャネルポートを用いてデータが転送される。チャネルポートはリモートコピー専用で使う場合もあれば、通常Ｉ／Ｏと共有して使用する場合もある。リモートコピーペアをリモートコピーポートに割り当てる際には、複数のリモートコピーポート間で順番にリモートコピーポートを選択している。
【００１２】
しかし、リモートコピー処理においてコピーすべきデータの量はペア毎に異なることから、特定のクラスタのリモートコピー用ポートやプロセッサに処理が集中する可能性がある。
【００１３】
本発明の目的は、記憶装置システム内でリモートコピー処理による負荷を分散させることができる技術を提供することである。
【００１４】
本発明の他の目的は、クラスタ構成記憶装置システムが有する複数のリモートコピー用ポート間若しくはクラスタ間で負荷が分散されるよう、リモートコピー処理に用いられるポート若しくはプロセッサを選択できる技術を提供することである。
【００１５】
また、本発明の他の目的は、コピーされるデータが格納されているクラスタとは異なるクラスタの制御によって、リモートコピー処理を実行することができる技術を提供することである。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明においては、計算機システムにおいて、複数のディスク装置と、該複数のディスク装置を接続する制御部と、ネットワークに接続される複数のポートとを各々が有する、複数の記憶装置サブシステムと、前記複数の記憶装置サブシステムを相互に接続する記憶装置サブシステム間接続部とを有する一又は複数の記憶装置システムと、前記ネットワークに接続された管理計算機とを設け、リモートコピーのコピー元及びコピー先の前記記憶装置システムは、それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、前記管理計算機は、コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行い、コピー元の前記記憶装置システムは、前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーするようにした。
また本発明においては、第一の記憶装置システムに格納されているデータを、ネットワークを介して前記第一の記憶装置システムに接続される第二の記憶装置システムにコピーするデータ複製方法において、前記第一及び第二の記憶装置システムは、それぞれ複数のディスク装置と該複数のディスク装置に対する入出力要求を制御する制御装置と、前記ネットワークに接続される一又は複数のポートとを各々有する、複数の記憶装置サブシステムと、該複数の記憶装置サブシステム間を接続するサブシステム間接続装置とを有しており、前記ネットワークには管理計算機が接続され、リモートコピーのコピー元及びコピー先の前記記憶装置システムが、それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、前記管理計算機が、コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行う第一のステップと、コピー元の前記記憶装置システムが、前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーする第二のステップとを設けるようにした。
【００１７】
【発明の実施の形態】
＜第一の実施形態＞
図１は、本発明が適用される計算機システムの一構成例を示す図である。計算機システムは、２台のクラスタ構成記憶装置システム１（以下、これら２台のクラスタ構成記憶装置システムをそれぞれシステム＃１、システム＃２と呼ぶ。）、クラスタ構成記憶装置システム１に格納されたデータを使用する計算機（以下サーバと呼ぶ。）３、及びクラスタ構成記憶装置システムを管理するための計算機（以下ユーザ入出力機器と呼ぶ。）４が、ネットワーク２を介して接続された構成を有する。尚ユーザ入出力機器４は、クラスタ構成記憶装置システム１の保守端末を兼ねている場合もある。保守端末は、クラスタ構成記憶装置システム１内に備えられていても、外部に備えられていてもよい。また、図１では計算機システム内にクラスタ構成記憶装置システム１が2台存在する例を示したが、計算機システム内に存在するクラスタ構成記憶装置システム１の台数を2台に限られることはなく、複数台であれば何台であっても良い。
【００１８】
クラスタ構成記憶装置システム１は、複数のクラスタ（若しくは記憶装置サブシステムと呼ぶ。）１１と、各々のクラスタ１１間を接続するクラスタ間接続機構１２とを有する。尚、クラスタ間接続機構１２は、例えばスイッチである。
【００１９】
各クラスタ１１は、制御部１０、複数のディスク装置１５、及び一又は複数のポート１８を有する。各クラスタ１１は、上位の計算機であるサーバ３及びユーザ入出力機器４とネットワーク２を介して接続される。
【００２０】
制御部１０は、複数のメモリユニット１９、ポートを介してネットワーク２と接続されサーバ３やユーザ入出力機器4との間の入出力を制御する複数台のチャネルアダプタ（以下ＣＨＡと呼ぶ）１３、及び複数のディスク装置と接続されディスク装置への入出力を制御する複数台のディスクアダプタ（以下、ＤＫＡと呼ぶ。）１４を有する。
【００２１】
ＣＨＡ１３とＤＫＡ１４は、制御部１０内に搭載されたプロセッサである。ＣＨＡ１３は、ポート１８を介してクラスタ１１に入力されるサーバ３からのコマンドの解析や、サーバ３とクラスタ１１間でのデータ転送を制御するためのプログラムを実行する。クラスタ構成記憶装置システム１が、いわゆるオープン系のオペレーティングシステムが実行されているサーバ３からコマンドを受信し、このコマンドに応じた処理を実行しなければならない場合には、サーバ３とクラスタ構成記憶装置システム１との間のインターフェースの違いを克服するために必要なハードウェアとプログラムが、更にCHAの構成要素として追加される。
【００２２】
ＤＫＡ１４は、パリティデータの生成等、複数のディスク装置から構成されるディクスアレイの制御と、ディスク装置１５と制御部１０との間のデータ転送の制御とを実施するためのプログラムを実行する。ディスク装置１５は複数のポートを有し，複数のポートは複数のパスを介して各々異なるＤＫＡ１４と接続されている。したがって複数のＤＫＡ１４から同一のディスク装置１５にアクセスできる。
【００２３】
メモリユニット１９は、ＣＨＡ、ＤＫＡ等の各プロセッサからアクセス可能な共有メモリ１７とキャッシュメモリ１６を備える。各プロセッサは、各プロセッサが実行するジョブの管理に必要な情報や、キャッシュメモリの管理情報等、各プロセッサで共有されるべきデータを共有メモリ１７に格納する。共有メモリ１７には、クラスタ内のリソース負荷情報１７３、ボリュームのペア情報１７２、処理要求キュー（図示せず）、及びクラスタ間連携時に必要となる他クラスタ情報の格納位置を示す情報１７１が格納される。尚ここで「ペア」とは、コピーされるデータが格納されるコピー元となる記憶領域（以下「コピー元ボリューム」と呼ぶ）とコピー先となる記憶領域（以下「コピー先ボリューム」）の組のことをいう。
【００２４】
共有メモリ１７に記憶される情報は、クラスタ構成記憶装置システム１内のある一つのクラスタの共有メモリ１７にまとめて格納されていても良いし、複数クラスタ各々の共有メモリ１７に同じ情報が重複して格納されていても良い。本実施形態では、クラスタ毎に情報を分散して格納する。尚、各クラスタ内ではメモリユニット１９が２重化されており、各クラスタは、共有メモリやキャッシュメモリ中に格納されているデータも重複して有する。
【００２５】
クラスタ１１（クラスタ＃１）は接続機構１２を介して，同一クラスタ構成記憶装置システム１（システム＃１）内の他クラスタ（例えばクラスタ＃２）に情報を通知したり、クラスタ＃２が直接クラスタ＃１内に格納されている情報を参照することができる。またクラスタ１１はネットワーク２を介してサーバ３へ情報を通知できる。
【００２６】
ユーザ入出力機器４は、クラスタ構成記憶装置システム１を使用するユーザがクラスタ構成記憶装置システム１にリモートコピー処理を実行させる際に、クラスタ構成記憶装置システム１にコピー先ボリュームを指示するために使用される機器である。具体的には、ＳＶＰ（Service Processor）等の保守端末である。ユーザ入出力機器４は表示画面４１を有する。ユーザ入出力機器４は、表示画面４１にコピー先ボリュームの候補を出力してユーザに提示し、ユーザがコピー先ボリュームを選択する際の視覚的支援を行う。なおサーバ３とユーザ入出力機器４は同じ計算機であっても良い。
【００２７】
クラスタ１１の構成例を図５に示す。クラスタ１１は複数のディスク装置１５と制御部１０を有する。制御部１０は複数のＣＨＡ１３、複数のＤＫＡ１４、複数の共有メモリ１７、複数のキャッシュメモリ１６、及びクラスタ１１が同じクラスタ構成記憶装置システム１内の他のクラスタと通信するためのデータ転送制御コントローラ１３０を有する。複数のCHA、複数のDKA、複数のキャッシュメモリ、複数の共有メモリ、及びデータ転送制御コントローラ１３０はパス（通信路）１４０により相互に接続されている。尚、図5ではクラスタの信頼性向上のため、パス１４０が2本備えられ、CHA、DKA、キャッシュメモリ、共有メモリ、及びデータ転送制御コントローラが各々2本のパス１４０いずれにも接続されているクラスタの構成例を示している。複数のディスク装置１５は各々複数のDKAと接続されている。
【００２８】
ディスク装置１５は物理的記憶領域を有するハードウェアである。サーバ３は、複数のディスク装置１５が有する物理的な記憶領域が論理的に分割された、論理的な記憶領域を単位として記憶領域を管理し、使用する。分割された各々の論理的な記憶領域を論理ボリューム１５１と称する。論理ボリューム１５１の容量及び論理ボリューム１５１のクラスタ構成記憶装置システム１内における物理的な位置（即ち論理ボリュームに対応する物理的な記憶領域）は、ユーザ入出力機器４又はサーバ３を用いてユーザが指定できる。論理ボリュームの物理的な位置を示す情報は、共有メモリ１７内に保存される。
【００２９】
共有メモリ１７に格納されるボリュームペア情報１７２は、ペア情報テーブル２１及びボリューム情報テーブル３１を有する。図２はペア情報テーブル２１の一例を、図３はボリューム情報テーブル３１の一例を示す図である。尚、コピーのペアは、複数のコピー元ボリュームと複数のコピー先ボリュームとが組となっている、複数個対複数個のペアでもよい。本実施例では正ボリュームと副ボリュームの対応が１対１である例を示している。尚、複製されるオリジナルデータを保持するボリューム（即ちコピー元ボリューム）のことを正ボリューム、オリジナルデータの複製データを保持するボリューム（即ちコピー先ボリューム）を副ボリュームと称する。
【００３０】
図２に示すペア情報テーブル２１は、ペア番号２２、正ボリュームのシステム番号２３、正ボリュームボリューム番号２４、正ボリュームクラスタ番号２５、副ボリュームのシステム番号２６、副ボリュームボリューム番号２７、副ボリュームクラスタ番号２８、ペア状態２９、及びコピーポインタエントリ３０の各エントリを有する。
【００３１】
ペア番号２２には正ボリュームと副ボリュームのペアを示す識別情報、具体的にはペア番号が登録される。正ボリュームのシステム番号２３とボリューム番号２４とクラスタ番号２５には、対応するペアを構成する正ボリュームを示す情報、即ち正ボリュームが属するクラスタ構成記憶装置システム１の識別情報であるシステム番号、正ボリュームを識別するための識別情報であるボリューム番号、及び正ボリュームが属するクラスタの識別情報であるクラスタ番号が各々登録される。副ボリュームのシステム番号２６とボリューム番号２７とクラスタ番号２８には、正ボリュームの場合と同様に、副ボリュームが属するクラスタ構成記憶装置システム１の識別情報であるシステム番号、副ボリュームの識別情報であるボリューム番号、及び副ボリュームを管理しているクラスタの識別情報であるクラスタ番号の各々が登録される。ペア状態２９には、対応するペアがコピー中か、コピーが完了したかといったペアの状態を示す情報が登録される。コピーポインタ３０には、対応するペアの正ボリュームのどの範囲までのデータが副ボリュームに既にコピーされたかを示す情報が登録される。
【００３２】
図３に示すボリューム情報テーブル３１には、リモートコピー処理に使用される情報が登録される。尚、本実施形態においては、クラスタ毎にボリューム情報テーブル３１が備えられている。ボリューム情報テーブル３１は、ボリューム番号３２、正／副３３、副ボリュームのボリューム番号３４、副ボリュームクラスタ番号３５、ボリューム属性３６、ペア番号３７の各エントリを有する。
【００３３】
ボリューム番号３１には、クラスタ構成記憶装置システム１が有するある記憶領域（以下「ボリューム」）を特定するための識別情報であるボリューム番号が登録される。正／副３３には、対応するボリュームが正ボリュームか副ボリュームかを示す情報が登録される。対応するボリュームが正ボリュームである場合、ペアである副ボリュームに関する情報がボリューム情報テーブルに登録される。即ち対応する副ボリュームの識別情報であるボリューム番号が、ボリューム番号３４エントリに、又副ボリュームを管理するクラスタの識別情報であるクラスタ番号がクラスタ番号３５エントリに登録される。ボリューム属性３６には、ボリューム番号３２に対応するボリュームのフォーマット形式、容量、状態等の属性情報が登録される。これらの属性情報は、対応するボリュームがリモートコピーのコピー先ボリュームとして設定可能であるか否かを判断する際に用いられる。図３では例として、ボリューム番号が０番であるボリュームに対してペアが３つ生成された場合を示している。図３の場合には、ボリューム番号０番のボリュームのペアの相手は、クラスタ１番のボリューム２０番、１５８番、４２６番と定義されている。
【００３４】
クラスタ構成記憶装置システム１間でリモートコピーを実現するために、本実施形態では、クラスタ構成記憶装置システム１内の複数のクラスタ１１各々が、ペア情報テーブル２１とボリューム情報テーブル３１を有する。そして、ボリューム情報テーブル３１には、そのボリューム情報テーブル３１を保持するクラスタ１１が有する全てのボリュームの情報が格納される。またペア情報テーブル２１には、そのペア情報テーブル２１を有するクラスタ１１が有するボリュームが、正ボリューム若しくは副ボリュームのいずれかとなっている全てのペアに関する情報が登録される。
【００３５】
図７はポート管理情報テーブル７１の一例を示す。ポート管理情報テーブル７１は、クラスタ構成記憶装置システム１の１つないし複数のクラスタの共有メモリ１７に格納される。ポート管理情報テーブル７１には、自クラスタ構成記憶装置システム１が有するポートが、どの装置に接続されているかを示す情報が登録される。即ち、クラスタ構成記憶装置システムが有する各ポートの識別情報であるポート番号７２毎に、ポートを内蔵しているクラスタの識別情報であるクラスタ番号７３、そのポートを制御するＣＨＡの識別情報であるホストアダプタ番号７４、そのポートの接続先を特定するための接続先情報７５、及び当該ポートを使用してアクセスされる一又は複数の論理ボリュームを識別するための一又は複数の論理ボリューム番号７６が、ポート管理情報テーブル７１に格納される。接続先情報７５は、対応するポートの接続先装置の種類を示す情報である“ホスト”“記憶装置システム”“接続なし”等の情報と、接続先の装置を識別するための識別情報である接続先番号を有する。尚、接続先番号としては、たとえば接続先装置の名称が“ホスト”でありポートの先にホストコンピュータが接続されているのであれば、そのホストコンピュータを特定する番号が設定される。又、接続先装置の名称が“記憶装置システム”であり、ポートの先にたとえばクラスタ構成記憶装置システムが接続されている場合には、接続先番号としては、接続先のクラスタ構成記憶装置システム内のクラスタのパス番号が設定される。
【００３６】
図４は、共有メモリ１７に記憶されている他クラスタ情報格納位置１７１を示す情報の一例を示す図である。他クラスタ情報格納位置１７１は、メモリ空間対応テーブル（図示せず）と、他クラスタ情報格納位置テーブル８１とから構成される。
【００３７】
クラスタ構成記憶装置システム１内の各クラスタ１１が有する共有メモリ１７のメモリ空間（即ち、クラスタ構成記憶装置システム内に存在する複数の共有メモリのメモリ空間）は、全体で一つの仮想的なメモリ空間として扱われる。この場合各クラスタ１１が有する共有メモリのメモリ空間は、仮想的なメモリ空間に連続的に割り当てられても良いしばらばらに割り当てられても良い。各クラスタの共有メモリには、仮想的なメモリ空間内の記憶領域を示すアドレスと、物理的なメモリ空間内の記憶領域（即ち現実の共有メモリ内の記憶領域）を示すアドレスとの対応関係を示すメモリ空間対応テーブルが格納されている。
【００３８】
図４は、他のクラスタが有する共有メモリに格納されているペア情報テーブル２１やボリューム情報テーブル３１にアクセスするために用いられる他クラスタ情報格納位置テーブル８１の一例を示す図である。他クラスタ情報格納位置テーブル８１は、クラスタ番号エントリ８２、ペア情報テーブルの先頭アドレスエントリ８３、及びボリューム情報テーブルの先頭アドレスエントリ８４を有する。クラスタ番号エントリ８２にはクラスタを特定するための識別情報であるクラスタ番号が登録される。ぺア情報テーブルの先頭アドレスエントリ８３には、仮想的な共有メモリのメモリ空間におけるペア情報テーブルの格納位置を示す先頭アドレスが登録される。ボリューム情報テーブルの先頭アドレスエントリ８４には、仮想的な共有メモリのメモリ空間における、ボリューム情報テーブルの格納位置を示す先頭アドレスが登録される。
【００３９】
リモートコピーで正ボリュームのデータを副ボリュームにコピーする処理を実行する場合、ＣＨＡ１３又はＤＫＡ１４が他クラスタのペア情報テーブル２１やボリューム情報テーブル３１に格納された情報を参照／更新する必要がある。この場合ＣＨＡ１３やＤＫＡ１４は、参照したい情報が表すペアやボリュームが属するクラスタのクラスタ番号に基づいて他クラスタ情報格納位置テーブル１７１を参照し、対応するペアやボリュームに関する情報が登録されている共有メモリ内の記憶領域の位置を算出する。
【００４０】
例えばクラスタ１番かつボリューム４番のボリュームについてのボリューム情報（即ち、ボリューム情報テーブル３１に登録されている情報のうち当該ボリュームに関する情報）は、以下の式で算出されるアドレスが示す仮想的な共有メモリ空間内の記憶領域に格納されている。
【００４１】
クラスタ１番のボリューム４番のボリューム情報格納位置＝クラスタ１番のボリューム情報テーブル格納先頭アドレス＋１ボリューム当たりの情報量×４ （式１）
そこでＣＨＡ若しくはＤＫＡは、上述の式１によって仮想的な共有メモリ空間内のアドレスを求め、この仮想的な共有メモリ空間内のアドレスを用いてメモリ空間対応テーブルを参照して、実際の共有メモリの物理的なメモリ空間内でのアドレスを得る。そしてＣＨＡ若しくはＤＫＡは、物理的なメモリ空間内でのアドレスを用いてボリューム情報にアクセスするので、ＣＨＡ若しくはＤＫＡは、他のクラスタ内の共有メモリに格納されているボリューム情報にもアクセスすることができる。
【００４２】
尚、ペア情報（即ちペア情報テーブルに格納されている情報のうち任意のペアに関する情報）に関しても、ボリューム情報と同様の方法でＣＨＡ若しくはＤＫＡは他のクラスタ内の共有メモリに格納されているペア情報にアクセスすることができる。
以上のように共有メモリ１７を仮想的に一つのメモリ空間として扱うことにより、ＣＨＡ１３やＤＫＡ１４がクラスタ構成記憶装置システム１が有する全てのクラスタ１１の共有メモリ１７に格納されている情報を参照／更新することが可能になる。
【００４３】
図６は、クラスタ構成記憶装置システム１（システム＃１）のボリュームを他のクラスタ構成記憶装置システム１（システム＃２）のボリュームにバックアップする手順の一例を示したフローチャートである。
【００４４】
最初にコピー元のボリュームを有するシステム＃１（即ち正システム）内のポートの中から、リモートコピー処理を行うリモートコピー用ポートを選択する必要がある。システム＃１は、システム＃１内に存在するポート１８のうちリモートコピー処理に使用可能な一又は複数のリモートコピー用ポート各々の負荷状況を、ユーザ入出力機器４に通知する。ユーザ入出力機器４は、通知された負荷状況を表示画面４１に出力してユーザに提示し、ユーザは提示された情報をもとにリモートコピー用ポート群からリモートコピーに使用するポートを選択する。そして、ユーザはユーザ入出力機器４に選択したポートの識別情報を入力し、ユーザ入出力機器４は入力されたポートの識別情報をシステム＃１に送信する（ステップ６００１）。尚、正側システム（システム＃１）で各リモートコピー用ポートの負荷状況及び空き状況を解析し、リモートコピーに使用するポートの候補を絞り込んだ上で、候補ポートの情報をユーザ入出力機器４に通知し、ユーザ入出力機器４が提示した候補ポートの中からユーザが使用するポートを選択することとしても良い。またシステム＃１がリモートコピー用ポートの負荷状況や空き状況を解析し、解析結果に基づいてリモートコピーに使用するポートを選択することとしても良い。
【００４５】
次にユーザがユーザ入出力機器４を用いて、バックアップデータを格納する副ボリューム及び副システム側でリモートコピー処理を行うリモートコピー用ポートを選択する（ステップ６００２）。ステップ６００２においてもステップ６００１と同様に、副側のクラスタ構成記憶装置システム（システム＃２）が有するリモートコピー用ポートの負荷状況はユーザ入出力機器４を介してユーザに提示され、その情報をもとにユーザがリモートコピー用ポートを選択する。また勿論、副側システム（システム＃２）がリモートコピー用ポートの負荷状況や空き状況を解析し、解析結果に基づいてリモートコピーに使用するポートを選択することとしても良い。尚ステップ６００２では更に、ユーザは副ボリュームを選択し、ユーザ入出力機器４を用いて、システム＃１及びシステム＃２内の共有メモリに格納されているペア情報テーブル２１に、正ボリュームと副ボリュームをリモートコピーペアとして登録する(ステップ６００２)。
【００４６】
次にサーバ３がペアを指定し、そのペアに対するコピー処理をクラスタ構成記憶装置システム１に実行させる。具体的には、サーバ３はリモートコピー実行開始を要求するコマンドをクラスタ構成記憶装置システム１に発行する。このコマンドは、サーバ３が指定したペアの正ボリュームを有するクラスタ記憶装置システム１（システム＃１）内のクラスタ１１に対して発行される（ステップ６００３）。
【００４７】
コマンドを受け取ったクラスタ１１のＣＨＡ１３はコマンドを解析して、正ボリュームに格納されているデータを副ボリュームへバックアップするためのリモートコピー処理を行う（ステップ６００４）。
【００４８】
次に、図６に示したリモートコピー処理のステップ６００１において、リモートコピー処理に使用するリモートコピー用ポートを選択する手順の一例を、図８に示すフローチャートに従って説明する。図８は、リモートコピー用ポートの選択手順の一例を示すフローチャートである。図８では、ユーザがユーザ入出力機器４から正側システム（システム＃１）に対して、予め「コピー元のボリュームが属するクラスタ内のポートから優先的にリモートコピーに使用するポートを選択する」という条件を送信しており、この条件に従ってリモートコピー用ポートを選択する方法の一例を示している。
【００４９】
尚本実施形態においては、各ポートが設定によってリモートコピー用ポート若しくは通常のＩ／Ｏ用ポートに分けられており、制御プロセッサもリモートコピー用若しくは通常Ｉ／Ｏ用に分けられていることを前提とする。しかし、本発明は係る前提に限定されるものではなく、同一ポートでリモートコピー処理と通常Ｉ／Ｏ処理の双方を実行する構成であってもよい。
【００５０】
正側クラスタ構成記憶装置システム1（システム＃１）は、コピー元ボリューム（即ち正ボリューム）となるボリュームＡが存在するクラスタ（クラスタ＃１）内にあるリモートコピー用ポート群の負荷状態を、予め設定されている時間間隔またはユーザ入出力機器４から指定された時間間隔で取得し、ユーザ入出力機器４に出力する（ステップ８００１）。
【００５１】
ユーザはクラスタ＃１内のリモートコピー用ポートのうち、負荷状況が予め設定したしきい値より低いポートがあるかどうか判定する（ステップ８００２）。しきい値より負荷状況が低いポートがあれば、ユーザはそのポートをリモートコピーに使用するポートとして選択する（ステップ８００３）。
【００５２】
しきい値より負荷状況が低いポートがクラスタ＃１内になければ、ユーザは正側システム（システム＃１）内の他のクラスタから１つクラスタを選択し選択されたクラスタ（クラスタ＃２）の識別情報をユーザ入出力機器４に入力する（ステップ８００４）。他のクラスタの識別情報をユーザ入出力機器４から受信した正側システム（システム＃１）は、クラスタ＃２内に存在するリモートコピー用ポートの負荷状況をステップ８００１と同様の方法で取得し、再度ユーザ入出力機器４に出力する。ユーザはユーザ入出力機器４の出力画面を参照して、クラスタ＃２内のリモートコピー用ポートのうち負荷状況がしきい値より低いものがあるかどうか判定する（ステップ８００５）。そしてしきい値より低いリモートコピー用ポートがあれば、その中から実際にリモートコピー処理に使用するポートをユーザは選択し、そのポートの識別情報を正側システム（システム＃１）にユーザ入出力機器４を介して送信する（ステップ８００６）。
【００５３】
クラスタ＃２内のリモートコピー用ポートも全て負荷状況がしきい値より高い場合は、正側システム（システム＃１）にクラスタ＃１及びクラスタ＃２以外の他クラスタがあるかどうかシステム＃１が判断し、他のクラスタがあればステップ８００４へ進む（ステップ８００７）。まだ選択していない他のクラスタがなければ、正側システム（システム＃１）がクラスタ＃１内のリモートコピー用ポートのうち負荷が最も低いリモートコピー用ポート１８を選択し、選択されたポートの識別情報をユーザ入出力機器4に出力してユーザに通知する（ステップ８００８）。
【００５４】
以上の処理によって、ユーザが指定した条件（図８に示す例では、コピー元ボリュームが属するクラスタに存在するリモートコピー用ポートから優先的に、実際にリモートコピー処理に使用するポートを選択するという条件）に従って、ユーザ入出力機器４の画面にリモートコピー用ポート番号、このポートが属するクラスタの番号、及び各ポートの負荷状況が表示され、ユーザは入出力機器４の入力端末を用いて画面に提示された候補ポート中から実際にリモートコピーに利用するポートを選択することができる。表示の方法としては、全ての候補ポートについて一度負荷情報等を提示する方法や、使用できないポートや負荷の高いポートは予めクラスタ構成記憶装置システム１が候補ポートから排除しておき、それらを除いたポートについての情報をユーザ入出力機器４の出力画面に提示する方法がある。
【００５５】
尚、候補ポートを予めクラスタ構成記憶装置システム１側で絞り込んでユーザ入出力機器４に提示する場合には、候補ポートを絞り込む基準、即ちどのような条件で候補ポートを絞り込むかを、ユーザが選択又は指定し、予めクラスタ構成記憶装置システム１に通知しておき、クラスタ構成記憶装置システム１は通知された基準に基づいて候補ポートを絞り込む。
【００５６】
尚、図８に示した例のように、ユーザが候補ポートの中からリモートコピーに使用されるポートを選択するのではなく、クラスタ構成記憶装置システム１の共有メモリに格納されているプログラムが制御部１０によって実行されることによって、クラスタ構成記憶装置システム１の制御部１０がポートの負荷状況を示す負荷情報を取得し、図８に示す判断手順に従って、負荷の低いポートを自動的に選択することとしても良い。また、ユーザ入出力機器４内のメモリに格納されているプログラムがユーザ入出力機器４内の演算部によって実行されることにより、ユーザ入出力機器４が例えば図8に示す判断手順に従ってリモートコピーに使用されるポートを選択することとしても良い。
【００５７】
尚、コピー先ボリューム（即ち副ボリューム）を有する副システム（システム＃２）のリモートコピー用ポートを選択する際にも図８に示す処理と同様の処理が実行される。
【００５８】
クラスタ構成記憶装置システム１内のリモートコピー用ポートの負荷状態は、当該リモートコピー用ポートに割り付けられているリモートコピー処理要求（即ち当該リモートコピー用ポートによって実行されることになっている、現在未処理のリモートコピー処理要求）の数に基づいて、CHAによって判断される。リモートコピー処理要求は共有メモリ１７内のリモートコピー処理要求キューに格納される（図示せず）。未実行のリモートコピー処理要求がリモートコピー処理要求キューに多く蓄積されている程、そのリモートコピー用ポートの負荷が高いと判断される。負荷状況を予測した結果を反映しても良い。
【００５９】
また一見負荷が高いようでも、イレギュラー的に入った要求によりポートの負荷が上がる場合もある。この場合は、係る高負荷な状態は継続しないことを考慮する必要がある。また，過去の負荷状況の周期性を利用して未来の負荷状況を推定することも考えられる。
【００６０】
図１１はリモートコピー用ポート毎に備えられている、リモートコピー処理要求キューの一例を示す図である。図１１に示す例では、リモートコピー用ポート＃２の方がリモートコピー処理要求キュー１１０１内に蓄積されたリモートコピー処理要求１１０２の合計数が多いため、負荷が高いと判断される。
【００６１】
リモートコピー用ポートの負荷を判断する際に、優先度を考慮することもできる。例えば、リモートコピー用ポート＃１に関するリモートコピー処理要求であるリモートコピーペア＃７の優先度（優先度２）が他のリモートコピー処理要求（優先度１）より高い場合は、リモートコピー用ポート＃１の方が負荷が高いと判断される場合がある。ここで優先度とは数が大きい方ほど高いとし、通常は優先度１であるとする。
【００６２】
また、リモートコピー用ポートの負荷を判断する際に、コピーされるデータ量を考慮することもできる。例えばリモートコピー用ポート＃１のリモートコピー処理要求であるリモートコピーペア＃２のコピーデータ量が大きい場合は、同じ１要求でも処理時間が長くかかるため、リモートコピー用ポート＃１は負荷が高いと判断される可能性がある。
【００６３】
さらに、最初にペアボリュームを作成する際に実行される形成コピー処理の場合、ボリューム全体のコピー処理を行うため、いくつかの同一データ単位のライト処理が継続することが予想される。
【００６４】
そこで例えば、優先度２の要求は優先度１の要求の３つ分である、という法則をユーザが経験から決めて、クラスタ構成記憶装置システム１にユーザ入出力機器４から入力して設定しておいてもよいし、係る情報を初期値として内部で設定しておいてもよい。またリモートコピー処理要求キューの内容をユーザ入出力機器の表示画面４１に表示させて、キューに登録されているリモートコピー処理要求の内容に応じて、その都度ユーザがリモートコピー処理要求の優先度を判断し、クラスタ構成記憶装置システム１に設定してもよい。例えばリモートコピー処理要求がコピーデータ量の多い要求であったり、形成コピー要求である場合には、当該リモートコピー処理要求の優先度を高く設定することが考えられる。
【００６５】
尚、上述の実施形態では主に、どのリモートコピー用ポートを選択するかをユーザが決定する場合について述べたが、クラスタ構成記憶装置システム内の共有メモリに格納されているプログラムが、制御部１０によって実行されることにより、クラスタ構成記憶装置システムがリモートコピーに使用されるリモートコピー用ポートを選択する場合もある。
【００６６】
次に、図６のステップ６００２の処理である，バックアップ先のボリューム（即ち副ボリューム）の選択方法について図１３のフローチャートに従って説明する。尚、本実施形態においては、バックアップ先（即ち副側）のクラスタ構成記憶装置システム１の構成が、バックアップ元のクラスタ構成記憶装置システムと同じ構成である場合の例を述べるが、バックアップ先のクラスタ構成記憶装置システムの構成は問わない。また、バックアップ先の記憶装置システムは、必ずしもクラスタ構成を有する記憶装置システムでなくても良い。
【００６７】
本実施形態においては、副側クラスタ構成記憶装置システム（システム＃２）及びユーザ入出力機器４が、ユーザが副ボリュームを選択する際の支援を行う。即ち、ユーザが副ボリュームを選択する際に、リモートコピーを実行する副側クラスタ構成記憶装置システム内のポートの負荷状態も考慮できるようにし、負荷の低いポートを有するCHAによってリモートコピーが実施されるよう副ボリュームを選択するための支援を、システム＃２及びユーザ入出力機器４が行う。
【００６８】
副側クラスタ構成記憶装置システムが複数ある場合には、副側クラスタ構成記憶装置システムの設置場所、システムの稼動状態を各副側クラスタ構成記憶装置システムがユーザ入出力機器４に通知し、ユーザ入出力機器４は通知された情報を表示画面４１に表示する。ユーザは表示画面４１に表示された情報から、バックアップ用のクラスタ構成記憶装置システムを選択し、ユーザ入出力機器４に接続されている入力装置（図示せず。）を用いて選択されたクラスタ構成記憶装置システムの識別情報を入力する（ステップ１３００１）。
【００６９】
ユーザの選択結果は、ユーザ入出力機器４からネットワーク２を介して各副側クラスタ構成記憶装置システムに送信される。ユーザにバックアップ用システムとして選択されたクラスタ構成記憶装置システムは、自クラスタ構成記憶装置システム内に副ボリュームとなる候補ボリュームがあるか調べる（ステップ１３００２）。候補ボリュームは空きボリュームであり、かつコピー元のボリュームの容量以上の容量を有することが必要となる。そして、候補ボリュームとその候補ボリュームがどの副側クラスタ構成記憶装置システムのどのクラスタに存在するかを示した候補ボリュームのリストを、副側クラスタ構成記憶装置システム１がユーザ入出力機器４に送信する。尚、副側クラスタ構成記憶装置システムが１つしか存在しない場合には、ステップ１３００１が実行されることなく、副側クラスタ構成記憶装置システムが候補ボリュームリストをユーザ入出力機器４に送信するステップ１３００２から処理が開始されることとしても良い。
【００７０】
ステップ１３００２で候補となるボリュームが無く、その旨が副側クラスタ構成記憶装置システム１からユーザ入出力機器４に送信された場合には、ユーザ入出力機器４はクラスタ構成記憶装置システムから受信した情報を表示画面４１に表示することによって、選択された副側クラスタ構成記憶装置システムはリモートコピー先としては使用できない旨をユーザへ知らせ、更にリモートコピー先として他のクラスタ構成記憶装置システムを選択し直すよう表示画面に表示してユーザに指示する（ステップ１３００３）。
【００７１】
ステップ１３００２で候補ボリュームがある場合、副側クラスタ構成記憶装置システムは、ポート毎に未実行のリモートコピー処理要求の数を調査することにより、副側クラスタ構成記憶装置システム内のリモートコピー用ポートの負荷状況を取得し、これをユーザ入出力機器４に送信する。ユーザ入出力機器４は、受信したリモートコピー用ポートの負荷状況を表示画面４１に出力してユーザに提示する（ステップ１３００４）。
【００７２】
ユーザは表示画面４１に出力されたリモートコピー用ポートの負荷状況を参照し、負荷状況の低いポートをリモートコピーに使用する副側のポートとして選択する（ステップ１３００５）。選択結果はユーザによって入出力装置からユーザ入出力機器４に入力される。
【００７３】
選択結果を受信したユーザ入出力機器４は、演算部がメモリに格納されているプログラムを実行することにより、ステップ１３００２において副側クラスタ構成記憶装置システムから受信した候補ボリュームのリストを参照して選択されたポートと同じクラスタに属する候補ボリュームが存在するかどうか判定する（ステップ１３００６）。候補ボリュームが存在すれば、ユーザ入出力機器４の演算部がメモリ内のプログラムを実行することにより、候補ボリュームを全てユーザに提示するか、または、候補ボリュームを選択して予め決めた個数だけユーザに提示する。選択する方法は、ランダムでもよいし、ボリューム番号の数字の小さいものから選択しても良い（ステップ１３００７）。ユーザによって選択されたポートと同じクラスタに属する候補ボリュームがなければ、ユーザ入出力機器４が他のクラスタ内の候補ボリュームをユーザに提示する。提示の仕方はステップ１３００７と同様に、全てでもよいし、あらかじめ決めた個数でもよい（ステップ１３００８）。
【００７４】
尚、本実施形態においては、副側でリモートコピーに使用されるポートと副ボリュームがなるべく同じクラスタに存在することとなるよう、ユーザによる副ボリューム選択を支援したが、副ボリュームとリモートコピー用ポートとが別々のクラスタに存在することとなるよう、ユーザによる副ボリュームの選択を支援することとしても良い。
【００７５】
次に、ユーザ入出力機器４が、クラスタ構成記憶装置システム内のリモートコピー用ポートやボリュームに関する情報を取得し、これをユーザに提示する方法について図９を参照しながら説明する。図９はユーザ入出力機器４のメモリに格納されているプログラムの一例を示す図である。
【００７６】
ユーザ入出力機器４の演算部は、図９に示すコピー先ボリューム提示プログラム４２を実行することで、クラスタ構成記憶装置システム内のポートやボリュームに関する情報を取得し、ユーザにリモートコピー先となるボリュームやリモートコピー処理に用いられるリモートコピー用ポートの情報を提供する。ユーザ入出力機器４は、具体的には例えばＰＣやノートＰＣである。
【００７７】
ユーザ入出力機器４はネットワーク２を介してクラスタ構成記憶装置システムとの間で各クラスタの負荷状況等、制御情報をやりとりする。尚、ユーザ入出力機器４はクラスタ構成記憶装置システム１が有する各クラスタ１１と専用線で直接接続されており、専用線を介して制御情報が送受信されても良い。この場合ユーザとクラスタ構成記憶装置システム１との間の制御情報のやり取りが、ネットワーク２のトラフィック負荷に影響を与えないというメリットがある。
【００７８】
図９に示すコピー先ボリューム提示プログラム４２は、クラスタ構成記憶装置システム１内のリモートコピー用ポートやボリュームの情報を取得するデータ取得プログラム１９１、取得された情報と各種条件（例えば、コピー対象のボリュームとリモートコピーに用いられるポートとが同一クラスタ内にあること等）に基づいて、ユーザへ提示するポートを選択する提案管理プログラム１９２、及び提案したポートを表示画面４１表示するための表示プログラム１９３のサブプログラムを有する。
【００７９】
データ取得プログラム１９１は、対象となるクラスタ構成記憶装置システム１に設置されたポートやボリュームの情報を取得する際に実行される。データ取得プログラム１９１が実行されると、クラスタ構成記憶システム１内の全てのポート及び空きボリュームの情報がユーザ入出力機器４によって取得される。データ取得プログラム１９１が実行されることによって取得されるポートの情報とは、ポートが属するクラスタの識別情報である設置クラスタ番号、ポートの使用状況、ポートで実行される予定の未処理のリモートコピー処理要求数、等である。またデータ取得プログラム１９１が実行されることによって取得されるボリュームの情報とは、空きボリュームの識別情報とその空きボリュームのボリューム容量等のことである。
【００８０】
データ取得プログラム１９１が実行されると、専用のコマンドがユーザ入出力機器４からクラスタ構成記憶装置システムに送信される。このコマンドを受信したＣＨＡ１３は共有メモリ１７内に格納されたリソース負荷情報１７３をアクセスすることによって、空きボリュームの情報やポートの負荷情報を取得し、取得された情報はＣＨＡがユーザ入出力機器４に送信する。
【００８１】
尚、コマンドを受信したＣＨＡは、予めクラスタ構成記憶装置システム１に設定されている条件、例えば「副ボリュームと同じクラスタに存在するポートである」等の条件に従って、ポートやボリュームを絞り込み、絞り込んだポートやボリュームに関する情報のみをユーザ入出力機器４へ送信しても良い。この方法だと，ユーザ入出力機器４の負担が軽減される。また、ＣＨＡはクラスタ構成記憶装置システム１内の全てのポートについての情報をユーザ入出力機器４に送信し、ユーザ入出力機器４が提案管理プログラム１９２を実行し、提案管理プログラムの処理によって、表示画面４１に出力してユーザに提示するポートの情報を絞り込んでも良い。
【００８２】
表示プログラム１９３は、表示画面４１に候補ボリュームやリモートコピー用ポートに関する情報を出力し、リモートコピー処理に使用されるボリュームやポートをユーザへ視覚的に提案するために実行されるプログラムである。
【００８３】
次に図６のステップ６００４で実行されるリモートコピー処理について説明する。
【００８４】
ユーザ入出力機器４から正ボリュームと副ボリュームのペアが正側クラスタ構成記憶装置システム及び副側クラスタ構成記憶装置システムに設定されると、正ボリュームから副ボリュームへのデータのコピーが実行される。このペア設定後に実行される正ボリュームから副ボリュームへのデータのコピーを、形成コピーと呼ぶ。また、形成コピー完了後にサーバ３から正ボリュームへライト要求が送信された場合、正側クラスタ構成記憶装置システムが副ボリュームに対して即ライト要求を出す。この結果、副ボリュームが正ボリュームのバックアップとして同じ内容のデータを格納するよう、正側クラスタ記憶装置システムから副側クラスタ構成記憶装置システムへライトデータがコピーされる。この様な正ボリュームのデータの更新に伴う副ボリュームへのデータのコピーを更新コピーと呼ぶ。
【００８５】
例えば図１２に示すように、正側クラスタ構成記憶装置システム１１０（システム＃１）のクラスタ＃１１（１１１）の配下にある論理ボリュームＡ１５２から副側クラスタ構成記憶装置システム２１０（システム＃２）のクラスタ＃２１（２１１）の配下にある論理ボリュームＢ２５２へデータをコピーすることを考える。クラスタ＃１１（１１１）のポート１８２、クラスタ＃１２（１１２）のポート１８６、クラスタ＃２１（２１１）のポート２８２、クラスタ＃２２（２１２）のポート２８６がリモートコピー用ポートとして設定されているものとする。尚、ポート１８１、ポート１８５、ポート２８１、ポート２８５は、クラスタ構成記憶装置システムとサーバとを接続する通常のポートである。リモートコピー用ポートは、記憶システム間でコマンドをやりとりするため、通常のポートとは異なる。
【００８６】
ここで、形成コピーの一例として、図１２におけるリモートコピー用ポート１８６とリモートコピー用ポート２８２がパスで接続されており、これらのリモートコピー用ポートを介して形成コピー処理が実行される手順を図１４のフローチャートに従って説明する。
【００８７】
サーバ＃１（３）が発行した論理ボリュームＡ１５２と論理ボリュームＢ２５２間のリモートコピー要求は、クラスタ構成記憶装置システム＃１（１１０）のクラスタ＃１１（１１１）のＣＨＡ１３のリモートコピー処理実行部１３１が受け取る。尚、リモートコピー処理部はCHAが有するプロセッサがCHAが有するメモリ内に格納されているリモートコピー処理プログラムを実行することによって実現される。リモートコピー要求を受信する際リモートコピー処理実行部１３１は、コピー先の副ボリュームがクラスタ構成記憶装置システム＃２（２１０）のクラスタ＃２２（２１２）の配下に存在するという情報も受け取る（ステップ１４００１）。
【００８８】
次にリモートコピー要求処理実行部１３１は、コピー対象のデータがクラスタ構成記憶装置システム＃１のクラスタ＃１２内のキャッシュメモリ１６上に格納されているか否かを判断し、キャッシュメモリ内に格納されていなければ（ステップ１４００９）、コピー対象のデータを格納しているディスクと接続されている、クラスタ＃１１内のＤＫＡ１４へコピーデータのリード要求を出す（ステップ１４００２）。
【００８９】
クラスタ＃１１のＤＫＡ１４はリモートコピー要求処理実行部１３１からリード要求を受け取り、リード処理を実行する。クラスタ＃１１のＤＫＡ１４は、リードしたデータをクラスタ＃１２のキャッシュメモリ１６へ格納し、読み出したデータのアドレスをリード要求の発行元であるクラスタ＃１１のCHA１３へ通知する。クラスタ＃１１のCHA１３は、どのデータをクラスタ＃１２のキャッシュメモリ１６に格納したかを差分管理部１３２を用いて記録する（ステップ１４００３）。尚、差分管理部１３２はCHA１３が有するプロセッサがCHA１３が有するメモリに格納されている差分管理プログラムを実行することにより実現される。差分管理部１３２は、クラスタ＃１２のキャッシュメモリ１６に格納されたデータのアドレスをCHA１３が有する共有メモリに記憶して管理している。
【００９０】
クラスタ＃１１のＣＨＡ１３のリモートコピー処理実行部１３１は、ステップ１４００１でリモートコピー要求を受け取った時、又はステップ１４００３においてDKA１４からクラスタ＃１２のキャッシュメモリ１６にデータを格納した旨の通知を受けた時、又は予め定められているデータ量分のデータがクラスタ＃１２のキャッシュメモリ１６に溜まった時に、クラスタ＃１２のCHA１３bのリモートコピー処理実行部133を起動する。リモートコピー処理実行部１３３は、クラスタ＃１１のＣＨＡ１３aが有するプロセッサとクラスタ＃１２のCHA１３bが有するプロセッサとの間でプロセッサ通信を行うことで起動されることとしてもよいし、クラスタ＃１１のCHA１３aとクラスタ＃１２のCHA１３bとの間でメッセージを送受信するメッセージ通信で起動されることとしても良い。また、クラスタ＃１１のＣＨＡ１３aがクラスタ＃１２のＣＨＡ１３bへジョブを登録してリモートコピー処理実行部１３３を起動しても良い。（ステップ１４００４）。
【００９１】
クラスタ＃１２のＣＨＡ１３bのリモートコピー処理実行部１３３が起動されると、リモートコピー処理が開始される（ステップ１４００５）。具体的には、リモートコピー処理実行部１３３は、クラスタ＃１２のキャッシュメモリ１６内にクラスタ＃１１が格納したデータを、リモートコピー用ポート１８６を経由して，副側クラスタ構成記憶装置システム＃２内のクラスタ＃２１のキャッシュメモリ１６へ転送する。このときリモートコピー処理実行部１３３は、クラスタ＃１１がクラスタ＃１２のキャッシュメモリ１６にデータを格納した順にデータをクラスタ＃２１へ送信するとは限らない。そこでクラスタ＃１１がクラスタ＃１２のキャッシュメモリ１６にデータを格納した際の書込み順序がわかるように、クラスタ＃１２のＣＨＡ13bは副側クラスタ構成記憶装置システム＃２へデータを渡すときに、クラスタ＃１１が当該データをクラスタ＃１２のキャッシュメモリ１６に格納した順番を示す番号、又はクラスタ＃１２がクラスタ＃１１から当該データを受信した時刻をつけて、当該データを副側クラスタ構成記憶装置システム＃２へ送信する（ステップ１４００６）。
【００９２】
副側クラスタ構成記憶装置システム＃２内のクラスタ＃２１は、ＣＨＡ１３ｃ内のプロセッサがＣＨＡｃ１３内のメモリに格納されているリモートコピー処理実行プログラム（図示せず）を実行することによって、正側クラスタ構成記憶装置システム＃１のクラスタ＃１２からデータを受け取り、クラスタ＃２１のキャッシュメモリ１６ｃに格納する（ステップ１４００７）。そして、クラスタ＃２１のＣＨＡ１３ｃのプロセッサは、キャッシュメモリ１６ｃに格納されているコピーデータを論理ボリュームＢ２５２へ格納するよう、クラスタ＃２１のＤＫＡに指示する。ＣＨＡ１３ｃからの指示を受信したクラスタ＃２１内のＤＫＡ１４ｅは、クラスタ＃１２によってコピーデータに付与された時刻順にコピーデータを論理ボリュームＢ２５２に格納する。若しくは、ＤＫＡ１４ｅは、クラスタ＃１２によってコピーデータに付与された番号順にコピーデータが論理ボリュームＢ２５２に格納されるよう、連続した番号が付与されているコピーデータが確保できたら、その都度そのコピーデータを論理ボリュームＢ２５２に格納することとしても良い（ステップ１４００８）。
【００９３】
尚、以上の処理において、正側クラスタ構成記憶装置システム＃１の論理ボリュームＡ１５２から読み出したデータを格納するキャッシュメモリ及び、リモートコピー処理を実行するＣＨＡ及びＤＫＡは、クラスタ＃１１または＃１２内に存在するキャッシュメモリ、ＣＨＡ、ＤＫＡのいずれであっても良く、上述の例に限定されることなく適宜選択することができる。副側クラスタ構成記憶装置システム＃２でも同様である。
【００９４】
形成コピー実行中又は、形成コピー完了後にホストからのデータ更新要求を受け付けた場合には、更新内容のみを副側クラスタ構成記憶装置システム＃２にコピーする。図１５のフローチャートに従って、係る更新コピー処理の手順を説明する。
【００９５】
サーバ３からのライト要求をクラスタ＃１１のＣＨＡ１３aが受信する（ステップ１５００１）。ＣＨＡ１３aは、クラスタ＃１１内のキャッシュメモリ１６へ、ライト要求に含まれるライトデータを書き込む。非同期処理の場合は更に、クラスタ＃１１のＣＨＡ１３はライトデータをキャッシュメモリ１６に書き込んだ後上位サーバ３へ処理終了を報告する（ステップ１５００２）。
【００９６】
クラスタ＃１１ではどのデータが更新されたかを、差分ビットマップを用いて管理している。差分ビットマップ上では、更新されたデータを示す情報はオン（即ち「１」）とされる。そこでCHA１３aはライトデータに対応する差分ビットマップ上の情報をオンにする。更に上位サーバ３からライトデータを受信した順序でデータをリモートコピーするため、クラスタ＃１１のＣＨＡ１３aの順序管理１３６は、順序管理テーブルを用いて、ライトデータを受信した順序を管理する。そこで、CHA１３aは、ライトデータを順序管理テーブルに登録する。尚、順序管理１３６は、ＣＨＡ13a内のメモリに格納されている順序管理プログラムをＣＨＡ13aが有するプロセッサが実行することによって実現される。また差分ビットマップ及び順序管理テーブルは共有メモリ１７a上に設けられている（ステップ１５００３）。
【００９７】
次にクラスタ＃１１のCHA１３aは、クラスタ＃１２のＣＨＡ１３ｂに、更新コピー処理を実行するよう指示し、CHA１３bのリモートコピー処理実行部１３３が起動される。尚、ステップ１４００４と同様に、ステップ１５００４においてクラスタ＃１１がCHA１３bのリモートコピー処理実行部１３３を起動する方法も複数ある（ステップ１５００４）。
【００９８】
起動を受けたクラスタ＃１２のリモートコピー処理実行部１３３は、コピー処理を開始する。クラスタ＃１２のリモートコピー処理実行部１３３は、クラスタ＃１１内にある順序管理テーブルを参照し、順番の一番早いデータを探す（ステップ１５００５）。そして、リモートコピー処理実行部１３３は、順番の一番早いデータをクラスタ＃１１のキャッシュメモリ１６aから取得し、副側クラスタ構成記憶装置システム＃２へコピー要求を出す。そのとき順序管理１３６が順序管理テーブル上で管理している、ライトデータを受信した順序を示す番号であるシーケンス番号も、リモートコピー処理実行部１３３から副側クラスタ構成記憶装置システム＃２に送信する。尚、リモートコピー処理実行部１３３は、データをクラスタ＃１２のキャッシュメモリ１６b内へ一旦コピーしてからクラスタ構成記憶装置システム＃２へコピー要求を出す構成としてもよい。同期処理の場合はこの時点で、クラスタ１１のＣＨＡ１３aが上位サーバ３へライト処理の完了を報告する（ステップ１５００６）。
【００９９】
クラスタ＃２１にコピーデータをコピーし終わると、リモートコピー処理実行部１３３は、差分ビットマップ中当該コピーデータを示している領域の信号をオフにする。次にクラスタ＃１１のＣＨＡ１３aによって、ライトアフタにて、クラスタ＃１１のキャッシュメモリ１６aから論理ボリュームＡに対応するディスクへデータが格納される。更にクラスタ＃１１のＣＨＡ１３aは、キャッシュメモリ１６aからコピーデータが読み出された後、順序管理テーブルを更新して、当該読み出されたデータを順序管理テーブルから削除する（ステップ１５００７）。そして、次のコピーデータがあればステップ１５００５へ戻る。なければ処理を終了する（ステップ１５００８）。
【０１００】
図１８に差分ビットマップ１９０１の一例を、図１９に順序管理テーブル１９０２の一例を各々示す。上述の様に、差分ビットマップと順序管理テーブルは共有メモリ１７内に格納されている。
【０１０１】
差分ビットマップ１９０１は、各データに対応したビットの値によって、当該データに関し、正ボリュームと副ボリューム間で整合性がとれているかどうかを管理するためのテーブルである。ビットの値が「０」の場合はこのビットに対応するデータについては、正ボリュームと副ボリュームが同じ値を格納していることを示す。ビットの値が「１」の場合には、正ボリュームに格納されているこのビットに対応するデータが更新されており、当該データに関しては、正ボリュームと副ボリュームが異なる値を格納していることを示す。クラスタ構成記憶装置システム１は、リモートコピーペア毎に差分ビットマップを一つずつ有する。
【０１０２】
順序管理テーブル１９０２には、データごとに、正側クラスタ構成記憶装置システムに当該データがライトされた順序を示すシーケンス番号１９０２１、サーバ計算機によって当該データがライトされた時刻（即ち当該データが更新された時刻）１９０２２、当該データ（ライトデータ）が格納されているキャッシュメモリ上の位置を示すライトデータ格納位置情報１９０２３が登録されている。クラスタ構成記憶装置システム１は、リモートコピーペア毎に順序管理テーブル１９０２を一つずつ有する。
【０１０３】
正側クラスタ構成記憶装置システム（システム＃１）は、サーバ計算機３からライトデータを受信すると、ライトデータに付与されているシーケンス番号、サーバ計算機からライトデータを受信した時刻を表すライト時刻、及びライトデータが格納されたキャッシュメモリ上の位置情報を順序管理テーブル１０９２に登録する。そして、データを副ボリュームにコピーするために、当該データを副側クラスタ構成記憶装置に送信する際、正側クラスタ構成記憶装置システム（システム＃１）は、当該データに関する登録を順序管理テーブル１９０２から削除する。
【０１０４】
副側クラスタ構成記憶装置システム（システム＃２）は、正側クラスタ構成記憶装置システム（システム＃１）からライトデータを受け取ると、ライトデータとセットになっているシーケンス番号及びライト時刻を順序管理テーブル１０９２に登録する。そして、連続したシーケンス番号を有するライトデータが順序管理テーブル１０９２に登録されたのを契機に、この連続したシーケンス番号を有するライトデータをディスクに書き込むよう、副側クラスタ構成記憶装置システムのCHAが制御する。シーケンス番号が連続しておらず、間の番号が抜けている場合には、その抜けているシーケンス番号が付与されているライトデータが正側クラスタ構成記憶装置システムから到着し、シーケンス番号が連続するまで待った後、ライトデータをディスクに書き込むよう、副側クラスタ構成記憶装置システム（システム＃２）は制御する。
【０１０５】
次に、リモートコピー処理が開始されてからリモートコピー用ポートをダイナミックに変更する際に、変更先のポートを選択する方法を図１６のフローチャートに従って説明する。
【０１０６】
正側の制御部１０は、予め決めた時間間隔毎に、各ポートの負荷状況を検索する（ステップ１６００１）。そして負荷がしきい値を超えているポートがあるかどうかを判定する。尚、ステップ１６００１において検索した負荷状況をユーザ入出力機器４に通知して、ユーザ入出力機器４から負荷状況をユーザに提示し、ユーザが負荷が閾値を超えているポートがあるかどうかを判定して判定結果をユーザ入出力機器４から入力することとしても良い。
【０１０７】
正側の制御部１０は、負荷がしきい値を超えているポートがあれば本処理を続ける（ステップ１６００２）。負荷がしきい値を超えたポートが特定のクラスタに偏在している場合には、ステップ１６００５に進む。それ以外の場合は、ステップ１６００４に進む（ステップ１６００３）。負荷が閾値を超えたポートが特定のクラスタ内に偏在している場合には、正側の制御部１０は、クラスタ間で負荷を分散する（ステップ１６００５）。それ以外の場合には、正側の制御部１０は、同一クラスタ内のリモートコピー用ポート間で負荷を分散する（ステップ１６００４）。尚、負荷が閾値を超えたポートが特定のクラスタに偏在している場合とは、例えば、クラスタ構成記憶装置システム内のある特定のクラスタ内では、複数のポートの負荷が閾値を超えており、一方同じクラスタ構成記憶装置システム内の他のクラスタ内には負荷が閾値を超えたポートが存在しない場合のことをいう。
【０１０８】
図１６のステップ１６００４において実行される、同一クラスタに属する複数のポート間の負荷を分散するための処理（クラスタ内負荷分散処理）を、図２０のフローチャートに従って説明する。
【０１０９】
正側の制御部１０は、負荷がしきい値を越えているリモートコピー用ポートをひとつ選択する（ステップ２０００１）。この際、負荷が閾値を超えているリモートコピー用ポートが複数存在する場合には、もっとも負荷の高いポートを選択する。次に、正側の制御部１０は、前記選択されたリモートコピーポートと同じクラスタ内のリモートコピー用ポートの負荷状況を検索して取得し、必要であればユーザ入出力機器に検索結果を出力してユーザに検索結果を提示する（ステップ２０００２）。そして選択されたリモートコピー用ポートと同じクラスタに属するリモートコピー用ポートの中に、負荷がしきい値よりも低いリモートコピー用ポートがある場合には、ステップ２０００４へすすみ、なければ本処理を終了する（ステップ２０００３）。正側の制御部１０は、選択されたリモートコピー用ポートと同じクラスタ内のリモートコピー用ポートで、負荷状況がしきい値よりも低いリモートコピー用ポートを選択する（ステップ２０００４）。
【０１１０】
次に、正側の制御部１０は、ステップ２０００１で選択された負荷が閾値を超えているリモートコピー用ポートに割り当てられているリモートコピー処理要求の内、どのリモートコピー処理要求をステップ２０００４で選択されたリモートコピー用ポートに割り当てるか、即ちステップ２０００４で選択されたリモートコピー用ポートにリモートコピー処理をどれだけ委託するかを決定する。このとき、ステップ２０００１で選択されたリモートコピー用ポートと同一クラスタ内に存在するリモートコピー用ポートであって、ステップ２０００１で選択されたリモートコピー用ポートの次に負荷の高いリモートコピー用ポートの負荷状況を考慮する。次に負荷の高いリモートコピー用ポートに割り当てられているリモートコピー処理を、今後他のリモートコピー用ポートに再割当する可能性があるからである。また、リモートコピー要求の再割当後にステップ２０００１及びステップ２０００４において選択されたリモートコピー用ポート各々に割当てられているリモートコピーペアの数がバランスがとれるよう、即ちリモートコピー用ポートにかかる負荷が分散できるよう、再割当するリモートコピー要求を決定する。尚、ステップ２０００２でユーザに提示した負荷状況をもとに、ユーザがステップ２０００４において選択されたポートに再割り当てするリモートコピーペア、若しくはリモートコピーペアの数を指定し、ユーザ入出力機器4に入力することによって、ユーザから指定されたリモートコピーペア、若しくはユーザから指定された数分のリモートコピーペアをステップ２００００４で選択されたリモートコピー用ポートに再割当することとしても良い（ステップ２０００５）。
【０１１１】
しきい値を超えたポートがクラスタ内にまだあれば、再びステップ２０００１から処理を続ける（ステップ２０００６）。
【０１１２】
尚、図２０に示す手順では、負荷が閾値を越えているリモートコピー用ポート１つずつについて順次リモートコピー要求の再割り当てを行ったが、ステップ２０００１において同一クラスタ内に存在する負荷が閾値を超えているリモートコピー用ポートを全て選択し、ステップ２０００５においてステップ２０００１で選択されたリモートコピー用ポート全てについてコピー要求をどのように再割当するか決定することとしても良い。
【０１１３】
次に図１６のステップ１６００５において実行される、複数のクラスタ間でリモートコピー用ポートの負荷を分散するためのクラスタ間負荷分散処理を、図２１のフローチャートに従って説明する。
【０１１４】
正側の制御部１０は、負荷状況がしきい値を越えているリモートコピー用ポートのひとつを選択する（ステップ２１００１）。そして、正側の制御部１０は、ステップ２１００１で選択されたリモートコピー用ポートが属するクラスタとは異なるクラスタを１つ選択する（ステップ２１００２）。正側の制御部１０は、ステップ２１００２で選択されたクラスタ内のリモートコピー用ポートの負荷状況を検索して取得し、必要であれば取得結果をユーザ入出力機器４に出力してユーザに提示する（ステップ２１００３）。ステップ２１００２で選択されたクラスタ内に、負荷がしきい値よりも低いリモートコピー用ポートがある場合はステップ２１００７へすすみ、なければステップ２１００５へ進む（ステップ２１００４）。ステップ２１００５においては、ステップ２１００１で選択されたリモートコピー用ポートが属するクラスタとは異なるクラスタであって、未だ選択されていないクラスタがあるかどうか判断し、あればステップ２１００２へ進む（ステップ２１００５）。なければ本処理は終了し、図２０に示す手順に従って、同一クラスタ内での負荷分散処理を行う。
【０１１５】
ステップ２１００４で負荷が閾値よりも低いリモートコピー用ポートがあった場合には、正側の制御部１０は、負荷がしきい値よりも低いリモートコピー用ポートの中から１つリモートコピー用ポートを選択する（ステップ２１００７）。この際、例えば最も負荷が低いリモートコピー用ポートを選択することとしても良い。そして、ステップ２１００１で選択されたリモートコピー用ポートとステップ２１００７で選択されたリモートコピー用ポートの負荷状況に応じて、ステップ２１００１で選択されたリモートコピー用ポートに割り当てられているリモートコピー処理要求のうち、どの要求もしくは幾つの要求をステップ２１００７で選択されたリモートコピー用ポートに再割当するか決定する。即ち、ステップ２１００１で選択されたリモートコピー用ポートに現在割り当てられているモートコピー処理ペアの数を、いくつまで減らすかを決定する（ステップ２１００８）。この決定処理は、図２０のステップ２０００５と同様の手順によって実行される。
【０１１６】
他にも負荷が閾値を超えているリモートコピー用ポートが存在する場合には、ステップ２１００１に戻って処理を続ける。負荷が閾値を超えているリモートコピーが他には存在しない場合には処理を終了する（ステップ２１０１０）。
【０１１７】
以上図２０及び図２１を用いて説明したリモートコピー用ポートの変更に際する変更後のリモートコピー用ポートの選択方法においては、一例として正側クラスタ構成記憶装置内での負荷分散に着眼した手順を示したが、副側クラスタ構成記憶装置システムにおいても同様の手順によってリモートコピー用ポートの負荷分散処理を実行することができる。またユーザは、ユーザ入出力機器4に出力される、正側及び副側双方のクラスタ構成記憶装置システムのリモートコピー用ポートの負荷を監視して、双方のクラスタ構成記憶装置システムでリモートコピー用ポートの負荷が分散されるよう、使用されるリモートコピー用ポートポートを変更することもできる。
【０１１８】
次に、図２０または図２１に示す手順によって選択されたリモートコピー用ポートに、リモートコピー処理を実際に実行させるための方法を、図１７のフローチャートに従って説明する。
【０１１９】
正側の制御部１０は、変更前のリモートコピー用ポートと変更後のリモートコピー用ポートが同一クラスタ内にあるか否か判定する（ステップ１７００１）。両ポートが同一クラスタ内に存在する場合は、変更前のポートに割り付けられたリモートコピー処理のうち図２０のステップ２０００５や図２１のステップ２１００８において選択された未処理分のリモートコピー処理を、変更後のポートに移動、即ち再割り当てする。具体的には、変更前のリモートコピー用ポートを制御するプロセッサ（CHA）と変更後のリモートコピー用ポートを制御するプロセッサ（CHA）の間で、リモートコピー処理要求を受け渡しを実行する（ステップ１７００２）。尚、リモートコピー処理の受け渡しは、プロセッサ間で、変更前のリモートコピー用ポートに対応するリモートコピー処理要求キュー１１０１に格納されている未処理のリモートコピー処理を、変更後のリモートコピー用ポートに対応するリモートコピー処理要求キュー１１０１に移すことによって実行される。
【０１２０】
次に、変更前のリモートコピー用ポートによってリモートコピー処理が実行中であるリモートコピーペアについてのリモートコピー処理の再割り当てを実行する。リモートコピー処理が変更前のリモートコピー用ポートによって実行中である場合には、実行中の処理が完了するまでそのリモートコピー処理は変更前のリモートコピー用ポートが実行する。そして実行中の処理が終了してから、リモートコピー処理の受け渡しが行われる。具体的には、リモートコピー処理を実行中のペア情報やペアに割り付けられたポート番号の情報を更新する（ステップ１７００３）。
【０１２１】
情報の更新処理が終わったら、変更前のリモートコピー用ポートのリモートコピー処理要求キュー１１０１から、更新された情報に対応するリモートコピーペアに関する未処理分の要求を削除する（ステップ１７００４）。
【０１２２】
ステップ１７００１で変更前のリモートコピー用ポートと変更後のリモートコピー用ポートが異なるクラスタに存在すると判断した場合、クラスタをまたいだプロセッサ（CHA）間でリモートコピー処理の移動を行う。変更前のリモートコピー用ポートに割り付けられた処理のうち、変更後のリモートコピー用ポートに移動するものとして図２０のステップ２０００５や図２１のステップ２１００８において選択された、未処理分のリモートコピー処理要求を、変更後のポートを制御するプロセッサのリモートコピー処理要求キュー１１０１へコピーする。コピーは、プロセッサ間通信若しくは、メッセージ通信若しくは、ジョブ間通信によって実行される（ステップ１７００５）。
【０１２３】
変更前のリモートコピー用ポートが処理実行中であるリモートコピーペアに関しては、実行中の処理が完了するまで変更前のポートでリモートコピー処理を実行する。実行中の処理が終了したら、リモートコピー用ポートに割り当て中のペア情報やペアに割り当てたポート番号の情報を更新し、ステップ１７００４と同様にコピーする。更に、リモートコピーペア情報、差分ビットマップ、及び順序管理テーブルを、変更前のリモートコピー用ポートが属するクラスタ内の共有メモリから、変更後のリモートコピー用ポートが属するクラスタ内の共有メモリへコピーする。（ステップ１７００６）。
【０１２４】
その後、変更前のリモートコピー用ポートを制御するプロセッサのリモートコピー処理要求キュー１１０１から、変更後のリモートコピー用ポートに再割当したリモートコピー要求を削除する（ステップ１７００７）。そして、変更前のリモートコピー用ポートを制御していたプロセッサ（CHA）は、変更後のリモートコピー用ポートを制御するプロセッサ（CHA）へ、リモートコピー処理を実行するよう指示し、リモートコピー処理の起動をかける（ステップ１７００８）。
【０１２５】
次に、図２０のステップ２０００２や図２１のステップ２１００３でユーザ入出力機器４に提示されるリモートコピー用ポートの負荷状況を示す情報の一例を図１０に示す。
【０１２６】
入力画面１０１０は、リモートコピー用ポートの負荷状況をユーザ入出力機器４に表示させるためにユーザが入力する情報の一例を示している。ユーザはユーザ入出力機器４にボリュームを指定するための情報を入力する。入力される情報は、具体的には、当該ボリュームがコピー元又はコピー先ボリュームか否か１０１１、当該ボリュームが属するクラスタ構成記憶装置システムの番号１０１２、当該ボリュームが属するクラスタの番号１０１３、当該ボリュームの番号１０１４である。
【０１２７】
これらの情報を入力データ１０１０として受け付けると、ユーザ入出力機器４のデータ取得部１９１は、取得したデータに基づいて、入力データが示すボリュームに関するリモートコピー処理を行う可能性のあるリモートコピー用ポートの一覧を表示する。
【０１２８】
ユーザ入出力機器４が出力するリモートコピー用ポートに関する情報は、入力情報が示すボリュームと同じクラスタ構成記憶装置システムに属するリモートコピー用ポートの一覧であり、その一例が出力情報１０２０である。リモートコピー用ポートの一覧には、当該ポートが属するクラスタ構成記憶装置システムの番号１０２１、当該ポートが属するクラスタの番号１０２２、当該ポートと接続されるＣＨＡの番号１０２３、当該ポートの使用可否状態１０２４、当該ポートの負荷状態を表す数値１０２５、当該ポートの負荷と予め定められている閾値とを比べた際の当該ポートの負荷の大小１０２６、リモートコピー用パスの番号１０２７が含まれる。
【０１２９】
尚、ユーザ入出力機器４は、リモートコピー処理を実行可能なリモートコピー用ポートの候補を全てを出力したり、リモートコピー用ポートの候補の中から更に負荷の低いポートを選択して出力することも可能である。さらにユーザ入出力機器４は、リモートコピー用ポートの候補の中から、変更後のリモートコピー用ポートとなるべきポートを１つ選択し、選択されたリモートコピー用ポートに関する情報のみを出力することとしても良い。
＜第二の実施形態＞
次に本発明の第二の実施形態を説明する。
【０１３０】
図２２は、第二の実施形態における計算機システムの一例を示す図である。計算機システムは、クラスタ分散記憶装置システム５、クラスタ分散記憶装置システム５に格納されたデータを使用するサーバ３、及びリモートコピー先のボリュームを有する記憶装置システムが存在するサイトであるリモートサイト７が、ネットワーク８で相互に接続された構成を有している。
【０１３１】
クラスタ分散システム５とリモートサイト７の関係は、図１２のクラスタ構成記憶装置システム（システム＃１）１１０とクラスタ構成記憶装置システム（システム＃２）２１０と同様である。
【０１３２】
クラスタ分散システム５は、複数（図２２では例として３つの場合を表示）のクラスタ１１１〜１１３と、サーバ３からの要求を受け取る複数のプロセッサ１２０と、複数のプロセッサ１２０と複数のクラスタ１１１〜１１３を接続する内部ネットワーク１３０と、プロセッサ１２０の制御管理を行ない内部ネットワーク１３０に接続された仮想管理１４０とを有する。複数のプロセッサ１２０とサーバ３とリモートサイト７は、ネットワーク８により接続されている。
【０１３３】
プロセッサ１２０は、クラスタ分散システム５内の論理ボリュームであれば、クラスタ１１１〜１１３配下のどの論理ボリュームへのアクセスでも受け付ける。従ってどのポート１８１〜１８４からも、クラスタ分散システム５内のどの論理ボリュームへもアクセスできる。
【０１３４】
本構成では、従来ネットワーク８と接続しネットワークと記憶装置システムとの間の情報の送受信を制御していたチャネル接続部分をプロセッサ１２０として他の部分から独立化し、プロセッサ１２０はサーバ３から受け取った要求について、プロトコル変換を実行してクラスタが認識できる形式に変換し、当該要求がどのクラスタの配下に存在する論理ボリュームへの要求かを判断し、該当するクラスタへ変換後の要求を送信する。
【０１３５】
クラスタ１１１は制御部と、制御部に接続された一又は複数のディスクドライブ１５を有する。制御部は、複数台のプロセッサ１３９と複数のメモリユニット１９を有する。他のクラスタ１１２やクラスタ１１３も同様の構成を有する。
【０１３６】
プロセッサ１３９は制御部内に搭載されたプロセッサであり、複数のプロセッサ１３９は各々並列に処理を実行する。ポート１８１〜１８４を介してクラスタに入力されるサーバ３からのコマンドの解析や、サーバ３とクラスタ間でのデータ転送を実行するためのプログラムがメモリユニット１９内の共有メモリに格納されており、プロセッサは共有メモリに格納されているプログラムを実行する。またプロセッサは、パリティ生成などのディクスアレイの制御を行うためのプログラムや、ディスクドライブ装置１５と制御部との間のデータの転送を制御するプログラムも実行する。これらのプログラムもメモリユニット１９の共有メモリに格納されている。
【０１３７】
ディスク装置１５は複数のポートを有し、複数のパスで同じクラスタ内の異なるプロセッサ１３９と接続されている。従ってあるクラスタ内に存在するどのプロセッサ１３９からでも、同一クラスタ内のどのディスク装置１５にもアクセスできる。また、リモートコピー処理を実行するプログラム、リモートサイトに格納されているデータとクラスタ分散システム５に格納されているデータの差分を管理するプログラム、データをクラスタ分散システム５からリモートサイト７に転送する際、データの転送順序を管理するプログラム、データ移行処理を実行するプログラムは、制御部内のハードディスク内に格納されており、共有メモリに読み込まれてからプロセッサ１３９によって実行される。
【０１３８】
メモリユニット１９は、各プロセッサ１３９からアクセス可能な共有メモリ１７とキャッシュメモリ１６を備える。各プロセッサ１３９はジョブ管理に必要な情報や、キャッシュメモリを管理するための情報等、各プロセッサで共有されるべきデータを共有メモリ１７に格納する。メモリユニット１９、キャッシュメモリ１６、及び共有メモリ１７の構成は第一の実施形態で述べた構成と同様である。図２に示すペア情報テーブル、図３に示すボリューム情報テーブル，図１８に示すの差分ビットマップ及び図１９に示す順序管理テーブルも共有メモリ１７に格納されている。尚共有メモリ１７とキャッシュメモリ１６が同一メモリであってもよい。また、別の方法として、図２、図３、図１８及び図１９に示す情報を仮想管理１４０内のメモリ（図示せず）に格納し、管理することもできる。メモリユニット１９には複数の共有メモリが備えられており、各々の共有メモリが同じ内容のデータを格納することにより、信頼性を向上させている。
【０１３９】
クラスタ分散システム５は更に、ユーザ入出力機器４を備えており、ユーザ入出力機器４は内部ネットワーク１３０またはネットワーク８に接続されている。図２２には、ユーザ入出力機器４がネットワーク１３０と接続されている場合を図示する。
【０１４０】
論理ボリュームＡ１５２に格納されているデータを、論理ボリュームＢ２５２にリモートコピーする処理の場合、例えばリモートコピー用ポート１８６又はリモートコピー用ポート１８７のうちどれを使うか等のポート選択は、クラスタ側ではできない。リモートコピー要求を受け取るプロセッサ１２０は、クラスタ外にクラスタとは独立して存在し、いずれかのプロセッサ１２０内に設置されているリモートコピー用ポートを使用してリモートコピー処理が実行されることになるからである。
【０１４１】
又、クラスタ分散システム５においては、リモートコピー元となるボリュームＡへアクセスできるのはボリュームAと同じクラスタ１１１内に存在するプロセッサ群だけなので、クラスタ分散システム５に存在する全てのプロセッサの中から、リモートコピー処理を実行するプロセッサを自由に選択することは、本実施形態ではできない。
【０１４２】
尚、本実施形態におけるリモートコピー処理は、図６のステップ６００４と同様にして実行される。但しステップ６００４におけるCHA１３は、本実施形態ではコマンドを受取ったクラスタ１１のプロセッサに相当する。
【０１４３】
図１に示すクラスタ構成記憶装置システムにおいては、どのポートからも、任意のディスク装置へアクセスできたが、図２２に示すクラスタ分散システムにおいては、各プロセッサがアクセスできるディスク装置はクラスタ毎に制限されており、あるプロセッサからアクセス可能なディスク装置は、当該プロセッサと同じクラスタに存在するディスク装置のみである。
【０１４４】
そこで本実施形態においては、特定のクラスタ内のプロセッサ１３９に処理が集中した場合は、負荷の低いプロセッサが存在する他のクラスタ内の論理ボリュームへ、リモートコピー元のボリュームに格納されているデータを移動させた後、当該他のクラスタ内の論理ボリュームとリモートサイト7内の論理ボリュームとの間でリモートコピー処理を実施する。係る処理によって、クラスタ分散システム５内でプロセッサ１３９の負荷を分散することができる。さらにリモートコピー処理が実行中であっても、クラスタ分散システム５内でプロセッサの負荷に偏りが生じていれば、ダイナミックにリモートコピー元ボリュームに格納されているデータを移動させ、クラスタ分散システム５内でプロセッサの負荷を分散させる。
【０１４５】
次に、リモートコピー元のボリュームに格納されているデータの移動が必要かどうかを判断するための処理を図２３のフローチャートに従って説明する。リモートコピーを開始する際にシステム管理者（ユーザ）は、ユーザ入出力機器４を使ってリモートコピー元ボリュームのクラスタ番号を認識する(ステップ２３００１)。例えばユーザ入出力機器４がユーザの指示に基づいて、クラスタ分散システム５が記憶している図２に示すペア情報テーブルを参照することによって、リモートコピー元ボリュームのクラスタ番号を取得し、これをユーザ入出力機器の出力画面に出力する。
【０１４６】
次に、リモートコピー元ボリュームが属するクラスタ内のプロセッサの負荷状況を把握するための処理に移る。クラスタ分散システム５内の各クラスタに存在するプロセッサ群の負荷状況は、仮想管理１４０が各クラスタから取得し管理している。
【０１４７】
図２４に仮想管理１４０が有するメモリに記憶されているプロセッサ負荷状況テーブル２４０１の一例を示す。プロセッサ負荷状況テーブル２４０１には、クラスタ番号２４０２、プロセッサ番号２４０３、当該プロセッサ番号が示すプロセッサの使用可否を示す使用状況２４０４、当該プロセッサにかかっている負荷の程度を示す負荷状況２４０５、当該プロセッサにかかっている負荷と閾値との比較結果を示す閾値比較２４０６、及びリモートコピー用パス番号２４０７が登録される。仮想管理１４０はプロセッサ負荷状況テーブル２４０１を用いてクラスタ分散システム内の各プロセッサの負荷状況を管理する。
【０１４８】
仮想管理１４０が管理する負荷状況に基づいて、リモートコピー元ボリュームが属するクラスタ内のプロセッサの負荷が閾値より大きいか否かが判断される（ステップ２３００５）。この判断はユーザが行っても良いし、クラスタ分散システム５内で自動的に行っても良い。
【０１４９】
ユーザが判断する場合には、仮想管理１４０がユーザ入出力機器４にプロセッサ負荷状況テーブル２４０１に登録されているデータの内容を送信することにより、クラスタ分散システム５内の各プロセッサの負荷状況をユーザ入出力機器４に通知し、ユーザ入出力機器４は受信した情報を出力画面に出力して、ユーザに各プロセッサの負荷状況を提示する。そして、ユーザは出力画面に表示された各プロセッサの負荷状況を参照し、リモートコピー元のボリュームが属するクラスタ内のプロセッサ中に負荷が閾値を超えていないプロセッサが存在するか否かを判断し、判断結果をユーザ入出力機器４に入力する。ユーザから入力された判断結果は、ユーザ入出力機器４から仮想管理１４０に送信される。
【０１５０】
一方クラスタ分散システム５内で自動的にプロセッサの負荷と閾値との大小が判断される場合には、予めしきい値が仮想管理１４０に設定されており、仮想管理１４０はプロセッサ負荷状況テーブル２４０１の負荷状況２４０５が示す値と閾値とを比較して、プロセッサの負荷と閾値との大小の比較を行う。
【０１５１】
尚、単純にプロセッサの負荷と閾値とを比較するのではなく、閾値を２つ設定しておき、第一の閾値に対するプロセッサの負荷の値の比率をユーザ若しくは仮想管理が計算し、計算結果が第二の閾値を超えているか否かで、プロセッサの負荷の高低を判断することとしても良い。
【０１５２】
ステップ２３００５において、リモートコピー元のボリュームが属するクラスタに、プロセッサの負荷が閾値を超えていないプロセッサが存在する場合には、プロセッサの負荷が低いと判断され、コピー元ボリュームに格納されているデータを移行することなく、リモートコピー処理が実行される(ステップ２３００６)。
【０１５３】
ステップ２３００５において、リモートコピー元のボリュームが属するクラスタに、プロセッサの負荷が閾値を超えていないプロセッサが存在しない場合には、プロセッサの負荷が高いと判断され、リモートコピー元のボリュームを有するクラスタの制御部は、リモートコピー元ボリュームに格納されているデータをデータ移行により他クラスタに属する論理ボリュームへ移動する(ステップ２３００７)。このデータ移行処理に関しては、後述する。
【０１５４】
データ移行処理（ステップ２３００７）が終わったら、若しくはデータ移行処理が必要でないと判断されたら（ステップ２３００６）、サーバ３はクラスタ分散システム５に対してリモートコピー要求を発行する(ステップ２３００８)。
【０１５５】
次に、リモートコピー元ボリュームに格納されているデータを他のクラスタに属する論理ボリュームへ移動するための、データ移行処理（ステップ２３００７）の手順について、図２５のフローチャートに従って説明する。
【０１５６】
まずボリュームの移動先クラスタを選択する。ボリュームの移動元の制御部は、リモートコピー元ボリュームが属するクラスタ以外の他のクラスタの中から、データ移行先ボリュームを確保できるクラスタがあるかどうか判断する(ステップ２５００１)。ボリューム移行元の制御部は、仮想管理１４０のメモリ内に格納された各クラスタの空きボリューム情報を元に判断する。
【０１５７】
移行先の論理ボリュームが確保できなければ、データ移行は実行できないので、ユーザ入出力機器４にデータ移行先が確保できない旨を通知するためのメッセージを送信し、ユーザ入出力機器４は受信したメッセージを出力画面に出力する。(ステップ２５００４)。
【０１５８】
他のクラスタの中に移行先の論理ボリュームが確保できる場合には、確保可能な論理ボリュームが属するクラスタの中に、新たなリモートコピー処理を実行可能なプロセッサが存在するかどうかを判断する(ステップ２５００３)。新たなリモートコピー処理が実行可能か否かは、図２３のステップ２３００５と同様、各プロセッサの負荷が閾値を超えているか否かを基準に判断される。
【０１５９】
新たにリモートコピー処理を実行可能なプロセッサが存在しなければ、ユーザ入出力機器４にその旨通知するためのメッセージを送信し、ユーザ入出力機器４は受信したメッセージを出力画面に出力する（ステップ２５００４）。
【０１６０】
確保可能な論理ボリュームが属するクラスタの中に、負荷が閾値を超えておらず、新たなリモートコピー処理が実行可能なプロセッサを有するクラスタが存在する場合には、係るクラスタがデータ移行先の候補となる。候補クラスタが複数ある場合はそのうち１つを選択する(ステップ２５００５)。ステップ２５００５においては、負荷が最も低いプロセッサを持つクラスタを選択してもよいし、クラスタ内に存在する複数のプロセッサ各々の負荷を平均した平均値が最も低いクラスタを選択してもよい。
【０１６１】
データ移行先のクラスタが選択されると、ユーザはリモートコピー元ボリュームに格納されているデータを、選択されたクラスタ内の確保可能な論理ボリュームへ移動させるよう、データ移行指示をユーザ入出力機器４に入力する(ステップ２５００６)。
【０１６２】
データ移行指示は、ユーザ入出力機器４から、リモートコピー元ボリュームが属するクラスタの制御部に送信され、当該制御部内のプロセッサが有するデータ移行部１３７と、データ移行先のクラスタ内のプロセッサが有するデータ移行部１３７との制御によって、クラスタ間でデータ移行処理が実行される(ステップ２５００７)。尚、データ移行処理は、例えば米国特許第６１０８７４８号に記載されている方法によって実行される。
【０１６３】
リモートコピー処理開始後は、予め決められた時間間隔でクラスタ毎にクラスタ内に存在するプロセッサの負荷状況がチェックされ、負荷が閾値を超えているプロセッサが存在していないかどうかが調べられる。このプロセッサの負荷状況のチェックは、チェック対象のプロセッサと同じクラスタ内に存在する他のプロセッサが行うこととしても良いし、仮想管理１４０が行うこととしても良い。仮想管理１４０がチェックを行えば、仮想管理１４０は各クラス他内に存在する全てのプロセッサの負荷状況を管理できるので、負荷の高いプロセッサが存在する場合に、リモートコピー元のボリュームに格納されているデータの移行先クラスタを選択しやすい。尚、チェックの結果、負荷の高いプロセッサが存在することが判明した場合には、リモートコピー処理実行中であっても、リモートコピー元のボリュームに格納されているデータをダイナミックに他のクラスタのボリュームに移動することができる。
【０１６４】
図２２の計算機システムにおいて、クラスタ分散システム５内のリモートコピー元ボリュームから、リモートサイト７内の論理ボリュームへのデータのリモートコピー処理実行中に、ダイナミックにリモートコピー元ボリュームを他クラスタへ移動する方法を図２８のフローチャートに従って説明する。ここで説明する処理は、前述のように定期的にクラスタ分散システム内のプロセッサの負荷を監視していた結果、あるプロセッサの負荷が閾値を超えていることが発見され、リモートコピー元ボリュームに格納されているデータを他のクラスタ内のボリュームに移動すべきであると判断された後の処理である。
【０１６５】
クラスタ分散システム内のプロセッサの中に負荷が閾値を超えているプロセッサが存在する場合、定期的にプロセッサの負荷状況をチェックしている仮想管理若しくはユーザから、リモートコピー元のボリュームに格納されているデータを他のクラスタ内のボリュームへ移行するよう指示する移行要求が発行される。尚、ユーザから移行要求が発行される場合とは、ユーザがユーザ入出力機器４に移行要求を入力した場合のことである。移行要求は仮想管理若しくはユーザ入出力機器４からリモートコピー元のボリュームが属するクラスタ内のプロセッサに送信され、これを受信したプロセッサはリモートコピー処理を中断する（ステップ２８００１）。
【０１６６】
リモートコピー処理を中断すると、新たなリモートコピージョブは作成されない。しかし、コピー先のリモートサイト７からみて、リモートコピー処理を中断した時点でクラスタ分散システム内のリモートコピー元ボリュームに格納されているデータと同じデータがリモートサイト内のリモートコピー先ボリュームに格納されているよう制御する必要がある。そこで、リモートコピー元ボリュームが属するクラスタ内のプロセッサとリモートサイト内のリモートコピー先ボリュームを制御する制御部は、リモートコピー処理中断時にクラスタ分散システム５内で既に発行され、キューにたまっているリモートコピージョブに関しては、リモートコピー処理を完了させる（ステップ２８００２）。この結果、正サイト（クラスタ分散システム５）と副サイト（リモートサイト）の同期がとれた状態で、リモートコピー処理を中断することができる。
【０１６７】
次に、リモートコピー元ボリュームに格納されているデータを、データ移行処理によって、当該ボリュームが属するクラスタ以外の他のクラスタ内の論理ボリュームへ移動する（ステップ２８００３）。また、データ移動中に、サーバ３から発行されたリモートコピー元ボリュームに対するライト要求をクラスタ分散システムのプロセッサ１２０が受信した場合には、コピー先クラスタのメモリ１９内にデータを記録しておく。コピー先クラスタへデータ移動完了してから、移動先制御部は、前記記録したライトデータを上書きして書き込む（ステップ２８００４）。
【０１６８】
更に、図２に示すペア情報テーブル及び図３に示すボリューム情報テーブル中の正ボリュームに関するデータを、データ移行先のボリュームが正ボリュームとなるよう修正して、データ移行元のクラスタからデータ移行先のクラスタへ送信し、データ移行先のクラスタ内の共有メモリに登録（格納）する。そして、データ移行元のクラスタ内の共有メモリに記憶されているペア情報テーブルやボリューム情報テーブルを削除する（ステップ２８００４）。
【０１６９】
尚、リモートコピー元ボリュームに格納されているデータをクラスタ分散システム５内で他の論理ボリュームに移行すると、リモートサイト側にとってはリモートコピー元ボリュームが変更されることとなり、リモートサイト側で管理されているボリュームペア情報も修正する必要がある。そこでクラスタ分散システム５では、リモートサイト側にリモートコピー元ボリュームの変更を隠蔽するため、論理ボリュームのマッピングを変更し、データ移行先の論理ボリュームの識別情報としてデータ移行元の論理ボリュームの識別情報を用いる。このようにすることによって、リモートサイトに格納されているボリュームペア情報は修正しなくても済む。
【０１７０】
ステップ２８００４でリモートコピー処理再開に必要な制御データをデータ移行元のクラスタからデータ移行先のクラスタへ送信し終わると、データ移行先のボリュームとリモートサイト内の論理ボリュームとの間でリモートコピーが再開される。具体的には制御データの送信終了を契機として、データ移行先のクラスタ内の共有メモリに格納されているリモートコピープログラムが起動される（ステップ２８００５）。そして、データ移行先のクラスタ内の制御部と、リモートサイトとの間で、ステップ２８００２で正サイトと副サイトとの間で整合性をとった状態から、リモートコピー処理を再開する。
【０１７１】
図２２に示すクラスタ分散システムでは更に、プロセッサ１２０を介して他のストレージシステム６がクラスタ分散システム５に接続されている。ストレージシステム６は、クラスタ分散システム５と同じ構成を有するストレージシステムでもよいし、クラスタ分散システム５とは異なる構成を有するストレージシステムであっても良い。
【０１７２】
ストレージシステム６は、クラスタ分散システム５内の複数のプロセッサ１２０のうちいずれかのプロセッサと、通信路を介して接続されている。クラスタ分散システム５は、サーバ３から受信したデータ入出力要求がクラスタ分散システム５内のディスク装置に格納されているデータに対する入出力要求ではないと判断した場合に、当該データ入出力要求をストレージシステム６内に格納されているデータに対する第二のデータ入出力要求に変換して、通信路を介して第二のデータ入出力要求をストレージシステム６に送信する。ストレージシステム６はクラスタ分散システム５から第二のデータ入出力要求を受信して、第二のデータ入出力要求内で指定されているデータの入出力処理を実行する。
【０１７３】
クラスタ分散システム５はストレージシステム６が有する記憶領域である論理ボリュームを、クラスタ分散システム５の論理ボリュームとしてサーバ３に提供する。このためクラスタ分散システム５は、自身が取り扱う論理ボリュームに関する情報として、当該論理ボリュームがクラスタ分散システム５が有する記憶領域に相当するのか、クラスタ分散システム５に接続されている他のストレージシステム６が有する記憶領域に相当するのかを示す構成情報管理テーブル（図２７）をもつ。論理ボリュームが他のストレージ装置内のボリュームに相当する場合には、この構成情報管理テーブルに、当該ボリュームにアクセスするために用いられるポートの識別子、及び他ストレージシステム６内で当該論理ボリュームに対して割り当てられている識別子が記述される。
【０１７４】
図２７はクラスタ分散システム５が有する構成情報管理テーブルの一例を示す図である。構成管理テーブルは仮想管理部１４０内のメモリに格納する。または、プロセッサ１２０内のメモリに格納してもよい。構成情報管理２７０１にはクラスタ分散システム５が取り扱う論理ボリュームに関する情報が記述されている。構成情報管理テーブル２７０１にはクラスタ分散システム５のデータ入出力処理の対象となる、クラスタ分散システム５内に存在する論理ボリューム１５２だけでなく、クラスタ分散システム５に接続される他のストレージシステム６がデータ入出力処理を行い、当該他のストレージシステム６内に存在する論理ボリューム１５６についての情報も記述されている（但し，図２７には論理ボリューム１５２の情報のみを示している。）。
【０１７５】
図２７において、ポートＩＤ番号２７０２には論理ボリュームが接続している外部インターフェースのポートＩＤ番号が記述される。ＷＷＮ２７０３には，ポートＩＤに対応するＷＷＮが記述される。ＬＵＮ２７０４には各論理ボリュームのＬＵＮが記述される。容量２７０５には，論理ボリューム１５２が提供する記憶領域の容量が記述される。
【０１７６】
マッピングＬＵＮ２７０６には、そのポートおよびＬＵＮに対応づけられている他のストレージシステム６の論理ボリューム１５６の識別子が記述される。つまりマッピングＬＵＮ２７０５に何らかの記述がある場合は、その論理ボリュームはクラスタ分散システム５に接続される他のストレージシステム６内に存在する論理ボリューム１５６であり、マッピングLUN２７０５に登録がなければ、その論理ボリュームはクラスタ分散システム５内に存在する論理ボリューム１５２であるということになる。
【０１７７】
他のストレージシステム６にリモートコピー元ボリュームが存在する場合、クラスタ分散システム５が当該リモートコピー元ボリュームと対応付けられているLUN２７０４を、別のクラスタ内に存在するプロセッサが管理している論理ボリュームのLUNへマッピングしなおせば、リモートコピー処理を実行するクラスタが変更されることになる。即ちクラスタ分散システム5は、構成情報管理テーブル２７０１に登録されているリモートコピー元ボリュームに関する情報のうち、マッピングLUN2704を別のクラスタ内で管理される論理ボリュームの識別情報に変更すれば、リモートコピー処理を実行するクラスタが変更される。他のストレージシステム６にリモートコピー元ボリュームが存在する場合、リモートコピー処理はリモートコピー元ボリュームと対応付けられているLUN２７０４と対応付けられているクラスタによって実行されるからである。従って係る場合には、リモートコピー元ボリュームと対応付けられているLUNを変更するだけで、他のストレージシステム６内のリモートコピー元ボリュームに格納されている実データを移行することなく、クラスタ間でデータ移行したことと同じ効果が得られる（図２６）。
【０１７８】
上述の実施形態1及び実施形態2によって、リモートコピー処理による負荷をクラスタ構成記憶装置システムやクラスタ分散記憶装置システム内で分散させることができる。
【０１７９】
また、リモートコピー処理中であっても、リモートコピー処理に使用されるポートを変更することができるので、リモートコピー処理中にも複数のリモートコピーポートや複数のクラスタ間で負荷を分散させることができる。
【０１８０】
また、リモートコピー専用のポートを用いてリモートコピー処理を実行する場合には、本実施形態によって、リモートコピー対象のデータが格納されているクラスタとは異なる他のクラスタに存在するリモートコピー用ポートをリモートコピー処理に使用することができるので、リモートコピー用ポートが設置できないクラスタに格納されているデータもリモートコピー処理の対象にすることができるようになる。また、クラスタ構成記憶装置システムやクラスタ分散記憶装置システムにおいて、クラスタ間でリモートコピー用ポートを共有することができ、リモートコピー用ポートの設置数を抑え、リモートコピー用ポートを有効に利用することができるようになる。
【０１８１】
【発明の効果】
本発明によれば、リモートコピー処理による負荷をストレージシステム内で分散することができる。
【図面の簡単な説明】
【図１】本発明が適用される計算機システムの一例を示す図である。
【図２】ペア情報テーブルの一例を示す図である。
【図３】ボリューム情報テーブルの一例を示す図である。
【図４】他クラスタ情報格納位置テーブルの一例を示す図である。
【図５】クラスタの構成例を示すである。
【図６】リモートコピー処理の一例を示すフローチャートである。
【図７】クラスタ構成記憶装置システムが有するのポート管理情報テーブルの一例を示す図である。
【図８】リモートコピー処理に使用されるポートを選択する処理の一例を示すフローチャートである。
【図９】ユーザ入出力機器4のメモリに格納されているプログラムの一例を示す図である。
【図１０】リモートコピー用ポートの負荷状況を示す情報の一例を示す図である。
【図１１】リモートコピー処理要求キューの一例を示す図である。
【図１２】クラスタ構成記憶装置システム間でのリモートコピー処理の一例を示す図である。
【図１３】バックアップ先のボリュームを選択する処理の一例を示すフローチャートである。
【図１４】形成コピー処理の一例を示すフローチャートである。
【図１５】更新コピー処理の一例を示すフローチャートである。
【図１６】リモートコピーに使用されるポートを変更する処理の一例を示すフローチャートである。
【図１７】変更後のリモートコピー用ポートにリモートコピー処理を実行させるための処理の一例を示すフローチャートである。
【図１８】共有メモリに格納されている差分ビットマップの一例を示す図である。
【図１９】共有メモリに格納されている順序管理テーブルの一例を示す図である。
【図２０】クラスタ内負荷分散処理の一例を示すフローチャートである。
【図２１】クラスタ間負荷分散処理の一例を示すフローチャートである。
【図２２】本発明が適用される計算機システムの他の一例を示す図である。
【図２３】リモートコピー元ボリュームのデータ移行が必要か否かを判定するための処理の一例を示すフローチャートである。
【図２４】各プロセッサの負荷状態を登録しているプロセッサ負荷状況テーブルの一例を示す図である。
【図２５】リモートコピー元ボリュームに格納されているデータを他のクラスタ内のボリュームに移行するためのデータ移行処理の一例を示すフローチャートである。
【図２６】リモートコピー処理を実行するクラスタを変更する処理の一例を示す図である。
【図２７】クラスタ分散システムが有する構成情報管理テーブルの一例を示す図である。
【図２８】リモートコピーのペア形成後に、コピー元ボリュームをダイナミックに他クラスタへ移動する処理の一例を示すフローチャートである。
【符号の説明】
１…クラスタ構成記憶装置システム
２…ネットワーク
３…サーバ
４…ユーザ入出力機器
１１…クラスタ
１２…クラスタ間接続機構
１３…ＣＨＡ
１４…ＤＫＡ
１５…ディスク装置
１７…共有メモリ
１６…キャッシュメモリ
Claims (12)
- 複数のディスク装置と、該複数のディスク装置を接続する制御部と、ネットワークに接続される複数のポートとを各々が有する、複数の記憶装置サブシステムと、前記複数の記憶装置サブシステムを相互に接続する記憶装置サブシステム間接続部とを有する一又は複数の記憶装置システムと、
前記ネットワークに接続された管理計算機と
を備え、
リモートコピーのコピー元及びコピー先の前記記憶装置システムは、
それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、
前記管理計算機は、
コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行い、
コピー元の前記記憶装置システムは、
前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーする
ことを特徴とする計算機システム。 - 請求項１記載の計算機システムにおいて、
前記負荷情報に基づいて決定される前記第一及び第二のポートは、前記リモートコピーに用いられる、対応するコピー元又はコピー先の前記記憶装置システムが有する複数のポートの内、負荷が最も低いポートである
ことを特徴とする計算機システム。 - 請求項１記載の計算機システムにおいて、
前記負荷情報に基づいて決定される前記第一のポートは、コピー元の前記記憶装置システムにおけるコピーされるデータを格納しているディスクが属する記憶装置サブシステム内に存在するポートである
ことを特徴とする計算機システム。 - 請求項１記載の計算機システムにおいて、
前記管理計算機が、前記負荷情報に基づいて、前記第一及び第二のポートの少なくとも一方を選択する
ことを特徴とする計算機システム。 - 請求項１記載の計算機システムにおいて、
前記管理計算機は、コピー元及びコピー先の前記記憶装置システムの負荷情報を出力画面に出力し、
該出力画面に出力された負荷情報に基づいて管理者から該管理計算機に入力された情報によって指定される前記第一及び第二のポートを用いて、コピー元の前記記憶装置システムの前記複数のディスク装置のいずれかに格納されているデータを、コピー先の前記記憶装置システムにコピーする
ことを特徴とする計算機システム。 - 請求項１記載の計算機システムにおいて、
コピー元の前記記憶装置システムの前記制御部は、複数のディスク装置のいずれかに格納されているデータをコピー先の前記記憶装置システムにコピーするために用いられる前記第一のポートを、変更する
ことを特徴とする計算機システム。 - 第一の記憶装置システムに格納されているデータを、ネットワークを介して前記第一の記憶装置システムに接続される第二の記憶装置システムにコピーするデータ複製方法であって、
前記第一及び第二の記憶装置システムは、それぞれ複数のディスク装置と該複数のディスク装置に対する入出力要求を制御する制御装置と、前記ネットワークに接続される一又は複数のポートとを各々有する、複数の記憶装置サブシステムと、該複数の記憶装置サブシステム間を接続するサブシステム間接続装置とを有しており、前記ネットワークには管理計算機が接続され、
リモートコピーのコピー元及びコピー先の前記記憶装置システムが、それぞれ自システム内の前記複数のポート各々の負荷状況を示す負荷情報を取得して前記管理計算機に送信し、前記管理計算機が、コピー元の前記記憶装置システムの前記負荷情報に基づいて決定される第一のポートをコピー元の前記記憶装置システムに通知すると共に、コピー先の前記記憶システムの前記負荷情報に基づいて決定される第二のポートをコピー先の前記記憶装置システムに通知する一方、コピー先のディスクとしてコピー先の前記記憶装置システム内の前記第二のポートと同じ記憶装置サブシステム内のディスクが優先的に選択されるように、コピー先とするディスクの選択の支援を行う第一のステップと、
コピー元の前記記憶装置システムが、前記第一のポートを用いて、自システム内の複数のディスク装置のいずれかに格納されているデータを、前記ネットワーク及びコピー先の前記記憶装置システムの前記第二のポートを介して、コピー先の前記記憶装置システムにコピーする第二のステップと
を備えることを特徴とするデータ複製方法。 - 請求項７記載のデータ複製方法において、
前記第一のステップにおいて、前記負荷情報に基づいて決定される前記第一及び第二のポートは、前記リモートコピーに用いられる、対応するコピー元又はコピー先の前記記憶装置システムが有する複数のポートの内、負荷が最も低いポートである
ことを特徴とするデータ複製方法。 - 請求項７記載のデータ複製方法において、
前記第一のステップにおいて、前記負荷情報に基づいて決定される前記第一のポートは、コピー元の前記記憶装置システムにおけるコピーされるデータを格納しているディスクが属する記憶装置サブシステム内に存在するポートである
ことを特徴とするデータ複製方法。 - 請求項７記載のデータ複製方法において、
前記第一のステップにおいて、前記管理計算機は、前記負荷情報に基づいて、前記第一及び第二のポートの少なくとも一方を選択する
ことを特徴とするデータ複製方法。 - 請求項７記載のデータ複製方法において、
前記第一のステップにおいて、前記管理計算機は、コピー元及びコピー先の前記記憶装置システムの負荷情報を出力画面に出力し、
前記第二のステップにおいて、該出力画面に出力された負荷情報に基づいて管理者から該管理計算機に入力された情報によって指定される前記第一及び第二のポートを用いて、コピー元の前記記憶装置システムの前記複数のディスク装置のいずれかに格納されているデータを、コピー先の前記記憶装置システムにコピーする
ことを特徴とするデータ複製方法。 - 請求項７記載のデータ複製方法において、
コピー元の前記記憶装置システムの前記制御部が、複数のディスク装置のいずれかに格納されているデータをコピー先の前記記憶装置システムにコピーするために用いられる前記第一のポートを、変更する第三のステップを備える
ことを特徴とするデータ複製方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003168588A JP4341897B2 (ja) | 2002-08-29 | 2003-06-13 | 記憶装置システム及びデータ複製方法 |
| US10/641,981 US20040103254A1 (en) | 2002-08-29 | 2003-08-15 | Storage apparatus system and data reproduction method |
| EP04004379A EP1486862A3 (en) | 2003-06-13 | 2004-02-26 | Storage system and data reproduction method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249897 | 2002-08-29 | ||
| JP2003168588A JP4341897B2 (ja) | 2002-08-29 | 2003-06-13 | 記憶装置システム及びデータ複製方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004145855A JP2004145855A (ja) | 2004-05-20 |
| JP4341897B2 true JP4341897B2 (ja) | 2009-10-14 |
Family
ID=32328278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003168588A Expired - Fee Related JP4341897B2 (ja) | 2002-08-29 | 2003-06-13 | 記憶装置システム及びデータ複製方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040103254A1 (ja) |
| JP (1) | JP4341897B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4387116B2 (ja) * | 2003-02-28 | 2009-12-16 | 株式会社日立製作所 | ストレージシステムの制御方法、及びストレージシステム |
| US7076622B2 (en) * | 2003-09-30 | 2006-07-11 | International Business Machines Corporation | System and method for detecting and sharing common blocks in an object storage system |
| US20050152192A1 (en) * | 2003-12-22 | 2005-07-14 | Manfred Boldy | Reducing occupancy of digital storage devices |
| JP4516322B2 (ja) * | 2004-01-28 | 2010-08-04 | 株式会社日立製作所 | 複数の上位装置で共有される記憶装置システムを持つサイト間での共有排他制御方式を備えたコンピュータシステム |
| JP4421385B2 (ja) | 2004-06-09 | 2010-02-24 | 株式会社日立製作所 | 計算機システム |
| JP4643198B2 (ja) * | 2004-07-28 | 2011-03-02 | 株式会社日立製作所 | 負荷分散コンピュータシステム、経路設定プログラム及びその方法 |
| JP4441362B2 (ja) * | 2004-09-10 | 2010-03-31 | 株式会社日立製作所 | ポート割当装置及びポート割当方法 |
| JP2006079389A (ja) * | 2004-09-10 | 2006-03-23 | Casio Comput Co Ltd | データバックアップ制御装置およびプログラム |
| JP4469252B2 (ja) * | 2004-10-19 | 2010-05-26 | 株式会社日立製作所 | ストレージネットワークシステム及びホスト計算機並びに物理パス割当方法 |
| WO2006057059A1 (ja) * | 2004-11-29 | 2006-06-01 | Fujitsu Limited | 仮想ボリューム移築プログラムおよび仮想ボリューム移築方法 |
| JP2006277545A (ja) * | 2005-03-30 | 2006-10-12 | Hitachi Ltd | 計算機システム、記憶装置システムおよびライト処理制御方法 |
| JP2006285808A (ja) | 2005-04-04 | 2006-10-19 | Hitachi Ltd | ストレージシステム |
| JP4609848B2 (ja) * | 2005-04-06 | 2011-01-12 | 株式会社日立製作所 | 負荷分散コンピュータシステム、経路設定プログラム及びその方法 |
| JP4728031B2 (ja) * | 2005-04-15 | 2011-07-20 | 株式会社日立製作所 | リモートコピーペアの移行を行うシステム |
| JP4639112B2 (ja) * | 2005-04-28 | 2011-02-23 | 株式会社日立製作所 | リモートコピートポロジチェック方法 |
| JP4963808B2 (ja) * | 2005-08-05 | 2012-06-27 | 株式会社日立製作所 | 記憶制御システム |
| JP2007079885A (ja) * | 2005-09-14 | 2007-03-29 | Hitachi Ltd | データ入出力負荷分散方法、データ入出力負荷分散プログラム、計算機システムおよび管理サーバ |
| JP2007122531A (ja) | 2005-10-31 | 2007-05-17 | Hitachi Ltd | 負荷分散システム及び方法 |
| US8738821B2 (en) * | 2005-11-18 | 2014-05-27 | International Business Machines Corporation | Selecting a path comprising ports on primary and secondary clusters to use to transmit data at a primary volume to a secondary volume |
| JP4571576B2 (ja) * | 2005-11-24 | 2010-10-27 | 株式会社日立製作所 | リモートコピー記憶装置システムおよびリモートコピー方法 |
| JP4800059B2 (ja) | 2006-02-13 | 2011-10-26 | 株式会社日立製作所 | 仮想ストレージシステム及びその制御方法 |
| JP4660404B2 (ja) * | 2006-03-17 | 2011-03-30 | 富士通株式会社 | データ転送装置及びデータ転送方法 |
| JP2007280111A (ja) * | 2006-04-07 | 2007-10-25 | Hitachi Ltd | ストレージシステム及びその性能チューニング方法 |
| JP2007328734A (ja) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | ストレージ装置及びストレージ装置の制御方法 |
| JP2008009622A (ja) * | 2006-06-28 | 2008-01-17 | Hitachi Ltd | 管理サーバ、およびサーバシステム |
| JP4327831B2 (ja) | 2006-09-05 | 2009-09-09 | 株式会社日立製作所 | ストレージシステム、管理計算機及びコピーペア監視方法 |
| JP4933284B2 (ja) * | 2007-01-25 | 2012-05-16 | 株式会社日立製作所 | ストレージ装置及び負荷分散方法 |
| US9042263B1 (en) * | 2007-04-06 | 2015-05-26 | Netapp, Inc. | Systems and methods for comparative load analysis in storage networks |
| JP4958641B2 (ja) * | 2007-05-29 | 2012-06-20 | 株式会社日立製作所 | 記憶制御装置及びその制御方法 |
| US7970903B2 (en) | 2007-08-20 | 2011-06-28 | Hitachi, Ltd. | Storage and server provisioning for virtualized and geographically dispersed data centers |
| JP5298510B2 (ja) * | 2007-11-22 | 2013-09-25 | 日本電気株式会社 | 情報処理装置 |
| WO2009085326A1 (en) * | 2008-01-03 | 2009-07-09 | Hewlett-Packard Development Company, L.P. | Performing mirroring of a logical storage unit |
| JP2010097376A (ja) | 2008-10-16 | 2010-04-30 | Hitachi Ltd | ストレージシステムおよびリモートコピー制御方法 |
| TWI514249B (zh) * | 2009-01-23 | 2015-12-21 | Infortrend Technology Inc | 遠端非同步資料卷複製的方法及執行該方法的儲存系統 |
| TWI526823B (zh) * | 2009-01-23 | 2016-03-21 | 普安科技股份有限公司 | 單一架構下進行資料卷複製的方法及其裝置 |
| JP5685454B2 (ja) * | 2010-02-18 | 2015-03-18 | 富士通株式会社 | ストレージ装置およびストレージシステム |
| JP2012018481A (ja) * | 2010-07-06 | 2012-01-26 | Fujitsu Ltd | ディスクアレイ装置およびディスクアレイ制御方法 |
| WO2012059971A1 (ja) * | 2010-11-01 | 2012-05-10 | 株式会社日立製作所 | 情報処理システム及び情報処理システムのデータ転送方法 |
| US20120265956A1 (en) * | 2011-04-18 | 2012-10-18 | Hitachi, Ltd. | Storage subsystem, data migration method and computer system |
| JP5880010B2 (ja) * | 2011-12-20 | 2016-03-08 | 株式会社バッファロー | 通信システム、ネットワークストレージ、サーバ装置及びプログラム |
| JP2013164820A (ja) * | 2012-02-13 | 2013-08-22 | Fujitsu Ltd | 評価支援方法、評価支援プログラムおよび評価支援装置 |
| WO2014141482A1 (ja) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | 垂直統合型システム及びストレージシステムの移行方法 |
| JP6197597B2 (ja) * | 2013-11-15 | 2017-09-20 | 富士通株式会社 | 情報処理システム、情報処理装置の制御プログラム及び情報処理システムの制御方法 |
| WO2016208014A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社日立製作所 | 管理計算機及びシステム構成切り替え方法 |
| US10860427B1 (en) * | 2016-12-23 | 2020-12-08 | EMC IP Holding Company LLC | Data protection in a large-scale cluster environment |
| US11016698B2 (en) | 2017-07-04 | 2021-05-25 | Hitachi, Ltd. | Storage system that copies write data to another storage system |
| JP6836536B2 (ja) * | 2018-03-19 | 2021-03-03 | 株式会社日立製作所 | ストレージシステム及びｉｏ処理の制御方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544347A (en) * | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| JPH06250869A (ja) * | 1993-03-01 | 1994-09-09 | Hitachi Ltd | 分散制御システム |
| JP3726484B2 (ja) * | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | 記憶サブシステム |
| US6195703B1 (en) * | 1998-06-24 | 2001-02-27 | Emc Corporation | Dynamic routing for performance partitioning in a data processing network |
| US6553401B1 (en) * | 1999-07-09 | 2003-04-22 | Ncr Corporation | System for implementing a high volume availability server cluster including both sharing volume of a mass storage on a local site and mirroring a shared volume on a remote site |
| US6487645B1 (en) * | 2000-03-06 | 2002-11-26 | International Business Machines Corporation | Data storage subsystem with fairness-driven update blocking |
| JP4175764B2 (ja) * | 2000-05-18 | 2008-11-05 | 株式会社日立製作所 | 計算機システム |
| JP2002268650A (ja) * | 2001-03-07 | 2002-09-20 | Matsushita Electric Ind Co Ltd | 音楽データダウンロード機能を備えた携帯無線端末 |
| US20020176363A1 (en) * | 2001-05-08 | 2002-11-28 | Sanja Durinovic-Johri | Method for load balancing in routers of a network using overflow paths |
-
2003
- 2003-06-13 JP JP2003168588A patent/JP4341897B2/ja not_active Expired - Fee Related
- 2003-08-15 US US10/641,981 patent/US20040103254A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004145855A (ja) | 2004-05-20 |
| US20040103254A1 (en) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4341897B2 (ja) | 記憶装置システム及びデータ複製方法 | |
| US8271761B2 (en) | Storage system and management method thereof | |
| JP4703959B2 (ja) | 記憶装置システムおよびそのレプリケーション作成方法 | |
| JP4183443B2 (ja) | データ再配置方法及び装置 | |
| JP5341184B2 (ja) | ストレージシステム及びストレージシステムの運用方法 | |
| JP4147198B2 (ja) | ストレージシステム | |
| US7096336B2 (en) | Information processing system and management device | |
| US7694073B2 (en) | Computer system and a method of replication | |
| JP5124551B2 (ja) | ボリューム割り当てを管理する計算機システム及びボリューム割り当て管理方法 | |
| US10747624B2 (en) | Storage system and control method of storage system using asynchronous remote copying to backup volume at specific time points | |
| JP5250869B2 (ja) | ストレージシステム、論理記憶領域割り当て方法及び計算機システム | |
| JP4920979B2 (ja) | ストレージ装置及びその制御方法 | |
| US20110138085A1 (en) | Storage system | |
| GB2539829A (en) | Storage system | |
| JP2005309550A (ja) | リモートコピー方法及びリモートコピーシステム | |
| JP4790372B2 (ja) | ストレージのアクセス負荷を分散する計算機システム及びその制御方法 | |
| JP2010079626A (ja) | 計算機システムの負荷分散方法及びシステム | |
| JP5111754B2 (ja) | 記憶制御システム | |
| JP2010250446A (ja) | ファイル制御システムおよびそれに用いるファイル制御計算機 | |
| US8275958B2 (en) | Storage system with remote copy controllers | |
| JP2006099440A (ja) | リモートコピーシステム | |
| JP2008210031A (ja) | ストレージシステムの記憶領域管理方法 | |
| US10552342B1 (en) | Application level coordination for automated multi-tiering system in a federated environment | |
| JP2009205415A (ja) | ストレージシステム、コピー方法及び正側のストレージ装置 | |
| JP2010128630A (ja) | ストレージシステム、負荷分散管理方法、および記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060104 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090702 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090703 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |