JP2001282628A - 記憶サブシステムのデータ二重化方法及びデータ二重化システム - Google Patents
記憶サブシステムのデータ二重化方法及びデータ二重化システムInfo
- Publication number
- JP2001282628A JP2001282628A JP2000101168A JP2000101168A JP2001282628A JP 2001282628 A JP2001282628 A JP 2001282628A JP 2000101168 A JP2000101168 A JP 2000101168A JP 2000101168 A JP2000101168 A JP 2000101168A JP 2001282628 A JP2001282628 A JP 2001282628A
- Authority
- JP
- Japan
- Prior art keywords
- storage subsystem
- data
- time
- storage
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/835—Timestamp
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/953—Organization of data
- Y10S707/959—Network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99951—File or database maintenance
- Y10S707/99952—Coherency, e.g. same view to multiple users
- Y10S707/99955—Archiving or backup
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Hardware Redundancy (AREA)
Abstract
(57)【要約】
【課題】 メインセンターのディスクサブシステムのデ
ータを二重化するためにリモートセンターのディスクサ
ブシステムにコピーするリモートコピーシステムにおい
て、上位装置に新規ソフトウェアの導入を必要とせず、
ディスクサブシステムの機能のみでデータの整合性を保
証し、メインセンターの性能低下のない非同期型のシス
テムを実現する。 【解決手段】 ディスクサブシステム３は、そのディス
ク記憶装置にデータ書き込みするとともに、該データに
通番と時刻を付与し、ディスクサブシステム７へ転送す
る。ディスクサブシステム７は、受け取った複数のデー
タを通番の順に配列し、ディスクサブシステム７間の通
信によって各ディスクサブシステム７についてそれぞれ
付与された最新の時刻の中で最古の時刻を決定し、決定
された最古の時刻以前の時刻が付与されたデータを各々
のディスク記憶装置へのデータ書き込み対象とする。
ータを二重化するためにリモートセンターのディスクサ
ブシステムにコピーするリモートコピーシステムにおい
て、上位装置に新規ソフトウェアの導入を必要とせず、
ディスクサブシステムの機能のみでデータの整合性を保
証し、メインセンターの性能低下のない非同期型のシス
テムを実現する。 【解決手段】 ディスクサブシステム３は、そのディス
ク記憶装置にデータ書き込みするとともに、該データに
通番と時刻を付与し、ディスクサブシステム７へ転送す
る。ディスクサブシステム７は、受け取った複数のデー
タを通番の順に配列し、ディスクサブシステム７間の通
信によって各ディスクサブシステム７についてそれぞれ
付与された最新の時刻の中で最古の時刻を決定し、決定
された最古の時刻以前の時刻が付与されたデータを各々
のディスク記憶装置へのデータ書き込み対象とする。
Description
【０００１】
【発明の属する技術分野】本発明は、コンピュータが参
照・更新するためのデータを格納する記憶サブシステム
に係わり、特に記憶サブシステムの保有するデータを二
重化する方法およびデータ二重化システムに関する。
照・更新するためのデータを格納する記憶サブシステム
に係わり、特に記憶サブシステムの保有するデータを二
重化する方法およびデータ二重化システムに関する。
【０００２】
【従来の技術】地震等の災害に備えてコンピュータセン
ターとこれをバックアップするコンピュータセンターと
を保有する会社、金融機関等が知られている。このよう
なバックアップ設備を有するシステムにおいて、メイン
のコンピュータセンターとリモートのコンピュータセン
ターとは、地理的に１００ｋｍ〜数１００ｋｍ程度離れ
て設けられ、メインセンターとリモートセンターにそれ
ぞれ設置されているディスクサブシステムの間ではデー
タは二重化して保有される。その方法の１つとしてメイ
ンセンター側のディスクサブシステムに発生した書き込
みデータをリモートセンター側のディスクサブシステム
へ転送し、同一データをリモート側のディスクサブシス
テムに書き込みする、いわゆるリモートコピー機能をも
つシステムが既にいくつか実用化されている。リモート
コピー機能は、同期型と非同期型の２種類に大別され
る。
ターとこれをバックアップするコンピュータセンターと
を保有する会社、金融機関等が知られている。このよう
なバックアップ設備を有するシステムにおいて、メイン
のコンピュータセンターとリモートのコンピュータセン
ターとは、地理的に１００ｋｍ〜数１００ｋｍ程度離れ
て設けられ、メインセンターとリモートセンターにそれ
ぞれ設置されているディスクサブシステムの間ではデー
タは二重化して保有される。その方法の１つとしてメイ
ンセンター側のディスクサブシステムに発生した書き込
みデータをリモートセンター側のディスクサブシステム
へ転送し、同一データをリモート側のディスクサブシス
テムに書き込みする、いわゆるリモートコピー機能をも
つシステムが既にいくつか実用化されている。リモート
コピー機能は、同期型と非同期型の２種類に大別され
る。
【０００３】同期型とはメインセンター内のホストコン
ピュータ（上位装置）からディスクサブシステムにデー
タの更新(書込み)指示が有ったとき、その指示対象がリ
モートコピー機能の対象でもあるときは、そのリモート
コピー機能の対象であるリモートセンターのディスクサ
ブシステムに対して、指示された更新（書込み）が終了
してから、メインセンターの上位装置に更新処理の完了
を報告する処理手順をいう。この場合、メインセンター
とリモートセンターとの地理的距離に応じてこの間に介
在するデータ伝送線路の能力の影響を受け、伝送時間等
による時間遅れが発生する。
ピュータ（上位装置）からディスクサブシステムにデー
タの更新(書込み)指示が有ったとき、その指示対象がリ
モートコピー機能の対象でもあるときは、そのリモート
コピー機能の対象であるリモートセンターのディスクサ
ブシステムに対して、指示された更新（書込み）が終了
してから、メインセンターの上位装置に更新処理の完了
を報告する処理手順をいう。この場合、メインセンター
とリモートセンターとの地理的距離に応じてこの間に介
在するデータ伝送線路の能力の影響を受け、伝送時間等
による時間遅れが発生する。
【０００４】これに対し非同期型とは、メインセンター
内の上位装置からディスクサブシステムにデータの更新
(書込み)指示があったとき、その指示対象がリモートコ
ピー機能の対象であっても、メインセンター内のディス
クサブシステムの更新処理が終わり次第、上位装置に対
し更新処理の完了を報告し、リモートセンターのディス
クサブシステムに対するデータの更新（反映）をメイン
センターに関する処理とは非同期に実行する処理手順を
いう。非同期型によれば、メインセンター内部で必要と
される処理時間でデータ更新が終了するので、リモート
センターへのデータの格納に起因する時間遅れは発生し
ない。このため遠隔地間のディスクサブシステムに対し
てリモートコピーを行う場合、伝送時間等によるメイン
センターの業務への影響を回避することを最優先に考え
ると、同期型のリモートコピーよりも非同期型のリモー
トコピーの方が適していると言える。
内の上位装置からディスクサブシステムにデータの更新
(書込み)指示があったとき、その指示対象がリモートコ
ピー機能の対象であっても、メインセンター内のディス
クサブシステムの更新処理が終わり次第、上位装置に対
し更新処理の完了を報告し、リモートセンターのディス
クサブシステムに対するデータの更新（反映）をメイン
センターに関する処理とは非同期に実行する処理手順を
いう。非同期型によれば、メインセンター内部で必要と
される処理時間でデータ更新が終了するので、リモート
センターへのデータの格納に起因する時間遅れは発生し
ない。このため遠隔地間のディスクサブシステムに対し
てリモートコピーを行う場合、伝送時間等によるメイン
センターの業務への影響を回避することを最優先に考え
ると、同期型のリモートコピーよりも非同期型のリモー
トコピーの方が適していると言える。
【０００５】非同期型は、リモートセンターのディスク
サブシステムのデータがメインセンター側のデータに対
し常に一致しているわけではない。このためメインセン
ターが災害等により機能を失った場合は、リモートセン
ター側にデータの反映が完了していないデータが消失す
ることとなる。しかしメインセンター側のディスクサブ
システムのアクセス性能をリモートコピー機能を実施し
ない場合と同等レベルとすることができる。
サブシステムのデータがメインセンター側のデータに対
し常に一致しているわけではない。このためメインセン
ターが災害等により機能を失った場合は、リモートセン
ター側にデータの反映が完了していないデータが消失す
ることとなる。しかしメインセンター側のディスクサブ
システムのアクセス性能をリモートコピー機能を実施し
ない場合と同等レベルとすることができる。
【０００６】かかる従来技術では上位装置が介在してリ
モートコピーの機能を達成するため、種々の課題があっ
た。
モートコピーの機能を達成するため、種々の課題があっ
た。
【０００７】（１）データの一貫性保全について リモートコピーを行う場合、メインセンターのディスク
サブシステムとリモートセンターのディスクサブシステ
ム間は独立した通信リンクで接続される。つまりメイン
センターの複数のディスクサブシステムとリモートセン
ターの複数のディスクサブシステムの間でリモートコピ
ーを行う場合は、独立した通信リンクで接続されたディ
スクサブシステムの組が複数存在する構成となる。複数
のディスクサブシステムを有するメインセンターのバッ
クアップをリモートセンターで行う場合、複数のディス
クサブシステム間でデータの更新順序を保持する「一貫
性保全」という問題がある。非同期型リモートコピーで
はリモートセンターへの更新データの反映がメインセン
ターでの実際の更新処理の発生時点より遅れて処理され
ることはやむを得ない。しかし更新の順序はメインセン
ターと一致していなければならない。あるいは更新の順
序が常時一致していなくとも、少なくともユーザがリモ
ートセンターでデータを必要とする時点において一貫性
が保持されている状態のデータがリモートセンターに記
録されていなければならない。
サブシステムとリモートセンターのディスクサブシステ
ム間は独立した通信リンクで接続される。つまりメイン
センターの複数のディスクサブシステムとリモートセン
ターの複数のディスクサブシステムの間でリモートコピ
ーを行う場合は、独立した通信リンクで接続されたディ
スクサブシステムの組が複数存在する構成となる。複数
のディスクサブシステムを有するメインセンターのバッ
クアップをリモートセンターで行う場合、複数のディス
クサブシステム間でデータの更新順序を保持する「一貫
性保全」という問題がある。非同期型リモートコピーで
はリモートセンターへの更新データの反映がメインセン
ターでの実際の更新処理の発生時点より遅れて処理され
ることはやむを得ない。しかし更新の順序はメインセン
ターと一致していなければならない。あるいは更新の順
序が常時一致していなくとも、少なくともユーザがリモ
ートセンターでデータを必要とする時点において一貫性
が保持されている状態のデータがリモートセンターに記
録されていなければならない。
【０００８】一般にデータベースは、データベース本体
と、データ更新の履歴を記録する各種ログ情報および制
御情報から構成されており、データベース本体と各種ロ
グ情報および制御情報は、信頼性への配慮から異なるデ
ィスクサブシステムに記録されるようにシステム設計が
行われることが多い。ただしデータベース本体と各種ロ
グ情報および制御情報はそれぞれが関連性を持ってお
り、データ更新の際はデータベース本体に加え、これら
ログ情報、制御情報をも追加・更新し、システムの整合
性が保たれている。これら一連の更新が行われる時間間
隔は、短い場合には数マイクロ秒程度の間隔で順次実行
されることがある。仮に更新の順序が崩れた場合、更新
順序に関連するこれらの情報の整合性も崩れ、最悪の場
合には、データベース全体の破壊につながる可能性があ
る。
と、データ更新の履歴を記録する各種ログ情報および制
御情報から構成されており、データベース本体と各種ロ
グ情報および制御情報は、信頼性への配慮から異なるデ
ィスクサブシステムに記録されるようにシステム設計が
行われることが多い。ただしデータベース本体と各種ロ
グ情報および制御情報はそれぞれが関連性を持ってお
り、データ更新の際はデータベース本体に加え、これら
ログ情報、制御情報をも追加・更新し、システムの整合
性が保たれている。これら一連の更新が行われる時間間
隔は、短い場合には数マイクロ秒程度の間隔で順次実行
されることがある。仮に更新の順序が崩れた場合、更新
順序に関連するこれらの情報の整合性も崩れ、最悪の場
合には、データベース全体の破壊につながる可能性があ
る。
【０００９】例えばメインセンターではデータベースの
更新後にログ情報等の更新が行われたとしても、リモー
トコピーシステムを構成する上記の通信リンクの事情に
よっては更新されたログ情報等がデータベース本体の更
新情報よりも先にリモートセンターに到着する可能性が
ある。このためにリモートセンターではログ情報等がデ
ータベース本体よりも先に追加・更新されるといった状
況を生む可能性が潜んでいる。仮にログ情報等のみが追
加・更新され、それに関連するデータベース本体がまだ
更新されていない論理的に不整合な状態でメインセンタ
ーが被災した場合、リモートセンターのデータベース自
体が有用なものとなり得なくなる。このためメインセン
ターでデータが更新された順序と同じ順序でリモートセ
ンターにおいてもデータが更新されなければならないと
いう課題があった。
更新後にログ情報等の更新が行われたとしても、リモー
トコピーシステムを構成する上記の通信リンクの事情に
よっては更新されたログ情報等がデータベース本体の更
新情報よりも先にリモートセンターに到着する可能性が
ある。このためにリモートセンターではログ情報等がデ
ータベース本体よりも先に追加・更新されるといった状
況を生む可能性が潜んでいる。仮にログ情報等のみが追
加・更新され、それに関連するデータベース本体がまだ
更新されていない論理的に不整合な状態でメインセンタ
ーが被災した場合、リモートセンターのデータベース自
体が有用なものとなり得なくなる。このためメインセン
ターでデータが更新された順序と同じ順序でリモートセ
ンターにおいてもデータが更新されなければならないと
いう課題があった。
【００１０】（２）上位装置が介在するリモートコピー
機能について メインセンター及びリモートセンターに複数のディスク
サブシステムが存在する一般的な環境で非同期型のリモ
ートコピーを実現する場合には、メインセンターの上位
装置がディスクサブシステムへデータの更新を指示する
とき、タイムスタンプなどの更新順序に関する情報をデ
ータに付加し、このような時刻情報に基づいてリモート
センターの上位装置がそのディスクサブシステムの更新
データ反映処理を実行する技術が知られている。例えば
特開平６−２９０１２５号公報（米国特許第５４４６８
７１号）が挙げられる。特開平６−２９０１２５号公報
では、上位装置が介在してリモートコピー機能を実現し
ている。具体的にはメインセンター側の上位装置のオペ
レーティングシステムとディスクサブシステム、リモー
トセンター側の上位装置のデータムーバーソフトウェア
とディスクサブシステムの連携により、更新順序情報の
発行、送付およびこれに基づく更新データの反映処理を
実現している。
機能について メインセンター及びリモートセンターに複数のディスク
サブシステムが存在する一般的な環境で非同期型のリモ
ートコピーを実現する場合には、メインセンターの上位
装置がディスクサブシステムへデータの更新を指示する
とき、タイムスタンプなどの更新順序に関する情報をデ
ータに付加し、このような時刻情報に基づいてリモート
センターの上位装置がそのディスクサブシステムの更新
データ反映処理を実行する技術が知られている。例えば
特開平６−２９０１２５号公報（米国特許第５４４６８
７１号）が挙げられる。特開平６−２９０１２５号公報
では、上位装置が介在してリモートコピー機能を実現し
ている。具体的にはメインセンター側の上位装置のオペ
レーティングシステムとディスクサブシステム、リモー
トセンター側の上位装置のデータムーバーソフトウェア
とディスクサブシステムの連携により、更新順序情報の
発行、送付およびこれに基づく更新データの反映処理を
実現している。
【００１１】
【発明が解決しようとする課題】上記従来技術によれ
ば、メインセンターとリモートセンター間でデータの更
新順序性を保証しながら非同期型のリモートコピー機能
が実現できる。しかしこの技術は、上位装置とディスク
サブシステムの双方に非同期型リモートコピー機能を実
現するためのソフトウェアが必要であり、かつ両者が連
携しなければならない。専用の新規ソフトウェアの導入
が必要なため、ユーザはソフトウェアの導入、設定、検
査、ＣＰＵ負荷増加に伴うシステム設計の見直し等の作
業が発生する。このため従来技術の導入のためには所定
の期間を要し、費用が発生するという導入障壁があっ
た。またそもそも上位装置からタイムスタンプなどの更
新順序に関する情報がデータに付加されないシステム
や、複数のホストコンピュータの内部時計を合わせる機
構を備えていないシステム、特にオープンシステムにお
いてはその実現手段がないのが実情である。従って上位
装置のタイプや上位ソフトウェアに係わらず、ディスク
サブシステムの機能のみで非同期型のリモートコピー機
能を実現するためには、ディスクサブシステムの機能の
みでデータの更新順序の整合性を保持する必要がある。
更新順序の整合性が必要なデータが複数のディスクサブ
システムに分散されて格納されている場合、複数のディ
スクサブシステム間で更新順序の整合性を保持するため
の手段がないという課題もあった。
ば、メインセンターとリモートセンター間でデータの更
新順序性を保証しながら非同期型のリモートコピー機能
が実現できる。しかしこの技術は、上位装置とディスク
サブシステムの双方に非同期型リモートコピー機能を実
現するためのソフトウェアが必要であり、かつ両者が連
携しなければならない。専用の新規ソフトウェアの導入
が必要なため、ユーザはソフトウェアの導入、設定、検
査、ＣＰＵ負荷増加に伴うシステム設計の見直し等の作
業が発生する。このため従来技術の導入のためには所定
の期間を要し、費用が発生するという導入障壁があっ
た。またそもそも上位装置からタイムスタンプなどの更
新順序に関する情報がデータに付加されないシステム
や、複数のホストコンピュータの内部時計を合わせる機
構を備えていないシステム、特にオープンシステムにお
いてはその実現手段がないのが実情である。従って上位
装置のタイプや上位ソフトウェアに係わらず、ディスク
サブシステムの機能のみで非同期型のリモートコピー機
能を実現するためには、ディスクサブシステムの機能の
みでデータの更新順序の整合性を保持する必要がある。
更新順序の整合性が必要なデータが複数のディスクサブ
システムに分散されて格納されている場合、複数のディ
スクサブシステム間で更新順序の整合性を保持するため
の手段がないという課題もあった。
【００１２】本発明の目的は、上位装置に新規ソフトウ
ェアの導入を必要とせず、記憶サブシステムの機能のみ
でデータの整合性を保証し、導入が容易かつメインセン
ターのコンピュータの性能低下の少ない非同期型のリモ
ートコピー機能を実現することにある。
ェアの導入を必要とせず、記憶サブシステムの機能のみ
でデータの整合性を保証し、導入が容易かつメインセン
ターのコンピュータの性能低下の少ない非同期型のリモ
ートコピー機能を実現することにある。
【００１３】
【課題を解決するための手段】本発明は、複数の記憶サ
ブシステムから構成される第１の記憶サブシステム群
と、第１の記憶サブシステム群のデータのコピーを記憶
する複数の記憶サブシステムから構成される第２の記憶
サブシステム群とを有するシステムのデータ二重化方法
であって、第１の記憶サブシステム群に属する各記憶サ
ブシステムによってその記憶装置にデータ書き込みする
とともに、このデータに通番と時刻を付与し、伝送路を
介して第２の記憶サブシステム群に属する記憶サブシス
テムへ転送し、第２の記憶サブシステム群に属する各記
憶サブシステムによって受け取った複数のデータを通番
の順に配列し、第２の記憶サブシステム群に属する記憶
サブシステム間の通信によって各記憶サブシステムにつ
いてそれぞれ付与された最新の時刻の中で最古の時刻を
決定し、決定された最古の時刻以前の時刻が付与された
データを各記憶サブシステムの記憶装置へのデータ書き
込み対象とする記憶サブシステムのデータ二重化方法を
特徴とする。またこのような方法に従って機能するリモ
ートコピーシステムを特徴とする。
ブシステムから構成される第１の記憶サブシステム群
と、第１の記憶サブシステム群のデータのコピーを記憶
する複数の記憶サブシステムから構成される第２の記憶
サブシステム群とを有するシステムのデータ二重化方法
であって、第１の記憶サブシステム群に属する各記憶サ
ブシステムによってその記憶装置にデータ書き込みする
とともに、このデータに通番と時刻を付与し、伝送路を
介して第２の記憶サブシステム群に属する記憶サブシス
テムへ転送し、第２の記憶サブシステム群に属する各記
憶サブシステムによって受け取った複数のデータを通番
の順に配列し、第２の記憶サブシステム群に属する記憶
サブシステム間の通信によって各記憶サブシステムにつ
いてそれぞれ付与された最新の時刻の中で最古の時刻を
決定し、決定された最古の時刻以前の時刻が付与された
データを各記憶サブシステムの記憶装置へのデータ書き
込み対象とする記憶サブシステムのデータ二重化方法を
特徴とする。またこのような方法に従って機能するリモ
ートコピーシステムを特徴とする。
【００１４】
【発明の実施の形態】以下、図面を参照しながら本実施
形態のシステムについて説明する。
形態のシステムについて説明する。
【００１５】図１は、各々コンピュータを装備する２つ
のデータセンターの間でデータの二重化を行うシステム
の構成図である。メインセンター９側の複数台のディス
クサブシステム３−１、３−２、………３−ｎと、リモ
ートセンター１０側の複数台のディスクサブシステム７
−１、７−２、………７−ｎは、上位装置１，８を介さ
ずに互いに接続され、両センター間でデータの二重化を
行うリモートコピーシステムを実現している。上位装置
１，８を介さないディスクサブシステムの接続として
は、ここでは詳細に記述しないが例えばＳＡＮ（ストレ
ージ・エリア・ネットワーク：Storage Area Network）
を利用した接続が挙げられる。
のデータセンターの間でデータの二重化を行うシステム
の構成図である。メインセンター９側の複数台のディス
クサブシステム３−１、３−２、………３−ｎと、リモ
ートセンター１０側の複数台のディスクサブシステム７
−１、７−２、………７−ｎは、上位装置１，８を介さ
ずに互いに接続され、両センター間でデータの二重化を
行うリモートコピーシステムを実現している。上位装置
１，８を介さないディスクサブシステムの接続として
は、ここでは詳細に記述しないが例えばＳＡＮ（ストレ
ージ・エリア・ネットワーク：Storage Area Network）
を利用した接続が挙げられる。
【００１６】メインセンター９において、データ処理を
行う中央処理装置（ＣＰＵ）を持つ上位装置１は、イン
タフェースケーブル２を介してディスクサブシステム３
−１、３−２、………３−ｎに接続されている。
行う中央処理装置（ＣＰＵ）を持つ上位装置１は、イン
タフェースケーブル２を介してディスクサブシステム３
−１、３−２、………３−ｎに接続されている。
【００１７】ディスクサブシステム３−１は、インタフ
ェースケーブル４−１を介してリモートセンタのディス
クサブシステム７−１と接続され、ディスクサブシステ
ム３−２はインタフェースケーブル４−２を介してリモ
ートセンタのディスクサブシステム７−２と接続され、
同様にディスクサブシステム３−ｎはインタフェースケ
ーブル４−ｎを介してリモートセンタのディスクサブシ
ステム７−ｎと接続される構成をとる。以下ディスクサ
ブシステム３−１、３−２、………３−ｎのいずれか１
台あるいはディスクサブシステム７−１、７−２、……
…７−ｎのいずれか１台を指すときには、ディスクサブ
システム３あるいはディスクサブシステム７と呼ぶこと
がある。他の機構についても同様である。
ェースケーブル４−１を介してリモートセンタのディス
クサブシステム７−１と接続され、ディスクサブシステ
ム３−２はインタフェースケーブル４−２を介してリモ
ートセンタのディスクサブシステム７−２と接続され、
同様にディスクサブシステム３−ｎはインタフェースケ
ーブル４−ｎを介してリモートセンタのディスクサブシ
ステム７−ｎと接続される構成をとる。以下ディスクサ
ブシステム３−１、３−２、………３−ｎのいずれか１
台あるいはディスクサブシステム７−１、７−２、……
…７−ｎのいずれか１台を指すときには、ディスクサブ
システム３あるいはディスクサブシステム７と呼ぶこと
がある。他の機構についても同様である。
【００１８】なおセンター間を結ぶインタフェースケー
ブル４−１，４−２，………４−ｎには、ＬＥＤ駆動装
置によって駆動されている光ファイバリンクや、光ファ
イバケーブルを用いて一般にファイバチャネルと呼ばれ
るインタフェースプロトコルで駆動されているものが含
まれている。またＴ３ネットワークやＡＴＭネットワー
クに代表される電気通信リンクを含んでもよい。従って
メインセンター９のディスクサブシステム３と、リモー
トセンター１０のディスクサブシステム７の間には、途
中に一般のファイバチャネルスイッチを接続したり、Ｔ
３ネットワークやＳＯＮＥＴネットワーク及びＡＴＭネ
ットワーク等と接続することも可能である。図１では特
に図示しないが、本例ではこれらの接続形態が可能であ
る点も含めてインタフェースケーブル４と称する。
ブル４−１，４−２，………４−ｎには、ＬＥＤ駆動装
置によって駆動されている光ファイバリンクや、光ファ
イバケーブルを用いて一般にファイバチャネルと呼ばれ
るインタフェースプロトコルで駆動されているものが含
まれている。またＴ３ネットワークやＡＴＭネットワー
クに代表される電気通信リンクを含んでもよい。従って
メインセンター９のディスクサブシステム３と、リモー
トセンター１０のディスクサブシステム７の間には、途
中に一般のファイバチャネルスイッチを接続したり、Ｔ
３ネットワークやＳＯＮＥＴネットワーク及びＡＴＭネ
ットワーク等と接続することも可能である。図１では特
に図示しないが、本例ではこれらの接続形態が可能であ
る点も含めてインタフェースケーブル４と称する。
【００１９】リモートコピーの対象となるデータが格納
されるリモートセンター１０内の任意のディスクサブシ
ステム７−１，７−２，７−ｎは、同センター内に存在
しリモートコピーの対象となるデータが格納される他の
一台のディスクサブシステムとインタフェースケーブル
５を介して接続される。本実施形態では、ディスクサブ
システム７−１はディスクサブシステム７−２と、ディ
スクサブシステム７−２はディスクサブシステム７−３
と、ディスクサブシステム７−ｎはディスクサブシステ
ム７−１といった様にディスクサブシステム７が順次接
続されるループ構成をとる。
されるリモートセンター１０内の任意のディスクサブシ
ステム７−１，７−２，７−ｎは、同センター内に存在
しリモートコピーの対象となるデータが格納される他の
一台のディスクサブシステムとインタフェースケーブル
５を介して接続される。本実施形態では、ディスクサブ
システム７−１はディスクサブシステム７−２と、ディ
スクサブシステム７−２はディスクサブシステム７−３
と、ディスクサブシステム７−ｎはディスクサブシステ
ム７−１といった様にディスクサブシステム７が順次接
続されるループ構成をとる。
【００２０】上位装置８は、リモートセンター１０にお
いてディスクサブシステム７−１、７−２、………７−
ｎとインタフェースケーブル６によって接続され、ディ
スクサブシステム７−１、７−２、………７−ｎに対
し、参照及び更新を行う中央処理装置である。上位装置
８は、メインセンター９の上位装置１が災害や故障等に
より本来の機能を果たせなくなった場合に、上位装置１
の代替となって処理を行うことができる。このほかディ
スクサブシステム７−１、７−２、………７−ｎに格納
されているデータを使用して、メインセンター９の上位
装置１とは異なる処理を上位装置１とは独立に実行する
ことができる。ただし上位装置８がディスクサブシステ
ム７−１、７−２、………７−ｎに対し処理を行わない
場合には上位装置８は不要である。
いてディスクサブシステム７−１、７−２、………７−
ｎとインタフェースケーブル６によって接続され、ディ
スクサブシステム７−１、７−２、………７−ｎに対
し、参照及び更新を行う中央処理装置である。上位装置
８は、メインセンター９の上位装置１が災害や故障等に
より本来の機能を果たせなくなった場合に、上位装置１
の代替となって処理を行うことができる。このほかディ
スクサブシステム７−１、７−２、………７−ｎに格納
されているデータを使用して、メインセンター９の上位
装置１とは異なる処理を上位装置１とは独立に実行する
ことができる。ただし上位装置８がディスクサブシステ
ム７−１、７−２、………７−ｎに対し処理を行わない
場合には上位装置８は不要である。
【００２１】図１に示すシステム構成は、上位装置１か
ら複数台のディスクサブシステム３−１、３−２、……
…３−ｎに対しデータの書込み指示があった場合に、リ
モートセンター１０内の複数台のディスクサブシステム
７−１、７−２、………７−ｎにも同じデータがメイン
センター９の処理とデータ更新の一貫性を保って格納さ
れるシステム構成を示している。図１の矢印は、上位装
置１から書込み指示のあったデータの流れを示してい
る。
ら複数台のディスクサブシステム３−１、３−２、……
…３−ｎに対しデータの書込み指示があった場合に、リ
モートセンター１０内の複数台のディスクサブシステム
７−１、７−２、………７−ｎにも同じデータがメイン
センター９の処理とデータ更新の一貫性を保って格納さ
れるシステム構成を示している。図１の矢印は、上位装
置１から書込み指示のあったデータの流れを示してい
る。
【００２２】図２は、ディスクサブシステム３及びディ
スクサブシステム７の内部構成を示す図である。ディス
クサブシステム３は、上位装置１から転送されたコマン
ド、データなどを授受したり、他のディスクサブシステ
ム７と接続するためのインタフェース制御部１１、上位
装置１から参照又は更新されるデータを格納するキャッ
シュメモリ１２、このデータを記録する記録媒体として
の磁気ディスクドライブ１３、このデータの管理情報、
リモートコピーの状態情報、時刻情報などを格納する制
御メモリ１４、およびこれらの各要素を制御するディス
クサブシステム制御部１７を備える。ディスクサブシス
テム制御部１７は、マイクロプロセッサ使用のプログラ
ム制御によって動作する。
スクサブシステム７の内部構成を示す図である。ディス
クサブシステム３は、上位装置１から転送されたコマン
ド、データなどを授受したり、他のディスクサブシステ
ム７と接続するためのインタフェース制御部１１、上位
装置１から参照又は更新されるデータを格納するキャッ
シュメモリ１２、このデータを記録する記録媒体として
の磁気ディスクドライブ１３、このデータの管理情報、
リモートコピーの状態情報、時刻情報などを格納する制
御メモリ１４、およびこれらの各要素を制御するディス
クサブシステム制御部１７を備える。ディスクサブシス
テム制御部１７は、マイクロプロセッサ使用のプログラ
ム制御によって動作する。
【００２３】ディスクサブシステム７も同様の内部構成
を有する。なおディスクサブシステム３とディスクサブ
システム７とが同一の内部構成と機能を有するディスク
サブシステムとし、そのディスクサブシステムがローカ
ルモードのときディスクサブシステム３として動作し、
リモートモードのときディスクサブシステム７として動
作するようにしてもよい。ローカルモード及びリモート
モードのとき各々動作する機能については、以下に説明
される通りである。また一般に磁気ディスクドライブ１
３に相当する部分が磁気ディスク以外の記憶装置であ
り、ディスクサブシステム３及び７が広く記憶サブシス
テムと呼ばれるものであってもよい。
を有する。なおディスクサブシステム３とディスクサブ
システム７とが同一の内部構成と機能を有するディスク
サブシステムとし、そのディスクサブシステムがローカ
ルモードのときディスクサブシステム３として動作し、
リモートモードのときディスクサブシステム７として動
作するようにしてもよい。ローカルモード及びリモート
モードのとき各々動作する機能については、以下に説明
される通りである。また一般に磁気ディスクドライブ１
３に相当する部分が磁気ディスク以外の記憶装置であ
り、ディスクサブシステム３及び７が広く記憶サブシス
テムと呼ばれるものであってもよい。
【００２４】また、ディスクサブシステム３は、各々時
計１５と時計補正部１６を備えている。時計補正部１６
は、各ディスクサブシステム３の装置筐体内もしくは各
ディスクサブシステムとは別の位置で十分近くに存在す
るタイムサーバが配信する時刻情報をもとに時計１５の
補正を随時行い、タイムサーバが配信する時刻と各ディ
スクサブシステム３が保有する時計１５の時刻との誤差
を数マイクロ秒程度の範囲内におさめている。ここでタ
イムサーバとは、ＧＰＳや電波時計等の様に時刻情報が
含まれた電波を受信する機能と、受信した時刻情報を各
ディスクサブシステム３に伝達配信する機能を持つもの
を指す。なお電波受信機能がなくともタイムサーバ自身
で時刻を生成する機能と時刻を各ディスクサブシステム
に伝達配信する機能を有しているものであっても良い。
またディスクサブシステム３のうちの１台がタイムサー
バの機能を保有したものであれば、独立したタイムサー
バは不要である。図２に示すタイムサーバ２０は、ディ
スクサブシステム３の十分近くに存在し、人工衛星より
時刻が含まれた情報を受信するＧＰＳ受信部２１と、受
信した情報から時刻を求める機構と、情報を受信できな
い場合にも自身で継続して時刻を生成できる機構と、デ
ィスクサブシステム３に時刻を配信する時刻配信部２２
を有する。
計１５と時計補正部１６を備えている。時計補正部１６
は、各ディスクサブシステム３の装置筐体内もしくは各
ディスクサブシステムとは別の位置で十分近くに存在す
るタイムサーバが配信する時刻情報をもとに時計１５の
補正を随時行い、タイムサーバが配信する時刻と各ディ
スクサブシステム３が保有する時計１５の時刻との誤差
を数マイクロ秒程度の範囲内におさめている。ここでタ
イムサーバとは、ＧＰＳや電波時計等の様に時刻情報が
含まれた電波を受信する機能と、受信した時刻情報を各
ディスクサブシステム３に伝達配信する機能を持つもの
を指す。なお電波受信機能がなくともタイムサーバ自身
で時刻を生成する機能と時刻を各ディスクサブシステム
に伝達配信する機能を有しているものであっても良い。
またディスクサブシステム３のうちの１台がタイムサー
バの機能を保有したものであれば、独立したタイムサー
バは不要である。図２に示すタイムサーバ２０は、ディ
スクサブシステム３の十分近くに存在し、人工衛星より
時刻が含まれた情報を受信するＧＰＳ受信部２１と、受
信した情報から時刻を求める機構と、情報を受信できな
い場合にも自身で継続して時刻を生成できる機構と、デ
ィスクサブシステム３に時刻を配信する時刻配信部２２
を有する。
【００２５】一般にホストコンピュータと呼ばれる上位
装置１がディスクサブシステム３に対し実行する更新処
理の頻度は、各々のシステムによって異なるが、高頻度
と言われる場合はマイクロ秒程度の間隔で次々と更新処
理が実行されることがある。つまり各ディスクサブシス
テム３の時計１５をマイクロ秒程度の精度の範囲まで正
確な時刻に一致させる理由は、マイクロ秒程度の間隔で
次々と実行される更新処理の場合も、その更新処理時刻
の差異をディスクサブシステム３が確実に把握できるよ
うにし、更新処理時刻をもとに当該データの更新処理順
序を把握できるようにするためである。もしホストコン
ピュータがディスクサブシステム３に対し実行する更新
処理の頻度がマイクロ秒程度の間隔よりもさらに短い時
間間隔であれば、各ディスクサブシステム３の保有する
時計１５も当該時間間隔以下の時間単位で時刻を一致さ
せる必要がある。
装置１がディスクサブシステム３に対し実行する更新処
理の頻度は、各々のシステムによって異なるが、高頻度
と言われる場合はマイクロ秒程度の間隔で次々と更新処
理が実行されることがある。つまり各ディスクサブシス
テム３の時計１５をマイクロ秒程度の精度の範囲まで正
確な時刻に一致させる理由は、マイクロ秒程度の間隔で
次々と実行される更新処理の場合も、その更新処理時刻
の差異をディスクサブシステム３が確実に把握できるよ
うにし、更新処理時刻をもとに当該データの更新処理順
序を把握できるようにするためである。もしホストコン
ピュータがディスクサブシステム３に対し実行する更新
処理の頻度がマイクロ秒程度の間隔よりもさらに短い時
間間隔であれば、各ディスクサブシステム３の保有する
時計１５も当該時間間隔以下の時間単位で時刻を一致さ
せる必要がある。
【００２６】図３は、ディスクサブシステム３とディス
クサブシステム７に亘ってデータの二重化をする処理の
手順を示す図である。なお以下の処理をする前の初期条
件として、ディスクサブシステム３とディスクサブシス
テム７との間でそれ以前のデータ追加・更新の結果が反
映され、データの二重化が完了しているものとする。上
位装置１がディスクサブシステム３にデータの書込要求
（以下、ライトコマンドという）を発行する（ステップ
３１）。ディスクサブシステム３がインタフェース制御
部１１を介してこのライトコマンドを受領すると、ディ
スクサブシステム３のディスクサブシステム制御部１７
は、そのライトコマンドに基づき処理を開始する。ここ
でライトコマンドとは、データをキャッシュメモリ１２
に書き込むための指示と書き込みデータそのものとを転
送するコマンドを指す。ディスクサブシステム３のディ
スクサブシステム制御部１７は、ライトコマンドを受領
した時刻を時計１５から取得し（ステップ３２）、キャ
ッシュメモリ１２にデータを格納し（ステップ３３）、
制御メモリ１４にデータの管理情報を格納する（ステッ
プ３４）。この管理情報には、磁気ディスクドライブ１
３へのデータ書き込み先のアドレス情報、当該データの
ライトコマンド受領時刻、ライトコマンド受領通番およ
びキャッシュメモリ１２上のデータへのポインタが含ま
れる。ここでライトコマンド受領通番は、当該ディスク
サブシステム３が受領したライトコマンドについて付与
した一連の番号である。この後、受領したライトコマン
ドに対する処理の完了を上位装置１に報告する（ステッ
プ３５）。キャッシュメモリ１２に格納したデータは後
に磁気ディスクドライブ１３に記録されるが、これは従
来の技術であるため、本例では詳細に記述しない。
クサブシステム７に亘ってデータの二重化をする処理の
手順を示す図である。なお以下の処理をする前の初期条
件として、ディスクサブシステム３とディスクサブシス
テム７との間でそれ以前のデータ追加・更新の結果が反
映され、データの二重化が完了しているものとする。上
位装置１がディスクサブシステム３にデータの書込要求
（以下、ライトコマンドという）を発行する（ステップ
３１）。ディスクサブシステム３がインタフェース制御
部１１を介してこのライトコマンドを受領すると、ディ
スクサブシステム３のディスクサブシステム制御部１７
は、そのライトコマンドに基づき処理を開始する。ここ
でライトコマンドとは、データをキャッシュメモリ１２
に書き込むための指示と書き込みデータそのものとを転
送するコマンドを指す。ディスクサブシステム３のディ
スクサブシステム制御部１７は、ライトコマンドを受領
した時刻を時計１５から取得し（ステップ３２）、キャ
ッシュメモリ１２にデータを格納し（ステップ３３）、
制御メモリ１４にデータの管理情報を格納する（ステッ
プ３４）。この管理情報には、磁気ディスクドライブ１
３へのデータ書き込み先のアドレス情報、当該データの
ライトコマンド受領時刻、ライトコマンド受領通番およ
びキャッシュメモリ１２上のデータへのポインタが含ま
れる。ここでライトコマンド受領通番は、当該ディスク
サブシステム３が受領したライトコマンドについて付与
した一連の番号である。この後、受領したライトコマン
ドに対する処理の完了を上位装置１に報告する（ステッ
プ３５）。キャッシュメモリ１２に格納したデータは後
に磁気ディスクドライブ１３に記録されるが、これは従
来の技術であるため、本例では詳細に記述しない。
【００２７】ディスクサブシステム制御部１７は、制御
メモリ１４上の制御ビットを参照し、リモートコピーが
停止状態でなければ（ステップ３６Ｎｏ）、上位装置１
からのライトコマンドに対する処理とは非同期に、イン
タフェース制御部１１及びインタフェースケーブル４を
介して、接続されているディスクサブシステム７に対し
ライトコマンドを発行する（ステップ３７）。ここでラ
イトコマンドとは、上位装置１から受領したライトコマ
ンドと同様に当該データを書き込む為の指示と書き込み
データそのものとを転送するコマンドを含むが、さらに
当該データのデータ受領時刻とデータ受領通番も含まれ
る。またリモートコピーが停止状態の場合には（ステッ
プ３６Ｙｅｓ）、磁気ディスクドライブ１３へのデータ
書き込み先のアドレス情報を自ディスクサブシステム３
内の制御メモリ１４に格納し（ステップ３８）、リモー
トコピーが正常状態に戻った後に相手ディスクサブシス
テム７にライトコマンドを発行する。
メモリ１４上の制御ビットを参照し、リモートコピーが
停止状態でなければ（ステップ３６Ｎｏ）、上位装置１
からのライトコマンドに対する処理とは非同期に、イン
タフェース制御部１１及びインタフェースケーブル４を
介して、接続されているディスクサブシステム７に対し
ライトコマンドを発行する（ステップ３７）。ここでラ
イトコマンドとは、上位装置１から受領したライトコマ
ンドと同様に当該データを書き込む為の指示と書き込み
データそのものとを転送するコマンドを含むが、さらに
当該データのデータ受領時刻とデータ受領通番も含まれ
る。またリモートコピーが停止状態の場合には（ステッ
プ３６Ｙｅｓ）、磁気ディスクドライブ１３へのデータ
書き込み先のアドレス情報を自ディスクサブシステム３
内の制御メモリ１４に格納し（ステップ３８）、リモー
トコピーが正常状態に戻った後に相手ディスクサブシス
テム７にライトコマンドを発行する。
【００２８】ディスクサブシステム７は、インタフェー
ス制御部１１を介してディスクサブシステム３から発行
されたライトコマンドを受領する（ステップ４１）。ラ
イトコマンドには、データの他に当該データをメインセ
ンターのディスクサブシステムが受領した時刻と、当該
データをメインセンターのディスクサブシステムが受領
した通番が含まれている。ディスクサブシステム７は、
受領したライトコマンドをもとに処理を開始する。ディ
スクサブシステム７のディスクサブシステム制御部１７
は、受領したライトコマンドをデータ受領通番の順に並
べ替えて、通番の抜け、すなわちライトコマンドの抜け
がないかどうかチェックする。その後、受領したデータ
を「仮のデータ」としてキャッシュメモリ１２に格納
し、制御メモリ１４にデータの管理情報を格納し、相手
ディスクサブシステム３へデータ受領の完了報告を行う
（ステップ４２）。
ス制御部１１を介してディスクサブシステム３から発行
されたライトコマンドを受領する（ステップ４１）。ラ
イトコマンドには、データの他に当該データをメインセ
ンターのディスクサブシステムが受領した時刻と、当該
データをメインセンターのディスクサブシステムが受領
した通番が含まれている。ディスクサブシステム７は、
受領したライトコマンドをもとに処理を開始する。ディ
スクサブシステム７のディスクサブシステム制御部１７
は、受領したライトコマンドをデータ受領通番の順に並
べ替えて、通番の抜け、すなわちライトコマンドの抜け
がないかどうかチェックする。その後、受領したデータ
を「仮のデータ」としてキャッシュメモリ１２に格納
し、制御メモリ１４にデータの管理情報を格納し、相手
ディスクサブシステム３へデータ受領の完了報告を行う
（ステップ４２）。
【００２９】次にディスクサブシステム７のディスクサ
ブシステム制御部１７は、受領したライトコマンドに含
まれる時刻に基づいてデータの中から正当化時刻を決め
るための候補を選定し、他のディスクサブシステム７と
協同して正当化時刻候補の裁定を行う（ステップ４
３）。正当化時刻候補の裁定については後述する。この
ようにして正当化時刻が決まったとき、その時刻以前の
受領時刻をもつデータを「正式なデータ」としてキャッ
シュメモリ１２に格納する（ステップ４４）。キャッシ
ュメモリ１２に格納されたデータは後に磁気ディスクド
ライブ１３に記録される。
ブシステム制御部１７は、受領したライトコマンドに含
まれる時刻に基づいてデータの中から正当化時刻を決め
るための候補を選定し、他のディスクサブシステム７と
協同して正当化時刻候補の裁定を行う（ステップ４
３）。正当化時刻候補の裁定については後述する。この
ようにして正当化時刻が決まったとき、その時刻以前の
受領時刻をもつデータを「正式なデータ」としてキャッ
シュメモリ１２に格納する（ステップ４４）。キャッシ
ュメモリ１２に格納されたデータは後に磁気ディスクド
ライブ１３に記録される。
【００３０】図４は、受領時刻と受領通番の付加された
データがリモートコピーされるまでのデータの流れを例
によって説明する図である。上位装置１に５つの書き込
みデータＤ１，Ｄ２，Ｄ３，Ｄ４及びＤ５がこの順に発
生し、ディスクサブシステム３−１及びディスクサブシ
ステム３−２に順次ライトコマンドを発行したものとす
る。ディスクサブシステム３−１は、データＤ１，Ｄ３
及びＤ５を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ
１，Ｓ２／Ｔ３及びＳ３／Ｔ５を付与するものとする。
一方ディスクサブシステム３−２は、データＤ２及びＤ
４を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ２及び
Ｓ２／Ｔ４を付与する。ディスクサブシステム３−１
は、受領したデータをその通番順にキャッシュメモリ１
２に格納した後に、各データについてディスクサブシス
テム７−１にライトコマンドを発行する。一方ディスク
サブシステム３−２も受領したデータをその通番順にキ
ャッシュメモリ１２に格納した後に、各データについて
ディスクサブシステム７−２にライトコマンドを発行す
る。
データがリモートコピーされるまでのデータの流れを例
によって説明する図である。上位装置１に５つの書き込
みデータＤ１，Ｄ２，Ｄ３，Ｄ４及びＤ５がこの順に発
生し、ディスクサブシステム３−１及びディスクサブシ
ステム３−２に順次ライトコマンドを発行したものとす
る。ディスクサブシステム３−１は、データＤ１，Ｄ３
及びＤ５を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ
１，Ｓ２／Ｔ３及びＳ３／Ｔ５を付与するものとする。
一方ディスクサブシステム３−２は、データＤ２及びＤ
４を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ２及び
Ｓ２／Ｔ４を付与する。ディスクサブシステム３−１
は、受領したデータをその通番順にキャッシュメモリ１
２に格納した後に、各データについてディスクサブシス
テム７−１にライトコマンドを発行する。一方ディスク
サブシステム３−２も受領したデータをその通番順にキ
ャッシュメモリ１２に格納した後に、各データについて
ディスクサブシステム７−２にライトコマンドを発行す
る。
【００３１】ディスクサブシステム７−１は、受領通番
と受領時刻が付与されたデータを受領し、「仮のデー
タ」としてキャッシュメモリ１２に格納する。またディ
スクサブシステム７−２も受領通番と受領時刻が付与さ
れたデータを受領し、「仮のデータ」としてキャッシュ
メモリ１２に格納する。次にディスクサブシステム７−
１が受領したデータの中で最新のデータＤ５とディスク
サブシステム７−２が受領した最新のデータＤ４につい
て、ディスクサブシステム７−１，ディスクサブシステ
ム７−２間で両者の時刻を比較する。ここでデータＤ５
及びＤ４を正当化時刻候補という。この例ではＤ４に付
与された時刻Ｔ４がＤ５に付与された時刻Ｔ５より古い
と判定されるので、データＤ４に付与された時刻Ｔ４が
正当化時刻として決定され、それ以前の時刻が付与され
たデータＤ２及びＤ４が「正式のデータ」としてそのキ
ャッシュメモリ１２に反映される。また時刻Ｔ４以前の
時刻が付与されたデータＤ１及びＤ３が「正式のデー
タ」としてそのキャッシュメモリ１２に反映される。
と受領時刻が付与されたデータを受領し、「仮のデー
タ」としてキャッシュメモリ１２に格納する。またディ
スクサブシステム７−２も受領通番と受領時刻が付与さ
れたデータを受領し、「仮のデータ」としてキャッシュ
メモリ１２に格納する。次にディスクサブシステム７−
１が受領したデータの中で最新のデータＤ５とディスク
サブシステム７−２が受領した最新のデータＤ４につい
て、ディスクサブシステム７−１，ディスクサブシステ
ム７−２間で両者の時刻を比較する。ここでデータＤ５
及びＤ４を正当化時刻候補という。この例ではＤ４に付
与された時刻Ｔ４がＤ５に付与された時刻Ｔ５より古い
と判定されるので、データＤ４に付与された時刻Ｔ４が
正当化時刻として決定され、それ以前の時刻が付与され
たデータＤ２及びＤ４が「正式のデータ」としてそのキ
ャッシュメモリ１２に反映される。また時刻Ｔ４以前の
時刻が付与されたデータＤ１及びＤ３が「正式のデー
タ」としてそのキャッシュメモリ１２に反映される。
【００３２】上記の処理の結果としてデータＤ５が「仮
のデータ」のまま残ることになり、少なくともデータＤ
５はデータＤ４より後にそのキャッシュメモリ１２に反
映される。このようにデータＤ４とＤ５の更新の順序性
が守られることによって、障害によってリモートコピー
が中断したときにデータ回復とリモートコピー再開が可
能となる。これに反してデータＤ４より先にデータＤ５
が更新し反映された後に障害が生じたとすれば、一般に
データが消失する可能性が生じ、データ回復とリモート
コピー再開が困難となる。一方付与された時刻が正当化
されたディスクサブシステム７−１のデータＤ１とＤ３
及びディスクサブシステム７−２のデータＤ２とＤ４の
更新の順序は、ディスクサブシステム３−１のデータＤ
１とＤ３及びディスクサブシステム３−２のデータＤ２
とＤ４の更新の順序通りとなり、更新の順序性が守られ
ることになる。
のデータ」のまま残ることになり、少なくともデータＤ
５はデータＤ４より後にそのキャッシュメモリ１２に反
映される。このようにデータＤ４とＤ５の更新の順序性
が守られることによって、障害によってリモートコピー
が中断したときにデータ回復とリモートコピー再開が可
能となる。これに反してデータＤ４より先にデータＤ５
が更新し反映された後に障害が生じたとすれば、一般に
データが消失する可能性が生じ、データ回復とリモート
コピー再開が困難となる。一方付与された時刻が正当化
されたディスクサブシステム７−１のデータＤ１とＤ３
及びディスクサブシステム７−２のデータＤ２とＤ４の
更新の順序は、ディスクサブシステム３−１のデータＤ
１とＤ３及びディスクサブシステム３−２のデータＤ２
とＤ４の更新の順序通りとなり、更新の順序性が守られ
ることになる。
【００３３】以上述べたように受領通番は１台のディス
クサブシステム３内の更新の順序、従って１台のディス
クサブシステム７内の更新の順序を示す番号である。そ
してこの受領通番はデータ抜けのチェックのためにも使
用される。これに対して受領時刻は複数のディスクサブ
システム３に亘る更新の順序を示す数値であり、複数の
ディスクサブシステム７に亘る正当化時刻の裁定のため
に使用される。
クサブシステム３内の更新の順序、従って１台のディス
クサブシステム７内の更新の順序を示す番号である。そ
してこの受領通番はデータ抜けのチェックのためにも使
用される。これに対して受領時刻は複数のディスクサブ
システム３に亘る更新の順序を示す数値であり、複数の
ディスクサブシステム７に亘る正当化時刻の裁定のため
に使用される。
【００３４】図５は、正当化時刻の裁定に関するディス
クサブシステム７の処理の手順を示す図である。正当化
時刻候補の裁定要求を発行するディスクサブシステム７
のディスクサブシステム制御部１７は、自装置における
正当化時刻候補を選定する（ステップ５１）。すなわち
データ受領の通番の順に並んだライトコマンドの中で最
新の受領時刻が付与されたライトコマンドを選定する。
次にインタフェースケーブル５によって接続された隣の
ディスクサブシステム７に選定された正当化時刻候補の
裁定を要求するコマンドを発行する（ステップ５２）。
このコマンドは裁定要求を示すリクエスト、正当化時刻
候補に付与された時刻及び当該ディスクサブシステム７
の製造装置番号（製番）を含む。またこのとき裁定を要
求した時刻を自己の制御メモリ１４内に記憶する。
クサブシステム７の処理の手順を示す図である。正当化
時刻候補の裁定要求を発行するディスクサブシステム７
のディスクサブシステム制御部１７は、自装置における
正当化時刻候補を選定する（ステップ５１）。すなわち
データ受領の通番の順に並んだライトコマンドの中で最
新の受領時刻が付与されたライトコマンドを選定する。
次にインタフェースケーブル５によって接続された隣の
ディスクサブシステム７に選定された正当化時刻候補の
裁定を要求するコマンドを発行する（ステップ５２）。
このコマンドは裁定要求を示すリクエスト、正当化時刻
候補に付与された時刻及び当該ディスクサブシステム７
の製造装置番号（製番）を含む。またこのとき裁定を要
求した時刻を自己の制御メモリ１４内に記憶する。
【００３５】隣のディスクサブシステム７は、このコマ
ンドを受け取り、コマンド中の製番は自装置の製番に一
致するか否か判定する（ステップ５３）。自装置の製番
でなければ（ステップ５３Ｎｏ）、上記の処理によって
自装置における正当化時刻候補を選定する（ステップ５
４）。次に受領した正当化時刻候補の時刻と自装置の正
当化時刻候補の時刻とを比較判定する（ステップ５
５）。自装置の時刻の方が古ければ（ステップ５５Ｙｅ
ｓ）、裁定対象の正当化時刻候補の時刻と製番を自装置
の正当化時刻候補の時刻と製番によつて置き換える（ス
テップ５６）。自装置の時刻の方が新しければ（ステッ
プ５５Ｎｏ）、ステップ５７へ行く。次に自装置の内容
に入れ替えしたもの又は受領したそのままの正当化時刻
候補の裁定を要求するコマンドをインタフェースケーブ
ル５によって接続された隣のディスクサブシステム７に
送信する（ステップ５７）。またこのとき裁定を要求し
た時刻を自己の制御メモリ１４内に記憶する。ステップ
５７の処理の後にステップ５３に戻る。
ンドを受け取り、コマンド中の製番は自装置の製番に一
致するか否か判定する（ステップ５３）。自装置の製番
でなければ（ステップ５３Ｎｏ）、上記の処理によって
自装置における正当化時刻候補を選定する（ステップ５
４）。次に受領した正当化時刻候補の時刻と自装置の正
当化時刻候補の時刻とを比較判定する（ステップ５
５）。自装置の時刻の方が古ければ（ステップ５５Ｙｅ
ｓ）、裁定対象の正当化時刻候補の時刻と製番を自装置
の正当化時刻候補の時刻と製番によつて置き換える（ス
テップ５６）。自装置の時刻の方が新しければ（ステッ
プ５５Ｎｏ）、ステップ５７へ行く。次に自装置の内容
に入れ替えしたもの又は受領したそのままの正当化時刻
候補の裁定を要求するコマンドをインタフェースケーブ
ル５によって接続された隣のディスクサブシステム７に
送信する（ステップ５７）。またこのとき裁定を要求し
た時刻を自己の制御メモリ１４内に記憶する。ステップ
５７の処理の後にステップ５３に戻る。
【００３６】裁定要求コマンドを受け取り、コマンド中
の製番が自装置の製番に一致したとき（ステップ５３Ｙ
ｅｓ）、裁定要求した正当化時刻候補を正当化時刻に決
定する（ステップ５８）。すなわちディスクサブシステ
ム７の各々の装置で正当化時刻候補が選定されるが、そ
の中で最も古い時刻が正当化時刻として決定される。
の製番が自装置の製番に一致したとき（ステップ５３Ｙ
ｅｓ）、裁定要求した正当化時刻候補を正当化時刻に決
定する（ステップ５８）。すなわちディスクサブシステ
ム７の各々の装置で正当化時刻候補が選定されるが、そ
の中で最も古い時刻が正当化時刻として決定される。
【００３７】図６は、正当化時刻の通知に関するディス
クサブシステム７の処理の手順を示す図である。正当化
時刻を決定したディスクサブシステム７は、正当化時刻
以前の時刻が付与されたデータを「正式なデータ」とし
てキャッシュメモリ１２に格納する（ステップ６１）。
次に隣のディスクサブシステム７に決定した正当化時刻
を通知するコマンドを発行する（ステップ６２）。この
コマンドは正当化時刻通知を示すリクエスト、決定され
た正当化時刻及び当該ディスクサブシステム７の製番を
含む。またこのとき通知コマンドを発行した時刻を自己
の制御メモリ１４内に記憶する。
クサブシステム７の処理の手順を示す図である。正当化
時刻を決定したディスクサブシステム７は、正当化時刻
以前の時刻が付与されたデータを「正式なデータ」とし
てキャッシュメモリ１２に格納する（ステップ６１）。
次に隣のディスクサブシステム７に決定した正当化時刻
を通知するコマンドを発行する（ステップ６２）。この
コマンドは正当化時刻通知を示すリクエスト、決定され
た正当化時刻及び当該ディスクサブシステム７の製番を
含む。またこのとき通知コマンドを発行した時刻を自己
の制御メモリ１４内に記憶する。
【００３８】隣のディスクサブシステム７は、このコマ
ンドを受け取り、コマンド中の製番は自装置の製番に一
致するか否か判定する（ステップ６３）。自装置の製番
でなければ（ステップ６３Ｎｏ）、ディスクサブシステ
ム３から受け取った正当化時刻以前の時刻が付与された
データを「正式のデータ」としてキャッシュメモリ１２
に格納する（ステップ６４）。次に隣のディスクサブシ
ステム７に受領したコマンドをそのまま送信することに
よって正当化時刻を通知し（ステップ６５）、ステップ
６３に戻る。
ンドを受け取り、コマンド中の製番は自装置の製番に一
致するか否か判定する（ステップ６３）。自装置の製番
でなければ（ステップ６３Ｎｏ）、ディスクサブシステ
ム３から受け取った正当化時刻以前の時刻が付与された
データを「正式のデータ」としてキャッシュメモリ１２
に格納する（ステップ６４）。次に隣のディスクサブシ
ステム７に受領したコマンドをそのまま送信することに
よって正当化時刻を通知し（ステップ６５）、ステップ
６３に戻る。
【００３９】正当化時刻通知のコマンドを受け取り、コ
マンド中の製番が自装置の製番に一致したとき（ステッ
プ６３Ｙｅｓ）、正当化時刻以前の時刻が付与されたデ
ータについて、不要になった製番等の情報を制御メモリ
１４から消去する（ステップ６６）。以上の処理の結果
として、複数のディスクサブシステム７に亘って正当化
時刻以前の時刻が付与されたライトコマンドはすべて各
ディスクサブシステム７内のデータ更新に反映され、正
当化時刻より後の新しいライトコマンドが次の正当化時
刻候補の選定対象として残されることになる。
マンド中の製番が自装置の製番に一致したとき（ステッ
プ６３Ｙｅｓ）、正当化時刻以前の時刻が付与されたデ
ータについて、不要になった製番等の情報を制御メモリ
１４から消去する（ステップ６６）。以上の処理の結果
として、複数のディスクサブシステム７に亘って正当化
時刻以前の時刻が付与されたライトコマンドはすべて各
ディスクサブシステム７内のデータ更新に反映され、正
当化時刻より後の新しいライトコマンドが次の正当化時
刻候補の選定対象として残されることになる。
【００４０】なお正当化時刻の裁定要求の起動について
は、最初に起動するディスクサブシステム７を決めてお
き、以後正当化時刻を決定したディスクサブシステム７
が次の正当化時刻の裁定要求を起動する方式がある。あ
るいは１台のディスクサブシステム７が周期的に正当化
時刻の裁定要求を起動してもよい。いずれにしても正当
化時刻の裁定と決定した正当化時刻の通知が周期的に行
われるような方式であればよい。
は、最初に起動するディスクサブシステム７を決めてお
き、以後正当化時刻を決定したディスクサブシステム７
が次の正当化時刻の裁定要求を起動する方式がある。あ
るいは１台のディスクサブシステム７が周期的に正当化
時刻の裁定要求を起動してもよい。いずれにしても正当
化時刻の裁定と決定した正当化時刻の通知が周期的に行
われるような方式であればよい。
【００４１】また上記実施形態では各ディスクサブシス
テム７を判別するための識別子として製造装置番号を利
用するが、製造装置番号でなくともリモートセンターの
各々のディスクサブシステム７を判別することができる
識別子であれば、その識別子を利用することができる。
テム７を判別するための識別子として製造装置番号を利
用するが、製造装置番号でなくともリモートセンターの
各々のディスクサブシステム７を判別することができる
識別子であれば、その識別子を利用することができる。
【００４２】正当化時刻の裁定要求を発行してから所定
時間内に自己の発行した正当化時刻裁定要求コマンドが
戻らないか又は正当化時刻通知を受け取らない場合、あ
るいは正当化時刻通知を発行してから所定時間内に自己
の発行した正当化時刻通知が戻らない場合には、ディス
クサブシステム７は、何らかの障害発生により時刻の裁
定又は時刻の通知が完了しなかったものと判断し、制御
メモリ１４の制御ビットをリモートコピー停止状態に設
定し、リモートコピーを停止させる。このようにディス
クサブシステム７側の障害によりリモートコピーを続行
できなくなったとき、リモートコピーを停止させ、相手
ディスクサブシステム３にリモートコピーの停止を通知
する。これを受け取ったディスクサブシステム３は、制
御メモリ１４上の制御ビットをリモートコピー停止状態
に設定し、リモートコピーを停止させ、上記のように上
位装置１から受領したライトコマンドのディスクサブシ
ステム７への転送を保留する。ディスクサブシステム３
側の障害によりリモートコピーを続行できなくなったと
きも、同様にリモートコピーを停止させ、相手ディスク
サブシステム７にリモートコピーの停止を通知する。あ
るいはインタフェースケーブル４の障害によりディスク
サブシステム３とディスクサブシステム７間の通信不可
を検出したディスクサブシステム３及びディスクサブシ
ステム７も同様にリモートコピーを停止させる。また任
意の時点でディスクサブシステム３又はディスクサブシ
ステム７のサービスプロセッサパネル１８からの指示に
よって制御メモリ１４上の制御ビットを変更し、リモー
トコピー停止状態に設定したり、同停止状態を解除して
リモートコピーを再開させることができる。
時間内に自己の発行した正当化時刻裁定要求コマンドが
戻らないか又は正当化時刻通知を受け取らない場合、あ
るいは正当化時刻通知を発行してから所定時間内に自己
の発行した正当化時刻通知が戻らない場合には、ディス
クサブシステム７は、何らかの障害発生により時刻の裁
定又は時刻の通知が完了しなかったものと判断し、制御
メモリ１４の制御ビットをリモートコピー停止状態に設
定し、リモートコピーを停止させる。このようにディス
クサブシステム７側の障害によりリモートコピーを続行
できなくなったとき、リモートコピーを停止させ、相手
ディスクサブシステム３にリモートコピーの停止を通知
する。これを受け取ったディスクサブシステム３は、制
御メモリ１４上の制御ビットをリモートコピー停止状態
に設定し、リモートコピーを停止させ、上記のように上
位装置１から受領したライトコマンドのディスクサブシ
ステム７への転送を保留する。ディスクサブシステム３
側の障害によりリモートコピーを続行できなくなったと
きも、同様にリモートコピーを停止させ、相手ディスク
サブシステム７にリモートコピーの停止を通知する。あ
るいはインタフェースケーブル４の障害によりディスク
サブシステム３とディスクサブシステム７間の通信不可
を検出したディスクサブシステム３及びディスクサブシ
ステム７も同様にリモートコピーを停止させる。また任
意の時点でディスクサブシステム３又はディスクサブシ
ステム７のサービスプロセッサパネル１８からの指示に
よって制御メモリ１４上の制御ビットを変更し、リモー
トコピー停止状態に設定したり、同停止状態を解除して
リモートコピーを再開させることができる。
【００４３】なおリモートコピーの一時停止や再開は、
リモートコピーを設定する際のディスクサブシステム内
の記憶領域の最小管理単位であるボリュームペア単位に
指定できる。ここでボリュームペアとは、コピー元のデ
ィスクサブシステム３内ボリュームと対応するコピー先
のディスクサブシステム７内ボリュームとのペアをい
う。少なくとも１つのボリュームペアを一つのボリュー
ムグループとして定義し、ボリュームグループ単位に状
態を変化させることも可能である。ここでボリュームグ
ループ内のデータ更新は他のボリュームグループに影響
しないものとしている。この場合には、制御メモリ１４
上の制御ビットはボリュームペアあるいはボリュームグ
ループごとに設ける。またディスクサブシステム３は、
ステップ３６でデータを格納すべきボリュームあるいは
ボリュームグループと制御メモリ１４の対応する制御ビ
ットを参照して、当該データのリモートコピーが停止状
態か否かを判定する。
リモートコピーを設定する際のディスクサブシステム内
の記憶領域の最小管理単位であるボリュームペア単位に
指定できる。ここでボリュームペアとは、コピー元のデ
ィスクサブシステム３内ボリュームと対応するコピー先
のディスクサブシステム７内ボリュームとのペアをい
う。少なくとも１つのボリュームペアを一つのボリュー
ムグループとして定義し、ボリュームグループ単位に状
態を変化させることも可能である。ここでボリュームグ
ループ内のデータ更新は他のボリュームグループに影響
しないものとしている。この場合には、制御メモリ１４
上の制御ビットはボリュームペアあるいはボリュームグ
ループごとに設ける。またディスクサブシステム３は、
ステップ３６でデータを格納すべきボリュームあるいは
ボリュームグループと制御メモリ１４の対応する制御ビ
ットを参照して、当該データのリモートコピーが停止状
態か否かを判定する。
【００４４】従って例えば複数の業務データが格納され
ているディスクサブシステムの全データがリモートコピ
ーで常時二重化されているシステムにおいて、ある業務
については業務終了時点の状態のデータをリモートセン
ター側で利用したい等の用途がある場合、業務終了時点
で当該業務データが格納されているボリュームペア又は
ボリュームグループについてリモートコピーを一時停止
状態にすれば、リモートセンターのディスクサブシステ
ム７に業務終了時点のデータの状態が保持されるため、
リモートセンターで業務を行うことができる。
ているディスクサブシステムの全データがリモートコピ
ーで常時二重化されているシステムにおいて、ある業務
については業務終了時点の状態のデータをリモートセン
ター側で利用したい等の用途がある場合、業務終了時点
で当該業務データが格納されているボリュームペア又は
ボリュームグループについてリモートコピーを一時停止
状態にすれば、リモートセンターのディスクサブシステ
ム７に業務終了時点のデータの状態が保持されるため、
リモートセンターで業務を行うことができる。
【００４５】一時停止状態が解除されると、ディスクサ
ブシステム３及び７は、リモートコピー処理を再開する
とともに、一時停止している間にメインセンターのディ
スクサブシステム３のみで書き込みが行われたデータや
リモートセンターのディスクサブシステム７で正当化が
完了していなかったデータについて、ライトコマンドを
ディスクサブシステム７に転送したり、データの正当化
処理を再開する。これにより通常のリモートコピーが行
われる状態に復帰できる。
ブシステム３及び７は、リモートコピー処理を再開する
とともに、一時停止している間にメインセンターのディ
スクサブシステム３のみで書き込みが行われたデータや
リモートセンターのディスクサブシステム７で正当化が
完了していなかったデータについて、ライトコマンドを
ディスクサブシステム７に転送したり、データの正当化
処理を再開する。これにより通常のリモートコピーが行
われる状態に復帰できる。
【００４６】上記実施形態は、メインセンター９側のデ
ィスクサブシステム３とリモートセンター１０側のディ
スクサブシステム７が１対１に対応して接続されるシス
テム構成についての実施形態であるが、他の実施形態と
して、複数のディスクサブシステム３が１台のディスク
サブシステム７に接続され、このディスクサブシステム
７が接続される複数のディスクサブシステム３に関する
リモートコピー処理をするように構成してもよい。この
構成において、ディスクサブシステム７は、ステップ４
１のデータ受領のとき、受領したライトコマンドを各デ
ィスクサブシステム３の製造装置番号ごとにデータ受領
通番の順に並べ替え、各ディスクサブシステム３のライ
トコマンドに付与されている時刻のうち最新の時刻を選
定し、さらにディスクサブシステム３間で選定された時
刻を比較してその中から最古の時刻を正当化時刻候補と
して選定し、上記の正当化時刻の裁定処理を行う。
ィスクサブシステム３とリモートセンター１０側のディ
スクサブシステム７が１対１に対応して接続されるシス
テム構成についての実施形態であるが、他の実施形態と
して、複数のディスクサブシステム３が１台のディスク
サブシステム７に接続され、このディスクサブシステム
７が接続される複数のディスクサブシステム３に関する
リモートコピー処理をするように構成してもよい。この
構成において、ディスクサブシステム７は、ステップ４
１のデータ受領のとき、受領したライトコマンドを各デ
ィスクサブシステム３の製造装置番号ごとにデータ受領
通番の順に並べ替え、各ディスクサブシステム３のライ
トコマンドに付与されている時刻のうち最新の時刻を選
定し、さらにディスクサブシステム３間で選定された時
刻を比較してその中から最古の時刻を正当化時刻候補と
して選定し、上記の正当化時刻の裁定処理を行う。
【００４７】また他の実施形態として、リモートセンタ
ーのディスクサブシステム７のいずれか１台をマスタデ
ィスクサブシステム（一般にマスタ記憶サブシステム）
に設定し、リモートセンター１０のマスタディスクサブ
システム以外の各ディスクサブシステム７とマスタディ
スクサブシステムとを互いに接続するような構成をとっ
てもよい。この構成においてマスタディスクサブシステ
ムは、リモートセンター１０の他のディスクサブシステ
ムが自身で保有する正当化時刻候補を問い合わによって
取得する。次にマスタディスクサブシステムは、取得し
た正当化時刻候補及び自己の正当化時刻候補を比較して
最古の時刻を正当化時刻として決定する裁定を行い、リ
モートセンタの他のディスクサブシステムに決定した正
当化時刻を通知し、各ディスクサブシステム７が各々デ
ータの正当化を実施する。
ーのディスクサブシステム７のいずれか１台をマスタデ
ィスクサブシステム（一般にマスタ記憶サブシステム）
に設定し、リモートセンター１０のマスタディスクサブ
システム以外の各ディスクサブシステム７とマスタディ
スクサブシステムとを互いに接続するような構成をとっ
てもよい。この構成においてマスタディスクサブシステ
ムは、リモートセンター１０の他のディスクサブシステ
ムが自身で保有する正当化時刻候補を問い合わによって
取得する。次にマスタディスクサブシステムは、取得し
た正当化時刻候補及び自己の正当化時刻候補を比較して
最古の時刻を正当化時刻として決定する裁定を行い、リ
モートセンタの他のディスクサブシステムに決定した正
当化時刻を通知し、各ディスクサブシステム７が各々デ
ータの正当化を実施する。
【００４８】本実施形態によれば、リモートセンター１
０のディスクサブシステム７が正当化時刻候補の裁定お
よび正当化時刻に基づくデータの正当化を実施すること
により、上位装置の介在なくまたリモートコピーを定期
的に中断させる処理を行うことなく、さらにメインセン
ター９とリモートセンター１０の各々に更新順序を保持
するためのゲートウェイサブシステム等を設けることも
なく、メインセンター９のディスクサブシステム３の処
理性能の低下なく、ディスクサブシステムの機能で更新
順序の一貫性を保持した非同期型のリモートコピーを実
現できる。
０のディスクサブシステム７が正当化時刻候補の裁定お
よび正当化時刻に基づくデータの正当化を実施すること
により、上位装置の介在なくまたリモートコピーを定期
的に中断させる処理を行うことなく、さらにメインセン
ター９とリモートセンター１０の各々に更新順序を保持
するためのゲートウェイサブシステム等を設けることも
なく、メインセンター９のディスクサブシステム３の処
理性能の低下なく、ディスクサブシステムの機能で更新
順序の一貫性を保持した非同期型のリモートコピーを実
現できる。
【００４９】また本実施形態によれば、ディスクサブシ
ステム３が保有する時計から取得した時刻を利用して更
新データの一貫性を保証するため、上位装置１からディ
スクサブシステム３へ転送されるデータに時刻情報が付
加されないシステムであっても、上位装置１の介在なし
に更新順序の一貫性を保持した非同期型のリモートコピ
ーを実現できる。
ステム３が保有する時計から取得した時刻を利用して更
新データの一貫性を保証するため、上位装置１からディ
スクサブシステム３へ転送されるデータに時刻情報が付
加されないシステムであっても、上位装置１の介在なし
に更新順序の一貫性を保持した非同期型のリモートコピ
ーを実現できる。
【００５０】また仮にメインセンターの被災や機器の障
害等によりメインセンター９の機能が絶たれた場合も、
リモートセンター１０のディスクサブシステム７ではデ
ータの一貫性が保たれた状態のデータが記録されてい
る。これらはすべてディスクサブシステム３，７の機能
のみで実現され、上位装置１の処理能力に対し負担とな
らない。メインセンター９が被災した場合は、ディスク
サブシステム７のデータを利用してジョブを再実行する
等の回復作業を行い、業務を再開できる。
害等によりメインセンター９の機能が絶たれた場合も、
リモートセンター１０のディスクサブシステム７ではデ
ータの一貫性が保たれた状態のデータが記録されてい
る。これらはすべてディスクサブシステム３，７の機能
のみで実現され、上位装置１の処理能力に対し負担とな
らない。メインセンター９が被災した場合は、ディスク
サブシステム７のデータを利用してジョブを再実行する
等の回復作業を行い、業務を再開できる。
【００５１】
【発明の効果】以上述べたように本発明によれば、上位
装置に新規ソフトウェアの導入を必要とせず、記憶サブ
システムの機能のみでユーザが期待する範囲での更新デ
ータの一貫性を保証でき、導入が容易でかつメインセン
ターのホストコンピュータの処理性能の低下がない非同
期型のリモートコピーシステムを実現できる。
装置に新規ソフトウェアの導入を必要とせず、記憶サブ
システムの機能のみでユーザが期待する範囲での更新デ
ータの一貫性を保証でき、導入が容易でかつメインセン
ターのホストコンピュータの処理性能の低下がない非同
期型のリモートコピーシステムを実現できる。
【図１】実施形態のリモートコピーシステムの全体構成
を示す図である。
を示す図である。
【図２】実施形態のディスクサブシステムの内部構成を
示す図である。
示す図である。
【図３】実施形態のディスクサブシステム３とディスク
サブシステム７に亘ってデータの二重化をする処理の手
順を示す図である。
サブシステム７に亘ってデータの二重化をする処理の手
順を示す図である。
【図４】受領時刻と受領通番の付加されたデータがリモ
ートコピーされるまでのデータの流れを例によって説明
する図である。
ートコピーされるまでのデータの流れを例によって説明
する図である。
【図５】実施形態の正当化時刻の裁定に関するディスク
サブシステム７の処理の手順を示す図である。
サブシステム７の処理の手順を示す図である。
【図６】実施形態の正当化時刻の通知に関するディスク
サブシステム７の処理の手順を示す図である。
サブシステム７の処理の手順を示す図である。
１…上位装置、３…ディスクサブシステム、４…インタ
フェースケーブル、５…インタフェースケーブル、７…
ディスクサブシステム、９…メインセンター、１０…リ
モートセンター、１５…時計、１６…時刻補正部
フェースケーブル、５…インタフェースケーブル、７…
ディスクサブシステム、９…メインセンター、１０…リ
モートセンター、１５…時計、１６…時刻補正部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中野 俊夫 神奈川県小田原市国府津2880番地 株式会 社日立製作所ストレージシステム事業部内 Ｆターム(参考） 5B018 GA06 HA03 HA04 HA31 JA26 KA02 KA22 MA12 PA03 RA11 5B034 BB17 CC01 CC02 5B065 BA01 CE22 EA02 EA12 EA35 5B082 DE04 GB02 5B083 AA08 AA09 BB03 CC04 CD11 EE08
Claims (21)
- 【請求項１】複数の記憶サブシステムから構成される第
１の記憶サブシステム群と、第１の記憶サブシステム群
のデータのコピーを記憶する複数の記憶サブシステムか
ら構成される第２の記憶サブシステム群とを有するシス
テムのデータ二重化方法であって、第１の記憶サブシス
テム群に属する各記憶サブシステムによってその記憶装
置にデータ書き込みするとともに、該データに通番と時
刻を付与し、伝送路を介して第２の記憶サブシステム群
に属する記憶サブシステムへ転送し、第２の記憶サブシ
ステム群に属する各記憶サブシステムによって受け取っ
た複数のデータを通番の順に配列し、第２の記憶サブシ
ステム群に属する記憶サブシステム間の通信によって各
記憶サブシステムについてそれぞれ付与された最新の時
刻の中で最古の時刻を決定し、決定された最古の時刻以
前の時刻が付与されたデータを各記憶サブシステムの記
憶装置へのデータ書き込み対象とすることを特徴とする
記憶サブシステムのデータ二重化方法。 - 【請求項２】前記第１の記憶サブシステム群に属する記
憶サブシステムと前記第２の記憶サブシステム群に属す
る記憶サブシステムとを接続する前記伝送路は、ＳＡＮ
（ストレージ・エリア・ネットワーク）を構成すること
を特徴とする請求項１記載の記憶サブシステムのデータ
二重化方法。 - 【請求項３】前記第１の記憶サブシステム群に属する各
記憶サブシステムによって前記時刻を参照するための時
計を外部からの時刻情報によって補正することを特徴と
する請求項１記載の記憶サブシステムのデータ二重化方
法。 - 【請求項４】前記第２の記憶サブシステム群に属する記
憶サブシステム間はループ伝送路によって接続されてお
り、各記憶サブシステムによって自己の前記最新の時刻
と受け取った前記最新の時刻のうちで古い方の時刻を隣
の記憶サブシステムに伝送し、自記憶サブシステムが伝
送しかつ自記憶サブシステムに戻った時刻を前記最古の
時刻と決定することを特徴とする請求項１記載の記憶サ
ブシステムのデータ二重化方法。 - 【請求項５】前記第２の記憶サブシステム群に属する複
数の記憶サブシステムのうちの１つをマスタ記憶サブシ
ステムに設定し、マスタ記憶サブシステム以外の各記憶
サブシステムによって前記最新の時刻をマスタ記憶サブ
システムに通知し、マスタ記憶サブシステムによって自
己の最新の時刻と取得した最新の時刻の中から前記最古
の時刻を決定することを特徴とする請求項１記載の記憶
サブシステムのデータ二重化方法。 - 【請求項６】前記第１の記憶サブシステム群に属する複
数の記憶サブシステムによって各々書き込みデータを前
記第２の記憶サブシステム群に属する一の記憶サブシス
テムに転送し、第２の記憶サブシステム群に属する一の
記憶サブシステムによって第１の記憶サブシステム群に
属する前記記憶サブシステムごとに付与された最新の時
刻を選定し、選定された最新の時刻の中で最古の時刻を
前記最古の時刻の候補とすることを特徴とする請求項１
記載の記憶サブシステムのデータ二重化方法。 - 【請求項７】前記記憶サブシステムの記憶装置は複数の
ボリュームによって構成され、コピー元である第１の記
憶サブシステム群に属するボリュームとコピー先である
第２の記憶サブシステム群に属するボリュームとがボリ
ュームペアを構成するとき、第１の記憶サブシステム群
に属する記憶サブシステムによって複数のボリュームペ
アから構成されるボリュームグループごとに第２の記憶
サブシステム群へのデータ転送の開始及び停止を制御す
ることを特徴とする請求項１記載の記憶サブシステムの
データ二重化方法。 - 【請求項８】複数の記憶サブシステムから構成される第
１の記憶サブシステム群と、第１の記憶サブシステム群
のデータのコピーを記憶する複数の記憶サブシステムか
ら構成される第２の記憶サブシステム群とを有するデー
タ二重化システムであって、第１の記憶サブシステム群
に属する各記憶サブシステムは、その記憶装置にデータ
を書き込みする手段と、該データに通番と時刻を付与す
る手段と、通番と時刻を付与された該データを伝送路を
介して第２の記憶サブシステム群に属する記憶サブシス
テムへ転送する手段と、第２の記憶サブシステム群に属
する各記憶サブシステムは、受け取った複数のデータを
通番の順に配列する手段と、第２の記憶サブシステム群
に属する記憶サブシステム間の通信によって各記憶サブ
システムについてそれぞれ付与された最新の時刻の中で
最古の時刻を決定する手段と、決定された最古の時刻以
前の時刻が付与されたデータを各記憶サブシステムの記
憶装置へデータ書き込みする手段とを有することを特徴
とする記憶サブシステムのデータ二重化をするシステ
ム。 - 【請求項９】前記第１の記憶サブシステム群に属する記
憶サブシステムと前記第２の記憶サブシステム群に属す
る記憶サブシステムとを接続する前記伝送路は、ＳＡＮ
（ストレージ・エリア・ネットワーク）を構成すること
を特徴とする請求項８記載の記憶サブシステムのデータ
二重化をするシステム。 - 【請求項１０】前記第１の記憶サブシステム群に属する
各記憶サブシステムは、前記時刻を参照するための時計
を外部からの時刻情報によって補正する手段を有するこ
とを特徴とする請求項８記載の記憶サブシステムのデー
タ二重化をするシステム。 - 【請求項１１】前記第２の記憶サブシステム群に属する
記憶サブシステム間はループ伝送路によって接続されて
おり、各記憶サブシステムは、自己の前記最新の時刻と
受け取った前記最新の時刻のうちで古い方の時刻を隣の
記憶サブシステムに伝送し、自記憶サブシステムが伝送
しかつ自記憶サブシステムに戻った時刻を前記最古の時
刻と決定する手段を有することを特徴とする請求項８記
載の記憶サブシステムのデータ二重化をするシステム。 - 【請求項１２】前記第２の記憶サブシステム群に属する
複数の記憶サブシステムのうちの１つがマスタ記憶サブ
システムとして設定され、前記マスタ記憶サブシステム
以外の各記憶サブシステムは、前記最新の時刻をマスタ
記憶サブシステムに通知する手段を有し、前記マスタ記
憶サブシステムは、自己の最新の時刻と取得した最新の
時刻の中から前記最古の時刻を決定する手段を有するこ
とを特徴とする請求項８記載の記憶サブシステムのデー
タ二重化をするシステム。 - 【請求項１３】前記第１の記憶サブシステム群に属する
複数の記憶サブシステムは、各々書き込みデータを前記
第２の記憶サブシステム群に属する一の記憶サブシステ
ムに転送するよう構成され、第２の記憶サブシステム群
に属する前記一の記憶サブシステムは、第１の記憶サブ
システム群に属する前記記憶サブシステムごとに付与さ
れた最新の時刻を選定する手段と、選定された最新の時
刻の中で最古の時刻を前記最古の時刻の候補とする手段
とを有することを特徴とする請求項８記載の記憶サブシ
ステムのデータ二重化をするシステム。 - 【請求項１４】前記記憶サブシステムの記憶装置は複数
のボリュームによって構成され、コピー元である第１の
記憶サブシステム群に属するボリュームとコピー先であ
る第２の記憶サブシステム群に属するボリュームとがボ
リュームペアを構成するとき、第１の記憶サブシステム
群に属する記憶サブシステムは、複数のボリュームペア
から構成されるボリュームグループごとに第２の記憶サ
ブシステム群へのデータ転送の開始及び停止を制御する
手段を有することを特徴とする請求項８記載の記憶サブ
システムのデータ二重化をするシステム。 - 【請求項１５】複数の記憶サブシステムから構成される
記憶サブシステム群に属する記憶サブシステムであっ
て、前記記憶サブシステムは、外部から受け取ったデー
タをその記憶装置にデータ書き込みする第１の手段と、
該データに通番と時刻を付与して他の記憶サブシステム
に転送する第２の手段と、他の記憶サブシステムから受
け取った複数のデータを前記通番の順に配列する第３の
手段と、他の記憶サブシステム間の通信によって各記憶
サブシステムについてそれぞれ付与された最新の時刻の
中で最古の時刻を決定する第４の手段とを有し、当該記
憶サブシステムがローカルモードのとき第１の手段と第
２の手段を動作させ、リモートモードのとき第３の手
段、第４の手段及び第１の手段を動作させ、決定された
最古の時刻以前の時刻が付与されたデータを第１の手段
によるデータ書き込み対象とすることを特徴とするデー
タ二重化システムを構成する記憶サブシステム。 - 【請求項１６】前記ローカルモードで動作する前記記憶
サブシステムと前記リモートモードで動作する前記記憶
サブシステムとは、ＳＡＮ（ストレージ・エリア・ネッ
トワーク）を介して接続されることを特徴とする請求項
１５記載のデータ二重化システムを構成する記憶サブシ
ステム。 - 【請求項１７】前記記憶サブシステムは、前記時刻を参
照するための時計を外部からの時刻情報によって補正す
る手段を有することを特徴とする請求項１５記載のデー
タ二重化システムを構成する記憶サブシステム。 - 【請求項１８】前記リモートモードで動作する前記記憶
サブシステム間はループ伝送路によって接続されてお
り、前記リモートモードの各記憶サブシステムは、自己
の前記最新の時刻と受け取った前記最新の時刻のうちで
古い方の時刻を隣の記憶サブシステムに伝送する手段
と、自記憶サブシステムが伝送しかつ自記憶サブシステ
ムに戻った時刻を前記最古の時刻と決定する手段とを有
することを特徴とする請求項１５記載のデータ二重化シ
ステムを構成する記憶サブシステム。 - 【請求項１９】前記リモートモードで動作する前記記憶
サブシステムのうちの１つがマスタ記憶サブシステムと
して設定され、前記マスタ記憶サブシステム以外の各記
憶サブシステムは、前記最新の時刻をマスタ記憶サブシ
ステムに通知する手段を有し、前記マスタ記憶サブシス
テムは、自己の最新の時刻と取得した最新の時刻の中か
ら前記最古の時刻を決定する手段とを有することを特徴
とする請求項１５記載のデータ二重化システムを構成す
る記憶サブシステム。 - 【請求項２０】前記ローカルモードで動作する複数の記
憶サブシステムは、前記リモートモードで動作する記憶
サブシステム群に属する一の記憶サブシステムに該デー
タを転送するよう構成され、前記リモートモードで動作
する記憶サブシステム群に属する前記一の記憶サブシス
テムは、前記ローカルモードで動作する記憶サブシステ
ムごとに付与された最新の時刻を選定する手段と、選定
された最新の時刻の中で最古の時刻を前記最古の時刻の
候補とする手段とを有することを特徴とする請求項１５
記載のデータ二重化システムを構成する記憶サブシステ
ム。 - 【請求項２１】前記記憶サブシステムの記憶装置は複数
のボリュームによって構成され、コピー元である前記ロ
ーカルモードで動作する記憶サブシステムに属するボリ
ュームとコピー先である前記リモートモードで動作する
記憶サブシステムに属するボリュームとがボリュームペ
アを構成するとき、前記ローカルモードで動作する記憶
サブシステムは、少なくとも１つのボリュームペアから
構成されるボリュームグループごとに前記リモートモー
ドで動作する記憶サブシステムへのデータ転送の開始及
び停止を制御する手段を有することを特徴とする請求項
１５記載のデータ二重化システムを構成する記憶サブシ
ステム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101168A JP4044717B2 (ja) | 2000-03-31 | 2000-03-31 | 記憶サブシステムのデータ二重化方法及びデータ二重化システム |
| EP00119133A EP1150210B1 (en) | 2000-03-31 | 2000-09-04 | Method for duplicating data of storage subsystem and data duplicating system |
| DE60038950T DE60038950D1 (de) | 2000-03-31 | 2000-09-04 | System und Verfahren für das Kopieren der Daten eines Speicherungsuntersystems |
| US10/685,743 US6981008B2 (en) | 2000-03-31 | 2003-10-14 | Method for duplicating data of storage subsystem and data duplicating system |
| US11/177,001 US20050267923A1 (en) | 2000-03-31 | 2005-07-07 | Method for duplicating data of storage subsystem and data duplicating system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101168A JP4044717B2 (ja) | 2000-03-31 | 2000-03-31 | 記憶サブシステムのデータ二重化方法及びデータ二重化システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001282628A true JP2001282628A (ja) | 2001-10-12 |
| JP2001282628A5 JP2001282628A5 (ja) | 2005-06-30 |
| JP4044717B2 JP4044717B2 (ja) | 2008-02-06 |
Family
ID=18615261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000101168A Expired - Fee Related JP4044717B2 (ja) | 2000-03-31 | 2000-03-31 | 記憶サブシステムのデータ二重化方法及びデータ二重化システム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6981008B2 (ja) |
| EP (1) | EP1150210B1 (ja) |
| JP (1) | JP4044717B2 (ja) |
| DE (1) | DE60038950D1 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
| JP2005276162A (ja) * | 2004-01-15 | 2005-10-06 | Hitachi Ltd | 分散リモートコピーシステム |
| JP2005327163A (ja) * | 2004-05-17 | 2005-11-24 | Hitachi Ltd | 計算機システム |
| JP2006023889A (ja) * | 2004-07-07 | 2006-01-26 | Hitachi Ltd | リモートコピーシステム及び記憶装置システム |
| JP2006221487A (ja) * | 2005-02-14 | 2006-08-24 | Hitachi Ltd | リモートコピーシステム |
| JP2007133478A (ja) * | 2005-11-08 | 2007-05-31 | Hitachi Ltd | ストレージ装置の起動可能なディスクグループ数の管理 |
| CN100397355C (zh) * | 2004-11-12 | 2008-06-25 | 国际商业机器公司 | 用于一致性组形成中的数据传送管理的方法和系统 |
| JP2008209966A (ja) * | 2007-02-23 | 2008-09-11 | Hitachi Ltd | 一以上のセカンダリストレージシステムで複数のバックアップを取得するバックアップ制御方法 |
| JP2009123055A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Ltd | ストレージシステム及びリモートコピー制御方法 |
| US7610318B2 (en) | 2003-09-29 | 2009-10-27 | International Business Machines Corporation | Autonomic infrastructure enablement for point in time copy consistency |
| US7725445B2 (en) | 2003-06-27 | 2010-05-25 | Hitachi, Ltd. | Data replication among storage systems |
| US7724599B2 (en) | 2003-12-03 | 2010-05-25 | Hitachi, Ltd. | Remote copy system |
| US8032726B2 (en) | 2003-12-03 | 2011-10-04 | Hitachi, Ltd | Remote copy system |
| US8234471B2 (en) | 2003-06-27 | 2012-07-31 | Hitachi, Ltd. | Remote copy method and remote copy system |
| KR20200093482A (ko) * | 2020-07-17 | 2020-08-05 | 주식회사 가야데이터 | 이기종 환경에서 사용 가능한 스토리지 이중화 시스템 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7096382B2 (en) * | 2001-03-05 | 2006-08-22 | Topio, Inc. | System and a method for asynchronous replication for storage area networks |
| US7007142B2 (en) * | 2002-02-19 | 2006-02-28 | Intel Corporation | Network data storage-related operations |
| WO2005010766A1 (ja) * | 2003-07-24 | 2005-02-03 | Fujitsu Limited | データ格納システム |
| US7240080B2 (en) * | 2003-07-30 | 2007-07-03 | International Business Machines Corporation | Method and apparatus for determining using least recently used protocol if one or more computer files should be written to one or more information storage media and synchronously providing one or more computer files between first and storage devices |
| US7133986B2 (en) * | 2003-09-29 | 2006-11-07 | International Business Machines Corporation | Method, system, and program for forming a consistency group |
| US7437389B2 (en) | 2004-03-10 | 2008-10-14 | Hitachi, Ltd. | Remote copy system |
| US7085788B2 (en) | 2003-12-03 | 2006-08-01 | Hitachi, Ltd. | Remote copy system configured to receive both a write request including a write time and a write request not including a write time. |
| JP4434857B2 (ja) * | 2003-12-04 | 2010-03-17 | 株式会社日立製作所 | リモートコピーシステム及びシステム |
| JP4282464B2 (ja) * | 2003-12-17 | 2009-06-24 | 株式会社日立製作所 | リモートコピーシステム |
| JP4422519B2 (ja) * | 2004-03-18 | 2010-02-24 | 株式会社日立製作所 | 情報処理システム |
| JP4549709B2 (ja) | 2004-03-23 | 2010-09-22 | 株式会社日立製作所 | ストレージ装置 |
| JP4412722B2 (ja) | 2004-07-28 | 2010-02-10 | 株式会社日立製作所 | リモートコピーシステム |
| JP4508798B2 (ja) * | 2004-08-09 | 2010-07-21 | 株式会社日立製作所 | ストレージリモートコピー方式 |
| US7330861B2 (en) | 2004-09-10 | 2008-02-12 | Hitachi, Ltd. | Remote copying system and method of controlling remote copying |
| JP4915775B2 (ja) | 2006-03-28 | 2012-04-11 | 株式会社日立製作所 | ストレージシステム及びストレージシステムのリモートコピー制御方法 |
| US7571268B2 (en) | 2006-04-06 | 2009-08-04 | International Business Machines Corporation | Consistent updates across storage subsystems coupled to a plurality of primary and secondary units at selected times |
| JP2007323218A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | バックアップシステム |
| US7987326B2 (en) * | 2007-05-21 | 2011-07-26 | International Business Machines Corporation | Performing backup operations for a volume group of volumes |
| US7533289B1 (en) * | 2008-06-06 | 2009-05-12 | International Business Machines Corporation | System, method, and computer program product for performing live cloning |
| US9229971B2 (en) * | 2010-12-21 | 2016-01-05 | Business Objects Software Limited | Matching data based on numeric difference |
| CN102629223B (zh) * | 2012-02-28 | 2015-04-01 | 北京搜狐新媒体信息技术有限公司 | 一种数据修复方法及装置 |
| JP6229684B2 (ja) * | 2015-03-19 | 2017-11-15 | 日本電気株式会社 | ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2834189B2 (ja) | 1989-07-05 | 1998-12-09 | 株式会社日立製作所 | 入出力制御方法 |
| US5235599A (en) * | 1989-07-26 | 1993-08-10 | Nec Corporation | Self-healing network with distributed failure restoration capabilities |
| US5544347A (en) | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| US5555371A (en) | 1992-12-17 | 1996-09-10 | International Business Machines Corporation | Data backup copying with delayed directory updating and reduced numbers of DASD accesses at a back up site using a log structured array data storage |
| US5446871A (en) | 1993-03-23 | 1995-08-29 | International Business Machines Corporation | Method and arrangement for multi-system remote data duplexing and recovery |
| US5577222A (en) * | 1992-12-17 | 1996-11-19 | International Business Machines Corporation | System for asynchronously duplexing remote data by sending DASD data grouped as a unit periodically established by checkpoint based upon the latest time value |
| US5390327A (en) | 1993-06-29 | 1995-02-14 | Digital Equipment Corporation | Method for on-line reorganization of the data on a RAID-4 or RAID-5 array in the absence of one disk and the on-line restoration of a replacement disk |
| KR0128271B1 (ko) * | 1994-02-22 | 1998-04-15 | 윌리암 티. 엘리스 | 재해회복을 위한 일관성 그룹 형성방법 및 레코드갱싱의 섀도잉 방법, 주시스템, 원격데이타 섀도잉 시스템과 비동기 원격데이타 복제 시스템 |
| US5615329A (en) | 1994-02-22 | 1997-03-25 | International Business Machines Corporation | Remote data duplexing |
| JP2894676B2 (ja) * | 1994-03-21 | 1999-05-24 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法 |
| US5623599A (en) * | 1994-07-29 | 1997-04-22 | International Business Machines Corporation | Method and apparatus for processing a synchronizing marker for an asynchronous remote data copy |
| US5592618A (en) | 1994-10-03 | 1997-01-07 | International Business Machines Corporation | Remote copy secondary data copy validation-audit function |
| US5799141A (en) | 1995-06-09 | 1998-08-25 | Qualix Group, Inc. | Real-time data protection system and method |
| US5720029A (en) | 1995-07-25 | 1998-02-17 | International Business Machines Corporation | Asynchronously shadowing record updates in a remote copy session using track arrays |
| JPH09171441A (ja) | 1995-12-20 | 1997-06-30 | Hitachi Ltd | 二重化記憶装置の記憶一致方法および装置 |
| US5870537A (en) | 1996-03-13 | 1999-02-09 | International Business Machines Corporation | Concurrent switch to shadowed device for storage controller and device errors |
| US5901327A (en) | 1996-05-28 | 1999-05-04 | Emc Corporation | Bundling of write data from channel commands in a command chain for transmission over a data link between data storage systems for remote data mirroring |
| JPH09325917A (ja) | 1996-06-07 | 1997-12-16 | Hitachi Ltd | 計算機システム |
| US5893140A (en) | 1996-08-14 | 1999-04-06 | Emc Corporation | File server having a file system cache and protocol for truly safe asynchronous writes |
| US6161165A (en) | 1996-11-14 | 2000-12-12 | Emc Corporation | High performance data path with XOR on the fly |
| US5949970A (en) | 1997-01-07 | 1999-09-07 | Unisys Corporation | Dual XPCS for disaster recovery |
| US5937414A (en) | 1997-02-28 | 1999-08-10 | Oracle Corporation | Method and apparatus for providing database system replication in a mixed propagation environment |
| JP3414218B2 (ja) | 1997-09-12 | 2003-06-09 | 株式会社日立製作所 | 記憶制御装置 |
| US6988176B2 (en) | 1997-09-12 | 2006-01-17 | Hitachi, Ltd. | Method and apparatus for data duplexing in storage unit system |
| US6415373B1 (en) | 1997-12-24 | 2002-07-02 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
| US6195761B1 (en) | 1997-12-31 | 2001-02-27 | Emc Corporation | Method and apparatus for identifying and repairing mismatched data |
| US6173293B1 (en) | 1998-03-13 | 2001-01-09 | Digital Equipment Corporation | Scalable distributed file system |
| US6324654B1 (en) | 1998-03-30 | 2001-11-27 | Legato Systems, Inc. | Computer network remote data mirroring system |
| US6157991A (en) | 1998-04-01 | 2000-12-05 | Emc Corporation | Method and apparatus for asynchronously updating a mirror of a source device |
| US6052799A (en) | 1998-05-15 | 2000-04-18 | International Business Machines Corporation | System and method for recovering a directory for a log structured array |
| US6178521B1 (en) | 1998-05-22 | 2001-01-23 | Compaq Computer Corporation | Method and apparatus for disaster tolerant computer system using cascaded storage controllers |
| US6260124B1 (en) | 1998-08-13 | 2001-07-10 | International Business Machines Corporation | System and method for dynamically resynchronizing backup data |
| US6185659B1 (en) | 1999-03-23 | 2001-02-06 | Storage Technology Corporation | Adapting resource use to improve performance in a caching memory system |
| JP2000305856A (ja) * | 1999-04-26 | 2000-11-02 | Hitachi Ltd | ディスクサブシステム及びこれらの統合システム |
| US6539462B1 (en) | 1999-07-12 | 2003-03-25 | Hitachi Data Systems Corporation | Remote data copy using a prospective suspend command |
| US6446175B1 (en) | 1999-07-28 | 2002-09-03 | Storage Technology Corporation | Storing and retrieving data on tape backup system located at remote storage system site |
| US6463501B1 (en) * | 1999-10-21 | 2002-10-08 | International Business Machines Corporation | Method, system and program for maintaining data consistency among updates across groups of storage areas using update times |
| US6535967B1 (en) | 2000-01-19 | 2003-03-18 | Storage Technology Corporation | Method and apparatus for transferring data between a primary storage system and a secondary storage system using a bridge volume |
| JP4434407B2 (ja) * | 2000-01-28 | 2010-03-17 | 株式会社日立製作所 | サブシステム及びこれらの統合システム |
-
2000
- 2000-03-31 JP JP2000101168A patent/JP4044717B2/ja not_active Expired - Fee Related
- 2000-09-04 DE DE60038950T patent/DE60038950D1/de not_active Expired - Lifetime
- 2000-09-04 EP EP00119133A patent/EP1150210B1/en not_active Expired - Lifetime
-
2003
- 2003-10-14 US US10/685,743 patent/US6981008B2/en not_active Expired - Lifetime
-
2005
- 2005-07-07 US US11/177,001 patent/US20050267923A1/en not_active Abandoned
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9058305B2 (en) | 2003-06-27 | 2015-06-16 | Hitachi, Ltd. | Remote copy method and remote copy system |
| US8943025B2 (en) | 2003-06-27 | 2015-01-27 | Hitachi, Ltd. | Data replication among storage systems |
| US8566284B2 (en) | 2003-06-27 | 2013-10-22 | Hitachi, Ltd. | Data replication among storage systems |
| US8239344B2 (en) | 2003-06-27 | 2012-08-07 | Hitachi, Ltd. | Data replication among storage systems |
| US8234471B2 (en) | 2003-06-27 | 2012-07-31 | Hitachi, Ltd. | Remote copy method and remote copy system |
| US8135671B2 (en) | 2003-06-27 | 2012-03-13 | Hitachi, Ltd. | Data replication among storage systems |
| US7725445B2 (en) | 2003-06-27 | 2010-05-25 | Hitachi, Ltd. | Data replication among storage systems |
| US7610318B2 (en) | 2003-09-29 | 2009-10-27 | International Business Machines Corporation | Autonomic infrastructure enablement for point in time copy consistency |
| US8032726B2 (en) | 2003-12-03 | 2011-10-04 | Hitachi, Ltd | Remote copy system |
| US8250240B2 (en) | 2003-12-03 | 2012-08-21 | Hitachi, Ltd. | Message conversion method and message conversion system |
| US7724599B2 (en) | 2003-12-03 | 2010-05-25 | Hitachi, Ltd. | Remote copy system |
| JP2005276162A (ja) * | 2004-01-15 | 2005-10-06 | Hitachi Ltd | 分散リモートコピーシステム |
| JP4512386B2 (ja) * | 2004-03-05 | 2010-07-28 | 株式会社日立製作所 | バックアップシステムおよび方法 |
| JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
| JP4563725B2 (ja) * | 2004-05-17 | 2010-10-13 | 株式会社日立製作所 | 計算機システム |
| JP2005327163A (ja) * | 2004-05-17 | 2005-11-24 | Hitachi Ltd | 計算機システム |
| JP2006023889A (ja) * | 2004-07-07 | 2006-01-26 | Hitachi Ltd | リモートコピーシステム及び記憶装置システム |
| CN100397355C (zh) * | 2004-11-12 | 2008-06-25 | 国际商业机器公司 | 用于一致性组形成中的数据传送管理的方法和系统 |
| JP2006221487A (ja) * | 2005-02-14 | 2006-08-24 | Hitachi Ltd | リモートコピーシステム |
| JP4694350B2 (ja) * | 2005-11-08 | 2011-06-08 | 株式会社日立製作所 | ストレージ装置の起動可能なディスクグループ数の管理 |
| JP2007133478A (ja) * | 2005-11-08 | 2007-05-31 | Hitachi Ltd | ストレージ装置の起動可能なディスクグループ数の管理 |
| JP2008209966A (ja) * | 2007-02-23 | 2008-09-11 | Hitachi Ltd | 一以上のセカンダリストレージシステムで複数のバックアップを取得するバックアップ制御方法 |
| JP2009123055A (ja) * | 2007-11-16 | 2009-06-04 | Hitachi Ltd | ストレージシステム及びリモートコピー制御方法 |
| KR20200093482A (ko) * | 2020-07-17 | 2020-08-05 | 주식회사 가야데이터 | 이기종 환경에서 사용 가능한 스토리지 이중화 시스템 |
| KR102155256B1 (ko) | 2020-07-17 | 2020-09-11 | 주식회사 가야데이터 | 이기종 환경에서 사용 가능한 스토리지 이중화 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1150210A2 (en) | 2001-10-31 |
| US6981008B2 (en) | 2005-12-27 |
| US20040078399A1 (en) | 2004-04-22 |
| EP1150210B1 (en) | 2008-05-21 |
| DE60038950D1 (de) | 2008-07-03 |
| JP4044717B2 (ja) | 2008-02-06 |
| EP1150210A3 (en) | 2006-10-25 |
| US20050267923A1 (en) | 2005-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4044717B2 (ja) | 記憶サブシステムのデータ二重化方法及びデータ二重化システム | |
| JP4412989B2 (ja) | 複数の記憶システムを有するデータ処理システム | |
| US8375000B2 (en) | Remote copy system | |
| US6760824B2 (en) | Storage system making possible data synchronization confirmation at time of asynchronous remote copy | |
| US7734883B2 (en) | Method, system and program for forming a consistency group | |
| US7330861B2 (en) | Remote copying system and method of controlling remote copying | |
| US7467168B2 (en) | Method for mirroring data at storage locations | |
| US6282610B1 (en) | Storage controller providing store-and-forward mechanism in distributed data storage system | |
| JP4434407B2 (ja) | サブシステム及びこれらの統合システム | |
| JP4546629B2 (ja) | 記憶システム、記憶システムの応答方法及び記録媒体 | |
| JP4412722B2 (ja) | リモートコピーシステム | |
| US7660955B2 (en) | Node polling in consistency group formation | |
| US8250240B2 (en) | Message conversion method and message conversion system | |
| US7647357B2 (en) | Data transfer management in consistency group formation | |
| JP4425728B2 (ja) | リモートコピーシステム | |
| US20090024815A1 (en) | Remote copy system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |