[go: up one dir, main page]

JP5862246B2 - データ管理プログラム、データ管理方法およびストレージ装置 - Google Patents

データ管理プログラム、データ管理方法およびストレージ装置 Download PDF

Info

Publication number
JP5862246B2
JP5862246B2 JP2011263062A JP2011263062A JP5862246B2 JP 5862246 B2 JP5862246 B2 JP 5862246B2 JP 2011263062 A JP2011263062 A JP 2011263062A JP 2011263062 A JP2011263062 A JP 2011263062A JP 5862246 B2 JP5862246 B2 JP 5862246B2
Authority
JP
Japan
Prior art keywords
data
failure
request
node
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011263062A
Other languages
English (en)
Other versions
JP2013114628A (ja
Inventor
雅寿 田村
雅寿 田村
泰生 野口
泰生 野口
年弘 小沢
年弘 小沢
宗則 前田
宗則 前田
達夫 熊野
達夫 熊野
健 飯澤
健 飯澤
純 加藤
純 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011263062A priority Critical patent/JP5862246B2/ja
Priority to US13/604,682 priority patent/US8977897B2/en
Publication of JP2013114628A publication Critical patent/JP2013114628A/ja
Application granted granted Critical
Publication of JP5862246B2 publication Critical patent/JP5862246B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、データ管理プログラム、データ管理方法およびストレージ装置に関する。
従来、分散ＫＶＳ（Key Value Store）に代表されるＮｏＳＱＬなど、複数のノード間でデータが多重化されている分散ストレージシステムにおいては、データをPutまたはGetする方式として複数の方式がある。ここで、ノードとは、ＣＰＵ、メモリ、ディスク装置などを備えたコンピュータであり、ノード間はネットワークで相互に接続される。また、分散ストレージシステムにおいて、各ノードはデータを分散して記憶するストレージ装置である。また、データをPutするとはデータを分散ストレージシステムに書き込むことであり、データをGetするとはデータを分散ストレージシステムから読み出すことである。
図１２ａはデータをGetする方式の一例を示す図であり、図１２ｂはデータをPutする方式の一例を示す図である。図１２ａおよび図１２ｂでは、データが三重化され、三重化されたデータをそれぞれ記憶するノードには、「プライマリ」→「セカンダリ」→「ターシャリ」という順序関係が存在する。ここで、「プライマリ」、「セカンダリ」、「ターシャリ」は分散ストレージシステムにおけるノードの役割である。プライマリ１０は「プライマリ」の役割を有するノードであり、セカンダリ２０は「セカンダリ」の役割を有するノードであり、ターシャリ３０は「ターシャリ」の役割を有するノードである。また、クライアント５は、データのPutやGetを分散ストレージシステムに要求する装置である。
図１２ａに示すように、クライアント５は、プライマリ１０、セカンダリ２０、ターシャリ３０のいずれからもデータをGetすることができる。すなわち、クライアント５は、プライマリ１０、セカンダリ２０、ターシャリ３０のいずれにGetを要求しても、ＯＫを得ることができる。
一方、図１２ｂに示すように、クライアント５は、プライマリ１０だけにPutを要求することができる。Put要求はクライアント５→プライマリ１０→セカンダリ２０→ターシャリ３０の順に伝達され、「ＯＫ」は逆にターシャリ３０→セカンダリ２０→プライマリ１０→クライアント５の順に伝達される。
Robbert van Renesse, Fred B. Schneider, "Chain Replication for Supporting High Throughput and Availability", OSDI’04:6th Symposium on Operating Systems Design and Implementation，P.91. Jeff Terrace and Michael J. Freedman, "Object Storage on CRAQ High-throughput chain replication for read-mostly workloads", In Proc. USENIX Annual Technical Conference, San Diego, CA, June 2009.
しかしながら、図１２ａおよび図１２ｂに示した従来方式には、各ノードが保持するデータ間に矛盾が生じる可能性があるという問題がある。図１３は、従来方式で問題が発生する３つのケースを示す図である。
ケース（１）は、セカンダリ２０がターシャリ３０にPut要求を送信した後、ターシャリ３０から返答を受け取る前、もしくは、ターシャリ３０から返答を受け取ったがプライマリ１０に返答を返す前に、セカンダリ２０で故障が発生した場合である。この場合、プライマリ１０がタイムアウトを検出し、タイムアウト時にはデータの書き込みが行われないとすると、プライマリ１０には古いデータが記憶され、ターシャリ３０には更新された新しいデータが記憶される。
また、ケース（２）は、ターシャリ３０がセカンダリ２０に返答する際に、ネットワークに一時的な通信障害が起こり、セカンダリ２０でタイムアウトが発生した場合である。この場合、タイムアウト時には、データの書き込みは行われないとすると、プライマリ１０およびセカンダリ２０には古いデータが記憶され、ターシャリ３０には更新された新しいデータが記憶される。
また、ケース（３）は、セカンダリ２０がプライマリ１０に返答する際に、ネットワークに一時的な通信障害が起こり、プライマリ１０でタイムアウトが発生した場合である。この場合、タイムアウト時には、データの書き込みは行われないとすると、プライマリ１０には古いデータが記憶され、セカンダリ２０およびターシャリ３０には更新された新しいデータが記憶される。
本願に開示の技術は、１つの側面では、各ノードが保持するデータ間における矛盾の発生を抑制することを目的とする。
第１の案では、データ管理プログラムは、他のストレージ装置と同一のデータを記憶するストレージ装置に以下の処理を実行させる。すなわち、データ管理プログラムは、前記データを記憶する他のストレージ装置である第１の装置またはクライアント装置のいずれか一方から前記データについて更新データの書き込み要求を受け付ける。そして、データ管理プログラムは、前記データを記憶する他のストレージ装置であって前記第１の装置とは異なる第２の装置に前記更新データの書き込みを要求する。そして、データ管理プログラムは、前記第２の装置から所定の時間内に応答がない場合に前記更新データの書き込み要求を行った第１の装置またはクライアント装置に障害発生による書き込み失敗を通知する。また、データ管理プログラムは、前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記更新データの書き込み要求を行った第１の装置またはクライアント装置に障害発生による書き込み失敗を通知する。そして、データ管理プログラムは、前記データを記憶する他のストレージ装置との間で前記第２の装置が記憶する前記データに基づいて前記データについて同期をとる。
本願に開示の技術は、１つの側面では、各ノードが保持するデータ間における矛盾の発生を抑制することができる。
図１は、実施例に係る分散ストレージシステムの構成を示す機能ブロック図である。 図２は、実施例に係る分散ストレージシステムによる正常時のPut処理の処理手順を示すフローチャートである。 図３は、実施例に係る分散ストレージシステムによる正常時のGet処理の処理手順を示すフローチャートである。 図４は、Put処理中にセカンダリにGet要求が来た場合の処理の流れを示す図である。 図５は、実施例に係る分散ストレージシステムによる異常時のPut処理の処理手順を示す第１のフローチャートである。 図６は、実施例に係る分散ストレージシステムによる異常時のPut処理の処理手順を示す第２のフローチャートである。 図７は、実施例に係る分散ストレージシステムによる異常時のPut処理の処理手順を示す第３のフローチャートである。 図８は、同期処理の処理手順を示すフローチャートである。 図９は、各ノードが複数の役割を有する場合に保持するデータの一例を示す図である。 図１０は、各ノードが複数の役割を有する場合の同期処理の処理手順を示すフローチャートである。 図１１は、実施例に係るデータ管理プログラムを実行するコンピュータの構成を示す機能ブロック図である。 図１２ａは、データをGetする方式の一例を示す図である。 図１２ｂは、データをPutする方式の一例を示す図である。 図１３は、従来方式で問題が発生する３つのケースを示す図である。
以下に、本願の開示するデータ管理プログラム、データ管理方法およびストレージ装置の実施例を図面に基づいて詳細に説明する。
まず、実施例に係る分散ストレージシステムの構成について説明する。図１は、実施例に係る分散ストレージシステムの構成を示す機能ブロック図である。図１に示すように、分散ストレージシステム１００は、プライマリ１、セカンダリ２、ターシャリ３および制御ノード４を有する。
プライマリ１は「プライマリ」の役割を有するノードであり、セカンダリ２は「セカンダリ」の役割を有するノードであり、ターシャリ３は「ターシャリ」の役割を有するノードである。プライマリ１、セカンダリ２、ターシャリ３および制御ノード４は、ネットワークに接続され、ネットワークを介して相互に通信することができる。また、プライマリ１、セカンダリ２、ターシャリ３はネットワークを介してクライアント５に接続される。
プライマリ１、セカンダリ２、ターシャリ３は、同一のデータを記憶する。クライアント５は、分散ストレージシステム１００へのデータのPut、分散ストレージシステム１００からのデータのGetを行う装置である。クライアント５は、プライマリ１、セカンダリ２、ターシャリ３のいずれに対してもデータのGetを要求することができるが、データのPutはプライマリ１に対してだけ要求することができる。Put要求はクライアント５→プライマリ１→セカンダリ２→ターシャリ３の順に伝達され、Put要求に対する応答は、ターシャリ３→セカンダリ２→プライマリ１→クライアント５の順に伝達される。
クライアント５は、Put/Get要求部５１を有し、Put/Get要求部５１が分散ストレージシステム１００へデータのPutおよびGetを要求する。なお、ここでは説明の便宜上、１台のクライアント５のみを示したが、プライマリ１、セカンダリ２、ターシャリ３は、ネットワークを介して複数のクライアント５に接続される。また、Put要求には書き込みを要求するデータおよびデータ名が含まれ、Get要求には読み出しを要求するデータ名が含まれる。
プライマリ１およびセカンダリ２は、データ記憶部１１、多重化情報保持部１２、Put/Get実行部１３、ノード間Put要求部１４、多重化情報変更実行部１５、Put失敗データ名保持部１６、Put失敗データ同期部１７を有する。ターシャリ３は、データ記憶部１１、多重化情報保持部１２、Put/Get実行部１３、多重化情報変更実行部１５を有する。
データ記憶部１１は、クライアント５がプライマリ１に対してPutしたデータを記憶するディスク装置である。クライアント５がプライマリ１に対してPutしたデータは、プライマリ１、セカンダリ２およびターシャリ３のデータ記憶部１１に多重化されて記憶される。
多重化情報保持部１２は、多重化情報を保持する。ここで、多重化情報とは、データの多重化に関する情報であり、多重化チェーン情報を含む。多重化チェーン情報は、Put要求およびPut要求に対する応答が伝達される多重化チェーンにおいてノードの順序を示す情報であり、例えば、プライマリ１が最初で、セカンダリ２が２番目で、ターシャリ３が最後という順序を示す情報である。
Put/Get実行部１３は、クライアント５が分散ストレージシステム１００に送信するGet要求およびPut要求を実行する。Get要求については、Put/Get実行部１３は、クライアント５から直接受信し、データ記憶部１１に記憶されたデータをクライアント５に送信する。一方、Put要求については、プライマリ１のPut/Get実行部１３だけがクライアント５から直接受信し、他のノードのPut/Get実行部１３は、多重化チェーン情報で順序が１つ前のノードから受信する。例えば、セカンダリ２のPut/Get実行部１３はプライマリ１からPut要求を受信し、ターシャリ３のPut/Get実行部１３はセカンダリ２からPut要求を受信する。また、Put/Get実行部１３は、Put要求されたデータをデータ記憶部１１に書き込む。
また、Put/Get実行部１３は、自装置が多重化チェーン情報で最後のノードでない場合には、多重化情報保持部１２を参照し、ノード間Put要求部１４に対して多重化チェーン情報で順序が次のノードにPut要求を送信するように指示する。例えば、プライマリ１のPut/Get実行部１３はセカンダリ２にPut要求を送信するようにノード間Put要求部１４に指示し、セカンダリ２のPut/Get実行部１３はターシャリ３にPut要求を送信するようにノード間Put要求部１４に指示する。
また、Put/Get実行部１３は、多重化チェーン情報で順序が次のノードからノード間Put要求部１４を介してPutの結果を受け取ると、データ記憶部１１にデータを書き込む。そして、Put/Get実行部１３は、多重化チェーン情報で順序が前のノードまたはクライアント５にPutの結果を通知する。
ただし、Put/Get実行部１３は、ノード間Put要求部１４からPut要求に対するタイムアウトによるPut失敗を通知されると、Put失敗データ名保持部１６にPutが失敗したデータ名を格納し、Put失敗データ同期部１７にPutが失敗したデータの同期を指示する。なお、ターシャリ３のPut/Get実行部１３は、ノード間Put要求部１４を備えないため、Put要求の送信を指示することはなく、Put要求に対するタイムアウトによるPut失敗を通知されることもない。
また、Put/Get実行部１３は、多重化チェーン情報で順序が前のノードのPut失敗データ同期部１７からタイムアウトによりPutが失敗したデータの同期のためのGet要求を受信し、自装置のPut失敗データ同期部１７に渡す。ただし、ターシャリ３のPut/Get実行部１３は、Put失敗データ同期部１７を備えず、データ記憶部１１に記憶したデータをセカンダリ２のPut失敗データ同期部１７に送信する。
また、Put/Get実行部１３は、Put失敗データ同期部１７から同期用のデータを受け取ると、受け取ったデータをデータ記憶部１１に書き込むとともに多重化チェーン情報で順序が前のノードに同期用のデータを送信する。ただし、プライマリ１のPut/Get実行部１３は、受け取ったデータをデータ記憶部１１に書き込んで同期処理を終了する。
ノード間Put要求部１４は、Put/Get実行部１３の指示に基づいて多重化チェーン情報で順序が次のノードにPut要求を送信する。そして、ノード間Put要求部１４は、多重化チェーン情報で順序が次のノードからPut要求に対する応答を受信すると、Put/Get実行部１３に通知する。
また、ノード間Put要求部１４は、多重化チェーン情報で順序が次のノードへ送信したPut要求に対する応答が所定の時間内に得られない場合に、タイムアウトによるPut失敗をPut/Get実行部１３に通知する。このように、ノード間Put要求部１４がタイムアウトによるPut失敗をPut/Get実行部１３に通知することによって、分散ストレージシステム１００はPut処理中に発生するネットワークおよびノードの障害に対応することができる。
多重化情報変更実行部１５は、制御ノード４から多重化情報の変更要求を受信し、多重化情報保持部１２が保持する多重化情報を更新する。多重化情報の変更は、ノードの障害、ノードの障害からの回復、ノードの再配置などによりノード間でのデータの移動や各ノードの有する役割の変更があったときに行われる。
Put失敗データ名保持部１６は、Putに失敗し、非同期状態にあるデータのデータ名をPut失敗データ名として保持する。Put/Get実行部１３は、Put失敗データ名保持部１６がデータ名を保持するデータに対するクライアント５からのGet要求をロックし、クライアント５にエラーすなわち障害発生によるPut失敗を返信する。したがって、分散ストレージシステム１００は、非同期状態にあるデータがクライアント５に送信されることを防ぐことができる。
Put失敗データ同期部１７は、Put失敗データ名保持部１６を参照して、Putに失敗したデータを同期する処理を行う。すなわち、Put失敗データ同期部１７は、多重化チェーン情報で順序が次のノードのPut/Get実行部１３にデータ名を指定して同期用データの送信を要求し、送信された同期用データを自装置のPut/Get実行部１３に渡す。また、Put失敗データ同期部１７は、自装置のPut/Get実行部１３により同期用データのデータ記憶部１１への書き込みが完了するとPut失敗データ名からデータ名を削除する。
なお、同期処理は、多重化チェーン情報で順序が先頭のノードのPut失敗データ同期部１７により開始される。他のノードのPut失敗データ同期部１７は、多重化チェーン情報で順序が前のノードのPut失敗データ同期部１７による同期用データの取得要求を受けて同期処理を行う。
制御ノード４は、分散ストレージシステム１００を制御するノードであり、多重化情報変更要求部４１を有する。多重化情報変更要求部４１は、多重化チェーン情報などに変更があった場合に、保持する多重化情報の変更を各ノードに要求する。
次に、実施例に係る分散ストレージシステム１００の正常時の処理手順について図２〜図３を用いて説明する。図２は、実施例に係る分散ストレージシステム１００による正常時のPut処理の処理手順を示すフローチャートである。図２に示すように、プライマリ１のPut/Get実行部１３は、クライアント５からPut要求を受信する（ステップＳ１）と、多重化情報保持部１２からセカンダリ情報を取得する（ステップＳ２）。そして、Put/Get実行部１３は、受信したPut要求と同じPut要求をセカンダリ２に発行するようにノード間Put要求部１４に指示し、ノード間Put要求部１４は、セカンダリ２に対してPut要求を発行する（ステップＳ３）。
すると、セカンダリ２のPut/Get時実行部１３は、プライマリ１からPut要求を受信し（ステップＳ４）、多重化情報保持部１２からターシャリ情報を取得する（ステップＳ５）。そして、Put/Get実行部１３は受信したPut要求と同じPut要求をターシャリ３に発行するようにノード間Put要求部１４に指示し、ノード間Put要求部１４はターシャリ３に対してPut要求を発行する（ステップＳ６）。
すると、ターシャリ３のPut/Get実行部１３は、セカンダリ２からPut要求を受信し（ステップＳ７）、セカンダリ２に「ＯＫ」を返信する（ステップＳ８）とともに、データをデータ記憶部１１に書き込む（ステップＳ９）。
そして、セカンダリ２のノード間Put要求部１４はターシャリ３から「ＯＫ」を受信し（ステップＳ１０）、Put/Get実行部１３に「成功」を通知する。すると、Put/Get実行部１３は、プライマリ１に「ＯＫ」を返信する（ステップＳ１１）とともに、データをデータ記憶部１１に書き込む（ステップＳ１２）。
そして、プライマリ１のノード間Put要求部１４はセカンダリ２から「ＯＫ」を受信し（ステップＳ１３）、Put/Get実行部１３に「成功」を通知する。すると、Put/Get実行部１３は、クライアント５に「ＯＫ」を返信する（ステップＳ１４）とともに、データをデータ記憶部１１に書き込む（ステップＳ１５）。
このように、分散ストレージシステム１００は、クライアント５→プライマリ１→セカンダリ２→ターシャリ３→セカンダリ２→プライマリ１→クライアント５、といったようなチェーン型の書き込みを行う。また、各ノードは、Put処理中、すなわち、Put処理を開始してから通信処理等を行ってデータ記憶部１１への書き込みが完了するまでの間、同じデータに対する他のPut要求やGet要求はブロックする。
図３は、実施例に係る分散ストレージシステム１００による正常時のGet処理の処理手順を示すフローチャートである。図３に示すように、プライマリ１、セカンダリ２およびターシャリ３は、それぞれGet要求をクライアント５から受信する（ステップＳ２１、Ｓ３１、Ｓ４１）と、データをデータ記憶部１１から読み出す（ステップＳ２２、Ｓ３２、Ｓ４２）。そして、クライアント５に読み出したデータを送信する（ステップＳ２３、Ｓ３３、Ｓ４３）。
このように、クライアント５は、プライマリ１、セカンダリ２、ターシャリ３のどこからでもデータを取得することができる。また、あるノードがGet処理中に他のノードが同一データに対するGet処理を行うことができる。
なお、あるデータのPut処理中は、そのデータに対する他のPut要求およびGet要求はブロックされ、最初のPut処理が完了した後に、後から来たPut要求およびGet要求に対する処理が行われる。
図４は、Put処理中にセカンダリ２にGet要求が来た場合の処理の流れを示す図である。図４において、○で囲まれたＷは、データ記憶部１１へのデータの書き込みを示し、○で囲まれたＲはデータ記憶部１１からのデータの読み出しを示す。また、長方形は、Put処理を示す。図４に示すように、Get要求は、セカンダリ２においてPut処理が完了するまでブロックされ、Put処理が完了した後、すなわち、セカンダリ２がプライマリ１に返答を返してデータ記憶部１１に書き込みを行った後に、処理される。これにより、正常時におけるデータの一貫性を保持することができる。
次に、実施例に係る分散ストレージシステム１００の異常時の処理手順について図５〜図７を用いて説明する。図５は、実施例に係る分散ストレージシステム１００による異常時のPut処理の処理手順を示す第１のフローチャートである。なお、図５は、図１３に示したケース（１）の障害が発生した場合の処理手順を示す。また、図５において、ステップＳ１〜ステップＳ９の処理は図２の処理と同様であるので、ここでは説明を省略する。
図５に示すように、ターシャリ３がセカンダリ２に「ＯＫ」を返信した時点でセカンダリ２に障害が発生している場合には、プライマリ１のノード間Put要求部１４は、Put要求に対する応答がないので、タイムアウトを検出する（ステップＳ５１）。
すると、プライマリ１において、ノード間Put要求部１４は、「失敗」をPut/Get実行部１３に通知する。すると、Put/Get実行部１３は、クライアント５にタイムアウトによるエラーを返信する（ステップＳ５２）とともに、Putを要求されたデータの書き込みをデータ記憶部１１に行う（ステップＳ５３）。
そして、プライマリ１において、Put/Get実行部１３は、Putを要求されたデータのデータ名をPut失敗データ名保持部１６に書き込み（ステップＳ５４）、Put失敗データ同期部１７にデータの同期を指示する。そして、プライマリ１において、Put失敗データ同期部１７が、Put失敗データ名保持部１６を参照し、ターシャリ３と連携してデータの同期処理を行う（ステップＳ５５）。
なお、プライマリ１による同期処理は、障害発生直後はセカンダリ２に障害が発生しているため失敗するが、しばらくするとセカンダリ２の故障が検出され、ターシャリ３がセカンダリ２に昇格する。すると、新たにセカンダリとなった旧ターシャリに対してプライマリ１が同期処理を開始する。
また、同期処理が完了するまで、プライマリ１は、該当データに対する他のPut要求は待たせ、Get要求はリトライを要求するエラーを返す。エラーを受け取ったクライアント５は、多重化チェーンの最後尾に対してGet要求を発行する。多重化チェーンの最後尾へのGetはブロックされないため、最後尾のノードはGet処理を実行することができる。
このように、セカンダリ２がPut要求をターシャリ３に発行した後でセカンダリ２に障害が発生すると、プライマリ１がタイムアウトを検出して同期処理を開始するので、分散ストレージシステム１００はデータの一貫性を保持することができる。
なお、ここでは、ターシャリ３がセカンダリ２に「ＯＫ」を返信した時点でセカンダリ２に障害が発生している場合について説明した。しかし、セカンダリ２がターシャリ３から「ＯＫ」を受信してプライマリ１に「ＯＫ」を送信する前にセカンダリ２に障害が発生した場合にも同様に、プライマリ１がタイムアウトを検出し、同期処理を行うことができる。
図６は、実施例に係る分散ストレージシステム１００による異常時のPut処理の処理手順を示す第２のフローチャートである。なお、図６は、図１３に示したケース（２）の障害が発生した場合の処理手順を示す。また、図６において、ステップＳ１〜ステップＳ９の処理は図２の処理と同様であるので、ここでは説明を省略する。
図６に示すように、ターシャリ３がセカンダリ２に返答する際に、ネットワークに一時的な通信障害が起こると、セカンダリ２のノード間Put要求部１４は、Put要求に対する応答がないので、タイムアウトを検出する（ステップＳ６１）。
すると、セカンダリ２において、ノード間Put要求部１４は、「失敗」をPut/Get実行部１３に通知する。すると、セカンダリ２において、Put/Get実行部１３は、プライマリ１にタイムアウトによるエラーを返信する（ステップＳ６２）とともに、Putを要求されたデータの書き込みをデータ記憶部１１に行う（ステップＳ６３）。そして、セカンダリ２において、Put/Get実行部１３は、Putを要求されたデータのデータ名をPut失敗データ名保持部１６に書き込む（ステップＳ６４）。
そして、プライマリ１のノード間Put要求部１４は、タイムアウトによるエラーを受信する（ステップＳ６５）と、Put/Get実行部１３に通知する。すると、プライマリ１において、Put/Get実行部１３は、クライアント５にタイムアウトによるエラーを返信する（ステップＳ６６）とともに、Putを要求されたデータの書き込みをデータ記憶部１１に行う（ステップＳ６７）。そして、プライマリ１において、Put/Get実行部１３は、Putを要求されたデータのデータ名をPut失敗データ名保持部１６に書き込み（ステップＳ６８）、Put失敗データ同期部１７にデータの同期を指示する。そして、Put失敗データ同期部１７が、Put失敗データ名保持部１６を参照し、セカンダリ２およびターシャリ３と連携してデータの同期処理を行う（ステップＳ６９）。
このように、ターシャリ３がセカンダリ２に返答する際にネットワークに一時的な通信障害が起きると、セカンダリ２がタイムアウトを検出してプライマリ１に返信する。そして、タイムアウトの通知を受信したプライマリ１が同期処理を開始するので、分散ストレージシステム１００はデータの一貫性を保持することができる。
図７は、実施例に係る分散ストレージシステム１００による異常時のPut処理の処理手順を示す第３のフローチャートである。なお、図７は、図１３に示したケース（３）の障害が発生した場合の処理手順を示す。また、図７において、ステップＳ１〜ステップＳ１２の処理は図２の処理と同様であるので、ここでは説明を省略する。
図７に示すように、セカンダリ２がプライマリ１に返答する際に、ネットワークに一時的な通信障害が起こると、プライマリ１のノード間Put要求部１４は、Put要求に対する応答がないので、タイムアウトを検出する（ステップＳ７１）。
すると、プライマリ１において、ノード間Put要求部１４は、「失敗」をPut/Get実行部１３に通知する。すると、Put/Get実行部１３は、クライアント５にタイムアウトによるエラーを返信する（ステップＳ７２）とともに、Putを要求されたデータの書き込みをデータ記憶部１１に行う（ステップＳ７３）。そして、プライマリ１において、Put/Get実行部１３は、Putを要求されたデータのデータ名をPut失敗データ名保持部１６に書き込み（ステップＳ７４）、Put失敗データ同期部１７にデータの同期を指示する。そして、プライマリ１において、Put失敗データ同期部１７が、Put失敗データ名保持部１６を参照し、セカンダリ２およびターシャリ３と連携してデータの同期処理を行う（ステップＳ７５）。
このように、セカンダリ２がプライマリ１に返答する際にネットワークに一時的な通信障害が起きると、セカンダリ１がタイムアウトを検出して同期処理を開始するので、分散ストレージシステム１００はデータの一貫性を保持することができる。
次に、同期処理の処理手順について説明する。図８は、同期処理の処理手順を示すフローチャートである。なお、図８では、プライマリ１およびセカンダリ２がPut失敗データ名保持部１６にPutが失敗したデータのデータ名として“ａ”を記憶し、プライマリ１、セカンダリ２およびターシャリ３がデータの同期を行う。
図８に示すように、プライマリ１のPut失敗データ同期部１７は、セカンダリ２に対してデータ名“ａ”のGet要求を発行する（ステップＳ８１）。すると、セカンダリ２のPut/Get実行部１３がセカンダリ２のPut失敗データ同期部１７に対してターシャリ３へのGet要求の発行を指示し、セカンダリ２のPut失敗データ同期部１７がターシャリ３に対してデータ名“ａ”のGet要求を発行する（ステップＳ８２）。
すると、ターシャリ３のPut/Get実行部１３がデータ名“ａ”のデータをデータ記憶部１１から読み出してセカンダリ２に対して返信する（ステップＳ８３）。すると、セカンダリ２のPut失敗データ同期部１７がデータを受け取ってセカンダリ２のPut/Get実行部１３に渡し、セカンダリ２のPut/Get実行部１３がデータ記憶部１１へのデータ書き込み処理を実行する（ステップＳ８４）。
また、セカンダリ２のPut失敗データ同期部１７は、Put失敗データ名保持部１６が保持するPut失敗データ名からデータ名“ａ”を削除し（ステップＳ８５）、データ名“ａ”に対するGetロックを解除する（ステップＳ８６）。そして、セカンダリ２のPut/Get実行部１３が、プライマリ１に対してデータ名“ａ”のデータを返信する（ステップＳ８７）。
すると、プライマリ１のPut失敗データ同期部１７がデータを受け取ってプライマリ１のPut/Get実行部１３に渡し、プライマリ１のPut/Get実行部１３がデータ記憶部１１へのデータ書き込み処理を実行する（ステップＳ８８）。
また、プライマリ１のPut失敗データ同期部１７は、Put失敗データ名保持部１６が保持するPut失敗データ名からデータ名“ａ”を削除し（ステップＳ８９）、データ名“ａ”に対するGetロックを解除する（ステップＳ９０）。
このように、プライマリ１、セカンダリ２およびターシャリ３が同期処理を行うことによって、分散ストレージシステム１００は、Putに失敗したデータの一貫性を保持することができる。
上述してきたように、実施例では、ノード間Put要求部１４が多重化チェーンの順序が次のノードに発行したPut要求に対するタイムアウトを検出してPut/Get実行部１３に通知する。すると、Put/Get実行部１３は、多重化チェーンの順序が前のノードまたはクライアント５にエラーを返信するとともにPut失敗データ同期部１７にPutに失敗したデータの同期を指示し、Put失敗データ同期部１７が同期処理を行う。したがって、分散ストレージシステム１００は、Put処理中に一部のノードに障害やネットワークに一時的な通信障害が発生した場合にも、データの一貫性を保持することができる。
なお、プライマリ１は、同期処理が完了するまでは他のPut要求を待たせ、Get要求はエラーを返す。また、Get要求でエラーを受け取ったクライアント５は、多重化チェーンの最後尾に対してGet要求を発行する。したがって、分散ストレージシステム１００は、各ノードに余計なデータを保持させることなく、常に矛盾しないデータをクライアント５に返すことができる。
なお、実施例では、各ノードが「プライマリ」、「セカンダリ」、「ターシャリ」のいずれかの役割を有する場合について説明した。しかしながら、各ノードは複数の役割を有することが可能であり、データごとに異なる役割を果たすことが可能である。そこで、各ノードが複数の役割を有する場合の同期処理について図９および図１０を用いて説明する。
図９は、各ノードが複数の役割を有する場合に保持するデータの一例を示す図である。図９で、スロットとは、データ名の名前空間を分割したものであり、データがどのスロットに属するかはデータ名から一意に決定される。図９では名前空間は３つのスロット−１、スロット−２およびスロット−３に分割されている。
そして、ノードＡはスロット−１に属するデータに対しては「プライマリ」の役割を果たし、スロット−２に属するデータに対しては「ターシャリ」の役割を果たし、スロット−３に属するデータに対しては「セカンダリ」の役割を果たす。また、ノードＢはスロット−１に属するデータに対しては「セカンダリ」の役割を果たし、スロット−２に属するデータに対しては「プライマリ」の役割を果たし、スロット−３に属するデータに対しては「ターシャリ」の役割を果たす。また、ノードＣはスロット−１に属するデータに対しては「ターシャリ」の役割を果たし、スロット−２に属するデータに対しては「セカンダリ」の役割を果たし、スロット−３に属するデータに対しては「プライマリ」の役割を果たす。
また、ノードの障害、ノードの障害からの回復、ノードの再配置などによりノード間でのデータの移動や各ノードの有する役割の変更が発生した場合、データの移動や役割の変更はスロット単位で行われる。例えば、スロット−１に対する「プライマリ」の役割は、ノード再配置によりノードＡの役割から新たなノードＤの役割に変更されることがある。また、このような、ノードの障害、ノードの障害からの回復、ノードの再配置などによるノード間でのデータの移動や各ノードの有する役割の変更は、同期処理中にも発生する。したがって、Put失敗データ名の移動も同期処理中に発生する。
そこで、各ノードのPut失敗データ名保持部１６は、スロット単位でPut失敗データ名を保持する。例えば、図９に示すように、ノードＡは、スロット−１に属するデータに関しては“ａ”、“ｂ”、“ｃ”、“ｙ”、“ｚ”をPut失敗データ名として保持し、スロット−３に属するデータに関しては“ｍｏｇｅ”をPut失敗データ名として保持する。ただし、ノードＡは、スロット−２に属するデータに対しては「ターシャリ」すなわち多重化チェーンの最後尾の役割を果たすので、スロット−２に関してはPut失敗データ名を保持しない。ここで、スロット−１に対する「プライマリ」の役割が、ノード再配置によりノードＡの役割から新たなノードＤの役割に変更され、ノードＡからノードＤにスロット−１のデータがコピーされたとすると、ノードＡのスロット−１に属するPut失敗データ名はノードＤに移動され、ノードＡから削除される。
また、図９に示すスロット−２の状況において、「ターシャリ」であるノードＡで障害が発生し、「セカンダリ」であるノードＣが多重化チェーンの最後尾となると、データ名“ａａ”はPut失敗データ名から削除される。その理由は、多重化チェーンの最後尾にあるデータを正しいデータとみなすためである。このように、Put失敗データ名保持部１６が、スロット単位でPut失敗データ名を保持することによって、分散ストレージシステム１００は、ノード再配置時等に発生する同期対象データの変更を効率良く行うことができる。
図１０は、各ノードが複数の役割を有する場合の同期処理の処理手順を示すフローチャートである。なお、図１０では、スロット−３に属するデータ名“ｘｙｚ”に対してノードＣがプライマリ１として動作し、ノードＡがセカンダリ２として動作し、ノードＢがターシャリ３として動作する。また、ノードＣだけがPut失敗データ名保持部１６にPutが失敗したデータ名として“ｘｙｚ”を保持する。
図１０に示すように、プライマリ１であるノードＣのPut失敗データ同期部１７は、セカンダリ２であるノードＡに対してデータ名“ｘｙｚ”のGet要求を発行する（ステップＳ９１）。すると、ノードＡのPut/Get実行部１３がノードＡのPut失敗データ同期部１７に対してターシャリ３であるノードＢへのGet要求の発行を指示し、ノードＡのPut失敗データ同期部１７がノードＢに対してデータ名“ｘｙｚ”のGet要求を発行する（ステップＳ９２）。
すると、ノードＢのPut/Get実行部１３がデータ名“ｘｙｚ”のデータをデータ記憶部１１から読み出してノードＡに対して返信する（ステップＳ９３）。すると、ノードＡのPut失敗データ同期部１７がデータを受け取ってノードＡのPut/Get実行部１３に渡し、ノードＡのPut/Get実行部１３がノードＣに対してデータ名“ｘｙｚ”のデータを返信する（ステップＳ９４）。
すると、ノードＣのPut失敗データ同期部１７がデータを受け取ってノードＣのPut/Get実行部１３に渡し、ノードＣのPut/Get実行部１３がデータ記憶部１１へのデータ書き込み処理を実行する（ステップＳ９５）。
また、ノードＣのPut失敗データ同期部１７はPut失敗データ名保持部１６が保持するPut失敗データ名からスロット−３に含まれるデータ名“ｘｙｚ”を削除し（ステップＳ９６）、データ名“ｘｙｚ”に対するGetロックを解除する（ステップＳ９７）。
このように、各ノードはスロットごとに異なる役割を果たすため、スロットごとに異なるノードが同期処理を開始する。
また、実施例では、ストレージ装置としてのノードについて説明したが、ノードが有する構成をソフトウェアによって実現することで、同様の機能を有するデータ管理プログラムを得ることができる。そこで、データ管理プログラムを実行するコンピュータについて説明する。
図１１は、実施例に係るデータ管理プログラムを実行するコンピュータの構成を示す機能ブロック図である。図１１に示すように、コンピュータ２００は、ＲＡＭ２１０と、ＣＰＵ２２０と、ＨＤＤ２３０と、ＬＡＮインタフェース２４０と、入出力インタフェース２５０と、ＤＶＤドライブ２６０とを有する。
ＲＡＭ２１０は、プログラムやプログラムの実行途中結果などを記憶するメモリであり、ＣＰＵ２２０は、ＲＡＭ２１０からプログラムを読み出して実行する中央処理装置である。ＨＤＤ２３０は、プログラムやデータを格納するディスク装置であり、クライアント５からPutされたデータを記憶する。ＬＡＮインタフェース２４０は、コンピュータ２００をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。入出力インタフェース２５０は、マウスやキーボードなどの入力装置および表示装置を接続するためのインタフェースであり、ＤＶＤドライブ２６０は、ＤＶＤの読み書きを行う装置である。
そして、コンピュータ２００において実行されるデータ管理プログラム２１１は、ＤＶＤに記憶され、ＤＶＤドライブ２６０によってＤＶＤから読み出されてコンピュータ２００にインストールされる。あるいは、データ管理プログラム２１１は、ＬＡＮインタフェース２４０を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータ２００にインストールされる。そして、インストールされたデータ管理プログラム２１１は、ＨＤＤ２３０に記憶され、ＲＡＭ２１０に読み出されてＣＰＵ２２０によって実行される。
また、実施例では、同期処理においてターシャリ３が記憶するデータをプライマリ１まで転送する場合について説明した。しかしながら、同期処理において他の方法を用いることもできる。例えば、各データにバージョン番号などを付与し、まずターシャリ３が記憶するバージョン番号をプライマリ１まで転送する。そして、バージョン番号で特定されるデータをプライマリ１が有しない場合にのみデータをターシャリ３からプライマリ１まで転送する。このように、同期処理を２段階にすることで、分散ストレージシステムは、同期処理時のデータ転送量を削減することができる。
また、実施例では、Put/Get実行部１３は、Putの要求元に返答を返してからデータ記憶部１１への書き込みを実行している。しかしながら、Put/Get実行部１３は、返答を返す前にデータ記憶部１１への書き込みを実行することもできる。データ記憶部１１への書き込みタイミングは、静的に決められこともあれば、ストレージ装置故障に伴う多重度の変化等に応じて動的に決められることもある。例えば、Put/Get実行部１３は、正常時には返答を返してからデータ記憶部１１への書き込みを実行し、多重度が１となってしまった場合のみ、返答を返す前にデータ記憶部１１への書き込みを実行することもできる。
また、実施例では、分散ストレージシステム１００が３台のノードを有する場合について説明したが、本発明はこれに限定されるものではなく、分散ストレージシステムが４台以上のノードを有する場合にも同様に適用することができる。
すなわち、プライマリ１とターシャリ３の間に複数のセカンダリ２がある場合にも本発明を同様に適用することができる。この場合、複数のセカンダリ２のいずれかに障害が発生したときには、多重化チェーンで順番が前のノードによってタイムアウトが検出され、多重化チェーンを逆にたどってプライマリ１にタイムアウトによるエラーが通知される。そして、プライマリ１は、障害が発生したノード以外のノードとの間で同期処理を行う。また、複数のセカンダリ２のうちの２つのセカンダリ間を接続するネットワークに一時的な通信障害が発生した場合には、Put要求を発行したセカンダリ２によってタイムアウトが検出される。そして、タイムアウトを検出したセカンダリ２から多重化チェーンを逆にたどってプライマリ１にタイムアウトによるエラーが通知される。そして、プライマリ１は、一時的な通信障害が復旧すると他のノードとの間で同期処理を行う。
また、実施例では、分散ストレージシステム１００が３台のノードを有する場合について説明したが、本発明はこれに限定されるものではなく、分散ストレージシステムが２台のノードを有する場合にも同様に適用することができる。すなわち、分散ストレージシステムがプライマリ１とターシャリ３を有し、プライマリ１とターシャリ３を接続するネットワークに一時的な通信障害が発生した場合には、Put要求を発行したプライマリ１によってタイムアウトが検出される。そして、タイムアウトを検出したプライマリ１は、一時的な通信障害が復旧するとターシャリ３との間で同期処理を行う。
１，１０ プライマリ
２，２０ セカンダリ
３，３０ ターシャリ
４ 制御ノード
５ クライアント
１１ データ記憶部
１２ 多重化情報保持部
１３ Put/Get実行部
１４ ノード間Put要求部
１５ 多重化情報変更実行部
１６ Put失敗データ名保持部
１７ Put失敗データ同期部
４１ 多重化情報変更要求部
５１ Put/Get要求部
１００ 分散ストレージシステム
２００ コンピュータ
２１０ ＲＡＭ
２１１ データ管理プログラム
２２０ ＣＰＵ
２３０ ＨＤＤ
２４０ ＬＡＮインタフェース
２５０ 入出力インタフェース
２６０ ＤＶＤドライブ

Claims (6)

  1. 他のストレージ装置と同一のデータを記憶するストレージ装置に、
    前記データを記憶する他のストレージ装置である第１の装置またはクライアント装置のいずれか一方から前記データについて更新データの書き込み要求を受け付け、
    前記データを記憶する他のストレージ装置であって前記第１の装置とは異なる第２の装置に前記更新データの書き込みを要求し、
    前記第２の装置から所定の時間内に応答がない場合または前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記更新データの書き込み要求を行った第１の装置またはクライアント装置に障害発生による書き込み失敗を通知し、
    前記データを記憶する他のストレージ装置との間で前記第２の装置が記憶する前記データに基づいて前記データについて同期をとる
    処理を実行させることを特徴とするデータ管理プログラム。
  2. 前記同期をとる処理が完了するまでは、クライアント装置からの前記データの読み出し要求に対して再要求を該クライアント装置に依頼する処理をさらに前記ストレージ装置に実行させることを特徴とする請求項１に記載のデータ管理プログラム。
  3. 前記更新データの書き込み要求を前記クライアント装置から受け付け、
    前記第２の装置から所定の時間内に応答がない場合または前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記更新データの書き込み要求を行ったクライアント装置に障害発生による書き込み失敗を通知し、
    前記同期をとる処理が完了するまでは、前記データに関する他の書き込み要求を待たせる処理をさらに前記ストレージ装置に実行させることを特徴とする請求項１または２に記載のデータ管理プログラム。
  4. 前記第２の装置から所定の時間内に応答がない場合または前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記データを識別するデータ識別子をストレージ装置間でのデータ再配置の単位であるスロット単位で記憶し、スロット単位で記憶したデータ識別子を用いて他のストレージ装置との間で前記データについて同期をとる処理を前記ストレージ装置に実行させることを特徴とする請求項１、２または３に記載のデータ管理プログラム。
  5. 他のストレージ装置と同一のデータを記憶するストレージ装置によって実行されるデータ管理方法において、
    前記データを記憶する他のストレージ装置である第１の装置またはクライアント装置のいずれか一方から前記データについて更新データの書き込み要求を受け付け、
    前記データを記憶する他のストレージ装置であって第１の装置とは異なる第２の装置に前記更新データの書き込みを要求し、
    前記第２の装置から所定の時間内に応答がない場合または前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記更新データの書き込み要求を行った第１の装置またはクライアント装置に障害発生による書き込み失敗を通知し、
    前記データを記憶する他のストレージ装置との間で前記第２の装置が記憶する前記データに基づいて前記データについて同期をとる
    ことを特徴とするデータ管理方法。
  6. 他のストレージ装置と同一のデータを記憶するストレージ装置において、
    前記データを記憶する他のストレージ装置である第１の装置またはクライアント装置のいずれか一方から前記データについて更新データの書き込み要求を受け付ける受付部と、
    前記データを記憶する他のストレージ装置であって前記第１の装置とは異なる第２の装置に前記更新データの書き込みを要求する要求部と、
    前記第２の装置から所定の時間内に応答がない場合または前記第２の装置から障害発生による書き込み失敗を通知された場合に、前記更新データの書き込み要求を行った第１の装置またはクライアント装置に障害発生による書き込み失敗を通知する通知部と、
    前記データを記憶する他のストレージ装置との間で前記第２の装置が記憶する前記データに基づいて前記データについて同期をとる同期部と
    を有することを特徴とするストレージ装置。
JP2011263062A 2011-11-30 2011-11-30 データ管理プログラム、データ管理方法およびストレージ装置 Active JP5862246B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011263062A JP5862246B2 (ja) 2011-11-30 2011-11-30 データ管理プログラム、データ管理方法およびストレージ装置
US13/604,682 US8977897B2 (en) 2011-11-30 2012-09-06 Computer-readable recording medium, data management method, and storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011263062A JP5862246B2 (ja) 2011-11-30 2011-11-30 データ管理プログラム、データ管理方法およびストレージ装置

Publications (2)

Publication Number Publication Date
JP2013114628A JP2013114628A (ja) 2013-06-10
JP5862246B2 true JP5862246B2 (ja) 2016-02-16

Family

ID=48467935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011263062A Active JP5862246B2 (ja) 2011-11-30 2011-11-30 データ管理プログラム、データ管理方法およびストレージ装置

Country Status (2)

Country Link
US (1) US8977897B2 (ja)
JP (1) JP5862246B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353774B2 (en) * 2015-10-30 2019-07-16 International Business Machines Corporation Utilizing storage unit latency data in a dispersed storage network
JP2014075964A (ja) 2012-09-11 2014-04-24 Ricoh Co Ltd 種類判定装置、種類判定方法およびプログラム
US9092796B2 (en) * 2012-11-21 2015-07-28 Solomo Identity, Llc. Personal data management system with global data store
WO2021124523A1 (ja) * 2019-12-19 2021-06-24 三菱電機株式会社 光送信装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6308284B1 (en) * 1998-08-28 2001-10-23 Emc Corporation Method and apparatus for maintaining data coherency
JP2000357162A (ja) * 1999-06-16 2000-12-26 Nec Commun Syst Ltd 分散サーバ構成におけるサーバ間のデータ同期方式
US7017160B2 (en) * 2000-04-18 2006-03-21 Sun Microsystems, Inc. Concurrent shared object implemented using a linked-list with amortized node allocation
US7134044B2 (en) * 2002-08-16 2006-11-07 International Business Machines Corporation Method, system, and program for providing a mirror copy of data
US7149919B2 (en) * 2003-05-15 2006-12-12 Hewlett-Packard Development Company, L.P. Disaster recovery system with cascaded resynchronization
US7266665B2 (en) * 2003-06-17 2007-09-04 International Business Machines Corporation Method, system, and article of manufacture for remote copying of data
US7490113B2 (en) * 2003-08-27 2009-02-10 International Business Machines Corporation Database log capture that publishes transactions to multiple targets to handle unavailable targets by separating the publishing of subscriptions and subsequently recombining the publishing
US7188222B2 (en) * 2003-09-29 2007-03-06 International Business Machines Corporation Method, system, and program for mirroring data among storage sites
US7188272B2 (en) * 2003-09-29 2007-03-06 International Business Machines Corporation Method, system and article of manufacture for recovery from a failure in a cascading PPRC system
JP2006127217A (ja) * 2004-10-29 2006-05-18 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
JP2006185108A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd ストレージシステムのデータを管理する管理計算機及びデータ管理方法
US20060182050A1 (en) * 2005-01-28 2006-08-17 Hewlett-Packard Development Company, L.P. Storage replication system with data tracking
US7430646B2 (en) * 2006-03-31 2008-09-30 Emc Corporation Planned switchover in connection with triangular asynchronous replication
US7702953B2 (en) * 2007-01-04 2010-04-20 International Business Machines Corporation Storage management in cascaded replication of data
US7818522B2 (en) * 2007-09-07 2010-10-19 International Business Machines Corporation Apparatus, system, and method for incremental resynchronization in a data storage system
US8533411B2 (en) * 2010-03-11 2013-09-10 International Business Machines Corporation Multiple backup processes
JP5776267B2 (ja) * 2011-03-29 2015-09-09 日本電気株式会社 分散ファイルシステム
US8812901B2 (en) * 2011-09-23 2014-08-19 Lsi Corporation Methods and apparatus for marking writes on a write-protected failed device to avoid reading stale data in a RAID storage system
US9372910B2 (en) * 2012-01-04 2016-06-21 International Business Machines Corporation Managing remote data replication

Also Published As

Publication number Publication date
JP2013114628A (ja) 2013-06-10
US20130138999A1 (en) 2013-05-30
US8977897B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
US11720456B2 (en) Automatic configuration of a recovery service
US9311199B2 (en) Replaying jobs at a secondary location of a service
JP5191062B2 (ja) ストレージ制御システム、ストレージ制御システムに関する操作方法、データ・キャリア及びコンピュータ・プログラム
JP6684367B2 (ja) データ処理方法及びデバイス
JP6084624B2 (ja) 高可用性クラスタにおけるスプリット・ブレイン耐性フェイルオーバ
JP4573310B2 (ja) ストレージ・サブシステム全体にわたる整合的な更新のための方法、システム、およびコンピュータ・プログラム
JP6832917B2 (ja) データ同期の方法及びシステム
US20170168756A1 (en) Storage transactions
JP2012507075A (ja) 分散データシステムにおける構成管理
CN104994168A (zh) 分布式存储方法及分布式存储系统
CN106605217B (zh) 用于将应用从一个站点移动到另一站点的方法和系统
JP5292351B2 (ja) メッセージキュー管理システム及びロックサーバ及びメッセージキュー管理方法及びメッセージキュー管理プログラム
JP5862246B2 (ja) データ管理プログラム、データ管理方法およびストレージ装置
CN107729515A (zh) 一种数据同步的方法、装置及存储介质
US9043283B2 (en) Opportunistic database duplex operations
JP2015095015A (ja) データ配置方法、データ配置プログラムおよび情報処理システム
JP5956940B2 (ja) 冗長化システムおよび現用機決定方法
KR20160025994A (ko) 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템
KR20130043823A (ko) 로그에 기반하여 데이터 정합성을 유지하는 분산 저장 시스템 및 방법
US20150347239A1 (en) Global backup lock manager
JP7095296B2 (ja) 分散型構成管理装置、分散型構成管理方法、及び、分散型構成管理プログラム
TWI486759B (zh) Subversion configuration library backup method and device
CN119046056A (zh) 卷备份方法、装置、电子设备和存储介质
JP2008097155A (ja) データ記憶制御装置およびデータ記憶装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5862246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150