JP3184171B2 - ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 - Google Patents
ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体Info
- Publication number
- JP3184171B2 JP3184171B2 JP01432599A JP1432599A JP3184171B2 JP 3184171 B2 JP3184171 B2 JP 3184171B2 JP 01432599 A JP01432599 A JP 01432599A JP 1432599 A JP1432599 A JP 1432599A JP 3184171 B2 JP3184171 B2 JP 3184171B2
- Authority
- JP
- Japan
- Prior art keywords
- disk
- data
- error
- disk array
- host computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
- G06F11/1084—Degraded mode, e.g. caused by single or multiple storage removals or disk failures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、情報処理装置にお
いてデータ記憶装置として広く使用されているディスク
アレイ装置、ディスクアレイ装置におけるエラー制御方
法、ならびにエラー制御方法のための制御プログラムを
記録した記録媒体に関する。
いてデータ記憶装置として広く使用されているディスク
アレイ装置、ディスクアレイ装置におけるエラー制御方
法、ならびにエラー制御方法のための制御プログラムを
記録した記録媒体に関する。
【０００２】
【従来の技術】近年、この種のディスクアレイ装置とし
て、例えばハードディスク装置等のディスク装置を複数
有し、これら複数のディスク装置にデータを冗長なデー
タと共に記録するもの（RAID方式装置：Redundant Arra
y of Inexpensive Disks方式装置）が、広く使用されつ
つある。これは、複数のディスク装置のうちの１台で、
仮に、リードエラー、故障、または異常が発生したとし
ても、残りのディスク装置によってデータを復旧するこ
とができ、データ記憶装置として高信頼性を奏するから
である。
て、例えばハードディスク装置等のディスク装置を複数
有し、これら複数のディスク装置にデータを冗長なデー
タと共に記録するもの（RAID方式装置：Redundant Arra
y of Inexpensive Disks方式装置）が、広く使用されつ
つある。これは、複数のディスク装置のうちの１台で、
仮に、リードエラー、故障、または異常が発生したとし
ても、残りのディスク装置によってデータを復旧するこ
とができ、データ記憶装置として高信頼性を奏するから
である。
【０００３】ところで、高記録密度化された近年のディ
スク装置においては、ディスク（記録媒体）上に微小な
キズ等があるだけで、リードエラーを起こす可能性があ
る。リードエラーに対しては一般にディスク装置内部に
おいてデータ書き込み／読み出しの再試行（あるいは内
部再試行とも呼ばれる）を行っているが、この再試行が
行われる確率がディスク装置の高記録密度化に伴い、増
えてきている。尚、再試行には、通常、数秒程度を要す
る。また、低い確率ではあるが、再試行によっても救済
されず（書き込み／読み出し成功せず）に、完全に書き
込み／読み出し不能である場合もある。完全に書き込み
／読み出し不能なディスク装置は、交換や修理等の保守
が施される。
スク装置においては、ディスク（記録媒体）上に微小な
キズ等があるだけで、リードエラーを起こす可能性があ
る。リードエラーに対しては一般にディスク装置内部に
おいてデータ書き込み／読み出しの再試行（あるいは内
部再試行とも呼ばれる）を行っているが、この再試行が
行われる確率がディスク装置の高記録密度化に伴い、増
えてきている。尚、再試行には、通常、数秒程度を要す
る。また、低い確率ではあるが、再試行によっても救済
されず（書き込み／読み出し成功せず）に、完全に書き
込み／読み出し不能である場合もある。完全に書き込み
／読み出し不能なディスク装置は、交換や修理等の保守
が施される。
【０００４】以上のような実情を考慮して、一般的なデ
ータ処理に使用される従来のディスクアレイ装置では、
ディスク装置における再試行が終了するまで待ち、再試
行により救済できた場合には通常通りの動作を続行する
一方、再試行しても依然として書き込み／読み出し不能
であるディスク装置は故障として切り離し、縮退運転し
ている。
ータ処理に使用される従来のディスクアレイ装置では、
ディスク装置における再試行が終了するまで待ち、再試
行により救済できた場合には通常通りの動作を続行する
一方、再試行しても依然として書き込み／読み出し不能
であるディスク装置は故障として切り離し、縮退運転し
ている。
【０００５】
【発明が解決しようとする課題】ところが、最近のディ
スク装置は再試行に長時間を要する傾向にある。再試行
に長時間を要すると、ディスク装置本来の動作、即ちホ
スト装置との間のデータの入出力が滞る。このため、他
の従来例として、所定時間以内に再試行が実行完了しな
い、エラーが発生したディスク装置は全て、故障装置と
みなし、ディスクアレイ装置から切り離し、縮退運転す
るディスクアレイ装置が提案されている。
スク装置は再試行に長時間を要する傾向にある。再試行
に長時間を要すると、ディスク装置本来の動作、即ちホ
スト装置との間のデータの入出力が滞る。このため、他
の従来例として、所定時間以内に再試行が実行完了しな
い、エラーが発生したディスク装置は全て、故障装置と
みなし、ディスクアレイ装置から切り離し、縮退運転す
るディスクアレイ装置が提案されている。
【０００６】また、ディスクアレイ装置を特に動画の蓄
積装置として使用する場合には、動画を連続的に記録／
再生するために、データ書込み／読出し命令発行からデ
ータの授受が完了するまでの可能な待ち時間は非常に短
い。つまり、十分な救済処理時間（再試行時間）を確保
する余裕がない。このため、動画用の従来のディスクア
レイ装置では、非常に短い待ち時間であっても、この待
ち時間中に再試行が完了しないディスク装置は全て、故
障装置とみなし、ディスクアレイ装置から切り離し、縮
退運転せざるを得ない。
積装置として使用する場合には、動画を連続的に記録／
再生するために、データ書込み／読出し命令発行からデ
ータの授受が完了するまでの可能な待ち時間は非常に短
い。つまり、十分な救済処理時間（再試行時間）を確保
する余裕がない。このため、動画用の従来のディスクア
レイ装置では、非常に短い待ち時間であっても、この待
ち時間中に再試行が完了しないディスク装置は全て、故
障装置とみなし、ディスクアレイ装置から切り離し、縮
退運転せざるを得ない。
【０００７】再試行を行うための時間を制限している従
来のディスクアレイ装置では、仮に十分な再試行時間が
与えられているならば書き込み／読み出し成功するかも
しれない本来正常なディスク装置であっても、所定時間
内に再試行が完了しないディスク装置は全て故障装置と
して縮退運転することになる。このように、本来正常な
ディスク装置をも縮退させてしまうこと自体、合理的で
はないし、それに伴って本来正常なディスク装置の保
守、交換を行うことも不合理である。
来のディスクアレイ装置では、仮に十分な再試行時間が
与えられているならば書き込み／読み出し成功するかも
しれない本来正常なディスク装置であっても、所定時間
内に再試行が完了しないディスク装置は全て故障装置と
して縮退運転することになる。このように、本来正常な
ディスク装置をも縮退させてしまうこと自体、合理的で
はないし、それに伴って本来正常なディスク装置の保
守、交換を行うことも不合理である。
【０００８】また、ディスク装置の縮退運転時には、デ
ィスクアレイ装置は冗長性を持たないので、さらに他の
箇所や他のディスク装置でエラーが発生すると、データ
の書き込み／読出しが不可能になる危険性が高い。この
ことを考慮しても、所定時間内に再試行が完了しないデ
ィスク装置を全て縮退運転する方法は、縮退運転の確率
上昇を招き、ひいてはデータ記憶装置としての信頼性が
低下するため、好ましくない。
ィスクアレイ装置は冗長性を持たないので、さらに他の
箇所や他のディスク装置でエラーが発生すると、データ
の書き込み／読出しが不可能になる危険性が高い。この
ことを考慮しても、所定時間内に再試行が完了しないデ
ィスク装置を全て縮退運転する方法は、縮退運転の確率
上昇を招き、ひいてはデータ記憶装置としての信頼性が
低下するため、好ましくない。
【０００９】それ故、本発明の目的は、本来の動作を滞
らせることなくディスク装置の書き込み／読出しエラー
に対処できることに加え、本来正常なディスク装置をも
縮退させてしまうような不要な縮退運転を行うことがな
いディスクアレイ装置を提供することである。
らせることなくディスク装置の書き込み／読出しエラー
に対処できることに加え、本来正常なディスク装置をも
縮退させてしまうような不要な縮退運転を行うことがな
いディスクアレイ装置を提供することである。
【００１０】本発明の他の目的は、上記ディスクアレイ
装置におけるエラーを処理するためのエラー制御方法を
提供することである。
装置におけるエラーを処理するためのエラー制御方法を
提供することである。
【００１１】本発明のさらに他の目的は、上記エラー制
御方法を実行するプログラムを格納した記録媒体を提供
することである。
御方法を実行するプログラムを格納した記録媒体を提供
することである。
【００１２】
【課題を解決するための手段】本発明によれば、複数の
ディスク装置を冗長性を持つように有し、ホストコンピ
ュータからのデータ書込み命令またはデータ読出し命令
に応じてホストコンピュータとの間でデータ書込み動作
またはデータ読出し動作をなすディスクアレイ装置にお
いて、データ書込み動作およびデータ読出し動作のどち
らかにおける異常を検出すると共に、いずれのディスク
装置において異常があったのか記録しておく異常検出／
異常装置特定化情報記憶手段と、当該異常発生ディスク
装置を一時的に切離して、ディスクアレイ装置として縮
退運転扱い（仮縮退運転と呼ぶ）として管理する切離し
状態管理手段と、仮縮退運転時にホストコンピュータか
らデータ書込み命令またはデータ読出し命令を受けた時
に、冗長性を利用して異常発生ディスク装置以外のディ
スク装置にホストコンピュータとの間でデータ書込み動
作またはデータ読出し動作を行わせる命令実行手段と、
ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行手段とを有することを特徴とするディス
クアレイ装置が得られる。
ディスク装置を冗長性を持つように有し、ホストコンピ
ュータからのデータ書込み命令またはデータ読出し命令
に応じてホストコンピュータとの間でデータ書込み動作
またはデータ読出し動作をなすディスクアレイ装置にお
いて、データ書込み動作およびデータ読出し動作のどち
らかにおける異常を検出すると共に、いずれのディスク
装置において異常があったのか記録しておく異常検出／
異常装置特定化情報記憶手段と、当該異常発生ディスク
装置を一時的に切離して、ディスクアレイ装置として縮
退運転扱い（仮縮退運転と呼ぶ）として管理する切離し
状態管理手段と、仮縮退運転時にホストコンピュータか
らデータ書込み命令またはデータ読出し命令を受けた時
に、冗長性を利用して異常発生ディスク装置以外のディ
スク装置にホストコンピュータとの間でデータ書込み動
作またはデータ読出し動作を行わせる命令実行手段と、
ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行手段とを有することを特徴とするディス
クアレイ装置が得られる。
【００１３】本発明によればまた、複数のディスク装置
を冗長性を持つように有し、ホストコンピュータからの
データ書込み命令またはデータ読出し命令に応じてホス
トコンピュータとの間でデータ書込み動作またはデータ
読出し動作をなすディスクアレイ装置のエラー制御方法
において、データ書込み動作およびデータ読出し動作の
どちらかにおける異常を検出すると共に、いずれのディ
スク装置において異常があったのか記録しておく異常検
出／異常装置特定化情報記憶工程と、当該異常発生ディ
スク装置を一時的に切離して、ディスクアレイ装置とし
て縮退運転扱い（仮縮退運転と呼ぶ）として管理する切
離し状態管理工程と、仮縮退運転時にホストコンピュー
タからデータ書込み命令またはデータ読出し命令を受け
た時に、冗長性を利用して異常発生ディスク装置以外の
ディスク装置にホストコンピュータとの間でデータ書込
み動作またはデータ読出し動作を行わせる命令実行工程
と、ホストコンピュータとの間のデータ書込み動作また
はデータ読出し動作と並行して異常発生ディスク装置の
再試行を行う再試行工程とを有することを特徴とするデ
ィスクアレイ装置のエラー制御方法が得られる。
を冗長性を持つように有し、ホストコンピュータからの
データ書込み命令またはデータ読出し命令に応じてホス
トコンピュータとの間でデータ書込み動作またはデータ
読出し動作をなすディスクアレイ装置のエラー制御方法
において、データ書込み動作およびデータ読出し動作の
どちらかにおける異常を検出すると共に、いずれのディ
スク装置において異常があったのか記録しておく異常検
出／異常装置特定化情報記憶工程と、当該異常発生ディ
スク装置を一時的に切離して、ディスクアレイ装置とし
て縮退運転扱い（仮縮退運転と呼ぶ）として管理する切
離し状態管理工程と、仮縮退運転時にホストコンピュー
タからデータ書込み命令またはデータ読出し命令を受け
た時に、冗長性を利用して異常発生ディスク装置以外の
ディスク装置にホストコンピュータとの間でデータ書込
み動作またはデータ読出し動作を行わせる命令実行工程
と、ホストコンピュータとの間のデータ書込み動作また
はデータ読出し動作と並行して異常発生ディスク装置の
再試行を行う再試行工程とを有することを特徴とするデ
ィスクアレイ装置のエラー制御方法が得られる。
【００１４】本発明によればさらに、前記ディスクアレ
イ装置のエラー制御方法を行うための制御プログラムを
記録した記録媒体が得られる。
イ装置のエラー制御方法を行うための制御プログラムを
記録した記録媒体が得られる。
【００１５】
【発明の実施の形態】以下、本発明によるディスクアレ
イ装置およびそのエラー制御方法を説明する。
イ装置およびそのエラー制御方法を説明する。
【００１６】本発明によるディスクアレイ装置は、少く
とも１台の冗長ディスク装置を含む複数のディスク装置
を有し、ホストコンピュータから送られてくる書込みデ
ータに冗長データを付加してそれらディスク装置に振り
分けて書込みを行い、ホストコンピュータからデータ読
出し命令を受けた場合には、振分けたデータを復元して
ホストコンピュータに送出するよう構成されている。
とも１台の冗長ディスク装置を含む複数のディスク装置
を有し、ホストコンピュータから送られてくる書込みデ
ータに冗長データを付加してそれらディスク装置に振り
分けて書込みを行い、ホストコンピュータからデータ読
出し命令を受けた場合には、振分けたデータを復元して
ホストコンピュータに送出するよう構成されている。
【００１７】尚、本発明のディスクアレイ装置の特殊な
構成として、同一データを複数のディスク装置に書込
み、読出し時には、いずれかのディスク装置から読み出
す構成（例えば、ＲＡＩＤ−１構成）であってもよい。
いずれにしても、本発明によるディスクアレイ装置は、
とあるディスク装置にエラーが発生した場合に、残りの
ディスク装置における冗長データをも含むデータに基づ
いて、正しいデータを復元する構成を有している。
構成として、同一データを複数のディスク装置に書込
み、読出し時には、いずれかのディスク装置から読み出
す構成（例えば、ＲＡＩＤ−１構成）であってもよい。
いずれにしても、本発明によるディスクアレイ装置は、
とあるディスク装置にエラーが発生した場合に、残りの
ディスク装置における冗長データをも含むデータに基づ
いて、正しいデータを復元する構成を有している。
【００１８】上記のような構成のディスクアレイ装置に
おいて、ホストコンピュータから受けたデータ書込み命
令またはデータ読出し命令によるデータ書込み動作また
はデータ読出し動作における異常を検出した場合、具体
的には、配下のディスク装置からリードエラー発生等の
異常報告があった場合、あるいは所定時間以内に応答が
返ってこないタイムアウト事象が検出された場合は、エ
ラーが発生したその１台のディスク装置を一時的に切り
離し、ディスクアレイ装置としては縮退運転扱い（以
下、仮縮退運転と呼ぶ）とする。
おいて、ホストコンピュータから受けたデータ書込み命
令またはデータ読出し命令によるデータ書込み動作また
はデータ読出し動作における異常を検出した場合、具体
的には、配下のディスク装置からリードエラー発生等の
異常報告があった場合、あるいは所定時間以内に応答が
返ってこないタイムアウト事象が検出された場合は、エ
ラーが発生したその１台のディスク装置を一時的に切り
離し、ディスクアレイ装置としては縮退運転扱い（以
下、仮縮退運転と呼ぶ）とする。
【００１９】複数のディスク装置のうちの１台が仮縮退
運転となった時に、本来ディスクアレイ装置に備えられ
ているデータ復元手段を働かせ、ホストコンピュータに
復元データを送出して読出し命令を正常に完了させる。
この処理と同時に、仮縮退運転のディスク装置に対して
以下の（１）〜（３）のうちのいずれかの処理を実行す
る。
運転となった時に、本来ディスクアレイ装置に備えられ
ているデータ復元手段を働かせ、ホストコンピュータに
復元データを送出して読出し命令を正常に完了させる。
この処理と同時に、仮縮退運転のディスク装置に対して
以下の（１）〜（３）のうちのいずれかの処理を実行す
る。
【００２０】（１）エラーが発生した動作を再度実行
し、再び同一な異常が発生するか否かを確認する。異常
のない場合には、異常発生履歴を残すのみとし、それ以
上の特別な処理は行わない。
し、再び同一な異常が発生するか否かを確認する。異常
のない場合には、異常発生履歴を残すのみとし、それ以
上の特別な処理は行わない。
【００２１】（２）エラーが発生した位置のデータを再
度書き直すことによって、正常に読み出せる状態に復旧
させる。
度書き直すことによって、正常に読み出せる状態に復旧
させる。
【００２２】（３）エラー内容が媒体の部分的な物理的
欠損等によるリードエラーである場合には、その該当位
置の使用を禁止すると共に代替え位置を割り振ること、
即ち所謂リアサイン処理を行う。
欠損等によるリードエラーである場合には、その該当位
置の使用を禁止すると共に代替え位置を割り振ること、
即ち所謂リアサイン処理を行う。
【００２３】その後に、仮縮退運転を解除して縮退運転
状態から正常状態に戻す。尚、仮縮退運転のディスク装
置に対する上記処理は、ホストコンピュータからの命令
に並行して行われる。
状態から正常状態に戻す。尚、仮縮退運転のディスク装
置に対する上記処理は、ホストコンピュータからの命令
に並行して行われる。
【００２４】上述した仮縮退運転のディスク装置が存在
する時に、ホストコンピュータから新たに読出し命令を
受けた場合は、ディスクアレイ装置としては仮縮退運転
のディスク装置を引き続き縮退運転扱いとし、本来有す
るデータ復元手段（残りのディスク装置を使用したデー
タ復旧）によってホストコンピュータにデータを送出す
る。
する時に、ホストコンピュータから新たに読出し命令を
受けた場合は、ディスクアレイ装置としては仮縮退運転
のディスク装置を引き続き縮退運転扱いとし、本来有す
るデータ復元手段（残りのディスク装置を使用したデー
タ復旧）によってホストコンピュータにデータを送出す
る。
【００２５】また、ホストコンピュータから受けた命令
がデータ書込み命令であった場合は、ディスクアレイ装
置としては仮縮退運転のディスク装置を引き続き縮退運
転扱いとし、残りのディスク装置にデータを書込む。こ
の処理と同時に、データを書込み処理した位置（ブロッ
クアドレス）を逐次記憶しておき、仮縮退運転のディス
ク装置に対する交代割付代替処理等の内部処理が完了し
た時点で、記憶しておいたブロックアドレスにおけるデ
ータをディスクアレイ装置を構成する残りのディスク装
置のデータに基づいて順次復旧した後に、仮縮退運転を
解除して縮退運転状態から正常運転状態に戻す。
がデータ書込み命令であった場合は、ディスクアレイ装
置としては仮縮退運転のディスク装置を引き続き縮退運
転扱いとし、残りのディスク装置にデータを書込む。こ
の処理と同時に、データを書込み処理した位置（ブロッ
クアドレス）を逐次記憶しておき、仮縮退運転のディス
ク装置に対する交代割付代替処理等の内部処理が完了し
た時点で、記憶しておいたブロックアドレスにおけるデ
ータをディスクアレイ装置を構成する残りのディスク装
置のデータに基づいて順次復旧した後に、仮縮退運転を
解除して縮退運転状態から正常運転状態に戻す。
【００２６】これによって、上記構成のディスクアレイ
装置では永続的な（長時間に亘る）縮退運転に移ること
なく、つまり復旧が完了するまでの間に次の故障が発生
してもデータの読出しが不可能となる危険性を低くする
ことが可能となり、安定的な運転を続けることが可能と
なる。
装置では永続的な（長時間に亘る）縮退運転に移ること
なく、つまり復旧が完了するまでの間に次の故障が発生
してもデータの読出しが不可能となる危険性を低くする
ことが可能となり、安定的な運転を続けることが可能と
なる。
【００２７】
【実施例】以下、図面を参照して、本発明の実施例によ
るディスクアレイ装置およびそのエラー制御方法を説明
する。
るディスクアレイ装置およびそのエラー制御方法を説明
する。
【００２８】［実施例１］図１を参照して、本発明の実
施例１に係るディスクアレイ装置は、仮縮退状態ディス
クアレイ制御部２１２を備えたディスクアレイ制御部２
１と、ディスク制御部３１−１〜３１−４と、ディスク
装置４１−１〜４１−４とを有している。本装置はＲＡ
ＩＤ−３方式であり、ディスク装置４１−１〜４１−４
は冗長性を持っている。そして、ホストコンピュータ１
０からのデータ書込み命令またはデータ読出し命令に応
じてホストコンピュータ１０との間でデータ書込み動作
またはデータ読出し動作をなすものである。尚、本実施
例では４台のディスク装置４１−１〜４１−４を用いる
場合について説明するが、本発明は、３台や５台以上の
ディスク装置を用いる場合にも適用可能である。
施例１に係るディスクアレイ装置は、仮縮退状態ディス
クアレイ制御部２１２を備えたディスクアレイ制御部２
１と、ディスク制御部３１−１〜３１−４と、ディスク
装置４１−１〜４１−４とを有している。本装置はＲＡ
ＩＤ−３方式であり、ディスク装置４１−１〜４１−４
は冗長性を持っている。そして、ホストコンピュータ１
０からのデータ書込み命令またはデータ読出し命令に応
じてホストコンピュータ１０との間でデータ書込み動作
またはデータ読出し動作をなすものである。尚、本実施
例では４台のディスク装置４１−１〜４１−４を用いる
場合について説明するが、本発明は、３台や５台以上の
ディスク装置を用いる場合にも適用可能である。
【００２９】図２を参照して、ディスクアレイ制御部２
１は、異常検出／異常装置特定化情報記憶部２１１と、
仮縮退状態ディスクアレイ制御部２１２とを備えてい
る。仮縮退状態ディスクアレイ制御部２１２は、切離し
状態管理部２１２ａと、再試行部２１２ｂと、仮縮退運
転中に受けたデータ書込み動作による未変更部分を更新
した後に再組み込みを行う再組込み部２１２ｃとを備え
ている。
１は、異常検出／異常装置特定化情報記憶部２１１と、
仮縮退状態ディスクアレイ制御部２１２とを備えてい
る。仮縮退状態ディスクアレイ制御部２１２は、切離し
状態管理部２１２ａと、再試行部２１２ｂと、仮縮退運
転中に受けたデータ書込み動作による未変更部分を更新
した後に再組み込みを行う再組込み部２１２ｃとを備え
ている。
【００３０】図１および図２を参照して、ディスクアレ
イ制御部２１は、ホストコンピュータ１０から受けた命
令を解読する。
イ制御部２１は、ホストコンピュータ１０から受けた命
令を解読する。
【００３１】書込み命令時には、通常、ディスクアレイ
制御部２１は、ホストコンピュータ１０から受け取った
データを、ディスク制御部３１−１〜３１−４に分配し
て送る。ディスク制御部３１−１〜３１−４はそれぞ
れ、対応するディスク装置４１−１〜４１−４にデータ
を書込む。
制御部２１は、ホストコンピュータ１０から受け取った
データを、ディスク制御部３１−１〜３１−４に分配し
て送る。ディスク制御部３１−１〜３１−４はそれぞ
れ、対応するディスク装置４１−１〜４１−４にデータ
を書込む。
【００３２】一方、読出し命令時には、通常、ディスク
装置４１−１〜４１−４はそれぞれ、書込まれているデ
ータを対応するディスク制御部３１−１〜３１−４に送
る。ディスクアレイ制御部２１は、ディスク制御部３１
−１〜３１−４からのデータを一つのデータに戻し、ホ
ストコンピュータ１０に送る。
装置４１−１〜４１−４はそれぞれ、書込まれているデ
ータを対応するディスク制御部３１−１〜３１−４に送
る。ディスクアレイ制御部２１は、ディスク制御部３１
−１〜３１−４からのデータを一つのデータに戻し、ホ
ストコンピュータ１０に送る。
【００３３】ディスクアレイ制御部２１の異常検出／異
常装置特定化情報記憶部２１１は、書込み命令時にディ
スク装置４１−１〜４１−４のいずれかの動作が異常で
あることを検出した場合、異常（エラー）がどのディス
ク装置で発生したかをメモリに記録すると同時に仮縮退
状態ディスクアレイ制御部２１２の切離し状態管理部２
１２ａに通知し、切離し状態管理部２１２ａはそのディ
スク装置を一時的にディスクアレイの動作対象装置から
はずして仮縮退運転とし、ディスクアレイ制御部２１
は、残りのディスク装置に対して書込み処理を続行す
る。
常装置特定化情報記憶部２１１は、書込み命令時にディ
スク装置４１−１〜４１−４のいずれかの動作が異常で
あることを検出した場合、異常（エラー）がどのディス
ク装置で発生したかをメモリに記録すると同時に仮縮退
状態ディスクアレイ制御部２１２の切離し状態管理部２
１２ａに通知し、切離し状態管理部２１２ａはそのディ
スク装置を一時的にディスクアレイの動作対象装置から
はずして仮縮退運転とし、ディスクアレイ制御部２１
は、残りのディスク装置に対して書込み処理を続行す
る。
【００３４】仮縮退状態ディスクアレイ制御部２１２の
再試行部２１２ｂは、ディスクアレイ制御部２１の異常
検出／異常装置特定化情報記憶部２１１からエラー通知
を受け取ると、ディスクアレイ制御部２１の処理と並行
してエラーが発生したディスク装置に対して、（１）異
常が発生した動作を再度実行して再び同一な異常が発生
するか否かを確認して異常のない場合には異常発生履歴
を残すのみとしてそれ以上の特別な処理はおこなわな
い、（２）エラーが発生した位置のデータを再度書き直
すことによって正常に読み出せる状態に復旧する、ある
いは、（３）その該当位置の使用を禁止して代替え位置
を割り振るいわゆるリアサイン処理（交代割付け）等の
保守処理を内部処理として行う。
再試行部２１２ｂは、ディスクアレイ制御部２１の異常
検出／異常装置特定化情報記憶部２１１からエラー通知
を受け取ると、ディスクアレイ制御部２１の処理と並行
してエラーが発生したディスク装置に対して、（１）異
常が発生した動作を再度実行して再び同一な異常が発生
するか否かを確認して異常のない場合には異常発生履歴
を残すのみとしてそれ以上の特別な処理はおこなわな
い、（２）エラーが発生した位置のデータを再度書き直
すことによって正常に読み出せる状態に復旧する、ある
いは、（３）その該当位置の使用を禁止して代替え位置
を割り振るいわゆるリアサイン処理（交代割付け）等の
保守処理を内部処理として行う。
【００３５】一方、読出し命令時にディスク装置４１−
１〜４１−４のいずれかにエラー発生を検出すると、デ
ィスクアレイ制御部２１の異常検出／異常装置特定化情
報記憶部２１１は、異常（エラー）がどのディスク装置
で発生したかをメモリに記録すると同時に仮縮退状態デ
ィスクアレイ制御部２１２の切離し状態管理部２１２ａ
に通知し、切離し状態管理部２１２ａはそのディスク装
置を一時的にディスクアレイの動作対象装置からはずし
て仮縮退運転とし、ディスクアレイ制御部２１は、残り
のディスク装置に対する読出し処理を続行する。
１〜４１−４のいずれかにエラー発生を検出すると、デ
ィスクアレイ制御部２１の異常検出／異常装置特定化情
報記憶部２１１は、異常（エラー）がどのディスク装置
で発生したかをメモリに記録すると同時に仮縮退状態デ
ィスクアレイ制御部２１２の切離し状態管理部２１２ａ
に通知し、切離し状態管理部２１２ａはそのディスク装
置を一時的にディスクアレイの動作対象装置からはずし
て仮縮退運転とし、ディスクアレイ制御部２１は、残り
のディスク装置に対する読出し処理を続行する。
【００３６】仮縮退状態ディスクアレイ制御部２１２の
再試行部２１２ｂは、ディスクアレイ制御部２１の異常
検出／異常装置特定化情報記憶部２１１からエラー通知
を受け取ると、ディスクアレイ制御部２１の処理と並行
してエラーが発生したディスク装置に対して、（１）異
常が発生した動作を再度実行して再び同一な異常が発生
するか否かを確認して異常のない場合には異常発生履歴
を残すのみとしてそれ以上の特別な処理はおこなわな
い、（２）エラーが発生した位置のデータを再度書き直
すことによって正常に読み出せる状態に復旧する、ある
いは、（３）その該当位置の使用を禁止して代替え位置
を割り振るいわゆるリアサイン処理（交代割付け）等の
保守処理を内部処理として行う。いずれの処理も、ディ
スクアレイ制御部２１の処理と並行して行う。
再試行部２１２ｂは、ディスクアレイ制御部２１の異常
検出／異常装置特定化情報記憶部２１１からエラー通知
を受け取ると、ディスクアレイ制御部２１の処理と並行
してエラーが発生したディスク装置に対して、（１）異
常が発生した動作を再度実行して再び同一な異常が発生
するか否かを確認して異常のない場合には異常発生履歴
を残すのみとしてそれ以上の特別な処理はおこなわな
い、（２）エラーが発生した位置のデータを再度書き直
すことによって正常に読み出せる状態に復旧する、ある
いは、（３）その該当位置の使用を禁止して代替え位置
を割り振るいわゆるリアサイン処理（交代割付け）等の
保守処理を内部処理として行う。いずれの処理も、ディ
スクアレイ制御部２１の処理と並行して行う。
【００３７】ここで、ディスクアレイ制御部２１は、エ
ラーが発生したディスク装置に対する仮縮退状態ディス
クアレイ制御部２１２による内部処理が完了する前に次
のホストコンピュータ指示を受け取ると、その指示に対
応する処理を行うが、その処理がデータ書込みであれ
ば、その書込み位置を図示しない記憶部に記憶してお
く。
ラーが発生したディスク装置に対する仮縮退状態ディス
クアレイ制御部２１２による内部処理が完了する前に次
のホストコンピュータ指示を受け取ると、その指示に対
応する処理を行うが、その処理がデータ書込みであれ
ば、その書込み位置を図示しない記憶部に記憶してお
く。
【００３８】エラーが発生したディスク装置に対する仮
縮退状態ディスクアレイ制御部２１２による内部処理が
完了した時に、ディスクアレイ制御部２１において書込
み処理が行われていれば、ディスクアレイ制御部２１の
再組込み部２１２ｃは、ディスクアレイ制御部２１が記
憶部に記憶された書込み位置に基づいて残りのディスク
装置によるデータの復旧とその復旧データの書込みとを
行った後で仮縮退運転を解除して通常状態に戻す。
縮退状態ディスクアレイ制御部２１２による内部処理が
完了した時に、ディスクアレイ制御部２１において書込
み処理が行われていれば、ディスクアレイ制御部２１の
再組込み部２１２ｃは、ディスクアレイ制御部２１が記
憶部に記憶された書込み位置に基づいて残りのディスク
装置によるデータの復旧とその復旧データの書込みとを
行った後で仮縮退運転を解除して通常状態に戻す。
【００３９】図３は本発明の実施例１によるディスクア
レイ装置における書込み時のデータ生成の様子を説明す
るための図であり、図４は読出し時のデータ復元の様子
を説明するための図である。
レイ装置における書込み時のデータ生成の様子を説明す
るための図であり、図４は読出し時のデータ復元の様子
を説明するための図である。
【００４０】図１および図３を参照して、ホストコンピ
ュータ１０から書込み命令が本発明の実施例によるディ
スクアレイ装置に対して送られた場合には、ディスクア
レイ制御部２１は、ホストコンピュータ１０からのデー
タ（１）〜（ｚ）をデータ群ＤＧ１−１〜ＤＧ１−４に
振り分けてそれぞれディスク制御部３１−１〜３１−４
に分配する。ディスク制御部３１−１はディスク装置４
１−１にデータ群ＤＧ１−１（データ（１）、（４）、
（７）、（１０）、・・・、（ｕ）、および（ｘ））
を、ディスク制御部３１−２はディスク装置４１−２に
データ群ＤＧ１−２（データ（２）、（５）、（８）、
（１１）、・・・、（ｖ）、および（ｙ））を、ディス
ク制御部３１−３はディスク装置４１−３にデータ群Ｄ
Ｇ１−３（データ（３）、（６）、（９）、（１２）、
・・・、（ｗ）、および（ｚ））をそれぞれ書込む。ま
た、ディスク制御部３１−４は、ディスク装置４１−４
にデータ（１）、（２）、（３）、・・・、（ｘ）、
（ｙ）、および（ｚ）のパリティデータであるデータ群
ＤＧ１−４（データ（Ｐ１−３）、（Ｐ４−６）、（Ｐ
７−９）、（Ｐ１０−１２）、・・・、（Ｐｕ−ｗ）、
および（Ｐｘ−ｚ））を書込む。
ュータ１０から書込み命令が本発明の実施例によるディ
スクアレイ装置に対して送られた場合には、ディスクア
レイ制御部２１は、ホストコンピュータ１０からのデー
タ（１）〜（ｚ）をデータ群ＤＧ１−１〜ＤＧ１−４に
振り分けてそれぞれディスク制御部３１−１〜３１−４
に分配する。ディスク制御部３１−１はディスク装置４
１−１にデータ群ＤＧ１−１（データ（１）、（４）、
（７）、（１０）、・・・、（ｕ）、および（ｘ））
を、ディスク制御部３１−２はディスク装置４１−２に
データ群ＤＧ１−２（データ（２）、（５）、（８）、
（１１）、・・・、（ｖ）、および（ｙ））を、ディス
ク制御部３１−３はディスク装置４１−３にデータ群Ｄ
Ｇ１−３（データ（３）、（６）、（９）、（１２）、
・・・、（ｗ）、および（ｚ））をそれぞれ書込む。ま
た、ディスク制御部３１−４は、ディスク装置４１−４
にデータ（１）、（２）、（３）、・・・、（ｘ）、
（ｙ）、および（ｚ）のパリティデータであるデータ群
ＤＧ１−４（データ（Ｐ１−３）、（Ｐ４−６）、（Ｐ
７−９）、（Ｐ１０−１２）、・・・、（Ｐｕ−ｗ）、
および（Ｐｘ−ｚ））を書込む。
【００４１】このパリティデータ（Ｐ１−３）、（Ｐ４
−６）、（Ｐ７−９）、（Ｐ１０−１２）、・・・、
（Ｐｕ−ｗ）、および（Ｐｘ−ｚ）によって、（ディス
ク制御部３１−１＋ディスク装置４１−１）〜（ディス
ク制御部３１−４＋ディスク装置４１−４）のうちのい
ずれか１か所の故障に対してデータ復旧が可能となる。
−６）、（Ｐ７−９）、（Ｐ１０−１２）、・・・、
（Ｐｕ−ｗ）、および（Ｐｘ−ｚ）によって、（ディス
ク制御部３１−１＋ディスク装置４１−１）〜（ディス
ク制御部３１−４＋ディスク装置４１−４）のうちのい
ずれか１か所の故障に対してデータ復旧が可能となる。
【００４２】一方、図１および図４を参照して、ホスト
コンピュータ１０から読出し命令が本発明の実施例によ
るディスクアレイ装置に対して送られた場合には、ディ
スク制御部３１−１〜３１−４は、ディスク装置４１−
１〜４１−４からデータ群ＤＧ２−１〜ＤＧ２−４をデ
ィスクアレイ制御部２１に送る。ディスクアレイ制御部
２１は、データ（１）〜（ｚ）に戻し、ホストコンピュ
ータ１０に送る。
コンピュータ１０から読出し命令が本発明の実施例によ
るディスクアレイ装置に対して送られた場合には、ディ
スク制御部３１−１〜３１−４は、ディスク装置４１−
１〜４１−４からデータ群ＤＧ２−１〜ＤＧ２−４をデ
ィスクアレイ制御部２１に送る。ディスクアレイ制御部
２１は、データ（１）〜（ｚ）に戻し、ホストコンピュ
ータ１０に送る。
【００４３】即ち、ディスク装置４１−１からはデータ
群ＤＧ２−１（データ（１）、（４）、（７）、（１
０）、・・・、（ｕ）、および（ｘ））が、ディスク装
置４１−２からはデータ群ＤＧ２−２（データ（２）、
（５）、（８）、（１１）、・・・、（ｖ）、および
（ｙ））が、ディスク装置４１−３からはデータ群ＤＧ
２−３（データ（３）、（６）、（９）、（１２）、・
・・、（ｗ）、および（ｚ））がそれぞれ読出され、デ
ィスクアレイ制御部２１でデータ（１）〜（ｚ）に戻さ
れる。また、ディスク装置４１−４からは、（ディスク
制御部３１−１＋ディスク装置４１−１）〜（ディスク
制御部３１−４＋ディスク装置４１−４）のうちのいず
れか１か所の故障に対してデータ復旧を行うために、デ
ータ群ＤＧ２−４（パリティデータ（Ｐ１−３）、（Ｐ
４−６）、（Ｐ７−９）、（Ｐ１０−１２）、・・・、
（Ｐｕ−ｗ）、および（Ｐｘ−ｚ））が読出される。
群ＤＧ２−１（データ（１）、（４）、（７）、（１
０）、・・・、（ｕ）、および（ｘ））が、ディスク装
置４１−２からはデータ群ＤＧ２−２（データ（２）、
（５）、（８）、（１１）、・・・、（ｖ）、および
（ｙ））が、ディスク装置４１−３からはデータ群ＤＧ
２−３（データ（３）、（６）、（９）、（１２）、・
・・、（ｗ）、および（ｚ））がそれぞれ読出され、デ
ィスクアレイ制御部２１でデータ（１）〜（ｚ）に戻さ
れる。また、ディスク装置４１−４からは、（ディスク
制御部３１−１＋ディスク装置４１−１）〜（ディスク
制御部３１−４＋ディスク装置４１−４）のうちのいず
れか１か所の故障に対してデータ復旧を行うために、デ
ータ群ＤＧ２−４（パリティデータ（Ｐ１−３）、（Ｐ
４−６）、（Ｐ７−９）、（Ｐ１０−１２）、・・・、
（Ｐｕ−ｗ）、および（Ｐｘ−ｚ））が読出される。
【００４４】図５、図６、および図７は、図１に示した
ディスクアレイ制御部２１の処理動作を説明するための
フロー図である。また、図８は、図１に示した仮縮退状
態ディスクアレイ制御部２１２の処理動作を説明するた
めのフロー図である。
ディスクアレイ制御部２１の処理動作を説明するための
フロー図である。また、図８は、図１に示した仮縮退状
態ディスクアレイ制御部２１２の処理動作を説明するた
めのフロー図である。
【００４５】以下、図１〜図８を参照して、本発明の実
施例によるディスクアレイ装置の動作、特に、エラー制
御方法について説明する。尚、ディスクアレイ制御部２
１および仮縮退状態ディスクアレイ制御部２１２は、図
示せぬ制御メモリに予め記憶させたプログラムを実行す
ることで下述の動作を実現している。制御メモリとして
は、半導体メモリあるいはフレキシブルディスクなどの
磁気および／または光記録ディスク等を使用できる。
施例によるディスクアレイ装置の動作、特に、エラー制
御方法について説明する。尚、ディスクアレイ制御部２
１および仮縮退状態ディスクアレイ制御部２１２は、図
示せぬ制御メモリに予め記憶させたプログラムを実行す
ることで下述の動作を実現している。制御メモリとして
は、半導体メモリあるいはフレキシブルディスクなどの
磁気および／または光記録ディスク等を使用できる。
【００４６】ディスクアレイ制御部２１は、動作を開始
すると、ホストコンピュータ１０からの指示待ち状態と
なる（図５ステップＳ１）。
すると、ホストコンピュータ１０からの指示待ち状態と
なる（図５ステップＳ１）。
【００４７】［データ読出し］ディスクアレイ制御部２
１は、ホストコンピュータ１０からのデータ読出し命令
を受けると（図５ステップＳ２、Ｓ３）、仮縮退運転の
ディスク装置があるかどうかを判定する（図５ステップ
Ｓ４）。
１は、ホストコンピュータ１０からのデータ読出し命令
を受けると（図５ステップＳ２、Ｓ３）、仮縮退運転の
ディスク装置があるかどうかを判定する（図５ステップ
Ｓ４）。
【００４８】ディスクアレイ制御部２１は、仮縮退運転
のディスク装置がなければ、ディスクアレイ装置を構成
する４組のディスク制御部３１−１〜３１−４に対して
配下のディスク装置４１−１〜４１−４への読出し指令
を与える（図５ステップＳ５）。
のディスク装置がなければ、ディスクアレイ装置を構成
する４組のディスク制御部３１−１〜３１−４に対して
配下のディスク装置４１−１〜４１−４への読出し指令
を与える（図５ステップＳ５）。
【００４９】その結果、ディスク装置４１−１〜４１−
４はそれぞれ、データ（１）、（４）、（７）、・・
・、および（ｘ）、データ（２）、（５）、（８）、・
・・、および（ｙ）、データ（３）、（６）、（９）、
・・・、および（ｚ）、ならびにそれらのパリティであ
るデータ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、
・・・、および（Ｐｘ−ｚ）を順次読出し、ディスク制
御部３１−１〜３１−４を通してディスクアレイ制御部
２１に送出する。
４はそれぞれ、データ（１）、（４）、（７）、・・
・、および（ｘ）、データ（２）、（５）、（８）、・
・・、および（ｙ）、データ（３）、（６）、（９）、
・・・、および（ｚ）、ならびにそれらのパリティであ
るデータ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、
・・・、および（Ｐｘ−ｚ）を順次読出し、ディスク制
御部３１−１〜３１−４を通してディスクアレイ制御部
２１に送出する。
【００５０】ディスクアレイ制御部２１は、これら全て
のデータを正常に受取ると（図５ステップＳ６）、パリ
ティデータであるデータ（Ｐ１−３）、（Ｐ４−６）、
（Ｐ７−９）、・・・、および（Ｐｘ−ｚ）を捨てて、
ディスク装置４１−１〜４１−４からのデータをデータ
（１）〜（ｚ）に戻してホストコンピュータ１０に送出
する（図５ステップＳ７）。
のデータを正常に受取ると（図５ステップＳ６）、パリ
ティデータであるデータ（Ｐ１−３）、（Ｐ４−６）、
（Ｐ７−９）、・・・、および（Ｐｘ−ｚ）を捨てて、
ディスク装置４１−１〜４１−４からのデータをデータ
（１）〜（ｚ）に戻してホストコンピュータ１０に送出
する（図５ステップＳ７）。
【００５１】また、ディスクアレイ制御部２１は、仮縮
退運転のディスク装置があれば、仮縮退運転のディスク
装置４１−１を引き続き縮退運転扱いとし、残りのディ
スク装置４１−２〜４１−４を使用してデータを復元
し、その復旧データをホストコンピュータ１０に送り出
す（図７ステップＳ２０）。
退運転のディスク装置があれば、仮縮退運転のディスク
装置４１−１を引き続き縮退運転扱いとし、残りのディ
スク装置４１−２〜４１−４を使用してデータを復元
し、その復旧データをホストコンピュータ１０に送り出
す（図７ステップＳ２０）。
【００５２】ディスクアレイ制御部２１は、読出し動作
中にディスク装置４１−１〜４１−４のいずれかにおい
てエラーが発生した場合（図５ステップＳ６）、エラー
の発生したディスク装置を一時的に処理から外し、読出
し時のエラー発生を仮縮退状態ディスクアレイ制御部２
１２に通知する（図５ステップＳ８）。
中にディスク装置４１−１〜４１−４のいずれかにおい
てエラーが発生した場合（図５ステップＳ６）、エラー
の発生したディスク装置を一時的に処理から外し、読出
し時のエラー発生を仮縮退状態ディスクアレイ制御部２
１２に通知する（図５ステップＳ８）。
【００５３】例えば、ディスク装置４１−１にエラーが
発生した場合、ディスクアレイ制御部２１は、ディスク
装置４１−１からデータ（１）、（４）、（７）、・・
・、および（ｘ）を受取ることができなくなる。
発生した場合、ディスクアレイ制御部２１は、ディスク
装置４１−１からデータ（１）、（４）、（７）、・・
・、および（ｘ）を受取ることができなくなる。
【００５４】そこで、ディスクアレイ制御部２１は、デ
ィスク装置４１−２からデータ（２）、（５）、
（８）、・・・、および（ｙ）を、ディスク装置４１−
３からデータ（３）、（６）、（９）、・・・、および
（ｚ）を、さらにディスク装置４１−４からパリティデ
ータ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、・・
・、および（Ｐｘ−ｚ）を取得し、これらデータによっ
てディスク装置４１−１のデータ（１）、（４）、
（７）、・・・、および（ｘ）を順次復元する（図５ス
テップＳ９）。
ィスク装置４１−２からデータ（２）、（５）、
（８）、・・・、および（ｙ）を、ディスク装置４１−
３からデータ（３）、（６）、（９）、・・・、および
（ｚ）を、さらにディスク装置４１−４からパリティデ
ータ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、・・
・、および（Ｐｘ−ｚ）を取得し、これらデータによっ
てディスク装置４１−１のデータ（１）、（４）、
（７）、・・・、および（ｘ）を順次復元する（図５ス
テップＳ９）。
【００５５】つまり、データ（２）、データ（３）、お
よびデータ（Ｐ１−３）からデータ（１）を、データ
（５）、データ（６）、およびデータ（Ｐ４−６）から
データ（４）を、データ（８）、データ（９）、および
データ（Ｐ７−９）からデータ（７）を、データ（１
１）、データ（１２）、およびデータ（Ｐ１０−１２）
からデータ（１０）を、・・・、データ（ｖ）、データ
（ｗ）、およびデータ（Ｐｘ−ｚ）からデータ（ｘ）を
それぞれ復元し、正しいデータ（１）〜（ｚ）をホスト
コンピュータ１０に送出する（図５ステップＳ１０）。
よびデータ（Ｐ１−３）からデータ（１）を、データ
（５）、データ（６）、およびデータ（Ｐ４−６）から
データ（４）を、データ（８）、データ（９）、および
データ（Ｐ７−９）からデータ（７）を、データ（１
１）、データ（１２）、およびデータ（Ｐ１０−１２）
からデータ（１０）を、・・・、データ（ｖ）、データ
（ｗ）、およびデータ（Ｐｘ−ｚ）からデータ（ｘ）を
それぞれ復元し、正しいデータ（１）〜（ｚ）をホスト
コンピュータ１０に送出する（図５ステップＳ１０）。
【００５６】仮縮退状態ディスクアレイ制御部２１２
は、ディスクアレイ制御部２１から読出し時のエラー発
生が通知されると（図８ステップＳ２１）、ディスクア
レイ制御部２１の処理動作に並行して、読出し動作を再
度実行する（図８ステップＳ２２）。この再試行が正常
に完了しない場合には、さらに、エラー発生位置のデー
タを本ディスクアレイ装置を構成する他のディスク装置
から復旧したデータで書き直してみる（図８ステップＳ
２６）。
は、ディスクアレイ制御部２１から読出し時のエラー発
生が通知されると（図８ステップＳ２１）、ディスクア
レイ制御部２１の処理動作に並行して、読出し動作を再
度実行する（図８ステップＳ２２）。この再試行が正常
に完了しない場合には、さらに、エラー発生位置のデー
タを本ディスクアレイ装置を構成する他のディスク装置
から復旧したデータで書き直してみる（図８ステップＳ
２６）。
【００５７】これも正常に完了しない場合（図８ステッ
プＳ２７）、仮縮退状態ディスクアレイ制御部２１２
は、エラーが発生したディスク装置４１−１に対して通
常ディスク装置が備えている予備領域（図示せず）への
交代割付けを指示し、エラー発生箇所の以降の使用を禁
止して同一箇所でのエラー再発を防止する（図８ステッ
プＳ２８）。
プＳ２７）、仮縮退状態ディスクアレイ制御部２１２
は、エラーが発生したディスク装置４１−１に対して通
常ディスク装置が備えている予備領域（図示せず）への
交代割付けを指示し、エラー発生箇所の以降の使用を禁
止して同一箇所でのエラー再発を防止する（図８ステッ
プＳ２８）。
【００５８】この処理が正常に完了した場合（図８ステ
ップＳ２９）、仮縮退状態ディスクアレイ制御部２１２
は、交代割付けを行った場所に残りのディスク装置装置
４１−２〜４１−４のデータから復元したデータを書込
んでおく（図８ステップＳ３０）。尚、仮縮退状態ディ
スクアレイ制御部２１２による上記処理は時間を要する
処理であるため、次のホストコンピュータ指示がきても
完了していなければ、ディスクアレイ制御部２１による
ホストコンピュータ１０からの次の命令処理と並行して
実施される。
ップＳ２９）、仮縮退状態ディスクアレイ制御部２１２
は、交代割付けを行った場所に残りのディスク装置装置
４１−２〜４１−４のデータから復元したデータを書込
んでおく（図８ステップＳ３０）。尚、仮縮退状態ディ
スクアレイ制御部２１２による上記処理は時間を要する
処理であるため、次のホストコンピュータ指示がきても
完了していなければ、ディスクアレイ制御部２１による
ホストコンピュータ１０からの次の命令処理と並行して
実施される。
【００５９】［データ書込み］一方、ディスクアレイ制
御部２１は、ホストコンピュータ１０からデータ書込み
命令を受けると（図５ステップＳ２）、仮縮退運転のデ
ィスク装置があるかどうかを判定する（図６ステップＳ
１２）。
御部２１は、ホストコンピュータ１０からデータ書込み
命令を受けると（図５ステップＳ２）、仮縮退運転のデ
ィスク装置があるかどうかを判定する（図６ステップＳ
１２）。
【００６０】ディスクアレイ制御部２１は、仮縮退運転
のディスク装置がなければ、ディスクアレイ装置を構成
する４組のディスク制御部３１−１〜３１−４に対して
配下のディスク装置４１−１〜４１−４への書込み指令
を与える（図６ステップＳ１３）。
のディスク装置がなければ、ディスクアレイ装置を構成
する４組のディスク制御部３１−１〜３１−４に対して
配下のディスク装置４１−１〜４１−４への書込み指令
を与える（図６ステップＳ１３）。
【００６１】このとき同時に、ディスクアレイ制御部２
１は、書込むべきデータ（１）〜（ｚ）をホストコンピ
ュータ１０から受け取ってディスク制御部３１−１〜３
１−４にそれぞれデータ（１）、（４）、（７）、・・
・、および（ｘ）、データ（２）、（５）、（８）、・
・・、および（ｙ）、データ（３）、（６）、（９）、
・・・、および（ｚ）、ならびにそれらのパリティデー
タ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、・・
・、および（Ｐｘ−ｚ）を送る。
１は、書込むべきデータ（１）〜（ｚ）をホストコンピ
ュータ１０から受け取ってディスク制御部３１−１〜３
１−４にそれぞれデータ（１）、（４）、（７）、・・
・、および（ｘ）、データ（２）、（５）、（８）、・
・・、および（ｙ）、データ（３）、（６）、（９）、
・・・、および（ｚ）、ならびにそれらのパリティデー
タ（Ｐ１−３）、（Ｐ４−６）、（Ｐ７−９）、・・
・、および（Ｐｘ−ｚ）を送る。
【００６２】これらのデータは、ディスク制御部３１−
１〜３１−４によってディスク装置４１−１〜４１−４
に書込まれる。ここで、ディスク装置内部では、データ
書込み動作に先立って行われるデータ管理領域（通常Ｉ
Ｄ部と呼ばれる）の読出し動作が行われる。
１〜３１−４によってディスク装置４１−１〜４１−４
に書込まれる。ここで、ディスク装置内部では、データ
書込み動作に先立って行われるデータ管理領域（通常Ｉ
Ｄ部と呼ばれる）の読出し動作が行われる。
【００６３】このデータ管理領域の読出し動作において
エラーが発生しなければ（図６ステップＳ１４）、ディ
スクアレイ制御部２１は、ホストコンピュータ１０から
のデータをディスク制御部３１−１〜３１−４によって
ディスク装置４１−１〜４１−４に書込む（図６ステッ
プＳ１５）。
エラーが発生しなければ（図６ステップＳ１４）、ディ
スクアレイ制御部２１は、ホストコンピュータ１０から
のデータをディスク制御部３１−１〜３１−４によって
ディスク装置４１−１〜４１−４に書込む（図６ステッ
プＳ１５）。
【００６４】また、ディスクアレイ制御部２１は、仮縮
退運転のディスク装置があれば（図６ステップＳ１
２）、仮縮退運転のディスク装置４１−１を引き続き縮
退運転扱いとし、残りのディスク装置４１−２〜４１−
４にホストコンピュータ１０からのデータを書込む（図
６ステップＳ１８）。
退運転のディスク装置があれば（図６ステップＳ１
２）、仮縮退運転のディスク装置４１−１を引き続き縮
退運転扱いとし、残りのディスク装置４１−２〜４１−
４にホストコンピュータ１０からのデータを書込む（図
６ステップＳ１８）。
【００６５】この時、ディスクアレイ制御部２１は、仮
縮退運転のディスク装置がある時にデータの書込みがあ
った旨を仮縮退状態ディスクアレイ制御部２１２に通知
すると共に、データの書込み処理を行った位置（ブロッ
クアドレス）を逐次記憶しておく（図６ステップＳ１
９）。
縮退運転のディスク装置がある時にデータの書込みがあ
った旨を仮縮退状態ディスクアレイ制御部２１２に通知
すると共に、データの書込み処理を行った位置（ブロッ
クアドレス）を逐次記憶しておく（図６ステップＳ１
９）。
【００６６】これに対し、ディスクアレイ制御部２１
は、データ管理領域の読出動作においてエラーが発生す
ると（図６ステップＳ１４）、エラーの発生したディス
ク装置を一時的に処理から外し、書込み時のエラー発生
を仮縮退状態ディスクアレイ制御部２１２に通知する
（図６ステップＳ１６）。例えば、ディスク装置４１−
１でエラーが発生した場合、ディスクアレイ制御部２１
は、データ（１）、（４）、（７）、・・・、および
（ｘ）をディスク装置４１−１に書込むことができな
い。
は、データ管理領域の読出動作においてエラーが発生す
ると（図６ステップＳ１４）、エラーの発生したディス
ク装置を一時的に処理から外し、書込み時のエラー発生
を仮縮退状態ディスクアレイ制御部２１２に通知する
（図６ステップＳ１６）。例えば、ディスク装置４１−
１でエラーが発生した場合、ディスクアレイ制御部２１
は、データ（１）、（４）、（７）、・・・、および
（ｘ）をディスク装置４１−１に書込むことができな
い。
【００６７】そこで、ディスクアレイ制御部２１は、デ
ィスク装置４１−２にデータ（２）、（５）、（８）、
・・・、および（ｙ）を、ディスク装置４１−３にデー
タ（３）、（６）、（９）、・・・、および（ｚ）を、
ディスク装置４１−４にディスク装置４１−１〜ディス
ク装置４１−３のパリティであるデータ（Ｐ１−３）、
（Ｐ４−６）、（Ｐ７−９）、・・・、および（Ｐｘ−
ｚ）をそれぞれ書込む（図６ステップＳ１７）。
ィスク装置４１−２にデータ（２）、（５）、（８）、
・・・、および（ｙ）を、ディスク装置４１−３にデー
タ（３）、（６）、（９）、・・・、および（ｚ）を、
ディスク装置４１−４にディスク装置４１−１〜ディス
ク装置４１−３のパリティであるデータ（Ｐ１−３）、
（Ｐ４−６）、（Ｐ７−９）、・・・、および（Ｐｘ−
ｚ）をそれぞれ書込む（図６ステップＳ１７）。
【００６８】仮縮退状態ディスクアレイ制御部２１２
は、ディスクアレイ制御部２１から書込み時のエラー発
生が通知されると（図８ステップＳ２１）、ディスクア
レイ制御部２１の処理動作に並行して、書込み動作を再
度実行し（図８ステップＳ２４）、正常に完了しない場
合には、エラーが発生したディスク装置４１−１に対し
て通常ディスク装置が備えている予備領域（図示せず）
への交代割付けを指示し、エラー発生箇所の以降の使用
を禁止して同一箇所でのエラー再発を防止する（図８ス
テップＳ２８）。
は、ディスクアレイ制御部２１から書込み時のエラー発
生が通知されると（図８ステップＳ２１）、ディスクア
レイ制御部２１の処理動作に並行して、書込み動作を再
度実行し（図８ステップＳ２４）、正常に完了しない場
合には、エラーが発生したディスク装置４１−１に対し
て通常ディスク装置が備えている予備領域（図示せず）
への交代割付けを指示し、エラー発生箇所の以降の使用
を禁止して同一箇所でのエラー再発を防止する（図８ス
テップＳ２８）。
【００６９】この処理が正常に完了した場合（図８ステ
ップＳ２９）、仮縮退状態ディスクアレイ制御部２１２
は交代割付けを行った場所に残りのディスク装置装置４
１−２〜４１−４のデータから復元したデータを書込ん
でおく（図８ステップＳ３０）。尚、仮縮退状態ディス
クアレイ制御部２１２による上記の処理は時間を要する
処理であるため、次のホストコンピュータ指示がきても
完了していなければ、ディスクアレイ制御部２１による
ホストコンピュータ１０からの次の命令処理と並行して
実施される。
ップＳ２９）、仮縮退状態ディスクアレイ制御部２１２
は交代割付けを行った場所に残りのディスク装置装置４
１−２〜４１−４のデータから復元したデータを書込ん
でおく（図８ステップＳ３０）。尚、仮縮退状態ディス
クアレイ制御部２１２による上記の処理は時間を要する
処理であるため、次のホストコンピュータ指示がきても
完了していなければ、ディスクアレイ制御部２１による
ホストコンピュータ１０からの次の命令処理と並行して
実施される。
【００７０】次に、交代割付け処理中にデータ書込みが
あったことがディスクアレイ制御部２１から通知されて
いれば（図８ステップＳ３２）、記憶しておいた書込み
処理位置（ブロックアドレス）のデータを残りのディス
ク装置のデータを読出すことによって復元し、仮縮退運
転のディスク装置に順次書込む（図８ステップＳ３
３）。
あったことがディスクアレイ制御部２１から通知されて
いれば（図８ステップＳ３２）、記憶しておいた書込み
処理位置（ブロックアドレス）のデータを残りのディス
ク装置のデータを読出すことによって復元し、仮縮退運
転のディスク装置に順次書込む（図８ステップＳ３
３）。
【００７１】ディスクアレイ制御部２１は、上記の書込
み処理が全て完了した時点で、仮縮退運転を解除して仮
縮退運転状態から正常運転状態に戻し（図８ステップＳ
３４）、すべての動作を終了する。
み処理が全て完了した時点で、仮縮退運転を解除して仮
縮退運転状態から正常運転状態に戻し（図８ステップＳ
３４）、すべての動作を終了する。
【００７２】ここで、仮縮退状態ディスク装置制御部２
１２は仮縮退運転のディスク装置の交代割り付け処理等
の内部処理が正常に完了しない場合（図８ステップＳ２
９）には、そのディスク装置を縮退（本縮退）させ、そ
のディスク装置の保守交換を促す。（図８ステップＳ３
１）。
１２は仮縮退運転のディスク装置の交代割り付け処理等
の内部処理が正常に完了しない場合（図８ステップＳ２
９）には、そのディスク装置を縮退（本縮退）させ、そ
のディスク装置の保守交換を促す。（図８ステップＳ３
１）。
【００７３】尚、ホストコンピュータ１０から新たに受
けた命令が読出し命令およびデータ書込み命令のいずれ
でもなかった場合にはその命令に応じた処理を行い（図
５ステップＳ１１）、命令動作を完了する。
けた命令が読出し命令およびデータ書込み命令のいずれ
でもなかった場合にはその命令に応じた処理を行い（図
５ステップＳ１１）、命令動作を完了する。
【００７４】このように、エラー発生時に一時的な切離
し状態（仮縮退運転）として外部的には正常運転を継続
しながら、内部的には縮退運転として交代割付けの処理
を実行した後、自動的にデータを復元して通常運転状態
に自動的に戻すことによって、近年のディスク装置が必
要とする再試行を十分に実行できる時間を確保して安定
な稼働を実現しながら、しかもディスクアレイ装置とし
ては短い応答時間を守ることが可能となる。
し状態（仮縮退運転）として外部的には正常運転を継続
しながら、内部的には縮退運転として交代割付けの処理
を実行した後、自動的にデータを復元して通常運転状態
に自動的に戻すことによって、近年のディスク装置が必
要とする再試行を十分に実行できる時間を確保して安定
な稼働を実現しながら、しかもディスクアレイ装置とし
ては短い応答時間を守ることが可能となる。
【００７５】［実施例２］図９を参照して、本発明の実
施例２に係るディスクアレイ装置は、仮縮退状態ディス
クアレイ制御部２２２を備えたディスクアレイ制御部２
２と、ディスク制御部３２−１および３２−２と、ディ
スク装置４２−１および４２−２とを有している。本装
置はＲＡＩＤ−１方式であり、２台のディスク装置４２
−１および４２−２には同じデータが書込まれ、両ディ
スク装置は協働して冗長性を持つ。ディスク装置４２−
１および４２−２の一方をデータ用、他方をパリテイ用
と考えれば、本実施例は、実施例１によるディスクアレ
イ装置のごとく複数のディスク装置に対してパリティを
設ける場合の最も簡素な構成例とみなすことができる。
本実施例によるエラー制御方法は、実施例１と同様に行
われるので、説明は省略する。
施例２に係るディスクアレイ装置は、仮縮退状態ディス
クアレイ制御部２２２を備えたディスクアレイ制御部２
２と、ディスク制御部３２−１および３２−２と、ディ
スク装置４２−１および４２−２とを有している。本装
置はＲＡＩＤ−１方式であり、２台のディスク装置４２
−１および４２−２には同じデータが書込まれ、両ディ
スク装置は協働して冗長性を持つ。ディスク装置４２−
１および４２−２の一方をデータ用、他方をパリテイ用
と考えれば、本実施例は、実施例１によるディスクアレ
イ装置のごとく複数のディスク装置に対してパリティを
設ける場合の最も簡素な構成例とみなすことができる。
本実施例によるエラー制御方法は、実施例１と同様に行
われるので、説明は省略する。
【００７６】［実施例３］図１０は本発明の実施例３に
よるディスクアレイ装置における書込み時のデータ生成
の様子を説明するための図であり、図１１は読出し時の
データ復元の様子を説明するための図である。
よるディスクアレイ装置における書込み時のデータ生成
の様子を説明するための図であり、図１１は読出し時の
データ復元の様子を説明するための図である。
【００７７】本発明の実施例３によるディスクアレイ装
置は、ＲＡＩＤ−５方式であり、４台のディスク装置４
３−１〜４３−４は協働して冗長性を持つ。本実施例に
おいては、パリティデータの書込まれるディスク装置が
固定化されておらず、ディスク装置４３−１〜４３−４
のそれぞれに順番にパリティデータが割り振られる。本
実施例によるエラー制御方法も、実施例１と同様に行わ
れるので、説明は省略する。
置は、ＲＡＩＤ−５方式であり、４台のディスク装置４
３−１〜４３−４は協働して冗長性を持つ。本実施例に
おいては、パリティデータの書込まれるディスク装置が
固定化されておらず、ディスク装置４３−１〜４３−４
のそれぞれに順番にパリティデータが割り振られる。本
実施例によるエラー制御方法も、実施例１と同様に行わ
れるので、説明は省略する。
【００７８】以上の各実施例では、ＲＡＩＤ−３、ＲＡ
ＩＤ−１、およびＲＡＩＤ−５方式のディスクアレイ装
置を説明したが、本発明は、複数のディスク装置を冗長
性を持つように有するディスクアレイ装置ならば全て適
用可能であり、ＲＡＩＤ−２あるいはＲＡＩＤ−４方式
等のディスクアレイ装置であってもよい。
ＩＤ−１、およびＲＡＩＤ−５方式のディスクアレイ装
置を説明したが、本発明は、複数のディスク装置を冗長
性を持つように有するディスクアレイ装置ならば全て適
用可能であり、ＲＡＩＤ−２あるいはＲＡＩＤ−４方式
等のディスクアレイ装置であってもよい。
【００７９】
【発明の効果】本発明においては、データ書込み動作お
よびデータ読出し動作のどちらかにおける異常を検出す
ると共に、いずれのディスク装置において異常があった
のか記録しておき、当該異常発生ディスク装置を一時的
に切離して、ディスクアレイ装置として縮退運転扱い
（仮縮退運転と呼ぶ）として管理し、仮縮退運転時にホ
ストコンピュータからデータ書込み命令またはデータ読
出し命令を受けた時に、冗長性を利用して異常発生ディ
スク装置以外のディスク装置にホストコンピュータとの
間でデータ書込み動作またはデータ読出し動作を行わ
せ、ホストコンピュータとの間のデータ書込み動作また
はデータ読出し動作と並行して異常発生ディスク装置の
再試行を行うため、本来の動作を滞らせることなくディ
スク装置の書き込み／読出しエラーに対処できることに
加え、本来正常なディスク装置をも縮退させてしまうよ
うな不要な縮退運転を行うことがなく、安定した運転を
続けることができる。
よびデータ読出し動作のどちらかにおける異常を検出す
ると共に、いずれのディスク装置において異常があった
のか記録しておき、当該異常発生ディスク装置を一時的
に切離して、ディスクアレイ装置として縮退運転扱い
（仮縮退運転と呼ぶ）として管理し、仮縮退運転時にホ
ストコンピュータからデータ書込み命令またはデータ読
出し命令を受けた時に、冗長性を利用して異常発生ディ
スク装置以外のディスク装置にホストコンピュータとの
間でデータ書込み動作またはデータ読出し動作を行わ
せ、ホストコンピュータとの間のデータ書込み動作また
はデータ読出し動作と並行して異常発生ディスク装置の
再試行を行うため、本来の動作を滞らせることなくディ
スク装置の書き込み／読出しエラーに対処できることに
加え、本来正常なディスク装置をも縮退させてしまうよ
うな不要な縮退運転を行うことがなく、安定した運転を
続けることができる。
【図１】本発明の実施例１によるディスクアレイ装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】本発明の実施例１によるディスクアレイ装置の
ディスクアレイ制御部を詳細に示すブロック図である。
ディスクアレイ制御部を詳細に示すブロック図である。
【図３】本発明の実施例１によるディスクアレイ装置に
おける書込み時のデータ生成を説明するための図であ
る。
おける書込み時のデータ生成を説明するための図であ
る。
【図４】本発明の実施例１によるディスクアレイ装置に
おける読出し時のデータ復元を説明するための図であ
る。
おける読出し時のデータ復元を説明するための図であ
る。
【図５】図１のディスクアレイ制御部の処理動作を示す
フロー図である。
フロー図である。
【図６】図１のディスクアレイ制御部の処理動作を示す
フロー図である。
フロー図である。
【図７】図１のディスクアレイ制御部の処理動作を示す
フロー図である。
フロー図である。
【図８】図１の仮縮退状態ディスクアレイ制御部の処理
動作を示すフロー図である。
動作を示すフロー図である。
【図９】本発明の実施例２によるディスクアレイ装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図１０】本発明の実施例３によるディスクアレイ装置
における書込み時のデータ生成を説明するための図であ
る。
における書込み時のデータ生成を説明するための図であ
る。
【図１１】本発明の実施例３によるディスクアレイ装置
における読出し時のデータ復元を説明するための図であ
る。
における読出し時のデータ復元を説明するための図であ
る。
１０ ホストコンピュータ ２１、２２ ディスクアレイ制御部 ２１１ 異常検出／異常装置特定化情報記憶部 ２１２、２２２ 仮縮退状態ディスクアレイ制御部 ２１２ａ 切離し状態管理部 ２１２ｂ 再試行部 ２１２ｃ 再組込み部 ３１−１〜３１−４ ディスク制御部 ３２−１、３２−２ ディスク制御部 ４１−１〜４１−４ ディスク装置 ４２−１、４２−２ ディスク装置 ４３−１〜４３−４ ディスク装置
フロントページの続き (72)発明者 市川 文男 東京都港区芝浦三丁目18番21号 日本電 気エンジニアリング株式会社内 (56)参考文献 特開 平６−35625（ＪＰ，Ａ) 特開 平９−167427（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 3/06
Claims (19)
- 【請求項１】 複数のディスク装置を冗長性を持つよう
に有し、ホストコンピュータからのデータ書込み命令ま
たはデータ読出し命令に応じてホストコンピュータとの
間でデータ書込み動作またはデータ読出し動作をなすデ
ィスクアレイ装置において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出すると共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶手段と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理手段と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行手段と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行手段と、 前記再試行手段による再試行の結果として異常発生ディ
スク装置が正常である場合に、異常発生ディスク装置の
一時的な切り離し状態を解除して、ディスクアレイ装置
として仮縮退運転から正常運転に戻す再組込み手段と を
有し、 前記異常検出／異常装置特定化情報記憶手段は、ディス
ク装置からリードエラー発生等の異常報告があった場合
に加えて、ホストコンピュータからのデータ書込み命令
またはデータ読出し命令に対して所定時間以内に応答が
返ってこないタイムアウト事象が検出された場合をも含
めて異常と判定する ことを特徴とするディスクアレイ装
置。 - 【請求項２】 複数のディスク装置を冗長性を持つよう
に有し、ホストコンピュータからのデータ書込み命令ま
たはデータ読出し命令に応じてホストコンピュータとの
間でデータ書込み動作またはデータ読出し動作をなすデ
ィスクアレイ装置において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出する と共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶手段と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理手段と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行手段と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行手段と、 前記再試行手段による再試行の結果として異常発生ディ
スク装置が正常である場合に、異常発生ディスク装置の
一時的な切り離し状態を解除して、ディスクアレイ装置
として仮縮退運転から正常運転に戻す再組込み手段とを
有し、 前記再試行手段は、異常内容が媒体の物理的欠損に因る
リードエラーである場合に、当該欠損位置の使用を禁止
し、かつ、代替え位置を割り振るリアサイン処理をも行
うことを特徴とする ディスクアレイ装置。 - 【請求項３】 複数のディスク装置を冗長性を持つよう
に有し、ホストコンピュータからのデータ書込み命令ま
たはデータ読出し命令に応じてホストコンピュータとの
間でデータ書込み動作またはデータ読出し動作をなすデ
ィスクアレイ装置において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出すると共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶手段と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理手段と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行手段と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行手段と、 前記再試行手段による再試行の結果として異常発生ディ
スク装置が正常である場合に、異常発生ディスク装置の
一時的な切り離し状態を解除して、ディスクアレイ装置
として仮縮退運転から正常運転に戻す再組込み手段とを
有し、 前記命令実行手段は、仮縮退運転時にホストコンピュー
タからデータ書込み命令を受けた時に、冗長性を利用し
て異常発生ディスク装置以外のディスク装置にデータ書
込み動作を行わせると共に、書込んだデータに対応する
異常発生ディスク装置の位置を示すブロックアドレスを
逐次記憶しておき、 さらに、異常発生ディスク装置の一時的な切り離し状態
を解除する前までに記憶されたブロックアドレスならび
に該ブロックアドレスが示す位置に対応する異常発生デ
ィスク装置以外のディスク装置に書込んだデータに基づ
いて異常発生ディスク装置のデータを最新状態に復旧さ
せることを特徴とする ディスクアレイ装置。 - 【請求項４】 前記異常検出／異常装置特定化情報記憶
手段は、ディスク装置からリードエラー発生等の異常報
告があった場合に加えて、ホストコンピュータからのデ
ータ書込み命令またはデータ読出し命令に対して所定時
間以内に応答が返ってこないタイムアウト事象が検出さ
れた場合をも含めて異常と判定する請求項３に記載のデ
ィスクアレイ装置。 - 【請求項５】 前記再試行手段は、異常内容が媒体の物
理的欠損に因るリードエラーである場合に、当該欠損位
置の使用を禁止し、かつ、代替え位置を割り振るリアサ
イン処理をも行う請求項３または４に記載のディスクア
レイ装置。 - 【請求項６】 前記再試行手段は、異常が発生した際の
動作を再度実行して再び同じ異常が発生するか否かを確
認し、当該異常が再発生しない場合には異常発生履歴を
残すのみにしてそれ以外の処理は行わない請求項１乃至
５のいずれかに記載のディスクアレイ装置。 - 【請求項７】 前記再試行手段は、異常が発生した位置
のデータを再度書き直すことによって正常に読み出せる
状態に復旧する請求項１乃至６のいずれかに記載された
ディスクアレイ装置。 - 【請求項８】 前記切離し状態管理手段は、異常ディス
ク装置のうちの、少くとも異常の発生したデータ記録位
置（ブロックアドレス）を含む一部分を、一時的な切離
し単位とする請求項１乃至７のいずれかに記載のディス
クアレイ装置。 - 【請求項９】 ＲＡＩＤ−１乃至ＲＡＩＤ−５方式のい
ずれかである請求項１乃至８のいずれかに記載のディス
クアレイ装置。 - 【請求項１０】 複数のディスク装置を冗長性を持つよ
うに有し、ホストコンピュータからのデータ書込み命令
またはデータ読出し命令に応じてホストコンピュータと
の間でデータ書込み動作またはデータ読出し動作をなす
ディスクアレイ装置のエラー制御方法において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出すると共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶工程と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理工程と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行工程と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行工程と、 前記再試行工程における再試行の結果として異常発生デ
ィスク装置が正常である場合に、異常発生ディスク装置
の一時的な切り離し状態を解除して、ディスクアレイ装
置として仮縮退運転から正常運転に戻す再組込み工程と
を有し、 前記異常検出／異常装置特定化情報記憶工程では、ディ
スク装置からリードエラー発生等の異常報告があった場
合に加えて、ホストコンピュータからのデータ書込み命
令またはデータ読出し命令に対して所定時間以内に応答
が返ってこないタイムアウト事象が検出された場合をも
含めて異常と判定する ことを特徴とするディスクアレイ
装置のエラー制御方法。 - 【請求項１１】 複数のディスク装置を冗長性を持つよ
うに有し、ホストコンピュータからのデータ書込み命令
またはデータ読出し命令に応じてホストコンピュータと
の間でデータ書込み動作またはデータ読出し動作をなす
ディスクアレイ装置のエラー制御方法において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出すると共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶工程と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理工程と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行工程と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行工程と、 前記再試行工程における再試行の結果として異常発生デ
ィスク装置が正常である場合に、異常発生ディスク装置
の一時的な切り離し状態を解除して、ディスクアレイ装
置として仮縮退運転から正常運転に戻す再組込み工程と
を有し、 前記再試行工程では、異常内容が媒体の物理的欠損に因
るリードエラーである場合に、当該欠損位置の使用を禁
止し、かつ、代替え位置を割り振るリアサイン処理をも
行うことを特徴とする ディスクアレイ装置のエラー制御
方法。 - 【請求項１２】 複数のディスク装置を冗長性を持つよ
うに有し、ホストコンピュータからのデータ書込み命令
またはデータ読出し命令に応じてホストコンピュータと
の間でデータ書込み動作またはデータ読出し動作をなす
ディスクアレイ装置のエラー制御方法において、 データ書込み動作およびデータ読出し動作のどちらかに
おける異常を検出すると共に、いずれのディスク装置に
おいて異常があったのか記録しておく異常検出／異常装
置特定化情報記憶工程と、 当該異常発生ディスク装置を一時的に切離して、ディス
クアレイ装置として縮 退運転扱い（仮縮退運転と呼ぶ）
として管理する切離し状態管理工程と、 仮縮退運転時にホストコンピュータからデータ書込み命
令またはデータ読出し命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にホスト
コンピュータとの間でデータ書込み動作またはデータ読
出し動作を行わせる命令実行工程と、 ホストコンピュータとの間のデータ書込み動作またはデ
ータ読出し動作と並行して異常発生ディスク装置の再試
行を行う再試行工程と、 前記再試行工程における再試行の結果として異常発生デ
ィスク装置が正常である場合に、異常発生ディスク装置
の一時的な切り離し状態を解除して、ディスクアレイ装
置として仮縮退運転から正常運転に戻す再組込み工程と
を有し、 前記命令実行工程では、仮縮退運転時にホストコンピュ
ータからデータ書込み命令を受けた時に、冗長性を利用
して異常発生ディスク装置以外のディスク装置にデータ
書込み動作を行わせると共に、書込んだデータに対応す
る異常発生ディスク装置の位置を示すブロックアドレス
を逐次記憶しておき、 さらに、異常発生ディスク装置の一時的な切り離し状態
を解除する前までに記憶されたブロックアドレスならび
に該ブロックアドレスが示す位置に対応する異常発生デ
ィスク装置以外のディスク装置に書込んだデータに基づ
いて異常発生ディスク装置のデータを最新状態に復旧さ
せることを特徴とする ディスクアレイ装置のエラー制御
方法。 - 【請求項１３】 前記異常検出／異常装置特定化情報記
憶工程では、ディスク装置からリードエラー発生等の異
常報告があった場合に加えて、ホストコンピュータから
のデータ書込み命令またはデータ読出し命令に対して所
定時間以内に応答が返ってこないタイムアウト事象が検
出された場合をも含めて異常と判定する請求項１２に記
載のディスクアレイ装置のエラー制御方法。 - 【請求項１４】 前記再試行工程では、異常内容が媒体
の物理的欠損に因るリードエラーである場合に、当該欠
損位置の使用を禁止し、かつ、代替え位置を割り振るリ
アサイン処理をも行う請求項１２または１３に記載のデ
ィスクアレイ装置のエラー制御方法。 - 【請求項１５】 前記再試行工程では、異常が発生した
際の動作を再度実行 して再び同じ異常が発生するか否か
を確認し、当該異常が再発生しない場合には異常発生履
歴を残すのみにしてそれ以外の処理は行わない請求項１
０乃至１４のいずれかに記載のディスクアレイ装置のエ
ラー制御方法。 - 【請求項１６】 前記再試行工程では、異常が発生した
位置のデータを再度書き直すことによって正常に読み出
せる状態に復旧する請求項１０乃至１５のいずれかに記
載されたディスクアレイ装置のエラー制御方法。 - 【請求項１７】 前記切離し状態管理工程では、異常デ
ィスク装置のうちの、少くとも異常の発生したデータ記
録位置（ブロックアドレス）を含む一部分を、一時的な
切離し単位とする請求項１０乃至１６のいずれかに記載
のディスクアレイ装置のエラー制御方法。 - 【請求項１８】 前記ディスクアレイ装置は、ＲＡＩＤ
−１乃至ＲＡＩＤ−５方式のいずれかである請求項１０
乃至１７のいずれかに記載のディスクアレイ装置のエラ
ー制御方法。 - 【請求項１９】 請求項１０乃至１８のいずれかに記載
のディスクアレイ装置のエラー制御方法を行うための制
御プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01432599A JP3184171B2 (ja) | 1998-02-26 | 1999-01-22 | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 |
| US09/258,126 US6397347B1 (en) | 1998-02-26 | 1999-02-26 | Disk array apparatus capable of dealing with an abnormality occurring in one of disk units without delaying operation of the apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4484498 | 1998-02-26 | ||
| JP10-44844 | 1998-02-26 | ||
| JP01432599A JP3184171B2 (ja) | 1998-02-26 | 1999-01-22 | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11338648A JPH11338648A (ja) | 1999-12-10 |
| JP3184171B2 true JP3184171B2 (ja) | 2001-07-09 |
Family
ID=26350253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01432599A Expired - Fee Related JP3184171B2 (ja) | 1998-02-26 | 1999-01-22 | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6397347B1 (ja) |
| JP (1) | JP3184171B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102161005B1 (ko) * | 2018-06-26 | 2020-09-29 | 오스템임플란트 주식회사 | 치과용 임플란트 상부 파트의 보관케이스 |
| KR102437214B1 (ko) | 2020-05-14 | 2022-08-30 | 오스템임플란트 주식회사 | 임플란트용 포장용기 |
| KR102721413B1 (ko) | 2022-03-25 | 2024-10-25 | 주식회사 레이언스 | 임플란트, 임플란트 패키지, 및 임플란트 패키지를 이용한 식립 방법 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6799283B1 (en) * | 1998-12-04 | 2004-09-28 | Matsushita Electric Industrial Co., Ltd. | Disk array device |
| JP2001043031A (ja) * | 1999-07-30 | 2001-02-16 | Toshiba Corp | 分散パリティ生成機能を備えたディスクアレイ制御装置 |
| JP2002108573A (ja) * | 2000-09-28 | 2002-04-12 | Nec Corp | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 |
| JP2004192105A (ja) | 2002-12-09 | 2004-07-08 | Hitachi Ltd | 記憶装置の接続装置およびそれを含むコンピュータシステム |
| JP3811127B2 (ja) * | 2003-01-30 | 2006-08-16 | 株式会社東芝 | 情報記録装置及び情報記録方法 |
| JP3778171B2 (ja) * | 2003-02-20 | 2006-05-24 | 日本電気株式会社 | ディスクアレイ装置 |
| US7302603B2 (en) * | 2003-11-20 | 2007-11-27 | International Business Machines Corporation | Host-initiated data reconstruction for improved RAID read operations |
| JP2005182657A (ja) * | 2003-12-22 | 2005-07-07 | Sony Corp | データ記録再生装置及びデータ記録再生方法 |
| JP4851063B2 (ja) * | 2003-12-22 | 2012-01-11 | ソニー株式会社 | データ記録再生装置及びデータ記録再生方法 |
| US7783802B1 (en) * | 2004-02-09 | 2010-08-24 | Lsi Corporation | Serial advanced technology attachment (SATA) switch that toggles with power control to hard disk drive while avolding interruption to system |
| JP2005276135A (ja) * | 2004-03-26 | 2005-10-06 | Hitachi Computer Peripherals Co Ltd | ディスク管理方法及びｒａｉｄストレージシステム |
| US7475276B2 (en) | 2004-05-07 | 2009-01-06 | Equallogic, Inc. | Method for maintaining track data integrity in magnetic disk storage devices |
| JP2006107351A (ja) * | 2004-10-08 | 2006-04-20 | Fujitsu Ltd | データ移行方法、記憶装置及びプログラム |
| US7739447B1 (en) * | 2005-04-22 | 2010-06-15 | Network Appliance, Inc. | Online label maintenance |
| US7389396B1 (en) * | 2005-04-25 | 2008-06-17 | Network Appliance, Inc. | Bounding I/O service time |
| US7389379B1 (en) * | 2005-04-25 | 2008-06-17 | Network Appliance, Inc. | Selective disk offlining |
| JPWO2006123416A1 (ja) * | 2005-05-19 | 2008-12-25 | 富士通株式会社 | ディスク故障復旧方法及びディスクアレイ装置 |
| US7406545B1 (en) | 2005-10-20 | 2008-07-29 | Western Digital Technologies, Inc. | Disk drive or any serial attached device logging a cable loss event |
| US7805633B2 (en) * | 2006-09-18 | 2010-09-28 | Lsi Corporation | Optimized reconstruction and copyback methodology for a disconnected drive in the presence of a global hot spare disk |
| US7743283B1 (en) * | 2007-04-27 | 2010-06-22 | Netapp, Inc. | Dynamically modifying parameters for servicing of storage devices |
| US7861036B2 (en) * | 2007-09-18 | 2010-12-28 | Agere Systems Inc. | Double degraded array protection in an integrated network attached storage device |
| US8001417B2 (en) * | 2007-12-30 | 2011-08-16 | Agere Systems Inc. | Method and apparatus for repairing uncorrectable drive errors in an integrated network attached storage device |
| JP4542163B2 (ja) * | 2008-02-27 | 2010-09-08 | 富士通株式会社 | ディスクアレイ装置、ディスクアレイ制御方法及びディスクアレイ制御装置 |
| WO2010140189A1 (en) * | 2009-06-02 | 2010-12-09 | Hitachi, Ltd. | Storage system and control methods for the same |
| JP4905510B2 (ja) * | 2009-06-29 | 2012-03-28 | 富士通株式会社 | ストレージ制御装置及びストレージ装置のデータ回復方法 |
| JP5768587B2 (ja) * | 2011-08-17 | 2015-08-26 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびストレージ制御方法 |
| JP2015222454A (ja) * | 2012-09-18 | 2015-12-10 | 三菱電機株式会社 | Ｒａｉｄ障害自己修復装置 |
| US20160224479A1 (en) * | 2013-11-28 | 2016-08-04 | Hitachi, Ltd. | Computer system, and computer system control method |
| US9747042B2 (en) | 2015-06-30 | 2017-08-29 | International Business Machines Corporation | Statistic-based isolation of lethargic drives |
| US10255134B2 (en) * | 2017-01-20 | 2019-04-09 | Samsung Electronics Co., Ltd. | Control plane method and apparatus for providing erasure code protection across multiple storage devices |
| CN107589911A (zh) * | 2017-09-05 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种ssd缓存的io处理方法及装置 |
| CN114428709B (zh) * | 2022-01-17 | 2022-08-05 | 广州鲁邦通物联网科技股份有限公司 | 一种云管理平台中sds状态检测方法和系统 |
| CN114968129B (zh) * | 2022-07-28 | 2022-12-06 | 苏州浪潮智能科技有限公司 | 磁盘阵列冗余方法、系统、计算机设备和存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2743606B2 (ja) * | 1991-04-11 | 1998-04-22 | 三菱電機株式会社 | アレイ型記録装置 |
| JP2548480B2 (ja) * | 1992-02-10 | 1996-10-30 | 富士通株式会社 | アレイディスク装置のディスク装置診断方法 |
| JPH0635625A (ja) | 1992-07-15 | 1994-02-10 | Nec Corp | ディスクアレイ制御装置 |
| JPH06325476A (ja) * | 1993-05-14 | 1994-11-25 | Sony Corp | デイスク装置 |
| JPH087498A (ja) * | 1994-06-17 | 1996-01-12 | Hitachi Ltd | 記録情報再生装置 |
| JPH09167427A (ja) | 1995-12-14 | 1997-06-24 | Fujitsu Ltd | ディスクアレイ装置 |
| US5895438A (en) * | 1996-12-23 | 1999-04-20 | Hitachi Computer Products (America ), Inc. | Inline disk tester |
-
1999
- 1999-01-22 JP JP01432599A patent/JP3184171B2/ja not_active Expired - Fee Related
- 1999-02-26 US US09/258,126 patent/US6397347B1/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102161005B1 (ko) * | 2018-06-26 | 2020-09-29 | 오스템임플란트 주식회사 | 치과용 임플란트 상부 파트의 보관케이스 |
| KR102437214B1 (ko) | 2020-05-14 | 2022-08-30 | 오스템임플란트 주식회사 | 임플란트용 포장용기 |
| KR102721413B1 (ko) | 2022-03-25 | 2024-10-25 | 주식회사 레이언스 | 임플란트, 임플란트 패키지, 및 임플란트 패키지를 이용한 식립 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6397347B1 (en) | 2002-05-28 |
| JPH11338648A (ja) | 1999-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3184171B2 (ja) | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 | |
| JP3226370B2 (ja) | 高可用度ディスク配列に関する改善 | |
| US6006308A (en) | Removable library media system utilizing redundant data storage and error detection and correction | |
| US7840838B2 (en) | Rapid regeneration of failed disk sector in a distributed database system | |
| JP3601982B2 (ja) | ディスクアレイ装置の制御方法及びディスクアレイ装置 | |
| US7143308B2 (en) | Apparatus, system, and method for differential rebuilding of a reactivated offline RAID member disk | |
| JP2501752B2 (ja) | コンピユ―タ・システムのストレ―ジ装置及びデ―タのストア方法 | |
| JP2002108573A (ja) | ディスクアレイ装置、そのエラー制御方法、ならびにその制御プログラムを記録した記録媒体 | |
| US7809979B2 (en) | Storage control apparatus and method | |
| US7185222B2 (en) | Apparatus, system, and method for maintaining data in a storage array | |
| JP3681766B2 (ja) | ディスクアレイ装置 | |
| US20050283654A1 (en) | Method and apparatus for decreasing failed disk reconstruction time in a raid data storage system | |
| JPH08263227A (ja) | ディスクアレイにおけるパリティデータの無矛盾性保持方法 | |
| JPH09269871A (ja) | ディスクアレイ装置におけるデータ再冗長化方式 | |
| US20060015769A1 (en) | Program, method and apparatus for disk array control | |
| JP2006079219A (ja) | ディスクアレイ制御装置およびディスクアレイ制御方法 | |
| JP4143040B2 (ja) | ディスクアレイ制御装置、同装置に適用されるデータ欠損検出時の処理方法及びプログラム | |
| JP3063666B2 (ja) | アレイディスク制御装置 | |
| US7529776B2 (en) | Multiple copy track stage recovery in a data storage system | |
| JPH08286844A (ja) | パリティ生成制御方法およびディスク制御装置 | |
| JP2002123372A (ja) | キャッシュメモリ付きディスクアレイ装置及びそのエラー制御方法並びにその制御プログラムを記録した記録媒体 | |
| JP4218636B2 (ja) | 可搬メディアを収納する記憶装置 | |
| JPH0962461A (ja) | ディスクアレイ装置における自動データ復旧方法 | |
| JPH10254634A (ja) | 記憶装置および記憶装置の復旧手段 | |
| JP2830840B2 (ja) | ディスクアレイ修復処理方式及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010404 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080427 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090427 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |