[go: up one dir, main page]

JP2003345522A - データ再配置方法及び装置 - Google Patents

データ再配置方法及び装置

Info

Publication number
JP2003345522A
JP2003345522A JP2002151836A JP2002151836A JP2003345522A JP 2003345522 A JP2003345522 A JP 2003345522A JP 2002151836 A JP2002151836 A JP 2002151836A JP 2002151836 A JP2002151836 A JP 2002151836A JP 2003345522 A JP2003345522 A JP 2003345522A
Authority
JP
Japan
Prior art keywords
relocation
data
storage
storage subsystem
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002151836A
Other languages
English (en)
Other versions
JP4183443B2 (ja
Inventor
Kentetsu Eguchi
賢哲 江口
Takashi Arakawa
敬史 荒川
Yasutomo Yamamoto
康友 山本
Takanari Iwamura
卓成 岩村
Hiroharu Arai
弘治 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002151836A priority Critical patent/JP4183443B2/ja
Priority to US10/234,166 priority patent/US6895483B2/en
Publication of JP2003345522A publication Critical patent/JP2003345522A/ja
Priority to US11/052,072 priority patent/US7007147B2/en
Priority to US11/311,487 priority patent/US7162603B2/en
Priority to US11/649,767 priority patent/US7337292B2/en
Application granted granted Critical
Publication of JP4183443B2 publication Critical patent/JP4183443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 異なるストレージサブシスム間でデータの再
配置を実現する。 【解決手段】 データ再配置が必要であることを検知し
たストレージサブシステム１７０−１は、当該ストレー
ジサブシステム内で記憶装置から別の記憶装置へのデー
タ再配置が可能か否か判定する。当該サブシステム内で
のデータ再配置が不可の場合に仮想化装置１２０に通知
する。仮想化装置１２０のマネージャ１２２は、ストレ
ージサブシステム１７０−２に再配置先となり得るか否
かを問い合わせる。ストレージサブシステム１７０−２
は、関係情報に基づいて当該サブシステム内で要求のデ
ータ再配置が可能か否か判定する。可能な場合に仮想化
装置１２０からの指示によりストレージサブシステム１
７０−１からストレージサブシステム１７０−２へのデ
ータ再配置のためのコピーを行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数のストレージ
サブシステムを有する計算機システムに係わり、特にス
トレージサブシステムから別のストレージサブシステム
へデータの再配置を行う技術に関する。
【０００２】
【従来の技術】コンピュータシステムにおいて、高性能
を実現する二次記憶システムの１つにディスクアレイシ
ステムがある。ディスクアレイシステムは、複数の物理
記憶装置をアレイ状に配置し、各物理記憶装置に分割格
納されるデータのリード／ライトを並列に動作させるこ
とによって高性能なストレージを達成する。
【０００３】ディスクアレイシステムに関する論文とし
ては、Ｄ．Ａ．Ｐａｔｔｅｒｓｏｎ， Ｇ．Ｇｉｂｓｏ
ｎ， ａｎｄ Ｒ．Ｈ．Ｋａｔｓ，”Ａ Ｃａｓｅ ｆ
ｏｒＲｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅ
ｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ （ディスクアレイ）”
（ｉｎ Ｐｒｏｃ． ＡＣＭ ＳＩＧＭＯＤ， ｐｐ．
１０９−１１６， Ｊｕｎｅ １９８８）がある。この
論文は、冗長性を付加したディスクアレイシステムに対
し、その構成に応じてレベル１からレベル５の種別を与
えている。これらの種別に加えて冗長性無しのディスク
アレイシステムをレベル０と呼ぶこともある。これら各
レベルは冗長性の程度などによりコストや性能特性など
が異なるため、ディスクアレイシステムを構築するにあ
たって複数のレベルのアレイ（物理記憶装置の組）を混
在させることも多い。ここでは物理装置の組をパリティ
グループと呼ぶ。
【０００４】また単一の物理記憶装置についても性能や
容量などによりコストが異なり、ディスクアレイシステ
ムを構築するにあたって最適なコストパフォーマンスを
実現するために、性能や容量の異なる複数種の物理記憶
装置を用いることがある。
【０００５】ディスクアレイシステムに格納されるデー
タは、複数の物理記憶装置に分散して配置されるため、
ディスクアレイシステムは、ディスクアレイシステムに
接続するホストコンピュータがアクセスする論理記憶領
域のアドレスと物理記憶装置の記憶領域のアドレスとを
対応づける情報を保持する。
【０００６】特開２０００−２９３３１７号公報は、デ
ィスクアレイシステム内において、物理記憶領域間にお
けるデータの再配置を実行し、データの論理記憶領域に
対する物理記憶領域への対応付けを、再配置前の物理記
憶領域から再配置後の物理記憶領域に変更する技術を開
示する。またディスクアレイシステムがホストコンピュ
ータからの各論理記憶領域に対するアクセスによる負荷
状況を管理し、その実績に応じて再配置後にデータが適
正配置となるように再配置の内容を決定するという技術
を開示する。
【０００７】また一般にコンピュータシステムで行われ
る処理は、ユーザのスケジュールに従って実行されてい
るので、それに伴ってストレージサブシステムが受ける
Ｉ／Ｏ要求も日、月、年などの中の特定の期間に上昇す
るような周期性を示す場合が多い。従って一般にユーザ
はストレージの利用率が上昇する特定期間のストレージ
の性能に関心があると考えられる。
【０００８】特開２００１−６７１８７号公報は、スト
レージ内の記憶装置をその性能によってクラス分けをし
て管理し、ストレージは記憶装置の使用状況情報を蓄積
し、設定された期間の使用状況情報に基づいて論理記憶
領域の利用率を予測し、設定された時間にプログラムに
よって論理記憶領域の最適配置を実行する技術を開示す
る。
【０００９】ホストコンピュータおよびディスクアレイ
システム等のストレージサブシステム間におけるデータ
転送の技術としては、Ｍ．Ｔ．Ｏ’Ｋｅｅｆｅ，”Ｓｈ
ａｒｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ ａｎｄ Ｆｉｂｅ
ｒ Ｃｈａｎｎｅｌ”（ｉｎＰｒｏｃ． Ｓｉｘｅｔｈ
Ｇｏｄｄａｒｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＭａｓ
ｓ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍｓ ａｎｄ Ｔｅｃ
ｈｎｏｌｏｇｉｅｓ， ｐｐ．１−１６． Ｍａｒｃｈ
１９９８）に開示された技術がある。この技術は、高
速のネットワークであるファイバ・チャネル（以下「Ｆ
Ｃ」と称する）によって複数のホストコンピュータと複
数のストレージサブシステムとを接続し、ＦＣ経由でデ
ータ共有を実現するストレージ環境、いわゆるＳｔｏｒ
ａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＳＡＮ）を実現す
るための技術である。このように、ＦＣ経由でデータ転
送を行うことにより、一般的なネットワーク経由に比べ
てホストコンピュータおよびネットワークの負荷が削減
される。
【００１０】高速なＦＣを使用しない一般的なネットワ
ークに接続されたストレージサブシステムに保持されて
いるファイル等のデータを複数のコンピュータで共有す
る技術としては、ＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ
Ｓｙｓｔｅｍ）が広く知られている。ＮＦＳを用いてネ
ットワーク間でデータ共有を行う場合には、ＦＣを使用
する場合に比べてファイルを共有しているコンピュータ
や、コンピュータとストレージサブシステムをつなぐネ
ットワークに対する負荷が大きくなる。しかしＮＦＳを
用いると、既存のネットワークを使用できることから、
新たにＦＣのネットワークを敷設することと比較する
と、新規設備コストを抑えられ、またファイル共有等の
管理が容易である等の利点がある。
【００１１】更に”Ｂｕｉｌｄｉｎｇ Ｓｔｏｒａｇｅ
Ｎｅｔｗｏｒｋｓ”（ＭＡＲＣＦＡＲＬＥＹ著、Ｏｓ
ｂｏｒｎｅ Ｐｕｂｌｉｓｈｉｎｇ、ＩＳＢＮ：０−０
７−２１３０７２−５）のＣｈａｐｔｅｒ１０（Ｐ．３
０２−Ｐ．３４０）やＥｖａｌｕａｔｏｒ Ｇｒｏｕｐ
Ｉｎｃ．（ｗｗｗ．ｅｖａｌｕａｔｏｒｇｒｏｕｐ．
ｃｏｍ）の”Ｔｈｅ Ｅｖａｌｕａｔｏｒ Ｓｅｒｉｅ
ｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｏｆ Ｄｉｓｋ
Ｓｔｏｒａｇｅ”（ＷＰ−０００７−１、Ｓｅｐｔｅｍ
ｂｅｒ ２０００）には、ストレージデバイスの仮想化
とプール化の技術が開示されている。
【００１２】この技術は、複数のストレージサブシステ
ムが提供するストレージの全体を１つにまとめ、ホスト
コンピュータには仮想的な１つのストレージ・プールと
して見せる仮想化技術である。仮想化装置は、このスト
レージ・プールの中からホストコンピュータが必要とす
る記憶領域を仮想ストレージとしてホストコンピュータ
に提供する。このために仮想化装置は、ホストコンピュ
ータが認識する仮想ストレージのアドレスをストレージ
サブシステムが認識するストレージのアドレスに変換す
るアドレス変換機能を備えている。
【００１３】
【発明が解決しようとする課題】特開２０００−２９３
３１７号公報に開示された技術によれば、１つのストレ
ージサブシステム内での論理ボリュームの再配置が可能
である。しかし複数のストレージサブシステムを有する
計算機システムにおいて、異なるストレージサブシステ
ム間でデータの再配置を行うことができない。
【００１４】データの再配置を行うには、ストレージサ
ブシステム内のボリュームの性能情報、利用率の履歴、
構成情報などが必要であるが、その量は膨大なものとな
る。従ってストレージサブシステムの外部、例えばホス
トコンピュータが各ストレージサブシステムからこれら
の情報を収集してデータの適正な再配置計画を作成する
ことは困難である。
【００１５】同様に”Ｂｕｉｌｄｉｎｇ Ｓｔｏｒａｇ
ｅ Ｎｅｔｗｏｒｋｓ”（ＭＡＲＣＦＡＲＬＥＹ著、Ｏ
ｓｂｏｒｎｅ Ｐｕｂｌｉｓｈｉｎｇ、ＩＳＢＮ：０−
０７−２１３０７２−５）のＣｈａｐｔｅｒ１０（Ｐ．
３０２−Ｐ．３４０）やＥｖａｌｕａｔｏｒ Ｇｒｏｕ
ｐ Ｉｎｃ．（ｗｗｗ．ｅｖａｌｕａｔｏｒｇｒｏｕ
ｐ．ｃｏｍ）の”Ｔｈｅ Ｅｖａｌｕａｔｏｒ Ｓｅｒ
ｉｅｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｏｆ Ｄｉｓ
ｋ Ｓｔｏｒａｇｅ”（ＷＰ−０００７−１、Ｓｅｐｔ
ｅｍｂｅｒ ２０００）に記載のストレージ仮想化技術
を使えば、仮想化装置が複数のストレージサブシステム
の構成情報などを管理することができ、個々のホストコ
ンピュータがＳＡＮ上のストレージサブシステムを管理
する必要がない。しかしストレージサブシステム間のデ
ータ再配置を行うために、仮想化装置が各ストレージサ
ブシステムの性能情報や利用率履歴を収集して管理し、
適切な再配置計画を作成することはやはり困難である。
【００１６】本発明の目的は、異なるストレージサブシ
ステム間でデータの再配置をホストコンピュータに対し
て透過的に実現することにある。
【００１７】
【課題を解決する手段】本発明は、ホストコンピュータ
と、複数のストレージサブシステムと、ストレージサブ
システム間のデータ再配置を管理するデータ再配置管理
手段とを有する計算機システムのデータ再配置技術であ
って、再配置元のストレージサブシステムによって当該
ストレージサブシステム内の性能情報及び利用情報を保
持し、これら性能情報及び利用情報に基づいて当該スト
レージサブシステム内で記憶装置から別の記憶装置への
データ再配置が可能か否か判定し、当該ストレージサブ
システム内でのデータ再配置が不可の場合にデータ再配
置管理手段に通知し、データ再配置管理手段の介入を経
て再配置先のストレージサブシステムによって当該スト
レージサブシステム内の記憶装置へデータ再配置が可能
か否か判定し、再配置先のストレージサブシステムへの
データ再配置が可能な場合に、データ再配置管理手段の
介入を経て再配置元のストレージサブシステムから再配
置先のストレージサブシステムへのデータのコピーを行
うデータ再配置技術を特徴とする。
【００１８】
【発明の実施形態】以下、本発明の実施形態について図
面を参照しながら説明する。なおこれにより本発明が限
定されるものではない。
【００１９】図１は、本実施形態の計算機システムの構
成図である。本システムは、ホストコンピュータ１３
０、クライアントコンピュータ１１０、ストレージサブ
システム１７０、仮想化装置１２０、ストレージ管理端
末１６０、装置間を接続するＩ／Ｏネットワーク１４０
および装置間を接続するネットワーク１５０から構成さ
れる。
【００２０】ホストコンピュータ１３０は、オペレーテ
ィングシステム（ＯＳ）１３１、ファイルシステム（Ｆ
Ｓ）１３５、ボリュームマネージャ１３２およびアプリ
ケーションプログラム（ＡＰ）１３３を搭載し、その処
理装置によって実行する。ボリュームマネージャ１３２
は、当該ホストコンピュータ１３０が扱うボリュームを
管理するプログラムである。ホストコンピュータ１３０
は、ローカルディスクなどの記憶装置１３７を有する。
またホストコンピュータ１３０は、Ｉ／Ｏネットワーク
１４０と接続するためのＩ／Ｏインタフェース（Ｉ／
Ｆ）１３４およびネットワーク１５０と接続するための
ネットワークＩ／Ｆ１３６を有する。クライアントコン
ピュータ１１０もホストコンピュータ１３０と同様の構
成であるが、本例ではサーバとなるホストコンピュータ
１３０にアクセスするコンピュータとして位置付けてい
る。
【００２１】ストレージサブシステム１７０は、ディス
ク・ドライブなどの物理記憶装置を有し、上位装置から
発行されるリード／ライトなどのＩ／Ｏ要求に応答して
要求されたデータを上位装置に送り、あるいは要求され
たデータを物理記憶装置に書き込む。すなわちストレー
ジサブシステム１７０は、ホストコンピュータ１３０に
ストレージを提供する。さらにストレージサブシステム
１７０は、記憶装置の性能情報を保持し、また記憶装置
の利用情報の履歴を保持し、利用率の高い記憶装置上の
論理ボリュームを同一ストレージサブシステム１７０内
または他のストレージサブシステム１７０の記憶装置上
に再配置する。
【００２２】仮想化装置１２０は、複数のストレージサ
ブシステム１７０が提供するストレージの全体をストレ
ージ・プールとして管理し、ホストコンピュータ１３０
に対してこのストレージ・プールを仮想化したストレー
ジとして見せる。ボリューム管理情報１２６は、ホスト
コンピュータ１３０から見えるストレージのアドレスと
ストレージサブシステム１７０側のアドレスとの間のマ
ッピング情報を格納するアドレス変換テーブルである。
また仮想化装置１２０は、論理ボリュームをストレージ
サブシステム１７０から他のストレージサブシステム１
７０に再配置する場合に、両ストレージサブシステム１
７０の間に介入し、再配置処理を支援する。仮想化装置
１２０は、ストレージ仮想化部１２３及びマネージャ１
２２を搭載し、そのＣＰＵ（処理装置）によって実行す
る。ストレージ仮想化部１２３内のボリューム管理部１
２５は、ボリューム管理情報１２６に設定されたアドレ
スや空き領域の保守管理を行う。ストレージ仮想化部１
２３は、ボリューム管理情報１２６を参照しホストコン
ピュータ１３０にストレージ仮想化機能を提供する。ま
たマネージャ１２２は、データ再配置管理手段として機
能し、ストレージサブシステム１７０間に亘る再配置処
理を支援するプログラムである。仮想化装置１２０は、
ローカルディスクなどの記憶装置１２７を有する。また
仮想化装置１２０は、Ｉ／Ｏネットワーク１４０と接続
するためのＩ／ＯＩ／Ｆ１２１およびネットワーク１５
０と接続するためのネットワークＩ／Ｆ１２４を有す
る。仮想化装置１２０は、ＣＰＵとメモリを有する計算
機であり、マネージャ１２２及びストレージ仮想化部１
２３の処理部の部分をメモリに格納し、ＣＰＵによって
実行する。通常マネージャ１２２及びストレージ仮想化
部１２３はプログラムとして実行されるが、それ以外の
手段によって実行されてもよい。
【００２３】ストレージ管理端末１６０は、ストレージ
サブシステム１７０の保守・管理などを行うために使用
されるが、本発明と直接関係しないので、詳細説明をし
ない。
【００２４】Ｉ／Ｏネットワーク１４０は、ストレージ
サブシステム１７０と上位装置との間にＩ／Ｏコマン
ド、リード／ライトデータなどを転送するための伝送路
であり、ＬＡＮ、ＦＤＤＩ、ファイバチャネル、ＳＣＳ
Ｉ、ｉＳＣＳＩ、Ｉｎｆｉｎｉｂａｎｄなどによって実
現される。ネットワーク１５０は、主としてストレージ
サブシステム１７０に関するＩ／Ｏ以外の制御指令など
を転送するための伝送路である。
【００２５】ホストコンピュータ１３０が仮想化装置１
２０の仮想化機能を利用するための２つの方式がある。
１つはホストコンピュータ１３０が仮想化装置１２０の
もつアドレス変換機能を利用する方式である。すなわち
ホストコンピュータ１３０がホスト側で認識する論理的
な記憶装置のアドレスを仮想化装置１２０へ送ってスト
レージサブシステム１７０側で認識可能な論理記憶装置
のアドレスを取得し、ホストコンピュータ１３０が後者
のアドレスを用いて直接ストレージサブシステム１７０
へＩ／Ｏ要求を発行する。もう１つはホストコンピュー
タ１３０が前者のアドレスを用いて仮想化装置１２０へ
Ｉ／Ｏ要求を発行する方式である。この場合には、仮想
化装置１２０のストレージ仮想化部１２３が前者のアド
レスを後者のアドレスに変換し、ホストコンピュータ１
３０に代わってストレージサブシステム１７０へＩ／Ｏ
要求を発行する。従って仮想化装置１２０がストレージ
サブシステム１７０からＩ／Ｏ終了報告を受け取り、Ｉ
／Ｏ要求元のホストコンピュータ１３０に中継する。以
下主として２番目の方式を用いる場合について説明す
る。
【００２６】図２は、ストレージサブシステム１７０の
内部構成を示す図である。ストレージサブシステム１７
０は、大きくストレージ制御部１９０と物理記憶装置２
０１から構成され、両者はローカルなインタフェースを
介して接続されている。複数の物理記憶装置２０１の集
合は、パリティ・グループ２００を形成する。
【００２７】ストレージ制御部１９０の内部記憶装置上
にＬＵ／論理／物理対応情報１７３、論理領域使用状況
情報１７６、物理領域使用状況情報１７７、論理記憶装
置管理情報１７８、物理記憶装置管理情報１７９および
記憶装置性能情報１８０を格納する。ＬＵ／論理／物理
対応情報１７３は、上位装置で認識可能なロジカルユニ
ツト（ＬＵ）についてのアドレス、ストレージサブシス
テム１７０が認識可能な論理ボリュームについてのアド
レスおよび物理記憶装置のアドレス間のマッピング情報
を格納する。
【００２８】ストレージ制御部１９０は、記憶装置管理
部１８１、コピー制御部１８２、性能情報取得部１７４
及び利用情報取得部１７５の各処理部を有する。記憶装
置管理部１８１は、ＬＵ／論理／物理対応情報１７３に
基づいて記憶装置の管理を行う。コピー制御部１８２
は、ストレージサブシステム１７０内あるいはストレー
ジサブシステム１７０間に亘って実行される記憶装置間
のデータコピーを制御する。性能情報取得部１７４は、
外部から入力された記憶装置の性能情報を記憶装置性能
情報１８０に格納する。また利用情報取得部１７５は、
物理記憶装置および論理記憶装置の使用状況を収集し、
各々物理領域使用状況情報１７７及び論理領域使用状況
情報１７６に格納する。ストレージ制御部１９０は、ネ
ットワーク１５０と接続するためのネットワークＩ／Ｆ
１７１およびＩ／Ｏネットワーク１４０と接続するため
のＩ／ＯＩ／Ｆ１７２を有する。
【００２９】ストレージ制御部１９０は、さらにデータ
再配置部１８３を有する。データ再配置部１８３は、そ
の記憶領域に再配置判断情報１８５、再配置実行時刻情
報１８６および再配置情報１８８を格納する。また再配
置実行部１８４及び再配置情報作成部１８７の各処理部
を有する。再配置情報作成部１８７は、再配置判断情報
１８５、物理領域使用状況情報１７７及び論理領域使用
状況情報１７６に基づいて論理ボリュームの再配置が必
要か否かを判定する。再配置が必要な場合には、当該ス
トレージサブシステム１７０内部であるいは仮想化装置
１２０の支援を受けて再配置計画を作成して再配置情報
１８８に格納する。再配置実行部１８４は、再配置実行
時刻に達したとき、当該ストレージサブシステム１７０
内部であるいは仮想化装置１２０の支援を受けて他のス
トレージサブシステム１７０との間で再配置処理を実行
する。
【００３０】図３は、ＬＵ／論理／物理対応情報１７３
のデータ構成を示す図である。ＬＵ／論理／物理対応情
報１７３は、論理アドレスと物理アドレスとの対応関係
についての情報を格納するテーブルである。論理アドレ
スは、ＬＵ（ロジカルユニット）番号、ＬＵ内アドレ
ス、論理ボリューム番号および論理ボリューム内アドレ
スから成る。ＬＵ番号およびＬＵ内アドレスは、仮想化
装置１２０又はホストコンピュータ１３０が認識するア
ドレスである。ＬＵ内アドレスは例えばブロック番号に
よって識別される。論理ボリューム番号および論理ボリ
ューム内アドレスは、ストレージサブシステム１７０が
認識する論理アドレスである。物理アドレスは、Ｐ．
Ｇ．番号（パリティ・グループ番号）、データ部のディ
スク装置番号およびディスク装置内アドレス、パリティ
部のディスク装置番号およびディスク装置内アドレスか
ら成る。ディスク装置内アドレスは、例えば物理的なブ
ロック番号によって識別される。ストレージ制御部１９
０は、外部からＬＵ番号およびＬＵ内アドレスを指定し
てリード／ライト要求を受けたとき、ＬＵ／論理／物理
対応情報１７３を参照して指定された論理アドレスを物
理アドレスに変換した後に物理記憶装置２０１にアクセ
スする。
【００３１】図４は、論理領域使用状況情報１７６のデ
ータ構成を示す図である。論理領域使用状況情報１７６
は、各論理ボリュームごと、Ｉ／Ｏ種別ごとにその論理
ボリュームの占有時間を集計したテーブルである。占有
時間は、物理記憶装置２０１に対するリード／ライト経
過時間を示している。シーケンシャル／ランダムの区別
は、上位からのコマンドの種別、指定されるデータのサ
イズ、あるいは連続する複数のリード／ライト要求によ
って指定されるアドレスの連続性などにより区別され
る。ライト・パリティは、パリティ部の書き込み時間を
示す。占有時間は単位時間あたりの占有時間を示すの
で、これから容易に各論理ボリュームごとの利用率また
は論理ボリュームごと、Ｉ／Ｏ種別ごとの利用率を取得
できる。論理領域使用状況情報１７６は、一定時間間隔
ごとに時系列に保持される。特に日、週、月、年度、年
の周期のうちで利用率が上昇する時間帯の論理領域使用
状況情報１７６が重要である。利用情報取得部１７５
は、このような論理ボリュームの使用状況に関するデー
タを収集し、論理領域使用状況情報１７６を作成する。
【００３２】図５は、論理記憶装置管理情報１７８のデ
ータ構成を示す図である。論理記憶装置管理情報１７８
は、各論理ボリュームごとにその論理ボリュームが所属
するパリティ・グループ、サイズ（単位はＭＢ、ＧＢな
ど）、パス定義、状態およびボリューム性能を格納する
テーブルである。パス定義は、上位からその論理ボリユ
ームにアクセスするとき経由するＩ／Ｏポートの識別子
である。状態としては、オンライン、オフライン、リザ
ーブ、オンラインリザーブなどが区別される。オンライ
ンはその論理ボリュームが上位装置から使用されている
状態、オフラインは障害などにより使用できない状態、
リザーブは予約された状態、オンラインリザーブは他の
ストレージサブシステム１７０からのデータ送信のため
に予約された状態である。ボリューム性能は、当該論理
ボリュームあるいは所属するパリティ・グループの性能
を表す指標である。
【００３３】図６は、物理領域使用状況情報１７７のデ
ータ構成を示す図である。物理領域使用状況情報１７７
は、各パリティ・グループごと、Ｉ／Ｏ種別ごとにその
パリティ・グループの占有時間を集計したテーブルであ
る。占有時間の意味は論理領域使用状況情報１７６の占
有時間と同じである。物理領域使用状況情報１７７は、
一定時間間隔ごとに時系列に保持される。特に日、週、
月、年度、年の周期のうちで利用率が上昇する時間帯の
物理領域使用状況情報１７７が重要である。利用情報取
得部１７５は、このようなパリティ・グループの使用状
況に関するデータを収集し、物理領域使用状況情報１７
７を作成する。
【００３４】図７は、物理記憶装置管理情報１７９のデ
ータ構成を示す図である。物理記憶装置管理情報１７９
は、各パリティ・グループについて、ボリューム性能、
ＲＡＩＤレベル、構成、シーケンシャル・ボリュームお
よびＨＤＤ ＩＤを設定する。ボリューム性能は、論理
記憶装置管理情報１７８のボリューム性能と同じであ
る。ＲＡＩＤレベルおよび構成は、そのパリティ・グル
ープのＲＡＩＤレベルとデイスク・ドライブの構成であ
る。シーケンシャル・ボリュームは、そのパリティ・グ
ループをシーケンシャル・アクセス用として定義するか
否かを示す。ＨＤＤ ＩＤは、構成されるディスク・ド
ライブのタイプを示す識別子である。
【００３５】図８は、記憶装置性能情報１８０のデータ
構成を示す図である。記憶装置性能情報１８０は、各物
理ドライブの性能を示すテーブルである。インタフェー
ス転送速度は、ストレージ制御部１９０と物理記憶装置
２０１間のインタフェースのデータ転送速度である。コ
マンドオーバヘッドは、物理記憶装置２０１がストレー
ジ制御部１９０から受けたコマンドを処理する時間であ
る。
【００３６】記憶装置性能情報１８０に設定される物理
ドライブの性能から各パリティ・グループの性能が決ま
り、ボリューム性能を設定可能である。１つのパリティ
・グループ上にただ１つの論理ボリュームが設定されて
いる場合には、論理ボリュームの性能はパリティ・グル
ープの性能に等しい。しかし１つのパリティ・グループ
上に複数の論理ボリュームが設定されている場合には、
論理ボリューム間でアクセスの競合が生じ、そのパリテ
ィ・グループの利用率が上昇する可能性がある。そこで
物理領域使用状況情報１７７を参照して利用率の高いパ
リティ・グループを抽出し、論理記憶装置管理情報１７
８を参照してそのパリティ・グループ上に設定されてい
る論理ボリュームを取得し、論理領域使用状況情報１７
６を参照すると、そのパリティ・グループ上に設定され
ている各論理ボリュームの利用率の内訳が取得できる。
このようにして得られた利用率の高い論理ボリュームが
再配置の候補となる。
【００３７】図９は、ボリューム管理情報１２６のうち
ホストコンピュータ１３０に割り当てられたボリューム
の全体を管理するボリューム管理情報１２６−１のデー
タ構成を示す図である。ボリューム管理情報１２６−１
は、ホスト側アドレスとストレージサブシステム側アド
レスとの対応関係についての情報を格納するテーブルで
ある。ホスト側アドレスは、ボリューム番号とボリュー
ム内アドレスから構成される。ストレージ側アドレス
は、ストレージ装置番号、ポートアドレス、ＬＵ番号、
ＬＵ内アドレス、状態およびエミュレーションタイプの
各データ項目から構成される。ストレージ装置番号は、
ストレージサブシステム１７０の識別子である。ポート
アドレスは、Ｉ／Ｏネットワーク１４０においてストレ
ージサブシステム１７０側のポートアドレスである。状
態は、オンライン、オフライン、リザーブ、オンライン
リザーブなどのうちの１つの状態である。エミュレーシ
ョンタイプは、ホストコンピュータ１３０から見えるデ
ィスクのデータ形式をストレージサブシステム１７０で
エミュレーションする場合のエミュレーションのタイプ
である。
【００３８】本テーブルは、ホストコンピュータ１３０
が認識するストレージのアドレス（ホスト側アドレス）
からストレージサブシステム１７０が提供するストレー
ジのアドレス（ストレージ側アドレス）へのアドレス変
換のためのテーブルである。ホスト側アドレスは、ホス
トがストレージ装置を認識してストレージ装置内の特定
のデータにアクセスするために指定するアドレスであ
り、ここではボリューム番号とボリューム内アドレスか
ら構成される。これはホストが例えばファイバチャネル
でストレージに接続しているのであれば、ボリューム番
号がＷＷＮとＬＵＮであり、ボリューム内アドレスが当
該ボリューム番号に対応するボリューム内アドレスと置
き換えられる。ホストがｉＳＣＳＩでストレージと接続
するのであれば、ボリューム番号がＴＣＰ／ＩＰのＩＰ
アドレス、ＴＣＰのポート番号、ｉＳＣＳＩ ｎａｍ
ｅ、ＬＵＮであり、ボリューム内アドレスが当該ボリュ
ーム番号に対応するボリューム内アドレスと置き換えら
れる。ホストがメインフレームであれば、ボリューム番
号はチャネルＩＤ、入出力装置番号とデバイス番号であ
り、ボリューム内アドレスが当該ボリューム番号に対応
するボリューム内アドレスと置き換えられる。
【００３９】ストレージ側アドレスは、当該ストレージ
サブシステムに接続する計算機がストレージ装置および
その中のデータを特定しアクセスするために計算機に対
して提供されるアドレスであり、ここではストレージ装
置番号、ポートアドレス、ＬＵ番号、ＬＵ内アドレス、
状態およびエミュレーションタイプの各項目から構成さ
れる。例えばストレージサブシステムに対してホストコ
ンピュータがファイバチャネルでアクセスする場合は、
ストレージ装置番号、ポートアドレスがＷＷＮ、ＬＵ番
号がＬＵＮに置き換えられる。ｉＳＣＳＩであれば、ス
トレージ装置番号、ポートアドレスが、ＩＰアドレスと
ＴＣＰポート番号、ＬＵ番号がｉＳＣＳＩ ｎａｍｅ、
ＬＵＮと置き換えられる。メインフレームでは、ストレ
ージ装置番号、ポートアドレス、ＬＵ番号がチャネルＩ
Ｄ、入出力装置番号、デバイス番号と置き換えられる。
【００４０】図１０は、ボリューム管理情報１２６のう
ちホストコンピュータ１３０に割り当てられていないス
トレージの空き領域を管理するボリューム管理情報１２
６−２のデータ構成を示す図である。仮想化装置１２０
は、ボリューム管理情報１２６−１及びボリューム管理
情報１２６−２に設定されるストレージ領域の全体をス
トレージ・プールとして管理する。
【００４１】図１１は、再配置元のストレージサブシス
テム１７０に設定される再配置情報１８８−１のデータ
構成を示す図である。再配置元を示す論理ボリューム番
号９０４は、再配置元を論理ボリューム番号で設定す
る。再配置先９０５は、再配置先がストレージサブシス
テム１７０内か外かを区別するサブシステム内／外９０
６と再配置先アドレスから構成される。再配置先アドレ
スは、ポートアドレス９０７と論理ボリューム番号９０
８から成り、再配置先がサブシステム内の場合にはポー
トアドレス９０７として−１が設定される。状態９０９
は再配置のためのデータコピー処理の処理状態９１０と
コピー処理済みの場合のデータサイズ９１１を示す。実
行時刻９１２は、再配置のためのコピー処理が実行され
る時刻である。
【００４２】図１２は、再配置先のストレージサブシス
テム１７０に設定される再配置情報１８８−２のデータ
構成を示す図である。再配置情報１８８−２は、再配置
元としてサブシステム内／外９０２の区別と再配置元９
０１のポートアドレス９０３、論理ボリューム番号９０
４を設定する。そのデータ形式は再配置情報１８８−１
の場合と同じである。また再配置先アドレスを示す論理
ボリューム番号９０８は、再配置先を論理ボリューム番
号で設定する。状態９０９および実行時刻９１２の形式
は再配置情報１８８−１の場合と同じである。
【００４３】図１３は、仮想化装置１２０に設定される
再配置情報１８８−３のデータ構成を示す図である。再
配置情報１８８−３は、再配置元９０１のアドレスと再
配置先９０５のアドレスとの対応、状態９０９及び実行
時刻９１２を格納する。再配置元９０１及び再配置先９
０５は、各ポートアドレス９０３，９０７と論理ボリュ
ーム番号９０４，９０８から成り、その形式は再配置情
報１８８−１の場合と同じである。また状態９０９およ
び実行時刻９１２の形式は再配置情報１８８−１の場合
と同じである。
【００４４】データ再配置部１８３に格納される再配置
判断情報１８５は、データの再配置を行うか否か判断す
るための対象とする時間帯を設定する。その時間帯は、
上記のように日、週、月、年度、年などの周期のうちス
トレージ利用率が上昇すると予想される時間帯である。
再配置実行時刻情報１８６は、再配置のためのコピー処
理を実行開始する時刻を設定する。その時刻は、ストレ
ージ利用率が低下すると予想される時刻である。
【００４５】図１４は、再配置情報作成部１８７の処理
手順を示すフローチャートである。再配置情報作成部１
８７は、再配置判断情報１８５を参照し、再配置対象期
間を取得する（ステップ３０１）。次にこの対象期間に
ついて利用率の高い論理ボリュームを再配置対象のボリ
ュームとして選択する（ステップ３０２）。対象期間の
物理領域使用状況情報１７７を参照し、利用率があらか
じめ設定された利用率上限を越えているパリティ・グル
ープを１つ抽出する。次に対象期間の論理領域使用状況
情報１７６を参照し、抽出されたパリティ・グループ上
に設定された利用率最大の論理ボリュームを再配置対象
のボリュームとして選択する。利用率上限を越えている
パリティ・グループがなければ処理を終了する。次に当
該サブシステム内での再配置計画を作成する（ステップ
３０３）。再配置計画は、選択された論理ボリューム内
データを別のパリティ・グループ上の使用されていない
論理ボリュームへ移動する計画である。このときの条件
は、移動先の論理ボリュームのボリューム性能が低下し
ないこと、この移動によって移動先のパリティ・グルー
プの利用率が利用率上限を越えないと予測されることな
どである。移動先の論理ボリュームのボリューム性能
は、ＬＵ／論理／物理対応情報１７３及び論理記憶装置
管理情報１７８を参照することによって判明する。移動
先のパリティ・グループの予想利用率は、当該対象期
間、移動先パリティ・グループの物理領域使用状況情報
１７７に基づいて予測可能である。
【００４６】次に再配置情報作成部１８７は、当該サブ
システム内で再配置可能か否か判定する（ステップ３０
４）。対象とする論理ボリュームの現在のボリューム性
能以上である空き領域（空き論理ボリューム）があり、
かつ移動によって移動先のパリティ・グループの利用率
上限を越えないと予測される場合に再配置可能である。
再配置可能であれば、作成した再配置計画に基づいて再
配置情報を作成し、再配置情報１８８−１に登録する
（ステップ３０５）。その処理状態９１０を処理待ち
（０）とし、再配置実行時刻情報１８６をその実行時刻
９１２に設定する。再配置不可であれば、その旨を仮想
化装置１２０に通知し（ステップ３０６）、仮想化装置
１２０に再配置に必要な情報を送信する（ステップ３０
７）。必要な情報とは、論理ボリューム番号、対応する
ＬＵ番号とＬＵ内アドレス範囲、対象期間、論理ボリュ
ームの利用率履歴、そのボリューム性能、データサイ
ズ、エミュレーションタイプ、ＲＡＩＤレベル、実行時
刻などである。
【００４７】図１５は、仮想化装置１２０のマネージャ
１２２の処理手順を示すフローチャートである。マネー
ジャ１２２は、サブシステム内では再配置不可のストレ
ージサブシステム１７０から再配置不可の通知と再配置
対象ボリュームの再配置に必要な情報を受信する（ステ
ップ４０１）。次にマネージャ１２２は、ボリューム管
理情報１２６−２を参照して空き領域のある他のストレ
ージサブシステム１７０へ再配置に必要な情報を送信
し、再配置可能性を問い合わせる（ステップ４０２）。
問合せは、ネットワーク１５０又はＩ／Ｏネットワーク
１４０経由で行う。
【００４８】なおマネージャ１２２は、ボリューム管理
情報１２６−２を参照して空き領域のある他のストレー
ジサブシステム１７０を探索するとき、空き領域の他に
他のストレージサブシステム１７０の保持する論理ボリ
ュームについての簡略な性能情報を考慮してもよい。例
えばストレージ仮想化部１２３は、ボリューム管理情報
１２６とともに、ストレージサブシステム１７０内のポ
ートアドレス、ＬＵ番号と対応して各論理ボリュームの
平均利用率と最大利用率を性能情報として保持する。マ
ネージャ１２２は、空き領域に加えて平均利用率、最大
利用率の低い論理ボリュームを有するストレージサブシ
ステム１７０を再配置候補として選択する。
【００４９】次に問合せ先から再配置可能か否かの結果
と再配置関係情報を受信する（ステップ４０３）。再配
置可能な場合には、候補となる論理ボリュームの番号な
ど再配置に必要な情報を受信する。問合せ結果からいず
れかの再配置先があるか否かを判定する（ステップ４０
４）。再配置先があれば、１つ又は複数の再配置先のス
トレージサブシステム１７０の中から１つの再配置先を
決定する（ステップ４０５）。次に決定した再配置先に
再配置先決定と再配置元アドレスを通知し、他の再配置
先候補に再配置先でないことを通知する（ステップ４０
６）。次に決定した再配置先の対象となる論理ボリュー
ムをリザーブする（ステップ４０７）。次に再配置元の
ストレージサブシステム１７０に再配置可能であること
と再配置先アドレスを通知する（ステップ４０８）。再
配置先アドレスは、ポートアドレスと論理ボリューム番
号とから成る。次に再配置情報を作成し、再配置情報１
８８−３に登録する（ステップ４０９）。その処理状態
９１０を処理待ち（０）とし、決定した実行時刻を実行
時刻９１２に設定する。
【００５０】再配置先がなければ、マネージャ１２２
は、仮想化装置１２０の表示装置又はストレージ管理端
末１６０の表示装置を介して管理者に再配置不可のスト
レージサブシステム１７０が生じたことを通知する（ス
テップ４１０）。すなわちストレージ・プール中で再配
置不可のストレージサブシステム１７０について性能上
の問題が残されたことになる。次に再配置元のストレー
ジサブシステム１７０に再配置不可を通知する（ステッ
プ４１１）。
【００５１】図１６は、再配置先候補となるときの再配
置情報作成部１８７の処理手順を示すフローチャートで
ある。再配置情報作成部１８７は、仮想化装置１２０か
ら再配置先についての問合せと再配置必要情報を受信す
る（ステップ３１１）。次に受信した対象期間を再配置
判断情報１８５に設定する（ステップ３１２）。次にス
テップ３０３と同様の処理によって再配置計画を作成す
る（ステップ３１３）。
【００５２】次にステップ３０４と同じ判断基準によっ
て再配置可能か否か判定する（ステップ３１４）。再配
置可能であれば、再配置可能であることと再配置関係情
報を仮想化装置１２０へ送信する（ステップ３１５）。
次に仮想化装置１２０から当該ストレージサブシステム
１７０が再配置先に決定したか否か応答を受信する（ス
テップ３１６）。再配置先に決定した場合には再配置元
アドレスも受信する。当該ストレージサブシステム１７
０が再配置先であれば（ステップ３１７ＹＥＳ）、作成
した再配置計画に基づいて再配置情報を作成し、再配置
情報１８８−２に登録する（ステップ３１８）。その処
理状態９１０を処理待ち（０）とし、受信した実行時刻
を実行時刻９１２に設定する。再配置不可であれば、仮
想化装置１２０へ再配置不可を通知する（ステップ３２
０）。
【００５３】図１７は、再配置元の再配置情報作成部１
８７の処理手順を示すフローチャートである。この処理
手順は、図１４のステップ３０７の処理に続くものであ
る。再配置情報作成部１８７は、仮想化装置１２０から
再配置可／不可の通知を受信する（ステップ３３１）。
再配置可能である場合には再配置先アドレスと実行時刻
を伴っている。次に受信したメッセージから他のストレ
ージサブシステム１７０に再配置可能か否か判定する
（ステップ３３２）。再配置可能であれば、受信したメ
ッセージから再配置先アドレスを取得し（ステップ３３
３）、再配置情報を作成して再配置情報１８８−１に登
録する（ステップ３３４）。その処理状態９１０を処理
待ち（０）とし、受信した実行時刻を実行時刻９１２に
設定する。再配置不可であれば、再配置情報作成部１８
７は、仮想化装置１２０又はストレージ管理端末１６０
の管理者向けに再配置不可を通知する（ステップ３３
５）。
【００５４】図１８は、ストレージサブシステム間で再
配置するときのマネージャ１２２及びボリューム管理部
１２５の処理手順を示すフローチャートである。マネー
ジャ１２２は、再配置情報１８８−３の実行時刻９１２
を監視する。設定した時刻に達したとき、再配置元９０
１および再配置先９０５へコピー準備指示を発行する
（ステップ４２１）。再配置元および再配置先の両方か
らコピー処理準備完了を受信したとき（ステップ４２
２）、再配置元のストレージサブシステム１７０へコピ
ー開始指示を発行する（ステップ４２３）。この開始指
示は再配置元アドレスとして論理ボリューム番号９０４
を伴う。このとき再配置情報１８８−３の当該再配置案
件の処理状態９１０を処理中状態に変更する。次に再配
置元からコピー処理の終了通知を受信する（ステップ４
２４）。このとき再配置情報１８８−３の当該再配置案
件の処理状態９１０を終了状態に変更する。
【００５５】次にホストコンピュータ１３０から受信し
た再配置元ボリュームに対するライト要求を保留とし、
記憶装置１２７上に保持する（ステップ４２５）。再配
置元ボリュームに対するリード要求については、保留し
てもよいし、そのまま再配置元ストレージサブシステム
１７０へ送信してもよい。次にコピー処理の終了報告前
に再配置元へ送信したＩ／Ｏ処理の応答をすべて受信し
たとき（ステップ４２６）、ボリューム管理部１２５
は、ボリューム管理情報１２６−１及びボリューム管理
情報１２６−２を更新する（ステップ４２７）。すなわ
ちボリューム管理情報１２６−１について、再配置元の
論理ボリュームに対応するＬＵ番号とＬＵ内アドレス範
囲を再配置先の論理ボリュームに対応するＬＵ番号とＬ
Ｕ内アドレス範囲に変更する。またボリューム管理情報
１２６−２について、再配置先の論理ボリュームに対応
するＬＵ番号とＬＵ内アドレス範囲を除外するよう更新
し、再配置元の論理ボリュームに対応するＬＵ番号とＬ
Ｕ内アドレス範囲を追加するように更新する。次に再配
置元および再配置先のストレージサブシステム１７０へ
コピー状態の解除指示を発行する（ステップ４２８）。
これに伴って更新されたボリューム管理情報１２６−１
に基づいてステップ４２５で保留されたライト要求をし
かるべきストレージサブシステム１７０へ送信する。
【００５６】図１９は、再配置元の再配置実行部１８４
及びコピー制御部１８２の処理手順を示すフローチャー
トである。再配置実行部１８４は、仮想化装置１２０か
らコピー準備指示を受信する（ステップ３４１）。コピ
ー処理準備が完了したとき仮想化装置１２０へ準備完了
を応答する（ステップ３４２）。仮想化装置１２０から
コピー指示を受信したとき（ステップ３４３）、再配置
情報１８８−１の当該再配置案件の処理状態９１０を処
理中状態に変更する。再配置元アドレスと再配置先アド
レスを設定し、コピー制御部１８２を起動する（ステッ
プ３４４）。再配置元アドレスは、コピー元ボリューム
の先頭アドレスと終了アドレスを含む。また再配置先ア
ドレスは、再配置先ストレージサブシステム１７０のポ
ートアドレス９０７と論理ボリューム番号９０８を含
む。
【００５７】コピー制御部１８２は、コピー処理を開始
し（ステップ３４５）、指定されたコピー元の先頭アド
レスのデータから順次コピー先アドレスを指定してコピ
ー処理を行う（ステップ３４６）。コピー制御部１８２
は、コピー終了か否か判定し（ステップ３４７）、終了
していなければステップ３４６に戻ってコピー処理を継
続する。再配置先のストレージサブシステム１７０は、
この再配置のためのデータを受信し、再配置情報１８８
−２に設定された論理ボリューム番号９０８の論理ボリ
ュームに格納する。コピー処理が終了したとき（ステッ
プ３４８）、再配置実行部１８４は、再配置情報１８８
−１の当該再配置案件の処理状態９１０を処理終了待ち
とし、仮想化装置１２０にコピー処理の終了を通知する
（ステップ３４９）。この終了通知は再配置元の論理ボ
リューム番号９０４を伴う。次に仮想化装置１２０から
コピー状態の解除指示を受信し（ステップ３５０）、再
配置情報１８８−１の当該再配置案件の処理状態９１０
を終了状態とする。ストレージサブシステム１７０内で
の再配置処理は、再配置実行部１８４が再配置情報１８
８−１の実行時刻９１２を監視し、実行時刻に達した再
配置案件についてコピー制御部１８２を起動してストレ
ージサブシステム１７０内で配置元９０１から配置先９
０５へのデータのコピーを行うだけである。
【００５８】図２０は、コピー処理中を含むコピー元の
ストレージ制御部１９０の処理手順を示すフローチャー
トである。ストレージ制御部１９０は、ホストコンピュ
ータ１３０又は仮想化装置１２０からＩ／Ｏ要求を受信
すると（ステップ３６１）、再配置情報１８８−１及び
ＬＵ／論理／物理対応情報１７３を参照してコピー中の
論理ボリュームへのＩ／Ｏ要求か否かを判定する（ステ
ップ３６２）。コピー中の論理ボリュームへのＩ／Ｏ要
求であれば、ライト要求でなければ（ステップ３６３Ｎ
Ｏ）、要求されたＩ／Ｏ処理を行い（ステップ３６
４）、要求元のホストコンピュータ１３０又は仮想化装
置１２０へＩ／Ｏ処理の終了報告を行う（ステップ３６
５）。コピー中の論理ボリュームへのＩ／Ｏ要求でなけ
れば（ステップ３６２ＮＯ）、ステップ３６４のＩ／Ｏ
処理を行う。
【００５９】コピー中のボリュームへのＩ／Ｏ要求であ
りかつライト要求であれば（ステップ３６３ＹＥＳ）、
コピー終了領域へのライト要求か否か判定する（ステッ
プ３６６）。コピー終了領域へのライト要求でなけれ
ば、ステップ３６４へ行く。コピー終了領域へのライト
要求であれば、ライトＩ／Ｏ処理によって変更されたデ
ータを再配置先にコピーする（ステップ３６７）。再配
置先へはデータとともにブロック番号などデータのアド
レスが通知される。再配置先からこのデータのコピー終
了の通知を受信すると（ステップ３６８）、Ｉ／Ｏ要求
元のホストコンピュータ又は仮想化装置１２０へＩ／Ｏ
処理終了を報告する（ステップ３６５）。
【００６０】
【発明の効果】本発明によれば、ストレージサブシステ
ム内で収集された利用率履歴などの膨大な情報を外部で
取り扱うことなく、ストレージサブシステム内およびス
トレージサブシステム間のデータ再配置を行うことがで
きる。
【図面の簡単な説明】
【図１】実施形態の計算機システムの構成図である。
【図２】実施形態のストレージサブシステム１７０の内
部構成を示す図である。
【図３】実施形態のＬＵ／論理／物理対応情報１７３の
データ構成を示す図である。
【図４】実施形態の論理領域使用状況情報１７６のデー
タ構成を示す図である。
【図５】実施形態の論理記憶装置管理情報１７８のデー
タ構成を示す図である。
【図６】実施形態の物理領域使用状況情報１７７のデー
タ構成を示す図である。
【図７】実施形態の物理記憶装置管理情報１７９のデー
タ構成を示す図である。
【図８】実施形態の記憶装置性能情報１８０のデータ構
成を示す図である。
【図９】実施形態のボリューム管理情報１２６−１のデ
ータ構成を示す図である。
【図１０】実施形態のボリューム管理情報１２６−２の
データ構成を示す図である。
【図１１】実施形態の再配置情報１８８−１のデータ構
成を示す図である。
【図１２】実施形態の再配置情報１８８−２のデータ構
成を示す図である。
【図１３】実施形態の再配置情報１８８−３のデータ構
成を示す図である。
【図１４】実施形態の再配置元の再配置情報作成部１８
７の処理手順を示すフローチャートである。
【図１５】実施形態のマネージャ１２２の処理手順を示
すフローチャートである。
【図１６】実施形態の再配置先候補となるときの再配置
情報作成部１８７の処理手順を示すフローチャートであ
る。
【図１７】実施形態の再配置元の再配置情報作成部１８
７の処理手順を示すフローチャートである。
【図１８】実施形態のマネージャ１２２及びボリューム
管理部１２５の処理手順を示すフローチャートである。
【図１９】実施形態の再配置元の再配置実行部１８４及
びコピー制御部１８２の処理手順を示すフローチャート
である。
【図２０】実施形態のコピー元のストレージ制御部１９
０の処理手順を示すフローチャートである。
【符号の説明】
１２０：仮想化装置、１２２：マネージャ、１２３：ス
トレージ仮想化部、１２５：ボリューム管理部、１２
６：ボリューム管理情報、１３０：ホストコンピュー
タ、１７０：ストレージサブシステム、１８３：データ
再配置部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 康友 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 岩村 卓成 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 荒井 弘治 神奈川県小田原市中里322番地２号 株式 会社日立製作所ＲＡＩＤシステム事業部内 Ｆターム(参考） 5B065 BA01 CA30 CE01 CH18 5B082 CA11

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】ホストコンピュータと、複数のストレージ
    サブシステムと、前記ストレージサブシステム間のデー
    タ再配置を管理するデータ再配置管理手段とを有する計
    算機システムのデータ再配置方法であって、 再配置元の前記ストレージサブシステムによって当該ス
    トレージサブシステム内の性能情報及び利用情報を保持
    し、前記性能情報及び利用情報に基づいて当該ストレー
    ジサブシステム内で記憶装置から別の記憶装置へのデー
    タ再配置が可能か否か判定し、当該ストレージサブシス
    テム内でのデータ再配置が不可の場合に前記データ再配
    置管理手段に通知し、 前記データ再配置管理手段の介入を経て再配置先の前記
    ストレージサブシステムによって当該ストレージサブシ
    ステム内の記憶装置へデータ再配置が可能か否か判定
    し、 前記再配置先のストレージサブシステムへのデータ再配
    置が可能な場合に、前記データ再配置管理手段の介入を
    経て前記再配置元のストレージサブシステムから前記再
    配置先のストレージサブシステムへのデータのコピーを
    行うことを特徴とするデータ再配置方法。
  2. 【請求項２】前記データ再配置の実行時刻を記憶装置上
    に設定し、前記実行時刻に達したことを検出した前記デ
    ータ再配置管理手段によって前記再配置先のストレージ
    サブシステムに対してデータ再配置処理を起動すること
    を特徴とする請求項１記載のデータ再配置方法。
  3. 【請求項３】ホストコンピュータと、複数のストレージ
    サブシステムと、複数の前記ストレージサブシステムが
    提供するストレージの全体を前記ホストコンピュータに
    対してストレージ・プールとして見せるストレージ仮想
    化手段とを有する計算機システムにおいて、前記ストレ
    ージ仮想化手段は、前記ホストコンピュータが認識する
    記憶装置のアドレスを前記ストレージサブシステムが認
    識する記憶装置のアドレスへ変換するためのアドレス変
    換テーブルを参照して前記ホストコンピュータの要求す
    るアドレスを前記ストレージサブシステムが認識するア
    ドレスへ変換する手段を有し、さらに前記ストレージサ
    ブシステム間のデータ再配置を管理するデータ再配置管
    理手段を有する計算機システムのデータ再配置方法であ
    って、 再配置元の前記ストレージサブシステムによって当該ス
    トレージサブシステム内の性能情報及び利用情報を保持
    し、前記性能情報及び利用情報に基づいて当該ストレー
    ジサブシステム内で記憶装置から別の記憶装置へのデー
    タ再配置が可能か否か判定し、当該ストレージサブシス
    テム内でのデータ再配置が不可の場合に前記データ再配
    置管理手段に通知し、 前記データ再配置管理手段の介入を経て再配置先の前記
    ストレージサブシステムによって当該ストレージサブシ
    ステム内の記憶装置へデータ再配置が可能か否か判定
    し、 前記再配置先のストレージサブシステムへのデータ再配
    置が可能な場合に、前記データ再配置管理手段の介入を
    経て前記再配置元のストレージサブシステムから前記再
    配置先のストレージサブシステムへのデータのコピーを
    行い、 再配置のための前記コピーが終了したとき、前記アドレ
    ス変換テーブルの前記ストレージサブシステムが認識す
    る記憶装置のアドレスのうち再配置されるデータに対応
    する前記再配置元のアドレスを前記再配置先のアドレス
    に変更することを特徴とするデータ再配置方法。
  4. 【請求項４】前記データ再配置の実行時刻を記憶装置上
    に設定し、前記実行時刻に達したことを検出した前記デ
    ータ再配置管理手段によって前記再配置先のストレージ
    サブシステムに対してデータ再配置処理を起動すること
    を特徴とする請求項３記載のデータ再配置方法。
  5. 【請求項５】前記ストレージ仮想化手段によって、前記
    ホストコンピュータから受信したＩ／Ｏ要求に付属する
    データアドレスをストレージサブシステムが認識するア
    ドレスへ変換し、前記Ｉ／Ｏ要求を前記ストレージサブ
    システムへ送信し、さらに前記コピーが終了した後に前
    記アドレス変換テーブルを変更するまでの間、前記ホス
    トコンピュータから受信したＩ／Ｏ要求を保留として保
    持することを特徴とする請求項３記載のデータ再配置方
    法。
  6. 【請求項６】ホストコンピュータと、複数のストレージ
    サブシステムと、前記ストレージサブシステム間のデー
    タ再配置を管理するデータ再配置管理手段とを有する計
    算機システムの中でデータ再配置を行う前記ストレージ
    サブシステムであって、 前記ストレージサブシステムは、当該ストレージサブシ
    ステム内の性能情報及び利用情報を保持する手段と、前
    記性能情報及び利用情報に基づいて当該ストレージサブ
    システム内で記憶装置から別の記憶装置へのデータ再配
    置が可能か否か判定する手段と、当該ストレージサブシ
    ステム内でのデータ再配置が不可の場合に前記データ再
    配置管理手段に通知する手段と、前記データ再配置管理
    手段から再配置先のストレージサブシステムに関する情
    報を受信する手段と、再配置のためのデータを前記再配
    置先のストレージサブシステムへ向けて送信する再配置
    実行手段とを有することを特徴とするストレージサブシ
    ステム。
  7. 【請求項７】前記再配置実行手段は、前記データ再配置
    管理手段からの指令を受けたとき再配置のためのデータ
    送信を開始することを特徴とする請求項６記載のストレ
    ージサブシステム。
  8. 【請求項８】ホストコンピュータと、複数のストレージ
    サブシステムと、前記ストレージサブシステム間のデー
    タ再配置を管理するデータ再配置管理手段とを有する計
    算機システムの中でデータ再配置先となる前記ストレー
    ジサブシステムであって、 前記ストレージサブシステムは、前記データ再配置管理
    手段から再配置先についての問合せと再配置関係情報を
    受信する手段と、前記再配置関係情報と当該ストレージ
    サブシステム内の性能情報及び利用情報に基づいて当該
    ストレージサブシステム内の記憶装置へのデータ再配置
    が可能か否か判定する手段と、データ再配置が可能な場
    合に再配置可能であることを前記データ再配置管理手段
    に通知する手段と、再配置元のストレージサブシステム
    から再配置のためのデータを受信する手段とを有するこ
    とを特徴とするストレージサブシステム。
  9. 【請求項９】ホストコンピュータと、複数のストレージ
    サブシステムと、前記ストレージサブシステム間のデー
    タ再配置を管理するデータ再配置管理手段とを有する計
    算機システム中でデータ再配置を支援するデータ再配置
    管理装置であって、 前記データ再配置管理装置は、再配置元のストレージサ
    ブシステムからサブシステム内でのデータ再配置が不可
    能との通知を受信する手段と、他のストレージサブシス
    テムへ再配置先となる可能性を問い合わせる手段と、デ
    ータ再配置可能な再配置先がある場合に前記再配置元の
    ストレージサブシステムへ前記再配置先のストレージサ
    ブシステムのアドレスを通知する手段とを有することを
    特徴とするデータ再配置管理装置。
  10. 【請求項１０】ホストコンピュータと、複数のストレー
    ジサブシステムと、複数の前記ストレージサブシステム
    が提供するストレージの全体を前記ホストコンピュータ
    に対してストレージ・プールとして見せるストレージ仮
    想化装置とを有する計算機システム中でデータ再配置を
    支援する前記ストレージ仮想化装置であって、 前記ストレージ仮想化装置は、前記ホストコンピュータ
    が認識する記憶装置のアドレスを前記ストレージサブシ
    ステムが認識する記憶装置のアドレスへ変換するための
    アドレス変換テーブルと、前記ホストコンピュータから
    の要求に応答し前記アドレス変換テーブルを参照して前
    記ホストコンピュータの要求するアドレスを前記ストレ
    ージサブシステムが認識するアドレスへ変換する仮想化
    手段と、前記アドレス変換テーブルを保守管理する手段
    と、前記ストレージサブシステム間のデータ再配置を管
    理するデータ再配置管理手段とを有し、 前記データ再配置管理手段は、再配置元のストレージサ
    ブシステムからサブシステム内でのデータ再配置が不可
    能との通知を受信する手段と、他のストレージサブシス
    テムへ再配置先となる可能性を問い合わせる手段と、デ
    ータ再配置可能な再配置先がある場合に前記再配置元の
    ストレージサブシステムへ前記再配置先のストレージサ
    ブシステムのアドレスを通知する手段とを有し、 前記保守管理する手段は、前記再配置元から前記再配置
    先へのデータ再配置が終了したとき、前記アドレス変換
    テーブルの前記ストレージサブシステムが認識する記憶
    装置のアドレスのうち再配置されるデータに対応する前
    記再配置元のアドレスを前記再配置先のアドレスに変更
    することを特徴とするストレージ仮想化装置。
  11. 【請求項１１】ホストコンピュータと、複数のストレー
    ジサブシステムと、前記ストレージサブシステム間のデ
    ータ再配置を管理するデータ再配置管理手段とを有する
    計算機システム中でデータ再配置を支援するデータ再配
    置管理装置であって、 前記データ再配置管理装置は、ＣＰＵ、メモリ、前記ス
    トレージサブシステムと接続するための入出力インタフ
    ェース部および前記メモリに格納され前記ＣＰＵによっ
    て実行されるマネージャ部とを備え、前記マネージャ部
    は、再配置元のストレージサブシステムからサブシステ
    ム内でのデータ再配置が不可能との通知を受信し、他の
    ストレージサブシステムへ再配置先となる可能性を問い
    合わせ、データ再配置可能な再配置先がある場合に前記
    再配置元のストレージサブシステムへ前記再配置先のス
    トレージサブシステムのアドレスを通知することを特徴
    とするデータ再配置管理装置。
JP2002151836A 2002-05-27 2002-05-27 データ再配置方法及び装置 Expired - Fee Related JP4183443B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002151836A JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置
US10/234,166 US6895483B2 (en) 2002-05-27 2002-09-05 Method and apparatus for data relocation between storage subsystems
US11/052,072 US7007147B2 (en) 2002-05-27 2005-02-08 Method and apparatus for data relocation between storage subsystems
US11/311,487 US7162603B2 (en) 2002-05-27 2005-12-20 Method and apparatus for data relocation between storage subsystems
US11/649,767 US7337292B2 (en) 2002-05-27 2007-01-05 Method and apparatus for data relocation between storage subsystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002151836A JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置

Publications (2)

Publication Number Publication Date
JP2003345522A true JP2003345522A (ja) 2003-12-05
JP4183443B2 JP4183443B2 (ja) 2008-11-19

Family

ID=29545387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002151836A Expired - Fee Related JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置

Country Status (2)

Country Link
US (4) US6895483B2 (ja)
JP (1) JP4183443B2 (ja)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190106A (ja) * 2003-12-25 2005-07-14 Hitachi Ltd 論理ボリュームを管理する記憶制御サブシステム
JP2005234834A (ja) * 2004-02-19 2005-09-02 Hitachi Ltd 論理ボリュームの再配置方法
JP2006079432A (ja) * 2004-09-10 2006-03-23 Hitachi Ltd ストレージ装置およびそのボリューム再配置方法
JP2006209237A (ja) * 2005-01-25 2006-08-10 Hitachi Ltd 記憶システム及びその制御方法並びに仮想化装置
US7096338B2 (en) 2004-08-30 2006-08-22 Hitachi, Ltd. Storage system and data relocation control device
JP2006268398A (ja) * 2005-03-24 2006-10-05 Hitachi Ltd 計算機システム、データ管理方法およびプログラム
JP2006302259A (ja) * 2005-04-18 2006-11-02 Hitachi Ltd 外部ストレージ装置を管理するための方法
JP2006309318A (ja) * 2005-04-26 2006-11-09 Hitachi Ltd ストレージ管理システム、ストレージ管理サーバ、データ再配置制御方法およびデータ再配置制御プログラム
JP2007115221A (ja) * 2005-09-20 2007-05-10 Hitachi Ltd ボリューム移行方法およびストレージネットワークシステム
JP2007115093A (ja) * 2005-10-21 2007-05-10 Hitachi Ltd 性能情報収集方法及び計算機システム
JP2007133478A (ja) * 2005-11-08 2007-05-31 Hitachi Ltd ストレージ装置の起動可能なディスクグループ数の管理
JP2007280089A (ja) * 2006-04-07 2007-10-25 Hitachi Ltd 容量拡張ボリュームの移行方法
JP2008047156A (ja) * 2004-08-30 2008-02-28 Hitachi Ltd ストレージシステム及びデータ再配置制御装置
US7343465B2 (en) 2005-05-27 2008-03-11 Hitachi, Ltd. Storage system
JP2008071035A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd データ管理システム及びデータ管理方法
JP2008108020A (ja) * 2006-10-25 2008-05-08 Hitachi Ltd 計算機システム、データ移行方法、およびストレージ管理サーバ
JP2008112276A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 再配置システムおよび再配置方法
JPWO2006057059A1 (ja) * 2004-11-29 2008-06-05 富士通株式会社 仮想ボリューム移築プログラム
JP2008521140A (ja) * 2004-11-19 2008-06-19 ネットワーク・アプライアンス・インコーポレイテッド 共有バックエンドストレージを備えた複数のストレージシステムにわたりユーザワークロードのバランスをリアルタイムにとるシステム、及び方法
US7395396B2 (en) 2004-08-30 2008-07-01 Hitachi, Ltd. Storage system and data relocation control device
JP2008203937A (ja) * 2007-02-16 2008-09-04 Hitachi Ltd 計算機システム、ストレージ管理サーバ、及びデータ移行方法
JP2008242971A (ja) * 2007-03-28 2008-10-09 Nec Corp ストレージシステムおよびその省電力化方法ならびにプログラム
US7447863B2 (en) 2006-05-01 2008-11-04 Hitachi, Ltd. Storage resource management system, method, and computer for dividing volumes based on priority, necessary capacity and volume characteristics
US7464232B2 (en) 2005-09-27 2008-12-09 Hitachi, Ltd. Data migration and copying in a storage system with dynamically expansible volumes
US7469325B2 (en) 2006-04-13 2008-12-23 Hiatachi, Ltd. Storage system and storage system data migration method
JP2008310734A (ja) * 2007-06-18 2008-12-25 Hitachi Ltd ストレージ装置のボリュームを管理する計算機システム、方法及びプログラム
JP2009116796A (ja) * 2007-11-09 2009-05-28 Hitachi Ltd データ読出し方法、データ管理システム及びストレージシステム
JP2009163703A (ja) * 2007-12-18 2009-07-23 Hitachi Ltd 複数のストレージ制御ユニットを有するストレージシステムにおいてユニット間ネットワークの使用を回避すること
US7900013B2 (en) 2007-05-01 2011-03-01 Hitachi, Ltd. Method and computer for determining storage device
EP2309372A2 (en) 2009-10-05 2011-04-13 Hitachi Ltd. Data migration control method for storage device
JP2012516476A (ja) * 2009-04-21 2012-07-19 株式会社日立製作所 ストレージシステム、及びその制御方法、並びにプログラム
US8443160B2 (en) 2010-08-06 2013-05-14 Hitachi, Ltd. Computer system and data migration method
US8543779B2 (en) 2010-07-20 2013-09-24 Hitachi, Ltd. Management system and management method for managing computer system
US9292211B2 (en) 2011-03-02 2016-03-22 Hitachi, Ltd. Computer system and data migration method
JP2016143166A (ja) * 2015-01-30 2016-08-08 富士通株式会社 制御装置，ストレージシステム及び制御プログラム
JP2017174219A (ja) * 2016-03-24 2017-09-28 日本電気株式会社 情報処理システム、ストレージ装置、情報処理方法及びプログラム
JP2019125175A (ja) * 2018-01-17 2019-07-25 富士通株式会社 データ処理装置、データ処理システムおよびデータ処理プログラム

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026703B2 (ja) * 2001-11-28 2007-12-26 株式会社日立製作所 記憶装置の運用管理システムおよび運用管理方法
JP2003316522A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
JP2004013215A (ja) * 2002-06-03 2004-01-15 Hitachi Ltd ストレージシステム、ストレージサブシステム、および、それらを含む情報処理システム
JP2004102374A (ja) * 2002-09-05 2004-04-02 Hitachi Ltd データ移行装置を有する情報処理システム
US20040078521A1 (en) * 2002-10-17 2004-04-22 International Business Machines Corporation Method, apparatus and computer program product for emulating an iSCSI device on a logical volume manager
US6986011B2 (en) * 2002-12-05 2006-01-10 International Business Machines Corporation High speed memory cloner within a data processing system
US7502917B2 (en) * 2002-12-05 2009-03-10 International Business Machines Corporation High speed memory cloning facility via a lockless multiprocessor mechanism
US6996693B2 (en) * 2002-12-05 2006-02-07 International Business Machines Corporation High speed memory cloning facility via a source/destination switching mechanism
US6986013B2 (en) * 2002-12-05 2006-01-10 International Business Machines Corporation Imprecise cache line protection mechanism during a memory clone operation
US6883083B1 (en) * 2002-12-20 2005-04-19 Veritas Operating Corporation System and method for maintaining and accessing information regarding virtual storage devices
JP4283004B2 (ja) * 2003-02-04 2009-06-24 株式会社日立製作所 ディスク制御装置およびディスク制御装置の制御方法
JP4226350B2 (ja) 2003-02-17 2009-02-18 株式会社日立製作所 データ移行方法
JP2004302751A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 計算機システムの性能管理方法、および、記憶装置の性能を管理する計算機システム
JP4285058B2 (ja) * 2003-04-21 2009-06-24 株式会社日立製作所 ネットワーク管理プログラム、管理計算機及び管理方法
US7302500B2 (en) * 2003-04-30 2007-11-27 Dynamic Network Factory, Inc. Apparatus and method for packet based storage virtualization
US20060285523A1 (en) * 2003-05-14 2006-12-21 Matsushita Electric Industrial Co., Ltd. Resource relocation method, base station, and radio network control device
US6973654B1 (en) 2003-05-27 2005-12-06 Microsoft Corporation Systems and methods for the repartitioning of data
US20050015546A1 (en) 2003-07-15 2005-01-20 Ofir Zohar Data storage system
JP4451118B2 (ja) * 2003-11-18 2010-04-14 株式会社日立製作所 情報処理システム、管理装置、論理デバイス選択方法及びプログラム
JP4320247B2 (ja) * 2003-12-24 2009-08-26 株式会社日立製作所 構成情報設定方法および装置
JP2005196490A (ja) * 2004-01-07 2005-07-21 Hitachi Ltd データ多重化のためのシステム及び方法
US7639713B2 (en) * 2004-01-21 2009-12-29 Emc Corporation Database block network attached storage packet joining
JP4391265B2 (ja) 2004-02-26 2009-12-24 株式会社日立製作所 ストレージサブシステムおよび性能チューニング方法
JP2005276017A (ja) 2004-03-26 2005-10-06 Hitachi Ltd ストレージシステム
JP4455137B2 (ja) * 2004-04-20 2010-04-21 株式会社日立製作所 記憶サブシステム管理方法
JP4382602B2 (ja) * 2004-04-23 2009-12-16 株式会社日立製作所 リモートコピーシステム
US7304905B2 (en) * 2004-05-24 2007-12-04 Intel Corporation Throttling memory in response to an internal temperature of a memory device
JP2006048313A (ja) * 2004-08-04 2006-02-16 Hitachi Ltd 複数の管理者から管理されるストレージシステムの管理方法
US7523285B2 (en) * 2004-08-20 2009-04-21 Intel Corporation Thermal memory control
JP4182038B2 (ja) * 2004-08-26 2008-11-19 キヤノン株式会社 データ管理装置及び管理方法
JP2006072789A (ja) * 2004-09-03 2006-03-16 Hitachi Ltd ストレージシステム及びストレージシステムのデータ管理装置
US7062624B2 (en) * 2004-09-29 2006-06-13 Hitachi, Ltd. Method for managing volume groups considering storage tiers
JP4431022B2 (ja) * 2004-10-18 2010-03-10 株式会社日立製作所 コンピュータシステム及びその制御方法
US7321909B1 (en) * 2004-12-23 2008-01-22 Sun Microsystems, Inc. Method and apparatus for forwarding references to objects concurrently with space-incremental garbage collection
JPWO2006109462A1 (ja) * 2005-04-05 2008-10-16 松下電器産業株式会社 無線通信システムおよび無線通信方法
US20060235905A1 (en) * 2005-04-14 2006-10-19 Rajesh Kapur Method and system for preserving real-time access to a system in case of a disaster
CN101164072B (zh) * 2005-04-21 2010-04-07 松下电器产业株式会社 内容管理系统、方法、内容管理用的存储装置及集成电路
US7386662B1 (en) 2005-06-20 2008-06-10 Symantec Operating Corporation Coordination of caching and I/O management in a multi-layer virtualized storage environment
US7499167B2 (en) * 2005-07-14 2009-03-03 Battelle Memorial Institute Aerosol trigger device and methods of detecting particulates of interest using an aerosol trigger device
US7532314B1 (en) * 2005-07-14 2009-05-12 Battelle Memorial Institute Systems and methods for biological and chemical detection
US8010485B1 (en) 2005-10-20 2011-08-30 American Megatrends, Inc. Background movement of data between nodes in a storage cluster
US7996608B1 (en) 2005-10-20 2011-08-09 American Megatrends, Inc. Providing redundancy in a storage system
US7778960B1 (en) * 2005-10-20 2010-08-17 American Megatrends, Inc. Background movement of data between nodes in a storage cluster
US8010829B1 (en) 2005-10-20 2011-08-30 American Megatrends, Inc. Distributed hot-spare storage in a storage cluster
US7721044B1 (en) 2005-10-20 2010-05-18 American Megatrends, Inc. Expanding the storage capacity of a virtualized data storage system
JP4852298B2 (ja) * 2005-10-28 2012-01-11 株式会社日立製作所 仮想ボリュームを識別する情報を引き継ぐ方法及びその方法を用いたストレージシステム
JP4749140B2 (ja) * 2005-12-05 2011-08-17 株式会社日立製作所 データマイグレーション方法及びシステム
JP2007164650A (ja) * 2005-12-16 2007-06-28 Hitachi Ltd 記憶制御装置及び記憶制御装置の制御方法
JP4927408B2 (ja) * 2006-01-25 2012-05-09 株式会社日立製作所 記憶システム及びそのデータ復元方法
JP4757038B2 (ja) * 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
JP2007226347A (ja) * 2006-02-21 2007-09-06 Hitachi Ltd 計算機システム、計算機システムの管理装置、及びデータのリカバリー管理方法
JP4504329B2 (ja) * 2006-03-31 2010-07-14 株式会社東芝 ストレージシステム、当該ストレージシステムに用いられるストレージ及びアクセス制御方法
US7809892B1 (en) 2006-04-03 2010-10-05 American Megatrends Inc. Asynchronous data replication
JP4921054B2 (ja) * 2006-07-07 2012-04-18 株式会社日立製作所 負荷分散制御システム及び負荷分散制御方法
JP2008027312A (ja) * 2006-07-24 2008-02-07 Hitachi Ltd ストレージ装置及び変換ボード
JP2008046986A (ja) * 2006-08-18 2008-02-28 Hitachi Ltd ストレージシステム
JP4949791B2 (ja) * 2006-09-29 2012-06-13 株式会社日立製作所 ボリューム選択方法及び情報処理システム
JP4949804B2 (ja) * 2006-11-07 2012-06-13 株式会社日立製作所 統合管理計算機と記憶装置管理方法および計算機システム
JP2008123132A (ja) * 2006-11-09 2008-05-29 Hitachi Ltd 記憶制御装置及び記憶制御装置の論理ボリューム形成方法
US7734889B1 (en) * 2006-12-22 2010-06-08 Emc Corporation Methods and apparatus for distributing information to multiple nodes
US8498967B1 (en) 2007-01-30 2013-07-30 American Megatrends, Inc. Two-node high availability cluster storage solution using an intelligent initiator to avoid split brain syndrome
US7908448B1 (en) 2007-01-30 2011-03-15 American Megatrends, Inc. Maintaining data consistency in mirrored cluster storage systems with write-back cache
US8046548B1 (en) 2007-01-30 2011-10-25 American Megatrends, Inc. Maintaining data consistency in mirrored cluster storage systems using bitmap write-intent logging
JP2008217216A (ja) * 2007-03-01 2008-09-18 Hitachi Ltd 負荷分散方法及び計算機システム
US8108580B1 (en) 2007-04-17 2012-01-31 American Megatrends, Inc. Low latency synchronous replication using an N-way router
JP5026212B2 (ja) * 2007-09-28 2012-09-12 株式会社日立製作所 計算機システム並びに管理装置及び管理方法
JP2009116826A (ja) * 2007-11-09 2009-05-28 Hitachi Ltd ストレージ装置及び論理ボリューム移行方法
US9110791B2 (en) * 2008-03-03 2015-08-18 Microsoft Technology Licensing, Llc Optimistic object relocation
JP2010086049A (ja) * 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
JP2010086424A (ja) * 2008-10-01 2010-04-15 Hitachi Ltd ストレージ装置の管理装置
US8387046B1 (en) 2009-03-26 2013-02-26 Symantec Corporation Security driver for hypervisors and operating systems of virtualized datacenters
US10133485B2 (en) * 2009-11-30 2018-11-20 Red Hat, Inc. Integrating storage resources from storage area network in machine provisioning platform
US8566297B1 (en) 2010-01-14 2013-10-22 Symantec Corporation Method to spoof data formats from image backups
US8290912B1 (en) 2010-01-29 2012-10-16 Symantec Corporation Endpoint virtualization aware backup
JP2012058912A (ja) * 2010-09-07 2012-03-22 Nec Corp 論理ユニット番号管理装置及び論理ユニット番号管理方法並びにそのプログラム
US8527633B2 (en) 2011-01-06 2013-09-03 International Business Machines Corporation Techniques for addressing geographical location issues in computing environments
JP6347055B2 (ja) * 2014-03-28 2018-06-27 パナソニックＩｐマネジメント株式会社 不揮発性メモリ装置
US10782889B2 (en) * 2016-05-10 2020-09-22 Hewlett Packard Enterprise Development Lp Fibre channel scale-out with physical path discovery and volume move

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5584042A (en) * 1993-06-01 1996-12-10 International Business Machines Corporation Dynamic I/O data address relocation facility
JP3181446B2 (ja) * 1993-09-24 2001-07-03 株式会社東芝 情報記憶装置
JPH08221372A (ja) 1995-02-10 1996-08-30 Fuji Facom Corp 分散処理システムにおける空き資源管理装置
JP3641872B2 (ja) * 1996-04-08 2005-04-27 株式会社日立製作所 記憶装置システム
US5996054A (en) * 1996-09-12 1999-11-30 Veritas Software Corp. Efficient virtualized mapping space for log device data storage system
JPH10154123A (ja) 1996-11-25 1998-06-09 Toshiba Corp ネットワークシステム
US6405284B1 (en) * 1998-10-23 2002-06-11 Oracle Corporation Distributing data across multiple data storage devices in a data storage system
JP2000163288A (ja) * 1998-11-30 2000-06-16 Nec Corp データ記憶システム、データ再配置方法及び記録媒体
JP3541744B2 (ja) 1999-08-30 2004-07-14 株式会社日立製作所 ストレージサブシステム及びその制御方法
JP2001337790A (ja) 2000-05-24 2001-12-07 Hitachi Ltd 記憶システム及びその階層管理制御方法
US6925528B2 (en) * 2000-06-20 2005-08-02 Storage Technology Corporation Floating virtualization layers
JP4115093B2 (ja) 2000-07-06 2008-07-09 株式会社日立製作所 計算機システム
US6766430B2 (en) * 2000-07-06 2004-07-20 Hitachi, Ltd. Data reallocation among storage systems
JP4079244B2 (ja) * 2001-03-30 2008-04-23 日立ソフトウエアエンジニアリング株式会社 追記型記憶媒体ボリュームの再編成処理方法
US6895467B2 (en) * 2001-10-22 2005-05-17 Hewlett-Packard Development Company, L.P. System and method for atomizing storage
JP4087097B2 (ja) * 2001-11-12 2008-05-14 株式会社日立製作所 データベース管理システム情報を考慮したデータ再配置方法およびデータ再配置を行う計算機システム

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190106A (ja) * 2003-12-25 2005-07-14 Hitachi Ltd 論理ボリュームを管理する記憶制御サブシステム
US7917720B2 (en) 2004-02-19 2011-03-29 Hitachi, Ltd. Method for rearranging a logical volume
JP2005234834A (ja) * 2004-02-19 2005-09-02 Hitachi Ltd 論理ボリュームの再配置方法
US8151078B2 (en) 2004-02-19 2012-04-03 Hitachi, Ltd. Method for rearranging a logical volume in a network connected storage system
JP2008047156A (ja) * 2004-08-30 2008-02-28 Hitachi Ltd ストレージシステム及びデータ再配置制御装置
US8799600B2 (en) 2004-08-30 2014-08-05 Hitachi, Ltd. Storage system and data relocation control device
US8230038B2 (en) 2004-08-30 2012-07-24 Hitachi, Ltd. Storage system and data relocation control device
US7424585B2 (en) 2004-08-30 2008-09-09 Hitachi, Ltd. Storage system and data relocation control device
US7395396B2 (en) 2004-08-30 2008-07-01 Hitachi, Ltd. Storage system and data relocation control device
US7096338B2 (en) 2004-08-30 2006-08-22 Hitachi, Ltd. Storage system and data relocation control device
JP4549787B2 (ja) * 2004-09-10 2010-09-22 株式会社日立製作所 ストレージ装置
JP2006079432A (ja) * 2004-09-10 2006-03-23 Hitachi Ltd ストレージ装置およびそのボリューム再配置方法
JP2008521140A (ja) * 2004-11-19 2008-06-19 ネットワーク・アプライアンス・インコーポレイテッド 共有バックエンドストレージを備えた複数のストレージシステムにわたりユーザワークロードのバランスをリアルタイムにとるシステム、及び方法
JP4815449B2 (ja) * 2004-11-19 2011-11-16 ネットアップ，インコーポレイテッド 共有バックエンドストレージを備えた複数のストレージシステムにわたりユーザワークロードのバランスをリアルタイムにとるシステム、及び方法
US8072989B2 (en) 2004-11-29 2011-12-06 Fujitsu Limited Virtual volume transfer apparatus, virtual volume transfer method, and computer product
JP4643590B2 (ja) * 2004-11-29 2011-03-02 富士通株式会社 仮想ボリューム移築プログラム
JPWO2006057059A1 (ja) * 2004-11-29 2008-06-05 富士通株式会社 仮想ボリューム移築プログラム
JP2006209237A (ja) * 2005-01-25 2006-08-10 Hitachi Ltd 記憶システム及びその制御方法並びに仮想化装置
JP2006268398A (ja) * 2005-03-24 2006-10-05 Hitachi Ltd 計算機システム、データ管理方法およびプログラム
JP2006302259A (ja) * 2005-04-18 2006-11-02 Hitachi Ltd 外部ストレージ装置を管理するための方法
JP4690765B2 (ja) * 2005-04-26 2011-06-01 株式会社日立製作所 ストレージ管理システム、ストレージ管理サーバ、データ再配置制御方法およびデータ再配置制御プログラム
JP2006309318A (ja) * 2005-04-26 2006-11-09 Hitachi Ltd ストレージ管理システム、ストレージ管理サーバ、データ再配置制御方法およびデータ再配置制御プログラム
US7343465B2 (en) 2005-05-27 2008-03-11 Hitachi, Ltd. Storage system
JP2007115221A (ja) * 2005-09-20 2007-05-10 Hitachi Ltd ボリューム移行方法およびストレージネットワークシステム
US7464232B2 (en) 2005-09-27 2008-12-09 Hitachi, Ltd. Data migration and copying in a storage system with dynamically expansible volumes
US8127094B2 (en) 2005-09-27 2012-02-28 Hitachi, Ltd. Data migration and copying in a storage system with dynamically expansible volumes
US8312235B2 (en) 2005-09-27 2012-11-13 Hitachi, Ltd. Data migration in a storage system with dynamically expansible volumes
US7945748B2 (en) 2005-09-27 2011-05-17 Hitachi, Ltd. Data migration and copying in a storage system with dynamically expansible volumes
JP4585423B2 (ja) * 2005-10-21 2010-11-24 株式会社日立製作所 性能情報収集方法及び計算機システム
JP2007115093A (ja) * 2005-10-21 2007-05-10 Hitachi Ltd 性能情報収集方法及び計算機システム
JP4694350B2 (ja) * 2005-11-08 2011-06-08 株式会社日立製作所 ストレージ装置の起動可能なディスクグループ数の管理
JP2007133478A (ja) * 2005-11-08 2007-05-31 Hitachi Ltd ストレージ装置の起動可能なディスクグループ数の管理
US7467275B2 (en) 2006-04-07 2008-12-16 Hitachi, Ltd. Capacity expansion volume migration method
JP2007280089A (ja) * 2006-04-07 2007-10-25 Hitachi Ltd 容量拡張ボリュームの移行方法
US7805585B2 (en) 2006-04-13 2010-09-28 Hitachi, Ltd. Storage system and storage system data migration method
US7996640B2 (en) 2006-04-13 2011-08-09 Hitachi, Ltd. Storage system and storage system data migration method
US8364925B2 (en) 2006-04-13 2013-01-29 Hitachi, Ltd. Storage system and storage system data migration method
US8140802B2 (en) 2006-04-13 2012-03-20 Hitachi, Ltd. Storage system and storage system data migration method
US7469325B2 (en) 2006-04-13 2008-12-23 Hiatachi, Ltd. Storage system and storage system data migration method
US7447863B2 (en) 2006-05-01 2008-11-04 Hitachi, Ltd. Storage resource management system, method, and computer for dividing volumes based on priority, necessary capacity and volume characteristics
US8364645B2 (en) 2006-09-13 2013-01-29 Hitachi, Ltd. Data management system and data management method
JP2008071035A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd データ管理システム及びデータ管理方法
JP2008108020A (ja) * 2006-10-25 2008-05-08 Hitachi Ltd 計算機システム、データ移行方法、およびストレージ管理サーバ
JP2008112276A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 再配置システムおよび再配置方法
JP2008203937A (ja) * 2007-02-16 2008-09-04 Hitachi Ltd 計算機システム、ストレージ管理サーバ、及びデータ移行方法
JP2008242971A (ja) * 2007-03-28 2008-10-09 Nec Corp ストレージシステムおよびその省電力化方法ならびにプログラム
US7900013B2 (en) 2007-05-01 2011-03-01 Hitachi, Ltd. Method and computer for determining storage device
US8443362B2 (en) 2007-06-18 2013-05-14 Hitachi, Ltd. Computer system for determining and displaying performance problems from first storage devices and based on the problems, selecting a migration destination to other secondary storage devices that are operated independently thereof, from the first storage devices
JP2008310734A (ja) * 2007-06-18 2008-12-25 Hitachi Ltd ストレージ装置のボリュームを管理する計算機システム、方法及びプログラム
JP2009116796A (ja) * 2007-11-09 2009-05-28 Hitachi Ltd データ読出し方法、データ管理システム及びストレージシステム
JP2009163703A (ja) * 2007-12-18 2009-07-23 Hitachi Ltd 複数のストレージ制御ユニットを有するストレージシステムにおいてユニット間ネットワークの使用を回避すること
JP2012516476A (ja) * 2009-04-21 2012-07-19 株式会社日立製作所 ストレージシステム、及びその制御方法、並びにプログラム
US8447941B2 (en) 2009-10-05 2013-05-21 Hitachi, Ltd. Policy based data migration control method for storage device
US8667241B2 (en) 2009-10-05 2014-03-04 Hitachi, Ltd. System for data migration from a storage tier allocated to a virtual logical volume
EP2309372A2 (en) 2009-10-05 2011-04-13 Hitachi Ltd. Data migration control method for storage device
US8886906B2 (en) 2009-10-05 2014-11-11 Hitachi, Ltd. System for data migration using a migration policy involving access frequency and virtual logical volumes
US8543779B2 (en) 2010-07-20 2013-09-24 Hitachi, Ltd. Management system and management method for managing computer system
US8443160B2 (en) 2010-08-06 2013-05-14 Hitachi, Ltd. Computer system and data migration method
US8892840B2 (en) 2010-08-06 2014-11-18 Hitachi, Ltd. Computer system and data migration method
US9292211B2 (en) 2011-03-02 2016-03-22 Hitachi, Ltd. Computer system and data migration method
JP2016143166A (ja) * 2015-01-30 2016-08-08 富士通株式会社 制御装置，ストレージシステム及び制御プログラム
JP2017174219A (ja) * 2016-03-24 2017-09-28 日本電気株式会社 情報処理システム、ストレージ装置、情報処理方法及びプログラム
JP2019125175A (ja) * 2018-01-17 2019-07-25 富士通株式会社 データ処理装置、データ処理システムおよびデータ処理プログラム
JP7068573B2 (ja) 2018-01-17 2022-05-17 富士通株式会社 データ処理装置、データ処理システムおよびデータ処理プログラム

Also Published As

Publication number Publication date
US7007147B2 (en) 2006-02-28
US20070113037A1 (en) 2007-05-17
US7162603B2 (en) 2007-01-09
JP4183443B2 (ja) 2008-11-19
US7337292B2 (en) 2008-02-26
US20030221063A1 (en) 2003-11-27
US20050138315A1 (en) 2005-06-23
US6895483B2 (en) 2005-05-17
US20060095697A1 (en) 2006-05-04

Similar Documents

Publication Publication Date Title
JP2003345522A (ja) データ再配置方法及び装置
JP4438457B2 (ja) 記憶領域割当方法、システム及び仮想化装置
US8700870B2 (en) Logical volume transfer method and storage network system
US7092971B2 (en) Prefetch appliance server
US7831792B2 (en) Computer system, data migration method and storage management server
US9124613B2 (en) Information storage system including a plurality of storage systems that is managed using system and volume identification information and storage system management method for same
US9323682B1 (en) Non-intrusive automated storage tiering using information of front end storage activities
US8650381B2 (en) Storage system using real data storage area dynamic allocation method
US20100049931A1 (en) Copying Logical Disk Mappings Between Arrays
WO2003090087A2 (en) Method and apparatus for implementing an enterprise virtual storage system
US9557933B1 (en) Selective migration of physical data
JP2009043030A (ja) ストレージシステム
JP2005275525A (ja) ストレージシステム
WO2022146475A1 (en) Techniques for workload balancing using dynamic path state modifications
US11768744B2 (en) Alerting and managing data storage system port overload due to host path failures
US10242053B2 (en) Computer and data read method
US11061604B2 (en) Method and storage system architecture for accessing data by means of a compatible module
US10552342B1 (en) Application level coordination for automated multi-tiering system in a federated environment
JP5597266B2 (ja) ストレージシステム
JP6343716B2 (ja) 計算機システム及び記憶制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080902

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130912

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees