[go: up one dir, main page]

JP2012531653A - 記憶制御装置及び仮想ボリュームの制御方法 - Google Patents

記憶制御装置及び仮想ボリュームの制御方法 Download PDF

Info

Publication number
JP2012531653A
JP2012531653A JP2012516979A JP2012516979A JP2012531653A JP 2012531653 A JP2012531653 A JP 2012531653A JP 2012516979 A JP2012516979 A JP 2012516979A JP 2012516979 A JP2012516979 A JP 2012516979A JP 2012531653 A JP2012531653 A JP 2012531653A
Authority
JP
Japan
Prior art keywords
storage area
real storage
destination
real
moved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012516979A
Other languages
English (en)
Other versions
JP5438827B2 (ja
Inventor
裕太郎 川口
篤 石川
勝広 内海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2012531653A publication Critical patent/JP2012531653A/ja
Application granted granted Critical
Publication of JP5438827B2 publication Critical patent/JP5438827B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】記憶制御装置は、複数のページを備えるチャンク単位で、仮想ボリュームに実記憶領域を割り当てる。RAIDグループ間で負荷の偏りが生じると、データの再配置が行われる。
【解決手段】仮想ボリューム5には、ライトアクセスに応じて、プール内の実記憶領域が割り当てられる。RAIDグループ6は、複数のチャンク7を有する。各チャンク7は、複数のページ8を備える。仮想ボリューム5に割り当てられたチャンク7の中からページ8が使用される。各RAIDグループ6の負荷に基づいて、ページ単位でデータ移動計画が作成され、保存される。移動対象のページにホスト2がコマンドを発行すると、そのコマンドを処理しながら、データが移動される。
【選択図】図1

Description

本発明は、記憶制御装置及び仮想ボリュームの制御方法に関する。
企業等のユーザは、記憶制御装置を用いてデータを管理する。記憶制御装置は、RAID(Redundant Array of Independent Disks)に基づく記憶領域上に、論理ボリュームを形成する。その論理ボリュームは、ホストコンピュータ(以下、ホスト)に提供される。
ユーザの使用するデータ量は日々増大するため、現状に合わせて設定されたボリュームサイズでは、いずれ容量が不足する。これに対し、データ量の増加を見越して、ボリュームサイズを現在必要なサイズよりも過大に設定すると、不要不急のディスクドライブが多くなり、コストが増加する。
そこで、仮想的な論理ボリュームを用意し、実際の使用に応じて、仮想的な論理ボリュームに実記憶領域を割り当てる技術が提案されている(特許文献1、特許文献2)。なお、仮想的な論理ボリュームに割り当てられた実記憶領域が特定の実ボリュームに偏在するのを防止するために、データを再配置させる技術も知られている(特許文献3)。
米国特許第6823442号明細書 特開2007−310861号公報 特開2008−234158号公報
前記文献(US6,823,442B1)には、ストレージサーバシステムが、仮想ボリューム上のブロックアドレスに関するライト要求を受信した場合に、そのブロックアドレスに対応する仮想ボリュームページアドレスに対して、論理的なデータページを割り当てる。そして、その論理的なデータページにデータが書き込まれる。
前記文献には、複数の物理ディスク上のエリアから得られるチャンクレット(chunklet)という概念のエリアに基づいて、特定のRAIDレベルを有する論理ディスクを構成するための管理方法が記載されている。
しかしながら、その管理方法は、物理ディスクドライブ単位にRAIDグループを構成する、記憶制御装置の物理エリア管理方法と全く異なる。従って、前記文献に記載の管理方法を、物理ディスクドライブ単位にRAIDグループを構成する記憶制御装置に、そのまま適用することはできない。
仮に、前記文献に記載の技術を前記管理方法に適用する場合は、通常の論理ボリュームと仮想的な論理ボリュームとの両方を提供可能な記憶制御装置において、通常の論理ボリュームと仮想的な論理ボリュームとで、それぞれ物理エリアの管理方法が異なってしまい、記憶制御装置の構造が複雑化するという問題を生じる。ここで、通常の論理ボリュームとは、ボリューム生成時に、そのボリュームサイズと同容量の物理エリア(物理的記憶領域)が予め割り当てられる論理ボリュームを意味する。仮想的な論理ボリュームとは、ボリュームサイズが仮想化された論理ボリュームであって、ライト要求に応じて、物理エリアが割り当てられる論理ボリュームを意味する。
つまり、前記文献に記載の技術を、物理ディスクドライブ単位でRAIDグループを構成する記憶制御装置にもしも適用したとすると、異なる複数の管理方法で物理エリアを管理しなければならず、構成が複雑化し、開発コストも増大する。
さらに、前記文献では、ライト要求の受領時に、仮想ボリュームページアドレスに対応するテーブルページが割り当てられていない場合、ストレージサーバシステムは、まず最初にテーブルページを割当て、その次に、論理的なデータページを割り当てる。従って、前記文献に記載の技術では、テーブルページを割り当てた後で、データページを割り当てる必要があり、ライト処理の性能が低下するという問題がある。
さらに、前記文献では、上述のような割当て処理を行うため、データページ専用のプールとテーブルページ専用のプールとをそれぞれ別々に設ける必要があり、システム構造が複雑化する。
そこで、本発明の目的は、RAIDグループの物理的構成を考慮して仮想ボリュームに効率的に記憶領域を対応付けることのできる記憶制御装置及び仮想ボリュームの制御方法を提供することにある。本発明の他の目的は、各RAIDグループを均等に使用して仮想ボリュームを構成することのできる記憶制御装置及び仮想ボリュームの制御方法を提供することにある。本発明のさらに別の目的は、仮想ボリュームに効率的に記憶領域を対応付けることができ、かつ、仮想ボリュームの応答性能を向上できるようにした記憶制御装置及び仮想ボリュームの制御方法を提供することにある。本発明の更なる目的は、後述する実施形態の記載から明らかになるであろう。
上記課題を解決すべく、本発明の第1観点に従う記憶制御装置は、仮想的に形成される仮想ボリュームと、一つまたは複数の記憶装置を含む、複数のRAIDグループと、各RAIDグループにそれぞれストライプ状に設けられる第1実記憶領域であって、それぞれ複数の第2実記憶領域を有する複数の第1実記憶領域を管理するためのプール部と、上位装置から仮想ボリュームに関するライトコマンドが発行された場合、各第1実記憶領域のうち所定の第1実記憶領域に含まれる各第2実記憶領域の中から所定の第2の実記憶領域を選択し、その所定の第2実記憶領域をライトコマンドに対応する仮想ボリューム内の所定領域に対応付ける制御部であって、一つの第1実記憶領域に一つの仮想ボリュームを対応付ける制御部と、仮想ボリュームに対応付けられている各第2実記憶領域の中から移動対象の第2実記憶領域を選択し、その移動対象の第2実記憶領域に記憶されているデータの移動先となる移動先第1実記憶領域を、各第1実記憶領域のうち移動対象の第2実記憶領域が設けられているRAIDグループ以外の他のRAIDグループ内の他の各第1実記憶領域の中から選択する移動先決定部と、移動対象の第2実記憶領域と、移動先第1実記憶領域とを対応付けて記憶する移動先記憶部と、上位装置が移動対象の第2実記憶領域に対応するコマンドを発行した場合は、コマンドの処理の中で、移動対象の第2実記憶領域に記憶されているデータを、移動先記憶部により記憶されている移動先第1実記憶領域内に移動させるコマンド処理部と、を備える。
第2観点では、第1観点において、移動先記憶部は、移動対象の第2実記憶領域を特定する移動対象情報と、移動先第1実記憶領域を特定する移動先情報と、各RAIDグループの負荷に関する負荷情報と、各RAIDグループの使用容量に関する使用容量情報と、を記憶しており、移動先決定部は、所定時刻が到来した場合またはユーザから指示された場合のいずれかの場合に、移動先記憶部に記憶されている移動先情報を消去させ、さらに、各第2実記憶領域のうちヌルデータのみが記憶されている第2実記憶領域を解放して、未使用の第2実記憶領域に変更させ、さらに、負荷情報に基づく負荷分散処理であって、相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を作成して、移動先記憶部に記憶させる負荷分散処理と、使用容量情報に基づく使用容量平均化処理であって、相対的に使用容量の大きい第1実記憶領域内の第2実記憶領域を相対的に使用容量の小さい第1実記憶領域内に移動させるための、新たな移動先情報を作成して、移動先記憶部に記憶させる使用容量平均化処理とを、それぞれ実行し、コマンド処理部は、上位装置から移動対象の第2実記憶領域についてのライトコマンドが発行された場合、移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータとライトコマンドに係るライトデータとをマージして、移動先第1実記憶領域内の第2実記憶領域に書き込み、さらに、上位装置にライトコマンドの処理が完了した旨を通知し、上位装置から移動対象の第2実記憶領域についてのリードコマンドが発行された場合、移動対象の第2実記憶領域からデータを読み出して上位装置に送信し、上位装置にリードコマンドの処理が完了した旨を通知した後で、移動対象の第2実記憶領域から読み出されたデータを移動先第1実記憶領域内の第2実記憶領域に書き込むようになっている。
第3観点では、第1観点において、コマンド処理部は、上位装置から移動対象の第2実記憶領域についてのライトコマンドが発行された場合、移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータとライトコマンドに係るライトデータとをマージして、移動先第1実記憶領域内の第2実記憶領域に書き込む。
第4観点では、コマンド処理部は、上位装置から移動対象の第2実記憶領域についてのリードコマンドが発行された場合、移動対象の第2実記憶領域からデータを読み出して上位装置に送信し、上位装置にリードコマンドの処理が完了した旨を通知した後で、移動対象の第2実記憶領域から読み出されたデータを移動先第1実記憶領域内の第2実記憶領域に書き込む。
第5観点では、第3観点において、移動先記憶部は、移動対象の第2実記憶領域を特定する移動対象情報と、移動先第1実記憶領域を特定する移動先情報と、各RAIDグループの負荷に関する負荷情報と、を記憶しており、移動先決定部は、移動先記憶部に記憶されている移動先情報を消去させ、相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を負荷情報に基づいて作成し、移動先記憶部に記憶させる。
第6観点では、第3観点において、移動先記憶部は、移動対象の第2実記憶領域を特定する移動対象情報と、移動先第1実記憶領域を特定する移動先情報と、各RAIDグループの負荷に関する負荷情報と、各RAIDグループの使用容量に関する使用容量情報と、を記憶しており、移動先決定部は、移動先記憶部に記憶されている移動先情報を消去させ、相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を負荷情報に基づいて作成し、移動先記憶部に記憶させ、さらに、相対的に使用容量の大きい第1実記憶領域内の第2実記憶領域を相対的に使用容量の小さい第1実記憶領域内に移動させるための、新たな移動先情報を使用容量情報に基づいて作成し、移動先記憶部に記憶させる。
第7観点では、第5観点において、移動先決定部は、移動先記憶部に記憶されている移動先情報を消去させた後で、各第2実記憶領域のうちヌルデータのみが記憶されている第2実記憶領域を解放して、未使用の第2実記憶領域に変更させる。
第8観点では、移動先決定部は、移動対象の第2実記憶領域を第1実記憶領域の単位で複数選択する。
第9観点では、制御部は、仮想ボリュームを生成する場合に、仮想ボリューム内の各仮想的記憶領域を、初期データが記憶されている初期化用の第2実記憶領域に対応付け、上位装置から仮想ボリュームに関するライトコマンドが発行された場合、ライトコマンドに対応する仮想的記憶領域の対応付け先を、初期化用の第2実記憶領域から、選択された所定の第2実記憶領域に切り替える。
第10観点では、制御部は、前回のライト要求に対応して仮想ボリュームに対応付けられた第2実記憶領域に連続する、未使用の第2実記憶領域を、所定の第2実記憶領域として仮想ボリュームに対応付ける。
第11観点では、仮想ボリュームに記憶されるデータには、所定サイズ毎に保証コードが設定されており、保証コードは、RAIDグループを識別するためのデータと、第1実記憶領域を識別するためのデータと、第1実記憶領域内における第2実記憶領域を識別するためのデータとを含んでいる。
第12観点でに従う仮想ボリュームの制御方法は、ライトコマンドに応じて実記憶領域が割り当てられる仮想ボリュームを制御するための方法であって、仮想ボリュームは、複数の仮想的記憶領域を備えており、複数のRAIDグループを管理するためのプール部を作成し、各RAIDグループは、複数の記憶装置を跨るようにしてストライプ状に形成される第1実記憶領域であって、仮想的記憶領域に対応する第2実記憶領域をそれぞれ複数ずつ有する第1実記憶領域を複数備えており、上位装置から仮想ボリュームに関するライトコマンド要求が発行された場合、一つの第1実記憶領域に複数の仮想ボリュームが対応付けられないようにして、ライトコマンドに対応する仮想的記憶領域に、各第1実記憶領域のうち所定の第1実記憶領域に含まれる所定の第2実記憶領域を対応付け、仮想的記憶領域に対応付けられる所定の第2実記憶領域に、上位装置から受領したライトデータを記憶させ、仮想的記憶領域に対応付けられている各第2実記憶領域の中から、相対的に高負荷の第2実記憶領域を移動対象の第2実記憶領域として選択し、各第1実記憶領域のうち移動対象の第2実記憶領域が設けられているRAIDグループ以外の他のRAIDグループ内の他の各第1実記憶領域であって、相対的に低負荷の第1実記憶領域を、移動対象の第2実記憶領域に記憶されているデータの移動先となる移動先第1実記憶領域として選択し、移動対象の第2実記憶領域と、移動先第1実記憶領域とを対応付けて移動先記憶部に記憶させ、上位装置が移動対象の第2実記憶領域に対応するライトコマンドを発行した場合は、移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータとライトコマンドに係るライトデータとをマージして、移動先第1実記憶領域内の第2実記憶領域に書き込む。
第13観点では、第12観点において、上位装置から移動対象の第2実記憶領域についてのリードコマンドが発行された場合には、移動対象の第2実記憶領域からデータを読み出して上位装置に送信し、上位装置にリードコマンドの処理が完了した旨を通知した後で、移動対象の第2実記憶領域から読み出されたデータを移動先第1実記憶領域内の第2実記憶領域に書き込む。
第14観点に従う記憶制御装置は、仮想的に形成される仮想ボリュームと、一つまたは複数の記憶装置を含む、複数のRAIDグループと、各RAIDグループにそれぞれストライプ状に設けられる第1実記憶領域であって、それぞれ複数の第2実記憶領域を有する複数の第1実記憶領域を管理するためのプール部と、上位装置から仮想ボリュームに関するライトコマンドが発行された場合、各第1実記憶領域のうち所定の第1実記憶領域に含まれる各第2実記憶領域の中から所定の第2の実記憶領域を選択し、その所定の第2実記憶領域をライトコマンドに対応する仮想ボリューム内の所定領域に対応付ける制御部であって、一つの第1実記憶領域に一つの仮想ボリュームを対応付ける制御部と、仮想ボリュームに対応付けられている各第1実記憶領域の中から移動対象の第1実記憶領域を選択し、その移動対象の第1実記憶領域に記憶されているデータの移動先となる移動先RAIDグループを、移動対象の第1実記憶領域が設けられているRAIDグループ以外の他のRAIDグループの中から選択する移動先決定部と、移動対象の第1実記憶領域と、移動先RAIDグループとを対応付けて記憶する移動先記憶部と、上位装置が移動対象の第1実記憶領域に対応するコマンドを発行した場合は、コマンドの処理の中で、移動対象の第1実記憶領域に記憶されているデータを、移動先記憶部により記憶されている移動先RAIDグループ内に移動させるコマンド処理部と、を備える。
本発明の構成の少なくとも一部は、コンピュータプログラムとして構成できる。このコンピュータプログラムは、記録媒体に固定して配布したり、通信ネットワークを介して配信することができる。さらに、前記観点の組合せ以外の他の組合せも本発明の範囲に含まれる。
図1は、本発明の実施形態の全体概念を示す説明図である。 図2は、記憶制御装置を含むシステムの全体構成を示す説明図である。 図3は、記憶制御装置のブロック図である。 図4は、プログラム及びテーブルを示す図である。 図5は、仮想ボリュームとチャンク及びページの関係を示す図である。 図6は、チャンク及びページを管理するテーブル群を示す図である。 図7は、仮想ボリュームの生成時におけるテーブル群の接続の様子を示す説明図である。 図8は、ライトデータを書き込む場合に、仮想ボリュームに割り当てるページを初期設定用ページから所定のページに切り替える様子を示す図である。 図9は、移動先管理テーブルを示す図である。 図10は、記憶制御装置の全体動作の流れを示す図である。 図11は、プール作成処理を示すフローチャートである。 図12は、データに付加される保証コードの構成を示す図である。 図13は、チャンクの状態遷移を示す図である。 図14は、チャンクを管理するためのキューを示す図である。 図15は、フォーマット処理を示すフローチャートである。 図16は、フォーマット処理の一部を示すフローチャートである。 図17は、仮想ボリューム生成処理を示すフローチャートである。 図18は、ライト処理を示すフローチャートである。 図19は、図18に続くフローチャートである。 図20は、図19に続くフローチャートである。 図21は、チャンクを仮想ボリュームに割り当てる処理を示すフローチャートである。 図22は、ページを仮想ボリュームに割り当てる処理を示すフローチャートである。 図23は、ページ状態を変更する処理を示すフローチャートである。 図24は、リード処理を示すフローチャートである。 図25は、図24に続くフローチャートである。 図26は、図25に続くフローチャートである。 図27は、移動先を決定する処理のフローチャートである。 図28は、負荷分散処理を示すフローチャートである。 図29は、使用容量を平均化させる処理のフローチャートである。 図30は、本発明の効果の一つを示す図である。 図31は、第2実施例に係り、移動先を決定する処理を示すフローチャートである。 図32は、0データのみを記憶するページを解放する処理を示すフローチャートである。
以下、図面に基づいて、本発明の実施の形態を説明する。最初に、本発明の概要を説明し、次に、実施例について説明する。本発明は、後述のように、仮想ボリューム5への実記憶領域の割当てを、チャンク7単位で行う。チャンク7は、複数のページ8から構成される。一つのチャンク7には、一つの仮想ボリューム5が対応付けられる。つまり、一つのチャンク7が異なる複数の仮想ボリューム5に対応付けられることはない。このため、チャンク7の記憶領域を効率的に使用することができる。
仮想ボリューム5の生成時に、各仮想的記憶領域5Aと初期設定用のページ8とが予め対応付けられる。ホスト2から仮想ボリューム5へのライト要求が発行されると、チャンク7内のページ8が順番に使用されて、ライト要求に関わる仮想的記憶領域5Aに割り当てられる。その割り当てられたページ8にライトデータが書き込まれる。データの書込み時には、ライト要求に係る仮想的記憶領域5Aの接続先が、初期設定用のページ8から、チャンク7内の所定のページ8に切り替えられる。所定のページ8とは、前回のライト処理時に使用されたページに連続するページである。つまり、ライトデータを書き込む際には、仮想的記憶領域5Aに割り当てられるページを、初期設定用のページ8から所定のページ8に切り替えるだけで済むため、仮想ボリューム5の応答性能を向上できる。
さらに、チャンク7内に空きページ8が無くなると、新たなチャンク7が選択されて仮想ボリューム5に割り当てられる。新たなチャンク7は、別のRAIDグループ6b内のチャンク群から選択される。これにより、各RAIDグループ6a,6b間で負荷を分散させることができる。
さらに、本発明では、負荷等に基づいて移動対象のページ8またはチャンク7を選択して、その移動先を決定する。そして、移動対象のページ8またはチャンク7にホスト2がアクセスした場合、ホスト2から発行されるコマンド(ライトコマンドまたはリードコマンド)を処理しながら、データを移動させる。
図1は、本発明の実施形態の概要を示す説明図である。図1に関する以下の記載は、本発明の理解及び実施に必要な程度で本発明の概要を示しており、本発明の範囲は図1に示す構成に限定されない。
図1に示すシステムは、例えば、記憶制御装置1と、「上位装置」としてのホスト2とを備える。ホスト2は、例えば、サーバコンピュータまたはメインフレームコンピュータのようなコンピュータ装置として構成される。ホスト2がホストコンピュータの場合、例えば、FICON(Fibre Connection:登録商標)、ESCON(Enterprise System Connection:登録商標)、ACONARC(Advanced Connection Architecture:登録商標)、FIBARC(Fibre Connection
Architecture:登録商標)等の通信プロトコルに従って、データ通信が行われる。ホスト2がサーバコンピュータ等の場合、例えば、FCP(Fibre Channel Protocol)またはiSCSI(internet Small Computer System Interface)等の通信プロトコルに従って、データ通信が行われる。
記憶制御装置1は、ホスト2に通信ネットワークを介して接続される。記憶制御装置1は、例えば、コントローラ3と、記憶装置4と、仮想ボリューム5(1),5(2)とを備える。特に区別する必要がない場合、仮想ボリューム5と呼ぶ。各RAIDグループ6a,6bは、それぞれ複数ずつの記憶装置4から構成される。特に区別しない場合、RAIDグループ6と呼ぶ。
記憶装置4としては、例えば、ハードディスクデバイス、半導体メモリデバイス、光ディスクデバイス、光磁気ディスクデバイス、磁気テープデバイス、フレキシブルディスクデバイス等のデータを読み書き可能な種々のデバイスを利用可能である。
記憶装置4としてハードディスクデバイスを用いる場合、例えば、FC(Fibre Channel)ディスク、SCSI(Small Computer System Interface)ディスク、SATAディスク、ATA(AT Attachment)ディスク、SAS(Serial Attached SCSI)ディスク等を用いることができる。また、例えば、フラッシュメモリ、FeRAM(Ferroelectric Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)、相変化メモリ(Ovonic Unified Memory)、RRAM(Resistance RAM)」等の種々の記憶装置4を用いることもできる。さらに、例えば、フラッシュメモリデバイスとハードディスクドライブのように、種類の異なる記憶装置4を混在させる構成でもよい。
各RAIDグループ6a,6bの有する物理的記憶領域は、ストライプ状の複数のチャンク7に区切られる。各チャンク7は、連続する複数のページ8から構成される。チャンク7は「第1実記憶領域」に該当し、ページ8は「第2実記憶領域」に該当する。理解のために、一方のRAIDグループ6aに属する第1チャンク7に符号”a1”を与え、第1チャンク7(a1)に属する各ページに連番を添える。他方のRAIDグループ6bについても同様である。従って、例えば、”a2−3”は、RAIDグループ6aの第2チャンク内の3番目のページであることを意味し、”b1−1”は、RAIDグループ6bの第1チャンク内の1番目のページであることを意味する。
仮想ボリューム5は、複数の仮想的記憶領域5Aから構成される。仮想的記憶領域5Aとページ8のサイズは同一である。一つの例では、1枚のページ8のサイズはSZ1バイト(例えば、32MB)、一つのチャンク7のサイズはSZ2バイト(例えば、1GB)、仮想ボリューム5のサイズはSZ3バイト(例えば、10GB)である。この場合、一つの仮想ボリューム5はN1個(例えば、10個)のチャンク7から構成され、一つのチャンク7はN2枚(例えば、32枚)のページ8から構成される。上記括弧内の数値は、理解のための一例に過ぎず、本発明の範囲は上記数値に限定されない。上述のページサイズ、チャンクサイズ、仮想ボリュームサイズ等は、可変に設定できる。
コントローラ3は、記憶制御装置1の動作を制御する。例えば、コントローラ3は、ユーザからの指示に基づいて、RAIDグループ6a,6b及び仮想ボリューム5を生成させる。また、コントローラ3は、ホスト2から発行されるコマンド(リードコマンド、ライトコマンド)に応じて処理を実行し、その処理結果をホスト2に送信する。
さらに、コントローラ3は、ライトコマンドを受領した場合、ライトコマンドにより指定される仮想的記憶領域5Aに、ページ8が割り当てられているか否かを判断する。指定される仮想的記憶領域5Aにページ8が割り当てられていない場合、コントローラ3は、チャンク7内の所定のページ8を、指定される仮想的記憶領域5Aに割り当てる。コントローラ3は、割り当てられた所定ページ8にライトデータを書き込む。
コントローラ3は、一つのチャンク7に一つの仮想ボリューム5だけが対応付けられるように、ページ割当てを制御する。一つのチャンク7に含まれる各ページ8は、一つの仮想ボリューム5にのみ割り当てられる。一つのチャンク7内にそれぞれ異なる複数の仮想ボリューム5に割り当てられるページ8が混在することはない。一つのチャンク7内では、論理アドレスの値を問わずに、連続するページ8が使用される。
一方の仮想ボリューム5(1)を例に挙げて説明すると、最初のライトコマンドについて、チャンク7(a1)内の先頭ページ8(a1−1)が使用され、次のライトコマンドについては、その先頭ページ8(a1−1)に続く次のページ8(a1−2)が使用され、さらに別のライトコマンドについては、次のページ8(a1−3)が使用される。そして、最後のページ8(a1−4)を使用した後で、さらにライトコマンドを受領した場合、新たなチャンク7(b1)が仮想ボリューム5(1)に割り当てられる。
他方の仮想ボリューム5(2)には、RAIDグループ6aの第2チャンク7内の先頭ページ8(a2−1)が割り当てられている。もしも、仮想ボリューム5(2)を対象とする新たなライトコマンドが発行された場合、次のページ8が仮想ボリューム5(2)に割り当てられる。そのページ8には、”a2−2”の符号が添えられるはずであるが、図1では省略する。
このように、仮想ボリューム5には、ホスト2に見せかけているボリュームサイズよりも小さいサイズの実記憶領域(ページ7、チャンク8)が割り当てられた状態で、ホスト2に提供される。そして、ホスト2からのライトコマンドに応じて、必要量の実記憶領域が動的に割り当てられる。
さらに、コントローラ3は、以下に述べるように、各RAIDグループ6a,6b間でデータを移動させる。コントローラ3は、例えば、データへのアクセス頻度(負荷)等に基づいて、移動対象のデータを選択する。コントローラ3は、移動対象のデータを移動させる移動先として、低負荷のRAIDグループ6を選択する。または、コントローラ3は、低負荷のRAIDグループ内のチャンクを移動先として選択することもできる。
上述のように、コントローラ3は、移動対象のデータ及びその移動先を決定し(S1)、記憶させる(S2)。ホスト2が移動対象のデータにアクセスすると、コントローラ3は、移動対象データを読み出してコマンド処理を行うとともに、その移動対象データを移動先の記憶領域に移動させる(S3)。
このように構成される本実施形態では、複数のページ8を有するチャンク7の単位で、仮想ボリューム5に実記憶領域(物理的記憶領域)を割り当て、かつ、一つのチャンク7を一つの仮想ボリューム5にのみ割り当てる。従って、後述のように、チャンク7内の記憶領域を有効に使用できる。また、通常の論理ボリュームと同様にして、仮想ボリューム5を管理でき、制御構造を簡素化できる。
本実施形態では、複数のRAIDグループ6a,6bを均等に使用するべく、各RAIDグループ6a,6bからそれぞれチャンク7(a1),7(b1)を選択して、仮想ボリューム5(1)に割り当てる。これにより、各RAIDグループ6a,6bの負荷を均一化することができる。
本実施形態では、例えば、RAIDグループ6a,6B間の負荷を分散させべくデータ移動計画を予め作成しておき、ホスト2が移動対象のデータにアクセスした場合に、ホスト2の要求する処理を実行しながら、移動対象のデータを予め設定された移動先に移動させる。従って、ホスト2からのアクセスを契機として、通常のコマンド処理の中でデータ移動を行うことができる。リード処理の場合は、読み出したデータを移動先に書き込む作業が発生するが、移動先は低負荷の記憶領域の中から選択されるため、記憶制御装置の応答性能に与える影響は少ない。
さらに、本実施形態では、格納先の移動が予定されたものの、ホスト2にアクセスされなかったデータは、移動契機が発生しないので、移動されることはない。従って、実記憶領域へのアクセスを低減し、ホスト2により使用されるデータのみを効率的に移動させることができる。
さらに、本実施形態では、ホスト2によるアクセスを移動契機とするため、移動先を決定するタイミングと、実際の移動タイミングとの間に時間遅れが生じる。しかし、ホスト2により頻繁にアクセスされるデータは、直ちに低負荷の記憶領域に移動されるため、タイミングのずれによる影響は小さい。以下、本実施形態を詳細に説明する。
図2は、本実施例に係る記憶制御装置10を含む情報処理システムの全体構成を示す説明図である。この情報処理システムは、例えば、少なくとも一つの記憶制御装置10と、一つまたは複数のホスト20と、少なくとも一つの管理サーバ70とを含んで構成することができる。
先に図1で述べた実施形態との対応関係を説明する。記憶制御装置10は記憶制御装置1に、ホスト20はホスト2に、コントローラ30はコントローラ3に、記憶装置40は記憶装置4に、仮想ボリューム50Vは仮想ボリューム5に、RAIDグループ90はRAIDグループ6a,6bに、それぞれ対応する。図1で述べた説明と重複する説明は、できるだけ省略する。
ホスト20と記憶装置10とは、第1通信ネットワーク80を介して接続される。第1通信ネットワーク80は、例えば、FC−SAN(Fibre Channel-Storage Area Network)やIP−SAN(Internet Protocol_SAN)のように構成される。
管理サーバ70は、記憶制御装置10の設定を変更等するための装置である。管理サーバ70は、例えば、LAN(Local Area Network)のような第2通信ネットワーク81を介して、記憶制御装置10に接続されている。なお、ホスト20にストレージ管理機能を設けて、ホスト20側から記憶制御装置10の設定変更等を行うように構成することもできる。
記憶制御装置10の詳細は後述するが、記憶制御装置10は、仮想ボリューム50Vと通常ボリューム50Nとを備える。なお、図中では、論理ボリュームを”LU”と表記している。LUとは、Logical Unitの略である。
仮想ボリューム50Vは、図1で述べたように、仮想的に生成される論理ボリュームであって、ホスト20からのライトコマンドに応じて記憶領域が割り当てられるボリュームである。つまり、仮想ボリューム50Vは、ホスト20に提供されるボリュームサイズと、実際に有する記憶領域のサイズとが一致しない。通常ボリューム50Nは、RAIDグループ90の有する記憶領域に基づいて生成されるボリュームである。
プール部60は、複数のRAIDグループ90の有する記憶領域を管理する。プール部60で管理されている記憶領域は、チャンク91(図5参照)単位で仮想ボリューム50Vに割り当てられる。
コントローラ30は、各ボリューム50V,50Nの論理アドレスをRAIDグループ90の物理アドレスに変換等して、データを記憶装置40に書き込んだり、あるいは、記憶装置40から読み出したデータの物理アドレスを論理アドレスに変換等して、データをホスト20に送信する。
さらに、後述のように、コントローラ30は、データ移動計画を作成し、ホスト20からのアクセスを契機としてデータ移動計画を実行する。
図3は、コントローラ30の構成を示すブロック図である。記憶制御装置10には、複数の増設筐体43を接続することができる。増設筐体43は、複数の記憶装置40を収容している。ユーザは、必要に応じて、増設筐体43を接続することにより、システムの総記憶容量を増大させることができる。
記憶制御装置10は、複数のコントローラ30(#0),30(#1)を備える。いずれか一方のコントローラ30が障害等によって停止した場合でも、他方のコントローラ30により動作を継続することができる。以下、特に区別する必要が無い場合、コントローラ30と称する。
コントローラ30は、例えば、第1通信回路310(図中、FEI/F)と、第2通信回路320(図中、SAS)と、データ転送制御回路330(図中、DCTL)と、キャッシュメモリ340(図中、CM)と、ローカルメモリ350(図中、LM)と、マイクロプロセッサ360(図中、MPU)と、メモリコントローラ370(図中、MC)と、エキスパンダ380(図中、EXP)とを備える。
第1通信回路310は、ホスト20と通信を行うための制御回路である。第2通信回路320は、各記憶装置40と通信を行うための制御回路である。データ転送制御回路330は、記憶制御装置10内のデータの流れを制御するための回路である。各データ転送制御回路330は、互いに接続されている。キャッシュメモリ340は、例えば、ホスト20から受領したライトデータと、記憶装置40から読み出されるデータとを記憶する。さらに、キャッシュメモリ340には、記憶制御装置10の構成または動作を管理するための管理用データ等が記憶される場合もある。
ローカルメモリ350は、例えば、マイクロプロセッサ360により使用される各種データを記憶する。マイクロプロセッサ360は、記憶装置40またはローカルメモリ350からコンピュータプログラムを読み込んで実行することにより、後述のように、記憶制御装置10の動作を制御する。
メモリコントローラ370は、マイクロプロセッサ360をローカルメモリ350及びデータ転送制御回路330に接続させるための制御回路である。エキスパンダ380は、第2通信回路320の通信ポートを拡張するための回路である。なお、図3に示す構成は一例であって、他の構成の記憶制御装置にも本発明を適用できる。
図4は、記憶制御装置10の有するプログラム及びテーブルの例を示す。例えば、メモリ360にはプログラム110〜130が記憶され、キャッシュメモリ340にはテーブル140〜160が記憶される。または、特定の記憶装置40内に、プログラム及びテーブルを格納し、必要に応じてメモリにロードして使用する構成でもよい。
RAID制御プログラム110は、RAIDを制御するためのプログラムである。RAID制御プログラム110は、ドライブ管理テーブル140等を用いて、RAID構成を管理する。
コマンド処理プログラム120は、ホスト20からのコマンドを処理するためのプログラムである。コマンドとしては、例えば、ライトコマンド、リードコマンド、その他のコマンドを挙げることができる。その他のコマンドとしては、例えば、ボリュームの作成、ボリュームの削除、ボリュームコピーの指示、仕様等を問い合わせるためのコマンドを挙げることができる。コマンド処理プログラム120は、ライトコマンド及びリードコマンドを処理する場合、その処理対象のデータに「データの移動先」が関連づけられているか否かを確認する。もしも、処理対象データにデータの移動先が関連づけられている場合、コマンド処理プログラム120は、コマンド処理の中で、処理対象データを予め設定されている移動先に移動させる。
移動先決定プログラム130は、仮想ボリューム50Vに記憶されているデータのうち、第1条件を満たすデータを移動対象データとして選択し、第2条件を満たす移動先に移動させる。
例えば、第1条件は、予め設定されている負荷の値を超えるRAIDグループ90のうち、最も高い負荷値を有すること、である。例えば、第2条件は、予め設定される他の負荷値を下回るRAIDグループ90のうち、最も低い負荷値を有すること、である。
他の第1条件は、使用容量が予め設定される使用容量の値よりも大きいRAIDグループ90のうち最も使用容量が大きいこと、である。他の第2条件は、予め設定される他の使用容量値を下回るRAIDグループ90のうち、最も小さい使用容量を有すること、である。使用容量は、百分率形式で表すこともできる。
ホストアクセスを契機としてデータを移動させると、移動元RAIDグループ90は、その負荷及び使用容量がともに減少する。移動先RAIDグループ90は、その負荷及び使用容量がともに増加する。
ドライブ管理テーブル140は、各記憶装置40を管理するための情報である。ドライブ管理テーブル140は、例えば、各記憶装置40の種類、容量、所属するRAIDグループの番号等を管理する。
ページ管理テーブル150は、各ページ92及び各チャンク91等を管理する。ページ管理テーブル150の詳細は、図6〜図8で後述する。
移動先管理テーブル160は、移動対象データの移動先に関する情報と、移動先を決定するために使用される情報とを管理する。移動先管理テーブル160の詳細は、図9で後述する。
図5は、仮想ボリューム50Vとチャンク91との関係を示す説明図である。仮想ボリューム50Vは、複数の仮想的記憶領域500を有する。チャンク91は、複数のページ92を有する。図5では、便宜上、各ページ92を、ストライプ状のチャンク91を横方向に区切って形成するかのように示すが、実際には、各ページ92は、ストライプ列に沿うようにして形成される。
図5では、最初に、第1のチャンク91(#0)が仮想ボリューム50Vに割り当てられたとする。仮想ボリューム50Vへのライトコマンド(ライト要求)が受領される度に、第1チャンク91(#0)内のページ92が順番に選択されて、ライトコマンドに対応する仮想的記憶領域500に対応付けられる。ライトデータは、仮想的記憶領域500に対応付けられたページ92に書き込まれる。つまり、そのページ92を構成する各記憶装置40の各記憶領域にライトデータが書き込まれる。
第1チャンク91(#0)の最初のページ92(1−0)が使用された後、次のページ92(1−1)が使用され、さらに次のページ92(1−2)が使用される。そして、第1チャンク91(#0)の最終ページ92(1−4)まで使用されたとする。これにより、第1チャンク91(#0)の全ページ92が使用されたことになる。
新たなライトコマンドがホスト20から発行されると、第2のチャンク91(#1)が他のRAIDグループ90内から選択され、第2チャンク91(#1)の先頭ページ92(2−0)が使用される。以下、第1チャンク91(#0)で述べたと同様に、第2チャンク91(#1)内の各ページ92が順番に使用される。
このように、仮想ボリューム50Vには、複数のチャンク91(#0),91(#1)が対応付けられる。それらのチャンク91(#0),91(#1)は、それぞれ別々のRAIDグループ90の中から選択される。つまり、仮想ボリューム50Vには、複数のRAIDグループ90の中から選択される複数のチャンク91が対応付けられる。ホスト20による仮想ボリューム50Vへのデータ書込みに応じて、対応付けられたチャンク91内のページ92が順番に使用される。
なお、ホスト20が仮想ボリューム50V内のデータ消去を要求する場合、消去対象のデータの論理アドレスに対応するページ92は開放され、未使用ページに戻る。未使用ページには、別のライトデータが書き込まれる。
ホスト20が仮想ボリューム50Vを使用すればするほど、多くのページ92が仮想ボリューム50Vに次第に割り当てられていく。これにより、仮想ボリューム50Vが実際に有する物理的記憶領域の量と、仮想ボリューム50Vがホスト20に見せかけている容量との差は縮まっていく。
プール部60内に、新たなRAIDグループ90が追加された場合を検討する。図示は省略するが、その新たなRAIDグループの番号を#2とする。チャンク91(#1)を使い切った後であれば、新たなRAIDグループ90(#2)からチャンク91(#2)が選択されるかも知れない。
しかし、せっかく新たなRAIDグループ90(#2)が追加されても、前のチャンク91(#1)を使い終わるまで、新たなRAIDグループ90(#2)を使用できないならば、それは無駄である。
そこで、本実施例では、各RAIDグループ90(#0)〜90(#2)の負荷または/及び使用容量を均等にするためのデータ移動計画を作成し、ホストアクセスを契機として、データを移動させる。これにより、プール部60に新たに追加されるRAIDグループ90(#2)を比較的速やかに使い始めることができる。
図6は、仮想ボリューム50Vを管理するためのページ管理テーブル150を示す説明図である。図6に示すように、ページ管理テーブル150は、複数のテーブル151〜155等を含んで構成される。ページ管理テーブル150は、キャッシュメモリ340上に設けられ、その後、所定の記憶装置40内の所定の管理領域に格納される。また、ページ管理テーブル150は、ローカルメモリ350にもコピーされて、マイクロプロセッサ360により使用される。
プールインデックス151は、例えば、プール部60で管理されているRAIDグループ90の識別番号等の、プール部60の構成(状態及び属性を含む)に関する情報を管理するための情報である。
仮想ボリュームインデックス152は、仮想ボリューム50Vの構成に関する情報を管理するための情報である。仮想ボリュームインデックス152は、例えば、仮想ボリューム50Vに割り当てられているチャンク91の識別番号、及び、リンクされる仮想アドレスインデックス153の情報等を管理する。
仮想アドレスインデックス153は、仮想アドレスブロック154へのポインタを管理するための情報である。仮想アドレスブロック154は、ページアドレス情報155へのポインタを管理するための情報である。
例えば、仮想ボリューム50Vのボリュームサイズを10GBとすると、仮想アドレスインデックス153は、仮想ボリューム50Vの仮想アドレス領域を4GBずつの領域に分けて管理する(最初の2つの領域は4GB、最後の一つの領域は2GBである。)。仮想アドレスブロック154は、それぞれ4GBの範囲をカバー可能である。このように、本実施例では、仮想ボリューム50Vの有する仮想アドレス領域を、仮想アドレスインデックス153と仮想アドレスブロック154との2段階に分けて階層管理する。これにより、範囲を絞り込んで検索することができ、該当ページ92に速やかにアクセスすることができる。なお、上記の数値(4GB、10GB、2GB)は、説明のための一例に過ぎず、本発明はそれらの数値に限定されない。前記各数値は可変に設定できる。
ページアドレス情報155は、仮想ボリューム50Vを構成する各仮想的記憶領域500(つまり、仮想ページ500)の構成情報を管理するための情報である。ページアドレス情報155には、例えば、仮想ページに対応付けられる物理ページ92を示す物理アドレス及びページ状態が含まれる。
プール内RAIDグループインデックス110は、プール部60で管理されている各RAIDグループ90の構成情報を管理するための情報である。プール内RAIDグループインデックス110は、例えば、プール部60内の各RAIDグループ90が有する各チャンク91の情報等を管理する。また、プール内RAIDグループインデックス110は、未割当てチャンクキューの先頭及び末尾をそれぞれ示すためのポインタを含む。
チャンクインデックス120は、各仮想ボリューム50Vにどこまでチャンク91が割り当てられているかを管理するためのポインタを含む。つまり、チャンクインデックス120は、各仮想ボリューム50Vに割り当てられているチャンク数などを管理する。
図7は、図6に示すページ管理テーブル150が初期化された状態を示す。仮想ボリューム50Vの生成時に、ページ管理テーブル150は、図7に示すように初期化される。仮想ボリューム50Vに含まれる各仮想的記憶領域500(仮想ページ500)は、特定のチャンク91内の特定のページ92にマッピングされる。
例えば、図7に示すように、RAIDグループ90内の先頭チャンク91の最終ページ92が、初期化用の特定ページとして使用される。先頭チャンク91には、上述のテーブル群などの管理情報が記憶される。先頭チャンク91内の先頭ページ92から所定数のページ92までは、管理情報の退避領域として使用される。設定可能な仮想ボリュームの数等によって異なるが、管理情報の合計サイズはチャンクサイズ(例えば、1GB)未満となる。従って、少なくとも、先頭チャンク91の最終ページ92に管理情報が格納されることはない。つまり、先頭チャンク91の最終ページ92は、管理情報の格納先として使用されることがない。
そこで、先頭チャンク91の最終ページである、初期化用のページ92に、予めゼロデータのみを記憶させる。そして、ページ管理テーブル150を初期化する場合には、仮想ボリューム50V内の全ての仮想的記憶領域500を、初期化用のページ92に対応付けておく。
これにより、仮想ボリューム50Vの定義時(仮想ボリューム50Vの生成時)に、テーブル群のマッピングに異常が生じていないことを予め確認することができる。さらに、図8に太線で示すように、仮想ボリューム50Vにライトコマンドが発行された場合には、そのライトコマンドで指定される論理アドレスに対応する仮想的記憶領域500を、初期設定用のページ92からライトデータを書き込むべき所定のページに、接続し直すだけでよい。従って、仮想的記憶領域500の対応付け先を切り替えるだけで、ライトデータを格納させることができ、仮想ボリューム50Vの応答性能を高めることができる。
図9は、移動先管理テーブル160の一例を示す。移動先管理テーブル160も、前記ページ管理テーブル150と同様に、例えば、キャッシュメモリ等に記憶させることができる。
移動先管理テーブル160は、例えば、チャンクインデックス161と、チャンク情報管理テーブル162とを対応付けることにより構成される。チャンク情報管理テーブル162は、各チャンク毎に管理される管理情報として、移動先情報と、移動先決定用情報とを記憶する。
移動先情報とは、移動対象のデータを格納するための格納先を示す情報である。移動先情報としては、例えば、移動先として決定されたRAIDグループ90の番号等が用いられる。なお、RAIDグループ番号に限らず、RAIDグループ番号とチャンク番号の組合せ等を用いてもよい。
移動先決定用情報とは、移動対象のデータの移動先を決定するために使用される情報である。移動先決定用情報としては、例えば、そのデータへのアクセス頻度等を用いることができる。後述のように、RAIDグループ90の使用容量(使用率)を移動先決定用情報として用いることもできる。
さらに、移動先を決定するために用いられる負荷情報としては、アクセス頻度に限らず、例えば、アクセスサイズ(ライトデータのサイズ等)、アクセスパターン(シーケンシャルアクセスかランダムアクセスか)等を用いてもよい。
チャンクインデックス161は、仮想ボリューム50Vと、チャンク情報管理テーブル162の所定エントリとを対応付ける。所定エントリとは、チャンクインデックス161の示す仮想ボリューム50Vに対応付けられているチャンク90の管理情報を記憶しているエントリである。
図10は、記憶制御装置10の全体動作を理解するためのフローチャートである。このフローチャートには、ユーザの手順も含まれている。まず最初に、ユーザは、管理サーバ70を介して記憶制御装置10に所定の指示を与えることにより、プール部60にRAIDグループ90を生成させ、さらに、そのRAIDグループ90をフォーマットさせ、未割当てチャンクキュー等を作成させる(S10)。ここで、プール部60内で管理される、仮想ボリューム50V用のRAIDグループ90と、通常ボリューム50N用のRAIDグループ90とは、連番で管理される。
続いて、ユーザは、管理サーバ70から記憶制御装置10に別の所定の指示を与えることにより、仮想ボリューム50Vを作成させる(S11)。上述の通り、仮想ボリューム50Vの生成時に、各仮想的記憶領域500はそれぞれ初期設定用のページ92に対応付けられる。ここで、仮想ボリューム50Vと通常ボリューム50Nとは、連番で管理される。これにより、仮想ボリューム50Vと通常ボリューム50Nとを共通の管理方式で管理することができ、記憶制御装置10内に仮想ボリューム50Vと通常ボリューム50Nとを混在させることができる。
続いて、ユーザは、ホスト20と仮想ボリューム50Vとを接続させる(S12)。ユーザは、ホスト20に繋がるLUN(Logical Unit Number)に、仮想ボリューム50Vを接続させ、さらに、WWN(Logical Unit Number)の登録等を行わせる。
ホスト20は、仮想ボリューム50Vを認識し(S13)、仮想ボリューム50Vに向けてライトコマンド等のコマンドを発行する。記憶制御装置10は、ホスト20からのコマンドに応じた処理を行い、その結果をホスト20に送信する(S14)。
記憶制御装置10は、所定の周期により、または、管理サーバ70からのユーザ指示により、仮想ボリューム50Vに対応付けられている各RAIDグループ90内のデータについて、移動先を決定して記憶する(S14)。
記憶制御装置10は、移動対象として選択されたデータにホスト20がアクセスすると、そのホストアクセスに関するコマンドを処理しながら、予定されたデータ移動を実施する(S15)。以下、各処理の詳細を図を改めて説明する。
図11は、プール作成処理を示すフローチャートである。以下に述べる各フローチャートは、各処理の概要を示す。いわゆる当業者であれば、図示されたステップの入れ替え、変更、削除、あるいは新たなステップの追加を行うことができるであろう。
図11に示す処理は、プール作成要求が与えられると開始される。以下、動作の主体をコントローラ30とする。コントローラ30は、作成対象のプール部60のプールインデックス151について、そのプール状態を更新し(S20)、RAIDグループ90を作成する(S21)。コントローラ30は、プール内RAIDグループインデックス110の状態を”処理中”に変化させる(S22)。
コントローラ30は、管理情報を退避させるための領域をRAIDグループ90内に設定し(S23)、さらに、チャンクインデックス120を作成する(S24)。プール部60内の全チャンク91について、以下のステップS26〜S28がそれぞれ実行される(S25)。
コントローラ30は、対象チャンクに対応するページアドレス情報155を初期化し(S26)、対象チャンクの状態を”フォーマット待ち”に変更する(S27)。コントローラ30は、管理情報を退避させるための退避要求キューに、管理情報の対比要求をエンキューする(S28)。
各チャンク91についてS26〜S28を実行した後、コントローラ30は、プール内RAIDグループインデックス110の状態を”有効”に変更する(S29)。そして、コントローラ30は、キャッシュメモリ340にヌルデータをステージングさせて(S30)、本処理を終了する。ライトデータの書き込まれていない仮想的記憶領域500からのデータ読み出しが要求された場合に、物理的記憶領域であるページ92にアクセスすることなく、ホスト20にヌルデータを返すためである。
図12は、データ及び保証コードについて説明する図である。図12(a)に示すように、本実施例では、例えば、512バイトのデータD10毎に8バイトの保証コードD11を付加して、記憶装置40に記憶させる。保証コードD11は、論理アドレスを検証するための部分と、ビットエラーを検証するための部分とを含むことができる。以下では、論理アドレスを検証するための部分に着目して説明する。
図12(b)は、通常ボリューム50Nに記憶されるデータに付加される、保証コードの構成を示す。通常ボリューム50Nに関する保証コードのうち論理アドレスの検証に使用される部分は、4ビットの予約領域D110と、12ビットのLUN領域D111と、16ビットのLBA領域D112とを含んでいる。LBAとは、Logical Block Addressの略である。LUN領域D111には、通常ボリューム50Nに対応付けられるLUNが格納される。LBA領域D112には、データD10の論理アドレスが格納される。
図12(c)は、仮想ボリューム50Vに記憶されるデータに付加される、保証コードの構成を示す。仮想ボリューム50Vに関する保証コードのうち論理アドレスの検証に使用される部分は、4ビットの予約領域D110と、8ビットのRAIDグループ識別領域D113と、4ビットのチャンク識別領域D114と、16ビットのチャンク内LBAオフセット領域D115とを含んでいる。RAIDグループ識別領域D113には、RAIDグループ90を識別するための情報が格納される。チャンク識別領域D114には、チャンク91を識別するための情報のうち下位の4ビットが格納される。チャンク内LBAオフセット領域D115には、データD10が格納されているチャンク91内において、そのチャンク91の先頭論理アドレスからのオフセット値が格納される。
図13,図14に基づいて、チャンク91を管理するためのキューを説明する。図13は、キューの使用方法を示す説明図である。プール部60が作成されると、プール部60で管理される各RAIDグループ90の有する各チャンク91は、フォーマット待ちチャンクキューQ10に登録されて管理される。フォーマットが開始されると、フォーマット中のチャンク91は、処理完了待ちチャンクキューQ20に移される。そして、フォーマットが完了すると、フォーマット済チャンク91は、未割当てチャンクキューQ30に移される。
図14は、各キューQ10,Q20,Q30を模式的に示す説明図である。フォーマット待ちチャンクキューQ10は、各RAIDグループ90毎に用意される。そして、フォーマット処理を開始する場合、フォーマット待ちチャンクキューQ10内の各RAIDグループ90から所定の順番でチャンク91が取り出されて、処理完了待ちキューQ20に接続される。フォーマットが完了したチャンク91は、上述の通り、未割当てチャンクキューQ30に接続される。処理完了待ちチャンクキューQ20に繋がれた順番で、フォーマットは完了するため、処理完了待ちキューQ20内の各チャンク91の順番と、未割当てチャンクキューQ30内の各チャンク91の順番とは、通常の場合、一致する。
図15,図16に基づいてチャンク91をフォーマットする処理を説明する。図15は、フォーマット処理の全体を示し、図16は、フォーマット処理の一部を示す。
コントローラ30は、フォーマット待ちチャンクキューQ10を確認することにより、フォーマット待ちのチャンク91が有るか否かを判定する(S50)。フォーマット待ちチャンクキューQ10にチャンク91が登録されている場合(S50:YES)、コントローラ30は、プール部60内の各RAIDグループ90毎に、ラウンドロビン方式でチャンクを選択し、以下のステップS51〜S54を実行する。
図14に示す例で選択方法を説明すると、第1RAIDグループ90(#1)から一つのチャンク91(1−1)を選択した後、第2RAIDグループ90(#2)から別の一つのチャンク91(2−1)を選択し、さらに、第3RAIDグループ90(#3)からさらに別の一つのチャンク91(3−1)を選択する。選択されたチャンク91(1−1)、91(2−1),91(3−1)について、後述するS52〜S54をそれぞれ実行する。チャンク91(1−2),91(2−2),91(3−2)のセットについても、S52〜S54を実行する。さらに、チャンク91(1−3),91(2−3),91(3−3)のセットについても、S52〜S54を実行する。以下同様である。
コントローラ30は、フォーマット待ちチャンクキューQ10から、対象RAIDグループ90のチャンク91を一つ選択し、フォーマット待ちチャンクキューQ10からデキューさせる(S52)。コントローラ30は、選択されたチャンク91を処理完了待ちチャンクキューQ20にエンキューし(S53)、選択されたチャンク91についてのフォーマットジョブを実行する(S54)。フォーマットジョブの詳細については、図16と共に後述する。
フォーマットジョブが完了すると、コントローラ30は、フォーマット済のチャンク91を、処理完了待ちチャンクキューQ20からデキューし(S55)、そのフォーマット済のチャンク91を未割当てチャンクキューQ30にエンキューする(S56)。
図16は、図14中にS54で示されるフォーマットジョブの詳細を示すフローチャートである。コントローラ30は、処理対象のチャンク91の識別番号を取得し(S60)、対象チャンク91をフォーマットする範囲を決定する(S61)。そして、コントローラ30は、対象チャンク91についてのエクステントロックを取得する(S62)。これにより、対象チャンク91が別のプログラムによって使用されるのを防止する。
コントローラ30は、対象チャンク91について所定サイズ毎に、後述するS64〜S70を実行する(S63)。つまり、コントローラ30は、対象チャンク91を、所定サイズの単位領域毎にフォーマットするようになっている。
コントローラ30は、データ用のキャッシュセグメントを確保し(S64)、続いて、パリティ用のキャッシュセグメントを確保する(S65)。キャッシュセグメントとは、キャッシュメモリ340の記憶領域を管理する単位である。
コントローラ30は、論理アドレスを算出し(S66)、ゼロデータの生成を要求し(S67)、さらに、パリティの生成を要求する(S68)。ゼロデータは、S64で確保されたキャッシュセグメントを用いて生成される。パリティは、S65で確保されたキャッシュセグメントを用いて生成される。コントローラ30は、データ用に確保されたキャッシュセグメントを開放させ(S69)、さらに、パリティ用に確保されたキャッシュセグメントも開放させる(S70)。
コントローラ30は、対象チャンク91のエクステントロックを開放し(S71)、対象チャンク91についてのフォーマット完了を確認してから(S72:YES)、図15の処理に戻る。
図17は、仮想ボリューム50Vを作成する処理を示すフローチャートである。コントローラ30は、プール部60の状態が正常であるか否かを判定する(S80)。プール部60に障害が発生している場合(S80:NO)、仮想ボリューム50Vを生成することはできないため、コントローラ30は、エラー処理を実行する(S81)。エラー処理では、例えば、プール部60に異常が生じているために仮想ボリューム50Vを生成できない旨を、ユーザに通知する。
プール部60が正常な場合(S80:YES)コントローラ30は、仮想ボリュームインデックス152の状態を”無効”から”処理中”に変更させる(S82)。予め用意されている仮想ボリュームの識別番号には、仮想ボリュームの状態の初期値として”無効”が予め設定されている。仮想ボリューム50Vの生成中では、その状態は”無効”から”処理中”に変化する。仮想ボリューム50Vの生成が完了すると、その状態は”処理中”から”有効”に変化する。
コントローラ30は、状態が”処理中”に変更された仮想ボリューム50Vについて、仮想アドレスインデックス153を作成し(S83)、さらに、その仮想アドレスインデックス153に対応付けられる仮想アドレスブロック154を作成する(S84)。さらに、コントローラ30は、仮想アドレスブロック154に対応付けられるページアドレス情報155を作成する(S85)。
コントローラ30は、プール内RAIDグループインデックス110を更新し(S86)、仮想ボリュームインデックス152の状態を”処理中”から”有効”に変更する(S87)。コントローラ30は、仮想ボリューム50Vを正常に作成することができたか否かを確認し(S88)、仮想ボリューム50Vを正常に作成できた場合には(S88:YES)、本処理を終了させる。仮想ボリュームを正常に作成できなかった場合(S88:NO)、エラー処理が行われる(S89)。エラー処理では、例えば、仮想ボリューム50Vを正常に作成できなかった旨をユーザに通知する。
なお、便宜上、仮想ボリューム50Vを正常に作成できたか否かを最後に判定するかのように説明したが、実際には、各テーブル101−104の作成時にそれぞれ正常に作成できたか否かが判定される。そして、正常に作成できなかった場合には、エラー処理が行われる。
図17に示す処理を行うことにより、図5に示すテーブル群が作成され、仮想ボリューム50V内の各仮想的記憶領域500は、初期設定用のページ92にそれぞれ対応付けられる。従って、仮想ボリューム50Vを正常に作成できた時点で、各仮想的記憶領域500と実ページ92との対応付けを正常に行えることが確認される。
図16は、ライトコマンドの処理を示すフローチャートである。コントローラ30は、ホスト20からコマンドを受領すると、そのコマンドが仮想ボリューム50Vを対象とするライトコマンドであるか否かを判定する(S100)。
そのコマンドが、通常ボリューム50Nを対象とするライトコマンドである場合(S100:NO)、コントローラ30は、通常のライト処理を実行する(S101)。通常のライト処理では、例えば、ホスト20から受領したライトデータをキャッシュメモリ340に書き込み、キャッシュメモリ340へのライトデータ書込みが完了した時に、ホスト20に処理完了を通知する。その後、適切なタイミングを見計らって、キャッシュメモリ340に記憶されたライトデータを、記憶装置40に書き込む。
仮想ボリューム50Vを対象とするライトコマンドを受領した場合(S100:YES)、コントローラ30は、移動先管理テーブル160を参照することにより、書き込み対象の仮想ページ500に割り当てられている実ページ92に移動先が設定されているか否かを判定する(S102)。
ライトデータの書き込まれる実ページ92に移動先が設定されている場合(S102:YES)、コントローラ30は、移動先のRAIDグループ90に利用可能なチャンク91が有るか否かを判定する(S103)。利用可能なチャンク91とは、既に作成されており、仮想ボリューム50Vに対応付けられているチャンクである。このように、既に作成されているチャンク91を利用して、ページを移動させることにより、割り当てられるチャンクの数を少なくできる。つまり、記憶容量を効率的に使用できる。
利用可能なチャンク91が無い場合(S103:NO)、コントローラ30は、初期状態になっている新規チャンク91が有るか否かを判定する(S104)。つまり、コントローラ30は、直ちに使用できる新規チャンク91が、移動先RAIDグループ90内に用意されているか否かを判定する。
使用可能な新規チャンク91が移動先RAIDグループ90内に無い場合(S104:NO)、コントローラ30は、エラー処理を行う(S107)。エラー処理では、例えば、「記憶容量不足です。」、「RAIDグループを作成してください。」等のエラーメッセージを、管理サーバ70を介してユーザに通知する。
移動先RAIDグループ90内に利用可能なチャンク91が存在する場合(S103:YES)、コントローラ30は、S104をスキップしてS105に移る。
コントローラ30は、書き込み対象の実ページ92に記憶されるデータを、移動先RAIDグループ90内に設けられる新ページ92に移動させるべく、チャンク割当て変更処理(S105)と、ページ割当て変更処理(S106)とを実行する。チャンク割当て変更処理及びページ割当て変更処理については、後述する。その後、コントローラ30は、図19のS114に移る。
つまり、S102〜S106は、移動先の設定されている実ページ92についてライトコマンドが発行された場合に、移動先チャンク91内の移動先ページ92を、ライトコマンドの対象でる仮想ページ500に対応付ける。換言すれば、書き込み対象の仮想ページ500の割当て先を、移動元ページ92から移動先ページ92に切り替える。
図19は、図18に続くフローチャートである。書き込み対象の実ページ92に移動先RAIDグループ90が設定されていな場合(S102:NO)、コントローラ30は、ライトコマンドで指定された仮想ボリューム50Vについて、現在使用中のチャンク91が有るか否かを判定する(S108)。使用中のチャンク91が有る場合(S108:YES)、後述のS112に移行する。使用中のチャンク91が無い場合(S108:NO)、コントローラ30は、仮想ボリューム50Vに新たに割り当てるべきチャンク91が初期状態になっているか否かを判定する(S109)。
通常の場合、図15に示すフォーマット処理によって、新規チャンクは初期状態に設定されている。それにもかかわらず、新規チャンク91が初期状態になっていない場合(S109:NO)、エラー処理が行われる(S110)。エラー処理では、例えば、初期状態のチャンク91が存在しない旨を、管理サーバ70を介してユーザに通知する。
新規チャンク91が初期状態になっている場合(S109:YES)、コントローラ30は、チャンク割当て変更処理を行う(S111)。チャンク割当て変更処理の詳細は、図21で述べるが、先に簡単に説明すると、コントローラ30は、未割当てチャンクキューQ30から一つのチャンク91を選択して仮想ボリューム50Vに対応付け、そのチャンク91の状態を”割当済み(使用中)”に変更等する。
コントローラ30は、チャンク91内の各ページ92のうち、使用しようとするページ92が初期状態になっているか否かを判定する(S112)。使用しようとするページ92が初期状態の場合(S112:YES)、ページ割当て変更処理が行われる(S113)。
ページ割当て変更処理の詳細は、図22で後述する。簡単に説明すると、ページ割当て変更処理では、仮想ボリューム50Vに割り当てられるページ92の状態を”割当済み(使用中)”に変更し、仮想アドレスブロック154及びページアドレス情報155を更新させる。S113の後、S114に移る。
使用しようとするページ92が初期状態ではない場合(S112:NO)、つまり、使用しようとするページ92が初期設定用のページではない場合、S113はスキップされて、S114に移る。
コントローラ30は、ライトデータを記憶させるためのキャッシュセグメントを確保し(S114)、さらに、ライトデータを転送するためのDMA(Direct Memory Access)転送リストを作成する(S115)。そして、コントローラ30は、保証コードのアドレス部分(LA)を算出する(S116)。
図20を参照する。コントローラ30は、ホスト20から受領したライトデータをキャッシュメモリ340にDMA転送させる(S117)。キャッシュメモリ340にライトデータを記憶させた後で、コントローラ30は、ライトコマンドの処理が完了した旨をホスト20に通知する(S118)。
キャッシュメモリ340へのライトデータ書込み完了後に、ホスト20に処理完了を通知する方式を非同期方式と呼ぶ。これに対し、記憶装置40にライトデータが書き込まれるのを待ってから、ホスト20に処理完了を通知する方式を同期方式と呼ぶ。非同期方式または同期方式のいずれを用いても良い。
コントローラ30は、ライトデータに設定されている論理アドレスを、記憶装置40に記憶させるための物理アドレスに変換する(S119)。コントローラ30は、キャッシュセグメントを確保する(S120)。コントローラ30は、パリティを生成するために必要な旧データを記憶装置40から読み出して(S121)、S120で確保したキャッシュセグメントに格納させる。
コントローラ30は、ホスト20から受領したライトデータと記憶装置40から読み出した旧データとに基づいて、新たなパリティを算出する(S122)。コントローラ30は、キャッシュメモリ340に記憶されたライトデータを、記憶装置40(図20中、ディスクと表示)に転送して記憶させる(S123)。
コントローラ30は、キャッシュメモリ340に記憶されているライトデータの状態を”ダーティ”から”クリーン”に変更する(S124)。”ダーティ”状態とは、キャッシュメモリ340だけに記憶されている状態を示す。”クリーン状態”とは、記憶装置40に書き込まれた状態を示す。最後に、コントローラ30は、S114及びS120で確保されたキャッシュセグメントを開放し、本処理を終了する(S125)。
上述の通り、書き込み対象の実ページ92(移動元ページ)に移動先が設定されている場合、S102〜S106によって、その移動元ページ92に対応付けられていた仮想ページ500は、移動先ページ92に新たに対応付けられる。従って、S119〜S125では、移動先ページ92にライトデータが書き込まれる。これにより、ライトコマンドを処理する中で、移動対象データを移動元ページ92から移動先ページ92に移動させることができる。
図21は、図18のS105及び図19のS111に示されるチャンク割当て変更処理の詳細を示すフローチャートである。コントローラ30は、処理対象チャンク91の状態を所定の状態に変更させる(S130)。
例えば、新規チャンク91を仮想ボリューム50Vに割り当てる場合、新規チャンク91の状態は”未割当て(未使用)”から”割当済み(使用中)”に変更される。また、例えば、仮想ボリューム50Vに割り当てられているチャンク91を開放する場合、そのチャンク91の状態は”割当済み(使用中)”から"フォーマット待ち"に変更される。
コントローラ30は、チャンク91の状態を変更した後で、そのチャンク91に対応する仮想アドレスインデックス153を更新させる(S131)。さらに、コントローラ30は、チャンクインデックス120を更新させ(S132)、続いて、プール内RAIDグループインデックス110を更新させる(S133)。
図22は、図18中のS106及び図19のS113に示されるページ割当て変更処理の詳細を示すフローチャートである。コントローラ30は、処理対象ページ92の状態を所定の状態に変更させる(S140)。例えば、新規ページ92を仮想ボリューム50V内の仮想的記憶領域500に割り当てる場合、その新規ページ92の状態は”未割当て(未使用)”から”割当済み(使用中)”に変更される。また、例えば、仮想ボリューム50Vに割当済みのページ92を開放する場合、その割当済みページ92の状態は”割当済み(使用中)”から”フォーマット待ち”に変更される。仮想ボリューム50Vに新たなページ92を割り当てる方法の詳細については、図23で後述する。
ページ状態を変更した後、コントローラ30は、処理対象ページ92に対応する仮想アドレスブロック154を更新させ(S141)、さらに、処理対象ページ92に対応するページアドレス情報155を更新させる(S142)。そして、コントローラ30は、管理情報(図6に示すテーブル群)を、管理情報退避領域(図11のS23参照)に退避させる(S123)。
図23は、図22のS140で示される処理の一部を示すフローチャートである。上述の通り、ホスト20からのライトコマンドに応じて、仮想ボリューム50Vにチャンク単位で実記憶領域が割り当てられ、その割り当てられたチャンク91内の実ページ92が順番に使用されていく。割り当てられたチャンク91を使い切ると、新たなチャンク91が仮想ボリューム50Vに割り当てられる。以下、図23を参照しながら、ページ92の使用方法を説明する。
コントローラ30は、各ページ92の状態を管理するためのページ状態管理テーブル158を備える。そのテーブル158は、例えば、チャンク識別番号の欄1580と、ページ識別番号の欄1581と、ページの状態を示す欄1582とを備える。
ページ状態欄1582には、例えば、”使用中(あるいは割当済み)”、”未使用(あるいは未割当て)”、”開放(あるいはフォーマット待ち)”等のような予め用意されている状態のうちのいずれか一つの状態が設定される。なお、説明の便宜上、ページ状態管理テーブル158は、ページアドレス情報155と別体の情報であるかのように示すが、実際には、ページアドレス情報155だけで各ページの状態を管理できる。
コントローラ30は、テーブル158を参照し、現在使用中のチャンク91内に未使用ページ92が有る場合、その未使用ページ92を使用する(S1400)。現在使用中のチャンク91内に未使用ページ92が無い場合、コントローラ30は、テーブル158を参照し、現在使用中のチャンク91内に開放ページ92が有る場合、その開放されたページ92を使用する(S1401)。
現在使用中のチャンク91内に未使用ページ92も開放ページ92もいずれも存在しない場合、コントローラ30は、テーブル158を参照し、使用済チャンク91内の開放ページを使用する(S1402)。つまり、コントローラ30は、対象の仮想ボリューム50Vについて既に使用されたチャンク91から、開放されたページ92を検出して再使用する。
なお、使用済チャンク91内に開放ページ92が無い場合、コントローラ30は、図19で述べたように、未使用のチャンク91を仮想ボリューム50Vに対応付け、そのチャンク91の先頭ページ92を仮想ボリューム50Vに割り当てる。
図24は、リードコマンドの処理を示すフローチャートである。コントローラ30は、ホスト20から受領したコマンドが、仮想ボリューム50Vを対象とするリードコマンドであるか否かを判別する(S150)。
ホスト20から受領したコマンドが通常ボリューム50Nへのリードコマンドである場合(S150:NO)、コントローラ30は、通常のリード処理を実行する(S151)。例えば、コントローラ30は、ホスト20から要求されたデータがキャッシュメモリ340に記憶されているか否かを判定する。要求されたデータがキャッシュメモリ340上に存在する場合、コントローラ30は、キャッシュメモリ340からデータを読み出してホスト20に送信する。ホスト20の要求するデータがキャッシュメモリ340上に存在しない場合、コントローラ30は、記憶装置40からデータを読み出してキャッシュメモリ340に記憶させ、そのデータをホスト20に送信する。
ホスト20から発行されたコマンドが、仮想ボリューム50Vからデータを読み出すためのリードコマンドである場合(S150:YES)、コントローラ30は、リード対象の仮想ボリューム50Vについてエクステントロックを取得する(S152)。
リードコマンドは、データの読出し先の論理アドレスを指定する。コントローラ30は、指定された論理アドレスに対応する仮想的記憶領域500を検出し、図6に示すテーブル群を参照して、その仮想的記憶領域500に割り当てられているページ92の状態を取得する。コントローラ30は、リード対象のページ92の状態が”初期状態”であるか否かを判定する(S153)。
リード対象のページ92が初期状態の場合(S153:YES)、コントローラ30は、ホスト20に送信すべきヌルデータがキャッシュメモリ340に記憶されているか否かを判定する(S160)。図11のS30で述べたように、プール部60の作成時に、キャッシュメモリ340の所定のキャッシュセグメントにヌルデータが予め記憶される。従って、通常の場合、S160では”YES”と判定されて、後述のS161に移る。キャッシュメモリ340にヌルデータが記憶されていない場合(S160:NO)、後述のS155に移り、所定チャンクの所定ページ(例えば、初期設定用ページ)から、ヌルデータが読み出されて、ホスト20に送信される(S155〜S159,S171〜S175)。
S153に戻る。リード対象のページ92が初期状態では無い場合(S153:NO)、つまり、リード対象ページにライトデータが書き込まれている場合、コントローラ30は、リード対象データに関するパリティを算出する(S154)。そして、コントローラ30は、キャッシュセグメントを確保し(S155)、第2通信回路320に向けてリード要求を発行する(S156)。コントローラ30は、論理アドレスを物理アドレスに変換し(S157)、保証コードのアドレス部分(LA)を算出する(S158)。コントローラ30は、第2通信回路320を介して、記憶装置40からキャッシュメモリ340にリード対象データを転送させる(S159)。
図25に移る。コントローラ30は、キャッシュメモリ340から第1通信回路310にDMA転送させるための、DMA転送リストを設定する(S161)。続いて、コントローラ30は、キャッシュメモリ340上に記憶されているデータを、第1通信回路310を介してホスト20に送信させる(S162)。そして、コントローラ30は、リードコマンドに係る仮想ページ500に対応付けられている実ページ92に、移動先RAIDグループ90が設定されているか否かを判定する(S163)。リード対象の実ページ92に移動先RAIDグループ90が設定されていない場合(S163:NO)、図26に示すフローチャートに移る。
リード対象の実ページ92に移動先RAIDグループ90が設定されている場合(S163:YES)、コントローラ30は、移動先RAIDグループ90に利用可能なチャンク91が有るか否かを判定する(S164)。利用可能なチャンク91が無い場合(S164:NO)、移動先RAIDグループ90に初期状態の新規チャンク91が有るか否かを判定する(S1653)。
移動先RAIDグループ90内に初期状態の新規チャンク91が無い場合(S165:NO)、コントローラ30は、図26に示すフローチャートに移る。移動対象のデータを移動先RAIDグループ90に移動させることができないためである。
一方、移動先RAIDグループ90内に利用可能なチャンク91が有る場合(S164:YES)、または、移動先RAIDグループ90が初期状態の新規チャンク91を有する場合(S165:YES)、のいずれかの場合には、コントローラ30は、リードコマンドの処理が完了した旨をホスト20に通知する(S166)。
さらに、コントローラ30は、読み出したデータを移動先RAIDグループ90内に移動させるべく、以下のステップを実行する。コントローラ30は、図21で述べたチャンク割当て処理(S167)と、図22で述べたページ割当て変更処理(S168)とを実行する。これにより、リード対象の仮想ページ500は、移動元ページ92から、移動先RAIDグループ90内の新たなページ92に対応付けられる。
コントローラ30は、キャッシュメモリ340上のデータを、記憶装置40に転送させて書き込ませる(S169)。コントローラ30は、キャッシュセグメントを開放し(S170)、さらに、エクステントロックを開放する(S171)。
一方、リード対象の実ページ92に移動先RAIDグループ90が設定されていない場合(S163:NO)、図26に移る。
コントローラ30は、S155で確保したキャッシュセグメントを開放し(S172)、エクステントロックも開放する(S173)。最後に、コントローラ30は、リードコマンドの処理が完了した旨をホスト20に通知し(S174)、本処理を終了する。
このように、コントローラ30は、リードコマンドを処理する中で、移動対象のデータを予め設定される移動先に移動させる。そこで、移動先を決定する方法を説明する。
図27は、移動先を決定するための処理を示すフローチャートである。データを再配置させるための処理と呼び変えてもよい。本処理は、例えば、予め設定される所定の周期毎に実行される。または、ユーザからの指示に応じて本処理を実行することもできる。
コントローラ30は、移動先管理テーブル160に設定されている移動先RAIDグループ90に関する情報をクリアさせる(S180)。つまり、新たなデータ移動計画を作成する前に、前回作成されたデータ移動計画をリセットする。以下、各プール部60毎に(S181)、負荷を分散させる処理(S182)と、使用容量を平均化させる処理(S183)とが行われる。
図28は、図27のS182に示される負荷分散処理のフローチャートである。コントローラ30は、予め設定される条件に従って、移動元RAIDグループ90と、移動先RAIDグループ90とを選択する(S190)。
例えば、コントローラ30は、使用容量が50%以下であるRAIDグループの中から、負荷が最も低いRAIDグループを移動先RAIDグループとして選択する。さらに、コントローラ30は、RAIDグループの中から、負荷が最も高いRAIDグループを移動元RAIDグループとする。
もしも、上記条件を満たすRAIDグループが存在せず、移動元RAIDグループまたは移動先RAIDグループのいずれか一つでも決定することができなかった場合、コントローラ30は、図28に示すループを抜ける。
コントローラ30は、移動元チャンクを決定する(S191)。今までの説明では、ページ単位でデータを移動させる場合を述べたが、チャンク単位でデータを移動させることもできる。
コントローラ30は、移動元RAIDグループに所属する各チャンクの中で負荷が高いチャンクから順番に移動元チャンクとして決定する。移動元チャンクに指定されるチャンクの負荷の合計は、RAIDグループ間の負荷差の50%以内とする。
データの移動によって、移動元RAIDグループの負荷が低下し、移動先RAIDグループの負荷は増大する。RAIDグループ間の負荷差を考慮して移動元チャンクを選定することにより、データ移動の結果、移動元RAIDグループの負荷が移動先RAIDグループの負荷よりも小さくなるのを防止できる。
コントローラ30は、上記方法で選ばれた移動元RAIDグループ、移動先グループ及び移動元チャンクを、移動先管理テーブル160に記憶させる(S192)。コントローラ30は、S190で選択された移動元RAIDグループ及び移動先RAIDグループを、処理対象から除外する(S193)。
コントローラ30は、プール部60内のRAIDグループ数が1以下になるか、または、上記条件を満たすRAIDグループが見つからなくなるまで、本処理を繰り返す。
図29は、図27のS183に示される負荷分散処理のフローチャートである。コントローラ30は、予め設定される条件に従って、移動元RAIDグループ90と、移動先RAIDグループ90とを選択する(S200)。
例えば、コントローラ30は、使用容量が50%以下のRAIDグループの中から、使用容量が最も小さいRAIDグループを移動先RAIDグループとして選択する。さらに、コントローラ30は、RAIDグループの中で使用容量が最も大きいRAIDグループを移動元RAIDグループとして選択する。
もしも、上記条件を満たすRAIDグループが存在せず、移動元RAIDグループまたは移動先RAIDグループのいずれか一つでも決定することができなかった場合、コントローラ30は、図29に示すループを抜ける。
コントローラ30は、移動元チャンクを決定する(S191)。例えば、コントローラ30は、移動元RAIDグループに所属するチャンクのうち未だ移動先が決定されておらず、かつ、負荷が低いチャンクから順番に、移動元チャンクに決定する。負荷が0のチャンクは選択対象から外される。
コントローラ30は、移動元チャンクを決定する(S201)。移動元チャンクとして選択されるチャンクの数は、RAIDグループ間の未使用チャンク数差の50%以内に保たれる。
さらに、移動先RAIDグループの負荷が、移動元RAIDグループの負荷よりも高い場合、移動元チャンクとして選定されるチャンクの数は、移動先RAIDグループにおいて移動先が指定されているチャンクの数以下に保持される。
このように構成される本実施例では、ホストアクセスが発生する前に、仮想ボリューム50Vに割り当てられている実ページ92のデータを移動させるためのデータ移動計画を作成して保存する。本実施例では、移動対象データについてホストアクセスが発生すると、そのホストアクセスに係わるコマンド処理の中で、移動対象のデータを移動させることができる。つまり、データマイグレーション用の特別なプログラムを、コマンド処理のためのプログラムと別に実行するのではなく、コマンドを処理するための一連の流れの中でデータ移動を行う。
従って、本実施例では、比較的簡易な構成で、比較的効率的にデータを移動させることができ、プール部60内の実記憶領域を略均等に使用することができ、特定のRAIDグループにアクセスが偏ったりするのを抑制できる。これにより、記憶制御装置10の応答性能の低下を防止できる。
上述のデータ移動に関する本実施例の効果は、本実施例の基本的構成と結合することにより発揮される。本実施例の基本的構成とは、仮想ボリューム50Vにチャンク単位で実記憶領域を割当て、かつ、一つのチャンク91は一つの仮想ボリューム50Vに専属させる構成である。
本実施例では、図30に示すように、物理的記憶領域であるRAIDグループ90を効率的に使用することができる。図30は、本発明の効果を模式的に示す説明図である。図30(a)は、本発明を適用しない場合を示し、図30(b)は、本発明を適用した場合を示す。
通常ボリューム50Nの場合を先に説明する。通常ボリューム50Nの場合は、RAIDグループ90内の連続した記憶領域を使用することができる。従って、一つのストライプ列に、複数の通常ボリューム50Nに関するデータが混在することは無い。
仮想ボリューム50Vの場合、必要に応じて実記憶領域が割り当てられ、データは離散的に管理される。もしも、仮想ボリュームにページ単位で実記憶領域を割り当てる場合は、同一のストライプ列に複数の仮想ボリュームに関するデータが混在しないように制御する必要がある。何故なら、一つのストライプ列に複数のボリュームが混在すると、パリティ生成等の処理が複雑化し、データ入出力時のオーバーヘッドが増大して、記憶制御装置の性能が低下するためである。
そこで、図30(a)に示すように、各ページの先頭をストライプ列の先頭に一致させるようにして、データを記憶する方法が考えられる。この方法によれば、横一列のストライプ内に、異なるボリュームのデータが混在するという事態は生じない。
しかし、本実施例の記憶制御装置10は、RAIDグループ90を構成する記憶装置40の台数を自由に設定することができるため、ページサイズとストライプサイズとは必ずしも一致しない。ページサイズとストライプサイズとが不一致の場合において、ページの先頭をストライプ列の先頭に一致させるようにしてデータを配置すると、図30(a)に空白領域として示すように無駄な領域が発生する。従って、図30(a)に示す方法では、RAIDグループ90の有する実記憶領域を有効に利用することができず、その利用効率が低いという問題がある。
そこで、本発明では、図30(b)に示すように、実記憶領域をページ単位で仮想ボリュームに割り当てるのではなく、複数ページを有するチャンク91単位で実記憶領域を仮想ボリュームに割り当てる。そして、上述のように、仮想ボリューム50Vに関するライトコマンドを受領するたびに、チャンク91内のページ92を連続的に使用する。チャンク91内の各ページ92は、同一の仮想ボリューム50Vに対応付けられる。異なる仮想ボリュームに関するページ92が同一のチャンク91内に混在することはない。このように、本実施例によれば、RAIDグループ90の有する実記憶領域を効率的に使用することができる。
本実施例では、上述の通り、仮想ボリューム50Vの識別番号と通常ボリューム50Nの識別番号とを特に区別することなく、各ボリューム50V,50Nを連続番号で管理している。また、本実施例では、仮想ボリューム50Vのために使用されるRAIDグループ90と、通常ボリューム50Nが設けられるRAIDグループ90とを特に区別せずに、連続番号で管理している。従って、本実施例の記憶制御装置10は、仮想ボリューム50Vと通常ボリューム50Nとを比較的簡易な制御構造で共通に管理し、両方のボリューム50V,50Nを混在させることができる。
本実施例では、複数のRAIDグループ90からチャンク91を順番に選択して、仮想ボリューム50Vに割り当てる。従って、プール部60内の各RAIDグループ90の負荷を均等にすることができる。
本実施例では、図7,図17で述べたように、仮想ボリューム50Vを作成するときに各テーブル151−155間を関連づけ、仮想ボリューム50V内の全ての仮想的記憶領域500を、初期設定用のページ92に割り当てる。
従って、本実施例では、仮想ボリューム50Vを正常に作成できた時点で、各仮想的記憶領域500と実ページ92との対応付けが正常に行われることを確認できる。つまり、本実施例では、ライトコマンドを受領する前に、仮想ボリューム50Vへのチャンク91及び初期設定用ページ92の仮の割り当てが完了している。これにより、仮想ボリューム50Vが正常に動作するか否かを、ライトコマンド受領前に事前に確認することができ、信頼性及び使い勝手が向上する。
さらに、本実施例では、ライトコマンドを受領した場合に、ライトコマンドで指定される論理アドレスに対応する仮想的記憶領域500の対応付け先を、仮割当てされた初期設定用ページ92から、所定チャンク91内の所定ページ92に切り替えるだけで済む。これにより、比較的速やかにライトコマンドを処理することができ、記憶制御装置10の応答性能を高めることができる。
図31,図32に基づいて第2実施例を説明する。本実施例は、第1実施例の変形例に該当する。従って、第1実施例との相違を中心に説明する。本実施例は、データ移動計画を作成する場合に、ヌルデータのみが記憶されている実ページ92を仮想ボリューム50Vから開放し、未使用ページに戻す。
図31は、本実施例による移動先決定処理を示すフローチャートである。本フローチャートは、図27に示すフローチャートに比べて、ゼロデータ(ヌルデータ)を削除するための処理(S210)をさらに備える。移動先決定処理では、最初に、ゼロデータのみを記憶する実ページ92を未使用ページに戻し、その後で、負荷分散処理及び使用容量平均化処理を実行する。
図32は、ゼロデータ削除処理のフローチャートである。コントローラ30は、各RAIDグループ毎に、以下の処理を行う(S2101)。コントローラ30は、処理対象のRAIDグループ90の各ページ92のうち、ゼロデータのみが記憶されているページ92を検出する(S2102)。
コントローラ30は、ゼロデータのみを記憶するページ92に対応する仮想ページ500を、図7で述べた初期化用の特定ページに対応付け(S2103)、ページ管理テーブル160を更新させる(S2104)。
上述の構成を有する本実施例も第1実施例と同様の効果を奏する。さらに、本実施例では、データ移動計画を作成する場合に、ヌルデータのみが記憶されている実ページ92を開放して、未使用の実ページ92に戻すため、プール部60内の実記憶領域を有効に利用できる。つまり、本実施例では、データ移動計画を作成するたびに、プール部60内のページ92のうち無駄に使用されているページ92を開放できる。
なお、本発明は、上述した実施形態に限定されない。当業者であれば、例えば、上記各実施例を適宜組み合わせる等のように、本発明の範囲内で、種々の追加や変更等を行うことができる。
1:記憶制御装置、2:ホスト、3:コントローラ、4:記憶装置、5(1),5(2):仮想ボリューム、5A:仮想的記憶領域、6a,6b:RAIDグループ、7:チャンク、8:ページ、10記憶制御装置、20:ホスト、30:コントローラ、40:記憶装置、50V:仮想ボリューム、60:プール部、70:管理サーバ、90:RAIDグループ、91:チャンク、92:ページ、500:仮想ページ。

Claims (14)

  1. 仮想的に形成される仮想ボリュームと、
    一つまたは複数の記憶装置を含む、複数のRAIDグループと、
    前記各RAIDグループにそれぞれストライプ状に設けられる第1実記憶領域であって、それぞれ複数の第2実記憶領域を有する複数の第1実記憶領域を管理するためのプール部と、
    上位装置から前記仮想ボリュームに関するライトコマンドが発行された場合、前記各第1実記憶領域のうち所定の第1実記憶領域に含まれる前記各第2実記憶領域の中から所定の第2の実記憶領域を選択し、その所定の第2実記憶領域を前記ライトコマンドに対応する前記仮想ボリューム内の所定領域に対応付ける制御部であって、一つの前記第1実記憶領域に一つの前記仮想ボリュームを対応付ける制御部と、
    前記仮想ボリュームに対応付けられている前記各第2実記憶領域の中から移動対象の第2実記憶領域を選択し、その移動対象の第2実記憶領域に記憶されているデータの移動先となる移動先第1実記憶領域を、前記各第1実記憶領域のうち前記移動対象の第2実記憶領域が設けられているRAIDグループ以外の他のRAIDグループ内の各第1実記憶領域の中から選択する移動先決定部と、
    前記移動対象の第2実記憶領域と、前記移動先第1実記憶領域とを対応付けて記憶する移動先記憶部と、
    前記上位装置が前記移動対象の第2実記憶領域に対応するコマンドを発行した場合は、前記コマンドの処理の中で、前記移動対象の第2実記憶領域に記憶されているデータを、前記移動先記憶部により記憶されている前記移動先第1実記憶領域内に移動させるコマンド処理部と、
    を備える記憶制御装置。
  2. (1)前記移動先記憶部は、
    (1−1)前記移動対象の第2実記憶領域を特定する移動対象情報と、
    (1−2)前記移動先第1実記憶領域を特定する移動先情報と、
    (1−3)前記各RAIDグループの負荷に関する負荷情報と、
    (1−4)前記各RAIDグループの使用容量に関する使用容量情報と、
    を記憶しており、
    (2)移動先決定部は、
    (2−1)所定時刻が到来した場合またはユーザから指示された場合のいずれかの場合に、前記移動先記憶部に記憶されている前記移動先情報を消去させ、さらに、
    (2−2)前記各第2実記憶領域のうちヌルデータのみが記憶されている第2実記憶領域を解放して、未使用の第2実記憶領域に変更させ、さらに、
    (2−3)前記負荷情報に基づく負荷分散処理であって、相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を作成して、前記移動先記憶部に記憶させる負荷分散処理と、
    (2−4)前記使用容量情報に基づく使用容量平均化処理であって、相対的に使用容量の大きい第1実記憶領域内の第2実記憶領域を相対的に使用容量の小さい第1実記憶領域内に移動させるための、新たな移動先情報を作成して、前記移動先記憶部に記憶させる使用容量平均化処理とを、
    それぞれ実行し、
    (3)前記コマンド処理部は、
    (3−1)前記上位装置から前記移動対象の第2実記憶領域についてのライトコマンドが発行された場合、前記移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータと前記ライトコマンドに係るライトデータとをマージして、前記移動先第1実記憶領域内の第2実記憶領域に書き込み、さらに、前記上位装置に前記ライトコマンドの処理が完了した旨を通知し、
    (3−2)前記上位装置から前記移動対象の第2実記憶領域についてのリードコマンドが発行された場合、前記移動対象の第2実記憶領域からデータを読み出して前記上位装置に送信し、前記上位装置に前記リードコマンドの処理が完了した旨を通知した後で、前記移動対象の第2実記憶領域から読み出されたデータを前記移動先第1実記憶領域内の第2実記憶領域に書き込む、
    請求項1に記載の記憶制御装置。
  3. 前記コマンド処理部は、前記上位装置から前記移動対象の第2実記憶領域についてのライトコマンドが発行された場合、前記移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータと前記ライトコマンドに係るライトデータとをマージして、前記移動先第1実記憶領域内の第2実記憶領域に書き込む、
    請求項1に記載の記憶制御装置。
  4. 前記コマンド処理部は、前記上位装置から前記移動対象の第2実記憶領域についてのリードコマンドが発行された場合、前記移動対象の第2実記憶領域からデータを読み出して前記上位装置に送信し、前記上位装置に前記リードコマンドの処理が完了した旨を通知した後で、前記移動対象の第2実記憶領域から読み出されたデータを前記移動先第1実記憶領域内の第2実記憶領域に書き込む、
    請求項3に記載の記憶制御装置。
  5. 前記移動先記憶部は、
    前記移動対象の第2実記憶領域を特定する移動対象情報と、
    前記移動先第1実記憶領域を特定する移動先情報と、
    前記各RAIDグループの負荷に関する負荷情報と、
    を記憶しており、
    移動先決定部は、
    前記移動先記憶部に記憶されている前記移動先情報を消去させ、
    相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を前記負荷情報に基づいて作成し、前記移動先記憶部に記憶させる、
    請求項3に記載の記憶制御装置。
  6. 前記移動先記憶部は、
    前記移動対象の第2実記憶領域を特定する移動対象情報と、
    前記移動先第1実記憶領域を特定する移動先情報と、
    前記各RAIDグループの負荷に関する負荷情報と、
    前記各RAIDグループの使用容量に関する使用容量情報と、
    を記憶しており、
    移動先決定部は、
    前記移動先記憶部に記憶されている前記移動先情報を消去させ、
    相対的に高負荷の第2実記憶領域を相対的に低負荷の第1実記憶領域内に移動させるための、新たな移動先情報を前記負荷情報に基づいて作成し、前記移動先記憶部に記憶させ、さらに、
    相対的に使用容量の大きい第1実記憶領域内の第2実記憶領域を相対的に使用容量の小さい第1実記憶領域内に移動させるための、新たな移動先情報を前記使用容量情報に基づいて作成し、前記移動先記憶部に記憶させる、
    請求項3に記載の記憶制御装置。
  7. 前記移動先決定部は、前記移動先記憶部に記憶されている前記移動先情報を消去させた後で、前記各第2実記憶領域のうちヌルデータのみが記憶されている第2実記憶領域を解放して、未使用の第2実記憶領域に変更させる、
    請求項5に記載の記憶制御装置。
  8. 前記移動先決定部は、前記移動対象の第2実記憶領域を前記第1実記憶領域の単位で複数選択する、請求項1に記載の記憶制御装置。
  9. 前記制御部は、
    前記仮想ボリュームを生成する場合に、前記仮想ボリューム内の各仮想的記憶領域を、初期データが記憶されている初期化用の第2実記憶領域に対応付け、
    前記上位装置から前記仮想ボリュームに関する前記ライトコマンドが発行された場合、前記ライトコマンドに対応する前記仮想的記憶領域の対応付け先を、前記初期化用の第2実記憶領域から、選択された前記所定の第2実記憶領域に切り替える、
    請求項1に記載の記憶制御装置。
  10. 前記制御部は、前回のライト要求に対応して前記仮想ボリュームに対応付けられた前記第2実記憶領域に連続する、未使用の前記第2実記憶領域を、前記所定の第2実記憶領域として前記仮想ボリュームに対応付ける、
    請求項9に記載の記憶制御装置。
  11. 前記仮想ボリュームに記憶されるデータには、所定サイズ毎に保証コードが設定されており、前記保証コードは、前記RAIDグループを識別するためのデータと、前記第1実記憶領域を識別するためのデータと、前記第1実記憶領域内における前記第2実記憶領域を識別するためのデータとを含んでいる、
    請求項10に記載の記憶制御装置。
  12. ライトコマンドに応じて実記憶領域が割り当てられる仮想ボリュームを制御するための方法であって、
    前記仮想ボリュームは、複数の仮想的記憶領域を備えており、
    複数のRAIDグループを管理するためのプール部を作成し、
    前記各RAIDグループは、複数の記憶装置を跨るようにしてストライプ状に形成される第1実記憶領域であって、前記仮想的記憶領域に対応する第2実記憶領域をそれぞれ複数ずつ有する第1実記憶領域を複数備えており、
    前記上位装置から前記仮想ボリュームに関するライトコマンド要求が発行された場合、一つの前記第1実記憶領域に複数の前記仮想ボリュームが対応付けられないようにして、前記ライトコマンドに対応する前記仮想的記憶領域に、前記各第1実記憶領域のうち所定の第1実記憶領域に含まれる所定の第2実記憶領域を対応付け、
    前記仮想的記憶領域に対応付けられる前記所定の第2実記憶領域に、前記上位装置から受領したライトデータを記憶させ、
    前記仮想的記憶領域に対応付けられている前記各第2実記憶領域の中から、相対的に高負荷の第2実記憶領域を移動対象の第2実記憶領域として選択し、
    前記各第1実記憶領域のうち前記移動対象の第2実記憶領域が設けられているRAIDグループ以外の他のRAIDグループ内の各第1実記憶領域であって、相対的に低負荷の第1実記憶領域を、前記移動対象の第2実記憶領域に記憶されているデータの移動先となる移動先第1実記憶領域として選択し、
    前記移動対象の第2実記憶領域と、前記移動先第1実記憶領域とを対応付けて移動先記憶部に記憶させ、
    前記上位装置が前記移動対象の第2実記憶領域に対応するライトコマンドを発行した場合は、前記移動対象の第2実記憶領域に記憶されているデータを読み出し、その読み出されたデータと前記ライトコマンドに係るライトデータとをマージして、前記移動先第1実記憶領域内の第2実記憶領域に書き込む、
    仮想ボリュームの制御方法。
  13. 前記上位装置から前記移動対象の第2実記憶領域についてのリードコマンドが発行された場合には、前記移動対象の第2実記憶領域からデータを読み出して前記上位装置に送信し、前記上位装置に前記リードコマンドの処理が完了した旨を通知した後で、前記移動対象の第2実記憶領域から読み出されたデータを前記移動先第1実記憶領域内の第2実記憶領域に書き込む、
    請求項12に記載の仮想ボリュームの制御方法。
  14. 仮想的に形成される仮想ボリュームと、
    一つまたは複数の記憶装置を含む、複数のRAIDグループと、
    前記各RAIDグループにそれぞれストライプ状に設けられる第1実記憶領域であって、それぞれ複数の第2実記憶領域を有する複数の第1実記憶領域を管理するためのプール部と、
    上位装置から前記仮想ボリュームに関するライトコマンドが発行された場合、前記各第1実記憶領域のうち所定の第1実記憶領域に含まれる前記各第2実記憶領域の中から所定の第2の実記憶領域を選択し、その所定の第2実記憶領域を前記ライトコマンドに対応する前記仮想ボリューム内の所定領域に対応付ける制御部であって、一つの前記第1実記憶領域に一つの前記仮想ボリュームを対応付ける制御部と、
    前記仮想ボリュームに対応付けられている前記各第1実記憶領域の中から移動対象の第1実記憶領域を選択し、その移動対象の第1実記憶領域に記憶されているデータの移動先となる移動先RAIDグループを、前記移動対象の第1実記憶領域が設けられているRAIDグループ以外の他のRAIDグループの中から選択する移動先決定部と、
    前記移動対象の第1実記憶領域と、前記移動先RAIDグループとを対応付けて記憶する移動先記憶部と、
    前記上位装置が前記移動対象の第1実記憶領域に対応するコマンドを発行した場合は、前記コマンドの処理の中で、前記移動対象の第1実記憶領域に記憶されているデータを、前記移動先記憶部により記憶されている前記移動先RAIDグループ内に移動させるコマンド処理部と、
    を備える記憶制御装置。
JP2012516979A 2009-10-09 2009-10-09 記憶制御装置及び仮想ボリュームの制御方法 Expired - Fee Related JP5438827B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/005297 WO2011042940A1 (en) 2009-10-09 2009-10-09 Storage system and control method thereof, implementing data reallocation in case of load bias

Publications (2)

Publication Number Publication Date
JP2012531653A true JP2012531653A (ja) 2012-12-10
JP5438827B2 JP5438827B2 (ja) 2014-03-12

Family

ID=42103941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516979A Expired - Fee Related JP5438827B2 (ja) 2009-10-09 2009-10-09 記憶制御装置及び仮想ボリュームの制御方法

Country Status (5)

Country Link
US (2) US8225039B2 (ja)
EP (2) EP2419817A1 (ja)
JP (1) JP5438827B2 (ja)
CN (1) CN102549542A (ja)
WO (1) WO2011042940A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210959A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd ストレージ管理方法、システム、およびプログラム
JP2014232348A (ja) * 2013-05-28 2014-12-11 富士通株式会社 ストレージシステム、情報処理装置の制御プログラム、およびストレージシステムの制御方法
WO2015001620A1 (ja) * 2013-07-02 2015-01-08 株式会社日立製作所 ストレージシステム、記憶制御方法、及び計算機システム
WO2016166867A1 (ja) * 2015-04-16 2016-10-20 株式会社日立製作所 計算機システム、及び、リソース制御方法
US9552292B2 (en) 2014-06-27 2017-01-24 Fujitsu Limited Apparatus and method for allocating virtual memory addresses to continuous physical addresses
WO2018037509A1 (ja) * 2016-08-24 2018-03-01 株式会社日立製作所 ストレージシステム及び記憶制御方法

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612679B2 (en) 2009-01-23 2013-12-17 Infortrend Technology, Inc. Storage subsystem and storage system architecture performing storage virtualization and method thereof
US20110276776A1 (en) * 2010-05-07 2011-11-10 Tatu Ylonen Oy Ltd Addressing for Huge Direct-Mapped Object Systems
JP5545108B2 (ja) * 2010-08-04 2014-07-09 富士通株式会社 ストレージシステム、制御装置および制御方法
US8468303B2 (en) * 2010-09-27 2013-06-18 Hitachi, Ltd. Method and apparatus to allocate area to virtual volume based on object access type
US9110591B2 (en) * 2011-04-22 2015-08-18 Hewlett-Packard Development Company, L.P. Memory resource provisioning using SAS zoning
WO2012164671A1 (ja) * 2011-05-30 2012-12-06 株式会社日立製作所 計算機システムの管理装置及び管理方法
JP5849794B2 (ja) 2012-03-16 2016-02-03 富士通株式会社 ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
WO2013157032A1 (en) * 2012-04-16 2013-10-24 Hitachi, Ltd. Storage subsystem and data management method of storage subsystem
US9229901B1 (en) * 2012-06-08 2016-01-05 Google Inc. Single-sided distributed storage system
US9104590B2 (en) * 2012-07-20 2015-08-11 Hitachi, Ltd. Storage system including multiple storage apparatuses and pool virtualization method
CN102945140A (zh) * 2012-09-26 2013-02-27 曙光信息产业(北京)有限公司 一种磁盘融合方法
US9134908B2 (en) * 2013-01-09 2015-09-15 Apple Inc. Logical volume space sharing
GB2512604A (en) 2013-04-03 2014-10-08 Ibm Flexibly storing defined presets for configuration of a storage controller
GB2528585A (en) * 2013-05-17 2016-01-27 Hitachi Ltd Storage device
US9760296B2 (en) * 2013-05-20 2017-09-12 Hitachi, Ltd. Storage device and method for controlling storage device
JP6255893B2 (ja) * 2013-10-24 2018-01-10 富士通株式会社 ストレージ制御装置、およびストレージ制御プログラム
WO2015087442A1 (ja) * 2013-12-13 2015-06-18 株式会社日立製作所 ストレージシステムの移行方式および移行方法
US20160080490A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Online data movement without compromising data integrity
US9703655B1 (en) * 2014-11-25 2017-07-11 Scale Computing Inc. Recovery after data loss in a reliable distributed computing system
US9977613B2 (en) * 2015-12-30 2018-05-22 Dell Products L.P. Systems and methods for zone page allocation for shingled media recording disks
JP6674092B2 (ja) * 2016-02-10 2020-04-01 富士通株式会社 データ管理プログラム、データ管理装置、及びデータ管理方法
CN105808171A (zh) * 2016-04-01 2016-07-27 浪潮电子信息产业股份有限公司 一种平衡存储的方法、装置和系统
US10909136B1 (en) 2017-02-08 2021-02-02 Veritas Technologies Llc Systems and methods for automatically linking data analytics to storage
US10685033B1 (en) 2017-02-14 2020-06-16 Veritas Technologies Llc Systems and methods for building an extract, transform, load pipeline
US10606646B1 (en) * 2017-03-13 2020-03-31 Veritas Technologies Llc Systems and methods for creating a data volume from within a software container and initializing the data volume with data
US10540191B2 (en) 2017-03-21 2020-01-21 Veritas Technologies Llc Systems and methods for using dynamic templates to create application containers
CN110214305B (zh) 2017-12-29 2020-09-08 华为技术有限公司 一种数据访问方法及存储阵列
US11010233B1 (en) 2018-01-18 2021-05-18 Pure Storage, Inc Hardware-based system monitoring
US10740132B2 (en) 2018-01-30 2020-08-11 Veritas Technologies Llc Systems and methods for updating containers
CN110737390B (zh) * 2018-07-20 2023-08-18 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
US11249852B2 (en) 2018-07-31 2022-02-15 Portwonx, Inc. Efficient transfer of copy-on-write snapshots
US11354060B2 (en) 2018-09-11 2022-06-07 Portworx, Inc. Application snapshot for highly available and distributed volumes
CN111858188A (zh) * 2019-04-29 2020-10-30 伊姆西Ip控股有限责任公司 存储管理的方法、设备和计算机程序产品
US12079333B2 (en) 2019-11-22 2024-09-03 Pure Storage, Inc. Independent security threat detection and remediation by storage systems in a synchronous replication arrangement
US11941116B2 (en) 2019-11-22 2024-03-26 Pure Storage, Inc. Ransomware-based data protection parameter modification
US11755751B2 (en) 2019-11-22 2023-09-12 Pure Storage, Inc. Modify access restrictions in response to a possible attack against data stored by a storage system
US12067118B2 (en) 2019-11-22 2024-08-20 Pure Storage, Inc. Detection of writing to a non-header portion of a file as an indicator of a possible ransomware attack against a storage system
US11341236B2 (en) 2019-11-22 2022-05-24 Pure Storage, Inc. Traffic-based detection of a security threat to a storage system
US12079356B2 (en) 2019-11-22 2024-09-03 Pure Storage, Inc. Measurement interval anomaly detection-based generation of snapshots
US12079502B2 (en) 2019-11-22 2024-09-03 Pure Storage, Inc. Storage element attribute-based determination of a data protection policy for use within a storage system
US11720714B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Inter-I/O relationship based detection of a security threat to a storage system
US12248566B2 (en) * 2019-11-22 2025-03-11 Pure Storage, Inc. Snapshot deletion pattern-based determination of ransomware attack against data maintained by a storage system
US11500788B2 (en) * 2019-11-22 2022-11-15 Pure Storage, Inc. Logical address based authorization of operations with respect to a storage system
US11651075B2 (en) 2019-11-22 2023-05-16 Pure Storage, Inc. Extensible attack monitoring by a storage system
US11645162B2 (en) 2019-11-22 2023-05-09 Pure Storage, Inc. Recovery point determination for data restoration in a storage system
US11520907B1 (en) 2019-11-22 2022-12-06 Pure Storage, Inc. Storage system snapshot retention based on encrypted data
US20210382992A1 (en) * 2019-11-22 2021-12-09 Pure Storage, Inc. Remote Analysis of Potentially Corrupt Data Written to a Storage System
US11625481B2 (en) 2019-11-22 2023-04-11 Pure Storage, Inc. Selective throttling of operations potentially related to a security threat to a storage system
US11687418B2 (en) 2019-11-22 2023-06-27 Pure Storage, Inc. Automatic generation of recovery plans specific to individual storage elements
US12153670B2 (en) 2019-11-22 2024-11-26 Pure Storage, Inc. Host-driven threat detection-based protection of storage elements within a storage system
US12050683B2 (en) 2019-11-22 2024-07-30 Pure Storage, Inc. Selective control of a data synchronization setting of a storage system based on a possible ransomware attack against the storage system
US12204657B2 (en) 2019-11-22 2025-01-21 Pure Storage, Inc. Similar block detection-based detection of a ransomware attack
US11657155B2 (en) 2019-11-22 2023-05-23 Pure Storage, Inc Snapshot delta metric based determination of a possible ransomware attack against data maintained by a storage system
US12050689B2 (en) 2019-11-22 2024-07-30 Pure Storage, Inc. Host anomaly-based generation of snapshots
US11675898B2 (en) 2019-11-22 2023-06-13 Pure Storage, Inc. Recovery dataset management for security threat monitoring
US11720692B2 (en) 2019-11-22 2023-08-08 Pure Storage, Inc. Hardware token based management of recovery datasets for a storage system
US11615185B2 (en) 2019-11-22 2023-03-28 Pure Storage, Inc. Multi-layer security threat detection for a storage system
CN111124283A (zh) * 2019-11-29 2020-05-08 浪潮(北京)电子信息产业有限公司 一种存储空间管理方法、系统、电子设备及存储介质
US11494128B1 (en) 2020-01-28 2022-11-08 Pure Storage, Inc. Access control of resources in a cloud-native storage system
US11531467B1 (en) 2021-01-29 2022-12-20 Pure Storage, Inc. Controlling public access of resources in a secure distributed storage system
US11520516B1 (en) 2021-02-25 2022-12-06 Pure Storage, Inc. Optimizing performance for synchronous workloads
US11733897B1 (en) 2021-02-25 2023-08-22 Pure Storage, Inc. Dynamic volume storage adjustment
US11726684B1 (en) 2021-02-26 2023-08-15 Pure Storage, Inc. Cluster rebalance using user defined rules
CN117668318B (zh) * 2023-12-29 2024-07-02 深圳市安信达存储技术有限公司 基于芯片闪存晶圆的叠加电路检索方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184641A (ja) * 1997-12-24 1999-07-09 Hitachi Ltd サブシステムの移行方法
JP2004220450A (ja) * 2003-01-16 2004-08-05 Hitachi Ltd ストレージ装置、その導入方法、及びその導入プログラム
JP2005276017A (ja) * 2004-03-26 2005-10-06 Hitachi Ltd ストレージシステム
JP2007310495A (ja) * 2006-05-16 2007-11-29 Hitachi Ltd 計算機システム
JP2008046986A (ja) * 2006-08-18 2008-02-28 Hitachi Ltd ストレージシステム
JP2008059353A (ja) * 2006-08-31 2008-03-13 Hitachi Ltd 仮想化システム及び領域割当て制御方法
JP2008059438A (ja) * 2006-09-01 2008-03-13 Hitachi Ltd 記憶システム、そのデータ再配置方法、データ再配置プログラム
JP2008090741A (ja) * 2006-10-04 2008-04-17 Hitachi Ltd 計算機システム、データ移行監視方法及びデータ移行監視プログラム
JP2008130080A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 動的チャンク割付けストレージシステムにおけるバックアップおよび復元のための方法および装置
WO2010106574A1 (ja) * 2009-03-18 2010-09-23 株式会社日立製作所 記憶制御装置及び仮想ボリュームの制御方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6823442B1 (en) 2003-05-12 2004-11-23 3Pardata, Inc. Method of managing virtual volumes in a utility storage server system
US7395396B2 (en) * 2004-08-30 2008-07-01 Hitachi, Ltd. Storage system and data relocation control device
US7096338B2 (en) * 2004-08-30 2006-08-22 Hitachi, Ltd. Storage system and data relocation control device
JP2006350599A (ja) * 2005-06-15 2006-12-28 Hitachi Ltd ストレージシステム及びストレージシステムのデータマイグレーション方法
JP4224077B2 (ja) * 2006-04-04 2009-02-12 株式会社東芝 ストレージシステム
JP2007280089A (ja) * 2006-04-07 2007-10-25 Hitachi Ltd 容量拡張ボリュームの移行方法
JP5037881B2 (ja) 2006-04-18 2012-10-03 株式会社日立製作所 ストレージシステム及びその制御方法
JP2008004986A (ja) 2006-06-20 2008-01-10 Masahiro Watanabe デジタルカメラ
JP4897499B2 (ja) * 2007-01-19 2012-03-14 株式会社日立製作所 記憶システム又はストレージ移行方法
JP5379956B2 (ja) 2007-03-19 2013-12-25 株式会社日立製作所 ストレージ装置及び記憶領域配置方法
JP5087309B2 (ja) * 2007-04-24 2012-12-05 株式会社日立製作所 管理装置及び管理方法
US7984259B1 (en) * 2007-12-17 2011-07-19 Netapp, Inc. Reducing load imbalance in a storage system
JP2009282800A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd ストレージ装置及びその制御方法
US8612679B2 (en) * 2009-01-23 2013-12-17 Infortrend Technology, Inc. Storage subsystem and storage system architecture performing storage virtualization and method thereof
AU2009342609B2 (en) 2009-03-20 2015-05-21 Bharat Petroleum Corporation Limited Counter-current multistage Fischer Tropsch reactor systems
US8397046B2 (en) * 2009-03-26 2013-03-12 Hitachi, Ltd. Method and apparatus for deploying virtual hard disk to storage system
JP5781925B2 (ja) * 2009-04-23 2015-09-24 株式会社日立製作所 計算機システム及びその制御方法
JP4990322B2 (ja) * 2009-05-13 2012-08-01 株式会社日立製作所 データ移動管理装置及び情報処理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184641A (ja) * 1997-12-24 1999-07-09 Hitachi Ltd サブシステムの移行方法
JP2004220450A (ja) * 2003-01-16 2004-08-05 Hitachi Ltd ストレージ装置、その導入方法、及びその導入プログラム
JP2005276017A (ja) * 2004-03-26 2005-10-06 Hitachi Ltd ストレージシステム
JP2007310495A (ja) * 2006-05-16 2007-11-29 Hitachi Ltd 計算機システム
JP2008046986A (ja) * 2006-08-18 2008-02-28 Hitachi Ltd ストレージシステム
JP2008059353A (ja) * 2006-08-31 2008-03-13 Hitachi Ltd 仮想化システム及び領域割当て制御方法
JP2008059438A (ja) * 2006-09-01 2008-03-13 Hitachi Ltd 記憶システム、そのデータ再配置方法、データ再配置プログラム
JP2008090741A (ja) * 2006-10-04 2008-04-17 Hitachi Ltd 計算機システム、データ移行監視方法及びデータ移行監視プログラム
JP2008130080A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 動的チャンク割付けストレージシステムにおけるバックアップおよび復元のための方法および装置
WO2010106574A1 (ja) * 2009-03-18 2010-09-23 株式会社日立製作所 記憶制御装置及び仮想ボリュームの制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210959A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd ストレージ管理方法、システム、およびプログラム
JP2014232348A (ja) * 2013-05-28 2014-12-11 富士通株式会社 ストレージシステム、情報処理装置の制御プログラム、およびストレージシステムの制御方法
WO2015001620A1 (ja) * 2013-07-02 2015-01-08 株式会社日立製作所 ストレージシステム、記憶制御方法、及び計算機システム
US9329788B2 (en) 2013-07-02 2016-05-03 Hitachi, Ltd. Computer system and method for allocating and recovering virtual volumes
US9552292B2 (en) 2014-06-27 2017-01-24 Fujitsu Limited Apparatus and method for allocating virtual memory addresses to continuous physical addresses
WO2016166867A1 (ja) * 2015-04-16 2016-10-20 株式会社日立製作所 計算機システム、及び、リソース制御方法
WO2018037509A1 (ja) * 2016-08-24 2018-03-01 株式会社日立製作所 ストレージシステム及び記憶制御方法

Also Published As

Publication number Publication date
US20110191537A1 (en) 2011-08-04
CN102549542A (zh) 2012-07-04
EP2450785A1 (en) 2012-05-09
JP5438827B2 (ja) 2014-03-12
WO2011042940A1 (en) 2011-04-14
US8225039B2 (en) 2012-07-17
US8606993B2 (en) 2013-12-10
US20120173814A1 (en) 2012-07-05
EP2419817A1 (en) 2012-02-22

Similar Documents

Publication Publication Date Title
JP5438827B2 (ja) 記憶制御装置及び仮想ボリュームの制御方法
JP5538362B2 (ja) 記憶制御装置及び仮想ボリュームの制御方法
JP5314772B2 (ja) 性能の異なる実領域群で構成されたプールを有するストレージシステムの管理システム及び方法
CN102449607B (zh) 具有多个闪存封装的存储系统
US8639899B2 (en) Storage apparatus and control method for redundant data management within tiers
US7415573B2 (en) Storage system and storage control method
JP5816303B2 (ja) フラッシュメモリを含むストレージシステム、及び記憶制御方法
US20140115289A1 (en) Data migration system and data migration method
US10664182B2 (en) Storage system
JP2015517697A (ja) 二次記憶装置に基づく記憶領域をキャッシュ領域として用いるストレージシステム及び記憶制御方法
JP2008134712A (ja) ファイル共有システム、ファイル共有装置及びファイル共有用ボリュームの移行方法
CN110968262B (zh) 存储装置和数据存储方法
US11740823B2 (en) Storage system and storage control method
WO2015198441A1 (ja) 計算機システム、管理計算機、および管理方法
US8285943B2 (en) Storage control apparatus and method of controlling storage control apparatus
JP5597266B2 (ja) ストレージシステム
US9098212B2 (en) Computer system with storage apparatuses including physical and virtual logical storage areas and control method of the computer system
US11947803B2 (en) Effective utilization of different drive capacities
JP2020027433A (ja) 情報システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131213

R150 Certificate of patent or registration of utility model

Ref document number: 5438827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees