JP3741345B2 - Network connection disk unit - Google Patents
Network connection disk unit Download PDFInfo
- Publication number
- JP3741345B2 JP3741345B2 JP07909099A JP7909099A JP3741345B2 JP 3741345 B2 JP3741345 B2 JP 3741345B2 JP 07909099 A JP07909099 A JP 07909099A JP 7909099 A JP7909099 A JP 7909099A JP 3741345 B2 JP3741345 B2 JP 3741345B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- disk device
- data
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Storage Device Security (AREA)
- Multi Processors (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明はネットワークに接続して使用するディスク装置に関し、特に、ネットワークに接続されたディスク装置間のデータ転送の高速化・機密性の保持に関する。
【0002】
【従来の技術】
ネットワークI/Fをもつネットワーク接続ディスク装置に関し、いくつかの提案がなされている。
【0003】
例えば、CMU(Carnegie Mellon University)のGarth A. Gibsonらが提案しているNASD(Network-Attached ecure Disks)がある。ACM International Conference on Measurement and Modeling of Computer Systems(Sigmetrics '97)、 Seattle、 Washington、 June 15-18、 1997.における「File Server Scaling with Network-Attached Secure Disks」に詳しい。
【0004】
また、CMUのErik Riedel、Garth Gibsonらが提案しているActive Disksがある。ディスク装置へサーバの行っている処理をオフロードしサーバの負荷を削減しシステムスループットを向上しようというインテリジェントなディスク装置が提案されている。Active DisksはThe conference paper "Active Storage For Large-Scale Data Mining and Multimedia、" Proc. of the 24th International Conference on Very large Databases (VLDB '98)、 New York、 New York、 August 24-27、 1998.に詳しい。
【0005】
【発明が解決しようとする課題】
ネットワーク接続ディスク装置はネットワークに直接接続されるため、同じネットワークに接続されたクライアントは、ネットワーク接続ディスク装置に直接アクセスすることが可能となる。したがって、ネットワーク接続ディスク装置においては、セキュリティが重要になってくる。この点、NASDでは、NASD File Managerにより、アクセス権の制御が行われ、NASDに格納されるデータに対するセキュリティを実現している。
【0006】
一方、Active Diskのように、サーバとクライアントが接続されたネットワークに、サーバの機能をオフロードすることができる複数のネットワーク接続ディスク装置を接続して使用する場合、ネットワーク接続ディスク装置自身がサーバの機能をもっているため、当該ネットワークに接続されたサーバを経由しないで、ネットワーク接続ディスク装置の間でデータ移動することが可能となる。したがって、そのようなネットワーク接続ディスク装置を用いた場合には、データセットのコピーやデータベースのLoading等のように大量データの転送も、サーバを介さずに行うことがで可能となる。
【0007】
しかし、ネットワーク接続ディスク装置間で、大量データの移動があると、ネットワークに大量のデータが流れるため、クライアントはネットワークを監視する事でそのデータを取得する事が可能となる。また、また大量のデータをネットワークに転送するとネットワークの負荷が増大し、サーバ、クライアント、ネットワーク接続装置で構成される情報処理システム全体のスループットも減少する。
【0008】
そこで、本発明の目的は、サーバ、クライアント、ネットワーク接続ディスク装置を用いて情報処理システムを構築する場合、機密性が高く、スループットが高いシステムを構築することができるディスク装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を解決するために、本発明のネットワーク接続ディスク装置は、第1のネットワークに接続するための第1のインタフェースと、上記第1のネットワークと異なる種類の第2のネットワークに接続するための第2のインタフェースとを有する。上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の通信を行い、上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ及び制御情報の通信を行う。
【0010】
また本発明の他のネットワーク接続装置は、第1のネットワークに接続するための第1のインタフェースと、第2のネットワークに接続するための第2のインタフェースとを有する。上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアントとの間の通信を行い、 上記第1のネットワークと上記第2のネットワークとに接続されるサーバとの間の通信、及び、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間の通信を第2のネットワークを介して行う。
さらに本発明の他のネットワーク接続ディスク装置は、第1のネットワークに接続するための第1のインタフェースと、第2のネットワークに接続するための第2のインタフェースとを有する。上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の通信を行い、上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間の通信を行い、さらに、上記第1のネットワークを介して、上記クライアントからのアクセスを受信し、該クライアントが上記サーバからアクセス権を得ているかどうかを判定し、上記クライアントからのアクセスを制限する。
さらに本発明の他のネットワーク接続ディスク装置は、第1のネットワークに接続するための第1のインタフェースと、上記第1のネットワークと異なる種類の第2のネットワークに接続するための第2のインタフェースとを有する。上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の制御情報の通信を行い、上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ及び制御情報の通信を行う。
さらに本発明の他のネットワーク接続ディスク装置は、第1のネットワークに接続するための第1のインタフェースと、第2のネットワークに接続するための第2のインタフェースとを有する。上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアントとの間のデータ通信及び制御情報の通信を行い、 上記第1又は第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続されるサーバとの間の制御情報の通信を行い、上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ通信を行う。
【0011】
【発明の実施の形態】
以下、本発明の実施例を説明する。
【0012】
<実施例1>
図1は本発明の情報処理システムの一実施例を示す。本実施例ではディスク装置105としてディスクドライブを想定しているが、複数のディスクドライブから構成されるRAIDシステムに置き換えて考えてもよい。
【0013】
本実施例では、複数のディスク装置105と、クライアント101、サーバ102とがLAN(Local Area Network)103に接続される。複数のディスク装置105、クライアント101、サーバ102は、LANを介して、相互に通信することができる。各ディスク装置105は、LAN103に接続するためのLAN I/F104を備えている。
【0014】
また、各ディスク装置105は、SAN(Storage Area Network)107に接続するためのSAN I/F106を備えており、SANにも接続されている。これらのディスク装置間の通信は、SANを用いて行われる。これらのディスク装置105間でのデータ転送、及び制御情報の転送に関しSAN107を用いることで、制御情報の機密性を保持し、データ転送時のLAN103に対する影響を抑える事が可能である。
【0015】
サーバ102は、複数のディスク装置105に格納されているデータを管理しており、排他、ディレクトリサービスを行う。すなわち、クライアント101がディスク装置105をアクセスする際には、必ずサーバ102のディレクトリサービスを受けることになる。
【0016】
図2は本発明のディスク装置105の一実施例を示す。MP201は、MP I/F202を介して、制御バス206に接続されている。MP201は、制御バス206に接続されているLAN I/F104、DMAC209、SAN I/F106、Drive I/F208に対し、ネットワーク制御、データ転送制御及び、ドライブの制御の指示を与える。MP201上で稼動するプログラムはROM203に格納され、ROM203に格納されたプログラムは、その実行時にRAM204に読み込まれ、MP201は、RAM204から、当該プログラムを読み出し実行する。ROM203とRAM204とは、Mem I/F205を介して制御バス206に接続されている。
【0017】
LAN I/F104は、MP201の指示によりLAN103に対するプロトコル制御を行う。
【0018】
DMAC209は4つのデータバス207、211、212、及び214が接続されており、データバス207にはLAN I/F104が、データバス211にはBuffer210が、データバス212にはDrive I/F208が、データバス214にはSAN I/F106が接続されている。これらのデータバスにより、LAN I/F104とBuffer210との間、Drive I/F208とBuffer210との間、SAN I/F106とBuffer210との間のデータ転送が行われる。DMAC209は、MP201により指示されたデータ転送制御を必要なデータバスを用いて実行する。
【0019】
SAN I/F106は、MP201の指示によりSAN107に対するプロトコル制御を行う。
【0020】
Drive I/F208は、MP201が指示したドライブ部215に対する制御を直接行う。Drive I/F208は、バス213を介して、ドライブ部215と接続されており、ドライブ部215に対し、シーク、サーチ等の位置決め指示及びデータ転送開始等の指示を行う。
【0021】
ドライブ部215はアクチュエータ216、ヘッド217、ディスク218で構成される。アクチュエータ216は位置決め制御を行い、ヘッド217はデータのR/Wを行い、ディスク218にはデータが記録される。
【0022】
次に、ディスク装置105に対するリード・ライトの処理フローについて説明する。
【0023】
(リード)
図3は、ディスク装置105に対するアクセス要求元が、アクセス権を取得する処理フローを説明する図である。クライアント101がディスク装置105内のデータをリードする場合は、クライアント101が、サーバ102に対してデータの格納場所を問い合わせる(301)。
サーバ102は要求データが格納されているボリュームをチェックし、該ボリュームが排他されているか否かを判定する(302)。該ボリュームが排他されていない場合でも、排他要求がある場合には該ボリュームの排他を行う(303、304)。なお、ファイルやデータベースのテーブル等、ボリュームよりも小さな単位の排他は、より上位のファイルシステム等のシステムソフト、データベース等のミドルウェアが管理する。
【0024】
排他要求がない場合には、要求データが格納されているデータ位置とアクセス許可をLAN103経由でクライアント101に通知する(305)。同時にサーバ102は、ディスク装置105に対し、LAN103経由で、アクセス権の通知、すなわち、該クライアント101が、ボリュームのアクセス権を取得した旨を通知する(306)。通知の内容はディスク装置105及びアクセス可能なボリュームであり、セキュリティ保持のため暗号化して送信する。
【0025】
図4を用いて、リード処理のフローを説明する。クライアント101はデータの格納場所及びアクセス権を取得した後、次にディスク装置105に対してLAN103経由でリード要求を発行する(401)。リード要求により、該当データが格納されている先頭アドレス、データサイズ等を指示する。
【0026】
ディスク装置105はLAN103からLAN I/F 104に該要求を受け取る(402)。要求を受け取ったLAN I/F 104は、MP201に対して制御バス206経由で要求の受領を通知する。MP201はLAN I/F 104から要求を通知された後、その要求をRAM204に格納し、要求の内容を解析する(402)。
【0027】
要求解析の結果、まず最初にボリュームに対する該クライアント101のアクセス権をチェックする(403)。
【0028】
アクセス権がない場合にはLAN103経由でクライアント101にアクセス権不可と通知し、サーバ102の管理プログラムに異常検出を通知し処理を終える(404)。
【0029】
アクセス権がある場合には要求種別をチェックする(405)。
【0030】
要求が「リード」の場合には、MP201は、転送するボリュームの先頭アドレスをRAM204 に格納されている制御テーブルを元に計算する。MP201は、計算した先頭アドレスとボリュームのサイズの読み込み要求をDrive I/F208へ指示する(406)。要求は、先頭アドレスと、要求データサイズで指示する。Drive I/F208は、MP201から指示された要求を元にドライブ部215に要求を発行する。ドライブ部215ではDrive I/F208から送られた要求の先頭アドレスに位置づけるように、アクチュエータ216に指示する。アクチュエータ216は指示されたアドレスを含むシリンダへ位置づけを開始する(シーク)。次に該当するアドレス位置がヘッド217に来るまで待ち(回転待ち)、データの先頭位置が来たらヘッド217はデータをディスク218から読み取りDrive I/F208へ転送する。
【0031】
MP201は、読み込み要求をDrive I/F208を経由しドライブ部215に指示した後に、DMAC209に対してドライブ部215から転送されてくるデータをBuffer210へ格納するように指示し、Buffer210に格納されたデータをLAN I/F 104に転送するよう指示する。さらにMP201は、LAN I/F 104にLAN103を経由して要求元クライアント101にデータを転送するよう指示する。DMAC209は、Drive I/F208からデータを受け取り、Buffer210へ格納する(407)。
【0032】
Buffer210に一定以上データが格納されたとき、DMAC209はBuffer210からデータを取り出し、LAN I/F 104にデータを転送する。LAN I/F 104は、DMAC209から送られたデータを、要求元クライアント101にデータを転送する(408)。
【0033】
要求サイズで指示された量をすべて転送したら終了処理を行う。MP201はLAN103経由でデータ転送終了をクライアント101に通知し、クライアント101は以後同じボリュームに対して要求がある場合には上記の処理を繰り返し、要求がない場合には処理終了の通知をLAN103経由でサーバ102に通知しアクセス権を開放する(409)。
【0034】
(ライト)
ライト処理に関しても、ライト要求の発行に先立ちアクセス権の取得処理を実行する。アクセス権取得処理はリード処理と同様である。
【0035】
図4を用いて、ライト処理のフローを説明する。
【0036】
リード処理と同様に、処理401〜405を行う。
【0037】
MP201は、クライアント101から転送されてくるデータをBuffer210へ格納できるようLAN I/F 104に指示し、同時にDMAC209に対して該データをBuffer210に格納するよう指示する。LAN I/F 104はクライアント101からデータが転送されてくるとDMAC209に対しデータ受領を通知し、DMAC209は、当該データを受け取り、Buffer210に格納する(410)。
【0038】
バッファライト有の時にはすべてのデータがバッファに格納された時点で処理終了をクライアント101に通知する。バッファライト無の場合にはディスク218への書き込みが終了したのちに処理終了をクライアント101に通知する。MP201はLAN I/F 104とDMAC209に対しBuffer210へのデータ格納を指示した後、ドライブ部215に対するデータ書き込みを指示する(411)。
【0039】
リード処理と同様にディスクに位置決めを行い、当該データをディスク218へ書き込む(412)。
【0040】
ディスク218へ書き込むデータはDMAC209がデータバス211を経由しBuffer210から取り出し、データバス212を経由しDrive I/F208へ転送する。要求サイズで指示された量をすべて転送したら終了処理を行う。MP201はLAN103経由でデータ転送終了をクライアント101に通知し、クライアント101は以後同じボリュームに対して要求がある場合には上記の処理を繰り返し、要求がない場合には処理終了の通知をLAN103経由でサーバ102に通知しアクセス権を開放する(409)。
【0041】
上記のアクセスはクライアント101からディスク装置105に対するアクセス例を示したが、サーバ102からディスク装置105に対するアクセスも同様に行う。
【0042】
(データコピー)
オペレータはサーバ102上の管理プログラムで、各ディスク装置105のデータアクセス方式、論理ボリューム、アクセス権限、ボリュームの管理方法等を設定可能である。本実施例ではボリュームの管理機能のうちデータコピーにについて説明する。なお、実施例において管理プログラムをサーバ102上に実装したが、管理プログラムはサーバ102以外にクライアント101、ディスク装置105のシステム全体のいづれかの装置に実装されれば実現可能である。
【0043】
図5を用いてデータコピー処理について説明する。データコピーとは任意のディスク装置105の論理ボリュームを任意のディスク装置105に複製を作成する処理である。
【0044】
オペレータは管理プログラムにおいて任意のボリュームを選択する。次にオペレータはボリュームのコピー先のディスク装置105とボリュームを選択し、コピーの条件を選択する(501)。
【0045】
このとき管理プログラムはサーバ102に格納されている各ディスク装置105の構成情報を基に、コピー元、コピー先のボリュームの属性、構成を比較しコピー可能かどうかを判定する(502、503)。
【0046】
コピー元とコピー先のボリューム属性が異なる場合や、コピー元のボリュームがコピー先のボリュームよりも大きな場合にはコピー不可とし、コピー不可をオペレータに通知しデータコピー処理を終える(504)。
【0047】
コピーが可能な場合は、管理プログラムは、LAN103経由でコピー元のディスク装置にボリューム、コピーのタイミング、コピー条件を指示する(505)。
【0048】
コピーするタイミングとしては、即時、指定時間、一定時間間隔のように指定することが可能である。コピーの条件としては、アクセス、優先度を指定可能である。アクセスの指定においては、コピー元のディスク装置105のリードのみ可能/アクセス不可の選択が可能である。コピーの処理優先度の指定において、最も高い優先度を指定した場合には、ディスク装置105は、他のデータリード/ライト処理よりも、該コピー処を優先して実行する。一方、最も優先度の低い場合は、コピー処理以外の要求を優先するため、コピー処理は、ディスク装置105がアイドル状態(処理すべき要求を保持していない状態)のときのみコピー処理を実行する。
【0049】
指示を受けたコピー元ディスク装置は、リード許可やアクセス不可等の指定がされたボリュームに対し、アクセス制限を行う(506)。これ以降コピーが終了するまで、該ボリュームに対するアクセス制限は継続される。
【0050】
コピー先ディスク装置105でもコピー元ディスク装置105と同様にボリュームのアクセス制限を行う(507)。
【0051】
コピー先ディスク装置105のMP201はコピーの準備が整った後、SAN107を介して、コピー元ディスク装置105に、コピー可能である旨を通知する。
【0052】
コピー元ディスク装置105は、当該通知を受領した後、コピー処理を開始する(509)。
【0053】
ここで、データ転送が一定時間以上実行されない場合には、コピー先ディスク装置105は管理プログラムに対し異常検出を通知し、異常検出を受領した管理プログラムはコピー処理を中断する。また、コピー先ディスク装置105から準備終了通知が一定時間経過しても通知されない場合には、コピー元ディスク装置105は、管理プログラムに対し異常検出を通知し、異常検出を受領した管理プログラムはコピー処理を中断する。
【0054】
コピー処理の様に大量のデータをLAN103経由で送信すると、LAN103に負荷をかけ、システム全体のスループットが低下することになる。また、大量のデータをLAN103経由で転送すると、クライアント101、サーバ102は、データを盗み取ることが可能となり、機密性を保つことが難しい。そこで、これらのデータをSAN107経由で転送することにより、LAN103の負荷を軽減するとともに、機密性を保つことが可能となる。
【0055】
図6を用いて、優先度が高いコピー処理の実施例を説明する。コピー元ディスク装置105のMP201は、転送するボリュームの先頭アドレスを、RAM204に格納されている制御テーブルを元に計算する(601)。
【0056】
コピー元ディスクドライブのMP201は計算された先頭アドレスとボリュームのサイズの読み込み要求をドライブ部215に指示する(602)。
【0057】
ドライブ部215では、先頭アドレスに位置づけるように、アクチュエータ216に指示する。アクチュエータ216は指示されたアドレスを含むシリンダへ位置づけを開始する(シーク)。次に該当するアドレス位置がヘッド217位置に来るまで待ち(回転待ち)、データの先頭位置になったらヘッド217はデータをディスク218から読み取りDrive I/F208に転送する(603)。
【0058】
位置づけが終了した後、ドライブ部215から転送されてくるデータをBuffer210へ格納し、Buffer210に格納されたデータをSAN107経由でコピー先ディスク装置105に転送する(604)。コピー先ディスク装置は、受信したデータをBuffer210へ格納する(605)。
【0059】
コピー先ディスク装置105では、MP201はデータ受領を受信すると、Buffer210へデータを格納する(605)。
【0060】
次に、管理プログラムから発行されたコピー要求とRAM204に格納されている管理テーブルを元に転送されたデータを格納する位置を計算し、アクチュエータ216が先頭位置へ位置決めを開始する(606)。
【0061】
ドライブ部215は位置決めを行った後、Buffer210に格納されているデータをディスク218に書き込む(607)。
【0062】
以上の処理をボリュームのコピーが終了するまで実行する。ただし、コピー元/先のディスク装置105のMP201が処理の途中で転送エラー等の異常を検出した場合には、コピー元ならコピー先へ、コピー先ならコピー元のディスク装置105のMP201に対してSAN107を経由して、異常を通知しさらに、LAN103を経由しサーバ102に実装されている管理プログラムに対して異常を通知し、処理を中断する。異常が発生せずに処理を終了した場合にはコピー元ディスク装置105のMP201はまず、コピーが終了した旨をSAN I/F106を使い、SAN107を経由してコピー先のディスク装置105に通知する。コピー先のディスク装置105のMP201はコピー終了を受領するとコピー処理を終了する。次にLAN103を経由してサーバ102上の管理プログラムに対してコピーの終了を通知する。サーバ102上の管理プログラムはコピー終了を受領するとコピーが終了した旨をオペレータに通知しコピー処理を終える。
【0063】
コピー元ディスク装置105は、コピー処理を終了すると、コピー先ディスク装置105とサーバ102上の管理プログラムに対してコピーの終了を通知する(608)。その後、コピーに使用したボリュームのアクセス権制御を解除しコピー処理を終了する。
【0064】
このようにコピー処理を優先的に行うことで、短時間でのデータコピーが可能となる。
【0065】
(コピー処理の優先度が低い場合)
次に優先度の最も低い場合のコピー処理について説明する。コピー処理の優先度が低い場合にはコピー元のディスク装置105が実行すべき要求を他に保持していない場合にのみコピー処理を実行する。具体的にはドライブ部215が処理を実行していないときに、コピー処理を実行する。
【0066】
図7の流れ図を用いて優先度の低いデータコピー処理について説明する。データコピー処理の優先度が低い場合にはコピー元のすべてのボリュームに対するアクセスを許可する。コピー元ディスク装置105のMP201はまず最初に、一回の処理で転送するデータのサイズを決める。本実施例では1MBとするが転送サイズは任意である。次にドライブ部215に対し実行すべき要求が無いかをチェックし(701)、実行すべき要求がある場合にはコピー処理を一次停止し要求を実行する(702)。次に図6で説明した処理601〜608と同様の処理を行う(703〜709)。
【0067】
以上の処理を1MBのデータを転送するまで実行し、1MBのデータを転送し終えた後、再度コピー元ディスク装置105に実行すべき要求が有るかチェックする。実行すべき要求がある場合には該要求を実行し、該要求を実行後再度要求の有無をチェックする。実行すべき要求が無い場合には、コピー処理を継続する。ボリュームすべてのデータコピーが転送し終えたときに以下に示す終了処理を実行する(710)。
【0068】
ただし、コピー元/先のディスク装置105のMP201が処理の途中で転送エラー等の異常を検出した場合には、コピー元ならコピー先へ、コピー先ならコピー元のディスク装置105のMP201に対してSAN107を経由して、異常を通知しさらに、LAN103を経由しサーバ102に実装されている管理プログラムに対して異常を通知し、処理を中断する。異常が発生せずに処理を終了した場合にはコピー元ディスク装置105のMP201はまず、コピーが終了した旨をSAN I/F106を使い、SAN107を経由してコピー先のディスク装置105に通知する。コピー先のディスク装置105のMP201はコピー終了を受領するとコピー処理を終了する。次にLAN103を経由してサーバ102上の管理プログラムに対してコピーの終了を通知する。サーバ102上の管理プログラムはコピー終了を受領するとコピーが終了した旨をオペレータに通知しコピー処理を終える。コピー元ディスク装置105のMP201はコピー先ディスク装置105とサーバ102上の管理プログラムに対してコピーの終了を通知した(710)後、コピー処理を終了する。
【0069】
このようにリード・ライトの要求の間にコピーを行う事で、通常の処理に影響を与えずにバックアップを取る事が可能となる。
【0070】
<実施例2>
図8は、本発明の情報処理システムの他の実施例を示す。本実施例ではディスク装置805としてディスクドライブを示しているが、ディスク装置805として複数のディスクドライブから構成されるRAIDシステムのような装置でも構成可能である。
【0071】
本実施例が実施例1と異なるのは、SAN807に、ディスク装置805だけでなく、サーバ803も接続されている点である。そして、サーバ802からディスク装置805に対してアクセス権の通知を行う際にSAN807を用いる。これにより、サーバ803とディスク装置806との間で送信されるデータを、クライアントから隔離することができ、機密性を保つことができる。また、LAN803とSAN807とで異なるプロトコルを用いてもよい。例えば、SAN807のほうがLAN803よりも低レイテンシ、高スループットのプロトコルをサポートし、データ特性に依存した通信環境を実現することもできる。
【0072】
以下、サーバ802からディスク装置805に対してリード・ライト要求を発行する処理を説明する。
【0073】
(リード)
本実施例のリード処理に関しても、リード要求の発行に先立ちアクセス権の取得処理を実行する。アクセス権取得処理は実施例1のリード処理と同様に図3の流れ図に示す処理を行う。
【0074】
アクセス権取得後の処理を図9を用いて説明する。サーバ802はアクセス権取得後、これからアクセスするデータを高機密、あるいは低レイテンシ高スループットのSAN807経由でアクセスしたいか判定する。データの種類がディレクトリ等の管理情報や、重要なボリューム、等の条件を管理プログラムからボリューム情報等を取得し判定を行う。使用するネットワークは、機密性の高低、スループットの高低、レイテンシの高低をユーザが管理プログラムに対して指定する。また、管理プログラムの情報以外でも、サーバ802上のアプリケーションのアクセス特性も加味し判定する。
【0075】
次にSAN807経由のアクセスを指定している場合は図10に示す処理を実行し、SAN807経由以外の場合は図4に示すLAN803経由のアクセスを実行する。LAN803経由のアクセスは実施例1と同様である。
【0076】
図10は、SAN807経由のリード処理、ライト処理を示す。SAN807経由のリード処理、ライト処理は、図4で説明した処理と同様であるので、説明は省略する。
【0077】
【発明の効果】
以上説明したように本発明によれば、複数のネットワーク接続ディスク装置の間をSANで接続することにより、機密性の高いデータコピー、データ転送を可能となるとともに、同時にネットワークのトラフィック(負荷)を削減することが可能となる。
【図面の簡単な説明】
【図1】本発明の情報処理システムの一構成例を示す図。
【図2】本発明のディスク装置の一構成例を示す図。
【図3】図1の情報処理システムにおいて、ディスク装置に対するアクセス権取得処理のフローを示す図。
【図4】図1の情報処理システムにおいて、LAN経由でディスク装置に対しリード・ライト処理する際のフローを示す図。
【図5】本発明のディスク装置のデータコピー処理のフローを示す図。
【図6】本発明のディスク装置のコピー処理のフローを示す図である。
【図7】本発明のディスク装置のコピー処理のフロー示す図。
【図8】本発明の情報処理システムの一構成例を示す図。
【図9】図8の情報処理システムにおいて、ディスク装置に対しリード・ライト処理する際のフローを示す図。
【図10】図8の情報処理システムにおいて、SAN経由でディスク装置に対しリード・ライト処理する際のフローを示す図。
【符号の説明】
101・・・クライアント、102・・・サーバ、103・・・LAN、104・・・LANI/F、105・・・ディスク装置、106・・・SANI/F、107・・・SAN、801・・・クライアント、802・・・LAN、803・・・サーバ、804・・・LANI/F、805・・・SANI/F、806・・・ディスク装置、807・・・SAN。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a disk device used by being connected to a network, and more particularly to speeding up data transfer and maintaining confidentiality between disk devices connected to a network.
[0002]
[Prior art]
Several proposals have been made regarding a network-connected disk device having a network I / F.
[0003]
For example, NASD (Network-Attached ecure Disks) proposed by Garth A. Gibson et al. Of CMU (Carnegie Mellon University). Familiarity with “File Server Scaling with Network-Attached Secure Disks” at ACM International Conference on Measurement and Modeling of Computer Systems (Sigmetrics '97), Seattle, Washington, June 15-18, 1997.
[0004]
There is also Active Disks proposed by CMU's Erik Riedel, Garth Gibson and others. There has been proposed an intelligent disk device that offloads processing performed by the server to the disk device to reduce the load on the server and improve system throughput. Active Disks in The conference paper "Active Storage For Large-Scale Data Mining and Multimedia," Proc. Of the 24th International Conference on Very large Databases (VLDB '98), New York, New York, August 24-27, 1998. detailed.
[0005]
[Problems to be solved by the invention]
Since the network connection disk device is directly connected to the network, a client connected to the same network can directly access the network connection disk device. Therefore, security becomes important in the network-connected disk device. In this regard, in NASD, access rights are controlled by NASD File Manager, and security for data stored in NASD is realized.
[0006]
On the other hand, when using multiple network-attached disk devices that can offload server functions to a network where the server and clients are connected, such as Active Disk, the network-attached disk device itself is the server's Since it has a function, data can be moved between network-connected disk devices without going through a server connected to the network. Therefore, when such a network-connected disk device is used, it is possible to transfer a large amount of data without using a server, such as copying a data set or loading a database.
[0007]
However, if a large amount of data is moved between network-connected disk devices, a large amount of data flows through the network, so that the client can acquire the data by monitoring the network. In addition, when a large amount of data is transferred to the network, the load on the network increases, and the throughput of the entire information processing system including the server, client, and network connection device also decreases.
[0008]
Accordingly, an object of the present invention is to provide a disk device capable of constructing a system with high confidentiality and high throughput when an information processing system is constructed using a server, a client, and a network connection disk device. .
[0009]
[Means for Solving the Problems]
In order to solve the above object, a network connection disk device of the present invention includes a first interface for connecting to a first network,A different kind of network than the first networkAnd a second interface for connecting to the second network. Between a client or server connected to the first network but not connected to the second network via the first networkThroughBetween the other network connection disk devices connected to the first network and the second network via the second network.Data and control informationCommunicate.
[0010]
Another network connection device of the present invention includes a first interface for connecting to the first network and a second interface for connecting to the second network. Between clients connected to the first network but not connected to the second network via the first networkThroughDoCommunication between the server connected to the first network and the second network, and between other network connection disk devices connected to the first network and the second network Are communicated via the second network.
Furthermore, another network connection disk device of the present invention has a first interface for connecting to the first network and a second interface for connecting to the second network. Communication is performed with a client or server that is connected to the first network but not connected to the second network via the first network, and the first network is connected to the first network via the second network. Communication between one network and another network connection disk device connected to the second network, and further receiving an access from the client via the first network; Determines whether it has obtained access rights from the server, and restricts access from the client.
Furthermore, another network connection disk device of the present invention includes a first interface for connecting to the first network, and a second interface for connecting to a second network of a different type from the first network. Have Control information is communicated with a client or server that is connected to the first network but not connected to the second network via the first network, and is connected via the second network. Data and control information are communicated between the first network and the other network-connected disk devices connected to the second network.
Furthermore, another network connection disk device of the present invention has a first interface for connecting to the first network and a second interface for connecting to the second network. Perform data communication and control information communication with a client connected to the first network but not connected to the second network via the first network, Communication of control information between the first network and the server connected to the second network is performed via the first or second network, and the second network is used to communicate the control information. Data communication is performed between the first network and another network-connected disk device connected to the second network.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Examples of the present invention will be described below.
[0012]
<Example 1>
FIG. 1 shows an embodiment of an information processing system of the present invention. In this embodiment, a disk drive is assumed as the
[0013]
In this embodiment, a plurality of
[0014]
Each
[0015]
The
[0016]
FIG. 2 shows an embodiment of the
[0017]
LAN I / F104 isMProtocol control for the
[0018]
The
[0019]
The SAN I /
[0020]
The Drive I /
[0021]
The
[0022]
Next, a read / write processing flow for the
[0023]
(Lead)
FIG. 3 is a diagram illustrating a processing flow in which an access request source for the
The
[0024]
If there is no exclusion request, the
[0025]
The read process flow will be described with reference to FIG. After acquiring the data storage location and access right, the
[0026]
The
[0027]
As a result of the request analysis, first, the access right of the
[0028]
If there is no access right, the
[0029]
If there is an access right, the request type is checked (405).
[0030]
When the request is “read”, the
[0031]
The MP201 instructs the
[0032]
When more than a certain amount of data is stored in the
[0033]
When all the amount indicated by the requested size has been transferred, the termination process is performed. The
[0034]
(Light)
Regarding write processing, access right acquisition processing is executed prior to issuing a write request. The access right acquisition process is the same as the read process.
[0035]
The write process flow will be described with reference to FIG.
[0036]
Similar to the read process, processes 401 to 405 are performed.
[0037]
The
[0038]
When the buffer write is present, the end of processing is notified to the
[0039]
Similar to the read process, the disk is positioned and the data is written to the disk 218 (412).
[0040]
Data to be written to the
[0041]
Although the above-described access is an example of access from the
[0042]
(Data copy)
The operator can set the data access method, logical volume, access authority, volume management method, and the like of each
[0043]
Data copy processing will be described with reference to FIG. Data copy is a process of creating a copy of a logical volume of an
[0044]
The operator selects an arbitrary volume in the management program. Next, the operator selects the
[0045]
At this time, based on the configuration information of each
[0046]
If the volume attributes of the copy source and the copy destination are different, or if the copy source volume is larger than the copy destination volume, the copy is disabled, the copy is disabled and the operator is notified of the copy failure (504).
[0047]
If copying is possible, the management program instructs the copy source disk device via the
[0048]
The timing for copying can be specified immediately, at a specified time, or at regular time intervals. Access and priority can be specified as copy conditions. In specifying access, it is possible to select whether or not only reading of the copy
[0049]
Upon receiving the instruction, the copy source disk device restricts access to the volume for which read permission or inaccessibility is designated (506). Thereafter, the access restriction on the volume is continued until copying is completed.
[0050]
The copy
[0051]
After the copy preparation is completed, the
[0052]
After receiving the notification, the copy
[0053]
If the data transfer is not executed for a certain period of time, the copy
[0054]
When a large amount of data is transmitted via the
[0055]
An embodiment of copy processing with a high priority will be described with reference to FIG. The
[0056]
The
[0057]
The
[0058]
After the positioning is completed, the data transferred from the
[0059]
In the copy
[0060]
Next, the position for storing the transferred data is calculated based on the copy request issued from the management program and the management table stored in the
[0061]
After positioning, the
[0062]
The above processing is executed until the volume copy is completed. However, if the MP201 of the copy source /
[0063]
When the copy
[0064]
By performing the copy process preferentially in this way, data can be copied in a short time.
[0065]
(When copy processing priority is low)
Next, a copy process when the priority is the lowest will be described. When the priority of the copy process is low, the copy process is executed only when no other request to be executed by the copy
[0066]
The low-priority data copy process will be described with reference to the flowchart of FIG. When the priority of the data copy process is low, access to all the copy source volumes is permitted. The
[0067]
The above processing is executed until 1 MB of data is transferred. After the transfer of 1 MB of data, it is checked whether there is a request to be executed again in the copy
[0068]
However, if the MP201 of the copy source /
[0069]
By performing copying between read / write requests in this way, backup can be performed without affecting normal processing.
[0070]
<Example 2>
FIG. 8 shows another embodiment of the information processing system of the present invention. In this embodiment, a disk drive is shown as the
[0071]
This embodiment is different from the first embodiment in that not only the
[0072]
Hereinafter, processing for issuing a read / write request from the
[0073]
(Lead)
Also for the read process of this embodiment, an access right acquisition process is executed prior to issuing a read request. The access right acquisition process performs the process shown in the flowchart of FIG.
[0074]
The process after acquiring the access right will be described with reference to FIG. After acquiring the access right, the
[0075]
Next, if access via the
[0076]
FIG. 10 shows read processing and write processing via the
[0077]
【The invention's effect】
As described above, according to the present invention, it is possible to perform highly confidential data copying and data transfer by connecting a plurality of network-connected disk devices with a SAN, and simultaneously reduce network traffic (load). It becomes possible to reduce.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of an information processing system according to the present invention.
FIG. 2 is a diagram showing a configuration example of a disk device according to the present invention.
FIG. 3 is a diagram showing a flow of access right acquisition processing for a disk device in the information processing system of FIG. 1;
4 is a diagram showing a flow when a read / write process is performed on a disk device via a LAN in the information processing system of FIG. 1;
FIG. 5 is a diagram showing a flow of data copy processing of the disk device of the present invention.
FIG. 6 is a diagram showing a flow of copy processing of the disk device of the present invention.
FIG. 7 is a diagram showing a flow of copy processing of the disk device of the present invention.
FIG. 8 is a diagram showing a configuration example of an information processing system according to the present invention.
9 is a diagram showing a flow when a read / write process is performed on a disk device in the information processing system of FIG. 8;
10 is a diagram showing a flow when a read / write process is performed on a disk device via a SAN in the information processing system of FIG. 8;
[Explanation of symbols]
101 ... Client, 102 ... Server, 103 ... LAN, 104 ... LAN I / F, 105 ... Disk device, 106 ... SAN I / F, 107 ... SAN, 801 ... -Client, 802 ... LAN, 803 ... Server, 804 ... LAN I / F, 805 ... SAN I / F, 806 ... Disk device, 807 ... SAN.
Claims (10)
上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の通信を行い、
上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ及び制御情報の通信を行うことを特徴とするネットワーク接続ディスク装置。A network-connected disk device having a first interface for connecting to a first network and a second interface for connecting to a second network of a different type from the first network ,
Communicating with a client or server connected to the first network but not connected to the second network via the first network;
A network connection characterized in that data and control information are communicated between the first network and another network-connected disk device connected to the second network via the second network. Disk unit.
上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアントとの間の通信を行い、 上記第1のネットワークと上記第2のネットワークとに接続されるサーバとの間の通信、及び、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間の通信を第2のネットワークを介して行うことを特徴とするネットワーク接続ディスク装置。A network-connected disk device having a first interface for connecting to a first network and a second interface for connecting to a second network,
Via the first network, the connected to the first network is performed communication between a client that is not connected to the second network, and said first network and said second network The communication between the server connected to the server and the communication between the first network and the other network connection disk device connected to the second network are performed via the second network. network connections disk apparatus according to claim.
第2のネットワークに接続するための第2のインタフェースとを有するネットワーク接続ディスク装置であって、
上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の通信を行い、
上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間の通信を行い、さらに、上記第1のネットワークを介して、上記クライアントからのアクセスを受信し、
該クライアントが上記サーバからアクセス権を得ているかどうかを判定し、
上記クライアントからのアクセスを制限することを特徴とするネットワーク接続ディスク装置。A first interface for connecting to a first network;
A network connection disk device having a second interface for connecting to a second network,
Communicating with a client or server connected to the first network but not connected to the second network via the first network;
Communication is performed between the first network and another network connection disk device connected to the second network via the second network, and further via the first network, Receive access from the above client,
Determine whether the client has access rights from the server,
A network-connected disk device, wherein access from the client is restricted.
上記第1のネットワークと異なる種類の第2のネットワークに接続するための第2のインタフェースとを有するネットワーク接続ディスク装置であって、
上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアント又はサーバとの間の制御情報の通信を行い、
上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ及び制御情報の通信を行うことを特徴とするネットワーク接続ディスク装置。A first interface for connecting to a first network;
A network-attached disk device having a second interface for connecting to the second network of a different type from the first network ,
The control information is communicated with the client or the server connected to the first network but not connected to the second network via the first network.
A network connection characterized in that data and control information are communicated between the first network and another network-connected disk device connected to the second network via the second network. Disk unit.
第2のネットワークに接続するための第2のインタフェースとを有するネットワーク接続ディスク装置であって、
上記第1のネットワークを介して、上記第1のネットワークに接続されるが上記第2のネットワークには接続されないクライアントとの間のデータ通信及び制御情報の通信を行い、 上記第1又は第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続されるサーバとの間の制御情報の通信を行い、
上記第2のネットワークを介して、上記第1のネットワークと上記第2のネットワークとに接続される他のネットワーク接続ディスク装置との間のデータ通信を行うことを特徴とするネットワーク接続ディスク装置。A first interface for connecting to a first network;
A network connection disk device having a second interface for connecting to a second network,
Data communication and communication of control information with a client connected to the first network but not connected to the second network via the first network, and the first or second Communication of control information between the server connected to the first network and the second network via the network,
A network-connected disk device that performs data communication between the first network and another network-connected disk device connected to the second network via the second network.
上記第2のネットワークを介して、上記他のネットワーク接続ディスク装置との間で、コピー対象の上記データに対して設定されたコピー処理の優先度で該データの通信を行うThe data is communicated with the other network-connected disk device via the second network with the copy processing priority set for the data to be copied.
ことを特徴とする請求項1に記載のネットワーク接続ディスク装置。The network-connected disk device according to claim 1, wherein:
上記第2のネットワークを介して、上記他のネットワーク接続ディスク装置との間で、コピー対象の上記データに対して設定されたコピー処理の優先度で該データの通信を行うThe data is communicated with the other network-connected disk device via the second network with the copy processing priority set for the data to be copied.
ことを特徴とする請求項7に記載のネットワーク接続ディスク装置。The network-connected disk device according to claim 7, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07909099A JP3741345B2 (en) | 1999-03-24 | 1999-03-24 | Network connection disk unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07909099A JP3741345B2 (en) | 1999-03-24 | 1999-03-24 | Network connection disk unit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000276306A JP2000276306A (en) | 2000-10-06 |
| JP3741345B2 true JP3741345B2 (en) | 2006-02-01 |
Family
ID=13680196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07909099A Expired - Fee Related JP3741345B2 (en) | 1999-03-24 | 1999-03-24 | Network connection disk unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3741345B2 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100490935B1 (en) * | 2000-08-23 | 2005-05-24 | 시게이트 테크놀로지 엘엘씨 | Intelligent data storage device |
| JP4041656B2 (en) | 2001-03-02 | 2008-01-30 | 株式会社日立製作所 | Storage system and data transmission / reception method in storage system |
| US6779063B2 (en) * | 2001-04-09 | 2004-08-17 | Hitachi, Ltd. | Direct access storage system having plural interfaces which permit receipt of block and file I/O requests |
| JP4632574B2 (en) | 2001-05-25 | 2011-02-16 | 株式会社日立製作所 | Storage device, file data backup method, and file data copy method |
| JP2003015969A (en) * | 2001-07-02 | 2003-01-17 | Masahiro Sato | Personal server system and terminal device |
| JP2003167815A (en) * | 2001-11-30 | 2003-06-13 | Hitachi Ltd | Data access control method |
| JP3964212B2 (en) * | 2002-01-16 | 2007-08-22 | 株式会社日立製作所 | Storage system |
| US20040103220A1 (en) * | 2002-10-21 | 2004-05-27 | Bill Bostick | Remote management system |
| JP2004227098A (en) * | 2003-01-20 | 2004-08-12 | Hitachi Ltd | Control method of storage device control device and storage device control device |
| JP4329412B2 (en) * | 2003-06-02 | 2009-09-09 | 株式会社日立製作所 | File server system |
| JP4537022B2 (en) * | 2003-07-09 | 2010-09-01 | 株式会社日立製作所 | A data processing method, a storage area control method, and a data processing system that limit data arrangement. |
| JP4477365B2 (en) * | 2004-01-29 | 2010-06-09 | 株式会社日立製作所 | Storage device having a plurality of interfaces and control method of the storage device |
| US7627775B2 (en) * | 2005-12-13 | 2009-12-01 | International Business Machines Corporation | Managing failures in mirrored systems |
| JP5057741B2 (en) * | 2006-10-12 | 2012-10-24 | 株式会社日立製作所 | Storage device |
| JP2013097630A (en) * | 2011-11-02 | 2013-05-20 | Fujitsu Ltd | Repeater system and data copy method |
| AU2016218381B2 (en) * | 2015-02-10 | 2021-03-11 | Pure Storage, Inc. | Storage system architecture |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3266351B2 (en) * | 1993-01-20 | 2002-03-18 | 株式会社日立製作所 | Database management system and query processing method |
| JP3570154B2 (en) * | 1996-08-08 | 2004-09-29 | 富士ゼロックス株式会社 | Data relay device and data relay method |
-
1999
- 1999-03-24 JP JP07909099A patent/JP3741345B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000276306A (en) | 2000-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3741345B2 (en) | Network connection disk unit | |
| US8170990B2 (en) | Integrated remote replication in hierarchical storage systems | |
| JP3944449B2 (en) | Computer system, magnetic disk device, and disk cache control method | |
| JP5586892B2 (en) | Hierarchical storage system and file copy control method in hierarchical storage system | |
| US7373438B1 (en) | System and method for reprioritizing high-latency input/output operations | |
| US7533181B2 (en) | Apparatus, system, and method for data access management | |
| US7233984B2 (en) | Light weight file I/O over system area networks | |
| US7409521B2 (en) | Method of managing storage capacity, server and recording medium therefor | |
| US8271724B1 (en) | Controlling write request access to a non-volatile log | |
| US20030105767A1 (en) | Storage system and control method | |
| JP4278452B2 (en) | Computer system | |
| JP2002007304A5 (en) | ||
| US7185030B2 (en) | Storage system storing a file with multiple different formats and method thereof | |
| US7734591B1 (en) | Coherent device to device data replication | |
| US10872036B1 (en) | Methods for facilitating efficient storage operations using host-managed solid-state disks and devices thereof | |
| US20150161010A1 (en) | System, method and computer program product for recovering stub files | |
| US6965924B1 (en) | Method and system for transparent file proxying | |
| US7694166B1 (en) | Integrating control of service during cluster failover | |
| US7516133B2 (en) | Method and apparatus for file replication with a common format | |
| JP3848268B2 (en) | Computer system, computer apparatus, data access method and program in computer system | |
| GB2395809A (en) | Metadata lock management used to maintain data image | |
| JP4150854B2 (en) | Access system and client for shared disk device on storage area network | |
| US6993524B1 (en) | Network-attached disk unit with data protection function and server protecting data stored in network-attached disk device | |
| JP2894434B2 (en) | File exclusion control processing device and its failure recovery method | |
| JP2003058487A (en) | Data access control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050922 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111118 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111118 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131118 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |