[go: up one dir, main page]

JP2010181924A - データベース管理方法および装置並びにその処理プログラム - Google Patents

データベース管理方法および装置並びにその処理プログラム Download PDF

Info

Publication number
JP2010181924A
JP2010181924A JP2009022267A JP2009022267A JP2010181924A JP 2010181924 A JP2010181924 A JP 2010181924A JP 2009022267 A JP2009022267 A JP 2009022267A JP 2009022267 A JP2009022267 A JP 2009022267A JP 2010181924 A JP2010181924 A JP 2010181924A
Authority
JP
Japan
Prior art keywords
data
database management
processing
backup
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009022267A
Other languages
English (en)
Other versions
JP5222171B2 (ja
Inventor
Masami Toikawa
雅巳 樋川
Norihiro Hara
憲宏 原
Naoki Namikawa
直樹 並川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009022267A priority Critical patent/JP5222171B2/ja
Publication of JP2010181924A publication Critical patent/JP2010181924A/ja
Application granted granted Critical
Publication of JP5222171B2 publication Critical patent/JP5222171B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データベース管理システムにおいてデータの同期化に関する処理時間を短縮すること。
【解決手段】データベース管理装置1が、ロード処理されたデータに対して、データベース管理装置1が受け付けるアクセス要求を元にバッチ処理を実行し、バックアップ処理された差分バックアップデータ82bを、ストレージ装置5に格納されるデータベースのデータに反映することで、メモリ上のデータとストレージ装置5に格納されるデータとを同一化する同期化処理を実行し、バッチ処理のうちの所定バッチ処理と、その所定バッチ処理より前に実行されたバッチ処理に対してバックアップ処理された結果の同期化処理と、を並行処理する。
【選択図】図1

Description

本発明は、データベース管理方法および装置並びにその処理プログラムの技術に関する。
情報化社会の発展に伴い、多くの企業がデータベースを含むシステムを利用し、様々なオンラインサービスを提供している。例えば、銀行のATM(Automated Teller Machine)や航空券の販売システムがオンラインサービスの例として挙げられる。近年、企業間競争がますます激化する状況下で、各企業はオンラインサービス時間の拡大や、オンラインサービス内容の拡充等を行い他企業との差別化を図っている。
オンラインサービスのシステムを構築する際は、多種多様なハードウェアやミドルウェアを組み合わせることが多い。この場合、各ソフトウェアとハードウェアに対する保守とシステム全体に対する保守が必要となり、システム管理コストは非常に大きい。システム管理コストは、システム稼動中常に発生するコストのため、システム管理コストを削減して利益を確保することは、企業間競争を勝ち抜く上で重要となる。そのため、オンラインサービスの時間外の時間帯を有効活用することにより、システムを有効活用し、システム管理コストに見合った成果を得ることが期待できる(非特許文献1などを参照)。
データベース管理システムでは、オンライン業務によって蓄積されたデータをバッチ処理として一括処理することによって統計情報などを生成し、生成された統計情報を経営判断などに利用することがある。統計情報を生成するようなバッチ処理では、大量にデータにアクセスする必要があり、バッチ処理の実行中にはシステム負荷が増大しやすい。
特に、ディスクドライブなどの外部記憶媒体にデータが格納されている場合には、データの入出力による負荷が大きくなる。このため、バッチ処理は負荷が比較的小さくオンラインサービス時間外である夜間などに実行される場合が多い。従来では、運用更新の有無にかかわらず、バッチ処理時のデータ全てをバックアップしていた。
ジム グレイ、アンドレアス ロイター著「トランザクション処理〈下〉―概念と技法」日経BP社、2001年10月、P.743
オンラインサービスの拡充やオンラインサービス利用者の増加に伴うデータ処理量の増加により、バッチ処理時間は長くなる傾向にある。しかし、各企業はオンラインサービス時間を拡大しており、バッチ処理に割り当てられる時間は短くなっている。よって、バッチ処理時間の短縮化が望まれている。
次に、データベース管理システムにおけるバッチ処理の運用について、横軸を時間軸とするガントチャート形式の説明図(図12,図13)をもとに、説明する。
図12は、非特許文献1に開示されている、バッチ処理b1とバッチ処理b2および各バッチ処理に対するバックアップ処理(c1,c2)を示す説明図である。複数のバッチ処理を実行する際、障害に備えて各バッチ処理終了時点(t1、t3)のデータベースのデータ内容をバックアップ処理(c1、c2)する。
ここで、各バッチ処理を実行する際の外部記憶装置との入出力によるシステム負荷が非常に大きい。このシステム負荷を低減するため、外部記憶媒体に格納されたデータをメモリ上に記憶させ、メモリ上のデータを読み書きすることによって処理の高速化を図る処理(以後インメモリデータ処理と呼ぶ)を考える。インメモリデータ処理では、外部記憶装置にアクセスする必要がないため、システム負荷低減に大きな効果を得ることができる。
図13は、インメモリデータ処理の一例を示す説明図である。
時刻t0〜t1において、外部記憶媒体からデータを読み出してメモリに記憶するロード処理(インメモリ化とも呼ぶ)を実行する。
時刻t1〜t2において、ロード処理がなされたメモリ上のデータに対して、読み書きすることで、バッチ処理b1を実行する。
時刻t2〜t3において、バッチ処理(b1)の処理結果であるメモリ上のデータを、外部記憶媒体に書き出す処理であるバックアップ処理(c1)を実行する。
時刻t3〜t5においても、同様に、バッチ処理(b2)と、そのバックアップ処理(c2)を実行する。
時刻t5〜t6において、DB同期処理として、メモリからデータを読み出して外部記憶媒体に記憶する。
ここで、時刻t5〜t6のDB同期処理が終了するまでは、外部記憶媒体を更新することはできないように制御する必要がある。この待ち時間により、バッチ処理に関する全体時間(時刻t0〜t6)が増大してしまう。
そこで、本発明は、前記した問題を解決し、データベース管理システムにおいてデータの同期化に関する処理時間を短縮することを、主な目的とする。
前記課題を解決するために、本発明は、記憶装置に格納されるデータベースのデータを管理するデータベース管理装置におけるデータベース管理方法であって、
前記データベース管理装置が、処理を実行するためのプロセッサと、前記プロセッサが処理を実行するときに用いるデータを格納するメモリとアクセス可能な前記記憶装置を有し、
前記データベース管理装置のプロセッサが、
前記記憶装置に格納されるデータベースのデータを前記メモリに読み込むロード処理を実行し、
前記ロード処理されたデータに対して、データベース管理装置が受け付けるアクセス要求を元にバッチ処理を実行し、
前記バッチ処理された前記メモリ上の更新された前記データを、そのバッチ処理の実行後にバックアップデータとして書き出すバックアップ処理を実行し、
前記バックアップ処理された前記バックアップデータを、前記記憶装置に格納されるデータベースのデータに反映することで、前記メモリ上のデータと前記記憶装置に格納されるデータとを同一化する同期化処理を実行し、
前記バッチ処理のうちの所定バッチ処理と、その所定バッチ処理より前に実行された前記バッチ処理に対して前記バックアップ処理された結果の前記同期化処理と、を並行処理することを特徴とする。
その他の手段は、後記する。
本発明によれば、データベース管理システムにおいてデータの同期化に関する処理時間を短縮することができる。
本発明の一実施形態に関するデータベース管理システムの構成を示す構成図である。 本発明の一実施形態に関するデータベース管理システムの処理について、主なデータの流れを示す説明図である。 本発明の一実施形態に関する図2で説明した各処理の実行順序を示す説明図である。 本発明の一実施形態に関する図3の各処理におけるデータ内容の一例を示す説明図である。 本発明の一実施形態に関する図3の各処理におけるデータ内容の一例を示す説明図である。 本発明の一実施形態に関する図3の各処理におけるデータ内容の一例を示す説明図である。 本発明の一実施形態に関する図3の各処理におけるデータ内容の一例を示す説明図である。 本発明の一実施形態に関するデータ回復処理の概要を示す説明図である。 本発明の一実施形態に関するデータ回復処理におけるデータ内容の一例を示す説明図である。 本発明の一実施形態に関する各バッチ処理結果のバックアップ処理を示すフローチャートである。 本発明の一実施形態に関する障害発生時の回復処理を示すフローチャートである。 バッチ処理および各バッチ処理に対するバックアップ処理を示す説明図である。 インメモリデータ処理の一例を示す説明図である。
以下、本発明が適用されるデータベース管理システムの一実施形態について、図面を参照しながら説明する。
図1は、データベース管理システムの構成を示す構成図である。データベース管理システムは、データベース管理装置1、ストレージ装置5、端末7、および、バックアップ装置8が、ネットワーク6を通じて互いに接続されるシステムである。
データベース管理装置1は、プロセッサ1a、メモリ1b、および、他装置と通信するためのインタフェース1cを備えるコンピュータとして構成される。プロセッサ1aは、メモリ1bに記憶されたプログラムを処理することによって、各種処理を実行するための処理部を構成する。
メモリ1bには、DB業務処理部10と、DB運用処理部20と、を構成するためのプログラムが記憶される。DB業務処理部10は、オンライン要求解析部11と、オンライン処理部12と、バッチ要求解析部13と、バッチ処理部14と、を含めて構成される。DB運用処理部20は、DBロード処理部21と、DBバックアップ処理部22と、DB同期化指示部23と、DB回復処理部24と、を含めて構成される。これらの各処理部の詳細は、後記する。
メモリ1bには、データとしてインメモリデータバッファ15、および、更新管理テーブル16が記憶される。インメモリデータバッファ15は、データベース52のデータ内容をロード処理92(図2参照)するときの、データの格納先である。更新管理テーブル16は、ロード処理92されたデータベース52のデータ内容からの更新内容を、管理するテーブルである。
ストレージ装置5は、データベース管理装置1によって管理されるデータを、自装置内の記憶装置51のデータベース52に格納する。なお、ストレージ装置5は、データベース52を記憶する記憶媒体について、HDD(Hard disk drive)やSSD(Solid State Drive)などの記憶媒体が内蔵されている記憶装置51として構成してもよいし、読み書き可能なDVD(Digital Versatile Disc)ドライブなどの記憶媒体が着脱可能な記憶装置51として構成してもよい。
バックアップ装置8は、例えば、ストレージ装置であるが、データベース管理装置1に直接接続された外部記憶媒体であってもよいし、テープデバイスなどであってもよい。バックアップ装置8は、データベース管理装置1によって管理されるインメモリデータバッファ15のデータのフルバックアップデータ82aおよび差分バックアップデータ82bを記憶装置81に格納する。フルバックアップデータ82aは、インメモリデータバッファ15の全部のデータを格納するデータであり、差分バックアップデータ82bは、インメモリデータバッファ15の一部のデータ(更新されたデータ)を格納するデータである。
さらに、バックアップ装置8は、DB同期化処理部83を有する。DB同期化処理部83は、差分バックアップデータ82bをデータベース52に差分更新(いわゆるパッチの適用)することで、インメモリデータバッファ15と、データベース52とのデータの同一化状態(同期化状態)を実現する。なお、差分更新処理の契機は、1回の更新が発生するたびに実行してもよいし、複数回の更新をためておいてから、まとめて実行してもよい。
このように、バックアップ装置8のバックアップデータからストレージ装置5の差分更新処理を実行することにより、データベース管理装置1の負荷を軽減することができる。
端末7は、ユーザからの入力を受け付ける入力手段などを介して、業務処理を実行するための処理要求を受け付ける。業務処理は、主に営業時間内に実行されるオンライン処理91(図2参照)と、主に営業時間外に実行されるバッチ処理93(図2参照)と、に分類される。
オンライン処理91と、バッチ処理93との主な違いは、データのアクセス先である。オンライン処理91では、ストレージ装置5のデータベース52に対してデータアクセスを実行する。バッチ処理93では、データベース管理装置1のインメモリデータバッファ15に対して高速にデータアクセスを実行する。
データベース管理装置1は、各データベース(データベース52、インメモリデータバッファ15、記憶装置81のデータ)に格納されたデータを管理するとともに、端末7からのデータのアクセス要求を受け、管理対象のデータの読み書きを制御する。
まず、オンライン処理91を実行するために、端末7は、データベース管理装置1との間にトランザクションを設ける。オンライン処理実行の過程でストレージ装置5のデータベース52へのデータアクセスが必要になると、そのトランザクションを介して、データベース管理装置1にデータのアクセス要求を送信する。アクセス要求は、例えば、SQL(Structured Query Language)の文法に従って、記述される。
アクセス要求を受けたデータベース管理装置1のオンライン要求解析部11は、そのアクセス要求を構文解析して、その結果をオンライン処理部12に通知する。オンライン処理部12は、ストレージ装置5のデータベース52に対して、アクセス要求が示すデータアクセスの内容を処理する。
一方、バッチ処理93を実行するために、端末7は、データベース管理装置1にデータのアクセス要求などを送信する。アクセス要求を受けたデータベース管理装置1のバッチ要求解析部13は、そのアクセス要求を構文解析して、その結果をバッチ処理部14に通知する。バッチ処理部14は、自装置のインメモリデータバッファ15に対して、アクセス要求が示すデータアクセスの内容を処理する。このインメモリデータバッファ15へのデータアクセスは、自装置内で完結し、かつ、メモリ装置という高速なアクセスメディアを使用するため、一般的に、ストレージ装置5のデータベース52に対するデータアクセスよりも、高速なアクセスが期待できる。
DB運用処理部20は、端末7などによって送信された、データベースの運用管理に関する各種要求を受け付ける。各種要求とは、例えば、ロード処理要求、バックアップ処理要求、同期化処理要求、および、回復処理要求が挙げられる。
DBロード処理部21は、データベース52のデータ内容をインメモリデータバッファ15に読み込むための「ロード処理要求」を処理する。
DBバックアップ処理部22は、インメモリデータバッファ15の更新内容を差分バックアップデータ82bに書き出すための「バックアップ処理要求」を処理する。
DB同期化指示部23は、差分バックアップデータ82bをデータベース52に差分更新する指示をDB同期化処理部83に与えるための「同期化処理要求」を処理する。
DB回復処理部24は、インメモリデータバッファ15のデータ内容について、データベース52、フルバックアップデータ82a、および、差分バックアップデータ82bのうちの少なくとも1つのデータから回復するための「回復処理要求」を処理する。
図2は、データベース管理システムの処理について、主なデータの流れを示す説明図である。
業務処理のオンライン処理91は、端末7からのアクセス要求をデータベース52に反映する処理であり、オンライン処理部12によって実行される。
ロード処理92(インメモリ化処理)は、オンライン処理91されたデータベース52のデータ内容をインメモリデータバッファ15にそのまま読み込む処理であり、DBロード処理部21によって実行される。
業務処理のバッチ処理93は、端末7からのアクセス要求をロード処理92されたインメモリデータバッファ15に反映する処理であり、バッチ処理部14によって実行される。
バックアップ処理94(差分データ送信処理)は、インメモリデータバッファ15のデータ内容のうちのバッチ処理93によって更新された差分データを、差分バックアップデータ82bとして書き出す処理であり、DBバックアップ処理部22によって実行される。
同期化処理95(差分データ反映処理)は、バックアップ処理94された差分バックアップデータ82bをデータベース52に反映する処理であり、DB同期化指示部23の指示を受けたDB同期化処理部83によって実行される。
回復処理96は、障害などでインメモリデータバッファ15のデータ内容が消失したときに、バックアップ処理94された差分バックアップデータ82bなどをもとに、インメモリデータバッファ15のデータ内容を回復する処理であり、DB回復処理部24によって実行される。
図3は、図2で説明した各処理の実行順序を示す説明図である。なお、この説明図は、横軸を時間軸とするガントチャート形式で記述しており、縦方向には、各処理を実線矢印または点線矢印で示している。各処理の実行順序について、適宜図4〜図7を参照しつつ、説明する。
時刻t0までに実行されるオンライン処理91(O1)は、オンライン処理部12が営業時間内に実行する処理であり、その処理結果がデータベース52に書き込まれる。なお、図中の各データ構造の内部に記載されている「(O1)」などの表記は、そのデータ構造がどの処理の結果であるかを示す。
時刻t0〜時刻t1に実行されるバックアップ処理(O1)は、DBバックアップ処理部22が、オンライン処理91(O1)の結果であるデータ内容を、データベース52からフルバックアップデータ82aへと書き出す処理である。例えば、図4では、ページID=1〜8のデータが、すべて書き出されている。
なお、インメモリデータバッファ15、フルバックアップデータ82a、および、差分バックアップデータ82b(図5参照)は、それぞれデータベースのデータ内容が記憶される記憶領域であり、ページ単位でそのページを特定する「ページID」と、その「ページ内容」とを対応づけて管理する。ここで、図4では、ページ内容として1ページに1つの整数値(例えば「50」)としたが、これはあくまで説明用の一例であり、実際には1ページには固定長または可変長のデータベースが扱う各種データ(バイナリデータ、テキストデータなど)が記憶される。また、更新管理テーブル16は、インメモリデータバッファ15の各ページについての更新の有無を示す「フラグ」を格納する。
時刻t1〜時刻t2に実行されるロード処理92(O1)は、DBロード処理部21が、オンライン処理91(O1)の結果であるデータ内容を、データベース52からインメモリデータバッファ15へと読み出す処理である。例えば、図4では、ページID=1〜8のデータが、すべて読み出されている。このインメモリデータバッファ15へのロード処理92に伴い、DBロード処理部21は、更新管理テーブル16のフラグをすべて「未更新」に初期化する(図4参照)。
時刻t2〜時刻t3に実行されるバッチ処理93(B1)は、バッチ処理部14が、端末7からのアクセス要求のバッチ要求解析部13による解析結果を受けて、インメモリデータバッファ15のデータ内容を更新する処理である。例えば、図5では、ページID=P2,P4,P5,P7の4つのページが、バッチ処理93により更新されている。バッチ処理部14は、ページの更新に伴い、更新管理テーブル16の更新されたページに該当するフラグを「更新」へと変更する。
時刻t3〜時刻t4に実行されるバックアップ処理94(B1)は、DBバックアップ処理部22が、バッチ処理93(B1)によるインメモリデータバッファ15の更新内容を、差分バックアップデータ82bに書き出す処理である。例えば、図5では、更新されたページID=P2,P4,P5,P7の4つのページのページ内容が、差分バックアップデータ82bへと書き出されている。
時刻t4〜時刻t5に実行される同期化処理95(B1)は、DB同期化指示部23およびDB同期化処理部83が、バッチ処理93(B1)の差分バックアップデータ82bを、オンライン処理91(O1)の結果であるデータベース52のデータ内容に反映する処理である。例えば、図6では、ページID=P2,P4,P5,P7の4つのページのページ内容が、データベース52へと反映されている。
時刻t4〜時刻t6に実行されるバッチ処理93(B2)は、バッチ処理部14が、インメモリデータバッファ15のデータ内容を更新する処理である。例えば、図5では、ページID=P5,P7,P8の3つのページが、バッチ処理93(B2)により更新されている。バッチ処理部14は、ページの更新に伴い、更新管理テーブル16の更新されたページに該当するフラグを「更新」へと変更する。
ここで、図6を参照すると、同期化処理95(B1)と、バッチ処理93(B2)とは、互いにデータアクセスする対象となるデータが異なるため、データ衝突が発生せず、並行処理が可能である。つまり、同期化処理95(B1)と、バッチ処理93(B2)とを互いに時刻t4を起点とする並行処理をすることにより、この両処理を並行処理せずに直列に処理する方式と比べ、処理時間の総和を短縮することができる。
時刻t6〜時刻t7に実行されるバックアップ処理94(B2)は、DBバックアップ処理部22が、バッチ処理93(B2)によるインメモリデータバッファ15の更新内容を、差分バックアップデータ82bに書き出す処理である。例えば、図6では、更新されたページID=P5,P7,P8の3つのページのページ内容が、差分バックアップデータ82bへと書き出されている。
時刻t7〜時刻t8に実行される同期化処理95(B2)は、DB同期化指示部23およびDB同期化処理部83が、バッチ処理93(B2)の差分バックアップデータ82bを、バッチ処理93(B1)の結果であるデータベース52のデータ内容に反映する処理である。例えば、図7では、ページID=P5,P7,P8の3つのページのページ内容が、データベース52へと反映されている。
時刻t8から実行されるオンライン処理91(O2)は、オンライン処理部12が営業時間内に実行する処理であり、その処理結果がデータベース52に書き込まれる。
なお、図6、図7を参照すると、差分バックアップデータ82bは、バッチ処理93(B1,B2)ごとに作成されている。よって、DB同期化処理部83は、複数のバッチ処理93に対応する差分バックアップデータ82bを比較し、更新が互いに重複するページ(例えば、ページID=P5,P7)を発見したときには、データの上書きの発生を抑制するために、時間帯が前に該当するページの更新(例えば、P5=40,P7=10)を省略してもよい。
図8は、データ回復処理96の概要を示す説明図である。この説明図は、図3と同様に、横軸を時間軸とするガントチャート形式で記述される。図8の時刻t0〜t5の時間帯での処理は、図3と同じである。
時刻t12において、バッチ処理93(B2)を実行しているときに、そのバッチ処理93(B2)に障害が発生する。DBバックアップ処理部22は、オンライン処理部12から障害発生の通知を受け、インメモリデータバッファ15の内容を、バッチ処理93(B1)の結果の時点まで、回復処理96を行う。
図9では、例えば、回復処理96(1)〜(3)の例が示されている。
回復処理96(1)では、フルバックアップデータ82aをそのままインメモリデータバッファ15にコピーすることで、オンライン処理91(O1)の結果の時点まで回復する。
回復処理96(2)では、回復処理96(1)の後に、バッチ処理93(B1)の実行結果である差分バックアップデータ82bを、インメモリデータバッファ15に反映することで、バッチ処理93(B1)の結果の時点まで回復する。
回復処理96(3)では、回復処理96(2)の後に、バッチ処理93(B2)の実行結果である差分バックアップデータ82bを、インメモリデータバッファ15に反映することで、バッチ処理93(B2)の結果の時点まで回復する。
このように、DBバックアップ処理部22は、フルバックアップデータ82aおよび各時点での差分バックアップデータ82bを用いて、インメモリデータバッファ15のデータ内容を回復する。
例えば、図8の時刻t12〜時刻t13では、DBバックアップ処理部22は、回復処理96(1)の後に回復処理96(2)を実施することにより、インメモリデータバッファ15の内容を、バッチ処理93(B1)の結果の時点まで、回復処理96を行う。
そして、図8に戻り、回復処理後、時刻t13〜t14において、バッチ処理部14は、再度バッチ処理93(B2)を回復後のインメモリデータバッファ15に対して実施する。その後の図8の動作は、図3と同じである。
図10は、DBバックアップ処理部22が実行する、各バッチ処理結果のバックアップ処理を示すフローチャートである。
S101において、更新管理テーブル16のページIDを順に選択するループを開始する。以下、このループにおいて選択されているページを、選択ページと呼ぶ。
S102において、更新管理テーブル16における選択ページの「フラグ」が「更新」か否かを判定する。S102でYesならS103へ、NoならS104へ進む。
S103において、インメモリデータバッファ15の選択ページにおける「ページ内容」を、差分バックアップデータ82bとして書き出すとともに、更新管理テーブル16における選択ページの「フラグ」を「未更新」へと戻す。
S104において、S101からのループを終了する。
以上の図10の処理では、書き出すページを更新が行われたページに限定する差分形式のバックアップ処理94により、全てのページを書き出す方式に比べ、ディスク書き出し量を削減することができる。
図11は、DB回復処理部24が実行する、障害発生時の回復処理96を示すフローチャートである。
S201において、障害発生時のバッチ処理93と並行処理されている同期化処理95が完了したか否かを判定する。S201でYesならS211へ、S201でNoならS221へ、それぞれ移行する。
S211において、同期化されたデータベース52のデータ内容をそのままインメモリデータバッファ15へとロード処理92することにより、インメモリデータバッファ15のデータ内容を回復する。そして、処理をS231へ進める。
S221において、フルバックアップデータ82aのデータ内容をそのままインメモリデータバッファ15へとロード処理92することにより、インメモリデータバッファ15のデータ内容を、バッチ処理前の時点まで回復する。
S222において、差分バックアップデータ82bのデータ内容を、時刻が古い順にインメモリデータバッファ15へと差分反映処理することにより、インメモリデータバッファ15のデータ内容を、障害発生時に実行していたバッチ処理93より1つ前のバッチ処理93の終了時点まで回復する。そして、処理をS231へ進める。
S231において、障害発生時のバッチ処理93を、最初から再開するように、バッチ処理部14に指示する。
以上説明した本実施形態によれば、所定のバッチ処理93(例えば、B2)と、その前のバッチ処理結果(例えば、B1)の同期化処理95とを互いに並行処理することにより、処理時間の総和を短縮することができる。
さらに、バッチ処理結果を差分バックアップデータ82bという差分形式で管理することにより、同期化処理95の処理時間を短縮することができる。
1 データベース管理装置
1a プロセッサ
1b メモリ
1c インタフェース
5 ストレージ装置
6 ネットワーク
7 端末
8 バックアップ装置
10 DB業務処理部
11 オンライン要求解析部
12 オンライン処理部
13 バッチ要求解析部
14 バッチ処理部
15 インメモリデータバッファ
16 更新管理テーブル
20 DB運用処理部
21 DBロード処理部
22 DBバックアップ処理部
23 DB同期化指示部
24 DB回復処理部
51 記憶装置
52 データベース
81 記憶装置
82a フルバックアップデータ
82b 差分バックアップデータ
83 DB同期化処理部
91 オンライン処理
92 ロード処理
93 バッチ処理
94 バックアップ処理
95 同期化処理
96 回復処理

Claims (6)

  1. 記憶装置に格納されるデータベースのデータを管理するデータベース管理装置におけるデータベース管理方法であって、
    前記データベース管理装置は、処理を実行するためのプロセッサと、前記プロセッサが処理を実行するときに用いるデータを格納するメモリとアクセス可能な前記記憶装置を有し、
    前記データベース管理装置のプロセッサは、
    前記記憶装置に格納されるデータベースのデータを前記メモリに読み込むロード処理を実行し、
    前記ロード処理されたデータに対して、データベース管理装置が受け付けるアクセス要求を元にバッチ処理を実行し、
    前記バッチ処理された前記メモリ上の更新された前記データを、そのバッチ処理の実行後にバックアップデータとして書き出すバックアップ処理を実行し、
    前記バックアップ処理された前記バックアップデータを、前記記憶装置に格納されるデータベースのデータに反映することで、前記メモリ上のデータと前記記憶装置に格納されるデータとを同一化する同期化処理を実行し、
    前記バッチ処理のうちの所定バッチ処理と、その所定バッチ処理より前に実行された前記バッチ処理に対して前記バックアップ処理された結果の前記同期化処理と、を並行処理することを特徴とする
    データベース管理方法。
  2. 前記データベース管理装置のプロセッサは、複数回の前記バックアップ処理により生成された複数個の前記バックアップデータについて、互いに同じ箇所の更新内容が存在するときには、その同じ箇所の更新内容のうち、時刻が先である前記バックアップデータの前記同期化処理を省略することを特徴とする
    請求項1に記載のデータベース管理方法。
  3. 前記データベース管理装置のプロセッサは、前記所定バッチ処理と、前記同期化処理との並行処理中に、前記所定バッチ処理に対する障害が発生し、かつ、前記所定バッチ処理中に前記同期化処理が完了しているときには、その完了した前記同期化処理により同一化された前記記憶装置に格納されるデータ内容を、前記メモリに読み込む前記ロード処理を実行することを特徴とする
    請求項1または請求項2に記載のデータベース管理方法。
  4. 前記データベース管理装置のプロセッサは、前記所定バッチ処理と、前記同期化処理との並行処理中に、前記所定バッチ処理に対する障害が発生し、かつ、前記所定バッチ処理中に前記同期化処理が完了していないときには、既に前記バックアップ処理で書き出されている前記バックアップデータを、前記メモリに反映することを特徴とする
    請求項1または請求項2に記載のデータベース管理方法。
  5. 請求項1ないし請求項4のいずれか1項に記載のデータベース管理方法を、コンピュータである前記データベース管理装置で実行させるためのデータベース管理プログラム。
  6. 記憶装置に格納されるデータベースのデータを管理するデータベース管理装置であって、
    前記データベース管理装置は、処理を実行するためのプロセッサと、前記プロセッサが処理を実行するときに用いるデータを格納するメモリとアクセス可能な前記記憶装置を有し、
    前記データベース管理装置のプロセッサは、
    前記記憶装置に格納されるデータベースのデータを前記メモリに読み込むロード処理を実行し、
    前記ロード処理されたデータに対して、データベース管理装置が受け付けるアクセス要求を元にバッチ処理を実行し、
    前記バッチ処理された前記メモリ上の更新された前記データを、そのバッチ処理の実行後にバックアップデータとして書き出すバックアップ処理を実行し、
    前記バックアップ処理された前記バックアップデータを、前記記憶装置に格納されるデータベースのデータに反映することで、前記メモリ上のデータと前記記憶装置に格納されるデータとを同一化する同期化処理を実行し、
    前記バッチ処理のうちの所定バッチ処理と、その所定バッチ処理より前に実行された前記バッチ処理に対して前記バックアップ処理された結果の前記同期化処理と、を並行処理することを特徴とする
    データベース管理装置。
JP2009022267A 2009-02-03 2009-02-03 データベース管理方法およびデータベース管理システム Expired - Fee Related JP5222171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009022267A JP5222171B2 (ja) 2009-02-03 2009-02-03 データベース管理方法およびデータベース管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009022267A JP5222171B2 (ja) 2009-02-03 2009-02-03 データベース管理方法およびデータベース管理システム

Publications (2)

Publication Number Publication Date
JP2010181924A true JP2010181924A (ja) 2010-08-19
JP5222171B2 JP5222171B2 (ja) 2013-06-26

Family

ID=42763491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009022267A Expired - Fee Related JP5222171B2 (ja) 2009-02-03 2009-02-03 データベース管理方法およびデータベース管理システム

Country Status (1)

Country Link
JP (1) JP5222171B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016186A (ja) * 2012-08-24 2013-01-24 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
WO2015004769A1 (ja) * 2013-07-11 2015-01-15 株式会社 東芝 仮想ディスクイメージを処理するシステム、クライアント端末、及び方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311700A (ja) * 1994-05-18 1995-11-28 Fujitsu Ltd 並行処理システム
JPH08194638A (ja) * 1995-01-19 1996-07-30 Fujitsu Ltd 指定時刻のデータベースバックアップ方法及びデータベースバックアップ装置
JP2002351720A (ja) * 2001-05-24 2002-12-06 Sharp Corp ネットワークデータ管理システム、ネットワークデータ管理方法、ネットワーク管理プログラム及びネットワーク管理プログラムを記録した記録媒体
JP2003006020A (ja) * 2001-06-26 2003-01-10 Hitachi Ltd 複製データベースアクセス装置とそのアクセス方法
JP2003085021A (ja) * 2001-09-07 2003-03-20 Nippon Soken Holdings:Kk リカバリ・リスタート機能を備えたバッチ処理システム、リカバリ・リスタート機能を備えたバッチ処理システム用プログラム、及びそのプログラムを記録した記録媒体
JP2005242729A (ja) * 2004-02-27 2005-09-08 Hitachi Ltd システム復旧方法
JP2006004129A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 日次バッチ処理連動方法取引仲介システム
JP2006114058A (ja) * 2000-06-26 2006-04-27 Fujitsu Ltd ファイル管理装置、及び、その方法
JP2006139696A (ja) * 2004-11-15 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> データ復元方法、及びデータ復元プログラム
WO2008019952A2 (en) * 2006-08-16 2008-02-21 International Business Machines Corporation Storage management system for preserving consistency of remote copy data
JP2008198153A (ja) * 2007-02-16 2008-08-28 Nomura Research Institute Ltd オンライン処理を継続させながらバッチ処理を行う連続運用システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311700A (ja) * 1994-05-18 1995-11-28 Fujitsu Ltd 並行処理システム
JPH08194638A (ja) * 1995-01-19 1996-07-30 Fujitsu Ltd 指定時刻のデータベースバックアップ方法及びデータベースバックアップ装置
JP2006114058A (ja) * 2000-06-26 2006-04-27 Fujitsu Ltd ファイル管理装置、及び、その方法
JP2002351720A (ja) * 2001-05-24 2002-12-06 Sharp Corp ネットワークデータ管理システム、ネットワークデータ管理方法、ネットワーク管理プログラム及びネットワーク管理プログラムを記録した記録媒体
JP2003006020A (ja) * 2001-06-26 2003-01-10 Hitachi Ltd 複製データベースアクセス装置とそのアクセス方法
JP2003085021A (ja) * 2001-09-07 2003-03-20 Nippon Soken Holdings:Kk リカバリ・リスタート機能を備えたバッチ処理システム、リカバリ・リスタート機能を備えたバッチ処理システム用プログラム、及びそのプログラムを記録した記録媒体
JP2005242729A (ja) * 2004-02-27 2005-09-08 Hitachi Ltd システム復旧方法
JP2006004129A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 日次バッチ処理連動方法取引仲介システム
JP2006139696A (ja) * 2004-11-15 2006-06-01 Nippon Telegr & Teleph Corp <Ntt> データ復元方法、及びデータ復元プログラム
WO2008019952A2 (en) * 2006-08-16 2008-02-21 International Business Machines Corporation Storage management system for preserving consistency of remote copy data
JP2008198153A (ja) * 2007-02-16 2008-08-28 Nomura Research Institute Ltd オンライン処理を継続させながらバッチ処理を行う連続運用システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016186A (ja) * 2012-08-24 2013-01-24 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
WO2015004769A1 (ja) * 2013-07-11 2015-01-15 株式会社 東芝 仮想ディスクイメージを処理するシステム、クライアント端末、及び方法
JP5692829B1 (ja) * 2013-07-11 2015-04-01 株式会社東芝 仮想ディスクイメージを処理するシステム、クライアント端末、及び方法

Also Published As

Publication number Publication date
JP5222171B2 (ja) 2013-06-26

Similar Documents

Publication Publication Date Title
JP4764472B2 (ja) データベース管理方法、データベース管理プログラム、および、データベース管理装置
CN105339939B (zh) 对在线热备份数据库的复制
RU2554847C2 (ru) Контрольные точки для файловой системы
US20150213100A1 (en) Data synchronization method and system
US10031948B1 (en) Idempotence service
CN110597663A (zh) 一种事务处理方法及装置
US20130173545A1 (en) File-backed in-memory structured storage for service synchronization
JP5619179B2 (ja) 計算機システム、ジョブ実行管理方法、及びプログラム
US11762688B2 (en) Systems and methods for batch job execution in clustered environments using execution timestamp granularity between service instances having different system times
WO2014136172A1 (ja) データベース装置、プログラムおよびデータ処理方法
US20130024554A1 (en) Enabling cluster scaling
CN106855858B (zh) 数据库操作方法及装置
JP5222171B2 (ja) データベース管理方法およびデータベース管理システム
JP2010009195A (ja) バッチ処理方法、バッチ処理プログラム、リクエスト実行装置、および、データベースシステム
CN115348276B (zh) 数据存储方法、装置、计算机设备及存储介质
US7949632B2 (en) Database-rearranging program, database-rearranging method, and database-rearranging apparatus
CN117435569A (zh) 缓存系统动态扩容方法、装置、设备、介质和程序产品
CN113742034B (zh) 事件处理方法与装置、计算机可读存储介质、电子设备
CN113886500A (zh) 一种数据处理方法、装置、服务器以及存储介质
US20210133354A1 (en) System and method for efficient user-level based deletions of backup data
US8074100B2 (en) Method and apparatus for restore management
JP5035237B2 (ja) サーバ管理プログラム、サーバ管理装置およびサーバ管理方法
US12093134B2 (en) Method, device, and computer storage medium for managing trace record
JP5352310B2 (ja) バッチ処理実行システム及びその方法
US11513862B2 (en) System and method for state management of devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees