JP6134437B2 - データ転送監視システム、データ転送監視方法、および拠点システム - Google Patents
データ転送監視システム、データ転送監視方法、および拠点システム Download PDFInfo
- Publication number
- JP6134437B2 JP6134437B2 JP2016508372A JP2016508372A JP6134437B2 JP 6134437 B2 JP6134437 B2 JP 6134437B2 JP 2016508372 A JP2016508372 A JP 2016508372A JP 2016508372 A JP2016508372 A JP 2016508372A JP 6134437 B2 JP6134437 B2 JP 6134437B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- alert
- index
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 238000012546 transfer Methods 0.000 title claims description 32
- 238000012544 monitoring process Methods 0.000 title claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 87
- 238000004364 calculation method Methods 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 53
- 238000010223 real-time analysis Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 56
- 238000013480 data collection Methods 0.000 description 38
- 238000004891 communication Methods 0.000 description 24
- 230000004044 response Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000012508 change request Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/64—Hybrid switching systems
- H04L12/6418—Hybrid transport
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
Description
本発明はデータを転送するシステムを監視する技術に関する。
多数のセンサやネットワーク装置等から逐次生み出される大量な時系列データをネットワーク越しに高速に転送するために、細かな複数のデータを纏めて一度に転送する技術が知られている。例えば、特許文献1には、データ転送要求を受信しても、データをすぐに転送せずに、一定期間待機し、当該期間内に他のデータ転送要求を受信した場合、それらデータ転送要求のデータをまとめて一度に送信する技術が開示されている。
大量な時系列データをネットワーク越しに送信する場合、ユーザもしくはアプリケーションが所望するデータのみをまとめて一度に効率よく送信することが望ましい。特許文献1の先行技術を時系列データで効果的に用いるには、なるべく時系列データを細かく格納しておき、ユーザの要求に応じて当該細かく刻んだデータをひとまとめにして一度に送信すれば良い。しかし、大量に発生する時系列データをファイルとして保存する場合、ファイルサーバに格納できるファイル数の上限により正しくデータを保存できないケースが発生する。
また、一般的に、時系列データに異常が発生すると、当該異常発生の前後一定時間内のデータは、当該異常との関係性が高いため、一度に転送することが望ましい。しかし、時間が遠くなるほど関連性が低くなる。また、大量のセンサや機器が設置されている環境では、なるべく無駄なデータは収集したくない。そのため、当該異常発生の前後のデータについて、少しずつ収集したいというニーズもある。
本発明の目的は、データの記憶容量と転送容量を抑制しつつ、監視のための所望のデータを転送することを可能にする技術を提供することである。
本発明の一態様によるデータ転送監視システムは、データの記録および送受信を行う拠点システムと、前記拠点システムとネットワークを介して接続され、前記拠点システムを監視するセンタシステムと、を有し、前記拠点システムは、送受信するデータに対するリアルタイム分析でアラートを検知し、アラート発生時刻を含む所定の収集対象時間内にあるデータである収集対象データを特定するインデックスを生成し、前記収集対象データと前記インデックスを関連付けて時系列データテーブルに記録し、アラート識別情報と前記インデックスを関連付けてインデックス特定テーブルに格納し、前記アラート識別情報を前記センタシステムに送信し、前記センタシステムは、前記アラート識別情報を受信すると、前記アラート識別情報を指定して、収集対象データを要求するためのデータ要求を前記拠点システムに送信し、前記拠点システムは、前記データ要求を受信すると、指定された前記アラート識別情報に関連付いたインデックスを前記インデックス特定テーブルの検索により取得し、前記インデックスで特定される収集対象データを前記時系列データテーブルから取得して前記センタシステムに送信し、前記センタシステムは、前記収集対象データを受信すると、前記収集対象データを記録する。
本発明によれば、データ転送を監視するシステムにおいて、データの記憶容量と転送容量を抑制しつつ、監視のための所望のデータを転送することが可能になる。
以下、図面を参照しながら、本発明の実施例について説明する。
なお、以後の説明では、「aaaテーブル」等の表現にて情報を説明することがあるが、これらの情報は必ずしもテーブル等のデータ構造である必要はなく、それ以外の形式で表現されていてもよい。データ構造に依存しないことを示すために、「aaaテーブル」等を「aaa情報」等と呼ぶことがある。また、各情報の内容を説明する際に、「番号」、「名称」という表現の識別情報が採用されるが、これは一例であり、他の種類の識別情報が使用されて良い。
また、これ以後の説明では、「bb部」を主語として説明を行う場合がある。しかし、これら機能部は、プロセッサがメモリ及び通信ポート(ネットワークインタフェース)を用いながら処理を実行することで実現されるものであるため、同じことを、プロセッサを主語とした説明することもできる。また、これら機能部を主語として説明される処理は、監視システム等の計算機が行う処理といってもよい。
また、これら機能部の一部または全ては、専用ハードウェアによって実現されてもよい。また、各種機能部は、プログラム配布サーバあるいは計算機が読み取り可能な記憶媒体によって、各計算機にインストールされるソフトウェアプログラムで実現されてもよい。その場合、各種機能部およびサーバが1つの同じ計算機にインストールされ、実行されても良いし、それらが複数の計算機に分けてインストールされ、実行されても良い。
また、これ以後の説明では、複数の同種の要素の参照符号は、同一の親番号と異なる子符号の組合せで示す。同種の要素を区別しないで説明する場合には、参照符号のうちの親番号のみを用いて説明し、同種の要素を区別して説明する場合には、参照符号を用いて説明することがある。
なお、以下の全ての実施形態および実施例において、ネットワークパケットデータを時系列データとして採用し、当該ネットワークパケットを監視するユースケースに沿って説明する。しかし、これら実施形態または実施例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態または実施例のみに限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
まず、本発明の実施形態の概略について説明する。
図1は、データ転送システムの概要ブロック図である。
図2は、拠点およびネットワーク監視センタの内部構成を示すブロックである。
図1を参照すると、ネットワーク監視センタ20がWAN(Wide Area Network)30によって複数の拠点10と接続されている。WAN30は、例えば、インターネット網、専用線、又はそれらの組み合わせである。このような環境において、ネットワーク監視センタ20が複数の拠点10を監視する。また、図1には、ある拠点10において、ネットワーク応答時間が閾値を超えてアラートが発生する様子が示されている。
図2を参照すると、拠点10には、インデックスが付された時系列データを蓄積する時系列データテーブル300、各種のメトリックを蓄積するメトリックテーブル400、検知されたアラートのアラートIDを蓄積するアラートテーブル500、およびアラートIDからインデックスを特定するためのインデックス特定テーブル600が配置されている。
各拠点10から他の拠点10に向けて大量のパケットデータが逐次送信されている。各拠点10では、時系列データテーブル300に、パケットデータの送受信の履歴が時系列に蓄積される。
また、各拠点10では、パケットデータの送受信において、応答時間、エラー率、スループットなどの各種メトリックの値が算出され、メトリックテーブル400に記録される。
図1に示すように、各拠点10では、このメトリックデータの値はしきい値と比較される。メトリックの値がしきい値を超えると、拠点10はアラートを生成し、アラートテーブル500に記録するとともに、ネットワーク監視センタ20に通知する。
ネットワーク監視センタ20は、WAN30の健全性を監視しており、拠点10からアラートを受信すると、当該アラートが発生した原因の分析を行う。その際、アラートの原因分析を行うために、各拠点10が送受信したパケットデータを収集する必要がある。そのとき、必要な分のパケットデータを、できるだけ短時間に収集するのが好ましい。
本実施形態では、アラート発生前後のネットワークパケットのデータをアラート発生日時からの時間に応じて分類する。
アラートの発生時刻の直前および直後の所定時間内のデータはアラートとの関係が強い可能性が高いため、必ず収集すべきと考えられる。図1において、アラート発生時刻t0の前後の時間t1内のデータは、必ず収集すべき必須収集データである。必須収集データは一度にまとめて収集される。
必須収集データと比べるとアラート発生時刻t0から遠いがアラート発生時刻t0の前後の時間t3内である時刻のデータは、必要に応じて選択的に収集すべきと考えられる。図1において、時間t3内のデータが選択収集データである。選択収集データは、必須収集データに比べるとアラートとの関係が弱いため、無駄とならないように、必要に応じて時間t2の単位で収集される。
選択収集データよりもアラート発生時刻t0から遠い時刻、すなわちアラート発生時刻t0から時間(t1+t3)よりも遠い時刻のデータは、アラートとの関係が極めて弱いため、アラートの原因分析のために収集する必要が無い。
なお、時間t1、t2、t3は、データ収集サーバ200に表示される画面のひとつであるタイムレンジ入力画面からユーザが入力することにしてもよく、あるいは外部アプリケーションから入力することにしてもよい。
拠点10あるいはネットワーク監視センタ20にそれぞれ設けられた装置群の物理構成は特に限定されない。いずれの装置といずれの装置が物理的に一体的な構成であってもよい。ここでは、拠点10に配置された複数の装置をまとめて拠点システム10とも称し、ネットワーク監視センタ20に配置された複数の装置をまとめてセンタシステム20とも称することにする。
拠点システム10は、送受信するデータに対するリアルタイム分析でアラートを検知し、アラート発生時刻を含む所定の収集対象時間内にあるデータである収集対象データを特定するインデックスを生成する。インデックスの形式は特に限定されないが、ストレージ内のアドレスに相当する値を付与することにしてもよい。それにより、インデックスをアドレスに用いてストレージ内からデータを容易に見つけることが可能となる。
更に、拠点システム10は、収集対象データとインデックスを関連付けて時系列データテーブル300に登録し、アラート識別情報とインデックスを関連付けてインデックス特定テーブル600に格納し、アラート識別情報をセンタシステム20に送信する。
センタシステム20は、アラート識別情報を受信すると、アラート識別情報を指定して、収集対象データを要求するためのデータ要求を拠点システム10に送信する。
拠点システム10は、データ要求を受信すると、指定されたアラート識別情報に関連付いたインデックスをインデックス特定テーブル600の検索により取得し、インデックスで特定される収集対象データを時系列データテーブル300から取得してセンタシステム20に送信する。
センタシステム20は、収集対象データを受信すると、その収集対象データを記録する。
本実施形態によれば、拠点システム10において、アラート検出時にアラート発生時刻を含む収集対象時間内のデータをインデックスと共に記録しておき、センタシステム20からの要求に応じて、データをインデックスにより取り出してセンタシステム20に送信するので、収集対象となるデータだけを効率よく記録し、収集することが可能となる。
また本実施形態では、拠点システム10は、収集対象データとして、アラート発生時刻を含む必須収集対象時間(図1において時刻t0±時間t1の時間)内にあるデータである必須収集データと、必須収集対象時間の前および/または後にある選択対象時間(図1において、時刻t0−時間t1−時間t3から時刻t0−時間t1までの時間と、時刻t0+時間t1から時刻t0+時間t1+時間t3までの時間)内にあるデータである選択収集データと分け、それぞれにインデックスを生成する。そして、拠点システム10は、センタシステム20からデータ要求を受信すると必須収集データをセンタシステム20に送信し、センタシステム20から更に選択収集データを要求するデータ要求を受信すると選択収集データをセンタシステム20に送信する。
これにより、まずアラート分析に重要な必須収集データを収集し、その後、必要に応じて要求をすることで、必須収集データの前および後にある選択収集データを収集することで、必要なデータだけを効率良く収集することができる。
また、本実施形態では、拠点システム10は、選択収集対象時間を複数の収集単位時間(時間t2)に分けて、それぞれの収集単位時間のデータである選択収集単位データにそれぞれインデックスを生成する。そして、センタシステム20は、選択収集対象データを取得するとき、選択収集単位データを指定したデータ要求を送信する。拠点システム10は、そのデータ要求を受信すると、データ要求にて指定された選択収集単位データをセンタシステム20に送信する。
これによれば、選択収集データを必要な分だけ指定して収集することができるので、必要なデータを効率よく収集することができる。
この種のデータ転送システムでは、データへのアクセスの仕方としてブロックアクセスとファイルアクセスとがある。
本実施形態では、ブロックアクセスの場合、拠点システム10は、送受信するデータにおいて、収集対象データを含むファイルに非収集対象データが含まれる場合、そのファイルから非収集対象データを削除し、得られたファイルに対してインデックスを生成する。ファイルに収集対象データと被収集対象データが含まれる可能性があるが、上述のようにすることで、非収集対象データを削除して、収集対象データのみを効率よく収集することが可能となる。
また、本実施形態では、ファイルアクセスの場合、拠点システム10は、送受信するデータにおいて、一度に送信すべき収集対象データが複数のファイルに分かれている場合、それら複数のファイルを結合し、得られた1つのファイルに対してインデックスを生成する。収集対象データが複数のファイルにわたる可能性があるが、上述のようにすることで、それら複数のファイルを結合して1つのファイルとして収集することが可能となる。
また、この種のシステムでは、共通の原因によって短い時間に複数のアラートが発生する場合がある。そのような場合を想定して、本実施形態では、拠点システム10は、検知したアラートのアラート発生時刻の収集対象時間内に他のアラートを検知した場合、その収集対象時間を、他のアラートのアラート発生時刻に基づいて拡張する。これにより、近い時間に複数のアラートが発生した場合にそれらを関連づけて、ひとまとまりの収集対象データとして効率よく取得することができ、またアラート分析を適切に行うことが可能となる。
更に、この種のシステムでは、アラートの原因として複数の拠点システム10が関与している場合がある。そのような場合を想定して、本実施形態では、ある拠点システム(ここでは第1の拠点システムと称する)10は、アラートを検知すると、他の拠点システム(ここでは第2の拠点システムと称する)10に、アラート識別情報と収集対象時間を送信する。そして、第2の拠点システム10は、受信したアラート識別情報と収集対象時間を自身に適用し、時系列データテーブル300およびインデックス特定テーブル600を更新する。これにより、アラートについて、関連する複数の拠点10からデータを収集することができ、複数の拠点10が関与した可能性のあるアラートの分析を適切に行うことが可能となる。
また、この種のシステムでは、共通原因などにより短時間に複数の拠点システム10でアラートが発生する場合がある。そのような場合を想定して、本実施形態では、第1の拠点システム10は、アラートを検知すると、第2の拠点システム10に、アラート識別情報とアラート発生時刻と収集対象時間を送信する。第2の拠点システム10は、自身が検知したアラートの収集対象時間内に第1の拠点システム10が検知したアラートのアラート発生時刻があれば、自身の収集対象時間を第1の拠点システム10のアラート発生時刻に基づいて拡張し、拡張した収集対象時間を第1の拠点システム10に送信する。第1の拠点システム10は、第2の拠点システム10から受信した拡張した収集対象時間と自身の収集対象時間との中で最大の収集対象時間を特定し、最大の収集対象時間を自身に適用するとともに、第2の拠点システム10に、その最大の収集対象時間を適用することを要求する。これによれば、複数の拠点システム10で発生したアラートについて、それらアラームをひとまとめで分析できるような、最大の収集対象時間のデータを複数の拠点システム10から収集することができ、複数の拠点システム10が関与した可能性のあるアラートの分析を適切に行うことが可能となる。
以下、より具体的な実施例について説明する。
図2に示したように、各拠点10には、リアルタイム処理サーバ100、インデックス算出サーバ110、データ送信サーバ120、およびデータストア130が配置されている。リアルタイム処理サーバ100、インデックス算出サーバ110、およびデータ送信サーバ120は、LAN140に接続されている。データストア130はリアルタイム処理サーバ100、インデックス算出サーバ110、およびデータ送信サーバ120からアクセス可能である。
ネットワーク監視センタ20には、データ収集サーバ200およびデータストア210が配置されている。データ収集サーバ200はLAN220に接続されており、データストア210はデータ収集サーバ200からアクセス可能である。
リアルタイム処理サーバ100は、アラート送信部101、リアルタイム分析部102、データ取得部103、CPU104、通信I/F(インタフェース)105、主記憶装置106、および外部記憶装置I/F107を有する。
アラート送信部101は、リアルタイム分析部102により算出された応答時間やエラー率などのメトリックの値が予め設定されたしきい値を超えたか否か判定する。メトリックの値がしきい値を超えた場合、アラート送信部101は、アラートを検知し、そのアラート情報をインデックス算出サーバ110及びネットワーク監視センタ20に対して送信すると共に、アラートテーブル500にアラート情報を格納する。
リアルタイム分析部102は、データ取得部103が取得し時系列データテーブル300に記載したパケットデータに基づいて、メトリックデータ403(本実施例ではネットワーク応答時間)の値を算出し、メトリックテーブル400に記載する。
具体的なネットワーク応答時間の算出方法は、図3に示すような時系列データテーブル300の、シーケンスID302と、送信元識別情報303と、送信先識別情報304と、ネクストシーケンスID305とを参照し、パケットデータAの送信元識別情報303とパケットデータBの送信先識別情報304が同じで、かつパケットデータAの送信先識別情報304とパケットデータBの送信元識別情報303が同じであり、かつパケットデータAのネクストシーケンスID305とパケットデータBのシーケンスID302が同じであるパケットデータA、Bの組み合わせを探索する。
パケットデータA、Bの組み合わせを発見すると、パケットデータBの時刻301からパケットAの時刻301を減算した時間を応答時間として算出する。そして、メトリックテーブル400に対して、パケットデータAの送信元識別情報303をアクセス元識別情報401とし、送信先識別情報304をアクセス先識別情報402とし、算出した応答時間をメトリックデータ403として格納する。パケットデータA、Bの組み合わせが複数存在する場合、算出した複数の応答時間の平均値を算出し、その平均値を応答時間403として格納する。
データ取得部103は、通信I/F105にて送受信されるパケットデータを取得し、外部記憶I/F107を介して時系列データテーブル300に格納すると共に、リアルタイム分析部102に通知する。
CPU104は、コンピュータプログラム(以下「プログラム」という)を実行する。CPU104がプログラムを実行することにより、リアルタイム処理サーバ100の有する様々な機能が実現される。
通信I/F105は、リアルタイム処理サーバ100をLAN140及びWAN30に接続するためのインタフェースである。
主記憶装置106は、プログラムおよびデータ等を記憶する記憶装置である。主記憶装置106は、例えば、DRAM(Dynamic Random Access Memory)等で構成される。主記憶装置106に記憶されたプログラムおよびデータはCPU104、通信I/F105、外部記憶装置I/F107からアクセスできる。
外部記憶装置I/F107は、リアルタイム処理サーバ100とデータストア130を接続するためのインタフェースである。
インデックス算出サーバ110は、アラート情報取得部111、インデックス算出部112、タイムレンジ変更部113、タイムレンジ通知部114、通信I/F115、CPU116、主記憶装置117、外部記憶装置I/F118を有する。
アラート情報取得部111は、リアルタイム処理サーバ100のアラート送信部101から送信されたアラート情報を受信し、受信したアラート情報をインデックス算出部112に通知する。
インデックス算出部112は、アラート情報をアラート情報取得部111から受信すると、図9に示すインデックス算出処理を実行し、算出したインデックスのリストをアラートIDおよび検索IDと共に、インデックス特定テーブル600に格納する。
タイムレンジ変更部113は、ネットワークパケットのデータ取得のタイムレンジに関する処理において、必要に応じて、外部のアプリケーションや、データ収集サーバ200のタイムレンジ入力画面を介してユーザが入力した時間t1〜t3を設定または変更する。また、タイムレンジ変更部113は、時間t1〜t3を変更した後、インデックス算出部112にインデックスの算出を命令する。
タイムレンジ通知部114は、現在の時間t0〜t3の設定値を他の拠点10もしくはネットワーク監視センタ20に通知する。
通信I/F115、CPU116、主記憶装置117、外部記憶装置I/F118は、上述した通信I/F105、CPU104、主記憶装置106、外部記憶装置I/F107と同じ機能および構成であるため説明を割愛する。
データ送信サーバ120は、データ要求受信部121、データ収集部122、データ送信部123、CPU124、通信I/F125、主記憶装置126、および外部記憶装置I/F127を有する。
データ要求受信部121は、ネットワーク監視センタ20からデータ収集要求を受け付け、そのデータ収集要求における要求内容をデータ収集部122に送信する。
データ収集部122は、データ要求受信部121から受信したデータ収集要求の要求内容に基づき、ネットワーク監視センタ20に送信すべきパケットデータ(収集対象データ)をデータストア130から取得し、データ送信部123に送信する。
データ送信部123は、データ収集部122で収集されたパケットデータをネットワーク監視センタ20に送信する。
CPU124、通信I/F125、主記憶装置126、外部記憶装置I/F127は、上述したCPU104、通信I/F105、主記憶装置106、外部記憶装置I/F107と同じ機能および構成であるため説明を割愛する。
ネットワーク監視センタ20は、データ収集サーバ200およびデータストア210を有し、データ収集サーバ200がLAN220に接続されている。
データ収集サーバ200は、アラート受信部201、データ取得部202、CPU203、通信I/F204、データ表示部205、主記憶装置206、データ要求送信部207、タイムレンジ入力部208、および外部記憶装置I/F209を有する。
アラート受信部201は、各拠点10のリアルタイム処理サーバ100のアラート送信部101からアラートを受信する。
データ取得部202は、各拠点10のデータ送信サーバ120のデータ送信部123から送信される収集すべきパケットデータを取得し、データ表示部205に送信する。
データ表示部205は、データ取得部202が取得したパケットデータを画面上に表示する。
データ要求送信部207は、アラート受信部201で受信されたアラートをキーとして、各拠点10のデータ送信サーバ120のデータ要求受信部121に、そのアラートに関連するパケットデータ(収集対象データ)を要求する。
タイムレンジ入力部208は、収集すべきパケットデータの収集範囲およびデータ収集先を定義または変更できるように、時間t1〜t3のタイムレンジを入力したり、及びデータ収集先拠点情報を入力したりするインタフェースをユーザあるいはアプリケーションに提供する。また、タイムレンジ入力部208は、入力された時間t1〜t3およびデータ収集先拠点情報を各拠点10のインデックス算出サーバ110のタイムレンジ変更部113に送信する。
CPU203、通信I/F204、主記憶装置206、外部記憶装置I/F209は、上述したCPU104、通信I/F105、主記憶装置106、外部記憶装置I/F107と同じ機能および構成であるため説明を割愛する。
図3は、拠点に蓄積される時系列データのテーブルの一例を示す図である。
時系列データテーブル300には、拠点10にて送受信されるデータについて、時刻301、シーケンスID302、送信元識別情報303、送信先識別情報304、ネクストシーケンスID305、およびインデックス306が記録される。
時刻301はパケットデータの送信または受信の時刻を示す。
シーケンスID302は、送信元識別情報303で一意に特定される送信元と送信先識別情報304で一意に特定される送信先の間で送受信されたパケットデータを一意に特定する通し番号である。
送信元識別情報303は、パケットデータを送信した機器を一意に特定する識別情報であり、例えばIPアドレスやホスト名などである。当該送信元識別情報303の情報により、当該パケットデータが、メトリックテーブル400のアクセス元識別情報401により特定されるメトリックデータ、およびアラートテーブル500のアクセス元識別情報503により特定されるアラートと関連付けられる。また、当該送信元識別情報303の情報により、当該パケットデータが、拠点-機器テーブル700の機器識別情報702で特定される拠点と関連づけられる。
送信先識別情報304は、パケットデータの送信先の機器を一意に特定する識別情報であり、例えばIPアドレスやホスト名などである。当該送信先識別情報304の情報により、当該パケットデータが、メトリックテーブル400のアクセス先識別情報402により特定されるメトリックデータ、およびアラートテーブル500のアクセス先識別情報504により特定されるアラートと関連付けられる。また、当該送信先識別情報304の情報により、当該パケットデータが、拠点-機器テーブル700の機器識別情報702で特定される拠点と関連づけられる。
ネクストシーケンスID305は、現在のパケットデータの次に送信元もしくは送信先から送信されるパケットデータのシーケンスID302を示す。例えば、パケットデータAのネクストシーケンスID305が2であるとすると、次にパケットデータAの送信先からパケットデータAの送信元に送られるパケットデータのシーケンスID302は必ず2となる。すなわち、送信元識別情報303と、送信先識別情報304と、シーケンスID302とでパケットデータが一意に特定でき、これにネクストシーケンスID305で示す情報を加えると、当該パケットデータと他のパケットデータとの関連性や送受信順序などが一意に特定できる。本仕様はTCP/IPなど一般的なネットワークプロトコルで採用されている。
インデックス306は、データストア130内のパケットデータの格納場所を一意に特定する識別情報であり、例えば、ストレージ内のブロックID、ファイルストレージ内のファイルのフルパス、クラウドストレージ内のファイルのURIなどである。当該インデックス306により、当該パケットデータを、インデックス特定テーブル600のインデックスリスト603内のインデックスが示すアラートID601と関連付けられる。
各拠点10のリアルタイム処理サーバ100のデータ取得部103が収集したパケットデータが時系列データテーブル300に格納される。
図4は、拠点で計測されるメトリックデータのテーブルの一例を示す図である。
メトリックテーブル400には、メトリックのそれぞれについて、アクセス元識別情報401、アクセス先識別情報402、およびメトリックデータ403が記録される。図4の例では、アクセス元およびアクセス先の組についてアクセスの応答時間が記録されている。
アクセス元識別情報401は、パケットデータの送信元の識別情報を示し、時系列データテーブル300の送信元識別情報303と同じ識別情報が格納される。
アクセス先識別情報402は、パケットデータの送信先の識別情報を示し、時系列データテーブル300の送信先識別情報304と同じ識別情報が格納される。
メトリックデータ403は、当該アクセス元識別情報401で示されるアクセス元と当該アクセス先識別情報402で示されるアクセス先の間で送受信されたパケットデータの所定の性能値がメトリックとして格納される。代表的なメトリックとしては、応答時間、エラー率、スループット等があり、上述のように、本実施例では応答時間をメトリックデータとして記録している。この応答時間は、上述のようにリアルタイム処理サーバ100のリアルタイム分析部102で算出される。各拠点10において、メトリックデータ403は、リアルタイム処理サーバ100のリアルタイム分析部102で算出され、メトリックテーブル400に格納される。なお、本実施例では、一種類のメトリックデータ(応答時間)だけを監視しているが、複数種類のメトリックデータを算出し、監視対象としても良い。
図5は、拠点で生成されるアラートテーブルの一例を示す図である。
アラートテーブル500には、検知されたアラートのそれぞれについて、アラートID501、発生日時502、アクセス元識別情報503、アクセス先識別情報504、およびアラート内容505が記録される。
アラートID501は、各拠点10において、アラートを一意に特定するための識別情報である。当該アラートID501により、当該アラートが、同一拠点10内のインデックス特定テーブル600のアラートID601が示すインデックスリスト603、および当該インデックスリスト603内のインデックスと関連付けられる。
発生日時502は、リアルタイム処理サーバ100のアラート送信部101がアラートを検出した時刻を格納する。
アクセス元識別情報503には、当該アラートの検出に用いられたメトリックテーブル400に記載のメトリックデータのアクセス元識別情報401及び時系列データテーブル300に記載されたパケットデータの送信元識別情報303と同じ識別情報が格納される。当該アクセス元識別情報503により、当該アラートが、メトリックテーブル400のアクセス元識別情報401から特定されるメトリックデータ403、および時系列データテーブル300の送信元識別情報303から特定されるパケットデータと関連付けられる。
アクセス先識別情報504には、当該アラートの検出に用いられたメトリックテーブル400に記載されたメトリックデータのアクセス先識別情報402、及び時系列データテーブル300に記載されたパケットデータの送信先識別情報304と同じ識別情報が格納される。当該アクセス先識別情報504により、当該アラートが、メトリックテーブル400のアクセス先識別情報402から特定されるメトリックデータ403、および時系列データテーブル300の送信先識別情報304から特定されるパケットデータと関連付けられる。
アラート内容505はアラートの内容を示す。本実施例では、監視対象とするメトリック403が応答時間であるため、アラート内容505として主に遅延や無応答などが記録される。
各拠点10において、リアルタイム処理サーバ100のアラート送信部101がアラートを検出し、アラートテーブル500に当該アラートの各情報を格納する。
図6は、拠点で生成されるインデックス特定テーブルの一例を示す図である。
インデックス特定テーブル600は、収集対象のパケットデータの収集単位毎に、アラートID601、検索ID602、およびインデックスリスト603が記録される。
アラートID601は、各拠点10において検知されたアラートを一意に特定するためのIDである。当該アラートID601により、収集単位のパケットデータが、同一拠点10内のアラートテーブル500のアラートID501が示すアラート情報と関連づけられる。
検索ID602は、ネットワーク監視センタ20が拠点10にアラートID601をキーとしてパケットデータの取得を要求するとき、あるいは拠点10からネットワーク監視センタ20にパケットデータを送信するとき、アラートID601についてのパケットデータの収集単位を一意に特定するための識別情報である。当該検索IDの絶対値は、アラートの発生日時502に近いほど小さくなり、アラートの発生日時502から遠いほど大きくなる。
インデックスリスト603は、各パケットデータに付与されたインデックスのリスト情報である。このインデックスにより、アラートID601のアラートが発生した、時系列データテーブル300に記載のパケットデータについて、データストア130内の格納場所を一意に特定することができる。当該インデックスリスト603に記載のインデックスにより、収集単位のパケットデータが、時系列データテーブル300のインデックス306が示すパケットデータと関連付けられる。
各拠点10のインデックス特定テーブル600の情報は、その拠点10のインデックス算出サーバ110のインデックス算出部112が、図9の処理を実行することで、格納される。
図7は、ネットワーク監視センタに保持される拠点−機器テーブルの一例を示す図である。
拠点−機器テーブル700には、各拠点について拠点識別情報701と機器識別情報702が記録される。
拠点識別情報701は、拠点名、地名、支店番号など、各拠点10を一意に特定する識別情報である。
機器識別情報702は、各拠点10においてパケットデータを送受信する機器を一意に特定するための識別情報であり、例えばIPアドレスやホスト名などである。当該機器識別情報702により、当該拠点の当該機器が、同一拠点内のアラートテーブル500のアクセス元識別情報503もしくはアクセス先識別情報504で特定されるアラートと関連付けられる。
拠点−機器テーブル700に記載される情報は、ユーザもしくは構成管理ソフトウェアや資産管理ツールなどから入力される。
図8は、データ収集サーバ200のタイムレンジ入力部208によって提供されるタイムレンジ入力画面800の一例を示す図である。
タイムレンジ入力画面800は、t1入力欄801、t2入力欄802、t3入力欄803、タイムレンジ適用拠点範囲指定欄804、アラート関連づけ指定欄805を有する。
t1入力欄801は、ネットワーク監視センタ20からアラートID501をキーとして時系列データテーブル300に格納されているパケットデータを、一度にデータを収集する時間t1を入力するためのインタフェースである。ユーザもしくはアプリケーションは、アラートの発生日時502を起点として前後t1時間分のパケットデータを一度に収集できる。
t2入力欄802は、主に時間t1で指定した範囲のパケットデータ(必須収集データ)を収集した後に追加で、その必須収集データの前および/または後のパケットデータ(選択収集データ)を収集する際に、1回の操作でデータを収集する時間単位を入力するためのインタフェースである。ユーザもしくはアプリケーションは、監視画面の表示時間幅に見合ったパケットデータのみの収集や、オンデマンドで少量のパケットデータのみの収集によって、不要なデータ転送を避けることが可能となる。
t3入力欄803は、選択収集データの時間を設定するためのインタフェースである。
タイムレンジ適用拠点範囲指定欄804は、入力した時間t1〜t3の適用先の拠点10を指定するインタフェースである。具体的には、アラートが発生した拠点10のみに適用するか、当該アラートが発生した拠点10だけでなく当該アラートに関連する複数の拠点10に適用するかを選択するインタフェースである。
アラート関連づけ指定欄805は、検知したアラームのアラートの発生日時502の前および後の時間t1内に発生した他のアラートを、関連するアラートとすることを指定するインタフェースである。具体的に、それらのアラートを互いに関連づけるかどうかを選択する。
図9は、インデックス算出処理の一例を示すフローチャートである。
インデックスサーバ110のアラート情報取得部111は、アラートテーブル500に記載のアラートA0を受信すると(s101)、時間t0をアラートの発生日時502に設定し、インデックス算出部112に対して下記の処理を実行するように命令する。
インデックス算出部112は、監視対象となる拠点10が複数あるか否かを判定する(s102)。具体的には、ネットワーク監視センタ20のタイムレンジ入力部208及びタイムレンジ入力画面800のタイムレンジ適用拠点範囲指定欄804を介して入力されたタイムレンジ適用拠点範囲指定情報が、通信I/F204を介して拠点10のインデックス算出サーバ110に送信される。インデックス算出部102は、タイムレンジ適用拠点範囲指定情報が有効化されているか否かにより、監視対象の拠点10が複数か否か判定する。
インデックス算出部112は、タイムレンジ適用拠点範囲指定情報が有効化されている場合(すなわち、アラート発生元の拠点10のみではなく、その拠点10と関連する複数の拠点も含む場合、s102:Y)には、s103aに進み、タイムレンジ適用拠点範囲指定情報が無効化されている場合(すなわち、アラート発生元の拠点10のみである場合、s102:N)、s130bに進む。
インデックス算出部112は、タイムレンジ適用拠点範囲指定情報が有効化されている場合(s102:Y)には、拠点10のアラートテーブル500に記載されたアラート及び拠点10に関連する他の拠点のアラートテーブル500に記載されたアラートを対象に、アラートA0のアラートの発生日時502の前後の時間t1内に発生した他のアラートA1を、アラートA0に関連すると定義するか否かを判定する(s103a)。具体的には、ネットワーク監視センタ20のタイムレンジ入力部208及びタイムレンジ入力画面800のアラート関連づけ指定欄805を介して入力されたアラート関連づけ情報が、通信I/F204を介して拠点10のインデックス算出サーバ110に送信される。インデックス算出部102は、アラート関連づけ情報が有効化されているか否かで判定する。
インデックス算出部112は、そのアラート関連づけ情報が有効化されている場合(すなわち、アラートA0の発生日時502の前後の時間t1内に発生した他のアラートA1をA0に関連するアラートと定義する場合、s103a:Y)、s104aに進み、アラート関連づけ情報が無効化されている場合(すなわち、アラートA0の発生日時502の前後の時間t1内に発生した他のアラートA1をそれぞれ独立の異なったアラートと定義する場合、s103a:N)、s104bに進む。
インデックス算出部112は、アラート関連づけ情報が有効化されている場合(s103a:Y)、タイムレンジ変更部113に、後述する図15に記載のs1501からs1505までの処理を実行するように命令する(s104a)。
また、インデックス算出部112は、アラート関連づけ情報が無効化されている場合(s103a:N)、タイムレンジ変更部113に後述する図14のs1401からs1404までの処理を実行するように命令する(s104b)。
インデックス算出部112は、タイムレンジ適用拠点範囲指定情報が無効化されている場合(s102:N)、当該拠点10のみのアラートテーブル500に記載されたアラートを対象に、s103aの処理と同じ処理を実行する(s103b)。ただし、アラート関連づけ情報が有効化されている場合(s103:Y)、s104cに進み、アラート関連づけ情報が無効化されている場合(s103b:N)、s105に進む。
インデックス算出部112は、アラート関連づけ情報が有効化されている場合(s103b:Y)、タイムレンジ変更部113に後述するs1301からs1305までの処理を実行するように命令する(s104c)。
インデックス算出部112は、アラート関連づけ情報が無効化されている場合(s103b:N)、時系列データテーブル500が格納されているデータストア130のストレージ種別がファイルアクセスストレージかブロックアクセスストレージかを判定する(s105)。
インデックス算出部112は、データストア130のストレージ種別がファイルアクセスストレージである場合(s105:Y)、s106aに進み、データストア130のストレージ種別がブロックアクセスストレージである場合(s105:N)、s106bに進む。
インデックス算出部112は、データストア130のストレージ種別がファイルアクセスストレージである場合(s105:Y)、後述する図12に記載のs1201からs1208までの処理を実行する(s106a)。
一方、インデックス算出部112は、データストア130のストレージ種別がブロックアクセスストレージである場合(s105:N)、図10に記載のs1101からs1105までの処理を実行する(s106b)。
図10は、ブロックアクセスデータを対象としたインデックス算出処理のフローチャートである。
インデックス算出サーバ110には、リアルタイム処理サーバ100から、アラートIDを含むアラート情報が通知される。インデックス算出サーバ110のインデックス算出部112は、検索ID602として用いる変数m、nについて、m=0、n=0と設定し、データストア130の時系列データテーブル300から、T1(1)≦時刻301≦T1(2)を満足するパケットデータのインデックス306を取得し、取得したインデックス306をまとめてインデックスリストi_list1を作成し、当該インデックスリストi_list1に、通知されたアラートのアラートID501と、検索ID:0とを紐付け、インデックス特定テーブル600に格納する(s1101)。
T1(1)およびT1(2)は時系列データテーブル300に記載のパケットデータの取得範囲の下限と上限を表す時刻であり、ここでは、T1(1)=t0−t1、T1(2)=t0+t1である。
次に、インデックス算出部112は、m=m+1とし、T2(m)≦時刻301<T2(m−1)を満足するパケットデータのインデックス306をデータストア130の時系列データテーブル300から取得し、取得したインデックス306をまとめてインデックスリストi_list2(m)を作成し、当該インデックスリストi_list2(m)に、通知されたアラートのアラートID501と、検索ID:−mとを紐付け、インデックス特定テーブル600に格納する(s1102)。
T2(m)およびT2(m−1)は時系列データテーブル300に記載のパケットデータの取得範囲の下限と上限を表す時刻であり、ここでは、T2(m)=T2(m−1)−t2であり、T2(0)=T1(1)である。
インデックス算出部112は、T2(m)が、通知されたアラートの発生日時502から時間t3を減算した値以下であるか否か判定する(s1103)。インデックス算出部112は、T2(m)がアラートの発生日時502から時間t3を減算した値よりも大きい場合(s1103:N)、s1102に戻り、T2(m)がアラートの発生日時502から時間t3を減算した値以下の場合(s1103:Y)、s1104へ進む。
インデックス算出部112は、T2(m)の値がアラートの発生日時502から時間t3を減算した値以下の場合(s1207:Y)、n=n+1とし、T3(n−1)<時刻301≦T3(n)を満足するパケットデータのインデックス306を、データストア130の時系列データテーブル300から取得し、取得したインデックス306をまとめてインデックスリストi_list3(n)を作成し、当該インデックスリストi_list3(n)に、アラートのアラートID501と、検索ID:nとを紐付け、インデックス特定テーブル600に格納する(s1104)。
T3(n)およびT3(n−1)は、時系列データテーブル300に記載のパケットデータの取得範囲の上限と下限を表し、ここでは、T3(n)=T3(n−1)+t2であり、T3(0)=T1(2)である。
続いて、インデックス算出部112は、T3(n)がアラートの発生日時502に時間t3を加算した値以上であるか否かを判定する(s1105)。インデックス算出部112は、T3(n)がアラートの発生日時502に時間t3を加算した値よりも小さい場合(s1105:N)、s1104に戻り、T3(n)がアラートの発生日時502に時間t3を加算した値以上の場合(s1105:Y)、処理を終了する。
図11は、ネットワーク監視センタ20内のデータ収集サーバ200と、各拠点10内のデータ送信サーバ120によるファイル収集処理を示すフローチャートである。
ネットワーク監視センタ20のデータ収集サーバ200のデータ要求送信部207は、ユーザもしくはアプリケーションから、指定するアラートID501を含むデータ収集要求を受信すると(s201)、以下の処理を実行する。データ送信要求は、取得対象となるパケットデータの取得の開始点と終了点が指定されている場合と、指定されていない場合がある。
データ要求送信部207は、受信したデータ送信要求において取得対象となるパケットデータの取得の開始点と終了点が指定されているか否か判断する(s202)。データ要求送信部207は、開始点と終了点が指定されていない場合(s202:N)、s203に進み、開始点と終了点が指定されている場合(s202:Y)、s204に進む。開始点及び終了点は、インデックス特定テーブル600の検索ID602に記載された識別情報と同様のデータである。開始点及び終了点は、ユーザもしくはアプリケーションからネットワーク監視センタ20のデータ収集サーバ200に与えられるデータ取得要求の一部である。
データ要求送信部207は、開始点と終了点が記載されていない場合(s202:N)、パケットデータの取得の開始点と終了点を共に0に設定する(s203)。これは必須取得データの取得を要求することを意味する。これにより、ネットワーク監視センタ20のデータ収集サーバ200は、アラートの発生日時502の前後の時間t1内における、拠点10の時系列データテーブル300に記載されたパケットデータを収集できる。
データ要求送信部207は、開始点と終了点が記載されている場合(s202:Y)、またはs203の処理を終えた後、データ送信要求に、パケットデータを収集する対象の拠点10の拠点識別情報701が指定されているか否かを判断する(s204)。データ要求送信部207は、拠点10の拠点識別情報701が指定されている場合(s204:Y)、s205aに進み、拠点10の拠点識別情報701が指定されていない場合(s204:N)、s205bに進む。
データ要求送信部207は、パケットデータを収集する対象の拠点10の拠点識別情報701が指定されている場合(s204:Y)、アラートID501と、パケットデータ取得の開始点(すなわち検索ID602)及び終了点(すなわち検索ID602)とを含むデータ取得要求を、拠点識別情報701で指定されている拠点10のデータ送信サーバ120のデータ要求受信部121に対して送信する(s205a)。この場合、通信プロトコルは例えばTCP/IPが用いられる。
データ要求送信部207は、パケットデータを収集する対象の拠点10の拠点識別情報701が指定されていない場合(s204:N)、アラートID501と、パケットデータ取得の開始点及び終了点とを含むデータ取得要求を、全ての拠点10のデータ送信サーバ120のデータ要求受信部121に対してブロードキャストで送信する(s205b)。この場合、通信プロトコルは例えばUDPが用いられる。
データ取得要求を受信した各拠点10のデータ送信サーバ120のデータ要求受信部121は、自身の拠点10内のデータ収集部122に対して、受信したアラートID501と開始点および終了点とをキーとして与え、インデックス特定テーブル600を検索するよう要求する。検索を要求されたデータ収集部122は、与えられたアラートID501と開始点および終了点とをキーとして、インデックス特定テーブル600を検索し、収集対象のパケットデータのインデックスリスト603を取得する(s206)。このとき、受信したアラートID501はインデックス特定テーブル600のアラートID601と照合され、開始点および終了点は共に検索ID602と照合される。
データ収集部122は、s206の処理で取得したインデックスリスト603内の各インデックスをキーとして、時系列データテーブル300を検索し、パケットデータを取得する。そして、データ収集部122は、取得されたパケットデータをネットワーク監視センタ20へ送信するように、データ送信部123に対して命令する。命令を受けたデータ送信部123は、その取得されたたパケットデータを、ネットワーク監視センタ20のデータ収集サーバ200に送信し(s207)、処理を終了する。
以上の処理により、ネットワーク監視センタ20のデータ収集サーバ200は、ユーザもしくはアプリケーションが所望する範囲の時系列のパケットデータのみを一度に効率よく収集することができる。また、そのパケットデータを収集するとき、拠点10のデータ送信サーバ120は。パケットデータの内容を参照する必要がないため、データ収集に要する時間を短縮できる。
図12は、ファイルアクセスデータを対象としたインデックス算出処理のフローチャートである。拠点10にファイルアクセスのストレージが用いられている場合が想定される。
ファイルアクセスの場合、各拠点10のインデックスサーバ110のインデックス算出部112は、図10に示したs1101からs1105までの処理の代わりに、図12に示すs1201からs1209の処理を実行する。
インデックス算出部112は、検索ID602として用いる変数m、nについて、m=0、n=0と設定し、T1(1)≦時刻301≦T1(2)を満足するパケットデータが含まれる単数もしくは複数のファイルを、データストア130の時系列データテーブル300からコピーする(s1201)。T1(1)およびT1(2)は、時系列データテーブル300からパケットデータを取得する範囲の下限と上限を表し、ここでは、T1(1)=t0−t1、T1(2)=t0+t1である。
次に、インデックス算出部112は、コピーした各ファイルを読み込み、(時刻301<T1(1))または、(T1(2)<時刻301)を満足するパケットデータが記載されている行を含むファイルがあれば、そのファイルからその行を削除する(s1202)。
続いて、インデックス算出部112は、コピーしたファイルが複数存在するか否かを判定し(s1203)、ファイルが複数存在する場合(s1203:Y)、s1204に進み、ファイルが1つの場合(s1203:N)、s1204をスキップしてs1205へ進む。
s1204では、インデックス算出部112は、コピーしたファイルが複数存在する場合(s1203:Y)、各ファイルを読み込み、それらファイルのデータを結合し、ファイルのパケットデータを、時刻301をキーとして昇順にソートし、得られた1つのファイルを出力する(s1204)。
s1205では、インデックス算出部112は、そのファイルのパケットデータのインデックスをインデックスリスト603に、検知されたアラートのアラートIDを601に、検索ID:0を検索ID602に、それぞれ紐付けてインデックス特定テーブル600に格納する(s1205)。
次に、インデックス算出部112は、m=m+1と設定し、T2(m)≦時刻301<T2(m−1)を満足する、時系列データテーブル300に記載されているパケットデータを含む単数もしくは複数のファイルに対して、上述したs1201からs1204までの処理を実行する(s1206)。ただし、そのとき検索ID602は−mであり、T2(m)=T2(m−1)−t2、T2(0)=T1(1)である。
インデックス算出部112は、T2(m)の値が、検知されたアラートの発生日時502から時間t3を減算した値以下であるかどうか判定し(s1207)、T2(m)の値がアラートの発生日時502から時間t3を減算した値よりも大きい場合(s1207:N)、s1206に戻り、T2(m)の値がアラートの発生日時502から時間t3を減算した値以下の場合(s1207:Y)、s1208に進む。
s1208では、インデックス算出部112は、T2(m)の値がアラートの発生日時502から時間t3を減算した値以下の場合(s1207:Y)、n=n+1と設定し、T3(n−1)<時刻301≦T3(n)を満足する、時系列データテーブル300に記載されたパケットデータが含まれる単数もしくは複数のファイルに対して、s1201からs1204までの処理を実行する(s1208)。ただし、そのとき検索ID602はnであり、T3(n)=T3(n−1)+t2であり、T3(0)=T1(2)である。
続いて、インデックス算出部112は、T3(n)の値がアラートの発生日時502に時間t3を加算した値以上であるか否かを判定し(s1209)、T3(n)の値がアラートの発生日時502に時間t3を加算した値よりも小さい場合(s1209:N)、s1208に戻り、T3(n)の値がアラートの発生日時502に時間t3を加算した値以上の場合(s1209:Y)、処理を終了する。
以上の処理により、ファイルアクセスのストレージを対象にした場合でも、まず拠点10にて取得対象範囲の時系列データのみを取得単位毎のファイルとして出力し、そのファイルのデータにインデックスを付与しておくことで、ネットワーク監視センタ20からの要求で、ユーザもしくはアプリケーションが所望する範囲の時系列データのみを効率よく収集することが可能であり、かつ時系列データ収集の際にデータ送信サーバ120がデータの内容を参照する必要がないため、データ収集に要する時間を短縮できる。
なお、あるアラートの発生日時502の前後の時間t1内に、他のアラートが発生したとき、それぞれのアラートを独立に扱うことにしてもよいが、本実施例では、複数のアラートを関連づけ、それらアラートに関連する可能性のあるパケットデータを一度に収集するため、時刻t0および時間t1を変更できるようにしている。以下、その点について説明する。
図13は、各拠点10のインデックス算出サーバ110によるタイムレンジ変更処理の一例を示すフローチャートである。
各拠点10のインデックスサーバ110のタイムレンジ変更部113は、新規に他のアラートを検出したか否かを判定し(s1301)、新規のアラートを検出した場合(s1301:Y)、s1302に進み、新規のアラートを検出しなかった場合(s1301:N)、s1303に進む。
s1302では、タイムレンジ変更部113は、新規のアラートを検出すると、検出した新規のアラートの発生時刻を格納する変数t0’に、その検出した新規のアラートの発生時刻を格納する(s1302)。
s1303では、タイムレンジ変更部113は、新規のアラートを検出しなかった場合、検出した新規アラートの発生時刻を格納する変数t0’に、現在の時刻を格納する(s1303)。
続いて、タイムレンジ変更部113は、s1302あるいはs1303で設定した変数t0’から時刻t0を減算し、減算で得られた値が時間t1よりも大きいか否か判定し(s1304)、減算で得られた値が時間t1よりも大きい場合(s1304:Y)、処理を終了し、減算で得られた値が時間t1以下の場合(s1304:N)、s1305に進む。
タイムレンジ変更部113は、時刻t0と、上述の新規のアラートの発生時刻t0’の中心時刻をアラートの発生日時502と設定し、また、時間t1に、時刻t0とその中心時刻との差を加算し、得られた時間を新たなt1とする。具体的には、t0には(t0’+t0)/2を格納し、t1には(t0’−t0)/2を加算して、s1301の処理に戻る(s1305)。
図9に示したように、図13の処理(図9におけるs104bの処理)の後、図10に示したインデックス算出処理(図9におけるs106bの処理)、または図12に示したインデックス算出処理(図9におけるs106aの処理)が実行される。
図13の処理により、近い時刻に発生した複数のアラートを互いに関連づけて、それらアラートの原因に関連する時系列のパケットデータをまとめて収集することができ、アラートの分析がし易くなるとともに、データ収集に要する時間が短縮できる。
図14は、アラームを検知した拠点10と異なる拠点10においても同じタイムレンジでパケットデータを取得できるようにする処理を示すフローチャートである。
本実施例では、個々の拠点1が、アラートを検知すると、自身のタイムレンジでパケットデータを時系列データテーブル300に格納し、ネットワーク監視センタ20からデータ収集要求を受信すると、その格納した時系列データテーブル300内のパケットデータをネットワーク監視センタ20に送信してもよい。しかし、ここでは、拠点10では、アラートを検知すると、関連する拠点10にパケットデータを取得するタイムレンジを通知し、通知を受けた拠点10でも、通知されたタイムレンジでパケットデータを取得することにしている。
アラートを検知した拠点10のタイムレンジ通知部114は、時系列データテーブル300を検索し、T1(1)≦時刻301≦T1(2)を満足するパケットデータを取得する。ただし、T1(1)=t0−t1、T1(2)=t0+t1とする(s1401)。
続いて、タイムレンジ通知部114は、取得したパケットデータの通信先識別情報304をキーとして、拠点−機器テーブル700の機器識別情報702に、取得したパケットの通信先識別情報304と同じ識別情報が格納されている各拠点10の拠点識別情報701を取得する(s1402)。
更に、タイムレンジ通知部114は、取得した拠点識別情報701に記載された各拠点10のインデックス算出サーバ110のタイムレンジ変更部113に対して、自装置に設定されている時刻t0、時間t1、t2、t3と、検知したアラームのアラートID501と、を含むタイムレンジ変更要求を送信する(s1403)。
そのタイムレンジ変更要求を受信した拠点10のインデックスサーバ110のタイムレンジ変更部113は、自装置の時刻t0、時間t1、t2、t3、およびアラートID501を、受信した時刻t0、時間t1、t2、t3、およびアラームIDに変更し(s1404)、処理を終了する。
図9に示したように、図14の処理(図9におけるs104cの処理)の後には、図10に示したインデックス算出処理(図9におけるs106bの処理)、または図12に示したインデックス算出処理(図9におけるs106aの処理)が実行される。
このような図14の処理により、いずれかの拠点10で検知されたアラートに関連する、もしくはそのアラートにより影響を受ける可能性がある他の拠点10に格納されているパケットデータも同じタイムレンジで収集でき、アラートの原因分析の利便性が向上する。
図15は、アラートを検知した複数の拠点10におけるタイムレンジを整合させてパケットデータを取得できるようにする処理を示すフローチャートである。
図14の処理は、ある拠点10が検知したアラートに関連する他の拠点10の時刻t0及び時間t1を強制的に更新したため、他の拠点10でもアラートを検知したとしても、それらのアラートは互いに独立のアラートとして定義されるものであった。一方、図13の処理は、1つの拠点10で近い時刻に検知された複数のアラートを関連付け、それらの分析が可能な範囲のパケットデータを取得するようにした。
これらに対して、図15の処理では、ある拠点10で検知されたアラートと、近い時刻に他の拠点10で検知されたアラートとを関連付け、それらの分析が可能な範囲のデータを、それら複数の拠点10で収集できるようにする。
図15を参照すると、アラームを検知した、ある拠点10_Aでは、図14に示したs1401からs1403までの処理と同様の処理を実行する(s1501)。この拠点10_Aでの処理によって送信されたタイムレンジ変更要求を受信した各拠点10_Bにおいて、図13に示したs1301からs1305までの処理と同様の処理を実行する(s1502)。
その後、各拠点10_Bのインデックス算出サーバ110のタイムレンジ通知部114は、拠点10_Aのインデックス算出サーバ110のタイムレンジ変更部113に対して、拠点10_Bの拠点識別情報701と、拠点10_Bで使用している時刻t0及び時間t1とを送信する(s1503)。
拠点10_Aのインデックス算出サーバ110のタイムレンジ変更部113は、各拠点10_Bから受信した時間t1が最大値を示す時刻t0と時間t1との組み合わせを特定し、その特定した時刻t0および時間t1を含むタイムレンジ変更要求を、各拠点10_Bに対して送信する(s1504)。
そのタイムレンジ変更要求を受信した各拠点10_Bと、拠点10_Aでは、インデックス算出サーバ110のタイムレンジ変更部113は、拠点10内の時刻t0及び時間t1の設定を、タイムレンジ変更要求とともに受信した時刻t0および時間t1に変更し(s1505)、処理を終了する。
この図15の処理により、第1番目に発生したアラートの発生日時の前後の時間t1以内に複数の関連する拠点10で発生した複数のアラートを互いに関連づけ、それら複数のアラートの原因分析に用いるパケットデータを一度に収集することができる。
図9に示したように、図15の処理(図9におけるs104aの処理)の後には、図10に示したインデックス算出処理(図9におけるs106bの処理)、または図12に示したインデックス算出処理(図9におけるs106aの処理)が実行される。
以上、本発明の実施形態および実施例を説明したが、これらは本発明の説明のための例示であり、本発明の範囲をそれらの実施例にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
10…拠点(拠点システム)、100…リアルタイム処理サーバ、101…アラート送信部、102…リアルタイム分析部、103…データ取得部、104…CPU、105…通信I/F、106…主記憶装置、107…外部記憶装置I/F、110…インデックス算出サーバ、111…アラート情報取得部、112…インデックス算出部、113…タイムレンジ変更部、114…タイムレンジ通知部、115…通信I/F、116…CPU、117…主記憶装置、118…外部記憶装置I/F、120…データ送信サーバ、121…データ要求受信部、122…データ収集部、123…データ送信部、124…CPU、125…通信I/F、126…主記憶装置、127…外部記憶装置I/F、130…データストア、140…LAN、20…ネットワーク監視センタ(センタシステム)、200…データ収集サーバ、201…アラート受信部、202…データ取得部、203…CPU、204…通信I/F、205…データ表示部、206…主記憶装置、207…データ要求送信部、208…タイムレンジ入力部、209…外部記憶装置I/F、210…データストア、220…LAN、30…WAN、300…時系列データテーブル、301…時刻、302…シーケンスID、303…送信元識別情報、304…送信先識別情報、305…ネクストシーケンスID、306…インデックス、400…メトリックテーブル、401…アクセス元識別情報、402…アクセス先識別情報、403…メトリックデータ(応答時間)、500…アラートテーブル、501…アラートID、502…発生日時、503…アクセス元識別情報、504…アクセス先識別情報、505…アラート内容、600…インデックス特定テーブル、601…アラートID、602…検索ID、603…インデックスリスト、700…機器テーブル、701…拠点識別情報、702…機器識別情報、800…タイムレンジ入力画面、801…入力欄、802…入力欄、803…入力欄、804…タイムレンジ適用拠点範囲指定欄、805…指定欄
Claims (13)
- データの記録および送受信を行う拠点システムと、
前記拠点システムとネットワークを介して接続され、前記拠点システムを監視するセンタシステムと、を有し、
前記拠点システムは、送受信するデータに対するリアルタイム分析でアラートを検知し、アラート発生時刻を含む所定の収集対象時間内にあるデータである収集対象データを特定するインデックスを生成し、前記収集対象データと前記インデックスを関連付けて時系列データテーブルに記録し、アラート識別情報と前記インデックスを関連付けてインデックス特定テーブルに格納し、前記アラート識別情報を前記センタシステムに送信し、
前記センタシステムは、前記アラート識別情報を受信すると、前記アラート識別情報を指定して、収集対象データを要求するためのデータ要求を前記拠点システムに送信し、
前記拠点システムは、前記データ要求を受信すると、指定された前記アラート識別情報に関連付いたインデックスを前記インデックス特定テーブルの検索により取得し、前記インデックスで特定される収集対象データを前記時系列データテーブルから取得して前記センタシステムに送信し、
前記センタシステムは、前記収集対象データを受信すると、前記収集対象データを記録する、
データ転送監視システム。 - 前記拠点システムは、前記収集対象データとして、前記アラート発生時刻を含む必須収集対象時間内にあるデータである必須収集データと、前記必須収集対象時間の前および/または後にある選択対象時間内にあるデータである選択収集データと、にそれぞれ前記インデックスを生成し、前記センタシステムから前記データ要求を受信すると前記必須収集データを前記センタシステムに送信し、前記センタシステムから更に前記選択収集データを要求するデータ要求を受信すると前記選択収集データを前記センタシステムに送信する、
請求項1に記載のデータ転送監視システム。 - 前記拠点システムは、前記選択収集対象時間を複数の収集単位時間に分けて、それぞれの収集単位時間のデータである選択収集単位データにそれぞれインデックスを生成し、
前記センタシステムは、前記選択収集単位データを指定したデータ要求を送信し、
前記拠点システムは、前記データ要求を受信すると、前記データ要求にて指定された選択収集単位データを前記センタシステムに送信する、
請求項2に記載のデータ転送監視システム。 - 前記拠点システムは、前記送受信するデータにおいて、前記収集対象データを含むファイルに非収集対象データが含まれる場合、前記ファイルから前記非収集対象データを削除し、得られた前記ファイルに対して前記インデックスを生成する、
請求項1に記載のデータ転送監視システム。 - 前記拠点システムは、前記送受信するデータにおいて、一度に送信すべき収集対象データが複数のファイルに分かれている場合、前記複数のファイルを結合し、得られた1つのファイルに対してインデックスを生成する、
請求項1に記載のデータ転送監視システム。 - 前記拠点システムは、前記検知したアラートのアラート発生時刻の収集対象時間内に他のアラートを検知した場合、前記収集対象時間を、前記他のアラートのアラート発生時刻に基づいて拡張する、請求項1に記載のデータ転送監視システム。
- 前記拠点システムが複数あり、
第1の拠点システムは、アラートを検知すると、他の拠点システムである第2の拠点システムに、アラート識別情報と収集対象時間を送信し、
前記第2の拠点システムは、受信した前記アラート識別情報と前記収集対象時間を適用し、時系列データテーブルおよびインデックス特定テーブルを更新する、
請求項1に記載のデータ転送監視システム。 - 前記拠点システムが複数あり、
第1の拠点システムは、アラートを検知すると、他の拠点システムである第2の拠点システムに、アラート識別情報とアラート発生時刻と収集対象時間を送信し、
前記第2の拠点システムは、自身が検知したアラートの収集対象時間内に前記第1の拠点システムが検知したアラートのアラート発生時刻があれば、自身の前記収集対象時間を前記第1の拠点システムのアラート発生時刻に基づいて拡張し、前記拡張した収集対象時間を前記第1の拠点システムに送信し、
前記第1の拠点システムは、前記第2の拠点システムから受信した前記拡張した収集対象時間と自身の前記収集対象時間との中で最大の収集対象時間を特定し、前記最大の収集対象時間を自身に適用するとともに、前記第2の拠点システムに前記最大の収集対象時間を適用することを要求する、
請求項1に記載のデータ転送監視システム。 - 前記拠点システムは、リアルタイム処理サーバと、インデックス算出サーバと、データ送信サーバとを有し、
前記リアルタイム処理サーバが、前記送受信するデータに対するリアルタイム分析でアラートを検知し、
前記インデックス算出サーバが、前記収集対象データを特定するインデックスを生成し、
前記リアルタイム処理サーバが、前記収集対象データと前記インデックスを関連付けて時系列データテーブルに記録し、
前記インデックス算出サーバが、アラート識別情報と前記インデックスを関連付けてインデックス特定テーブルに格納し、
前記リアルタイム処理サーバが、前記アラート識別情報を前記センタシステムに送信し、
前記データ送信サーバが、前記センタシステムから前記データ要求を受信すると、指定された前記アラート識別情報に関連付いたインデックスを前記インデックス特定テーブルの検索により取得し、前記インデックスで特定される収集対象データを前記時系列データテーブルから取得して前記センタシステムに送信する、
請求項1に記載のデータ転送監視システム。 - データの記録および送受信を行う拠点システムを、前記拠点システムとネットワークを介して接続され、前記拠点システムを監視するセンタシステムにより監視するためのデータ転送監視方法であって、
前記拠点システムは、
送受信するデータに対するリアルタイム分析でアラートを検知し、
アラート発生時刻を含む所定の収集対象時間内にあるデータである収集対象データを特定するインデックスを生成し、
前記収集対象データと前記インデックスを関連付けて時系列データテーブルに記録し、
アラート識別情報と前記インデックスを関連付けてインデックス特定テーブルに格納し、
前記アラート識別情報を前記センタシステムに送信し、
前記センタシステムは、
前記アラート識別情報を受信すると、
前記アラート識別情報を指定して、収集対象データを要求するためのデータ要求を前記拠点システムに送信し、
前記拠点システムは、
前記データ要求を受信すると、
指定された前記アラート識別情報に関連付いたインデックスを前記インデックス特定テーブルの検索により取得し、
前記インデックスで特定される収集対象データを前記時系列データテーブルから取得して前記センタシステムに送信し、
前記センタシステムは、
前記収集対象データを受信すると、前記収集対象データを記録する、
データ転送監視方法。 - 前記拠点システムは、
前記収集対象データとして、前記アラート発生時刻を含む必須収集対象時間内にあるデータである必須収集データと、前記必須収集対象時間の前および/または後にある選択対象時間内にあるデータである選択収集データと、にそれぞれ前記インデックスを生成し、
前記センタシステムから前記データ要求を受信すると前記必須収集データを前記センタシステムに送信し、
前記センタシステムから更に前記選択収集データを要求するデータ要求を受信すると前記選択収集データを前記センタシステムに送信する、
請求項10に記載のデータ転送監視方法。 - 前記拠点システムは、前記選択収集対象時間を複数の収集単位時間に分けて、それぞれの収集単位時間のデータである選択収集単位データにそれぞれインデックスを生成し、
前記センタシステムは、前記選択収集単位データを指定したデータ要求を送信し、
前記拠点システムは、前記データ要求を受信すると、前記データ要求にて指定された選択収集単位データを前記センタシステムに送信する、
請求項11に記載のデータ転送監視方法。 - データの記録および送受信を行う拠点システムと、前記拠点システムとネットワークを介して接続され、前記拠点システムを監視するセンタシステムと、を有するデータ転送監視システムにおける拠点システムであって、
リアルタイム処理サーバと、
インデックス算出サーバと、
データ送信サーバとを有し、
前記リアルタイム処理サーバが、送受信するデータに対するリアルタイム分析でアラートを検知し、
前記インデックス処理サーバが、アラート発生時刻を含む所定の収集対象時間内にあるデータである収集対象データを特定するインデックスを生成し、
前記リアルタイム処理サーバが、前記収集対象データと前記インデックスを関連付けて時系列データテーブルに記録し、
前記インデックス算出サーバが、アラート識別情報と前記インデックスを関連付けてインデックス特定テーブルに格納し、
前記リアルタイム処理サーバが、前記アラート識別情報を前記センタシステムに送信し、
前記データ送信サーバが、前記センタシステムから、前記アラート識別情報を指定した、収集対象データを要求するためのデータ要求を受信すると、指定された前記アラート識別情報に関連付いたインデックスを前記インデックス特定テーブルの検索により取得し、前記インデックスで特定される収集対象データを前記時系列データテーブルから取得して前記センタシステムに送信する、
拠点システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/057367 WO2015140927A1 (ja) | 2014-03-18 | 2014-03-18 | データ転送監視システム、データ転送監視方法、および拠点システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015140927A1 JPWO2015140927A1 (ja) | 2017-04-06 |
JP6134437B2 true JP6134437B2 (ja) | 2017-05-24 |
Family
ID=54143940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508372A Expired - Fee Related JP6134437B2 (ja) | 2014-03-18 | 2014-03-18 | データ転送監視システム、データ転送監視方法、および拠点システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10164847B2 (ja) |
JP (1) | JP6134437B2 (ja) |
CN (1) | CN105917618B (ja) |
WO (1) | WO2015140927A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9838512B2 (en) | 2014-10-30 | 2017-12-05 | Splunk Inc. | Protocol-based capture of network data using remote capture agents |
US11086897B2 (en) | 2014-04-15 | 2021-08-10 | Splunk Inc. | Linking event streams across applications of a data intake and query system |
US10366101B2 (en) | 2014-04-15 | 2019-07-30 | Splunk Inc. | Bidirectional linking of ephemeral event streams to creators of the ephemeral event streams |
US10462004B2 (en) * | 2014-04-15 | 2019-10-29 | Splunk Inc. | Visualizations of statistics associated with captured network data |
US9762443B2 (en) | 2014-04-15 | 2017-09-12 | Splunk Inc. | Transformation of network data at remote capture agents |
US10127273B2 (en) | 2014-04-15 | 2018-11-13 | Splunk Inc. | Distributed processing of network data using remote capture agents |
US10523521B2 (en) * | 2014-04-15 | 2019-12-31 | Splunk Inc. | Managing ephemeral event streams generated from captured network data |
US10700950B2 (en) | 2014-04-15 | 2020-06-30 | Splunk Inc. | Adjusting network data storage based on event stream statistics |
US10693742B2 (en) | 2014-04-15 | 2020-06-23 | Splunk Inc. | Inline visualizations of metrics related to captured network data |
US10360196B2 (en) | 2014-04-15 | 2019-07-23 | Splunk Inc. | Grouping and managing event streams generated from captured network data |
US9923767B2 (en) | 2014-04-15 | 2018-03-20 | Splunk Inc. | Dynamic configuration of remote capture agents for network data capture |
US11281643B2 (en) | 2014-04-15 | 2022-03-22 | Splunk Inc. | Generating event streams including aggregated values from monitored network data |
US12028208B1 (en) * | 2014-05-09 | 2024-07-02 | Splunk Inc. | Selective event stream data storage based on network traffic volume |
US9596253B2 (en) | 2014-10-30 | 2017-03-14 | Splunk Inc. | Capture triggers for capturing network data |
US10334085B2 (en) | 2015-01-29 | 2019-06-25 | Splunk Inc. | Facilitating custom content extraction from network packets |
CN106446091A (zh) * | 2016-09-13 | 2017-02-22 | 北京协力筑成金融信息服务股份有限公司 | 一种多源时序数据的预处理方法和装置 |
JP6793524B2 (ja) * | 2016-11-01 | 2020-12-02 | 株式会社日立製作所 | ログ解析システムおよびその方法 |
CN112198850A (zh) * | 2016-11-09 | 2021-01-08 | 株式会社东芝 | 数据收集系统、处理系统以及存储介质 |
CN106777111B (zh) * | 2016-12-15 | 2020-08-11 | 华南师范大学 | 一种超大规模数据的时序检索索引系统及方法 |
JP6773709B2 (ja) * | 2018-03-26 | 2020-10-21 | ファナック株式会社 | 収集装置、収集方法及び収集プログラム |
CN108809716A (zh) * | 2018-06-12 | 2018-11-13 | 郑州云海信息技术有限公司 | 一种采集数据审核的方法和装置 |
CN110784534B (zh) * | 2019-10-25 | 2023-03-10 | 北京奇艺世纪科技有限公司 | 数据服务方法、装置、系统及电子设备 |
CN112202895B (zh) * | 2020-09-30 | 2022-07-08 | 北京达佳互联信息技术有限公司 | 监控指标数据的收集方法、系统、电子设备及存储介质 |
US11366606B2 (en) * | 2020-10-01 | 2022-06-21 | Dell Products, L.P. | Smarter performance alerting mechanism combining thresholds and historical seasonality |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3356662B2 (ja) * | 1997-09-02 | 2002-12-16 | 株式会社デジタル | プロセスデータ収集方法およびプログラム式表示装置 |
US7663495B2 (en) * | 2005-10-12 | 2010-02-16 | The Penn State Research Foundation | Vigilance monitoring technique for vehicle operators |
WO2008149975A1 (ja) * | 2007-06-06 | 2008-12-11 | Nec Corporation | 通信網の障害原因分析システムと障害原因分析方法、及び障害原因分析用プログラム |
US8429286B2 (en) | 2007-06-28 | 2013-04-23 | Apple Inc. | Methods and systems for rapid data acquisition over the internet |
JP2009171431A (ja) * | 2008-01-18 | 2009-07-30 | Oki Electric Ind Co Ltd | トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム |
US8554699B2 (en) * | 2009-10-20 | 2013-10-08 | Google Inc. | Method and system for detecting anomalies in time series data |
CN102045542B (zh) | 2009-10-21 | 2013-01-23 | 厦门雅迅网络股份有限公司 | 一种基于移动通信网络的车载录像机工作方法 |
JP2011130238A (ja) * | 2009-12-18 | 2011-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 異常トラヒック監視方法および異常トラヒック監視装置 |
CN102142193A (zh) * | 2010-01-28 | 2011-08-03 | 大猩猩科技股份有限公司 | 交通违规行为自动侦测系统与方法 |
US8438275B1 (en) * | 2010-11-05 | 2013-05-07 | Amazon Technologies, Inc. | Formatting data for efficient communication over a network |
CN102780872B (zh) * | 2011-05-12 | 2015-06-24 | 日立(中国)研究开发有限公司 | 装置监视服务器以及装置监视系统 |
EP2876842B1 (en) * | 2012-07-23 | 2017-07-05 | Nippon Telegraph and Telephone Corporation | Screen display device, system, and screen generation method |
US9791485B2 (en) * | 2014-03-10 | 2017-10-17 | Silver Spring Networks, Inc. | Determining electric grid topology via a zero crossing technique |
US20160132538A1 (en) * | 2014-11-07 | 2016-05-12 | Rockwell Automation Technologies, Inc. | Crawler for discovering control system data in an industrial automation environment |
-
2014
- 2014-03-18 CN CN201480073041.1A patent/CN105917618B/zh active Active
- 2014-03-18 JP JP2016508372A patent/JP6134437B2/ja not_active Expired - Fee Related
- 2014-03-18 WO PCT/JP2014/057367 patent/WO2015140927A1/ja active Application Filing
- 2014-03-18 US US15/110,194 patent/US10164847B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2015140927A1 (ja) | 2017-04-06 |
WO2015140927A1 (ja) | 2015-09-24 |
CN105917618A (zh) | 2016-08-31 |
US10164847B2 (en) | 2018-12-25 |
CN105917618B (zh) | 2019-04-19 |
US20160330086A1 (en) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6134437B2 (ja) | データ転送監視システム、データ転送監視方法、および拠点システム | |
JP7046172B2 (ja) | シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム | |
CN105515900B (zh) | 一种获取终端在线状态的方法及装置 | |
JP6281225B2 (ja) | 情報処理装置 | |
JP5542859B2 (ja) | ログ管理装置、ログ蓄積方法、ログ検索方法、およびプログラム | |
CN105701096A (zh) | 索引生成方法、数据查询方法、装置及系统 | |
JP5848597B2 (ja) | Cmdbを利用したソフトウェア構成値の最適化方法、装置、システムおよびプログラム | |
JP5146020B2 (ja) | 情報処理装置、リソース同定プログラム、リソース同定方法 | |
CN108289034A (zh) | 一种故障发现方法和装置 | |
JP2017107556A (ja) | コンテンツ指向ネットワーク内のキーカタログ | |
CN108173952A (zh) | 一种内容分发网络cdn的数据访问方法和装置 | |
US20230104626A1 (en) | Securely sharing public and private blockchain data | |
CN109062500B (zh) | 一种元数据管理服务器、数据存储系统及数据存储方法 | |
JP6022218B2 (ja) | 階層的な名前構造に基づいたネットワークにおけるコンテンツ要請者及びコンテンツ回答者の通信方法及び装置 | |
CN110088745B (zh) | 数据处理系统以及数据处理方法 | |
CN112035413B (zh) | 元数据信息查询方法、装置及存储介质 | |
TWI420333B (zh) | 分散式的重複數據刪除系統及其處理方法 | |
JP4717106B2 (ja) | フロー情報処理装置及びネットワークシステム | |
JP5061671B2 (ja) | 演算プログラム、分散処理プログラム、分散処理システムおよび演算処理方法 | |
KR101345095B1 (ko) | 클러스터 환경 기반의 bgp 라우팅 정보 분석 방법 및 시스템 | |
CN111314407B (zh) | 用于处理元数据的通信设备和通信方法 | |
US9678982B2 (en) | Accessibility advisement system for digital assets | |
WO2009097718A1 (zh) | 一种内容和类别的关联方法、系统和设备 | |
CN107070987A (zh) | 用于分布式对象存储系统的数据获取方法及系统 | |
JP5402066B2 (ja) | 情報検索システム、情報検索装置、情報検索プログラム及び情報検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6134437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |