JP4242422B2 - 突発事象の記録・解析システム - Google Patents

Description

本発明は、例えば交差点などに設けられて交通事故などの突発事象を記録するとともにその内容を解析する突発事象の記録・解析システムに関するものである。

近年、交通事故は増加の一途を辿り、交通事故の発生数を減らすことが急務とされ、このため、交差点などに交通事故自動記録装置を設置し、事故前後の状況を映像にて記録することにより、事故解析（事故分析ともいう）が行われている。

この種の交通事故自動記録装置は、カメラ装置にて交差点を撮影するとともに、交通事故に基づく衝突音、急ブレーキ音などを検出した際に、その前後における映像を、自動的に保存するものであった。

ところで、交差点などにおいては、事故以外の音が多数発生しており、交通事故の映像を保存するためには、検出した音が交通事故に起因しているものであるか否かを判断する必要があるが、通常、時系列の音圧分布にて、或るしきい値を超えた場合に、車両の衝突による衝撃音が発生したと判断されていたが、例えば道路工事、動物の鳴き声などとの区別が難しいという問題があった。

このような問題を解決するものとして、事故音をより正確に検出するためにニューラルネットワーク手法を用いて、音源の種類を特定するようにしたものがある（特許文献１参照）。
特開２００３−２０２２６０

しかし、上述した従来の突発事象の自動記録装置の構成によると、各交差点に設置された装置を、一定間隔おきに回収する必要があり、非常に面倒な作業であった。
そこで、上記課題を解決するため、本発明は、例えば各交差点にて発生した突発事象の記録データの回収を不要にし得るとともに突発事象の解析を容易に行い得る突発事象の記録・解析システムを提供することを目的とする。

上記課題を解決するため、本発明の請求項１に係る突発事象の記録・解析システムは、音源からの音響データを入力して突発事象であるか否かを判定データに基づき判断する音源判定手段を有するとともに当該音源判定手段にて突発事象であると判断された音響データおよび突発事象の撮影手段からの映像データを一時的に記録するデータ記録手段を有する突発事象記録手段と、
この突発事象記録手段にて記録された音響データおよび映像データを入力して突発事象を分類する突発事象分類手段と、
この突発事象分類手段にて分類された分類データに基づき突発事象の内容を解析する突発事象解析手段とから構成し、
上記突発事象記録手段を突発事象の監視箇所に配置するとともに、上記突発事象分類手段および突発事象解析手段を管理センターに設置し、
且つ上記突発事象記録手段にて記録された音響データおよび映像データを、通信回線を介して管理センターに送るようになし、
さらに上記突発事象分類手段を、
上記映像データを入力して画像処理を行い、突発事象の監視箇所での物体の輪郭を画像フレームごとに抽出する画像処理部と、この画像処理部で得られた画像処理データを入力して突発事象であると判断された物体を認識するための物体認識部と、上記音響データを入力するとともに画像データの認識に基づいて音響データの種類を特定する音源特定部とから構成し、
上記突発事象解析手段を、
上記映像データを入力して画像処理を行い、突発事象の監視箇所での物体の輪郭を各画像フレームごとに抽出する画像処理部と、この画像処理部で得られた画像処理データを入力して突発事象であると判断された物体の軌跡を求める軌跡演算部と、この軌跡演算部で求められた軌跡から突発事象を検出する突発事象検出部と、この突発事象検出部にて得られた突発事象の内容を出力する突発事象出力部とから構成したものである。

また、請求項２に係る突発事象の記録・解析システムは、請求項１に記載の記録・解析システムにおいて、
突発事象解析手段により解析された結果と映像を目視した結果とを比較して、予め決められた突発事象でない場合に、音源判定手段における判定データを変更するための音源判定評価手段を具備したものである。

また、請求項３に係る突発事象の記録・解析システムは、請求項１または２に記載の記録・解析システムにおいて、
突発事象が交通事故である場合に、分類データが、少なくとも事故対象物である車両の種類および事故音とするものである。

また、請求項４に係る突発事象の記録・解析システムは、請求項１乃至３のいずれか一項に記載の記録・解析システムにおいて、
突発事象が交通事故である場合に、突発事象解析手段にて、映像データおよび音響データを用いて、少なくとも事故対象物である車両の位置関係および衝突の有無を解析するものである。

さらに、請求項５に係る突発事象の記録・解析システムは、請求項１乃至４のいずれか一項に記載の記録・解析システムにおいて、
突発事象が交通事故であるとともに、音源判定手段に具備される音響検出手段としてマイクロフォンを用いるとともに、このマイクロフォンを交差点の中心を挟んで両側に設置したものである。

上記突発事象の記録・解析システムによると、所定箇所で発生した突発事象の映像データおよび音響データについては、その場所にて、音源判定手段により突発事象であるか否かが判断されるとともに突発事象であると判断された場合にデータ記録手段に記録され、しかも、このデータ記録手段に記録されたデータが通信回線を介して管理センターに送られ、ここで突発事象分類手段により突発事象が分類されるとともに突発事象解析手段により突発事象の内容が解析されるため、従来のように、突発事象の発生箇所に設けられたデータ記録装置に突発事象のデータを記録させるようにしたものに比べて、その記録データをわざわざ回収する手間を必要としないとともに、突発事象の主な内容については、突発事象解析手段を用いて解析が行われるため、突発事象の解析作業が容易となる。

［実施の形態］
以下、本発明の実施の形態に係る突発事象の記録・解析システムを、図１〜図１５に基づき説明する。

なお、本実施の形態では、突発事象として、交通事故である場合について説明する。
すなわち、交通事故の記録・解析システムについて説明するとともに、この交通事故を記録し解析するための手掛かりは、音源および映像であり、またこの音源の識別対象としては、衝突音などの他に、交通事故の検出に際し、重要な手掛かりとなるブレーキ、クラクション、サイレン、暴走音などの音源についても対象としており、したがって以下の説明では、これらを含めて事故音と称するとともに、交通事故以外の事象も含むため事故等と称して説明を行う。

図１および図２に示すように、この交通事故の記録・解析システムは、交通事故を監視する箇所、例えば交通事故が頻繁に発生する交差点（突発事象の発生箇所）Ｋに設置されて交通事故（事故等）を撮影するカメラ装置（撮影手段の一例で、例えばＣＣＤカメラが用いられる）１、交差点Ｋ付近にて発生する音源（以下、音響ともいう）を検出するためのマイクロフォン（音響検出手段の一例で、以下、マイクという）２、このマイク２にて検出された音響信号（以下、音響データという）に基づき交通事故であるか否かを判定データを用いて判断する音源判定装置（音源判定手段の一例）３およびこの音源判定装置３にて交通事故であると判断された場合に、カメラ装置１にて撮影された映像信号（以下、映像データという）を上記マイク２からの音響データとともに記録するデータ記録装置（データ記録手段の一例で、例えばハードディスク装置が用いられる）４からなる事故記録装置（突発事象記録手段の一例）５と、この事故記録装置５にて記録された音響データおよび映像データを入力して一時的に記憶するデータ記憶部（ハードディスクなどが用いられ、データ記録部と称してもよい）６と、このデータ記憶部６に記憶されたデータを読み込むとともに交通事故の内容に基づきこれらデータを分類する事故内容分類装置（突発事象分類手段の一例）７と、この事故内容分類装置７にて分類された分類データに基づき事故状況を解析する事故状況解析装置（突発事象解析手段の一例）８と、この事故状況解析装置８により解析された結果と映像を目視した結果とを比較して、交通事故（予め決められた突発事象）でない場合に、上記事故記録装置５における音源判定装置３における判定データを更新するための音源判定評価装置（音源判定評価手段の一例）９と、上記事故内容分類装置７にて分類された分類データを蓄積するデータ蓄積部であるデータベース（ハードディスクなどが用いられる）１０と、このデータベース１０に蓄積された各データを検索するとともにその検索結果を閲覧し得るデータ閲覧装置１１とから構成されている。なお、このデータ閲覧装置１１は、当然、データベース１０に蓄積されたデータを閲覧するだけの機能も有している。

そして、上記事故記録装置５については交差点に配置されるとともに、それ以外の各装置６〜１１については管理センター１２に設置されており、上記事故記録装置５と管理センター１２とは、通信回線（公衆回線、ブロードバンド回線などによるインターネット、イントラネットが用いられる）１３を介して接続されている。

また、上記管理センター１２側には上記データ記憶部６およびデータベース１０を管理・運用するためのサーバ（コンピュータ装置）１４が設けられるとともに、このサーバ１４と各装置６〜１１とは、ＬＡＮ１５などを介して互いにデータの受け渡しができるようにされており、また当該サーバ１４は交通官制センター１６に通信回線１７を介して接続されている。

なお、各交差点に配置された事故記録装置５および管理センター１２側のサーバ１４には、それぞれ通信装置５ａ，１４ａが具備されている。
次に、上記事故記録装置５における音源判定装置３を、図３〜図９に基づき説明する。

上記音源判定装置３は、図３に示すように、上記マイク２にて集音された音響信号（音響データ）を入力して所定周波数帯域の信号を抽出する信号抽出部２１と、この信号抽出部２１にて抽出された抽出音響信号を入力して、所定の第１積分時間にて積分を行い音響エネルギー（積分値である、以下、同じ）を求め、且つ当該音響エネルギーが所定の第１設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル検出部２２と、上記信号抽出部２１にて抽出された抽出音響信号を入力して、上記第１積分時間よりも短い所定の第２積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するピーク検出部２３と、上記信号抽出部２１にて抽出された抽出音響信号を入力して、所定の第３積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル継続検出部２４と、上記レベル検出部２２およびピーク検出部２３からの少なくともいずれかの検出信号を入力した場合に、所定周波数領域を所定個数に分割するとともに、これら各分割周波数領域に係る音響信号の周波数スペクトル（以下、単にスペクトルといい、またスペクトラムともいう）をそれぞれ演算するスペクトル演算部２５と、このスペクトル演算部２５にて求められた各分割周波数領域でのスペクトルを入力して、ニューラルネットワーク手法（以下、単に、ニューラルネットワークという）を用いて音源を特定し識別を行う音源識別部２６と、この音源識別部２６にて識別された音源識別信号を入力するとともに、上記ピーク検出部２３およびレベル継続検出部２４からの検出信号をそれぞれ入力して、事故等であるか否かを判定する事故判定部２７とが具備されている。

また、この事故記録装置５には、上記事故判定部２７にて事故等であると判定された場合に、カメラ装置１にて撮影している映像をデータ記録装置４に記録させるための保存指示を出力するデータ保存指示部２８が設けられている。

次に、上記各部における構成または処理内容について詳しく説明する。
上記信号抽出部２１では、周波数が例えば０〜２．５ｋＨｚの信号が取り出された後、０〜５００Ｈｚの部分が除去される。これは、交通事故および車両の走行に、すなわち事故等に起因して発生する事故音の範囲を絞るとともに、余分なエンジン音（０〜５００Ｈｚ）を除去するためである。

また、上記レベル検出部２２は、信号抽出部２１からの抽出音響信号を入力して、所定の第１積分時間（例えば、５００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第１積分器３１と、この第１積分器３１にて求められた音響エネルギーと所定の第１設定レベル値とを比較して音響エネルギーが当該第１設定レベル値を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第１比較器３２とが具備されている。すなわち、このレベル検出部２２では、音響信号を或る時間間隔で積分することにより、当該音響信号の大きさが、所定のレベルを超えているか否かが判断される。

上記ピーク検出部２３は、信号抽出部２１からの抽出音響信号を入力して、上記第１積分時間より短い第２積分時間（例えば、１００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第２積分器３３と、この第２積分器３３にて求められた音響エネルギーと所定の第２設定レベル値とを比較して音響エネルギーのピーク値が当該第２設定レベル値（設定ピーク値でもある）を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第２比較器３４とが具備されている。すなわち、このピーク検出部２３では、音響信号を短い時間でもって積分することにより、当該音響信号のピーク値が、所定のレベル（ピーク値）を超えているか否かが判断される。

上記レベル継続検出部２４は、信号抽出部２１からの抽出音響信号を入力して、所定の第３積分時間（例えば、レベル検出手段における第１積分時間と同じ時間とされる）にて積分を行い音響エネルギーを求める第３積分器３５と、この第３積分器３５にて求められた音響エネルギーと所定の第３設定レベル値（例えば、レベル検出手段における設定レベル値が用いられる）とを比較して音響エネルギーが当該第３設定レベル値を超えている場合に、所定時間後（例えば、３００ｍｓｅｃ）に、再度、同じ設定レベル値を超えているか否かを比較して超えている場合には、当該設定レベル値が継続（維持）されていると判断し、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値が継続されていない場合には、「０」が出力されている）を出力する第３比較器３６とが具備されている。

なお、図４に、上記各検出部２２〜２４における各比較器３２，３４，３６での入力信号、出力信号および検出信号の波形図を示し、（ａ）はレベル検出部２２での第１比較器３２のものを、（ｂ）はピーク検出部２３での第２比較器３４のものを、（ｃ）はレベル継続検出部２４での第３比較器３６のものをそれぞれ示し、また（ｄ）は、リセット信号を示す。

また、上記スペクトル演算部２５では、レベル検出部２２からの検出信号（「１」）およびピーク検出部２３からの検出信号（「１」）のいずれかが入力されると、まず抽出音響信号がＡ／Ｄ変換器（図示せず）にてデジタル化された後、図５に示すように、所定周波数領域（４５０〜２５００Ｈｚ）を所定個数、例えば１０５個に分割した各分割周波数領域（バンクともいう）に係る音響信号の周波数スペクトル（周波数スペクトラムともいう）が、高速フーリエ変換（ＦＦＴ）にて求められる。

そして、上記音源識別部２６にて、ニューラルネットワークが用いられて音源の種類が特定される。
以下、このニューラルネットワークを用いた処理内容について、詳しく説明する。

この音源識別部２６では、周波数スペクトルを４段階にてそれぞれの分類方法（第１分類〜第４分類）に基づき且つニューラルネットワークを用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた判定データである分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、上記分類表には、例えば各音の種類に対して５桁の番号（第１分類に２桁、第２〜第４分類にそれぞれ１桁が与えられる）が割り当てられるとともに、当該音を記録するか否かを表す記録フラグの欄が設けられている。

ここで、上記分類作業の内容について説明する。
第１分類（第１段階）について説明するが、この第１分類では、分類基準が異なる２種類の分割パターンを併用して分類番号が求められる。

まず、第１種類目としては、１０５個に分割した各分割周波数領域（以下、バンクともいう）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルについて、合計面積が求められる。

そして、１０５バンクの分割周波数領域が、上記合計面積に応じて予め定められている分割パターンに基づき、例えば５個に分けられて、＃０〜＃４の分類番号が付される。ここでの分割の仕方は、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各合計面積値を度数分布化し（横軸がバンク位置で、縦軸が面積値となる）、それが等分になるように分割する。すなわち、合計面積値の度数分布の大きい部分は、分割幅が狭くされるとともに、合計面積値の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、５個でなくてもよい）。例えば、図５において、１０５バンクの周波数スペクトルの合計面積が２４１０であるとすると、この合計面積２４１０が属する分類番号（予め、合計面積値と分類番号とが対応付けられている）が、例えば＃３というように割り当てられる。

次に、第２種類目としては、１０５バンクが例えば１０個に分けられて、＃０〜＃９の分類番号が付される。
この第２種類目においては、１０５個に分割した各分割周波数領域（バンクである）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルが最大ピークのものを求める。

すなわち、この１０５バンクの分割周波数領域が、上記最大ピークが存在するバンク数（バンクの位置）に応じた分割パターンに、例えば１０個に分けられるとともに＃０〜＃９の分類番号が付された後、当該抽出音響信号に係るスペクトル系列（図５の棒状グラフにて示す）のうち、最大のレベルを有するスペクトルが、＃０〜＃９のいずれの部分に属するかが求められる。なお、１０５バンクの分割の仕方は、最大レベルのバンク位置に応じて予め決められている。具体的には、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各最大レベルのバンク位置を度数分布化し（横軸がバンク位置で、縦軸が件数となる）、それが等分になるように分割する。すなわち、最大レベルのバンク位置の度数分布が大きい部分は、分割幅が狭くされるとともに、最大レベルのバンク位置の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、１０個でなくてもよい）。そして、例えばバンク番号が小さいものから大きいものへと分類番号が、＃０〜＃９というように付けられる。したがって、図５においては、８８バンク付近が最大のレベルを有しており、この８８バンクが属する分類番号が、例えば＃８というように割り当てられる。

そして、この第１分類における分類番号は上記２種類の番号が考慮されて決定される。例えば、合計面積値による５個の分割では＃３に、最大レベルのバンク位置による１０個の分割では＃９というように番号が割り当てられると、この第１分類による分類番号は、＃３９となる。

次に、第２分類〜第４分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットワークを用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば５個づつ）が選択抽出されて、パターン認識に使用される。

以下、第２分類作業〜第４分類作業について説明する。
第２分類作業では、まず、上記第１分類で求められた分類番号（例えば、＃３９である）に基づき、５個のパターンがデータベースから取り出される。

そして、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルの５０％未満のデータを零となし（ゼロリセットともいう）、これを正規化したスペクトル系列（図６に示す）に対して、ニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。

第３分類では、上記第２分類で求められた分類番号に基づき、やはり、５個のパターンがデータベースから取り出されるとともに、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルおよびその前後２バンクづつの合計５バンクのスペクトル部分をゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。そして、新たに作成された１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの２５％未満をゼロとなし、それを正規化したスペクトル系列（図７に示す）に対してニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、１個のパターンとみなす）を加えた、計７個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。

さらに、第４分類では、下記の２つの場合について分類が行われる。
勿論、この分類作業においても、第３分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが５個取り出される。

（１）第３分類において、最大スペクトルがしきい値未満である場合。
第３分類にて作成された１０５バンクのスペクトル系列のうち、最大スペクトルの２５％未満のスペクトルをゼロとなし（ゼロリセット）、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記５個のパターンに、当該５個以外のパターンを示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。

（２）第３分類において、最大スペクトルが所定のしきい値以上である場合。
第３分類にて作成された１０５バンクのスペクトル系列に対し、最大スペクトルおよびその前後２バンクの計５バンクのスペクトルをゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。

そして、この１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの１２．５％未満のスペクトルをゼロとなし、それを正規化したスペクトル系列（図８に示す）に対してニューラルネットワークによるパターン認識を行い、７個のパターン（この場合も、データベースから取り出された５パターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。なお、上記のニューラルネットワークによる分類作業の概念図を、図９に示す。

さらに、上記事故判定部２７では、上記音源識別部２６での分類結果、すなわち識別信号（ＮＴにて表す）および上記レベル継続検出部２４からの検出信号（ＰＤにて表す）並びにピーク検出部２３からの検出信号（ＰＴにて表す）を入力して、｛（ＮＴａｎｄＰＤ）ｏｒＰＴ｝の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（ＮＴ）については、事故等に起因して発生する音である場合には「１」とされ、また検出信号（ＰＤ）についても、音が継続している場合には「１」に、検出信号（ＰＴ）についても、ピーク値が所定の強さ以上である場合には「１」とされる。

そして、上記論理演算式における論理積（ａｎｄ）の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号（ＰＤ）との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（ＮＴａｎｄＰＤ）に対して検出信号（ＰＴ）の論理和をとるようにしたものである。

したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。

この事故判定部２７で事故等であると判定された場合には、データ保存指示部２８にその旨の指示が出力されて、データ記録装置４にて、当該事故等の発生時の前後における映像が音響とともに記録されて保存される。

そして、このデータ保存指示部２８による映像の保存指示時には、映像データのインデックスとして、上記事故判定部２７で事故等であると判断された場合の事故内容（例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。

ところで、上記各部、積分器、比較器などについては、それぞれ電気信号回路により構成されており、特に、ニューラルネットワークにより演算が行われる音源識別部２６には、演算処理部として例えばＣＰＵが具備されている。

ここで、上記事故記録装置５により、交通事故等を自動的に記録する際の処理手順を簡単に説明する。
例えば、交差点に配置されたカメラ装置１およびマイク２が作動している状態において、マイク２により検出された音響信号が信号抽出部２１にて所定周波数帯域でもって抽出され、この抽出音響信号が、レベル検出部２２、ピーク検出部２３およびレベル継続検出部２４に入力されて、事故等であるか否かの予備判断が行われる。

そして、レベル検出部２２およびピーク検出部２３のうち、少なくとも、いずれかからの検出信号があった場合、抽出音響信号に対してＡ／Ｄ変換が行われた後、スペクトル演算部２５にてスペクトルの演算が行われる。

この演算により求められたスペクトル系列が音源識別部２６に入力されて、ここで、上述したニューラルネットワークを用いた分類方法にて、音源が識別されるとともに、この識別された音が事故等に結び付く可能性が高いもの（例えば、衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレンなどの音）である場合には、事故等を示す検出信号（ＮＴ）が出力される。

次に、上記事故等の検出信号（ＮＴ）、レベル継続検出部２４からの継続を示す検出信号（ＰＤ）およびピーク検出部２３からのピークの検出信号（ＰＴ）が事故判定部２７に入力されて論理演算が行われ、事故等に起因する音であるか否かが判定される。

そして、事故判定部２７にて、事故等であると判断された場合には、データ保存指示部２８にその旨の指示信号が出力されて、その音が発生した前後において撮影された映像がデータ記録装置４に記録されて保存される。勿論、この映像データの記録時には、その映像データに対するインデックスとして、音源識別部２６にて特定された音源種別のコードデータが一緒に記録され、後からの映像データの検索の容易化が図られている。

なお、音源識別部２６での１回の識別時間は、例えば３秒とされており、各検出部２２〜２４において、検出信号（トリガー信号）が得られた場合には、この３秒が経過するまでは検出信号の出力が維持され、３秒経過後にリセット信号が出力される。

このように、上記事故記録装置５の構成、特にその音源識別部２６の構成によると、エンジン音などのように、車両が通常に発している低周波数および人間が聞くことが困難な高い周波数を除去した抽出音響信号について、レベル検出部２２にて音響信号のレベル値が設定レベル値を超えているか否かを検出するとともに、ピーク検出部２３にて音響信号のピーク値が設定ピーク値を超えているか否かを検出し、少なくとも一方がそれぞれの設定値を超えている場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いて、その音源の種別を特定するようにしたので、音源の識別を、より正確に行うことができる。

また、この音源識別部２６を用いた音源判定装置３の構成によると、ニューラルネットワークにて特定された音源に対して、さらにレベル継続検出部２４にて音響信号のレベル継続時間が設定継続時間を超えているか否かの判断が加味されているので、事故等であるか否かの判断を、一層、正確に行うことができる。

次に、上記事故内容分類装置７を、図１０に基づき説明する。
この事故内容分類装置７には、データベース１０から映像データを入力して画像処理を行い、例えば交差点内での物体の輪郭を各画像フレームごとに［例えば、所定時間間隔（より具体的には１秒程度）おきの画像フレームごとであってもよい］抽出する画像処理部４１と、この画像処理部４１で得られた画像処理データを入力して交通事故を起こしたと判断された物体（対象物体）がどのようなものかを、例えば自動車、二輪車、歩行者などのいずれかを認識するとともに車両の種類（車種である）も特定する、例えば自動車であれば大型車、乗用車、緊急車両など、二輪車であればオートバイ、自転車などを判断するための物体認識部４２と、データベース１０から音響データを入力するとともに画像データの認識に基づいて音響データの特定すなわち事故音を特定する音源特定部４３とが具備されている。

ここで、上記物体認識部４２での物体の認識方法を簡単に説明しておく。
この物体認識部４２では、映像に対して差分法により移動する物体を、例えば直方体として検出する。この検出された物体すなわち車種の判断は、直方体についてのパターンマッチングにより行われる。このパターンマッチングに用いられる評価用のパラメータは、直方体の幅、奥行き、高さ、体積などが用いられる。具体的には、幅、奥行き、高さの大小関係を見ると、一般的には、二輪車の場合、奥行き＞高さ＞幅の関係となり、歩行者の場合、高さ＞幅，奥行きの関係となる。また、４輪車の場合、幅、奥行き、高さについての大小関係はまちまちであるが、体積により、大型車と乗用車の判別が可能となる。

さらに、詳しく説明すれば、予め記録された映像データを用いて、各車種の基準パラメータをデータベース化しておくとともに、最終的には、計算された評価パラメータを、基準パラメータにて学習されたニューラルネットに入力し、各車種である確率（各車種の基準パラメータとのマッチング度）を計算し、その値が最も大きくなる車種を、その物体の車種とするものである。

次に、上記事故状況解析装置８を、図１１に基づき説明する。
この事故状況解析装置８には、データベース１０から映像データを入力して画像処理を行い、例えば交差点内での物体の輪郭を各画像フレームごとに［例えば、所定時間間隔（より具体的には１秒程度）おきの画像フレームごとであってもよい］抽出する画像処理部５１と、この画像処理部５１で得られた画像処理データを入力して交通事故を起こしたと判断された物体の軌跡を求める軌跡演算部５２と、この軌跡演算部５２で求められた軌跡から物体の進入位置、物体の速度、事故位置、ブレーキの推定、信号無視の有無などの事故状況を検出する事故状況検出部（突発事象検出部ともいえる）５３と、この事故状況検出部５３にて得られた事故状況をレポート形式で出力する事故状況出力部（突発事象出力部ともいえる）５４とが具備されている。

この事故状況解析装置８にて得られる具体的な解析内容は以下の通りである。
（１）事故であると分類された個々の物体、すなわち車両などを同一画面上でトレース表示する（例えば、図１２（ａ）の車両Ａ，車両Ｂにて示す）。

（２）事故車両のトレースにより、車両同士が接触した部分を検出し、その時点における音響データとを照合し、例えば衝突音が検出された場合には（例えば、図１２（ｂ）参照）、最終的な事故位置を特定することができる。

（３）物体の１コマ（フレーム）当たりの移動距離により、事故直前（交差点進入時）の速度を自動で特定する（例えば、図１２（ｃ）のグラフ参照）。
（４）映像データに記録されている各方向での信号に基づき、車両が信号を無視したか否かについても検出することができる。

これらの結果を纏めた事故解析レポートの具体例を図１３に示しておく。
次に、データ閲覧装置１１について説明する。
このデータ閲覧装置１１は、データベース１０に蓄積された映像データおよび動作ログに関わる各種データに対して検索および閲覧を行い得る検索・閲覧ソフト（以下、閲覧等ソフトと称し、例えばｗｅｂブラウザが用いられる）が具備されたコンピュータ端末であり、勿論、ＬＡＮ１５を介して、データベース１０に接続されている。

上記閲覧等ソフトは、検索画面から映像データに対して、「交差点名称、日付、記録要因［記録すべきと判断された音の種類（具体的には、音源識別結果）］、事故種類、事故車種」などから、検索または絞込み検索を行うことができ、また検索結果（例えば、交差点名称、日付、記録要因、事故種類、事故車種、映像データファイル名）についてその一覧表示を行うことができる。

さらに、検索結果の映像データに係るファイル名を選択するとともに再生ボタンを押すことにより、映像データの再生を行うことができる。
また、検索画面から動作ログに対して、「交差点の名称、日付」などから、検索または絞込み検索を行うことができ、また検索結果（例えば、交差点名称、日付、ログファイル名）についてその一覧表示を行うことができる。

さらに、動作ログに対しても、一覧表示されたログファイル名を選択するとともに表示ボタンを押すことにより、その動作ログの内容を表示することができる。
次に、音源判定評価装置９について説明する。

この音源判定評価装置９は、上記データ閲覧装置１１と同様に、データベース１０に蓄積された映像データおよび動作ログに関わる各種データに対する検索および閲覧を行い得る検索・閲覧ソフト（以下、閲覧等ソフトと称し、例えばｗｅｂブラウザが用いられる）が具備されたコンピュータ端末であり、ＬＡＮ１５を介して、データベース１０に接続されている。

また、検索結果の映像データに係るファイル名を選択するとともに再生ボタンを押すことにより、映像データの再生を行うことができる。
そして、さらに選択した画像データを再生して、監視員が事故内容を画面上で確認した際に、交通事故でないのに交通事故であると誤認識した件については、再度、ニューラルネットワークを用いて、学習させる再学習機能が具備されている。

この再学習機能を簡単に説明すると、各事故記録装置５において、誤認識された映像データに係る音響データの識別（判定）に用いられる分類番号が、誤認識されたデータについて分類番号が毎回異なる場合には、分類表から誤認識した分類番号の記録フラグが「１（記録する）」から「０（ゼロ：記録しない）」に修正され、そしてこの修正された分類表が当該誤認識に係る事故記録装置５に送信されて、分類表の更新が行われる。

一方、音源を識別するための分類番号が毎回同一（いつも同じ）である場合には、当該音響データを用いてニューラルネットワークで用いられる分類用の重み係数を再学習させた後、この再学習に伴い分類表中の分類番号、種別、記録フラグを見直し、修正が必要となるものについては修正が行われる。そして、この修正された重み係数および分類表が当該誤認識に係る事故記録装置５に送信されて、分類表の更新が行われる。なお、図１４に上記再学習機能を説明するフローチャートを示す。

次に、上記システムにおける事故記録装置５と管理センター１２とにおけるデータの受け渡し動作について簡単に説明する。
このデータの受け渡し動作は、上述したように、通信回線１３、例えばインターネット（イントラネット）により、仮想的に１対１の通信路を確立して行われ、またその伝送プロトコルは、例えばＴＣＰ／ＩＰにおけるＦＴＰプロトコルが用いられる。したがって、管理センター１２のサーバ１４および事故記録装置５側には、それぞれＦＴＰプログラムファイルが具備されている。

上記事故記録装置５にて記録された映像データおよび音源の識別に用いた音響データは、所定時刻に、例えば毎日１回程度の割合で（例えば、日付変更時に）、管理センター１２に送られる。このとき、これらのデータと一緒に、事故記録装置５の動作履歴ログ（例えば、電源投入時刻、停電時刻、ユニットの異常発生／異常復帰、記録時の要因データ［音源識別結果とスペクトル計算結果（または音圧データ）］も送られる。

また、管理センター１２側から、事故記録装置５における運用設定データ（例えば、映像チャネル数、映像サイズ、画質、記録時間、トリガ前の記録時間、映像フレーム間隔、交差点名称、信号パターンなどのデータ）を記述したファイルが、必要に応じて事故記録装置５側に送られる。

さらに、音源判定評価装置９にて修正された分類表についても、事故記録装置５側に送られる。
そして、管理センター１２にて交通事故であると判定された場合、必要な交通事故データ（例えば、交差点名、発生時刻、事故状況など）が、通信回線１７を介して、交通管制センター１６に送られる。

上述した記録・解析システムによると、交差点で発生した交通事故の映像データおよび音響データについては、その発生場所で、音源判定装置３により交通事故であるか否かが判断されるとともに交通事故であると判断された場合にはデータ記録装置４に記録され、しかも、このデータ記録装置４に記録されたデータが通信回線１３を介して管理センター１２に送られ、ここで事故内容分類装置７により交通事故が分類されるとともに事故状況解析装置８により交通事故の内容が解析されるため、従来のように、交差点に設けられたデータ記録装置に交通事故のデータを記録させておき、後で、その記録データを回収するようにしたシステムに比べて、その回収する手間を必要としないとともに、交通事故の主な内容については、事故状況解析装置８により自動的に主要なデータ解析（例えば、接触音の検出、車両のトレースなど）が行われるため、監視員による事故内容の解析作業が容易になるとともに、解析作業を迅速に行うことができる。

ところで、上記実施の形態においては、交差点に、マイクを１個だけ配置したものとして説明したが、例えば図１５に示すように、交差点Ｋの中心線の両側に、マイク（マイクロフォン）２を１個づつ配置しておくことにより、その音響データの音響レベルを比較することにより、交差点の中心線のどちら側で発生したかを特定することができる。これにより、交通事故の発生場所などを、より確実に特定することができる。

また、上記実施の形態においては、第１分類〜第４分類というように、大きく４段階でもって分類を行うものとして説明したが、例えば第１分類〜第３分類を用いて（この場合の分類番号は４桁となる）、音源の識別を行うようにしてもよい。勿論、この場合も、第１の実施の形態と同様に、音源の識別を正確に行うことができる。

さらに、上記実施の形態においては、交差点での交通事故を記録するように説明したが、交差点以外の箇所であってもよく、さらには、突発事象として交通事故以外の場合、例えば工事現場で行われる作業の監視、コンビニエンスストアの監視などにも適用することができる。

本発明の実施の形態に係る突発事象である交通事故の記録・解析システムの概略構成を示すブロック図である。 同システムにおける事故記録装置の交差点での配置状態を示す平面図である。 同システムにおける事故記録装置の概略構成を示すブロック図である。 同事故記録装置における音源判定装置での検出信号を示すグラフである。 同音源判定装置における音源識別部での第１分類作業に係る音響信号のスペクトル演算結果を示すグラフである。 同音源判定装置における音源識別部での第２分類作業の結果のスペクトル分布を示すグラフである。 同音源判定装置における音源識別部での第３分類作業の結果のスペクトル分布を示すグラフである。 同音源判定装置における音源識別部での第４分類作業の結果のスペクトル分布を示すグラフである。 同音源判定装置における音源識別部でのニューラルネットワークによる分類作業の概念図である。 同システムにおける事故内容分類装置の概略構成を示すブロック図である。 同システムにおける事故状況解析装置の概略構成を示すブロック図である。 同事故状況解析装置にて得られた事故状況のデータを示す図で、（ａ）は車両のトレース図、（ｂ）は音響の解析結果を示すグラフ、（ｃ）は車両の速度の変化を示すグラフである。 同事故状況解析装置にて得られた解析レポートの内容を示す図である。 同システムにおける音源判定評価装置での評価方法を示すフローチャートである。 同システムにおける事故記録装置の変形例に係る交差点での配置状態を示す平面図である。

符号の説明

１ カメラ装置
２ マイクロフォン
３ 音源判定装置
４ データ記録装置
５ 事故記録装置
７ 事故内容分類装置
８ 事故状況解析装置
９ 音源判定評価装置
１０ データベース
１１ データ閲覧装置
１２ 管理センター
１３ 通信回線
１４ サーバ
１６ 交通管制システム
２１ 信号抽出手段
２２ レベル検出手段
２３ ピーク検出手段
２４ レベル継続検出手段
２５ スペクトル演算手段
２６ 音源識別手段
２７ 事故判定手段
２８ 映像保存指令手段
３１ 第１積分器
３２ 第１比較器
３３ 第２積分器
３４ 第２比較器
３５ 第３積分器
３６ 第３比較器
４１ 画像処理部
４２ 物体認識部
４３ 音源特定部
５１ 画像処理部
５２ 軌跡演算部
５３ 事故状況検出部
５４ 事故状況出力部

Claims (5)

1. 音源からの音響データを入力して突発事象であるか否かを判定データに基づき判断する音源判定手段を有するとともに当該音源判定手段にて突発事象であると判断された音響データおよび突発事象の撮影手段からの映像データを一時的に記録するデータ記録手段を有する突発事象記録手段と、
   この突発事象記録手段にて記録された音響データおよび映像データを入力して突発事象を分類する突発事象分類手段と、
   この突発事象分類手段にて分類された分類データに基づき突発事象の内容を解析する突発事象解析手段とから構成し、
   上記突発事象記録手段を突発事象の監視箇所に配置するとともに、上記突発事象分類手段および突発事象解析手段を管理センターに設置し、
   且つ上記突発事象記録手段にて記録された音響データおよび映像データを、通信回線を介して管理センターに送るようになし、
   さらに上記突発事象分類手段を、
   上記映像データを入力して画像処理を行い、突発事象の監視箇所での物体の輪郭を画像フレームごとに抽出する画像処理部と、この画像処理部で得られた画像処理データを入力して突発事象であると判断された物体を認識するための物体認識部と、上記音響データを入力するとともに画像データの認識に基づいて音響データの種類を特定する音源特定部とから構成し、
   上記突発事象解析手段を、
   上記映像データを入力して画像処理を行い、突発事象の監視箇所での物体の輪郭を各画像フレームごとに抽出する画像処理部と、この画像処理部で得られた画像処理データを入力して突発事象であると判断された物体の軌跡を求める軌跡演算部と、この軌跡演算部で求められた軌跡から突発事象を検出する突発事象検出部と、この突発事象検出部にて得られた突発事象の内容を出力する突発事象出力部とから構成したことを特徴とする突発事象の記録・解析システム。
2. 突発事象解析手段により解析された結果と映像を目視した結果とを比較して、予め決められた突発事象でない場合に、音源判定手段における判定データを変更するための音源判定評価手段を具備したことを特徴とする請求項１に記載の突発事象の記録・解析システム。
3. 突発事象が交通事故である場合に、分類データが、少なくとも事故対象物である車両の種類および事故音であることを特徴とする請求項１または２に記載の突発事象の記録・解析システム。
4. 突発事象が交通事故である場合に、突発事象解析手段にて、映像データおよび音響データを用いて、少なくとも事故対象物である車両の位置関係および衝突の有無を解析することを特徴とする請求項１乃至３のいずれか一項に記載の突発事象の記録・解析システム。
5. 突発事象が交通事故であるとともに、音源判定手段に具備される音響検出手段としてマイクロフォンを用いるとともに、このマイクロフォンを交差点の中心を挟んで両側に設置したことを特徴とする請求項１乃至４のいずれか一項に記載の突発事象の記録・解析システム。

Images