JP2017167894A - 可視化グラフ表示装置、可視化グラフ表示プログラムおよび可視化グラフ表示方法 - Google Patents

Abstract

【課題】比較的長い時間内における画像変化だけでなく、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化をも効率的に抽出して表示する。【解決手段】所定枚数のフレームの第１区間で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元のヒートマップを表示し、このヒートマップ上で時間軸上の区間が指定されると、指定された区間内において、第１区間よりも少ない所定枚数のフレームの第２区間で時間軸上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元のヒートマップを表示する一次元ヒートマップ表示手段１１と、一次元のヒートマップ上で二次元のヒートマップを表示する区間が指定されると、指定された区間内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元のヒートマップを表示する二次元ヒートマップ表示手段１２とを含む。【選択図】図１

Description

本発明は、動画像を構成する時間軸上で連続した複数枚のフレームから変化量の大小に応じて表現を変化させた可視化グラフを表示する可視化グラフ表示装置、可視化グラフ表示プログラムおよび可視化グラフ表示方法に関する。

防犯を目的とした監視カメラによる動画像は、近年、犯罪解決の有力な情報となり、その社会的有効性は大きい。しかし、あらゆる環境に設置された動画像から必要な情報を抽出する作業は、人による目視作業が一般的である。そのため、膨大な動画像の中から有力な手がかりを探す作業に多くの時間を要している。また、膨大な情報からの見落としにより、誤認逮捕などの二次的な問題も発生している。

一般に、移動体が移動することによる変動を検知するために、時系列的に撮像される画像の画像データに対して画像処理が施される。この画像処理は、サンプリングされた画像データ間（フレーム間）の差分処理を用いて行うが、この差分処理の手法として、背景差分法と、フレーム差分法とが広く用いられている。前者の背景差分法は、移動体の存在しない定常状態の背景画像を基準画像として予め設定し、その背景画像のフレームと撮像した画像の対象フレームとの画素ごとの差分データを導出し、得られた差分データが所定のしきい値を超えた場合に、大きな変位量が生じたと判断する方法である。後者のフレーム差分法は、現在のフレームと１つ前のフレームとの画素ごとの差分データを導出し、得られた差分データが所定のしきい値を超えた場合に、画素に大きな変位量が生じたと判断する手法である（特許文献１参照。）。

また、特許文献２には、連続する複数の映像フレームにおいて、サーモグラフのように赤い色を活動度が高い、青い色を活動度が低いというように表示することで、人物の流入により活動度が高い時間帯を抽出し、その時間帯の画像を効率良く再生可能とする技術が開示されている。さらに、特許文献３には、現場の様々な地理的領域における時間および活動レベルに応じてビデオストリームをセグメント化し、地理的領域をヒートマップ表示する技術が開示されている。

特開２００７−２０８５５７号公報 特開２０１５−４１９４５号公報 特開２００９−１３４６８８号公報

ところで、監視カメラ等の定点撮影を行うカメラにより連続撮影された動画像では、同じ速度で移動する物体であってもカメラから移動物体までの距離によってフレーム内における移動速度が大きく異なる。すなわち、カメラから遠い位置を通過する移動物体がある場合、比較的長い時間内において画像変化が大きくなるが、カメラから近い位置を通過する移動物体では、比較的短い時間内において画像変化が大きくなる。そのため、上記従来の手法により連続動画像から変化領域を抽出する場合、比較的長い時間内における画像変化を抽出できても、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化を抽出することができないことになる。

そこで、本発明においては、比較的長い時間内における画像変化だけでなく、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化をも効率的に抽出して可視化することが可能な可視化グラフ表示装置、可視化グラフ表示プログラムおよび可視化グラフ表示方法を提供することを目的とする。

本発明の可視化グラフ表示装置は、動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（以下、「第１区間」と称す。）で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、前記一次元の可視化グラフ上で時間軸上の区間が指定されると、この指定された区間（以下、「レベル指定区間」と称す。）内において、前記第１区間よりも少ない所定枚数のフレームの区間（以下、「第２区間」と称す。）で時間軸上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示する一次元可視化グラフ表示手段と、一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（以下、「二次元可視化グラフ指定区間」と称す。）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示する二次元可視化グラフ表示手段とを含むものである。

また、本発明の可視化グラフ表示方法は、動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（第１区間）で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示すること、一次元の可視化グラフ上で時間軸上の区間が指定されると、この指定された区間（レベル指定区間）内において、第１区間よりも少ない所定枚数のフレームの区間（第２区間）で時間軸上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示すること、一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（二次元可視化グラフ指定区間）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示することを含むことを特徴とする。

これらの発明によれば、動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（第１区間）で時間軸上が探索され、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフが表示される。そして、この一次元の可視化グラフ上で二次元の可視化グラフを表示する区間（二次元可視化グラフ指定区間）を指定すると、この指定された区間（二次元可視化グラフ指定区間）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフが表示される。また、前述のように表示された一次元の可視化グラフ上で時間軸上の区間（レベル指定区間）を指定すると、さらに、この指定したレベル指定区間内において、第１区間よりも少ない所定枚数のフレームの区間（第２区間）で時間軸上が探索され、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフが表示される。そして、この一次元の可視化グラフ上で二次元の可視化グラフを表示する区間（二次元可視化グラフ指定区間）を指定すると、この指定された区間（二次元可視化グラフ指定区間）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフが表示される。すなわち、第２区間では第１区間よりも少ない所定枚数のフレームの区間で時間軸上が探索されて一次元の可視化グラフが表示され、さらにこの表示された一次元の可視化グラフ上での指定された二次元可視化グラフ指定区間の二次元可視化グラフが表示されるので、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化であるために第１区間では抽出されないような場合であっても、この第１区間より少ない所定枚数のフレーム区間である第２区間により抽出することが可能となる。

ここで、一次元可視化グラフ表示手段は、さらに一次元の可視化グラフ上でレベル指定区間が繰り返し指定されると、この指定されたレベル指定区間内において順次さらに少ない所定枚数のフレームの区間で時間軸上を探索し、この探索した区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示するものであることが望ましい。これにより、第２区間では抽出されないような画像変化であっても、さらに一次元可視化グラフ上でレベル指定区間を繰り返し指定して、この指定されたレベル指定区間内において順次さらに少ない所定枚数のフレームの区間で時間軸上が探索されて一次元の可視化グラフが表示されることにより、さらに短い時間内における画像変化を抽出することが可能となる。

また、二次元可視化グラフ表示手段は、二次元可視化グラフ指定区間内のフレームの画像をハーフトーン処理した画像に、二次元可視化グラフ指定区間内の各フレームの所定のセルごとに変化している期間の長短に応じて二次元の可視化グラフの透過率を変化させて重ねて表示するものであることが望ましい。これにより、二次元可視化グラフ指定区間内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフが、所定のセルごとに変化している期間の長短に応じて透過率を変化させて重ねて表示されるため、変化の対象となる事象が透過して判別できるようになり、変化分の大小と変化期間の長短とを一目で確認することが可能となる。

また、本発明の可視化グラフ表示プログラムは、コンピュータを、動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（第１区間）で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、前記一次元の可視化グラフ上で時間軸上の区間が指定されると、この指定された区間（レベル指定区間）内において、前記第１区間よりも少ない所定枚数のフレームの区間（第２区間）で時間軸上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示する一次元可視化グラフ表示手段と、一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（二次元可視化グラフ指定区間）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示する二次元可視化グラフ表示手段として機能させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の可視化グラフ表示装置と同様の作用、効果を奏することができる。

（１）動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（第１区間）で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、一次元の可視化グラフ上で時間軸上の区間が指定されると、この指定された区間（レベル指定区間）内において、第１区間よりも少ない所定枚数のフレームの区間（第２区間）で時間軸上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（二次元可視化グラフ指定区間）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示する構成により、比較的長い時間内における画像変化だけでなく、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化をも効率的に抽出して表示することが可能となる。

本発明の実施の形態におけるヒートマップ表示装置の構成図である。 一次元ヒートマップおよび二次元ヒートマップの説明図である。 二次元ヒートマップの詳細説明図である。

図１は本発明の実施の形態におけるヒートマップ表示装置の構成図、図２は一次元ヒートマップおよび二次元ヒートマップの説明図、図３は二次元ヒートマップの詳細説明図である。

図１において、本発明の実施の形態におけるヒートマップ表示装置１は、動画像を構成する時間軸上で連続した複数枚のフレームから一次元の可視化グラフとしてのヒートマップを表示する一次元ヒートマップ表示手段１１と、二次元の可視化グラフとしてのヒートマップを表示する二次元ヒートマップ表示手段１２とを有する。動画像は、ヒートマップ表示装置１に接続された定点カメラ２により撮影されるか、あるいは別途定点撮影を行うカメラにより連続撮影されたものを使用することができる。例えば、自動販売機の周辺を行う場合、定点カメラ２を自動販売機などに搭載することが可能である。また、ヒートマップ表示装置１により処理される動画像は、記憶手段１０に一時的に記憶される。

一次元ヒートマップ表示手段１１は、動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数Ｎ₁のフレームの区間（第１区間）で時間軸上を探索し、第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元のヒートマップを表示する。図２に示すように、一次元ヒートマップ表示手段１１は、第１区間をＮ₁（＝１００）枚のフレーム区間（本明細書中において「串刺し区間」と称することもある。）とし、時間軸上を１フレームずつ移動しながら、串刺し区間１００フレームで探索する。この最初の段階の探索をレベル１とする。

具体的には、レベル１の探索では、一次元ヒートマップ表示手段１１は、串刺し区間１００フレームについて背景画像との差分、すなわち各画素の濃度値の差分を加算し、各画素の加算値の大小に応じて色合いを変化（例えば、画像変化が小さいものほど青く、画像変化が大きいものほど赤くなるように変化）させた一次元のヒートマップ２１を作成し、時間軸２０上に表示する。なお、処理対象である動画像は時間的に日光や日照時間の変動により全体のコントラストが変化するため、背景画像は変化分の少ない複数枚のフレームから定期的に所定区間ごとに平均化して生成したものを用いる。

また、一次元ヒートマップ表示手段１１は、一次元のヒートマップ２１上で時間軸２０上の区間２１ａが指定されると、この指定された区間２１ａ（レベル指定区間）内において、第１区間よりも少ない所定枚数Ｎ₂（＜Ｎ₁）のフレームの区間（第２区間）で時間軸２０上を探索し、第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元のヒートマップを表示する。図２に示す例では、一次元ヒートマップ表示手段１１は、第２区間を第１区間よりも少ないＮ₂（＝１０）枚のフレーム区間（串刺し区間）とし、時間軸２０上を１フレームずつ移動しながら、串刺し区間１０フレームで探索する。この探索をレベル２とする。

このレベル２の探索において、一次元ヒートマップ表示手段１１は、串刺し区間１０フレームについて背景画像との差分、すなわち各画素の濃度値の差分を加算し、各画素の加算値の大小に応じて色合いを変化（例えば、画像変化が小さいものほど青く、画像変化が大きいものほど赤くなるように変化）させた一次元のヒートマップ２２を作成し、時間軸２０上に表示する。なお、区間２１ａの指定は、例えば時間軸２０上でスライダーを操作することにより指定する構成とすることが可能である。

また、図示しないが、一次元ヒートマップ表示手段１１は、さらにこの一次元のヒートマップ２２上で繰り返し時間軸２０上の区間が指定されると、この指定された区間内において順次さらに少ない所定枚数Ｎ_n（ｎは３以上の整数。）のフレームの区間で時間軸上を探索し、この探索した区間における各フレームの変化分の大小に応じて表現を変化させた一次元のヒートマップを作成する。この探索は順次レベル３、レベル４、レベル５、・・・、レベルｎとなる。

二次元ヒートマップ表示手段１２は、一次元のヒートマップ２１，２２上で二次元のヒートマップを表示する区間３１，３２が指定されると、この指定された区間（二次元ヒートマップ指定区間（本明細書中において「串刺し区間」と称することもある。））内の各フレームの所定のセル（１または複数の画素の集合）ごとに変化分の大小に応じて表現を変化させた二次元のヒートマップ４１，４２を表示する。ここで、二次元ヒートマップ表示手段１２は、二次元可視化グラフ指定区間内のフレームの画像をハーフトーン処理した画像に、二次元ヒートマップ指定区間内の各フレームの所定のセルごとに変化している期間の長短に応じて二次元のヒートマップの透過率を変化させて重ねて表示する。

具体的には、二次元ヒートマップ表示手段１２は、図３に示すように、二次元ヒートマップ指定区間（串刺し区間）の各フレームの画像の一つ一つのピクセルに対して、近隣の所定期間画像の変化がないセルを背景画像として二次元可視化グラフ指定区間内の各フレームを比較することで移動物体を検出する。次に、二次元ヒートマップ表示手段１２は、二次元可視化グラフ指定区間内で背景画像に対して全体の画素値の変化が大きいフレームをグレースケール化した後、ハーフトーン処理する。

そして、二次元ヒートマップ表示手段１２は、二次元ヒートマップ指定区間（串刺し区間）の個々の画像の差を算出し、これを串刺し区間内の複数フレームごとに繰り返し、それらの差を加算した演算結果を基にヒートマップをセルごとに作成し、二次元のヒートマップ画像を作成する。さらに、二次元ヒートマップ表示手段１２は、串刺し区間内での画素の変化している期間（変化率）の大きいところについては、ヒートマップ画像の透過率を小さく、変化率が小さいところは、透過率を大きく変化させることにより、変化している期間が短いところほど背景画像がより透けて見えるようにする。

最後に、二次元ヒートマップ表示手段１２は、このヒートマップ画像と前述のハーフトーン処理した背景画像とを合成した二次元のヒートマップ４１，４２を表示する。この二次元のヒートマップ４１，４２では、時間的変動が大きく、画素の変化が大きいところほど、ヒートマップの色が濃く表示され、変化している期間が短いところは背景画像が透けて見えるような表示効果が得られる。

上記構成のヒートマップ表示装置１では、図２に示すように、最初の段階（レベル１）では一次元ヒートマップ表示手段１１により比較的フレーム数が多い第１区間Ｎ₁（図２の例では１００）で時間軸２０上が探索され、時間軸２０上における変化分の大きい箇所が一次元のヒートマップ２１で示される。このとき、ヒートマップ２１上で赤の部分（変化分大の部分）を二次元ヒートマップ指定区間として指定すると、二次元ヒートマップ表示手段１２により前述のように二次元のヒートマップ４１が表示される。この二次元のヒートマップ４１では、時間的に長い、変化量の大きい画像を確認できる。

しかしながら、例えば、人や自転車などの移動物体がカメラに近い位置を通過した場合には、比較的短い時間内において画像変化が大きいため、ヒートマップ２１の赤の部分（変化分大の部分）からは外れてしまう。そこで、次の段階（レベル２）では、一次元のヒートマップ２１上で黄の部分（変化分中の部分）をレベル指定区間（区間２１ａ）として指定すると、一次元ヒートマップ表示手段１１により第１区間Ｎ₁よりも少ない第２区間Ｎ₂（図２の例では１０）で時間軸２０上が探索され、時間軸２０上における変化分が大きい箇所が一次元のヒートマップ２２で表示される。

このレベル２の一次元のヒートマップ２２は、レベル１のヒートマップ２１よりも短い時間での変化分が大きい箇所が表示されることになるため、カメラに近い位置を瞬間的に通過する人や自転車などの移動物体を捉えることが可能である。そして、このヒートマップ２２上で赤の部分（変化分大の部分）を二次元ヒートマップ指定区間（区間３２）として指定すると、二次元ヒートマップ表示手段１２により前述と同様に二次元のヒートマップ４２が表示される。この二次元のヒートマップ４１では、時間的に短い、変化量の大きい画像を確認できる。

そして、このレベル２の一次元のヒートマップ２２でも捉えることができない移動物体については、さらにレベル３、４、５・・・と一次元ヒートマップ上でレベル指定区間を繰り返し指定して、この指定されたレベル指定区間内において順次さらに少ない所定枚数のフレームの区間で時間軸上が探索されて一次元のヒートマップが表示されることにより、さらに短い時間内における画像変化を抽出することが可能である。

このように、本実施形態におけるヒートマップ表示装置１では、比較的長い時間内における画像変化だけでなく、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化をも効率的に抽出して表示することが可能である。また、本実施形態におけるヒートマップ表示装置１では、二次元ヒートマップ指定区間内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元のヒートマップ４１，４２が、所定のセルごとに変化している時間の長短に応じて透過率を変化させて重ねて表示されるため、変化の対象となる事象が透過して判別できるようになり、変化分の大小と変化期間の長短とを一目で確認することが可能である。

なお、上記実施形態においては、可視化グラフとしてヒートマップを表示する例について説明したが、例えば等高線グラフなどの他の可視化グラフにより表示する構成とすることも可能である。また、上記実施形態におけるヒートマップ表示装置１は、コンピュータを、上記一次元ヒートマップ表示手段１１および二次元ヒートマップ表示手段１２として機能させるための可視化グラフ表示プログラムによっても実現できる。

本発明は、動画像を構成する時間軸上で連続した複数枚のフレームから変化量の大小に応じて表現を変化させた可視化グラフを表示する可視化グラフ表示装置、可視化グラフ表示プログラムおよび可視化グラフ表示方法として有用であり、特に、比較的長い時間内における画像変化だけでなく、瞬間的にフレーム内を通過するような比較的短い時間内における画像変化をも効率的に抽出して表示することが可能な可視化グラフ表示装置、可視化グラフ表示プログラムおよび可視化グラフ表示方法として好適である。

１ ヒートマップ表示装置
２ 定点カメラ
１０ 記憶手段
１１ 一次元ヒートマップ表示手段
１２ 二次元ヒートマップ表示手段
２１，２２ 一次元のヒートマップ
４１，４２ 二次元のヒートマップ

Claims (8)

1. 動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（以下、「第１区間」と称す。）で前記時間軸上を探索し、前記第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、前記一次元の可視化グラフ上で前記時間軸上の区間が指定されると、この指定された区間（以下、「レベル指定区間」と称す。）内において、前記第１区間よりも少ない所定枚数のフレームの区間（以下、「第２区間」と称す。）で前記時間軸上を探索し、前記第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示する一次元可視化グラフ表示手段と、
   前記一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（以下、「二次元可視化グラフ指定区間」と称す。）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示する二次元可視化グラフ表示手段と
   を含む可視化グラフ表示装置。
2. 前記一次元可視化グラフ表示手段は、さらに前記一次元の可視化グラフ上でレベル指定区間が繰り返し指定されると、この指定されたレベル指定区間内において順次さらに少ない所定枚数のフレームの区間で前記時間軸上を探索し、この探索した区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示するものである請求項１記載の可視化グラフ表示装置。
3. 前記可視化グラフは、ヒートマップである請求項１または２に記載の可視化グラフ表示装置。
4. 前記二次元可視化グラフ表示手段は、前記二次元可視化グラフ指定区間内のフレームの画像をハーフトーン処理した画像に、前記二次元可視化グラフ指定区間内の各フレームの所定のセルごとに変化している期間の長短に応じて前記二次元の可視化グラフの透過率を変化させて重ねて表示するものである請求項１から３のいずれか１項に記載の可視化グラフ表示装置。
5. 動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（以下、「第１区間」と称す。）で前記時間軸上を探索し、前記第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示し、前記一次元の可視化グラフ上で前記時間軸上の区間が指定されると、この指定された区間（以下、「レベル指定区間」と称す。）内において、前記第１区間よりも少ない所定枚数のフレームの区間（以下、「第２区間」と称す。）で前記時間軸上を探索し、前記第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示する一次元可視化グラフ表示手段と、
   前記一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（以下、「二次元可視化グラフ指定区間」と称す。）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示する二次元可視化グラフ表示手段と
   してコンピュータを機能させるための可視化グラフ表示プログラム。
6. 前記二次元可視化グラフ表示手段は、前記二次元可視化グラフ指定区間内のフレームの画像をハーフトーン処理した画像に、前記二次元可視化グラフ指定区間内の各フレームの所定のセルごとに変化している期間の長短に応じて前記二次元の可視化グラフの透過率を変化させて重ねて表示するものである請求項５記載の可視化グラフ表示プログラム。
7. 動画像を構成する時間軸上で連続した複数枚のフレームにおいて、所定枚数のフレームの区間（以下、「第１区間」と称す。）で前記時間軸上を探索し、前記第１区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示すること、
   前記一次元の可視化グラフ上で前記時間軸上の区間が指定されると、この指定された区間（以下、「レベル指定区間」と称す。）内において、前記第１区間よりも少ない所定枚数のフレームの区間（以下、「第２区間」と称す。）で前記時間軸上を探索し、前記第２区間における各フレームの変化分の大小に応じて表現を変化させた一次元の可視化グラフを表示すること、
   前記一次元の可視化グラフ上で二次元の可視化グラフを表示する区間が指定されると、この指定された区間（以下、「二次元可視化グラフ指定区間」と称す。）内の各フレームの所定のセルごとに変化分の大小に応じて表現を変化させた二次元の可視化グラフを表示すること
   を含む可視化グラフ表示方法。
8. 前記二次元の可視化グラフの表示は、前記二次元可視化グラフ指定区間内のフレームの画像をハーフトーン処理した画像に、前記二次元可視化グラフ指定区間内の各フレームの所定のセルごとに変化している期間の長短に応じて前記二次元の可視化グラフの透過率を変化させて重ねて表示するものである請求項７記載の可視化グラフ表示方法。