JP6191160B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理プログラムおよび画像処理装置に関する。

防犯カメラは、長時間に亘って定点観察を行うことを目的として使用されるのが一般的であり、種々のものが提案されている（例えば、特許文献１）。

特開平９−１５４１２５号公報

ところで、上記のような防犯カメラで撮影された動画を解析する際には、犯人などの重要情報を見つけるため、録画時間全体に亘って動画をチェックし、変化が生じた箇所を見つける必要がある。しかしながら、このような防犯カメラの動画は、短時間であることは少なく、数時間、あるいは数日に亘って録画されていることがあり、これをすべて見るのは、多大な時間を要するばかりでなく、動画をチェックする者にとっても大きい負担となっていた。また、このような問題は、防犯カメラで撮影された動画だけの問題ではなく、長時間に亘る動画の中から変化が生じた箇所を見つけるような動画全般に起こり得る問題である。本発明は、この問題を解決するためになされたものであり、長時間に亘る動画であっても、その中から、変化が生じた箇所の検出を容易に行うことが可能な画像処理プログラム及び画像処理装置を提供することを目的とする。

本発明に係る画像処理プログラムは、１のタイムライン上の画像群に対して、画像処理を行う画像処理プログラムであって、前記画像群において時系列で隣接する画像の画素値の差分に基づく差分値を導出するとともに、当該差分値の時系列の変化を示す時系列差分画像を表示するステップをコンピュータに実行させる。

この構成によれば、時系列で隣接するタイムライン上の画像の画素値の差分に基づく差分値を導出し、これら差分値を時系列に並べることで、差分値の変化を示す時系列差分画像を表示している。ここで、差分値は、隣接する画像の画素値の差分に基づいているため、この差分値の絶対値が大きければ、隣接する画像の間での変化が大きいことになる。そのため、時系列差分画像を表示することで、タイムライン上で、画像の変化が大きい箇所を容易に視認することができる。したがって、タイムライン上での画像の変化が大きい箇所のみを集中的にチェックすることができ、長時間に亘る動画全体を確認する負荷を軽減することができる。そのため、このような画像処理プログラムを、例えば、定点観察する防犯カメラで撮影された動画の解析に用いれば、録画時間全体をチェックすることなく、動画の中で変化が生じた箇所のみを簡単に抽出することができる。その結果、チェック時間の短縮のみならず、チェックする者の作業負担を大きく低減することができる。なお、差分値は、導出された差分を直接用いた数値であってもよいし、直接導出された数値を加工した数値であってもよい。また、時系列差分画像は、差分値の変化を直接示すものであってもよいし、差分値を加工した数値の変化を示すものであってもよい。

上記画像処理プログラムでは、前記タイムラインと時系列に対応するタイムライン画像を表示するステップと、前記タイムライン画像上の任意の位置を選択する入力を受け付けたとき、当該位置に対応する前記タイムライン上の画像を表示するステップと、をさらに設けることができ、前記時系列差分画像を表示するステップでは、前記タイムライン画像と時系列において対応するように前記時系列差分画像を表示することができる。

この構成によれば、タイムライン画像を表示しているため、ユーザは、このタイムライン画像の任意の位置を選択することで、対応する画像を表示させることができる。そして、このタイムライン画像と時系列差分画像を対応させているため、例えば、時系列差分画像中の差分値の大きい箇所を見つけ、これに対応するタイムライン画像上の位置を選択すれば、タイムライン上で変化の大きい箇所の画像を即座に確認することができる。

また、上記画像処理プログラムは、色の指定をユーザから受け付けるステップを更に備えてもよく、上記タイムライン画像上では、指定された色の画素を含む画像の存在するタイムライン上の範囲が示されてもよい。このようにタイムライン画像を表示すると、ユーザは、指定した色を含む画像の存在するタイムライン上の位置が特定できるようになる。ここで、タイムライン画像と時系列差分画像とは対応付けられているため、ユーザは、画像の変化が生じているところで、着目する色が存在するかどうかを知ることができる。

上述した差分値は、種々の導出方法があるが、例えば、隣接する前記画像間の対応する位置の画素値の差のうち、最も大きい画素値の差に基づいて導出することができる。このように差分値を導出すると、画像の一部に生じる変化を抽出しやすくなる。

あるいは、隣接する前記画像間の対応する位置の画素値の差を導出し、すべての位置の差を平均化した平均値に基づいて差分値を導出することもできる。このように差分値を導出すると、わずかな変化であっても、画像内の大きい領域で生じる変化を抽出しやすくなる。

したがって、用途に応じて、上述した差分値のいずれかを選択すればよく、予めいずれかに設定しておくことができる。

また、上述した画像処理プログラムにおいて、差分値を、少なくとも、隣接する前記画像間の対応する位置の画素値の差のうち、最も大きい画素値の差に基づいて導出される第１差分値、または隣接する前記画像間の対応する位置の画素値の差を導出し、すべての位置の差を平均化した平均値に基づいて導出される第２差分値、から選択可能とすることができ、前記時系列差分画像を表示するステップに先立って、前記第１差分値及び第２差分値のいずれかの選択をユーザから受け付けるステップをさらにもうけることができる。

このようにすると、用途に応じて、ユーザが第１差分値または第２差分値のいずれかを
選択することができ、選択した差分値に基づいて、時系列差分画像を表示させることができる。

上記時系列差分画像は、種々の態様にすることができるが、例えば、グラフにより表すことができる。このようにすると、変化の大きい箇所、小さい箇所を一目で確認することができる。グラフは、折れ線グラフのほか、棒グラフなど種々のグラフを用いることができる。また、グラフ以外には、例えば、差分値の数値を並べた画像にすることもできる。

また、上記画像処理を行う画像の領域の指定をユーザから受け付けるステップが更に設けられてよく、指定された画像の領域内における上記差分値が導出されてよい。このようにすると、ユーザによって指定された領域内において導出される上記差分値に基づいて、時系列差分画像が表示される。そのため、ユーザは、画像内において注目する領域を指定することで、その領域内で変化が生じた箇所の検出を容易に行うことができるようになる。

また、上記画像群に含まれる画像がカラー画像で与えられる場合、特定の色に着目せずに上記差分値が導出されてもよい。このように差分値を導出すると、特定の色に限定されず画素値の変化を抽出することができる。

また、上記画像群に含まれる画像がカラー画像で与えられる場合、特定の色に着目して上記差分値が導出されてもよい。このように差分値を導出すると、特定の色に着目して画素値の変化を抽出することができる。

また、上記画像群に含まれる画像がカラー画像で与えられる場合、上記差分値を導出するために着目する特定の色の選択をユーザから受け付けるステップが更に設けられてよく、選択された特定の色に着目して上記差分値が導出されてよい。このように差分値を導出すると、画像内においてユーザが着目する特定の色に基づいて画素値の変化を抽出することができる。

また、上記画像群に含まれる画像がカラー画像で与えられる場合、上記差分値を導出するために特定の色に着目するか否かの選択をユーザから受け付けるステップが更に設けられてよい。そして、上記差分値を導出するために特定の色に着目しないことが選択された場合には、特定の色に着目せずに上記差分値が導出されてよく、また、上記差分値を導出するために特定の色に着目することが選択された場合には、当該選択においてユーザにより指定される特定の色に着目して上記差分値が導出されてよい。このようにすると、ユーザの用途に応じた画素値の変化を抽出することができる。

本発明に係る画像処理装置は、１のタイムライン上の画像群に対して、画像処理を行う画像処理装置であって、前記画像群において時系列で隣接する画像の画素値の差分に基づく差分値を導出し、当該差分値の時系列の変化を示す時系列差分画像を生成する画像処理部と、前記時系列差分画像を表示する表示部と、を備えている。

本発明によれば、長時間に亘る動画であっても、その中から、変化が生じた箇所の検出を容易に行うことができる。

本発明の一実施形態に係る画像処理装置のブロック図である。 画像データが取り込まれる前の基本画面の図である。 画像データが取り込まれた後の基本画面の図である。 差分値パターンを入力させるダイアログボックスを示す図である。 差分値の算出方法を説明する概略図である。 差分値の算出方法を説明する概略図である。 図２の基本画面上に画像変化グラフを表示した図である。 タイムラインの一例を示す図である。 画像変化グラフの例である。 画像変化グラフの表示方法の他の例を示す図である。 タイムラインバーの他の例を示す図である。 図５の画像平均化処理の他の例を説明する概略図である。 フレーム画像の一例を示す図である。 画像処理の他の例を示す図である。 差分値の算出方法を説明する概略図である。 色指定を受け付けるプルダウンメニューを例示する図である。 タイムライン画像の他の例を示す図である。

以下、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について、図面を参照しつつ説明する。図１は、本発明の一実施形態に係る画像処理装置のブロック図である。本実施形態に係る画像処理プログラム及び画像処理装置は、タイムライン上の画像群の変化をグラフ化するためのものである。なお、以下では、画像処理の対象となる画像を、フレーム、フレーム画像、または単に画像と称することがある。

＜１．画像処理装置の概要＞
図１に示すように、本実施形態に係る画像処理装置１としては、汎用のパーソナルコンピュータを用いることができる。この画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２がインストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアであり、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有し、これらは、相互に通信可能となるようにバス線５で接続されている。本実施形態では、ディスプレイ１０は、液晶ディスプレイであり、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。また、記憶部３０は、不揮発性のハードディスク等から構成され、制御部４０は、ＣＰＵ、ＲＯＭおよび揮発性のＲＡＭ等から構成される。

記憶部３０内には、画像処理プログラム２、ソフトウェア管理領域５０が確保されている。このソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。また、ソフトウェア管理領域５０内には、オリジナル画像領域５１、選択フレーム群領域５２、及び差分値領域５３が確保されている。各領域５１〜５３の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像選択受付部４１、差分値パターン受付部４２、及び画像処理部４３として動作する。また、制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより更に、仮想的にエリア指定受付部４４及び色指定受付部４５のうちの少なくともいずれかとして動作してもよい。各部４１〜４５の動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、図２に示す基本画面Ｗ１がディスプレイ１０上に表示される。なお、制御部４０は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。

＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルの全タイムラインのうち、任意の長さのタイムラインの選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して任意の長さのタイムラインの選択を行ったことを検知すると、その選択に対応する静止画ファイル群を生成する。この静止画ファイル群は、ユーザの選択に係るタイムラインの動画に含まれるフレーム群に１対１で対応する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。

したがって、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部のタイムライン単位で取り込まれる。

＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、図３に示すように、基本画面Ｗ１上に表示ウィンドウＷ２を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１への静止画ファイル群の取り込み動作の数だけ、表示される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。なお、制御部４０は、静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。制御部４０は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報をリアルタイムに管理する。

制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応する静止画ファイル群を、動画として再生可能である。図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。制御部４０は、ウィンドウ選択プルダウンメニューＴ１を介し、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応する静止画ファイル群を、アクティブファイル群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブファイル群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブファイル群のフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブファイル群のタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブファイル群のタイムラインを図式的に表す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブファイル群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブファイル群のタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されていない区間に対応するフレーム群である。なお、フレームが一つの場合には、単に選択フレームまたは非選択フレームと称する。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。上述した画像選択受付部４１は、タイムラインバーＴ５を介し、アクティブファイル群のタイムライン上の任意のフレームの選択をユーザから受け付ける。例えば、タイムラインバーＴ５の任意の位置をマウスで選択すると、この位置に対応するフレーム画像が、アクティブな表示ウィンドウＷ２に表示される。また、タイムラインバーＴ５の任意の範囲を選択した場合には、選択時の終点のフレーム画像を表示ウィンドウＷ２に表示する。

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。ここでは、画像フレーム群における画像の変化をグラフ化する画像処理を行う。上述した画像選択受付部４１、差分値パターン受付部４２、画像処理部４３、エリア指定受付部４４、及び色指定受付部４５は、グラフ化処理のための画像処理モジュールを実行可能である。そして、画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、タイムラインの中で画像処理の対象となるフレーム群を選択する。このとき、タイムラインの全フレームを処理対象とすることも、もちろん可能である。このフレーム群が上述した選択フレーム群となる。画像選択受付部４１は、ユーザが選択フレーム群の選択を行う操作を検知すると、いずれのフレームが選択されたかを、選択フレーム群領域５２に記憶する。こうして、選択フレーム群が選択された状態で、ユーザは画像処理を開始する。まず、差分値パターン受付部４２が、基本画面Ｗ１のプルダウンメニューなどからグラフ化の画像処理が選択されたことを検知すると、図４のようなダイアログボックスＤ１を表示し、ユーザに、いずれの差分値を生成するかを入力させる。この差分値は、フレーム画像の変化を算出するためのものであり、既定値は第１差分値になっているが、プルダウンメニューにより、第２差分値も選択可能となっている。ここで、各差分値について説明する。

(1) 第１差分値
図５に示すように、まず、隣接するフレーム画像であるフレーム画像１とフレーム画像２との間で、対応する位置（座標）の画素の画素値を抽出し、その差分を求める。差分は絶対値とする。そして、すべての座標について差分を求めた後、その中で最も大きい差分を、隣接するフレーム画像間の第１差分値とする。第１差分値は、隣接するフレーム画像の中の一部が変化するような場合を抽出する際に有効である。

(2) 第２差分値
第１差分値と同様に、まず、隣接するフレーム画像間の対応する位置（座標）の画素値を抽出し、その差分（絶対値）を求める。そして、すべての座標について差分を求めた後、これら差分を平均した値を第２差分値とする。第２差分値は、隣接するフレーム画像間の変化がわずかなものであっても、画像の全体に亘って変化するような場合に有効である。

そして、上記ダイアログボックスＤ１において、いずれかの差分値パターンを選択し、ＯＫボタンをクリックすると、画像処理部４３が処理を開始する。画像処理部４３は、選択された差分値パターンにしたがって、図６に示すように、選択フレーム群において、隣接するフレーム画像間の差分値を計算する。そして、算出された差分値を時系列に並べて差分値列を生成し、これを記憶部３０の差分値領域５３に記憶する。続いて、画像処理部４３は、算出された差分値列から画像変化グラフを描画する。すなわち、図７に示すように、画像処理部４３は、基本画面Ｗ１のタイムランバーＴ５上に重ねて、折れ線による画像変化グラフＧを描画する。なお、この例では、タイムラインの全フレームが、処理対象である選択フレーム群Ａ１となっている。

このグラフでは、タイムラインバーＴ５の上下方向の位置が、差分値を表している。すなわち、差分値が大きいほど、タイムラインバーＴ５の上方に描画される。このグラフを見ると、高い値を示している部分が、フレーム画像間に大きい変化が生じた時間帯であることがわかる。そして、ユーザは、画像変化グラフＧを見ながら、タイムラインバーＴ５において、変化の大きい箇所と対応する箇所を選択すると（例えば、マウスでクリック）、その箇所に対応するフレーム画像が表示ウィンドウＷ２に表示される。したがって、ユーザは、変化の大きい箇所のみを選択して、画像の変化を確認することができる。

ここで、上述した画像処理の一例を示す。図８は、１８０枚のフレーム画像で構成されたタイムラインの一部を示している。図８（ａ）〜図８（ｌ）は、図示の通り、開始からおおむね０．５秒ごとのフレーム画像を示している。このタイムライン全体に対し、上述した画像処理を施した例を図９に示す。図９（ａ）は第１差分値を用いた画像変化グラフであり、図９（ｂ）は第２差分値を用いた画像変化グラフである。なお、いずれのグラフも差分値が所定値以上となっているが、これはノイズを含んでいることによると考えられる。図８に示すように、このタイムラインでは、自動車が徐々に近接する動画が示されているが、開始から１．５秒ぐらいまでは画像に占める自動車の大きさは大きく変化せず、徐々に変化しているが、２秒経過ぐらいから画像に占める自動車の割合が大きくなり、変化も大きくなっている。そして、開始から４秒以降は画像にほとんど変化がないが、５秒から５．５秒にかけて、ごく短時間の間に画像が変化している（図８（ｋ）と図８（ｌ）との間の変化（ｘ，ｙ参照））。

そして、図９（ａ）に示す第１差分値を用いた場合には、おおむね同じ差分値がピークになっており、このピークが１３０フレームぐらいまで均一に現れ、その後、１６０フレーム近辺で同様の大きさのピークが現れている。これは、第１差分値が、大きい変化のみならず、フレーム画像の一部に生じている小さい変化も検出していることを示している。すなわち、自動車が、徐々に近づき（約０〜２秒：８０フレームぐらいまで）、その後、画面内で大きく動いた後（約２〜４秒：８０〜１３０フレームぐらいまで）、停止し（約４〜５秒：１３０〜１５０フレームぐらいまで）、最後にわずかに移動している（約５〜５．５秒：１５０〜１６０フレームぐらいまで）という、画面内のわずかな変化を含めた挙動を検出していることを示している。一方、図９（ｂ）に示す第２差分値を用いた場合には、上述した自動車の大きい動きを示す箇所（約２〜４秒：８０〜１３０フレームぐらいまで）で、差分値のピークを示している。すなわち、差分値の平均に基づく第２差分値を用いる場合には、フレーム画像の小さい領域での変化は検出されにくく、大きい領域での変化が検出されている。

したがって、以上の結果からすると、第１差分値を用いた場合には、画像の一部で生じるわずかな変化をグラフ化することができ、第２差分値を用いた場合には、例えば変化の度合いは小さくでも画像の大きい部分で生じる変化をグラフ化することができる。

＜３．特徴＞
以上のように、本実施形態によれば、時系列で隣接するタイムライン上の画像の画素値の差分に基づく差分値を導出し、これら差分値を時系列に並べることで、差分値の変化を示す画像変化グラフＧを表示している。そのため、タイムライン上で、画像の変化が大きい箇所を容易に視認することができる。したがって、画像変化グラフＧの中で、差分値の変化が大きい箇所の画像を確認すれば、タイムライン上での画像の変化が大きい箇所のみを容易に検出することができる。その結果、長時間に亘る動画であっても、その中から、変化が生じた箇所の検出を容易に行うことができ、作業負担を軽減することができる。例えば、防犯カメラで撮影された動画のように、長時間に及ぶ画像を、本実施形態に係る画像処理装置（画像処理プログラム）で解析する際には、特に有利であり、録画時間全体をチェックすることなく、動画の中で変化が生じた箇所のみを簡単に抽出することができる。

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜４−１＞
上記実施形態では、画像変化グラフＧとして、折れ線グラフを用いているが、本発明に係る時系列差分画像としては、差分値の変化の表示方法は特には限定されない。例えば、棒グラフ、ドットグラフなど差分値の変化が視認できれば、どのようなグラフでも構わない。また、グラフのほか、数値のみを時系列に沿って並べることもできるし、実際の数値のほか、例えば、変化の度合いを数段階で表示し、これをグラフや数値で示すこともできる。

＜４−２＞
また、上記実施形態では、タイムライン上に差分値の変化を表示しているが、例えば、図１０に示すように、タイムラインバーＴ５と、画像変化グラフＧを隣接して表示することもできる。あるいは、差分値の変化を読み取るだけであれば、画像変化グラフＧのみをタイムラインバーＴ５とは離れた位置に表示することもできる。なお、タイムラインバーは、本発明に係るタイムライン画像であり、タイムラインと対応する棒状の画像であるが、タイムライン画像としての態様は、図１１に示すように、フレーム画像を並べたものであってもよい。その他、タイムラインと対応して、任意の位置を選択する入力を受け付けたとき、その位置に対応するタイムライン上の画像を表示するように構成されていれば、表示の形式は特には限定されない。

＜４−３＞
上記実施形態において、差分値は、画素値の差から得られた直接の数値を用いているが、これに限定されず、得られた画素値の差を適宜加工することもできる。例えば、絶対的な数値を用いるのではなく、所定の数値に対する相対値であってもよい。また、グラフ化する際も同様であり、差分値列をそのまま用いる以外に、所定の数値に対する相対値を用いてグラフ化することもできる。

＜４−４＞
上記実施形態では、差分値パターンとして、２つの例を示したが、フレーム画像間の差分値を求めることができるのであれば、これに限定されない。また、グラフ化するに当たって、ノイズ除去処理を行うこともできる。例えば、特開２０１０−３３５２７号公報、特開２０１０−８７７６９号公報、及び特開２０１０−１４１３５号公報に記載されているように、各フレーム画像の粒状ノイズを取り除いた後、差分値を求めることもできる。これにより、フレーム画像間の変化がない場合に、差分値を０に近づけることができ、変化のある箇所をより顕著に視覚化することができる。図１２は、ノイズ除去処理を行った後の差分値列をグラフ化したものである。図１２（ａ）は図８（ａ）に対応し、図１２（ｂ）は図８（ｂ）に対応している。いずれのグラフも、フレーム画像間の変化が少ない場合には、差分値が０に近くなっており、変化を読み取りやすくなっている。

＜４−５＞
ところで、タイムラインを構成する画像には、時間とともに変化する文字が含まれている場合がある。例えば、防犯カメラの映像には、図１３に示すように、撮影時刻が含まれている場合が多い。この場合、画像処理プログラムにおいて、文字の変化を差分と判断されると、本来抽出すべき画像の変化を正確に認識できないおそれがある。そのため、撮影日時のような時間とともに変化する文字、その他の変化する記号または図形に対しては、自動的あるいはユーザのマニュアル操作によって、予め画像処理領域から除外するように設定することができる。このとき、文字等を自動的に認識し、文字等のみを除外することもできるし、文字等が含まれた任意の領域を除外することもできる。

＜４−６＞
上記実施形態では、フレーム画像全体を画像処理の対象としているが、画像処理領域は、ユーザの指定により任意の領域に設定することができる。例えば、エリア指定受付部４４は、画像処理を行う画像の領域の指定をユーザから受け付けてもよい。そして、画像処理部４３は、指定された画像の領域内における差分値を導出してもよい。

具体例を挙げると、エリア指定受付部４４は、図１４に示すように、画像処理に先立って、ユーザの入力部２０を介した操作に応じて、フレーム画像の中の任意の領域の指定を受け付ける。そして、画像処理部４３は、エリア指定受付部４４が受け付けた領域内の画素を対象として上述した差分値を導出する。これにより、ユーザが指定した領域のみの画像変化グラフＧを生成することができる。

＜４−７＞
また、画像変化グラフＧに基づいて、画像を解析する場合、上記のようにマニュアルで差分値の大きいフレーム画像を選択するほか、差分値が所定値以上のフレーム画像のみを抽出することができる。例えば、差分値が所定値以上のフレーム画像のみを自動的に選択（サーチ）して表示させたり、そのようなフレーム画像のみをまとめて保存することもできる。このとき、選択されたフレーム画像のみならず、その周辺のフレーム画像も併せて抽出することができる。

＜４−８＞
また、上記実施形態では、画像処理の対象となりうる、アクティブファイル群に含まれる画像の種類は限定されていない。当該アクティブファイル群に含まれる画像は、カラー画像であってもよいし、白黒画像であってもよい。そして、アクティブファイル群に含まれる画像がカラー画像で与えられる場合に、画像処理部４３は、特定の色に着目せずに上述の差分値を導出してもよいし、特定の色に着目して上述の差分値を導出してもよい。アクティブファイル群に含まれる画像がカラー画像で与えられる場合、当該画像の画素値は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）成分、Ｃ（シアン）Ｍ（マゼンタ）Ｙ（イエロー）成分等、複数の色成分を有する場合がある。以下では、画素値がＲＧＢ成分を有する場合を例にして、差分値の導出の具体例を示す。

図１５は、図５と同様に、隣接するフレーム画像であるフレーム画像１とフレーム画像２を例示する。図１５に示されるとおり、フレーム画像１の画素値１（Ｒ１，Ｇ１，Ｂ１）とフレーム画像２の画素値２（Ｒ２，Ｇ２，Ｂ２）とは、フレーム画像１とフレーム画像２との間で対応する位置（座標）の画素の画素値であるとする。

（特定の色に着目せずに差分値を導出する場合）
画像処理部４３は、特定の色に着目せずに上述した差分値を導出する場合、例えば、数１に示されるようなＲＧＢ成分のうち最も値の差の大きい色成分を利用して、その差分Ｓ（絶対値）を求めてもよい。なお、数１において、｜｜は絶対値、max[a,b,c]は、a、b、cのうちの最大値を示す。

そして、画像処理部４３は、全ての座標について数１で示される差分Ｓを求めた後、隣接するフレーム画像間の上述した第１差分値として、その中で最も大きい差分Ｓ_maxを特定してもよい。または、画像処理部４３は、全ての座標について数１で示される差分Ｓを求めた後、隣接するフレーム画像間の上述した第２差分値として、全ての座標についての差分Ｓを平均した値Ｓ_aveを算出してもよい。

また、画像処理部４３は、その他の方法として、例えば、数２に示されるようなＲＧＢ成分それぞれの差（絶対値）の合計を利用して、その差分Ｓを求めてもよい。そして、画像処理部４３は、上述と同様に、全ての座標について差分Ｓを求めた後、その中で最も大きい差分Ｓ_maxを第１差分値として特定してもよいし、全ての座標についての差分Ｓを平均した値Ｓ_aveを第２差分値として算出してもよい。

また、画像処理部４３は、その他の方法として、例えば、数３に示されるような２つの画素値間の距離を利用して、その差分Ｓを求めてもよい。そして、画像処理部４３は、上述と同様に、全ての座標について差分Ｓを求めた後、その中で最も大きい差分Ｓ_maxを第１差分値として特定してもよいし、全ての座標についての差分Ｓを平均した値Ｓ_aveを第２差分値として算出してもよい。

（特定の色に着目して差分値を導出する場合）
画像処理部４３は、特定の色に着目して上述の差分値を導出する場合、例えば、当該特定の色に関連する特定の色成分の値に限定して、上述した数１〜３のいずれかの差分Ｓを求めることで、第１差分値及び第２差分値を導出することができる。なお、１種類の色成分の値に限定して差分Ｓを求める場合は、数１〜３それぞれの差分Ｓはその色成分の値の差と同じになる。

しかしながら、特定の色成分の値に限定して差分値を導出した場合、着目する色以外の要素が含まれることがある。例えば、赤色に着目して差分値を導出する場合に、Ｒ成分の値に限定して差分値を導出したとすると、白色（２５５，２５５，２５５）、赤色（２５５，０，０）、黄色（２５５，２５５，０）、マゼンタ（２５５，０，２５５）を区別せずに差分値が導出されることになり、差分値を導出するために着目する色に赤色以外の要素も含まれてしまう可能性がある。また、画素値に含まれる複数の色成分の値は、互い類似した変化を示す場合がある。

これらの場合に対処するために、画像処理部４３は、特定の色以外の要素の影響を減らし、かつ、画素値に含まれる各色成分に共通に含まれる部分を除去するように、差分値を導出してもよい。以下では、このような場合に、画像処理部４３が差分値を導出する方法を例示する。なお、以下の例では、画像処理部４３は、赤色（Ｒ）、緑色（Ｇ）、及び、青色（Ｂ）を、差分値を導出するために着目する特定の色として取り扱っていると仮定している。

画像処理部４３は、フレーム画像の画素値を（Ｒ，Ｇ，Ｂ）とすると、まず、赤色（Ｒ）、緑色（Ｇ）、及び、青色（Ｂ）それぞれ以外の色の要素の影響を減らし、かつ、各色成分に共通に含まれている部分を除去するために、数４に示される変換を行う。

この時点では、隣接するフレーム画像間の対応する位置の画素値の差分はまだ考慮されていない。そこで、上述したフレーム画像１及びフレーム画像２を例に説明すると、画像処理部４３は、隣接するフレーム画像間の対応する位置の画素値の差分として、上述した数１〜３のいずれかの方法で、当該数４の変換が行われていない画素値を用いて、画素毎の差分Ｓを求める。そして、画像処理部４３は、数５に示されるように、フレーム画像２の画素毎について求めた（Ｒａ，Ｇａ，Ｂａ）にＳを変化率として適用することで、隣接するフレーム画像間の対応する位置の画素値についての、赤色、緑色、及び、青色に関する差分（Ｒｂ，Ｇｂ，Ｂｂ）を求める。数５において、Ｓ／２５５は、隣接するフレーム画像間の対応する位置の画素値の差分の変化率を示す。数５では、Ｓの取りうる範囲が０〜２５５であると仮定している。なお、差分Ｓの代わりに、上述したＳ_maxが用いられてもよい。

そして、画像処理部４３は、差分値を導出するために着目する特定の色として赤色が指定されている場合、赤色に着目して導出する差分値として、フレーム画像２の各画素について求めたＲｂのうちの最大値を第１差分値として取得してもよい。また、画像処理部４３は、赤色に着目して導出する差分値として、フレーム画像２の各画素について求めたＲｂの平均値を第２差分値として取得してもよい。緑色及び青色についても同様である。

また、画像処理部４３は、特定の色に着目して差分値を導出するために、指定された色の画素値を基準に用いてもよい。図１５に示される隣接するフレーム画像が与えられている状態で、画素値（ＲＸ，ＧＸ，ＢＸ）の色が指定されたと仮定して、以下、差分値の導出の具体例を示す。

画像処理部４３は、例えば、数３と同様の方法で、画素値１及び画素値２それぞれと指定された色の画素値との距離（スカラ値）を求める。次に、画像処理部４３は、指定された色の画素値と隣接するフレーム画像のそれぞれの画素値との距離の差分を求める。そして、画像処理部４３は、指定された色の画素値を基準に導出される差分値として、上述と同様の方法により、第１差分値又は第２差分値を求めてもよい。

画像処理部４３は、例えば、画素値１又は画素値２のいずれかが指定された画素値と同一又は近似される場合に、数１〜数３を用いて説明したいずれかの方法で、画素値１と画素値２との差分を求める。他方、画像処理部４３は、画素値１及び画素値２のいずれも指定された画素値と同一及び近似しない場合、画素値１と画素値２との差分は０とする。そして、画像処理部４３は、指定された色の画素値を基準に導出される差分値として、全ての座標について当該差分を求めた後は、上述と同様の方法により、第１差分値又は第２差分値を求めてもよい。

また、画像処理部４３は、数６に示されるように、指定された色の画素値の各色成分を比重として利用することで、画素値１と画素値２との差分Ｓを求めてもよい。そして、画像処理部４３は、指定された色の画素値を基準に導出される差分値として、全ての座標について当該差分を求めた後は、上述と同様の方法により、第１差分値又は第２差分値を求めてもよい。

また、画像処理部４３は、色相（Hue）又は彩度（Saturation-Chroma）から差分値を導出してもよい。画像処理部４３は、フレーム画像の画素値を（Ｒ，Ｇ，Ｂ）として、数７で示されるＸ、Ｙを求める。なお、色相Ｈ及び彩度Ｓは、数８で示されるように、Ｘ及びＹで表される。

ここで、フレーム画像１の画素値から求められるＸ、ＹをそれぞれＸ１、Ｙ１とし、フレーム画像２の画素値から求められるＸ、ＹをそれぞれＸ２、Ｙ２とすると、色相の差ｄＨ及び彩度ｄＳは、数９により表現される。

そこで、画像処理部４３は、フレーム画像の各画素について求められるｄＨ又はｄＳのうちの最大値を第１差分値として導出してもよく、また、フレーム画像の各画素について求められるｄＨ又はｄＳの平均値を第２差分値として導出してもよい。色相、彩度を用いたＨＳＶモデルは、人間の感覚に近いカラーモデルである。そのため、このように差分値を求めることで、ＲＧＢモデルを利用した場合に比べて、人間の感覚をより反映した画像変化グラフを得ることができる。

差分値は、上述したいずれの方法で求められてもよい。差分値を求める方法は適宜設定される。例えば、色指定受付部４５が、差分値を導出するために着目する色の選択をユーザから受け付けることで、差分値を求める方法が設定されてもよい。

また、色指定受付部４５は、差分値を導出するために特定の色に着目するか否かの選択をユーザから受け付けることで、差分値を求める方法が設定されてもよい。なお、この場合、色指定受付部４５は、特定の色に着目することを選択するとともに、又は、特定の色に着目することを選択した後に、差分値を導出するために着目する特定の色の指定をユーザから受け付ける。

図１６は、色指定受付部４５が、差分値を導出するために特定の色に着目するか否かの選択をユーザから受け付けるために、ディスプレイ１０に表示させるプルダウンメニューを例示する。なお、当該プルダウンメニューは、基本画面Ｗ１の一部に組み込まれていてもよい。プルダウンメニューの項目「ＲＧＢ」は、「差分値を導出するために特定の色に着目しない」を選択することに対応する。また、プルダウンメニューの項目「Ｒ」「Ｇ」「Ｂ」は、それぞれ、差分値を導出するために着目する特定の色として「赤色」「緑色」又は「青色」を指定することに対応する。

＜４−９＞
また、色指定受付部４５は、色の指定をユーザから受け付けてもよい。この場合、画像処理部４３は、指定された色の画素を含む画像の存在するタイムライン上の範囲を示すようなタイムラインバーＴ５（タイムライン画像）を生成してもよい。図１７は、このようなタイムライン画像の一例を示す。この場合、例えば、画像処理部４３は、アクティブファイル群に含まれる画像に指定された色の画素が含まれているか否かを判定し、当該指定された色の画素を含む画像の存在するタイムライン上の範囲を特定して、特定した範囲を明示するようなタイムラインバーＴ５を生成してもよい。これによって、ユーザは、画像の変化とともに、指定した色の存在を確認することができる。

＜４−１０＞
なお、本実施形態では、動画ファイルを静止画ファイル群として取り込んで、当該静止画ファイル群に含まれる静止画ファイルに対して画像処理を行う例を説明した。しかしながら、画像処理の対象は、当該静止画ファイル群に限定されず、動画ファイルそのものであってもよい。

ここで、動画ファイルには、静止画ファイルと同様のフレームの他に、フレーム間予測により符号化されたフレームが含まれる場合がある。このような場合、画像処理部４３は、当該動画ファイルを復号化して得られるフレーム画像を用いて、隣接するフレーム画像間の差分値を計算してもよい。

１ 画像処理装置（コンピュータ）
１０ ディスプレイ（表示部）
２ 画像処理プログラム
４３ 画像処理部
Ｇ 画像変化グラフ（時系列差分画像）
Ｔ５ タイムラインバー（タイムライン画像）

Claims (12)

1. １のタイムライン上のフレーム画像群に対して、画像処理を行う画像処理プログラムであって、
   前記フレーム画像群において時系列で隣接するフレーム画像の画素値の差分に基づく差分値を導出するとともに、当該差分値の時系列の変化を示す時系列差分画像を表示するステップと、
   前記タイムラインと時系列に対応するタイムライン画像を表示するステップと、
   前記タイムライン画像上の任意の位置を選択する入力を受け付けたとき、当該位置に対応する前記タイムライン上の前記フレーム画像を表示するステップと、
   色の指定をユーザから受け付けるステップと、
   をコンピュータに実行させ、
   前記時系列差分画像を表示するステップでは、前記タイムライン画像と時系列において対応するように前記時系列差分画像を表示し、
   前記タイムライン画像上では、指定された色の画素を含むフレーム画像の存在するタイムライン上の範囲が示される、
   画像処理プログラム。
2. 前記差分値は、隣接する前記フレーム画像間の対応する位置の画素値の差のうち、最も大きい画素値の差に基づいて導出される、
   請求項１に記載の画像処理プログラム。
3. 前記差分値は、隣接する前記フレーム画像間の対応する位置の画素値の差を導出し、すべての位置の差を平均化した平均値に基づいて導出される、
   請求項１に記載の画像処理プログラム。
4. 前記差分値は、少なくとも
   隣接する前記フレーム画像間の対応する位置の画素値の差のうち、最も大きい画素値の差に基づいて導出される第１差分値、または
   隣接する前記フレーム画像間の対応する位置の画素値の差を導出し、すべての位置の差を平均化した平均値に基づいて導出される第２差分値、から選択可能であり、
   前記時系列差分画像を表示するステップに先立って、前記第１差分値及び第２差分値のいずれかの選択をユーザから受け付けるステップをさらに備えている、
   請求項１に記載の画像処理プログラム。
5. 前記時系列差分画像は、グラフにより表されている、
   請求項１から４のいずれか１項に記載の画像処理プログラム。
6. 前記画像処理を行うフレーム画像の領域の指定をユーザから受け付けるステップを更に備え、
   指定されたフレーム画像の領域内における前記差分値が導出される、
   請求項１から５のいずれか１項に記載の画像処理プログラム。
7. 前記フレーム画像群に含まれるフレーム画像がカラー画像で与えられる場合、特定の色に着目せずに前記差分値が導出される、
   請求項１から６のいずれか１項に記載の画像処理プログラム。
8. 前記フレーム画像群に含まれるフレーム画像がカラー画像で与えられる場合、特定の色に着目して前記差分値が導出される、
   請求項１から６のいずれか１項に記載の画像処理プログラム。
9. 前記フレーム画像群に含まれるフレーム画像がカラー画像で与えられる場合、前記差分値を導出するために着目する特定の色の選択をユーザから受け付けるステップを更に備え、
   選択された特定の色に着目して前記差分値が導出される、
   請求項１から６のいずれか１項に記載の画像処理プログラム。
10. 前記フレーム画像群に含まれるフレーム画像がカラー画像で与えられる場合、前記差分値を導出するために特定の色に着目するか否かの選択をユーザから受け付けるステップを更に備え、
    前記差分値を導出するために特定の色に着目しないことが選択された場合には、特定の色に着目せずに前記差分値が導出され、
    前記差分値を導出するために特定の色に着目することが選択された場合には、該選択においてユーザにより指定される特定の色に着目して前記差分値が導出される、
    請求項１から６のいずれか１項に記載の画像処理プログラム。
11. １のタイムライン上のフレーム画像群に対して、画像処理を行う画像処理プログラムであって、
    前記フレーム画像群において時系列で隣接するフレーム画像の画素値の差分に基づく差分値を導出するとともに、当該差分値の時系列の変化を示す時系列差分画像を表示するステップ、
    をコンピュータに実行させ、
    前記差分値は、少なくとも
    隣接する前記フレーム画像間の対応する位置の画素値の差のうち、最も大きい画素値の差に基づいて導出される第１差分値、または
    隣接する前記フレーム画像間の対応する位置の画素値の差を導出し、すべての位置の差を平均化した平均値に基づいて導出される第２差分値、から選択可能であり、
    前記時系列差分画像を表示するステップに先立って、前記第１差分値及び第２差分値のいずれかの選択をユーザから受け付けるステップを更に備えている、
    画像処理プログラム。
12. １のタイムライン上のフレーム画像群に対して、画像処理を行う画像処理装置であって、
    前記フレーム画像群において時系列で隣接するフレーム画像の画素値の差分に基づく差分値を導出し、当該差分値の時系列の変化を示す時系列差分画像を生成する画像処理部であって、色の指定をユーザから受け付ける画像処理装置と、
    前記時系列差分画像、前記タイムラインと時系列に対応するタイムライン画像、及び前記タイムライン画像上の任意の位置を選択する入力を受け付けたとき、当該位置に対応する前記タイムライン上の前記フレーム画像を表示する表示部と、
    を備え、
    前記表示部は、前記タイムライン画像と時系列において対応するように前記時系列差分画像を表示し、
    前記タイムライン画像上では、指定された色の画素を含むフレーム画像の存在するタイムライン上の範囲が示される、
    画像処理装置。