JP2014110020A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】映像の時空間変化の特徴に基づいて、より高精度かつ高速でシーンチェンジを検出する。
【解決手段】本発明に係る画像処理装置は、学習用映像データを取得する第１取得部１１と、学習用映像データから、映像の時空間変化の特徴を抽出する第１特徴抽出部１２と、第１特徴を用いて、場面の切り替わりの有無を学習する学習部１０と、表示用映像データを取得する第２取得部１１’と、表示用映像データから、映像の時空間変化の特徴を抽出する第２特徴抽出部１３’と、第２特徴および学習部１０により得られた学習結果に基づき、場面の切り替わりの有無を推定する推定部１２’と、を有し、第１特徴および第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかを含む。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、テレビ映像等の連続する複数のフレーム画像を含む映像において、フレーム画像間の場面の切り替わり（シーンチェンジともいう）を検出する需要がある。たとえば、テレビコマーシャルを含む映像において、テレビコマーシャル前後のシーンチェンジを検出することにより、テレビコマーシャルの部分をスキップさせて、テレビコマーシャル以外の映像を表示させることができる。

これに関連した技術として、物の動きを表現する映像において、動く前の物を含むフレーム画像と、動いた後の当該物を含むフレーム画像との間の画素毎の誤差値に基づいて、シーンチェンジを検出するものがある（たとえば、特許文献１）。具体的には、この技術では、動く前の物のフレーム画像内での位置から、動いた後の当該物の、時間的に後のフレーム画像内での位置までの平面的な距離を、動きベクトルとして検出する。そして、時間的に後のフレーム画像内での動きベクトル先のフレーム画像の一部をブロックとして切り出して、切り出したブロックと、動く前の物を含むブロックとの間のピクセル毎の誤差値の和を算出し、算出値に基づいてシーンチェンジを検出する。

また、シーンチェンジを検出するために、フレーム画像内の特徴点のマッチング数を特徴量として算出するＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムや、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いる技術もある（たとえば、非特許文献１および非特許文献２）。

特開平０８−１０２９３８号公報

Ｌｉ， Ｊ．， Ｄｉｎｇ， Ｙ．， Ｓｈｉ， Ｙ．， Ｌｉ, Ｗ．："Ａ Ｄｉｖｉｄｅ−Ａｎｄ−Ｒｕｌｅ Ｓｃｈｅｍｅ Ｆｏｒ Ｓｈｏｔ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ ｏｎ ＳＩＦＴ";ＪＤＣＴＡ（２０１０）ｐｐ．２０２−２１４ Ａ． Ｍｉｅｎｅ， Ｔｈ． Ｈｅｒｍｅｓ， Ｇ． Ｔ． Ｉｏａｎｎｉｄｉｓ， Ｏ． Ｈｅｒｚｏｇ："Ａｕｔｏｍａｔｉｃ Ｓｈｏｔ Ｂｏｕｎｄａｒｙ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄｓ"，［平成２４年９月１２日検索］，インターネット＜http://www-nlpir.nist.gov/projects/tvpubs/tvpapers03/ubremen.paper.pdf＞

しかしながら、上記特許文献１記載の技術では、シーンチェンジの検出の際に、動きベクトルを検出したり、動きベクトルを用いてフレーム画像からブロックの切り出しを行ったりしなくてはならず、その分処理時間が余計にかかる。また、上記非特許文献１および非特許文献２記載の技術では、処理量の多いＳＩＦＴアルゴリズムやＦＦＴを用いるので、処理時間がかかる。

本願発明は、上記課題に鑑みてなされたものであり、従来よりも高精度かつ高速でシーンチェンジを検出することのできる画像処理装置、画像処理方法および画像処理プログラムを提供する。

上記目的を達成するための本発明による画像処理装置は、連続する複数のフレーム画像についてのデータを含む学習用映像データを取得する第１取得部と、前記学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出する第１特徴抽出部と、前記第１特徴を用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する学習部と、連続する複数のフレーム画像についてのデータを含む表示用映像データを取得する第２取得部と、前記表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する第２特徴抽出部と、前記第２特徴および前記学習部により得られた学習結果に基づき、連続するフレーム画像間での場面の切り替わりの有無を推定する推定部と、を有し、前記第１特徴および前記第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかの共起確率を含むことを特徴とする。

また、上記目的を達成するための本発明による画像処理方法は、連続する複数のフレーム画像についてのデータを含む学習用映像データを取得するステップ（ａ）と、前記学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出するステップ（ｂ）と、前記第１特徴を用いて、連続するフレーム画像間での場面の切り替わりの有無を学習するステップ（ｃ）と、連続する複数のフレーム画像についてのデータを含む表示用映像データを取得するステップ（ｄ）と、前記表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する（ｅ）と、前記第２特徴および前記ステップ（ｃ）で得られた学習結果に基づき、連続するフレーム画像間での場面の切り替わりの有無を推定するステップ（ｆ）と、を有し、前記第１特徴および前記第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかの共起確率を含むことを特徴とする。

すなわち、本発明は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率、または、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率に基づいて、シーンチェンジを検出する。

本発明によれば、従来よりも高精度かつ高速でシーンチェンジを検出することができる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図である。 時空間特徴抽出部の構成を示すブロック図である。 時空間変化の特徴量の説明に供する図である。 本実施形態に係る、シーンチェンジの有無を学習するための処理の手順を示すフローチャートである。 本実施形態に係る、フレーム画像および時空間変化特徴量の共起ヒストグラムを例示する図である。 本実施形態に係る、シーンチェンジの有無を推定するための処理の手順を示すフローチャートである。

以下、本発明の実施形態を添付した図面を参照して説明する。

図１は、本発明の実施形態に係る画像処理装置１の構成を示すブロック図である。本実施形態に係る画像処理装置１は、図１に示すように学習部１０および推定部１０’を含み、連続する複数のフレーム画像についてのデータを含む映像データ内のシーンチェンジの有無に関する推定結果を出力する。学習部１０は、取得部１１、第１特徴抽出部１２およびシーンチェンジ学習部１７を含み、入力された学習用映像データから学習された、シーンチェンジを検出するための学習結果を出力する。第１特徴抽出部１２は、時空間特徴抽出部１３、距離計算部１４、フレーム間相関値計算部１５、および画面輝度平均差分計算部１６を含み、学習用映像に含まれる各フレーム画像から、複数種の特徴（特徴量または特徴ベクトル）を抽出する。

また、推定部１０’は、取得部１１’、第２特徴抽出部１２’およびシーンチェンジ推定部１７’を含み、シーンチェンジ学習部１７による学習結果に基づいて、表示用映像データからシーンチェンジの有無を推定して、推定結果を出力する。第２特徴抽出部１２’は、第１特徴抽出部１２と同様に、時空間特徴抽出部１３’、距離計算部１４’、フレーム間相関値計算部１５’および画面輝度平均差分計算部１６’を含み、表示用映像に含まれる各フレーム画像から、複数種の特徴（特徴量または特徴ベクトル）を抽出する。

以下、上記画像処理装置１の各構成について、それぞれ詳細に説明する。

取得部１１は、外部から、学習部１０がシーンチェンジの有無を学習するために準備された学習用映像データを取得する。取得部１１は、第１取得部として機能する。

第１特徴抽出部１２は、取得部１１により取得された学習用映像に含まれる各フレーム画像から、複数種の特徴を抽出し、シーンチェンジ学習部１７に出力する。複数種の特徴については後述する。

時空間特徴抽出部（以下、抽出部という）１３は、取得された学習用映像データに画像データとして含まれる各フレーム画像を相互に比較して、輝度の時空間変化を特徴量（第１特徴量）として算出し、シーンチェンジ学習部１７に出力する。詳細は図２を参照して後述する。

距離計算部１４は、フレーム画像毎にカラーヒストグラムを作成し、作成したカラーヒストグラムに基づいて、フレーム画像間の距離（類似度）を算出する。フレーム画像間の距離を算出する方法には、相関値やＭａｎｈａｔｔａｎ距離を用いる方法等があるが、本実施形態では、たとえば下記数式１に示されるＩｎｔｅｒｓｅｃｔｉｏｎ距離を用いる。

ここで、Ｄはフレーム画像間距離、Ｙ，Ｃｒ，Ｃｂはフレーム画像内の各色、ＮはカラーヒストグラムＨのビンの数、Ｈ（ｂ，ｔ）は時刻ｔにおけるフレーム画像のカラーヒストグラムのビンｂの値、ｍｉｎは時刻ｔおよびｔ−１におけるフレーム画像のカラーヒストグラムのビンの値のうち小さい方の値をそれぞれ示す。これにより、距離計算部１４は、フレーム画像間の類似度Ｄを算出し、これを特徴量（第２特徴量）としてシーンチェンジ学習部１７に出力する。

フレーム間相関値計算部（以下、相関値計算部という）１５は、フレーム画像間の相関度合を示す相関値（Ｃｏｒｒｅｌａｔｉｏｎ）を算出する。具体的には、相関値計算部１５は、まず、たとえば一フレーム画像内において隣接するブロック（以下、隣接ブロックという）間の輝度の差分Ｓを算出する。たとえば、フレーム画像内において横方向の座標をｘおよび縦方向の座標をｙとする場合、隣接ブロック間（［ｘ，ｙ］および［ｘ＋１，ｙ］におけるブロック）の輝度Ｉの差分は、下記数式２により算出される。

そして、相関値計算部１５は、数値Ｓから０〜１までの数値Ｅが求まるように、算出した数値Ｓを数値Ｅに線形変換する。たとえば、時刻ｔにおけるフレーム画像の数値Ｅは、下記数式３により算出される。

そして、相関値計算部１５は、下記数式４に従って、異なる時刻ｔおよびｔ−１におけるフレーム画像に対する数値Ｅの差分の絶対値に基づいて、当該フレーム画像間の相関値（Ｃｏｒｒｅｌａｔｉｏｎ）を算出する。

相関値計算部１５は、このように算出した相関値（Ｃｏｒｒｅｌａｔｉｏｎ）を、フレーム画像間の相関度についての特徴量（第３特徴量）としてシーンチェンジ学習部１７に出力する。

画面輝度平均差分計算部（以下、平均差分計算部という）１６は、フレーム画像ごとに輝度の平均値を算出して、フレーム画像間の平均輝度の差分を算出する。平均差分計算部１６は、このように算出した差分を、特徴量（第４特徴量）としてシーンチェンジ学習部１７に出力する。

シーンチェンジ学習部１７は、抽出部１３からの時空間変化特徴量（第１特徴量）、距離計算部１４からの画像間距離（第２特徴量）、相関値計算部１５からの相関値（第３特徴量）、および平均差分計算部１６からの平均輝度の差分（第４特徴量）に基づいて、シーンチェンジを学習する。具体的には、シーンチェンジ学習部１７は、第１特徴抽出部１２から得られた複数種の特徴量（第１〜第４特徴量）と、正解データとを関連付ける学習を行う。すなわち、シーンチェンジ学習部１７は、第１特徴抽出部１２から得られた複数種の特徴量から、シーンチェンジの有無を判定するための学習モデル（識別器）を生成する。たとえば、シーンチェンジ学習部１７は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴量（第１〜第４特徴量）を入力したときに正解データの値（シーンチェンジの有無）を出力するように数理モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果（学習パラメータ）として記憶される。

推定部１０’については後述する。

次に、図２および図３を参照して、抽出部１３の詳細な構成および各機能について詳細に説明する。

図２は時空間特徴抽出部の構成を示すブロック図、図３は時空間変化の特徴量の説明に供する図である。

図２に示すように、抽出部１３は、ブロック分割部１３ａ、時間的差分算出部１３ｂ、比率算出部１３ｃ、共起ヒストグラム作成部１３ｄ、１次元化処理部１３ｅを含む。また、抽出部１３は、空間的差分算出部１３ｆ、差分算出部１３ｇ、比率算出部１３ｈ、共起ヒストグラム作成部１３ｉおよび１次元化処理部１３ｊを含む。さらに、抽出部１３は、結合部１３ｋおよびフレーム画像の一部や数値等を一時的に記憶するためのバッファを備えている。

ブロック分割部１３ａは、入力されたフレーム画像を所定の大きさのブロックに分割する。分割されたブロック画像は、時間的差分算出部１３ｂおよび空間的差分算出部１３ｆに渡される。

時間的差分算出部１３ｂは、時間的に連続するフレーム画像内の、対応するブロック間の輝度の差分Ｔを算出する。たとえば、図３に示すように、時間的差分算出部１３ｂは、時刻ｔおよびｔ−１のフレーム画像間において、位置［ｘ，ｙ］のブロック間の輝度Ｉの差分Ｔ（ｘ，ｙ，ｔ）（＝Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ，ｙ，ｔ−１））を算出する。フレーム画像内の全てのブロックについて、Ｔが算出される。なお、時間的に先行するフレーム画像内のブロックの輝度を一時的に記憶するために、バッファが適宜用いられる。

比率算出部１３ｃは、異なる時刻のフレーム画像間について算出されたＴの時間的変化率を表すパラメータＬ_Ｔを算出する。具体的には、比率算出部１３ｃは、［ｘ，ｙ］に位置するブロックについて、時刻ｔの一時刻前ｔ−１に算出されたＴ（ｘ，ｙ，ｔ−１）を、時刻ｔに算出されたＴ（ｘ，ｙ，ｔ）により除算することにより、Ｌ_Ｔ（＝Ｔ（ｘ，ｙ，ｔ−１）／Ｔ（ｘ，ｙ，ｔ））を算出する。ここで、Ｌ_Ｔの値は、たとえば、小数点以下第１位までの数値に量子化される。また、分母が０（ゼロ）または非常に小さい値の場合、Ｌ_Ｔは、適宜設定される上限値として出力されうる。また、時間的に先行して算出されたＴを記憶するために、バッファが適宜用いられる。

共起ヒストグラム作成部１３ｄは、算出された値に基づいて、共起ヒストグラムを作成する。本実施形態では、共起ヒストグラムとは、たとえば２つの変数の組合せのうち、組合せが同一となる（共起する）ブロックの総数（投票数）をビンの値とする２次元ヒストグラムである。たとえば、共起ヒストグラム作成部１３ｄは、時間的差分算出部１３ｂおよび比率算出部１３ｃによりブロックごとに算出されたＴおよびＬ_Ｔの値の組合せに応じて各ブロックを分類し、同一の分類となるブロックの数を累積（投票）して、その投票数をビンの値とする共起ヒストグラムを作成する。共起ヒストグラムの詳細については後述する。

１次元化処理部１３ｅは、生成された共起ヒストグラムを表現する情報を１次元化する。具体的には、１次元化処理部１３ｅは、たとえばＴおよびＬ_Ｔを変数とする共起ヒストグラムについて、Ｔ、Ｌ_Ｔおよび共起確率の個々の値を所定順に羅列した情報に変換することにより、１次元的な情報に変換する。

空間的差分算出部１３ｆは、一フレーム画像内における隣接ブロック間の輝度の差分を算出する。たとえば、空間的差分算出部１３ｆは、図３に示すように、時刻ｔのフレーム画像内の［ｘ，ｙ］と［ｘ＋１，ｙ］とにおけるブロック間の輝度Ｉの差分Ｓ（ｘ，ｙ，ｔ）（＝Ｉ（ｘ＋１，ｙ，ｔ）−Ｉ（ｘ，ｙ，ｔ））を算出する。全ての隣接ブロック間について、Ｓが算出される。ブロックの輝度を一時的に記憶するために、バッファが適宜用いられる。

差分算出部１３ｇは、空間的差分算出部１３ｆにより算出されたＳの差分を算出する。具体的には、差分算出部１３ｇは、時刻ｔにおける位置［ｘ＋１，ｙ］および［ｘ，ｙ］のブロック間の輝度差Ｓ（ｘ，ｙ，ｔ）から、時刻ｔ−１における同位置のブロック間の輝度差Ｓ（ｘ，ｙ，ｔ−１）を減算して、Ｕ（ｘ，ｙ，ｔ）（＝Ｓ（ｘ，ｙ，ｔ）−Ｓ（ｘ，ｙ，ｔ−１））を算出する。なお、先行する時間において算出されたＳを一時的に記憶するために、バッファが適宜用いられる。

比率算出部１３ｈは、異なる時間について算出されたＵの時間変化率を表すパラメータＬ_Ｕを算出する。具体的には、比率算出部１３ｈは、［ｘ，ｙ］および［ｘ＋１，ｙ］のブロック間の輝度差Ｓの、時刻ｔ−２とｔ−１間における差分Ｕ（ｘ，ｙ，ｔ−１）を、同ブロック間の輝度差Ｓの、時刻ｔ−１とｔ間における差分Ｕ（ｘ，ｙ，ｔ）により除算して、Ｌ_Ｕ（＝Ｕ（ｘ，ｙ，ｔ−１）／Ｕ（ｘ，ｙ，ｔ））を算出する。ここで、Ｌ_Ｕの値は、上述のＬ_Ｔと同様に、小数点以下第１までの数値に量子化してもよい。また、分母が０（ゼロ）または非常に小さい値の場合、Ｌ_Ｕは、適宜設定される上限値として出力されうる。また、先行する時間において算出されたＵを一時的に記憶するために、バッファが適宜用いられる。

共起ヒストグラム作成部１３ｉは、上述の共起ヒストグラム作成部１３ｄと同様に、共起ヒストグラムを作成する。たとえば、共起ヒストグラム作成部１３ｉは、差分算出部１３ｇおよび比率算出部１３ｈにより隣接ブロックごとに算出されたＵおよびＬ_Ｕの値の組合せに応じて、各隣接ブロックを分類し、同一の分類となる隣接ブロックの数を累積（投票）して、その投票数をビンの値とする２次元ヒストグラムを作成する。共起ヒストグラムの詳細については後述する。

１次元化処理部１３ｊは、上述の１次元化処理部１３ｅと同様に、作成された共起ヒストグラムを１次元的な情報に変換する。

結合処理部１３ｋは、１次元化処理部１３ｅおよび１次元化処理部１３ｊにより１次元化された情報を結合して、結合した情報を時空間変化特徴量（第１特徴量）として出力する。

次に、推定部１０’（図１参照）について詳細に説明する。

推定部１０’は、表示用映像データを取得して、当該映像データ内のシーンチェンジを推定して、推定結果を出力する。推定部１０’の取得部１１’、第２特徴抽出部１２’、時空間特徴抽出部１３’、距離計算部１４’、フレーム間相関値計算部１５’および画面輝度平均差分計算部１６’の機能は、上述した学習部１０の対応する各部の機能と同様であるので、重複を避けるために、その説明を省略する。

シーンチェンジ推定部１７’は、時空間特徴抽出部１３’、距離計算部１４’、フレーム間相関値計算部１５’および画面輝度平均差分計算部１６’により算出された、表示用映像データについての特徴量と、学習部１０により取得された学習結果（学習モデル）とに基づいて、表示用映像データ内のシーンチェンジの有無を推定する。

また、シーンチェンジ推定部１７’は、時空間特徴抽出部１３’により算出された特徴量ＳおよびＴに基づいて、シーンチェンジの種類を識別できる。たとえば、シーンの急な変化を表すハードカット（Ｈａｒｄｃｕｔ）や、シーンが徐々に変化するディゾルブ（Ｄｉｓｓｏｌｖｅ）を検出できる。具体的には、シーンチェンジ推定部１７’は、Ｔ（ｘ，ｙ，ｔ）≠Ｔ（ｘ，ｙ，ｔ−１）かつＳ（ｘ，ｙ，ｔ）≠Ｓ（ｘ，ｙ，ｔ−１）の場合、ハードカットであると判断し、Ｔ（ｘ，ｙ，ｔ）≒Ｔ（ｘ，ｙ，ｔ−１）かつＳ（ｘ，ｙ，ｔ）≒Ｓ（ｘ，ｙ，ｔ−１）の場合、ディゾルブであると判断する。このとき、シーンチェンジ学習部１７は、シーンチェンジの種類を学習可能なように構成される。

なお、画像処理装置１の上記各部は、制御部（不図示）により制御される。たとえば、制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がストレージにインストールされているプログラムをメモリーに読み出して実行することにより実現される。

次に、図４および図５を参照して、本実施形態に係る画像処理装置１によりシーンチェンジの有無を学習する処理の手順について詳細に説明する。

図４は本実施形態に係る、シーンチェンジの有無を学習するための処理の手順を示すフローチャート、図５は本実施形態に係る、フレーム画像および時空間変化特徴量の共起ヒストグラムを例示する図である。

図４に示すように、まず、学習用映像データが取得される（ステップＳ１）。このステップでは、学習部１０の取得部１１が、学習用の映像データを取得する。

続いて、学習用映像の時空間変化の特徴（上記の第１特徴量）が抽出される（ステップＳ２）。このステップでは、時空間特徴抽出部１３が、ステップＳ１で取得された学習用映像データについて、時空間変化特徴量を抽出する。具体的には、時空間特徴抽出部１３は、上述のように、学習用映像に含まれる各フレーム画像についてＴおよびＳを算出し、Ｓに基づいてＵを算出し、ＴおよびＵに基づいてＬ_ＴおよびＬ_Ｕを算出する。そして、ＴおよびＬ_Ｔ並びにＵおよびＬ_Ｕに基づいて共起ヒストグラムを作成する。

学習用映像に含まれる時間的に連続するフレーム画像の例は、図５（Ａ）〜図５（Ｃ）に示す通りである。図５（Ａ）に示されるフレーム画像（たとえば、時刻ｔにおける画像）と、図５（Ａ）に時間的に先行する図示しないフレーム画像（たとえば、時刻ｔ−１および時刻ｔ−２における画像）とを用いて、時刻ｔにおけるパラメータＴ、Ｓ、Ｕ、Ｌ_ＴおよびＬ_Ｕが算出される。そして、ＴおよびＬ_Ｔの組合せ並びにＵおよびＬ_Ｕの組合せの共起確率についての２次元ヒストグラムが作成される。たとえば、ＴおよびＬ_Ｔの組合せの投票数を示す、図５（Ｄ）に示した共起ヒストグラムが作成される。当該共起ヒストグラムは、（０≦Ｔ＜１，０≦Ｌ_Ｔ＜０．２５）となるブロックが、図５（Ａ）のフレーム画像に関して１４００弱程あることを示している。これは、フレーム画像間の輝度差Ｔが１未満と小さいが、Ｔの変化量が時間経過に連れて大きくなっている（Ｌ_Ｔが低い）ためである。

同様に、図５（Ｅ）に示す共起ヒストグラムは、図５（Ｂ）に示すフレーム画像と、これに時間的に先行するフレーム画像とを用いて算出されたＴおよびＬ_Ｔの値の組合せの共起確率を示している。当該共起ヒストグラムでは、図５（Ｂ）のフレーム画像に関して、０≦Ｔ＜４となるブロックが増加しており、時間的に連続するフレーム画像間の差分値Ｔの大きいブロックが、図５（Ａ）のフレーム画像の場合と比べて多いという傾向があることがわかる。これは、輝度差Ｔが２または３以上と比較的大きいと同時に、Ｔの変化量が時間経過に連れて大きくなっている（Ｌ_Ｔが低い）ためである。

図５（Ｆ）の共起ヒストグラムも、図５（Ｃ）に示すフレーム画像と、これに先行するフレーム画像とを用いて算出されたＴおよびＬ_Ｔの値の組合せの共起確率を示している。当該共起ヒストグラムでは、図５（Ｃ）のフレーム画像に関して、（０≦Ｔ＜１，０≦Ｌ_Ｔ＜１．０）の範囲で、幅広く共起ヒストグラムの値が高くなっており、輝度差Ｔの時間的な変化率Ｌ_Ｔが比較的大きい範囲において、輝度差Ｔが大きくなっていることがわかる。これは、輝度差Ｔが０から９以下となる範囲で様々に変化するブロックがある一方で、Ｔの変化量が画面全体的に時間経過に対して一律となってきている（Ｌ_Ｔが１に近い）ためである。

また、時空間特徴抽出部１３は、ＵおよびＬ_Ｕの組合せの投票数を示す共起ヒストグラム（不図示）を、各フレーム画像に対して同様に作成する。そして、時空間特徴抽出部１３は、上述したように、共起ヒストグラムを表現する情報を一元化し、統合したものを時空間変化特徴量として出力する。

図４に戻って、ステップＳ２後、類似度についての特徴量（上記の第２特徴量）が抽出される（ステップＳ３）。このステップでは、上述した距離計算部１４が、ステップＳ１で取得された学習用映像内の時間的に連続するフレーム画像間の類似度を算出し、類似度についての特徴量として出力する。

続いて、相関度についての特徴量（上記の第３特徴量）が抽出される（ステップＳ４）。このステップでは、上述した相関値計算部１５が、ステップＳ１で取得された学習用映像内の時間的に連続するフレーム画像間の相関度を算出し、相関度についての特徴量として出力する。

続いて、画面輝度平均の差分についての特徴量（上記の第４特徴量）が抽出される（ステップＳ５）。このステップでは、上述した平均差分計算部１６がステップＳ１で取得された学習用映像内の時間的に連続するフレーム画像間の平均輝度の差分を算出し、輝度平均差分についての特徴量として出力する。

続いて、第１特徴抽出部１２から抽出された複数種の特徴量（第１〜第４特徴量）から、シーンチェンジの有無を判定するための学習パラメータが生成される（ステップＳ６）。このステップでは、ステップＳ１で取得された学習用映像内の全てのフレーム画像に対する特徴量と、別途取得された正解データとに基づいて、シーンチェンジ学習部１７が、シーンチェンジの有無を学習する。そして、各特徴量（第１〜第４特徴量）を学習モデルに入力したときに正解データの値（シーンチェンジの有無）が出力されるように学習モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果（学習パラメータ）として出力、記憶される。

その後、シーンチェンジの有無を学習する処理の手順は終了する。

次に、図６を参照して、本実施形態に係る画像処理装置１によりシーンチェンジを推定する処理の手順について詳細に説明する。

図６は、本実施形態に係る、シーンチェンジの有無を推定するための処理の手順を示すフローチャートである。

図６に示すように、まず、表示用映像データが取得される（ステップＳ１１）。このステップでは、推定部１０’の取得部１１’が、表示用映像データを取得する。

続いて、表示用映像の時空間変化の特徴（上記の第１特徴量）が抽出される（ステップＳ１２）。このステップでは、時空間特徴抽出部１３’が、ステップＳ１１で取得された表示用映像データについて、時空間変化特徴量を抽出する。このステップは、時空間特徴抽出部１３により実行される上記ステップＳ２と同様である。

続いて、類似度についての特徴量（上記の第２特徴量）が抽出される（ステップＳ１３）。このステップでは、距離計算部１４’が、ステップＳ１１で取得された表示用映像に含まれるフレーム画像間の類似度を算出し、類似度についての特徴量として出力する。このステップは、距離計算部１４により実行される上記ステップＳ３と同様である。

続いて、相関度についての特徴量（上記の第３特徴量）が抽出される（ステップＳ１４）。このステップでは、相関値計算部１５’が、ステップＳ１１で取得された表示用映像に含まれるフレーム画像間の相関度を算出し、相関度についての特徴量として出力する。このステップは、相関値計算部１５により実行される上記ステップＳ４と同様である。

続いて、画面輝度平均の差分についての特徴量（上記の第４特徴量）が抽出される（ステップＳ１５）。このステップでは、上述した平均差分計算部１６’がステップＳ１１で取得された表示用映像内の時間的に連続するフレーム画像間の平均輝度の差分を算出し、輝度平均差分についての特徴量として出力する。このステップは、平均差分計算部１６により実行される上記ステップＳ５と同様である。

続いて、シーンチェンジの有無が推定される（ステップＳ１６）。このステップでは、ステップＳ１１で取得された表示用映像内のフレーム画像から抽出された特徴量（第１〜第４抽出量）を、ステップＳ６で生成された学習結果に基づく学習モデルに入力することによって、シーンチェンジ推定部１７’が、表示用映像データ内のシーンチェンジの有無を推定し、推定結果を出力する。

その後、シーンチェンジの有無を推定する処理の手順は終了する。

以上のように、本実施形態によれば、フレーム画像内のブロック間の輝度の差分値によるパラメータＳ，ＵやＴ、およびこれらの比率によるパラメータＬ_Ｔ，Ｌ_Ｕについての共起確率により、シーンチェンジを高精度で検出できると同時にその種類も検出できる。さらに、これらのパラメータは、比較的容易に算出できるので、より高速にシーンチェンジの有無や種類を検出できる。

以上本発明を適用した実施形態を説明したが、そのほか、本願の特許請求の範囲に記載した技術思想の範囲でさまざまな変形形態が可能であることは言うまでもない。

たとえば、ブロックの大きさは、図示した大きさに限定されない。任意に設定できる。ブロックではなく、画素毎にパラメータを算出してもよい。または、フレーム画像を縮小、すなわちフレーム画像についてのデータ量を減少した上で、当該データに基づいて輝度を算出し、各種特徴量を抽出してもよい。

また、図４のフローチャートでは、ステップＳ２〜５およびステップＳ１２〜１５において時空間変化特徴量、類似度、相関度および画面輝度平均の差分に関する特徴量を抽出する形態について述べたが、これに限定されない。シーンチェンジを検出するためのその他の特徴量が追加的に抽出されてもよい。

また、図５（Ｄ）〜図５（Ｆ）の共起ヒストグラムでは、便宜のため０（ゼロ）以上の値のみを示しているが、これに限定されない。負の値を含むこともある。

また、上記実施形態では、輝度の差分に基づいてＳやＴ等のパラメータを算出したが、これに限定されない。フレーム画像内の各色の明度または彩度等の値や色温度の差分に基づいて、各パラメータを算出してもよい。

上記本実施形態にかかる画像処理装置における各種処理を行う手段および方法は、専用のハードウエア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、メモリスティックおよびＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像形成システムの一機能としてその装置のソフトウエアに組み込まれてもよい。

１ 画像処理装置、
１０ 学習部、
１１ 取得部、
１２ 第１特徴抽出部、
１３ 時空間特徴抽出部、
１３ａ ブロック分割部、
１３ｂ 時間的差分算出部、
１３ｃ，１３ｈ 比率算出部、
１３ｄ，１３ｉ 共起ヒストグラム作成部、
１３ｅ，１３ｊ １次元化処理部、
１３ｆ 空間的差分算出部、
１３ｇ 差分算出部、
１３ｋ 結合処理部、
１４ 距離計算部、
１５ フレーム間相関値計算部、
１６ 画面輝度平均差分計算部、
１７ シーンチェンジ学習部、
１０’ 推定部、
１１’ 取得部、
１２’ 第２特徴抽出部、
１３’ 時空間特徴抽出部、
１４’ 距離計算部、
１５’ フレーム間相関値計算部、
１６’ 画面輝度平均差分計算部、
１７’ シーンチェンジ推定部。

Claims (15)

1. 連続する複数のフレーム画像についてのデータを含む学習用映像データを取得する第１取得部と、
   前記学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出する第１特徴抽出部と、
   前記第１特徴を用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する学習部と、
   連続する複数のフレーム画像についてのデータを含む表示用映像データを取得する第２取得部と、
   前記表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する第２特徴抽出部と、
   前記第２特徴および前記学習部により得られた学習結果に基づき、連続するフレーム画像間での場面の切り替わりの有無を推定する推定部と、
   を有し、
   前記第１特徴および前記第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかの共起確率を含む画像処理装置。
2. 前記第１特徴抽出部は、前記学習用映像データから、フレーム画像間の類似度に基づく特徴を第３特徴量として抽出し、
   前記学習部は、前記第３特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項１に記載の画像処理装置。
3. 前記第１特徴抽出部は、前記学習用映像データから、フレーム画像間の相関度に基づく特徴を第４特徴量として抽出し、
   前記学習部は、前記第４特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項１または２に記載の画像処理装置。
4. 前記学習部は、前記第１特徴を有する学習用映像データについて、場面の切り替わりの種類を識別する請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記第１特徴抽出部は、前記学習用映像データを減少し、減少した学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出し、
   前記第２特徴抽出部は、前記表示用映像データを減少し、減少した表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する、請求項１〜４のいずれか一項に記載の画像処理装置。
6. 連続する複数のフレーム画像についてのデータを含む学習用映像データを取得するステップ（ａ）と、
   前記学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出するステップ（ｂ）と、
   前記第１特徴を用いて、連続するフレーム画像間での場面の切り替わりの有無を学習するステップ（ｃ）と、
   連続する複数のフレーム画像についてのデータを含む表示用映像データを取得するステップ（ｄ）と、
   前記表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出するステップ（ｅ）と、
   前記第２特徴および前記ステップ（ｃ）で得られた学習結果に基づき、連続するフレーム画像間での場面の切り替わりの有無を推定するステップ（ｆ）と、
   を有し、
   前記第１特徴および前記第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかの共起確率を含む画像処理方法。
7. 前記学習用映像データから、フレーム画像間の類似度に基づく特徴を第３特徴量として抽出するステップ（ｇ）をさらに有し、
   前記ステップ（ｃ）において、前記第３特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項６に記載の画像処理方法。
8. 前記学習用映像データから、フレーム画像間の相関度に基づく特徴を第４特徴量として抽出するステップ（ｈ）をさらに有し、
   前記ステップ（ｃ）において、前記第４特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項６または７に記載の画像処理方法。
9. 前記第１特徴を有する学習用映像データについて、場面の切り替わりの種類を識別するステップ（ｉ）をさらに有する、請求項６〜８のいずれか一項に記載の画像処理方法。
10. 前記ステップ（ｂ）の前に前記学習用映像データを減少するステップを有し、前記ステップ（ｂ）において、減少した学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出し、
    前記ステップ（ｅ）の前に前記表示用映像データを減少し、前記ステップ（ｅ）において、減少した表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する、請求項６〜９のいずれか一項に記載の画像処理方法。
11. 連続する複数のフレーム画像についてのデータを含む学習用映像データを取得する手順（ａ）と、
    前記学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出する手順（ｂ）と、
    前記第１特徴を用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する手順（ｃ）と、
    連続する複数のフレーム画像についてのデータを含む表示用映像データを取得する手順（ｄ）と、
    前記表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する手順（ｅ）と、
    前記第２特徴および前記手順（ｃ）で得られた学習結果に基づき、連続するフレーム画像間での場面の切り替わりの有無を推定する手順（ｆ）と、
    を含む手順をコンピューターに実行させるための画像処理プログラムにおいて、
    前記第１特徴および前記第２特徴は、フレーム画像間の輝度または色の差分値および当該差分値の時間変化率の共起確率と、フレーム画像内で隣接するブロック間における輝度または色の差分値および当該差分値の時間変化率の共起確率と、の少なくともいずれかの共起確率を含む画像処理プログラム。
12. 前記学習用映像データから、フレーム画像間の類似度に基づく特徴を第３特徴量として抽出する手順（ｇ）をさらに有し、
    前記手順（ｃ）において、前記第３特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項１１に記載の画像処理プログラム。
13. 前記学習用映像データから、フレーム画像間の相関度に基づく特徴を第４特徴量として抽出する手順（ｈ）をさらに有し、
    前記手順（ｃ）において、前記第４特徴量をさらに用いて、連続するフレーム画像間での場面の切り替わりの有無を学習する請求項１１または１２に記載の画像処理プログラム。
14. 前記第１特徴を有する学習用映像データについて、場面の切り替わりの種類を識別する手順（ｉ）をさらに有する、請求項１１〜１３のいずれか一項に記載の画像処理プログラム。
15. 前記手順（ｂ）の前に前記学習用映像データを減少する手順を有し、前記手順（ｂ）において、減少した学習用映像データから、映像の時空間変化の特徴を第１特徴として抽出し、
    前記手順（ｅ）の前に前記表示用映像データを減少し、前記手順（ｅ）において、減少した表示用映像データから、映像の時空間変化の特徴を第２特徴として抽出する、請求項１１〜１４のいずれか一項に記載の画像処理プログラム。