JP2007149095A - 動画像の変化点検出方法及び装置 - Google Patents

Abstract

【課題】検出感度を落とすことなく，瞬間的な画像の乱れに対する誤検出を抑制するとともに，対象の動画像の特性の変化に柔軟に対応して正しく変化点を検出できる動画像の変化点検出方法ならびに装置を提供することにある。
【解決手段】対象となる動画像をフレーム単位で時系列に処理装置に入力する手段と，処理装置において，各フレーム単位に該画像データが有する特徴量を計算する手段と，その特徴量と直前の複数枚のフレームの特徴量との間で各々相関係数を求める手段と，求められた相関係数の組み合わせのパターンから動画像の変化点か否かを判定する手段とを設ける。また，過去に計算された相関係数のうち，最近の値を常に保持する手段と，保持されている相関係数の値，もしくは過去のフレームの特徴量をもとに動的に変化点検出の基準を変化させる手段とを設ける。
【選択図】図２

Description

本発明は，ビデオや映画等の動画像をカット（１台のカメラで撮影された途切れのない
動画像区間）別に頭出しすることができる動画像編集システムや動画像のブラウジング方
法に係り，特にビデオテープやビデオディスクに格納された動画像からカット間の変わり
目を検出するための動画像変化点検出方法及び装置に関する。

近年，計算機の高速化と大容量化を背景にして，従来は扱えなかった映画やビデオなど
の動画像情報を扱うことのできるデータベースシステムやプレゼンテーションツールが注
目されている。しかしながら，膨大な情報量を有する動画像情報の中から必要な部分だけ
を探したり，それを加工したりするのは，ユーザにとって手間のかかる作業である。そこ
で，計算機による作業負担軽減方法として，例えば，情報処理学会論文誌 Vol.33, No.4,
「カラービデオ映像における自動索引付け法と物体探索法」や特開平４−１１１１８１
号公報「動画像の変化点検出方法」等で示された方法がある。これは，動画像をカット単
位に自動的に分割し，各カットを代表する画像の一覧を作成して，それを書籍の索引のよ
うに用いることで，動画像の検索や編集の一助とする方法である。これによれば，動画像
の中身が一覧上で一目で把握できるので所望の場面が見つかりやすく，また，カットとい
う区切れのよい単位で扱えるので大まかな編集が簡単にできる。

動画像をカット単位に分割するには，動画像の変化点，すなわちカットの変わり目を検
出する必要がある。従来の動画像の変化点検出方法は，例えば，前掲の特開平４−１１１
１８１号公報では，動画像中の連続する２枚のフレーム（動画像を構成する一枚一枚の静
止画。一般のテレビで秒３０枚表示される）の間に画像的な相異が見られた場合，そのフ
レーム間に動画像の変化点，すなわちカットの変わり目があると判定することを基本にし
ている。

特開平４−１１１１８１号公報

しかしながら，上記の方法では，記者会見などの映像でしばしば見られる写真撮影のス
トロボ発光や，あるいは機器の障害等に起因する瞬間的な画像の乱れが生じた場合，それ
をも変化点として検出してしまう。こうした画像の乱れは，１つのカット中で連続して発
生する傾向があり，カットが不必要に分断されてしまう問題がある。また，夜間の場面な
ど全体に暗い画像が続く動画像区間では，連続するフレーム間の画像的相異度は，カット
の変わり目においても，明るい場面の相異度と比べて小さくなる傾向があるため，暗い場
面も明るい場面も同一の基準で変化点か否かの判定を行うと，明るい場面で誤って過剰に
変化点を検出したり，逆に暗い場面で検出漏れが生じる場合がある。

本発明の目的は，従来の方法よりも検出感度を落とすことなく，瞬間的な画像の乱れに
対する誤検出を抑制するとともに，対象の動画像の特性の変化に柔軟に対応して正しく変
化点を検出できる動画像の変化点検出方法及び装置を提供することにある。

上記目的を達成するため，本発明の一形態として，対象となる動画像をフレーム単位で
時系列に処理装置に入力する手段と，処理装置において各フレーム単位に該画像データが
有する特徴量を計算する手段と，その特徴量と直前の１枚以上のフレームの特徴量との間
で各々相関係数を求める手段と，求められた相関係数の組み合わせのパターンから動画像
の変化点か否かを判定する手段とを設ける。
また，過去に計算された相関係数のうち，最近の値を常に保持する手段と，保持されてい
る相関係数の値，もしくは過去のフレーム画像や音声情報の特徴量をもとに動的に変化点
検出の基準を変化させる手段とを設ける。
瞬間的な画像の乱れがあった場合，乱れたフレームと，その直前のフレームとの画像的
相異，ならびに直後のフレームとの画像的相異は大きくなるが，乱れたフレームを間に鋏
む２枚のフレームの間では画像的相異は小さくなるという特徴があるので，本発明によれ
ば，このような状態を示す相関係数の組み合わせパターンを検出した場合には，真の動画
像変化点ではないと正しく判定することができる。逆に，そのような画像の乱れの発生し
た部分だけを検出することもできる。また，直前の動画像の特徴に応じて変化点検出の閾
値を動的に変化させる手段によって，動画像の特徴に合わせた，きめ細かな変化点か否か
の判定ができ，誤検出を抑制することができる。

本発明によれば，瞬間的な画像の乱れと，カットの変わり目とを区別して検出できるの
で，乱れのある部分を変化点として間違って検出しないようにできるほか，乱れた部分だ
けを選び出すこともできる。また，直前の動画像の特徴に応じて変化点検出の閾値が動的
に変化するので，動画像の特徴に合った，きめ細かな変化点検出ができ，誤検出を抑制す
ることができる。

（実施例）

以下，本発明の１実施例を詳細に説明する。
図１は，本発明を実現するためのシステム構成の概略ブロック図の一例である。１はＣ
ＲＴ等のディスプレイ装置であり，コンピュータ４の出力画面を表示する。コンピュータ
４に対する命令は，キーボードやポインティングデバイス等の入力装置５を使って行うこ
とができる。１０の動画像再生装置は，光ディスクやビデオデッキ等である。動画像再生
装置１０から出力される映像信号は，逐次，３のＡ／Ｄ変換器によってデジタル画像デー
タに変換され，コンピュータ４に送られる。コンピュータ４内部では，デジタル画像デー
タは，インタフェース８を介してメモリ９に入り，メモリ９に格納されたプログラムに従
って，ＣＰＵ７によって処理される。動画像再生装置１０が扱う動画像の各フレームに，
動画像の先頭から順に番号（フレーム番号）が割り付けられている場合には，フレーム番
号を制御線２によって動画像再生装置１０に送ることで，当該場面の動画像が再生される
。処理の必要に応じて，各種情報を６の外部情報記憶装置に蓄積することができる。メモ
リ９には，以下に説明する処理によって作成される各種のデータが格納され，必要に応じ
て参照される。

まず最初に，以下では，動画像の変化点検出にあたって，瞬間的な画像の乱れを間違っ
て変化点として検出することを防ぐことができる変化点検出方法について詳細に説明する
。

図２は，図１で示したシステム上で実行される，動画像の変化点検出プログラムのフロ
ーチャートの一例である。プログラムはメモリ９に格納され，ＣＰＵ７はまず最初に初期
化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値にし，ヒストグラム
に用いるメモリ領域をリセットする（２００）。ｎの初期値としては，処理対象の動画像
区間の先頭のフレーム番号が与えられる。次に，２０２でフレーム番号ｎのフレーム画像
fnを取り込み，fnの色ヒストグラムHnを作成する（２０４）。色ヒストグラムは，１枚の
フレーム画像全体における，同じ色を示す画素の出現頻度を求めたものである。例えば，
RGB各2ビット６４色の色ヒストグラムを作成する場合，フレームの各画素のRGBカラー値
をそのRGB各上位2ビットのみで表現した６ビット６４色に縮退し，６４色のそれぞれにつ
いて，縮退によってその色を示す画素の数をカウントする。この場合，色ヒストグラムは
配列Hn(i)で表され，iは０から６３の値をとる。例えば，iが０のときの度数Hn(0)は，RG
Bカラー値の上位２ビットがRGB各々全て０である画素がフレーム中に幾つあるかを示して
いる。続く処理２０６では，Hnと，１つ前のフレームfn-1の色ヒストグラムHn-1との間の
相異度R1nを求める。また，さらに１つ前のフレームfn-2の色ヒストグラムHn-2とHnとの
間の相異度R2nも計算する（２０８）。ヒストグラム間の相異度R1n及びR2nは，カイ二乗
検定等の計算式により求めることができる。計算式の種類は，前掲の文献に記載されてい
るので，詳細な説明は省略する。

図３は，瞬間的な画像の乱れが生じた場合のフレーム画像の時間変化を模式的に示した
図である。fn-1で乱れが生じている。この場合，fn-2とfn-1との相異度は大きくなり，R1
n-1は大きな値を示す。また，fn-1とfnも相異度が高く，R1nは大きな値を示す。しかし，
fn-2とfnとは良く似ているのでR2nは小さな値をとる。一方，図４は，通常のカットの変
わり目付近のフレーム画像の時間変化を模式的に示した図である。fn-2とfn-1の間でカッ
トが変わっている。このとき，fn-2とfn-1との相異度は大きくなり，R1n-1は大きな値を
示す。しかし，fn-1とfnは良く似ているのでR1nは小さな値をとる。また，fn-2とfnは相
異度が大きく，R2nは大きな値をとる。従来の方法では，R1nの値にのみ着目していたので
，図３の場合も図４の場合も区別がつかずに，fn-2とfn-1の間を動画像の変化点として検
出してしまっていた。R2nを判定に用いることにより，図３の場合と図４の場合とを区別
できるようになる。すなわち，R1n-1とR1nがともに閾値th4より大きく，R2nが閾値th5よ
り小さいときには，これを瞬間的な乱れが生じたものとして判定する（２１０）。そして
，R1n-1が閾値th1より大きく，かつR1nが閾値th2より小さく，かつR2nが閾値th3よりも大
きいときに，fn-2とfn-1の間にカットの変わり目があったとして判定し（２１４），変化
点検出に伴う各種処理を行う（２１６）。

もちろん，(1) R1n-1とR1nが両方とも大きいのか，(2) R1n-1が大きくてもR1nの方は小
さいのか，という条件だけでも，(1)は図３に示すように，(2)は図４に示すように区別で
きないことはない。しかしながら，R2nの値を併用することにより，乱れた後に確かに元
の画像に戻ったことが確認できるので判定の信頼性が極めて高い。処理２１０で瞬間的な
乱れと判定された場合，R1n-1とR1nを０にリセットする（２１２）。もし，０にリセット
しなければ，図３にあるように，R1nが大きく，かつR1n+1が小さく，かつR2n+1が大きい
という組み合わせが生じるため，次回すなわちn+1番目のフレームの処理において，処理
２１４でfn-1とfnの間をカットの変わり目として検出してしまうためである。

これらの処理により，瞬間的な画像の乱れに対しても安定して動画像の変化点を検出す
ることができる。あるいは，この判定条件を用いることにより，逆に瞬間的な乱れが生じ
た箇所だけを検出することもできる。瞬間的な乱れを起こす最も典型的なケースは，記者
会見等におけるカメラ撮影のストロボフラッシュである。ストロボフラッシュは，記者が
決定的な場面だと判断して撮影した場合に生じるものであるから，これが発生した箇所は
非常に重要な場面であることが多い。したがって，動画像中から重要な場面だけを選びだ
すための一つの手段として用いることができる。また，もう１つの典型的なケースは，サ
ブリミナル効果と呼ばれる，視聴者に対する不正な心理操作の場合がある。これは，動画
像中に一定時間ごとに１フレームだけ特殊な画像を挿入することで，その画像が視聴者の
気づかぬうちに深層心理に働きかけ，一種の暗示をかけることができるとされる。こうし
た不正な効果が含まれている動画像かどうかを自動的に判定し，そのような動画像の放送
を未然に阻止することができる。

上記の方法では，説明を簡単にするため，１フレームだけの乱れについて述べたが，R2
nを計算する際のフレーム間隔を長くとれば，任意のフレーム枚数分の乱れについても同
様の方法で対応できる。図５で示した例では，fn-1とfnの２フレームに乱れが生じている
が，それをまたぐ形で相違度を求めているR2n+1は，R1n-1, R1n, R1n+1が大きめの値をと
って推移するのに対して，小さな値をとる。
この組み合わせから画像の乱れなのか変化点なのかを判定することができる。このように
して，R2nの計算を，１フレーム飛びの場合，次いで２フレーム飛びの場合というように
，順に間隔を広げながら行っていくことで，任意のフレーム枚数分の乱れを変化点と区別
することができる。
最後に，処理２１８で，処理対象のフレーム番号値を１つ増やして次のフレーム取り込
みに備える。

次に，以下では，動画像の変化点検出にあたって，例えば，明るい場面での過剰な変化
点検出を抑制しながら，逆に暗い場面での検出漏れをも抑制するといったように，対象の
動画像の特性の変化に柔軟に対応して正しく変化点を検出する変化点検出方法について詳
細に説明する。

図６に，図１で示したシステム上で実行される，動画像の変化点検出プログラムのフロ
ーチャートの一例を示す。アルゴリズムの基本的な流れは前述の図２のフローチャートと
同様であるが，動画像変化点だと判定する閾値が図２では固定型だったのに対し，図６で
は変動型になっている。閾値を変動型にする利点を図７を使って説明する。図７は，明る
く動きの激しい場面（７０８），暗い場面１（７１０），暗い場面２（７１２）の３つの
カットが連続する動画像を例にとり，フレーム間相関係数の典型的な時間推移を示したも
のである。図中，７０２と７０４が各々カットの変わり目の位置である。

動きの激しい場面の場合，連続するフレーム間の画像的相異が大きい。したがって，７
０８の区間では相関係数は比較的大きな値が続くことになる。一方，暗い場面では，その
フレーム画像を構成する色が，黒を中心とした少種類の色に集中するため，ヒストグラム
の形が類似し，７１０と７１２の区間で相関係数は小さな値をとる。この区間では，上記
の理由からカットの変わり目でも相関係数は小さめになる。このとき，カットの変わり目
として判定する閾値を，７０６の破線で示したような一定値に設定した場合，その値を高
めに設定すると７０４のような暗い場面間の変化点では検出漏れが生じ，逆に低めに設定
すると７００のような動きの激しい区間の相関係数の一部に対して敏感に反応してしまう
。動きの激しい場面での過剰検出を抑制するための方法として，前述の特開平４−１１１
１８１号公報では，直前の相関係数の値と現在の相関係数の値との変化率を求め，その変
化率が許容値を超えた場合にカットの変わり目であると判定する方法が示されている。こ
の方法において，相関係数の値は単位時間あたりの画像変化量であるから，カメラや動画
像中の物体が動く速度に対応する。多くの場合，カメラや動画像中の物体の動き速度は，
それほど大きく変化しないので，変化率の値は動きのある場面でもない場面でも小さな値
をとり，カットの変わり目のときの値だけが突出して大きな値をとるようになる。このた
め，暗い場面でも動きのある場面でも同じ閾値で対応できることになる。しかしながら，
カメラのぶれや，物体がカメラの直前を通過した場合など，急激に変化する場合も少なく
なく，このような場合には，７００のように直前の相関係数との変化率７１４が，暗い場
面での変化率７１６と同じかそれ以上の大きさになることもある。動画像の各場面の特性
の変化に柔軟に対応して閾値を変化させる必要がでてくる。

以下，再び図６のフローチャートに戻ってアルゴリズムを説明する。
まず最初に初期化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値に
し，ヒストグラムに用いるメモリ領域をリセットする（６００）。ｎの初期値としては，
処理対象の動画像区間の先頭のフレーム番号が与えられる。次に，処理６０２でフレーム
番号ｎのフレーム画像fnを取り込み，fnの色ヒストグラムHnを作成する（６０４）。続い
て，処理６０６でfnの輝度平均Bnを求める。
処理６０６の詳細なフローチャートを図８に示す。フレーム画像fnのサイズは幅w, 高さh
であるとする。まず変数Bnを０にリセットする（８００）。そして，fn中の各画素につい
て，その輝度Bp(x, y)を求める。ここで，(x, y)はfn内における画素の二次元平面座標を
表す。Bp(x, y)は，fnがモノクロ濃淡画像の場合には，その画素の明るさであり，カラー
画像の場合には，その画素の色の輝度成分である。色が，YUV表色系といった輝度成分が
分離された形で表現されている場合には，その輝度成分の値をそのまま，すなわちYUV表
色系の場合ではYの値を利用すればよい。計算機中で一般的に使用されているRGB表色系等
では，RGB各成分の値から計算によって輝度成分を求める必要がある。８０２で示した例
では，RGB各成分の最大値を輝度値としている。R(x, y)は，(x, y)の位置にある画素の赤
成分の値を表し，同様にG(x, y)は緑成分，B(x, y)は青成分の値である。画素の輝度は緑
成分にほぼ比例するので緑成分の値をBp(x, y)の値として近似的に用いてもよい。こうし
て求まったBp(x, y)の値をBnに足し込んでいき（８０４），最終的にフレーム全体の輝度
をBnに得る。以上の処理は，６０４の色ヒストグラムの計算と同時に行うことで，各画素
の値読み出しや変数xやyのインクリメント等の処理の重複を省くことができ，高速化が図
れる。

続く処理６０８では，直前のフレームのヒストグラムHn-1と現在のヒストグラムHnとの
相異度R1nを計算する。次いで，処理６１０では，直前の動画像の特徴に合わせた閾値の
変更を行う。この例では，直前の動画像の明るさと動きの大きさを特徴量とし，式th7 =
th6 + Bn-1*α+ R1n-1*βにより，新しい閾値th7を得る。ここで，th6には，明るさが標
準的で動きの少ない動画像に対して最もうまく機能する値を与える。αは，明るさの変化
に対してth6をどれくらい上下させるかの重み値であり，βは，同様に動きの大きさに対
してth6をどの程度変化させるかを決定する重み値である。このほかにも閾値を変更する
べきファクターがあれば，式に必要なだけ追加する。例えば，直前の動画像に対する処理
フレーム枚数も重要なファクターのひとつである。フレーム画像はNTSC方式の動画像の場
合で秒３０枚あるが，計算機の能力によっては，フレーム間相関係数を求めている間に，
次のフレーム画像の取り込みタイミングを過ぎてしまう場合もある。このとき，動画像が
通常の速度で再生されていれば，当然ながら１フレーム飛びのフレーム間相関係数を求め
ていることになる。すなわち，処理フレーム枚数は，計算機の処理能力により秒３０枚の
ケースも数枚程度のケースもありうる。比較するフレームの間隔が広がるほど画像的相異
は大きくなるので，相関係数の値も処理フレーム枚数の低い区間ほど大きな値をとる傾向
がある。したがって，このような区間では，閾値は高めにしたほうが過剰検出を抑制でき
る。プログラム実行中に処理フレーム枚数が大きく変動することがない場合には，計算機
の能力があらかじめわかっていれば，最初の段階でth6を変更しておくことにより，th7を
計算する時点で考慮する必要はなくなる。

以上のようにして求めたth7よりもR1nが大きいかどうかを判定し（６１２），大きい場
合，n-1番目とn番目のフレームの間にカットの変わり目があったとして検出処理を行う（
６１４）。最後に，処理６１６で，処理対象のフレーム番号値を１つ増やして次のフレー
ム取り込みに備える。

上記の例では，fnの直前の１フレーム分だけの特徴から閾値を変更していたが，直前の
任意枚数分のフレームの特徴の履歴から変更するようにしてもよい。例えば，動きの激し
さの尺度として，直前の数フレーム分の相関係数の平均値や最大値を，６１０の式におけ
るR1n-1のかわりに用いることができる。また，fnの直後のフレームfn+1, fn+2, ...の特
徴によってもR1nを判定する閾値に変更を加えてもよく，これによりR1nが閾値を超えた場
合には，時間を遡ってfn-1とfnの間にカットの変わり目があったと判定する。
さらに，上記の例では，閾値を変更していたが，閾値を定数にして，その替わりに相関
係数の値を変化させるようにしても構わない。

また，図２で示した方式と図６の方式とを組み合わせることにより，より信頼性の高い
動画像の変化点検出方法を実現することができる。図９にそのフローチャートの例を示す
。フローチャートを構成する各処理の内容は，上記で説明した通りである。まず最初に初
期化処理として，現在の処理対象のフレーム番号を表す変数ｎを初期値にし，ヒストグラ
ムに用いるメモリ領域をリセットする（９００）。ｎの初期値としては，処理対象の動画
像区間の先頭のフレーム番号が与えられる。次に，処理９０２でフレーム番号ｎのフレー
ム画像fnを取り込み，fnの色ヒストグラムHnを作成する（９０４）。続いて，処理９０６
でfnの輝度平均Bnを求める。続く処理９０８では，Hnと，１つ前のフレームfn-1の色ヒス
トグラムHn-1との間の相異度R1nを求める。また，さらに１つ前のフレームfn-2の色ヒス
トグラムHn-2とHnとの間の相異度R2nも計算する（９１０）。次いで，処理９１２では，
直前の動画像の特徴に合わせ，閾値th8を計算する。R1n-1とR1nがともに閾値th4より大き
く，R2nが閾値th5より小さいときには，これを瞬間的な乱れが生じたものとして判定する
（９１４）。そして，R1n-1が閾値th8より大きく，かつR1nが閾値th2より小さく，かつR2
nが閾値th3よりも大きいときに，fn-2とfn-1の間にカットの変わり目があったとして判定
し（９１８），変化点検出に伴う各種処理を行う（９２０）。処理９１４で瞬間的な乱れ
と判定された場合，R1n-1とR1nを０にリセットする（９１６）。最後に，処理９２２で，
処理対象のフレーム番号値を１つ増やして次のフレーム取り込みに備える。

上記で説明した動画像の変化点検出方法において相関係数を求める際，前述の文献にも
記載されているように，フレーム画像を幾つかのブロックに分割して，分割した各ブロッ
クごとにヒストグラムを求めて相関係数を計算し，それらの相関係数の組み合わせを総合
的に判定することでフレーム全体の相関係数を求めてもよい。これにより，カットの変わ
り目とそうでない区間との相関係数の値の差が大きくなる効果も得られる。

一方，上記で説明した動画像の変化点検出方法を用いて検出される変化点のほかに，利
用者が，処理中の動画像を見ながら，その場の判断で変化点を追加登録したい場合もある
。しかし，人間の反応速度には限界があるので，利用者が変化点を見つけて登録したいと
思ってから計算機に指示が伝わるまでの間に相当の時間が過ぎていることが多い。その時
間遅れにより，指定された変化点位置は，当初意図していた変化点の位置とは許容できな
いほど違っている可能性がある。そこで，利用者の反応速度に応じて予め設定された時間
分を常に差し引いた変化点位置を登録する手段を設けると都合がよい。また，逆に予め設
定された時間分だけ足した位置を変化点として登録する方法も役に立つ。

変化点を検出することによって，動画像を部分部分の区間に分割するわけであるが，音
声に関係なく分割してしまうと，後々扱いにくいケースが生じる。例えば，ある人が話を
している途中で区間を分割すると，分割された１つの区間だけを見たのでは話が閉じなく
なる。変化点検出によって分割された各カットを単位として，取捨選択や並べ変えを行う
ような動画像編集システムにおいては，特に問題となる。そこで，変化点を検出した際に
は，そのときの音声信号も調べ，音声が入っているようならば，次に音声が途絶えた時点
，すなわち無音部を待って，その時点のほうを変化点として登録する。無音部か否かは，
音量から判定できる。図１０に音声信号の典型的な例を示す。横軸が時間で，縦軸が音の
振幅を示す。音量は振幅の大きさであるから，振幅が予め設定した閾値よりも小さい場合
に，そこを無音部と判定できる。もちろん，音声のある区間でも振幅は瞬間的に小さい値
をとるので，それによって誤って判定しないように，一定時間分の振幅を調べて，振幅が
小さい状態が続いていることを確認した上で無音部の検出を行うようにする。この方法は
，計算機が自動的に変化点を検出する場合と，利用者の判断で変化点として検出する場合
とにかかわらず，利用可能であることは言うまでもない。

以上述べた方法によって動画像をカット分割すると，カットを単位とした検索や編集が
行えるようになる。こうしたカット単位の操作を利用者がもっと簡単に行えるようにする
ためには，そのカットの内容が絵で確認できるようになっていると都合がよい。そこで，
カットの変わり目が検出された時点で，そのときのフレーム画像を代表画像として抽出し
，その代表画像を，検索や編集のアプリケーションで扱いやすい大きさにサイズを変更し
て，ディスク等の記録装置にファイルとして格納しておき，必要に応じて呼び出せるよう
にする。こうした格納に関わる処理は，図２を例にとると２１６の処理の中で行われる。
もちろん，フレーム画像のような静止画だけではなく，変化点からはじまる一定時間の動
画像を同様に取り込んで記録してもよい。また，カットを代表する画像としては，カット
の変わったばかりの時点の画像よりも少し時間がたった時点の画像のほうが適切なことが
多いので，変化点から一定時間オフセットを加えた時点の画像を代表画像として使用して
もよい。しかしながら，図２や図９で述べた変化点検出方法を用いると，カットの変わり
目のフレームから数フレームを経た時点で初めて変化点か否かが判定されるので，判定が
定まったときに代表画像を抽出しようとすると，すでにして一定時間オフセットを加えた
時点の画像を取り込むことになる。
このとき，どうしても正確にカットの変わり目のフレーム画像を取り込みたい場合には，
フレーム画像を過去に遡って数フレーム分をバッファに蓄えておくとよい。バッファには
最新のフレーム画像が入り，１枚入るとバッファ中の最も古いフレーム画像が１枚消去さ
れる。

検索や編集にあたっては，代表画像で確認できたカットが，ビデオテープ等に記録され
ているオリジナルの動画像のどこにあるのかが，すぐに知れなくては意味がない。そこで
，オリジナルのビデオテープのフレーム番号やタイムコードを代表画像と関連づけて格納
する手段を設ける。また，そのカットがどれくらいの時間長なのか，テレビ等で放送され
た動画像ならば放送された実際の時刻や日付はいつなのか，といった関連情報も必要であ
る。時刻や日付は計算機に内蔵されている時計を読み出すことで簡単に得られるし，カッ
トの時間長は，隣接する２つの変化点の間の時刻もしくはフレーム番号の差分としてリア
ルタイムで計算できる。そこで，代表画像の格納の際に併せ，代表画像と関連づけて，こ
れらの情報も記憶するようにする。また，必要に応じて利用者が付加した各代表画像に対
応する属性情報も同じように，代表画像と関連づけて格納する。上記で示したような代表
画像と関連情報との関連づけは，例えば，一般的なディスクオペレーションシステム（DO
S）のファイル管理システムの下では，代表画像のファイルとファイル名が同じで拡張子
だけが異なるファイルを関連情報用に割り当てることで管理できる。具体的には，代表画
像をCUT00001.IMGで格納し，その画像に対応する時刻はCUT00001.TIM，時間長はCUT00001
.DURというように定義すればよい。
しかしながら，動画像は複数のカットから構成されるので，この方法では，ファイルの数
が多くなりすぎて管理しにくいという問題もある。そこで，単一のファイルの中で，これ
らの情報を管理するようにしてもよい。図１１にファイル構造の例を示す。１１００はヘ
ッダー情報であり，他のファイル形式との識別子や登録されているカットの総数といった
ファイル全体に関わる情報が入る。１１０２は，代表画像の格納アドレスのテーブルであ
り，各カットの代表画像のデータがファイル中のどの位置からに格納されているかを表す
オフセット値が，カットの総数分だけ順番に格納される。同様に，１１０４はタイムコー
ド，１１０６は属性情報に関するテーブルである。ほかにも関連情報を格納する場合には
，必要なだけ同様のテーブルが作成される。これらのテーブルの間では，それぞれのテー
ブルの先頭から数えて同じ位置に格納されているアドレス情報は，同じ代表画像に関する
情報となるように格納され，相互に対応がとれるようになっている。１１０８から１１１
８は，それぞれの情報を格納するデータ領域である。

ビデオや映画等の動画像をカット別に頭出しできる動画像編集システムの画面例を図１
２に示す。１はディスプレイ装置であり，１２３２は音声やＢＧＭ等を出力するスピーカ
，５はマウスやジョイステイツク等の間接的なポインティングデバイス，１２３４はキー
ボード，１２３０はタッチパネルのような直接的なポインティングデバイスである。

ディスプレイ装置１中のモニタウインドウ１２１０は，モニタ画面になっており，ＶＴ
Ｒと同形式の操作パネル１２０２があって，映像を自由に再生し視聴することができる。
モニタ画面に表示される映像が「本」における「本文」，パネル（ボタン）操作は「頁め
くり」に対応する。右下のウインドウ１２０８は，対象とする映像の各シーンの代表画像
のシーン一覧表示，右中のウインドウ１２１２は，その映像に登場する被写体の一覧表示
である。これらの一覧表示を総称して，「インデクス」と呼ぶ。ウインドウ１２０８のシ
ーン一覧表示は，本発明の動画像変化点検出方法を用いて，映像中の各シーンから典型的
なフレーム画像を選び，縮小して時間順にアイコン１２１０として一覧に並べたものであ
る。これらの画像はシーンの「見出し」に相当するものとして考えることができ，それら
を時系列に並べたシーン一覧は「本」の「目次」にあたる。一方，被写体は，シーンの重
要な構成要素の一つであり，その意味でテキストにおける「キーワード」に相当する。し
たがって，ウインドウ１２１２の被写体の一覧表示は，「索引」に当たる。シーン一覧表
示中のアイコン１２１０がマウスクリックされると，モニタ画面の映像が切り替わり，そ
のアイコンの示すシーンが再生される。被写体の一覧表示は，被写体が何であるかを示す
アイコン１２１４と，その右側の時間軸表示部（棒グラフ）１２１６から成る。時間軸表
示部（棒グラフ）は，左端が映像の先頭，右端が末尾を示す時間軸になっていて，棒とし
て表示された部分が，その被写体の現れている時間区間を示している。棒の部分をクリッ
クすると，その区間の映像をモニタ画面に表示する。尚，１２０４は，マウスのようなポ
インティングデバイスの動きに合わせて移動するカーソル，１２０６のウインドウは，映
像の各種関連情報を表示する汎用入出力ウインドウである。このような，ＧＵＩを用いる
ことにより，ユーザフレンドリな動画像編集が可能となる。

本発明は，放送局向けなどのハイエンドなシステムの他，ワークステーション（ＷＳ）
，パーソナルコンピュータ（ＰＣ）などに対しても，動画像編集プログラムの機能として
組込むことが出来る。また，ＶＴＲやＴＶなどの電子機器の一機能として実現することも
可能である。更に，ビデオオンデマンド（ＶＯＤ）を実現する各種装置やシステムへの展
開も可能である。

本発明の実施例を実現するためのシステムブロック図である。 瞬間的な乱れにロバストな変化点検出アルゴリズムのフローチャートである。 瞬間的な乱れが発生した箇所を有する動画像の模式図である。 通常のカットの変わり目の箇所を有する動画像の模式図である。 複数のフレームに渡って乱れが発生した箇所を有する動画像の模式図である。 動画像の特徴に合わせて閾値が変化する変化点検出アルゴリズムのフローチャートである。 相関係数の時間推移の典型例を示した図である。 フレーム全体の明るさを求めるアルゴリズムのフローチャートである。 図２と図６のアルゴリズムを組み合わせた変化点検出アルゴリズムのフローチャートである。 音声信号の典型例を示した図である。 ファイル構造の例を示す図である。 動画像編集システムの画面例を示す図である。

符号の説明

１…ディスプレイ，２…制御信号線，３…Ａ／Ｄ変換器，４…コンピュータ，５…入力
装置，６…外部情報記憶装置，７…ＣＰＵ，８…接続インタフェース，９…メモリ，１０
…動画像再生装置，１２０８…シーン一覧表示のためのウインドウ。

Claims (3)

1. 連続する複数枚の画像よりなる動画像からカットの変わり目を検出する動画像の変化点検出装置において、
   対象となる動画像を処理装置に入力する手段と、
   前記入力されたフレーム毎に特徴量を取得する手段と、
   前記特徴量を用いてカットの変わり目を判定する判定手段と、
   上記カットの変わり目の判定がされた動画像を表示する表示手段と、
   前記表示手段に表示された動画像に対して、変化点の入力をさせる指示手段とを有することを特徴とする動画像の変化点検出装置。
2. 請求項１に記載の動画像の変化点検出装置において、前記指示手段によって入力された前記変化点に対し、予め設定された時間分を差し引いた位置又は予め設定された時間分を足した位置を変化点として登録することを特徴とする動画像の変化点検出装置。
3. 請求項１又は２に記載の動画像の変化点検出装置において、前記判定手段は、１のフレームの特徴量と直前のフレームで計算した特徴量との差分を第１の相関係数として求め、さらに該１のフレームの特徴量と２フレーム以上前のフレームで計算した特徴量との差分を第２の相関係数として求め、前記第１の相関係数と前記第２の相関係数の値が、所定の閾値を超えたとき、該１のフレームと２フレーム以上前のフレームとの間にカットの変わり目があったと判定することを特徴とする動画像の変化点検出装置。

Images