JP3622527B2 - 映像の特徴場面検出方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像より人体に有害な特徴場面を検出し表示を行う方式およびその装置に関する。
【０００２】
【従来の技術】
テレビの技術や演出手法が急速に進歩する一方で、アニメーション番組等に見られる点滅する光や、急激な場面変換などの映像の特殊効果が一部の視聴者の健康を損ねる事態が起きている。
【０００３】
このような特殊効果を検出する場合に、映像の１コマ１コマをコマ送りしながら人間が確認する場合、秒１コマの速度で確認できたとしても２時間の映画で４８時間かかる計算になり、放送する全ての映像に対して調査することは物理的に不可能となる。
【０００４】
そこで、従来の方式および装置では、点滅する光の場面に関しては、その１コマ１コマを短いカットとみなすことができることから、特開平９−７４５７５号公報に記載のようなサブリミナル画像の検出装置を代用し検出をおこなっていた。
【０００５】
【発明が解決しようとする課題】
上記従来の技術では、視聴者の健康を損ねる可能性のある映像を抽出するための基準値をもとに映像中の基準を超えている部分を検出することは可能であった。しかし、抽出された場面の具体的な特徴量がユーザにはわからない為、基準値に対してどの程度超えるのか比較を行えないという問題があった。更に、点滅場面では、大量の特徴場面となる静止画像を検出する為、一覧表示を行ってはいるが点滅場面の範囲が見にくいという問題があった。
【０００６】
本発明の目的は、特徴場面の特徴量を表示することにより、このシステムのユーザが基準値との比較を容易に行えるようにすることにある。更に、特徴場面を特殊効果の検出要因、検出時刻により分類し一覧表示し特徴場面の内容把握を容易に行えるようにすることにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、連続する複数枚の静止画像からなる映像から静止画像を取り出し、前記静止画像に対し平均輝度、色分布情報、平均ＲＧＢ値等の映像の点滅場面に関する特徴量を計算し、前記静止画像とその前後の静止画像の特徴量の差分があらかじめ設定しておいた条件と一致する点滅場面となる静止画像を検出し、検出した前記静止画像と特徴量を記憶し管理すると共に、前記静止画像と以下の特徴量と検出時間を並べて表示することにしたものである。
【０００８】
（１） 前記静止画像とその直前の静止画像の輝度差の割合
（２） 前記静止画像とその直前の静止画像の平均輝度差が小さいが前記の静止画像間で同一ドットで位置で比較した場合に輝度差が大きい静止画像の輝度差の割合。
【０００９】
（３） サブリミナル的異種画像のような、短いカットの同一静止画像の検出枚数。
【００１０】
（４） 映像の論理的な変化点
（５） ＨＳＩ値（色相、彩度、明度）より求めた赤成分のドットの面積率。
【００１１】
又、検出した静止画像を静止画像の検出間隔、静止画像の１秒間の検出回数を元に分類し、表示することにしたものである。
【００１２】
【発明の実施の形態】
以下、本発明の実施例を詳細に説明する。
【００１３】
図１は、本発明を実現する為のシステム構成の概略ブロック図の一例である。１０１は、ＣＲＴ等のディスプレイ装置であり、コンピュータ１１０の出力結果を表示する。コンピュータ１１０に対する命令は、キーボード１０４やマウス１０３等の入力装置を使って行うことができる。１０９の映像再生装置は、地上波放送や衛星放送、ケーブルテレビなどの放送番組を受信する為のチューナ装置、もしくは光ディスクやビデオテープ等に記憶された動画像を再生する為の装置である。コンピュータ１１０に対する命令は、この映像再生装置より行う場合もある。動画像再生装置から出力される映像信号は、逐次、キャプチャーボード等の映像入力装置１０８により映像の各コマをデジタル静止画像に変換し、コンピュータ１１０に送られる。コンピュータの内部では、デジタル静止画像は、インターフェース１０７を介してメモリ１０５に入りメモリ１０５にに格納されたプログラムに従って、ＣＰＵ１０６によって処理される。ＣＰＵの処理内容に応じて、デジタル静止画像、ＣＰＵの処理結果の各種情報は、補助記憶装置１０２に記憶することができる。次にＣＰＵの処理内容について詳細に説明を行う。
【００１４】
図２は、図１で示したシステム上で実行されるプログラムの特徴場面検出プログラムのフローチャートの一例である。
【００１５】
プログラムは図１のメモリ１０５に格納され、以下の条件により実行する。
【００１６】
（１） ユーザが図１のマウス１０３又は、キーボード１０４により検出処理開始を指示する。
【００１７】
（２） 図１の映像再生装置１０９より検出処理開始が指示される。
【００１８】
プログラムが実行されると、図１のインタフェース１０７よりデジタル静止画像ｆｉを取り込む（２０１）。次に、デジタル静止画像ｆｉに対して、以下の特徴量を計算し、図１のメモリ１０５に記憶する。（２０２）
２０２−（１）：デジタル静止画像ｆｉの平均輝度を求める。この結果は、 前記静止画像とその直前の静止画像の輝度差の割合による特徴量の検出に使用する。
【００１９】
２０２−（２）：デジタル静止画像ｆｉを格子状のブロックに分割し、このブロックごとに平均輝度を求める。この結果は、前記静止画像とその直前の静止画像の平均輝度差が小さいが前記の静止画像間で同一ドットで位置で比較した場合に輝度差が大きい静止画像の輝度差の割合による特徴量の検出に使用する。
【００２０】
２０２−（３）：デジタル静止画像ｆｉの色分布情報を求める。この結果は、赤成分のドットの面積率の計算に使用する。
【００２１】
２０２−（４）：デジタル静止画像ｆｉを格子状のブロックに分割し、このブロックごとにＲＧＢ値の平均値を求める。この結果は、短いカットと映像の論理的な変化点の検出に使用する。
【００２２】
２０２で計算した特徴量に基づき以下のいずれかにデジタル静止画像ｆｉが該当するか求める（２０３）。
【００２３】
２０３−（１）、２０２−（１）で求めたデジタル静止画像ｆｉとｆｉ−１の特徴量の差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。これに該当する場合、前記静止画像とその直前の静止画像の輝度差の割合による特徴場面となる。
【００２４】
２０３−（２）、２０２−（２）で求めた特徴量に基づき、以下の条件を満たす場合。これに該当する場合、前記静止画像とその直前の静止画像の平均輝度差が小さいが前記の静止画像間で同一ドットで位置で比較した場合に輝度差が大きい静止画像の輝度差の割合による特徴場面となる。
【００２５】
・デジタル静止画像ｆｉとｆｉ−１の特徴量の差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。
・上記しきい値を超えたブロックの数があらかじめ設定しておいたしきい値を超えた場合。
【００２６】
２０３−（３）２０２−（４）で求めた特徴量からデジタル静止画像ｆｉとｆｉ−１、 ｆｉ−１とｆｉ−２、 ｆｉとｆｉ−２の各々の組み合わせでの特徴量の差分を求め、その値があらかじめ設定しておいたしきい値をあるパターンで超える場合。これに該当する場合、映像の論理的な変化点による特徴場面となる。
【００２７】
２０３−（４）２０２−（４）で求めた特徴量に基づき、以下の条件をみたす場合。これに該当する場合、短いカットによる特徴場面となる。
【００２８】
（ａ）デジタル静止画像ｆｉとｆｉ−１の特徴量より差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。
【００２９】
（ｂ）上記（ａ）の条件を満たす静止画像を図１のメモリ１０５に記憶しておき、前記デジタル静止画像Ｓｊとその前に検出したデジタル静止画像Ｓｊ−１の時間的な長さを求め、その長さがあらかじめ設定しておいたしきい値より短い場合。
【００３０】
上記２０３の判定の結果、デジタル静止画像ｆｉを特徴場面と判定した場合、 ｆｉとその特徴量をリストに追加する。このリストは、特徴場面を検出した順序で管理している。（２０４）。更に、デジタル静止画像ｆｉを図１のディスプレイ１０１に図４のように一覧表示する。（２０５）
以上のように２０１から２０５の処理を行うことにより、デジタル静止画像ｆｉに対する処理が終了する。続いて、次のデジタル静止画像ｆｉ＋１の処理を行うかの判定を行うが、この時、以下のいずれかの条件と一致した場合、検出処理は終了となり、２０７の処理を行う。
【００３１】
（１）ユーザが図１のマウス１０３又は、キーボード１０４により検出処理終了を指示する。
（２）図１の映像再生装置１０９より検出処理終了が指示される。
【００３２】
上記２０６の処理で、検出処理が中止となった場合、リストに登録しておいた特徴場面の検出時間の間隔があらかじめ設定しておいたしきい値以下の部分でまとめ、グループに分類する（２０７）。２０７の詳細な処理については図８を用いて説明を行う。
【００３３】
ステップ２０７の処理では、最初に変数の初期化を行う（８０１）。次に特徴場面Ｃｉがリストの最後の要素であるか判定を行う（８０２）。判定結果がＹＥＳの場合、グループの先頭特徴場面ＧＦｊからＣｉを最後のグループＧｊとしグループのリストに追加し処理を終了する（８１０）。又、判定結果がＮＯの場合、８０３から８０９の処理をループのイタレーション（一回分のループの処理）として処理する。この部分では、最初にリストより前記特徴場面Ｃｉとその次の特徴場面Ｃｉ＋１の検出時刻を取り出す（８０３と８０４）。次にＣｉとＣｉ＋１の検出時刻の間隔がしきい値以上か判定する（８０５）。判定結果がＹＥＳの場合、グループの追加処理（８０６〜８０８）を行う。この処理では、グループの先頭特徴場面ＧＦｊからＣｉをグループＧｊとしグループリストに追加（８０６）し、次のグループの先頭をＧＦｊ＋１に設定し（８０７）、グループカウンタｊをインクリメントする（８０８）。ＮＯの場合、グループの追加は何もおこなわない。そして、最後にリストのカウンタであるｉをインクリメント（８０９）し、８０２の処理へ戻る。このようにして、２０７の処理は行われる。
【００３４】
この処理の結果、図９のようなグループリストが作成される。９０１は、グループのリストであるグループリストであり、９０２は１つのグループの要素のリストであるグループ要素リストである。又、９０３はグループの要素であり、グループリスト９０１からグループ要素リスト９０２を指し示す構造になっている。そして、グループ要素リスト９０２により特徴場面の情報（静止画像、特徴量、時間、その他付加情報）が含まれる要素（９０４）を管理する。
【００３５】
次に上記２０７の処理で作成したグループリストに含まれる特徴場面を１秒間の検出回数があらかじめ設定しておいたしきい値以上の部分でまとめ、更にグループに分類する（２０８）。この処理により、特徴場面の点滅している区間を検索し一覧表示時に点滅区間が容易に分かるようになる。２０８の処理の詳細について、図１０、図１１を用いて説明する。この図の処理は、１つのグループ要素リスト９０２に対する処理であり、実際には、グループの回数分実行される。
【００３６】
但し、２０７と２０８の処理は、片方のみを行うことも可能である。従って、この場合２０８の処理は前記のリストに対して処理を行うことができ、更に点滅区間とそれ以外の部分をそれぞれグループとして分類することも可能である。
【００３７】
この処理では、図１０の処理で１つのグループ要素リストに含まれる特徴場面の点滅の範囲を求める。そして、図１１の処理で点滅区間の周波数の計算を行う。
【００３８】
はじめに、図１０のブロックの機能について以下に説明する。
この処理では、最初に変数の初期化を行う（１００１）。次にあらかじめ設定しておいた１秒間の検出回数のしきい値ｎとグループ要素リストの要素数を比較し、ｎが要素数より大きいか判定する（１００２）。その結果、ＹＥＳの場合、このグループには点滅区間がないので処理を終了する。又、ＮＯの場合、１００３から１００７の処理により、点滅区間の範囲を検索をして行く。次に、ＮＯの場合の処理について説明する。最初に特徴場面Ｃｉ＋ｎが要素のリストに存在するか判定する（１００３）。その結果、ＹＥＳの場合、点滅区間の検索が終了したので、次に図１１の処理を開始する。ＮＯの場合、点滅区間の判定を続行する。次に点滅区間の判定の処理について説明する。はじめにグループ要素リスト９０２より特徴場面ＣｉからＣｉ＋ｎの検出時刻を取り出す（１００４）。次に、ＣｉからＣｉ＋ ｎの検出間隔が１秒以内となるか判定する（１００５）。その結果、ＹＥＳならＣｉからＣｉ＋ｎの点滅画像区間フラグをＯＮにする（１００６）。又、ＮＯの場合なら何もしない。そして最後に要素のカウンタｉをインクリメントする（１００７）。このようにして、点滅区間の洗い出しを行う。
【００３９】
次に図１１の機能について説明を行う。はじめにグループ要素リストのカウンタを初期化する（１００８）。次に特徴場面Ｃｉの点滅区間フラグがＯＮか判定する（１００９）。この結果ＹＥＳの場合、点滅区間の先頭が見つかったので、次に点滅区間の後尾の検索と点滅区間の周波数の計算を行う（１０１０〜１０１６）。この処理では、はじめに点滅区間の終了位置の検索開始位置を変数ｊに設定する（１０１０）。そして、グループ要素リストの中にＣｊが存在しない（１０１１）か、又は、Ｃｊの点滅区間フラグがＯＦＦになる（１０１２）までｊをインクリメント（１０１３）して、点滅区間の後尾Ｃｊ−１を求める。そして、その結果を元に１秒間の点滅回数を計算する（１０１４）。そして、点滅回数をＣｉからＣｊ−１の付加情報に設定する（１０１５）。これによりＣｊまでの点滅回数の検索が終了したので、ｉに次の点滅区間の先頭の開始位置ｊを代入する（１０１６）。これにより点滅区間の周波数を計算する処理が行われる。
【００４０】
１００９の判定がＮＯの場合 グループ要素リストのカウンタｉをインクリメント（１０１７）する。そして、最後にＣｉが要素リストに存在しないか判定する。この結果ＹＥＳなら２０８の処理は全て終了したことになる。又、ＮＯなら１００９の処理に戻り、次の点滅区間の開始地点を検索する。このようにして２０８の処理は行われる。
【００４１】
最後に、上記２０７から２０８の処理結果を図１のディスプレイ１０１に図５のように一覧表示する（２０９）。次に、このシステムのユーザインタフェースについて説明する。
【００４２】
図３は、図２のプログラムを実行するシステムのユーザインタフェースの一例である。
【００４３】
このユーザインタフェースは、図１のディスプレイ１０１に表示する。次にユーザインタフェースについて詳細に説明する。
【００４４】
３０１は、マウスポインタである。ユーザは、図１のマウス１０３または、キーボード１０４を使い、マウスポインタを操作し、ユーザインタフェースの任意の位置をポイントする。
【００４５】
３０２は、検出対象となる映像の表示領域である。
【００４６】
３０３は、検出操作開始ボタンである。マウスポインタによりこのボタンを押下することにより、図２のプログラムが実行される。
【００４７】
３０４は、終了ボタンである。マウスポインタによりこのボタンを押下することにより、図２のプログラムの検出処理が終了する。
【００４８】
３０５は、特徴場面一覧領域である。ここに、図２のプログラムにより検出した特徴場面を一覧表示する。検出処理中は、図４のように表示し、検出処理終了後は、図５のように表示する。
【００４９】
３０６は、スクロールバーである。検出処理終了後に検出結果を表示する際に３０５の領域に検出結果が全て入らない場合、使用される。
【００５０】
ユーザインタフェースで使用するボタン、スクロールバーについては、既存の技術であればたり、ここでは詳細な説明は述べない。次に検出結果一覧方法について説明を行う。
【００５１】
図４は、検出処理中の検出結果一覧方法の一例である。特徴場面が見つかると４０１の位置より、順に表示していく。
【００５２】
図５は、検出処理終了後の検出結果一覧方法の一例である。
【００５３】
５０１は、グループアイコン表示領域である。図２のプログラムで、特徴場面の検出間隔により分類したグループの情報を表示する。
【００５４】
５０２は、アイコン表示領域である。図２のプログラムにより分類したグループに属する特徴場面を表示する領域である。
【００５５】
５０３は、グループとグループの境界線である。
【００５６】
５０４は、グループアイコン表示領域とアイコン表示領域の境界線である。次に、アイコンとグループアイコンについて説明を行う。
【００５７】
図６は、アイコンの一例である。アイコンには、特徴場面とその特徴量、検出時間を表示する。
【００５８】
６０１は、特徴場面となるデジタル静止画像を表示する。
【００５９】
６０２は、特徴場面の検出時間を表示する。
【００６０】
６０３は、特徴場面の特徴量を表示する領域である。１マスが１つの特徴量をあらわしており、その特徴量で検出された場合、ここの背景が特定の色で塗りつぶされ、更に画像の特徴量を数値で表示する。これにより一目でこの特徴場面の検出要因が分かる。
【００６１】
６０４は、図２のプログラムの２０８の処理により分類された場合の一秒間の検出回数を周波数で表示する領域である。
【００６２】
６０５は、図２のプログラムの２０３−（４）の検出要因で検出した場合に、同一の画像が続くことを画像の厚みで表している
６０６は、アイコンの背景である。６０４が表示されている場合、アイコンの背景を赤などの色で塗りつぶす。これにより一目でこの特徴場面が人体に有害であることを表している。
【００６３】
図７は、特徴場面の検出間隔により分類したグループの情報を表すグループアイコンである。
【００６４】
７０１は、グループに属するアイコンの先頭アイコンの特徴場面である。
【００６５】
７０２は、グループの通し番号を表す。
【００６６】
７０３は、グループに属するアイコンの先頭アイコンの検出時刻である。
【００６７】
７０４は、グループに属するアイコンの最後尾アイコンの検出時刻である。
【００６８】
７０５は、グループに属するアイコン数である。
【００６９】
７０６は、７０３、７０４、７０５の情報より求めたグループ内の１秒あたりの平均検出回数である。
【００７０】
７０７は、グループアイコンの背景である。グループに属するアイコンの中に２０８の処理により分類された特徴場面を含む場合、この領域を赤などの色で塗りつぶす。
【００７１】
以上の処理方法、表示方法により特徴場面の検出を行う。
【００７２】
【発明の効果】
本発明によれば、人体に有害な特徴場面を検出し、その検出結果を一覧表示することにより、検出した特徴場面の内容を容易に把握することができる。
【図面の簡単な説明】
【図１】本発明が適用される一実施例におけるシステム構成のブロック概略図である。
【図２】本発明が適用される一実施例における特徴場面検出プログラムのフローチャート図である。
【図３】本発明が適用される一実施例におけるシステムのユーザインタフェースを表す図である。
【図４】本発明が適用される一実施例における検出処理中の検出結果一覧方法を表す図である。
【図５】本発明が適用される一実施例における検出処理終了後の検出結果一覧方法を表す図である。
【図６】本発明が適用される一実施例における特徴場面とその特徴量を表示するアイコンを説明する図である。
【図７】本発明が適用される一実施例における特徴場面の検出間隔により分類したグループの情報を表すグループアイコンを説明する図である。
【図８】本発明が適用される一実施例における特徴場面の検出間隔でグループに分類するプログラムのフローチャート図である。
【図９】本発明が適用される一実施例におけるグループリストの構成図である。
【図１０】本発明が適用される一実施例における特徴場面の１秒間の検出回数によりグループに分類するプログラムのフローチャート図である。
【図１１】図１０のフローチャートに続く、特徴場面の１秒間の検出回数によりグループに分類するプログラムのフローチャート図である。
【符号の説明】
２０１…フレーム画像ｆｉの取り込みする処理、
２０２…ｆｉの特徴量を計算する処理、
２０３…ｆｉが特徴場面であるか判定する処理、
２０４…ｆｉをリストに追加する処理、
２０５…ｆｉを画面に表示する処理、
２０６…ユーザ操作又は、映像再生装置により処理を停止する処理、
２０７…リストに登録した特徴場面をその検出間隔で分類する処理、
２０８…リストに登録した特徴場面を１秒間の検出回数で分類する処理、
２０９…分類結果を表示する処理。

Claims (6)

1. 連続する複数枚の静止画像からなる映像から静止画像を取り出し、前記静止画像に対し映像の点滅場面に関する特徴量を計算し、前記静止画像とその前後の静止画像の特徴量の差より点滅場面となる静止画像を検出し、検出した前記静止画像と前記特徴量を記憶し管理すると共に、前記静止画像と前記特徴量と検出時間を表示することを特徴とする映像の特徴場面検出方法。
2. 請求項１において、検出した静止画像を静止画像の検出間隔があらかじめ設定しておいたしきい値以下の部分でまとめグループに分類することを特徴とする映像の特徴場面検出方法。
3. 請求項１において、検出した静止画像を１秒間の検出回数があらかじめ設定しておいたしきい値以上の部分でグループに分類することを特徴とする映像の特徴場面検出方法。
4. 連続する複数枚の静止画像からなる映像から静止画像を取り出し、前記静止画像に対し映像の点滅場面に関する特徴量を計算し、前記静止画像とその前後の静止画像の特徴量の差より点滅場面となる静止画像を検出する中央演算装置と、
   前記検出した前記静止画像と前記特徴量を記憶する記憶装置と、
   前記記憶した静止画像と前記特徴量と検出時間を表示する表示手段とを備えることを特徴とする映像の特徴場面表示装置。
5. 請求項４において、前記表示手段は、検出した静止画像を静止画像の検出間隔があらかじめ設定しておいたしきい値以下の部分でまとめグループに分類して表示することを特徴とする映像の特徴場面表示装置。
6. 請求項４において、前記表示手段は、検出した静止画像を１秒間の検出回数があらかじめ設定しておいたしきい値以上の部分でグループに分類して表示することを特徴とする映像の特徴場面表示装置。

Images