JP3916505B2 - Scene change detection circuit - Google Patents

Description

（但し、「 min ｛ H _i (k),H _j (k) ｝」は、「ＤＣ係数をＫ個の係数範囲に分類した任意のフレーム「ｉ」によるヒストグラム H _i (k) と、フレーム「ｉ」に先行するフレーム「ｊ」によるヒストグラム H _j (k) 」の内から、何れか小さい方を選択する演算子であり、「Ｎ」は、１フレーム内のデータの総数を表す。）前記ＤＣ係数ヒストグラム差異検出部の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、前記ＤＣ係数ヒストグラム差異検出部の演算結果が前記しきい値よりも大きい場合にシーンが変化したことを示す信号を出力するシーン変化判定用差異値比較部と
予め設定されたシーン変化判定用しきい値と比較し、前記ＤＣ係数ヒストグラム差異検出部の演算結果が前記しきい値よりも大きい場合にシーンが変化したことを示す信号を出力するシーン変化判定用差異値比較部とを備えることを特徴とする。
【００１４】
また、請求項２の本発明は、請求項１に記載のシーン変化検出回路において、ＤＣ係数ヒストグラム作成部は、輝度信号と２種類の色信号の各信号成分に対応するＤＣ係数の中から少なくとも１つのＤＣ係数を用いてヒストグラムを作成することを特徴とする。
【００１５】
また、請求項３の本発明は、請求項１又は２に記載のシーン変化検出回路において、ＤＣ係数ヒストグラム作成部は、ＤＣ係数の係数範囲の設定を、輝度信号と２種類の色信号の各信号成分毎に設定することを特徴とする。
【００１６】
また、請求項４の本発明は、請求項１〜３の何れかに記載のシーン変化検出回路において、ＤＣ係数ヒストグラム作成部は、輝度信号と２種類の色信号の各信号成分中から少なくとも２成分を用いて、該成分を座標軸とする仮想の２次元座標空間あるいは３次元座標空間を設定し、さらに該座標空間内部を区分して区画領域を設定すると共に、座標空間を設定するために用いた成分のＤＣ係数値を、設定した座標空間に対応するように組み合わせてベクトル化したベクトル値とし、ＤＣ係数の係数範囲の設定は、ベクトル値に対応させて設定し、各区画領域毎にベクトル値のヒストグラムを作成することで、各区画領域毎のＤＣ係数のヒストグラムを作成することを特徴とする。
【００１７】
また、請求項５の本発明は、請求項１〜４の何れかに記載のシーン変化検出回路において、ＤＣ係数抽出部は、入力した映像信号から符号化モードを検出し、フレーム内符号化されたフレームの映像信号からＤＣ係数を抽出することを特徴とする。
【００１８】
また、請求項６に記載した本発明のシーン変化検出回路は、ＭＰＥＧ規格に規定された垂直及び水平の画素数で構成される各ブロック毎に離散コサイン変換技術を用いて動画像を符号化した映像信号からシーンの変化部位を検出する回路であって、入力した1 フレーム分の映像信号から各マクロブロック毎に動きベクトルを抽出する動きベクトル抽出部と、動きベクトルの横方向成分を横軸とし、動きベクトルの縦方向成分を縦軸とするベクトル空間を分割して複数の区画領域を設定しておき、前記複数の区画領域の各区画領域毎に前記動きベクトルを分類し、前記複数の区画領域の各区画領域毎に該当する動きベクトルの個数を計数し、前記複数の区画領域の各区画領域毎の動きベクトルのヒストグラムを作成する動きベクトルヒストグラム作成部と、動きベクトルヒストグラム作成部で作成された１つのフレームの動きベクトルのヒストグラムを、次の最新フレームの動きベクトルのヒストグラムが作成されるまで格納する動きベクトルヒストグラム記憶部と、動きベクトルヒストグラム作成部で作成された最新フレームの動きベクトルのヒストグラムと、動きベクトルヒストグラム記憶部に格納された最新より１つ前のフレームの動きベクトルのヒストグラムとの差異ｄを次式に従って演算する動きベクトルヒストグラム差異検出部と、
【数２】

（但し、「 min ｛ H _i (k),H _j (k) ｝」は、「動きベクトルをＫ個の係数範囲に分類した任意のフレーム「ｉ」によるヒストグラム H _i (k) と、フレーム「ｉ」に先行するフレーム「ｊ」によるヒストグラム H _j (k) 」の内から、何れか小さい方を選択する演算子であり、「Ｎ」は、１フレーム内のデータの総数を表す。）動きベクトルヒストグラム差異検出部の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、動きベクトルヒストグラム差異検出部の演算結果が前記しきい値よりも大きい場合にシーンが変化したことを示す信号を出力するシーン変化判定用差異値比較部とを備えることを特徴とする。
【００１９】
また、請求項７の本発明は、請求項６に記載のシーン変化検出回路において、動きベクトルヒストグラム作成部は、各区画領域毎に動きベクトル用しきい値を設定し、該動きベクトル用しきい値を超える動きベクトルの個数を計数して動きベクトルヒストグラムを作成することを特徴とする。
【００２０】
また、請求項８の本発明は、請求項７に記載のシーン変化検出回路において、動きベクトルヒストグラム作成部は、動きベクトル用しきい値を複数の段階となるように設定し、各区画領域に含まれる動きベクトルの各段階毎の個数を計数してヒストグラムを作成することを特徴とする。
【００２１】
また、請求項９の本発明は、請求項６〜８の何れかに記載のシーン変化検出回路において、動きベクトルヒストグラム作成部は、ｘ軸（横）方向成分とｙ軸（縦）方向成分の各方向成分に対応する動きベクトル成分の中から少なくとも１つの動きベクトル成分を用いてヒストグラムを作成することを特徴とする。
【００２２】
また、請求項１０の本発明は、請求項６〜８の何れかに記載のシーン変化検出回路において、動きベクトルヒストグラム作成部は、ｘ軸（横）方向成分とｙ軸（縦）方向成分の両方向成分を合成した動きベクトルを用いてヒストグラムを作成することを特徴とする。
【００２３】
また、請求項１１の本発明は、請求項６〜１０の何れかに記載のシーン変化検出回路において、動きベクトルヒストグラム作成部は、ＭＰＥＧ規格に規定された垂直及び水平の画素数で構成される各マクロブロック毎の動きベクトルを用いて、各区画領域毎に動きベクトル用しきい値を超える動きベクトルの個数を計数することを特徴とする。
【００２６】
また、請求項１２に記載した本発明のシーン変化検出回路は、ＭＰＥＧ規格に規定された垂直及び水平の画素数で構成される各ブロック毎に離散コサイン変換（ＤＣＴ）技術を用いて動画像を符号化した映像信号からシーンの変化部位を検出する回路であって、
入力した１フレーム分の映像信号から前記各ブロック毎に直流成分（ＤＣ）係数を抽出するＤＣ係数抽出部と、
予め前記ＤＣ係数の取りうる値の範囲を分割して複数の係数範囲を設定しておき、各係数範囲毎に該当するＤＣ係数の個数を計数し、各係数範囲毎のＤＣ係数のヒストグラムを作成するＤＣ係数ヒストグラム作成部と、
前記ＤＣ係数ヒストグラム作成部で作成された１つのフレームのＤＣ係数のヒストグラムを、次の最新フレームのＤＣ係数のヒストグラムが作成されるまで格納するＤＣ係数ヒストグラム記憶部と、
前記ＤＣ係数ヒストグラム作成部で作成された最新フレームのＤＣ係数のヒストグラムと、前記ＤＣ係数ヒストグラム記憶部に格納された最新より１つ前のフレームのＤＣ係数のヒストグラムとの差異ｄ _Ｄ を次式に従って演算するＤＣ係数ヒストグラム差異検出部と、
【数３】

（但し、「 min ｛ H _Ｄｉ (k),H _Ｄｊ (k) ｝」は、「ＤＣ係数をＫ個の係数範囲に分類した任意のフレーム「ｉ」によるヒストグラム H _Ｄｉ (k) と、フレーム「ｉ」に先行するフレーム「ｊ」によるヒストグラム H _Ｄｊ (k) 」の内から、何れか小さい方を選択する演算子であり、「Ｎ _Ｄ 」は、１フレーム内のデータの総数を表す。）
入力した 1 フレーム分の映像信号から各マクロブロック毎に動きベクトルを抽出する動きベクトル抽出部と、
動きベクトルの横方向成分を横軸とし、動きベクトルの縦方向成分を縦軸とするベクトル空間を分割して複数の区画領域を設定しておき、前記複数の区画領域の各区画領域毎に前記動きベクトルを分類し、前記複数の区画領域の各区画領域毎に該当する動きベクトルの個数を計数し、前記複数の区画領域の各区画領域毎の動きベクトルのヒストグラムを作成する動きベクトルヒストグラム作成部と、
前記動きベクトルヒストグラム作成部で作成された１つのフレームの動きベクトルのヒストグラムを、次の最新フレームの動きベクトルのヒストグラムが作成されるまで格納する動きベクトルヒストグラム記憶部と、
前記動きベクトルヒストグラム作成部で作成された最新フレームの動きベクトルのヒストグラムと、前記動きベクトルヒストグラム記憶部に格納された最新より１つ前のフレームの動きベクトルのヒストグラムとの差異ｄ _Ｍ を次式に従って演算する動きベクトルヒストグラム差異検出部と、
【数４】

（但し、「 min ｛ H _Ｍｉ (k),H _Ｍｊ (k) ｝」は、「動きベクトルをＫ個の係数範囲に分類した任意のフレーム「ｉ」によるヒストグラム H _Ｍｉ (k) と、フレーム「ｉ」に先行するフレーム「ｊ」によるヒストグラム H _Ｍｊ (k) 」の内から、何れか小さい方を選択する演算子で あり、「Ｎ _Ｍ 」は、１フレーム内のデータの総数を表す。）
前記ＤＣ係数ヒストグラム差異検出部の演算結果、および、前記動きベクトルヒストグラム差異検出部の演算結果を和算した総合差異を演算する総合差異演算部と、
前記総合差異演算部の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、前記総合差異演算部の演算結果が前記しきい値よりも大きい場合にシーンが変化したことを示す信号を出力するシーン変化判定用差異値比較部と
を備えることを特徴とすることを特徴とする。
【００２７】
また、請求項１３の本発明は、請求項１２に記載のシーン変化検出回路において、ＤＣ係数ヒストグラム差異検出部と総合差異演算部との間に、ＤＣ係数ヒストグラム差異検出部の演算結果が予め設定したしきい値未満の値である場合、該演算結果を０に変換するＤＣ係数差異変換部と、動きベクトルヒストグラム差異検出部と総合差異演算部との間に、動きベクトルヒストグラム差異検出部の演算結果が予め設定したしきい値未満の値である場合、該演算結果を０に変換する動きベクトル差異変換部とを備えることを特徴とする。
【００２８】
また、請求項１４の本発明は、請求項１２に記載のシーン変化検出回路において、シーン変化判定用差異値比較部に代えて、総合差異演算部の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい状態が続く場合であって、さらに、該演算結果にピークが発生した場合にシーンが変化したことを示す信号を出力するシーン変化判定用ピーク検出部を備えることを特徴とする。
【００２９】
また、請求項１５の本発明は、請求項１３に記載のシーン変化検出回路において、シーン変化判定用差異値比較部に代えて、総合差異演算部の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい状態が続く場合であって、さらに、該演算結果にピークが発生した場合にシーンが変化したことを示す信号を出力するシーン変化判定用ピーク検出部を備えることを特徴とする。
【００３０】
また、請求項１６の本発明は、請求項１２〜１５の何れかに記載のシーン変化検出回路において、総合差異演算部は、フレーム内符号化されるＩフレームの間で順方向予測符号化されるＰフレーム毎に算出される動きベクトルのヒストグラム差異値を積算し、次の最新となるＩフレームによってＤＣ係数のヒストグラム差異値が算出された時点で、最新より１つ前のＩフレーム以降のＰフレームにおける動きベクトルヒストグラム差異値の積算値と、最新のＤＣ係数ヒストグラム差異値との和を演算し、該演算値を総合差異値としてシーン変化判定用差異値比較部に出力することを特徴とする。
【００３１】
また、請求項１７の本発明は、請求項１６に記載のシーン変化検出回路において、総合差異演算部は、請求項２０の演算値に加えて、後続するＩフレームとの間に挟まれたＰフレームにおける差異値の積算値を加えて演算し、該演算値を総合差異値としてシーン変化判定用差異値比較部に出力することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明を図示した実施形態に基づいて説明する。
【００３３】
実施の形態１．
図１は、本発明の実施の形態１のシーン変化検出回路の利用形態の一例である画像編集装置の概略構成を示すブロック図である。
【００３４】
図１の画像編集装置１は、ビデオテーププレーヤあるいはＤＶＤ(Digital Versatile Disc)再生装置等の映像信号出力装置２と接続されて、例えば、映像信号の一例としてのＮＴＳＣ形式コンポジット信号ＮＣ、および、タイムコード信号ＴＣを受信する。
【００３５】
画像編集装置１では、受信したＮＴＳＣコンポジット信号ＭＰＥＧ規格に規定された垂直及び水平の画素数で構成される各ブロック毎に離散コサイン変換（ＤＣＴ）技術を用いて動画像を符号化した映像信号を生成し、その映像信号からシーンの変化した箇所を検出して、その際のタイムコード信号ＴＣを、映像信号と共に接続されたパーソナルコンピュータ等の情報処理装置３に出力する。
【００３６】
情報処理装置３では、映像信号を再生してシーンの変化した箇所を確認し、編集後の再生時等の必要に応じて、映像信号出力装置２に対して映像出力制御信号ＶＣを出力すると共に、画像編集装置１に対しては、一連のフレームからなる映像信号中からシーンが変化した箇所を検出するためのしきい値を制御するしきい値制御信号ＳＣを出力する。しきい値制御信号ＳＣは、例えば、画像編集装置１で適切にシーンの変化箇所を検出できない等の誤動作がある場合に、情報処理装置３により適切な値に調整される。
【００３７】
また、情報処理装置３で、シーンが変化したことが確認された映像信号に対応するタイムコード信号ＴＣは、ハードディスク装置等の記憶装置４に格納される。
【００３８】
このように、一連のフレームからなる全ての映像信号に対して、隣接する画像フレーム間でシーンが変化したか否かを確認する処理を実施し、シーンが変化した箇所の映像信号のフレームに対応するタイムコードＴＣを記録しておく。次に、編集した映像を再生する場合には、記憶装置４からそのタイムコードＴＣを読み出して、情報処理装置３から映像信号出力装置２に対して、タイムコードＴＣに対応する箇所のみを再生するように映像出力制御信号ＶＣを出力することにより、編集した映像を出力させることができる。
【００３９】
また、画像編集装置１内の動作について、さらに詳しく説明すると、まず、入力したＮＴＳＣ形式の映像信号ＮＣは、ＡＤＣ・ＰＬＬ回路部１１で、アナログ信号からデジタル信号にＡＤ変換されて、位相が同期化される。次に、デジタル化された映像信号は、ＹＣ分離回路部１２で、輝度信号（Ｙ）と色差信号（Ｃ）に分離され、レート変換回路部１３で、画質劣化を最小限に抑えて色差成分の間引きを実施して圧縮効率を高めて、１画面分（１フレーム）の映像信号がフレームメモリ部１４に格納される。
【００４０】
フレームメモリ部１４の映像信号は、ＤＣＴ(Discrete Cosine Transform)回路部１５で、ＭＰＥＧ規格に規定された離散コサイン変換が実施され、１フレームの映像信号は、複数のブロックに分割され、ブロック毎に直流成分（ＤＣ）係数と交流成分（ＡＣ）係数が求められる。この離散コサイン変換では、画像情報がＤＣ係数およびＡＣ係数の低周波側に偏る傾向があるため、この係数の低周波側の値を確認することで該当ブロックの画像エネルギーの平均値を知ることができる。この時のＤＣ係数の値を含んで符号化された映像信号ＣＤが、次段のシーン変化検出回路部１６に入力される。
【００４１】
シーン変化検出回路部１６では、入力した１フレームの映像信号ＣＤの各ブロック（例えば、８×８画素のブロック、あるいは、１６×１６画素のマクロブロック）毎に画像エネルギーの平均値を記録し、次に入力する１フレームの映像信号ＣＤの各ブロック（あるいは、マクロブロック）毎に画像エネルギーの平均値との差を検出し、その差が、情報処理装置３から入力するしきい値制御信号ＳＣにより設定されたしきい値よりも大きい場合には、次段のインターフェース回路部１７にシーン変化検出信号ＳＶを映像信号と共に出力する。
【００４２】
インターフェース回路部１７では、シーン変化検出信号ＳＶが入力した時に、映像信号出力装置２から受信するタイムコード信号ＴＣと、映像信号を情報処理装置３に出力する。
【００４３】
以上までの説明では、図８に示した従来のシーン変化検出回路部１６ｚでも同様であり、従来は、入力する各フレームのブロック毎に画像エネルギーの平均値を単純に前後のフレームで比較することによりシーンの変化を検出しようとしていた。そのために、動きの激しいシーンや、カメラがパンニングされながら撮影されたシーンでは、シーンチェンジではないと誤判定することがあった。そこで、本実施の形態では、シーン変化検出回路部を以下のように構成することで、より正確に映像信号からシーンの変化部位を検出することができるようにした。
【００４４】
図２は、本発明のシーン変化検出回路部の実施の形態１の概略構成を示すブロック図である。
【００４５】
尚、図２において、図８に示した従来のシーン変化検出回路部と同じ機能の部分については同じ符号を付し、重複する説明を省略する。
【００４６】
図２に示した本実施の形態のシーン変化検出回路部が、図８に示した従来例と異なる点は、本実施の形態では大きく分類して以下の３つである。
【００４７】
（１）フレーム毎にＤＣ係数のヒストグラムを作成して差異をヒストグラムで実施する点。
【００４８】
（２）動きベクトルのヒストグラムを作成して差異をヒストグラムで実施する点。
【００４９】
（３）ＤＣ係数のヒストグラムの差異と動きベクトルのヒストグラムの差異を総合してシーンの変化を判定する点。
【００５０】
尚、ＤＣ係数のヒストグラムの差異のみからシーンの変化を判定することや、動きベクトルのヒストグラムの差異のみからシーンの変化を判定することも可能であるが、本実施の形態では、最良の判定結果を求めるために、両ヒストグラムの差異を総合してシーンの変化を判定する場合について説明する。
【００５１】
まず、（１）のフレーム毎にＤＣ係数のヒストグラムを作成して差異をヒストグラムで実施する点のために、以下の構成を設ける。
【００５２】
（１ａ）予め、前記ＤＣ係数の取りうる値の範囲を分割して複数の係数範囲を設定しておく。また、設定した各係数範囲毎に、各ブロックに対応して入力するＤＣ係数の値から該当するＤＣ係数の個数を計数し、各係数範囲毎のＤＣ係数のヒストグラムを作成する。以上の処理を実施するＤＣ係数ヒストグラム作成部２２を設ける。
【００５３】
（１ｂ）ＤＣ係数ヒストグラム作成部２２で作成された１つのフレームについてのＤＣ係数のヒストグラムを、次の最新フレームについてのＤＣ係数のヒストグラムがＤＣ係数ヒストグラム作成部２２で作成されるまで格納するＤＣ係数ヒストグラム記憶部２３を設ける。
【００５４】
（１ｃ）ＤＣ係数ヒストグラム作成部２２で作成された最新フレームのＤＣ係数のヒストグラムと、ＤＣ係数ヒストグラム記憶部２３に格納された最新より１つ前のフレームのＤＣ係数のヒストグラムとの双方が入力されて、両ヒストグラムの差異を演算するＤＣ係数ヒストグラム差異検出部２４を設ける。
【００５５】
次に、（２）の動きベクトルのヒストグラムを作成して差異をヒストグラムで実施するために、以下の構成を設ける。
【００５６】
（２ａ）入力した映像信号から動きベクトルを抽出する動きベクトル抽出部３１を設ける。
【００５７】
（２ｂ）予め、１フレームの画像領域を分割して複数の区画領域を設定と共に、動きベクトル抽出部３１で映像信号から抽出された動きベクトルの値に対する動きベクトル用しきい値を設定しておく。また、設定した各区画領域毎に、各ブロックに対応して入力する動きベクトルの値から動きベクトル用しきい値を超える動きベクトルの個数を計数し、各区画領域毎の動きベクトルのヒストグラムを作成する。以上の処理を実施する動きベクトルヒストグラム作成部３２を設ける。
【００５８】
（２ｃ）動きベクトルヒストグラム作成部３２で作成された１つのフレームについての動きベクトルのヒストグラムを、次の最新フレームについての動きベクトルのヒストグラムが動きベクトルヒストグラム作成部３２で作成されるまで格納する動きベクトルヒストグラム記憶部３３を設ける。
【００５９】
（２ｄ）動きベクトルヒストグラム作成部３２で作成された最新フレームの動きベクトルのヒストグラムと、動きベクトルヒストグラム記憶部３３に格納された最新より１つ前のフレームの動きベクトルのヒストグラムとの双方が入力されて、両ヒストグラムの差異を演算する動きベクトルヒストグラム差異検出部３４を設ける。
【００６０】
その次に、（３）ＤＣ係数のヒストグラムの差異と動きベクトルのヒストグラムの差異を総合してシーンの変化を判定するために、以下の構成を設ける。
【００６１】
（３ａ）ＤＣ係数ヒストグラム差異検出部２４の演算結果、および、動きベクトルヒストグラム差異検出部３４の演算結果の双方を入力し、双方の演算結果を和算して総合差異を演算する総合差異演算部４１を設ける。
【００６２】
（３ｂ）総合差異演算部４１の演算結果と、情報処理装置３からのしきい値制御信号ＳＣにより予め設定されたシーン変化判定用しきい値と比較する。そして、演算結果がしきい値よりも大きい場合には、シーンが変化したことを示す信号（シーン変化検出信号ＳＶ）を出力するシーン変化判定用差異値比較部４２を設ける。
【００６３】
ここで、上記した本実施の形態の構成の動作を説明する前に、動作理解の便宜上から、本実施の形態の構成における状況、および、使用されるＭＰＥＧ規格の内容について予め簡単に説明する。
【００６４】
シーン変化検出回路部１６ａに入力される符号化映像信号ＣＤとしては、例えば、いわゆるＭＰＥＧビデオ規格（ＭＰＥＧ１、または、ＭＰＥＧ２）に基づいて符号化された動画像の映像信号である。
【００６５】
動画像は、連続する複数のフレームで構成されている。一般的に、ＭＰＥＧ規格により動画像を符号化する際には、フレーム毎に、各フレーム内の情報のみから独立して符号化が行われるフレーム内符号化と、符号化対象のフレーム内の情報と前後のフレームの情報との差異を符号化するフレーム間予測符号化が使い分けられる。
【００６６】
フレーム内符号化されたフレームをＩ（イントラ）フレームと称する。フレーム間予測符号化では、符号化対象のフレームより時間的に前のフレーム内の情報のみを用いて順方向で予測して符号化するＰフレームと、時間的に前後に位置する２つのフレーム内の情報を用いて双方向から予測するＢフレームの２種類に分類される。
【００６７】
Ｉフレーム、Ｐフレーム、および、Ｂフレームのいずれのフレームにおいても、空間的な冗長度を除去し、より少ないビット数で符号化するための手法の一つである離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）が用いられる。
【００６８】
ＭＰＥＧでは、フレーム内の画素を複数の８ｘ８画素ブロックに分割する。フレーム中の各ブロック毎にＤＣＴが施され、ブロック内の画素値の平均値であるＤＣ（直流成分）係数と、その他の交流成分を表すＡＣ係数が得られる。
【００６９】
また、フレーム間予測符号化では、符号化すべき差異を出来るだけ小さくして符号量を削減するために、フレームをブロックに分割すると共に、４ブロックからなるマクロブロックを設定し、マクロブロック毎に差異算出の基準となるフレームに対する動き量を求め、その動き量を動きベクトルとしてＤＣＴ係数（ＤＣ係数、ＡＣ係数）と共に符号化している。
【００７０】
以上を前提として、図２に示した本実施の形態のシーン変化検出回路部１６ａの動作を説明する。
【００７１】
シーン変化検出回路部１６ａに入力された符号化映像信号ＣＤは、先ず、ＤＣ係数抽出部２１および動きベクトル抽出部３１に入力する。
【００７２】
ＤＣ係数抽出部２１では、入力した映像信号に含まれるＩフレームから、ＤＣ係数のみを抽出して、ＤＣ係数ヒストグラム作成部２２に送る。
【００７３】
ＤＣ係数ヒストグラム作成部２２では、抽出されたＤＣ係数が、予め前記ＤＣ係数の取りうる値の範囲を分割して設定された複数の係数範囲の何れに分類されるかを判断し、フレームごとに各係数範囲に含まれるＤＣ係数の個数を計数してヒストグラムを形成する。
【００７４】
ここで、ＤＣ係数の取りうる値の範囲を分割する区分けの基準としては、単純に値を一定間隔に区切っても良いし、予め、複数のしきい値を定めておいても良い。また、しきい値の場合には、その各しきい値に対する大小関係（例えば、しきい値以上）に対応させてＤＣ係数を分類すれば良い。
【００７５】
また、一般的に、映像信号は、輝度信号と２種類の色信号から成っており、ＤＣ係数についても輝度信号と色信号のそれぞれに対応した成分が存在するので、上記したヒストグラムの作成についても、上記したいずれか１つの成分または２つの成分を対象にして作成しても良いし、３つ全ての成分を対象にして作成しても良い。
【００７６】
さらに、複数の成分を対象としてヒストグラムを作成する場合、ＤＣ係数の取りうる値の範囲を分割する区分けの基準としては、各成分毎に独立にしきい値を定め、成分ごとに区分けすることも可能であるが、複数の成分を組み合わせてベクトル化し、組み合わせた値が、あらかじめ区切った２次元または３次元空間の領域の何れに属するかに応じて区分けを行うこともできる。
【００７７】
発明者の実験によれは、成分毎に独立にしきい値を定め、成分ごとに区分けするよりも、複数の成分を組み合わせてベクトル化した方が望ましい結果が得られることがわかっている。
【００７８】
ＤＣ係数ヒストグラム作成部２２で作成されたヒストグラムは、ＤＣ係数ヒストグラム記憶部２３およびＤＣ係数ヒストグラム差異検出部２４に供給される。
【００７９】
ＤＣ係数ヒストグラム記憶部２３では、時間的に先行するＩフレームで作成されたヒストグラムを、ＤＣ係数ヒストグラム作成部２２で次のＩフレームからヒストグラムが作成されるまで保持し、ＤＣ係数ヒストグラム差異検出部２４に出力する。
【００８０】
ＤＣ係数ヒストグラム差異検出部２４では、ＤＣ係数ヒストグラム作成部２２から最新のＩフレームのＤＣ係数ヒストグラムと、ＤＣ係数ヒストグラム記憶部２３から先行する（最新の１つ前の）ＩフレームのＤＣ係数ヒストグラムとを双方ともに受信し、両者の値を比較して差異値を演算する。
【００８１】
ここで、ＤＣ係数ヒストグラムの差異値は、例えば、次のように算出される。
【００８２】
今、ＤＣ係数を、Ｋ個の係数範囲に分類し、任意のＩフレーム「ｉ」により
ヒストグラム：

が得られ、
【００８３】
先行する（最新の１つ前の）Ｉフレーム「ｊ」により
ヒストグラム：

が得られたものとする。
【００８４】
この時の上記両ヒストグラム＜１＞と＜２＞の差異値：ｄは、次式に従って計算することができる。

ここで、＜３＞式中の「min｛H_i(k),H_j(k)｝」とは、「H_i(k),H_j(k)」の内から、何れか小さい方を選択する演算子であり、「Ｎ」は、１フレーム内のデータの総数を表している。
【００８５】
従って、「ｄ」は、「０」から「１」の範囲の値となり、例えば、両ヒストグラムが同一であれば「０」になるが、両ヒストグラムの差異が大きくなるほど大きな値となる。ＤＣ係数ヒストグラムの差異値は、このようにして算出される。
【００８６】
シーン変化検出回路部１６ａのＤＣ係数抽出部２１に入力された符号化映像信号ＣＤによる動作は、上記のように実施されるが、一方、動きベクトル抽出部３１に入力した符号化映像信号ＣＤによる動作は以下のようになる。
【００８７】
動きベクトル抽出部３１では、入力される映像信号に含まれるＰフレームのみを選び出し、Ｐフレームに含まれる動きベクトルを抽出する。
【００８８】
動きベクトル抽出部３１で抽出された動きベクトルは、動きベクトルヒストグラム作成部３２に送られる。
【００８９】
動きベクトルヒストグラム作成部３２では、予め、１フレームの画像領域を分割して複数の区画領域を設定しておく。また、各ブロックに対応して入力する動きベクトルの値から、設定した各区画領域毎に該当する動きベクトルを分類して、フレームごとに各区画領域に含まれる動きベクトルの個数を計数し、各区画領域毎の動きベクトルのヒストグラムを作成する。
【００９０】
ここで、動きベクトルについて説明する。動きベクトルは、１フレームを輝度信号１６ｘ１６画素を単位に分割して形成されるマクロブロック単位に付加される。また、動きベクトルは、画面における横方向成分v_xと、縦方向成分v_yとの２つの成分からなる。
【００９１】
従って、動きベクトルのヒストグラムを作成するにあたっては、上記した２つの成分の少なくとも一方の成分を用いればヒストグラムを作成できるが、より望ましい結果を得るには両方の成分をペアとして用いた方が良い。
【００９２】
図３は、動きベクトルの画面における横方向成分v_xをそのまま横軸にとり、縦方向成分v_yを縦軸にとって、動きベクトルの区画領域を設定した一例の図である。
【００９３】
例えば、図３のように設定した各区画領域毎に、横方向成分v_xと、縦方向成分v_yとを合成した動きベクトルの個数を計数してヒストグラムを作成する。
【００９４】
例えば、図３において、領域１が半径ｒの円である場合、
任意の動きベクトルが

を満たす場合には、その動きベクトルは領域１に含まれることになり、
【００９５】
また、別の動きベクトルが、

を満たす場合には、その動きベクトルは領域２に含まれることになる。このようにして各動きベクトルを分類することができる。
【００９６】
動きベクトルヒストグラム作成部３２で作成されたヒストグラムは、動きベクトルヒストグラム記憶部３３、および、動きベクトルヒストグラム差異検出部３４に供給される。
【００９７】
動きベクトルヒストグラム記憶部３３では、先行する（最新の１つ前の）Ｐフレームで作成されたヒストグラムを、動きベクトルヒストグラム作成部３２で次のＰフレームからヒストグラムが作成されるまで保持し、動きベクトルヒストグラム差異検出部３４に出力する。
【００９８】
動きベクトルヒストグラム差異検出部３４では、動きベクトルヒストグラム作成部３２から最新のＰフレームについての動きベクトルヒストグラムと、動きベクトルヒストグラム記憶部３３から先行する（最新の１つ前の）Ｐフレームについての動きベクトルヒストグラムとを双方ともに受信し、両者の値を比較して差異値を演算する。
【００９９】
ここで、動きベクトルヒストグラムの差異値は、例えば、ＤＣ係数ヒストグラムに適用した方法と同じ方法を用いて算出すれば良い。
【０１００】
上記のようにして、シーン変化検出回路部１６ａに入力された符号化映像信号ＣＤによりＤＣ係数抽出部２１と、動きベクトル抽出部３１が上記のように動作し、ＤＣ係数ヒストグラムの差異値と、動きベクトルヒストグラムの差異値が得られる。本実施の形態では、ここで、さらに両差異値を総合してシーン変化を判定するために以下の動作が実施される。
【０１０１】
ＤＣ係数ヒストグラム差異検出部２４、および、動きベクトルヒストグラム差異検出部３４で得られた２種類の差異値は、双方とも総合差異演算部４１に出力される。総合差異演算部４１では、ＤＣ係数のヒストグラム差異と、動きベクトルのヒストグラム差異とを総合して、シーン変化の有無を判定するための総合差異値を演算する。
【０１０２】
ここで、ＤＣ係数ヒストグラムの差異値はＩフレーム毎に演算され、動きベクトルヒストグラムの差異値はＩフレーム間の各Ｐフレーム毎に演算されることから、ＭＰＥＧ規格に基づくフレームの挿入順について説明する。
【０１０３】
図４は、ＭＰＥＧ規格で一般的に実施されるフレームの挿入順を示す図である。
【０１０４】
図４では、Ｉ１フレームが挿入されると、Ｉ１フレームに続いて、Ｐ１フレームが符号化され、Ｉ１フレームとＰ１フレームに挟まれたＢ１フレームおよびＢ２フレームが符号化される。
【０１０５】
次に、Ｐ１フレームに基づき、Ｐ２フレームが挿入され、Ｐ１フレームとＰ２フレームに挟まれたＢ３フレーム、Ｂ４フレームおよびＢ５フレームが符号化される。
【０１０６】
その次には、Ｉ２フレームが挿入されると、Ｉ２フレームに続いて、Ｐ３フレームが符号化されるが、まず、Ｐ２フレームとＩ２フレームに挟まれたＢ６フレームおよびＢ７フレームが符号化され、次いで、Ｉ２フレームとＰ３フレームに挟まれたＢ８フレームおよびＢ９フレームが符号化される。
【０１０７】
総合差異演算部４１は、例えば、フレーム内符号化されるＩフレームの間で順方向予測符号化されるＰフレーム毎に算出される動きベクトルのヒストグラム差異値を積算していき、次の最新となるＩフレームによってＤＣ係数のヒストグラム差異値が算出された時点で、先行する（最新より１つ前の）Ｉフレーム以降のＰフレームにおける動きベクトルヒストグラム差異値の積算値と、最新のＤＣ係数ヒストグラム差異値との和を演算し、その演算値を総合差異値としてシーン変化判定用差異値比較部４２に出力する。
【０１０８】
なお、総合差異演算部４１における総合差異値の算出方法は、上記に限られるわけではなく他の算出方法を用いても良い。上記例では、あるＩフレームにおけるＤＣ係数ヒストグラム差異値と、先行するＩフレームとの間に挟まれた全Ｐフレームにおける差異値の積算値との和を演算したが、例えば、この演算値に加えて、後続するＩフレームとの間に挟まれたＰフレームにおける差異値の積算値を加えても良い。
【０１０９】
そして、シーン変化判定用差異値比較部４２では、総合差異演算部４１の演算結果を、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい場合には、シーンが変化したと判定して、シーンチェンジが発生したことを示す信号を出力する。このシーン変化判定用しきい値は、図１の情報処理装置３によりしきい値制御信号ＳＣで制御される値である。
【０１１０】
上記した実施の形態では、シーンの変化を判定するために、ＤＣ係数ヒストグラムの差異値と、動きベクトルヒストグラムの差異値の双方の総合差異を用いたが、例えば、ＤＣ係数ヒストグラムの差異値のみで判断する場合には、ＤＣ係数ヒストグラム差異検出部２４の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい場合にシーンが変化したことを示す信号を出力する機能を有する不図示のシーン変化判定用差異値比較部を設けることで判断することができる。
【０１１１】
また、例えば、動きベクトルヒストグラムの差異値のみで判断する場合には、動きベクトルヒストグラム差異検出部３４の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい場合にシーンが変化したことを示す信号を出力する機能を有する不図示のシーン変化判定用差異値比較部を設けることで判断することができる。
【０１１２】
また、ＤＣ係数ヒストグラム作成部２２は、シーン変化の検出精度を向上させることができる場合には、例えば、各係数範囲が予め公知であって固定値である場合には、各係数範囲毎にＤＣ係数用しきい値を設定し、そのＤＣ係数用しきい値を超えるＤＣ係数の個数を計数してＤＣ係数ヒストグラムを作成しても良い。
【０１１３】
また、ＤＣ係数ヒストグラム作成部２２は、シーン変化の検出精度を向上させることができる場合には、例えば、予め１フレームの画像領域を分割して複数の区画領域を設定しておき、各区画領域毎に前記ＤＣ係数のヒストグラムを作成しても良い。
【０１１４】
また、ＤＣ係数ヒストグラム作成部２２は、シーン変化の検出精度を向上させることができる場合には、例えば、輝度信号と２種類の色信号の各信号成分に対応するＤＣ係数の中から少なくとも１つのＤＣ係数を用いてヒストグラムを作成しても良い。
【０１１５】
また、ＤＣ係数ヒストグラム作成部２２は、シーン変化の検出精度を向上させることができる場合には、例えば、ＤＣ係数の係数範囲の設定を、輝度信号と２種類の色信号の各信号成分毎に設定しても良い。
【０１１６】
また、ＤＣ係数ヒストグラム作成部２２は、シーン変化の検出精度を向上させることができる場合には、例えば、輝度信号と２種類の色信号の各信号成分中から少なくとも２成分を用いて、その成分を座標軸とする仮想の２次元座標空間あるいは３次元座標空間を設定し、さらにその座標空間内部を区分して区画領域を設定すると共に、座標空間を設定するために用いた成分のＤＣ係数値を、設定した座標空間に対応するように組み合わせてベクトル化したベクトル値とし、ＤＣ係数の係数範囲の設定は、ベクトル値に対応させて設定し、各区画領域毎にベクトル値のヒストグラムを作成することで、各区画領域毎のＤＣ係数のヒストグラムを作成するようにしても良い。
【０１１７】
また、ＤＣ係数抽出部２１は、フレーム内符号化されるＩフレームのみについて動作させるため、入力した映像信号から符号化モードを検出する機能を有し、フレーム内符号化されたフレームの映像信号からＤＣ係数を抽出するように構成した。
【０１１８】
また、動きベクトルヒストグラム作成部３２は、Ｉフレーム間で順方向予測符号化される各Ｐフレームのみについて動作させるため、入力した映像信号から符号化モードを検出する機能を有し、フレーム間で順方向予測符号化される各Ｐフレームの映像信号から動きベクトルを抽出するように構成した。
【０１１９】
また、動きベクトルヒストグラム作成部３２は、シーン変化の検出精度を向上させることができる場合には、例えば、毎各区画領域毎に動きベクトル用しきい値を設定し、その動きベクトル用しきい値を超える動きベクトルの個数を計数して動きベクトルヒストグラムを作成しても良い。
【０１２０】
また、動きベクトルヒストグラム作成部３２は、シーン変化の検出精度を向上させることができる場合には、例えば、動きベクトル用しきい値を複数の段階となるように設定し、各区画領域に含まれる動きベクトルの各段階毎の個数を計数してヒストグラムを作成しても良い。なお、ここで設定する１フレームの画像領域を分割した区画領域は、例えば、ＤＣ係数の係数範囲用に設定した区画領域と同一でも良いし、個別に設定しても良い。
【０１２１】
また、動きベクトルヒストグラム作成部３２は、例えば、ｘ軸（横）方向成分とｙ軸（縦）方向成分の各方向成分に対応する動きベクトル成分の中から少なくとも１つの動きベクトル成分を用いてヒストグラムを作成しても良い。
【０１２２】
また、動きベクトルヒストグラム作成部３２は、例えば、ｘ軸（横）方向成分とｙ軸（縦）方向成分の両方向成分を合成した動きベクトルを用いてヒストグラムを作成しても良い。
【０１２３】
また、動きベクトルヒストグラム作成部３２は、例えば、ＭＰＥＧ規格に規定された垂直及び水平の画素数で構成される各マクロブロック毎の動きベクトルを用いて、各区画領域毎に動きベクトル用しきい値を超える動きベクトルの個数を計数しても良い。
【０１２４】
また、動きベクトルヒストグラム作成部３２で設定される区画領域は、例えば、１フレームの画像領域を、そのフレームの画像の中心から放射状に広がる複数の線分により分割された領域を含んでも良い。
【０１２５】
また、動きベクトルヒストグラム作成部３２で設定される区画領域は、例えば、１フレームの画像領域を、そのフレームの画像の中心から同心円状に分割された領域を少なくとも１つは含むように構成しても良い。
【０１２６】
また、総合差異演算部４１は、シーン変化の検出精度を向上させることができる場合には、例えば、フレーム内符号化されるＩフレームの間で順方向予測符号化されるＰフレーム毎に算出される動きベクトルのヒストグラム差異値を積算し、次の最新となるＩフレームによってＤＣ係数のヒストグラム差異値が算出された時点で、最新より１つ前のＩフレーム以降のＰフレームにおける動きベクトルヒストグラム差異値の積算値と、最新のＤＣ係数ヒストグラム差異値との和を演算し、その演算値を総合差異値としてシーン変化判定用差異値比較部に出力するように構成しても良い。
【０１２７】
また、総合差異演算部４１は、シーン変化の検出精度を向上させることができる場合には、例えば、上記した最新より１つ前のＩフレーム以降のＰフレームにおける動きベクトルヒストグラム差異値の積算値と、最新のＤＣ係数ヒストグラム差異値との和の演算値に加えて、後続するＩフレームとの間に挟まれたＰフレームにおける差異値の積算値を加えて演算し、その演算値を総合差異値としてシーン変化判定用差異値比較部に出力するように構成しても良い。
【０１２８】
このように、本実施の形態によれば、ＤＣ係数ヒストグラムおよび動きベクトルヒストグラムを利用してシーンの変化を検出するので、動きの激しいシーンや、カメラがパンニングされながら撮影されたシーンでも、シーンチェンジと判断する誤判定を減らすことができ、より正確にシーンが切り替わった箇所を検出することができる。
【０１２９】
実施の形態２．
上記した実施の形態１では、ＤＣ係数ヒストグラム差異検出部２４、および、動きベクトルヒストグラム差異検出部３４の演算結果は、直接に総合差異演算部４１に入力されていた。しかし、例えば、シーンチェンジ以外の通常のシーン中の比較的小さな動きについては、上記した実施の形態における差異の演算から誤差要素として除去できれば、より正しい判断が可能になる。
【０１３０】
以下に、実施の形態１の各差異から、通常のシーン中の比較的小さな動きを除去する場合について説明する。
【０１３１】
図５は、本発明のシーン変化検出回路部の実施の形態２の概略構成を示すブロック図である。
【０１３２】
図５に示した本実施の形態のシーン変化検出回路部が、図２に示した実施の形態１と異なる点は、以下の各点である。
【０１３３】
（４）ＤＣ係数ヒストグラム差異検出部２４と総合差異演算部４１との間に、ＤＣ係数ヒストグラム差異検出部２４の演算結果を変換するＤＣ係数差異変換部２５を設けた点。
【０１３４】
（５）動きベクトルヒストグラム差異検出部３４と総合差異演算部４１との間に、動きベクトルヒストグラム差異検出部３４の演算結果を変換する動きベクトルヒストグラム差異変換部３５を設けた点。
【０１３５】
以下に、ＤＣ係数差異変換部２５および動きベクトルヒストグラム差異変換部３５を設けることにより、シーンチェンジの誤検出をより効果的に抑制することができる理由を説明する。
【０１３６】
ＤＣ係数差異変換部２５および動きベクトルヒストグラム差異変換部３５では、例えば、次のような変換を行う。
【０１３７】
今、変換前の値をx、変換後の値をyとした場合、

となる。
ここで、「x_th」は、予め定めたしきい値である。
【０１３８】
一般的に、ヒストグラム差異値は、対象となる２つのフレームが同一のヒストグラムを持たない限りは、シーンの変わり目以外でも「０」でない値を持つ。このようなシーンチェンジ以外の差異値は、言わばノイズ成分であり、比較的小さな値を持つ。従って、上記変換のように、「x_th」以下の値を「０」に置き換えることにより、シーンチェンジ以外の差異値を除去することができる。
【０１３９】
このように、本実施の形態では、ＤＣ係数差異変換部２５および動きベクトルヒストグラム差異変換部３５を設けることにより、シーンチェンジ部分以外で発生するヒストグラム差異値が、総合差異演算部４１等で累積演算されることを抑制できるので、シーンチェンジの誤検出を減らすことができる。
【０１４０】
実施の形態３．
また、上記した実施の形態１では、総合差異演算部４１の演算結果の値を、シーン変化判定用差異値比較部４２で、演算結果が出力される間中、しきい値と単純に比較してシーンチェンジを検出していた。この場合には、急激なシーンの変化は検出できたが、例えば、徐々にシーンを切り替える場合には連続して差異値が出力されてしまうため対応できなかった。これについては、例えば、上記した実施形態において、差異のピークで判断できるようにすれば、より正しい判断が可能になると考えられる。
【０１４１】
以下に、実施の形態１の差異をピークで判断できるようにした場合の本実施の形態について説明する。
【０１４２】
図６は、本発明のシーン変化検出回路部の実施の形態３の概略構成を示すブロック図である。
【０１４３】
図６に示した本実施の形態のシーン変化検出回路部が、図２に示した実施の形態１と異なる点は、以下の点である。
【０１４４】
（６）実施の形態１のシーン変化判定用差異値比較部４２に代えて、総合差異演算部４１の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい状態が続く場合であって、さらに、その演算結果にピークが発生した場合にシーンが変化したことを示す信号を出力するシーン変化判定用のピーク検出部４３を設けた点。
【０１４５】
図２に示した実施の形態１のシーン変化判定用差異値比較部４２をピーク検出部４３に置き代えた場合、瞬時に画面が切り替わる瞬時カット点のみならず画面が徐々に切り替わる、ディゾルブやワイプと呼ばれるシーンチェンジにも対応可能となる。
【０１４６】
ここで、ディゾルブとは、２つの連続する動画を、時間の経過と共に一方を徐々に弱め、他方を徐々に強めながら合成して切り替える方法である。また、ワイプとは、画面上で空間的に一方の面積が減り、他方が増えるような切り替え方である。
【０１４７】
徐々にシーンが切り替わる場合、切り替わり期間中、総合差異値が連続してしきい値を越えることもありうる。そこで、ピーク検出部４３では、先ず、総合差異値をしきい値と比較し、総合差異値が連続してしきい値を越えた場合には、その内の総合差異値がピークとなる１箇所のみをシーンチェンジ点と判断する。
【０１４８】
このように、本実施の形態では、総合差異値が連続して出力される場合には、そのピークでシーンの変化を判定するようにしたので、徐々にシーンを切り替える場合であってもシーンチェンジの誤検出を減らすことができる。
【０１４９】
実施の形態４．
また、上記した実施の形態２でも、総合差異演算部４１の演算結果の値を、シーン変化判定用差異値比較部４２で、演算結果が出力される間中、しきい値と単純に比較してシーンチェンジを検出していた。これについても、上記した実施形態において、差異のピークで判断できるようにすれば、より正しい判断が可能になると考えられる。
【０１５０】
以下に、実施の形態２の差異をピークで判断できるようにした場合の本実施の形態について説明する。
【０１５１】
図７は、本発明のシーン変化検出回路部の実施の形態４の概略構成を示すブロック図である。
【０１５２】
図７に示した本実施の形態のシーン変化検出回路部が、図５に示した実施の形態２と異なる点は、以下の点である。
【０１５３】
（７）実施の形態２のシーン変化判定用差異値比較部４２に代えて、総合差異演算部４１の演算結果と、予め設定されたシーン変化判定用しきい値と比較し、演算結果がしきい値よりも大きい状態が続く場合であって、さらに、その演算結果にピークが発生した場合にシーンが変化したことを示す信号を出力するシーン変化判定用のピーク検出部４３を設けた点。
【０１５４】
このように、本実施の形態では、実施の形態２のＤＣ係数差異変換部２５および動きベクトルヒストグラム差異変換部３５を設けることに加えて、シーン変化判定用のピーク検出部４３を設けているので、シーンチェンジの誤検出を抑えながら、ディゾルブやワイプなど徐々にシーンが切り替わる場合にも対応して正確にシーンチェンジを検出することができる。
【０１５５】
なお、上記した各実施の形態では、総合差異演算部４１で、フレーム内符号化されるＩフレームの間で順方向予測符号化されるＰフレーム毎に算出される動きベクトルのヒストグラム差異値を積算し、次の最新となるＩフレームによってＤＣ係数のヒストグラム差異値が算出された時点で、最新より１つ前のＩフレーム以降のＰフレームにおける動きベクトルヒストグラム差異値の積算値と、最新のＤＣ係数ヒストグラム差異値との和を演算するか、その演算値に加えて、後続するＩフレームとの間に挟まれたＰフレームにおける差異値の積算値を加えて演算していたが、総合差異演算部４１の演算方法としては、他の方法を用いても良い。
【０１５６】
また、上記した各実施の形態では、本発明のシーン変化検出回路を利用する形態の一例として画像編集装置に利用する場合を説明したが、本発明はこれに限られるものではなく、テレビ入力画像の変化を利用する各種の装置に利用することができる。例えば、テレビ入力画像の変化を利用して来訪者等を検出する来客通知システム、あるいは、警備システムに本発明を利用しても良い。
【０１５７】
【発明の効果】
本発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【０１５８】
請求項１〜５の本発明では、ＤＣ係数でヒストグラムを作成し、最新フレームのＤＣ係数のヒストグラムと、最新より１つ前のフレームのＤＣ係数のヒストグラムとの差異を用いてシーンの変化を判定するので、動きの激しい動画においても、正確にシーンチェンジを検出することができる。
【０１５９】
請求項６〜１１の本発明では、動きベクトルでヒストグラムを作成し、最新フレームの動きベクトルのヒストグラムと、最新より１つ前のフレームの動きベクトルとのヒストグラムとの差異を用いてシーンの変化を判定するので、動きの激しい動画においても、正確にシーンチェンジを検出することができる。
【０１６０】
請求項１２の本発明では、ＤＣ係数のヒストグラムの差異と、動きベクトルとのヒストグラムの差異の双方を総合差異として用いるので、動きの激しい動画においても、さらに正確にシーンチェンジを検出することができる。
【０１６１】
請求項１３の本発明では、ＤＣ係数ヒストグラムの差異の一定値より小さいノイズ成分は０に変換し、動きベクトルヒストグラムの差異のノイズ成分も０に変換するので、動きの激しい動画においても、変化の大きい連続する動画部分をシーンチェンジと誤判定することを抑制でき、さらに正確にシーンチェンジを検出することができる。
【０１６２】
請求項１４の本発明は、シーン変化判定用差異値比較部に代えてピーク検出部を設けたので、徐々にシーンが切り替わる場合等の、総合差異値が連続してしきい値を越えた場合にも対応できるように、ピークの一箇所をシーンチェンジと看做すように構成するので、ディゾルブやワイプなど画面が徐々に切り替わる場面でも正確にシーンチェンジを検出することができる。
【０１６３】
請求項１５の本発明は、ＤＣ係数ヒストグラムの差異の一定値より小さいノイズ成分は０に変換し、動きベクトルヒストグラムの差異のノイズ成分も０に変換し、また、シーン変化判定用差異値比較部に代えてピーク検出部を設けたので、動きの激しい動画においても、変化の大きい連続する動画部分をシーンチェンジと誤判定することを抑制して正確にシーンチェンジを検出でき、また、徐々にシーンが切り替わる場合等の、総合差異値が連続してしきい値を越えた場合にも対応できるように、ピークの一箇所をシーンチェンジと看做すように構成するので、ディゾルブやワイプなど画面が徐々に切り替わる場面でも正確にシーンチェンジを検出することができる。
【０１６４】
請求項１６の本発明は、総合差異演算部が、Ｉフレーム間のＰフレーム毎に動きベクトルのヒストグラム差異値を積算し、次の最新ＩフレームによるＤＣ係数のヒストグラム差異値が算出された時点で、Ｐフレームの動きベクトルヒストグラム差異値の積算値とＤＣ係数ヒストグラム差異値との和を演算するので、正確にシーンチェンジを検出することができる。
【０１６５】
請求項１７の本発明は、総合差異演算部が、請求項１６の演算値に加えて、後続するＩフレームとの間に挟まれたＰフレームにおける差異値の積算値を加えて演算するので、さらに正確にシーンチェンジを検出することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１のシーン変化検出回路の利用形態の一例である画像編集装置の概略構成を示すブロック図である。
【図２】 本発明のシーン変化検出回路部の実施の形態１の概略構成を示すブロック図である。
【図３】 動きベクトルの画面における横方向成分v_xをそのまま横軸にとり、縦方向成分v_yを縦軸にとって、動きベクトルの区画領域を設定した一例の図である。
【図４】 ＭＰＥＧ規格で一般的に実施されるフレームの挿入順を示す図である。
【図５】 本発明のシーン変化検出回路部の実施の形態２の概略構成を示すブロック図である。
【図６】 本発明のシーン変化検出回路部の実施の形態３の概略構成を示すブロック図である。
【図７】 本発明のシーン変化検出回路部の実施の形態４の概略構成を示すブロック図である。
【図８】 ＭＰＥＧ規格の映像信号からシーンの変化箇所を検出する回路の従来例を示すブロック図である。
【符号の説明】
１ 画像編集装置、 ２ 映像信号出力装置、 ３ 情報処理装置、 ４ 記憶装置、 １１ ＡＤＣ・ＰＬＬ回路部、 １２ ＹＣ分離回路部、 １３ レート変換回路部、 １４ フレームメモリ部、 １５ ＤＣＴ回路部、 １６，１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｚ シーン変化検出回路部、 １７ インターフェース回路部、 ２１ ＤＣ係数抽出部、 ２２ ＤＣ係数ヒストグラム作成部、 ２３ ＤＣ係数ヒストグラム記憶部、 ２４ ＤＣ係数ヒストグラム差異検出部、 ２５ ＤＣ係数差異変換手段、 ３１ 動きベクトル抽出部、３２ 動きベクトルヒストグラム作成部、 ３３ 動きベクトルヒストグラム記憶部、 ３４ 動きベクトルヒストグラム差異検出部、 ３５ 動きベクトル差異変換部、 ４１ 総合差異演算部、 ４２ シーン変化判定用差異値比較部、 ５１ メモリ切り替えスイッチ、 ５２ ＤＣ係数第１記憶部、 ５３ ＤＣ係数第２記憶部、 ５４ 差分抽出回路、 ５５ 絶対値化回路、 ５６ シーン変化判定回路、 ４３ ピーク検出部、 ＣＤ 符号化映像信号（入力）、ＮＣ ＮＴＳＣコンポジット信号、 ＳＣ しきい値制御信号、 ＳＶ シーン変化検出信号（出力）、 ＴＣ タイムコード信号、 ＶＣ 映像出力制御信号。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scene change (change) from a video signal of a moving image converted (compressed) using a technique defined in the MPEG (Moving Picture Expert Group) standard which is an international standard for media-integrated moving image compression. , Change) relates to a circuit for detecting a location.
[0002]
[Prior art]
FIG. 8 is a block diagram showing a conventional example of a circuit for detecting a scene change point from an MPEG standard video signal.
[0003]
The scene change detection circuit unit 16z in FIG. 8 is, for example, a circuit disclosed in Japanese Patent Application Laid-Open No. 6-259052, CD indicates an input of an encoded video signal, and SC determines a scene change. , SV indicates the output of a scene change detection signal when a scene change is detected.
[0004]
In the scene change detection circuit unit 16z, reference numeral 21 denotes a DC coefficient extraction unit that extracts a direct current component (DC) coefficient from an input of an encoded video signal, and 51 denotes a plurality of memories arranged in the subsequent stage. Reference numeral 52 denotes a memory changeover switch, 52 denotes a DC coefficient first storage unit for storing the DC coefficient previously extracted by the DC coefficient extraction unit, and 53 denotes a DC coefficient first storage unit for the DC coefficient extraction unit. The DC coefficient 2nd memory | storage part which stores the DC coefficient extracted next to the DC coefficient stored in is shown.
[0005]
In the scene change detection circuit unit 16z, 54 is a difference extraction circuit that extracts a difference between the DC coefficient stored in the DC coefficient first storage unit and the DC coefficient stored in the DC coefficient second storage unit. Reference numeral 55 denotes an absolute value conversion circuit for converting the difference extracted by the difference extraction circuit 54 into an absolute value. Reference numeral 56 denotes an absolute value converted by the absolute value conversion circuit 55 by the threshold value control signal SC. A scene change determination circuit that determines a magnitude in comparison with the threshold value and outputs a scene change detection signal SV when it is determined that the scene has changed is shown.
[0006]
As an operation of the scene change detection circuit unit 16z, first, when a video signal CD of a previous frame encoded by a discrete cosine transform (DCT), which is one of image encoding methods, is input. Only the value of the DC coefficient is extracted by the DC coefficient extraction unit 21 and stored in the DC coefficient first storage unit 52 by the memory changeover switch 51. When the video signal CD of the next frame is input, the value of the DC coefficient extracted by the DC coefficient extraction unit 21 is stored in the DC coefficient second storage unit 53 by the memory changeover switch 51.
[0007]
The difference extraction circuit 54 extracts the difference by comparing the value of the DC coefficient stored in the DC coefficient first storage unit 52 with the value of the DC coefficient stored in the DC coefficient second storage unit 53. The absolute value converting circuit 55 converts the difference extracted by the difference extracting circuit 54 into an absolute value so that the comparison can be easily performed.
[0008]
The scene change determination circuit 56 uses the threshold value (for example, the threshold value A) for which the difference value converted into the absolute value by the absolute value conversion circuit 55 is set with respect to the difference value by the threshold value control signal SC. ). Next, the number is detected more than the threshold value (for example, threshold value B) set for the number of difference values exceeding the threshold value A by the threshold value control signal SC. In this case, it is determined that the scene has changed at that time, and the scene change detection signal SV is output.
[0009]
[Problems to be solved by the invention]
However, in the conventional scene change detection circuit unit 16z described above, the difference in DC coefficient between frames becomes large even in places other than the scene change, for example, in a scene with intense motion or a scene shot while the camera is panned. Therefore, there was a problem that it was erroneously determined that there was a scene change.
[0010]
The present invention has been made to solve the conventional problems as described above. In a scene with intense movement or a scene shot while the camera is panned, it is determined that it is not a scene change and erroneous determination is made. An object of the present invention is to provide a circuit that can detect a portion where a scene has been switched more accurately.
[0011]
[Means for Solving the Problems]
  In order to solve the above-described problem, the scene change detection circuit according to the present invention described in claim 1 uses a discrete cosine transform technique for each block constituted by the number of vertical and horizontal pixels defined in the MPEG standard. This is a circuit that detects the scene change part from the video signal that encodes the moving image.For one frameFrom video signalFor each blockA DC coefficient extraction unit that extracts a DC component (DC) coefficient and a range of values that can be taken by the DC coefficient are set in advance to set a plurality of coefficient ranges, and the number of corresponding DC coefficients for each coefficient range The DC coefficient histogram creation unit that creates a DC coefficient histogram for each coefficient range, and the DC coefficient histogram of one frame created by the DC coefficient histogram creation unit, the DC coefficient histogram of the next latest frame The DC coefficient histogram storage unit that stores until the histogram is created, the DC coefficient histogram of the latest frame created by the DC coefficient histogram creation unit, and the previous frame stored in the DC coefficient histogram storage unit Difference from histogram of DC coefficientd according to the following formulaA DC coefficient histogram difference detection unit to be calculated;
[Expression 1]

  (However, “ min { H _i (k), H _j (k) } ”Is a histogram of an arbitrary frame“ i ”in which DC coefficients are classified into K coefficient ranges. H _i (k) And a histogram from frame “j” preceding frame “i” H _j (k) "N" represents the total number of data in one frame. )Comparing the calculation result of the DC coefficient histogram difference detection unit with a preset threshold for scene change determination,Of the DC coefficient histogram difference detection unit.A scene change determination difference value comparison unit that outputs a signal indicating that the scene has changed when the calculation result is greater than the threshold value;
Compared with the preset threshold for scene change judgment,Of the DC coefficient histogram difference detection unit.And a scene change determination difference value comparison unit that outputs a signal indicating that the scene has changed when the calculation result is larger than the threshold value.
[0014]
  Also,Claim 2The present invention isClaim 1In the scene change detection circuit described in (1), the DC coefficient histogram creation unit creates a histogram using at least one DC coefficient from among the DC coefficients corresponding to the signal components of the luminance signal and the two types of color signals. Features.
[0015]
  Also,Claim 3The present invention isClaim 1 or 2In the scene change detection circuit described in (1), the DC coefficient histogram creation unit sets the coefficient range of the DC coefficient for each signal component of the luminance signal and the two types of color signals.
[0016]
  Also,Claim 4The present invention isClaims 1-3In the scene change detection circuit according to any one of the above, the DC coefficient histogram creation unit uses at least two components from the signal components of the luminance signal and the two types of color signals and uses a virtual two-dimensional image with these components as coordinate axes. A coordinate space or a three-dimensional coordinate space is set, and the inside of the coordinate space is further divided to set a partition area, and the DC coefficient value of the component used for setting the coordinate space corresponds to the set coordinate space. The vector values are combined and vectorized, and the coefficient range of the DC coefficient is set in correspondence with the vector value, and a vector value histogram is created for each partition area. A coefficient histogram is created.
[0017]
  Also,Claim 5The present invention isClaims 1-4In the scene change detection circuit according to any one of the above, the DC coefficient extraction unit detects a coding mode from the input video signal, and extracts a DC coefficient from the video signal of the intra-coded frame. To do.
[0018]
  Also,Claim 6The scene change detection circuit according to the present invention described in 1) is based on a video signal obtained by encoding a moving image using a discrete cosine transform technique for each block composed of vertical and horizontal pixel numbers defined in the MPEG standard. A circuit that detects the change part1 For the frameFrom video signalFor each macroblockA motion vector extraction unit for extracting a motion vector;A vector space with the horizontal component of the motion vector as the horizontal axis and the vertical component of the motion vector as the vertical axisDivide and set multiple partition areas,Classifying the motion vector for each partition area of the plurality of partition areas;Count the number of corresponding motion vectors for each partition area,The plurality of partitioned areasA motion vector histogram creation unit for creating a motion vector histogram for each partition area, a motion vector histogram for one frame created by the motion vector histogram creation unit, and a motion vector histogram for the next latest frame are created. A motion vector histogram storage unit that stores the motion vector histogram, a motion vector histogram of the latest frame created by the motion vector histogram creation unit, and a motion vector histogram of the previous frame stored in the motion vector histogram storage unit Difference fromd according to the following formulaA motion vector histogram difference detection unit to be calculated;
[Expression 2]

  (However, “ min { H _i (k), H _j (k) } ”Is a histogram of an arbitrary frame“ i ”obtained by classifying motion vectors into K coefficient ranges. H _i (k) And a histogram from frame “j” preceding frame “i” H _j (k) "N" represents the total number of data in one frame. )Compare the calculation result of the motion vector histogram difference detection unit with a preset threshold for scene change determination,The motion vector histogram difference detectorAnd a scene change determination difference value comparison unit that outputs a signal indicating that the scene has changed when the calculation result is larger than the threshold value.
[0019]
  Also,Claim 7The present invention isClaim 6In the scene change detection circuit described in the above, the motion vector histogram creation unit sets a motion vector threshold value for each divided area, counts the number of motion vectors exceeding the motion vector threshold value, and calculates the motion vector. It is characterized by creating a histogram.
[0020]
  Also,Claim 8The present invention isClaim 7In the scene change detection circuit described in the above, the motion vector histogram creation unit sets the motion vector threshold value so as to have a plurality of stages, and counts the number of motion vectors included in each partition area at each stage. And creating a histogram.
[0021]
  Also,Claim 9The present invention isClaims 6-8In the scene change detection circuit according to any one of the above, the motion vector histogram creation unit includes at least one motion vector component corresponding to each direction component of the x-axis (horizontal) direction component and the y-axis (vertical) direction component. A histogram is created using a motion vector component.
[0022]
  Also,Claim 10The present invention isClaims 6-8In the scene change detection circuit according to any one of the above, the motion vector histogram creation unit creates a histogram using a motion vector obtained by synthesizing both the x-axis (horizontal) direction component and the y-axis (vertical) direction component. It is characterized by.
[0023]
  Also,Claim 11The present invention isClaims 6-10In the scene change detection circuit according to any one of the above, the motion vector histogram creation unit uses a motion vector for each macroblock configured by the number of vertical and horizontal pixels defined in the MPEG standard, for each partition area. The number of motion vectors exceeding the motion vector threshold is counted.
[0026]
  Also,Claim 12The scene change detecting circuit of the present invention described inA circuit for detecting a scene change portion from a video signal obtained by encoding a moving image using a discrete cosine transform (DCT) technique for each block constituted by the number of vertical and horizontal pixels defined in the MPEG standard. ,
  A DC coefficient extraction unit that extracts a DC component (DC) coefficient for each block from the input video signal for one frame;
  A range of possible values of the DC coefficient is divided in advance to set a plurality of coefficient ranges, the number of corresponding DC coefficients is counted for each coefficient range, and a histogram of DC coefficients for each coefficient range is created. A DC coefficient histogram creation unit for
  A DC coefficient histogram storage unit that stores a DC coefficient histogram of one frame created by the DC coefficient histogram creation unit until a histogram of a DC coefficient of the next latest frame is created;
  The difference d between the DC coefficient histogram of the latest frame created by the DC coefficient histogram creation unit and the DC coefficient histogram of the previous frame stored in the DC coefficient histogram storage unit d _D DC coefficient histogram difference detection unit for calculating
[Equation 3]

  (However, “ min { H _Di (k), H _Dj (k) } ”Is a histogram of an arbitrary frame“ i ”in which DC coefficients are classified into K coefficient ranges. H _Di (k) And a histogram from frame “j” preceding frame “i” H _Dj (k) ”Is an operator that selects the smaller one of“ N ”and“ N _D "Represents the total number of data in one frame. )
  I input it 1 A motion vector extraction unit that extracts a motion vector for each macroblock from a video signal for a frame;
  A vector space having the horizontal component of the motion vector as the horizontal axis and the vertical component of the motion vector as the vertical axis is divided to set a plurality of partition regions, and the partition region is set for each partition region of the plurality of partition regions. A motion vector histogram creation unit that classifies motion vectors, counts the number of motion vectors corresponding to each partition region of the plurality of partition regions, and creates a motion vector histogram for each partition region of the plurality of partition regions When,
  A motion vector histogram storage unit that stores a motion vector histogram of one frame created by the motion vector histogram creation unit until a motion vector histogram of the next latest frame is created;
  Difference d between the motion vector histogram of the latest frame created by the motion vector histogram creation unit and the motion vector histogram of the previous frame stored in the motion vector histogram storage unit d _M A motion vector histogram difference detection unit for calculating
[Expression 4]

  (However, “ min { H _Mi (k), H _Mj (k) } ”Is a histogram of an arbitrary frame“ i ”obtained by classifying motion vectors into K coefficient ranges. H _Mi (k) And a histogram from frame “j” preceding frame “i” H _Mj (k) Is an operator that selects the smaller one of Yes, "N _M "Represents the total number of data in one frame. )
  A calculation result of the DC coefficient histogram difference detection unit, and a total difference calculation unit for calculating a total difference obtained by summing the calculation result of the motion vector histogram difference detection unit;
  Compare the calculation result of the total difference calculation unit with a preset threshold for scene change determination,Of the total difference calculatorA scene change determination difference value comparison unit that outputs a signal indicating that the scene has changed when the calculation result is greater than the threshold value;
  It is characterized by providing.
[0027]
  Also,Claim 13The present invention isClaim 12If the calculation result of the DC coefficient histogram difference detection unit is less than a preset threshold value between the DC coefficient histogram difference detection unit and the total difference calculation unit, The calculation result of the motion vector histogram difference detection unit is less than a preset threshold value between the DC coefficient difference conversion unit that converts the result to 0, the motion vector histogram difference detection unit, and the total difference calculation unit. A motion vector difference conversion unit that converts the calculation result to 0.
[0028]
  Also,Claim 14The present invention isClaim 12In the scene change detection circuit described in (4), instead of the scene change determination difference value comparison unit, the calculation result of the total difference calculation unit is compared with a preset threshold for scene change determination, and the calculation result is the threshold. In the case where a state larger than the value continues, it further includes a scene change determination peak detection unit that outputs a signal indicating that the scene has changed when a peak occurs in the calculation result.
[0029]
  Also,Claim 15The present invention isClaim 13In the scene change detection circuit described in (4), instead of the scene change determination difference value comparison unit, the calculation result of the total difference calculation unit is compared with a preset threshold for scene change determination, and the calculation result is the threshold. In the case where a state larger than the value continues, it further includes a scene change determination peak detection unit that outputs a signal indicating that the scene has changed when a peak occurs in the calculation result.
[0030]
  Also,Claim 16The present invention isClaims 12-15In the scene change detection circuit according to any one of the above, the total difference calculation unit calculates the histogram difference value of the motion vector calculated for each P frame that is forward-predicted encoded between I frames that are intra-frame encoded. When the histogram difference value of the DC coefficient is calculated by the next latest I frame, the integrated value of the motion vector histogram difference value in the P frame after the I frame immediately before the latest and the latest DC The sum of the coefficient histogram difference value is calculated, and the calculated value is output as a total difference value to the scene change determination difference value comparison unit.
[0031]
  Also,Claim 17The present invention isClaim 16In the scene change detection circuit according to claim 1, the total difference calculation unit calculates by adding the integrated value of the difference values in the P frame sandwiched between the subsequent I frames in addition to the calculation value of claim 20; The calculated value is output as a total difference value to a scene change determination difference value comparison unit.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described based on illustrated embodiments.
[0033]
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a schematic configuration of an image editing apparatus which is an example of a usage form of the scene change detection circuit according to the first embodiment of the present invention.
[0034]
1 is connected to a video signal output device 2 such as a video tape player or a DVD (Digital Versatile Disc) playback device, for example, an NTSC composite signal NC as an example of a video signal, and a time A code signal TC is received.
[0035]
In the image editing apparatus 1, a received NTSC composite signal is a video signal obtained by encoding a moving image using a discrete cosine transform (DCT) technique for each block composed of vertical and horizontal pixel numbers defined in the MPEG standard. Then, a scene change point is detected from the video signal, and the time code signal TC at that time is output to the information processing apparatus 3 such as a personal computer connected together with the video signal.
[0036]
The information processing apparatus 3 reproduces the video signal to check the changed part of the scene, and outputs the video output control signal VC to the video signal output apparatus 2 as necessary at the time of reproduction after editing. The image editing apparatus 1 outputs a threshold value control signal SC for controlling a threshold value for detecting a location where a scene has changed from a video signal composed of a series of frames. The threshold value control signal SC is adjusted to an appropriate value by the information processing device 3 when there is a malfunction such as a situation where the image editing device 1 cannot properly detect a scene change point.
[0037]
In addition, the time code signal TC corresponding to the video signal whose scene has been confirmed to be changed by the information processing device 3 is stored in the storage device 4 such as a hard disk device.
[0038]
In this way, for all video signals consisting of a series of frames, processing is performed to check whether the scene has changed between adjacent image frames, and it corresponds to the video signal frame at the location where the scene has changed. The time code TC to be recorded is recorded. Next, when reproducing the edited video, the time code TC is read from the storage device 4 and only the portion corresponding to the time code TC is reproduced from the information processing device 3 to the video signal output device 2. Thus, the edited video can be output by outputting the video output control signal VC.
[0039]
The operation in the image editing apparatus 1 will be described in more detail. First, the input video signal NC in the NTSC format is AD-converted from an analog signal to a digital signal by the ADC / PLL circuit unit 11, and the phase is synchronized. It becomes. Next, the digitized video signal is separated into a luminance signal (Y) and a chrominance signal (C) by the YC separation circuit unit 12, and the chrominance component is suppressed by the rate conversion circuit unit 13 while minimizing image quality degradation. Thinning is performed to increase the compression efficiency, and the video signal for one screen (one frame) is stored in the frame memory unit 14.
[0040]
The video signal of the frame memory unit 14 is subjected to a discrete cosine transform defined by the MPEG standard in a DCT (Discrete Cosine Transform) circuit unit 15, and the video signal of one frame is divided into a plurality of blocks. A direct current component (DC) coefficient and an alternating current component (AC) coefficient are determined. In this discrete cosine transform, the image information tends to be biased toward the low frequency side of the DC coefficient and the AC coefficient, so that the average value of the image energy of the corresponding block can be known by confirming the low frequency side value of this coefficient. it can. The encoded video signal CD including the value of the DC coefficient at this time is input to the next-stage scene change detection circuit unit 16.
[0041]
The scene change detection circuit unit 16 records the average value of the image energy for each block (for example, an 8 × 8 pixel block or a 16 × 16 pixel macroblock) of the input video signal CD of one frame, Next, a difference from the average value of the image energy is detected for each block (or macroblock) of the video signal CD of one frame to be input next, and the difference is a threshold control signal SC input from the information processing device 3. When the threshold value is larger than the threshold value set by the above, the scene change detection signal SV is output together with the video signal to the interface circuit unit 17 in the next stage.
[0042]
The interface circuit unit 17 outputs the time code signal TC received from the video signal output device 2 and the video signal to the information processing device 3 when the scene change detection signal SV is input.
[0043]
The above description is the same for the conventional scene change detection circuit unit 16z shown in FIG. 8. Conventionally, the average value of the image energy is simply compared between the previous and next frames for each block of each input frame. Was trying to detect scene changes. For this reason, in a scene with intense movement or a scene shot while the camera is panned, it may be erroneously determined that it is not a scene change. Therefore, in the present embodiment, the scene change detection circuit unit is configured as follows, so that the change part of the scene can be more accurately detected from the video signal.
[0044]
FIG. 2 is a block diagram showing a schematic configuration of the scene change detection circuit unit according to the first embodiment of the present invention.
[0045]
In FIG. 2, parts having the same functions as those in the conventional scene change detection circuit unit shown in FIG.
[0046]
The scene change detection circuit unit of the present embodiment shown in FIG. 2 differs from the conventional example shown in FIG. 8 in the following three broad categories.
[0047]
(1) A DC coefficient histogram is created for each frame, and the difference is implemented by the histogram.
[0048]
(2) Create a motion vector histogram and implement the difference using the histogram.
[0049]
(3) The scene change is determined by combining the difference in the histogram of the DC coefficient and the difference in the histogram of the motion vector.
[0050]
Note that it is possible to determine a scene change from only the difference in the histogram of the DC coefficient, or it is possible to determine a change in the scene from only the difference in the histogram of the motion vector. In this embodiment, the best determination result is obtained. In order to determine the scene change by summing up the differences between the two histograms.
[0051]
First, in order to create a histogram of DC coefficients for each frame of (1) and implement the difference using the histogram, the following configuration is provided.
[0052]
(1a) A plurality of coefficient ranges are set in advance by dividing a range of values that the DC coefficient can take. In addition, for each set coefficient range, the number of corresponding DC coefficients is counted from the DC coefficient values input corresponding to each block, and a DC coefficient histogram for each coefficient range is created. A DC coefficient histogram creation unit 22 that performs the above processing is provided.
[0053]
(1b) A DC coefficient for storing a DC coefficient histogram for one frame created by the DC coefficient histogram creating unit 22 until a DC coefficient histogram for the next latest frame is created by the DC coefficient histogram creating unit 22 A histogram storage unit 23 is provided.
[0054]
(1c) Both of the DC coefficient histogram of the latest frame created by the DC coefficient histogram creating unit 22 and the DC coefficient histogram of the previous frame stored in the DC coefficient histogram storage unit 23 are input. Thus, a DC coefficient histogram difference detection unit 24 for calculating the difference between the two histograms is provided.
[0055]
Next, in order to create the motion vector histogram of (2) and implement the difference using the histogram, the following configuration is provided.
[0056]
(2a) A motion vector extraction unit 31 is provided for extracting a motion vector from the input video signal.
[0057]
(2b) In advance, the image area of one frame is divided to set a plurality of divided areas, and a motion vector threshold value for the value of the motion vector extracted from the video signal by the motion vector extraction unit 31 is set in advance. . In addition, for each set partition area, count the number of motion vectors that exceed the motion vector threshold from the motion vector value input corresponding to each block, and create a motion vector histogram for each partition area. To do. A motion vector histogram creating unit 32 for performing the above processing is provided.
[0058]
(2c) A motion vector that stores a motion vector histogram for one frame created by the motion vector histogram creation unit 32 until a motion vector histogram for the next latest frame is created by the motion vector histogram creation unit 32 A histogram storage unit 33 is provided.
[0059]
(2d) Both the motion vector histogram of the latest frame created by the motion vector histogram creation unit 32 and the motion vector histogram of the previous frame stored in the motion vector histogram storage unit 33 are input. Thus, a motion vector histogram difference detection unit 34 for calculating the difference between the two histograms is provided.
[0060]
Next, (3) the following configuration is provided in order to determine the change of the scene by combining the difference of the histogram of the DC coefficient and the difference of the histogram of the motion vector.
[0061]
(3a) A total difference calculation unit that inputs both the calculation result of the DC coefficient histogram difference detection unit 24 and the calculation result of the motion vector histogram difference detection unit 34 and calculates the total difference by summing the two calculation results. 41 is provided.
[0062]
(3b) The calculation result of the total difference calculation unit 41 is compared with a scene change determination threshold value set in advance by a threshold control signal SC from the information processing device 3. When the calculation result is larger than the threshold value, a scene change determination difference value comparison unit 42 that outputs a signal (scene change detection signal SV) indicating that the scene has changed is provided.
[0063]
Here, before explaining the operation of the configuration of the present embodiment described above, the situation in the configuration of the present embodiment and the contents of the MPEG standard to be used will be briefly described for the sake of easy understanding of the operation.
[0064]
The encoded video signal CD input to the scene change detection circuit unit 16a is, for example, a video signal of a moving image encoded based on the so-called MPEG video standard (MPEG1 or MPEG2).
[0065]
A moving image is composed of a plurality of continuous frames. In general, when encoding a moving image according to the MPEG standard, for each frame, intra-frame encoding in which encoding is performed independently from only information in each frame, and information in a frame to be encoded And inter-frame predictive coding that encodes the difference between the information of the preceding and succeeding frames.
[0066]
An intra-frame encoded frame is referred to as an I (intra) frame. In inter-frame predictive coding, P frames that are predicted and coded in the forward direction using only information in a frame temporally prior to the frame to be coded, and two frames that are temporally located before and after Are classified into two types of B frames that are predicted from both directions.
[0067]
Discrete cosine transform (Discrete Cosine Transform), which is one of the techniques for removing spatial redundancy and encoding with a smaller number of bits in any of the I frame, P frame, and B frame. DCT) is used.
[0068]
In MPEG, a pixel in a frame is divided into a plurality of 8 × 8 pixel blocks. Each block in the frame is subjected to DCT, and a DC (direct current component) coefficient that is an average value of pixel values in the block and an AC coefficient representing other alternating current components are obtained.
[0069]
In inter-frame predictive coding, in order to reduce the difference to be encoded as much as possible and reduce the amount of code, the frame is divided into blocks, and a macro block consisting of 4 blocks is set. A motion amount with respect to a frame serving as a reference for calculation is obtained, and the motion amount is encoded as a motion vector together with a DCT coefficient (DC coefficient, AC coefficient).
[0070]
Based on the above, the operation of the scene change detection circuit unit 16a of the present embodiment shown in FIG. 2 will be described.
[0071]
The encoded video signal CD input to the scene change detection circuit unit 16 a is first input to the DC coefficient extraction unit 21 and the motion vector extraction unit 31.
[0072]
The DC coefficient extraction unit 21 extracts only the DC coefficient from the I frame included in the input video signal and sends it to the DC coefficient histogram creation unit 22.
[0073]
The DC coefficient histogram creation unit 22 determines whether the extracted DC coefficient is classified into a plurality of coefficient ranges set in advance by dividing a range of values that can be taken by the DC coefficient. A histogram is formed by counting the number of DC coefficients included in each coefficient range.
[0074]
Here, as a reference for dividing the range of values that the DC coefficient can take, the values may be simply divided at regular intervals, or a plurality of threshold values may be determined in advance. In the case of threshold values, DC coefficients may be classified according to the magnitude relationship (for example, greater than or equal to the threshold value) for each threshold value.
[0075]
In general, a video signal is composed of a luminance signal and two types of color signals, and there are components corresponding to each of the luminance signal and the color signal in the DC coefficient. These may be created for any one or two components described above, or may be created for all three components.
[0076]
Furthermore, when creating a histogram for a plurality of components, as a criterion for dividing the range of values that can be taken by the DC coefficient, it is possible to set a threshold value for each component independently, and to classify each component. However, it is also possible to perform vectorization by combining a plurality of components, and to perform classification according to whether the combined value belongs to a two-dimensional or three-dimensional space area divided in advance.
[0077]
According to the experiments by the inventors, it has been found that it is more desirable to vectorize a plurality of components than to set a threshold value independently for each component and to divide each component.
[0078]
The histogram created by the DC coefficient histogram creation unit 22 is supplied to the DC coefficient histogram storage unit 23 and the DC coefficient histogram difference detection unit 24.
[0079]
The DC coefficient histogram storage unit 23 holds the histogram created in the temporally preceding I frame until the DC coefficient histogram creation unit 22 creates a histogram from the next I frame, and the DC coefficient histogram difference detection unit 24. Output to.
[0080]
In the DC coefficient histogram difference detection unit 24, the DC coefficient histogram of the latest I frame from the DC coefficient histogram creation unit 22, and the DC coefficient histogram of the preceding (latest previous) I frame from the DC coefficient histogram storage unit 23, Both are received, and both values are compared to calculate a difference value.
[0081]
Here, the difference value of the DC coefficient histogram is calculated as follows, for example.
[0082]
Now, the DC coefficients are classified into K coefficient ranges, and any I frame “i”
histogram:

Is obtained,
[0083]
By preceding (latest previous) I frame "j"
histogram:

Is obtained.
[0084]
The difference value d between the histograms <1> and <2> at this time can be calculated according to the following equation.

Here, “min {H in the expression <3>_i(k), H_j(k)} ”means“ H_i(k), H_j(k) ”is an operator for selecting the smaller one, and“ N ”represents the total number of data in one frame.
[0085]
Therefore, “d” is a value in the range of “0” to “1”. For example, if both histograms are the same, “d” is “0”, but becomes a larger value as the difference between both histograms increases. The difference value of the DC coefficient histogram is calculated in this way.
[0086]
The operation based on the encoded video signal CD input to the DC coefficient extraction unit 21 of the scene change detection circuit unit 16a is performed as described above. On the other hand, the operation based on the encoded video signal CD input to the motion vector extraction unit 31 is performed. The operation is as follows.
[0087]
The motion vector extraction unit 31 selects only the P frame included in the input video signal and extracts the motion vector included in the P frame.
[0088]
The motion vector extracted by the motion vector extraction unit 31 is sent to the motion vector histogram creation unit 32.
[0089]
In the motion vector histogram creation unit 32, a plurality of divided areas are set by dividing an image area of one frame in advance. In addition, from the motion vector value input corresponding to each block, the corresponding motion vector is classified for each set partition area, and the number of motion vectors included in each partition area is counted for each frame. A histogram of motion vectors for each divided area is created.
[0090]
Here, the motion vector will be described. A motion vector is added in units of macroblocks formed by dividing one frame into units of luminance signal 16 × 16 pixels. The motion vector is the horizontal component v on the screen._xAnd the vertical component v_yAnd consists of two components.
[0091]
Therefore, when creating a motion vector histogram, it is possible to create a histogram by using at least one of the two components described above, but it is better to use both components as a pair in order to obtain a more desirable result.
[0092]
FIG. 3 shows the horizontal component v on the motion vector screen._xIs taken on the horizontal axis and the vertical component v_yIt is a figure of an example which set the division area of the motion vector on the vertical axis.
[0093]
For example, for each partition area set as shown in FIG._xAnd the vertical component v_yA histogram is created by counting the number of motion vectors obtained by combining.
[0094]
For example, in FIG. 3, when the region 1 is a circle having a radius r,
Any motion vector

If the condition is satisfied, the motion vector is included in the region 1,
[0095]
Another motion vector is

If the condition is satisfied, the motion vector is included in the region 2. In this way, each motion vector can be classified.
[0096]
The histogram created by the motion vector histogram creation unit 32 is supplied to the motion vector histogram storage unit 33 and the motion vector histogram difference detection unit 34.
[0097]
The motion vector histogram storage unit 33 holds the histogram created in the preceding (latest previous) P frame until the motion vector histogram creation unit 32 creates a histogram from the next P frame, and the motion vector The result is output to the histogram difference detection unit 34.
[0098]
In the motion vector histogram difference detection unit 34, the motion vector histogram for the latest P frame from the motion vector histogram creation unit 32, and the motion vector for the preceding (latest previous) P frame from the motion vector histogram storage unit 33. Both of the histograms are received, and the difference values are calculated by comparing the values of both.
[0099]
Here, the difference value of the motion vector histogram may be calculated using the same method as that applied to the DC coefficient histogram, for example.
[0100]
As described above, the DC coefficient extraction unit 21 and the motion vector extraction unit 31 operate as described above according to the encoded video signal CD input to the scene change detection circuit unit 16a, and the difference value of the DC coefficient histogram, A difference value of the motion vector histogram is obtained. In the present embodiment, the following operation is performed to further determine the scene change by combining both difference values.
[0101]
Two types of difference values obtained by the DC coefficient histogram difference detection unit 24 and the motion vector histogram difference detection unit 34 are both output to the total difference calculation unit 41. The total difference calculation unit 41 calculates a total difference value for determining whether or not there is a scene change by combining the histogram difference of the DC coefficient and the histogram difference of the motion vector.
[0102]
Here, since the difference value of the DC coefficient histogram is calculated for each I frame and the difference value of the motion vector histogram is calculated for each P frame between the I frames, the insertion order of frames based on the MPEG standard will be described. .
[0103]
FIG. 4 is a diagram showing the frame insertion order generally implemented in the MPEG standard.
[0104]
In FIG. 4, when the I1 frame is inserted, the P1 frame is encoded following the I1 frame, and the B1 frame and the B2 frame sandwiched between the I1 frame and the P1 frame are encoded.
[0105]
Next, based on the P1 frame, the P2 frame is inserted, and the B3 frame, the B4 frame, and the B5 frame sandwiched between the P1 frame and the P2 frame are encoded.
[0106]
Next, when the I2 frame is inserted, the P3 frame is encoded following the I2 frame, but first, the B6 frame and the B7 frame sandwiched between the P2 frame and the I2 frame are encoded, and then The B8 frame and the B9 frame sandwiched between the I2 frame and the P3 frame are encoded.
[0107]
The total difference calculation unit 41, for example, accumulates the motion vector histogram difference values calculated for each P frame that is forward-predicted encoded between I frames that are intra-coded, When the histogram difference value of the DC coefficient is calculated by the I frame, the integrated value of the motion vector histogram difference value in the P frame after the preceding (preceding one previous) I frame and the latest DC coefficient histogram difference The sum with the value is calculated, and the calculated value is output to the scene change determination difference value comparison unit 42 as a total difference value.
[0108]
Note that the method of calculating the total difference value in the total difference calculation unit 41 is not limited to the above, and other calculation methods may be used. In the above example, the sum of the DC coefficient histogram difference value in a certain I frame and the integrated value of the difference values in all P frames sandwiched between the preceding I frames is calculated. For example, in addition to this calculated value, Thus, an integrated value of the difference values in the P frame sandwiched between subsequent I frames may be added.
[0109]
Then, the scene change determination difference value comparison unit 42 compares the calculation result of the total difference calculation unit 41 with a preset scene change determination threshold value, and when the calculation result is larger than the threshold value. It is determined that the scene has changed, and a signal indicating that a scene change has occurred is output. This threshold for scene change determination is a value controlled by the information processing device 3 in FIG.
[0110]
In the above-described embodiment, the total difference between the difference value of the DC coefficient histogram and the difference value of the motion vector histogram is used to determine the scene change. For example, only the difference value of the DC coefficient histogram is used. In the determination, the calculation result of the DC coefficient histogram difference detection unit 24 is compared with a preset scene change determination threshold, and if the calculation result is larger than the threshold, it is determined that the scene has changed. This can be determined by providing a scene change determination difference value comparison unit (not shown) having a function of outputting a signal to indicate.
[0111]
Further, for example, when the determination is made only with the difference value of the motion vector histogram, the calculation result of the motion vector histogram difference detection unit 34 is compared with a preset threshold for scene change determination, and the calculation result is the threshold value. This can be determined by providing a scene change determination difference value comparison unit (not shown) having a function of outputting a signal indicating that the scene has changed when the value is larger than the value.
[0112]
Further, the DC coefficient histogram creation unit 22 can improve the detection accuracy of the scene change, for example, if each coefficient range is known in advance and is a fixed value, the DC coefficient histogram creation unit 22 performs DC for each coefficient range. A coefficient threshold value may be set, and the DC coefficient histogram may be created by counting the number of DC coefficients exceeding the DC coefficient threshold value.
[0113]
In addition, when the DC coefficient histogram creation unit 22 can improve the detection accuracy of the scene change, for example, the image area of one frame is divided in advance to set a plurality of divided areas, and each divided area is set. A histogram of the DC coefficient may be created every time.
[0114]
Further, when the detection accuracy of the scene change can be improved, the DC coefficient histogram creation unit 22, for example, at least one DC coefficient corresponding to each signal component of the luminance signal and the two types of color signals. A histogram may be created using a DC coefficient.
[0115]
Further, when the DC coefficient histogram creation unit 22 can improve the detection accuracy of the scene change, for example, the setting of the coefficient range of the DC coefficient is performed for each signal component of the luminance signal and the two types of color signals. May be set.
[0116]
In addition, when the DC coefficient histogram creation unit 22 can improve the detection accuracy of the scene change, for example, at least two components from each of the signal components of the luminance signal and the two types of color signals are used. A virtual two-dimensional coordinate space or a three-dimensional coordinate space with the coordinate axis as the coordinate axis is set, and the inside of the coordinate space is further divided to set a partition area, and the DC coefficient value of the component used for setting the coordinate space is set The vector value is combined and vectorized so as to correspond to the set coordinate space, and the coefficient range setting of the DC coefficient is set corresponding to the vector value, and a histogram of the vector value is created for each divided area. Thus, a histogram of DC coefficients for each partition area may be created.
[0117]
Further, since the DC coefficient extraction unit 21 operates only on the I frame that is intra-frame encoded, it has a function of detecting the encoding mode from the input video signal, and from the video signal of the intra-frame encoded frame. The DC coefficient was extracted.
[0118]
In addition, since the motion vector histogram creation unit 32 operates only for each P frame that is forward-predictively encoded between I frames, it has a function of detecting the encoding mode from the input video signal, and the motion vector histogram generating unit 32 has the function of A motion vector is extracted from the video signal of each P frame subjected to direction prediction encoding.
[0119]
In addition, when the detection accuracy of the scene change can be improved, the motion vector histogram creation unit 32 sets a motion vector threshold value for each partition area, for example, and the motion vector threshold value A motion vector histogram may be created by counting the number of motion vectors exceeding.
[0120]
In addition, when the detection accuracy of the scene change can be improved, the motion vector histogram creation unit 32 sets, for example, a motion vector threshold value so as to have a plurality of stages, and is included in each partition area. A histogram may be created by counting the number of motion vectors at each stage. Note that the partition area obtained by dividing the image area of one frame set here may be the same as the partition area set for the coefficient range of the DC coefficient, or may be set individually.
[0121]
In addition, the motion vector histogram creation unit 32 uses, for example, a histogram using at least one motion vector component from among motion vector components corresponding to each direction component of the x-axis (horizontal) direction component and the y-axis (vertical) direction component. May be created.
[0122]
In addition, the motion vector histogram creation unit 32 may create a histogram using a motion vector obtained by synthesizing both the x-axis (horizontal) direction component and the y-axis (vertical) direction component, for example.
[0123]
In addition, the motion vector histogram creating unit 32 uses, for example, a motion vector threshold value for each partition area using a motion vector for each macroblock configured by the number of vertical and horizontal pixels defined in the MPEG standard. You may count the number of motion vectors exceeding.
[0124]
The partition area set by the motion vector histogram creation unit 32 may include, for example, an area obtained by dividing an image area of one frame by a plurality of line segments that radiate from the center of the image of the frame.
[0125]
The partition area set by the motion vector histogram creating unit 32 is configured to include, for example, at least one area obtained by concentrically dividing an image area of one frame from the center of the image of the frame. Also good.
[0126]
In addition, when the scene change detection accuracy can be improved, the total difference calculation unit 41 is calculated for each P frame that is forward-predictively encoded between I frames that are intra-frame encoded, for example. Motion vector histogram difference values in the P frames after the I frame immediately before the latest, when the histogram difference values of the DC coefficients are calculated by the next latest I frame. The sum of the integrated value and the latest DC coefficient histogram difference value may be calculated, and the calculated value may be output to the scene change determination difference value comparison unit as a total difference value.
[0127]
Further, when the scene difference detection accuracy can be improved, the total difference calculation unit 41, for example, includes the integrated value of the motion vector histogram difference values in the P frames after the I frame immediately before the latest, as described above. In addition to the calculated value of the sum of the latest DC coefficient histogram difference values, the calculation is performed by adding the integrated value of the difference values in the P frame sandwiched between the subsequent I frames and calculating the total difference value. It may be configured to output to the scene change determination difference value comparison unit.
[0128]
As described above, according to the present embodiment, scene changes are detected using the DC coefficient histogram and the motion vector histogram. Therefore, even in a scene with intense motion or a scene shot while the camera is panned, a scene change is performed. It is possible to reduce misjudgments that determine that the scene has changed, and more accurately detect the location where the scene has switched.
[0129]
Embodiment 2. FIG.
In the first embodiment described above, the calculation results of the DC coefficient histogram difference detection unit 24 and the motion vector histogram difference detection unit 34 are directly input to the total difference calculation unit 41. However, for example, a relatively small movement in a normal scene other than a scene change can be determined more correctly if it can be removed as an error element from the difference calculation in the above-described embodiment.
[0130]
Hereinafter, a case will be described in which relatively small motions in a normal scene are removed from each difference of the first embodiment.
[0131]
FIG. 5 is a block diagram showing a schematic configuration of the second embodiment of the scene change detection circuit unit of the present invention.
[0132]
The scene change detection circuit unit of the present embodiment shown in FIG. 5 is different from the first embodiment shown in FIG. 2 in the following points.
[0133]
(4) A DC coefficient difference conversion unit 25 for converting the calculation result of the DC coefficient histogram difference detection unit 24 is provided between the DC coefficient histogram difference detection unit 24 and the total difference calculation unit 41.
[0134]
(5) A motion vector histogram difference conversion unit 35 for converting the calculation result of the motion vector histogram difference detection unit 34 is provided between the motion vector histogram difference detection unit 34 and the total difference calculation unit 41.
[0135]
Hereinafter, the reason why the erroneous detection of the scene change can be more effectively suppressed by providing the DC coefficient difference conversion unit 25 and the motion vector histogram difference conversion unit 35 will be described.
[0136]
In the DC coefficient difference conversion unit 25 and the motion vector histogram difference conversion unit 35, for example, the following conversion is performed.
[0137]
If the value before conversion is x and the value after conversion is y,

It becomes.
Where "x_th"Is a predetermined threshold value.
[0138]
In general, the histogram difference value has a value other than “0” other than the scene transition unless the two target frames have the same histogram. Such a difference value other than the scene change is a so-called noise component and has a relatively small value. Therefore, as in the above conversion, "x_thBy substituting the value below “0”, the difference value other than the scene change can be removed.
[0139]
As described above, in the present embodiment, by providing the DC coefficient difference conversion unit 25 and the motion vector histogram difference conversion unit 35, the histogram difference value generated outside the scene change portion is accumulated by the total difference calculation unit 41 and the like. Since this can be suppressed, false detection of a scene change can be reduced.
[0140]
Embodiment 3 FIG.
In the first embodiment described above, the value of the calculation result of the total difference calculation unit 41 is simply compared with the threshold value while the calculation result is output by the difference value comparison unit for scene change determination 42. The scene change was detected. In this case, an abrupt scene change can be detected, but for example, when the scene is gradually switched, the difference value is continuously output, so that it cannot be dealt with. With regard to this, for example, in the above-described embodiment, if it can be determined at the peak of the difference, it is considered that a more correct determination can be made.
[0141]
In the following, the present embodiment when the difference of the first embodiment can be determined by the peak will be described.
[0142]
FIG. 6 is a block diagram showing a schematic configuration of Embodiment 3 of the scene change detection circuit unit of the present invention.
[0143]
The scene change detection circuit unit of the present embodiment shown in FIG. 6 is different from the first embodiment shown in FIG. 2 in the following points.
[0144]
(6) Instead of the scene change determination difference value comparison unit 42 of the first embodiment, the calculation result of the total difference calculation unit 41 is compared with a preset threshold for scene change determination, and the calculation result is calculated. In the case where a state larger than the threshold value continues, a peak detection unit 43 for scene change determination is provided that outputs a signal indicating that the scene has changed when a peak occurs in the calculation result.
[0145]
When the scene change determination difference value comparison unit 42 of the first embodiment shown in FIG. 2 is replaced with the peak detection unit 43, the screen and the wipe gradually change as well as the instantaneous cut point at which the screen changes instantaneously. It is possible to respond to scene changes called.
[0146]
Here, “dissolve” is a method of switching two continuous moving images by combining one by gradually weakening one over time and gradually strengthening the other. Wipe is a switching method in which one area is spatially reduced on the screen and the other is increased.
[0147]
When the scene is gradually switched, the total difference value may continuously exceed the threshold during the switching period. Therefore, the peak detection unit 43 first compares the total difference value with a threshold value, and when the total difference value continuously exceeds the threshold value, one point where the total difference value is a peak. Only the scene change point is determined.
[0148]
As described above, in this embodiment, when the total difference value is output continuously, the change of the scene is determined at the peak, so even if the scene is gradually switched, the scene change False detection can be reduced.
[0149]
Embodiment 4 FIG.
Also in the second embodiment described above, the value of the calculation result of the total difference calculation unit 41 is simply compared with the threshold value while the calculation result is output by the difference value comparison unit for scene change determination 42. Was detecting a scene change. With regard to this as well, in the above-described embodiment, it is considered that a more correct determination can be made if it can be determined at the peak of the difference.
[0150]
In the following, this embodiment will be described in the case where the difference in the second embodiment can be determined by the peak.
[0151]
FIG. 7 is a block diagram showing a schematic configuration of the scene change detection circuit unit according to the fourth embodiment of the present invention.
[0152]
The scene change detection circuit unit of the present embodiment shown in FIG. 7 is different from the second embodiment shown in FIG. 5 in the following points.
[0153]
(7) Instead of the scene change determination difference value comparison unit 42 of the second embodiment, the calculation result of the total difference calculation unit 41 is compared with a preset threshold for scene change determination, and the calculation result is calculated. In the case where a state larger than the threshold value continues, a peak detection unit 43 for scene change determination is provided that outputs a signal indicating that the scene has changed when a peak occurs in the calculation result.
[0154]
Thus, in this embodiment, in addition to providing the DC coefficient difference conversion unit 25 and the motion vector histogram difference conversion unit 35 of the second embodiment, the peak detection unit 43 for scene change determination is provided. In addition, it is possible to accurately detect a scene change in response to a case where a scene is gradually switched, such as a dissolve or a wipe, while suppressing erroneous detection of a scene change.
[0155]
In each of the above-described embodiments, the total difference calculation unit 41 accumulates histogram difference values of motion vectors calculated for each P frame that is forward-predicted encoded between I frames that are intra-frame encoded. When the histogram difference value of the DC coefficient is calculated by the next latest I frame, the integrated value of the motion vector histogram difference value in the P frame after the I frame immediately before the latest and the latest DC coefficient The sum of the difference with the histogram is calculated, or in addition to the calculated value, the integrated value of the difference values in the P frame sandwiched between the subsequent I frames is added to calculate the total difference calculating unit. As the calculation method 41, other methods may be used.
[0156]
In each of the above-described embodiments, the case where the scene change detection circuit of the present invention is used in an image editing apparatus has been described as an example. However, the present invention is not limited to this, and a television input image is used. It can be used for various devices that use the change of the For example, you may use this invention for the visitor notification system which detects a visitor etc. using the change of a television input image, or a security system.
[0157]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained.
[0158]
  Claims 1-5In the present invention, a histogram is created with the DC coefficient, and the change in the scene is determined using the difference between the DC coefficient histogram of the latest frame and the DC coefficient histogram of the previous frame. A scene change can be accurately detected even in a severe video.
[0159]
  Claims 6-11In the present invention, a histogram is created with a motion vector, and a change in the scene is determined using a difference between the histogram of the motion vector of the latest frame and the histogram of the motion vector of the frame immediately before the latest frame. Even in the case of moving videos, scene changes can be detected accurately.
[0160]
  Claim 12In the present invention, since both the difference in the histogram of the DC coefficient and the difference in the histogram from the motion vector are used as the overall difference, a scene change can be detected more accurately even in a moving image with intense motion.
[0161]
  Claim 13In the present invention, the noise component smaller than a certain value of the difference in the DC coefficient histogram is converted to 0, and the noise component of the difference in the motion vector histogram is also converted to 0. It is possible to suppress erroneous determination of a moving image portion as a scene change, and to detect a scene change more accurately.
[0162]
  Claim 14Since the present invention is provided with a peak detection unit instead of the scene change determination difference value comparison unit, even when the total difference value continuously exceeds the threshold, such as when the scene is gradually switched, etc. Since it is configured so that one part of the peak is regarded as a scene change so that it can be performed, a scene change can be accurately detected even in a scene where the screen is gradually switched, such as a dissolve or wipe.
[0163]
  Claim 15In the present invention, a noise component smaller than a certain value of the difference in the DC coefficient histogram is converted to 0, a noise component of the difference in the motion vector histogram is also converted to 0, and instead of the scene change determination difference value comparison unit. Since the peak detection unit is provided, even in a video with intense movement, it is possible to accurately detect a scene change by suppressing erroneous determination of a continuous video part with a large change as a scene change, and when the scene changes gradually In order to be able to cope with the case where the total difference value continuously exceeds the threshold value, etc., it is configured so that one part of the peak is regarded as a scene change, so the screen gradually switches such as dissolve and wipe Scene changes can be accurately detected even in scenes.
[0164]
  Claim 16In the present invention, when the total difference calculation unit accumulates the histogram difference values of the motion vectors for each P frame between the I frames, and the histogram difference value of the DC coefficient by the next latest I frame is calculated, the P frame Since the sum of the integrated value of the motion vector histogram difference values and the DC coefficient histogram difference value is calculated, a scene change can be detected accurately.
[0165]
  Claim 17In the present invention, the total difference calculation unit isClaim 16In addition to the calculated value, calculation is performed by adding the integrated value of the difference values in the P frame sandwiched between the subsequent I frames, so that a scene change can be detected more accurately.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image editing apparatus which is an example of a usage form of a scene change detection circuit according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a schematic configuration of Embodiment 1 of a scene change detection circuit unit of the present invention.
FIG. 3 Horizontal component v on the motion vector screen_xIs taken on the horizontal axis and the vertical component v_yIt is a figure of an example which set the division area of the motion vector on the vertical axis.
FIG. 4 is a diagram showing an insertion order of frames generally implemented in the MPEG standard.
FIG. 5 is a block diagram showing a schematic configuration of a scene change detection circuit unit according to a second embodiment of the present invention.
FIG. 6 is a block diagram showing a schematic configuration of a scene change detection circuit unit according to a third embodiment of the present invention.
FIG. 7 is a block diagram showing a schematic configuration of a scene change detection circuit unit according to a fourth embodiment of the present invention.
FIG. 8 is a block diagram showing a conventional example of a circuit for detecting a scene change point from an MPEG standard video signal.
[Explanation of symbols]
1 image editing device, 2 video signal output device, 3 information processing device, 4 storage device, 11 ADC / PLL circuit unit, 12 YC separation circuit unit, 13 rate conversion circuit unit, 14 frame memory unit, 15 DCT circuit unit, 16 , 16a, 16b, 16c, 16d, 16z Scene change detection circuit section, 17 Interface circuit section, 21 DC coefficient extraction section, 22 DC coefficient histogram creation section, 23 DC coefficient histogram storage section, 24 DC coefficient histogram difference detection section, 25 DC coefficient difference conversion means, 31 motion vector extraction unit, 32 motion vector histogram creation unit, 33 motion vector histogram storage unit, 34 motion vector histogram difference detection unit, 35 motion vector difference conversion unit, 41 total difference calculation unit, 42 scene change Difference determination comparison unit, 51 memory changeover switch, 52 DC coefficient first storage unit, 53 DC coefficient second storage unit, 54 difference extraction circuit, 55 absolute value conversion circuit, 56 scene change determination circuit, 43 peak detection unit CD encoded video signal (input), NC NTSC composite signal, SC threshold control signal, SV scene change detection signal (output), TC time code signal, VC video output control signal.

Claims (17)

A circuit for detecting a scene change portion from a video signal obtained by encoding a moving image using a discrete cosine transform (DCT) technique for each block constituted by the number of vertical and horizontal pixels defined in the MPEG standard. ,
A DC coefficient extraction unit that extracts a DC component (DC) coefficient for each block from the input video signal for one frame ;
A range of possible values of the DC coefficient is divided in advance to set a plurality of coefficient ranges, the number of corresponding DC coefficients is counted for each coefficient range, and a histogram of DC coefficients for each coefficient range is created. A DC coefficient histogram creation unit for
A DC coefficient histogram storage unit that stores a DC coefficient histogram of one frame created by the DC coefficient histogram creation unit until a histogram of a DC coefficient of the next latest frame is created;
The difference d between the DC coefficient histogram of the latest frame created by the DC coefficient histogram creation unit and the DC coefficient histogram of the previous frame stored in the DC coefficient histogram storage unit is calculated according to the following equation: A DC coefficient histogram difference detecting unit,

(However, “ min { H _i (k), H _j (k) }” is defined as “histogram H _i (k) by an arbitrary frame“ i ”obtained by classifying DC coefficients into K coefficient ranges and frame“ ( It is an operator that selects the smaller one of the histograms H _j (k) “by the frame“ j ”preceding“ i ” , and“ N ”represents the total number of data in one frame.)
The calculation result of the DC coefficient histogram difference detection unit is compared with a preset scene change determination threshold, and the scene changes when the calculation result of the DC coefficient histogram difference detection unit is larger than the threshold. A scene change detection circuit, comprising: a scene change determination difference value comparison unit that outputs a signal indicating that the change has occurred. The DC coefficient histogram creating unit according to claim 1, characterized in that to create a histogram using at least one DC coefficient from a DC coefficient corresponding to each signal component of the luminance signal and two color signals Scene change detection circuit. The scene change according to claim 1 or 2 , wherein the DC coefficient histogram creation unit sets the coefficient range of the DC coefficient for each signal component of the luminance signal and two kinds of color signals. Detection circuit. The DC coefficient histogram creation unit sets up a virtual two-dimensional coordinate space or a three-dimensional coordinate space using at least two components from the signal components of the luminance signal and the two types of color signals as the coordinate axes. In addition, the inside of the coordinate space is divided to set a partition area,
The vector coefficient value obtained by combining the DC coefficient value of the component used to set the coordinate space so as to correspond to the set coordinate space,
The coefficient range setting of the DC coefficient is set corresponding to the vector value,
The scene change detection circuit according to any one of claims 1 to 3 , wherein a histogram of DC coefficients for each partition area is generated by generating a histogram of the vector values for each partition area. The DC coefficient extracting unit detects the coding mode from the input video signal, either from the video signal of the frame which is the frame coding according to claim 1, wherein the extracting the DC coefficient The scene change detection circuit described in 1. A circuit for detecting a scene change portion from a video signal obtained by encoding a moving image using a discrete cosine transform (DCT) technique for each block constituted by the number of vertical and horizontal pixels defined in the MPEG standard. ,
A motion vector extraction unit that extracts a motion vector for each macroblock from the input video signal for one frame ;
A vector space having the horizontal component of the motion vector as the horizontal axis and the vertical component of the motion vector as the vertical axis is divided to set a plurality of partition regions, and the partition region is set for each partition region of the plurality of partition regions. A motion vector histogram creation unit that classifies motion vectors, counts the number of motion vectors corresponding to each partition region of the plurality of partition regions, and creates a motion vector histogram for each partition region of the plurality of partition regions When,
A motion vector histogram storage unit that stores a motion vector histogram of one frame created by the motion vector histogram creation unit until a motion vector histogram of the next latest frame is created;
The difference d between the motion vector histogram of the latest frame created by the motion vector histogram creation unit and the motion vector histogram of the previous frame stored in the motion vector histogram storage unit is calculated according to the following equation: A motion vector histogram difference detection unit,

(However, “ min { H _i (k), H _j (k) }” means “a histogram H _i (k) by an arbitrary frame“ i ”obtained by classifying motion vectors into K coefficient ranges and a frame“ ( It is an operator that selects the smaller one of the histograms H _j (k) “by the frame“ j ”preceding“ i ” , and“ N ”represents the total number of data in one frame.)
The calculation result of the motion vector histogram difference detection unit is compared with a preset scene change determination threshold, and the scene changes when the calculation result of the motion vector histogram difference detection unit is greater than the threshold. A scene change detection circuit, comprising: a scene change determination difference value comparison unit that outputs a signal indicating that the change has occurred. The motion vector histogram creation unit sets a motion vector threshold value for each of the divided areas, and counts the number of motion vectors exceeding the motion vector threshold value to create a motion vector histogram. The scene change detection circuit according to claim 6 . The motion vector histogram creation unit sets a motion vector threshold value to have a plurality of stages, and creates a histogram by counting the number of the motion vectors included in each partition area at each stage. The scene change detection circuit according to claim 7 . The motion vector histogram creation unit creates a histogram using at least one motion vector component from among motion vector components corresponding to each direction component of an x-axis (horizontal) direction component and a y-axis (vertical) direction component. The scene change detection circuit according to any one of claims 6 to 8 . The motion vector histogram creation unit, any claim 6-8, characterized in that to create a histogram using the motion vector obtained by combining the both components of the x-axis (horizontal) direction component and y-axis (vertical) direction component The scene change detection circuit according to claim 1. The motion vector histogram creation unit uses a motion vector for each macroblock configured by the number of vertical and horizontal pixels defined in the MPEG standard, and the motion that exceeds the motion vector threshold value for each partition area The scene change detection circuit according to any one of claims 6 to 10 , wherein the number of vectors is counted. A circuit for detecting a scene change portion from a video signal obtained by encoding a moving image using a discrete cosine transform (DCT) technique for each block constituted by the number of vertical and horizontal pixels defined in the MPEG standard. ,
A DC coefficient extraction unit that extracts a DC component (DC) coefficient for each block from the input video signal for one frame;
A range of possible values of the DC coefficient is divided in advance to set a plurality of coefficient ranges, the number of corresponding DC coefficients is counted for each coefficient range, and a histogram of DC coefficients for each coefficient range is created. A DC coefficient histogram creation unit for
A DC coefficient histogram storage unit that stores a DC coefficient histogram of one frame created by the DC coefficient histogram creation unit until a histogram of a DC coefficient of the next latest frame is created;
The difference d _D between the DC coefficient histogram of the latest frame created by the DC coefficient histogram creation unit and the DC coefficient histogram of the previous frame stored in the DC coefficient histogram storage unit is expressed by the following equation. A DC coefficient histogram difference detection unit to be calculated;

(However, _{"min {H D i (k)} , H D j (k)} " is a "histogram by any frame" i "classified into K coefficient range DC coefficient H _{D i} (k) , An operator that selects the smaller one of the histograms H _{D j} (k) by the frame “j” preceding the frame “i” , and “N _D ” is the total number of data in one frame Represents.)
A motion vector extraction unit that extracts a motion vector for each macroblock from the input video signal for one frame;
A vector space having the horizontal component of the motion vector as the horizontal axis and the vertical component of the motion vector as the vertical axis is divided to set a plurality of partition regions, and the partition region is set for each partition region of the plurality of partition regions. A motion vector histogram creation unit that classifies motion vectors, counts the number of motion vectors corresponding to each partition region of the plurality of partition regions, and creates a motion vector histogram for each partition region of the plurality of partition regions When,
A motion vector histogram storage unit that stores a motion vector histogram of one frame created by the motion vector histogram creation unit until a motion vector histogram of the next latest frame is created;
A difference d _M between the motion vector histogram of the latest frame created by the motion vector histogram creation unit and the motion vector histogram of the previous frame stored in the motion vector histogram storage unit is expressed by the following equation. A motion vector histogram difference detection unit to be calculated;

(However, _{"min {H M i (k)} , H M j (k)} " is a "histogram by any frame motion vectors are classified into K factor range" i "H _{M i} (k) , An operator that selects the smaller one of the histograms H _{M j} (k) by the frame “j” preceding the frame “i” , and “N _M ” is the total number of data in one frame Represents.)
A calculation result of the DC coefficient histogram difference detection unit, and a total difference calculation unit for calculating a total difference obtained by summing the calculation result of the motion vector histogram difference detection unit;
The calculation result of the total difference calculation unit is compared with a preset threshold for scene change determination, and indicates that the scene has changed when the calculation result of the total difference calculation unit is larger than the threshold value. A scene change detection circuit comprising: a scene change determination difference value comparison unit that outputs a signal. If the calculation result of the DC coefficient histogram difference detection unit is less than a preset threshold value between the DC coefficient histogram difference detection unit and the total difference calculation unit, the calculation result is converted to 0. A DC coefficient difference conversion unit;
If the calculation result of the motion vector histogram difference detection unit is less than a preset threshold value between the motion vector histogram difference detection unit and the total difference calculation unit, the calculation result is converted to 0. The scene change detection circuit according to claim 12 , further comprising: a motion vector difference conversion unit. Instead of the scene change determination difference value comparison unit,
When the calculation result of the total difference calculation unit is compared with a preset scene change determination threshold value, the calculation result continues to be larger than the threshold value. The scene change detection circuit according to claim 12 , further comprising: a scene change determination peak detection unit that outputs a signal indicating that the scene has changed when the error occurs. Instead of the scene change determination difference value comparison unit,
When the calculation result of the total difference calculation unit is compared with a preset scene change determination threshold value, the calculation result continues to be larger than the threshold value. The scene change detection circuit according to claim 12 , further comprising: a scene change determination peak detection unit that outputs a signal indicating that the scene has changed when the error occurs. The total difference calculation unit accumulates histogram difference values of motion vectors calculated for each P frame that is forward-predictively encoded between I frames that are intra-coded, and uses the next latest I frame. When the histogram difference value of the DC coefficient is calculated, the sum of the integrated value of the motion vector histogram difference value in the P frame after the I frame immediately before the latest and the latest DC coefficient histogram difference value is calculated, The scene change detection circuit according to any one of claims 12 to 15 , wherein the calculated value is output as a total difference value to a scene change determination difference value comparison unit. In addition to the calculated value of claim 15 , the total difference calculation unit calculates by adding an integrated value of difference values in a P frame sandwiched between subsequent I frames, and sets the calculated value as a total difference value. The scene change detection circuit according to claim 16 , wherein the scene change detection circuit outputs the difference to a scene change determination difference value comparison unit.

Images