JPH0738842A - 動画編集装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、動画情報を効率良く編集することを
可能にする画像インデックスを表示できるようにする。 【構成】動画情報を表現する時系列的に連続するフレー
ム画像から、シーンの切り替わりを検出するシーンチェ
ンジ検出部４と、シーンチェンジ検出部４によって検出
されたシーンの切り替わりで区切られたシーン毎に、シ
ーンに対する所定の特徴量（動きベクトル、色ヒストグ
ラム、文字数）を計測する動きベクトル計測部８、色ヒ
ストグラム計測部９、及び文字検出部１０と、特徴量に
基づいてシーンの切り替わりで区切られたシーン毎に、
特徴的なフレーム画像である代表画像をソーティングす
る特徴量ソーティング部１８と、特徴量ソーティング部
１８によってソーティングされた順に従って、代表画像
を画像インデックスとして複数表示するモニタ１４とを
具備したことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された動画情報を効率良く編集するための動画編集装
置に関する。

【０００２】

【従来の技術】近年、ビデオカメラの普及により、誰に
でも手軽に様々な場面で動画情報を収集できるようにな
った。素人が撮影する場合、絵コンテやタイムスケジュ
ールなどの綿密な撮影計画を作成してから行なうわけで
はなく、取敢ず興味の有るシーンを手当たり次第撮影す
ることが多い。

【０００３】このように撮影された動画情報を編集する
場合、動画情報に冗長なシーンが多く含まれるため、必
要なシーンだけを取り出す編集作業が必須となる。動画
情報を編集するうえで、まず、動画情報全体の概略内容
を把握することで、編集作業の効率を大幅に向上させる
ことができる。

【０００４】従来、動画情報の内容を把握するために
は、早送り再生、いわゆる高速サーチ機能を用いて、動
画を続けて見ることにより行なわれていたが、それでも
時間がかかり過ぎると言う問題があった。

【０００５】そこで、動画中のシーンの切り替わりであ
るシーンチェンジや、フェードイン・フェードアウトな
どの特種効果を自動検出し、これらの特徴的なシーンの
変わり目を画像のインデックスとして縮小・静止画表示
させ、動画の内容把握を行なう手法が考えられている。
このようなシーンチェンジやフェードイン、フェードア
ウトの自動検出技術は、例えば「電子情報通信学会技術
研究報告」（ＩＥ９０−１０３，ｐｐ．５５−６１）に
記載されている技術により実現される。

【０００６】

【発明が解決しようとする課題】このように従来では、
動画情報を効率良く編集するために、動画中のシーンの
切り替わりや、フェードイン、フェードアウトなどの特
種効果を自動検出し、これら特徴的なシーンから代表画
像を求め、代表画像を画像のインデックスとして縮小・
静止画表示させ、動画情報の概略内容を把握する手法が
提案されている。

【０００７】しかしながら、高速サーチによる早見に比
較して効率良く動画情報の内容を把握することができ
る、長時間の動画情報では前述の特徴的なシーンだけで
もかなりの数になり、それら多くの画像インデックスか
ら編集者が必要とするシーンを選択するのが困難である
という問題が生じる。

【０００８】本発明は前記のような事情を考慮してなさ
れたもので、動画情報を効率良く編集するために容易に
内容把握することが可能な動画編集装置を提供すること
を目的とする。

【０００９】

【課題を解決するための手段】本発明は、動画情報を編
集する動画編集装置において、前記動画情報を表現する
時系列的に連続するフレーム画像から、シーンの切り替
わりを検出するシーン検出手段と、前記シーン検出手段
によって検出されたシーンの切り替わりで区切られたシ
ーン毎に、特徴的なフレーム画像である代表画像を検出
する代表画像検出手段と、前記シーン検出手段によって
検出されたシーンの切り替わりで区切られたシーン毎
に、シーンに対する所定の特徴量を計測する特徴量計測
手段と、前記特徴量測定手段によって測定された特徴量
に基づいて、前記代表画像検出手段によって検出された
各シーンに対応する代表画像をソーティングするソーテ
ィング手段と、前記ソーティング手段によってソーティ
ングされた順に従って、前記代表画像を複数表示する表
示手段とを具備したことを特徴とする。

【００１０】

【作用】このような構成によれば、シーン毎に測定され
た特徴量に基づいて、各シーンの代表画像をソーティン
グして画像インデックスを表示する。特徴量を選択する
ことにより、編集者が必要とする代表画像を優先的に表
示させることができるため、代表画像が大量にあっても
全ての代表画像を確認する手間を解消し、動画情報の概
略内容の把握を的確に行えるため、動画編集の作業効率
を大きく改善しうる。例えば、動きベクトルのような特
徴量によりソーティングを行えば、激しい動きを多く有
するシーンの代表画像を容易に見つけることが可能にな
り、逆に動きの少ない静かなシーンの代表画像を捜すこ
とも極めて容易に行なうことができる。

【００１１】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。本実施例における動画編集装置は、動きベクト
ル、色ヒストグラム、検出文字数などの特徴量をシーン
チェンジフェードイン、フェードアウトで区切られたシ
ーン毎に計測し、これら特徴量をもとにシーンの代表画
像をソーティングして画像インデックスを表示するもの
である。

【００１２】図１は本実施例の一実施例に係わる動画編
集装置の構成を示すブロック図である。動画編集装置
は、図１に示すように、動画情報記録／再生部１、Ａ／
Ｄ変換部２、イメージメモリ３、シーンチェンジ検出部
４、フェードイン・アウト検出部５、動きベクトル計測
部８、色ヒストグラム計測部９、文字検出部１０、ＣＰ
Ｕ１１、メモリ１２、Ｄ／Ａ変換部１３、モニタ１４、
アフィン変換部１５、画像バス１６、汎用バス１７、及
び特徴量ソーティング部１８によって構成されている。

【００１３】動画情報記録／再生部１は、例えばビデオ
装置のようなものであり、ビデオテープなどのような記
録媒体に動画情報を記録し、再生する。Ａ／Ｄ変換部２
は、動画情報記録／再生部１で再生されたビデオ信号を
１フレーム単位で量子化し、例えば８ｂｉｔのデジタル
画像としてイメージメモリ３に蓄える。

【００１４】イメージメモリ３は、２次元の画像メモリ
であり、Ａ／Ｄ変換部２において量子化された時系列的
に連続する所定枚数のフレーム画像を蓄える。また、後
述する画像インデックスをレイアウトし、表示するため
にも用いられる。動画情報を表わす時系列のフレーム画
像は、１フレーム毎にフレーム番号で管理される。フレ
ーム番号により任意のフレーム画像をアクセスすること
もできる。

【００１５】シーンチェンジ検出部４は、イメージメモ
リ３に蓄えられた時系列的に連続するフレーム画像を解
析し、例えば図２に示すような、シーンが切り替わって
いるシーンチェンジを検出する。このようなシーンチェ
ンジの検出は、例えば「電子情報通信学会技術研究報
告」（ＩＥ９０１−１０３，ｐｐ．５５−６１）に記載
されている技術を用いて実現することができる。シーン
チェンジの検出を行なう際、隣接するフレーム画像間の
変化量（例えば輝度情報の変化量）が求めら、この変化
量に基づいてシーンチェンジが検出される。

【００１６】フェードイン・アウト検出部５は、イメー
ジメモリ３に蓄えられた時系列的に連続するフレーム画
像を解析し、フェードイン、フェードアウトを検出す
る。このようなフェードイン、フェードアウトの検出
は、例えば「電子情報通信学会技術研究報告」（ＩＥ９
０−１０３，ｐｐ．５５−６１）に記載されている技術
を用いて実現することができる。

【００１７】動きベクトル計測部８は、例えば時系列的
に連続する２枚のフレーム画像間で動きベクトルを求め
る。このような動きベクトル検出は、例えば「画像処理
ハンドブック」（昭晃堂，ｐｐ．３７３−３９１）に記
載されたオプティカルフロー法を用いて実現することが
できる。

【００１８】色ヒストグラム計測部９は、例えば画像に
おけるＲＧＢの色成分毎にヒストグラムを計測する。計
測された色ヒストグラムを解析することにより、あるシ
ーンでは図３に示すような色ヒストグラムが計測され、
例えば閾値ＴＨ以上の頻度を調べれば、画像の色の傾向
を定量的に把握することができる。例えば空や海のシー
ンについて色ヒストグラムを解析した場合、青の色成分
が多いといった色の傾向を定量的に把握することができ
る。

【００１９】文字検出部１０は、フレーム画像を解析
し、画像中の文字パターンを検出する。動画情報中の文
字パターンは、例えば展示会を撮影した場合にタイトル
のように、画像の内容を表わすなどの特別な意味合いを
有するものもあり、シーン中の文字数も有用な情報とな
る。このような情景画像中の文字検出は、例えば「電子
情報通信学会論文誌 Ｄ」（Ｖｏｌ．Ｊ７１−Ｄ，Ｎ
ｏ．６，ｐｐ．１０３７−１０４７）に記載されている
技術を用いることができる。

【００２０】ＣＰＵ１１は、動画編集装置全体の動作を
制御するものである。また、ＣＰＵ１１は、例えばシー
ンチェンジやフェードイン・アウトが検出された位置に
基づいて、シーンを代表するフレーム画像（代表画像）
を決定する。メモリ１２は、一時的に情報を蓄えるバッ
ファメモリである。

【００２１】アフィン変換部１５は、表示用に画像を拡
大・縮小・回転等の処理を行なう。Ｄ／Ａ変換部１３
は、動画情報記録／再生部１からＡ／Ｄ変換部２を介し
て送られる動画情報をＤ／Ａ変換してモニタ１４にて表
示させる。また、シーンチェンジやフェードイン・アウ
トから求められる代表画像をアフィン変換部１５におい
て縮小し、画像インデックスとして、例えば図４に示す
ように、イメージメモリ３上に複数枚分の画像をレイア
ウトし、Ｄ／Ａ変換部１３においてＤ／Ａ変換してモニ
タ１４にて表示させる。

【００２２】画像バス１６は、画像データを高速に転送
するための専用バスであり、汎用バス１７は、ＣＰＵ１
１からの制御や各検出部及び計測部からの情報を転送す
るための汎用的なバスである。

【００２３】特徴量ソーティング部１８は、動きベクト
ル計測部８によって計測された動きベクトル、色ヒスト
グラム計測部９によって測定された色情報、文字検出部
１０によって検出された文字の文字数情報などの特徴量
を、所定の順、例えば動きベクトルの場合には、大きい
順あるいは小さい順にソートする。

【００２４】次に、本実施例の動作について説明する。
本実施例では、展示会をビデオカメラで撮影し、これに
よって得られた動画情報を編集する作業を例にして説明
する。ここでは、画像中から得られた動きベクトル量に
基づいて、代表画像をソーティングし、動きベクトルが
大きい順、すなわち人の混雑が激しいブース順で、対応
する代表画像が配列された画像インデックスを作成す
る。この動作について、図５に示すフローチャートを参
照しながら説明する。

【００２５】まず、動画情報記録／再生部１は、記録さ
れた動画情報を再生し、ビデオ信号としてＡ／Ｄ変換部
２に送る（ステップＳ１）。Ａ／Ｄ変換部２は、動画情
報記録／再生部１からの動画情報を１フレーム単位、例
えば５１２×５１２画素８ｂｉｔのデジタル画像（フレ
ーム画像）に量子化し、イメージメモリ３に随時蓄えて
いく。

【００２６】シーンチェンジ検出部４は、イメージメモ
リ３に蓄えられた時系列画像を、例えば「電子情報通信
学会技術研究報告」（ＩＥ９０−１０３，ｐｐ．５５−
６１）に記載されている技術を用いて解析し、図２に示
すようなシーンの切り替わりであるシーチェンジを検出
する（ステップＳ２）。

【００２７】シーンチェンジ検出部４は、シーンチェン
ジを検出した場合、シーンチェンジしたフレーム画像を
示すフレーム番号を、汎用バス１７を介してＣＰＵ１１
に送出する。ＣＰＵ１１は、シーンチェンジ検出部４か
ら受け取ったシーンチェンジしたフレーム画像を示すフ
レーム番号を、メモリ１２に例えば図６に示すようにし
て蓄える。すなわち、シーンチェンジフレーム番号格納
用の領域に、順次フレーム番号を格納する。

【００２８】シーンチェンジ検出部４によるシーンチェ
ンジの検出と並行して、フェードイン・アウト検出部４
は、イメージメモリ３に蓄えられた時系列画像を、例え
ば「電子情報通信学会技術研究報告」（ＩＥ９０−１０
３，ｐｐ．５５−６１）に記載されている技術を用いて
解析し、フェードイン、フェードアウトの特種効果を検
出する（ステップＳ３）。

【００２９】フェードイン・アウト検出部４は、フェー
ドインまたはフェードアウトを検出したら、フェードイ
ンまたはフェードアウトしたフレーム画像を示すフレー
ム番号を、汎用バス１７を介してＣＰＵ１１に送出す
る。ＣＰＵ１１は、受け取ったフェードインまたはフェ
ードアウトしたフレーム画像のフレーム番号を、メモリ
１２に例えば図６のように蓄える。すなわち、フェード
イン・アウトフレーム番号格納用の領域に、順次フレー
ム番号を格納する。

【００３０】以上の処理により、時系列画像が、例えば
図７に示すようにシーンが切り分けられたものとする。
各シーンは、シーン毎に付けられるシリアルなシーン番
号で管理される（ステップＳ４）。

【００３１】次に、動きベクトル計測部８は、切り分け
られたシーン毎に各々の特徴量を計測する。この際、例
えばシーン１について特徴量を計測する場合、開始フレ
ーム番号と終了フレーム番号をメモリ１２から取り出
し、動画情報記録／再生部１から開始フレームから終了
フレームまでの動画情報を再生する。

【００３２】再生された動画情報は、順次Ａ／Ｄ変換部
２において量子化され、一旦画像メモリ３に蓄えられ
る。画像メモリ３中のフレーム画像は、画像バス１６を
介して、動きベクトル計測部８に転送される。

【００３３】動きベクトル計測部８は、例えば「画像処
理ハンドブック」（ｐｐ．３７３−３９１）に記載され
たオプティカルフローの技術を用いて、時系列的に連続
する画像間の動きベクトルを定量的に検出し、この結果
をシーン番号に対応させて例えば図６に示すようにメモ
リ１２に蓄える（ステップＳ５）。すなわち、動きベク
トル情報格納用の領域に、順次、動きベクトル情報を格
納する。なお、動きベクトルは、動きの量と共に動きの
方向も計測される。この動きベクトルを検出する処理に
ついて全てのシーンについて行なう（ステップＳ６）。

【００３４】前述したように、本実施例においては、展
示会をビデオカメラで撮影して得られた動画情報を編集
する作業において、動きベクトル量に基づいて代表画像
をソーティングし、例えば人の混雑が激しいと思われる
ブースを撮影した順に、代表画像を配列する画像インデ
ックスを作成する例について説明している。

【００３５】動きベクトル量以外の特徴量である色情報
や文字情報にに基づいて画像インデックスを作成する場
合には、色ヒストグラム計測部９及び文字検出部１０に
おいて、それぞれ特徴量を計測してメモリ１２に蓄え
る。詳細については後述する。

【００３６】特徴量ソーティング部１６は、メモリ１２
に蓄えられた動きベクトル情報について動き量の大きい
順にソートする（ステップＳ７）。ＣＰＵ１１は、特徴
量ソーティング部１６によるソート結果、すなわち動き
ベクトル量の大きい順に、対応するシーンの代表画像に
高い優先順位を与える（ステップＳ８）。ＣＰＵ１１
は、各代表画像をアフィン変換部１５によって縮小し、
イメージメモリ３にレイアウトして画像インデックスを
作成する。

【００３７】こうして作成された画像インデックスは、
Ｄ／Ａ変換部１３でアナログビデオ信号に変換され、モ
ニタ１４にて表示される（ステップＳ９）。編集者は、
動きベクトルの大きい順に代表画像が並べられた画像イ
ンデックスを参照することによって、動きベクトルが大
きい、すなわち混雑の激しい（人気のあるブースを撮影
した）シーンを容易に検索することが可能となる。

【００３８】また、前述した動きベクトル以外の特徴量
として、フレーム画像間の変化量、色ヒストグラム、シ
ーン中の文字数を利用することができる。フレーム画像
間の変化量は、シーンチェンジ検出部４によってシーン
チェンジを検出するために検出された情報である。

【００３９】色ヒストグラムを利用する場合、色ヒスト
グラム計測部９は、画像メモリ３中のフレーム画像につ
いて、ＲＧＢの色成分毎にヒストグラムを計測する（図
３参照）。計測された色ヒストグラムを解析することに
より、赤、緑、青、マゼンタ、シアン、肌色、無彩色な
どの代表的な色成分によって、画像の特徴を定量的に表
す。

【００４０】具体的には、ＲＧＢ各々の成分に分解した
画像に対する濃度ヒストグラムに対し、各々の色に対応
する閾値範囲内における頻度の和を評価値とし、赤っぽ
い画像、青っぽい画像などの判定を行なう。計測された
色ヒストグラムの解析結果は、シーン番号に対応してメ
モリ１２に、例えば図６に示すように蓄えられる。すな
わち、色情報格納用の領域に順次、シーン番号と対応づ
けて色情報を格納する。

【００４１】特徴量ソーティング部１８は、例えば赤っ
ぽい画像について編集を行なう場合、赤色の色情報を赤
成分の多い順にソートすれば、赤っぽい映像を多く含む
シーンの代表画像が優先的に画像インデックスとして表
示される。

【００４２】さらに、シーン中に含まれる文字も画像の
特徴量として利用できる。文字検出部１０は、画像メモ
リ３中のフレーム画像から文字を検出し、画像中に存在
する文字数を計測する。計測された文字数は、シーン番
号に対応づけてメモリ１２に、例えば図６のように蓄え
る。

【００４３】特徴量ソーティング部１６は、文字数の多
い順にソートすれば、展示会などで説明パネルのような
シーンの画像インデックスを優先的に表示できる。この
ようにして、各シーンの特徴量、すなわち動きベクトル
計測部８によって計測された動きベクトル、色ヒストグ
ラム計測部９によって計測された色ヒストグラム、文字
検出部１０によって検出された文字数に基づいて、各シ
ーンの代表画像をレイアウトした画像インデックスを作
成することができる。例えば動きベクトルを特徴量を用
いてソーティングを行えば、激しい動きを多く有するシ
ーンの代表画像を容易に見つけることが可能となり、逆
に動きの少ない静かなシーンの代表画像を捜すことも極
めて容易に行なうことができる。従って、代表画像が大
量にある場合に、所望するシーンを見つけだすのが困難
であるという不具合を解消し、動画情報の概略内容の把
握を的確に行えるため、動画編集の作業効率を大きく改
善することができる。

【００４４】なお、前記実施例における動画情報記録／
再生部１は、ビデオ装置だけでなく、光ディスクのよう
な記録媒体や再生のみのレーザーディスクなどでもよい
し、デジタル的な記録装置でもよい。その場合、画像情
報は最初からデジタル情報であるため、Ａ／Ｄ変換部が
不要となる。

【００４５】また、シーンチェンジ検出やフェードイ
ン、フェードアウトの検出方法は、「電子情報通信学会
技術研究報告」（ＩＥ９０−１０３，ｐｐ．５５−６
１）に記載されている手法のみに限らない。

【００４６】動きベクトル計測方法は、「画像処理ハン
ドブック」（ｐｐ．３７３−３９１）に記載されたオプ
ティカルフロー法に限らず、２フレーム間の差分による
変化領域の検出方式なども考えられる。差分法では動き
の方向情報までは得られないが、計算量を軽減できる。

【００４７】同様に、色ヒストグラムは、ＲＧＢ空間に
おけるヒストグラム計測のみならずＨＣＬ空間など様々
な色空間でも行えるのはいうまでもない。さらに、情景
画像中の文字検出は、「電子情報通信学会論文誌 Ｄ」
（Ｖｏｌ．Ｊ７１−Ｄ，Ｎｏ．６，ｐｐ．１０３７−１
０４７）に記載された手法以外を用いることも可能であ
る。

【００４８】

【発明の効果】以上述べたように本発明によれば、シー
ン毎の特徴量に基づいて、各シーンの代表画像をソーテ
ィングして画像インデックスを作成、表示するので、任
意に選択される特徴量により編集者が必要とする代表画
像を優先的に表示し、

【図面の簡単な説明】

【図１】本発明の一実施例に係わる動画編集装置の構成
を示すブロック図。

【図２】シーンチェンジの例を説明するための図。

【図３】色ヒストグラム計測の例を説明するための図。

【図４】画像インデックスの表示例を示す図。

【図５】本実施例の動作を説明するためのフローチャー
ト。

【図６】本実施例のメモリ１２のマップを示す図。

【図７】シーンの切り分け例を説明するための図。

【符号の説明】

１…動画情報記録／再生部、２…Ａ／Ｄ変換部、３…イ
メージメモリ、４…シーンチェンジ検出部、５…フェー
ドイン・アウト検出部、８…動きベクトル計測部、９…
色ヒストグラム計測部、１０…文字検出部、１１…ＣＰ
Ｕ、１２…メモリ、１３…Ｄ／Ａ変換部、１４…モニ
タ、１５…アフィン変換部、１６…画像バス、１７…汎
用バス、１８…特徴量ソーティング部。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 13/00 Ｈ０４Ｎ 5/7826 9287−5Ｌ Ｇ０６Ｆ 15/62 ３８０ 8837−5Ｌ 15/70 ４０５ Ｈ０４Ｎ 5/782 Ａ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画情報を編集する動画編集装置におい
   て、 前記動画情報を表現する時系列的に連続するフレーム画
   像から、シーンの切り替わりを検出するシーン検出手段
   と、 前記シーン検出手段によって検出されたシーンの切り替
   わりで区切られたシーン毎に、特徴的なフレーム画像で
   ある代表画像を検出する代表画像検出手段と、 前記シーン検出手段によって検出されたシーンの切り替
   わりで区切られたシーン毎に、シーンに対する所定の特
   徴量を計測する特徴量計測手段と、 前記特徴量測定手段によって測定された特徴量に基づい
   て、前記代表画像検出手段によって検出された各シーン
   に対応する代表画像をソーティングするソーティング手
   段と、 前記ソーティング手段によってソーティングされた順に
   従って、前記代表画像を複数表示する表示手段と、 を具備したことを特徴とする動画編集装置。
2. 【請求項２】 前記シーン毎に計測される特徴量は、連
   続するフレーム画像の差分により求められるフレーム画
   像間の変化量の平均値であることを特徴とする請求項１
   記載の動画編集装置。
3. 【請求項３】 前記特徴量計測手段は、連続するフレー
   ム画像の動きベクトルを求める手段を有し、前記シーン
   毎に計測される特徴量は、フレーム画像間の動きベクト
   ルの大きさの平均値であることを特徴とする請求項１記
   載の動画編集装置。
4. 【請求項４】 前記特徴量計測手段は、フレーム画像に
   対し色ヒストグラムを求める手段を有し、前記シーン毎
   に計測される特徴量は、任意フレームにおける特定色に
   対する頻度であることを特徴とする請求項１記載の動画
   編集装置。
5. 【請求項５】 前記特徴量計測手段は、フレーム画像中
   から文字を検出する手段を有し、前記シーン毎に計測さ
   れる特徴量は、検出された文字数であることを特徴とす
   る請求項１記載の動画編集装置。