JP3453312B2 - 映像ストリームの構造解析過程表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像ストリームの
構造解析過程表示方法に関し、より詳細には、解析過程
を表示することによって映像情報の解析処理を円滑・簡
単・正確に行うことを可能とし、さらに、映像情報を解
析した結果を用いて映像情報の内部の論理構造を視覚的
に表現可能にした映像ストリームの構造解析過程表示方
法に関する。

【０００２】

【従来の技術】近年、コンピュータ関連技術、情報処理
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。

【０００３】したがって、電子情報は、その情報がアナ
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用（例えば、情報の加工・情報
の検索・情報の伝達等）されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。

【０００４】例えば、電子情報の一つであるテキスト情
報は、その論理的な構造を表現するために、ＳＧＭＬ、
ＨＴＭＬ、ＸＭＬ等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。

【０００５】また、映像情報についても、映像情報を解
析して構造化し、構造化した映像情報を管理するための
種々の手法が提案されている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来に
おける映像情報の解析処理は、映像情報を再生しつつ、
作業者が映像情報の分割点を見つけ出すという処理が主
流であるため、作業者は映像情報の解析を行うために非
常に長い時間をとられ、また、映像再生中常に映像に集
中していなければならないことから、身心への負担も大
きいという問題点があった。

【０００７】また、上記のような作業者への負担を軽減
すべく、映像情報の分割点を自動的に判定するような装
置も個別には存在しているが、これらの装置は単に映像
情報の物理的な分割点を特定し、該当するサムネイル画
像を表示するだけであるため、実際に必要とされる意味
のある映像の集合を分割するための論理的な分割点と、
単純に画面の表示状態が大きく変化する映像の物理的な
分割点とを区別することは困難であるという問題点があ
った。

【０００８】さらに、従来において映像情報を解析して
構造化した結果を表示する場合においては、一般に構造
化した単位の映像の集合を表すサムネイル画像を単に並
べて表示するのみであるため、作業者が映像情報の内部
の論理構造を把握するには表示されたサムネイル画像か
ら論理構造を想像する必要があり、映像情報の内部の論
理構造を直感的に把握することができないという不都合
な点があった。換言すれば、映像情報内部の論理構造を
容易に把握することができるようなユーザ・インターフ
ェースの手法が提供されていないという問題点があっ
た。

【０００９】

【００１０】本発明は、上記に鑑みてなされたものであ
って、映像情報の解析過程を表示して、映像情報の解析
過程を視覚的に確認することができるようにし、解析処
理を円滑・簡単・正確に行うことを可能とする映像スト
リームの構造解析過程表示方法を提供することを目的と
する。

【００１１】また、本発明は上記に鑑みてなされたもの
であって、映像情報の解析を行った過程を再現できるよ
うにして解析過程を検証可能とすることにより、映像情
報の解析処理を円滑・簡単・正確に行うことを可能とす
る映像ストリームの構造解析過程表示方法を提供するこ
とを目的とする。

【００１２】

【００１３】

【００１４】

【００１５】

【課題を解決するための手段】 上記目的を達成するた
め、請求項１ の映像ストリームの構造解析過程表示方法
は、映像ストリームの構造を解析する解析過程を表示す
るための映像ストリームの構造解析過程表示方法であっ
て、前記映像ストリーム中の任意のフレームを基準フレ
ームとして設定し、設定した基準フレームの画像を表示
する第１の工程と、前記映像ストリームの時系列におい
て、前記設定した基準フレームから第１の間隔分進めた
位置にフレームが存在するか否かを判定し、フレームが
存在する場合に、該当するフレームを選択して第１の選
択フレームとして設定し、設定した第１の選択フレーム
の画像を前記基準フレームの画像と共に表示し、フレー
ムが存在しない場合に、最後のフレームを第１のフレー
ムとして設定し、設定した第１の選択フレームの画像を
前記基準フレームの画像と共に表示する第２の工程と、
前記第１の選択フレームおよび基準フレームを比較し、
前記第１の選択フレームおよび基準フレームの画像の特
徴量の差が所定の閾値以上の場合に、前記第１の選択フ
レームの位置を記憶し、閾値以上でない場合に、前記第
１の選択フレームを前記基準フレームとして設定し、設
定した基準フレームの画像を現在表示している基準フレ
ームの画像に代えて表示して、前記第２の工程に戻る第
３の工程と、前記第３の工程で前記第１の選択フレーム
の位置を記憶した場合に、前記記憶された第１の選択フ
レームより前に前記第２の工程で第１の選択フレームと
して設定されたフレーム以降のフレームを前記第１の間
隔より細かい第２の間隔で順次選択し、選択したフレー
ムを第２の選択フレームとして設定し、設定した第２の
選択フレームの画像を現在表示している第１の選択フレ
ームの画像に代えて表示する第４の工程と、前記第２の
選択フレームおよび基準フレームを比較し、前記第２の
選択フレームおよび基準フレームの画像の特徴量の差が
所定の閾値以上の場合に、前記第２の選択フレームの位
置を記憶し、閾値以上でない場合に、前記第４の工程に
戻る第５の工程と、前記第５の工程で前記第２の選択フ
レームの位置を記憶した場合に、前記第２の選択フレー
ムを前記基準フレームとして設定し、設定した基準フレ
ームの画像を現在表示している基準フレームの画像に代
えて表示する第６の工程と、前記第６の工程で新たに基
準フレームが設定された場合に、映像ストリーム中にお
いて、前記設定した基準フレームから前記第１の間隔分
進めた位置にフレームが存在するか否かを判定し、フレ
ームが存在する場合に、前記第２の工程に戻り、フレー
ムが存在しない場合に、最後のフレームを第１の選択フ
レームとして前記第２の工程に戻る第７の工程と、前記
基準フレームが最後のフレームであった場合に、処理を
終了する第８の工程と、を含み、さらに、前記第３の工
程および第５の工程で得た前記基準フレームと前記第１
の選択フレームおよび第２の選択フレームとの特徴量の
差を順次プロットし、前記映像ストリーム中の各フレー
ムの特徴量の変化をグラフで表示する第９の工程を含む
ものである。

【００１６】また、請求項２の映像ストリームの構造解
析過程表示方法は、映像ストリームの構造を解析する解
析過程を表示するための映像ストリームの構造解析過程
表示方法であって、前記映像ストリーム中の任意のフレ
ームを基準フレームとして設定し、設定した基準フレー
ムの画像を表示する第１の工程と、前記映像ストリーム
の時系列において、前記基準フレーム以降のフレームを
第１の間隔で順次選択し、選択したフレームを第１の選
択フレームとして設定し、設定した第１の選択フレーム
の画像を前記基準フレームの画像と共に表示する第２の
工程と、前記第１の選択フレームおよび基準フレームを
比較し、前記第１の選択フレームおよび基準フレームの
画像の特徴量の差が所定の閾値以上の場合に、前記第１
の選択フレームの位置を記憶し、閾値以上でない場合
に、前記第２の工程に戻る第３の工程と、前記第３の工
程で前記第１の選択フレームの位置を記憶した場合に、
前記記憶された第１の選択フレームより前に前記第２の
工程で第１の選択フレームとして設定されたフレーム以
降のフレームを前記第１の間隔より細かい第２の間隔で
順次選択し、選択したフレームを第２の選択フレームと
して設定し、設定した第２の選択フレームの画像を現在
表示している第１の選択フレームの画像に代えて表示す
る第４の工程と、前記第２の選択フレームおよび基準フ
レームを比較し、前記第２の選択フレームおよび基準フ
レームの画像の特徴量の差が所定の閾値以上の場合に、
前記第２の選択フレームの位置を記憶し、閾値以上でな
い場合に、前記第４の工程に戻る第５の工程と、前記第
５の工程で前記第２の選択フレームの位置を記憶した場
合に、前記第２の選択フレームを前記基準フレームとし
て設定し、設定した基準フレームの画像を現在表示して
いる基準フレームの画像に代えて表示する第６の工程
と、前記第６の工程で新たに基準フレームが設定された
場合に、映像ストリーム中において、前記設定した基準
フレームから前記第１の間隔分進めた位置にフレームが
存在するか否かを判定し、フレームが存在する場合に、
前記第２の工程に戻り、フレームが存在しない場合に、
最後のフレームを前記第１の選択フレームとして前記第
２の工程に戻る第７の工程と、前記基準フレームが最後
のフレームであった場合に、処理を終了する第８の工程
と、を含み、さらに、前記第３の工程および第５の工程
で得た前記基準フレームと前記第１の選択フレームおよ
び第２の選択フレームとの特徴量の差を順次プロット
し、前記映像ストリーム中の各フレームの特徴量の変化
をグラフで表示する第９の工程を含むものである。

【００１７】また、請求項３の映像ストリームの構造解
析過程表示方法は、請求項１または２に記載の映像スト
リームの構造解析過程表示方法において、前記第９の工
程が、前記基準フレームに対して閾値以上の特徴量を有
する第２の選択フレームの位置を前記グラフ中に表示す
るものである。

【００１８】また、請求項４の映像ストリームの構造解
析過程表示方法は、請求項１〜３のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記映像ストリームを構成する各フレームの位置
に対応させて、解析処理の進行状況を示すグラフを表示
する第１０の工程を含み、前記第１０の工程が、さら
に、前記第１の選択フレームまたは第２の選択フレーム
として選択されたフレームの位置および前記基準フレー
ムに対して閾値以上の特徴量を有する第２の選択フレー
ムの位置を前記グラフ中に表示するものである。

【００１９】また、請求項５の映像ストリームの構造解
析過程表示方法は、請求項１〜４のいずれか一つに記載
の映像ストリームの構造解析過程表示方法において、さ
らに、前記第１の工程から第１０の工程で実行された処
理の過程を記録する第１１の工程と、前記第１１の工程
で記録した処理の過程を任意のタイミングで再現する第
１２の工程と、を含むものである。

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【発明の実施の形態】以下、本発明に係る映像ストリー
ムの構造解析過程表示方法の一実施の形態について、 （１）システム構成 （２）映像ストリームの構造解析 （３）映像インデックス情報 （４）映像ストリームの構造表示 （５）映像情報の検索結果の表示 （６）応用例 の順で、添付の図面を参照して詳細に説明する。

【００２６】（１）システム構成 図１は、本実施の形態に係る映像ストリームの構造解析
過程表示方法を実現するためのシステムの一例を示す概
略構成図である。図１に示すシステムは、複数の映像情
報を記憶した映像情報ライブラリ１０１と、映像情報ラ
イブラリ１０１の各映像情報に対応して生成された複数
の映像インデックス情報（「（３）映像インデックス情
報」のところで説明する）を記憶した映像インデックス
情報データベース１０２と、映像情報ライブラリ１０１
中の映像情報の映像ストリームの構造を解析すると共
に、解析した結果に基づいて、映像ストリームの構造を
視覚的に表示する処理を行うコンピュータ１０３と、を
有している。

【００２７】この図１に示す映像情報ライブラリ１０１
および映像インデックス情報データベース１０２は、コ
ンピュータ１０３中に内蔵することにしても良いが、こ
こでは一例として、ネットワークを介してコンピュータ
１０３と接続されているものとする。

【００２８】図２は、図１に示したコンピュータ１０３
のブロック構成図である。コンピュータ１０３は、後述
するソフトウエアに基づく処理を実行するＣＰＵ２０１
と、ブートプログラム等を記憶したＲＯＭ２０２と、Ｃ
ＰＵ２０１のワークエリアとして使用されるＲＡＭ２０
３と、各種の入力操作を行なうためのキーボード２０４
およびマウス２０５と、映像ストリームの解析過程や映
像ストリームの構造を表示するためのＣＲＴや液晶ディ
スプレイ等の表示装置２０６と、本実施の形態に係る映
像ストリームの構造解析過程表示方法を実現するための
構造解析ソフト２０７，インデックス生成ソフト２０
８，構造表示ソフト２０９等の各種アプリケーションプ
ログラムやデータを記憶したハードディスク２１０と、
図１に示した映像情報ライブラリ１０１および映像イン
デックス情報データベース１０２とコンピュータ１０３
とを接続するネットワークアダプタ２１１と、上記各部
を接続するバス２１２と、を少なくとも備えている。

【００２９】なお、図１および図２に示したシステム構
成は、あくまでも一例を示すものであって、後述する本
実施の形態に係る方法を実現することが可能であれば、
いかなるシステム構成であっても良い。

【００３０】（２）映像ストリームの構造解析 つぎに、前述したようなシステムにおいて実現される映
像ストリームの構造解析処理について説明する。映像ス
トリームの構造解析処理を実行する際には、図２に示し
た構造解析ソフト２０７が使用される。

【００３１】構造解析ソフト２０７は、構造解析の対象
となる映像ストリーム中のフレーム同士を比較して両方
の画像の特徴量の差を求めることにより、映像ストリー
ム中の各フレームの画像が有する特徴量の変化を求める
処理を実行する。換言すれば、構造解析ソフト２０７
は、各フレームの画像が有する特徴量の変化を求めるこ
とにより、映像ストリームを複数に分割する分割点を特
定して、映像ストリームから特徴量の差が少ない連続す
るフレームの集合を抽出し、映像ストリームを任意の連
続するフレーム単位に分割できるようにするものであ
る。なお、ここでいう特徴量にはフレームの画像の色・
配色・構造・形状・曲率等がある。

【００３２】構造解析ソフト２０７を起動すると、図３
に示すような構造解析過程表示ウインドウ３０１が表示
装置２０６に画面表示される。この構造解析過程表示ウ
インドウ３０１は、構造解析ソフト２０７が映像ストリ
ームの構造解析を行っている過程をユーザに対して表示
するものである。ここでは、映像ストリームの構造解析
処理を説明する前に、構造解析過程表示ウインドウ３０
１の構成を説明することにする。

【００３３】構造解析過程表示ウインドウ３０１は、映
像ストリーム中の比較対象となる２つのフレームを表示
する比較フレーム表示部３０２を有している。本実施の
形態においては、この比較フレーム表示部３０２中の左
側に表示されるフレームを基準フレームと、右側に表示
されるフレームを選択フレーム（第１の選択フレームま
たは第２の選択フレーム）とそれぞれ定義し、比較フレ
ーム表示部３０２において、基準フレームを表示する領
域を基準フレーム表示部３０２ａ、選択フレームを表示
する領域を選択フレーム表示部３０２ｂと呼ぶことにす
る。

【００３４】構造解析ソフト２０７は、ノーマル比較モ
ードおよび詳細比較モードの２つのモードを切り換えつ
つ映像ストリームの構造解析処理を実行する。ノーマル
比較モードにおいて、構造解析ソフト２０７は、基準フ
レームと比較する選択フレームを予め設定されている第
１の間隔で選択し、選択フレーム表示部３０２ｂに表示
する。本実施の形態においては、この第１の間隔を３０
フレームとし、構造解析ソフト２０７は、３０フレーム
間隔で選択フレームとなるフレームを選択し、基準フレ
ームと比較する処理を実行する。このようなノーマル比
較モードによる構造解析処理を実行することにより、映
像ストリーム中の各フレームの特徴量の変化を大まかに
つかむことが可能となり、フレーム一つひとつを基準フ
レームと比較していく場合に比べて構造解析処理の高速
化を図ることが可能となる。なお、このノーマル比較モ
ードにおいて、前述した選択フレームとして選択される
フレームを第１の選択フレームと呼ぶことにする。

【００３５】一方、詳細比較モードは、ノーマル比較モ
ードの実行中に映像ストリームの分割点となるような特
徴量が大きく変化する第１の選択フレームが発見された
場合に、その第１の選択フレームより前に第１の選択フ
レームとして選択されたフレーム以降のフレームを第１
の間隔より細かい第２の間隔で順次選択し、基準フレー
ムとの比較処理を実行するものである。本実施の形態に
おいては、この第２の間隔を１フレームとする。このよ
うな詳細比較モードによる構造解析処理を実行すること
により、確実に映像ストリームの分割点となるフレーム
を特定することができる。なお、この詳細比較モードに
おいて選択フレームとして選択されるフレームを、ノー
マル比較モードにおける第１の選択フレームに対し、第
２の選択フレームと呼ぶことにする。

【００３６】なお、ここでは、ノーマル比較モードにお
いて３０フレーム間隔でフレーム同士を比較し、詳細比
較モードにおいて１フレーム間隔でフレーム同士を比較
することにするが、１フレーム間隔でフレーム同士を比
較する前に、例えば、５フレーム間隔でフレーム同士を
比較して映像ストリームの分割点となるような特徴量が
大きく変化するフレームの位置を絞り込む処理を行い、
最終的に１フレーム間隔でフレーム同士を比較して、映
像ストリームの分割点となるような特徴量が大きく変化
するフレームの位置を特定するという処理を行うことに
しても良い。

【００３７】構造解析過程表示ウインドウ３０１は、構
造解析処理中においてノーマル比較モードおよび詳細比
較モードのいずれのモードによる構造解析処理が実行さ
れているかを選択フレーム表示部３０２ｂの下方に表示
する。

【００３８】また、構造解析過程表示ウインドウ３０１
は、比較フレーム表示部３０２の左側に、３つのフレー
ム表示部３０３ａ〜３０３ｃを有している。このフレー
ム表示部３０３は、比較処理が終了したフレームを順番
に表示していくものである。具体的には、比較処理が終
了すると、基準フレーム表示部３０２ａに表示されてい
た基準フレームがフレーム表示部３０３ａに送られ、選
択フレーム表示部３０２ｂに表示されていた選択フレー
ムが基準フレーム表示部３０２ａに送られ、さらに、選
択フレーム表示部３０２ｂには新たな選択フレームが表
示される。つまり、比較処理が終了する毎に、比較フレ
ーム表示部３０２およびフレーム表示部３０３ａ〜３０
３ｃに表示されているフレームがそれぞれ左方向に送ら
れることになる。

【００３９】構造解析過程表示ウインドウ３０１は、ま
た、比較フレーム表示部３０２に表示された２つのフレ
ームを比較することによって得た２つのフレームの特徴
量の差をプロットし、映像ストリーム中の各フレームの
特徴量の変化を表す折れ線グラフを表示するためのグラ
フ表示部３０４を有している。グラフ表示部３０４中に
は、区切り線３０４ａが表示されており、区切り線３０
４ａに囲まれた領域Ａ・領域Ｂ・領域Ｃ・領域Ｄは、そ
れらの上方に表示されているフレームにそれぞれ対応し
ている。例えば、基準フレーム表示部３０２ａの下方の
領域Ｄには、基準フレームおよび選択フレームの特徴量
の差が表示されている。

【００４０】また、グラフ表示部３０４の領域Ａ，領域
Ｂおよび領域Ｄのように、折れ線グラフが直線で示され
ている領域は前述した第１の間隔でフレームを選択する
ノーマル比較モードで比較処理が実行されたことを意味
している。例えば、領域Ａは、フレーム表示部３０３ｃ
に表示されているフレームとフレーム表示部３０３ｂに
表示されているフレームとがノーマル比較モードで比較
された際の２つのフレームの画像の特徴量の差を示して
いる。

【００４１】一方、１つの領域中に複数のプロット点が
表示されている領域Ｃは、対応するフレーム表示部３０
３ａに表示されているフレームと、基準フレーム表示部
３０２ａに表示されたフレームより前に存在する複数の
フレームとが詳細比較モードで比較されたことを意味し
ている。すなわち、領域Ｃ中のプロット点は、第２の間
隔で選択され、フレーム表示部３０３ａに表示されてい
る（比較処理の際には基準フレーム表示部３０２ａに表
示されていた）フレームと比較されたフレームの数に対
応している。

【００４２】さらに、領域Ｃ中の折れ線グラフが急激に
変化している様子から明らかなように、比較された２つ
のフレーム間の特徴量の差が所定の閾値以上の場合、構
造解析ソフト２０７によってその比較されたフレームの
間が映像ストリームの分割点と判定され、判定された分
割点を示す分割線３０４ｂがグラフ表示部３０４中に表
示される。

【００４３】なお、グラフ表示部３０４中に表示された
グラフは、比較処理が行われる毎に対応するフレームが
左に送られることに伴い、同様に左に送られて表示され
ることになる。

【００４４】また、グラフ表示部３０４の下方に示され
ている「色」・「配色」・「構造」・「形状」・「曲
率」は、フレーム同士を比較する際に用いる特徴量を示
しており、該当するチェックボックスをチェックするこ
とにより、その特徴量の差を示す折れ線グラフがグラフ
表示部３０４に表示される。ただし、各特徴量の値が異
なるため、図３に示すグラフ表示部３０４には全ての特
徴量の差が表示されてはいないが、倍率設定部３０６中
のボタンを選択して倍率を変更することにより、グラフ
表示部３０４に表示される折れ線グラフのレンジを変更
でき、全ての特徴量を表示できるようにしたり、各フレ
ーム間の特徴量の変化を詳細に表示したり、ラフに表示
したりすることが可能となる。

【００４５】また、「スコア」に該当するチェックボッ
クスをチェックすると、「色」・「配色」・「構造」・
「形状」・「曲率」の全ての特徴量の差を総合的に示す
折れ線グラフがグラフ表示部３０４に表示される。本実
施の形態において単に特徴量という場合は、この「スコ
ア」によって示される量を意味するものとする。

【００４６】さらに、構造解析過程表示ウインドウ３０
１は、映像ストリーム中の最初のフレームから最後のフ
レームまでの処理の進行状況および処理結果を表示する
バー３０５を有している。バー３０５には、映像ストリ
ーム全体に対し、現在比較フレーム表示部３０２に表示
されて比較処理が行われるフレームの位置が順次表示さ
れていく。その結果、バー３０５中には、比較処理に用
いられたフレームの位置が全て表示されることになる。
バー３０５において、３０５ａで示す複数の波線が比較
処理に用いられたフレームの位置を示すフレーム位置表
示ラインを示している。このバー３０５がフレーム位置
表示ライン３０５ａによって満たされると、１つの映像
ストリームの解析処理が終了することになる。

【００４７】また、３０５ｂは分割フレーム位置表示ラ
インを示し、この分割フレーム位置表示ライン３０５ｂ
は、グラフ表示部３０４の分割線３０４ｂに対応してお
り、分割点の直後のフレームの位置を表示するものであ
る。この分割フレーム位置表示ライン３０５ｂをバー３
０５中に表示することにより、映像ストリーム中のどこ
に分割点が位置しているのかを一目で認識することが可
能となる。

【００４８】なお、図３において、３０７は各種の設定
値を表示する設定値表示部を、３０８は後に説明する解
析処理の過程の再現を行う際に再現速度を設定するため
の再現速度調整部を、３０９は解析対象である映像情報
の映像を表示する映像表示部を、３１０は解析処理の開
始を指示するための開始ボタンを、３１１は中断した解
析処理の再開を指示するための再開ボタンを、３１２は
解析処理を終了して構造解析過程表示ウインドウ３０１
を閉じるための閉じるボタンをそれぞれ示している。

【００４９】続いて、映像ストリームの構造解析処理を
具体的に説明する。図４は、映像ストリームの構造解析
処理を示すフローチャートである。例えば、映像ストリ
ームの構造を解析する対象となる映像情報が映像情報ラ
イブラリ１０１から選択され、構造解析過程表示ウイン
ドウ３０１中の開始ボタン３１０がクリックされると、
構造解析ソフト２０７は図４に示す処理を開始する。な
お、ここでは「花のレポート」を映像情報の例とし、そ
の映像情報の映像ストリームの最初のフレーム（ＩＤ：
１）からノーマル比較モードによる処理を開始するもの
とする。

【００５０】まず、構造解析ソフト２０７は、ＩＤが１
のフレームを基準フレームとして設定し、図５に示すよ
うに、その画像を基準フレーム表示部３０２ａに表示す
ると共に、バー３０５に映像ストリーム中の該当する位
置を示すフレーム位置表示ライン３０５ａを表示する
（Ｓ４０１）。

【００５１】基準フレームを表示した後、構造解析ソフ
ト２０７は、この基準フレームが映像ストリーム中の最
後のフレームであるか否かを判定する（Ｓ４０１ａ）。
基準フレームが映像ストリーム中の最後のフレームであ
ると判定した場合、構造解析ソフト２０７は図４に示す
構造解析処理を終了する。

【００５２】一方、基準フレームが映像ストリーム中の
最後のフレームでないと判定した場合、設定した基準フ
レームから第１の間隔分（３０フレーム分）進めた位置
にフレームが存在するか否かを判定する（Ｓ４０２）。
第１の間隔分（３０フレーム分）進めた位置にフレーム
が存在しない場合、構造解析ソフト２０７は、映像スト
リーム中の最後のフレームを基準フレームと比較する第
１の選択フレームとして設定し（Ｓ４１５）、ステップ
Ｓ４０４に進む。

【００５３】また、第１の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト２０７は、該当するフ
レームを基準フレームと比較する第１の選択フレームと
して設定し、図５に示すように、その画像を選択フレー
ム表示部３０２ｂに表示すると共に、バー３０５に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン３０５ａを表示する（Ｓ４０３）。

【００５４】続いて、構造解析ソフト２０７は、図５に
示した基準フレームおよび第１の選択フレームの画像を
比較し（Ｓ４０４）、基準フレームおよび第１の選択フ
レームの画像の特徴量の差が所定の閾値以上であるか否
かを判定する（Ｓ４０５）。

【００５５】ステップＳ４０５において基準フレームお
よび第１の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト２０７
は、図５に示すように、基準フレームに該当するグラフ
表示部３０４の領域に、第１の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する（Ｓ４０
６）。ただし、ここではノーマル処理モードであるた
め、記録されたグラフは直線となる。

【００５６】その後、構造解析ソフト２０７は、ステッ
プＳ４０１に戻り、基準フレーム表示部３０２ａに表示
されている基準フレームの画像を左隣のフレーム表示部
３０３ａに表示した後、選択フレーム表示部３０２ｂに
表示されている第１の選択フレームを基準フレームとし
て設定し、図６に示すように基準フレーム表示部３０２
ａに表示する（Ｓ４０１）。なお、構造解析ソフト２０
７は、基準フレーム表示部３０２ａに表示されていた基
準フレームの画像をフレーム表示部３０３ａに表示する
処理に併せ、対応するグラフ表示部３０４の領域も左に
シフトさせる。

【００５７】そして、構造解析ソフト２０７は、設定し
た基準フレームが映像ストリーム中の最後のフレームで
あるか否かを判定する（Ｓ４０１ａ）。基準フレームが
映像ストリーム中の最後のフレームであると判定した場
合、構造解析ソフト２０７は図４に示す構造解析処理を
終了し、基準フレームが映像ストリーム中の最後のフレ
ームでないと判定した場合、設定した基準フレームから
第１の間隔分（３０フレーム分）進めた位置にフレーム
が存在するか否かを判定する（Ｓ４０２）。第１の間隔
分（３０フレーム分）進めた位置にフレームが存在しな
い場合、構造解析ソフト２０７は、映像ストリーム中の
最後のフレームを基準フレームと比較する第１の選択フ
レームとして設定し（Ｓ４１５）、ステップＳ４０４に
進む。

【００５８】一方、第１の間隔分進めた位置にフレーム
が存在する場合、構造解析ソフト２０７は、該当するフ
レームを基準フレームと比較する第１の選択フレームと
して設定し、図６に示すように、その画像を選択フレー
ム表示部３０２ｂに表示すると共に、バー３０５に映像
ストリーム中の該当する位置を示すフレーム位置表示ラ
イン３０５ａを表示する（Ｓ４０３）。

【００５９】なお、ステップＳ４０５で特徴量の差が閾
値以上でないと判定した場合に、ステップＳ４０１に戻
って第１の選択フレームを基準フレームとする処理を行
うことにしたが、特徴量の差が閾値以上でない限り、必
ずしも基準フレームを変更する必要はない。すなわち、
基準フレームおよび第１の選択フレームの画像の特徴量
の差が閾値以上でないということは、比較した２つのフ
レームの画像はほぼ等しいといえ、つぎのフレームと比
較する際にいずれを用いても同様な比較処理を行うこと
ができるからである。

【００６０】ただし、ここで基準フレームを変更する場
合と変更しない場合とにより、異なる構造解析を行うこ
とが可能となる。基準フレームを変更する場合において
は、ほぼ隣接するフレーム間で比較処理が行われるた
め、フレーム間の特徴量の差が大きく異なる場合にの
み、分割点が設定されるという特徴がある。一方、前述
した場合に基準フレームを変更しない場合、離れた位置
のフレーム同士の特徴量の差を見ることになるため、フ
レーム間の特徴の差分が蓄積され、基準フレームを変更
する場合に比べて分割点の数が多くなる可能性が高いと
いう特徴がある。

【００６１】再び構造解析処理の説明に戻り、基準フレ
ームおよび第１の選択フレームの画像の特徴量の差が閾
値以上と判定されることなく、図７に示す状態まで映像
ストリームの構造解析処理が進んだものとする。図７
は、基準フレームとしてＩＤが９３１のフレームが表示
されており、基準フレームと比較する第１の選択フレー
ムとしてＩＤが９６１のフレームが表示されている。

【００６２】構造解析ソフト２０７は、図４のステップ
Ｓ４０４において２つのフレームを比較し、ステップＳ
４０５で２つのフレームの特徴量の差が所定の閾値以上
であると判定したものとする。すなわち、図７に示すよ
うに、基準フレームは「花」の画像であるが、第１の選
択フレームは「レポーター」の画像であり、これら２つ
の画像は大きく異なっていることがわかる。

【００６３】続いて、構造解析ソフト２０７は、選択フ
レーム表示部３０２ｂに表示されている第１の選択フレ
ームの位置を記憶し（Ｓ４０７）、比較した２つのフレ
ームの間に位置するいずれのフレームの画像の特徴量が
基準フレームの画像の特徴量と大きく異なるかをチェッ
クする詳細比較モード処理を実行する。換言すれば、構
造解析ソフト２０７は、詳細比較モード処理を実行する
ことにより、図７に示す第１の選択フレームのようなフ
レームが最初に登場する場所を探し出し、映像ストリー
ムを分割することが可能な分割点を特定する。

【００６４】構造解析ソフト２０７は、位置を記憶した
第１の選択フレーム（ＩＤ：９６１）より前であって、
基準フレーム（ＩＤ：９３１）以降のフレームを第１の
間隔より細かい第２の間隔（１フレーム）で選択し、選
択したフレームを基準フレームと比較する第２の選択フ
レームとして設定し、選択フレーム表示部３０２ｂに表
示すると共に、バー３０５に映像ストリーム中の該当す
る位置を示すフレーム位置表示ライン３０５ａを表示す
る（Ｓ４０８）。構造解析ソフト２０７は、基準フレー
ム以降に位置するフレームを順次第２の選択フレームと
して選択し、選択した第２の選択フレームおよび基準フ
レームを比較する。

【００６５】そして、構造解析ソフト２０７は、基準フ
レームおよび第２の選択フレームの画像を比較し（Ｓ４
０９）、基準フレームおよび第２の選択フレームの画像
の特徴量の差が所定の閾値以上であるか否かを判定する
（Ｓ４１０）。

【００６６】ステップＳ４１０において基準フレームお
よび第２の選択フレームの画像の特徴量の差が所定の閾
値以上ではないと判定した場合、構造解析ソフト２０７
は、基準フレームおよびステップＳ４０７で位置を記憶
した第１の選択フレームの間のフレームを全て処理した
か否かを判定する（Ｓ４１２）。つまり、構造解析ソフ
ト２０７は、基準フレームおよび第１の選択フレームの
間のフレームであって、第２の間隔に該当するフレーム
の全てについて基準フレームと比較する処理が終了した
か否かを判定する。

【００６７】ステップＳ４１２において基準フレームお
よび第１の選択フレームの間のフレームを全て処理して
いないと判定した場合、基準フレームに該当するグラフ
表示部３０４の領域に、第２の選択フレームと比較して
得た特徴量の差を折れ線グラフで記録する（Ｓ４１
３）。

【００６８】そして、構造解析ソフト２０７はステップ
Ｓ４０８に戻り、第２の間隔でフレームを選択して第２
の選択フレームとして設定し、選択フレーム表示部３０
２ｂに表示すると共に、バー３０５に映像ストリーム中
の該当する位置を示すフレーム位置表示ライン３０５ａ
を表示する。

【００６９】図８は、前述したステップＳ４０８〜ステ
ップＳ４１３の処理を複数回行った後において、構造解
析過程表示ウインドウ３０１に表示された解析過程の一
例を示す説明図である。ノーマル比較モードの場合にお
いては、基準フレームおよび第１の選択フレームの比較
が行われるのみであるため、その際の基準フレームに対
応するグラフ表示部３０４の領域に表示される折れ線グ
ラフは直線となる（図８中の左側の３つのフレームに対
応するグラフを参照）。一方、詳細比較モードの場合、
基準フレームと複数の第２の選択フレームとの比較処理
が行われるため、図８に示すように、基準フレームに対
応するグラフ表示部３０４の領域には、比較処理を行っ
た第２の選択フレームの数に応じた点がプロットされ、
複数点からなる折れ線グラフが表示されることになる。
すなわち、基準フレーム（ＩＤ：９３１）と複数の第２
の選択フレーム（ＩＤ：９３２〜９３８）が順次比較さ
れた結果に基づいて、基準フレームの画像とそれらの選
択フレームの画像との特徴量の差がプロットされ、折れ
線グラフとして基準フレームに該当するグラフ表示部３
０４の領域に表示される。

【００７０】図９は、図４のステップＳ４０８〜ステッ
プＳ４１３の処理がさらに繰り返された後において、構
造解析過程表示ウインドウ３０１に表示された解析過程
の一例を示す説明図である。さらに複数の第２の選択フ
レームとの比較処理が行われた結果、基準フレームに対
応するグラフ表示部３０４の領域には、図８に示したも
のと比べて多くの点からなる折れ線グラフが表示されて
いる。図８および図９に示すように、基準フレームに対
応するグラフ表示部３０４の領域には、基準フレームお
よび第１の選択フレームの間に位置するフレームから選
択された第２の選択フレームと基準フレームとの比較結
果が全て表示されることになる。すなわち、構造解析ソ
フト３０７は、第２の選択フレームとの比較処理の回数
に応じて、基準フレームに対応するグラフ表示部３０４
の領域に表示する折れ線グラフの点同士の間隔を調整し
つつ、折れ線グラフの表示処理を行う。

【００７１】再び図４のステップＳ４０８に戻り、第２
の選択フレームとして図１０に示すフレーム（ＩＤ：９
５１）が選択されたものとする。図１０において、基準
フレームは「花」の画像であり、第２の選択フレームは
「レポーター」の画像を示している。構造解析ソフト２
０７は、基準フレームおよび第２の選択フレームの画像
を比較し（Ｓ４０９）、基準フレームおよび第２の選択
フレームの画像の特徴量の差が所定の閾値以上であるか
否かを判定する（Ｓ４１０）。

【００７２】ステップＳ４１０において基準フレームお
よび第２の選択フレームの画像の特徴量の差が所定の閾
値以上であると判定した場合、構造解析ソフト２０７
は、第２の選択フレームの位置を映像ストリームの分割
点として記憶し（Ｓ４１１）、基準フレームの画像およ
び第２の選択フレームの画像の特徴量の差をグラフに記
録する（Ｓ４０６）。

【００７３】その後、構造解析ソフト２０７は、ステッ
プＳ４０１に戻り、再びノーマル比較モードによる構造
解析処理を実行する。すなわち、ステップＳ４１１で位
置を記憶した第２の選択フレームを基準フレームとして
設定し、設定した基準フレームが映像ストリーム中の最
後のフレームでない場合（Ｓ４０１ａ）、設定した基準
フレームから第１の間隔分（３０フレーム分）進めた位
置にフレームが存在するか否かを判定する（Ｓ４０
２）。第１の間隔分進めた位置にフレームが存在する場
合、構造解析ソフト２０７は、該当するフレームを基準
フレームと比較する第１の選択フレームとして設定し
（Ｓ４０３）、第１の間隔分進めた位置にフレームが存
在しない場合、構造解析ソフト２０７は、最後のフレー
ムを第１の選択フレームとして設定する（Ｓ４１５）。

【００７４】図１１は、ステップＳ４１１を経由してス
テップＳ４０３（またはステップＳ４１５）まで進んだ
後において、構造解析過程表示ウインドウ３０１に表示
されている解析過程の一例を示す説明図である。構造解
析ソフト２０７は、ステップＳ４０６においてステップ
Ｓ４１１で位置を記憶した第２の選択フレームおよび代
表フレームの画像の特徴量の差をグラフに記録すると共
に、映像ストリームを分割可能な分割点であることを示
す分割線３０４ｂをグラフ表示部３０４中に表示する。
また、構造解析ソフト２０７は、映像ストリーム全体の
どの位置に分割点が位置しているかを明らかにするた
め、ステップＳ４１１で記憶したフレームに該当するバ
ー３０５中の位置に分割フレーム位置表示ライン３０５
ｂを表示する。

【００７５】なお、図４のステップＳ４１２において基
準フレームおよび第１の選択フレームとの間のフレーム
を全て処理したと判定した場合、構造解析ソフト２０７
は、ステップＳ４０７において位置を記憶した第１の選
択フレームを映像ストリームの分割点として記憶し（Ｓ
４１４）、基準フレームの画像および第１の選択フレー
ムの画像の特徴量の差をグラフに記録した後（Ｓ４０
６）、ステップＳ４０１に戻る。第１の選択フレームか
第２の選択フレームであるかという違いがあるものの、
この場合においても図１１を用いて説明した処理と同様
の処理が行われる。

【００７６】図１２は、図４のステップＳ４０１ａにお
いて、ステップＳ４０１で設定した基準フレームが最後
のフレームであると判定され、構造解析処理が終了した
場合に、構造解析過程表示ウインドウ３０１に表示され
ている解析過程の一例を示す説明図である。図１２にお
いて注目すべき点はバー３０５である。バー３０５に
は、比較処理に用いられた全てのフレームの位置に合わ
せてフレーム位置表示ライン３０５ａが表示されている
ため、ユーザはバー３０５から解析処理の進度および解
析処理が終了したことを理解することができる。また、
バー３０５中に分割フレーム位置表示ライン３０５ｂが
表示されるため、ユーザは構造解析処理が行われた映像
ストリームのどの辺りに分割点が位置するのかを容易に
理解することができる。さらに、分割フレーム位置表示
ライン３０５ｂの間に位置するフレームについて、ユー
ザは特徴量の差が少ない連続するフレームの集合と認識
することができる。構造解析ソフト２０７は、映像スト
リームの中からこの特徴量の差が少ない連続するフレー
ムの集合を抽出し、映像フレームを任意の連続するフレ
ーム単位に分割可能にするものである。

【００７７】また、構造解析ソフト２０７は、図４のフ
ローチャートを用いて説明した解析処理の過程を全て記
録している。ユーザは、解析処理の終了後、開始ボタン
３１０をクリックすることにより、解析処理の過程を何
度でも再現することができる。この際、ユーザは、再現
速度調整部３０８で再現速度を調整することにより、好
みの速度で解析処理の過程を再現することができる。

【００７８】ここで、解析処理の過程を記録しておき、
解析処理の過程を再現可能にすることによって以下のよ
うな効果が得られる。つまり、実際に解析処理を行うわ
けではなく、記録しておいた解析処理の過程を再現する
ため、解析に要する時間を省くことができ、上述したよ
うに好みの速度で解析処理の過程を再現することができ
る。

【００７９】また、構造解析ソフト２０７によって決定
された映像ストリームの分割点は、各フレームの画像の
特徴量という物理的な観点に基づいて決定されるもので
ある。したがって、例えば、背景がめまぐるしく変化す
る映像情報にあっては、変化する背景に応じて多くの分
割点が設定されることが予想される。換言すれば、この
分割点は、実際に必要とされる意味のある任意の連続す
るフレーム単位に映像ストリームを分割するための論理
的な分割点を示しているとは限らない。そのため、解析
処理の過程を再現することにより、ユーザが意図する分
割点が得られているかをチェックすることができるた
め、分割点の修正や変更を簡単に行うことができる。特
に、分割点の前後に当たる２つのフレームが構造解析過
程表示ウインドウ３０１中の比較フレーム表示部３０２
に表示されると共に、特徴量の差がグラフ表示部３０４
に折れ線グラフで表示されるため、どのような解析処理
がなされて分割点が決定されたかを容易に理解すること
ができ、分割点の修正や変更を簡単に行うことができ
る。

【００８０】なお、実際に映像ストリームの構造を解析
する処理の実行中にあっても、比較される２つのフレー
ムが構造解析過程表示ウインドウ３０１中の比較フレー
ム表示部３０２に表示されると共に、特徴量の差がグラ
フ表示部３０４に折れ線グラフで表示されるため、どの
ような解析処理がなされているかを容易に把握すること
ができ、解析中にあっても一旦処理を中断し、分割点の
修正や変更を簡単に行うことができる。

【００８１】（３）映像インデックス情報 つぎに、前述した構造解析ソフト２０７による映像スト
リームの構造解析結果に基づいて生成される映像インデ
ックス情報について説明する。映像インデックス情報
は、映像情報を構造化して管理すると共に、映像情報の
内部の論理構造を表現するために用いられるものであ
る。映像インデックス情報は、構造解析ソフト２０７に
よる解析結果に基づいて、任意のタイミングで図２に示
したインデックス生成ソフト２０８によって生成される
ものとする。以下では、映像インデックス情報につい
て、 映像インデックス情報のデータ構造 映像インデックス情報の生成方法 の順で説明する。

【００８２】 映像インデックス情報のデータ構造 図１３は、映像インデックス情報のデータ構造を示す説
明図である。映像インデックス情報５００は、図１３に
示すように、複数の構造要素オブジェクトを階層化した
構造を有しており、この映像インデックス情報５００そ
のものを一つのデータ・ファイル（インデックス・ファ
イル）として取り扱うことができる。したがって、映像
インデックス情報５００は、映像情報と一体で保存する
ことも可能であり、また映像情報と分離して保存するこ
とも可能である。

【００８３】映像インデックス情報５００の構造要素オ
ブジェクトは、ツリー情報５０１と、フレーム情報５０
２（５０２Ａ〜５０２Ｆ）と、サウンド情報５０３（５
０３Ａ〜５０３Ｆ）と、セグメント情報５０４（５０４
Ａ〜５０４Ｆ）と、パッケージ情報５０５（５０５Ａ〜
５０５Ｃ）と、から構成される。

【００８４】ツリー情報５０１は、１つの映像インデッ
クス情報５００のツリー構造の最上位に設定される情報
であり、１つの映像情報に関する全ての構造要素オブジ
ェクトがこの下位の層に配置されている。換言すれば、
１つの映像インデックス情報５００の入口を宣言する情
報である。また、このツリー情報５０１の下位には、映
像情報（音声および動画）全体を表す１つのパッケージ
情報５０５Ａが配置されており、このパッケージ情報５
０５Ａの下には、前述した映像ストリームの構造解析処
理によって構造が解析された映像情報全体を表す１つの
セグメント情報５０４Ａが配置されている。

【００８５】フレーム情報５０２は、映像情報中の任意
の連続するフレーム（例えば、構造解析ソフト２０７に
よって映像ストリームから抽出された特徴量の差が少な
い連続するフレームの集合）を１単位の情報として管理
するための情報であり、ツリー構造中のノードＩＤ、そ
のフレーム情報で管理する連続するフレームの範囲、お
よび映像情報における位置を示すポインタを有してい
る。

【００８６】サウンド情報５０３は、映像情報中の任意
の範囲に対応した音声を１単位の情報として管理するた
めの情報であり、ツリー構造中のノードＩＤ、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。なお、前述した映
像ストリームの構造解析処理において音声については触
れなかったが、この音声は映像情報に付随しているもの
である。

【００８７】セグメント情報５０４は、１単位の情報で
あるフレーム情報５０２およびサウンド情報５０３を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報５０４が管理する
フレーム情報５０２およびサウンド情報５０３と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報５０４を複数まとめて管理するためのパッケ
ージ情報５０５を管理するための情報である。なお、セ
グメント情報５０４は、ツリー構造中のノードＩＤ、そ
のセグメント情報５０４で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報５０４が属する上位のパッ
ケージ情報５０５へのポインタを有している。

【００８８】図１３において、セグメント情報５０４Ａ
は、フレーム情報５０２Ａ、サウンド情報５０３Ａおよ
びパッケージ情報５０５Ｂを管理するための情報であ
り、セグメント情報５０４ＡのノードＩＤと、フレーム
情報５０２Ａ・サウンド情報５０３Ａ・パッケージ情報
５０５Ｂを特定するための特定情報と、そのセグメント
情報５０４Ａが属する上位のパッケージ情報５０５Ａへ
のポインタとを有している。

【００８９】パッケージ情報５０５は、セグメント情報
５０４を複数まとめて管理するための情報であり、ツリ
ー構造中のノードＩＤ、そのパッケージ情報５０５で管
理するセグメント情報５０４のリスト、および、そのパ
ッケージ情報５０５が属する上位のセグメント情報５０
４へのポインタを有している。

【００９０】例えば、図１３において、パッケージ情報
５０５Ｂは、３つのセグメント情報５０４Ｂ〜５０４Ｄ
をまとめて管理するための情報であり、ツリー構造中の
ノードＩＤ、そのパッケージ情報５０５Ｂで管理するセ
グメント情報５０４Ｂ〜５０４Ｃのリスト、および、そ
のパッケージ情報５０５Ｂが属する上位のセグメント情
報５０４Ａへのポインタを有している。

【００９１】なお、上記の如く、映像インデックス情報
５００は、各構造要素オブジェクトからなるツリー構造
において、１つのセグメント情報５０４の下位に、フレ
ーム情報５０２およびサウンド情報５０３に加えてパッ
ケージ情報５０５を配置することができる。

【００９２】さらに映像インデックス情報５００は、ツ
リー構造中に任意の属性オブジェクトを配置することが
可能であり、この属性オブジェクトを用いて、上記構造
要素オブジェクトに対応させて必要なデータを保持する
ことができる。なお、この属性オブジェクトとして、各
構造要素オブジェクトが直接または間接的に管理するフ
レームまたは／音声の内容を検索するための検索情報を
設定することにより、映像インデックス情報によって構
造化された映像情報の詳細な検索を容易に行うことが可
能となる。

【００９３】 映像インデックス情報の生成処理 つぎに、前述したデータ構造を有する映像インデックス
情報５００を生成する処理の一例を簡単に説明する。以
下の処理は、インデックス生成ソフト２０８が行う処理
として説明するが、ユーザがインデックス生成ソフト２
０８を操作して行うこともできる。

【００９４】映像インデックス情報５００におけるセグ
メント情報５０４は、分割された映像（動画および音
声）のフレーム連続および音声連続の塊を表し、構造化
された映像の１単位の情報として定義できる。１つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、１つのセグメント情報５０４Ａ（図１３参
照）として存在する。セグメント情報５０４Ａ以外の他
のセグメント情報５０４は、親となるセグメント情報５
０４を分割した一部分である。例えば、セグメント情報
５０４Ｂ〜５０４Ｄはそれぞれ親となるセグメント情報
５０４Ａを分割した一部分であり、セグメント情報５０
４Ｅ、５０４Ｆはそれぞれ親となるセグメント情報５０
４Ｃを分割した一部分である。

【００９５】また、親となるセグメント情報５０４（例
えば、セグメント情報５０４Ｂ）を複数に分割した場
合、その分割された一部分であるセグメント情報５０４
（ここでは、５０４Ｅ、５０４Ｆ）同士をまとめて管理
するものがパッケージ情報５０５であるということがで
きる。

【００９６】インデックス生成ソフト２０８は、構造解
析ソフト２０７によって特定された映像ストリームの分
割点に基づいて、前述した性質を有するセグメント情報
５０４やパッケージ情報等を生成していく。

【００９７】図１４（ａ）〜図１４（ｃ）は、前述した
構造解析ソフト２０７を用いて映像情報を段階的に２回
分割する分割点を特定した場合において、インデックス
生成ソフト２０８によって生成されるセグメント情報５
０４とパッケージ情報５０５を示す説明図である。な
お、図１４の右側はインデックス生成ソフト２０８によ
って生成されるセグメント情報５０４およびパッケージ
情報５０５を示し、左側は構造解析ソフト２０７によっ
て構造解析された映像情報の状態をフレームの連続で示
したものである。ただし、この映像情報の状態は、説明
を分かりやすくするために映像インデックス情報５００
中のフレーム情報５０２およびサウンド情報５０３を抽
象化（イメージ化）して表したものであり、実際に生の
映像情報（オリジナルの映像情報）の状態を示している
ものではない。

【００９８】まず、図１４（ａ）に示すように、インデ
ックス生成ソフト２０８は、構造解析ソフト２０７によ
って解析された映像情報の映像ストリーム全体に対応し
て、ツリー情報５０１，１つのパッケージ情報５０５お
よびセグメント情報５０４を生成する。すなわち、イン
デックス生成ソフト２０８は、１つの映像インデックス
情報５００の入口を宣言するツリー情報５０１を生成
し、そのツリー情報５０１の下位に、映像ストリーム全
体を表す１つのパッケージ情報５０５Ａを生成する。そ
して、このパッケージ情報５０５Ａの下位に、映像スト
リーム全体を表す１つのセグメント情報５０４Ａを生成
する。

【００９９】続いて、インデックス生成ソフト２０８
は、図１４（ａ）の左側に示すように、構造解析ソフト
２０７によって決定された映像ストリームの分割点に従
い、映像ストリームを連続するフレームの集合に分割す
る。

【０１００】図１４（ｂ）の左側には、構造解析ソフト
２０７によって決定された分割点に基づいて映像情報の
映像ストリーム全体を３つに分割した例が示されてお
り、インデックス生成ソフト２０８は、これに対応し
て、セグメント情報５０４Ａの下位に３つのセグメント
情報５０４Ｂ〜５０４Ｄを生成すると共に、これらの３
つのセグメント情報５０４Ｂ〜５０４Ｄをまとめるパッ
ケージ情報５０５Ｂを生成する。なお、インデックス生
成ソフト２０８は、セグメント情報５０４Ａおよびパッ
ケージ情報５０５Ｂを関連付け、パッケージ情報５０５
Ｂがセグメント情報５０４Ａによって管理されるように
する。

【０１０１】また、構造解析ソフト２０７を用いて詳細
にまたは別の視点から映像ストリームの構造を解析する
ことにより、分割された映像情報を例えば図１４（ｂ）
の左側の矢印で示す部分でさらに分割することも可能で
ある。

【０１０２】このような構造解析処理が行われた場合、
インデックス生成ソフト２０８は、図１４（ｃ）の右側
に示すように、各セグメント情報５０４Ｂ〜５０４Ｄに
それぞれ関連付けてパッケージ情報５０５Ｃ〜５０５Ｅ
を生成し、分割したセグメント情報５０４Ｅおよび５０
４Ｆをパッケージ情報５０５Ｃに関連付け、分割したセ
グメント情報５０４Ｇおよび５０４Ｈをパッケージ情報
５０５Ｄに関連付け、分割したセグメント情報５０４Ｉ
および５０４Ｊをパッケージ情報５０５Ｅに関連付け
る。

【０１０３】このようにして生成される映像インデック
ス情報５００は、下位の構成要素オブジェクトにいくほ
ど細かく構造化されたものとなる。

【０１０４】また、図１５（ａ）〜図１５（ｃ）を参照
して、図１４に示した映像インデックス情報５００とは
異なる構造の映像インデックス情報の生成方法を簡単に
説明する。

【０１０５】ここでは、同一の映像情報の映像ストリー
ムについて、構造解析ソフト２０７を用いて異なる視点
で構造解析処理を２回行い、図１５（ａ）の左側に示す
ように１つの解析結果から映像ストリーム全体を３つに
分割する分割点が得られ、図１５（ｂ）の左側に示すよ
うにもう１つの解析結果から映像ストリーム全体を２つ
に分割する分割点が得られたものとする。

【０１０６】インデックス生成ソフト２０８は、図１５
（ａ）に示すように、映像情報全体を管理するツリー情
報５０１，パッケージ情報５０５Ａおよびセグメント情
報５０４Ａを生成する。そして、分割点によって３つに
分割される映像情報を管理するための３つのセグメント
情報５０４Ｂ〜５０４Ｄを生成すると共に、セグメント
情報５０４Ｂ〜５０４Ｄを管理するパッケージ情報５０
５Ｂを生成し、セグメント情報５０４Ａに関連付ける。
続いて、インデックス生成ソフト２０８は、図１４
（ｂ）に示すように、分割点によって２つに分割される
映像情報を管理するための２つのセグメント情報５０４
Ｅおよび５０４Ｆを生成すると共に、２つのセグメント
情報５０４Ｅおよび５０４Ｆを管理するパッケージ情報
５０５Ｃを生成する。その結果、図１４（ｃ）に示すよ
うに、セグメント情報５０４Ａの下位に２つのパッケー
ジ情報５０５Ｂおよび５０５Ｃが関連付けられた構造の
映像インデックス情報５００を得ることができる。

【０１０７】なお、各セグメント情報５０４に対応する
フレーム情報５０２およびサウンド情報５０３は、図１
３に示したように、対応するセグメント情報５０４の下
位に保持される。また、サウンド情報５０３は、構造解
析ソフト２０７によって解析された結果に基づいてイン
デックス生成ソフト２０８が映像情報を構造化する際
に、映像ストリームの分割点に合わせて分割されるもの
とする。

【０１０８】このように、インデックス生成ソフト２０
８は、構造解析ソフト２０７から得た解析結果に基づい
て、ツリー情報５０１，フレーム情報５０２，サウンド
情報５０３，セグメント情報５０４およびパッケージ情
報５０５という構造要素オブジェクトを生成して映像イ
ンデックス情報５００を生成し、映像情報を構造化す
る。生成された映像インデックス情報５００は、図１に
示した映像インデックス情報データベース１０２に保存
される。

【０１０９】（４）映像ストリームの構造表示 つぎに、インデックス生成ソフト２０８で生成された映
像インデックス情報５００に基づいて、映像情報の映像
ストリームの構造をどのようにして表示するかについて
説明する。

【０１１０】図１６は、映像インデックス情報５００に
基づいて表示した映像情報の構造の画面表示例を示す説
明図である。ユーザは、図２に示した構造表示ソフト２
０９を起動させ、図１に示した映像インデックス情報デ
ータベース１０２に保存されている映像インデックス情
報５００を指定することにより、所望の映像情報がどの
ような構造を有しているかを構造表示ウインドウ６０１
中に表示することができる。

【０１１１】構造表示ソフト２０９は、映像インデック
ス情報５００中の各構造要素オブジェクトが有している
構造要素オブジェクト情報同士の関係を示す情報を参照
し、図１６に示すようにツリー構造で各構造要素オブジ
ェクトを表示する。

【０１１２】図１６は、図１５に示したようにして生成
された映像インデックス情報５００を画面表示したもの
であって、映像インデックス情報５００によって管理さ
れる映像情報のファイル名または映像情報のタイトルを
表示するツリー情報５０１を上位に配置し、ツリー情報
５０１の下位に、パッケージ情報５０５Ａを配置し、パ
ッケージ情報５０５Ａの下位に、そのパッケージ情報５
０４Ａによって管理されているセグメント情報５０４Ａ
を配置する。さらに、セグメント情報５０４Ａの下位
に、そのセグメント情報５０４Ａによって管理されてい
るパッケージ情報５０５Ｂおよび５０５Ｃを配置すると
共に、パッケージ情報５０５Ｂの下位に、そのパッケー
ジ情報５０５Ｂによって管理されているセグメント情報
５０４Ｂ〜５０４Ｉが配置され、さらに、パッケージ情
報５０５Ｃの下位に、そのパッケージ情報５０５Ｃによ
って管理されているセグメント情報５０４Ｊ〜５０４Ｍ
が配置されている。

【０１１３】なお、図１３に示したフレーム情報５０２
およびサウンド情報５０３については、それらを管理す
るセグメント情報５０４と一体となって表示されている
ものとする。

【０１１４】また、セグメント情報５０４は、前述した
ように、そのセグメント情報が管理するフレームの集合
を用いて生成された他のセグメント情報を複数まとめて
管理するためのパッケージ情報を管理することが可能で
ある。図示は省略するが、そのようなセグメント情報５
０４がある場合、構造表示ソフト２０９は、そのセグメ
ント情報５０４の下位にパッケージ情報５０５を配置し
て表示すると共に、そのパッケージ情報５０５の下位
に、そのパッケージ情報によって管理されるセグメント
情報５０４を配置してツリー構造で表示する。

【０１１５】このように、各構成オブジェクトがツリー
構造によって階層化されて表示されるため、ユーザは、
映像情報の内部の論理構造を一目で把握することが可能
となる。

【０１１６】ここで、ユーザが、図１６に示すパッケー
ジ情報５０５Ｂをクリックしたものとする。構造表示ソ
フト２０９は、ユーザの入力操作に応じて、各セグメン
ト情報５０４が管理しているフレーム情報５０２を参照
し、各セグメント情報５０４が管理している連続するフ
レーム中の代表フレームをサムネイル表示する。図１７
は、パッケージ情報５０５Ｂが管理している各セグメン
ト情報５０４Ｂ〜５０４Ｉの代表フレーム６０２をそれ
ぞれ表示した例を示す説明図である。図１７には、各セ
グメント情報５０４が管理している連続するフレームの
先頭のフレームを代表フレーム６０２として表示した例
が示されているが、代表フレーム６０２として表示され
るフレームは各セグメント情報５０４が管理しているフ
レームの先頭フレームに限定されるものではない。すな
わち、セグメント情報５０４が管理しているフレームの
集合の中から代表フレームを任意に選択することがで
き、また、代表フレームは１つのみならず、２つ以上で
あっても良い。

【０１１７】また、構造表示ソフト２０９は、セグメン
ト情報５０４のいずれかがユーザによってクリックされ
た場合であっても、クリックされたセグメント情報５０
４の代表フレーム６０２を表示する。

【０１１８】このように、ユーザがパッケージ情報５０
５またはセグメント情報５０４をクリックすることによ
り、該当するセグメント５０４の代表フレーム６０２が
サムネイル表示されるため、実際の映像を再生するまで
もなく、各セグメント情報５０４の内容を把握すること
が可能となる。

【０１１９】加えて、パッケージ情報５０５を選択し、
図示しないメニューから再生を指定すると（またはダブ
ルクリックすると）、そのパッケージ情報５０５の下位
に表示されている全てのセグメント情報５０５が管理し
ている映像が再生される。また、セグメント情報５０４
を選択し、図示しないメニューから再生を指定すると
（またはダブルクリックすると）、そのセグメント情報
５０４が管理している映像が再生される。

【０１２０】なお、詳細な説明については省略するが、
各セグメント情報５０４は図１３に示したフレーム情報
５０２およびサウンド情報５０３を管理しているため、
ここにいう映像の再生には、フレーム情報５０２および
サウンド情報５０３の両方を利用した再生（音声を含む
場合）と、フレーム情報５０２のみを利用した再生（音
声を含まない場合）という２通りが考えられる。また、
サウンド情報５０３のみを利用することにより、パッケ
ージ５０５単位またはセグメント単位５０４で音声のみ
を再生することも可能である。

【０１２１】（５）映像情報の検索結果の表示 前述したように、セグメント情報５０４およびパッケー
ジ情報５０５を生成する際に、利用・活用する目的に応
じて所望の情報を属性オブジェクト（例えば，検索情
報）として生成し、後で検索等に利用することもでき
る。例えば、属性オブジェクトとしてテキスト情報を用
いて各構造要素オブジェクトの特徴となるキーワード等
を設定し、後にキーワードを用いて検索したり、分類し
たりすることができる。例えば、タイトルのみの検索だ
けでなく、映像情報の内容で、『〜が登場し、〜と喋っ
た映像』とか、『このシーンに似ているシーンがある映
像』、『この音楽が使われている映像』といったように
映像情報の内容の情報に及んだ検索を行うことができ
る。

【０１２２】図１６に示した構造表示ウインドウ６０１
上で、検索条件の入力や、検索処理の実行の指定、検索
結果の表示等を行うことができるようにすることも可能
である。この場合、映像インデックス情報５００に基づ
いて、検索条件に一致した映像情報の映像ストリームの
構造を検索結果として図１８に示すツリー構造で表示す
ることができる。図１８は、２つの映像情報が検索条件
に一致したことを示している。このように、検索結果の
映像情報の構造を表示することにすることにより、様々
な角度から検索結果を検証することができ、検索結果を
利用して編集作業等を行うことも可能となる。

【０１２３】加えて、検索条件に一致する映像情報の構
造をツリー構造で表示した際に、検索条件に一致する構
造要素オブジェクトを他の構成要素オブジェクトと区別
して表示することができる。図１８においては、検索条
件に一致したセグメント情報５０４に対し、一致マーク
６０３を表示することにしている。このように、検索条
件に一致する構成要素オブジェクトを区別して表示する
ことにより、検索条件に一致するシーンを直ちに再生す
ることが可能となる。

【０１２４】（６）応用例 つぎに、映像ストリームの構造表示に関する応用例を説
明する。図１９は、映像インデックス情報５００のデー
タ構造を示す説明図である。なお、図１３に示した映像
インデックス情報５００と共通の構成は同一の符号を付
して説明を省略する。

【０１２５】映像インデックス情報５００は、少なくと
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報５０４と、複数のセグメ
ント情報５０４をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報７０１
（７０１Ａ〜７０１Ｃ）と、を有している。

【０１２６】ビュー情報７０１は複数設定可能であり、
あらかじめ映像情報を構成する複数のセグメント情報５
０４の中から、所望の数のセグメント情報５０４を所望
の順序でたどるリンクリストを複数（ここでは、３つ）
生成し、各々のリンクリストに対応するビュー情報７０
１Ａ〜７０１Ｃとして設定する。

【０１２７】ビュー情報７０１は、１つの映像情報をあ
る視点で表現するために、セグメント情報５０４（また
はパッケージ情報５０５）のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報５０
４だけのリンクリスト、パッケージ情報５０５だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報５０４のリンクリ
ストと同一のものである。また、ビュー情報７０１の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。

【０１２８】次に、図２０を参照して、ビュー情報７０
１のリンクリストについて具体的に説明する。ビュー情
報７０１のリンクリストの設定の仕方によって、１つの
ビュー情報７０１で映像情報全体を特定の視点で観たダ
イジェスト（要約）を作成することもでき、または単純
に２つのセグメント情報５０４をつなぐことも自由であ
る。

【０１２９】図２０において、例えば、映像情報全体を
ある目的で分割したパッケージ情報Ｂのセグメント情報
をおおまかに再生する場合を例として、リンクリストに
ついて説明する。ここで、このパッケージ情報Ｂは３つ
のセグメント情報で構成されており、またパッケージ情
報Ｂの先頭部分のセグメント情報には、下位パッケージ
情報Ｅ、Ｆが存在する。

【０１３０】先ず、パッケージ情報Ｂのみを指定して単
純に再生すると、パッケージ情報Ｂ中の３つのセグメン
ト情報Ｂ１〜Ｂ３がそのまま再生される。ここで、リン
クリストとして「セグメント情報Ｅ１→Ｅ２→Ｂ２→Ｂ
３」を作成すると、図２０中の（１）に示す順序でセグ
メント情報が再生される。すなわち、セグメント情報Ｂ
１のうち、セグメント情報Ｆ１に相当する部分が再生さ
れないことと同じであり、セグメント情報Ｂ１がおおま
かに再生されたことになる。

【０１３１】このようにビュー情報７０１のリンクリス
トを作成することにより、所望の順序でセグメント情報
を指定することができる。

【０１３２】また、リンクリストを「セグメント情報Ｇ
１→Ｇ２→Ｇ３→Ｃ３→Ｄ１」として作成すると図２０
中の（２）で示す順序でセグメント情報が再生される。
リンクリストを「セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ
３→Ｉ１→Ｉ２」として作成すると図２０中の（３）で
示す順序でセグメント情報が再生される。

【０１３３】また、セグメント情報そのものを再生する
ことに代えて、各セグメント情報の代表フレーム（例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報）を再生するようにすると、さらにダイジェスト再生
（要約再生）を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図２０中の
（１）の場合、パッケージ情報Ｂは１時間ビデオを２０
分ずつの３つのセグメント情報Ｂ１〜Ｂ３に分け、セグ
メント情報Ｂ１を分けたパッケージ情報Ｅが５分ずつの
２つのセグメント情報Ｅ１、Ｅ２で構成され、パッケー
ジ情報Ｆが１０分のセグメント情報Ｆ１で構成されてい
る場合、それぞれのセグメント情報から各１分ずづのフ
レーム情報を再生することで、内容的に１／５、１／
５、１／２０、１／２０の粗さとなり、ダイジェストの
意図を反映することができる。

【０１３４】なお、図２０では、リンクリストは、セグ
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして「セグメント情報Ｅ２→Ｇ３→
Ｈ２→Ｉ２→Ｄ２」のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。

【０１３５】また、予め映像情報の内容に応じて、例え
ば、暴力シーンを除いたセグメント情報のみをリンクし
たリンクリストを有するビュー情報や、激写シーンのセ
グメント情報のみをリンクしたリンクリストを有するビ
ュー情報等のように、利用・活用する目的に応じたビュ
ー情報を複数設定しておき、必要に応じて所望のビュー
情報を選択することにより、１つの映像情報（コンテン
ツ）を多目的な立場から観ることが可能となる。

【０１３６】構造表示ソフト２０９は、図１６に示した
ように映像インデックス情報５００を構成する構造要素
オブジェクトをツリー構造で表示する際に、前述した機
能を有するビュー情報７０１を併せて表示することがで
きる。その結果、ユーザが構造表示ウインドウ６０１中
に表示されたビュー情報７０１を選択することにより、
図２０を用いて説明したような方法で映像情報を再生す
ることが可能となる。すなわち、リンクリストを有する
ビュー情報７０１を構造表示ウインドウ６０１中の構造
要素オブジェクトとして表示することにより、映像情報
の再現方法の自由度を高めて、映像情報を効率的・効果
的に利用・活用できるユーザ・インターフェースを提供
することができるようになる。

【０１３７】このように、本発明の実施の形態によれ
ば、図４で説明した映像ストリームの構造解析処理によ
り、映像情報を解析する際の作業者への負担を軽減する
ことが可能となる。

【０１３８】また、映像ストリームの構造を解析する際
に、構造解析過程表示ウインドウ３０１を表示して映像
情報の解析過程を表示するため、映像情報の解析過程を
視覚的に確認することができると共に、解析過程を検証
することが可能となり、映像情報の解析処理を円滑・簡
単・正確に行うことができる。

【０１３９】さらに、映像ストリームの解析結果に基づ
いて生成された映像インデックス情報を利用して、映像
情報の内部の論理構造をツリー構造で表現可能としたこ
とにより、映像情報内部の論理構造を容易に把握するこ
とができるようになる。

【０１４０】なお、図２に示したように、本発明の実施
の形態にあっては、映像ストリームの構造解析，映像イ
ンデックス情報の生成および映像インデックス情報に基
づく映像ストリームの構造表示を構造解析ソフト２０
７，インデックス生成ソフト２０８および構造表示ソフ
ト２０９という３つのアプリケーションプログラムで実
現することを前提として説明した。しかし、これらのア
プリケーションプログラムはあくまでも一例であって、
本発明を実現するためのアプリケーションプログラムを
限定することを意図したものではない。

【０１４１】また、上記アプリケーションプログラム
は、フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶ
Ｄ，メモリカード等のコンピュータ読み取り可能な記録
媒体に格納して提供することができる。また、図１およ
び図２に示したコンピュータ１０３に対し、ネットワー
クを介して上記アプリケーションプログラムを提供する
ことも可能である。コンピュータ１０３は、このように
して提供されるアプリケーションプログラムを読み込ん
で実行することにより、前述した各種の処理を実現す
る。

【０１４２】

【０１４３】

【０１４４】

【発明の効果】 以上説明したように、本発明の映像スト
リームの構造解析過程表示方法（請求項１）によれば、
映像ストリーム中の任意のフレームを基準フレームとし
て設定し、設定した基準フレームの画像を表示し、映像
ストリームの時系列において、設定した基準フレームか
ら第１の間隔分進めた位置にフレームが存在するか否か
を判定し、フレームが存在する場合に該当するフレーム
を選択して第１の選択フレームとして設定し、設定した
第１の選択フレームの画像を基準フレームの画像と共に
表示し、フレームが存在しない場合に最後のフレームを
第１のフレームとして設定し、設定した第１の選択フレ
ームの画像を基準フレームの画像と共に表示し、第１の
選択フレームおよび基準フレームを比較し、第１の選択
フレームおよび基準フレームの画像の特徴量の差が所定
の閾値以上の場合に第１の選択フレームの位置を記憶
し、閾値以上でない場合に第１の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示して、
第１の選択フレームを選択する処理に戻り、第１の選択
フレームの位置を記憶した場合に、記憶された第１の選
択フレームより前に第１の選択フレームとして設定され
たフレーム以降のフレームを第１の間隔より細かい第２
の間隔で順次選択し、選択したフレームを第２の選択フ
レームとして設定し、設定した第２の選択フレームの画
像を現在表示している第１の選択フレームの画像に代え
て表示し、第２の選択フレームおよび基準フレームを比
較し、第２の選択フレームおよび基準フレームの画像の
特徴量の差が所定の閾値以上の場合に、第２の選択フレ
ームの位置を記憶し、閾値以上でない場合に、第２の選
択フレームを選択する処理に戻り、第２の選択フレーム
の位置を記憶した場合に、第２の選択フレームを基準フ
レームとして設定し、設定した基準フレームの画像を現
在表示している基準フレームの画像に代えて表示し、新
たに基準フレームが設定された場合に、映像ストリーム
中において、設定した基準フレームから第１の間隔分進
めた位置にフレームが存在するか否かを判定し、フレー
ムが存在する場合に第１の選択フレームを選択する処理
に戻り、フレームが存在しない場合に最後のフレームを
第１の選択フレームとし、第１の選択フレームを設定す
る処理に戻り、基準フレームが最後のフレームであった
場合に処理を終了すると共に、上記処理の過程におい
て、基準フレームと第１の選択フレームおよび第２の選
択フレームとの特徴量の差を順次プロットし、映像スト
リーム中の各フレームの特徴量の変化をグラフで表示す
るため、映像情報の解析過程を視覚的に確認することが
できると共に、解析過程を容易に検証することができる
ことから、映像情報の解析処理を円滑・簡単・正確に行
うことが可能となる。

【０１４５】また、本発明の映像ストリームの構造解析
過程表示方法（請求項２）によれば、映像ストリーム中
の任意のフレームを基準フレームとして設定し、設定し
た基準フレームの画像を表示し、映像ストリームの時系
列において、基準フレーム以降のフレームを第１の間隔
で順次選択し、選択したフレームを第１の選択フレーム
として設定し、設定した第１の選択フレームの画像を基
準フレームの画像と共に表示し、第１の選択フレームお
よび基準フレームを比較し、第１の選択フレームおよび
基準フレームの画像の特徴量の差が所定の閾値以上の場
合に第１の選択フレームの位置を記憶し、閾値以上でな
い場合に第１の選択フレームを選択する処理に戻り、第
１の選択フレームの位置を記憶した場合に、記憶された
第１の選択フレームより前に第１の選択フレームとして
設定されたフレーム以降のフレームを第１の間隔より細
かい第２の間隔で順次選択し、選択したフレームを第２
の選択フレームとして設定し、設定した第２の選択フレ
ームの画像を現在表示している第１の選択フレームの画
像に代えて表示し、第２の選択フレームおよび基準フレ
ームを比較し、第２の選択フレームおよび基準フレーム
の画像の特徴量の差が所定の閾値以上の場合に第２の選
択フレームの位置を記憶し、閾値以上でない場合に第２
の選択フレームを選択する処理に戻り、第２の選択フレ
ームの位置を記憶した場合に、第２の選択フレームを基
準フレームとして設定し、設定した基準フレームの画像
を現在表示している基準フレームの画像に代えて表示
し、新たに基準フレームが設定された場合に、映像スト
リーム中において、設定した基準フレームから第１の間
隔分進めた位置にフレームが存在するか否かを判定し、
フレームが存在する場合に第１の選択フレームを選択す
る処理に戻り、フレームが存在しない場合に最後のフレ
ームを第１の選択フレームとし、第１の選択フレームを
設定する処理に戻り、基準フレームが最後のフレームで
あった場合に処理を終了すると共に、上記処理の過程に
おいて、基準フレームと第１の選択フレームおよび第２
の選択フレームとの特徴量の差を順次プロットし、映像
ストリーム中の各フレームの特徴量の変化をグラフで表
示するため、映像情報の解析過程を視覚的に確認するこ
とができると共に、解析過程を容易に検証することがで
きることから、映像情報の解析処理を円滑・簡単・正確
に行うことが可能となる。

【０１４６】また、本発明の映像ストリームの構造解析
過程表示方法（請求項３）によれば、基準フレームに対
して閾値以上の特徴量を有する第２の選択フレームの位
置をグラフ中に表示するため、映像ストリームの分割点
の位置を容易に特定でき、どのような解析によって分割
点が決定されたのかを容易に知ることができる。

【０１４７】また、本発明の映像ストリームの構造解析
過程表示方法（請求項４）によれば、さらに、映像スト
リームを構成する各フレームの位置に対応させて、解析
処理の進行状況を示すグラフを表示すると共に、第１の
選択フレームまたは第２の選択フレームとして選択され
たフレームの位置および基準フレームに対して閾値以上
の特徴量を有する第２の選択フレームの位置をグラフ中
に表示するため、映像ストリーム全体に対する各フレー
ムの位置関係を容易に把握することができる。特に、閾
値以上の特徴量を有する第２の選択フレームの位置がグ
ラフ中に表示されるため、映像ストリームの分割点がど
の位置にあり、映像ストリームをいくつに分割できるの
かを容易に把握することができる。

【０１４８】また、本発明の映像ストリームの構造解析
過程表示方法（請求項５）によれば、さらに、解析過程
を記録し、記録した解析過程を任意のタイミングで再現
することを可能にしたため、ユーザが意図する分割点が
得られているかをチェックすることができ、分割点の修
正や変更を簡単に行うことができる。また、実際に解析
処理を再度行うわけではなく、記録しておいた解析処理
の過程を再現するため、解析に要する時間を省くことが
でき、好みの速度で解析処理の過程を再現することも可
能となる。

【０１４９】

【０１５０】

【０１５１】

【０１５２】

【０１５３】

【図面の簡単な説明】

【図１】本発明の実施の形態に係る映像ストリームの構
造解析過程表示方法を実現するためのシステムの一例を
示す概略構成図である。

【図２】図１のシステムを構成するコンピュータのブロ
ック構成図である。

【図３】本発明の実施の形態に係る映像ストリームの構
造解析処理において、解析処理の過程を表示するための
構造解析過程表示ウインドウの構成例を示す説明図であ
る。

【図４】本発明の実施の形態に係る映像ストリームの構
造解析処理を示すフローチャートである。

【図５】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。

【図６】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。

【図７】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。

【図８】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。

【図９】本発明の実施の形態に係る映像ストリームの構
造解析処理において、構造解析過程表示ウインドウに表
示される解析過程の一例を示す説明図である。

【図１０】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。

【図１１】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。

【図１２】本発明の実施の形態に係る映像ストリームの
構造解析処理において、構造解析過程表示ウインドウに
表示される解析過程の一例を示す説明図である。

【図１３】本発明の実施の形態に係る映像インデックス
情報のデータ構造を示す説明図である。

【図１４】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。

【図１５】本発明の実施の形態に係る映像インデックス
情報の生成処理を示す説明図である。

【図１６】本発明の実施の形態に係る映像インデックス
情報に基づいて表示した映像情報の構造の画面表示例を
示す説明図である。

【図１７】図１６に示すパッケージ情報が選択され、各
セグメント情報の代表フレームが表示された様子を示す
説明図である。

【図１８】本発明の実施の形態に係る映像インデックス
情報を用いて映像情報の検索処理が行われた際に、検索
結果として得た映像情報の構造を表示した様子を示す説
明図である。

【図１９】本発明の実施の形態に応用例として用いられ
る映像インデックス情報のデータ構造を示す説明図であ
る。

【図２０】図１９に示す映像インデックス情報中に設け
られたビュー情報のリンクリストを示す説明図である。

【符号の説明】

１０１ 映像情報ライブラリ １０２ 映像インデックス情報データベース １０３ コンピュータ ２０７ 構造解析ソフト ２０８ インデックス生成ソフト ２０９ 構造表示ソフト ３０１ 構造解析過程表示ウインドウ ３０２ 比較フレーム表示部 ３０２ａ 基準フレーム表示部 ３０２ｂ 選択フレーム表示部 ３０３ａ〜３０３ｃ フレーム表示部 ３０４ グラフ表示部 ３０４ａ 区切り線 ３０４ｂ 分割線 ３０５ バー ３０５ａ フレーム位置表示ライン ３０５ｂ 分割フレーム位置表示ライン ３０８ 再現速度調整部 ５００ 映像インデックス情報 ５０１ ツリー情報 ５０２ フレーム情報 ５０３ サウンド情報 ５０４ セグメント情報 ５０５ パッケージ情報 ６０１ 構造表示ウインドウ ６０２ 代表フレーム ６０３ 一致マーク

フロントページの続き (56)参考文献 特開 平８−214315（ＪＰ，Ａ) 特開 平５−334374（ＪＰ，Ａ) 特開 平８−227462（ＪＰ，Ａ) 特開 平６−209451（ＪＰ，Ａ) 特開 平３−52070（ＪＰ，Ａ) 特開2000−148796（ＪＰ，Ａ) 特開 平４−111181（ＪＰ，Ａ) 特開 平４−207878（ＪＰ，Ａ) 特開 平２−184181（ＪＰ，Ａ) 特開 平５−204990（ＪＰ，Ａ) ．Ｉｎｆｏｒｍｅｄａ：ＣＭＵディジ タルビデオライブラリプロジェクト，情 報処理，日本，1996年 ９月，Ｖｏｌ. 37 Ｎｏ．９，ｐｐ．841−847 認識技術を応用した対話型映像編集方 式の提案，電子情報通信学会論文誌，日 本，1992年 ２月，Ｖｏｌ．Ｊ75−Ｄ− ＩＩ Ｎｏ．２，ｐｐ．216−225 Ｅ89−33 動画像データベースハンド リングに関する検討，電子情報通信学会 技術研究報告，日本，1989年 ７月21 日，Ｖｏｌ．89 Ｎｏ．150，ｐｐ．49 −56 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/20 G06T 13/00 H04N 5/781

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 映像ストリームの構造を解析する解析過
   程を表示するための映像ストリームの構造解析過程表示
   方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
   として設定し、設定した基準フレームの画像を表示する
   第１の工程と、 前記映像ストリームの時系列において、前記設定した基
   準フレームから第１の間隔分進めた位置にフレームが存
   在するか否かを判定し、フレームが存在する場合に、該
   当するフレームを選択して第１の選択フレームとして設
   定し、設定した第１の選択フレームの画像を前記基準フ
   レームの画像と共に表示し、フレームが存在しない場合
   に、最後のフレームを第１のフレームとして設定し、設
   定した第１の選択フレームの画像を前記基準フレームの
   画像と共に表示する第２の工程と、 前記第１の選択フレームおよび基準フレームを比較し、
   前記第１の選択フレームおよび基準フレームの画像の特
   徴量の差が所定の閾値以上の場合に、前記第１の選択フ
   レームの位置を記憶し、閾値以上でない場合に、前記第
   １の選択フレームを前記基準フレームとして設定し、設
   定した基準フレームの画像を現在表示している基準フレ
   ームの画像に代えて表示して、前記第２の工程に戻る第
   ３の工程と、 前記第３の工程で前記第１の選択フレームの位置を記憶
   した場合に、前記記憶された第１の選択フレームより前
   に前記第２の工程で第１の選択フレームとして設定され
   たフレーム以降のフレームを前記第１の間隔より細かい
   第２の間隔で順次選択し、選択したフレームを第２の選
   択フレームとして設定し、設定した第２の選択フレーム
   の画像を現在表示している第１の選択フレームの画像に
   代えて表示する第４の工程と、 前記第２の選択フレームおよび基準フレームを比較し、
   前記第２の選択フレームおよび基準フレームの画像の特
   徴量の差が所定の閾値以上の場合に、前記第２の選択フ
   レームの位置を記憶し、閾値以上でない場合に、前記第
   ４の工程に戻る第５の工程と、 前記第５の工程で前記第２の選択フレームの位置を記憶
   した場合に、前記第２の選択フレームを前記基準フレー
   ムとして設定し、設定した基準フレームの画像を現在表
   示している基準フレームの画像に代えて表示する第６の
   工程と、 前記第６の工程で新たに基準フレームが設定された場合
   に、映像ストリーム中において、前記設定した基準フレ
   ームから前記第１の間隔分進めた位置にフレームが存在
   するか否かを判定し、フレームが存在する場合に、前記
   第２の工程に戻り、フレームが存在しない場合に、最後
   のフレームを前記第１の選択フレームとして前記第２の
   工程に戻る第７の工程と、 前記基準フレームが最後のフレームであった場合に、処
   理を終了する第８の工程と、を含み、 さらに、前記第３の工程および第５の工程で得た前記基
   準フレームと前記第１の選択フレームおよび第２の選択
   フレームとの特徴量の差を順次プロットし、前記映像ス
   トリーム中の各フレームの特徴量の変化をグラフで表示
   する第９の工程を含むことを特徴とする映像ストリーム
   の構造解析過程表示方法。
2. 【請求項２】 映像ストリームの構造を解析する解析過
   程を表示するための映像ストリームの構造解析過程表示
   方法であって、 前記映像ストリーム中の任意のフレームを基準フレーム
   として設定し、設定した基準フレームの画像を表示する
   第１の工程と、 前記映像ストリームの時系列において、前記基準フレー
   ム以降のフレームを第１の間隔で順次選択し、選択した
   フレームを第１の選択フレームとして設定し、設定した
   第１の選択フレームの画像を前記基準フレームの画像と
   共に表示する第２の工程と、 前記第１の選択フレームおよび基準フレームを比較し、
   前記第１の選択フレームおよび基準フレームの画像の特
   徴量の差が所定の閾値以上の場合に、前記第１の選択フ
   レームの位置を記憶し、閾値以上でない場合に、前記第
   ２の工程に戻る第３の工程と、 前記第３の工程で前記第１の選択フレームの位置を記憶
   した場合に、前記記憶された第１の選択フレームより前
   に前記第２の工程で第１の選択フレームとして設定され
   たフレーム以降のフレームを前記第１の間隔より細かい
   第２の間隔で順次選択し、選択したフレームを第２の選
   択フレームとして設定し、設定した第２の選択フレーム
   の画像を現在表示している第１の選択フレームの画像に
   代えて表示する第４の工程と、 前記第２の選択フレームおよび基準フレームを比較し、
   前記第２の選択フレームおよび基準フレームの画像の特
   徴量の差が所定の閾値以上の場合に、前記第２の選択フ
   レームの位置を記憶し、閾値以上でない場合に、前記第
   ４の工程に戻る第５の工程と、 前記第５の工程で前記第２の選択フレームの位置を記憶
   した場合に、前記第２の選択フレームを前記基準フレー
   ムとして設定し、設定した基準フレームの画像を現在表
   示している基準フレームの画像に代えて表示する第６の
   工程と、 前記第６の工程で新たに基準フレームが設定された場合
   に、映像ストリーム中において、前記設定した基準フレ
   ームから前記第１の間隔分進めた位置にフレームが存在
   するか否かを判定し、フレームが存在する場合に、前記
   第２の工程に戻り、フレームが存在しない場合に、最後
   のフレームを前記第１の選択フレームとして前記第２の
   工程に戻る第７の工程と、 前記基準フレームが最後のフレームであった場合に、処
   理を終了する第８の工程と、を含み、 さらに、前記第３の工程および第５の工程で得た前記基
   準フレームと前記第１の選択フレームおよび第２の選択
   フレームとの特徴量の差を順次プロットし、前記映像ス
   トリーム中の各フレームの特徴量の変化をグラフで表示
   する第９の工程を含むことを特徴とする映像ストリーム
   の構造解析過程表示方法。
3. 【請求項３】 前記第９の工程は、前記基準フレームに
   対して閾値以上の特徴量を有する第２の選択フレームの
   位置を前記グラフ中に表示することを特徴とする請求項
   １または２に記載の映像ストリームの構造解析過程表示
   方法。
4. 【請求項４】 さらに、前記映像ストリームを構成する
   各フレームの位置に対応させて、解析処理の進行状況を
   示すグラフを表示する第１０の工程を含み、 前記第１０の工程は、さらに、前記第１の選択フレーム
   または第２の選択フレームとして選択されたフレームの
   位置および前記基準フレームに対して閾値以上の特徴量
   を有する第２の選択フレームの位置を前記グラフ中に表
   示することを特徴とする請求項１〜３のいずれか一つに
   記載の映像ストリームの構造解析過程表示方法。
5. 【請求項５】 さらに、前記第１の工程から第１０の工
   程で実行された処理の過程を記録する第１１の工程と、 前記第１１の工程で記録した処理の過程を任意のタイミ
   ングで再現する第１２の工程と、 を含むことを特徴とする請求項１〜４のいずれか一つに
   記載の映像ストリームの構造解析過程表示方法。