JPH02113790A

JPH02113790A - 動画像検索方法

Info

Publication number: JPH02113790A
Application number: JP63268633A
Authority: JP
Inventors: Mitsuru Mera; 充目良
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-10-24
Filing date: 1988-10-24
Publication date: 1990-04-25

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、動画像情報の検索方法、具体的には、大量の
動画像情報、映像情報から必要な動画像情報を選択する
動画像データベースの検索方法に関するものである。

〔従来の技術〕

従来、画像情報の蓄積検索システムは静止画を中心とす
るものであったが、動画像をＭＷ検索するシステムとし
て、画像応答システムやビデオライブラリーの開発が進
められている。

これらの動画像データベースは、テレビ受像機と電話機
を端末として用い、センターと広帯域伝送路で個別に接
続し、利用者からの個別の要求に応じて動画像、音声情
報を検索するサービスを提供する。

この場合、検索は番組単位であり、あらかじめ配布され
た番組表をもとに番組の番号を指示することにより、該
当する動画像、音声の記憶されたビデオテープを選択し
、検索画像として利用者に送信する。

動画像の検索に関しては、静止画と同様、キーワード検
索を用いたり、内容による検索としては、物体の動きを
キーとして検索するシステムが知られている（電子情報
通信学会技術研究報告ＩＥ８８−４）。

〔発明が解決しようとする課題］しかしながら、従来の番組検索では、検索が会話的では
ないという問題があった。一方、キーワード検索では、
利用者側のキーワードと画像情報に付与されたキーワー
ドが一致しなければならない。しかしながら、画像情報
の場合は、文書からキーワードを抽出する場合と異なり
、動画像からキーへの変換が必要であるにもかかわらず
、画像情報の表現する内容を一意に表現することが困難
であるなめ、効率のよいキーワード検索ｌｊ−が非常に
むずかしいという欠点があった。

また、物体の動きなど、動画像情報の内容を直接利用し
た検索では、検索に際して、処理量が膨大であるため、
高速の会話型の検索が困難であるという欠点かあった。

本発明の目的は、多量の動画像情報から］］的の画像を
高速に効率よく検索する機能を実現することにある。

〔発明が解決しようとする課題〕

本発明の動画像情報を検索する方法は、各検索画像単位
毎に前記検索画像の特徴をあらわす動画像情報の部分を
シーンとして抽出し、前記シーンを集めたものをメニュ
ー画像として編集し、前記メニュー画像から目的の検索
画像を検索することを特徴とする。

また、本発明の動画像情報を検索する第２の方法は、各
検索画像単位毎に前記検索画像の特徴をあらわす動画像
情報の部分をシーンとして抽出し前記シーンを縮小し、
前記縮小画像を画面上に複数集めたものをメニュー画像
として編集し、前記メニュー画像から目的の検索画像を
検索することを特徴とする。

さらに、本発明の動画像情報を検索する第３の方法は、
各検索画像単位毎に前記検索画像の特徴をあらわす動画
像情報の部分をシーンとして抽出し、前記シーンを順次
選択して目的の検索画像を検索することを特徴とする。

〔作用〕

本発明の動画像情報検索方法について説明する。

動画像情報は、従来の数値データや文字データと異なり
、一つの動画像情報が多様な内容を表現でき、見る人に
よって意味付けが異なる。このため、ｍ純なキーワード
検索では検索効率が悪い。

−ツブ、人間の視覚の特性として、動画や静止画像を０
．２〜０３秒見れば内容が識別できるという特性が知ら
れている。そこで、本発明の動画像情報検索方法は、動
画像情報の入力時に被検索画像毎に、その検索画像の特
徴をあらわす部分を抽出し、検索シーンとして決定する
。前記検索シーンは、具体的には番組のタイ１〜ル画面
、ニュースの主題、ドラマのフライマックスなど、動画
像のダイジェストや予告編を作る作業と同等である。

本発明の動画像検索方法は、これらの検索シーンを時間
的、空間的、論理チャネルに集めた動画像情報を対象に
、検索者が会話的に画像検索を実行する。検索シーンは
、元の検索画像に比べれば非常に短時間の画像情報であ
るため、限られた時間に多量の画像を見ることができ、
高速で効率のよい動画像情報の内容検索が実現できるこ
とになる。

第１図（ａ）は本発明の第１の動画像情報検索方法の基
本構成を説明するための図である。３ａ。

３ｂは検索の対象となる検索画像である。２ａ２ｂは検
索のキーとなるシーンである。１ａは前記シーンを編集
したメニュー画像である。

検索画像３ａの入力時に、検索動画像の特徴をあらわす
部分をシーン２ａとして決定する。これを、各検索画像
（３ｂ・・）について行う。そして、検索時に、そのシ
ーンを時間軸方向に並へて動画像をメニュー画像１ａと
し、検索者はメニュー画像１ａを見て、検索の目的と一
致するジーンを捜ずことにより、目的の検索動画像が出
力される。

第１１１Ｊ（ｂ）は本発明の第２の動画像情報検索方法
の基本構成を説明する図である。２（・、２ｄ２ｅ、２
ｆは検索の対象となる検索画像の検索シーンである。１
ｂは前記検索動画像を編集したメニュー画像である。

本方法では、検索時に４つの検索シーンを縮小し１．１
画面」−に並へた動画像をメニュー画像１ｂとし、検索
者はメニュー画像１ｂを見て、検索の目的と一致するシ
ーンを捜すことにより、目的の検索動画像の検索が実現
される。本説明では４画面を＠集する場合について述べ
たが、画面の大きさを考慮しなから、９個、１６個のシ
ーンのように多数の検索シーンを同時に表示させること
も可能である。

第１図（ｃ）は本発明の第３の動画像情報検索方法の基
本構成を説明するための図である。２ｇ２ｈ、２ｉは検
索の対象となる検索画像の検索ジーンである８４は選択
部である。１ｃはメニュー画像である。

本方法ては、検索時にテレビジョン受像器のチャネルを
かえるように、ｉ！！釈部により、検索ジーンを要求に
応して切り替えて出力することによりメニュー画像１Ｃ
を構成し、検索者は検索シーンを順次切り替えながら、
検索のｌｊ的と一致するシーンを捜すことにより、目的
の検索動画像の検索か実現される。

前述の３つの方法とも、検索された検索シーンからもと
の検索画像全体を出力する。

本説明は、動画像について行ったが、音声ら同様の方法
ζ扱え、動画像と音声の同期出力（ｊ容易に実現される
。また、本説明では、１動画像情報から１つの連続した
検索シーンを抽出するとして説明したか、２つ以十の連
続していない部分をシーンとしても、本方法は利用でき
る。また、従来のキーワード検索などとの組合せでも利
用できる。

さらに、メニュー画像そのものを動画像の入力時に合成
し蓄積しておけば、より高速の検索を実行てきる。

〔実施例〕

以下、本発明の動画像検索方法を詳細に説明する。

？Ｒ２図は本発明の第１の動画像検出方法の実施例の全
体の構成図である。１０は入力装置、１１は検索ｔｆｆ
報蓄積装置、１２は画像Ｍ積装置、１３は動画像情報を
一時的に記憶するメモリ、１４は動画像復号器、１５は
モニタ、１６は入力装置１０と検索情報蓄積装置Ｆ　］
、　］と画像蓄積装置１２と動画像１１号器１４に接続
し、全体を制御する制御装置である。具体的には、１１
はランダムアクセスのできる磁気ディスク、１２は多量
の動画像を蓄積できる光ディスクやビデオテープを複数
用いて構成する。

第５図は、第２［４の検索情報蓄積装置１１上の動画像
情報の管理情報の一例の図である。２０は動画像情報を
一意に識別する識別子、２１は動画像情報の画像蓄積装
置１２上の物理的な格納位置、２２は検索シーンの格納
位置、２３はキーワード検索などに用いる属性値である
。

第１の動画像検索方法の動作を、第２図に基づいて詳細
に説明する。制御装置１６は入力装置］０の検索要求に
より、検索情報蓄積装置の格納順や、あらかじめ属性値
２３に対して行われたキーワード検索の結果順に動画の
管理情報を読み出す。

次に５制御装置Ｊ６は検索シーンの格納装Ｗ　２２に基
づいて、画像蓄積装置１２に検索シーンの出力を指示す
る。画像蓄積装置１２は指定された検索シーンの動画像
を順次メモリ１３に出力する。

平行して、制御装置１６は動画像復号装置１４にメニュ
ー画像の出力を指示する。動画像復号器１４は、制御装
置］６の指示に従い、検索シーンを順次、メモリ１３よ
り読み出し、動画像に復号してモニタ１５にメニュー画
像として送る。検索者が検索画像を入力装置１０に指示
すると５制御装置１６は制御装置１０の指示のタイミン
グに基づいて、画像復号装置】４に表示している検索シ
ーンを問い合わせ、その結果に従い、検索動画像の格納
位置２１を画像蓄積装置１２に送り、出力を指示する６
検索された動画像情報はメモリ］３及び画像復号装置１
４を通してモニタ１５に送られ、検索動画像情報の出力
が行われる。

第３図は本発明の第２の動画像検索方法の実施例の全体
の構成図である。１０は入力装置、１１は検索情報蓄積
装置、１２は画像蓄積装置、１３ａ、１３ｂ、ｉ’３ｃ
、ｉ３ｄは動画像情報を一時的に記憶するメモリ、１５
はモニタ、１．７ａ、１７ｂは選択装置、１８は複数の
入力動画像を縮小、合成する編集装置、１６は入力装置
１０と検索情報蓄積装置１１と画像蓄積装置１２と選択
装置１７ａ、］、７ｂと編集装置］８に接続し、全体を
制御する制御装置である。検索情報蓄積装置１１内のデ
ータは、第２図の場合と同じく第５図に示ず構成である
。

第２の動画像検索方法の動作を第３図に基づいて詳細に
説明する。制御装置１６は入力装置１０の検索要求によ
り、検索情報蓄積装置１１の格納順やあらかじめ属性値
２３に対して行われノごキーワード検索の結果順に、動
画の管理情報を読み出す。次に、制御装置１６は検索シ
ーンの格納位置２２に基づいて、画像蓄積装置１２に４
つの検索シーンの出力を指示する０画像蓄積装置１２は
指定された検索シーンの動画像を）１１ａ次選択装置】
７ａに送り、制御装置１６の指示に従い、選択装置１、
７　ａは４つのメモリ１３ａ、、］、３ｂ、］、３ｃ１
３ｄに検索シーンの動画像情報を一時的に蓄積させる。

平行して、制御装置１６は、編集装置１８にメニュー画
像の出力を指示する。編集装置１８は制御装置１６の指
示に従い、４つの検索シーンを同時にメモリ１．３ａ、
１３ｂ、１３ｃ、１３ｄより読み出し、４分の１の画像
に縮小し、１つの画面１−に合成して選択装置１７ｂを
経由してモニタ１５にメニュー画像として送る。検索者
が検索画像を入力装置１０に指示すると、制御装置ｊ６
は、制御装置１０からの４つの検索シーンのうちの１つ
を指示する番号に従い、検索動画像の格納位置２１を画
像蓄積装置１３に送り、出力を指示する。検索された動
画像情報は選択装置１７ａ１７１）を通して、モニタ１
５に送られ、検索動画像情報の出力が行われる。

本説明では４つの画像を編集してメニュー画像を合成し
たが、メモリと編集装置の入力を増やせば、より多数の
検索シーンを同時に検索できる。

第４図は本発明の第３の動画像検索方法の実施例の全体
の構成図である。１０は入力装置、１］は検索情報蓄積
装置、１２ａ、１．２ｂ、１２ｃは画像蓄積装置、ｉ３
ａ、１３ｂ、］、３ｃは動画像情報を一時的に記録する
メモリ、１７は選択装置、１５はモニタ、１６は入力装
置１０と検索情報蓄積装置１１と画像蓄積袋ｆｆ１２ａ
、１．２ｂ１、２　ｃと選択装置］７に接続し、全体を
制御する制御装置である。検索情報蓄積装置１１内のデ
ータは、第２図の場合と同じく第５図に示す構成である
。

第３の動画像検索方法の動作を第４図に基づいて詳細に
説明する。制御装置１６は入力装置１０の検索要求によ
り、検索情報蓄積装置ｌ】の格納順やあらかじめ属性値
２３に対して行われたキーワード検索の結果順に動画の
管理情報を読み出す。

次に、制御袋Ｗ１６は検索シーンの格納位置２２に基づ
いて、画像蓄積装置１．２ａ、１２ｂ、１２ｃに検索シ
ーンの出力を指示する。画像蓄積装置１．２　ａ　、　
　１．２　ｂ　、　　１２　ｃは指定された検索シーン
の動画像を対応するメモリ１．３ａ、］、３ｂ、］３Ｃ
に順次出力する。平行して、制御装置１６は、選択装置
］７にメモリのうちの一つの検索シーンをメニュー画像
として出力を指示する。選択装置１７は制御装置１６の
指示に従い、検索シーンを順次メモリ１３ａ、１３ｂ、
］、３ｃの１つより読み出し、モニタ１５にメニュー画
像として送る。

制御装置１６は検索者の指示に従い、検索シーンの切り
替えを選択袋ｆｆ１１７へ指示し、読み出すメモリを切
り替えることにより検索シーンをかえる。

検索者が検索画像を入力装置１０に指示すると、制御袋
Ｗ　］、、　６は、選択装置〕７が出力している検索シ
ーンに従い、検索動画像の格納位置２１を画像蓄積装置
１２ａ、１２ｂ、１２ｃの１つに送り、出力を指示する
。検索された動画像情報はメモリ１３ａ、１３ｂ、１３
ｃ、選択装置１７を通して、モニタ１５に送られ、検索
動画像情報の出力が行われる。

本説明では３つのチャンネルを順次切り書えるメニュー
画像を表示したが、画像蓄積装置の検索が遅い場合でも
、メモリと画像蓄積装置を増やせば高速に検索できる。

前記の説明ては、限られた数の画像の検索について説明
したが、メニュー画像を動画像の管理情報の属性値に従
い階層化すること、つまり、メニュー画像のメニュー画
像を作ることにより、多数の動画像についても効率よく
検索できる。

斌た、３つの方法を組み合わせる、例えば、検索シーン
をつないだものを縮小して、合成した画像を複数用意す
れば、非常に多量な動画像に対しても効率よく検索が実
行できる。

また、本実施例では単体の装置として説明したが、通信
回線を経由したセンター型の精成とするには、入力装置
、モニタを遠隔地におき、高速回線て接続ずれはよい。

〔発明の効果〕

本発明の動画像検索方法を用いれば、多量の動画像情報
に対して、画像の内容に基づき、会話型で、高速に検索
を実行できるようになるという効果がある。

また、酢に検索シーンを見て検索を実行するので、キー
ワード検索の場合のような複雑な検索式を用いる必要か
なく、初心者でも容易に利用できる検索手段を提供でき
るという効果もある７

【図面の簡単な説明】

第１図（ａ）、（ｂ）、（ｃ）は本発明の動画像検索方
法の構成を説明するなめの図、第２図〜第４図は本発明
の第〕〜第３の動画像検索方法の実施例を説明するため
の図、第５図は動画像情報の管理情報の一実施例の図で
ある。ｌａ、ｌｂ、］、、ｃ・・・メニュー画像、２ａ、２ｂ
２ｃ、　２ｄ、　２ｅ、　２ｆ、　２ｇ、　２ｈ、　２
ｉ・検索シーン、４・選択部、１０・入力装置、１１・
・検索情報蓄積装置、］、２．１２ａ、１２ｂ、］、２
ｃ＝画像蓄積装置、１３．１３ａ、１−３ｂ　　１３Ｃ
・・メモリ、１４・・・動画像復号器、１５・・モニタ
、］６・・制御装置、１７，１．７ａ、］、７ｂ・・選
択装置、１８・・・編集装置、２０・・動画像情報識別
子、２１・・・動画像情報の画像蓄積装置１４上の格納
位置、２２・・・検索シーンの格納位置、２３・属性値
。第

Claims

【特許請求の範囲】

（１）動画像情報を検索する方法において、各検索画像
単位毎に前記検索画像の特徴をあらわす動画像情報の部
分をシーンとして抽出し、前記シーンを集めたものをメ
ニュー画像として編集し、前記メニュー画像から目的の
検索画像を検索することを特徴とする動画像検索方法。
（２）動画像情報を検索する方法において、各検索画像
単位毎に前記検索画像の特徴をあらわす動画像情報の部
分をシーンとして抽出し、前記シーンを縮小し、前記縮
小画像を画面上に複数集めたものをメニュー画像として
編集し、前記メニュー画像から目的の検索画像を検索す
ることを特徴とする動画像検索方法。
（３）動画像情報を検索する方法において、各検索画像
単位毎に前記検索画像の特徴をあらわす動画像情報の部
分をシーンとして抽出し、前記シーンを順次選択して目
的の検索画像を検索することを特徴とする動画像検索方
法。