JP2002117407A - 動画像検索方法及びその装置 - Google Patents
動画像検索方法及びその装置Info
- Publication number
- JP2002117407A JP2002117407A JP2000309364A JP2000309364A JP2002117407A JP 2002117407 A JP2002117407 A JP 2002117407A JP 2000309364 A JP2000309364 A JP 2000309364A JP 2000309364 A JP2000309364 A JP 2000309364A JP 2002117407 A JP2002117407 A JP 2002117407A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- amount information
- moving image
- information
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 検索処理時間の短縮化を図ることができる動
画像検索方法及びその装置を提供する。 【解決手段】 動画像検索装置は、検索対象となる動画
像を時系列的に処理装置に入力する画像入力処理手段１
３と、画像入力処理手段１３により入力された動画像の
信号から時間的に変動する特徴量情報を抽出する特徴量
抽出部１６及び特徴量抽出部１６によって抽出された特
徴量情報を特定の量子化幅により量子化する量子化処理
部１７を含む特徴量算出手段１４と、画像入力手段１３
から入力された動画像の特徴量情報に対応した比較情報
としての特徴量情報を、予め記録されたデータベースか
ら抽出する比較情報選択手段１５と、特徴量算出手段１
４内の量子化処理部１７により求めた特徴量情報と比較
情報選択手段１５により抽出された特徴量情報の比較
を、その量子化誤差を用いてマッチング処理を行うマッ
チング処理部１８と、マッチング処理部１８の結果を出
力する検索結果処理部１９とを備える。
画像検索方法及びその装置を提供する。 【解決手段】 動画像検索装置は、検索対象となる動画
像を時系列的に処理装置に入力する画像入力処理手段１
３と、画像入力処理手段１３により入力された動画像の
信号から時間的に変動する特徴量情報を抽出する特徴量
抽出部１６及び特徴量抽出部１６によって抽出された特
徴量情報を特定の量子化幅により量子化する量子化処理
部１７を含む特徴量算出手段１４と、画像入力手段１３
から入力された動画像の特徴量情報に対応した比較情報
としての特徴量情報を、予め記録されたデータベースか
ら抽出する比較情報選択手段１５と、特徴量算出手段１
４内の量子化処理部１７により求めた特徴量情報と比較
情報選択手段１５により抽出された特徴量情報の比較
を、その量子化誤差を用いてマッチング処理を行うマッ
チング処理部１８と、マッチング処理部１８の結果を出
力する検索結果処理部１９とを備える。
Description
【０００１】
【発明の属する技術分野】本発明は、マルチメディア情
報の利用環境において、動画像情報の検索を効率的に行
う動画像検索方法及びその装置に関する。
報の利用環境において、動画像情報の検索を効率的に行
う動画像検索方法及びその装置に関する。
【０００２】
【従来の技術】近年、計算機の高速化と大容量化を背景
にして、従来は扱えなかった映画やビデオなどの動画像
情報を対象にしたデータベースの構築が活発になってい
る。これに伴い、蓄積された大量の動画像の中から、所
望のシーンを効率よく選び出す検索技術の実用化が進め
られてきている。
にして、従来は扱えなかった映画やビデオなどの動画像
情報を対象にしたデータベースの構築が活発になってい
る。これに伴い、蓄積された大量の動画像の中から、所
望のシーンを効率よく選び出す検索技術の実用化が進め
られてきている。
【０００３】このような所望のシーンを効率よく選び出
す検索技術としては、大きく分けて、動画像情報に予め
インデックスやキーワードを付与し、利用者が検索時に
計算機に対して言葉や条件式等を与えることで所望の動
画像を検索する方法と、画像の明るさや色などの信号を
キーとして利用することで動画像を検索する方法との２
種類がある。
す検索技術としては、大きく分けて、動画像情報に予め
インデックスやキーワードを付与し、利用者が検索時に
計算機に対して言葉や条件式等を与えることで所望の動
画像を検索する方法と、画像の明るさや色などの信号を
キーとして利用することで動画像を検索する方法との２
種類がある。
【０００４】
【発明が解決しようとする課題】しかしながら、上述の
動画像情報に予めインデックスやキーワードを付与する
方法では、曖昧な記憶や情報しか持ち合わせていない利
用者にとっては、適切な条件設定を行うことが困難であ
り、利用者の持つ記憶や情報量、又は言語の表現方法等
によって検索結果が異なって表示されるという問題があ
る。
動画像情報に予めインデックスやキーワードを付与する
方法では、曖昧な記憶や情報しか持ち合わせていない利
用者にとっては、適切な条件設定を行うことが困難であ
り、利用者の持つ記憶や情報量、又は言語の表現方法等
によって検索結果が異なって表示されるという問題があ
る。
【０００５】また、画像の明るさや色などの空間的な信
号をキーとして利用する方法では、動画像情報の方がテ
キスト情報や静止画情報と比較して情報量が多いため、
画像を表す信号をそのまま用いてマッチング（照合）を
行うと、情報量の多さからハードウェア負荷が大きくな
り、検索処理にかかる時間が増大するという問題があ
る。
号をキーとして利用する方法では、動画像情報の方がテ
キスト情報や静止画情報と比較して情報量が多いため、
画像を表す信号をそのまま用いてマッチング（照合）を
行うと、情報量の多さからハードウェア負荷が大きくな
り、検索処理にかかる時間が増大するという問題があ
る。
【０００６】本発明は上記問題点に鑑み、利用者の持つ
記憶や情報量、又は言語の表現方法等に依存しない検索
方法を実現するとともに、扱う情報量を低減して処理の
高速化を可能にする動画像検索方法及びその装置を提供
することを技術的課題とする。
記憶や情報量、又は言語の表現方法等に依存しない検索
方法を実現するとともに、扱う情報量を低減して処理の
高速化を可能にする動画像検索方法及びその装置を提供
することを技術的課題とする。
【０００７】
【課題を解決するための手段】上記問題点を解決するた
めに、本発明は、連続する複数枚の画像からなる動画像
信号から、対象となる動画像を時系列的に処理装置に入
力し、該処理装置において、上記入力された動画像の信
号から時間的に変動する特徴量を抽出し、該抽出された
信号の時間的特徴量を特定の量子化幅で量子化して特徴
量情報を作成し、該特徴量情報と予めデータベース内に
記録してある動画像の特徴量情報とを量子化誤差を用い
てマッチングを行う、という技術的手段を講じた。
めに、本発明は、連続する複数枚の画像からなる動画像
信号から、対象となる動画像を時系列的に処理装置に入
力し、該処理装置において、上記入力された動画像の信
号から時間的に変動する特徴量を抽出し、該抽出された
信号の時間的特徴量を特定の量子化幅で量子化して特徴
量情報を作成し、該特徴量情報と予めデータベース内に
記録してある動画像の特徴量情報とを量子化誤差を用い
てマッチングを行う、という技術的手段を講じた。
【０００８】これにより、対象となる動画像を時系列に
処理装置に入力し、該処理装置では、入力された動画像
の信号から時間的に変動する特徴量を抽出する。そし
て、抽出された信号の時間的特徴量を特定の量子化幅で
量子化して特徴量情報を作成し、該特徴量情報と予めデ
ータベース内に記録してある動画像情報の量子化された
時間的特徴量とを量子化誤差を用いてマッチングを行う
のである。つまり、動画像情報はある特定のシーンにお
いて特徴量が時間的に連続しているが、激しく画像が変
化したり、シーンが変わると信号の値が大きく変化する
傾向があり、時間的に変動する特徴量を抽出することで
これらを検出することができるのである。そして、抽出
された信号の時間的特徴量を特定の量子化幅で量子化す
ることにより、波形の領域を有限個の小領域に分割し、
各小領域はその領域内の指定された値で代表されるの
で、扱うデータ量が少なくなり、ハードウエア負荷が大
きくなるという問題はなくなり、検索処理時間の短縮化
を図ることが可能となる。
処理装置に入力し、該処理装置では、入力された動画像
の信号から時間的に変動する特徴量を抽出する。そし
て、抽出された信号の時間的特徴量を特定の量子化幅で
量子化して特徴量情報を作成し、該特徴量情報と予めデ
ータベース内に記録してある動画像情報の量子化された
時間的特徴量とを量子化誤差を用いてマッチングを行う
のである。つまり、動画像情報はある特定のシーンにお
いて特徴量が時間的に連続しているが、激しく画像が変
化したり、シーンが変わると信号の値が大きく変化する
傾向があり、時間的に変動する特徴量を抽出することで
これらを検出することができるのである。そして、抽出
された信号の時間的特徴量を特定の量子化幅で量子化す
ることにより、波形の領域を有限個の小領域に分割し、
各小領域はその領域内の指定された値で代表されるの
で、扱うデータ量が少なくなり、ハードウエア負荷が大
きくなるという問題はなくなり、検索処理時間の短縮化
を図ることが可能となる。
【０００９】また、連続する複数枚の画像からなる動画
像信号から、対象となる動画像を時系列的に処理装置に
入力する画像入力処理手段と、該画像入力処理手段によ
り入力された動画像の信号から時間的に変動する特徴量
を抽出する特徴量抽出部及び該特徴量抽出部から抽出さ
れた特徴量を特定の量子化幅により量子化する量子化処
理部を含む特徴量算出手段と、上記画像入力手段から入
力動画像に対応した比較情報を予め記録されたデータベ
ースから抽出する比較情報選択手段と、上記特徴量算出
手段内の量子化処理部により求めた特徴量情報及び上記
比較情報選択手段により抽出された特徴量情報の比較
を、その量子化誤差を用いて動画像のマッチングを行う
マッチング処理部と、該マッチング処理部の結果を出力
する検索結果処理部と、を備えたので、ハードウエア負
荷が大きくなるという問題がなくなり、検索処理時間の
短縮化を図ることができる動画像検索装置を提供するこ
とができる。
像信号から、対象となる動画像を時系列的に処理装置に
入力する画像入力処理手段と、該画像入力処理手段によ
り入力された動画像の信号から時間的に変動する特徴量
を抽出する特徴量抽出部及び該特徴量抽出部から抽出さ
れた特徴量を特定の量子化幅により量子化する量子化処
理部を含む特徴量算出手段と、上記画像入力手段から入
力動画像に対応した比較情報を予め記録されたデータベ
ースから抽出する比較情報選択手段と、上記特徴量算出
手段内の量子化処理部により求めた特徴量情報及び上記
比較情報選択手段により抽出された特徴量情報の比較
を、その量子化誤差を用いて動画像のマッチングを行う
マッチング処理部と、該マッチング処理部の結果を出力
する検索結果処理部と、を備えたので、ハードウエア負
荷が大きくなるという問題がなくなり、検索処理時間の
短縮化を図ることができる動画像検索装置を提供するこ
とができる。
【００１０】
【発明の実施の形態】本発明の実施の形態を図面を参照
しながら説明する。図１は本発明の基本的原理を示すブ
ロック図であり、これに基づいて説明する。
しながら説明する。図１は本発明の基本的原理を示すブ
ロック図であり、これに基づいて説明する。
【００１１】動画像情報や音声情報など、時間的な軸を
有する情報（時系列的な情報）は、その時間的に推移す
る情報を波形データと見なして、大量に登録されている
情報の中から該波形データを用いてマッチングすること
で、入力情報が登録情報の中に存在しているか否かを判
定することが可能である。
有する情報（時系列的な情報）は、その時間的に推移す
る情報を波形データと見なして、大量に登録されている
情報の中から該波形データを用いてマッチングすること
で、入力情報が登録情報の中に存在しているか否かを判
定することが可能である。
【００１２】そこで本発明は、動画像情報等から時間的
に推移する信号から特徴量を求め、この特徴量情報を特
定の量子化幅で量子化することにより高速なマッチング
判定を実現するものである。図１を参照すれば、検索要
求のあった動画像情報入力側Ａとデータベース側Ｂの両
方ともに動画像情報を特徴量算出手段１，２にそれぞれ
入力して、その時間的変動する画像信号から特徴量を求
め、求めた特徴量のそれぞれを特定の量子化幅で量子化
する。そしてこれを特徴量情報としてマッチング処理手
段３に入力し、マッチングしてその結果を出力する。
に推移する信号から特徴量を求め、この特徴量情報を特
定の量子化幅で量子化することにより高速なマッチング
判定を実現するものである。図１を参照すれば、検索要
求のあった動画像情報入力側Ａとデータベース側Ｂの両
方ともに動画像情報を特徴量算出手段１，２にそれぞれ
入力して、その時間的変動する画像信号から特徴量を求
め、求めた特徴量のそれぞれを特定の量子化幅で量子化
する。そしてこれを特徴量情報としてマッチング処理手
段３に入力し、マッチングしてその結果を出力する。
【００１３】ここで、動画像情報入力側Ａの特徴量をＦ
ｉ、データベース側Ｂの特徴量をＦ ｄとすると、両特徴
量のマッチング処理は式（１）で表される。
ｉ、データベース側Ｂの特徴量をＦ ｄとすると、両特徴
量のマッチング処理は式（１）で表される。
【数１】 式（１）のように、両特徴量情報を量子化誤差であるし
きい値Ｔｈによって判定することで、動画像情報や音声
情報等の時間的な変化量を有する情報を検索することが
可能となる。そこで、本発明ではこの時間的特徴量を効
果的に量子化することでマッチング処理で扱うデータ量
を低減し、高速な検索処理を実現することを可能とす
る。
きい値Ｔｈによって判定することで、動画像情報や音声
情報等の時間的な変化量を有する情報を検索することが
可能となる。そこで、本発明ではこの時間的特徴量を効
果的に量子化することでマッチング処理で扱うデータ量
を低減し、高速な検索処理を実現することを可能とす
る。
【００１４】次に、本発明の装置について具体的に説明
する。図２は、本発明を実現するためのシステム構成の
概略ブロック図の一例である。符号４はＣＲＴ等のカラ
ーディスプレイ装置であり、コンピュータ５の出力画面
を表示する。コンピュータ５に対する命令は、キーボー
ドやマウス等の入力装置６を使って行うことが可能であ
る。符号７の受信ラインには、利用者の端末装置（図示
せず）から送信された検索要求情報が送信されてくる。
する。図２は、本発明を実現するためのシステム構成の
概略ブロック図の一例である。符号４はＣＲＴ等のカラ
ーディスプレイ装置であり、コンピュータ５の出力画面
を表示する。コンピュータ５に対する命令は、キーボー
ドやマウス等の入力装置６を使って行うことが可能であ
る。符号７の受信ラインには、利用者の端末装置（図示
せず）から送信された検索要求情報が送信されてくる。
【００１５】検索要求情報を受信したコンピュータ５内
部では、入出力インターフェース８、メモリ１０を介し
てＣＰＵ９において、メモリ１０に格納されたプログラ
ムに従って、検索要求情報内に含まれる画像情報から、
時間的に変動する画像信号の特徴量を抽出し、特定の量
子化幅で量子化して特徴量情報を作成する。
部では、入出力インターフェース８、メモリ１０を介し
てＣＰＵ９において、メモリ１０に格納されたプログラ
ムに従って、検索要求情報内に含まれる画像情報から、
時間的に変動する画像信号の特徴量を抽出し、特定の量
子化幅で量子化して特徴量情報を作成する。
【００１６】コンピュータ５は外部記憶装置１２に記録
されているデータベース内の特徴量情報を読み出し、入
力画像から作成された特徴量情報と量子化誤差を用いて
マッチングし検索結果を出力する。検索結果は必要に応
じて符号４のディスプレイ装置により表示されたり、入
出力インターフェース８を介して送信ライン１１によっ
て検索要求を送信した利用者の端末装置（図示せず）に
返信される。ここで、コンピュータ５において、ネット
ワークを介さずに利用者端末内に記録されている画像情
報を検索する場合にも、入出力インターフェース８を介
することで、動画像の検索処理が可能である。
されているデータベース内の特徴量情報を読み出し、入
力画像から作成された特徴量情報と量子化誤差を用いて
マッチングし検索結果を出力する。検索結果は必要に応
じて符号４のディスプレイ装置により表示されたり、入
出力インターフェース８を介して送信ライン１１によっ
て検索要求を送信した利用者の端末装置（図示せず）に
返信される。ここで、コンピュータ５において、ネット
ワークを介さずに利用者端末内に記録されている画像情
報を検索する場合にも、入出力インターフェース８を介
することで、動画像の検索処理が可能である。
【００１７】図３は、図２におけるＣＰＵ９内で処理さ
れる動画像検索過程のブロック図であり、この図に基づ
いて本発明の動画像検索方法を説明する。
れる動画像検索過程のブロック図であり、この図に基づ
いて本発明の動画像検索方法を説明する。
【００１８】まず、コンピュータ５において、ＣＰＵ９
で処理される画像入力部１３では、入出力インターフェ
ース８を介してメモリ１０によって動画像情報を読み込
む。次に、読み込んだ動画像情報の信号から、時間的特
徴量を得るために、特徴量算出部１４に入力するルート
Ａと、該特徴量情報と照合するためのデータベース内に
記録されている特徴量情報を選択するために、比較情報
選択部１５に入力するルートＢとに分かれる。そして、
特徴量算出部１４の特徴量抽出部１６では、画像入力部
１３からの画像情報を受けて、入力画像の特徴量となる
明るさや色などの信号を抽出する。
で処理される画像入力部１３では、入出力インターフェ
ース８を介してメモリ１０によって動画像情報を読み込
む。次に、読み込んだ動画像情報の信号から、時間的特
徴量を得るために、特徴量算出部１４に入力するルート
Ａと、該特徴量情報と照合するためのデータベース内に
記録されている特徴量情報を選択するために、比較情報
選択部１５に入力するルートＢとに分かれる。そして、
特徴量算出部１４の特徴量抽出部１６では、画像入力部
１３からの画像情報を受けて、入力画像の特徴量となる
明るさや色などの信号を抽出する。
【００１９】特徴量抽出部１６により抽出された情報
は、量子化処理部１７に入力され、該量子化処理部１７
では特定の量子化幅によって特徴量を量子化し、該特徴
量を有限個の小領域に分割し、その領域内の情報を指定
された値で代表する。これにより、マッチング処理に利
用可能な特徴量情報が作成され、次のマッチング処理部
１８に入力される。
は、量子化処理部１７に入力され、該量子化処理部１７
では特定の量子化幅によって特徴量を量子化し、該特徴
量を有限個の小領域に分割し、その領域内の情報を指定
された値で代表する。これにより、マッチング処理に利
用可能な特徴量情報が作成され、次のマッチング処理部
１８に入力される。
【００２０】一方、比較情報選択部１５では、画像入力
部１３に入力された画像情報に応じて、それに対応した
比較情報となる特徴量情報をデータベース側Ｂから選択
し、これをマッチング処理部１８に入力する。そして、
マッチング処理部１８では、入力側Ａとデータベース側
Ｂとの特徴量情報を受け取り、両特徴量情報のマッチン
グ処理を行う。その処理結果は検索結果出力部１９に出
力され、これにより検索結果を出力する。
部１３に入力された画像情報に応じて、それに対応した
比較情報となる特徴量情報をデータベース側Ｂから選択
し、これをマッチング処理部１８に入力する。そして、
マッチング処理部１８では、入力側Ａとデータベース側
Ｂとの特徴量情報を受け取り、両特徴量情報のマッチン
グ処理を行う。その処理結果は検索結果出力部１９に出
力され、これにより検索結果を出力する。
【００２１】次に、本発明の要部となる量子化処理部１
７について図４により詳細に説明する。
７について図４により詳細に説明する。
【００２２】図４は動画像情報の明るさや色などの画像
信号の特徴量を時間方向の変化量で表したものである。
このように、動画像情報はある特定のシーンにおいて特
徴量が時間的に連続しているが、激しく画像が変化した
り、シーンが変わるなどの場合は、特徴量の値が大きく
変化する傾向がある。このように、時間的に変動する画
像信号の特徴量を利用し、量子化幅Ｔによりその変動幅
を量子化し、時間方向の長さＬの区間において特徴量の
代表値Ａを決定する。ここで、Ａは区間Ｌの始点でも終
点でも、また、区間内の特徴の平均値を用いてもよい。
あるいは、量子化区間のピーク、分布の中心など、線形
又は非線形な分割を行ってもよく、均等又は重み付けな
ど様々な量子化を行うことが可能である。
信号の特徴量を時間方向の変化量で表したものである。
このように、動画像情報はある特定のシーンにおいて特
徴量が時間的に連続しているが、激しく画像が変化した
り、シーンが変わるなどの場合は、特徴量の値が大きく
変化する傾向がある。このように、時間的に変動する画
像信号の特徴量を利用し、量子化幅Ｔによりその変動幅
を量子化し、時間方向の長さＬの区間において特徴量の
代表値Ａを決定する。ここで、Ａは区間Ｌの始点でも終
点でも、また、区間内の特徴の平均値を用いてもよい。
あるいは、量子化区間のピーク、分布の中心など、線形
又は非線形な分割を行ってもよく、均等又は重み付けな
ど様々な量子化を行うことが可能である。
【００２３】また、本発明では、動画像情報の明るさや
色などの時間的に変動する信号を利用するので、コンピ
ュータ処理によって扱うことの可能な色空間において、
また、どのような画像サイズにおいても利用可能な方法
であることが特徴である。
色などの時間的に変動する信号を利用するので、コンピ
ュータ処理によって扱うことの可能な色空間において、
また、どのような画像サイズにおいても利用可能な方法
であることが特徴である。
【００２４】次に、本発明の検索方法の処理手順を図５
のフローチャートに従って説明する。
のフローチャートに従って説明する。
【００２５】ステップ１０１からステップ１０５におい
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ１０６からステップ１１０においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ１０１では入力された動画像情報を取得し、ステ
ップ１０２ではマッチングに用いる動画像情報の特徴量
を算出し、ステップ１０３では量子化幅Ｔによって算出
した特徴量情報を量子化する。さらに、ステップ１０４
では量子化した区間Ｌｉを抽出し、ステップ１０５では
量子化区間Ｌｉの代表値Ａｉを抽出する。一方、データ
ベース側Ｂも同様の処理を行い、ステップ１１０におい
て量子化区間Ｌｄの代表値Ａｄを抽出する。このとき、
データベース側の特徴量の算出は処理効率を考慮して予
め算出しておくことも可能である。
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ１０６からステップ１１０においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ１０１では入力された動画像情報を取得し、ステ
ップ１０２ではマッチングに用いる動画像情報の特徴量
を算出し、ステップ１０３では量子化幅Ｔによって算出
した特徴量情報を量子化する。さらに、ステップ１０４
では量子化した区間Ｌｉを抽出し、ステップ１０５では
量子化区間Ｌｉの代表値Ａｉを抽出する。一方、データ
ベース側Ｂも同様の処理を行い、ステップ１１０におい
て量子化区間Ｌｄの代表値Ａｄを抽出する。このとき、
データベース側の特徴量の算出は処理効率を考慮して予
め算出しておくことも可能である。
【００２６】さらに、ステップ１１１では入力側Ａとデ
ータベース側Ｂの量子化区間ＬｉとＬｄを選択し、ステ
ップ１１２ではＬｉとＬｄが（１）式を満たすか否かを
判定する。このとき、Ｙｅｓの場合はステップ１１３の
処理へ移り、ＡｉとＡｄが（１）式を満たすか否かを判
定する。Ｎｏの場合はステップ１１６の処理に移り、マ
ッチングの終了判定を行う。
ータベース側Ｂの量子化区間ＬｉとＬｄを選択し、ステ
ップ１１２ではＬｉとＬｄが（１）式を満たすか否かを
判定する。このとき、Ｙｅｓの場合はステップ１１３の
処理へ移り、ＡｉとＡｄが（１）式を満たすか否かを判
定する。Ｎｏの場合はステップ１１６の処理に移り、マ
ッチングの終了判定を行う。
【００２７】そして、ステップ１１３では両方の量子化
区間の代表値ＡｉとＡｄを選択し、ステップ１１４では
ＡｉとＡｄが（１）式を満たすか否かを判定する。この
とき、Ｙｅｓの場合はステップ１１５の処理へ移りマッ
チングの結果を出力し、Ｎｏの場合はステップ１１７の
処理へ移りマッチングの終了判定を行う。
区間の代表値ＡｉとＡｄを選択し、ステップ１１４では
ＡｉとＡｄが（１）式を満たすか否かを判定する。この
とき、Ｙｅｓの場合はステップ１１５の処理へ移りマッ
チングの結果を出力し、Ｎｏの場合はステップ１１７の
処理へ移りマッチングの終了判定を行う。
【００２８】また、ステップ１１５ではマッチングの結
果を出力し、ステップ１１６では、次のＬｄが存在する
か否かを判定する。Ｙｅｓの場合はステップ１１１の処
理に移り次のＬｄを選択してマッチング処理を継続し、
Ｎｏの場合はステップ１１５に移りマッチング結果を出
力する。ステップ１１７では、次のＬｄが存在するか否
かを判定する。Ｙｅｓの場合はステップ１１１の処理に
移り次のＬｄを選択してマッチング処理を継続し、Ｎｏ
の場合はステップ１１５に移りマッチング結果を出力す
る。
果を出力し、ステップ１１６では、次のＬｄが存在する
か否かを判定する。Ｙｅｓの場合はステップ１１１の処
理に移り次のＬｄを選択してマッチング処理を継続し、
Ｎｏの場合はステップ１１５に移りマッチング結果を出
力する。ステップ１１７では、次のＬｄが存在するか否
かを判定する。Ｙｅｓの場合はステップ１１１の処理に
移り次のＬｄを選択してマッチング処理を継続し、Ｎｏ
の場合はステップ１１５に移りマッチング結果を出力す
る。
【００２９】
【実施例１】以下、本発明の実施例を図面を参照しなが
ら説明する。図６は本発明の動画像検索装置の一実施例
を示す概略ブロック図である。この実施例ではカメラ２
０、ビデオ２１、外部記憶媒体２２などを用いて動画像
情報を検索処理装置２４に入力する。ここで入力装置は
動画像情報を扱うことのできる機器であれば特に限定す
る必要はなく、入力インターフェース２３を介すること
で、ネットワークを利用した入力も可能である。入力さ
れた動画像情報は本発明方法により時間的な特徴量を量
子化し、効率的なマッチングを行って、その検索結果か
ら必要な情報をデータベース２５より抽出し、出力イン
ターフェース２６を介して表示装置２７、外部記憶媒体
２８などの出力装置によって利用者に検索処理結果を提
供する。ここでも出力インターフェース２６を介するこ
とで、ネットワークを利用した検索結果の提供も可能で
ある。
ら説明する。図６は本発明の動画像検索装置の一実施例
を示す概略ブロック図である。この実施例ではカメラ２
０、ビデオ２１、外部記憶媒体２２などを用いて動画像
情報を検索処理装置２４に入力する。ここで入力装置は
動画像情報を扱うことのできる機器であれば特に限定す
る必要はなく、入力インターフェース２３を介すること
で、ネットワークを利用した入力も可能である。入力さ
れた動画像情報は本発明方法により時間的な特徴量を量
子化し、効率的なマッチングを行って、その検索結果か
ら必要な情報をデータベース２５より抽出し、出力イン
ターフェース２６を介して表示装置２７、外部記憶媒体
２８などの出力装置によって利用者に検索処理結果を提
供する。ここでも出力インターフェース２６を介するこ
とで、ネットワークを利用した検索結果の提供も可能で
ある。
【００３０】動画像情報の時間的特徴量は、動画像情報
の色、輝度及びその平均値や分散値又は分散情報等どの
ような数値画素データから抽出された情報でも利用可能
であるが、本実施例では図７に示すように、動画像情報
の時間的変動パラメータとして輝度信号の平均値を利用
する。図７を参照すれば、入力された動画像情報から各
フレーム内の輝度値を求め、この輝度値からフレームの
平均値を算出する。そしてこれを量子化することで量子
化区間と量子化区間内の代表値を算出する。輝度値の平
均値を用いた時間的特徴量において、量子化幅Ｔで量子
化するとその時間的変動は図８に示すような形状を示
す。図８では入力された動画像情報の量子化区間Ｌ１か
らＬ６と、量子化区間の代表値Ａ１からＡ６を用いてマ
ッチングを行うこととする。
の色、輝度及びその平均値や分散値又は分散情報等どの
ような数値画素データから抽出された情報でも利用可能
であるが、本実施例では図７に示すように、動画像情報
の時間的変動パラメータとして輝度信号の平均値を利用
する。図７を参照すれば、入力された動画像情報から各
フレーム内の輝度値を求め、この輝度値からフレームの
平均値を算出する。そしてこれを量子化することで量子
化区間と量子化区間内の代表値を算出する。輝度値の平
均値を用いた時間的特徴量において、量子化幅Ｔで量子
化するとその時間的変動は図８に示すような形状を示
す。図８では入力された動画像情報の量子化区間Ｌ１か
らＬ６と、量子化区間の代表値Ａ１からＡ６を用いてマ
ッチングを行うこととする。
【００３１】ここで扱う画像の輝度値を８ビット精度と
すると、入力画像フレームサイズが縦ｘ、横ｙのとき、
各画素の輝度値はａｘｙと表すことができる。そして、
１フレーム内の輝度値の平均値は次の式（２）で表すこ
とができる。
すると、入力画像フレームサイズが縦ｘ、横ｙのとき、
各画素の輝度値はａｘｙと表すことができる。そして、
１フレーム内の輝度値の平均値は次の式（２）で表すこ
とができる。
【数２】
【００３２】各フレーム毎に平均値を求め、これらを量
子化幅Ｔで量子化することで特徴量情報を作成する。こ
の特徴量情報には図８の量子化区間Ｌ１からＬ６や、各
量子化区間の代表値Ａ１からＡ６といった情報が記録さ
れる。同様にしてデータベース側の特徴量情報も作成し
ていき、各値を比較していく。つまり、入力側とデータ
ベース側の量子化区間ＬｉとＬｄや、同様に入力側とデ
ータベース側の量子化区間代表値ＡｉとＡｄとを以下に
示す式を用いて判定していく。
子化幅Ｔで量子化することで特徴量情報を作成する。こ
の特徴量情報には図８の量子化区間Ｌ１からＬ６や、各
量子化区間の代表値Ａ１からＡ６といった情報が記録さ
れる。同様にしてデータベース側の特徴量情報も作成し
ていき、各値を比較していく。つまり、入力側とデータ
ベース側の量子化区間ＬｉとＬｄや、同様に入力側とデ
ータベース側の量子化区間代表値ＡｉとＡｄとを以下に
示す式を用いて判定していく。
【数３】
【数４】
【００３３】次に、本実施例の処理手順を図９のフロー
チャートを用いて説明する。
チャートを用いて説明する。
【００３４】ステップ２０１からステップ２０６におい
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ２０７からステップ２１０においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ２０１では入力された動画像情報を取得し、ステ
ップ２０２では動画像情報の輝度値を抽出し、ステップ
２０３では抽出した輝度値から平均値を算出し、ステッ
プ２０４ではステップ２０３で求めた輝度値の平均値の
量子化を行う。さらに、ステップ２０５では量子化区間
Ｌ１からＬ６の値を取得し、ステップ２０６では量子化
区間Ｌ１からＬ ６に対応する代表値Ａ１からＡ６の値を
取得する。一方、データベース側Ｂも同様の処理を行
い、ステップ２０７ではデータベース側の動画像情報を
取得し、ステップ２０８では動画像情報の輝度値を抽出
し、ステップ２０９では抽出した輝度値から平均値を算
出し、ステップ２１０ではステップ２０９で求めた輝度
平均値の量子化を行う。ただし、データベース側のここ
までのステップにおいて、処理効率を考慮して予め特徴
量情報を算出するという処理を行っておくことも可能で
ある。
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ２０７からステップ２１０においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ２０１では入力された動画像情報を取得し、ステ
ップ２０２では動画像情報の輝度値を抽出し、ステップ
２０３では抽出した輝度値から平均値を算出し、ステッ
プ２０４ではステップ２０３で求めた輝度値の平均値の
量子化を行う。さらに、ステップ２０５では量子化区間
Ｌ１からＬ６の値を取得し、ステップ２０６では量子化
区間Ｌ１からＬ ６に対応する代表値Ａ１からＡ６の値を
取得する。一方、データベース側Ｂも同様の処理を行
い、ステップ２０７ではデータベース側の動画像情報を
取得し、ステップ２０８では動画像情報の輝度値を抽出
し、ステップ２０９では抽出した輝度値から平均値を算
出し、ステップ２１０ではステップ２０９で求めた輝度
平均値の量子化を行う。ただし、データベース側のここ
までのステップにおいて、処理効率を考慮して予め特徴
量情報を算出するという処理を行っておくことも可能で
ある。
【００３５】さらに、ステップ２１１ではデータベース
側Ｂの量子化区間Ｌｄを選択し、ステップ２１２ではＬ
１とＬｄが式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１３の処理へ移り、Ｌ
ｄ＋１を選択し、Ｎｏの場合はステップ２３６の処理に
移り、マッチングの終了判定を行う。
側Ｂの量子化区間Ｌｄを選択し、ステップ２１２ではＬ
１とＬｄが式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１３の処理へ移り、Ｌ
ｄ＋１を選択し、Ｎｏの場合はステップ２３６の処理に
移り、マッチングの終了判定を行う。
【００３６】そして、ステップ２１３ではデータベース
側Ｂの量子化区間Ｌｄ＋１を選択し、ステップ２１４で
はＬ２とＬｄ＋１が式（３）を満たすか否かを判定す
る。このとき、Ｙｅｓの場合はステップ２１５の処理に
移りＬｄ＋２を選択し、Ｎｏの場合はステップ２３７の
処理に移りマッチングの終了判定を行う。
側Ｂの量子化区間Ｌｄ＋１を選択し、ステップ２１４で
はＬ２とＬｄ＋１が式（３）を満たすか否かを判定す
る。このとき、Ｙｅｓの場合はステップ２１５の処理に
移りＬｄ＋２を選択し、Ｎｏの場合はステップ２３７の
処理に移りマッチングの終了判定を行う。
【００３７】ステップ２１５ではデータベース側Ｂの量
子化区間Ｌｄ＋２を選択し、ステップ２１６ではＬ３と
Ｌｄ＋２が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１７の処理に移りＬ
ｄ＋３を選択し、Ｎｏの場合はステップ２３８の処理に
移りマッチングの終了判定を行う。
子化区間Ｌｄ＋２を選択し、ステップ２１６ではＬ３と
Ｌｄ＋２が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１７の処理に移りＬ
ｄ＋３を選択し、Ｎｏの場合はステップ２３８の処理に
移りマッチングの終了判定を行う。
【００３８】ステップ２１７ではデータベース側Ｂの量
子化区間Ｌｄ＋３を選択し、ステップ２１８ではＬ４と
Ｌｄ＋３が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１９の処理に移りＬ
ｄ＋４を選択し、Ｎｏの場合はステップ２３９の処理に
移りマッチングの終了判定を行う。
子化区間Ｌｄ＋３を選択し、ステップ２１８ではＬ４と
Ｌｄ＋３が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２１９の処理に移りＬ
ｄ＋４を選択し、Ｎｏの場合はステップ２３９の処理に
移りマッチングの終了判定を行う。
【００３９】ステップ２１９ではデータベース側Ｂの量
子化区間Ｌｄ＋４を選択し、ステップ２２０ではＬ５と
Ｌｄ＋４が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２１の処理に移りＬ
ｄ＋５を選択し、Ｎｏの場合はステップ２４０の処理に
移りマッチングの終了判定を行う。
子化区間Ｌｄ＋４を選択し、ステップ２２０ではＬ５と
Ｌｄ＋４が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２１の処理に移りＬ
ｄ＋５を選択し、Ｎｏの場合はステップ２４０の処理に
移りマッチングの終了判定を行う。
【００４０】ステップ２２１ではデータベース側Ｂの量
子化区間Ｌｄ＋５を選択し、ステップ２２２ではＬ６と
Ｌｄ＋５が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２３の処理に移り量子化
区間Ｌｄの代表値Ａｄを選択し、Ｎｏの場合はステップ
２４１の処理に移りマッチングの終了判定を行う。
子化区間Ｌｄ＋５を選択し、ステップ２２２ではＬ６と
Ｌｄ＋５が式（３）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２３の処理に移り量子化
区間Ｌｄの代表値Ａｄを選択し、Ｎｏの場合はステップ
２４１の処理に移りマッチングの終了判定を行う。
【００４１】ステップ２２３はデータベース側Ｂの量子
化区間Ｌｄの代表値Ａｄを選択し、ステップ２２４では
Ａ１とＡｄが式（４）を満たすか否かを判定する。この
とき、Ｙｅｓの場合はステップ２２５の処理に移りＡ
ｄ＋１を選択し、Ｎｏの場合はステップ２４２の処理に
移りマッチングの終了判定を行う。
化区間Ｌｄの代表値Ａｄを選択し、ステップ２２４では
Ａ１とＡｄが式（４）を満たすか否かを判定する。この
とき、Ｙｅｓの場合はステップ２２５の処理に移りＡ
ｄ＋１を選択し、Ｎｏの場合はステップ２４２の処理に
移りマッチングの終了判定を行う。
【００４２】ステップ２２５ではデータベース側Ｂの代
表値Ａｄ＋１を選択し、ステップ２２６ではＡ２とＡ
ｄ＋１が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２７の処理に移りＡ
ｄ＋２を選択し、Ｎｏの場合はステップ２４３の処理に
移りマッチングの終了判定を行う。
表値Ａｄ＋１を選択し、ステップ２２６ではＡ２とＡ
ｄ＋１が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２７の処理に移りＡ
ｄ＋２を選択し、Ｎｏの場合はステップ２４３の処理に
移りマッチングの終了判定を行う。
【００４３】ステップ２２７ではデータベース側Ｂの代
表値Ａｄ＋２を選択し、ステップ２２８ではＡ３とＡ
ｄ＋２が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２９の処理に移りＡ
ｄ＋３を選択し、Ｎｏの場合はステップ２４４の処理に
移りマッチングの終了判定を行う。
表値Ａｄ＋２を選択し、ステップ２２８ではＡ３とＡ
ｄ＋２が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２２９の処理に移りＡ
ｄ＋３を選択し、Ｎｏの場合はステップ２４４の処理に
移りマッチングの終了判定を行う。
【００４４】ステップ２２９ではデータベース側Ｂの代
表値Ａｄ＋３を選択し、ステップ２３０ではＡ４とＡ
ｄ＋３が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３１の処理に移りＡ
ｄ＋４を選択し、Ｎｏの場合はステップ２４５の処理に
移りマッチングの終了判定を行う。
表値Ａｄ＋３を選択し、ステップ２３０ではＡ４とＡ
ｄ＋３が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３１の処理に移りＡ
ｄ＋４を選択し、Ｎｏの場合はステップ２４５の処理に
移りマッチングの終了判定を行う。
【００４５】ステップ２３１ではデータベース側Ｂの代
表値Ａｄ＋４を選択し、ステップ２３２ではＡ５とＡ
ｄ＋４が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３３の処理に移りＡ
ｄ＋５を選択し、Ｎｏの場合はステップ２４６の処理に
移りマッチングの終了判定を行う。
表値Ａｄ＋４を選択し、ステップ２３２ではＡ５とＡ
ｄ＋４が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３３の処理に移りＡ
ｄ＋５を選択し、Ｎｏの場合はステップ２４６の処理に
移りマッチングの終了判定を行う。
【００４６】ステップ２３３ではデータベース側Ｂの代
表値Ａｄ＋５を選択し、ステップ２３４ではＡ６とＡ
ｄ＋５が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３５の処理に移りマッチ
ングの結果を出力し、Ｎｏの場合はステップ２４７の処
理に移りマッチングの終了判定を行う。
表値Ａｄ＋５を選択し、ステップ２３４ではＡ６とＡ
ｄ＋５が式（４）を満たすか否かを判定する。このと
き、Ｙｅｓの場合はステップ２３５の処理に移りマッチ
ングの結果を出力し、Ｎｏの場合はステップ２４７の処
理に移りマッチングの終了判定を行う。
【００４７】ステップ２３５では判定式を満たしている
か否かというマッチング結果を出力する。
か否かというマッチング結果を出力する。
【００４８】ステップ２３６からステップ２４１におい
ては、次の量子化区間Ｌｄ、Ｌｄ＋ １、Ｌｄ＋２、Ｌ
ｄ＋３、Ｌｄ＋４又はＬｄ＋５が存在するか否かを判定
する。このとき、Ｙｅｓの場合はステップ２１１の処理
に移り次の量子化区間Ｌｄでマッチング処理を継続し、
Ｎｏの場合はステップ２３５の処理に移りマッチング結
果を出力する。
ては、次の量子化区間Ｌｄ、Ｌｄ＋ １、Ｌｄ＋２、Ｌ
ｄ＋３、Ｌｄ＋４又はＬｄ＋５が存在するか否かを判定
する。このとき、Ｙｅｓの場合はステップ２１１の処理
に移り次の量子化区間Ｌｄでマッチング処理を継続し、
Ｎｏの場合はステップ２３５の処理に移りマッチング結
果を出力する。
【００４９】ステップ２４２からステップ２４７におい
ては、次の代表値Ａｄ、Ａｄ＋１、Ａｄ＋２、
Ａｄ＋３、Ａｄ＋４、Ａｄ＋５が存在するか否かを判定
する。このとき、Ｙｅｓの場合はステップ２１１の処理
に移り次の量子化区間Ｌｄでマッチング処理を継続し、
Ｎｏの場合はステップ２３５の処理に移りマッチング結
果を出力する。
ては、次の代表値Ａｄ、Ａｄ＋１、Ａｄ＋２、
Ａｄ＋３、Ａｄ＋４、Ａｄ＋５が存在するか否かを判定
する。このとき、Ｙｅｓの場合はステップ２１１の処理
に移り次の量子化区間Ｌｄでマッチング処理を継続し、
Ｎｏの場合はステップ２３５の処理に移りマッチング結
果を出力する。
【００５０】以上のように、量子化区間の長さをパター
ンとしたマッチングを行うことで、高速な検索が実現で
きる。同様に代表値をパターンとしたマッチングでも検
索が可能である。ここで、前述したように入力側とデー
タベース側の各特徴量情報のマッチングにおいて、すべ
てのステップを行う必要はなく、途中までのマッチング
結果を用いるなど、状況に応じて処理を制御することも
可能である。さらに、量子化区間と代表値を組み合わせ
たマッチング、また、最も量子化区間が大きいところと
いった部分的組み合わせをパターンとしたマッチングも
可能である。本発明では、量子化幅Ｔと量子化区間長
Ｌ、そして、各量子化区間の代表値Ａについてその変化
幅を持たせることにより、検索処理として与えられる入
力画像の画像サイズがデータベース側とは異なっていた
り、画像データの情報量を低減するために用いられる画
像圧縮技術において，その情報量を決定する一因子であ
る符号化レートが異なっているような動画像情報であっ
ても検索が可能となる。
ンとしたマッチングを行うことで、高速な検索が実現で
きる。同様に代表値をパターンとしたマッチングでも検
索が可能である。ここで、前述したように入力側とデー
タベース側の各特徴量情報のマッチングにおいて、すべ
てのステップを行う必要はなく、途中までのマッチング
結果を用いるなど、状況に応じて処理を制御することも
可能である。さらに、量子化区間と代表値を組み合わせ
たマッチング、また、最も量子化区間が大きいところと
いった部分的組み合わせをパターンとしたマッチングも
可能である。本発明では、量子化幅Ｔと量子化区間長
Ｌ、そして、各量子化区間の代表値Ａについてその変化
幅を持たせることにより、検索処理として与えられる入
力画像の画像サイズがデータベース側とは異なっていた
り、画像データの情報量を低減するために用いられる画
像圧縮技術において，その情報量を決定する一因子であ
る符号化レートが異なっているような動画像情報であっ
ても検索が可能となる。
【００５１】
【実施例２】次に、実施例１とは異なる実施例を説明す
る。本実施例では動画像情報の時間的特徴量として、動
画像情報のフレーム前後間の輝度信号の振幅の分布、言
い換えると輝度信号の頻度分布を用い、その相関を利用
している。図１０は輝度値分布から算出した相関値を特
徴量情報に用いた一実施例を示すブロック図である。図
１０を参照すれば、まず、入力された動画像情報から輝
度値を算出し、その振幅の分布を求め、フレーム前後間
においてこの分布情報から相関値を算出し、この相関値
を量子化することで量子化区間と量子化区間内の代表値
を算出するのである。図１１は輝度値分布から算出した
相関値を時間的特徴量として量子化した図であり、入力
動画像の特徴量情報は相関値の量子化であるために、量
子化幅Ｔで量子化するとその時間的変動は図１１に示す
ような形状を示す。図１１では入力された動画像情報の
量子化区間の中で最大の区間Ｌ７と、その一つ前側の量
子化区間Ｌ６と、その一つ後側の量子化区間Ｌ８と、両
量子化区間の代表値Ａ６と、Ａ８とを用いてマッチング
を行うこととする。
る。本実施例では動画像情報の時間的特徴量として、動
画像情報のフレーム前後間の輝度信号の振幅の分布、言
い換えると輝度信号の頻度分布を用い、その相関を利用
している。図１０は輝度値分布から算出した相関値を特
徴量情報に用いた一実施例を示すブロック図である。図
１０を参照すれば、まず、入力された動画像情報から輝
度値を算出し、その振幅の分布を求め、フレーム前後間
においてこの分布情報から相関値を算出し、この相関値
を量子化することで量子化区間と量子化区間内の代表値
を算出するのである。図１１は輝度値分布から算出した
相関値を時間的特徴量として量子化した図であり、入力
動画像の特徴量情報は相関値の量子化であるために、量
子化幅Ｔで量子化するとその時間的変動は図１１に示す
ような形状を示す。図１１では入力された動画像情報の
量子化区間の中で最大の区間Ｌ７と、その一つ前側の量
子化区間Ｌ６と、その一つ後側の量子化区間Ｌ８と、両
量子化区間の代表値Ａ６と、Ａ８とを用いてマッチング
を行うこととする。
【００５２】ここで扱う画像の輝度値を８ビット精度と
すると、入力された画像のフレームにおける輝度値の頻
度分布を求め、次に、各フレームにおいて求めた頻度分
布を用いてフレーム前後間で相関値を求める。
すると、入力された画像のフレームにおける輝度値の頻
度分布を求め、次に、各フレームにおいて求めた頻度分
布を用いてフレーム前後間で相関値を求める。
【００５３】つまり、ｉ番目のフレームの頻度分布を
α、ｉ＋１番目のフレームの頻度分布をβとすると、相
関値Ｃは次式で求める。
α、ｉ＋１番目のフレームの頻度分布をβとすると、相
関値Ｃは次式で求める。
【数５】 このように、フレーム前後間で算出した相関値Ｃを量子
化幅Ｔで量子化することで特徴量情報を作成する。この
特徴量情報には図１１の量子化区間Ｌ１からＬ １１や、
各量子化区間の代表値Ａ１からＡ１１といった情報が記
録される。同様にしてデータベース側の特徴量情報も作
成していき、各値を比較していく。つまり、入力側とデ
ータベース側の量子化区間ＬｉとＬｄと、同様に入力側
とデータベース側の量子化区間代表値ＡｉとＡｄとを以
下に示す式を用いて判定していく。
化幅Ｔで量子化することで特徴量情報を作成する。この
特徴量情報には図１１の量子化区間Ｌ１からＬ １１や、
各量子化区間の代表値Ａ１からＡ１１といった情報が記
録される。同様にしてデータベース側の特徴量情報も作
成していき、各値を比較していく。つまり、入力側とデ
ータベース側の量子化区間ＬｉとＬｄと、同様に入力側
とデータベース側の量子化区間代表値ＡｉとＡｄとを以
下に示す式を用いて判定していく。
【数６】
【数７】
【００５４】次に、本実施例の処理手順を図１２のフロ
ーチャートを用いて説明する。
ーチャートを用いて説明する。
【００５５】ステップ３０１からステップ３１０におい
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ３１１からステップ３１５においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ３０１では入力された動画像情報を取得し、ステ
ップ３０２では動画像情報の輝度値を算出し、ステップ
３０３ではステップ３０２で求めた輝度値より分布情報
を算出し、さらに、ステップ３０４ではフレーム前後間
で輝度分布の相関値を算出する。ステップ３０５ではス
テップ３０４で求めた相関値の量子化を行う。
ては動画像情報入力側Ａの特徴量情報算出の処理手順で
あり、ステップ３１１からステップ３１５においてはデ
ータベース側Ｂの特徴量情報算出の処理手順である。ス
テップ３０１では入力された動画像情報を取得し、ステ
ップ３０２では動画像情報の輝度値を算出し、ステップ
３０３ではステップ３０２で求めた輝度値より分布情報
を算出し、さらに、ステップ３０４ではフレーム前後間
で輝度分布の相関値を算出する。ステップ３０５ではス
テップ３０４で求めた相関値の量子化を行う。
【００５６】そして、ステップ３０６では量子化区間の
中で最大の大きさを持つＬ７を選択し、ステップ３０７
では量子化区間Ｌ７の前側にある量子化区間Ｌ６を選択
し、ステップ３０８では量子化区間Ｌ７の後側にある量
子化区間Ｌ８を選択する。次に、ステップ３０９では量
子化区間Ｌ６の代表値Ａ６を選択し、ステップ３１０で
は量子化区間Ｌ８の代表値Ａ８を選択する。
中で最大の大きさを持つＬ７を選択し、ステップ３０７
では量子化区間Ｌ７の前側にある量子化区間Ｌ６を選択
し、ステップ３０８では量子化区間Ｌ７の後側にある量
子化区間Ｌ８を選択する。次に、ステップ３０９では量
子化区間Ｌ６の代表値Ａ６を選択し、ステップ３１０で
は量子化区間Ｌ８の代表値Ａ８を選択する。
【００５７】一方、ステップ３１１ではデータベース側
の動画像情報を取得し、ステップ３１２では動画像情報
の輝度値を算出する。そして、ステップ３１３ではステ
ップ３１２で求めた輝度値より分布情報を算出する。さ
らに、ステップ３１４ではフレーム前後間で輝度分布の
相関値を算出する。ステップ３１５ではステップ３１４
で求めた相関値の量子化を行う。ただし、データベース
側のここまでのステップにおいて、処理効率を考慮して
予め特徴量情報を算出するという処理を行っておくこと
も可能である。
の動画像情報を取得し、ステップ３１２では動画像情報
の輝度値を算出する。そして、ステップ３１３ではステ
ップ３１２で求めた輝度値より分布情報を算出する。さ
らに、ステップ３１４ではフレーム前後間で輝度分布の
相関値を算出する。ステップ３１５ではステップ３１４
で求めた相関値の量子化を行う。ただし、データベース
側のここまでのステップにおいて、処理効率を考慮して
予め特徴量情報を算出するという処理を行っておくこと
も可能である。
【００５８】ステップ３１６ではデータベース側の量子
化区間Ｌｄを選択し、ステップ３１７ではＬ７とＬｄが
式（６）を満たすか否かを判定する。Ｙｅｓの場合に
は、ステップ３１８の処理に移りＬｄ−１を選択し、Ｎ
ｏの場合にはステップ３２７の処理に移り、マッチング
の終了判定を行う。
化区間Ｌｄを選択し、ステップ３１７ではＬ７とＬｄが
式（６）を満たすか否かを判定する。Ｙｅｓの場合に
は、ステップ３１８の処理に移りＬｄ−１を選択し、Ｎ
ｏの場合にはステップ３２７の処理に移り、マッチング
の終了判定を行う。
【００５９】ステップ３１８ではデータベース側の量子
化区間Ｌｄ−１を選択し、ステップ３１９ではＬ６とＬ
ｄ−１が式（６）を満たすか否かを判定する。Ｙｅｓの
場合には、ステップ３２０の処理に移りＬｄ＋１を選択
し、Ｎｏの場合にはステップ３２８の処理に移り、マッ
チングの終了判定を行う。
化区間Ｌｄ−１を選択し、ステップ３１９ではＬ６とＬ
ｄ−１が式（６）を満たすか否かを判定する。Ｙｅｓの
場合には、ステップ３２０の処理に移りＬｄ＋１を選択
し、Ｎｏの場合にはステップ３２８の処理に移り、マッ
チングの終了判定を行う。
【００６０】ステップ３２０ではデータベース側の量子
化区間Ｌｄ＋１を選択し、ステップ３２１ではＬ８とＬ
ｄ＋１が式（６）を満たすか否かを判定する。Ｙｅｓの
場合には、ステップ３２２の処理に移りＬｄ−１の代表
値Ａｄ−１を選択し、Ｎｏの場合にはステップ３２９の
処理に移り、マッチングの終了判定を行う。
化区間Ｌｄ＋１を選択し、ステップ３２１ではＬ８とＬ
ｄ＋１が式（６）を満たすか否かを判定する。Ｙｅｓの
場合には、ステップ３２２の処理に移りＬｄ−１の代表
値Ａｄ−１を選択し、Ｎｏの場合にはステップ３２９の
処理に移り、マッチングの終了判定を行う。
【００６１】ステップ３２２ではデータベース側の量子
化区間Ｌｄ−１の代表値Ａｄ−１を選択し、ステップ３
２３ではＡ６とＡｄ−１が式（７）を満たすか否かを判
定する。Ｙｅｓの場合には、ステップ３２４の処理に移
りＬｄ＋１の代表値Ａｄ＋１を選択し、Ｎｏの場合には
ステップ３３０の処理に移り、マッチングの終了判定を
行う。
化区間Ｌｄ−１の代表値Ａｄ−１を選択し、ステップ３
２３ではＡ６とＡｄ−１が式（７）を満たすか否かを判
定する。Ｙｅｓの場合には、ステップ３２４の処理に移
りＬｄ＋１の代表値Ａｄ＋１を選択し、Ｎｏの場合には
ステップ３３０の処理に移り、マッチングの終了判定を
行う。
【００６２】ステップ３２４ではデータベース側の量子
化区間Ｌｄ＋１の代表値Ａｄ＋１を選択し、ステップ３
２５ではＡ８とＡｄ＋１が式（７）を満たすか否かを判
定する。Ｙｅｓの場合には、ステップ３２６の処理に移
りマッチングの結果を出力し、Ｎｏの場合にはステップ
３３１の処理に移り、マッチングの終了判定を行う。
化区間Ｌｄ＋１の代表値Ａｄ＋１を選択し、ステップ３
２５ではＡ８とＡｄ＋１が式（７）を満たすか否かを判
定する。Ｙｅｓの場合には、ステップ３２６の処理に移
りマッチングの結果を出力し、Ｎｏの場合にはステップ
３３１の処理に移り、マッチングの終了判定を行う。
【００６３】ステップ３２６ではマッチングの処理結果
から該当するデータをデータベース中から抽出しこれを
出力する。
から該当するデータをデータベース中から抽出しこれを
出力する。
【００６４】ステップ３２７からステップ３２９までの
処理は、次の量子化区間Ｌｄ、Ｌｄ −１又はＬｄ＋１が
存在するか否かを判定し、Ｙｅｓの場合はステップ３１
６の処理に移り次のＬｄでマッチング処理を継続し、Ｎ
ｏの場合はステップ３２６に移り判定式を満たしている
か否かというマッチング結果を出力する。
処理は、次の量子化区間Ｌｄ、Ｌｄ −１又はＬｄ＋１が
存在するか否かを判定し、Ｙｅｓの場合はステップ３１
６の処理に移り次のＬｄでマッチング処理を継続し、Ｎ
ｏの場合はステップ３２６に移り判定式を満たしている
か否かというマッチング結果を出力する。
【００６５】ステップ３３０からステップ３３１までの
処理は、次の代表値Ａｄ−１又はＡ ｄ＋１が存在するか
否かを判定し、Ｙｅｓの場合はステップ３１６の処理に
移り次のＬｄでマッチング処理を継続し、Ｎｏの場合は
ステップ３２６に移りマッチング結果を出力する。
処理は、次の代表値Ａｄ−１又はＡ ｄ＋１が存在するか
否かを判定し、Ｙｅｓの場合はステップ３１６の処理に
移り次のＬｄでマッチング処理を継続し、Ｎｏの場合は
ステップ３２６に移りマッチング結果を出力する。
【００６６】以上のように、本実施例においても量子化
幅Ｔと量子化区間長Ｌ、そして、各量子化区間の代表値
Ａについてその変化幅を持たせることにより、検索処理
として与えられる入力画像の画像サイズがデータベース
側とは異なっていたり、画像データの情報量を低減する
ために用いられる画像圧縮技術において，その情報量を
決定する一因子である符号化レートが異なっているよう
な動画像情報であっても検索が可能となる。また、前述
したように入力側とデータベース側の各特徴量情報のマ
ッチングにおいて、すべてのステップを行う必要はな
く、途中までのマッチング結果を用いるなど、状況に応
じて処理を制御することも可能である。
幅Ｔと量子化区間長Ｌ、そして、各量子化区間の代表値
Ａについてその変化幅を持たせることにより、検索処理
として与えられる入力画像の画像サイズがデータベース
側とは異なっていたり、画像データの情報量を低減する
ために用いられる画像圧縮技術において，その情報量を
決定する一因子である符号化レートが異なっているよう
な動画像情報であっても検索が可能となる。また、前述
したように入力側とデータベース側の各特徴量情報のマ
ッチングにおいて、すべてのステップを行う必要はな
く、途中までのマッチング結果を用いるなど、状況に応
じて処理を制御することも可能である。
【００６７】
【発明の効果】以上述べたように本発明は、請求項１、
２、１１、１２に係る構成を採用することにより、入力
に用いるデータ量が少なくなるため、ハードウエア負荷
が大きくなるという問題がなくなり、検索処理時間の短
縮化を図ることができるという特有の効果を奏するもの
である。
２、１１、１２に係る構成を採用することにより、入力
に用いるデータ量が少なくなるため、ハードウエア負荷
が大きくなるという問題がなくなり、検索処理時間の短
縮化を図ることができるという特有の効果を奏するもの
である。
【図１】本発明における基本的原理を示すブロック図で
ある。
ある。
【図２】本発明の実施例を実現するためのハードウェア
の構成図である。
の構成図である。
【図３】図２におけるＣＰＵ内で処理される動画像検索
過程のブロック図である。
過程のブロック図である。
【図４】入力側の動画像の特徴量を抽出して、これを量
子化する際の模式図である。
子化する際の模式図である。
【図５】本発明の検索方法の処理手順を示すフローチャ
ートである。
ートである。
【図６】本発明の動画像検索装置の一実施例を示す概略
ブロック図である。
ブロック図である。
【図７】輝度情報を特徴量情報の算出に用いた一実施例
を示すブロック図である。
を示すブロック図である。
【図８】輝度値を用いた時間的特徴量の量子化を示す図
である。
である。
【図９】本発明の一実施例の処理手順を示すフローチャ
ートである。
ートである。
【図１０】輝度値分布から算出した相関値を特徴量情報
に用いた一実施例を示すブロック図である。
に用いた一実施例を示すブロック図である。
【図１１】輝度値分布から算出した相関値を時間的特徴
量として量子化した図である。
量として量子化した図である。
【図１２】本発明の一実施例の処理手順を示すフローチ
ャートである。
ャートである。
１ 特徴量算出手段 ２ 特徴量算出手段 ３ マッチング処理手段 ４ カラーディスプレイ装置 ５ コンピュータ ６ 入力装置 ７ 受信ライン ８ 入出力インターフェース ９ ＣＰＵ １０ メモリ １１ 送信ライン １２ 外部情報記憶装置 １３ 画像入力部 １４ 特徴量算出部 １５ 比較情報選択部 １６ 特徴量抽出部 １７ 量子化処理部 １８ マッチング処理部 １９ 検索結果出力部 ２０ カメラ ２１ ビデオ ２２ 外部記憶媒体 ２３ 入力インターフェース ２４ 検索処理装置 ２５ データベース ２６ 出力インターフェース ２７ 表示装置 ２８ 外部記憶媒体
フロントページの続き Ｆターム(参考） 5B075 ND12 NK10 NK14 NK24 NR02 NR12 PP03 PP10 PP12 PP30 PQ02 PQ13 UU40 5L096 AA02 AA06 BA20 FA32 FA34 FA37 HA02 JA03 JA11
Claims (25)
- 【請求項１】 検索対象となる動画像信号を時系列的に
処理装置に入力する過程と、上記入力された動画像の信
号から時間的に変動する、ある特徴量情報を抽出する過
程と、上記抽出された信号の時間的特徴量を特定の量子
化幅で量子化した特徴量情報を作成する過程と、該特徴
量情報に対応した比較のための特徴量情報を、予め記録
されているデータベースから抽出する過程と、上記両特
徴量情報を量子化誤差を用いて判定式によって照合 (以
下、マッチングと呼ぶ) する過程と、を備えたことを特
徴とする動画像検索方法。 - 【請求項２】 検索対象となる動画像を時系列的に処理
装置に入力する過程と、上記入力された動画像の信号か
ら時間的に変動する、ある特徴量情報を抽出する過程
と、上記抽出された信号の時間的特徴量を特定の量子化
幅で量子化した特徴量情報を作成する過程と、該特徴量
情報をある決まった尺度で分類(以下、グループ化と呼
ぶ)して新たに特徴量情報を作成する過程と、該特徴量
情報に対応した比較のための特徴量情報を、予め記録さ
れているデータベースから抽出する過程と、上記両グル
ープ化された特徴量情報を、グループ化による誤差を用
いてマッチング処理する過程と、を備えたことを特徴と
する動画像検索方法。 - 【請求項３】 動画像の信号から抽出する特徴量情報と
して、輝度、明度、彩度、色空間、またこれらの頻度分
布などから明るさや色といった数値画素データを用いる
過程を備えたことを特徴とする請求項１又は請求項２に
記載の動画像検索方法。 - 【請求項４】 量子化誤差を用いて特徴量情報をマッチ
ングする際に、特徴量算出過程を必要に応じて終了させ
る過程と、それまでのマッチング結果を出力する過程を
備えたことを特徴とする請求項１又は請求項２に記載の
動画像検索方法。 - 【請求項５】 量子化誤差を用いて特徴量情報をマッチ
ングする際に、少なくとも一つの量子化区間長の値を利
用してマッチングを行う過程を備えたことを特徴とする
請求項１に記載の動画像検索方法。 - 【請求項６】 量子化誤差を用いて特徴量情報をマッチ
ングする際に、少なくとも一つの量子化区間の代表値を
利用してマッチングを行う過程を備えたことを特徴とす
る請求項１に記載の動画像検索方法。 - 【請求項７】 量子化誤差を用いて特徴量情報をマッチ
ングする際に、少なくとも一つの量子化区間長の値と少
なくとも一つの量子化区間の代表値を利用してマッチン
グを行う過程を備えたことを特徴とする請求項１に記載
の動画像検索方法。 - 【請求項８】 量子化誤差を用いて特徴量情報をマッチ
ングする際に、一つ以上の量子化区間長の値と一つ以上
の量子化区間の代表値から、平均や分散などの代表値を
利用したグループ化を行って特徴量情報を作成する過程
と、該特徴量情報を利用してマッチングを行う過程を備
えたことを特徴とする請求項２に記載の動画像検索方
法。 - 【請求項９】 動画像情報に付随の同期音声情報におけ
る数値データを用いることで、動画像信号と同様の処理
により音声信号を用いた検索を特徴とする請求項１又は
請求項２に記載の動画像検索方法。 - 【請求項１０】 動画像情報に付随の同期音声情報を対
象として、量子化誤差を用いて特徴量情報をマッチング
する際に、特徴量算出過程を必要に応じて終了する過程
と、それまでのマッチング結果を出力する過程を備えた
ことを特徴とする請求項９に記載の動画像検索方法。 - 【請求項１１】 検索対象となる動画像を時系列的に処
理装置に入力する画像入力処理手段と、 上記画像入力処理手段により入力された動画像の信号か
ら時間的に変動する、ある特徴量情報を抽出する特徴量
抽出部と、該特徴量抽出部によって抽出された特徴量情
報を特定の量子化幅により量子化し、新たな特徴量情報
を求める量子化処理部とを含む特徴量算出手段と、 上記画像入力手段から入力された動画像に対応した比較
のための特徴量情報を、予め記録されたデータベースか
ら抽出する比較情報選択手段と、 上記特徴量算出手段により求めた特徴量情報と、上記比
較情報選択手段により抽出された特徴量情報との比較
を、その量子化誤差を用いて判定式によってマッチング
処理を行うマッチング処理部と、 上記マッチング処理部の結果を出力する検索結果処理部
と、 を備えたことを特徴とする動画像検索装置。 - 【請求項１２】 検索対象となる動画像を時系列的に処
理装置に入力する画像入力処理手段と、 上記画像入力処理手段により入力された動画像の信号か
ら時間的に変動する、ある特徴量情報を抽出する特徴量
抽出部と、該特徴量抽出部によって抽出された特徴量情
報を特定の量子化幅により量子化し、新たな特徴量情報
を求める量子化処理部と、さらに該特徴量情報をグルー
プ化して新たに特徴量情報を作成する手段を含む特徴量
算出手段と、 上記画像入力手段から入力された動画像に対応した比較
のための特徴量情報を、予め記録されたデータベースか
ら抽出する比較情報選択手段と、 上記特徴量算出手段により求めた特徴量情報と、上記比
較情報選択手段により抽出された特徴量情報との比較
を、その量子化誤差を用いて判定式によってマッチング
処理を行うマッチング処理部と、 上記マッチング処理部の結果を出力する検索結果処理部
と、 を備えたことを特徴とする動画像検索装置。 - 【請求項１３】 動画像の信号から抽出する特徴量情報
として、輝度、明度、彩度、色空間、またこれらの頻度
分布などから明るさや色といった数値画素データを用い
る手段を備えたことを特徴とする請求項１１又は請求項
１２に記載の動画像検索装置。 - 【請求項１４】 量子化誤差を用いて特徴量情報をマッ
チングするマッチング処理部が、特徴量算出手段を必要
に応じて終了させる手段と、それまでのマッチング結果
を出力する手段を備えたことを特徴とする請求項１１又
は請求項１２に記載の動画像検索装置。 - 【請求項１５】 量子化誤差を用いて特徴量情報をマッ
チングする際に、特徴量算出手段を必要に応じて終了さ
せる手段と、それまでのマッチング結果を出力する手段
を備えたことを特徴とする請求項１１又は請求項１２に
記載の動画像検索装置。 - 【請求項１６】 量子化誤差を用いて特徴量情報をマッ
チングする際に、少なくとも一つの量子化区間長の値を
利用してマッチングを行う手段を備えたことを特徴とす
る請求項１１に記載の動画像検索装置。 - 【請求項１７】 量子化誤差を用いて特徴量情報をマッ
チングする際に、少なくとも一つの量子化区間の代表値
を利用してマッチングを行う手段を備えたことを特徴と
する請求項１１に記載の動画像検索装置。 - 【請求項１８】 量子化誤差を用いて特徴量情報をマッ
チングする際に、少なくとも一つの量子化区間長の値と
少なくとも一つの量子化区間の代表値を利用してマッチ
ングを行う手段を備えたことを特徴とする請求項１１に
記載の動画像検索装置。 - 【請求項１９】 量子化誤差を用いて特徴量情報をマッ
チングする際に、一つ以上の量子化区長の間値と一つ以
上の量子化区間の代表値から、平均や分散などの代表値
を利用したグループ化を行って特徴量情報を作成する手
段と、該特徴量情報を利用してマッチングを行う手段を
備えたことを特徴とする請求項１２に記載の動画像検索
装置。 - 【請求項２０】 動画像情報に付随の同期音声情報にお
ける数値データを用いることで、動画像信号と同様の処
理により音声信号を用いた検索を特徴とする請求項１１
又は請求項１２に記載の動画像検索装置。 - 【請求項２１】 動画像情報に付随の同期音声情報を対
象として、量子化誤差を用いて特徴量情報をマッチング
する際に、特徴量算出手段を必要に応じて終了する手段
と、それまでのマッチング結果を出力する手段を備えた
ことを特徴とする請求項２０に記載の動画像検索装置。 - 【請求項２２】 特徴量算出手段を他の計算機に分散さ
せ、画像入力処理機能に加えて、画像信号と特徴量情報
とを判別し、該画像信号から特徴量情報を算出するか、
該特徴量情報を用いてマッチングを行う手段を備えたこ
とを特徴とする請求項１１に記載の動画像検索装置。 - 【請求項２３】 特徴量算出手段を他の計算機に分散さ
せ、画像入力処理機能に加えて、画像信号と特徴量情報
とを判別し、該画像信号から特徴量情報を算出するか、
該特徴量情報をグループ化して新たな特徴量情報を作成
して、グループ化による誤差を用いてマッチングを行う
手段を備えたことを特徴とする請求項１２に記載の動画
像検索装置。 - 【請求項２４】 画像入力処理手段により入力された動
画像の信号から時間的に変動する特徴量情報を抽出する
特徴量抽出部を他の計算機に分散させ、画像入力処理機
能に加えて、画像信号と特徴量抽出部により抽出された
特徴量情報とを判別し、該画像信号から特徴量情報を算
出するか、該特徴量情報を特定の量子化幅により量子化
する量子化処理部によって特徴量情報を算出し、該特徴
量情報を用いてマッチングを行う手段を備えたことを特
徴とする請求項１１に記載の動画像検索装置。 - 【請求項２５】 画像入力処理手段により入力された動
画像の信号から時間的に変動する特徴量情報を抽出する
特徴量抽出部を他の計算機に分散させ、画像入力処理機
能に加えて、画像信号と特徴量抽出部により抽出された
特徴量情報とを判別し、該画像信号から特徴量情報を算
出するか、該特徴量情報を特定の量子化幅により量子化
する量子化処理部によって特徴量情報を算出し、該特徴
量情報グループ化して新たな特徴量情報を作成して、グ
ループ化による誤差を用いてマッチングを行う手段を備
えたことを特徴とする請求項１２に記載の動画像検索装
置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000309364A JP2002117407A (ja) | 2000-10-10 | 2000-10-10 | 動画像検索方法及びその装置 |
| US09/975,783 US20020106127A1 (en) | 2000-10-10 | 2001-10-10 | Method of and apparatus for retrieving movie image |
| FR0113077A FR2815151A1 (fr) | 2000-10-10 | 2001-10-10 | Procede de recherche d'images dans un film et dispositif faisant application dudit procede |
| US11/341,965 US20060126942A1 (en) | 2000-10-10 | 2006-01-26 | Method of and apparatus for retrieving movie image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000309364A JP2002117407A (ja) | 2000-10-10 | 2000-10-10 | 動画像検索方法及びその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002117407A true JP2002117407A (ja) | 2002-04-19 |
Family
ID=18789540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000309364A Pending JP2002117407A (ja) | 2000-10-10 | 2000-10-10 | 動画像検索方法及びその装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20020106127A1 (ja) |
| JP (1) | JP2002117407A (ja) |
| FR (1) | FR2815151A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003063082A1 (fr) * | 2002-01-25 | 2003-07-31 | Satake Corporation | Appareil de recherche concernant une image animee |
| JP2010186358A (ja) * | 2009-02-13 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像分類方法、映像分類装置および映像分類プログラム |
| US7869659B2 (en) | 2005-03-31 | 2011-01-11 | Sony Corporation | Image-comparing apparatus, image-comparing method, image-retrieving apparatus and image-retrieving method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005364A (ja) * | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
| GB0230097D0 (en) * | 2002-12-24 | 2003-01-29 | Koninkl Philips Electronics Nv | Method and system for augmenting an audio signal |
| US20070016559A1 (en) * | 2005-07-14 | 2007-01-18 | Yahoo! Inc. | User entertainment and engagement enhancements to search system |
| US8972856B2 (en) * | 2004-07-29 | 2015-03-03 | Yahoo! Inc. | Document modification by a client-side application |
| US8335239B2 (en) * | 2005-03-31 | 2012-12-18 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for bandwidth conservation |
| FR2929734A1 (fr) * | 2008-04-03 | 2009-10-09 | St Microelectronics Rousset | Procede et systeme de videosurveillance. |
| US20090320063A1 (en) * | 2008-06-23 | 2009-12-24 | Microsoft Corporation | Local advertisement insertion detection |
| US20090320060A1 (en) * | 2008-06-23 | 2009-12-24 | Microsoft Corporation | Advertisement signature tracking |
| EP2337345B1 (en) * | 2009-01-23 | 2014-01-08 | Nec Corporation | Video identifier extracting device |
| CN102292724B (zh) * | 2009-01-23 | 2015-06-17 | 日本电气株式会社 | 匹配加权信息提取装置 |
| US20120297412A1 (en) * | 2011-05-16 | 2012-11-22 | Charles Dasher | Video-On-Demand (VOD) Catalog Search via Image Recognition |
| CN104050279B (zh) * | 2014-06-27 | 2018-03-06 | Tcl集团股份有限公司 | 一种特征匹配的方法、装置及图像识别设备 |
| US12131448B2 (en) * | 2022-10-03 | 2024-10-29 | Snap Inc. | Real-time machine learning based in-painting |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2562364B1 (fr) * | 1984-04-03 | 1987-06-19 | Thomson Csf | Procede et systeme de compression de debit de donnees numeriques transmises entre un emetteur et un recepteur de television |
| US4875095A (en) * | 1987-06-30 | 1989-10-17 | Kokusai Denshin Denwa Kabushiki Kaisha | Noise-shaping predictive coding system |
| US5194950A (en) * | 1988-02-29 | 1993-03-16 | Mitsubishi Denki Kabushiki Kaisha | Vector quantizer |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| US5552412A (en) * | 1995-01-09 | 1996-09-03 | Pfizer Inc | 5-substitued-6-cyclic-5,6,7,8-tetrahydronaphthalen2-ol compounds which are useful for treating osteoporosis |
| US6151598A (en) * | 1995-08-14 | 2000-11-21 | Shaw; Venson M. | Digital dictionary with a communication system for the creating, updating, editing, storing, maintaining, referencing, and managing the digital dictionary |
| US6349297B1 (en) * | 1997-01-10 | 2002-02-19 | Venson M. Shaw | Information processing system for directing information request from a particular user/application, and searching/forwarding/retrieving information from unknown and large number of information resources |
| US6181821B1 (en) * | 1997-04-30 | 2001-01-30 | Massachusetts Institute Of Technology | Predictive source encoding and multiplexing |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| US6163622A (en) * | 1997-12-18 | 2000-12-19 | U.S. Philips Corporation | Image retrieval system |
| US6330576B1 (en) * | 1998-02-27 | 2001-12-11 | Minolta Co., Ltd. | User-friendly information processing device and method and computer program product for retrieving and displaying objects |
| US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
| US6253201B1 (en) * | 1998-06-23 | 2001-06-26 | Philips Electronics North America Corporation | Scalable solution for image retrieval |
| KR100737176B1 (ko) * | 1999-02-15 | 2007-07-10 | 소니 가부시끼 가이샤 | 신호 처리 방법 및 영상 음성 처리 장치 |
| US6408301B1 (en) * | 1999-02-23 | 2002-06-18 | Eastman Kodak Company | Interactive image storage, indexing and retrieval system |
-
2000
- 2000-10-10 JP JP2000309364A patent/JP2002117407A/ja active Pending
-
2001
- 2001-10-10 FR FR0113077A patent/FR2815151A1/fr active Pending
- 2001-10-10 US US09/975,783 patent/US20020106127A1/en not_active Abandoned
-
2006
- 2006-01-26 US US11/341,965 patent/US20060126942A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003063082A1 (fr) * | 2002-01-25 | 2003-07-31 | Satake Corporation | Appareil de recherche concernant une image animee |
| US7869659B2 (en) | 2005-03-31 | 2011-01-11 | Sony Corporation | Image-comparing apparatus, image-comparing method, image-retrieving apparatus and image-retrieving method |
| JP2010186358A (ja) * | 2009-02-13 | 2010-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像分類方法、映像分類装置および映像分類プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060126942A1 (en) | 2006-06-15 |
| FR2815151A1 (fr) | 2002-04-12 |
| US20020106127A1 (en) | 2002-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002117407A (ja) | 動画像検索方法及びその装置 | |
| US7376263B2 (en) | Content-based multimedia retrieval system and method thereof | |
| US10452919B2 (en) | Detecting segments of a video program through image comparisons | |
| US20030002853A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| CN101394522B (zh) | 一种视频拷贝的检测方法和系统 | |
| JP3550681B2 (ja) | 画像検索装置及び方法、並びに類似画像検索プログラムを格納した記憶媒体 | |
| JPH11509025A (ja) | 直流および動きの記号を用いた圧縮ｍｐｅｇ系列のビデオ検索 | |
| JP2002530781A (ja) | データベースを用いて画像を獲得するシステム | |
| EP1195696A2 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
| EP3438883B1 (en) | Method and apparatus for detecting a common section in moving pictures | |
| JP2001160062A (ja) | 画像データ検索装置 | |
| JP2011108262A (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| WO2007066924A1 (en) | Real-time digital video identification system and method using scene information | |
| CN113807452B (zh) | 一种基于注意力机制的业务过程异常检测方法 | |
| CN103702134A (zh) | 图像处理设备、图像处理方法及程序 | |
| JP2006092559A (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| CN117478886A (zh) | 多媒体数据编码方法、装置、电子设备及存储介质 | |
| EP1161098B1 (en) | Signal detection method and apparatus | |
| JP3408800B2 (ja) | 信号検出方法、装置及びそのプログラム、記録媒体 | |
| KR20050031013A (ko) | 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법 | |
| JPH09294277A (ja) | 予測符号化画像データ管理方法及び装置 | |
| US7260642B2 (en) | Method and system for real-time monitoring image transmission | |
| KR100981125B1 (ko) | 동영상 처리 방법 및 그 장치 | |
| JP4575751B2 (ja) | ヒストグラム近似復元装置及びヒストグラム近似復元方法、並びに画像検索装置及び画像検索方法 |