JP3379453B2 - 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像中から所望
の画像を検索する装置に係り、特に画像の中から字幕が
現れている領域を検出する字幕領域検出方法及びその装
置、並びに動画像検索方法及びその装置に関するもので
ある。

【０００２】

【従来の技術】近年、動画像中に現れる字幕を自動検出
し、字幕の現れているシーンの代表画像を抽出して一覧
表示することにより、所望のシーンを探し出す動画像検
索装置が検討されている。このような動画像検索装置
は、例えば特開平７−１９２００３号公報に開示されて
おり、その実現のためには字幕領域検出方法を実行する
手段が不可欠である。以下、従来の動画像検索装置で用
いられた字幕領域検出方法について説明する。

【０００３】図１５に字幕領域検出装置の構成を示す。
１５０１は輝度判定手段であり、フレーム画像データを
入力して高輝度画素を抽出する。１５０２は輝度差判定
手段であり、輝度判定手段１５０１で抽出された画素の
輝度を近傍の画素と比較し、輝度差の高い画素を抽出す
る。１５０３はフレーム照合手段であり、輝度差判定手
段１５０２で抽出された画素が一定時間同一位置にある
かどうかを判定する。１５０４は字幕領域抽出手段であ
り、フレーム照合手段１５０３で一定時間同一位置にあ
ると判定された字幕の候補画素の分布を調べ、字幕であ
るかどうかを判定する。１５０５は閾値管理手段であ
り、上記の抽出、判定処理を行うための閾値を設定す
る。

【０００４】以下、図１６のフローチャートを用い、従
来の字幕領域検出装置の処理を詳細に説明する。最初に
フレーム番号ｔを０に初期化する（１６００）。次に、
ｗ×ｈ画素（ｗ、ｈは整数）のフレーム画像データを入
力する（１６０１）。フレーム番号ｔに対するｗ×ｈの
３次元配列Ｅ（ｘ，ｙ，ｔ）を用意する（１６０２）。

【０００５】入力したフレーム画像データの各画素につ
いて、その画素が字幕を形成する画素の１つになってい
るかどうかを判定するため、次の処理（１６０３〜１６
１２）を行う。 （１）輝度が閾値ｔｈ１以上かどうかを判定する（１６
０４）。閾値以上であれば１６０５に進む。そうでなけ
れば字幕と無関係の画素なので、現在の座標に対応する
配列Ｅに０を代入する（１６０８）。 （２）８近傍の画素と現在の画素との間でそれぞれ輝度
差を求め、閾値ｔｈ２以上のものがあるかどうか調べる
（１６０５）。もし１つでもあれば１６０６に進み、な
ければ１６０８に進む。 （３）輝度差が８近傍の画素全てで閾値を超えているか
を判定する（１６０６）。全てで閾値を超えている場
合、その画素はノイズである可能性が高いので、字幕と
無関係な画素として１６０８に進む。そうでなければ字
幕を形成する画素の１つであるとして現在の座標に対応
する配列Ｅに１を代入する（１６０７）。 （４）現在座標を示す変数ｘ、ｙを１ずつ増加させ、全
ての画素について（１）〜（３）の処理を行う（１６０
９〜１６１２）。

【０００６】次に、一定時間同じ位置に文字が存在して
いるかどうかを判定する。上記の処理によって得られた
ｎフレーム分の配列Ｅについて論理積をとる。具体的に
は、各配列のそれぞれ同じ座標に対応するデータを比較
し、それらが全て１であれば１を２次元配列Ｅ’（ｘ，
ｙ）に代入する。１つでも０があった場合には０を配列
Ｅ’（ｘ，ｙ）に代入する（１６１３）。

【０００７】上記の処理が完了した時点で字幕の一部と
目されている画素が密集して存在しているかどうかを判
定する。すなわち、ｙ方向についてｙがｉでＥ’（ｘ，
ｙ）の値が１であるものの数をカウントし、ヒストグラ
ムＨｙ（ｉ）を作成する（１６１４）。もし、ヒストグ
ラムの各度数のうち、閾値ｔｈ３を越えているものがあ
れば（１６１５）その度数に対応する行に字幕が現れて
いる。Ｅ’（ｘ，ｙ）は論理積の結果なので、ｎフレー
ム前のフレームに字幕が現れていると判断し字幕領域検
出処理１６１６を実行する。

【０００８】字幕領域検出処理１６１６の詳細を図１７
に示す。ヒストグラムの度数が閾値ｔｈ３を越えてピー
クとなっている行が複数あり、それらのピークに挟まれ
た行に十分な度数がない場合には複数の字幕が現れてい
ると見なし、それらの字幕の数を求めてＬｎに代入する
（１７０１）。全ての字幕について１７０２〜１７１０
の処理を行う。Ｌｎはループカウンタとして用いられ、
１つの字幕の処理が完了する毎に１ずつ減り（１７０
８）、０になるまでループする（１７１０）。１７０２
は、閾値ｔｈ３を越えている行が連続する部分を検出
し、その区間を求めて開始行のｙ座標をｙｏ、終了行の
ｙ座標をｙｃに代入する。次に、ｙがｙｏからｙｃの間
でＥ’（ｘ，ｙ）が１の数をカウントしてヒストグラム
Ｈ’ｘ（ｉ）を作成し（１７０３）、そのヒストグラム
中で度数が閾値ｔｈ４を越えている部分を抽出する。そ
して、その開始列のｘ座標をｘｏに、終了列のｘ座標を
ｘｃに代入する（１７０４）。（ｘｏ，ｙｏ）及び（ｘ
ｃ，ｙｃ）によって示される矩形領域を字幕の存在領域
とする。

【０００９】フレーム番号ｔー１において、矩形領域
（ｘｏ，ｙｏ）−（ｘｃ，ｙｃ）に字幕があると判定さ
れていた場合、以前から現れていた字幕として特別な処
理はしない（１７０６）。字幕がなかった場合には新規
にｎフレーム前に字幕が現れたと判定する。検出された
字幕は常に監視され、検出されなくなったフレーム番号
から１を引いた番号をその字幕の終了フレームとし、矩
形領域（ｘｏ，ｙｏ）−（ｘｃ，ｙｃ）のＥ’（ｘ，
ｙ）の値を０にする。

【００１０】

【発明が解決しようとする課題】以上のように従来の技
術では、字幕の文字の一部と目されている画素（字幕画
素）の総和が閾値ｔｈ３を超える行を検出してから、字
幕画素の総和が閾値ｔｈ４を超える列を検出し、検出さ
れた矩形領域を字幕の存在領域（字幕領域）としてい
る。しかし、図１８に示した横縞模様のように繰り返し
パターンから構成される矩形領域を字幕領域として誤検
出するという課題を有していた。

【００１１】本発明は、字幕領域の誤検出を防止し高精
度な字幕領域検出及びそれを用いた動画像検索を行うこ
とを目的とする。

【００１２】

【課題を解決するための手段】この課題を解決するため
に本発明は、画像の一部または全体を複数個のブロック
に分割し、ブロックの間の差異を計算し、差異を用いて
字幕領域を判定するように構成したものである。

【００１３】これにより、繰り返しパターンから構成さ
れる矩形領域が字幕領域と判定されるケースが減少し、
字幕領域の誤検出を削減することができる。

【００１４】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像の一部または全体を複数個のブロックに分割
し、ブロックの間の差異を計算し、前記ブロック間の差
異を用いて字幕領域のブロックを判定するもので、同じ
模様のブロックから構成される矩形領域を字幕領域と判
定しないので、字幕領域の誤検出を削減する作用を有す
る。

【００１５】請求項２に記載の発明は、請求項１記載の
字幕領域検出方法において、字幕領域の判定は、隣接す
るブロックの間の差異を計算し、差異が閾値以上になる
ブロックを字幕領域とするもので、間に一つ以上のブロ
ックを挟んだ２つのブロックではなく、隣接するブロッ
クの差異を比較するので、同じ模様の領域が２つのブロ
ックだけしか含まない場合のように、小さい領域に対し
ても字幕領域の誤検出を削減する作用を有する。

【００１６】請求項３に記載の発明は、画像の一部また
は全体を複数個のブロックに分割し、文字が存在する可
能性の高いブロックを候補ブロックとし、候補ブロック
の空間的な分布を用いて候補領域を決定し、候補領域内
のブロック間の差異を計算し、前記ブロック間の差異を
用いて字幕領域のブロックを判定するもので、文字が存
在する可能性の高いブロックを用いて字幕領域の候補領
域を決定してからブロック間の差異を比較しているの
で、文字が存在する可能性の高さに関係なくブロック間
の差異を比較する場合に比べて、字幕領域の誤検出をよ
り多く削減する作用を有する。

【００１７】請求項４に記載の発明は、請求項３記載の
字幕領域検出方法において、幕領域の判定は、候補領域
内の隣接ブロック間の差異の平均値が閾値以上になると
き候補領域を字幕領域とするもので、隣接ブロック間の
差異の平均値を用いているので、同じ模様のブロックが
多い候補領域を字幕領域と判定しなくなり、字幕領域の
誤検出を削減する作用を有する。

【００１８】請求項５に記載の発明は、請求項３または
請求項４に記載の字幕領域検出方法において、候補ブロ
ックが水平方向に連続する領域を候補領域とするもの
で、水平方向に文字が並ぶ字幕を検出する作用を有す
る。

【００１９】請求項６に記載の発明は、請求項３乃至５
のいずれかに記載の字幕領域検出方法において、文字が
存在する可能性の高いブロックの検出は、字幕の文字の
一部と予想した画素の総数が閾値以上になるブロックを
検出するもので、字幕の文字を含むブロックでは、字幕
の文字の一部である画素が多数存在するので、文字が存
在する可能性の高いブロックを検出する作用を有する。

【００２０】請求項７に記載の発明は、請求項１乃至６
のいずれかに記載の字幕領域検出方法において、ブロッ
ク間の差異は、字幕の文字の一部と予想した画素を用い
て計算した値とするもので、字幕中の各ブロックには様
々な文字が含まれているために、字幕の文字の一部と予
想した画素の分布が各ブロックで多様になり、字幕中の
ブロック間の差異が大きい値になるのに対して、背景の
模様を誤って字幕の文字の一部と予想しても、同じ模様
が空間的に連続する背景部分のブロック間の差異は小さ
い値になるので、同じ模様が空間的に連続する背景部分
と字幕を判別する作用を有する。

【００２１】請求項８に記載の発明は、請求項１乃至６
のいずれかに記載の字幕領域検出方法において、ブロッ
ク間の差異は、ブロックを複数の小領域に分割し、各小
領域に対して、字幕の文字の一部と予想した画素の総和
を計算して小領域の特徴量とし、同一位置の小領域にお
ける特徴量の差異を用いて計算するもので、字幕中の各
ブロックには様々な文字が含まれているために、字幕の
文字の一部と予想した画素の分布が各ブロックで多様に
なり、異なるブロックの同一位置の小領域における特徴
量の値がばらつくのに対して、背景の模様を誤って字幕
の文字の一部と予想しても、同じ模様が空間的に連続す
る背景部分の異なるブロックでは、同一位置の小領域の
特徴量がほぼ同じ値になるので、同じ模様が空間的に連
続する背景部分と字幕を判別する作用を有する。

【００２２】請求項９に記載の発明は、請求項６乃至８
のいずれかに記載の字幕領域検出方法において、字幕の
文字の一部の画素として予想された画素は、輝度が閾値
以上になる画素とするもので、字幕の文字は輝度値が大
きい値になるので、背景部分の画素を誤って予想するこ
ともあるが、予想した画素の中に字幕の文字の一部の画
素がもれなく入るようにする作用を有する。

【００２３】請求項１０に記載の発明は、請求項６乃至
８のいずれかに記載の字幕領域検出方法において、字幕
の文字の一部の画素として予想された画素は、輝度が閾
値以上になり、かつ隣接する画素との間の輝度差が閾値
以上になる画素とするもので、字幕の文字と背景との境
界では、輝度差が大きい値になるので、背景部分の画素
を誤って予想する画素を減らしながら、予想した画素の
中に字幕の文字の一部の画素がもれなく入るようにする
作用を有する。

【００２４】請求項１１に記載の発明は、画像の一部ま
たは全体を複数個のブロックに分割する画像分割手段
と、ブロック間の差異を計算するブロック差異計算手段
と、前記ブロック差異計算手段から出力される差異が閾
値以上になるブロックを字幕領域と判定する領域判定手
段とを備えたもので、同じ模様のブロックから構成され
る矩形領域を字幕領域と判定しないので、字幕領域の誤
検出を削減する作用を有する。

【００２５】請求項１２に記載の発明は、画像の一部ま
たは全体を複数個のブロックに分割する画像分割手段
と、文字が存在する可能性の高いブロックを候補ブロッ
クとする候補ブロック判定手段と、候補ブロックの空間
的な分布を用いて候補領域を決定する候補領域判定手段
と、前記ブロック間の差異を計算するブロック差異計算
手段と、前記ブロック差異計算手段から出力される差異
を用いて字幕領域を判定する領域判定手段とを備えたも
ので、文字が存在する可能性の高いブロックを用いて字
幕領域の候補領域を決定してからブロック間の差異を比
較しているので、文字が存在する可能性の高さに関係な
くブロック間の差異を比較する場合に比べて、字幕領域
の誤検出をより多く削減する作用を有する。

【００２６】請求項１３に記載の発明は、請求項１乃至
１０のいずれかに記載の字幕領域検出方法により得られ
た結果を用いて代表画像を決定し、その代表画像の表示
と動画像の再生を実行するもので、字幕は、ニュース番
組の話題や、被写体の名称、特徴などを表すことが多
く、字幕領域を含む画像を代表画像として一覧表示する
ことで、ユーザーが話題や被写体に着目して動画像を検
索することができる作用を有する。

【００２７】請求項１４に記載の発明は、動画像からフ
レーム画像を抽出する画像抽出手段と、画像の一部また
は全体を複数個のブロックに分割し、ブロックの間の差
異を計算し、差異を用いて字幕領域のブロックを判定す
ることで、フレーム画像中の字幕領域の有無を判定する
字幕領域検出手段と、前記字幕領域を含むフレーム画像
を動画像の代表画像にする代表画像抽出手段と、前記代
表画像を表示する表示手段を備えたもので、字幕は、ニ
ュース番組の話題や、被写体の名称、特徴などを表すこ
とが多く、ユーザーが話題や被写体に着目して動画像を
検索することができる作用を有する。

【００２８】請求項１５に記載の発明は、動画像からフ
レーム画像を抽出する画像抽出手段と、画像の一部また
は全体を複数個のブロックに分割し、ブロックの間の差
異を計算し、差異を用いて字幕領域のブロックを判定す
ることで、フレーム画像中の字幕領域の有無を判定する
字幕領域検出手段と、前記字幕領域を含むフレーム画像
を動画像の代表画像にする代表画像抽出手段と、前記代
表画像の字幕領域中の字幕を文字認識する文字認識手段
と、前記代表画像および文字認識結果を表示する表示手
段とを備えたもので、字幕の文字認識結果を見ながら動
画像を検索することができる作用を有する。

【００２９】請求項１６に記載の発明は、動画像からフ
レーム画像を抽出する画像抽出手段と、画像の一部また
は全体を複数個のブロックに分割し、ブロックの間の差
異を計算し、差異を用いて字幕領域のブロックを判定す
ることで、フレーム画像中の字幕領域の有無を判定する
字幕領域検出手段と、前記字幕領域を含むフレーム画像
を動画像の代表画像にする代表画像抽出手段と、前記動
画像全体の中から代表画像の時刻付近の動画像を代表動
画像とする代表動画像抽出手段と、前記代表動画像抽出
手段からの複数の代表動画像を次々に再生して表示する
表示手段を備えたもので、ユーザーが、動画像を見なが
ら話題や被写体に着目して検索することができる作用を
有する。

【００３０】請求項１７に記載の発明は、動画像からフ
レーム画像を抽出する画像抽出手段と、画像の一部また
は全体を複数個のブロックに分割し、ブロックの間の差
異を計算し、差異を用いて字幕領域のブロックを判定す
ることで、フレーム画像中の字幕領域の有無を判定する
字幕領域検出手段と、前記字幕領域を含むフレーム画像
を動画像の代表画像にする代表画像抽出手段と、前記代
表画像抽出手段の中から１枚の代表画像を選択する入力
手段と、前記代表画像抽出手段で抽出された複数の代表
画像を第１の領域に表示し、前記入力手段で選択された
代表画像の時刻から前記動画像を再生し第２の領域に表
示する表示手段を備えるもので、ユーザーが話題や被写
体に着目して動画像を検索し、関連するところから動画
像を再生できる作用を有する。

【００３１】請求項１８に記載の発明は、請求項１４乃
至１７のいずれかに記載の動画像検索装置において、代
表画像抽出手段が、時系列のフレーム画像の字幕領域を
比較して字幕領域の出現を検出する字幕出現判定手段
と、ある字幕領域が出現してから次の字幕領域が出現す
るまでのフレーム画像中から字幕領域を含むフレーム画
像を１枚抜き出して代表画像にする代表画像判定手段を
備えるもので、字幕領域が出現してから次の字幕領域が
出現するまでの間から代表画像を抜き出すので、同一の
字幕領域をもつ代表画像が１枚だけになり、冗長のない
代表画像を作成する作用を有する。

【００３２】請求項１９に記載の発明は、映像圧縮を実
行する映像圧縮手段と、映像や代表画像などのデータを
蓄積するデータ蓄積手段と、請求項１乃至１０のいずれ
かに記載の字幕領域検出方法を実行してその結果を用い
て代表画像を決定する代表画像決定手段と、前記代表画
像の表示と映像の再生を実行する検索用の検索手段と
を、１つまたは複数のコンピュータで実行し、各コンピ
ュータを接続するためのネットワーク手段を備えるもの
で、データ蓄積を主目的とするコンピュータと、検索を
主目的とするコンピュータを分離することが可能にな
り、データ管理や検索作業を簡単にする作用を有する。

【００３３】請求項２０に記載の発明は、コンピュータ
によって動画像中のフレーム画像から字幕領域を検出す
るプログラムを記録した記憶媒体であって、フレーム画
像の一部または全体を複数個のブロックに分割し、ブロ
ックの間の差異を計算し、差異を用いて字幕領域のブロ
ックを判定することを特徴とする字幕領域検出プログラ
ムを記憶した記憶媒体から字幕領域検出プログラムをコ
ンピュータに読み込み実行するもので、字幕領域の誤検
出を削減する作用を有する。

【００３４】請求項２１に記載の発明は、コンピュータ
によって動画像中のフレーム画像から字幕領域を検出す
るプログラムを記録した記憶媒体であって、請求項１乃
至１０のいずれかに記載の字幕領域検出方法により得ら
れた結果を用いて代表画像を決定し、その代表画像の表
示と映像の再生を実行することを特徴とする動画像検索
プログラムを記憶した記憶媒体から動画像検索プログラ
ムをコンピュータに読み込み実行するもので、ユーザー
が話題や被写体に着目して動画像を検索することができ
る作用を有する。

【００３５】以下、本発明の実施の形態について、図を
用いて説明する。 （実施の形態１）図１は、実施の形態１における字幕領
域検出装置の構成図である。図１において、１０１は画
像データを入力する入力端子である。１０２は入力され
た画像データを複数個のブロックに分割する画像分割手
段である。１０３は隣接するブロック間の差異を計算す
るブロック差異計算手段であり、ブロックを小領域に分
割するブロック分割手段１０４と、小領域中の各画素が
字幕の文字の一部である画素（字幕画素）かどうかを判
定する字幕画素判定手段１０５と、小領域中の字幕画素
の総数を小領域の特徴量として出力する字幕画素数出力
手段１０６と、隣接する２つのブロックで同一位置にあ
る小領域の特徴量の差異を計算する小領域差異計算手段
１０７と、小領域差異計算手段１０７から出力される差
異の値の総和を計算する総和計算手段１０８から構成さ
れる。１０９はブロック差異計算手段１０３から出力さ
れる差異が閾値以上になるとき、差異を求めた隣接ブロ
ックを字幕領域と判定する領域判定手段である。１１０
は字幕領域の座標を出力する出力端子である。

【００３６】以下、図１の字幕領域検出装置の動作につ
いて、図２のフローチャートを用いて説明する。

【００３７】手順２０１では、画像分割手段１０２が、
入力端子１０１から入力したｗ×ｈ画素（ｗ、ｈは自然
数）の画像をｍ×ｎ画素（ｍ、ｎは自然数）のブロック
に分割し、各ブロックの座標を出力する。また、ブロッ
ク番号ｊ（ｊは自然数）を１に設定し、ブロック数Nbの
値を設定する。以下、ｊ番目のブロックをＢ(j)とよ
ぶ。

【００３８】手順２０２では、ブロック分割手段１０４
が、ｍ×ｎ画素のブロックを１×ｎ画素の小領域に分割
し、各小領域の座標を出力する。以下、ｊ番目のブロッ
クＢ(j)におけるｋ番目の小領域をＲ(j,k)とよぶ。手順
２０３では、字幕画素判定手段１０５が、小領域の画素
の中で、輝度値が閾値ｔｈ１以上になる画素を字幕画素
と判定する。手順２０４では、字幕画素数出力手段１０
６が、小領域中の字幕画素の総数を計算し、小領域の特
徴量として出力する。以下、小領域Ｒ(j,k)の特徴量を
Ｆ(j,k)とよぶ。

【００３９】手順２０５では、小領域差異計算手段１０
７が、隣接する２つのブロックＢ(j-1)、Ｂ(j)で同一位
置にある小領域Ｒ(j-1,k)、Ｒ(j,k)の特徴量Ｆ(j-1,
k)、Ｆ(j,k)の差異DR(j,k)を計算する。DR(j,k)の計算
式は、Ｆ(j,k)が２以上のとき、

【００４０】

【数１】

【００４１】であり、Ｆ(j,k)が１以下のとき、

【００４２】

【数２】

【００４３】である。手順２０６では、総和計算手段１
０８が、小領域差異計算手段１０７から出力されるｍ個
の差異DR(j,1)、DR(j,2)、・・・、DR(j,m)の総和を求
め、隣接するブロックＢ(j-1)、Ｂ(j)の差異DB(j)とす
る。

【００４４】手順２０７では、領域判定手段１０９が、
隣接するブロックＢ(j-1)、Ｂ(j)の差異DB(j)と閾値ｔ
ｈ２とを比較し、DB(j)＞ｔｈ２になる場合に手順２０
８に進み、そうでない場合には手順２０９に進む。

【００４５】手順２０８では、領域判定手段１０９が、
ブロックＢ(j-1)、Ｂ(j)を字幕領域と判定する。

【００４６】手順２０９では、字幕領域の左上端と右下
端の座標を出力端子１１０から出力し、ブロック番号ｊ
に１を加える。座標系は、例えば、画像の左上端の座標
が(0,0)となり、右下端の座標が(w,h)となるように決め
ておく。手順２１０では、ブロック番号ｊがブロック数
Nbよりも大きいときに処理を終了し、そうでなければ手
順２０２に戻る。

【００４７】以上の説明では、入力端子１０１にｗ×ｈ
画素の画像を入力しているが、この画像は、動画像中の
フレーム画像全体でもよいし、フレーム画像の一部分で
もよい。例えば、従来法で字幕領域と判定された領域の
画像を画像データとして入力してもよい。

【００４８】なお、ブロック差異計算手段１０３で隣接
するブロック間の差異を計算しているが、差異を計算す
るブロックの組み合わせを限定するものではない。例え
ば、計算量を削減して高速に処理するために、一つおき
のブロック間のように隣接しないブロック間の差異を計
算してもよい。

【００４９】なお、字幕画素判定手段１０５では、高輝
度の画素を字幕画素としたが字幕画素の判定方法を限定
するものではない。８つの隣接する画素との輝度差を計
算し、計算した８つの輝度差の中で１つ以上８つ未満の
輝度差が閾値ｔｈｄ１以上になるときに字幕画素と判定
してもよい。また、この高輝度差画素が１つ以上８つ未
満存在し、かつ、画素の輝度が閾値ｔｈ１以上になると
きに字幕画素と判定してもよい。ある領域に含まれる画
素の輝度の平均、分散などの統計量と判定対象画素の輝
度値を処理して字幕画素かどうかを判定してもよい。

【００５０】なお、小領域差異計算手段１０７では、小
領域の特徴量の差異DR(j,k)として、特徴量の差の自乗
を特徴量Ｆ(j,k)の自乗で正規化した値を用いたが、差
異DR(j,k)の計算方法を限定するものではない。例え
ば、特徴量の差の自乗を差異DR(j,k)としてもよい。あ
る領域に含まれる小領域のデータの統計量と、差異を求
めたい小領域の特徴量とを処理して差異DR(j,k)を求め
てもよい。

【００５１】なお、手順２０２から手順２０６までの処
理によって、隣接するブロックＢ(j-1)、Ｂ(j)の差異DB
(j)を計算しているが、差異DB(j)の計算方法を限定する
ものではない。例えば、主成分分析の手法などを用いて
ブロック内の画素の輝度値に関する統計量を計算し、こ
の統計量を用いて差異DB(j)を計算してもよい。また、
ブロック間の類似度を計算し、その逆数を差異DB(j)と
してもよい。ただし、ブロック差異計算手段１０３は、
差異DB(j)の計算方法を実現するような構成にしなけれ
ばならない。

【００５２】本実施の形態によれば、図３、図４のよう
に字幕領域内の隣接するブロックでは、異なる文字が存
在したり、一つの文字の異なる部分が存在し、ブロック
間の差異が大きくなるので、隣接するブロックの差異が
大きい値になるブロックを検出することで、字幕領域の
ブロックを検出できる。

【００５３】また、本実施の形態では、図５に示すよう
に縦長の小領域に分割し、小領域内の高輝度画素数を小
領域の特徴量Ｆにした。図５において、５０１は左端の
小領域を示す。このとき、図６に示すような、横線の位
置が上下方向にずれた２つのブロックの差異は、小さい
値になる。従って、図１８に示した横縞模様のような繰
り返しパターンを字幕領域と判定せず、従来法に比べて
誤検出を削減する効果がある。逆に、図７に示すような
文字のブロック７０１、７０２においては、ブロックの
差異が大きい値になり字幕として正しく検出できる。

【００５４】図２に示した処理手順を字幕領域検出プロ
グラムとして記憶媒体に記憶することにより、各種コン
ピュータにインストールして字幕領域検出方法を実行
し、画像から字幕領域を検出することが可能となる。

【００５５】（実施の形態２）字幕領域検出方法を用い
た動画像検索装置の実施の形態について説明する。実施
の形態１で説明した字幕領域検出方法を用いてもよい
が、ここでは実施の形態１と異なるコンピュータシステ
ムにより実現した字幕領域検出装置を用いて説明する。

【００５６】図８は、実施の形態２の動画像検索装置を
示す構成図である。図８において、８０１はＣＲＴ等の
ディスプレイ装置であり、コンピュータ８０２の出力画
面を表示する。コンピュータ８０２に対する命令は、ポ
インティングデバイス８０３を用いて行うことができ
る。動画像再生装置８０４は、光ディスクやビデオデッ
キ等である。動画像再生装置８０４から出力される映像
信号は、逐次Ａ／Ｄ変換器８０５によってデジタル信号
に変換され、コンピュータ８０２に送られる。コンピュ
ータ８０２の内部では、インタフェース８０６を介して
メモリ８０７に入り、映像圧縮プログラムに従ってＣＰ
Ｕ８０８によって圧縮される。圧縮された映像データは
外部記憶装置８０９に蓄積される。外部記憶装置８０９
に蓄積された映像データを再生する場合には、映像デー
タがインタフェース８１０を介してメモリ８０７に入
り、映像再生プログラムに従ってＣＰＵ８０８によって
再生される。ＣＰＵ８０８は、映像圧縮処理、映像再生
処理の他に、字幕領域検出処理、画像圧縮処理、画像伸
長処理なども実行する。また、外部記憶装置には、圧縮
された映像データのほかに、字幕領域の座標データ、字
幕領域を含むフレーム画像（字幕画像）の時刻も記憶す
る。

【００５７】図９は、ＣＰＵ８０８に従って実行される
動画像検索処理をブロック図で示したものである。図９
において、ユーザ・インタフェース手段９０１は、ユー
ザーからの各種の指示を受け付ける。全体制御手段９０
２は、ユーザ・インタフェース手段からの命令を解釈
し、各種の処理を制御する。映像圧縮手段９０３は、動
画像再生装置で再生される映像を圧縮して外部記憶装置
８０９に記憶する。時刻管理手段９０４は、現在の時刻
を調べる。画像抽出手段９０５は、外部記憶装置８０９
の映像データを処理して、所定の時刻のフレーム画像を
伸長し、フレーム画像をメモリ８０７に一時的に記憶す
る。字幕領域検出手段９０６は、メモリ８０７のフレー
ム画像に対して、字幕領域検出プログラムに従って字幕
領域検出処理を実行し、字幕領域検出結果を外部記憶装
置８０９に記録する。

【００５８】画像圧縮手段９０７は、メモリ８０７のフ
レーム画像を圧縮して外部記憶装置８０９に記録する。
代表画像抽出手段９０８は、一部の字幕画像を動画像の
代表画像にする手段であり、時系列のフレーム画像の字
幕領域を比較して字幕領域の出現を検出する字幕出現判
定手段９０９と、ある字幕領域が出現してから次の字幕
領域が出現するまでのフレーム画像中の１枚を代表画像
にする代表画像判定手段９１０から構成される。代表画
像表示手段９１１は、外部記憶装置８０９に記憶された
代表画像とその時刻をディスプレイ装置８０１に表示す
る。映像再生手段９１２は、指定された代表画像の時刻
を調べて、そこから映像を再生してディスプレイ装置８
０１に表示する。

【００５９】図１０は、字幕領域検出手段９０６で実行
される字幕領域検出処理をブロック図で示したものであ
る。図１０において、１００１は入力されたフレーム画
像を複数個のブロックに分割する画像分割手段である。
１００２は、文字が存在する可能性の高いブロック（候
補ブロック）を判定する候補ブロック判定手段であり、
ブロックの各画素が字幕の文字の一部である画素（字幕
画素）かどうかを判定する字幕画素判定手段１００３
と、ブロック中の字幕画素の総数が閾値以上になると
き、ブロックを候補ブロックと判定するブロック判定手
段１００４から構成される。１００５は、水平方向に閾
値ｔｈ３個以上連続する候補ブロックを検出して候補領
域とする候補領域判定手段である。１００６は、候補領
域中で隣接する候補ブロック間の差異を計算するブロッ
ク差異計算手段であり、候補ブロックを小領域に分割す
るブロック分割手段１００７と、小領域中の各画素が字
幕画素かどうかを判定する小領域字幕画素判定手段１０
０８と、小領域中の字幕画素の総数を小領域の特徴量と
して出力する字幕画素数出力手段１００９と、隣接する
２つの候補ブロックで同一位置にある小領域の特徴量の
差異を計算する小領域差異計算手段１０１０と、小領域
差異計算手段１０１０から出力される差異の値の総和を
計算して候補ブロックの差異にする総和計算手段１０１
１から構成される。１０１２は、候補ブロックの差異の
平均を計算する平均計算手段である。１０１３は、平均
計算手段から出力される差異が閾値以上になるとき、差
異の平均値を求めた候補領域を字幕領域と判定する領域
判定手段である。１０１４は、領域判定手段の出力を受
けて、字幕領域の座標を出力する座標出力手段である。

【００６０】以下、動画像検索装置の動作について、図
１１のフローチャートを用いて説明する。

【００６１】手順１１０１では、ユーザーが動画像再生
装置８０４を操作して映像を再生する。手順１１０２で
は、映像圧縮手段９０３が映像を圧縮して外部記憶装置
８０９に記憶する。

【００６２】手順１１０３では、画像抽出手段９０５が
時刻管理手段９０４から現在の時刻を読み取り、字幕領
域検出開始時刻Tsとし、経過時間Tdを０とし、画像番号
ｘを０とする。

【００６３】手順１１０４では、画像抽出手段９０５
が、外部記憶装置８０９の映像データを処理して、時刻
Tdのフレーム画像を伸長し、フレーム画像Iｘ（画像番
号ｘは０以上の整数）をメモリ８０７に一時的に記憶す
る。手順１１０５では、字幕領域検出手段９０６が、メ
モリ８０７のフレーム画像に対して、後述する字幕領域
検出処理を実行し、画像番号ｘ、時刻Td、字幕領域の有
無、字幕領域の座標を外部記憶装置８０９に記録する。

【００６４】手順１１０６では、メモリ８０７のフレー
ム画像に字幕領域が存在する場合に手順１１０７に進
み、そうでなければ手順１１０８に進む。手順１１０７
では、画像圧縮手段９０７が、メモリ８０７のフレーム
画像を圧縮して外部記憶装置８０９に記録する。

【００６５】手順１１０８では、画像抽出手段９０５が
時刻管理手段９０４から現在の時刻を読み取り、字幕領
域検出開始時刻Tsとの差を経過時間Tdとし、画像番号ｘ
に１を加える。

【００６６】手順１１０９では、経過時間Tdが映像の時
間長を超える場合には手順１１１０に進み、そうでなけ
れば手順１１０４に戻る。手順１１１０では、画像番号
ｊ（ｊは０以上の整数）のフレーム画像におけるｋ番目
の字幕領域ＣＲ(j,k)が次の２条件を同時に満足するか
どうかを調べ、ＣＲ(j,k)がこの２条件を同時に満足す
る場合に、画像番号ｊのフレーム画像を「字幕領域が出
現するフレーム画像」とする。

【００６７】条件１：画像番号j+1のフレーム画像では
領域ＣＲ(j,k)が字幕領域である。 条件２：画像番号j-1のフレーム画像では領域ＣＲ(j,k)
が字幕領域ではない。 手順１１１１では、代表画像判定手段９１０が、「字幕
領域が出現するフレーム画像」を代表画像にする。

【００６８】手順１１１２では、代表画像表示手段９１
１が、外部記憶装置８０９に記憶された代表画像とその
時刻をディスプレイ装置８０１に表示する。手順１１１
３では、ユーザーが代表画像を選択したら、映像再生手
段９１２が、指定された代表画像の時刻を調べて、そこ
から映像を再生してディスプレイ装置８０１に表示す
る。

【００６９】ユーザーは、所望の映像が見つかるまで、
いくつでも代表画像を選択することができる。従って、
手順１１１３は、ユーザーが終了の指示を出すまで、繰
り返されることになる。

【００７０】ディスプレイ装置８０１に表示する代表画
像と映像は、例えば図１２に示すように配置すればよ
い。１２０１はディスプレイ装置上のウインドウを操作
するマウスカーソルである。１２０２は代表画像ウイン
ドウであり、代表画像とその時刻が一覧表示される。マ
ウスカーソルで前ページボタン１２０３または次ページ
ボタンを選択すると、他の代表画像を表示させることが
できる。マウスカーソルで終了ボタン１２０４を選択す
ると、代表画像ウインドウが消える。マウスカーソルで
代表画像１２０５〜１２１０の一つを選択すると、選択
した代表画像の時刻から映像が再生され、映像表示ウイ
ンドウ１２１１に表示される。映像表示ウインドウは、
マウスカーソルで終了ボタン１２１２を選択することで
消すことができる。

【００７１】以下、字幕領域検出手段９０６で実行され
る字幕領域検出処理について、図１３のフローチャート
を用いて説明する。

【００７２】手順１３０１では、画像分割手段１００１
が、入力されたｗ×ｈ画素（ｗ、ｈは自然数）のフレー
ム画像をｍ×ｎ画素（ｍ、ｎは自然数）のブロックに分
割し、各ブロックの座標を出力する。また、ブロック番
号ｊ（ｊは自然数）を１に設定し、ブロック数Nbの値を
設定する。以下、ｊ番目のブロックをＢ(j)とよぶ。な
お、ブロック番号は、左から右、上から下に順番につけ
ていく。従って、左上端のブロックではブロック番号が
１になり、その右隣のブロックではブロック番号が２に
なる。右下端のブロックではブロック番号がNbになる。

【００７３】手順１３０２では、字幕画素判定手段１０
０３が、ブロックの画素の中で、輝度値が閾値ｔｈ１以
上になる画素を字幕画素と判定する。手順１３０３で
は、ブロック判定手段１００４が、ブロックＢ(j)の字
幕画素の総数Ｓ(j)を計算する。

【００７４】手順１３０４では、字幕画素の総数Ｓ(j)
が閾値ｔｈ２より大きい値になるとき手順１３０５に進
み、そうでなければ手順１３０６に進む。手順１３０５
では、ブロックＢ(j)を候補ブロックと判定する。

【００７５】手順１３０６では、ブロックＢ(j)が候補
ブロックではないか、またはブロックＢ(j-1)が右端の
ブロックであるとき、次の４条件を同時に満足するブロ
ックＢ(k)があるかどうかを判定する。次の４条件を同
時に満足するブロックＢ(k)が見つかった場合には、ブ
ロックＢ(k)とブロックＢ(j-1)の間を候補領域と判定す
る。 条件１：ブロックＢ(k)とブロックＢ(j-1)の間がすべて
候補ブロックである。 条件２：ブロックＢ(j)が候補ブロックでないか、また
はブロックＢ(j-1)が右端のブロックである。 条件３：ブロックＢ(k-1)が候補ブロックでないか、ま
たはブロックＢ(k)が左端のブロックである。 条件４：（ｊ−ｋ）が閾値ｔｈ３以上になる。

【００７６】手順１３０７では、ブロックＢ(k)とブロ
ックＢ(j-1)の間が候補領域になるとき手順１３０８に
進み、そうでなければ手順１３１６に進む。手順１３０
８では、ブロック分割手段１００７が、ｍ×ｎ画素のブ
ロックを１×ｎ画素の小領域に分割し、各小領域の座標
を出力する。以下、ｙ番目のブロックＢ(y)におけるｚ
番目の小領域をＲ(y,z)とよぶ。

【００７７】手順１３０９では、小領域字幕画素判定手
段１００８が、小領域の画素の中で、輝度値が閾値ｔｈ
１以上になる画素を字幕画素と判定する。手順１３１０
では、字幕画素数出力手段１００９が、小領域中の字幕
画素の総数を計算し、小領域の特徴量として出力する。
以下、小領域Ｒ(y,z)の特徴量をＦ(y,z)とよぶ。

【００７８】手順１３１１では、小領域差異計算手段１
０１０が、隣接する２つのブロックＢ(y-1)、Ｂ(y)で同
一位置にある小領域Ｒ(y-1,z)、Ｒ(y,z)の特徴量Ｆ(y-
1,z)、Ｆ(y,z)の差異DR(y,z)を計算する。DR(y,z)の計
算式は、Ｆ(y,z)が２以上のとき、

【００７９】

【数３】

【００８０】であり、Ｆ(y,z)が１以下のとき、

【００８１】

【数４】

【００８２】である。手順１３１２では、総和計算手段
１０１１が、小領域差異計算手段１０１０から出力され
るｍ個の差異DR(y,1)、DR(y,2)、・・・、DR(y,m)の総
和を求め、隣接するブロックＢ(y-1)、Ｂ(y)の差異DB
(y)とする。手順１３１３では、平均計算手段１０１２
が、総和計算手段１０１１から出力される（ｊ−ｋ−
１）個の差異DB(k+1)、・・・、DB(j-1)の平均を求め、
候補領域の評価値Ｖ(k,j-1)とする。

【００８３】手順１３１４では、候補領域の評価値Ｖ
(k,j-1)が閾値ｔｈ３以上になるとき手順１３１５に進
み、そうでなければ手順１３１６に進む。手順１３１５
では、座標出力手段１０１４が、ブロックＢ(k)の左上
端の座標とブロックＢ(j-1)の右下端の座標を出力す
る。手順１３１６では、ブロック番号ｊに１を加える。

【００８４】手順１３１７では、ブロック番号ｊがブロ
ック数Nbより大きいとき処理を終了し、そうでなければ
手順１３０２に戻る。以上の説明では、候補領域判定手
段１００５で水平方向に閾値ｔｈ３個以上連続する候補
ブロックを検出して字幕領域の候補領域としているが、
垂直方向に連続する候補ブロックを検出して候補領域を
判定してもよい。

【００８５】ブロック差異計算手段１００６で候補領域
内の隣接するブロック間の差異を計算しているが、差異
を計算するブロックの組み合わせを限定するものではな
い。例えば、計算量を削減して高速に処理するために、
一つおきのブロック間のように隣接しないブロック間の
差異を計算してもよい。

【００８６】手順１３１３では、差異DB(k+1)、・・
・、DB(j-1)の平均を評価値としているが、評価値の計
算方法を限定するものではない。例えば、差異DB(k+
1)、・・・、DB(j-1)の最小値を評価値としたり、最大
値を評価値としたり、最大値と最小値を除いた(j-k-3)
個の値の平均値を評価値としてもよい。

【００８７】手順１１０８では、時刻管理手段９０４か
ら現在の時刻Tnを読み取り、字幕領域検出開始時刻Tsと
の差（Ts-Tn）を経過時間Tdとしているが、字幕検出速
度Vdをあらかじめ設定しておき、Vd倍した値(Ts-Tn)×V
dを経過時間Tdとしてもよい。このとき、で手順１１０
３を終了してから手順１１１０に進むまでの繰り返し処
理の時間を、映像の時間長の１／Vdにすることができ
る。

【００８８】本実施の形態では、１台のコンピュータで
映像圧縮、字幕領域検出、代表画像表示などのすべての
処理を実行しているが、複数のコンピュータをネットワ
ークで接続して役割分担をしてもよい。例えば、図１４
に示すように、映像圧縮を実行するコンピュータ１４０
１、映像や代表画像などのデータを蓄積するコンピュー
タ１４０２、字幕領域検出をして代表画像を決定するコ
ンピュータ１４０３、代表画像の表示と映像の再生をす
ることができる検索用のコンピュータ１４０４、コンピ
ュータネットワークを構成するためのハブ１４０５から
システムを構成してもよい。映像圧縮を実行するコンピ
ュータ１４０１には、ビデオデッキ１４０６で再生した
映像の信号を入力することができる。検索用のコンピュ
ータ１４０４では、World Wide Webのブラウザを用いて
代表画像を表示してもよい。

【００８９】代表画像の字幕領域の画像に対して、従来
から広く利用されている文字認識の技術を適用し、代表
画像に現れた字幕を文字コードに変換して外部記憶装置
に記憶してもよい。文字認識の技術を適用する画像の種
類は、文字認識方式に合わせて決めればよい。例えば、
カラー画像でもよいし、輝度成分だけを用いた白黒画像
でもよいし、字幕画素判定手段１００３で求めた字幕画
素を１としてそれ以外の画素を０とした２値画像でもよ
い。

【００９０】手順１１０５では、字幕領域検出処理を実
行し、画像番号ｘ、時刻Td、字幕領域の有無、字幕領域
の座標を外部記憶装置８０９に記録しているが、他の情
報を記録してもよい。例えば、時刻Tdのフレーム画像の
効率よくアクセスするために、映像データファイルの先
頭から時刻Tdのフレーム画像データの先頭までのバイト
数も記録してもよい。

【００９１】手順１１１１では、「字幕領域が出現する
フレーム画像」を代表画像にしているが、字幕領域を含
むフレーム画像であれば、他のフレーム画像を代表画像
にしてもよい。

【００９２】ディスプレイ装置に代表画像を一覧表示す
る例を示したが、代表画像の時刻前後の映像を所定の時
間ずつ再生するようにしてもよい。例えば、代表画像の
時刻の２秒前から代表画像の時刻の３秒後までの映像を
次々に再生すればよい。このようにすれば、映像によっ
て内容を把握したり見たいシーンを検索することができ
る。

【００９３】本実施の形態によれば、字幕領域の候補
（候補領域）に含まれるブロックの差異が大きい値にな
るかどうかを判定することで、字幕を含む候補領域を字
幕領域として検出することができる。また、文字が存在
する可能性の高いブロック（候補ブロック）を判定し、
候補ブロックが水平方向に連続しているかどうかにより
候補領域を推定しているので、水平方向に文字が並ぶ字
幕を検出することができる。

【００９４】字幕は、ニュース番組の話題や、被写体の
名称、特徴などを表すことが多い。本実施の形態のよう
に、字幕領域を含む画像を代表画像として一覧表示する
ことで、話題や被写体に着目して映像を検索することが
できる。

【００９５】

【発明の効果】以上のように、本発明によれば、画像の
一部または全体を複数個のブロックに分割し、ブロック
の間の差異を計算し、差異を用いて字幕領域を判定する
ことで、繰り返しパターンから構成される矩形領域が字
幕領域と判定されるケースを減少させ、字幕領域の誤検
出を削減することができる。

【００９６】また、誤検出の少ない字幕領域検出を用い
ることにより、高精度な動画像検索を可能とする。

【図面の簡単な説明】

【図１】本発明の実施の形態１における字幕領域検出装
置を示す構成図

【図２】本発明の実施の形態１における字幕領域検出処
理を示すフローチャート

【図３】字幕領域を含む画像のブロック分割の例を示す
図

【図４】字幕領域を含む画像のブロック分割の例を示す
図

【図５】ブロックの小領域への分割の例を示す図

【図６】横線の位置が上下方向にずれた２つのブロック
の例を示す図

【図７】字幕領域における２つのブロックの例を示す図

【図８】本発明の実施の形態２における動画像検索装置
を示す構成図

【図９】本発明の実施の形態２における動画像検索処理
を示すブロック図

【図１０】本発明の実施の形態２における字幕領域検出
処理を示すブロック図

【図１１】本発明の実施の形態２における動画像検索処
理を示すフローチャート

【図１２】本発明の実施の形態２におけるディスプレイ
装置の画面の例を示す図

【図１３】本発明の実施の形態２における字幕領域検出
処理を示すフローチャート

【図１４】本発明の実施の形態２における計算機ネット
ワークを用いた動画像検索装置を示す構成図

【図１５】従来の字幕領域検出装置を示す構成図

【図１６】従来の字幕領域検出処理を示すフローチャー
ト

【図１７】従来の字幕領域検出装置の字幕領域抽出手段
の処理を示すフローチャート

【図１８】従来の字幕領域検出装置で字幕領域を含む画
像として誤検出する画像の例を示す図

【符号の説明】

１０１ 入力端子 １０２ 画像分割手段 １０３ ブロック差異計算手段 １０４ ブロック分割手段 １０５ 字幕画素判定手段 １０６ 字幕画素数出力手段 １０７ 小領域差異計算手段 １０８ 総和計算手段 １０９ 領域判定手段 １１０ 出力端子 ８０１ ディスプレイ ８０２ コンピュータ ８０３ ポインティングディバイス ８０４ 動画像再生装置 ８０５ Ａ／Ｄ変換器 ８０６ Ｉ／Ｆ ８０７ メモリ ８０８ ＣＰＵ ８０９ 外部記憶装置 ８１０〜８１２ Ｉ／Ｆ ９０１ ユーザ・インタフェース手段 ９０２ 全体制御手段 ９０３ 映像圧縮手段 ９０４ 時刻管理手段 ９０５ 画像抽出手段 ９０６ 字幕領域検出手段 ９０７ 画像圧縮手段 ９０８ 代表画像抽出手段 ９０９ 字幕出現判定手段 ９１０ 代表画像判定手段 ９１１ 代表画像表示手段 ９１２ 映像再生手段 １００１ 画像分割手段 １００２ 候補ブロック判定手段 １００３ 字幕画素判定手段 １００４ ブロック判定手段 １００５ 候補領域判定手段 １００６ ブロック差異計算手段 １００７ ブロック分割手段 １００８ 小領域字幕画素判定手段 １００９ 字幕画素数出力手段 １０１０ 小領域差異計算手段 １０１１ 総和計算手段 １０１２ 平均計算手段 １０１３ 領域判定手段 １０１４ 座標出力手段 １４０１〜１４０４ コンピュータ １４０５ ハブ １４０６ ビデオデッキ

フロントページの続き (56)参考文献 特開 平10−320557（ＪＰ，Ａ) 特開 平10−49682（ＪＰ，Ａ) 特開 平10−40391（ＪＰ，Ａ) 特開 平８−212231（ＪＰ，Ａ) 特開 平７−192003（ＪＰ，Ａ) 山田伸 加藤昌央 菊池康弘，ビデオ インデックス作成・編集技術，Ｍａｔｓ ｕｓｈｉｔａ Ｔｅｃｈｎｉｃａｌ Ｊ ｏｕｒｎａｌ，日本，松下電器産業株式 会社 技術総務センター 技術情報部, 1998年10月18日，Ｖｏｌ．44 Ｎｏ．５ Ｏｃｔ．1998，617−624（125−132) 山田伸 三森明 田中章喜 中村正 規，画像インデックスによるビデオ検索 システム，電気学会研究会資料 通信研 究会，日本，社団法人電気学会，1998年 ９月25日，ＣＭＮ−98−60，13−18 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/00 400 G06T 1/00 200 G09G 5/36 G06F 17/30 170 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】 画像の一部または全体を複数個のブロッ
   クに分割し、ブロックの間の差異を計算し、前記ブロッ
   ク間の差異を用いて字幕領域のブロックを判定すること
   を特徴とする字幕領域検出方法。
2. 【請求項２】 字幕領域の判定は、隣接するブロックの
   間の差異を計算し、差異が閾値以上になるブロックを字
   幕領域とするように実行することを特徴とする請求項１
   記載の字幕領域検出方法。
3. 【請求項３】 画像の一部または全体を複数個のブロッ
   クに分割し、文字が存在する可能性の高いブロックを候
   補ブロックとし、候補ブロックの空間的な分布を用いて
   候補領域を決定し、候補領域内のブロック間の差異を計
   算し、前記ブロック間の差異を用いて字幕領域のブロッ
   クを判定することを特徴とする字幕領域検出方法。
4. 【請求項４】幕領域の判定は、候補領域内の隣接ブロッ
   ク間の差異の平均値が閾値以上になるとき候補領域を字
   幕領域とするように実行することを特徴とする請求項３
   記載の字幕領域検出方法。
5. 【請求項５】 候補ブロックが水平方向に連続する領域
   を候補領域とすることを特徴とする請求項３または請求
   項４記載の字幕領域検出方法。
6. 【請求項６】 文字が存在する可能性の高いブロックの
   検出は、字幕の文字の一部と予想した画素の総数が閾値
   以上になるブロックを検出することで実行することを特
   徴とする請求項３乃至５のいずれかに記載の字幕領域検
   出方法。
7. 【請求項７】 ブロック間の差異は、字幕の文字の一部
   と予想した画素を用いて計算した値であることを特徴と
   する請求項１乃至６のいずれかに記載の字幕領域検出方
   法。
8. 【請求項８】 ブロック間の差異は、ブロックを複数の
   小領域に分割し、各小領域に対して、字幕の文字の一部
   と予想した画素の総和を計算して小領域の特徴量とし、
   同一位置の小領域における特徴量の差異を用いて計算す
   ることを特徴とする請求項１乃至６のいずれかに記載の
   字幕領域検出方法。
9. 【請求項９】 字幕の文字の一部の画素として予想され
   た画素は、輝度が閾値以上になる画素であることを特徴
   とする請求項６乃至８のいずれかに記載の字幕領域検出
   方法。
10. 【請求項１０】 字幕の文字の一部の画素として予想さ
    れた画素は、輝度が閾値以上になり，かつ，隣接する画
    素との間の輝度差が閾値以上になる画素であることを特
    徴とする請求項６乃至８のいずれかに記載の字幕領域検
    出方法。
11. 【請求項１１】 画像の一部または全体を複数個のブロ
    ックに分割する画像分割手段と、ブロック間の差異を計
    算するブロック差異計算手段と、前記ブロック差異計算
    手段から出力される差異が閾値以上になるブロックを字
    幕領域と判定する領域判定手段とを備えたことを特徴と
    する字幕領域検出装置。
12. 【請求項１２】 画像の一部または全体を複数個のブロ
    ックに分割する画像分割手段と、文字が存在する可能性
    の高いブロックを候補ブロックとする候補ブロック判定
    手段と、候補ブロックの空間的な分布を用いて候補領域
    を決定する候補領域判定手段と、ブロック間の差異を計
    算するブロック差異計算手段と、前記ブロック差異計算
    手段から出力される差異を用いて字幕領域を判定する領
    域判定手段とを備えたことを特徴とする字幕領域検出装
    置。
13. 【請求項１３】 請求項１乃至１０のいずれかに記載の
    字幕領域検出方法により得られた結果を用いて代表画像
    を決定し、その代表画像の表示と動画像の再生を実行す
    ることを特徴とする動画像検索方法。
14. 【請求項１４】 動画像からフレーム画像を抽出する画
    像抽出手段と、画像の一部または全体を複数個のブロッ
    クに分割し、ブロックの間の差異を計算し、差異を用い
    て字幕領域のブロックを判定することで、フレーム画像
    中の字幕領域の有無を判定する字幕領域検出手段と、字
    幕領域を含むフレーム画像を動画像の代表画像にする代
    表画像抽出手段と、前記代表画像を表示する表示手段を
    備えたことを特徴とする動画像検索装置。
15. 【請求項１５】 動画像からフレーム画像を抽出する画
    像抽出手段と、画像の一部または全体を複数個のブロッ
    クに分割し、ブロックの間の差異を計算し、差異を用い
    て字幕領域のブロックを判定することで、フレーム画像
    中の字幕領域の有無を判定する字幕領域検出手段と、前
    記字幕領域を含むフレーム画像を動画像の代表画像とす
    る代表画像抽出手段と、前記代表画像の字幕領域中の字
    幕を文字認識する文字認識手段と、前記代表画像および
    前記文字認識結果を表示する表示手段とを備えたことを
    特徴とする動画像検索装置。
16. 【請求項１６】 動画像からフレーム画像を抽出する画
    像抽出手段と、画像の一部または全体を複数個のブロッ
    クに分割し、ブロックの間の差異を計算し、差異を用い
    て字幕領域のブロックを判定することで、フレーム画像
    中の字幕領域の有無を判定する字幕領域検出手段と、前
    記字幕領域を含むフレーム画像を動画像の代表画像にす
    る代表画像抽出手段と、前記動画像全体の中から代表画
    像の時刻付近の動画像を代表動画像とする代表動画像抽
    出手段と、前記代表動画像抽出手段からの複数の代表動
    画像を次々に再生して表示する表示手段を備えた動画像
    検索装置。
17. 【請求項１７】 動画像からフレーム画像を抽出する画
    像抽出手段と、画像の一部または全体を複数個のブロッ
    クに分割し、ブロックの間の差異を計算し、差異を用い
    て字幕領域のブロックを判定することで、フレーム画像
    中の字幕領域の有無を判定する字幕領域検出手段と、前
    記字幕領域を含むフレーム画像を動画像の代表画像にす
    る代表画像抽出手段と、前記代表画像抽出手段の中から
    １枚の代表画像を選択する入力手段と、前記代表画像抽
    出手段で抽出された複数の代表画像を第１の領域に表示
    し、前記入力手段で選択された代表画像の時刻から前記
    動画像を再生し第２の領域に表示する表示手段を備える
    ことを特徴とする動画像検索装置。
18. 【請求項１８】 代表画像抽出手段が、時系列のフレー
    ム画像の字幕領域を比較して字幕領域の出現を検出する
    字幕出現判定手段と、ある字幕領域が出現してから次の
    字幕領域が出現するまでのフレーム画像中から字幕領域
    を含むフレーム画像を１枚抜き出して代表画像にする代
    表画像判定手段を備えることを特徴とする請求項１４乃
    至１７のいずれかに記載の動画像検索装置。
19. 【請求項１９】 映像圧縮を実行する映像圧縮手段と、
    映像や代表画像などのデータを蓄積するデータ蓄積手段
    と、請求項１乃至１０のいずれかに記載の字幕領域検出
    方法を実行してその結果を用いて代表画像を決定する代
    表画像決定手段と、代表画像の表示と映像の再生を実行
    する検索用の検索手段とを、１つまたは複数のコンピュ
    ータで実行し、各コンピュータを接続するためのネット
    ワーク手段を備えることを特徴とする動画像検索装置。
20. 【請求項２０】 コンピュータによって動画像中のフレ
    ーム画像から字幕領域を検出するプログラムを記録した
    記憶媒体であって、フレーム画像の一部または全体を複
    数個のブロックに分割し、ブロックの間の差異を計算
    し、差異を用いて字幕領域のブロックを判定することを
    特徴とする字幕領域検出プログラムを記憶した記憶媒
    体。
21. 【請求項２１】 コンピュータによって動画像中のフレ
    ーム画像から代表画像を検索・表示するプログラムを記
    録した記憶媒体であって、請求項１乃至１０のいずれか
    に記載の字幕領域検出方法により得られた結果を用いて
    代表画像を決定し、その代表画像の表示と映像の再生を
    実行することを特徴とする動画像検索プログラムを記憶
    した記憶媒体。