JP3467195B2 - 文字領域抽出方法および装置および記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、テレビ放
送の映像等のカラー動画像を構成する複数のフレームに
おいて、テレビ放送映像中のテロップ文字等の文字が表
示されているフレーム画像の中から文字部分を画素連結
領域として抽出する文字領域抽出技術に関するものであ
り、詳しくは、文字が含まれる映像から文字領域を二値
画像として抽出する際、極大値法・極小値法による画像
の二値化技術を用いた場合において、文字を構成する画
素の欠落が少ないという利点を有する文字領域抽出技術
に関するものである。

【０００２】

【従来の技術】カラー動画像を構成する複数のフレーム
の中の文字が表示されているフレーム画像、あるいは文
字が表示されている静止カラー画像から文字部分を画素
連結領域として抽出する文字領域抽出技術に関しては、
従来から多くの研究が行われている。図１３に示すよう
に、入力される文字表示カラー画像がＮＴＳＣ信号形式
の映像中の画像である場合、各水平ラインに沿って各画
素の色が滲み、文字部においても幅の細い縦ストローク
成分の色が劣化することがある。このような同一文字内
に色の劣化があっても、安定的に文字領域を抽出する方
法が必要とされている。

【０００３】この問題に対し、従来、ライン上の輝度分
布の特徴に着目した文字領域抽出法が提案されている
（参考文献［１］：桑野、新井、倉掛、杉村：“ライン
単位の二値化による映像中文字領域抽出方法”、信学秋
大、Ｄ−１２−４２、ｐｐ．２６４、（１９９６−０
９））。

【０００４】この方法は、水平ライン上の輝度分布には
色の滲みが発生してもテロップ文字と背景の間に高いコ
ントラストがあるという特徴に着目したものであり、各
水平ライン内で二値化処理を行う。二値化の方法は、ラ
イン内で局所的に輝度値が周辺部と比較して予め設定し
た値だけ高い範囲、および予め設定した値だけ低い範囲
を文字領域として抽出する。このライン内の二値化法を
各水平ライン毎、および各垂直ライン毎に行い、それぞ
れの方向での二値化結果を比較し、両者ともに位置、大
きさ、形状が共通して存在する領域を最終的な文字領域
抽出結果とするものである。

【０００５】

【発明が解決しようとする課題】しかしながら、前記の
従来手法は、図１４に示すように、各ライン内で抽出す
る文字範囲を、ライン上の輝度分布中の極値をとる画素
から予め決めた値だけ輝度値が変化する範囲としている
ため、色の劣化が端部にだけ生じる横ストローク成分に
おいて、劣化部と非劣化部の輝度差が予め決めた値より
も大きい場合、色劣化部を文字範囲として含んで抽出す
ることができない。また、色の劣化の程度も様々存在す
るため、予め決めた輝度差の閾値の値によっては、色劣
化部を含めて抽出できることもある。そのため、図１５
に示すように、横ストローク成分の端部付近では、最終
的な文字領域抽出結果において、領域の輪郭形状がギザ
ギザ状になったり、ストロークが途切れるという問題が
ある。

【０００６】また、水平ラインの二値化処理は、文字と
背景部の水平方向の境界は検出可能だが、垂直方向の輝
度分布は一切考慮していないため、図１６に示すよう
に、垂直方向の文字と背景の境界は検出していないため
文字部の垂直方向に背景部の領域画素が連結したまま抽
出されることがある。同様に垂直ラインの二値化処理
は、垂直方向の文字と背景の境界の検出は保証される
が、水平方向の文字と背景の境界の検出は行っていない
ため、同じく図１６に示すように、文字部の水平方向に
背景部の領域画素が連結したまま抽出されることがあ
る。このため水平ライン毎の二値化結果と垂直ライン毎
の二値化結果を比較しても、文字部の領域は必ずしも、
位置、大きさ、形状が共通するとは限らず、互いに相殺
しあい、文字領域の抽出に失敗するという問題もある。

【０００７】そこで、本発明は、同一文字内で明るさや
色が劣化する場合でも、文字輪郭部分の形状を滑らかに
し、且つ、文字領域の抽出失敗を抑制する文字領域抽出
方法および装置を提供することを課題とする。

【０００８】

【課題を解決するための手段】前記の課題を解決するた
めに、本発明による文字領域抽出方法は、文字が表示さ
れているカラー画像を入力して記憶する第１の段階と、
該第１の段階により入力されたカラー画像の中で輝度値
が類似し、画像空間内で隣接する複数の画素同士を第１
の連結領域として形成する第２の段階と、該第２の段階
により得られた輝度値が類似する第１の連結領域画像に
対し、各領域内で、彩度値が類似し、画像空間内で隣接
する複数の画素同士を第２の連結領域として形成する第
３の段階と、該第３の段階により得られた輝度値、彩度
値共に類似する第２の連結領域画像に対し、各領域内
で、色相値が類似し、画素空間内で隣接する複数の画素
を第３の連結領域として形成する第４の段階と、該第４
の段階により得られた第３の連結領域画素だけを画像中
に残し、文字領域画像として蓄積する第５の段階と、を
有する文字領域抽出方法において、文字が表示されてい
るカラー画像を入力して記憶する第１の段階を、テレビ
放送映像などのカラー動画像の中で、同一のテロップ文
字等の文字が表示されている時間的に連続する複数のカ
ラー画像を入力して記憶するか、あるいは、文字が表示
されている一枚の静止カラー画像を入力して記憶する第
１−１の段階と、該同一の文字が表示されている複数の
カラー画像が入力された場合、該複数のカラー画像間で
位置の対応する画素同士の画素値の平均値を各画素の値
として持つ平均値カラー画像を入力されたカラー画像と
して作成し出力する第１−２の段階とを、用いて実現
し、カラー画像中の輝度値が類似し、画像空間内で隣接
する複数の画素同士を第１の連結領域として形成する第
２の段階を、該カラー画像中の各水平ライン内で輝度の
二値化を行い、結果を二値画像として得る第２−１の段
階と、該カラー画像中の各垂直ライン内で輝度の二値化
を行い、結果を二値画像として得る第２−２の段階と、
該第２−１の段階と該第２−２の段階により得られた２
枚の二値画像中の連結成分同士を比較し、面積、形状、
位置の違いが予め設定した許容範囲内である連結成分同
士を文字領域と判断し、該二値画像に残し、面積、形
状、位置の違いが予め設定した許容範囲を越えている連
結成分同士は背景ノイズ部と判断し該二値画像から除去
する第２−３の段階とを、用いて実現することを特徴と
する。

【０００９】

【００１０】

【００１１】あるいは、上記の文字領域抽出方法におい
て、カラー画像中の各水平ライン内で輝度の二値化を行
い、結果を二値画像として得る第２−１の段階を、該カ
ラー画像中のある水平ライン内の輝度値分布において、
輝度の極大値を持つ画素を全て求め、求めた各極大値画
素を開始点とし、該水平ライン上を一画素ずつ左右に操
作し、開始点の極大値画素の左右両側でそれぞれ開始点
の輝度値よりも予め設定した閾値だけ輝度値が低い最初
の画素を検出し、検出された左右二つの画素と該水平ラ
イン上でそれら二つの画素の間に存在する複数の画素を
連結画素領域として抽出する第２−１−１の段階と、該
第２−１−１の段階により得られた連結画素領域の左右
の両端画素付近に存在する予め決めた方法で選択した複
数の画素の中から水平方向の輝度勾配の絶対値が最大と
なる画素を左右各々で求め、該画素を両端とする範囲を
高輝度文字領域として抽出する第２−１−２の段階と、
該カラー画像中のある水平ライン内の輝度値分布におい
て、輝度の極小値を持つ画素を全て求め、求めた各極小
値画素を開始点とし、該水平ライン上を一画素ずつ左右
に操作し、開始点の極小値画素の左右両側でそれぞれ開
始点の輝度値よりも予め設定した閾値だけ輝度値が高い
最初の画素を検出し、検出された左右二つの画素と該水
平ライン上でそれら二つの画素の間に存在する複数の画
素を連結画素領域として抽出する第２−１−３の段階
と、該第２−１−３の段階により得られた連結画素領域
の左右の両端画素付近に存在する予め決めた方法で選択
した複数の画素の中から水平方向の輝度勾配の絶対値が
最大となる画素を左右各々で求め、該画素を両端とする
範囲を低輝度文字領域として抽出する第２−１−４の段
階と、該第２−１−２の段階で抽出された各水平ライン
上の高輝度文字領域を集めて、画像全体としての高輝度
文字領域画像を作成し、また、第２−１−４の段階で抽
出された各水平ライン上の低輝度文字領域を集めて、画
像全体としての低高輝度文字領域画像を作成する第２−
１−５の段階と、該カラー画像中のエッジ部の画素を検
出する第２−１−６の段階と、該第２−１−５の段階で
得られた高輝度文字領域画像、および低輝度文字領域画
像中の文字連結成分を構成する複数の画素から該第２−
１−６の段階で得られたカラー画像中の垂直方向のエッ
ジ部に相当する画素を除去する第２−１−７の段階と
を、用いて実現することを特徴とする。

【００１２】あるいは、上記の文字領域抽出方法におい
て、カラー画像中の各垂直ライン内で輝度の二値化を行
い、結果を二値画像として得る第２−２の段階を、該カ
ラー画像中のある垂直ライン内の輝度値分布において、
輝度の極大値を持つ画素を全て求め、求めた各極大値画
素を開始点とし、該垂直ライン上を一画素ずつ上下に操
作し、開始点の極大値画素の上下両側でそれぞれ開始点
の輝度値よりも予め設定した閾値だけ輝度値が低い最初
の画素を検出し、検出された上下二つの画素と該垂直ラ
イン上でそれら二つの画素の間に存在する複数の画素を
連結画素領域として抽出する第２−２−１の段階と、該
第２−２−１の段階により得られた連結画素領域の左右
の両端画素付近に存在する予め決めた方法で選択した複
数の画素の中から垂直方向の輝度勾配の絶対値が最大と
なる画素を左右各々で求め、該画素を両端とする範囲を
高輝度文字領域として抽出する第２−２−２の段階と、
該カラー画像中のある垂直ライン内の輝度値分布におい
て、輝度の極小値を持つ画素を全て求め、求めた各極小
値画素を開始点とし、該垂直ライン上を一画素ずつ上下
に操作し、開始点の極小値画素の上下両側でそれぞれ開
始点の輝度値よりも予め設定した閾値だけ輝度値が高い
最初の画素を検出し、検出された上下二つの画素と該垂
直ライン上でそれら二つの画素の間に存在する複数の画
素を連結画素領域として抽出する第２−２−３の段階
と、該第２−２−３の段階により得られた連結画素領域
の左右の両端画素付近に存在する予め決めた方法で選択
した複数の画素の中から垂直方向の輝度勾配の絶対値が
最大となる画素を左右各々で求め、該画素を両端とする
範囲を低輝度文字領域として抽出する第２−２−４の段
階と、第２−２−２の段階で抽出された各垂直ライン上
の高輝度文字領域を集めて、画像全体としての高輝度文
字領域画像を作成し、また、第２−２−４の段階で抽出
された各垂直ライン上の低輝度文字領域を集めて、画像
全体としての低高輝度文字領域画像を作成する第２−２
−５の段階と、該カラー画像中のエッジ部の画素を検出
する第２−２−６の段階と、該第２−２−６の段階で得
られた高輝度文字領域画像、および低輝度文字領域画像
中の文字連結成分を構成する複数の画素から該第２−２
−６の段階で得られたカラー画像中の垂直方向のエッジ
部に相当する画素を除去する第２−２−７の段階とを、
用いて実現することを特徴とする。

【００１３】あるいは、上記の文字領域抽出方法におい
て、第２−１の段階と第２−２の段階により得られた２
枚の二値画像中の連結成分同士を比較し、面積、形状、
位置の違いが予め設定した許容範囲内である連結成分同
士を文字領域と判断し、該二値画像に残し、面積、形
状、位置の違いが予め設定した許容範囲を越えている連
結成分同士は背景ノイズ部と判断し該二値画像から除去
する第２−３の段階を、該得られた２枚の二値画像を位
置を揃えて重ね合わせ、対応する２つの画素が両方とも
連結成分に属する場合、該対応画素を仮文字画素として
記憶し、対応する２つの画素のうちどちらか一方でも連
結成分に属さない場合、該対応画素を非仮文字領域とし
て記憶し、該仮文字画素から構成される連結成分を含む
画像をＡＮＤ画像と定義して作成する第２−３−１の段
階と、該得られた２枚の二値画像を位置を揃えて重ね合
わせ、対応する２つの画素のうちどちらか一方でも連結
成分に属する場合、該対応画素を仮文字領域として記憶
し、対応する２つの画素が両方とも連結成分に属さない
場合、該対応画素を非仮文字領域として記憶し、仮文字
画素から構成される連結成分を含む画像をＯＲ画像と定
義して作成する第２−３−２の段階と、該第２−３−１
の段階により得られたＡＮＤ画像と第２−３−２の段階
により得られたＯＲ画像を位置を揃えて重ね合わせ、該
ＡＮＤ画像中の連結成分の中で、該ＯＲ画像中の連結成
分との重なる画素の個数が予め設定した閾値以上であ
り、且つ重なりをもつ該ＯＲ画像中の連結成分の面積が
予め設定した範囲内であれば、該ＡＮＤ画像中の連結成
分を文字連結成分として判断して該ＡＮＤ画像中に残
し、それ以外の連結成分は背景ノイズ領域として該ＡＮ
Ｄ画像から除去する第２−３−３の段階と、該第２−３
−３の段階により得られた文字連結成分だけが残留する
ＡＮＤ画像中の画素を文字領域画素として記憶する第３
−２−４の段階とを、用いて実現することを特徴とす
る。あるいは、上記の文字領域抽出方法において、第２
−１の段階と第２−２の段階により得られた２枚の二値
画像中の連結成分同士を比較し、面積、形状、位置の違
いが予め設定した許容範囲内である連結成分同士を文字
領域と判断し、該二値画像に残し、面積、形状、位置の
違いが予め設定した許容範囲を越えている連結成分同士
は背景ノイズ部と判断し該二値画像から除去する第２−
３の段階を、該得られた２枚の二値画像を位置を揃えて
重ね合わせ、対応する２つの画素が両方とも連結成分に
属する場合、該対応画素を仮文字画素として記憶し、対
応する２つの画素のうちどちらか一方でも連結成分に属
さない場合、該対応画素を非仮文字領域として記憶し、
該仮文字画素から構成される連結成分を含む画像をＡＮ
Ｄ画像と定義して作成する第２−３−１の段階と、該得
られた２枚の二値画像を位置を揃えて重ね合わせ、対応
する２つの画素のうちどちらか一方でも連結成分に属す
る場合、該対応画素を仮文字領域として記憶し、対応す
る２つの画素が両方とも連結成分に属さない場合、該対
応画素を非仮文字領域として記憶し、仮文字画素から構
成される連結成分を含む画像をＯＲ画像と定義して作成
する第２−３−２の段階と、該第２−３−１の段階によ
り得られたＡＮＤ画像と第２−３−２の段階により得ら
れたＯＲ画像を位置を揃えて重ね合わせ、該ＡＮＤ画像
中の連結成分の中で、該ＯＲ画像中の連結成分との重な
る画素の個数が予め設定した閾値以上であり、且つ重な
りをもつ該ＯＲ画像中の連結成分の面積が予め設定した
範囲内であれば、該ＡＮＤ画像中の連結成分を文字連結
成分として判断して該ＡＮＤ画像中に残し、それ以外の
連結成分は背景ノイズ領域として該ＡＮＤ画像から除去
する第２−３−３の段階と、該第２−３−３の段階によ
り得られた文字連結成分だけが残留するＡＮＤ画像中
で、該第２−１の段階で得られた水平ライン毎の二値化
により得られた各ライン内の連結画素のうち、連結画素
数が予め設定した値より少ない連結画素を文字領域と
し、該画素と同じ位置に存在する該ＡＮＤ画像中の画素
を文字領域画素として記憶する第３−２−４の段階と
を、用いて実現することを特徴とする。

【００１４】さらには、以上の文字領域抽出方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とする。

【００１５】また、同じく上記の課題を解決するため
に、本発明による文字領域抽出装置は、文字が表示され
ているカラー画像を入力して記憶するカラー画像入力記
憶手段と、該カラー画像入力記憶手段により入力された
カラー画像の中で輝度値が類似し、画像空間内で隣接す
る複数の画素同士を連結領域として形成する輝度値類似
領域形成手段と、該輝度値類似領域形成手段により得ら
れた輝度値が類似する連結領域画像に対し、各領域内
で、彩度値が類似し、画像空間内で隣接する複数の画素
同士を連結領域として形成する彩度値類似領域形成手段
と、該彩度値類似領域形成手段により得られた輝度値、
彩度値共に類似する連結領域画像に対し、各領域内で、
色相値が類似し、画素空間内で隣接する複数の画素を連
結領域として形成する色相値類似領域形成手段と、該色
相値類似領域形成手段により得られた連結領域画素だけ
を画像中に残し、文字領域画像として蓄積する文字領域
画像蓄積手段と、該カラー画像入力記憶手段、該輝度値
類似領域形成手段、該彩度値類似領域形成手段および該
色相値類似領域形成手段の実行順序を制御する処理制御
手段とを、具備する文字領域抽出装置において、文字が
表示されているカラー画像を入力して記憶するカラー画
像入力記憶手段は、テレビ放送映像などのカラー動画像
の中で、同一のテロップ文字等の文字が表示されている
時間的に連続する複数のカラー画像を入力して記憶する
か、あるいは、文字が表示されている一枚の静止カラー
画像を入力して記憶するカラー動画像／静止画像入力記
憶手段と、該同一の文字が表示されている複数のカラー
画像が入力された場合、該複数のカラー画像間で位置の
対応する画素同士の画素値の平均値を各画素の値として
持つ平均値カラー画像を作成して入力されたカラー画像
として出力する複数フレーム平均化手段と、該カラー動
画像／静止画像入力記憶手段と複数フレーム平均化手段
の実行順序を制御する処理制御手段とを、具備し、カラ
ー画像中の輝度値が類似し、画像空間内で隣接する複数
の画素同士を連結領域として形成する輝度値類似領域形
成手段は、該カラー画像中の各水平ライン内で輝度の二
値化を行い、結果を二値画像として得る水平ライン単位
二値化手段と、該カラー画像中の各垂直ライン内で輝度
の二値化を行い、結果を二値画像として得る垂直ライン
単位二値化手段と、該水平ライン単位二値化手段と該垂
直ライン単位二値化手段により得 られた２枚の二値画像
中の連結成分同士を比較し、面積、形状、位置の違いが
予め設定した許容範囲内である連結成分同士を文字領域
と判断し、該二値画像に残し、面積、形状、位置の違い
が予め設定した許容範囲を越えている連結成分同士は背
景ノイズ部と判断し該二値画像から除去する二値化結果
統合手段と、該水平ライン単位二値化手段、該垂直ライ
ン単位二値化手段および該二値化結果統合手段の実行順
序を制御する処理制御手段とを、具備することを特徴と
する。

【００１６】

【００１７】

【００１８】あるいは、上記の文字領域抽出装置におい
て、カラー画像中の各水平ライン内で輝度の二値化を行
い、結果を二値画像として得る水平ライン単位二値化手
段は、該カラー画像中のある水平ライン内の輝度値分布
において、輝度の極大値を持つ画素を全て求め、求めた
各極大値画素を開始点とし、該水平ライン上を一画素ず
つ左右に操作し、開始点の極大値画素の左右両側でそれ
ぞれ開始点の輝度値よりも予め設定した閾値だけ輝度値
が低い最初の画素を検出し、検出された左右二つの画素
と該水平ライン上でそれら二つの画素の間に存在する複
数の画素を連結画素領域として抽出する輝度極大領域検
出手段と、該輝度極大領域検出手段により得られた連結
画素領域の左右の両端画素付近に存在する予め決めた方
法で選択した複数の画素の中から水平方向の輝度勾配の
絶対値が最大となる画素を左右各々で求め、該画素を両
端とする範囲を高輝度文字領域として抽出する高輝度文
字領域抽出手段と、該カラー画像中のある水平ライン内
の輝度値分布において、輝度の極小値を持つ画素を全て
求め、求めた各極小値画素を開始点とし、該水平ライン
上を一画素ずつ左右に操作し、開始点の極小値画素の左
右両側でそれぞれ開始点の輝度値よりも予め設定した閾
値だけ輝度値が高い最初の画素を検出し、検出された左
右二つの画素と該水平ライン上でそれら二つの画素の間
に存在する複数の画素を連結画素領域として抽出する輝
度極小領域検出手段と、該輝度極小領域検出手段により
得られた連結画素領域の左右の両端画素付近に存在する
予め決めた方法で選択した複数の画素の中から水平方向
の輝度勾配の絶対値が最大となる画素を左右各々で求
め、該画素を両端とする範囲を低輝度文字領域として抽
出する低輝度文字領域抽出手段と、該高輝度文字領域抽
出手段で抽出された各水平ライン上の高輝度文字領域を
集めて、画像全体としての高輝度文字領域画像を作成
し、また、該低輝度文字領域抽出手段で抽出された各水
平ライン上の低輝度文字領域を集めて、画像全体として
の低高輝度文字領域画像を作成する水平ライン別二値化
結果統合手段と、該輝度極大領域検出手段、該高輝度文
字領域抽出手段、該輝度極小領域検出手段、該低輝度文
字領域抽出手段および該水平ライン別二値化結果統合手
段の実行順序を制御する処理制御手段と、該カラー画像
中のエッジ部の画素を検出するエッジ検出手段と、該水
平ライン別二値化結果統合手段で得られた高輝度文字領
域画像、および低輝度文字領域画像中の文字連結成分を
構成する複数の画素から該エッジ検出手段で得られたカ
ラー画像中の垂直方向のエッジ部に相当する画素を除去
するエッジ部除去手段とを、具備することを特徴とす
る。

【００１９】あるいは、上記の文字領域抽出装置におい
て、カラー画像中の各垂直ライン内で輝度の二値化を行
い、結果を二値画像として得る垂直ライン単位二値化手
段は、該カラー画像中のある垂直ライン内の輝度値分布
において、輝度の極大値を持つ画素を全て求め、求めた
各極大値画素を開始点とし、該垂直ライン上を一画素ず
つ上下に操作し、開始点の極大値画素の上下両側でそれ
ぞれ開始点の輝度値よりも予め設定した閾値だけ輝度値
が低い最初の画素を検出し、検出された上下二つの画素
と該垂直ライン上でそれら二つの画素の間に存在する複
数の画素を連結画素領域として抽出する輝度極大領域検
出手段と、該輝度極大領域検出手段により得られた連結
画素領域の左右の両端画素付近に存在する予め決めた方
法で選択した複数の画素の中から垂直方向の輝度勾配の
絶対値が最大となる画素を左右各々で求め、該画素を両
端とする範囲を高輝度文字領域として抽出する高輝度文
字領域抽出手段と、該カラー画像中のある垂直ライン内
の輝度値分布において、輝度の極小値を持つ画素を全て
求め、求めた各極小値画素を開始点とし、該垂直ライン
上を一画素ずつ上下に操作し、開始点の極小値画素の上
下両側でそれぞれ開始点の輝度値よりも予め設定した閾
値だけ輝度値が高い最初の画素を検出し、検出された上
下二つの画素と該垂直ライン上でそれら二つの画素の間
に存在する複数の画素を連結画素領域として抽出する輝
度極小領域検出手段と、該輝度極小領域検出手段により
得られた連結画素領域の左右の両端画素付近に存在する
予め決めた方法で選択した複数の画素の中から垂直方向
の輝度勾配の絶対値が最大となる画素を左右各々で求
め、該画素を両端とする範囲を低輝度文字領域として抽
出する低輝度文字領域抽出手段と、該高輝度文字領域抽
出手段で抽出された各垂直ライン上の高輝度文字領域を
集めて、画像全体としての高輝度文字領域画像を作成
し、また、該低輝度文字領域抽出手段で抽出された各垂
直ライン上の低輝度文字領域を集めて、画像全体として
の低高輝度文字領域画像を作成する該垂直ライン別二値
化結果統合手段と、該輝度極大領域検出手段、該高輝度
文字領域抽出手段、該輝度極小領域検出手段、該低輝度
文字領域抽出手段および該垂直ライン別二値化結果統合
手段の実行順序を制御する処理制御手段と、該カラー画
像中のエッジ部の画素を検出するエッジ検出手段と、該
垂直ライン別二値化結果統合手段で得られた高輝度文字
領域画像、および低輝度文字領域画像中の文字連結成分
を構成する複数の画素から該エッジ抽出手段で得られた
カラー画像中の垂直方向のエッジ部に相当する画素を除
去するエッジ部除去手段とを、具備することを特徴とす
る。

【００２０】あるいは、上記の文字領域抽出装置におい
て、水平ライン単位二値化手段と垂直ライン単位二値化
手段により得られた２枚の二値画像中の連結成分同士を
比較し、面積、形状、位置の違いが予め設定した許容範
囲内である連結成分同士を文字領域と判断し、該二値画
像に残し、面積、形状、位置の違いが予め設定した許容
範囲を越えている連結成分同士は背景ノイズ部と判断し
該二値画像から除去する二値化結果統合手段は、該得ら
れた２枚の二値画像を位置を揃えて重ね合わせ、対応す
る２つの画素が両方とも連結成分に属する場合、該対応
画素を仮文字画素として記憶し、対応する２つの画素の
うちどちらか一方でも連結成分に属さない場合、該対応
画素を非仮文字領域として記憶し、仮文字画素から構成
される連結成分を含む画像をＡＮＤ画像と定義して作成
するＡＮＤ画像作成手段と、該得られた２枚の二値画像
を位置を揃えて重ね合わせ、対応する２つの画素のうち
どちらか一方でも連結成分に属する場合、該対応画素を
仮文字領域として記憶し、対応する２つの画素が両方と
も連結成分に属さない場合、該対応画素を非仮文字領域
として記憶し、仮文字画素から構成される連結成分を含
む画像をＯＲ画像と定義して作成するＯＲ画像作成手段
と、該ＡＮＤ画像作成手段により得られたＡＮＤ画像と
該ＯＲ画像作成手段により得られたＯＲ画像を位置を揃
えて重ね合わせ、該ＡＮＤ画像中の連結成分の中で、該
ＯＲ画像中の連結成分との重なる画素の個数が予め設定
した閾値以上であり、且つ重なりをもつ該ＯＲ画像中の
連結成分の面積が予め設定した範囲内であれば、該ＡＮ
Ｄ画像中の連結成分を文字連結成分として判断し、該Ａ
ＮＤ画像中に残し、それ以外の連結成分は背景ノイズ領
域として該ＡＮＤ画像から除去する文字連結成分判断手
段と、該文字連結成分判断手段により得られた文字連結
成分だけが残留するＡＮＤ画像中の画素を文字領域画素
として記憶する文字画素登録手段とを、具備することを
特徴とする文字領域抽出装置。あるいは、上記の文字領
域抽出装置において、水平ライン単位二値化手段と垂直
ライン単位二値化手段により得られた２枚の二値画像中
の連結成分同士を比較し、面積、形状、位置の違いが予
め設定した許容範囲内である連結成分同士を文字領域と
判断し、該二値画像に残し、面積、形状、位置の違いが
予め設定した許容範囲を越えている連結成分同士は背景
ノイズ部と判断し該二値画像から除去する二値化結果統
合手段は、該得られた２枚の二値画像を位置を揃えて重
ね合わせ、対応する２つの画素が両方とも連結成分に属
する場合、該対応画素を仮文字画素として記憶し、対応
する２つの画素のうちどちらか一方でも連結成分に属さ
ない場合、該対応画素を非仮文字領域として記憶し、仮
文字画素から構成される連結成分を含む画像をＡＮＤ画
像と定義して作成するＡＮＤ画像作成手段と、該得られ
た２枚の二値画像を位置を揃えて重ね合わせ、対応する
２つの画素のうちどちらか一方でも連結成分に属する場
合、該対応画素を仮文字領域として記憶し、対応する２
つの画素が両方とも連結成分に属さない場合、該対応画
素を非仮文字領域として記憶し、仮文字画素から構成さ
れる連結成分を含む画像をＯＲ画像と定義して作成する
ＯＲ画像作成手段と、該ＡＮＤ画像作成手段により得ら
れたＡＮＤ画像と該ＯＲ画像作成手段により得られたＯ
Ｒ画像を位置を揃えて重ね合わせ、該ＡＮＤ画像中の連
結成分の中で、該ＯＲ画像中の連結成分との重なる画素
の個数が予め設定した閾値以上であり、且つ重なりをも
つ該ＯＲ画像中の連結成分の面積が予め設定した範囲内
であれば、該ＡＮＤ画像中の連結成分を文字連結成分と
して判断し、該ＡＮＤ画像中に残し、それ以外の連結成
分は背景ノイズ領域として該ＡＮＤ画像から除去する文
字連結成分判断手段と、該文字連結成分判断手段により
得られた文字連結成分だけが残留するＡＮＤ画像中で、
該水平ライン単位二値化手段で得られた水平ライン毎の
二値化により得られた各ライン内の連結画素のうち、連
結画素数が予め設定した値より少ない連結画素を文字領
域とし、該画素と同じ位置に存在する該ＡＮＤ画像中の
画素を文字領域画素として記憶する文字画素登録手段と
を、具備することを特徴とする。

【００２１】前記のとおり、従来手法では、横ストロー
クの端部の色劣化部の抽出が不安定であるという問題が
あった。そこで、本発明では、ライン上の輝度分布から
局所的に値の際だった範囲を、予め決めた輝度値の閾値
を用いて求めた後で、さらに求めた範囲の両端部におけ
る輝度勾配値の最大となる画素を真の文字の端部とする
ことで、文字色劣化部も安定的に文字領域に含めて抽出
できるようにすることにより、文字輪郭形状を原画同様
滑らかにし、またストロークの途切れを無くすことを可
能とする（図１０参照）。

【００２２】更に、従来手法では、各方向別のライン単
位では、参照する方向でしか文字と背景の境界検出は保
証できないため、最終的に文字領域の抽出に失敗する問
題があった。本発明では、各方向別のライン単位の二値
化を行った後、原画中のエッジ画素を連結成分から取り
除くため、各方向別の二値化後は、文字と背景の境界部
は全て検出し、文字部を背景と完全に分離した連結成分
として抽出することを可能とする。これにより、最終的
に各方向別のライン単位の二値化結果を重ね合わせ、比
較し、統合した最終的な結果においても文字部は各結果
が共通した位置、大きさ、形状をとるため、文字領域の
抽出失敗を抑制することを可能とする（図１１、図１２
参照）。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態例を詳細に説明する。

【００２４】図１は、本発明の一実施形態例による装置
の構成とともに処理の流れを示すブロック図である。

【００２５】図１において、１はカラー画像入力記憶部
であり、処理対象の文字が表示されているカラー画像デ
ータを入力してメモリに記憶する。

【００２６】２は輝度類似領域形成部であり、カラー画
像入力記憶部１により入力されたカラー画像中で輝度値
が類似し、画像空間内で隣接する複数の画素同士を連結
領域として形成する。

【００２７】３は彩度値類似領域形成部であり、輝度値
類似領域形成部２により得られた輝度値が類似する連結
領域画素中の各領域内で彩度値が類似し、画像空間内で
隣接する複数の画素同士を連結領域として形成する。

【００２８】４は色相値類似領域形成部であり、彩度値
類似領域形成部３により得られた輝度値、彩度値共に類
似する連結領域画素中の各領域内で色相値が類似し、画
像空間内で隣接する複数の画素同士を連結領域として形
成する。

【００２９】５は文字領域画像蓄積部であり、色相値類
似領域形成部４により得られた連結領域画像を文字領域
抽出結果画像として蓄積する。

【００３０】６は処理制御部であり、上記１〜５の各部
の実行順序を制御する。

【００３１】図２は、図１中のカラー画像入力記憶部１
の構成の一例とともに処理の流れの一例を示すブロック
図である。

【００３２】図２において、７はカラー画像入力記憶部
であり、テレビ放送映像などのカラー動画像の中で、同
一のテロップ文字等の文字が表示されている時間的に連
続する複数のカラー画像を入力して記憶するか、あるい
は、文字を含む一枚の静止カラー画像を入力して記憶す
る。

【００３３】８は複数フレーム平均化部であり、同一の
文字が表示されている複数のカラー画像間で位置の対応
する画素同士の画素値の平均値を各画素の値として持つ
平均値カラー画像を作成する。

【００３４】一般にテレビ放送映像などのカラー動画像
中において、テロップ文字表示は複数フレームに渡って
画面内の同じ位置に表示される。一方、文字表示以外の
一般物体や背景部には動きが生じている場合が多い。

【００３５】このため、カラー動画像中の同一テロップ
文字が表示されている時間的に連続する複数のカラー画
像間の対応する画素同士の画素値は文字部では複数フレ
ームに渡って変化せず、背景部では物体の動きがあるた
め、複数フレームに渡って値が変化する。

【００３６】よって、該複数フレームの対応画素の平均
値を各画素の値として持つ平均化カラー画像を作成する
と、文字部では複数フレームに渡って値が変わらないた
め、平均化後も値はほとんど変わらないが、背景部で
は、様々な値が平均化されるため、画像中の物体輪郭部
などが不明確なぼやけた様子になる。

【００３７】このことは、後段の画像の二値化処理にお
いて、背景部からの一般物体の領域抽出を抑制する効果
を持っている。

【００３８】９は処理制御部であり、７〜８の各部の実
行順序を制御する。

【００３９】図３は、図１中の輝度値類似領域形成部２
の構成の一例とともに処理の流れの一例を示すブロック
図である。

【００４０】図３において、１０は水平ライン単位二値
化部であり、画像中の各水平ライン内で輝度の二値化を
行う。

【００４１】１１は垂直ライン単位二値化部であり、画
像中の各垂直ライン内で輝度の二値化を行う。

【００４２】１２は二値化結果統合部であり、水平ライ
ン単位二値化部１０と垂直ライン単位二値化部１１によ
り得られた２枚の二値画像を比較し、両方の結果ともに
同じ位置に存在し、同じ面積値をもつ連結成分を文字領
域と判断し、他の連結成分は背景ノイズ部と判断し画像
から除去する。

【００４３】１３は処理制御部であり、上記１０〜１２
の各部の実行順序を制御する。

【００４４】図４は、図３中の水平ライン単位二値化部
１０の構成の一例とともに処理の流れの一例を示すブロ
ック図である。

【００４５】図４において、１４は水平ライン上輝度極
大領域検出部であり、画像中のある水平ライン内の輝度
分布を調べ、該水平ライン内で局所的に輝度値が予め設
定した値だけ高い連結画素領域を検出する。

【００４６】１５は高輝度文字領域抽出部であり、画像
中のある水平ライン上で、水平ライン上輝度極大領域検
出部１４により得られた連結画素領域の左右の両端付近
の複数の画素の中から水平方向の輝度勾配の絶対値が最
大となる画素を左右各々で求め、該画素を両端とする範
囲を高輝度文字領域として抽出する。

【００４７】１６は水平ライン上輝度極小領域検出部で
あり、画像中のある水平ライン内の輝度分布を調べ、該
水平ライン内で局所的に輝度値が予め設定した値だけ低
い連結画素領域を検出する。

【００４８】１７は低輝度文字領域抽出部であり、画像
中のある水平ライン上で、水平ライン上輝度極小領域検
出部１６により得られた連結画素領域の左右の両端付近
の複数の画素の中から水平方向の輝度勾配の絶対値が最
大となる画素を左右各々で求め、該画素を両端とする範
囲を低輝度文字領域として抽出する。

【００４９】１８は水平ライン別二値化結果統合部であ
り、高輝度文字領域抽出部１５および低輝度文字領域抽
出部１７により得られた各水平ライン上の文字領域を統
合し、画像全体としての文字領域画像を作成する。

【００５０】１９は処理制御部であり、１４〜１８の各
部における実行順序を制御する。

【００５１】２０はエッジ検出部であり、画像中のエッ
ジ部の画素を検出する。エッジ検出には例えばＲｏｂｉ
ｎｓｏｎのオペレータを使うなど既存の方法を用いる。

【００５２】２１はエッジ部除去部であり、水平ライン
別二値化結果統合部１８により得られた高輝度文字領域
画像、および低輝度文字領域抽出画像中の文字連結成分
を構成する複数の画素からエッジ検出部１８により得ら
れた平均値画像中の垂直方向のエッジ部に相当する画素
を除去する。

【００５３】図５は、図３中の垂直ライン単位二値化部
１１の構成の一例とともに処理の流れの一例を示すブロ
ック図である。

【００５４】図５において、２２は垂直ライン上輝度極
大領域検出部であり、画像中のある垂直ライン内の輝度
分布を調べ、該垂直ライン内で局所的に輝度値が予め設
定した値だけ高い連結画素領域を検出する。

【００５５】２３は高輝度文字領域抽出部であり、画像
中のある垂直ライン上で、垂直ライン上輝度極大領域検
出部２２により得られた連結画素領域の左右の両端付近
の複数の画素の中から垂直方向の輝度勾配の絶対値が最
大となる画素を左右各々で求め、該画素を両端とする範
囲を高輝度文字領域として抽出する。

【００５６】２４は垂直ライン上輝度極小領域検出部で
あり、画像中のある垂直ライン内の輝度分布を調べ、該
垂直ライン内で局所的に輝度値が予め設定した値だけ低
い連結画素領域を検出する。

【００５７】２５は低輝度文字領域抽出部であり、画像
中のある垂直ライン上で、垂直ライン上輝度極小領域検
出部２４により得られた連結画素領域の左右の両端付近
の複数の画素の中から垂直方向の輝度勾配の絶対値が最
大となる画素を左右各々で求め、該画素を両端とする範
囲を低輝度文字領域として抽出する。

【００５８】２６は垂直ライン別二値化結果統合部であ
り、高輝度文字領域抽出部２３および低輝度文字領域抽
出部２５により得られた各垂直ライン上の文字領域を統
合し、画像全体としての文字領域画像を作成する。

【００５９】２７は処理制御部であり、２２〜２６の各
部における実行順序を制御する。

【００６０】２８はエッジ検出部であり、画像中のエッ
ジ部の画素を検出する。エッジ検出には例えばＲｏｂｉ
ｎｓｏｎのオペレータを使うなど既存の方法を用いる。

【００６１】２９はエッジ部除去部であり、垂直ライン
別二値化結果統合部２６により得られた高輝度文字領域
画像、および低輝度文字領域抽出画像中の文字連結成分
を構成する複数の画素からエッジ検出部２８により得ら
れた平均値画像中の垂直方向のエッジ部に相当する画素
を除去する。

【００６２】図６は、図３中の二値化結果統合部１２の
構成の一例とともに処理の流れの一例を示すブロック図
である。

【００６３】図６において、３０はＡＮＤ画像作成部で
あり、入力された２枚の二値画像を位置を揃えて重ね合
わせ、対応する２つの画素が両方とも連結成分に属する
場合、該対応画素を仮文字画素として記憶し、対応する
２つの画素のうちどちらか一方でも連結成分に属さない
場合、該対応画素を非仮文字領域として記憶し、仮文字
画素から構成される連結成分を含む画像（ここでは、こ
れをＡＮＤ画像と定義する）を作成する。

【００６４】３１はＯＲ画像作成部であり、入力された
２枚の二値画像を位置を揃えて重ね合わせ、対応する２
つの画素のうちどちらか一方でも連結成分に属する場
合、該対応画素を仮文字領域として記憶し、対応する２
つの画素が両方とも連結成分に属さない場合、該対応画
素を非仮文字領域として記憶し、仮文字画素から構成さ
れる連結成分を含む画像（ここでは、これをＯＲ画像と
定義する）を作成する。

【００６５】３２は文字連結成分判断部であり、ＡＮＤ
画像作成部３０により得られたＡＮＤ画像とＯＲ画像作
成部３１により得られたＯＲ画像を位置を揃えて重ね合
わせ、ＡＮＤ画像中の連結成分の中で、ＯＲ画像中の連
結成分との重なる画素の個数が予め設定した閾値以上で
あり、且つ重なりをもつＯＲ画像中の連結成分の面積が
予め設定した範囲内であれば、該ＡＮＤ画像中の連結成
分を文字連結成分として判断する。

【００６６】３３は文字画素登録部であり、文字連結成
分判断部３２により得られた文字連結成分だけが残留す
るＡＮＤ画像中で、水平ライン単位二値化部１０により
得られた各ライン内の連結画素のうち、連結画素数が予
め設定した値より少ない連結画素を文字領域とし、該画
素と同じ位置に存在する該ＡＮＤ画像中の画素を文字領
域画素として記憶する。

【００６７】図７は、図４中の水平ライン上輝度極大値
領域検出部１４、高輝度文字領域抽出部１５の処理の実
施形態を説明するためのフローチャーチである。なお、
図５中の垂直ライン上輝度極大値領域検出部２２、高輝
度文字領域抽出部２３の処理も同様に行われる。ただ
し、水平は垂直と、左は上と、右は下と読み替える。

【００６８】図７において、ステップ（３０）は輝度画
像をメモリに読み込む過程である。

【００６９】ステップ（３１）は、輝度類似文字領域抽
出処理の未処理の水平ラインが存在するかどうかを判断
する過程であり、未処理の水平ラインが存在すれば、ス
テップ（３２）へ移り、未処理の水平ラインが存在しな
ければ、処理を終了する。

【００７０】ステップ（３２）は、ステップ（３１）で
得られた画像中の各水平ライン上毎に輝度分布を調べ、
極大値をもつ画素を全て求める過程である。

【００７１】ステップ（３３）は、ステップ（３２）で
得られた極大値画素のうち、高輝度文字領域抽出処理の
未処理の極大値画素が存在するかどうかを判断する過程
であり、未処理の極大値画素が存在すれば、ステップ
（３４）へ移り、未処理の極大値画素が存在しなけれ
ば、ステップ（３１）へ移る。

【００７２】ステップ（３４）は、ステップ（３３）で
得られた極大値画素を開始点とし、左方向、および右方
向に水平ライン上を一画素づつ走査し、極大値よりも左
側、右側でそれぞれ極大値より予め設定した閾値だけ輝
度値が低い最初の画素を検出し、検出された２つの画素
と該水平ライン上でそれら２つの画素の間に存在する画
素を連結画素領域として抽出する過程である。

【００７３】ステップ（３５）は、ステップ（３４）で
得られた連結画素領域の左右の端部の一定範囲の複数の
画素において、輝度勾配値の絶対値を求める過程であ
る。

【００７４】ステップ（３４）で得られたある水平ライ
ン上の連結画素領域の左右の端点の水平方向の座標値を
それぞれｘ，ｙとする（０＜ｘ＜ｙ、座標値はラインの
最左端を０とし、以降、右側に１画素ずれる度に１だけ
増加するものとする）。ｘとｙにおける一定範囲とは、
それぞれｘ−ｒ，ｘ−ｒ＋１，…，ｘ，…，ｘ＋ｒ−
１，ｘ＋ｒ、およびｙ−ｒ，ｙ−ｒ＋１，…，ｙ，…，
ｙ＋ｒ−１，ｙ＋ｒである。なお、ｒは、予め設定され
る値である。

【００７５】上記両端の一定範囲中の画素の輝度値をＬ
（ｘ−ｒ），Ｌ（ｘ−ｒ＋１），…，Ｌ（ｘ），…，Ｌ
（ｘ＋ｒ−１），Ｌ（ｘ＋ｒ）、およびＲ（ｘ−ｒ），
Ｒ（ｘ−ｒ＋１），…，Ｒ（ｘ），…，Ｒ（ｘ＋ｒ−
１），Ｒ（ｘ＋ｒ）とすると、両端部の一定範囲中の各
座標における輝度勾配値の絶対値はそれぞれ左端に関し
ては、ａｂｓ｛Ｌ（ｘ−ｒ）−Ｌ（ｘ−ｒ−１）｝，
…，ａｂｓ｛Ｌ（ｘ）−Ｌ（ｘ−１）｝，…，ａｂｓ
｛Ｌ（ｘ＋ｒ）−Ｌ（ｘ＋ｒ−１）｝、右端に関して
は、ａｂｓ｛Ｒ（ｘ−ｒ）−Ｒ（ｘ−ｒ＋１）｝，…，
ａｂｓ｛Ｒ（ｘ）−Ｒ（ｘ＋１）｝，…，ａｂｓ｛Ｒ
（ｘ＋ｒ）−Ｒ（ｘ＋ｒ＋１）｝である。ただし、左端
の各画素に関しては、１個だけ左隣の画素との輝度差分
の絶対値、右端の各画素に関しては、１個だけ右隣の画
素との輝度差分の絶対値を算出し、その値を各画素にお
ける輝度勾配値の絶対値とする。

【００７６】ステップ（３６）は、ステップ（３５）で
得られた輝度勾配値の絶対値のうち左右それぞれで最大
値を求め、両方とも予め設定した値よりも大きければス
テップ（３７）に移り、どちらか一方でも予め設定した
値より小さければステップ（３３）に移る。

【００７７】ステップ（３５）で得られた画素連結領域
の左端の一定範囲の画素の輝度勾配値の絶対値の最大値
とはｍａｘ［ａｂｓ｛Ｌ（ｘ−ｒ）−Ｌ（ｘ−ｒ−
１）｝，…，ａｂｓ｛Ｌ（ｘ）−Ｌ（ｘ−１）｝，…，
ａｂｓ｛Ｌ（ｘ＋ｒ）−Ｌ（ｘ＋ｒ−１）｝］であり、
右端の一定範囲の画素の輝度勾配値の絶対値の最大値と
は、ｍａｘ［ａｂｓ｛Ｒ（ｘ−ｒ）−Ｒ（ｘ−ｒ＋
１）｝，…，ａｂｓ｛Ｒ（ｘ）−Ｒ（ｘ＋１）｝，…，
ａｂｓ｛Ｒ（ｘ＋ｒ）−Ｒ（ｘ＋ｒ＋１）｝］である。

【００７８】一般に文字表示画面における文字の輝度と
文字に接している背景の輝度の値には大きな差があり、
両者の境界部には急激な輝度勾配が存在する。一方、画
面に表示されている文字以外の一般物体の境界部には必
ずしも急激な輝度勾配が存在するとは限らない。このた
めステップ（３５）で得られた連結画素領域の左右両端
の輝度勾配値の絶対値が両方とも予め設定した値より大
きい場合、該連結画素領域を文字領域とし、どちらか一
方でも予め設定した値より小さい場合、背景ノイズ領域
として除去することで、従来よりも効果的に背景ノイズ
領域の抽出を抑え、高精度に文字領域を抽出することが
可能となる。

【００７９】ステップ（３７）は、ステップ（３６）で
得られた輝度勾配値の絶対値が予め設定した値より大き
い両端の画素を含み、該画素の間に存在する画素を高輝
度文字領域として確定し、ステップ（３３）に戻る過程
である。

【００８０】図８は、図４中の水平ライン上輝度極小値
領域検出部１６、低輝度文字領域抽出部１７の処理の実
施形態を説明するためのフローチャーチである。なお、
図５中の垂直ライン上輝度極小値領域検出部２４、低輝
度文字領域抽出部２５の処理も同様に行われる。ただ
し、水平は垂直と、左は上と、右は下と読み替える。

【００８１】図８において、ステップ（４０）は輝度画
像をメモリに読み込む過程である。

【００８２】ステップ（４１）は、輝度類似文字領域抽
出処理の未処理の水平ラインが存在するかどうかを判断
する過程であり、未処理の水平ラインが存在すれば、ス
テップ（４２）へ移り、未処理の水平ラインが存在しな
ければ、処理を終了する。

【００８３】ステップ（４２）は、ステップ（４１）で
得られた画像中の各水平ライン上毎に輝度分布を調べ、
極小値をもつ画素を全て求める過程である。

【００８４】ステップ（４３）は、ステップ（４２）で
得られた極小値画素のうち、低輝度文字領域抽出処理の
未処理の極小値画素が存在するかどうかを判断する過程
であり、未処理の極小値画素が存在すれば、ステップ
（４４）へ移り、未処理の極小値画素が存在しなけれ
ば、ステップ（４１）へ移る。

【００８５】ステップ（４４）は、ステップ（４３）で
得られた極小値画素を開始点とし、左方向、および右方
向に水平ライン上を一画素づつ走査し、極小値よりも左
側、右側でそれぞれ極小値より予め設定した閾値だけ輝
度値が高い最初の画素を検出し、検出された２つの画素
と該水平ライン上でそれら２つの画素の間に存在する画
素を連結画素領域として抽出する過程である。

【００８６】ステップ（４５）は、ステップ（４４）で
得られた連結画素領域の左右の端部の一定範囲の複数の
画素において、輝度勾配値の絶対値を求める過程であ
る。

【００８７】ステップ（４６）は、ステップ（４５）で
得られた輝度勾配値の絶対値のうち左右それぞれで最大
値を求め、両方とも予め設定した値よりも大きければス
テップ（４７）に移り、どちらか一方でも予め設定した
値より小さければステップ（４３）に移る。

【００８８】ステップ（４７）は、ステップ（４６）で
得られた輝度勾配値の絶対値が予め設定した値より大き
い両端の画素を含み、該画素の間に存在する画素を低輝
度文字領域として確定し、ステップ（４３）に戻る過程
である。

【００８９】図９は、図６中の文字連結成分判断部３２
の処理の実施形態を説明するためのフローチャートであ
る。

【００９０】図９において、ステップ（５０）はＡＮＤ
画像とＯＲ画像をメモリに読み込む過程である。

【００９１】ステップ（５１）は、ＡＮＤ画像とＯＲ画
像の位置を合わせる過程である。

【００９２】ステップ（５２）は、ＡＮＤ画像中の連結
成分番号用の変数ｎを１に初期化する過程である。

【００９３】ステップ（５３）は、変数ｎとＡＮＤ画像
中の連結成分の総数Ｎを比較し、ｎの値がＮ以下の場合
はステップ（５４）に移り、ｎの値がＮより大きい場合
は処理を終了する過程である。

【００９４】ステップ（５４）は、ＡＮＤ画像中のｎ番
目の連結成分と重なるＯＲ画像中の連結成分画素の数Ｑ
_or（ｎ）、及びＡＮＤ画像中のｎ番目の連結成分中の該
重なりを持つ画素の数Ｑ_itand（ｎ）を計算する過程で
ある。

【００９５】ステップ（５５）は、Ｑ_and（ｎ）とＡＮ
Ｄ画像中のｎ番目の連結成分の面積値Ｐ_and（ｎ）に予
め設定した値ｔｈ１をかけた値（Ｐ_and（ｎ）×ｔｈ
１）を比較し、且つＱ_or（ｎ）とＯＲ画像中の該重なり
画素を含む連結成分の面積値Ｐ_or（ｎ）に予め設定した
値ｔｈ２をかけた値（Ｐ_or（ｎ）×ｔｈ２）を比較し、
Ｑ_and（ｎ）がＰ_and（ｎ）×ｔｈ１以上で、且つＱ
_or（ｎ）がＰ_or（ｎ）×ｔｈ２以上の場合、ステップ
（５６）に移り、そうでなければステップ（５７）へ移
る過程である。

【００９６】ステップ（５６）は、ＡＮＤ画像中のｎ番
目の連結成分を文字領域として判断する過程である。一
般に映像中の文字は、ＡＮＤ画像、ＯＲ画像、両方とも
にほぼ等しい面積値を持つ領域となり、一方、文字以外
の一般物体は、必ずしもＡＮＤ画像、ＯＲ画像、両方と
もにほぼ等しい面積を持つ領域として得られるとは限ら
ないため、ステップ（５５）におけるステップ（５６）
に移るための条件を満たすことで、文字以外の一般物体
の領域を効果的に除去し、文字領域を高精度に抽出する
ことが可能となる。

【００９７】ステップ（５７）は、変数ｎを１だけイン
クリメントし、ステップ（５３）に戻る過程である。

【００９８】図１０は、本発明によって決まるライン上
の文字領域範囲を説明する図である。本発明では、ライ
ン上の輝度分布から局所的に値の際だった範囲を、予め
決めた輝度値の閾値を用いて求めた後で、さらに求めた
範囲の両端部における輝度勾配値の最大となる画素を真
の文字の端部とすることで、文字色劣化部も安定的に文
字領域に含めて抽出することができる。これにより、文
字輪郭形状を原画同様滑らかにし、また従来手法で発生
していたストロークの途切れを無くすことを可能とな
る。

【００９９】図１１は、本発明による二値化結果の一例
を示す図である。また、図１２は、その詳細を説明する
図である。従来手法では、図１６に示したように、各方
向別のライン単位では、参照する方向でしか文字と背景
の境界検出は保証できないため、最終的に文字領域の抽
出に失敗する問題があった。本発明では、各方向別のラ
イン単位の二値化を行った後、原画中のエッジ画素を連
結成分から取り除くため、各方向別の二値化後は、文字
と背景の境界部は全て検出し、文字部を背景と完全に分
離した連結成分として抽出することを可能となる。これ
により、最終的に各方向別のライン単位の二値化結果を
重ね合わせ、比較し、統合した最終的な結果においても
文字部は各結果が共通した位置、大きさ、形状をとるた
め、文字領域の抽出失敗を抑制することが可能となる。

【０１００】なお、図１〜図６で示した手段の一部もし
くは全部を、コンピュータを用いて機能させることがで
きること、あるいは、図１〜図９で示した処理の段階
（ステップ）をコンピュータで実行させることができる
ことは言うまでもなく、コンピュータをその手段として
機能させるためのプログラム、あるいは、コンピュータ
でその処理の段階を実行するためのプログラムを、その
コンピュータが読み取り可能な記録媒体、例えば、ＦＤ
（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカー
ド、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録し
て提供し、配布することが可能である。

【０１０１】

【発明の効果】以上の説明のとおり、本発明によれば、
画像中のライン単位での二値化の際、ライン上の輝度分
布の局所的に値が際だっている部分の両端において最も
輝度勾配の大きい画素を求め、これを文字範囲の端部と
することで、横ストロークの端部の劣化部も含めた文字
領域を安定的に抽出する効果が得られる。また、方向毎
のライン単位の二値化後、エッジ部を取り除くため、文
字と背景の分離を確実に行うことができ、文字領域抽出
失敗を抑制する効果も得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態例による文字領域抽出装置
の構成とともに処理の流れを示すブロック図である。

【図２】上記実施形態例における図１中のカラー画像入
力記憶部の構成の一例とともに処理の流れの一例を示す
ブロック図である。

【図３】上記実施形態例における図２中の輝度値類似領
域形成部の構成の一例とともに処理の流れの一例を示す
ブロック図である。

【図４】図３中の上記輝度値類似領域形成部中の水平ラ
イン単位二値化部の構成の一例とともに処理の流れの一
例を示すブロック図である。

【図５】図３中の上記輝度値類似領域形成部中の垂直ラ
イン単位二値化部の構成の一例とともに処理の流れの一
例を示すブロック図である。

【図６】図３中の上記輝度値類似領域形成部の二値化結
果統合部の構成の一例とともに処理の流れの一例を示す
ブロック図である。

【図７】図４中の上記水平ライン単位二値化部中の水平
ライン上輝度極大値領域検出部と高輝度文字領域抽出部
の処理内容の一例を示すフローチャートである。

【図８】図４中の上記水平ライン単位二値化部中の水平
ライン上輝度極小値領域検出部と低輝度文字領域抽出部
の処理内容の一例を示すフローチャートである。

【図９】図６中の上記二値化結果統合部中の文字連結成
分判断部の処理内容の一例を示すフローチャートであ
る。

【図１０】本発明によって決まるライン上の文字領域範
囲の一例を示す図である。

【図１１】本発明による二値化結果の一例を示す図であ
る。

【図１２】図１１の二値化結果の一例の詳細を説明する
図である。

【図１３】ＮＴＳＣ形式の映像中の文字の色劣化の一例
を示す図である。

【図１４】（ａ），（ｂ）は、従来手法による二値化結
果の一例その１である。

【図１５】（ａ），（ｂ）は、従来手法による二値化結
果の一例その２である。

【図１６】従来手法による二値化結果の一例その３であ
る。

【符号の説明】

１…カラー画像入力記憶部 ２…輝度類似領域形成部 ３…彩度値類似領域形成部 ４…色相値類似領域形成部 ５…文字領域画像蓄積部 ６…処理制御部 ７…カラー画像入力記憶部 ８…複数フレーム平均化部 ９…処理制御部 １０…水平ライン単位二値化部 １１…垂直ライン単位二値化部 １２…二値化結果統合部 １３…処理制御部 １４…水平ライン上輝度極大領域検出部 １５…高輝度文字領域抽出部 １６…水平ライン上輝度極小領域検出部 １７…低輝度文字領域抽出部 １８…水平ライン別二値化結果統合部 １９…処理制御部 ２０…エッジ検出部 ２１…エッジ部除去部 ２２…垂直ライン上輝度極大領域検出部 ２３…高輝度文字領域抽出部 ２４…垂直ライン上輝度極小領域検出部 ２５…低輝度文字領域抽出部 ２６…垂直ライン別二値化結果統合部 ２７…処理制御部 ２８…エッジ検出部 ２９…エッジ部除去部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉村 利明 東京都新宿区西新宿３丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平４−74283（ＪＰ，Ａ) 松尾堅一，梅田三千雄，濃淡及び色情 報による情景画像からの文字列抽出，電 子情報通信学会技術研究報告，日本，社 団法人電子情報通信学会，1993年12月22 日，Ｖｏｌ．92，Ｎｏ．434（ＰＲＵ92 −121），Ｐ．25−32 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 300 Z H04N 5/278 H04N 9/74 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】 文字が表示されているカラー画像を入力
   して記憶する第１の段階と、 該第１の段階により入力されたカラー画像の中で輝度値
   が類似し、画像空間内で隣接する複数の画素同士を第１
   の連結領域として形成する第２の段階と、 該第２の段階により得られた輝度値が類似する第１の連
   結領域画像に対し、各領域内で、彩度値が類似し、画像
   空間内で隣接する複数の画素同士を第２の連結領域とし
   て形成する第３の段階と、 該第３の段階により得られた輝度値、彩度値共に類似す
   る第２の連結領域画像に対し、各領域内で、色相値が類
   似し、画素空間内で隣接する複数の画素を第３の連結領
   域として形成する第４の段階と、 該第４の段階により得られた第３の連結領域画素だけを
   画像中に残し、文字領域画像として蓄積する第５の段階
   と、を有する文字領域抽出方法において、 文字が表示されているカラー画像を入力して記憶する第
   １の段階を、 テレビ放送映像などのカラー動画像の中で、同一のテロ
   ップ文字等の文字が表示されている時間的に連続する複
   数のカラー画像を入力して記憶するか、あるいは、文字
   が表示されている一枚の静止カラー画像を入力して記憶
   する第１−１の段階と、 該同一の文字が表示されている複数のカラー画像が入力
   された場合、該複数のカラー画像間で位置の対応する画
   素同士の画素値の平均値を各画素の値として持つ平均値
   カラー画像を入力されたカラー画像として作成し出力す
   る第１−２の段階とを、 用いて実現し、 カラー画像中の輝度値が類似し、画像空間内で隣接する
   複数の画素同士を第１の連結領域として形成する第２の
   段階を、 該カラー画像中の各水平ライン内で輝度の二値化を行
   い、結果を二値画像として得る第２−１の段階と、 該カラー画像中の各垂直ライン内で輝度の二値化を行
   い、結果を二値画像として得る第２−２の段階と、 該第２−１の段階と該第２−２の段階により得られた２
   枚の二値画像中の連結成分同士を比較し、面積、形状、
   位置の違いが予め設定した許容範囲内である連結成分同
   士を文字領域と判断し、該二値画像に残し、面積、形
   状、位置の違いが予め設定した許容範囲を越えている連
   結成分同士は背景ノイズ部と判断し該二値画像から除去
   する第２−３の段階とを、 用いて実現することを特徴とする文字領域抽出方法。
2. 【請求項２】 請求項１記載の文字領域抽出方法におい
   て、 カラー画像中の各水平ライン内で輝度の二値化を行い、
   結果を二値画像として得る第２−１の段階を、 該カラー画像中のある水平ライン内の輝度値分布におい
   て、輝度の極大値を持つ画素を全て求め、求めた各極大
   値画素を開始点とし、該水平ライン上を一画素ずつ左右
   に操作し、開始点の極大値画素の左右両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が低い
   最初の画素を検出し、検出された左右二つの画素と該水
   平ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する第２−１−１の段階
   と、 該第２−１−１の段階により得られた連結画素領域の左
   右の両端画素付近に存在する予め決めた方法で選択した
   複数の画素の中から水平方向の輝度勾配の絶対値が最大
   となる画素を左右各々で求め、該画素を両端とする範囲
   を高輝度文字領域として抽出する第２−１−２の段階
   と、 該カラー画像中のある水平ライン内の輝度値分布におい
   て、輝度の極小値を持つ画素を全て求め、求めた各極小
   値画素を開始点とし、該水平ライン上を一画素ずつ左右
   に操作し、開始点の極小値画素の左右両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が高い
   最初の画素を検出し、検出された左右二つの画素と該水
   平ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する第２−１−３の段階
   と、 該第２−１−３の段階により得られた連結画素領域の左
   右の両端画素付近に存在する予め決めた方法で選択した
   複数の画素の中から水平方向の輝度勾配の絶対値が最大
   となる画素を左右各々で求め、該画素を両端とする範囲
   を低輝度文字領域として抽出する第２−１−４の段階
   と、 該第２−１−２の段階で抽出された各水平ライン上の高
   輝度文字領域を集めて、画像全体としての高輝度文字領
   域画像を作成し、また、第２−１−４の段階で抽出され
   た各水平ライン上の低輝度文字領域を集めて、画像全体
   としての低高輝度文字領域画像を作成する第２−１−５
   の段階と、 該カラー画像中のエッジ部の画素を検出する第２−１−
   ６の段階と、 該第２−１−５の段階で得られた高輝度文字領域画像、
   および低輝度文字領域画像中の文字連結成分を構成する
   複数の画素から該第２−１−６の段階で得られたカラー
   画像中の垂直方向のエッジ部に相当する画素を除去する
   第２−１−７の段階とを、 用いて実現することを特徴とする文字領域抽出方法。
3. 【請求項３】 請求項１記載の文字領域抽出方法におい
   て、 カラー画像中の各垂直ライン内で輝度の二値化を行い、
   結果を二値画像として得る第２−２の段階を、 該カラー画像中のある垂直ライン内の輝度値分布におい
   て、輝度の極大値を持つ画素を全て求め、求めた各極大
   値画素を開始点とし、該垂直ライン上を一画素ずつ上下
   に操作し、開始点の極大値画素の上下両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が低い
   最初の画素を検出し、検出された上下二つの画素と該垂
   直ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する第２−２−１の段階
   と、 該第２−２−１の段階により得られた連結画素領域の左
   右の両端画素付近に存在する予め決めた方法で選択した
   複数の画素の中から垂直方向の輝度勾配の絶対値が最大
   となる画素を左右各々で求め、該画素を両端とする範囲
   を高輝度文字領域として抽出する第２−２−２の段階
   と、 該カラー画像中のある垂直ライン内の輝度値分布におい
   て、輝度の極小値を持つ画素を全て求め、求めた各極小
   値画素を開始点とし、該垂直ライン上を一画素ずつ上下
   に操作し、開始点の極小値画素の上下両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が高い
   最初の画素を検出し、検出された上下二つの画素と該垂
   直ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する第２−２−３の段階
   と、 該第２−２−３の段階により得られた連結画素領域の左
   右の両端画素付近に存在する予め決めた方法で選択した
   複数の画素の中から垂直方向の輝度勾配の絶対値が最大
   となる画素を左右各々で求め、該画素を両端とする範囲
   を低輝度文字領域として抽出する第２−２−４の段階
   と、 第２−２−２の段階で抽出された各垂直ライン上の高輝
   度文字領域を集めて、画像全体としての高輝度文字領域
   画像を作成し、また、第２−２−４の段階で抽出された
   各垂直ライン上の低輝度文字領域を集めて、画像全体と
   しての低高輝度文字領域画像を作成する第２−２−５の
   段階と、 該カラー画像中のエッジ部の画素を検出する第２−２−
   ６の段階と、 該第２−２−６の段階で得られた高輝度文字領域画像、
   および低輝度文字領域画像中の文字連結成分を構成する
   複数の画素から該第２−２−６の段階で得られたカラー
   画像中の垂直方向のエッジ部に相当する画素を除去する
   第２−２−７の段階とを、 用いて実現することを特徴とする文字領域抽出方法。
4. 【請求項４】 請求項１記載の文字領域抽出方法におい
   て、 第２−１の段階と第２−２の段階により得られた２枚の
   二値画像中の連結成分同士を比較し、面積、形状、位置
   の違いが予め設定した許容範囲内である連結成分同士を
   文字領域と判断し、該二値画像に残し、面積、形状、位
   置の違いが予め設定した許容範囲を越えている連結成分
   同士は背景ノイズ部と判断し該二値画像から除去する第
   ２−３の段階を、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素が両方とも連結成分に属する場合、
   該対応画素を仮文字画素として記憶し、対応する２つの
   画素のうちどちらか一方でも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、該仮文字画素
   から構成される連結成分を含む画像をＡＮＤ画像と定義
   して作成する第２−３−１の段階と、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素のうちどちらか一方でも連結成分に
   属する場合、該対応画素を仮文字領域として記憶し、対
   応する２つの画素が両方とも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、仮文字画素か
   ら構成される連結成分を含む画像をＯＲ 画像と定義して
   作成する第２−３−２の段階と、 該第２−３−１の段階により得られたＡＮＤ画像と第２
   −３−２の段階により得られたＯＲ画像を位置を揃えて
   重ね合わせ、該ＡＮＤ画像中の連結成分の中で、該ＯＲ
   画像中の連結成分との重なる画素の個数が予め設定した
   閾値以上であり、且つ重なりをもつ該ＯＲ画像中の連結
   成分の面積が予め設定した範囲内であれば、該ＡＮＤ画
   像中の連結成分を文字連結成分として判断して該ＡＮＤ
   画像中に残し、それ以外の連結成分は背景ノイズ領域と
   して該ＡＮＤ画像から除去する第２−３−３の段階と、 該第２−３−３の段階により得られた文字連結成分だけ
   が残留するＡＮＤ画像中の画素を文字領域画素として記
   憶する第３−２−４の段階とを、 用いて実現することを特徴とする文字領域抽出方法。
5. 【請求項５】 請求項１記載の文字領域抽出方法におい
   て、 第２−１の段階と第２−２の段階により得られた２枚の
   二値画像中の連結成分同士を比較し、面積、形状、位置
   の違いが予め設定した許容範囲内である連結成分同士を
   文字領域と判断し、該二値画像に残し、面積、形状、位
   置の違いが予め設定した許容範囲を越えている連結成分
   同士は背景ノイズ部と判断し該二値画像から除去する第
   ２−３の段階を、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素が両方とも連結成分に属する場合、
   該対応画素を仮文字画素として記憶し、対応する２つの
   画素のうちどちらか一方でも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、該仮文字画素
   から構成される連結成分を含む画像をＡＮＤ画像と定義
   して作成する第２−３−１の段階と、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素のうちどちらか一方でも連結成分に
   属する場合、該対応画素を仮文字領域として記憶し、対
   応する２つの画素が両方とも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、仮文字画素か
   ら構成される連結成分を含む画像をＯＲ画像と定義して
   作成する第２−３−２の段階と、 該第２−３−１の段階により得られたＡＮＤ画像と第２
   −３−２の段階により得られたＯＲ画像を位置を揃えて
   重ね合わせ、該ＡＮＤ画像中の連結成分の中で、該ＯＲ
   画像中の連結成分との重なる画素の個数が予め設定した
   閾値以上であり、且つ重なりをもつ該ＯＲ画像中の連結
   成分の面積が予め設定した範囲内であれば、該ＡＮＤ画
   像中の連結成分を文字連結成分として判断して該ＡＮＤ
   画像中に残し、それ以外の連結成分は背景ノイズ領域と
   して該ＡＮＤ画像から除去する第２−３−３の段階と、 該第２−３−３の段階により得られた文字連結成分だけ
   が残留するＡＮＤ画像中で、該第２−１の段階で得られ
   た水平ライン毎の二値化により得られた各ライン内の連
   結画素のうち、連結画素数が予め設定した値より少ない
   連結画素を文字領域とし、該画素と同じ位置に存在する
   該ＡＮＤ画像中の画素を文字領域画素として記憶する第
   ３−２−４の段階とを、 用いて実現することを特徴とする文字領域抽出方法。
6. 【請求項６】 文字が表示されているカラー画像を入力
   して記憶するカラー画像入力記憶手段と、 該カラー画像入力記憶手段により入力されたカラー画像
   の中で輝度値が類似し、画像空間内で隣接する複数の画
   素同士を連結領域として形成する輝度値類似領域形成手
   段と、 該輝度値類似領域形成手段により得られた輝度値が類似
   する連結領域画像に対し、各領域内で、彩度値が類似
   し、画像空間内で隣接する複数の画素同士を連結領域と
   して形成する彩度値類似領域形成手段と、 該彩度値類似領域形成手段により得られた輝度値、彩度
   値共に類似する連結領域画像に対し、各領域内で、色相
   値が類似し、画素空間内で隣接する複数の画素を連結領
   域として形成する色相値類似領域形成手段と、 該色相値類似領域形成手段により得られた連結領域画素
   だけを画像中に残し、文字領域画像として蓄積する文字
   領域画像蓄積手段と、 該カラー画像入力記憶手段、該輝度値類似領域形成手
   段、該彩度値類似領域形成手段および該色相値類似領域
   形成手段の実行順序を制御する処理制御手段とを、具備
   する文字領域抽出装置において、 文字が表示されているカラー画像を入力して記憶するカ
   ラー画像入力記憶手段は、 テレビ放送映像などのカラー動画像の中で、同一のテロ
   ップ文字等の文字が表示されている時間的に連続する複
   数のカラー画像を入力して記憶するか、あるいは、文字
   が表示されている一枚の静止カラー画像を入力して記憶
   するカラー動画像／静止画像入力記憶手段と、 該同一の文字が表示されている複数のカラー画像が入力
   された場合、該複数のカラー画像間で位置の対応する画
   素同士の画素値の平均値を各画素の値として持つ平均値
   カラー画像を作成して入力されたカラー画像として出力
   する複数フレーム平均化手段と、 該カラー動画像／静止画像入力記憶手段と複数フレーム
   平均化手段の実行順序を制御する処理制御手段とを、 具備し、 カラー画像中の輝度値が類似し、画像空間内で隣接する
   複数の画素同士を連結領域として形成する輝度値類似領
   域形成手段は、 該カラー画像中の各水平ライン内で輝度の二値化を行
   い、結果を二値画像として得る水平ライン単位二値化手
   段と、 該カラー画像中の各垂直ライン内で輝度の二値化を行
   い、結果を二値画像として得る垂直ライン単位二値化手
   段と、 該水平ライン単位二値化手段と該垂直ライン単位二値化
   手段により得られた２枚の二値画像中の連結成分同士を
   比較し、面積、形状、位置の違いが予め設定した許容範
   囲内である連結成分同士を文字領域と判断し、該二値画
   像に残し、面積、形状、位置の違いが予め設定した許容
   範囲を越えている連結成分同士は背景ノイズ部と判断し
   該二値画像から除去する二値化結果統合手段と、 該水平ライン単位二値化手段、該垂直ライン単位二値化
   手段および該二値化結果統合手段の実行順序を制御する
   処理制御手段とを、 具備することを特徴とする文字領域抽出装置。
7. 【請求項７】 請求項６記載の文字領域抽出装置におい
   て、 カラー画像中の各水平ライン内で輝度の二値化を行い、
   結果を二値画像として得る水平ライン単位二値化手段
   は、 該カラー画像中のある水平ライン内の輝度値分布におい
   て、輝度の極大値を持 つ画素を全て求め、求めた各極大
   値画素を開始点とし、該水平ライン上を一画素ずつ左右
   に操作し、開始点の極大値画素の左右両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が低い
   最初の画素を検出し、検出された左右二つの画素と該水
   平ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する輝度極大領域検出手段
   と、 該輝度極大領域検出手段により得られた連結画素領域の
   左右の両端画素付近に存在する予め決めた方法で選択し
   た複数の画素の中から水平方向の輝度勾配の絶対値が最
   大となる画素を左右各々で求め、該画素を両端とする範
   囲を高輝度文字領域として抽出する高輝度文字領域抽出
   手段と、 該カラー画像中のある水平ライン内の輝度値分布におい
   て、輝度の極小値を持つ画素を全て求め、求めた各極小
   値画素を開始点とし、該水平ライン上を一画素ずつ左右
   に操作し、開始点の極小値画素の左右両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が高い
   最初の画素を検出し、検出された左右二つの画素と該水
   平ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する輝度極小領域検出手段
   と、 該輝度極小領域検出手段により得られた連結画素領域の
   左右の両端画素付近に存在する予め決めた方法で選択し
   た複数の画素の中から水平方向の輝度勾配の絶対値が最
   大となる画素を左右各々で求め、該画素を両端とする範
   囲を低輝度文字領域として抽出する低輝度文字領域抽出
   手段と、 該高輝度文字領域抽出手段で抽出された各水平ライン上
   の高輝度文字領域を集めて、画像全体としての高輝度文
   字領域画像を作成し、また、該低輝度文字領域抽出手段
   で抽出された各水平ライン上の低輝度文字領域を集め
   て、画像全体としての低高輝度文字領域画像を作成する
   水平ライン別二値化結果統合手段と、 該輝度極大領域検出手段、該高輝度文字領域抽出手段、
   該輝度極小領域検出手段、該低輝度文字領域抽出手段お
   よび該水平ライン別二値化結果統合手段の実行順序を制
   御する処理制御手段と、 該カラー画像中のエッジ部の画素を検出するエッジ検出
   手段と、 該水平ライン別二値化結果統合手段で得られた高輝度文
   字領域画像、および低輝度文字領域画像中の文字連結成
   分を構成する複数の画素から該エッジ検出手段で得られ
   たカラー画像中の垂直方向のエッジ部に相当する画素を
   除去するエッジ部除去手段とを、 具備することを特徴とする文字領域抽出装置。
8. 【請求項８】 請求項６記載の文字領域抽出装置におい
   て、 カラー画像中の各垂直ライン内で輝度の二値化を行い、
   結果を二値画像として得る垂直ライン単位二値化手段
   は、 該カラー画像中のある垂直ライン内の輝度値分布におい
   て、輝度の極大値を持つ画素を全て求め、求めた各極大
   値画素を開始点とし、該垂直ライン上を一画素ずつ上下
   に操作し、開始点の極大値画素の上下両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が低い
   最初の画素を検出し、検出された上下二つの画素と該垂
   直ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する輝度極大領域検出手段
   と、 該輝度極大領域検出手段により得られた連結画素領域の
   左右の両端画素付近に存在する予め決めた方法で選択し
   た複数の画素の中から垂直方向の輝度勾配の絶対値が最
   大となる画素を左右各々で求め、該画素を両端とする範
   囲を高輝度文字領域として抽出する高輝度文字領域抽出
   手段と、 該カラー画像中のある垂直ライン内の輝度値分布におい
   て、輝度の極小値を持つ画素を全て求め、求めた各極小
   値画素を開始点とし、該垂直ライン上を一画素ずつ上下
   に操作し、開始点の極小値画素の上下両側でそれぞれ開
   始点の輝度値よりも予め設定した閾値だけ輝度値が高い
   最初の画素を検出し、検出された上下二つの画素と該垂
   直ライン上でそれら二つの画素の間に存在する複数の画
   素を連結画素領域として抽出する輝度極小領域検出手段
   と、 該輝度極小領域検出手段により得られた連結画素領域の
   左右の両端画素付近に存在する予め決めた方法で選択し
   た複数の画素の中から垂直方向の輝度勾配の絶対値が最
   大となる画素を左右各々で求め、該画素を両端とする範
   囲を低輝度文字領域として抽出する低輝度文字領域抽出
   手段と、 該高輝度文字領域抽出手段で抽出された各垂直ライン上
   の高輝度文字領域を集めて、画像全体としての高輝度文
   字領域画像を作成し、また、該低輝度文字領域抽出手段
   で抽出された各垂直ライン上の低輝度文字領域を集め
   て、画像全体としての低高輝度文字領域画像を作成する
   該垂直ライン別二値化結果統合手段と、 該輝度極大領域検出手段、該高輝度文字領域抽出手段、
   該輝度極小領域検出手段、該低輝度文字領域抽出手段お
   よび該垂直ライン別二値化結果統合手段の実行順序を制
   御する処理制御手段と、 該カラー画像中のエッジ部の画素を検出するエッジ検出
   手段と、 該垂直ライン別二値化結果統合手段で得られた高輝度文
   字領域画像、および低輝度文字領域画像中の文字連結成
   分を構成する複数の画素から該エッジ抽出手段で得られ
   たカラー画像中の垂直方向のエッジ部に相当する画素を
   除去するエッジ部除去手段とを、 具備することを特徴とする文字領域抽出装置。
9. 【請求項９】 請求項６記載の文字領域抽出装置におい
   て、 水平ライン単位二値化手段と垂直ライン単位二値化手段
   により得られた２枚の二値画像中の連結成分同士を比較
   し、面積、形状、位置の違いが予め設定した許容範囲内
   である連結成分同士を文字領域と判断し、該二値画像に
   残し、面積、形状、位置の違いが予め設定した許容範囲
   を越えている連結成分同士は背景ノイズ部と判断し該二
   値画像から除去する二値化結果統合手段は、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素が両方とも連結成分に属する場合、
   該対応画素を仮文字画素として記憶し、対応する２つの
   画素のうちどちらか一方でも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、仮文字画素か
   ら構成される連結成分を含む画像をＡＮＤ画像と定義し
   て作成するＡＮＤ画像作成手段と、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
   対応する２つの画素のうちどちらか一方でも連結成分に
   属する場合、該対応画素を仮文字領域として記憶し、対
   応する２つの画素が両方とも連結成分に属さない場合、
   該対応画素を非仮文字領域として記憶し、仮文字画素か
   ら構成される連結成分を含む画像をＯＲ画像と定義して
   作成するＯＲ画像作成手段と、 該ＡＮＤ画像作成手段により得られたＡＮＤ画像と該Ｏ
   Ｒ画像作成手段により得られたＯＲ画像を位置を揃えて
   重ね合わせ、該ＡＮＤ画像中の連結成分の中で、該ＯＲ
   画像中の連結成分との重なる画素の個数が予め設定した
   閾値以上であり 、且つ重なりをもつ該ＯＲ画像中の連結
   成分の面積が予め設定した範囲内であれば、該ＡＮＤ画
   像中の連結成分を文字連結成分として判断し、該ＡＮＤ
   画像中に残し、それ以外の連結成分は背景ノイズ領域と
   して該ＡＮＤ画像から除去する文字連結成分判断手段
   と、 該文字連結成分判断手段により得られた文字連結成分だ
   けが残留するＡＮＤ画像中の画素を文字領域画素として
   記憶する文字画素登録手段とを、 具備することを特徴とする文字領域抽出装置。
10. 【請求項１０】 請求項６記載の文字領域抽出装置にお
    いて、 水平ライン単位二値化手段と垂直ライン単位二値化手段
    により得られた２枚の二値画像中の連結成分同士を比較
    し、面積、形状、位置の違いが予め設定した許容範囲内
    である連結成分同士を文字領域と判断し、該二値画像に
    残し、面積、形状、位置の違いが予め設定した許容範囲
    を越えている連結成分同士は背景ノイズ部と判断し該二
    値画像から除去する二値化結果統合手段は、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
    対応する２つの画素が両方とも連結成分に属する場合、
    該対応画素を仮文字画素として記憶し、対応する２つの
    画素のうちどちらか一方でも連結成分に属さない場合、
    該対応画素を非仮文字領域として記憶し、仮文字画素か
    ら構成される連結成分を含む画像をＡＮＤ画像と定義し
    て作成するＡＮＤ画像作成手段と、 該得られた２枚の二値画像を位置を揃えて重ね合わせ、
    対応する２つの画素のうちどちらか一方でも連結成分に
    属する場合、該対応画素を仮文字領域として記憶し、対
    応する２つの画素が両方とも連結成分に属さない場合、
    該対応画素を非仮文字領域として記憶し、仮文字画素か
    ら構成される連結成分を含む画像をＯＲ画像と定義して
    作成するＯＲ画像作成手段と、 該ＡＮＤ画像作成手段により得られたＡＮＤ画像と該Ｏ
    Ｒ画像作成手段により得られたＯＲ画像を位置を揃えて
    重ね合わせ、該ＡＮＤ画像中の連結成分の中で、該ＯＲ
    画像中の連結成分との重なる画素の個数が予め設定した
    閾値以上であり、且つ重なりをもつ該ＯＲ画像中の連結
    成分の面積が予め設定した範囲内であれば、該ＡＮＤ画
    像中の連結成分を文字連結成分として判断し、該ＡＮＤ
    画像中に残し、それ以外の連結成分は背景ノイズ領域と
    して該ＡＮＤ画像から除去する文字連結成分判断手段
    と、 該文字連結成分判断手段により得られた文字連結成分だ
    けが残留するＡＮＤ画像中で、該水平ライン単位二値化
    手段で得られた水平ライン毎の二値化により得られた各
    ライン内の連結画素のうち、連結画素数が予め設定した
    値より少ない連結画素を文字領域とし、該画素と同じ位
    置に存在する該ＡＮＤ画像中の画素を文字領域画素とし
    て記憶する文字画素登録手段とを、 具備することを特徴とする文字領域抽出装置。
11. 【請求項１１】 請求項１から請求項５までのいずれか
    １項記載の文字領域抽出方法における段階をコンピュー
    タに実行させるためのプログラムを、該コンピュータが
    読み取り可能な記録媒体に記録したことを特徴とする記
    録媒体。