JP2007259314A - 字幕検出装置及び字幕検出方法ならびにプルダウン信号検出装置 - Google Patents

Abstract

【課題】 プルダウン信号中の字幕領域を精度よく検出すると共に、プルダウン信号を良好に検出する。
【解決手段】 積分回路１４は、入力映像信号からなる画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分の絶対値を積分し、小領域内積分値ＳＤＡを提供する。ダイナミックレンジ算出回路１６は、前記画面を小領域に分割し、各小領域内の輝度のダイナミックレンジＳＤＲを算出する。小領域内積分値ＳＤＡが比較閾値ＦＤＴより大きく、且つ小領域内の輝度のダイナミックレンジＳＤＲが比較閾値ＤＣＴより大きい場合、当該小領域は次膜領域であると判定される。
【選択図】 図１

Description

本発明は、飛び越し方式映像信号を順次走査方式映像信号に変換する装置に関し、特に映画等の２−３プルダウンあるいは２−２プルダウンで生成された飛び越し方式映像信号中の字幕を検出する装置に関する。

テレビジョン放送波として一般に用いられるＮＴＳＣ方式映像信号では飛び越し走査方式で映像が走査され、等価的な毎秒画像数を多くして面フリッカを低減している。一方、近年になって液晶表示装置あるいはプラズマ表示装置のような薄型のテレビジョン受像機が普及し始めている。このような表示装置を用いて飛び越し方式映像信号をそのまま各走査線に表示すると、画面の輝度が著しく低下し鑑賞に堪えない映像となる。従ってこのような表示装置は、順次走査方式で映像が表示される。飛び越し走査方式の信号を液晶表示装置のような順次走査の表示デバイスに表示する場合、飛び越し走査／順次走査変換回路が必要となる。

ＮＴＳＣ方式等の標準テレビジョン方式の映像信号の中には、映画フィルム画像に基づいて生成された映像信号が含まれていることがある。映画フィルムは、毎秒２４コマであり、一方、標準テレビジョン方式の映像信号は毎秒３０フレーム(毎秒６０フィールド）の飛び越し走査の映像信号である。そのため、映画フィルムを２−３プルダウンあるいは２−２プルダウン方式により変換して標準テレビジョン方式の映像信号を生成している。映画フィルムから変換して得られる飛び越し走査の映像信号を、以下プルダウン信号という。

例えば２−３プルダウン方式では、先ず映画フィルムを走査してフレーム周波数２４Ｈｚの順次走査の映像信号を生成し、次に映画フィルムの第１フレームを第１及び第２フィールド（２フィールド）、第２フレームを第３〜第５フィールド（３フィールド）、第３フレームを第６及び第７フィールド（２フィールド）、第４フレームを第８〜第１０フィールド（３フィールド）というように対応させて変換している。プルダウン信号に変換されたフィールド信号は奇数フィールド、偶数フィールドを交互に繰り返している。尚、３フィールドに変換するときは最後のフィールド(第５フィールド、第１０フィールド等）は、最初のフィールド(第３フィールド、第８フィールド等）と同じ映像内容のフィールドを繰り返している。

このようにして、映画フィルムの２コマを標準テレビジョン方式の映像信号の５フィールドに対応させ、映画フィルムのコマに対応して２フィールド映像信号と３フィールドの映像信号とを交互に繰り返す映像信号に変換しプルダウン信号を生成している。

このようなプルダウン信号を順次走査信号に変換するには、映画フィルムの同一のコマから生成された２フィールドを１フレームに合成する必要がある。これを実現する順次走査変換装置は、入力されている映像信号がプルダウン信号であるか否か判断し、プルダウン信号であった場合に、各フィールドに合成すべきフィールド（これをペアフィールドという）を判断し、それらフィールドを合成することで順次走査信号を生成する。このような信号処理をプルダウン補間処理という。

映画などの映像中には字幕が含まれる場合がある。字幕は映像信号がプルダウン信号であるか否かに関わらず、複数のフレームに渡り同一の文字パターンが映像中に合成されている。プルダウン信号中に字幕が含まれている場合、当該映像信号がプルダウン信号であるか否かの判断が困難となる。

下記特許文献１には、入力映像信号が前述したようなプルダウン信号のとき、字幕領域が検出されない場合には２−３プルダウン補間処理を行い、字幕領域を検出したときは動き適応法間処理に基づくＩＰ変換信号を生成する技術が開示されている。
特開２００２−０５７９９３公報

上記特許文献1には、字幕を検出する具体的構成が説明されていない。従って従来技術では、字幕領域を精度よく検出し、プルダウン補間処理を正確に行うことができない。

本発明は、プルダウン信号中の字幕領域を精度よく検出すると共に、プルダウン信号を良好に検出することを目的とする。

本発明の１実施例に係る字幕検出装置は、入力映像信号の現フィールド信号と、その１フィールド遅延信号とのフィールド間差分を提供する差分手段１３と、前記入力映像信号からなる画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分を積分し、小領域内積分値を提供する積分手段１４と、前記積分手段からの前記小領域内積分値と第１比較値とを比較し、積分値比較結果を前記小領域毎に提供する第１比較手段１５と、前記画面を小領域に分割し、各小領域内の輝度のダイナミックレンジを算出する算出手段１６と、前記算出手段により算出された前記ダイナミックレンジと第２比較値とを比較し、ダイナミックレンジ比較結果を前記小領域毎に提供する第２比較手段１７と、前記積分値比較結果と前記ダイナミックレンジ比較結果とのＡＮＤ演算を行い、該演算結果を字幕領域検出信号として前記小領域毎に提供する演算手段１８とを具備することを特徴とする。

本発明によれば、プルダウン信号中の字幕領域を精度よく検出すると共に、プルダウン信号を良好に検出することができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１は本発明の第１実施例に係る字幕検出装置１０Ａの構成を示すブロック図である。

現フィールド信号（輝度信号）Ｓ１は第１の垂直ＬＰＦ１１を通過した後、フィールド間差分絶対値回路１３及び小領域ダイナミックレンジ算出回路１６に入力される。１フィールド遅延信号Ｓ２は第２の垂直ＬＰＦ１２を通過した後、フィールド間差分絶対値回路１３に入力される。１フィールド遅延信号Ｓ２は後述の図８を用いて詳細に説明されるが、メモリ回路を用いて現フィールド信号Ｓ１を１フィールド期間遅延して得られる信号である。第１及び第２の垂直ＬＰＦ１１、１２は、それぞれ１フィールドにおける垂直方向高周波ノイズを除去するほか、現フィールド信号Ｓ１と１フィールド遅延信号Ｓ２の垂直方向の重心を揃える。尚、ノイズ除去フィルタとしては、水平ＬＰＦを使用してもよい。

フィールド間差分絶対値回路１３は、前記２つの入力フィールド信号間の差分絶対値を画素単位に算出し、このフィールド間差分絶対値ＦＤＡは小領域内積分回路１４に供給される。小領域内積分回路１４は、例えば水平８画素×垂直８ラインあるいは水平１６画素×垂直８ライン等の矩形領域毎に差分絶対値ＦＤＡを加算し、小領域差分加算値ＳＤＡを出力する。比較器１５は小領域差分加算値ＳＤＡと差分比較閾値ＦＤＴとを小領域毎に比較し、差分比較結果ＦＤＣを出力する。

図２はフィールド信号における字幕の一例を示す。図２では、字幕中の文字である文字「Ａ」を示しており、図２（Ａ）は現フィールド信号Ｓ１、図２（Ｂ）は１フィールド遅延信号Ｓ２である。このようなフィールド信号Ｓ１、Ｓ２の差分を算出すると、字幕文字を含まない通常のフィールド信号の場合より、大きな値の差分が多数得られる。従って小領域内積分回路１４が出力する差分積分値ＳＤＡが差分比較閾値ＦＤＴより大きな値となり、比較器１５は差分比較結果ＦＤＣとして例えばＨレベル信号を出力する。

小領域内ダイナミックレンジ算出回路１６は、垂直ＬＰＦ１１によりフィルタ処理された現フィールド信号Ｓ１の上記小領域におけるダイナミックレンジを算出する。つまり算出回路１６は、上記小領域において、現フィールド信号Ｓ１の最大値と最小値の差を小領域内ダイナミックレンジＳＤＣとして出力する。比較器１７は、小領域内ダイナミックレンジＳＤＲとダイナミックレンジ比較閾値ＤＣＴとを比較し、そのダイナミックレンジ比較結果ＳＤＲを出力する。

字幕領域中の文字は、一般に最高輝度である白色で表示される。従って、字幕領域のダイナミックレンジは一般に大きな値となる。このダイナミックレンジＳＤＲがダイナミックレンジ比較閾値ＤＣＴより大きい場合、比較器１７はダイナミックレンジ比較結果ＳＤＣとして例えばＨレベル信号を出力する。

ＡＮＤ回路１８は、差分比較結果ＦＤＣとダイナミックレンジ比較結果ＳＤＣとのＡＮＤ演算を行い、字幕領域検出信号ＳＴＤを出力する。つまりＡＮＤ回路１８は、上記小領域において、差分積分値ＳＤＡが差分比較閾値ＦＤＴより大きく、且つダイナミックレンジＳＤＲがダイナミックレンジ比較閾値ＤＣＴより大きい場合、該小領域を字幕領域の一部と判断し、字幕領域検出信号ＳＴＤとして例えばハイ（Ｈ）レベル信号を出力する。

このように、字幕領域を検出する場合に、小領域におけるフィールド間差分絶対値の積分値のみならず、ダイナミックレンジを判断することにより、検出精度を向上することができる。

図３はダイナミックレンジ算出回路１６の第１実施例としてダイナミックレンジ算出回路１６Ａを示す。

小領域内輝度最高値検出回路３１は、垂直ＬＰＦ１１からの現フィールド信号Ｓ１を入力し、小領域における輝度最高値ＢＭＸを検出する。小領域内輝度最低値検出回路３２は、垂直ＬＰＦ１１からの現フィールド信号Ｓ１を入力し、小領域における輝度最低値ＢＭＮを検出する。差分絶対値算出回路３３は、輝度最高値ＢＭＸと輝度最低値ＢＭＮの差分絶対値を計算し、小領域内ダイナミックレンジＳＤＲ１として出力する。

図４はダイナミックレンジ算出回路１６の第２実施例としてダイナミックレンジ算出回路１６Ｂを示す。

小領域内高輝度検出回路３４は、垂直ＬＰＦ１１からの現フィールド信号Ｓ１を入力し、小領域において１番目からｎ番目に高い輝度を抽出し、高輝度ＳＨＢとして出力する。高輝度平均値算出回路３５は、高輝度ＳＨＢの平均値ＨＢＭを算出する。例えば、ｎが４、小領域において最も高い輝度が１００、２番目に高い輝度が９９であって、輝度１００の画素が１個、輝度９９の画素が４個存在する場合、高輝度平均値算出回路３５は、高輝度平均値ＨＢＭとして、（１００＋９９＊３）／４を計算し、高輝度平均値ＨＢＭとして９９．２５を出力する。

小領域内低輝度検出回路３６は、垂直ＬＰＦ１１からの現フィールド信号Ｓ１を入力し、小領域において１番目からｎ番目に低い輝度を抽出し、低輝度ＳＬＢとして出力する。低輝度平均値算出回路３７は、低輝度ＳＬＢの平均値ＨＢＭを算出する。例えば、ｎが４、小領域において最も低い輝度が１、２番目に低い輝度が２であって、輝度１の画素が１個、輝度２の画素が４個存在する場合、低輝度平均値算出回路３５は、低輝度平均値ＬＢＭとして、（１＋２＊３）／４を計算し、低輝度平均値ＬＢＭとして１．７５を出力する。差分絶対値検出回路３８は、高輝度平均値ＨＢＭ及び低輝度平均値ＬＢＭの差分絶対値を算出し、小領域内ダイナミックレンジＳＤＲ２として出力する。

従って、ダイナミックレンジ算出回路１６Ｂは、ダイナミックレンジ算出回路１６Ａに比べ、ノイズの影響を抑えることができる。

次にダイナミックレンジ算出回路１６Ｂの変形例を説明する。この変形例において、小領域内高輝度検出回路３４は、小領域における最高輝度の画素を１つあるいは所定数除き、残りの画素のうち１番目からｎ番目に高い輝度を抽出し、高輝度ＳＨＢとして出力する。また小領域内低輝度検出回路３６は、小領域における最低輝度の画素を１つあるいは所定数除き、残りの画素のうち１番目からｎ番目に低い輝度を抽出し、高輝度ＳＨＢとして出力する。他の回路ブロックの動作は前述した通りである。

字幕を含まない小領域において、ノイズによる最高輝度画素が例えば１つ含まれる場合、当該小領域のダイナミックレンジはこのノイズにより大きく影響され、字幕領域と判断されることがある。同様に、字幕を含まない小領域において、ノイズによる最低輝度画素が例えば１つ含まれる場合、当該小領域のダイナミックレンジはこのノイズにより大きく影響され、字幕領域と判断されることがある。従って、この変形例は、ダイナミックレンジの算出において、小領域中に含まれるノイズの影響を更に抑えることができる。

図５は本発明の第２実施例に係る字幕検出装置１０Ｂの構成を示すブロック図である。字幕検出装置１０Ｂは図１の字幕検出装置１０Ａに対し、複数フィールド監視回路１９が追加されている。

複数フィールド監視回路１９は、上記図１の第１の実施例で説明した字幕領域判定条件が所定フィールド数以上連続して成立した場合、当該小領域を字幕領域と判定する。すなわち、上記小領域において、差分積分値ＳＤＡが差分比較閾値ＦＤＴより大きく、且つダイナミックレンジＳＤＲがダイナミックレンジ比較閾値ＤＣＴより大きいという条件が、所定フィールド数以上連続して成立した場合、複数フィールド監視回路１９は当該小領域を字幕領域と判定する。

この第２実施例に係る字幕検出装置１０Ｂは、ノイズ等に起因する字幕領域の誤検出を除去することができる。つまり字幕検出装置１０Ｂは、字幕検出装置１０Ａに比べ、字幕領域の検出結果が上記所定数フィールド遅れるが、検出結果の信頼性が向上する。

図６は本発明の第３実施例に係る字幕検出装置１０Ｃの構成を示すブロック図である。字幕検出装置１０Ｃは図１の字幕検出装置１０Ａの小領域内ダイナミックレンジ算出回路１６の替わりに、比較器２１及び小領域内高輝度画素数カウント回路２２が設けられている。

前述したように、字幕領域中の文字は一般に最高輝度である白色で表示される。比較器２１、小領域内高輝度画素数カウント回路２２、及び比較器２３は、小領域内の高輝度画素数を計数し、該高輝度画素数が比較閾値ＨＢＴより大きい場合、当該小領域を字幕領域と判断する。

比較器２１は、垂直ＬＰＦ１１からの現フィールド信号Ｓ１と輝度レベル比較閾値ＢＬＴとを比較し、 比較閾値ＢＬＴより現フィールド信号Ｓ１の値の方が大きい場合、Ｈレベルパルスを１つ出力する。カウント回路２２は比較器２１からの出力パルスを計数し、係数結果ＨＢＣを出力する。比較器２３は係数結果ＨＢＣと高輝度画素数比較閾値ＨＢＴとを比較し、比較結果ＨＢＲを出力する。比較器２１、カウント回路２２、及び比較器２３以外の回路ブロックの動作は、図１の字幕検出装置１０Ａと同様である。

図７は本発明の第４実施例に係る字幕検出装置１０Ｄの構成を示すブロック図である。字幕検出装置１０Ｄは図１の字幕検出装置１０Ａに、図６の比較器２１、カウント回路２２、及び比較器２３が追加されている。このように、上記小領域が字幕領域であるか否かを判定するための判定条件を増加することにより、字幕検出装置の字幕領域検出精度を向上することができる。

図８は本発明が適用される順次走査装置４０の一例を示す。図８のプルダウン信号検出回路４７は、図７の本発明の一実施例に係る字幕検出装置１０Ｄを含む。

飛び越し走査の入力輝度信号である現フィールド信号Ｓ１は第１フィールド遅延回路４１に入力され、１フィールド後に１フィールド遅延信号Ｓ２として読み出される。フィールド遅延回路４１は、例えば１フィールド分のメモリ領域を２つ有し、入力される１フィールド分の映像信号が２つのメモリ領域に交互に記録される。記録された映像信号の読出しも、２つのメモリ領域に対して交互に行われる。従って、記録された現フィールド信号が第１フィールド遅延回路４１から１フィールド遅延信号Ｓ２として読み出されているとき、次の現フィールド信号が、フィールド信号Ｓ１として第１フィールド遅延回路４１に記録される。１フィールド遅延信号Ｓ２は第２フィールド遅延回路４２に入力され、１フィールド後に２フィールド遅延信号Ｓ３として読み出される。第２フィールド遅延回路４２の構成及び動作は、第１フィールド遅延回路４１と同様である。

図９は飛び越し走査の２−３プルダウン信号が遅延される様子を示す。図９（ａ）は、入力される現フィールド信号（２−３プルダウン信号）Ｓ１を示している。Ａｅは映像フィルムの１コマＡを元にして生成された偶数（ｅｖｅｎ）フィールド、Ａｏは映画フィルムの前記コマＡを元にして生成された奇数（ｏｄｄ）フィールドを示している。Ｂｅは映画フィルムのコマＢを元にして生成された偶数フィールド、Ｂｏは映画フィルムのコマＢを元にして生成された奇数フィールドを示している。Ｃｅ、Ｃｏ…についても同様である。図９（ｂ）は、図９（ａ）の信号を１フィールド遅延した１フィールド遅延信号Ｓ２を示している。図９（ｃ）は、図９（ｂ）の信号を更に１フィールド遅延した１フレーム遅延信号Ｓ３を示している。

図１０はプルダウン信号の他の方式として飛び越し走査の２−２プルダウン信号を示す。このように２−２プルダウン信号は、映画フィルムの各コマを元に生成された奇数フィールド及び偶数フィールド映像信号である。２−２プルダウン信号の場合も、２−３プルダウン信号と同様に各フィールド遅延回路にて１フィールド期間遅延される。

図８の説明に戻り、動画系補間信号生成回路４３は、現フィールド信号Ｓ１、１フィールド遅延信号Ｓ２、２フィールド遅延信号Ｓ３から、１フィールド遅延信号Ｓ２のライン間に位置される動画系補間信号を、例えば動きベクトルによる動き補償補間により生成する。静画系補間信号生成回路４４は、現フィールド信号Ｓ１、２フィールド遅延信号Ｓ３から、１フィールド遅延信号Ｓ２のライン間に位置される静画系補間信号を、例えば現フィールド信号Ｓ１と２フィールド遅延信号Ｓ３の平均により、あるいは２フィールド遅延信号Ｓ３そのものの値を用いて生成する。

動き検出回路４５は、現フィールド信号Ｓ１、２フィールド遅延信号Ｓ３から、フレーム間の動きを検出し、動き検出信号を混合回路４６に出力する。混合回路４６は、混合比率を前記動き検出信号に応じて変化させて、前記動画系補間信号と前記静画系補間信号を混合し、動き適応補間信号を生成する。

プルダウン信号検出回路４７は、現フィールド信号Ｓ１、１フィールド遅延信号Ｓ２、２フィールド遅延信号Ｓ３から、１フィールド遅延信号Ｓ２がプルダウン信号であるか検出し、プルダウン信号検出信号ＰＤＤとペアフィールド選択信号ＰＦＤを生成する。

図１１は本発明に係るプルダウン信号検出回路４７の一実施例を示す。プルダウン信号検出回路４７は、本発明による字幕検出装置の一例として、図７の第４実施例に係る字幕検出装置１０Ｄを含む。従って、ここでは字幕検出装置１０Ｄ以外の回路ブロックについて説明する。

フレーム間差分絶対値回５１には、それぞれ垂直ＬＰＦを介して現フィールド信号Ｓ１及び２フィールド遅延信号Ｓ３が入力される。フレーム間差分絶対値回路５１は、前記２つの入力信号間の差分絶対値ＦＤＢを画素単位に算出する。小領域内積分回路５２は、小領域内の差分絶対値ＦＤＢを積分（加算）し、その積分値ＳＤＢを出力する。

フレーム間小領域動き検出回路５３は、積分値ＳＤＢを基に、小領域内画像のフレーム間での動き（画素値変化）を検出し、動き検出結果ＦＭＢを出力する。フレーム間小領域動き検出回路５３は、積分値ＳＤＢが例えば所定閾値より大きい場合、フレーム間で画像が動いている（画素値変化が大きい）と判断し、例えばＨレベル信号を出力する。

フレーム間全画面相関検出回路５４は、動き検出結果ＦＭＢを基に、全画面におけるフレーム間の相関（類似）の強度を検出し、フレーム間相関検出結果ＦＲＢを出力する。例えばフレーム間全画面相関検出回路５４は、画像が動いている（画素値変化が大きい）と判断された小領域の数を１画面内で合計し、その合計値が所定閾値より大きい場合、１画面の相関検出結果ＦＲＢとして「弱（例えば０）」を出力する。

フィールド間小領域動き検出回路５５は、積分値ＳＤＡを基に、小領域内画像のフィールド間での動き（画素値変化）を検出し、動き検出結果ＦＭＡを出力する。フィールド間小領域動き検出回路５５は、積分値ＳＤＡが例えば所定閾値より大きい場合、フィールド間で画像が動いている（画素値変化が大きい）と判断し、例えばＨレベル信号を出力する。

フィールド間全画面相関検出回路５６は、動き検出値ＦＭＡを基に、全画面におけるフィールド間の相関の強度を検出し、フィールド間全画面相関検出結果ＦＲＡを出力する。例えばフィールド間全画面相関検出回路５６は、画像が動いている（画素値変化が大きい）と判断された小領域の数を１画面内で合計し、その合計値が所定閾値より大きい場合、１画面の相関検出結果ＦＲＢとして「弱（例えば０）」を出力する。

ここで、字幕検出装置１０Ｄの検出結果ＳＴＤが「字幕（例えば１）」を示す場合、フレーム間小領域動き検出回路５３及びフィールド間小領域動き検出回路５５は、共に動いていないことを示す信号（例えば０）を出力する。通常、字幕領域ではフレーム間及びフィールド間小領域動き検出回路５３、５５は、背景画像が静止画であっても動画像であっても、共に画像が動いている（画素値変化が大きい）と判断する。従って本実施例では、字幕領域ではフレーム間及びフィールド間小領域動き検出回路５３、５５の出力信号を共に０（動いていない）に設定する。これにより、画像の動きを誤検出する確率を大幅に減少させることができる。

他の実施例では、字幕検出装置１０Ｄの検出結果が「字幕（例えば１）」を示す場合、フレーム間全画面相関検出回路５４及びフィールド間全画面相関検出回路５６における全画面内の小領域数が減少される。例えば１画面が１０００の小領域で構成され、字幕として検出された小領域数が１００であった場合、フレーム間全画面相関検出回路５４は残りの９００の小領域について、検出結果ＦＭＢに基づいて、フレーム間相関の強度を判断する。同様にフィールド間全画面相関検出回路５６も、残りの９００の小領域について、検出結果ＦＭＡに基づいて、フィールド間相関の強度を判断する。この場合、字幕領域検出結果ＳＴＤは、図１１の動き検出回路５３、５５ではなく、点線で示すようにフレーム間全画面相関検出回路５４及びフィールド間全画面相関検出回路５６に供給される。従って、字幕領域に影響されずに、フレーム間相関及びフィールド間相関の強度を判定できる。

プルダウン信号判定回路５７は、フィールド間相関検出信号ＦＲＡ及びフレーム間相関検出信号ＦＲＢに基づいて、入力されている映像信号がプルダウン信号であるか否かを示すプルダウン信号検出信号ＰＤＤを出力する。またプルダウン信号判定回路５７は、相関検出信号ＦＲＡ及びＦＲＢに基づいて、１フィールド遅延信号Ｓ２に対するペアフィールドを示すペアフィールド信号ＰＦＤを出力する。

図１２はフィールド間相関及びフレーム間相関の判定結果例を示し、ここでは２−３プルダウン信号が装置に入力されている場合を示す。

図１２（ａ）は現フィールド信号Ｓ１、図１２（ｂ）は１フィールド遅延信号Ｓ２、図１２（ｃ）は２フィールド遅延信号Ｓ３、図１２（ｄ）はフレーム間（Ｓ１とＳ３）の相関（フレーム相関検出信号ＦＲＢ）、図１２（ｅ）はフィールド間（Ｓ１とＳ２）の相関（フィールド相関検出信号ＦＲＡ）を示す。

例えば図１２のように２−３プルダウン信号が入力されている場合、連続するフィールドにおいて、フレーム間相関検出回路５４の判定結果は、図１２（ｄ）の期間Ｐ１のように、「"弱"、"弱"、"強"、"弱"、"弱"」のパターンの繰り返しになるので、プルダウン信号判定回路５７はこのプルダウンパターンを検出する。また、２−２プルダウン信号の場合、連続するフィールドにおいて、フレーム間相関判定回路３６の判定結果は、「常に"弱"」のパターンになるので、プルダウン信号判定回路５７はこのプルダウンパターンを検出する。

また、２−３プルダウン信号の場合、連続するフィールドにおいてフィールド間相関検出回路５６の判定結果は、図１２（ｅ）の期間Ｐ１ように、「"弱"、"強"、"強"、"弱"、"強"」のプルダウンパターンの繰り返しになるので、プルダウン信号判定回路５７はこのプルダウンパターンを検出する。

プルダウン信号判定回路５７は、上記のようなプルダウンパターンの検出結果が、所定フィールド数の期間において連続する場合、そのプルダウンパターンに応じて、装置に入力されているフィールド信号が２−３プルダウン信号又は２−２プルダウン信号などのプルダウン信号であると判定する。

装置に入力されているフィールド信号がプルダウン信号である場合には、１フィールド遅延信号Ｓ２とペアになるフィールドが、現フィールド信号Ｓ１であるか２フィールド遅延信号Ｓ３であるかを示すペアフィールド選択信号ＰＦＤが出力される。

図８の説明に戻り、第１のセレクタ４８はペアフィールド選択信号ＰＦＤに応じて、１フィールド遅延信号Ｓ２とペアになるフィールドとして、現フィールド信号Ｓ１と２フィールド遅延信号Ｓ３のどちらか一方を選択し、ペアフィールド信号ＰＦとして第２のセレクタ４９に出力する。第２のセレクタ４９は、プルダウン信号検出信号ＰＤＤがプルダウン信号を示す場合にはペアフィールド信号ＰＦを、そうでない場合には動き適応補間信号ＭＲＣを選択し、選択した信号を補間信号ＩＣＳとして出力する。またセレクタ４９は、字幕領域検出信号ＳＴＤが字幕領域を示す場合、動き適応補間信号ＭＲＣを補間信号ＩＣＳとして出力する。

順次走査整列回路５０は、前記補間信号ＩＣＳと直接信号である１フィールド遅延信号Ｓ２とを、順次走査順に整列（合成）して順次走査変換信号ＣＰＳを生成する。

従って、本発明の１実施例に係る順次走査装置４０は、入力映像信号がプルダウン信号で画面中に字幕領域を含む場合、字幕領域を例えば８×８画素の小領域単位で正確に検出し、字幕領域以外の映像信号を基にプルダウン信号を検出するので、プルダウン信号の検出精度が向上する。

また本発明の１実施例によれば、プルダウン信号中の字幕領域を上記小領域単位で正確に検出し、該字幕領域についてのみ、動き適応補間信号ＭＲＣを直接信号Ｓ２の補間信号として、順次走査変換信号ＣＰＳを生成する。

例えば図９（ｃ）において、字幕がフィールドＦ２から挿入されている場合、従来のプルダウン補間処理を行うと、プルダウン信号の最初のフレームとしてフィールドＦ１とＦ２が合成される。従って表示画面には図２（ａ）のような文字が表示される。このように、字幕の文字が縞状に表示される現象をコーミング現象という。

本発明では上記したように、字幕領域を小領域単位で検出し、該字幕領域のみ、動き適応補間信号ＭＲＣを直接信号Ｓ２の補間信号としてフィールドを合成するので、入力映像信号がプルダウン信号であってもコーミング現象は起こらない。尚、字幕領域においては、プルダウン信号は無視され映像が僅かに劣化するが、そのように劣化する領域は、文字の輪郭付近（小領域の幅）の背景画像に制限される。更に、字幕領域は一般に画面中の下部あるいは上部のように画面の端に設けられるので、このような文字輪郭付近の背景画像の劣化は大きな問題とはならない。

即ち、本発明の実施例によれば、プルダウン信号の検出精度が向上し、字幕のコーミング現象が防止され、その結果、鮮明な映像及び字幕（文字列）を表示することが可能となる。

以上説明された本発明の様々な実施例を構成する各ブロックは、電子回路からなるハードウエアあるいは必要に応じてソフトウエアの処理ステップとして構成することができる。

また、以上の説明はこの発明の実施の形態であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

本発明の第１実施例に係る字幕検出装置１０Ａの構成を示すブロック図である。 フィールド信号における字幕の一例を示す。 ダイナミックレンジ算出回路１６の第１実施例としてダイナミックレンジ算出回路１６Ａを示す。 ダイナミックレンジ算出回路１６の第２実施例としてダイナミックレンジ算出回路１６Ｂを示す。 本発明の第２実施例に係る字幕検出装置１０Ｂの構成を示すブロック図である。 本発明の第３実施例に係る字幕検出装置１０Ｃの構成を示すブロック図である。 本発明の第４実施例に係る字幕検出装置１０Ｄの構成を示すブロック図である。 本発明が適用される順次走査装置４０の一例を示す。 飛び越し走査の２−３プルダウン信号が遅延される様子を示す。 プルダウン信号の他の方式として飛び越し走査の２−２プルダウン信号を示す。 本発明に係るプルダウン信号検出回路４７の一実施例を示す。 ２−３プルダウン信号のフィールド間相関及びフレーム間相関の判定結果例を示す。

Claims (13)

1. 入力映像信号の現フィールド信号と、その１フィールド遅延信号とのフィールド間差分を提供する差分手段と、
   前記入力映像信号からなる画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分を積分し、小領域内積分値を提供する積分手段と、
   前記積分手段からの前記小領域内積分値と第１比較値とを比較し、積分値比較結果を前記小領域毎に提供する第１比較手段と、
   前記画面を小領域に分割し、各小領域内の輝度のダイナミックレンジを算出する算出手段と、
   前記算出手段により算出された前記ダイナミックレンジと第２比較値とを比較し、ダイナミックレンジ比較結果を前記小領域毎に提供する第２比較手段と、
   前記積分値比較結果と前記ダイナミックレンジ比較結果とのＡＮＤ演算を行い、該演算結果を字幕領域検出信号として前記小領域毎に提供する演算手段と、
   を具備することを特徴とする字幕検出装置。
2. 前記字幕領域検出信号が、所定フィールド数以上連続して字幕領域を検出していることを示す場合、当該小領域を字幕領域と判定する複数フィールド監視手段を具備することを特徴とする請求項１記載の字幕検出装置。
3. 前記画面を小領域に分割し、各小領域内の高輝度画素の画素数を計数する計数手段と、
   前記計数手段により計数された前記画素数と所定閾値とを比較し、高輝度画素数比較結果を前記小領域毎に提供する第３比較手段とを具備し、
   前記演算手段は、前記積分値比較結果と前記ダイナミックレンジ比較結果と前記高輝度画素数比較結果とのＡＮＤ演算を行うことを特徴とする請求項１記載の字幕検出装置。
4. 入力映像信号の現フィールド信号と、その１フィールド遅延信号とのフィールド間差分を提供する差分手段と、
   画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分を積分し、小領域内積分値を提供する積分手段と、
   前記積分手段からの前記小領域内積分値と第１比較値とを比較し、積分値比較結果を前記小領域毎に提供する第１比較手段と、
   前記画面を小領域に分割し、各小領域内の高輝度画素の画素数を計数する小領域内高輝度画素数計数手段と、
   前記計数手段により係数された前記画素数と所定閾値とを比較し、高輝度画素数比較結果を前記小領域毎に提供する第２比較手段と、
   前記積分値比較結果と前記高輝度画素数比較結果とのＡＮＤ演算を行い、該演算結果を字幕領域検出信号として前記小領域毎に提供する演算手段と、
   を具備することを特徴とする字幕検出装置。
5. 前記現フィールド信号の高域ノイズ成分を除去する水平または垂直方向の第１フィルタと、前記１フィールド遅延信号の高域ノイズ成分を除去する水平または垂直の第２フィルタとを具備し、
   前記第１フィルタでノイズ除去された現フィールド信号は、前記差分手段及び前記算出手段に供給され、前記第２フィルタでノイズ除去された１フィールド遅延信号は前記差分手段に供給されることを特徴とする請求項１記載の字幕検出装置。
6. 前記小領域内ダイナミックレンジ算出手段は、前記現フィールドにおける前記小領域内の最高輝度と最低輝度との差をダイナミックレンジとして提供することを特徴とする請求項１記載の字幕検出装置。
7. 前記小領域内ダイナミックレンジ算出手段は、前記小領域内で、１番目に輝度が高い画素からｎ番目に輝度が高い画素までの輝度の平均値と、１番目に輝度が低い画素からｎ番目に輝度が低い画素までの輝度の平均値との差をダイナミックレンジとすることを特徴とする請求項１記載の字幕検出装置。
8. 入力映像信号の現フィールド信号と、その２フィールド遅延信号とのフレーム間差分を提供する第１差分手段と、
   前記入力映像信号からなる画面を小領域に分割し、各小領域内に含まれる前記フレーム間差分を積分し、小領域内の第１積分値を提供する第１積分手段と、
   入力映像信号の現フィールド信号と、その１フィールド遅延信号とのフィールド間差分を提供する第２差分手段と、
   前記画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分を積分し、小領域内の第２積分値を提供する第２積分手段と、
   前記画面を小領域に分割し、各小領域内の輝度のダイナミックレンジを算出する算出手段を有し、前記現フィールド信号と前記第２積分値と前記ダイナミックレンジとを基に、前記小領域が字幕領域であるか否か検出し、字幕検出信号を小領域毎に出力する字幕検出手段と、
   前記字幕検出手段から小領域毎に出力される前記字幕検出信号と、前記第１積分手段からの前記第１積分値に基づいて、フレーム間相関の強度を検出するフレーム相関検出手段と、
   前記字幕検出手段から小領域毎に出力される前記字幕検出信号と、前記第２小領域内積分手段からの前記第２積分値に基づいて、フィールド間相関の強度を検出するフィールド相関検出手段と、
   前記フレーム相関検出手段により検出された前記フレーム間相関の強度と、前記フィールド相関件手段により検出された前記フィールド相関強度とに基づいて、前記入力映像信号がプルダウン信号であるか否か判定する判定手段と、
   を具備することを特徴とするプルダウン信号検出装置。
9. 前記字幕検出手段は、
   前記字幕領域検出信号が、所定フィールド数以上連続して字幕領域を検出していることを示す場合、当該小領域を字幕領域と判定する複数フィールド監視手段を具備することを特徴とする請求項８記載のプルダウン信号検出装置。
10. 前記字幕検出手段は、
    前記画面を小領域に分割し、各小領域内の高輝度画素の画素数を計数する計数手段と、
    前記計数手段により計数された前記画素数と所定閾値とを比較し、高輝度画素数比較結果を前記小領域毎に提供する比較手段と、を具備し、
    前記演算手段は、前記積分値比較結果と前記ダイナミックレンジ比較結果と前記高輝度画素数比較結果とのＡＮＤ演算を行うことを特徴とする請求項８記載のプルダウン信号検出装置。
11. 入力映像信号の現フィールド信号と、その１フィールド遅延信号とのフィールド間差分を生成するステップと、
    前記入力映像信号からなる画面を小領域に分割し、各小領域内に含まれる前記フィールド間差分を積分し、小領域内積分値を提供するステップと、
    前記小領域内積分値と第１比較値とを比較し、積分値比較結果を前記小領域毎に提供するステップ、
    前記画面を小領域に分割し、各小領域内の輝度のダイナミックレンジを算出するステップ、
    前記ダイナミックレンジと第２比較値とを比較し、ダイナミックレンジ比較結果を前記小領域毎に提供するステップと、
    前記積分値比較結果と前記ダイナミックレンジ比較結果とのＡＮＤ演算を行い、該演算結果を字幕領域検出信号として前記小領域毎に提供するステップと、
    を具備することを特徴とする字幕検出方法。
12. 前記字幕領域検出信号が、所定フィールド数以上連続して字幕領域を検出していることを示す場合、当該小領域を字幕領域と判定するステップを具備することを特徴とする請求項１１記載の字幕検出方法。
13. 前記画面を小領域に分割し、各小領域内の高輝度画素の画素数を計数するステップと、
    前記高輝度画素の画素数と所定閾値とを比較し、高輝度画素数比較結果を前記小領域毎に提供するステップとを具備し、
    前記ＡＮＤ演算ステップは、前記積分値比較結果と前記ダイナミックレンジ比較結果と前記高輝度画素数比較結果とのＡＮＤ演算を行うことを特徴とする請求項１１記載の字幕検出方法。

Images