JP2000350095A - 映像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】字幕の表示範囲を検出してそこだけマスクする
ことのできる映像処理装置を提供する。 【解決手段】映像信号の中１００％白の部分の密度をブ
ロック毎に時系列に記憶し、その部分が一定時間以上移
動しない、色変わりが不連続、などの特徴をに基づいて
字幕の表示ブロックを割り出す。割り出された字幕ブロ
ックをマスクする長方形のマスク映像信号を生成して、
映像信号に合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、洋画などの映像
信号から字幕のテロップをマスクして見えなくする映像
処理装置に関する。

【０００２】

【発明が解決しようとする課題】洋画などをビデオ化し
た映像で、吹き替えでなく原語のままの音声のものは、
一般的に画面の下部に字幕テロップが表示される。とこ
ろが、洋画から語学の学習をしようとするものにとって
は、字幕があると意識が字幕のほうに引き寄せられ言語
の会話に集中できなくなるという欠点があった。

【０００３】そこで字幕をマスクする装置が考えられる
が、ビデオによって字幕が表示される範囲は一定でない
ため、予め適当なマスク範囲を決めておくことができ
ず、どのビデオでも字幕をマスクできる程度に広範囲の
マスク映像を生成するようにすると、その範囲が広くな
りすぎて映画そのものを楽しむことができなくなるとい
う欠点があった。

【０００４】この発明は、字幕の表示範囲を検出してそ
こだけマスクすることのできる映像処理装置を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】この発明は、ビデオ信号
として入力された映像の各ドットが字幕の表示色である
特定色であるかを検出するとともに、該映像を複数のブ
ロックに分割し、分割されたブロック毎に前記特定色の
ドットの密度を検出する特定色密度検出手段と、特定色
密度検出手段が所定の間隔で複数回検出した特定色のド
ットの密度に基づいて字幕を表示するブロックである字
幕ブロックを判定する字幕ブロック判定手段と、字幕ブ
ロックと判定されたブロックを覆うマスク映像を生成
し、このマスク映像を前記入力された映像に合成する合
成手段と、を備えたことを特徴とする。

【０００６】字幕の表示色は、一般的には１００％白で
あるが、これ以外の色であっても予め設定しておくこと
により、その表示色を検出することができる。映像をブ
ロックに分割して前記字幕の表示色である特定色の密度
を検出する。ブロックは、ｓ×ｍドットの矩形に分割し
てもよく、１×ｍの線形に分割してもよい。線形に分割
するのはビデオ信号が走査線信号として入力されるた
め、メモリを使わずに実時間処理が可能であるからであ
る。また、１×１のドットを１ブロックとすることによ
り、ドット単位の処理も可能である。これもこの発明に
含まれる。

【０００７】ビデオ信号の映像は動画映像であるため、
各ドットや各ブロックの色（輝度を含む）は時間ととも
に滑らかに変化する。しかし、字幕は必要に応じて表示
・消去される静止画映像であるため、表示中は色が変化
せず表示・消去タイミングには色が不連続に変化する。
これらの特徴に基づいてどのブロックが字幕を表示して
いる字幕ブロックであるかを判断し、その字幕ブロック
をマスクするマスク映像を生成して元の映像に合成す
る。これにより、予め字幕の表示エリアが判っていなく
ても適当な大きさのマスク映像を生成し、字幕をマスク
することががきる。

【０００８】

【発明の実施の形態】図面を参照してこの発明の実施形
態である映像処理装置について説明する。図１は同映像
処理装置のブロック図である。この映像処理装置は、白
抜き（１００％白）で表示された字幕を検出し、その表
示エリアを灰色のマスク画像でカバーするものである。
通常のビデオ映像は、常時色（明度を含む）が変動して
おり、その変化は連続的であるのに対し、字幕テロップ
は、一定時間静止して表示される静止がであり、表示開
始時と消去時には不連続に色が変化する。また、全く同
じ色（１００％白）のドットが多く分布するのも通常の
ビデオ映像では稀なこととである。この映像処理装置
は、字幕テロップのこれらの特性を利用して字幕テロッ
プの表示エリアを割り出し、このエリアのみにマスク画
像を表示するものである。

【０００９】この装置は、信号取込部１、字幕判定部２
および信号処理部３で構成されている。映像信号は信号
取込部１および信号処理部３に入力されている。信号取
込部１は、字幕テロップと思われる１００％白のドット
を検出してその密度情報を字幕判定部２に入力する。密
度情報は、画面全体を１〜複数ドットからなるブロック
に分割し、各ブロック毎に１００％白のドットが占める
密度を割り出し、１００％白のドットが一定以上の密度
で分布しているブロックに“１＝候補ブロック”を割り
当て、それ以外のブロックに“０”を割り当てた情報で
ある。この実施形態では、１ブロックを縦方向１ドット
（１走査線）×横方向ｍドット（１走査線の総ドット数
のｎ分の１）で構成している。

【００１０】字幕判定部２は、信号取込部１から入力さ
れた密度情報およびこの密度情報の時間的な変化状況な
どに基づいて字幕が表示されているブロックを判定し、
字幕ブロックが分布しているエリアをマスクする映像信
号を発生するように信号処理部３に指示する。信号処理
部３は、上記字幕エリアのみのマスク映像を生成し、こ
れを入力される映像信号に合成してモニタに出力する。
これによって字幕テロップがマスク映像に隠された映像
がモニタに表示される。

【００１１】図２は信号取込部１のブロック図である。
図３、図４は、同信号取込部１の各部の信号を示す図で
ある。図２において、信号取込部１は、映像信号Ｖｉｄ
ｅｏを入力してこれを比較器１０、Ｈパルス生成部１
７、ｎパルス生成部１８およびＶパルス生成部１９に入
力する。比較器１０の比較入力端子にはしきい値電圧Ｔ
ｈ１が供給されており、入力された映像信号がこのしき
い値電圧Ｔｈ１よりも高いとき出力端子から“Ｈ”を出
力し、入力された映像信号がこのしきい値電圧Ｔｈ１よ
りも低いとき出力端子から“Ｌ”を出力する。図３
（Ａ），（Ｂ）に示すように、しきい値電圧Ｔｈ１は１
００％白に近いレベルに設定されており、字幕や一部の
真っ白な映像の部分のみで“Ｈ”が出力される。一般的
な映像では、このような１００％白のドットは多くない
ため、字幕の部分は、他の部分に比べて“Ｈ”の密度が
高くなっている。

【００１２】比較器１０の出力はスイッチ１１を開閉す
る。すなわち、比較器１０が“Ｈ”を出力するスイッチ
１１がオンし、比較器１０が“Ｌ”を出力している間は
スイッチ１１はオフしている。スイッチ１１はＦＥＴな
どからなる半導体スイッチであり０．１μＳ程度の応答
速度を有している。これにより、連続時間信号である映
像信号で約４００ドット程度の水平分解能を得ることが
できる。比較器１０の出力が“Ｈ”になりスイッチ１１
がオンすると、平均化回路Ｃに定電流源９から電流が流
れ込む。平均化回路Ｃはコンデンサで構成されており、
スイッチ１１がオンされる時間に応じた電荷が蓄積さ
れ、それに応じた端子間電圧を発生する（図４，参
照）。この電圧は比較器１４に供給される。

【００１３】一方、Ｈパルス生成部１７は、入力した映
像信号Ｖｉｄｅｏから水平同期信号Ｈ．ＳＹＮＣを検出
し、これと同期したパルス（Ｈパルス）を出力する（図
４参照）。ｎパルス生成部１８は、Ｈパルス生成部１
７と同様に入力した映像信号Ｖｉｄｅｏから水平同期信
号Ｈ．ＳＹＮＣを検出し、この水平同期信号Ｈ．ＳＹＮ
Ｃの時間間隔（１／１５７５秒）をｎ等分した間隔でパ
ルス（ｎパルス）を出力する（図４参照）。すなわ
ち、このｎパルスは１走査線の時間をブロック毎に分割
するパルスである。また、Ｖパルス生成部１９は垂直同
期信号Ｖ．ＳＹＮＣを検出してこれを同期したパルス
（Ｖパルス）を出力する。

【００１４】Ｈパルスは、後述のシフトレジスタ１５に
ラッチパルスとして供給されるとともに、ＣＰＵ２１に
割込信号として入力される。Ｖパルスは、後述のＰＩＯ
１６にフィールド区切り信号として入力される。また、
ｎパルスは、シフトレジスタ１５にシフトパルスとして
供給される（図４）参照）とともに、ディレイ２０を
介して前記平均化回路Ｃに並行に接続されているリセッ
トスイッチ１３に出力される（図４参照）。ディレイ
２０は、図４に示すようにｎパルスのパルス幅程度のデ
ィレイであり、シフトレジスタ１５が、ｎパルスをトリ
ガとして比較器１４の出力をサンプリングするまで、平
均化回路Ｃのリセットを遅らせるためのものである。

【００１５】平均化回路Ｃは、ブロック毎に“Ｈ”時間
に対応する電荷が蓄積され、この電荷に応じた電圧が出
力される（図４参照）。ブロックの時間が経過し、次
のブロックになるときリセットスイッチ１３の閉成によ
って平均化回路Ｃはリセットされる。平均化回路Ｃの電
圧は比較器１４に出力される。比較器１４の比較入力端
子には、白ドットの密度に基づいてこのブロックを字幕
が表示されるブロックの可能性が高い候補ブロックを判
定するためのしきい値電圧Ｔｈ２が供給されており、平
均化回路Ｃの入力電圧がこれより高くなったとき比較器
１４は“Ｈ”信号を出力する（図４参照）。

【００１６】シフトレジスタ１５は、シフトパルス（ｎ
パルス）が入力されたとき比較器１４の出力をサンプリ
ングし、レジスタの内容をシフトする。こののち、リセ
ットスイッチ１３にリセットパルス（ディレイ２０でデ
ィレイされたｎパルス）が入力されることにより平均化
回路Ｃの電荷は放電され、その出力電圧も比較器１４の
出力もリセットされる。

【００１７】シフトレジスタ１５はｎ段のシフトレジス
タであり、比較器１０→スイッチ１１→平均化回路Ｃ→
比較器１４→シフトレジスタ１５の系列は、映像信号Ｖ
ｉｄｅｏの１走査線の期間に上記動作をｎ回繰り返し実
行する。そして、ｎ回の動作ののち、Ｈパルス生成部１
７からＨパルスが入力されると、ｎ段のシフトレジスタ
の値がｎビットの信号としてＰＩＯ１６に転送される。
同時にＣＰＵ２１は、Ｈパルスによる割り込みに応じて
ＰＩＯ１６にラッチされたｎビットの信号をＲＡＭ２３
に取り込む。

【００１８】なお、Ｖパルス生成部１９が出力するＶパ
ルスもＰＩＯ１６を介してＣＰＵ２１に入力される。Ｃ
ＰＵ２１は、Ｖパルスが入力されることにより、現在の
映像信号がＶ．ＳＹＮＣの位置であることを知ることが
でき、これによりフィールド単位、フレーム単位の処理
が可能になる。

【００１９】図２において、ＰＩＯ１６が接続されてい
るＣＰＵ−ＢＵＳには、マイコン部としてＣＰＵ２１、
ＲＡＭ２３のほかＲＯＭ２２、ハードディスク２４が接
続されている。ＲＯＭ２２には、この装置を起動させる
ための起動プログラムなどが記憶されている。ハードデ
ィスク２４には字幕判定用のプログラムが記憶されてお
り、起動時にＲＡＭ２３に読み込まれる。このマイコン
部が図１の字幕判定部２に対応する。なお、プログラム
をＲＯＭ化してしまえばハードディスク２４は不要であ
る。

【００２０】図５のメモリ構成図、図６のフローチャー
ト、を参照してＣＰＵ２１の字幕判定動作について説明
する。図５（Ａ）において、ＲＡＭ２３には、ｎ×４８
３ビットのフレームメモリが２０フレーム分設定されて
いる。各フレームメモリは、１走査線分のｎブロックの
密度情報を１フレーム分記憶する記憶エリアである。Ｎ
ＴＳＣ信号では１フレームの走査線数が５２５本である
が、このうち４０本程度はブランキング期間であるた
め、縦方向は４８３で足りる。また、各フレームメモリ
はフレームポインタｉで識別される。

【００２１】図６において、この装置が起動されるとま
ずイニシャライズ動作を実行する（ｓ１）。イニシャラ
イズ動作は、ＲＡＭ２３のクリア、同図のプログラムの
読み込み、フレームポインタｉに１をセットするなどの
処理である。こののち、映像信号Ｖｉｄｅｏが入力され
るまでｓ２で待機する。映像信号の入力はＨパルスによ
る割り込みによって検出することができる。

【００２２】映像信号が入力されると、１フレーム分の
密度情報を取り込む（ｓ３）。フレームのスタートは、
ＰＩＯ１６からのＶパルスの入力などで判断することが
できる。Ｈパルスが入力されるごとにＰＩＯ１６から１
走査線分の密度情報を取り込み、ブランキング期間を除
く全ての走査線の密度情報をフレームメモリに書き込ん
だのちｓ３の処理を終了する。

【００２３】ｓ３の処理を２０フレーム分実行する（ｓ
４）が、連続したフレームから取り込むのではなく、１
／２秒（１５フレーム）程度の間隔をおいて（ｓ６）、
取り込む。この取り込みののち、どのブロックが字幕を
表示する字幕ブロックであるかを判定する（ｓ７）。こ
の判定は以下のようにして行う。映像信号は動画である
ため、各ブロック（ドット）の色（明度を含む）は時間
とともに連続的に変化する。これに対して、字幕は静止
状態で表示されているため、時間が経過しても同じよう
に１００％白である。そして、字幕が消去されたときそ
のブロックの色が不連続に変化する。この不連続な変化
は画面全体が切り換わった場合と異なり字幕の部分のみ
である。また、字幕は一般的に横１行または縦１行に表
示されるものが多いため、ある区画に集中的に特定の色
（この場合は１００％白）のブロックが発生する。この
ような特徴に基づいて、時系列のフレームメモリを検査
し、字幕ブロックを判定する（図５（Ｂ）参照）。字幕
のブロックが判定されると、図５（Ｂ）に示すように全
ての字幕ブロックをカバーする最小の矩形のエリアを決
定し、マスクエリアとする。ただし、同図に示すように
字幕ブロックと判定されたが他の字幕ブロックから孤立
しているものは偶然１００％白であった映像部分である
としてこれを無視する。

【００２４】図６において、このマスクエリアをＲＡＭ
２３に記憶し（ｓ８）、信号処理部３に対してマスクエ
リアを指定する信号を出力して映像信号の処理を制御す
る（ｓ９）。この制御は映像信号が入力されている間継
続される。

【００２５】図７は信号処理部のブロック図である。ま
た、図８は信号処理部で処理された映像信号の画像の例
を示す図である。

【００２６】映像信号Ｖｉｄｅｏは、同期信号分離回路
３１およびビデオスイッチ３３の一方の入力端子に入力
される。ビデオスイッチ３３は出力端子がモニタに接続
されており、他方の入力端子には、ＮＴＳＣエンコーダ
３２からマスク映像が入力される。

【００２７】前記ＣＰＵ２１はビデオチップ３０に対し
て前記マスクエリアおよびマスク映像の色などを指示す
る。ビデオチップ３０には同期信号分離回路３１から
Ｈ．ＳＹＮＣ、垂直同期信号Ｖ．ＳＹＮＣおよびサブキ
ャリア周波数ｆ_scが入力される。ビデオチップ３０は、
この同期信号に基づき、指示されたマスクエリアの映像
信号を映像信号Ｖｉｄｅｏと同期して発生する。この信
号は、上記指示された色のＲＧＢ信号であり、ＮＴＳＣ
エンコーダ３２によって、ＮＴＳＣのコンポジット信号
に変換されたのち、前記ビデオスイッチ３３に入力され
る（図８（Ｂ）参照）。

【００２８】ビデオチップ３０は、また、透明信号ＹＳ
を出力する。この透明信号ＹＳは、ビデオチップ３０自
身が映像信号を作成していないときに出力される信号で
あり、上記マスクエリア以外のエリアで出力される。こ
のＹＳ信号がビデオスイッチ３３に切換信号として入力
される。ＹＳ信号が入力されているときは映像信号Ｖｉ
ｄｅｏが出力端子に出力され、ＹＳ信号が入力されてい
ないときはＮＴＳＣエンコーダ３２側のマスク映像が出
力端子に出力される。これにより、モニタに出力される
映像は字幕の部分がマスクされた図８（Ｃ）のような映
像となる。

【００２９】なお、この実施形態では、信号取込部をア
ナログ回路で構成したが、映像信号をディジタル化して
ディジタル回路で信号取込部を構成してもよい。

【００３０】また、この実施形態では、ブロックを１×
ｍドットとしたが、複数の走査線にわたってブロックを
構成してもよい。また、上記フレームメモリの記憶内容
に基づいて複数走査線にわたるブロックを再構成するこ
とも可能である。

【００３１】また、シフトレジスタ１５から入力される
データは１ビットのデータであったが、白ドットの密度
に応じた多ビットのデータにしてもよい。

【００３２】また、ブロックの大きさを１×１にすれば
ドット単位の判定となり、これも本願発明に含まれる。

【００３３】また、この実施形態では、字幕テロップは
白ぬきで表示されるものとしたが、テロップの色は何色
でもよく、検出対象をその色に合わせればよい。

【００３４】また、字幕テロップが出現するべきエリア
として予め画面の下部１／３のエリアなど、エリアを指
定しておくことによって、全く異なるエリアに出現した
候補エリアを排除することができ、判定を容易にするこ
とができるとともに、誤判定を無くすことができる。

【００３５】なお、上記実施形態では、信号取込部１に
入力される映像信号と信号処理部３に入力される映像信
号は同じタイミングのものであり、字幕判定部２が字幕
のエリアを判定するまでの数秒〜１０秒程度の間は、字
幕が表示されたままの映像がモニタに出力されることに
なる。そこで、信号処理部３の前段に、映像信号を数秒
〜１０秒程度遅延させる遅延装置を設けることにより、
映像信号の最初から字幕を表示させるようにすることも
できる。

【００３６】なお、この遅延装置の遅延時間と字幕判定
部２の判定時間とが完全に一致している必要はない。

【００３７】なお、字幕判定部は字幕エリアを検出した
のち完全に動作を停止してもよく、常時字幕の有無を判
定しており、字幕が長時間表示されていないと判断した
場合にはマスクを解除するなどの制御をするようにして
もよい。

【００３８】

【発明の効果】以上のようにこの発明によれば、予め字
幕の表示エリアが判っていなくても、これを検出してマ
スク映像を合成して入力映像を表示することができるた
め、洋画などの字幕付きの映像を原語のみで楽しむこと
ができる。

【図面の簡単な説明】

【図１】この発明の実施形態である映像処理装置のブロ
ック図

【図２】同映像処理装置の信号取込部の構成を示す図

【図３】同信号取込部の比較器の動作を説明する図

【図４】同信号取込部の各部の信号を示す図

【図５】同字幕判定部のメモリ構成を示す図

【図６】同映像処理装置の字幕判定部の動作を示すフロ
ーチャート

【図７】同映像処理装置の信号処理部のブロック図

【図８】同信号処理部で処理される映像信号の例を示す
図

【符号の説明】

１…信号取込部、２…字幕判定部、３…信号処理部、４
…遅延回路、１０…比較器、１１…スイッチ、Ｃ…平均
化回路、１２…定電流源、１３…リセットスイッチ、１
４…比較器、１５…（ｎ段）シフトレジスタ、１６…Ｐ
ＩＯ、１７…Ｈパルス生成部、１８…ｎパルス生成部、
１９…Ｖパルス生成部、２０…ディレイ、２１…ＣＰ
Ｕ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディス
ク、３０…ビデオチップ、３１…同期信号分離回路、３
２…ＮＴＳＣエンコーダ、３３…ビデオスイッチ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ビデオ信号として入力された映像の各ド
   ットが字幕の表示色である特定色であるかを検出すると
   ともに、該映像を複数のブロックに分割し、分割された
   ブロック毎に前記特定色のドットの密度を検出する特定
   色密度検出手段と、 特定色密度検出手段が所定の間隔で複数回検出した特定
   色のドットの密度に基づいて字幕を表示するブロックで
   ある字幕ブロックを判定する字幕ブロック判定手段と、 字幕ブロックと判定されたブロックを覆うマスク映像を
   生成し、このマスク映像を前記入力された映像に合成す
   る合成手段と、 を備えた映像処理装置。