JP2002199302A - 文字情報提供システム及び文字情報提供方法及びその方法を実現するプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 映像中の文字情報を自動的に認識し文字情報
だけをインデクスとして保存して映像蓄積再生端末に提
供し、管理面での簡易性、利便性を高める。 【解決手段】 文字情報蓄積端末２，３において、映像
を入力し、文字情報を抽出し、抽出した結果の文字情報
のみを映像鑑賞用のインデクス情報として蓄積すること
で、映像情報を蓄積する必要をなくし蓄積容量を少量に
し、映像蓄積の処理をなくして装置にかかる負荷を軽減
させる。また、文字情報蓄積端末２，３から映像蓄積再
生端末６，７に文字情報だけを送り映像情報は送らない
ことで、高帯域の通信回線９を必要とせずに簡易にシス
テムを実現する。また、文字情報蓄積端末２，３と映像
蓄積再生端末６，７とが、時刻情報サーバ端末１０を定
期的に参照して時刻情報の同期を取ることで、要求され
る文字情報の時刻と提供される文字情報の時刻との時間
的なズレをなくす。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばテレビ放送
局によって配信されるような映像情報から文字情報を抽
出し、抽出した結果を、映像を再生する際のインデクス
情報として蓄積、提供する技術に関するものである。

【０００２】

【従来の技術】映像からテロップなどの文字情報を抽出
し、抽出した結果をインデクスとして利用し、映像を再
生する技術は従来から提案されている。

【０００３】パソコンやテレビなどの映像入力機能を備
えた端末において、入力された映像中に表示される文字
が表示されたフレーム画像を自動検出し、検出されたフ
レーム画像をメモ情報として画面に表示する技術は、
「特願平９−３３４４５８号」に記載されている。

【０００４】また、映像中から検出されたフレーム画像
中の文字情報を自動認識して得られた文字コード情報を
使って映像をキーワード検索する技術に関しては、「特
願平９−３３５７７０号」に記載されており、さらに得
られた文字コードを使用してインターネット上の情報を
検索し、入力映像に関連するインターネット情報を取得
する技術に関しては、「特願平９−３４０１３４号」に
記載されている。

【０００５】また、映像中の音声情報を自動認識し、音
声を文字情報に変換し、キーワード入力あるいは音声入
力により映像を検索する技術についてはメディアドライ
ブ社のクロスメディエーターというパソコン上のソフト
ウェア製品、及びソフトウェアを実行するパソコン端末
で実現されている。

【０００６】また、映像中に含まれる文字の認識を自動
的に行い、認識した結果を映像再生用のインデクスとし
て利用し、通信回線を介して映像蓄積再生端末からの要
求に応じて映像情報を配信する映像提供方法に関する技
術は、「特願平９−３３４４５９号」に記載されてい
る。

【０００７】

【発明が解決しようとする課題】しかしながら、上述の
いずれの従来技術においても、映像を入力する端末上で
文字情報あるいは音声情報を自動認識し、認識結果を蓄
積するとともに、入力された映像情報も蓄積する必要が
あるため、端末に膨大な蓄積容量を備えた蓄積部を備え
る必要があり、さらには文字認識、音声認識、映像蓄積
と処理内容が多く端末にかかる負荷が高くなるという問
題があった。

【０００８】また、「特願平９−３３４４５９号」に記
載された通信回線を介した映像情報提供技術において
は、文字情報だけでなく、映像情報も通信回線を通じて
配信する必要があり、通信回線には広い帯域が必要であ
るという問題があった。

【０００９】そのため、本発明では上記従来技術の問題
点に鑑みて、文字情報提供方法における運用、及び管理
の面での簡易性、利便性を高めるべく、映像中の文字情
報を自動的に認識し、認識された結果だけを映像鑑賞用
のインデクスデータとして保存し、利用者の端末に提供
する文字情報提供方法を提供することを課題とする。

【００１０】さらに、本発明は文字認識結果に基づくイ
ンデクス情報を提供する提供側とインデクス情報を利用
して映像を鑑賞する利用側とがサーバ・クライアント形
式で構成された文字情報提供システムを提供することを
課題とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明による文字情報提供システムは、映像入力
源から入力された映像から映像に関する文字情報を抽出
し、該抽出した文字情報、及び該抽出した際の時刻情報
を関連付けて蓄積する文字情報蓄積端末と、前記映像入
力源から入力された映像及び該映像が入力された際の時
刻情報を蓄積し、該蓄積された映像情報を再生する映像
蓄積再生端末とを有し、前記文字情報蓄積端末と前記映
像蓄積再生端末とは、時刻情報の同期を取る時刻同期手
段を有し、前記文字情報蓄積端末は、前記映像蓄積再生
端末での再生対象の映像の時刻情報から前記蓄積した文
字情報を検索して該映像蓄積再生端末に送信するもので
あり、前記映像蓄積再生端末は、再生対象の映像の時刻
情報を前記文字情報蓄積端末に送るとともに、該文字情
報蓄積端末から受信した文字情報を該映像を再生する際
のインデクスとして参照するものであることを特徴とす
る。

【００１２】同じく、本発明による文字情報提供方法
は、文字情報蓄積端末において、再生対象の映像を蓄積
する映像蓄積再生端末との時刻情報の同期を取る時刻同
期手順と、前記再生対象の映像から映像に関する文字情
報を抽出する文字情報抽出手順と、前記抽出した文字情
報、及び該抽出した際の前記時刻情報を関連付けて蓄積
する文字情報蓄積手順と、前記再生対象の映像の時刻情
報を映像蓄積再生端末から受信する時刻情報通信手順
と、前記蓄積した文字情報の中から前記受信した時刻情
報を持つ文字情報を検索する文字情報検索手順と、前記
検索された文字情報を前記映像蓄積再生端末に送信する
文字情報通信手順とを、有することを特徴とする。

【００１３】あるいは、映像蓄積再生端末と文字情報蓄
積端末のどちらか一方または双方が２台以上存在する場
合の上記の文字情報提供方法であって、文字情報蓄積手
順において、再生映像に関する文字情報及び時刻情報に
加え、端末に関する属性情報も蓄積し、時刻情報通信手
順において、映像蓄積再生端末から時刻情報に加え、端
末に関する属性情報も受信し、文字情報検索手順におい
て、前記受信した時刻情報及び端末に関する属性情報に
対応する文字情報を検索することを特徴とする。

【００１４】あるいは、映像蓄積再生端末において、再
生対象の映像に関する文字情報を蓄積する文字情報蓄積
端末との時刻情報の同期を取る時刻同期手順と、前記再
生対象の映像を前記時刻情報と関連づけて蓄積する映像
蓄積手順と、前記再生対象の映像に関連づけられた時刻
情報を前記文字情報蓄積端末に送信する時刻情報通信手
順と、前記送信された時刻情報に基づいて検索された前
記再生対象の映像から抽出された文字情報を前記文字情
報蓄積端末から受信する文字情報通信手順と、前記受信
した文字情報を前記再生対象の映像を再生する際のイン
デクスとして参照するインデクス参照手順とを、有する
ことを特徴とする。

【００１５】あるいは、文字情報蓄積端末と映像蓄積再
生端末のいずれか一方または双方が２台以上存在する場
合の上記の文字情報提供方法であって、映像蓄積手順に
おいて、蓄積される再生対象の映像及び時刻情報に加
え、端末に関する属性情報も蓄積し、時刻情報通信手順
において、文字情報蓄積端末に送信する時刻情報に加
え、前記端末に関する属性情報も送信し、文字情報通信
手順において、前記時刻情報に加え前記端末に関する属
性情報に対応する文字情報を受信することを特徴とす
る。

【００１６】あるいは、上記の文字情報提供方法におい
て、前記時刻同期手順では、文字情報蓄積端末と映像蓄
積再生端末の間でどちらか一方の端末が他方の端末の時
刻情報を定期的に参照し、参照した時刻情報を自端末の
時刻情報として設定することを特徴とする。

【００１７】あるいは、文字情報蓄積端末と映像蓄積再
生端末のいずれか一方または双方が２台以上存在する場
合の上記の文字情報提供方法において、時刻同期手順で
は、２台以上ある文字情報蓄積端末または映像蓄積再生
端末の中の時刻情報の基準となる端末に時刻情報を要求
し、前記基準となる端末以外の端末は前記基準となる端
末から時刻情報を受信し、該受信した時刻情報を自端末
の時刻情報として設定することを特徴とする。

【００１８】あるいは、文字情報蓄積端末と映像蓄積再
生端末のいずれか一方または双方が２台以上存在する場
合の文字情報提供方法において、時刻同期手順では、時
刻情報の基準となる端末が前記基準となる端末以外の端
末に同期を取るための時刻情報を送信することを特徴と
する。

【００１９】あるいは、上記の文字情報提供方法におけ
る手順を、コンピュータに実行させるプログラムとして
該コンピュータが読み取り可能な記録媒体に記録したこ
とを特徴とする。

【００２０】本発明では、文字情報蓄積端末において、
映像を入力し、文字情報を抽出し、抽出した結果の文字
コード情報のみを映像鑑賞用のインデクス情報として装
置内に蓄積することにより、上述の従来技術のように入
力された映像情報を蓄積する必要をなくし、装置内の蓄
積部の容量も従来技術に比べ少量で実現し、さらには映
像蓄積の処理を実行しなくとも良くして、上述の従来技
術より装置にかかる負荷を軽減させる。

【００２１】また、本発明では、文字情報蓄積端末から
映像蓄積再生端末に送られる情報を文字情報だけで良く
し、映像情報は送らなくても良くすることにより、上述
の従来技術で必要とした高帯域の通信回線を必要とせず
に簡易にシステムを実現可能とする。

【００２２】また、本発明は、「特願平９−３３４４５
９号」とは異なり、映像中の文字情報を抽出する端末が
映像を再生する端末とは別々に存在するが、時刻同期手
順により、両端末間の時刻情報の同期を取ることによ
り、映像蓄積再生端末から要求された文字情報の時刻と
文字情報蓄積端末から映像蓄積再生端末に提供される文
字情報の時刻との間に時間的なズレが生じることなく、
映像蓄積再生端末からの要求に合った文字情報を提供す
ることを可能にする。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００２４】図１は、本発明の第１の実施形態例の文字
情報提供システムの概略構成を示すブロック図である。

【００２５】本実施形態例の文字情報提供システムは、
テレビ放送を受信して映像情報を出力するＴＶチューナ
１，４，５，８が接続された文字情報蓄積端末２，３及
び映像蓄積再生端末６，７、及び文字情報蓄積端末２，
３、映像蓄積再生端末６，７、時刻情報サーバ端末１０
を接続する通信回線９により構成される。

【００２６】文字情報蓄積端末２，３と映像蓄積再生端
末６，７は時刻情報サーバ端末１０と通信回線９を介し
て定期的に接続し、時刻情報サーバ端末１０の時刻情報
を参照し、自端末の時刻情報として設定する。

【００２７】文字情報蓄積端末２，３と映像蓄積再生端
末６，７は、ＴＶチューナ１，４，５，８からの映像情
報を入力し、文字情報蓄積端末２，３では入力された映
像情報から文字情報を抽出、及び蓄積し、映像蓄積再生
端末６，７では入力された映像情報を蓄積、再生する。

【００２８】文字情報蓄積端末２，３と映像蓄積再生端
末６，７は通信回線９で接続され、映像蓄積再生端末
６，７で映像を再生する際に必要に応じて再生対象の映
像の時刻情報を通信回線９を介して文字情報蓄積端末
２，３に送信し、文字情報蓄積端末２，３は受け取った
時刻情報に関連する文字情報を通信回線９を介して映像
蓄積再生端末６，７に送信し、映像蓄積再生端末６，７
では受け取った文字情報を再生対象の映像を再生する際
のインデクス情報として利用し、再生対象の映像を再生
する。

【００２９】なお、文字情報蓄積端末２，３と映像蓄積
再生端末６，７に接続された映像入力源としてのＴＶチ
ューナ１，４，５，８は必ずしもＴＶチューナでなくと
も良い。例えば、インターネット上の放送映像を受信す
るパソコン端末でも良く、その場合、文字情報蓄積端末
２，３と映像蓄積再生端末６，７にはＴＶチューナの代
りにパソコン端末が接続される構成をとる。

【００３０】また、テレビ放送など複数チャンネルの映
像情報を入力する場合は、文字情報蓄積端末２，３と映
像蓄積再生端末６，７はテレビ放送のチャンネルの個数
分だけ並列に動作する構成をとる。

【００３１】図２は、本発明の第２の実施形態例を示す
時刻同期手順のタイミングチャートである。以降の各チ
ャートにおいて、Ｓ○○○（○は数字）は処理のステッ
プを表す。

【００３２】前述の第１の実施形態例で説明したように
文字情報蓄積端末、映像蓄積再生端末、時刻情報サーバ
端末が通信回線を介して接続された場合において、文字
情報蓄積端末、映像蓄積再生端末から定期的に時刻同期
合わせの処理が要求される（ステップ１０１）ととも
に、文字情報蓄積端末、及び映像蓄積再生端末と時刻情
報サーバ端末の間の接続が通信回線を介して確立される
（ステップ１０２）。

【００３３】接続確立後、時刻情報サーバ端末は、それ
ぞれの時刻情報要求に応じて文字情報蓄積端末、及び映
像蓄積再生端末に対し、自端末の時刻情報を送信する
（ステップ１０３）。

【００３４】時刻情報サーバ端末から時刻情報が送信さ
れるとともに、時刻情報サーバ端末と文字情報蓄積端
末、及び映像蓄積再生端末との間の通信接続は切断され
る（ステップ１０４）。

【００３５】文字情報蓄積端末と映像蓄積再生端末は、
時刻情報サーバ端末から受け取った時刻情報を自端末の
時刻情報として設定する（ステップ１０５）。

【００３６】図３は、本発明の第３の実施形態例を示す
時刻同期手順のタイミングチャートである。

【００３７】文字情報蓄積端末と映像蓄積再生端末が１
台ずつで構成された文字情報提供システムにおいて、文
字情報蓄積端末の時刻情報を基準として映像蓄積再生端
末が時刻の同期合わせを定期的に行う場合、映像蓄積再
生端末から時刻同期合わせの処理が要求される（ステッ
プ２０１）とともに、映像蓄積再生端末と文字情報蓄積
端末の間の接続が通信回線を介して確立される（ステッ
プ２０２）。

【００３８】接続確立後、文字情報蓄積端末は映像蓄積
再生端末に対し、時刻情報要求に応じて自端末の時刻情
報を送信する（ステップ２０３）。

【００３９】文字情報蓄積端末から時刻情報が送信され
るとともに、文字情報蓄積端末と映像蓄積再生端末との
間の通信接続は切断される（ステップ２０４）。

【００４０】映像蓄積再生端末は、文字情報蓄積端末か
ら受け取った時刻情報を自端末の時刻情報として設定す
る（ステップ２０５）。

【００４１】図４は、本発明の第４の実施形態例を示す
時刻同期手順のタイミングチャートである。

【００４２】文字情報蓄積端末と映像蓄積再生端末のい
ずれか一方または双方が２台以上の複数台で構成された
文字情報提供システムにおいて、予め決められた１台の
文字情報蓄積端末または映像蓄積再生端末（以下、単に
端末と呼ぶ）の時刻情報を基準として他の文字情報蓄積
端末、及び映像蓄積再生端末が時刻の同期合わせを定期
的に行う場合、時刻情報の基準となる端末以外の文字情
報蓄積端末、及び映像蓄積再生端末から時刻同期合わせ
の処理が要求される（ステップ３０１）とともに、時刻
情報の基準となる端末以外の文字情報蓄積端末、及び映
像蓄積再生端末と時刻情報の基準となる端末の間の接続
が通信回線を介して確立される（ステップ３０２）。

【００４３】接続確立後、時刻情報の基準となる端末
は、時刻情報要求に応じて時刻情報の基準となる端末以
外の文字情報蓄積端末、及び映像蓄積再生端末に対し、
自端末の時刻情報を送信する（ステップ３０３）。

【００４４】時刻情報の基準となる端末から時刻情報が
送信されるとともに、時刻情報の基準となる端末と時刻
情報の基準となる端末以外の文字情報蓄積端末、及び映
像蓄積再生端末との間の通信接続は切断される（ステッ
プ３０４）。

【００４５】時刻情報の基準となる端末以外の文字情報
蓄積端末、及び映像蓄積再生端末は時刻情報の基準とな
る端末から受け取った時刻情報を自端末の時刻情報とし
て設定する（ステップ３０５）。

【００４６】なお、いずれかの端末の時刻情報と同期を
取るために、自端末が時刻情報の基準となって他の端末
に自端末の時刻情報を送信するようにしても良い。

【００４７】図１に示された本発明の第１の実施形態例
の文字情報提供システムにおいて、文字情報蓄積端末
２，３から映像蓄積再生端末６，７へ通信回線９を介し
て文字情報を提供するまでの手順について、本発明の第
５の実施形態例として図５のタイミングチャートを参照
して説明する。

【００４８】映像蓄積再生端末６，７において文字情報
蓄積端末２，３上の文字情報を受信して映像を鑑賞する
場合には、利用者は映像蓄積再生端末６，７におけるユ
ーザインタフェース上でインデクス要求に該当するボタ
ンをクリックする等の操作を行うと（ステップ４０
１）、映像蓄積再生端末６，７が通信回線９を介して文
字情報蓄積端末２，３に接続される（ステップ４０
２）。

【００４９】接続が確立されるとともに、映像蓄積再生
端末６，７で蓄積されている再生対象の映像情報の開始
時刻の情報が、文字情報蓄積端末２，３に対し送信され
る（ステップ４０３）。

【００５０】文字情報蓄積端末２，３は、蓄積されてい
る文字情報の中で開始時刻が映像蓄積再生端末６，７か
ら送信された開始時刻と関連付けられた文字情報を検索
する（ステップ４０４）。このとき、映像蓄積再生端末
６，７と文字情報蓄積端末２，３の間で、例えばチャン
ネル番号のような入力源を特定し得る識別子を付加的に
保存し、時刻の情報とともにこの識別子を利用すること
によって、例えば同じ時刻に複数のチャンネルで文字が
表示されていた場合にも検索結果を特定のものに絞り込
むことが可能である。

【００５１】文字情報蓄積端末２，３は、映像蓄積再生
端末６，７から文字情報の要求を受けると、選択された
文字情報を映像蓄積再生端末６，７に送信する（ステッ
プ４０５）。

【００５２】映像蓄積再生端末６，７がこの文字情報を
受信すると、映像蓄積再生端末６，７と文字情報蓄積端
末２，３との間の通信接続が切断される（ステップ４０
６）。

【００５３】映像蓄積再生端末６，７から文字情報蓄積
端末２，３に送信する時刻の情報は、映像蓄積再生端末
６，７において再生したい映像情報に関連する時刻を利
用する。例えば、テレビ放送が対象の場合、映像蓄積再
生端末６，７及び文字情報蓄積端末２，３において番組
毎の放送開始時刻、終了時刻を記憶しておき、映像再生
端末６，７から文字情報蓄積端末２，３に送信される時
刻情報が再生したい番組映像の放送開始時刻と放送終了
時刻の間に含まれる任意の時刻を送信した場合、文字情
報蓄積端末２，３側では、受け取った時刻が含まれる放
送開始時刻と放送終了時刻を持つ番組に関する文字情報
を映像蓄積再生端末６，７に送信するように構成しても
よい。

【００５４】これにより映像蓄積再生端末６，７と文字
情報蓄積端末２，３の間で時刻の同期を厳密に設定する
必要がなくなる。

【００５５】図６は、本発明の第６の実施形態例による
文字情報提供システムにおける文字情報蓄積端末の処理
フローチャートを示したものである。文字情報蓄積端末
の各構成要素をソフトウェアで実現した場合にも、この
ソフトウェアの処理は同図に示したフローチャートに従
って行われる。

【００５６】テレビ放送などの映像情報がステップ５０
１においてフレーム画像単位に入力され、ステップ５０
２で入力映像に関する情報が文字として抽出され、ステ
ップ５０３ではステップ５０２で抽出された文字情報を
蓄積する。

【００５７】ステップ５０４ではステップ５０３で蓄積
された文字情報を必要に応じて映像再生蓄積端末に提供
する。ステップ５０４を詳細に説明するタイミングチャ
ートは前述の図５で示したものである。

【００５８】なお、ステップ５０２で行われる映像に関
する情報を文字として抽出する方法としては、予め決め
られた方法を用いて自動的に行っても良いし、オペレー
タのマニュアル操作によって行われてもどちらでも良い
ものとし、さらには、自動的に行って得られた結果をオ
ペレータがマニュアル操作により修正、追加しても良い
ものとする。

【００５９】ステップ５０２の文字抽出処理を自動的に
行う場合、例えば、桑野地「エッジ密集度によるテロッ
プ文字フレーム検出誤り抑制法」（電子情報通信学会情
報・システムソサイエティ大会、Ｄ−１２−１２，１９
９７年９月）に掲載された技術、桑野地「二段階ライン
二値化による映像中テロップ文字領域抽出」（電子情報
通信学会情報・システムソサイエティ大会、Ｄ−１２−
２０，ｐ．２０７，２０００年９月）に掲載された技
術、及び森他「背景・文字の形状特徴と動的修正識別関
数を用いた映像中テロップ文字認識」（電子情報通信学
会論文詩、ｖｏ１．Ｊ８３−Ｄ２，Ｎｏ．７，ｐｐ．１
６５８−１６６６．２０００年７月）に掲載されている
技術を組み合わせて利用することで実現できる。

【００６０】図７は、本発明の第７の実施形態例を示す
映像蓄積再生端末のフローチャートである。映像蓄積再
生端末の各構成要素をソフトウェアで実現した場合にも
このソフトウェアの処理は、同図に示したフローチャー
トに従って行われる。

【００６１】テレビ放送からステップ６０１によって入
力された映像情報は、ステップ６０２において蓄積され
る。入力された映像情報の蓄積は、例えばハードディス
クなどで実現することができる。

【００６２】ステップ６０３において、利用者は蓄積さ
れた映像情報を再生するかしないか指定する。再生する
場合はステップ６０４へ、再生しない場合は終了する。

【００６３】ステップ６０４では、利用者は映像を再生
する際に、再生対象の映像に関する文字情報を文字情報
蓄積端末から受け取るかどうかを選択する。文字情報を
受け取る場合はステップ６０５へ、インデクス情報を受
け取らない場合はステップ６０９へ移る。

【００６４】ステップ６０５では、文字情報蓄積端末か
ら映像の文字情報を受け取り、読み込む。なお、ステッ
プ６０４で文字情報の受け取りを要求し、ステップ６０
５で文字情報を読み込むまでの手順を詳細に説明するタ
イミングチャートは前述の図５で示したものである。

【００６５】ステップ６０６では、受け取った文字情報
に対し利用者が検索要求を出し、ステップ６０７におい
て検索結果に対応する文字が表示されるフレーム画像を
代表画像として表示する。

【００６６】なお、ステップ６０６における利用者の検
索要求、及びステップ６０７の代表画像の表示の方法と
しては、以下の二通り可能である。

【００６７】一つ目は、ステップ６０６において、利用
者はテレビ映像の放送時間を指定し、ステップ６０７に
おいてはインデクス情報の中からステップ６０６で指定
された放送時間内の映像中に存在する文字が表示される
シーンのフレーム画像を時間順に表示するものである。

【００６８】この際、文字の属性情報を利用して映像内
容を構造化した形態で画面に表示することも可能とす
る。例えば、文字の位置情報を利用し、ニュース映像内
の各ニュース項目の見出しの文字を選択することで、各
ニュース項目毎に代表画像を表示し、映像の一覧性を高
めることが可能である。

【００６９】上述のニュース映像中の各ニュース映像の
見出しの文字を選択する技術は、例えば「特願平１１−
２５３９４４号」に掲載されている技術を利用すること
で実現できる。

【００７０】図９により、その技術を説明する。この技
術は、文字列周囲の背景中のコントラストやノイズの影
響を抑制し、文字列の高さ・幅情報を正確に抽出できる
文字列情報抽出装置、方法を提供するものである。

【００７１】画像入力記憶部１１に記憶された、文字を
含む画像に対し、文字輪郭線検出部１２により輝度値が
急変する文字輪郭線画素を検出し、文字領域抽出部１３
により局所的に均一な輝度で連結する複数画素を文字領
域として抽出し、文字列矩形抽出部１４により文字列矩
形抽出法等を用いて文字列を囲む矩形画像を抽出する。
文字列情報抽出部１５は、この矩形画像の中で水平方
向、垂直方向の各ライン毎に、上記文字輪郭画素の検出
個数と抽出文字領域の個数を求め、両方が高い値を取る
場合にそのラインを文字列ラインとし、上記矩形画像中
で水平方向の最も上の文字列ラインと最も下の文字列ラ
イン、及び垂直方向の最も左の文字列ラインと最も右の
文字列ラインに囲まれる矩形を新たな文字列矩形として
抽出し、結果出力部１６へ出力する。これらの制御は処
理制御部１７により為される。

【００７２】二つ目の検索要求方法、及び代表画像の表
示方法としては、ステップ６０６において、利用者は所
望の映像に関するキーワードを文字コードで入力し、ス
テップ６０７では、文字情報の中からステップ６０６で
入力されたキーワードと合致する文字情報と対応するフ
レーム画像を表示するものである。

【００７３】ステップ６０８では、利用者は表示された
代表画像の中から再生したい画像を選択する。これは例
えばコンピュータ画面上のマウス操作で実現できる。

【００７４】ステップ６０９では、映像が再生される。
再生方法としてはステップ６０４で再生対象の映像の文
字情報を使用しないと指示した場合、再生対象の映像を
先頭から再生し、ステップ６０４でインデクス情報を使
用すると指示した場合は、ステップ６０８で選択された
画像を先頭とする頭出し再生を行う。

【００７５】ステップ６１０では、ステップ６０９で再
生された映像をコンピュータ画面上などに表示する。

【００７６】本発明の第１の実施形態例における文字情
報蓄積端末２，３で蓄積される文字情報の一例を、図８
に本発明の第８の実施形態例として示す。この文字情報
は、例えばリレーショナルデータベースに格納すること
ができる。

【００７７】図８（ａ）は文字情報の一例を示すもので
あり、図８（ｂ）は図８（ａ）の文字情報に対応するテ
レビ映像中のフレーム画像である。図８（ａ）で８０１
は入力されたテレビ映像の放送日を表し、８０２は入力
されたテレビ映像の放送時刻を表し、８０３は入力され
たテレビ映像のチャンネル情報であり、８０４は一番組
内で文字が表示されているフレーム画像の番号である。

【００７８】また、８０５は図８（ｂ）のフレーム画像
中の文字のうち上段の文字列の文字表示位置を示す数値
である。８１０は下段の文字列の表示位置を示す数値で
ある。８０６，８１１は文字列の傾きを示す数値であ
る。８０７，８１２は文字列の明るさの情報を示す数値
である。８０８，８１３は文字が表示されていた時区間
の長さを示す数値である。８０９，８１４は文字を文字
認識技術を用いて文字コードに変換した結果を示すもの
である。

【００７９】文字情報蓄積端末２，３で蓄積された文字
情報の中で映像蓄積再生端末６，７から送信された時刻
の情報や入力源の識別子等の端末に関する属性情報が一
致する文字情報が見つかった場合、文字情報蓄積端末
２，３は図７に示すような文字インデクス情報を映像蓄
積再生端末６，７に送信する。これにより映像蓄積再生
端末６，７側では、蓄積された映像情報の詳細な情報を
得ることができ、これに基づいて、好みのシーンから映
像を再生することができる。

【００８０】このように本発明の種々の実施形態例の文
字情報提供システムは、放送、あるいは電気通信によっ
て配信される映像情報から文字情報を抽出し、抽出した
文字情報を蓄積し、必要に応じて提供する文字情報蓄積
端末と映像を入力し、蓄積、再生し、再生する際にサー
バ上の文字情報を取得することで効率的な映像再生の機
能を実現する映像蓄積再生端末から構成されるシステム
である。

【００８１】上記の本発明の実施形態例による文字情報
提供システムは、上記の実施形態例で説明された例に限
定されることなく、システム内の入出力デバイス、通信
デバイス、コンピュータのＣＰＵやメモリなどのハード
ウェア部分を除く部分は、同等の機能を実現するソフト
ウェア（プログラム）で構築し、ディスク装置等に記憶
しておき、必要に応じてコンピュータにインストール
し、あるいはネットワーク経由でコンピュータにダウン
ロードして文字情報提供サービスを行うことも可能であ
る。さらに、構築されたプログラムをフロッピー（登録
商標）ディスク（登録商標）、メモリカード、ＣＤ−Ｒ
ＯＭ等の可搬記録媒体に格納し、このようなサービスを
用いる場面で汎用的に使用することも可能である。

【００８２】以上、本発明の代表的な実施形態例を説明
したが、本発明は、上記の実施形態例に限定されること
なく、特許請求の範囲内において種々変更、応用が可能
である。

【００８３】

【発明の効果】以上の説明の通り、本発明によれば以下
の効果が得られる。 （１）文字情報蓄積端末において、文字を含んだ映像情
報を入力し、入力された映像に関する文字情報を取得
し、取得した文字情報を映像鑑賞用のインデクスとして
保存し、映像蓄積再生端末に文字情報のみを提供するこ
とで、文字情報蓄積端末内の蓄積部の容量、及び装置に
かかる負荷を軽減でき、さらには映像蓄積再生端末との
接続には低帯域の通信回線を用いるだけで、システムを
実現することが可能である。 （２）映像蓄積再生端末においては、映像を蓄積してお
くだけで、蓄積した映像を鑑賞する際に、文字情報を通
信回線を介して文字情報蓄積端末から受信することで、
映像蓄積再生端末自身で文字情報の自動獲得の処理を行
わずに、受信した文字情報を用いて効率的な映像鑑賞が
実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態例を示す文字情報提供
システムの概略構成図である。

【図２】本発明の第２の実施形態例を示す時刻同期手順
のタイミングチャートである。

【図３】本発明の第３の実施形態例を示す時刻同期手順
のタイミングチャートである。

【図４】本発明の第４の実施形態例を示す時刻同期手順
のタイミングチャートである。

【図５】本発明の第５の実施形態例を示す文字情報蓄積
端末から映像蓄積再生端末への文字情報提供までのタイ
ミングチャートである。

【図６】本発明の第６の実施形態例を示す文字情報蓄積
端末における処理フローチャートである。

【図７】本発明の第７の実施形態例を示す映像蓄積再生
端末の処理フローチャートである。

【図８】（ａ），（ｂ）は本発明の第８の実施形態例を
示す文字情報蓄積端末に蓄積される文字情報の説明図で
ある。

【図９】ニュース映像の見出しの文字を選択する従来の
技術を説明するブロック図である。

【符号の説明】

１，４，５，８…ＴＶチューナ ２，３…文字情報蓄積端末 ６，７…映像蓄積再生端末 ９…通信回線 １０…時刻情報サーバ端末

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６４０ (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C025 BA25 BA27 CA09 DA10 5C063 EB50 5C064 BA07 BB10 BC18 BC25 BD16 5K061 AA09 BB07 DD00

Claims (9)

【特許請求の範囲】
1. 【請求項１】 映像入力源から入力された映像から映像
   に関する文字情報を抽出し、該抽出した文字情報、及び
   該抽出した際の時刻情報を関連付けて蓄積する文字情報
   蓄積端末と、 前記映像入力源から入力された映像及び該映像が入力さ
   れた際の時刻情報を蓄積し、該蓄積された映像情報を再
   生する映像蓄積再生端末とを有し、 前記文字情報蓄積端末と前記映像蓄積再生端末とは、時
   刻情報の同期を取る時刻同期手段を有し、 前記文字情報蓄積端末は、前記映像蓄積再生端末での再
   生対象の映像の時刻情報から前記蓄積した文字情報を検
   索して該映像蓄積再生端末に送信するものであり、 前記映像蓄積再生端末は、再生対象の映像の時刻情報を
   前記文字情報蓄積端末に送るとともに、該文字情報蓄積
   端末から受信した文字情報を該映像を再生する際のイン
   デクスとして参照するものであることを特徴とする文字
   情報提供システム。
2. 【請求項２】 文字情報蓄積端末において、 再生対象の映像を蓄積する映像蓄積再生端末との時刻情
   報の同期を取る時刻同期手順と、 前記再生対象の映像から映像に関する文字情報を抽出す
   る文字情報抽出手順と、 前記抽出した文字情報、及び該抽出した際の前記時刻情
   報を関連付けて蓄積する文字情報蓄積手順と、 前記再生対象の映像の時刻情報を映像蓄積再生端末から
   受信する時刻情報通信手順と、 前記蓄積した文字情報の中から前記受信した時刻情報を
   持つ文字情報を検索する文字情報検索手順と、 前記検索された文字情報を前記映像蓄積再生端末に送信
   する文字情報通信手順とを、有することを特徴とする文
   字情報提供方法。
3. 【請求項３】 映像蓄積再生端末と文字情報蓄積端末の
   どちらか一方または双方が２台以上存在する場合の文字
   情報提供方法であって、 文字情報蓄積手順において、再生映像に関する文字情報
   及び時刻情報に加え、端末に関する属性情報も蓄積し、 時刻情報通信手順において、映像蓄積再生端末から時刻
   情報に加え、端末に関する属性情報も受信し、 文字情報検索手順において、前記受信した時刻情報及び
   端末に関する属性情報に対応する文字情報を検索するこ
   とを特徴とする請求項２に記載の文字情報提供方法。
4. 【請求項４】 映像蓄積再生端末において、 再生対象の映像に関する文字情報を蓄積する文字情報蓄
   積端末との時刻情報の同期を取る時刻同期手順と、 前記再生対象の映像を前記時刻情報と関連づけて蓄積す
   る映像蓄積手順と、 前記再生対象の映像に関連づけられた時刻情報を前記文
   字情報蓄積端末に送信する時刻情報通信手順と、 前記送信された時刻情報に基づいて検索された前記再生
   対象の映像から抽出された文字情報を前記文字情報蓄積
   端末から受信する文字情報通信手順と、 前記受信した文字情報を前記再生対象の映像を再生する
   際のインデクスとして参照するインデクス参照手順と
   を、有することを特徴とする文字情報提供方法。
5. 【請求項５】 文字情報蓄積端末と映像蓄積再生端末の
   いずれか一方または双方が２台以上存在する場合の文字
   情報提供方法であって、 映像蓄積手順において、蓄積される再生対象の映像及び
   時刻情報に加え、端末に関する属性情報も蓄積し、 時刻情報通信手順において、文字情報蓄積端末に送信す
   る時刻情報に加え、前記端末に関する属性情報も送信
   し、 文字情報通信手順において、前記時刻情報に加え前記端
   末に関する属性情報に対応する文字情報を受信すること
   を特徴とする請求項４に記載の文字情報提供方法。
6. 【請求項６】 前記時刻同期手順では、 文字情報蓄積端末と映像蓄積再生端末の間でどちらか一
   方の端末が他方の端末の時刻情報を定期的に参照し、参
   照した時刻情報を自端末の時刻情報として設定すること
   を特徴とする請求項２から４までのいずれか１項に記載
   の文字情報提供方法。
7. 【請求項７】 文字情報蓄積端末と映像蓄積再生端末の
   いずれか一方または双方が２台以上存在する場合の文字
   情報提供方法において、 時刻同期手順では、 ２台以上ある文字情報蓄積端末または映像蓄積再生端末
   の中の時刻情報の基準となる端末に時刻情報を要求し、 前記基準となる端末以外の端末は前記基準となる端末か
   ら時刻情報を受信し、該受信した時刻情報を自端末の時
   刻情報として設定することを特徴とする請求項２から４
   までのいずれか１項に記載の文字情報提供方法。
8. 【請求項８】 文字情報蓄積端末と映像蓄積再生端末の
   いずれか一方または双方が２台以上存在する場合の文字
   情報提供方法において、 時刻同期手順では、 時刻情報の基準となる端末が前記基準となる端末以外の
   端末に同期を取るための時刻情報を送信することを特徴
   とする請求項２から４までのいずれか１項に記載の文字
   情報提供方法。
9. 【請求項９】 請求項２から８までのいずれか１項に記
   載の文字情報提供方法における手順を、 コンピュータに実行させるプログラムとして該コンピュ
   ータが読み取り可能な記録媒体に記録したことを特徴と
   する文字情報提供方法を実現するプログラムを記録した
   記録媒体。