JP4192476B2 - 映像変換装置及び映像変換方法 - Google Patents
映像変換装置及び映像変換方法 Download PDFInfo
- Publication number
- JP4192476B2 JP4192476B2 JP2002050666A JP2002050666A JP4192476B2 JP 4192476 B2 JP4192476 B2 JP 4192476B2 JP 2002050666 A JP2002050666 A JP 2002050666A JP 2002050666 A JP2002050666 A JP 2002050666A JP 4192476 B2 JP4192476 B2 JP 4192476B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- image
- video conversion
- cut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 259
- 238000000034 method Methods 0.000 title claims description 38
- 230000015572 biosynthetic process Effects 0.000 claims 6
- 238000003786 synthesis reaction Methods 0.000 claims 6
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 44
- 238000001514 detection method Methods 0.000 description 10
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像中に出現する文字部分に対して所定の加工を実施する映像変換装置に関するものであり、特にTV映像などの表示サイズの大きな映像を表示サイズの小さな受信端末で再生する場合でも、文字部分の適切な視聴を可能にするための技術に関する。
【０００２】
【従来の技術】
特開平7-336618(西暦1995年12月22日公開)には、TV受信機側で映像サイズの変換を実施して表示する際、文字部分が表示画面外に隠れてしまうことを避けるため、文字サイズを保持したまま表示位置のみを表示画面内に変更するための手法が記載されている。特開平9-83965(西暦1997年3月28日公開)には、TV受信機側で文字情報を画面に多重して表示する際、背景の輝度レベルの影響で見え難くならないように太文字へ変換して表示する手法が記載されている。特開2000-50217(西暦2000年2月18日公開)には、TV 受信機において本来、異なる画面で表示されるように構成された文字放送番組と通常の番組を１つの映像に多重して表示する手法が記載されている。特開2000-278622(西暦2000年10月6日公開)および特開2000-350117(西暦2000年12月15日公開)には、画面上に表示する字幕文字の表示形式やタイミングなどの指示情報を視聴者がTV受信機に予め指定しておき、その指示情報に従って字幕文字と映像とを多重して表示する手法が記載されている。
【０００３】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、表示画面の小さな映像受信端末を用いて映像を再生した場合でも、映像受信端末側に文字放送対応手段等の特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能な手段を提供することである。
【０００４】
【課題を解決するための手段】
本発明において、上記の課題を解決するためには、例えば特許請求の範囲に記載されるように構成すればよい。
【０００５】
【発明の実施の形態】
以下、本発明における映像変換装置の実施の形態について説明する。
【０００６】
図１は、本発明の映像変換装置100の構成を示す図である。
【０００７】
TV放送局113から送られて来るTV番組の映像情報(音声を含む)は、映像入力部101を経由して一時記憶媒体102に格納される。映像変換部103は、一時記憶媒体102に格納された映像情報を順次読み出して、原画像のサイズ変換、文字画像部分の切り出しとサイズ変換、多重化などを実施する部分であり、それらの変換操作は映像変換情報部106に予め格納された映像変換情報に基づいて実施される。映像出力部108は、映像変換部103によって変換された映像情報を携帯電話用無線回線、インターネットなどの外部公衆網111へ送出する機能、または映像記憶媒体107に対する入出力の機能を有する部分である。外部公衆網111へ送出された映像情報は、外部公衆網111に接続されたPDA、携帯電話機など複数の映像受信端末112へ配信される。映像変換情報部106は、映像変換の対象となる番組を特定するための放送チャネル、番組開始時間などを示す番組情報、画像サイズ変換の指標となる映像サイズ情報、映像中の複数の文字部分に対する映像変換を実施する際に、その場所を特定する座標などを示す領域別変換情報などを格納する部分である。操作部105は、映像変換情報部106に格納される映像変換情報について入力、編集などの操作を行う部分である。映像記録媒体107は、映像変換後の映像を保存する部分であり、保存済みの映像は、読み出して外部公衆網111へ送出することも出来る。データ入出力部110は、データ通信装置114を介して接続されたサーバや別の映像変換装置に対して、映像変換情報および変換済みの保存映像について、入力、送信、交換などの処理を行う部分である。タイマ109は、日付および時刻をカウントする機能を持ち、映像変換情報に基づく映像変換処理の開始動作および停止動作を判定するために用いる。制御部104は、映像変換装置100の各処理部が適切に動作するための制御管理機能を持つ部分である。尚、本願に開示される映像変換は情報記憶手段に格納されるプログラムを上記制御部が読み出すことによって実行することも可能である。
【０００８】
図2は、映像変換部103の構成を示す図である。
【０００９】
映像入力部101から入力された映像情報(音声情報を含む)は、一旦、一時記憶媒体102へ時系列に格納される。一時記憶媒体102に格納された映像情報は、1枚の画像(フレーム)毎に映像変換部に取り込まれ、映像情報は原画像部200へ格納される。また、このフレームと同じ時刻に再生されるべき音声情報は、音声部210へ格納される。原画像は、スケーリング1部202によって映像変換情報で示される出力映像サイズ208に従い画像サイズ変換を実施した後、多重部204へ送られる。音声情報は、変換などの処理は実施せずに、そのまま多重部204へ送られる。画像切り出し部201は、映像変換情報で示される原座標205に従い、原画像の中で文字情報が存在する所定領域の画像を切り出して格納する部分である(以下、この画像を切り出し画像と称する)。文字検出部206は、切り出し画像における輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、切り出した画像サイズの変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像サイズの変換は実施せず、多重部204へも送らない。多重部204は、映像変換情報で示される多重座標209に従い、スケーリング1部202から送られた変換後の原画像の上に、スケーリング2部203から送られた変換後の切り出し画像を重ねて１つの画像に合成し、さらに音声部210から送られた音声情報と多重して、１本の映像情報に変換する部分である。多重された映像情報は、映像出力部108によって外部公衆網111へ送出される。ここで、映像変換情報の原座標205、拡大比率207、出力映像サイズ208、多重座標209は、予め映像変換情報部106に格納された情報であり、制御部104によって適宜参照されるものである。
【００１０】
図3は、映像変換情報300の内容を示す図である。
【００１１】
ID(301)は、１つの映像変換情報300毎に付けられる任意の記号列であり、特定の番組向けの情報として分類する場合や、複数の映像変換情報300の中からある特定の映像変換情報300を抽出する場合などに用いる。動作モード302は、映像情報の入力元および出力先の組合せを指定するコードである。入出力デバイス情報303は、動作モード302と連動して決定される情報であり、入力デバイス309と出力デバイス310のそれぞれに該当デバイス機器を指し示す所定のコードで構成する。番組情報304は、映像変換処理の対象となるTV放送のチャンネル311、番組タイトル名312で構成する。チャンネル311は数値、番組タイトルはテキストで指定する。日時情報305は、映像変換処理の開始日付313、開始時刻314および映像変換処理を行う時間長315で構成する。開始日時は西暦の年月日を示すコード、開始時刻と時間長は時分秒を示すコードで指定する。映像サイズ情報306は、入力映像サイズ316と出力映像サイズ317で構成し、それぞれ水平方向と垂直方向の画素数を指定する。変換領域数307は、映像変換処理の対象となる領域の数であり、数値で指定する。ここで言う領域とは、映像画面中の字幕などの文字が表示される部分のことである。画面中に複数の文字表示領域が存在する場合、その全てを変換対象として設定することも可能である。一方、変換対象の領域数を任意の数に制限することも可能である。領域別変換情報308は、映像変換処理に使用するパラメータグループである。変換領域数307で指定した数のパラメータグループが用意され、同図の例では、変換領域1(332)と変換領域2(333)の情報がこれに該当する。１つのパラメータグループは、表示優先順位322、原座標323、多重座標324、拡大比率325、分割表示制御326で構成する。表示優先順位322は、映像変換後の画像を多重化する際、変換領域に重なりが生じた場合、どの領域を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す。原座標323は、原画像から画像を切り出す領域を示す座標であり、原点座標と終点座標を示すコードで設定する。多重座標324は、スケーリング後の切り出し画像をスケーリング後の原画像へ多重する位置を示す座標であり、原点座標と終点座標を示す座標を示すコードで設定する。拡大比率325は、原画像から切り出した画像に対する水平方向および垂直方向のサイズ変換比率であり、数値で指定する。分割表示制御326は、領域を複数個に分割して表示する制御の有無を示す数値であり、分割表示制御有りの場合は1、無しの場合は0を設定する。分割表示制御326は、文字情報が多いなどの理由で、スケーリング後の切り出し画像が多重座標324に設定した領域内に収まらない場合、領域を複数個に分割して表示する処理を実施する。
【００１２】
図4は、映像変換情報300の動作モード302と入出力デバイス情報303の関係を示す図である。
【００１３】
図4(a)の動作モード401(302)は、映像情報の入力元および出力先の組合せを指定する情報である。入力デバイス402(309)には、映像変換部103への映像入力元となるデバイス機器を特定する識別番号が設定される。出力デバイス403(310)は、映像変換部103からの映像出力先となるデバイス機器を特定する識別番号が設定される。図4(b)は、映像変換装置100が持つ入力デバイス410と識別番号の関係を示した入力デバイス登録情報408である。図4(c)は、映像変換装置100が持つ出力デバイス413と識別番号の関係を示した出力デバイス登録情報411である。図4(a)では、例えば、動作モード401(302)がmode0(404)の場合、入力デバイス402(309)は識別番号DI00なので外部映像入力部(101)が選択され、出力デバイス403(310)は識別番号DO00なので外部映像出力部(108)が選択される。
【００１４】
図5は、映像変換情報300の映像サイズ情報306の設定内容を示す図である。
【００１５】
図5(a)は、原画像500である入力映像のサイズを示す図であり、画像の水平方向の画素数XL(502)と垂直方向の画素数XY(503)で表す。図5(b)は、変換画像504である出力映像のサイズを示す図であり、画像の水平方向の画素数XS(505)と垂直方向の画素数YS(506)で表す。
【００１６】
図6は、映像変換情報300の変換領域数307の設定内容を示す図である。
【００１７】
図6(a)は、原画像600に対して１個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域601の1か所が変換対象領域となる。図6(b)は、原画像602に対して2個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域603と画面中央の「◆臨時ニュース◆」という文字表示領域604の2か所が変換対象領域となる。
【００１８】
図7は、領域別変換情報308の原座標323の設定内容を示す図である。
【００１９】
原画像全体の領域は、原点ポイント700と終点ポイント701の組合せで表現する。同図の例では、ポイント情報の(xl0,yl0)-(xl1,yl1)が原画像全体の領域を表している。変換対象領域702の原座標323も同様に、変換対象領域の原点ポイント703と終点ポイント704の組合せで表現する。
【００２０】
図8は、領域別変換情報308の拡大比率325の設定内容を示す図である。
【００２１】
図8(a)に示した原画像800の時刻表示領域の切り出し画像801を拡大する場合の例として、図8(b)に示すように、その拡大比率802(325)は、切り出し画像801に対する水平方向の拡大比率kwiと垂直方向の拡大比率kheの組合せで表現する。切り出し画像801を拡大比率(kwi,khe)に基づいてスケーリング(拡大変換)を実施することにより、スケーリング後の切り出し画像803が生成される。
【００２２】
図9は、領域別変換情報308の多重座標324の設定内容を示す図である。
【００２３】
変換画像全体の領域は、原画像領域の場合と同様に原点ポイント901と終点ポイント902の組合せで表現する。同図の例では、ポイント情報の(xs0,ys0)-(xs1,ys1)が変換画像全体の領域を表している。スケーリング後の切り出し画像903を変換画像900へ多重する場合、多重領域の座標は、原点ポイント904と終点ポイント905の組合せで表現する。
【００２４】
図10は、映像変換装置100による映像変換動作の一例を示す図である。
【００２５】
同図では、野球中継画面のスコア表示部分に対して映像変換動作を実施する例を示す。TV番組における野球などのスポーツ中継では、スコア表示がTV画面上の特定位置に固定表示されることが一般的である。この習慣を利用して、予め原画像1000のスコア表示部分1001を変換領域332として設定し、映像変換後でもスコア表示の内容が認識可能となるように、適度な拡大比率325を設定しておく。番組が始まると映像変換装置100の映像変換部103は、原画像全体をそのままサイズ変更したスケーリング画像1(1002)とスコア表示部分1001をサイズ変更したスケーリング画像2(1003)を生成し、この2つの画像を多重することで変換画像1004が出力される。同図の例では、野球中継全体の映像サイズは小さくなるが、スコア表示の内容を充分認識することが可能な映像を配信することが出来る。
【００２６】
図11は、映像変換装置100による映像変換動作の別の一例を示す図である。
【００２７】
同図では、原画像1100の中の変換領域数が2つの場合における映像変換動作の実施例を示す。この例の変換領域は、画面左上の時刻表示領域1101と画面中央の「◆臨時ニュース◆」という文字表示領域1102であり、この2つの領域が切り出し画像の対象となる。2つの切り出し画像は、別に設定する映像変換情報300の領域別変換情報308を参照して映像変換を行い、それぞれスケーリング画像2-a(1104)とスケーリング画像2-b(1105)に変換される。原画像1100は、映像変換情報300の出力映像サイズ317を参照してスケーリング画像1(1103)に変換され、このスケーリング画像1(1103)の上にスケーリング画像2-a(1104)とスケーリング画像2-b(1105)を多重して、変換画像1106を出力する。切り出し画像を多重する位置は、図2で説明したように、映像変換情報300の多重座標209が参照される。
【００２８】
図12は、映像変換の実行中を示すマークを画面上に表示する例を示す図である。
【００２９】
切り出し画像の多重による映像変換が実施されていることを視聴者に対して認識させる手段として、変換画像1200の任意の位置に映像変換の実行中を示すマーク(以下、映像変換マーク1201と称する)を表示する。これにより、原画像をそのままスケーリングした画像と、切り出し画像の多重による映像変換が実施された画像とを、視聴者が容易に認識できるようになる。同図の例では、画面右上に映像変換マーク1201を表示しているが、表示位置は任意で良く、場面によって表示位置を変更しても良い。また、映像変換マーク1201自体も任意の記号、文字、形状であっても良い。
【００３０】
図13は、映像変換動作において分割表示制御を実施する場合の例を示す図である。
【００３１】
原画像の変換領域に表示される文字数が多い場合、映像変換後の画像にも全ての文字が表示されるようにスケーリングのみによって映像変換を行うと、変換画像面積の大部分を多重した切り出し画像が占めてしまい、元の映像が隠れてしまうという弊害が生じる恐れがある。分割表示制御は、この様な弊害を避けるために、変換画像上に切り出し画像を多重する領域を一定の面積に制限し、切り出し画像を所定の数に分割して表示を行うための制御を実施することが出来る。図13(a)は、映像変換情報300の分割表示制御1300(221)の設定内容を示す図である。分割表示制御有り1301にする場合は「1」、分割表示制御無し1302にする場合は「0」を設定する。図13(b)は、分割表示制御有りの場合に出力される変換画像の一例を示す図である。変換画像1303の領域(xs0,sy0)-(xs1,xy1)の中に、切り出し画像を多重する領域を、予め多重座標1304(209)として設定する。この例の多重座標1304は、原点ポイント1306と終点ポイント1307で示す領域である。この多重座標1304の領域に、切り出し画像1305の全体を数回に分割して表示する。分割表示制御の対象となる切り出し画像の個数に制限はなく、映像変換情報300に設定された変換領域の全てに対して設定することが可能である。
【００３２】
図14は、分割表示制御における表示範囲の一例を示す図である。
【００３３】
図14(a)は、分割表示前の表示文字全体1400の一例、図14(b)は、分割表示後の表示範囲の一例を示している。この例は、分割表示前の表示文字全体1400が3段であることを利用して、3回に分割して変換画像に多重する動作を示している。表示文字全体1400に対して垂直方向1404に分割を行い、その中の１つの分割画像1405を上段から順次、変換画像に多重する。図14(b)の例の場合、分割画像1(1401)、分割画像2(1402)、分割画像3(1403)の順で変換画像に多重する。各分割画像を多重するタイミングは、本来、表示文字全体1400が表示される時間内で調整する。
【００３４】
図15は、分割表示制御を実施した変換画像の出力の一例を示す図である。
【００３５】
同図は、図14に示した表示文字の例を使用して変換画像の流れを示している。第1に、図14の分割画像1(1401)を多重した変換画像1(1500)を出力、第2に、図14の分割画像2(1402)を多重した変換画像2(1501)を出力、第3に、図14の分割画像3(1403)を多重した変換画像3(1502)を出力するという順番で映像変換動作を行う。
【００３６】
図16は、映像変換時における表示優先順位322による動作の一例を示す図である。
【００３７】
映像変換情報300の領域別変換情報308に含まれる表示優先順位322は、映像変換時に複数の切り出し画像を多重化する際、変換領域に重なりが生じた場合、どの切り出し画像を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す情報である。例えば、時刻表示領域1602の表示優先順位322が「2」、「◆臨時ニュース◆」という文字表示領域の表示優先順位322が「1」という設定の映像の場合、映像変換後の出力画像は同図の様に、表示優先順位322が小さい数値である「◆臨時ニュース◆」という文字表示領域が一番手前に表示された変換画像となる。
【００３８】
図17は、映像変換部103における文字検出部206の動作の一例を示す図である。
【００３９】
文字検出部206は、変換領域(切り出し画像)の輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、変換領域から切り出した画像のサイズ変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像のサイズ変換は実施せず、多重部204へも送らない。図17(a)に文字検出動作の流れを示す。まず、映像入力部101から画像を入力(1700)し、ある変換領域nの全体の輝度平均値Yavを計算(1701)する。次に、予め設定された輝度しきい値Yav'を読み出し(1702)、計算した輝度平均値Yavと比較(1703)する。比較の結果により、変換領域nの映像変換の実行または中断を判定(1704)する。具体的には、輝度平均値Yavが輝度しきい値Yav'以上であれば映像変換を実行し、輝度しきい値Yav'以下であれば映像変換を中断する。図17(b)は、文字検出動作の一例を示す図である。同図は、ある映像変換期間(1706)に入力される映像(1709)の、ある変換領域nの文字の有無 (1707)による映像変換動作の実行または中断(1708)の関係を示している。映像変換の実施期間中(1710)において、入力映像(1709)がP1(1716)からPn(1720)まで入力されると仮定する。ここで、P1(1716)からP3(1717)の入力映像に文字表示があって、文字検出部206により文字有りと判定した場合は、入力映像P1(1716)からP3(1717)の変換領域nにおける映像変換を実行する。一方、P4(1718)からP5(1719)の入力映像に文字表示が無く、文字検出部206により文字無しと判定した場合は、入力映像P4(1718)からP5(1719)の変換領域nにおける映像変換を中断する。以後、映像変換期間の終了まで、入力映像1709の変換領域nにおける文字の有無を判定し、変換領域nの映像変換の実行または中断を制御する。
【００４０】
図18は、映像変換装置100の全体動作のフローチャートを示す図である。
【００４１】
まず、装置が電源ON状態になったならば、初期化を実行(1800)した後、待機状態となる。待機状態では、映像変換情報(300)の日時情報(305)とタイマ(109)を参照して、登録された予約動作開始日時に達するまで待つ(1801)。予約動作開始日時に達したならば、該当する映像変換情報を全て読み出し(1802)と、予約動作終了日時に達したか否かの判定を行う(1803)。ここで、予約動作終了日時に達していなければ、以後の映像変換動作の実行に移るが、その前段で動作モードを調べ、変換済み保存映像を配信するモードか否かを判定する(1804)。動作モードが、変換済み保存映像を配信するモードである場合は、映像記録媒体(107)に保存されている変換済み映像の外部配信を実行する(1811)。動作モードが、通常の映像変換を実行するモードである場合は、映像変換情報(300)に指定した変換動作の指示に従い、映像入力(1805)と映像変換(1806)を実行する。次に、映像変換後の出力として、外部配信動作が指定されているか否かを判定(1807)し、外部配信動作有りの場合は変換映像の外部配信動作を実行(1808)し、無しの場合は変換映像の外部配信動作をスキップする。さらに、変換映像の保存動作が指定されているか否かを判定(1809)し、保存動作有りの場合は映像記録媒体107への保存動作を実行(1810)し、無しの場合は保存動作をスキップする。この後、再度、予約動作終了日時に達したか否かの判定(1803)へ戻り、まだ予約動作終了日時に達していない場合は上記の動作手順を繰り返して実行し、予約動作終了日時に達した場合は、再び待機状態に戻る(1801)。この待機状態において、装置が電源OFF状態になったならば、動作全体を終了する(1812)。
【００４２】
図19は、映像変換装置100における映像変換部103の動作のフローチャートを示す図である。
【００４３】
まず、映像入力部101を介して一時記憶媒体102に格納されている入力映像の中から1枚分の画像Minを取得する(1900)。次に、画像Minをスケーリング1部202によりスケーリングを実行して画像Mscに変換する(1901)。次に、映像変換情報300の中の変換領域数307を読み出してhnに設定し、ループカウンタnを1に設定する。次に、変換領域nの文字検出を実行(1903)し、文字が有るか否かの判定を行う(1904)。文字有りと判定した場合は、画像Minから変換領域nの画像Cinを切り出し(1905)、スケーリング2部203により画像Cinのスケーリングを実行し、画像Csc(n)を出力する。一方、文字無しと判定した場合は、変換領域nの画像切り出しとスケーリングをスキップする。次に、ループカウンタnに1を加算(1907)した後、ループカウンタnが変換領域数hnを超えたか否かを判定する(1908)。まだ、超えていない場合は、再度、変換領域nの文字検出実行(1903)へ戻り、上記の手順を繰り返す。ループカウンタnが変換領域数hnを超えた場合は、以後の画像の多重動作に移る。多重動作では、映像変換情報300の中の表示優先順位322を参照し、表示優先順位の低い画像Csc(n)から順番に画像Mscと多重化(1909)し、最終的に多重化した結果の画像Moutを出力する(1910)。
【００４４】
図20は、複数の映像変換装置100における映像変換情報300の共有運用を示す図である。
【００４５】
映像変換情報300は、映像変換装置100の操作部105により単独で入力および編集が可能な構成となっている。一方、ある第1の映像変換装置100で作成した映像変換情報を第2、第3の映像変換装置100へ配信することにより、一つの映像変換情報300を共有化することも可能である。同図は、映像変換装置1(2000)で作成した複数の映像変換情報2004をサーバ2005へ蓄積しておき、外部公衆網に接続された別の映像変換装置2(2001)、映像変換装置3(2002)、映像変換装置n(2003)などが、サーバ2005に蓄積された映像変換情報2004を取得し、これを利用してそれぞれが映像変換動作を実行する例である。この構成を応用すれば、TV放送局が自局の番組毎に最適な映像変換情報をサーバに用意し、映像変換装置100を持つユーザがインターネットなどのネットワーク経由でダウンロードして使用するなどの利用形態が考えられる。これにより、ユーザ自身が映像変換情報を登録する手間が省けると共に、TV番組に最適な映像変換情報を簡単に取得できることによって、希望するTV番組に対して、最適かつ容易に映像変換動作を実行することが可能になる。
【００４６】
図21は、映像変換装置100と他の機器との接続関係の一例を示す図である。
【００４７】
映像変換装置100は、映像入力手段としてTV受信機2100を接続する。また、別の映像入力手段として、ケーブルTVなどの有線放送、或いはビデオデッキなど、任意の記録媒体に保存された映像を再生する映像再生装置と接続しても良い(図示せず)。変換映像出力手段として、無線配信を行うための無線送信機2001、インターネットなどの外部公衆網2103へ配信を行うためのネットワーク通信装置2102を接続する。また、映像変換装置100で作成した映像変換情報300を別の映像変換装置へ配信またはサーバなどへ保存する場合、前者はデータ入出力部110に接続されたデータ通信装置、後者はデータ入出力部110に接続されたサーバがそれぞれ使用される(図示せず)。
【００４８】
図22は、映像変換装置100と映像受信端末112を使用した運用形態の一例を示す図である。
【００４９】
図21でも示したように、映像変換装置2200は、映像入力手段としてTV放送局2201から発せられた番組を受信するためのTV受信機2202と接続する。変換映像出力手段として、無線送信機2205やネットワーク通信装置2203と接続し、外部公衆網2204へ配信する。無線送信機2205を経由する場合は、外部公衆網2204との間に無線の中継局1(2206)を経由する。外部公衆網2204は、インターネット、公衆電話回線網、衛生通信網などを利用するものとするが、本発明では、その通信方式に制限を設けるものではない。同図のPDA(2208)、動画表示機能付きの携帯電話2209が映像受信端末112に該当する。PDA(2208)および携帯電話2209は、外部公衆網と接続し、映像変換装置100から配信された映像を受信して再生する。尚、同図に示した携帯電話2209の場合は、中継局2(2207)を介して外部公衆網との接続を実施する。
以上のように、本願は、TV放送などの映像を表示部のサイズが小さい携帯型受信端末向けの映像に変換する場合に、TV放送局などの映像供給源から送出された音声を含む映像情報を入力するための映像入力部と、入力した映像情報を一時的に格納するための一時記憶媒体と、映像中のキャプションや字幕などの文字部分について切り出し、拡大、原画像との多重など所定の変換を実施するための映像変換部と、外部公衆網を介して接続された映像受信端末に対して変換後の映像情報を出力するための映像出力部と、映像変換に関する制御パラメータを格納するための映像変換情報部と、映像変換後の映像情報を格納するための映像記憶媒体と、映像変換情報や変換後の映像情報についてデータ通信装置を介して外部と送受信を行うためのデータ入出力部と、映像変換情報を入力および編集するための操作部と、映像変換処理の開始日時および終了日時の判定基準とするためのタイマ部と、前記各部に対し適切な制御を実施するための制御部とで構成し、映像の中に出現するキャプションや字幕などの文字部分に対し、別に指定し映像変換情報部に格納される制御パラメータに従って画像を切り出し、サイズ変換または元のサイズを保持した画像と、原画像または原画像をサイズ変換した画像とを多重化して出力する映像変換機能を備えたことを特徴とする映像変換装置を開示する。さらに、上記装置は入力した原画像若しくは入力した原画像をサイズ変換した画像と、原画像の所定の文字画像部分を切り出してサイズ変換を行った1個または複数個の画像とを多重して出力する。尚、原画像の所定の文字画像部分を切り出してサイズ変換を行う際に、該画像部分に文字表示が有るか否かを判定し、文字表示が有る場合は、該画像部分対する映像変換を実施し、文字表示が無い場合は、該画像部分対する映像変換を実施しない手段も設ける。
又、原画像の所定の文字画像部分を切り出してサイズ変換を行った複数個の画像と、原画像または原画像をサイズ変換した画像との多重は、映像変換情報に設定された表示優先順位の順番に従って多重する順番を制御し、表示優先順位が最も高く設定された文字画像が一番前面に表示されるように出力したり、原画像の所定の文字画像部分を切り出してサイズ変換を行った画像に表示文字数が多い場合、画像を多重する領域を一定の面積に制限し、切り出した画像を所定の数に分割して表示を行うための制御を実施する手段も備える。
【００５０】
尚、特定のTV番組用に作成した複数の映像変換情報群をサーバに一元管理し、他の映像変換装置からの要求によって映像変換情報を配信するようにしてもよく、映像の入力元としてTV受信機と接続し、変換映像の出力先としてインターネットや電話回線などの外部公衆網と接続するために無線送信機やネットワーク通信装置と接続し、入力映像を所定の手順で映像変換した後、外部公衆網へ出力する実施例も開示する。
【００５１】
【発明の効果】
本発明の映像変換装置を用いれば、表示画面の小さな映像受信端末で映像を再生した場合でも、映像受信端末側に特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能となる。
【図面の簡単な説明】
【図１】本発明の映像変換装置の構成を示す図。
【図２】映像変換部の構成を示す図。
【図３】映像変換情報の内容を示す図。
【図４】映像変換情報の動作モードと入出力デバイス情報の関係を示す図。
【図５】映像変換情報の映像サイズ情報の設定内容を示す図。
【図６】映像変換情報の変換領域数の設定内容を示す図。
【図７】領域別変換情報の原座標の設定内容を示す図。
【図８】領域別変換情報の拡大比率の設定内容を示す図。
【図９】領域別変換情報の多重座標の設定内容を示す図。
【図１０】映像変換装置による映像変換動作の一例を示す図。
【図１１】映像変換装置による映像変換動作の別の一例を示す図。
【図１２】映像変換の実行中を示すマークを画面上に表示する例を示す図。
【図１３】映像変換動作において分割表示制御を実施する場合の例を示す図。
【図１４】分割表示制御における表示範囲の一例を示す図。
【図１５】分割表示制御を実施した変換画像の出力の一例を示す図。
【図１６】映像変換時における表示優先順位による動作の一例を示す図。
【図１７】映像変換部における文字検出部の動作の一例を示す図。
【図１８】映像変換装置の全体動作のフローチャートを示す図。
【図１９】映像変換装置における映像変換部の動作のフローチャートを示す図。
【図２０】複数の映像変換装置における映像変換情報の共有運用を示す図。
【図２１】映像変換装置と他の機器との接続関係の一例を示す図。
【図２２】映像変換装置と映像受信端末を使用した運用形態の一例を示す図。
【符号の説明】
100…映像変換装置、101…映像入力部、102…映像記憶媒体、103…映像変換部、104…制御部、105…操作部、106…映像変換情報部、107…映像記憶媒体、108…映像出力部、109…タイマ部、110…データ入出力部、111…外部公衆網、112…映像受信端末、113…TV放送局、114…データ通信装置。
【発明の属する技術分野】
本発明は、映像中に出現する文字部分に対して所定の加工を実施する映像変換装置に関するものであり、特にTV映像などの表示サイズの大きな映像を表示サイズの小さな受信端末で再生する場合でも、文字部分の適切な視聴を可能にするための技術に関する。
【０００２】
【従来の技術】
特開平7-336618(西暦1995年12月22日公開)には、TV受信機側で映像サイズの変換を実施して表示する際、文字部分が表示画面外に隠れてしまうことを避けるため、文字サイズを保持したまま表示位置のみを表示画面内に変更するための手法が記載されている。特開平9-83965(西暦1997年3月28日公開)には、TV受信機側で文字情報を画面に多重して表示する際、背景の輝度レベルの影響で見え難くならないように太文字へ変換して表示する手法が記載されている。特開2000-50217(西暦2000年2月18日公開)には、TV 受信機において本来、異なる画面で表示されるように構成された文字放送番組と通常の番組を１つの映像に多重して表示する手法が記載されている。特開2000-278622(西暦2000年10月6日公開)および特開2000-350117(西暦2000年12月15日公開)には、画面上に表示する字幕文字の表示形式やタイミングなどの指示情報を視聴者がTV受信機に予め指定しておき、その指示情報に従って字幕文字と映像とを多重して表示する手法が記載されている。
【０００３】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、表示画面の小さな映像受信端末を用いて映像を再生した場合でも、映像受信端末側に文字放送対応手段等の特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能な手段を提供することである。
【０００４】
【課題を解決するための手段】
本発明において、上記の課題を解決するためには、例えば特許請求の範囲に記載されるように構成すればよい。
【０００５】
【発明の実施の形態】
以下、本発明における映像変換装置の実施の形態について説明する。
【０００６】
図１は、本発明の映像変換装置100の構成を示す図である。
【０００７】
TV放送局113から送られて来るTV番組の映像情報(音声を含む)は、映像入力部101を経由して一時記憶媒体102に格納される。映像変換部103は、一時記憶媒体102に格納された映像情報を順次読み出して、原画像のサイズ変換、文字画像部分の切り出しとサイズ変換、多重化などを実施する部分であり、それらの変換操作は映像変換情報部106に予め格納された映像変換情報に基づいて実施される。映像出力部108は、映像変換部103によって変換された映像情報を携帯電話用無線回線、インターネットなどの外部公衆網111へ送出する機能、または映像記憶媒体107に対する入出力の機能を有する部分である。外部公衆網111へ送出された映像情報は、外部公衆網111に接続されたPDA、携帯電話機など複数の映像受信端末112へ配信される。映像変換情報部106は、映像変換の対象となる番組を特定するための放送チャネル、番組開始時間などを示す番組情報、画像サイズ変換の指標となる映像サイズ情報、映像中の複数の文字部分に対する映像変換を実施する際に、その場所を特定する座標などを示す領域別変換情報などを格納する部分である。操作部105は、映像変換情報部106に格納される映像変換情報について入力、編集などの操作を行う部分である。映像記録媒体107は、映像変換後の映像を保存する部分であり、保存済みの映像は、読み出して外部公衆網111へ送出することも出来る。データ入出力部110は、データ通信装置114を介して接続されたサーバや別の映像変換装置に対して、映像変換情報および変換済みの保存映像について、入力、送信、交換などの処理を行う部分である。タイマ109は、日付および時刻をカウントする機能を持ち、映像変換情報に基づく映像変換処理の開始動作および停止動作を判定するために用いる。制御部104は、映像変換装置100の各処理部が適切に動作するための制御管理機能を持つ部分である。尚、本願に開示される映像変換は情報記憶手段に格納されるプログラムを上記制御部が読み出すことによって実行することも可能である。
【０００８】
図2は、映像変換部103の構成を示す図である。
【０００９】
映像入力部101から入力された映像情報(音声情報を含む)は、一旦、一時記憶媒体102へ時系列に格納される。一時記憶媒体102に格納された映像情報は、1枚の画像(フレーム)毎に映像変換部に取り込まれ、映像情報は原画像部200へ格納される。また、このフレームと同じ時刻に再生されるべき音声情報は、音声部210へ格納される。原画像は、スケーリング1部202によって映像変換情報で示される出力映像サイズ208に従い画像サイズ変換を実施した後、多重部204へ送られる。音声情報は、変換などの処理は実施せずに、そのまま多重部204へ送られる。画像切り出し部201は、映像変換情報で示される原座標205に従い、原画像の中で文字情報が存在する所定領域の画像を切り出して格納する部分である(以下、この画像を切り出し画像と称する)。文字検出部206は、切り出し画像における輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、切り出した画像サイズの変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像サイズの変換は実施せず、多重部204へも送らない。多重部204は、映像変換情報で示される多重座標209に従い、スケーリング1部202から送られた変換後の原画像の上に、スケーリング2部203から送られた変換後の切り出し画像を重ねて１つの画像に合成し、さらに音声部210から送られた音声情報と多重して、１本の映像情報に変換する部分である。多重された映像情報は、映像出力部108によって外部公衆網111へ送出される。ここで、映像変換情報の原座標205、拡大比率207、出力映像サイズ208、多重座標209は、予め映像変換情報部106に格納された情報であり、制御部104によって適宜参照されるものである。
【００１０】
図3は、映像変換情報300の内容を示す図である。
【００１１】
ID(301)は、１つの映像変換情報300毎に付けられる任意の記号列であり、特定の番組向けの情報として分類する場合や、複数の映像変換情報300の中からある特定の映像変換情報300を抽出する場合などに用いる。動作モード302は、映像情報の入力元および出力先の組合せを指定するコードである。入出力デバイス情報303は、動作モード302と連動して決定される情報であり、入力デバイス309と出力デバイス310のそれぞれに該当デバイス機器を指し示す所定のコードで構成する。番組情報304は、映像変換処理の対象となるTV放送のチャンネル311、番組タイトル名312で構成する。チャンネル311は数値、番組タイトルはテキストで指定する。日時情報305は、映像変換処理の開始日付313、開始時刻314および映像変換処理を行う時間長315で構成する。開始日時は西暦の年月日を示すコード、開始時刻と時間長は時分秒を示すコードで指定する。映像サイズ情報306は、入力映像サイズ316と出力映像サイズ317で構成し、それぞれ水平方向と垂直方向の画素数を指定する。変換領域数307は、映像変換処理の対象となる領域の数であり、数値で指定する。ここで言う領域とは、映像画面中の字幕などの文字が表示される部分のことである。画面中に複数の文字表示領域が存在する場合、その全てを変換対象として設定することも可能である。一方、変換対象の領域数を任意の数に制限することも可能である。領域別変換情報308は、映像変換処理に使用するパラメータグループである。変換領域数307で指定した数のパラメータグループが用意され、同図の例では、変換領域1(332)と変換領域2(333)の情報がこれに該当する。１つのパラメータグループは、表示優先順位322、原座標323、多重座標324、拡大比率325、分割表示制御326で構成する。表示優先順位322は、映像変換後の画像を多重化する際、変換領域に重なりが生じた場合、どの領域を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す。原座標323は、原画像から画像を切り出す領域を示す座標であり、原点座標と終点座標を示すコードで設定する。多重座標324は、スケーリング後の切り出し画像をスケーリング後の原画像へ多重する位置を示す座標であり、原点座標と終点座標を示す座標を示すコードで設定する。拡大比率325は、原画像から切り出した画像に対する水平方向および垂直方向のサイズ変換比率であり、数値で指定する。分割表示制御326は、領域を複数個に分割して表示する制御の有無を示す数値であり、分割表示制御有りの場合は1、無しの場合は0を設定する。分割表示制御326は、文字情報が多いなどの理由で、スケーリング後の切り出し画像が多重座標324に設定した領域内に収まらない場合、領域を複数個に分割して表示する処理を実施する。
【００１２】
図4は、映像変換情報300の動作モード302と入出力デバイス情報303の関係を示す図である。
【００１３】
図4(a)の動作モード401(302)は、映像情報の入力元および出力先の組合せを指定する情報である。入力デバイス402(309)には、映像変換部103への映像入力元となるデバイス機器を特定する識別番号が設定される。出力デバイス403(310)は、映像変換部103からの映像出力先となるデバイス機器を特定する識別番号が設定される。図4(b)は、映像変換装置100が持つ入力デバイス410と識別番号の関係を示した入力デバイス登録情報408である。図4(c)は、映像変換装置100が持つ出力デバイス413と識別番号の関係を示した出力デバイス登録情報411である。図4(a)では、例えば、動作モード401(302)がmode0(404)の場合、入力デバイス402(309)は識別番号DI00なので外部映像入力部(101)が選択され、出力デバイス403(310)は識別番号DO00なので外部映像出力部(108)が選択される。
【００１４】
図5は、映像変換情報300の映像サイズ情報306の設定内容を示す図である。
【００１５】
図5(a)は、原画像500である入力映像のサイズを示す図であり、画像の水平方向の画素数XL(502)と垂直方向の画素数XY(503)で表す。図5(b)は、変換画像504である出力映像のサイズを示す図であり、画像の水平方向の画素数XS(505)と垂直方向の画素数YS(506)で表す。
【００１６】
図6は、映像変換情報300の変換領域数307の設定内容を示す図である。
【００１７】
図6(a)は、原画像600に対して１個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域601の1か所が変換対象領域となる。図6(b)は、原画像602に対して2個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域603と画面中央の「◆臨時ニュース◆」という文字表示領域604の2か所が変換対象領域となる。
【００１８】
図7は、領域別変換情報308の原座標323の設定内容を示す図である。
【００１９】
原画像全体の領域は、原点ポイント700と終点ポイント701の組合せで表現する。同図の例では、ポイント情報の(xl0,yl0)-(xl1,yl1)が原画像全体の領域を表している。変換対象領域702の原座標323も同様に、変換対象領域の原点ポイント703と終点ポイント704の組合せで表現する。
【００２０】
図8は、領域別変換情報308の拡大比率325の設定内容を示す図である。
【００２１】
図8(a)に示した原画像800の時刻表示領域の切り出し画像801を拡大する場合の例として、図8(b)に示すように、その拡大比率802(325)は、切り出し画像801に対する水平方向の拡大比率kwiと垂直方向の拡大比率kheの組合せで表現する。切り出し画像801を拡大比率(kwi,khe)に基づいてスケーリング(拡大変換)を実施することにより、スケーリング後の切り出し画像803が生成される。
【００２２】
図9は、領域別変換情報308の多重座標324の設定内容を示す図である。
【００２３】
変換画像全体の領域は、原画像領域の場合と同様に原点ポイント901と終点ポイント902の組合せで表現する。同図の例では、ポイント情報の(xs0,ys0)-(xs1,ys1)が変換画像全体の領域を表している。スケーリング後の切り出し画像903を変換画像900へ多重する場合、多重領域の座標は、原点ポイント904と終点ポイント905の組合せで表現する。
【００２４】
図10は、映像変換装置100による映像変換動作の一例を示す図である。
【００２５】
同図では、野球中継画面のスコア表示部分に対して映像変換動作を実施する例を示す。TV番組における野球などのスポーツ中継では、スコア表示がTV画面上の特定位置に固定表示されることが一般的である。この習慣を利用して、予め原画像1000のスコア表示部分1001を変換領域332として設定し、映像変換後でもスコア表示の内容が認識可能となるように、適度な拡大比率325を設定しておく。番組が始まると映像変換装置100の映像変換部103は、原画像全体をそのままサイズ変更したスケーリング画像1(1002)とスコア表示部分1001をサイズ変更したスケーリング画像2(1003)を生成し、この2つの画像を多重することで変換画像1004が出力される。同図の例では、野球中継全体の映像サイズは小さくなるが、スコア表示の内容を充分認識することが可能な映像を配信することが出来る。
【００２６】
図11は、映像変換装置100による映像変換動作の別の一例を示す図である。
【００２７】
同図では、原画像1100の中の変換領域数が2つの場合における映像変換動作の実施例を示す。この例の変換領域は、画面左上の時刻表示領域1101と画面中央の「◆臨時ニュース◆」という文字表示領域1102であり、この2つの領域が切り出し画像の対象となる。2つの切り出し画像は、別に設定する映像変換情報300の領域別変換情報308を参照して映像変換を行い、それぞれスケーリング画像2-a(1104)とスケーリング画像2-b(1105)に変換される。原画像1100は、映像変換情報300の出力映像サイズ317を参照してスケーリング画像1(1103)に変換され、このスケーリング画像1(1103)の上にスケーリング画像2-a(1104)とスケーリング画像2-b(1105)を多重して、変換画像1106を出力する。切り出し画像を多重する位置は、図2で説明したように、映像変換情報300の多重座標209が参照される。
【００２８】
図12は、映像変換の実行中を示すマークを画面上に表示する例を示す図である。
【００２９】
切り出し画像の多重による映像変換が実施されていることを視聴者に対して認識させる手段として、変換画像1200の任意の位置に映像変換の実行中を示すマーク(以下、映像変換マーク1201と称する)を表示する。これにより、原画像をそのままスケーリングした画像と、切り出し画像の多重による映像変換が実施された画像とを、視聴者が容易に認識できるようになる。同図の例では、画面右上に映像変換マーク1201を表示しているが、表示位置は任意で良く、場面によって表示位置を変更しても良い。また、映像変換マーク1201自体も任意の記号、文字、形状であっても良い。
【００３０】
図13は、映像変換動作において分割表示制御を実施する場合の例を示す図である。
【００３１】
原画像の変換領域に表示される文字数が多い場合、映像変換後の画像にも全ての文字が表示されるようにスケーリングのみによって映像変換を行うと、変換画像面積の大部分を多重した切り出し画像が占めてしまい、元の映像が隠れてしまうという弊害が生じる恐れがある。分割表示制御は、この様な弊害を避けるために、変換画像上に切り出し画像を多重する領域を一定の面積に制限し、切り出し画像を所定の数に分割して表示を行うための制御を実施することが出来る。図13(a)は、映像変換情報300の分割表示制御1300(221)の設定内容を示す図である。分割表示制御有り1301にする場合は「1」、分割表示制御無し1302にする場合は「0」を設定する。図13(b)は、分割表示制御有りの場合に出力される変換画像の一例を示す図である。変換画像1303の領域(xs0,sy0)-(xs1,xy1)の中に、切り出し画像を多重する領域を、予め多重座標1304(209)として設定する。この例の多重座標1304は、原点ポイント1306と終点ポイント1307で示す領域である。この多重座標1304の領域に、切り出し画像1305の全体を数回に分割して表示する。分割表示制御の対象となる切り出し画像の個数に制限はなく、映像変換情報300に設定された変換領域の全てに対して設定することが可能である。
【００３２】
図14は、分割表示制御における表示範囲の一例を示す図である。
【００３３】
図14(a)は、分割表示前の表示文字全体1400の一例、図14(b)は、分割表示後の表示範囲の一例を示している。この例は、分割表示前の表示文字全体1400が3段であることを利用して、3回に分割して変換画像に多重する動作を示している。表示文字全体1400に対して垂直方向1404に分割を行い、その中の１つの分割画像1405を上段から順次、変換画像に多重する。図14(b)の例の場合、分割画像1(1401)、分割画像2(1402)、分割画像3(1403)の順で変換画像に多重する。各分割画像を多重するタイミングは、本来、表示文字全体1400が表示される時間内で調整する。
【００３４】
図15は、分割表示制御を実施した変換画像の出力の一例を示す図である。
【００３５】
同図は、図14に示した表示文字の例を使用して変換画像の流れを示している。第1に、図14の分割画像1(1401)を多重した変換画像1(1500)を出力、第2に、図14の分割画像2(1402)を多重した変換画像2(1501)を出力、第3に、図14の分割画像3(1403)を多重した変換画像3(1502)を出力するという順番で映像変換動作を行う。
【００３６】
図16は、映像変換時における表示優先順位322による動作の一例を示す図である。
【００３７】
映像変換情報300の領域別変換情報308に含まれる表示優先順位322は、映像変換時に複数の切り出し画像を多重化する際、変換領域に重なりが生じた場合、どの切り出し画像を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す情報である。例えば、時刻表示領域1602の表示優先順位322が「2」、「◆臨時ニュース◆」という文字表示領域の表示優先順位322が「1」という設定の映像の場合、映像変換後の出力画像は同図の様に、表示優先順位322が小さい数値である「◆臨時ニュース◆」という文字表示領域が一番手前に表示された変換画像となる。
【００３８】
図17は、映像変換部103における文字検出部206の動作の一例を示す図である。
【００３９】
文字検出部206は、変換領域(切り出し画像)の輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、変換領域から切り出した画像のサイズ変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像のサイズ変換は実施せず、多重部204へも送らない。図17(a)に文字検出動作の流れを示す。まず、映像入力部101から画像を入力(1700)し、ある変換領域nの全体の輝度平均値Yavを計算(1701)する。次に、予め設定された輝度しきい値Yav'を読み出し(1702)、計算した輝度平均値Yavと比較(1703)する。比較の結果により、変換領域nの映像変換の実行または中断を判定(1704)する。具体的には、輝度平均値Yavが輝度しきい値Yav'以上であれば映像変換を実行し、輝度しきい値Yav'以下であれば映像変換を中断する。図17(b)は、文字検出動作の一例を示す図である。同図は、ある映像変換期間(1706)に入力される映像(1709)の、ある変換領域nの文字の有無 (1707)による映像変換動作の実行または中断(1708)の関係を示している。映像変換の実施期間中(1710)において、入力映像(1709)がP1(1716)からPn(1720)まで入力されると仮定する。ここで、P1(1716)からP3(1717)の入力映像に文字表示があって、文字検出部206により文字有りと判定した場合は、入力映像P1(1716)からP3(1717)の変換領域nにおける映像変換を実行する。一方、P4(1718)からP5(1719)の入力映像に文字表示が無く、文字検出部206により文字無しと判定した場合は、入力映像P4(1718)からP5(1719)の変換領域nにおける映像変換を中断する。以後、映像変換期間の終了まで、入力映像1709の変換領域nにおける文字の有無を判定し、変換領域nの映像変換の実行または中断を制御する。
【００４０】
図18は、映像変換装置100の全体動作のフローチャートを示す図である。
【００４１】
まず、装置が電源ON状態になったならば、初期化を実行(1800)した後、待機状態となる。待機状態では、映像変換情報(300)の日時情報(305)とタイマ(109)を参照して、登録された予約動作開始日時に達するまで待つ(1801)。予約動作開始日時に達したならば、該当する映像変換情報を全て読み出し(1802)と、予約動作終了日時に達したか否かの判定を行う(1803)。ここで、予約動作終了日時に達していなければ、以後の映像変換動作の実行に移るが、その前段で動作モードを調べ、変換済み保存映像を配信するモードか否かを判定する(1804)。動作モードが、変換済み保存映像を配信するモードである場合は、映像記録媒体(107)に保存されている変換済み映像の外部配信を実行する(1811)。動作モードが、通常の映像変換を実行するモードである場合は、映像変換情報(300)に指定した変換動作の指示に従い、映像入力(1805)と映像変換(1806)を実行する。次に、映像変換後の出力として、外部配信動作が指定されているか否かを判定(1807)し、外部配信動作有りの場合は変換映像の外部配信動作を実行(1808)し、無しの場合は変換映像の外部配信動作をスキップする。さらに、変換映像の保存動作が指定されているか否かを判定(1809)し、保存動作有りの場合は映像記録媒体107への保存動作を実行(1810)し、無しの場合は保存動作をスキップする。この後、再度、予約動作終了日時に達したか否かの判定(1803)へ戻り、まだ予約動作終了日時に達していない場合は上記の動作手順を繰り返して実行し、予約動作終了日時に達した場合は、再び待機状態に戻る(1801)。この待機状態において、装置が電源OFF状態になったならば、動作全体を終了する(1812)。
【００４２】
図19は、映像変換装置100における映像変換部103の動作のフローチャートを示す図である。
【００４３】
まず、映像入力部101を介して一時記憶媒体102に格納されている入力映像の中から1枚分の画像Minを取得する(1900)。次に、画像Minをスケーリング1部202によりスケーリングを実行して画像Mscに変換する(1901)。次に、映像変換情報300の中の変換領域数307を読み出してhnに設定し、ループカウンタnを1に設定する。次に、変換領域nの文字検出を実行(1903)し、文字が有るか否かの判定を行う(1904)。文字有りと判定した場合は、画像Minから変換領域nの画像Cinを切り出し(1905)、スケーリング2部203により画像Cinのスケーリングを実行し、画像Csc(n)を出力する。一方、文字無しと判定した場合は、変換領域nの画像切り出しとスケーリングをスキップする。次に、ループカウンタnに1を加算(1907)した後、ループカウンタnが変換領域数hnを超えたか否かを判定する(1908)。まだ、超えていない場合は、再度、変換領域nの文字検出実行(1903)へ戻り、上記の手順を繰り返す。ループカウンタnが変換領域数hnを超えた場合は、以後の画像の多重動作に移る。多重動作では、映像変換情報300の中の表示優先順位322を参照し、表示優先順位の低い画像Csc(n)から順番に画像Mscと多重化(1909)し、最終的に多重化した結果の画像Moutを出力する(1910)。
【００４４】
図20は、複数の映像変換装置100における映像変換情報300の共有運用を示す図である。
【００４５】
映像変換情報300は、映像変換装置100の操作部105により単独で入力および編集が可能な構成となっている。一方、ある第1の映像変換装置100で作成した映像変換情報を第2、第3の映像変換装置100へ配信することにより、一つの映像変換情報300を共有化することも可能である。同図は、映像変換装置1(2000)で作成した複数の映像変換情報2004をサーバ2005へ蓄積しておき、外部公衆網に接続された別の映像変換装置2(2001)、映像変換装置3(2002)、映像変換装置n(2003)などが、サーバ2005に蓄積された映像変換情報2004を取得し、これを利用してそれぞれが映像変換動作を実行する例である。この構成を応用すれば、TV放送局が自局の番組毎に最適な映像変換情報をサーバに用意し、映像変換装置100を持つユーザがインターネットなどのネットワーク経由でダウンロードして使用するなどの利用形態が考えられる。これにより、ユーザ自身が映像変換情報を登録する手間が省けると共に、TV番組に最適な映像変換情報を簡単に取得できることによって、希望するTV番組に対して、最適かつ容易に映像変換動作を実行することが可能になる。
【００４６】
図21は、映像変換装置100と他の機器との接続関係の一例を示す図である。
【００４７】
映像変換装置100は、映像入力手段としてTV受信機2100を接続する。また、別の映像入力手段として、ケーブルTVなどの有線放送、或いはビデオデッキなど、任意の記録媒体に保存された映像を再生する映像再生装置と接続しても良い(図示せず)。変換映像出力手段として、無線配信を行うための無線送信機2001、インターネットなどの外部公衆網2103へ配信を行うためのネットワーク通信装置2102を接続する。また、映像変換装置100で作成した映像変換情報300を別の映像変換装置へ配信またはサーバなどへ保存する場合、前者はデータ入出力部110に接続されたデータ通信装置、後者はデータ入出力部110に接続されたサーバがそれぞれ使用される(図示せず)。
【００４８】
図22は、映像変換装置100と映像受信端末112を使用した運用形態の一例を示す図である。
【００４９】
図21でも示したように、映像変換装置2200は、映像入力手段としてTV放送局2201から発せられた番組を受信するためのTV受信機2202と接続する。変換映像出力手段として、無線送信機2205やネットワーク通信装置2203と接続し、外部公衆網2204へ配信する。無線送信機2205を経由する場合は、外部公衆網2204との間に無線の中継局1(2206)を経由する。外部公衆網2204は、インターネット、公衆電話回線網、衛生通信網などを利用するものとするが、本発明では、その通信方式に制限を設けるものではない。同図のPDA(2208)、動画表示機能付きの携帯電話2209が映像受信端末112に該当する。PDA(2208)および携帯電話2209は、外部公衆網と接続し、映像変換装置100から配信された映像を受信して再生する。尚、同図に示した携帯電話2209の場合は、中継局2(2207)を介して外部公衆網との接続を実施する。
以上のように、本願は、TV放送などの映像を表示部のサイズが小さい携帯型受信端末向けの映像に変換する場合に、TV放送局などの映像供給源から送出された音声を含む映像情報を入力するための映像入力部と、入力した映像情報を一時的に格納するための一時記憶媒体と、映像中のキャプションや字幕などの文字部分について切り出し、拡大、原画像との多重など所定の変換を実施するための映像変換部と、外部公衆網を介して接続された映像受信端末に対して変換後の映像情報を出力するための映像出力部と、映像変換に関する制御パラメータを格納するための映像変換情報部と、映像変換後の映像情報を格納するための映像記憶媒体と、映像変換情報や変換後の映像情報についてデータ通信装置を介して外部と送受信を行うためのデータ入出力部と、映像変換情報を入力および編集するための操作部と、映像変換処理の開始日時および終了日時の判定基準とするためのタイマ部と、前記各部に対し適切な制御を実施するための制御部とで構成し、映像の中に出現するキャプションや字幕などの文字部分に対し、別に指定し映像変換情報部に格納される制御パラメータに従って画像を切り出し、サイズ変換または元のサイズを保持した画像と、原画像または原画像をサイズ変換した画像とを多重化して出力する映像変換機能を備えたことを特徴とする映像変換装置を開示する。さらに、上記装置は入力した原画像若しくは入力した原画像をサイズ変換した画像と、原画像の所定の文字画像部分を切り出してサイズ変換を行った1個または複数個の画像とを多重して出力する。尚、原画像の所定の文字画像部分を切り出してサイズ変換を行う際に、該画像部分に文字表示が有るか否かを判定し、文字表示が有る場合は、該画像部分対する映像変換を実施し、文字表示が無い場合は、該画像部分対する映像変換を実施しない手段も設ける。
又、原画像の所定の文字画像部分を切り出してサイズ変換を行った複数個の画像と、原画像または原画像をサイズ変換した画像との多重は、映像変換情報に設定された表示優先順位の順番に従って多重する順番を制御し、表示優先順位が最も高く設定された文字画像が一番前面に表示されるように出力したり、原画像の所定の文字画像部分を切り出してサイズ変換を行った画像に表示文字数が多い場合、画像を多重する領域を一定の面積に制限し、切り出した画像を所定の数に分割して表示を行うための制御を実施する手段も備える。
【００５０】
尚、特定のTV番組用に作成した複数の映像変換情報群をサーバに一元管理し、他の映像変換装置からの要求によって映像変換情報を配信するようにしてもよく、映像の入力元としてTV受信機と接続し、変換映像の出力先としてインターネットや電話回線などの外部公衆網と接続するために無線送信機やネットワーク通信装置と接続し、入力映像を所定の手順で映像変換した後、外部公衆網へ出力する実施例も開示する。
【００５１】
【発明の効果】
本発明の映像変換装置を用いれば、表示画面の小さな映像受信端末で映像を再生した場合でも、映像受信端末側に特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能となる。
【図面の簡単な説明】
【図１】本発明の映像変換装置の構成を示す図。
【図２】映像変換部の構成を示す図。
【図３】映像変換情報の内容を示す図。
【図４】映像変換情報の動作モードと入出力デバイス情報の関係を示す図。
【図５】映像変換情報の映像サイズ情報の設定内容を示す図。
【図６】映像変換情報の変換領域数の設定内容を示す図。
【図７】領域別変換情報の原座標の設定内容を示す図。
【図８】領域別変換情報の拡大比率の設定内容を示す図。
【図９】領域別変換情報の多重座標の設定内容を示す図。
【図１０】映像変換装置による映像変換動作の一例を示す図。
【図１１】映像変換装置による映像変換動作の別の一例を示す図。
【図１２】映像変換の実行中を示すマークを画面上に表示する例を示す図。
【図１３】映像変換動作において分割表示制御を実施する場合の例を示す図。
【図１４】分割表示制御における表示範囲の一例を示す図。
【図１５】分割表示制御を実施した変換画像の出力の一例を示す図。
【図１６】映像変換時における表示優先順位による動作の一例を示す図。
【図１７】映像変換部における文字検出部の動作の一例を示す図。
【図１８】映像変換装置の全体動作のフローチャートを示す図。
【図１９】映像変換装置における映像変換部の動作のフローチャートを示す図。
【図２０】複数の映像変換装置における映像変換情報の共有運用を示す図。
【図２１】映像変換装置と他の機器との接続関係の一例を示す図。
【図２２】映像変換装置と映像受信端末を使用した運用形態の一例を示す図。
【符号の説明】
100…映像変換装置、101…映像入力部、102…映像記憶媒体、103…映像変換部、104…制御部、105…操作部、106…映像変換情報部、107…映像記憶媒体、108…映像出力部、109…タイマ部、110…データ入出力部、111…外部公衆網、112…映像受信端末、113…TV放送局、114…データ通信装置。
Claims (12)
- 映像情報の入力を行う入力部と、
前記映像情報についての映像変換情報を予め記憶する記憶部と、
前記入力部に入力された前記映像情報中の画像から、前記記憶部に予め記憶された前記映像変換情報に基づいて所定文字情報を含む画像部分を切り出し、前記切り出した画像部分を拡大し、前記拡大した画像を前記入力された映像情報と合成する合成処理を行う制御部と、
前記合成処理が為された映像情報を出力する出力部とを備え、
前記映像変換情報には、前記切り出した画像部分に対応する優先順位情報が含まれており、
前記制御部は、前記映像情報から複数の画像部分を切り出した場合に、前記映像変換情報に含まれる、前記複数の切り出した画像部分に対応する前記優先順位情報に基づいて、優先順位が高い前記切り出した画像部分を優先的に表示させるように合成処理を行うことを特徴とする映像変換装置。 - 前記制御部は、前記合成処理において前記複数の切り出した画像部分が重なって表示される場合に、前記複数の切り出した画像部分に対応する前記優先順位情報に基づいて、優先順位が高い文字情報を前面に表示させるように合成処理を行うことを特徴とする請求項１に記載の映像変換装置。
- 前記制御部は、前記切り出した画像部分に前記所定文字情報が有るか否かを判定し、前記所定文字情報が有る場合は前記合成処理を行い、前記所定文字情報が無い場合は前記合成処理を行わないことを特徴とする請求項１に記載の映像変換装置。
- 前記映像変換装置はネットワークを経由してサーバ装置に接続するものであって、
前記映像変換情報は前記サーバ装置に保持され、前記映像変換装置が前記サーバ装置から前記映像変換情報を取得することを特徴とする請求項１、２または３に記載の映像変換装置。 - 映像情報の入力を行う入力部と、
前記映像情報についての映像変換情報を予め記憶する記憶部と、
前記入力部に入力された映像情報中の画像から、前記記憶部に予め記憶された前記映像変換情報に基づいて所定文字情報を含む画像部分を切り出し、前記切り出した画像部分を拡大し、前記拡大した画像を前記入力された映像情報と合成する合成処理を行う制御部と、
前記合成処理が為された映像情報を出力する出力部とを備え、
前記制御部は、前記合成処理において、前記映像情報中の画像のうち一の画像における前記拡大した画像部分の占める領域が、予め設定した所定の領域よりも大きい場合には、前記画像部分を複数の画像部分に分割し、前記分割した複数の画像部分をそれぞれ表示時刻の異なる画像に合成することを特徴とする映像変換装置。 - 前記制御部は、前記切り出した画像部分に前記所定文字情報が有るか否かを判定し、前記所定文字情報が有る場合は前記合成処理を行い、前記所定文字情報が無い場合は前記合成処理を行わないことを特徴とする請求項５に記載の映像変換装置。
- 前記映像変換装置はネットワークを経由してサーバ装置に接続するものであって、
前記映像変換情報は前記サーバ装置に保持され、前記映像変換装置が前記サーバ装置から前記映像変換情報を取得することを特徴とする請求項５または６に記載の映像変換装置。 - 映像情報についての映像変換情報を予め記憶する記憶ステップと、
前記映像情報の入力を行う入力ステップと、
前記映像情報中の画像から、前記記憶ステップで予め記憶した前記映像変換情報に基づいて所定文字情報を含む画像部分を切り出し、前記切り出した画像部分を拡大し、前記拡大した画像を前記映像情報と合成する合成処理を行う制御ステップと、
前記合成処理が為された映像情報を出力する出力ステップとを備え、
前記映像変換情報には、前記切り出した画像部分に対応する優先順位情報が含まれており、
前記制御ステップにおいて、前記映像情報から複数の画像部分が切り出された場合、前記映像変換情報に含まれる、前記複数の切り出した画像部分に対応する前記優先順位情報に基づいて、優先順位が高い切り出した画像部分を優先的に表示させるように合成処理を行うことを特徴とする映像変換方法。 - 前記制御ステップにおいて、前記複数の切り出した画像部分が重なって表示される場合に、前記複数の切り出した画像部分に対応する前記優先順位情報を用いて、前記優先順位が高い切り出した画像部分を前面に表示させるように合成処理を行うことを特徴とする請求項８に記載の映像変換方法。
- 前記制御ステップにおいて、前記切り出した画像部分に前記所定文字情報が有るか否かを判定し、前記所定文字情報が有る場合は前記合成処理を行い、前記所定文字情報が無い場合は、前記画像部分における合成処理を行わないことを特徴とする請求項８に記載の映像変換方法。
- 映像情報についての映像変換情報を予め記憶する記憶ステップと、
前記映像情報の入力を行う入力ステップと、
入力された前記映像情報中の画像から、前記記憶ステップで予め記憶した前記映像変換情報に基づいて所定文字情報を含む画像部分を切り出し、前記切り出した画像部分を拡大し、前記拡大した画像を前記入力された映像情報と合成する合成処理を行う制御ステップと、
前記合成処理が為された映像情報を出力する出力ステップとを備え、
前記制御ステップにおいて、前記映像情報の画像のうち一の画像における前記拡大変換を行った画像部分の占める領域が、予め設定した所定の領域よりも大きい場合には、前記画像部分を複数の画像部分に分割し、前記分割した複数の画像部分をそれぞれ表示時刻の異なる画像に合成することを特徴とする映像変換方法。 - 前記制御ステップにおいて、前記切り出した画像部分に前記所定文字情報が有るか否かを判定し、前記所定文字情報が有る場合は前記合成処理を行い、前記所定文字情報が無い場合は、前記画像部分における合成処理を行わないことを特徴とする請求項１１に記載の映像変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050666A JP4192476B2 (ja) | 2002-02-27 | 2002-02-27 | 映像変換装置及び映像変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002050666A JP4192476B2 (ja) | 2002-02-27 | 2002-02-27 | 映像変換装置及び映像変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259215A JP2003259215A (ja) | 2003-09-12 |
| JP4192476B2 true JP4192476B2 (ja) | 2008-12-10 |
Family
ID=28662836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002050666A Expired - Lifetime JP4192476B2 (ja) | 2002-02-27 | 2002-02-27 | 映像変換装置及び映像変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4192476B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4631258B2 (ja) * | 2003-09-05 | 2011-02-16 | 日本電気株式会社 | 携帯機器 |
| JP4349927B2 (ja) * | 2004-01-30 | 2009-10-21 | シャープ株式会社 | 表示装置 |
| TWI238663B (en) * | 2004-02-13 | 2005-08-21 | Era Digital Media Co Ltd | Cross media information integration system |
| JP4747537B2 (ja) | 2004-09-07 | 2011-08-17 | 日本電気株式会社 | 携帯端末及びその制御方法、並びに携帯端末のためのコンピュータ・プログラム |
| US20090207305A1 (en) * | 2005-02-28 | 2009-08-20 | Panasonic Corporation | Caption Display Device |
| JP4768412B2 (ja) * | 2005-11-15 | 2011-09-07 | 株式会社東芝 | デジタル放送用携帯字幕仕様変換装置とその変換方法 |
| JP4768411B2 (ja) * | 2005-11-15 | 2011-09-07 | 株式会社東芝 | デジタル放送用携帯字幕仕様変換装置とその変換方法 |
| JP2008046832A (ja) * | 2006-08-15 | 2008-02-28 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
| US8077977B2 (en) | 2006-08-15 | 2011-12-13 | Fuji Xerox Co., Ltd. | Image processing system, image processing method, computer readable medium and computer data signal |
| JP4744400B2 (ja) * | 2006-09-04 | 2011-08-10 | シャープ株式会社 | 映像表示装置 |
| JP2008099053A (ja) * | 2006-10-13 | 2008-04-24 | Sharp Corp | 携帯情報端末装置 |
| JP2009065432A (ja) * | 2007-09-06 | 2009-03-26 | Mitsubishi Electric Corp | 画像再生装置 |
| JP5332329B2 (ja) * | 2008-06-11 | 2013-11-06 | 富士通株式会社 | 特定領域を等倍出力する機能を持ったダウンデコード装置 |
| JP2013040976A (ja) * | 2009-12-11 | 2013-02-28 | Panasonic Corp | 画像表示装置及び画像表示方法 |
| JP5141710B2 (ja) * | 2010-03-31 | 2013-02-13 | ブラザー工業株式会社 | カラオケ装置、プログラム |
| JP5630845B2 (ja) * | 2013-03-05 | 2014-11-26 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 端末装置及びプログラム |
-
2002
- 2002-02-27 JP JP2002050666A patent/JP4192476B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259215A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4192476B2 (ja) | 映像変換装置及び映像変換方法 | |
| JP4292181B2 (ja) | 端末機の画像合成装置及び画像合成方法 | |
| US7469064B2 (en) | Image display apparatus | |
| WO2010041457A1 (ja) | 映像出力装置及び映像出力方法 | |
| JPH02152382A (ja) | 文字放送受信装置 | |
| US20060088277A1 (en) | Image/audio playback device of mobile communication terminal | |
| JPH11266413A (ja) | 情報処理装置および方法、デジタル信号復調装置および方法、並びに提供媒体 | |
| JP4159043B2 (ja) | テレビジョン放送システム | |
| US20070164926A1 (en) | Display control device, display control method, and program | |
| JP2003076455A (ja) | 携帯端末、オーバーレイ出力方法、及びそのプログラム | |
| JP6386933B2 (ja) | 番組出力装置、番組と補助情報の出力方法、およびプログラム | |
| JP2005316007A (ja) | 画像表示制御装置 | |
| KR100744341B1 (ko) | 디지털 멀티미디어 방송 단말기에서 화면 캡쳐 기능을이용한 액자 이미지 생성 방법 | |
| KR20010045817A (ko) | 티브이 화면 출력 방법 및 그 장치 | |
| JPH11275484A (ja) | 画像表示装置及び方法、並びに、画像送信装置及び方法 | |
| JP2008085940A (ja) | テレビジョン受像機 | |
| KR100682723B1 (ko) | Ｄｍｂ 수신용 이동 단말에서의 방송 수신 화면 디스플레이장치 및 그 방법 | |
| JP2002159051A (ja) | 携帯電話機 | |
| JP2006033253A (ja) | デジタルｔｖ受信装置、デジタルｔｖ受信方法、及びデジタルｔｖ受信プログラム | |
| US20070169160A1 (en) | Image display device and reservation recording method thereof | |
| JP4271698B2 (ja) | 受像装置，チューナー，テレビ受像機および再生装置 | |
| KR100739372B1 (ko) | 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법 | |
| JP2009177502A (ja) | 携帯端末装置 | |
| JP2006211053A (ja) | 電子機器、番組表表示方法及び番組表表示プログラム | |
| JP4712437B2 (ja) | 情報処理端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040630 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080908 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4192476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |