JP3840894B2 - 画像情報処理方法 - Google Patents
画像情報処理方法 Download PDFInfo
- Publication number
- JP3840894B2 JP3840894B2 JP2000349345A JP2000349345A JP3840894B2 JP 3840894 B2 JP3840894 B2 JP 3840894B2 JP 2000349345 A JP2000349345 A JP 2000349345A JP 2000349345 A JP2000349345 A JP 2000349345A JP 3840894 B2 JP3840894 B2 JP 3840894B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- field
- output
- bottom field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化して光ディスク等の情報記録媒体に記録された映像信号や音声信号を再生する際に用いる画像情報処理方法及び画像情報再生装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル蓄積メディアの発展に伴って、長時間の動画像および音声を記録メディアに圧縮記録する手法が検討されている。国際標準化機構（ＩＳＯ）においても、国際電気標準会議（ＩＥＣ）のＭＰＥＧ（Moving Picture Image Coding Experts Group）で音声と動画像の符号化方式の標準化活動が行われてきており、例えば「ＩＳＯ／ＩＥＣ １３８１８−２」で動画像の圧縮方式が、「ＩＳＯ／ＩＥＣ １３８１８−３」で音声の圧縮方式が、「ＩＳＯ／ＩＥＣ １３８１８−１」でこれらを統合化する方式が、それぞれ規定されており、これらの技術を利用することにより、映画等の長時間の動画像を高画質を保ったまま１枚のディスクに記録する事が可能になってきている。
【０００３】
これらの方式で圧縮したデータを光ディスク等のメディアに記録する方式についても検討が進んでおり、例えば、ＤＶＤ規格（DVD Specification for Read-Only Disc Version 1.0）などがある。
【０００４】
また、画像や音声を記録できる規格として1999年9月にはDVD Video Recording規格(DVD Specifications for Rewritable/Re-recordable Discs)が発行されている。この中では、PGC(Program Chain)という概念が定義されており、例えば図６に示すように、もとのPGC(Original PGC)をそのまま残しながら、ユーザが任意のシーン同士をつなぎ合わせて新たなPGC(User Defined PCG)を生成できるようになっている。
【０００５】
このような再生を行うためには、まず、指定されたフレームから再生開始する機能と、指定された任意のフレームで再生終了する機能とが必要である。一般に、MPEG方式の圧縮方式はフレーム単位で行うことが多いため、MPEG方式で圧縮された画像に対する開始点や終了点はフレーム単位で動作させるようにした方が現実的である。
【０００６】
また、ユーザが任意のPGCを設定するためには、例えば、新シーン＃２として、オリジナルシーン＃ｎの中から開始点と終了点とを指定することのできる機能が必要である。このため、通常は、オリジナルシーン＃ｎを再生し、画面を見ながら所望の画像が表示されたタイミングでキー操作等により開始点や終了点を設定するようにする。さらに、より厳密な指定を行いたい場合には、例えばスロー再生やコマ送り、コマ戻し再生等の機能を用いて所望の画像を探し出せるようにすることもできる。
【０００７】
【発明が解決しようとする課題】
しかしながら上記した構成において、任意のPGCを設定する場合に次のような課題が発生する。すなわち、前述したように、開始点や終了点はフレーム単位で動作させるようにした方が現実的で、原理的にも合致する。そこで、開始点や終了点をユーザが指定する際に、コマ送り等を行う場合は、図７に示すように、フレーム表示モードで表示することで所望の画像を選択させることができる。なお、図７におけるハッチングの有無は、一連の画像を示し、同図では３Ｔと３Ｂとで画像が変化する。ハッチングの有無で一連の画像を示すことは、図８、図２、及び図３でも同様である。しかしながら、動きの早い画像においてはトップフィールドの画像とボトムフィールドの画像とが異なることが多いため、フレームモードで表示すると、ぶれた画像となり見づらいものになる。
【０００８】
そこでこのようなぶれた画像表示を避けるために、図８（ａ）で示すように、フィールド単位でコマ送りやコマ戻しを行うようにすることも考えられるが、その場合、フィールド単位で開始点、終了点を指定されてしまうため、次のような課題が発生する。すなわち、図８（ｂ）に示すように、この例のように３フレームめのトップフィールドまでが一連の画像で、ボトムフィールドから別の一連の画像が始まっているような場合には、開始点として３フレームめのボトムフィールド（３Ｂ）からとか、終了点として３フレームめのトップフィールド（３Ｔ）までというように指定されることがある。その場合に、再生開始・再生終了をフレーム単位で行うと、この例では３フレームめから再生開始、または、３フレームまでで再生終了となるため、開始画像はトップフィールド（３Ｔ）から開始することになり、開始画像に１つ前の画像が混ざって見えたり、終了画像に次の画像が混ざって見えたりすることになり、ユーザが本来希望する画像を再生できないという課題が生じる。
【０００９】
本発明は、上記課題に鑑み、ユーザフレンドリィな画像情報処理方法及び画像情報再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この課題を解決するために本発明の画像情報処理方法は、トップフィールドとボトムフィールドとで構成するフレームを複数備えた画像データから、前記トップフィールドの画像のみを用いて画像を出力するトップフィールド画像出力と、前記ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド画像出力とを相独立して処理する。
【００１１】
また、上述の画像情報処理方法に加え、前記トップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小出力と、前記ボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小出力とを相独立して処理する。
【００１２】
また、上記何れかの画像情報処理方法において、前記トップフィールド画像出力から前記トップフィールドに帰属する画像のみを用いて第１の視認用画像を生成し、前記第１の視認用画像を視認して任意の前記第１の視認用画像に相当する前記画像データを第１の設定画像として設定したとき、前記第１の設定画像に相当するトップフィールド縮小静止画像を前記第１の画像縮小出力で生成し、前記ボトムフィールド画像出力から前記ボトムフィールドに帰属する画像のみを用いて第２の視認用画像を生成し、前記第２の視認用画像を視認して任意の前記第２の視認用画像に相当する前記画像データを第２の設定画像として設定したとき、前記第２の設定画像に相当するボトムフィールド縮小静止画像を前記第２の画像縮小出力で生成する。
【００１３】
さらに、上記何れかの画像処理方法において、前記トップフィールドの画像と前記ボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小出力を更に備え、前記画像データの画像を第３の視認用画像として視認して任意の前記第３の視認用画像に相当する前記画像データを第３の設定画像として設定したとき、前記第３の設定画像に相当するトップフィールドとボトムフィールドとの両方に帰属する前記第３の画像縮小出力を生成する。
【００１４】
また、本発明の画像情報再生装置は、トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、トップフィールドの画像のみを用いて画像を出力するトップフィールド出力手段と、ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド出力手段とを備える。
【００１５】
また、上述の画像情報再生装置で、通常再生以外の速度で再生する特殊再生モードでは、前記第１のモードにおいて前記トップフィールド出力手段によりトップフィールドに帰属する画像のみを用いて第１の視認用画像を出力し、前記第２のモードにおいて前記ボトムフィールド出力手段によりボトムフィールドに帰属する画像のみを用いて第２の視認用画像を出力する。
【００１６】
また、上記何れかの画像情報再生装置において、再生された画像のトップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小手段と、前記再生された画像のボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第１の画像縮小手段により前記第１のフレームのトップフィールドから第１の縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第２の画像縮小手段により前記第２のフレームのボトムフィールドから第２の縮小静止画像を生成する制御を行う。
【００１７】
また、上記何れかの画像情報再生装置において、再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段をさらに備え、前記第１のモードにおいて通常速度での再生により前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方のデータを用いて縮小静止画像を生成し、前記第２のモードにおいて通常速度での再生により前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールド画像データとボトムフィールド画像データとの両方のデータを用いて第３の縮小静止画像を生成する制御を行う。
【００１８】
さらに、本発明の画像情報再生装置は、トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成する制御を行う。
【００１９】
【発明の実施の形態】
請求項１記載の本発明の画像情報処理方法は、トップフィールド画像出力とボトムフィールド画像出力とを相独立して処理するため、例えばトップフィールドの画像データのみを用いた出力信号またはボトムフィールドの画像データのみを用いた出力信号が得られ、相独立する２つの群の画像出力信号からユーザがフィールド単位で任意に選択することができる。
【００２０】
請求項２記載の本発明の画像情報処理方法は、第１の画像縮小出力と第２の画像縮小出力とを相独立して処理するため、ユーザが任意のフィールドを選択する際に相独立する２つの縮小画像で判断でき、ユーザの選択精度を向上できる。
【００２１】
請求項３記載の本発明の画像情報処理方法は、第１の視認用画像を視認して第１の設定画像として設定し、第１の画像縮小出力でトップフィールド縮小静止画像を生成し、第２の視認用画像を視認して第２の設定画像として設定し、第２の画像縮小出力でボトムフィールド縮小静止画像を生成するため、ユーザが任意のフレームを選択・設定する際に、トップフィールド及びボトムフィールド各々の縮小静止画像で確認がとれ、フレーム単位の選択精度を向上することができる。
【００２２】
請求項４記載の本発明の画像情報処理方法は、画像データの画像を第３の視認用画像として視認して任意の第３の視認用画像に相当する画像データを第３の設定画像として設定したとき、当該第３の設定画像に相当するトップフィールドとボトムフィールドとの両方に帰属する第３の画像縮小出力を生成するため、第３の画像縮小出力はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できる。
【００２３】
請求項５記載の本発明の画像情報再生装置は、第１のフレームから再生を開始し、第２のフレームで再生を終了するように制御する再生制御手段と、トップフィールドの画像のみを用いて画像を出力するトップフィールド出力手段と、ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド出力手段とを備えた構成であるため、トップフィールドのデータだけを用いた再生や、ボトムフィールドのデータだけを用いた再生を行うことができ、相独立する２つの出力信号がフィールド単位で任意に選択できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２４】
請求項６記載の本発明の画像情報再生装置は、通常再生以外の速度で再生する特殊再生モードでは、第１のモードにおいて第１の視認用画像と、前記第２のモードにおいて第２の視認用画像とを各々独立して出力する構成を備えるため、開始点を設定する第１のモードにおいてはトップフィールドのデータだけを用いた特殊再生を行い、終了点を設定する第２のモードにおいてはボトムフィールドのデータだけを用いた特殊再生を行うことができ、トップフィールドとボトムフィールドとで連続した画像が変化するフレームをユーザが設定した場合でも、再生した場合に異種の画像が混入することをユーザが認識することができ、ユーザの意図に反して不連続な画像が再生画像に混入することを抑制でき、特殊再生時にユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２５】
請求項７記載の本発明の画像情報再生装置は、第１の画像縮小手段と第２の画像縮小手段とを備え、第１のモードにおいて前記第１のフレームが設定された時には当該第１の画像縮小手段により第１のフレームのトップフィールドから第１の縮小静止画像を生成し、第２のモードにおいて第２のフレームが設定された時には当該第２の画像縮小手段により第２のフレームのボトムフィールドから第２の縮小静止画像を生成するように制御する構成を備えるため、ユーザがフレームを設定するときに開始点及び終了点をそれぞれフィールド単位の静止画像で視認し確認することができ、設定したフレームを再生する際にユーザに不自然さを感じさせることがない開始点及び終了点を指定できる。
【００２６】
請求項８記載の本発明の画像情報再生装置は、第１のモードにおいて通常速度での再生により第１のフレームが設定された時、第２のモードにおいて通常速度での再生により第２のフレームが設定された時、各々のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成する第３の画像縮小手段を制御する構成を備えるため、通常再生で開始点が設定された時に開始フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成し、通常再生で終了点が設定された時に終了フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成でき、すなわち、当該第３の画像縮小手段はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２７】
請求項９記載の発明は、第１のモードにおいて第１のフレームが設定された時に、画像縮小手段により第１のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成し、第２のモードにおいて第２のフレームが設定された時に、画像縮小手段により第２のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成するように制御する構成を備えるため、開始点が設定された時に開始フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成し、終了点が設定された時に終了フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成でき、すなわち、当該第３の画像縮小手段はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２８】
【実施例】
以下、本発明の一実施例について、図１から図５を用いて説明する。図１は、本発明の一実施例における画像情報復号化再生装置のブロック図を示すものである。図１において、１０２は光ディスク１０１から情報を読み取るための光ピックアップ、１０３は光ピックアップ１０２を駆動するための光ピックアップ駆動回路、１０４は再生信号処理回路、１０５は映像や音声のデコードを行うためのＡＶデコーダ、１０７は画像メモリ、１０８は縮小静止画像（以下、サムネイル画像と称す）を生成するサムネイル生成部、１１２は静止画像メモリ、１１３は出力制御部、１１８は画像縮小回路、１１９は画面上に表示される文字等のOn Screen Display（以下、ＯＳＤと称す）を生成するＯＳＤ生成回路、１２０は合成回路であり、１０６は全体の制御を行うシステムコントローラである。なお、図１においては画像に関係する部分についてのみ図示しており、音声に関する部分については省略している。
【００２９】
以上のように構成された本実施例における画像情報復号化再生装置について、以下その動作を説明する。
【００３０】
通常再生時には、まず、光ピックアップ１０２によって光ディスク１０１から再生された信号が再生信号処理回路１０４に送られ、二値化、ディジタル復調、誤り訂正等の処理が行われ、ＡＶデコーダ１０５に供給される。ＡＶデコーダ１０５では、入力されたビットストリームを音声データと画像データとに分離してからそれぞれのデコードを行い、ディジタル画像データとディジタル音声データとして出力され、デコードされたディジタル画像は画像メモリ１０７に格納される。画像メモリ１０７から読み出された画像データは、出力制御部１１３に送られる。
【００３１】
出力制御部１１３は、第１の視認用画像を出力するトップフィールド出力回路１１４、第２の視認用画像を出力するボトムフィールド出力回路１１５、第３の視認用画像を出力する両フィールド出力回路１１６、及び切替回路１１７により構成されるが、通常再生時には、切替回路１１７は両フィールド出力回路１１６の出力に切り替えられるため、この時にはトップフィールド出力回路１１４及びボトムフィールド出力回路１１５は動作させる必要は無い。
【００３２】
両フィールド出力回路１１６は、トップフィールド画像を出力すべきタイミングでは、画像メモリ１０７に格納されている画像データの中からトップフィールドの画像データを読み出して出力し、ボトムフィールド画像を出力すべきタイミングでは、画像メモリ１０７に格納されている画像データの中からボトムフィールドの画像データを読み出して出力する。
【００３３】
出力制御部１１３の出力は、画像縮小回路１１８に送られるが、通常再生時には画像縮小回路１１８はシステムコントローラ１０６の指示により何も処理を行わないモードに設定されている。そして、画像縮小回路１１８の出力は合成回路１１９を経て、画像データ１２１として出力される。
【００３４】
従って、通常再生時には、画像メモリ１０７の内容が、両フィールドともそのまま画像データ１２１として出力されることになる。画像データ１２１は、この後Ｄ／Ａ変換（Digital to Analog変換）等の必要な処理を行って映像信号として出力される。
【００３５】
次に、開始点、終了点を設定するモードについて説明する。このモードにおける画面設定の一例を図４に示す。４０１は第１、第２及び／または第３の視認用画像を表示する縮小動画像であり、画面上に表示される文字等のＯＳＤ画像はＯＳＤ生成回路１１９で生成されるものである。
【００３６】
ＯＳＤ生成回路１１９からのＯＳＤ画像と、画像縮小回路１１８で縮小された画像と、静止画像メモリ１１２からの静止画像とが、合成回路１２０で合成されて、画像データ１２１として出力される。
【００３７】
ＯＳＤ生成回路１１９は、システムコントローラ１０６からの指示で、画面上に重畳するグラフィックデータ等を生成する回路であり、画面上の指定された位置に指定された色で指定された図形を出力するための信号を生成することができる。例えば、ボタン４０４〜ボタン４０７などがＯＳＤ生成回路１１９によるグラフィック画像である。
【００３８】
図５は、図４の画面をさらに詳細に説明するためのものである。即ち、画像縮小回路１１８で縮小された第１の視認用画像の縮小動画像等は、例えば座標（ｘ１，ｙ１）で指定される動画像表示領域５０１の位置に表示される。また、静止画像メモリ１１２に格納された第１の縮小静止画像等は、例えばオフセットｙ２の位置から下の静止画表示領域５０４に表示される。これらの、座標（ｘ１，ｙ１）やオフセットｙ２は、システムコントローラ１０６により指定される。このような動画像表示領域５０１と静止画像表示領域５０４の画面に、ＯＳＤ生成回路１１９で生成されたグラフィック画像が重ね合わされるわけであるが、例えば図４における４０１、４０２，４０３の部分は透過色で描画することにより、その部分だけが図５の動画像表示領域５０１と静止画像表示領域５０４中の５０２及び５０３で画面が見えるようにすることができる。
【００３９】
サムネイル生成部１０８は、頭出しや見出し等に便利なサムネイル画像を生成するためのもので、第１の画像縮小手段のトップフィールドサムネイル生成回路１０９、第２の画像縮小手段のボトムフィールドサムネイル生成回路１１０、第３の画像縮小手段の両フィールドサムネイル生成回路１１１からなり、生成されたサムネイル画像は静止画像メモリ１１２に格納される。静止画像メモリ１１２の画像は所定のタイミングで読み出され、合成回路１２０で動画像やＯＳＤ画像と合成される。
【００４０】
図４で示されるような画面において、第１のモード（以下、開始点設定モードともいう）及び第２のモード（以下、終了点モードともいう）の選択を行うためには、例えば、不図示のリモコンの「矢印キー」等でボタン４０４〜ボタン４０７のうちのどれかを選択する。例えば、開始点設定時には開始点設定ボタン４０４を選択し、現在開始点設定モードであることを表示する。選択されたボタンは例えば色を変える或いは輪郭を太くするなどの画像処理を行い、選択されたことがユーザにわかるようにする。図４では終了点設定ボタン４０５が選択された状態を示している。なお、本実施例における図４は、画像情報再生装置に付随した場合で説明しているが、図４に示した表示を例えばリモートコントローラの液晶画面に表示する等でも可能であり、適宜選択して用いることができる。
【００４１】
開始点設定モードにおいて、トップフィールドに帰属する画像の縮小動画像４０１を見ながら所望の画像を探し、所望の画像が表示されたタイミングで、例えば不図示のリモコンの「選択キー」を押すなどして再生を開始する第１のフレームを設定する。設定されると、ＡＶデコーダ１０５では、そのフレームでデコード動作を止め、サムネイル生成部１０８で、画像メモリ１０７に保持された画像を用いてサムネイル画像を生成し、静止画像メモリ１１２上の開始点サムネイル画像４０２に相当するエリア（図５の５０２）に書き込む。この時、サムネイル生成部１０８では両フィールドサムネイル生成回路１１１により、トップフィールドとボトムフィールドとの両方からサムネイル画像を生成する。
【００４２】
従って、たまたまユーザが、トップフィールドとボトムフィールドとの間でシーンチェンジが起こっているようなフレームの表示タイミングで「選択キー」を押してしまったような場合には、トップフィールドとボトムフィールドとが混ざり合ったサムネイル画像が生成されることになり、ユーザに対して、シーンチェンジの最中のフレームを選択してしまったことを知らせることができる。これを見て、ユーザが再度設定をし直せば、後で連続再生するときに接続点でトップフィールドとボトムフィールドとが混ざり合った画像を表示しなくて済む。或いは設定をし直さない場合は、ユーザが意図してシーンチェンジが発生するフィールドを選び、その結果として例えば再生画像に乱れを生じることとなるが、ユーザとして覚悟の上であるから問題ではない。
【００４３】
ここまでは、例えば１フレームを１フレーム期間で表示を行う通常再生の速度で再生しながら開始点及び終了点を設定する場合について説明したが、実際にはスロー再生やコマ送り／コマ戻し再生のような特殊再生で画像を確かめながら、開始点及び終了点をフィールド単位で正確に設定したい場合がある。このような場合の動作について次に説明する。
【００４４】
スロー再生またはコマ送り／コマ戻し再生等の特殊再生にした瞬間、開始点設定モードにおいて出力制御部１１３はトップフィールド出力モードで動作する。即ち、切替回路１１７は、通常再生時は両フィールド出力回路１１６が選択されているが、スロー再生またはコマ送り／コマ戻し再生時には、トップフィールド出力回路１１４に切り替えられる。トップフィールド出力回路１１４では、画像メモリ１０７のトップフィールドの画像データのみを用いて画像を出力する。
【００４５】
これにより、図２（ａ）に示すように、トップフィールドのみでスロー再生やコマ送り／コマ戻しを行う。図２（ａ）では、３フレームめのトップフィールド（３Ｔ）までが連続した画像で、３フレームめのボトムフィールド（３Ｂ）から別の連続した画像が始まっている場合の例を示している。このような場合に図２（ａ）で示すように、トップフィールドのみのスロー再生やコマ送り／コマ戻しを行って３フレームめのボトムフィールド（３Ｂ）から始まるシーンの先頭を選択すると、図２（ｂ）に示すように４フレームめのトップフィールド（４Ｔ）が選択されることになり、フレームで言うと４番目のフレームが開始フレームとして選択される。
【００４６】
この時、システムコントローラ１０６からサムネイル生成部１０８に対し、トップフィールドの画像のみから第１の縮小静止画像のサムネイル画像を生成するように指示され、第１の画像縮小手段のトップフィールドサムネイル生成回路１０９により画像メモリ１０７の画像のトップフィールドのみから、例えば縦方向１／６、横方向１／６に縮小静止画像処理されたサムネイル画像が生成され、静止画像メモリ１１２の所定の位置、即ち図５における５０２の位置に書き込まれる。
【００４７】
ところで、例えば、１つ前の３番目のフレームが開始点として選択されたとすると、それはユーザが「３Ｔ、４Ｔ、５Ｔ、６Ｔ、…」と選択したわけであるから、シーンの先頭に１つ前のシーンが１コマついた状態である。従って、再生時には、３番目のフレームから再生されるために、最初のフレームでは、１つ前のシーンと新たなシーンとが混ざり合った映像となるが、これはユーザが第１の縮小静止画像のサムネイル画像で認識した上でのユーザの意図であるので、不正規な動作ではない。
【００４８】
終了点設定モードでは、通常再生時には、出力制御部１１３は両フィールド出力モードであるが、スロー再生またはコマ送り／コマ戻し再生にした瞬間、出力制御部１１３はボトムフィールド出力モードで動作する。即ち、切替回路１１７は、通常再生時は両フィールド出力回路１１６が選択されているが、スロー再生またはコマ送り／コマ戻し再生時には、ボトムフィールド出力回路１１５に切り替えられる。ボトムフィールド出力回路１１５では、画像メモリ１０７のボトムフィールドの画像データのみを用いて画像を出力する。
【００４９】
ボトムフィールドのみでスロー再生やコマ送り／コマ戻し再生のような特殊再生を行う様子を図示したのが図３（ａ）である。図３においては、２４フレームめのトップフィールド（２４Ｔ）までが連続した画像で、２４フレームめのボトムフィールド（２４Ｂ）から別の連続した画像が始まっている場合の例を示している。図３（ａ）で示すように、ボトムフィールドのみのスロー再生やコマ送り／コマ戻し再生を行って２４フレームめのトップフィールド（２４Ｔ）で終わるシーンの最後を選択すると、２３フレームめのボトムフィールド（２３Ｂ）が選択されることになり、フレームで言うと２３番目のフレームが終了フレームとして選択される。
【００５０】
この時、システムコントローラ１０６からサムネイル生成部１０８に対し、ボトムフィールドの画像のみから第２の縮小静止画像のサムネイル画像を生成するように指示され、ボトムフィールドサムネイル生成回路１１０により画像メモリ１０７の画像のボトムフィールドのみから、例えば縦方向１／６、横方向１／６に縮小静止画像処理された第２の縮小静止画像のサムネイル画像が生成され、静止画像メモリ１１２の所定の位置、即ち図５における５０３の位置に書き込まれる。
【００５１】
ところで、例えば、１つ後ろの２４番目のフレームが終了点として選択されたとすると、それは、ユーザから見て「…、２１Ｂ、２２Ｂ、２３Ｂ、２４Ｂ」と選択したわけであり、前のシーンの最後に新たなシーンが１コマついた状態を示している。従って、再生時には、２４番目のフレームまで再生されるために、最後のフレームでは、そこまでのシーンと新たなシーンが混ざり合った映像となるが、これはユーザが第２の縮小静止画像のサムネイル画像で認識した上でのユーザの意図であるので、不正規な動作ではない。
【００５２】
以上、説明したように、通常再生を行いながら開始点終了点を設定する場合には、生成された第３の縮小静止画像のサムネイル画像により、トップフィールドとボトムフィールドとが大きく異なる画像を開始点や終了点として選択したことをユーザに通知することで、ユーザが納得した上で選択する、あるいは、ユーザに設定し直す機会を与える構成が達成でき、ユーザフレンドリィな再生を可能と成し得る。
【００５３】
また、スロー再生やコマ送り再生やコマ戻し再生等の通常再生とは異なるいわゆる特殊再生で開始点終了点を選択する場合には、開始点を設定する際にはトップフィールドのみを表示し、終了点を設定する際にはボトムフィールドのみを表示するという制御を行うことにより、トップフィールドとボトムフィールドとの間でシーンが変化するフレームを開始点や終了点として選択する可能性を減らすことができ、ユーザの意図に反した画像が表示されることを防止することができる。。
【００５４】
なお、以上の説明では、通常再生で開始点及び終了点を設定する場合と、スロー再生、コマ送り再生、コマ戻し再生で開始点及び終了点を設定する場合とで処理を場合分けした例を説明したが、場合分けの方法はこれに限定されるものではなく、例えば、１倍速に近い特殊再生と、そうでない場合とで分類、通常再生とスロー再生、コマ送り再生、コマ戻し再生とで分類しても良い。
【００５５】
また、特殊再生として、スロー再生、コマ送り再生、コマ戻し再生のみについて述べたが、速度が通常再生より遅い特殊再生だけでなく、高速再生等についても、例えば１つのフレームを１フレーム期間以上表示するような場合は全て同様に実施可能である。
【００５６】
【発明の効果】
以上のように本発明によれば、フレーム単位で再生開始、再生終了の処理を行うシステムにおいても、ユーザの意図を尊重し、不自然さを感じさせることなく、フレーム単位で開始点、終了点を指定させることが可能になるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例における画像情報再生装置のブロック図
【図２】同実施例における画像情報再生装置により開始点を設定する動作を説明する説明図
【図３】同実施例における画像情報再生装置により終了点を設定する動作を説明する説明図
【図４】同実施例における画像情報再生装置による開始点／終了点設定画面の一例を示す説明図
【図５】同実施例における画像情報再生装置による開始点／終了点設定画面の動作を説明するための説明図
【図６】従来の情報再生装置により、任意のシーンをつなぎ合わせて再生する動作を説明する説明図
【図７】従来の画像情報再生装置により開始点／終了点の設定方法の説明図
【図８】従来の画像情報再生装置により開始点／終了点の設定方法の説明図
【符号の説明】
１０１ 光ディスク
１０２ 光ピックアップ
１０３ 光ピックアップ駆動回路
１０４ 再生信号処理回路
１０５ ＡＶデコーダ
１０６ システムコントローラ
１０７ 画像メモリ
１０８ サムネイル生成部
１０９ トップフィールドサムネイル生成回路
１１０ ボトムフィールドサムネイル生成回路
１１１ 両フィールドサムネイル生成回路
１１２ 静止画像メモリ
１１３ 出力制御部
１１４ トップフィールド出力回路
１１５ ボトムフィールド出力回路
１１６ 両フィールド出力回路
１１７ 切替回路
１１８ 画像縮小回路
１１９ ＯＳＤ生成回路
１２０ 合成回路
【発明の属する技術分野】
本発明は、圧縮符号化して光ディスク等の情報記録媒体に記録された映像信号や音声信号を再生する際に用いる画像情報処理方法及び画像情報再生装置に関するものである。
【０００２】
【従来の技術】
近年、ディジタル蓄積メディアの発展に伴って、長時間の動画像および音声を記録メディアに圧縮記録する手法が検討されている。国際標準化機構（ＩＳＯ）においても、国際電気標準会議（ＩＥＣ）のＭＰＥＧ（Moving Picture Image Coding Experts Group）で音声と動画像の符号化方式の標準化活動が行われてきており、例えば「ＩＳＯ／ＩＥＣ １３８１８−２」で動画像の圧縮方式が、「ＩＳＯ／ＩＥＣ １３８１８−３」で音声の圧縮方式が、「ＩＳＯ／ＩＥＣ １３８１８−１」でこれらを統合化する方式が、それぞれ規定されており、これらの技術を利用することにより、映画等の長時間の動画像を高画質を保ったまま１枚のディスクに記録する事が可能になってきている。
【０００３】
これらの方式で圧縮したデータを光ディスク等のメディアに記録する方式についても検討が進んでおり、例えば、ＤＶＤ規格（DVD Specification for Read-Only Disc Version 1.0）などがある。
【０００４】
また、画像や音声を記録できる規格として1999年9月にはDVD Video Recording規格(DVD Specifications for Rewritable/Re-recordable Discs)が発行されている。この中では、PGC(Program Chain)という概念が定義されており、例えば図６に示すように、もとのPGC(Original PGC)をそのまま残しながら、ユーザが任意のシーン同士をつなぎ合わせて新たなPGC(User Defined PCG)を生成できるようになっている。
【０００５】
このような再生を行うためには、まず、指定されたフレームから再生開始する機能と、指定された任意のフレームで再生終了する機能とが必要である。一般に、MPEG方式の圧縮方式はフレーム単位で行うことが多いため、MPEG方式で圧縮された画像に対する開始点や終了点はフレーム単位で動作させるようにした方が現実的である。
【０００６】
また、ユーザが任意のPGCを設定するためには、例えば、新シーン＃２として、オリジナルシーン＃ｎの中から開始点と終了点とを指定することのできる機能が必要である。このため、通常は、オリジナルシーン＃ｎを再生し、画面を見ながら所望の画像が表示されたタイミングでキー操作等により開始点や終了点を設定するようにする。さらに、より厳密な指定を行いたい場合には、例えばスロー再生やコマ送り、コマ戻し再生等の機能を用いて所望の画像を探し出せるようにすることもできる。
【０００７】
【発明が解決しようとする課題】
しかしながら上記した構成において、任意のPGCを設定する場合に次のような課題が発生する。すなわち、前述したように、開始点や終了点はフレーム単位で動作させるようにした方が現実的で、原理的にも合致する。そこで、開始点や終了点をユーザが指定する際に、コマ送り等を行う場合は、図７に示すように、フレーム表示モードで表示することで所望の画像を選択させることができる。なお、図７におけるハッチングの有無は、一連の画像を示し、同図では３Ｔと３Ｂとで画像が変化する。ハッチングの有無で一連の画像を示すことは、図８、図２、及び図３でも同様である。しかしながら、動きの早い画像においてはトップフィールドの画像とボトムフィールドの画像とが異なることが多いため、フレームモードで表示すると、ぶれた画像となり見づらいものになる。
【０００８】
そこでこのようなぶれた画像表示を避けるために、図８（ａ）で示すように、フィールド単位でコマ送りやコマ戻しを行うようにすることも考えられるが、その場合、フィールド単位で開始点、終了点を指定されてしまうため、次のような課題が発生する。すなわち、図８（ｂ）に示すように、この例のように３フレームめのトップフィールドまでが一連の画像で、ボトムフィールドから別の一連の画像が始まっているような場合には、開始点として３フレームめのボトムフィールド（３Ｂ）からとか、終了点として３フレームめのトップフィールド（３Ｔ）までというように指定されることがある。その場合に、再生開始・再生終了をフレーム単位で行うと、この例では３フレームめから再生開始、または、３フレームまでで再生終了となるため、開始画像はトップフィールド（３Ｔ）から開始することになり、開始画像に１つ前の画像が混ざって見えたり、終了画像に次の画像が混ざって見えたりすることになり、ユーザが本来希望する画像を再生できないという課題が生じる。
【０００９】
本発明は、上記課題に鑑み、ユーザフレンドリィな画像情報処理方法及び画像情報再生装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この課題を解決するために本発明の画像情報処理方法は、トップフィールドとボトムフィールドとで構成するフレームを複数備えた画像データから、前記トップフィールドの画像のみを用いて画像を出力するトップフィールド画像出力と、前記ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド画像出力とを相独立して処理する。
【００１１】
また、上述の画像情報処理方法に加え、前記トップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小出力と、前記ボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小出力とを相独立して処理する。
【００１２】
また、上記何れかの画像情報処理方法において、前記トップフィールド画像出力から前記トップフィールドに帰属する画像のみを用いて第１の視認用画像を生成し、前記第１の視認用画像を視認して任意の前記第１の視認用画像に相当する前記画像データを第１の設定画像として設定したとき、前記第１の設定画像に相当するトップフィールド縮小静止画像を前記第１の画像縮小出力で生成し、前記ボトムフィールド画像出力から前記ボトムフィールドに帰属する画像のみを用いて第２の視認用画像を生成し、前記第２の視認用画像を視認して任意の前記第２の視認用画像に相当する前記画像データを第２の設定画像として設定したとき、前記第２の設定画像に相当するボトムフィールド縮小静止画像を前記第２の画像縮小出力で生成する。
【００１３】
さらに、上記何れかの画像処理方法において、前記トップフィールドの画像と前記ボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小出力を更に備え、前記画像データの画像を第３の視認用画像として視認して任意の前記第３の視認用画像に相当する前記画像データを第３の設定画像として設定したとき、前記第３の設定画像に相当するトップフィールドとボトムフィールドとの両方に帰属する前記第３の画像縮小出力を生成する。
【００１４】
また、本発明の画像情報再生装置は、トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、トップフィールドの画像のみを用いて画像を出力するトップフィールド出力手段と、ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド出力手段とを備える。
【００１５】
また、上述の画像情報再生装置で、通常再生以外の速度で再生する特殊再生モードでは、前記第１のモードにおいて前記トップフィールド出力手段によりトップフィールドに帰属する画像のみを用いて第１の視認用画像を出力し、前記第２のモードにおいて前記ボトムフィールド出力手段によりボトムフィールドに帰属する画像のみを用いて第２の視認用画像を出力する。
【００１６】
また、上記何れかの画像情報再生装置において、再生された画像のトップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小手段と、前記再生された画像のボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第１の画像縮小手段により前記第１のフレームのトップフィールドから第１の縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第２の画像縮小手段により前記第２のフレームのボトムフィールドから第２の縮小静止画像を生成する制御を行う。
【００１７】
また、上記何れかの画像情報再生装置において、再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段をさらに備え、前記第１のモードにおいて通常速度での再生により前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方のデータを用いて縮小静止画像を生成し、前記第２のモードにおいて通常速度での再生により前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールド画像データとボトムフィールド画像データとの両方のデータを用いて第３の縮小静止画像を生成する制御を行う。
【００１８】
さらに、本発明の画像情報再生装置は、トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成する制御を行う。
【００１９】
【発明の実施の形態】
請求項１記載の本発明の画像情報処理方法は、トップフィールド画像出力とボトムフィールド画像出力とを相独立して処理するため、例えばトップフィールドの画像データのみを用いた出力信号またはボトムフィールドの画像データのみを用いた出力信号が得られ、相独立する２つの群の画像出力信号からユーザがフィールド単位で任意に選択することができる。
【００２０】
請求項２記載の本発明の画像情報処理方法は、第１の画像縮小出力と第２の画像縮小出力とを相独立して処理するため、ユーザが任意のフィールドを選択する際に相独立する２つの縮小画像で判断でき、ユーザの選択精度を向上できる。
【００２１】
請求項３記載の本発明の画像情報処理方法は、第１の視認用画像を視認して第１の設定画像として設定し、第１の画像縮小出力でトップフィールド縮小静止画像を生成し、第２の視認用画像を視認して第２の設定画像として設定し、第２の画像縮小出力でボトムフィールド縮小静止画像を生成するため、ユーザが任意のフレームを選択・設定する際に、トップフィールド及びボトムフィールド各々の縮小静止画像で確認がとれ、フレーム単位の選択精度を向上することができる。
【００２２】
請求項４記載の本発明の画像情報処理方法は、画像データの画像を第３の視認用画像として視認して任意の第３の視認用画像に相当する画像データを第３の設定画像として設定したとき、当該第３の設定画像に相当するトップフィールドとボトムフィールドとの両方に帰属する第３の画像縮小出力を生成するため、第３の画像縮小出力はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できる。
【００２３】
請求項５記載の本発明の画像情報再生装置は、第１のフレームから再生を開始し、第２のフレームで再生を終了するように制御する再生制御手段と、トップフィールドの画像のみを用いて画像を出力するトップフィールド出力手段と、ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド出力手段とを備えた構成であるため、トップフィールドのデータだけを用いた再生や、ボトムフィールドのデータだけを用いた再生を行うことができ、相独立する２つの出力信号がフィールド単位で任意に選択できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２４】
請求項６記載の本発明の画像情報再生装置は、通常再生以外の速度で再生する特殊再生モードでは、第１のモードにおいて第１の視認用画像と、前記第２のモードにおいて第２の視認用画像とを各々独立して出力する構成を備えるため、開始点を設定する第１のモードにおいてはトップフィールドのデータだけを用いた特殊再生を行い、終了点を設定する第２のモードにおいてはボトムフィールドのデータだけを用いた特殊再生を行うことができ、トップフィールドとボトムフィールドとで連続した画像が変化するフレームをユーザが設定した場合でも、再生した場合に異種の画像が混入することをユーザが認識することができ、ユーザの意図に反して不連続な画像が再生画像に混入することを抑制でき、特殊再生時にユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２５】
請求項７記載の本発明の画像情報再生装置は、第１の画像縮小手段と第２の画像縮小手段とを備え、第１のモードにおいて前記第１のフレームが設定された時には当該第１の画像縮小手段により第１のフレームのトップフィールドから第１の縮小静止画像を生成し、第２のモードにおいて第２のフレームが設定された時には当該第２の画像縮小手段により第２のフレームのボトムフィールドから第２の縮小静止画像を生成するように制御する構成を備えるため、ユーザがフレームを設定するときに開始点及び終了点をそれぞれフィールド単位の静止画像で視認し確認することができ、設定したフレームを再生する際にユーザに不自然さを感じさせることがない開始点及び終了点を指定できる。
【００２６】
請求項８記載の本発明の画像情報再生装置は、第１のモードにおいて通常速度での再生により第１のフレームが設定された時、第２のモードにおいて通常速度での再生により第２のフレームが設定された時、各々のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成する第３の画像縮小手段を制御する構成を備えるため、通常再生で開始点が設定された時に開始フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成し、通常再生で終了点が設定された時に終了フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成でき、すなわち、当該第３の画像縮小手段はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２７】
請求項９記載の発明は、第１のモードにおいて第１のフレームが設定された時に、画像縮小手段により第１のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成し、第２のモードにおいて第２のフレームが設定された時に、画像縮小手段により第２のフレームのトップフィールドとボトムフィールドの両方のデータを用いて縮小静止画像を生成するように制御する構成を備えるため、開始点が設定された時に開始フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成し、終了点が設定された時に終了フレームのトップフィールドとボトムフィールドの両方から縮小静止画像を第３の画像縮小手段で生成でき、すなわち、当該第３の画像縮小手段はトップフィールドの画像とボトムフィールドの画像とをフレーム毎に関連づけて出力することができ、一連の画像が変化する点をフィールド単位で認知できる情報が得られ、ユーザが任意の画像を選択するとき当該選択した画像を再生するに際し再生画像の品質に対する情報を提供できることにより、ユーザに不自然さを感じさせることなく、フレーム単位で開始点及び終了点を指定できる。
【００２８】
【実施例】
以下、本発明の一実施例について、図１から図５を用いて説明する。図１は、本発明の一実施例における画像情報復号化再生装置のブロック図を示すものである。図１において、１０２は光ディスク１０１から情報を読み取るための光ピックアップ、１０３は光ピックアップ１０２を駆動するための光ピックアップ駆動回路、１０４は再生信号処理回路、１０５は映像や音声のデコードを行うためのＡＶデコーダ、１０７は画像メモリ、１０８は縮小静止画像（以下、サムネイル画像と称す）を生成するサムネイル生成部、１１２は静止画像メモリ、１１３は出力制御部、１１８は画像縮小回路、１１９は画面上に表示される文字等のOn Screen Display（以下、ＯＳＤと称す）を生成するＯＳＤ生成回路、１２０は合成回路であり、１０６は全体の制御を行うシステムコントローラである。なお、図１においては画像に関係する部分についてのみ図示しており、音声に関する部分については省略している。
【００２９】
以上のように構成された本実施例における画像情報復号化再生装置について、以下その動作を説明する。
【００３０】
通常再生時には、まず、光ピックアップ１０２によって光ディスク１０１から再生された信号が再生信号処理回路１０４に送られ、二値化、ディジタル復調、誤り訂正等の処理が行われ、ＡＶデコーダ１０５に供給される。ＡＶデコーダ１０５では、入力されたビットストリームを音声データと画像データとに分離してからそれぞれのデコードを行い、ディジタル画像データとディジタル音声データとして出力され、デコードされたディジタル画像は画像メモリ１０７に格納される。画像メモリ１０７から読み出された画像データは、出力制御部１１３に送られる。
【００３１】
出力制御部１１３は、第１の視認用画像を出力するトップフィールド出力回路１１４、第２の視認用画像を出力するボトムフィールド出力回路１１５、第３の視認用画像を出力する両フィールド出力回路１１６、及び切替回路１１７により構成されるが、通常再生時には、切替回路１１７は両フィールド出力回路１１６の出力に切り替えられるため、この時にはトップフィールド出力回路１１４及びボトムフィールド出力回路１１５は動作させる必要は無い。
【００３２】
両フィールド出力回路１１６は、トップフィールド画像を出力すべきタイミングでは、画像メモリ１０７に格納されている画像データの中からトップフィールドの画像データを読み出して出力し、ボトムフィールド画像を出力すべきタイミングでは、画像メモリ１０７に格納されている画像データの中からボトムフィールドの画像データを読み出して出力する。
【００３３】
出力制御部１１３の出力は、画像縮小回路１１８に送られるが、通常再生時には画像縮小回路１１８はシステムコントローラ１０６の指示により何も処理を行わないモードに設定されている。そして、画像縮小回路１１８の出力は合成回路１１９を経て、画像データ１２１として出力される。
【００３４】
従って、通常再生時には、画像メモリ１０７の内容が、両フィールドともそのまま画像データ１２１として出力されることになる。画像データ１２１は、この後Ｄ／Ａ変換（Digital to Analog変換）等の必要な処理を行って映像信号として出力される。
【００３５】
次に、開始点、終了点を設定するモードについて説明する。このモードにおける画面設定の一例を図４に示す。４０１は第１、第２及び／または第３の視認用画像を表示する縮小動画像であり、画面上に表示される文字等のＯＳＤ画像はＯＳＤ生成回路１１９で生成されるものである。
【００３６】
ＯＳＤ生成回路１１９からのＯＳＤ画像と、画像縮小回路１１８で縮小された画像と、静止画像メモリ１１２からの静止画像とが、合成回路１２０で合成されて、画像データ１２１として出力される。
【００３７】
ＯＳＤ生成回路１１９は、システムコントローラ１０６からの指示で、画面上に重畳するグラフィックデータ等を生成する回路であり、画面上の指定された位置に指定された色で指定された図形を出力するための信号を生成することができる。例えば、ボタン４０４〜ボタン４０７などがＯＳＤ生成回路１１９によるグラフィック画像である。
【００３８】
図５は、図４の画面をさらに詳細に説明するためのものである。即ち、画像縮小回路１１８で縮小された第１の視認用画像の縮小動画像等は、例えば座標（ｘ１，ｙ１）で指定される動画像表示領域５０１の位置に表示される。また、静止画像メモリ１１２に格納された第１の縮小静止画像等は、例えばオフセットｙ２の位置から下の静止画表示領域５０４に表示される。これらの、座標（ｘ１，ｙ１）やオフセットｙ２は、システムコントローラ１０６により指定される。このような動画像表示領域５０１と静止画像表示領域５０４の画面に、ＯＳＤ生成回路１１９で生成されたグラフィック画像が重ね合わされるわけであるが、例えば図４における４０１、４０２，４０３の部分は透過色で描画することにより、その部分だけが図５の動画像表示領域５０１と静止画像表示領域５０４中の５０２及び５０３で画面が見えるようにすることができる。
【００３９】
サムネイル生成部１０８は、頭出しや見出し等に便利なサムネイル画像を生成するためのもので、第１の画像縮小手段のトップフィールドサムネイル生成回路１０９、第２の画像縮小手段のボトムフィールドサムネイル生成回路１１０、第３の画像縮小手段の両フィールドサムネイル生成回路１１１からなり、生成されたサムネイル画像は静止画像メモリ１１２に格納される。静止画像メモリ１１２の画像は所定のタイミングで読み出され、合成回路１２０で動画像やＯＳＤ画像と合成される。
【００４０】
図４で示されるような画面において、第１のモード（以下、開始点設定モードともいう）及び第２のモード（以下、終了点モードともいう）の選択を行うためには、例えば、不図示のリモコンの「矢印キー」等でボタン４０４〜ボタン４０７のうちのどれかを選択する。例えば、開始点設定時には開始点設定ボタン４０４を選択し、現在開始点設定モードであることを表示する。選択されたボタンは例えば色を変える或いは輪郭を太くするなどの画像処理を行い、選択されたことがユーザにわかるようにする。図４では終了点設定ボタン４０５が選択された状態を示している。なお、本実施例における図４は、画像情報再生装置に付随した場合で説明しているが、図４に示した表示を例えばリモートコントローラの液晶画面に表示する等でも可能であり、適宜選択して用いることができる。
【００４１】
開始点設定モードにおいて、トップフィールドに帰属する画像の縮小動画像４０１を見ながら所望の画像を探し、所望の画像が表示されたタイミングで、例えば不図示のリモコンの「選択キー」を押すなどして再生を開始する第１のフレームを設定する。設定されると、ＡＶデコーダ１０５では、そのフレームでデコード動作を止め、サムネイル生成部１０８で、画像メモリ１０７に保持された画像を用いてサムネイル画像を生成し、静止画像メモリ１１２上の開始点サムネイル画像４０２に相当するエリア（図５の５０２）に書き込む。この時、サムネイル生成部１０８では両フィールドサムネイル生成回路１１１により、トップフィールドとボトムフィールドとの両方からサムネイル画像を生成する。
【００４２】
従って、たまたまユーザが、トップフィールドとボトムフィールドとの間でシーンチェンジが起こっているようなフレームの表示タイミングで「選択キー」を押してしまったような場合には、トップフィールドとボトムフィールドとが混ざり合ったサムネイル画像が生成されることになり、ユーザに対して、シーンチェンジの最中のフレームを選択してしまったことを知らせることができる。これを見て、ユーザが再度設定をし直せば、後で連続再生するときに接続点でトップフィールドとボトムフィールドとが混ざり合った画像を表示しなくて済む。或いは設定をし直さない場合は、ユーザが意図してシーンチェンジが発生するフィールドを選び、その結果として例えば再生画像に乱れを生じることとなるが、ユーザとして覚悟の上であるから問題ではない。
【００４３】
ここまでは、例えば１フレームを１フレーム期間で表示を行う通常再生の速度で再生しながら開始点及び終了点を設定する場合について説明したが、実際にはスロー再生やコマ送り／コマ戻し再生のような特殊再生で画像を確かめながら、開始点及び終了点をフィールド単位で正確に設定したい場合がある。このような場合の動作について次に説明する。
【００４４】
スロー再生またはコマ送り／コマ戻し再生等の特殊再生にした瞬間、開始点設定モードにおいて出力制御部１１３はトップフィールド出力モードで動作する。即ち、切替回路１１７は、通常再生時は両フィールド出力回路１１６が選択されているが、スロー再生またはコマ送り／コマ戻し再生時には、トップフィールド出力回路１１４に切り替えられる。トップフィールド出力回路１１４では、画像メモリ１０７のトップフィールドの画像データのみを用いて画像を出力する。
【００４５】
これにより、図２（ａ）に示すように、トップフィールドのみでスロー再生やコマ送り／コマ戻しを行う。図２（ａ）では、３フレームめのトップフィールド（３Ｔ）までが連続した画像で、３フレームめのボトムフィールド（３Ｂ）から別の連続した画像が始まっている場合の例を示している。このような場合に図２（ａ）で示すように、トップフィールドのみのスロー再生やコマ送り／コマ戻しを行って３フレームめのボトムフィールド（３Ｂ）から始まるシーンの先頭を選択すると、図２（ｂ）に示すように４フレームめのトップフィールド（４Ｔ）が選択されることになり、フレームで言うと４番目のフレームが開始フレームとして選択される。
【００４６】
この時、システムコントローラ１０６からサムネイル生成部１０８に対し、トップフィールドの画像のみから第１の縮小静止画像のサムネイル画像を生成するように指示され、第１の画像縮小手段のトップフィールドサムネイル生成回路１０９により画像メモリ１０７の画像のトップフィールドのみから、例えば縦方向１／６、横方向１／６に縮小静止画像処理されたサムネイル画像が生成され、静止画像メモリ１１２の所定の位置、即ち図５における５０２の位置に書き込まれる。
【００４７】
ところで、例えば、１つ前の３番目のフレームが開始点として選択されたとすると、それはユーザが「３Ｔ、４Ｔ、５Ｔ、６Ｔ、…」と選択したわけであるから、シーンの先頭に１つ前のシーンが１コマついた状態である。従って、再生時には、３番目のフレームから再生されるために、最初のフレームでは、１つ前のシーンと新たなシーンとが混ざり合った映像となるが、これはユーザが第１の縮小静止画像のサムネイル画像で認識した上でのユーザの意図であるので、不正規な動作ではない。
【００４８】
終了点設定モードでは、通常再生時には、出力制御部１１３は両フィールド出力モードであるが、スロー再生またはコマ送り／コマ戻し再生にした瞬間、出力制御部１１３はボトムフィールド出力モードで動作する。即ち、切替回路１１７は、通常再生時は両フィールド出力回路１１６が選択されているが、スロー再生またはコマ送り／コマ戻し再生時には、ボトムフィールド出力回路１１５に切り替えられる。ボトムフィールド出力回路１１５では、画像メモリ１０７のボトムフィールドの画像データのみを用いて画像を出力する。
【００４９】
ボトムフィールドのみでスロー再生やコマ送り／コマ戻し再生のような特殊再生を行う様子を図示したのが図３（ａ）である。図３においては、２４フレームめのトップフィールド（２４Ｔ）までが連続した画像で、２４フレームめのボトムフィールド（２４Ｂ）から別の連続した画像が始まっている場合の例を示している。図３（ａ）で示すように、ボトムフィールドのみのスロー再生やコマ送り／コマ戻し再生を行って２４フレームめのトップフィールド（２４Ｔ）で終わるシーンの最後を選択すると、２３フレームめのボトムフィールド（２３Ｂ）が選択されることになり、フレームで言うと２３番目のフレームが終了フレームとして選択される。
【００５０】
この時、システムコントローラ１０６からサムネイル生成部１０８に対し、ボトムフィールドの画像のみから第２の縮小静止画像のサムネイル画像を生成するように指示され、ボトムフィールドサムネイル生成回路１１０により画像メモリ１０７の画像のボトムフィールドのみから、例えば縦方向１／６、横方向１／６に縮小静止画像処理された第２の縮小静止画像のサムネイル画像が生成され、静止画像メモリ１１２の所定の位置、即ち図５における５０３の位置に書き込まれる。
【００５１】
ところで、例えば、１つ後ろの２４番目のフレームが終了点として選択されたとすると、それは、ユーザから見て「…、２１Ｂ、２２Ｂ、２３Ｂ、２４Ｂ」と選択したわけであり、前のシーンの最後に新たなシーンが１コマついた状態を示している。従って、再生時には、２４番目のフレームまで再生されるために、最後のフレームでは、そこまでのシーンと新たなシーンが混ざり合った映像となるが、これはユーザが第２の縮小静止画像のサムネイル画像で認識した上でのユーザの意図であるので、不正規な動作ではない。
【００５２】
以上、説明したように、通常再生を行いながら開始点終了点を設定する場合には、生成された第３の縮小静止画像のサムネイル画像により、トップフィールドとボトムフィールドとが大きく異なる画像を開始点や終了点として選択したことをユーザに通知することで、ユーザが納得した上で選択する、あるいは、ユーザに設定し直す機会を与える構成が達成でき、ユーザフレンドリィな再生を可能と成し得る。
【００５３】
また、スロー再生やコマ送り再生やコマ戻し再生等の通常再生とは異なるいわゆる特殊再生で開始点終了点を選択する場合には、開始点を設定する際にはトップフィールドのみを表示し、終了点を設定する際にはボトムフィールドのみを表示するという制御を行うことにより、トップフィールドとボトムフィールドとの間でシーンが変化するフレームを開始点や終了点として選択する可能性を減らすことができ、ユーザの意図に反した画像が表示されることを防止することができる。。
【００５４】
なお、以上の説明では、通常再生で開始点及び終了点を設定する場合と、スロー再生、コマ送り再生、コマ戻し再生で開始点及び終了点を設定する場合とで処理を場合分けした例を説明したが、場合分けの方法はこれに限定されるものではなく、例えば、１倍速に近い特殊再生と、そうでない場合とで分類、通常再生とスロー再生、コマ送り再生、コマ戻し再生とで分類しても良い。
【００５５】
また、特殊再生として、スロー再生、コマ送り再生、コマ戻し再生のみについて述べたが、速度が通常再生より遅い特殊再生だけでなく、高速再生等についても、例えば１つのフレームを１フレーム期間以上表示するような場合は全て同様に実施可能である。
【００５６】
【発明の効果】
以上のように本発明によれば、フレーム単位で再生開始、再生終了の処理を行うシステムにおいても、ユーザの意図を尊重し、不自然さを感じさせることなく、フレーム単位で開始点、終了点を指定させることが可能になるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施例における画像情報再生装置のブロック図
【図２】同実施例における画像情報再生装置により開始点を設定する動作を説明する説明図
【図３】同実施例における画像情報再生装置により終了点を設定する動作を説明する説明図
【図４】同実施例における画像情報再生装置による開始点／終了点設定画面の一例を示す説明図
【図５】同実施例における画像情報再生装置による開始点／終了点設定画面の動作を説明するための説明図
【図６】従来の情報再生装置により、任意のシーンをつなぎ合わせて再生する動作を説明する説明図
【図７】従来の画像情報再生装置により開始点／終了点の設定方法の説明図
【図８】従来の画像情報再生装置により開始点／終了点の設定方法の説明図
【符号の説明】
１０１ 光ディスク
１０２ 光ピックアップ
１０３ 光ピックアップ駆動回路
１０４ 再生信号処理回路
１０５ ＡＶデコーダ
１０６ システムコントローラ
１０７ 画像メモリ
１０８ サムネイル生成部
１０９ トップフィールドサムネイル生成回路
１１０ ボトムフィールドサムネイル生成回路
１１１ 両フィールドサムネイル生成回路
１１２ 静止画像メモリ
１１３ 出力制御部
１１４ トップフィールド出力回路
１１５ ボトムフィールド出力回路
１１６ 両フィールド出力回路
１１７ 切替回路
１１８ 画像縮小回路
１１９ ＯＳＤ生成回路
１２０ 合成回路
Claims (9)
- トップフィールドとボトムフィールドとで構成するフレームを複数備えた画像データから、前記トップフィールドの画像のみを用いて画像を出力するトップフィールド画像出力と、前記ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド画像出力とを相独立して処理することを特徴とする画像情報処理方法。
- 前記トップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小出力と、前記ボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小出力とを相独立して処理することを特徴とする請求項１記載の画像情報処理方法。
- 前記トップフィールド画像出力から前記トップフィールドに帰属する画像のみを用いて第１の視認用画像を生成し、前記第１の視認用画像を視認して任意の前記第１の視認用画像に相当する前記画像データを第１の設定画像として設定したとき、前記第１の設定画像に相当するトップフィールド縮小静止画像を前記第１の画像縮小出力で生成し、
前記ボトムフィールド画像出力から前記ボトムフィールドに帰属する画像のみを用いて第２の視認用画像を生成し、前記第２の視認用画像を視認して任意の前記第２の視認用画像に相当する前記画像データを第２の設定画像として設定したとき、前記第２の設定画像に相当するボトムフィールド縮小静止画像を前記第２の画像縮小出力で生成することを特徴とする請求項１または２何れかに記載の画像情報処理方法。 - 前記トップフィールドの画像と前記ボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小出力を更に備え、前記画像データの画像を第３の視認用画像として視認して任意の前記第３の視認用画像に相当する前記画像データを第３の設定画像として設定したとき、前記第３の設定画像に相当するトップフィールドとボトムフィールドとの両方に帰属する前記第３の画像縮小出力を生成することを特徴とする請求項１〜３何れかに記載の画像情報処理方法。
- トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、トップフィールドの画像のみを用いて画像を出力するトップフィールド出力手段と、ボトムフィールドの画像のみを用いて画像を出力するボトムフィールド出力手段とを備えたことを特徴とする画像情報再生装置。
- 通常再生以外の速度で再生する特殊再生モードでは、前記第１のモードにおいて前記トップフィールド出力手段によりトップフィールドに帰属する画像のみを用いて第１の視認用画像を出力し、前記第２のモードにおいて前記ボトムフィールド出力手段によりボトムフィールドに帰属する画像のみを用いて第２の視認用画像を出力することを特徴とする請求項５に記載の画像情報再生装置。
- 再生された画像のトップフィールドの画像を縮小して縮小静止画像を生成する第１の画像縮小手段と、前記再生された画像のボトムフィールドの画像を縮小して縮小静止画像を生成する第２の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第１の画像縮小手段により前記第１のフレームのトップフィールドから第１の縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第２の画像縮小手段により前記第２のフレームのボトムフィールドから第２の縮小静止画像を生成する制御を行うことを特徴とする請求項５または６何れかに記載の画像情報再生装置。
- 再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段をさらに備え、前記第１のモードにおいて通常速度での再生により前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方のデータを用いて縮小静止画像を生成し、前記第２のモードにおいて通常速度での再生により前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールド画像データとボトムフィールド画像データとの両方のデータを用いて第３の縮小静止画像を生成する制御を行うことを特徴とする請求項５〜７何れかに記載の画像情報再生装置。
- トップフィールドとボトムフィールドとでフレームを構成する画像データを再生する装置であって、再生を開始する第１のフレームを設定する第１のモードと、再生を終了する第２のフレームを設定する第２のモードとを持ち、前記第１のフレームから再生を開始し、前記第２のフレームで再生を終了する制御を行う再生制御手段と、再生された画像のトップフィールドの画像とボトムフィールドの画像との両方を用いて縮小静止画像を生成する第３の画像縮小手段とを備え、前記第１のモードにおいて前記第１のフレームが設定された時に、前記第３の画像縮小手段により前記第１のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成し、前記第２のモードにおいて前記第２のフレームが設定された時に、前記第３の画像縮小手段により前記第２のフレームのトップフィールドの画像データとボトムフィールドの画像データとの両方の画像データを用いて縮小静止画像を生成する制御を行うことを特徴とする画像情報再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000349345A JP3840894B2 (ja) | 2000-11-16 | 2000-11-16 | 画像情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000349345A JP3840894B2 (ja) | 2000-11-16 | 2000-11-16 | 画像情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152685A JP2002152685A (ja) | 2002-05-24 |
| JP3840894B2 true JP3840894B2 (ja) | 2006-11-01 |
Family
ID=18822767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000349345A Expired - Fee Related JP3840894B2 (ja) | 2000-11-16 | 2000-11-16 | 画像情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3840894B2 (ja) |
-
2000
- 2000-11-16 JP JP2000349345A patent/JP3840894B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002152685A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3938368B2 (ja) | 動画像データの編集装置および動画像データの編集方法 | |
| JP4658014B2 (ja) | ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームの再生方法 | |
| US20080195971A1 (en) | Storage medium storing interactive graphics stream, and reproducing apparatus and method | |
| US7062153B2 (en) | Reproducing apparatus with sub-picture processing function | |
| US20060072906A1 (en) | Method and device for recording information on a record medium, record medium containing information, and method and device for reading information from a record medium | |
| US7450826B2 (en) | Media program with selectable sub-segments | |
| US20050008347A1 (en) | Method of processing subtitle stream, reproducing apparatus and information storage medium thereof | |
| RU2378721C2 (ru) | Носитель записи, имеющий структуру данных, включающую в себя графические данные, и способ и устройство записи и воспроизведения | |
| RU2312410C2 (ru) | Носитель записи, имеющий структуру данных, включающую в себя графические данные, и способ и устройство записи и воспроизведения | |
| JP4396555B2 (ja) | 映像データ再生装置 | |
| JP3840894B2 (ja) | 画像情報処理方法 | |
| JP2004328226A (ja) | Ｄｖｄプレーヤ、及び合成映像再生装置 | |
| JP2003333449A (ja) | 合成画像出力装置 | |
| US7742686B2 (en) | Signal processor | |
| JP2005191826A (ja) | 映像編集装置、映像再生装置、アングル映像表示用データ及びそのアングル映像表示用データを記録した記録媒体、映像編集方法、映像再生方法 | |
| JP3689074B2 (ja) | 情報記憶媒体及びその再生装置 | |
| KR100239482B1 (ko) | 그래픽 데이타 리사이징장치 | |
| JP2002101379A (ja) | 記録再生装置および記録再生方法 | |
| JPH1079921A (ja) | 映像再生装置 | |
| KR100467406B1 (ko) | 메뉴제작장치및이를채용한디지털다기능디스크시스템 | |
| JP2002262214A (ja) | 映像再生装置 | |
| JP4334789B2 (ja) | Ｄｖｄビデオ装置およびメニュ画面データの生成装置 | |
| JP4305082B2 (ja) | 映像記録再生装置 | |
| JP3073272U (ja) | 画像再生装置 | |
| JP2002354396A (ja) | 光ディスク再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060731 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |