[go: up one dir, main page]

JP3851003B2 - 動画像圧縮伸長処理装置 - Google Patents

動画像圧縮伸長処理装置 Download PDF

Info

Publication number
JP3851003B2
JP3851003B2 JP30349798A JP30349798A JP3851003B2 JP 3851003 B2 JP3851003 B2 JP 3851003B2 JP 30349798 A JP30349798 A JP 30349798A JP 30349798 A JP30349798 A JP 30349798A JP 3851003 B2 JP3851003 B2 JP 3851003B2
Authority
JP
Japan
Prior art keywords
small screen
data
screen
small
compressed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30349798A
Other languages
English (en)
Other versions
JP2000134579A (ja
Inventor
英一 田中
幸利 坪井
英雄 新井
聰 本巣
崇 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP30349798A priority Critical patent/JP3851003B2/ja
Priority to EP19990120834 priority patent/EP0998147A1/en
Priority to CNB991233611A priority patent/CN1207689C/zh
Publication of JP2000134579A publication Critical patent/JP2000134579A/ja
Application granted granted Critical
Publication of JP3851003B2 publication Critical patent/JP3851003B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子的撮像手段、記録手段及び映像表示手段もしくは出力手段を備えた電子カメラ等の映像機器に関し、特に前記の各手段を有して記録済の映像情報の概要を簡潔に確認する為の手段を備えた動画像圧縮伸長処理装置に関する。
【0002】
【従来の技術】
従来の技術は、例えば特許出願公表・平4−506144号「全及び減少解像度画像の多形式記憶装置を備えた電子式静止カメラ」に記載のように、静止画を対象とし、高解像度画像とその概略を示す減少解像度画像を個別に生成・記録し、高解像度画像を各々の減少解像度画像と関連付けておくことにより、画像の内容を知りたい場合は、減少解像度画像を対象にすることで、迅速なアクセスが可能としている。
【0003】
画像の概要の確認は、概略を示す減少解像度画像で十分で確認でき、また減少解像度画像は高解像度画像と比較して容易に受像機等に出画可能な形式に変換できることから、減少解像度画像を表示することによって、より多いデータ量の高解像度画像を伸長処理して得ることを待たずに表示可能としている。
【0004】
【発明が解決しようとする課題】
上記の従来技術は、正規の画像データとその画像の解像度を減少して概略をあらわす小画面データを作り、正規の画像データに関連付けて個別に記録することによって、記録内容の確認の際には小画面データを表示することで正規の画像データを復調するより時間が短縮されるようになっていた。
しかしながら、上記の技術は静止画像のみの技術であり、動画像の場合は対応していない。
また、正規の画像データと別ファイルとして小画面データを記録する方法では記録後のデータ編集等で前記の関連に変化が生じた場合、もしくはこの技術以外で作成されたデータに対しては対応不能となる可能性がある。
また、複雑な画像の場合、減少解像度の画面では概略が掴みにくくなるという欠点もあった。
【0005】
本発明の目的は、電子カメラ等の映像機器における上記不具合を解消し、動画像での小画面生成、記録後のデータ内容の変化、または他の装置で作成されたデータにも対応可能とするとともに、記録済の映像情報の概要を簡潔に確認することができる、特徴をとらえた減少解像度画像を生成する動画像圧縮伸長処理装置を提供することにある。
【0006】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、正規の動画像を圧縮処理して記録すると同時に小画面を生成し、記録後の編集等で正規の画像データと小画面データとの関連に変化が生じた場合でも対応できるようにするため、小画面データを別ファイルではなく正規の画像データに埋め込んで記録する。
小画面データを別ファイルとして保存するときも、小画面データと正規の画像データとの関連に変化が生じた場合や他の装置により作成された画像データのみ(小画面データが生成されてない)の場合、新たに小画面データを生成して正規の画像データと関連付けできるようにする。
【0007】
また、画面全体の概略を示す減少解像度画像だけでなく、任意に指定した範囲を切り出した画像を小画面として記録できるようにし、場合によっては画面上の特徴的な部分を小画面とすることで全体の減少解像度画像を小画面として作成したときより内容が把握しやすくなるようにする。
【0008】
具体的には、本発明は、動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、該小画面データを圧縮データに付加して小画面内蔵圧縮データを生成する付加手段と、該小画面内蔵圧縮データの記憶手段内での記録位置を制御する記録制御手段と、画像伸長時に記憶手段に記録されている前記小画面内蔵圧縮データから小画面データを抽出する小画面抽出手段と、該小画面データと伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段を備えた。
【0009】
本発明は、動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、圧縮データの小画面であることを示すフラグデータを小画面データに付加して記憶手段に記録する記録制御手段と、画像伸長時に、伸長復号データと小画面データの片方をユーザが選択して出力映像信号とする出力信号選択手段とを備えた。
【0010】
本発明は、動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、該小画面データを圧縮データに付加して小画面内蔵圧縮データを生成する付加手段と、該小画面内蔵圧縮データの記憶手段内での記録位置を制御する記録制御手段と、画像伸長時に記憶手段に記録されている該小画面内蔵圧縮データから小画面データを抽出する小画面抽出手段と、抽出した小画面データを複数枚保持できる小画面記憶手段と、該小画面記憶手段の複数の小画面データを一画面分の映像信号に変換する変換手段と、該一画面分の映像信号と伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段とを備えた。
【0011】
また、本発明は、上記動画像圧縮伸長装置において、前記小画面生成手段が画面上のユーザが設定した位置を切り出して小画面とすることを特徴とする。
さらに、本発明は、上記動画像圧縮伸長装置において、前記小画面生成手段が小画面の画像圧縮機能を有し、前記小画面抽出手段が小画面の画像伸長機能を有することを特徴とする。
【0012】
本発明は、上記動画像圧縮伸長処理装置において、前記小画面生成手段で生成する小画面データが動画像の経過を示す複数の画像データであり、前記変換手段によって変換される一画面分の映像信号が動画像の経過を示す複数の小画面から組み立てられることを特徴とする。
【0013】
本発明は、記憶手段と、該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、記憶手段に蓄積された圧縮データに小画面データが付加された小画面内蔵圧縮データが存在する場合は、該小画面内蔵圧縮データから小画面データを抽出し、記憶手段に蓄積された圧縮データと圧縮データの小画面であることを示すフラグデータが付加された小画面データが存在する場合は、該小画面データを読み出し、該小画面データと伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段と、記憶手段に蓄積された圧縮データに小画面データが付加されていない場合あるいは圧縮データの小画面であることを示すフラグデータが付加された小画面データが存在しない場合は、伸長復号画像から画素をサンプリングして、またはユーザが指定した画面上の位置を切り出してユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、圧縮データの小画面であることを示すフラグデータを小画面データに付加して記憶手段に記録する記録制御手段を備えた。
【0014】
【発明の実施の形態】
本発明にかかる動画像圧縮伸長処理装置の第1の実施の形態を図1を用いて説明する。
図1は、本発明の第1の実施の形態にかかる動画像圧縮伸長処理装置の概略構成を示すブロック図である。
動画像圧縮伸長処理装置1は、動画像撮像部10と、信号処理部11と、画像圧縮伸長処理部12と、小画面生成部13と、小画面付加部14と、記録制御部15と、記憶手段16と、小画面抽出部17と、選択スイッチ18と、映像出力部19とから構成される。
記録制御部15は、バッファメモリ151と、インタフェース部152とから構成される。
【0015】
動画像撮像部10は、CCDカメラ等から構成され、動画像データを送り出す。
【0016】
信号処理部11は、動画像撮像部10から送られてきた動画像をディジタル映像信号に変換するとともに、画像再生時にディジタル映像信号を映像出力部19に適した信号に変換する。
【0017】
画像圧縮伸長処理部12は、信号処理部11から送られてきたディジタル映像信号をMPEG等の符号化方式で圧縮し、記憶手段16から読み出した該符号化方式で圧縮された映像信号を伸長復号する。
【0018】
小画面生成部13は、信号処理部11から送られてきたディジタル映像信号をサンプリングして減少解像度画像信号を生成する。
【0019】
小画面付加部14は、小画面生成部13から送られてきた減少解像度画像信号を画像圧縮伸長処理部12から送られてきた圧縮映像信号に付加する。
【0020】
記録制御部15は、バッファメモリ151とインタフェース部152とを有して構成され、小画面を内蔵した圧縮データの記憶手段16内での記録位置を制御する。
【0021】
バッファメモリ151は、小画面付加部105から送られてきた圧縮映像信号を一時的に保持する。
【0022】
インタフェース部152は、バッファメモリ151と記憶手段16のインターフェースをとる手段である。インタフェース部152は、簡単な論理回路を有しており、縮小画面があると記憶手段16の特定の位置に記憶させる機能を有している。
【0023】
記憶手段16は、例えばハードディスクから構成され、インターフェース部152を介して送られてきた減少解像度画像信号が付加された圧縮映像信号を減少解像度画像信号と圧縮映像信号の対応をとって記憶する。
【0024】
小画面抽出部17は、記憶手段17から読み出した圧縮映像信号に付加された減少解像度画像信号を抽出する。
【0025】
選択スイッチ18は、再生された画像信号のうち圧縮映像信号を伸長復号した画像信号または減少解像度画像信号のいずれかを選択する。
【0026】
映像出力部19は、モニタTV等から構成され、映像を出力する。
【0027】
モード切換信号50は、外部から設定する信号であり、バッファメモリ151及び選択スイッチ18の動作モードを切り換え制御する信号である。
【0028】
圧縮符号化によって動画像を記録する場合には、カメラ等の動画像撮像部10で撮像された動画像は、信号処理部11で、ディジタル映像信号に変換され、画像圧縮伸長処理部12と小画面生成部13へ入力される。ディジタル映像信号は、画像圧縮伸長処理部12で、圧縮符号化処理を施され圧縮映像信号である圧縮データに変換される。
この実施の形態で用いる圧縮方式は、MPEGとし、一連のフレームからなる動画像の圧縮データは、フレーム内符号化画像Iピクチャ,フレーム間順方向予測符号化画像Pピクチャ,フレーム間双方向予測符号化画像Bピクチャで構成されているものとする。
【0029】
小画面生成部13では、入力されたディジタル映像信号から画素をサンプリング(間引き)して、解像度を減少した小画面データを生成する。
【0030】
小画面付加部14は、圧縮データに任意のフレーム間隔(例えばMPEGのフレーム内符号化画像であるIピクチャ間のフレーム間隔)でピクチャの圧縮データのヘッダに埋め込むユーザデータとして小画面データを付加し、バッファメモリ151に一時的に保持する。
【0031】
バッファメモリ151は、インタフェース部152を介して、この実施の形態ではハードディスク16としている記憶手段へ圧縮データを書き込む。
このとき、インタフェース部152は、小画面データを付加したピクチャの圧縮データをハードディスク16内のあらかじめ決められた位置、あるいは一定の規則にそった位置のセクタにくるように動作する。
または、小画面データを付加したピクチャの記録位置(セクタ)を示すデータを、ハードディスク内のあらかじめ決められたセクタに記録するように動作してもよい。
本実施の形態では、記憶手段の例としてハードディスクを挙げているが、他の記憶手段の場合でも同様に記憶手段内の決まった位置に記録する。
このように制御することで、再生時に小画面データの記録位置を容易に把握することができる。
【0032】
一方、伸長復号による動画像再生時においては、圧縮時と逆方向の流れの処理となり、ハードディスク16に記録された圧縮データは、インタフェース部152を介してバッファメモリ151に読み込まれる。
【0033】
正規の動画像を出力する場合、選択スイッチ18を、画像圧縮伸長処理部12の出力側にユーザが設定するモード切換信号50で設定すると、バッファメモリ151は、記録されている圧縮データを逐次ハードディスク16から読み込むように動作し、圧縮データは画像圧縮伸長処理部12で伸長復号処理を施され、再生された画像信号は選択スイッチ18を経て信号処理部11へと流れる。
【0034】
一方、減少解像度画像信号である小画面データを出力したい場合、選択スイッチ18を小画面抽出部17の出力側にユーザが設定するモード切換信号50で設定すると、バッファメモリ151は、小画面データ付きの圧縮データだけをハードディスク16から読み込むように動作し、小画面抽出部17で圧縮データから抽出した小画面データが選択スイッチ18を経て信号処理部11へと流れる。
【0035】
前述したように、小画面データが付加されたピクチャの圧縮データはあらかじめ決められた位置または一定の規則にそった位置に記録されているので、フレーム間隔があいていても即時に読み出すことが可能である。
【0036】
選択スイッチ18とバッファメモリ151の動作は連動していて、ユーザが設定するモード切換信号50により同時に制御される。
【0037】
信号処理部11は、選択スイッチ18によって選択された再生映像信号を、所定の規格、たとえばNTSCなどにあった信号に変調し、モニタTVなどの映像出力部19に出力する。
【0038】
画像の内容確認時は概略を示す小画面で十分確認可能なので、選択スイッチ18の設定は小画面抽出部17の出力を選択すればよい。小画面の大きさは正規の動画像の画面より小さいのでハードディスク16から映像出力部19までの伸長復号処理に費やす時間は少なくすむ。
【0039】
小画面生成部13において生成する小画面データは、任意のフレーム間隔で作成可能で、例えば小画面を付加したIピクチャが15フレームに1枚の割合で存在した場合、正規の動画像の画面を再生するときの15倍速の早送り動画像のような小画面になりユーザが内容確認に要する時間を大幅に短縮できる。
また、ユーザが指示した瞬間の画面の小画面を生成することで、動画像内の特定の画面(フレーム)の減少解像度静止画像を小画面とすることも可能である。その際、小画面データが付加されているフレームを先頭フレームとして正規の動画像の伸長処理及び出力処理を開始することで、小画面データを動画像内のしおりとしても使用できる。
【0040】
また、小画面生成部13に画像圧縮処理手段(機能)、小画面抽出部17に画像伸長処理手段(機能)をもたせることで圧縮データに付加する小画面データの圧縮・伸長が可能になる。
小画面データは、正規の動画像の画面と比較してデータ量が少ないので、圧縮・伸長に費やす時間は十分短く、小画面データを付加することで増加するデータ量も、小画面データの圧縮によりさらに少なく抑えられる。
【0041】
次ぎに、本発明にかかる動画像圧縮伸長処理装置の第2の実施の形態を図2を用いて説明する。
図2は、本発明による動画像圧縮伸長処理装置の第2の実施の形態の概略構成を示すブロック図である。
この実施の形態にかかる動画像圧縮伸長処理装置は、図1に示した第1の実施の形態の動画像圧縮伸長処理装置に、小画面データ記録方法の切換スイッチ20と、小画面データの選択スイッチ21と、小画面データのバッファ153と、小画面データの選択信号51と、小画面の記録方法の設定信号52を付加した点で異なっており、その余の構成と動作は、図1に示した第1の実施の形態の場合と同じである。
【0042】
圧縮符号化時の映像信号は、第1の実施の形態と同様に画像圧縮伸長処理部12、信号付加部14、バッファメモリ151、インタフェース部152を介してハードディスク16に記録される。
【0043】
小画面生成部13で生成された小画面データの流れは、ユーザが設定する記録方法の設定信号52で切り換えられるスイッチ20により(a)(b)のどちらか片方の経路が選択される。
(a)側の経路が選択された場合は、図1に示した実施の形態と同様に小画面付加部14で圧縮データに小画面データが付加される。
(b)側の経路が選択された場合、小画面データは小画面バッファ153に一時的に保持される。この時、選択されなかった(a)側の経路の小画面付加部14では圧縮データになにも付加されない。
【0044】
小画面バッファ153は、小画面データに圧縮データとの関連を示すフラグを付け加え、インタフェース部152を介してハードディスク16へ書き込む。
小画面データは、圧縮データと別に保存されるが、付加されたフラグにより二者の関係は維持される。
【0045】
また、伸長復号時においては、画面データは、圧縮時と逆方向で流れる。ハードディスク16に記録された圧縮データは、インタフェース部152を介してバッファメモリ151に読み込まれ、画像圧縮伸長処理部12で正規の映像信号に伸長復号される。
一方、圧縮データに関連する小画面データは、小画面データに付加されているフラグから判定され、小画面バッファ153によりインタフェース152を介して読み出される。
【0046】
小画面データの出力を切り換えるスイッチ21は、ユーザからの設定信号51で設定できる。
ユーザが設定しない場合、スイッチ21は、圧縮データに小画面データが付加されているときは(d)側の経路、圧縮データと小画面データが分けて記録されているときには(c)側の経路を自動で選択する。
(d)側の経路は、第1の実施の形態と同様の処理で圧縮データから抽出された小画面データが流れている。
(c)側の経路は、小画面バッファ153に保持された小画面データが逐次読み出されている。スイッチ21以降のデータの流れは第1の実施の形態と同じである。
【0047】
以上のような構成にすることで、スイッチ21を切り替えることによって、圧縮データ本体に小画面データを付加するか、別データとして記憶するかを選択できる。極力、圧縮データ本体のデータ量を抑えたい場合などに、本実施の形態で示した小画面データと圧縮データを別に記録する機能が有効である。
【0048】
また、小画面生成部13に画像圧縮処理手段を持たせることで、小画面データを圧縮して記録し、小画面バッファ153及び小画面抽出部17に画像伸長処理手段を持たせることで、読み出し時に圧縮された小画面データを伸長することが可能になり、データ量の増加を少なく抑えることができる。
さらに、動画像の複数小画面データを1ファイルにまとめて記録してもよい。
【0049】
上記第2の実施の形態にかかる動画像圧縮伸長処理装置の変形例を図3を用いて説明する。
この変形例にかかる動画像圧縮伸長処理装置は、図2に示した第2の実施の形態の動画像圧縮伸長処理装置から、小画面付加部14と、小画面抽出部17と、小画面データ記録方法の切換スイッチ20と、小画面データの選択スイッチ21と、小画面データの選択信号51と、小画面の記録方法の設定信号52とを取り除いた点で異なっており、その余の構成と動作は、図2に示した第2の実施の形態の場合とほぼ同じである。
【0050】
圧縮符号化時の映像信号は、画像圧縮伸長処理部12、バッファメモリ151、インタフェース部152を介してハードディスク16に記録される。
【0051】
小画面生成部13で生成された小画面データは、小画面バッファ153に一時的に保持される。
小画面バッファ153は、小画面データに圧縮データとの関連を示すフラグを付け加え、インタフェース部152を介してハードディスク16へ書き込む。
小画面データは、圧縮データと別に保存されるが、付加されたフラグにより二者の関係は維持される。
【0052】
また、伸長復号時においては、画面データは、圧縮時と逆方向で流れる。ハードディスク16に記録された圧縮データは、インタフェース部152を介してバッファメモリ151に読み込まれ、画像圧縮伸長処理部12で正規の映像信号に伸長復号される。
一方、圧縮データに関連する小画面データは、小画面データに付加されているフラグから判定され、小画面バッファ153によりインタフェース152を介して読み出される。
【0053】
小画面バッファ153に保持された小画面データは逐次読み出されて、信号処理部11へ送られる。
【0054】
以上のような構成にすることで、圧縮データ本体と小画面データを別データとして記憶することができる。極力、圧縮データ本体のデータ量を抑えたい場合などに、有効である。
【0055】
また、小画面生成部13に画像圧縮処理手段を持たせることで、小画面データを圧縮して記録し、小画面バッファ153に画像伸長処理手段を持たせることで、読み出し時に圧縮された小画面データを伸長することが可能になり、データ量の増加を少なく抑えることができる。
さらに、動画像の複数小画面データを1ファイルにまとめて記録してもよい。
【0056】
本発明の第3の実施の形態にかかる動画像圧縮伸長処理装置を図4、図5、図6を用いて説明する。
図4は、本発明の第3の実施の形態にかかる動画像圧縮伸長処理装置の概略構成を示すブロック図である。
この実施の形態にかかる画像圧縮伸長処理装置は、図2に示した第2の実施の形態にかかる画像圧縮伸長処理装置に、複数の小画面を保持するバッファ22と、画像サイズを変換する画像変換処理部23と、外部から設定する出力設定信号53を付加した点で異なっており、その他の符号で示されたブロックの構成と動作は、図1及び図2に示した第1の実施の形態及び第2の実施の形態の場合と同じである。
【0057】
この実施の形態では、正規画面と小画面の大きさは、図5に示すように、小画面41は、正規画面40に対して1/9に縮小されている。
【0058】
この実施の形態によれば、図6に示すように、正規画面40の大きさに、複数(9枚)の小画面41〜49の並びを表すことができる。
【0059】
画像圧縮時の正規画面と小画面の処理、および画像伸長時の正規画面の処理は、第2の実施の形態と同様に行われる。
伸長時における小画面データの処理は、スイッチ21の出力まで第2の実施の形態と同様である。
【0060】
それ以後の小画面データ処理について説明する。スイッチ21の出力である小画面データは、バッファ22に複数枚保持される。
画像変換処理部23は、保持された小画面データの読み出し順序を変えて一枚の画像データに変換する。例えば、図5に示すように、小画面41が正規画面40の1/9の場合、バッファ22は小画面データが9枚(正規画面の1枚分)たまるまでデータを保持する。
【0061】
小画面データが9枚たまった時点で画像変換処理部23は、図6に示すように小画面41〜49の番号順で示すように左上から右下へと構成された1枚の正規画像となるようにバッファ22からデータを並び換えて読み出す。
【0062】
一枚の画像に並び換えた後のデータは、信号処理部11で正規の映像信号に変調され、ユーザが設定する出力設定信号53による要求があるまで静止画として映像出力部19に出力される。
【0063】
こうすることで、一枚の画面に複数の時分割小画面が表示され、シーンチェンジが多い映像でも内容が理解しやすくなる。
この実施の形態によれば、表示する度に正規の圧縮データから小画面を作り出すのではなく、既に作成済みの小画面データを読み出して並べかえるだけなので、表示するまでの待ち時間は短くてすむ。
【0064】
出力設定信号53の設定で次の9枚を読み出し、上述と同様の処理をして表示することで、ハードディスク16に記録されている小画面を9枚ずつ静止画として順次表示させることができる。
【0065】
また、ユーザが設定するモード切換信号50で、別の圧縮データの小画面データを1画面ずつバッファメモリ151に読み出すように設定することで、複数の正規画面に対応した小画面データを同時に表示することも可能である。
その際、出力設定信号53の設定でそれぞれの小画面を続けて読み出すようにすれば、複数の小画面は動画(コマ落し)として表示される。
【0066】
正規画面の圧縮動画像ファイルがハードディスク16の中に複数個存在しているとき、それぞれの圧縮動画像を一つずつ伸長・出力することなく、概略を表す小画像を画面上に複数かつ動画として表示でき、内容の確認を迅速に行える。
【0067】
本実施の形態では、小画面の大きさを正規の画面の1/9としたが、大きさは任意である。たとえば、小画面の縦横比を正規の画面の縦横比と変えたりすることも可能である。
【0068】
第4の実施の形態を図7、図8を用いて説明する。
図7は、本発明の第4の実施の形態にかかる動画像圧縮伸長処理装置の概略構成を示すブロック図である。
この実施の形態は、第3の実施の形態に示された動画像圧縮伸長処理装置に、部分小画像生成部24と、小画面生成部13と、小画面のモード切り換えスイッチ25と、外部から設定する小画面モード切換信号54と、外部から設定する切り出し位置選択信号55とを付加した点で異なっている。
また、その他の符号で示されたブロックの構成と動作は、図1〜図4に示した第1〜第3の実施の形態の場合と同じである。
【0069】
撮像した画像の例を、図8に示す。正規の表示画像40には、撮影された人物401が分割画面402内に表示されている。
【0070】
部分小画像生成部24は、正規の画面を小画面の大きさに分割して切り出し位置選択信号55によって指定された任意の部分を切り出して小画面として出力する。切り出し位置はユーザが自由に設定できるものとする。小画面生成部13は、正規画面40の概略を示す全体の小画面を生成して出力する。
【0071】
ユーザが設定する小画面モード切換信号54で制御するスイッチ25で減少解像度画像と部分画像を切り換え、片方の小画面データを選択する。例えば図5に示すように小画面の大きさが全体の1/9であるとする。図8に示すような右下に人物401が小さく、その他の部分に背景が大きく写っている入力画像40の場合、そのまま全画面の減少解像度画像を小画面として生成すると右下の人物401も縮小されて見分けがつきにくくなる。
そこで特徴的な人物の部分401を小画面とするように切り出し位置選択信号55で設定する。
【0072】
部分小画像生成部24は、全画面を9分割し、設定された特徴的な部分、この場合は、人物像401を含む分割画像402を部分小画像生成部24の出力とする。
【0073】
スイッチ25により(f)の経路を選択すると、画像データに付加される小画面データは、設定された人物の部分402になる。
このように複雑な画面の特徴的な部分を切り出して小画面とすることで、正規の画像の減少画像を小画面とする場合よりも動画の内容が直感的に理解できる。減少画像でも内容が十分理解できる程度の映像の場合は、小画面モード切換信号54でスイッチ25を(g)の経路に切り替えることで前述までの実施の形態と同じ動作を選択できる。
【0074】
本実施の形態では、小画面を生成する際に画面を9分割したが、小画面とする部分の切り出し方を他の方法で行ってもよい。たとえば、小画面の開始位置をユーザが指定して切り出すこともできる。
【0075】
本発明の第5の実施の形態にかかる動画像圧縮伸長処理装置を、図9を用いて説明する。
図9は、本発明の第5の実施の形態にかかる動画像圧縮伸長処理装置の概略構成を示すブロック図である。
この実施の形態にかかる動画像圧縮伸長処理装置は、図2に示した第2の実施の形態にかかる動画像圧縮伸長処理装置に、小画面データの存在を判定する小画面判定部26と、小画面データの流れを制御するスイッチ27と、小画面生成制御信号28を付加した点で異なっている。また、その他の符号で示されたブロックの構成と動作は、図1〜図4、図7に示した第1〜第4の実施の形態の場合と同じである。
【0076】
ハードディスク16に、本発明以外の装置により作成されたために小画面データが付加されてない、もしくは関連がある小画面データが存在しない圧縮データが記録されている場合は、伸長処理時に小画面データの復調経路には、データが流れない。
小画面判定部26は、データが流れてこないときは、小画面データは存在しないと判断し、小画面生成制御信号28でスイッチ27を(e)側に切り換え、小画面を生成する経路に伸長した正規の映像信号を流す。
【0077】
小画面生成部13以降は、前述までの実施の形態の小画面生成と同様に動作し、設定信号52でスイッチ20を(b)側の経路に設定して小画面データを別ファイルとしてハードディスク16に記録する。
【0078】
また、スイッチ20を(a)側に切り換えることで、圧縮データ内に小画面データを付加することが可能となり、小画面データ内蔵圧縮データを新たにハードディスク16に記録するようにしてもよい。
【0079】
このような動作をすることで、小画面が存在しない圧縮データでも一度伸長処理を行うことで新たに小画面を生成して記録し、二度目以降は、短い処理時間で小画面を表示することができるようになる。
また、記録してある動画像データに複製あるいは編集等の処理を施した場合、第2の実施の形態のように、小画面データを別ファイルとして保存していると処理後の圧縮データと小画面データの関連に不一致が生じることがあるが、本実施の形態で示す手段で記録データから小画面を作り直すことで不具合は解消する。
【0080】
上記の全実施の形態では、動画像の入力をCCDカメラ等の撮像装置としたが、本発明は、撮像装置に限らずビデオデッキ等の再生画像を入力としても有効である。
本発明は、MPEG以外の圧縮方式でも有効であり、また、小画面データは、他の方法によって生成してもよい。たとえば、MPEG等の圧縮処理途中でのDCT変換されたブロックのDC成分を集めることで減少解像度画像の小画面データを作成することもできる。
【0081】
【発明の効果】
本発明によれば、記録時に動画像データの減少解像度画像あるいは任意の一部分の切り出し画像を、小画面としてあらかじめ生成することで、要求に応じて即時に小画面での動画及び静止画再生、または画面上に複数の小画面表示することが可能で、容量の小さい小画面データに対する処理を行うだけで動画像データの内容確認ができる効果がある。
【0082】
また、本発明の構成によらない他の装置で記録された小画面データ無しの画像再生時に、新たに小画面を生成・記録できるので、圧縮装置によらないで小画面表示できる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態にかかる動画像圧縮伸長処理装置の構成を示すブロック図。
【図2】本発明の第2の実施の形態にかかる動画像圧縮伸長処理装置の構成を示すブロック図。
【図3】本発明の第2の実施の形態にかかる動画像圧縮伸長処理装置の他の実施例の構成を示すブロック図。
【図4】本発明の第3の実施の形態にかかる動画像圧縮伸長処理装置の構成を示すブロック図。
【図5】本発明の第3の実施の形態にかかる動画像圧縮伸長処理装置の画面関係を示す説明図。
【図6】本発明の第3の実施の形態にかかる動画像圧縮伸長処理装置の時分割表示を示す説明図。
【図7】本発明の第4の実施の形態にかかる動画像圧縮伸長処理装置の構成を示すブロック図。
【図8】本発明の第4の実施の形態にかかる動画像圧縮伸長処理装置の画像例を示す説明図。
【図9】本発明の第5の実施の形態にかかる動画像圧縮伸長処理装置の構成を示すブロック図。
【符号の説明】
1 動画像圧縮伸長装置
10 撮像部
11 信号処理部
12 画像圧縮伸長処理部
13 小画面生成部
14 小画面付加部
15 記憶部
151 バッファメモリ
152 インタフェース部
153 小画面バッファ
16 ハードディスク
17 小画面抽出部
18 スイッチ
19 映像出力部
20、21 スイッチ
22 画像バッファ
23 画像変換処理部
24 部分小画像生成部
25 スイッチ
26 小画面判定部
27 スイッチ
28 小画面生成制御信号
41〜49 小画面
40 正規表示画面(全体画像)
401 人物像
402 部分小画像
50 モード切換信号
51 小画面データの設定信号
52 設定信号
53 出力設定信号
54 小画面モード切換信号
55 切り出し位置選択信号

Claims (7)

  1. 動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、
    画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、
    該小画面データを圧縮データに付加して小画面内蔵圧縮データを生成する付加手段と、
    該小画面内蔵圧縮データの記憶手段内での記録位置を制御する記録制御手段と、画像伸長時に記憶手段に記録されている前記小画面内蔵圧縮データから小画面データを抽出する小画面抽出手段と、
    該小画面データと伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段
    を有することを特徴とする動画像圧縮伸長処理装置。
  2. 動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、
    画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、
    圧縮データの小画面であることを示すフラグデータを小画面データに付加して記憶手段に記録する記録制御手段と、
    画像伸長時に、伸長復号データと小画面データの片方をユーザが選択して出力映像信号とする出力信号選択手段
    を有することを特徴とする動画像圧縮伸長処理装置。
  3. 動画像の映像信号に符号化圧縮処理を施し圧縮データに変換する画像圧縮処理手段と、該圧縮データを記録する記憶手段と、更に該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、
    画像圧縮時に動画像の映像信号から画素をサンプリングしてユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、
    該小画面データを圧縮データに付加して小画面内蔵圧縮データを生成する付加手段と、
    該小画面内蔵圧縮データの記憶手段内での記録位置を制御する記録制御手段と、画像伸長時に記憶手段に記録されている該小画面内蔵圧縮データから小画面データを抽出する小画面抽出手段と、
    抽出した小画面データを複数枚保持できる小画面記憶手段と、
    該小画面記憶手段の複数の小画面データを一画面分の映像信号に変換する変換手段と、
    該一画面分の映像信号と伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段
    を有することを特徴とする動画像圧縮伸長処理装置。
  4. 請求項1ないし請求項3のいずれかに記載の動画像圧縮伸長装置において、
    前記小画面生成手段は画面上のユーザが設定した位置を切り出して小画面とすることを特徴とする動画像圧縮伸長処理装置。
  5. 請求項1及び請求項3または請求項4のいずれかに記載の動画像圧縮伸長装置において、
    前記小画面生成手段は小画面の画像圧縮機能を有し、前記小画面抽出手段は小画面の画像伸長機能を有することを特徴とする動画像圧縮伸長処理装置。
  6. 請求項3に記載の動画像圧縮伸長処理装置において、
    前記小画面生成手段で生成する小画面データが動画像の経過を示す複数の画像データであり、前記変換手段によって変換される一画面分の映像信号が動画像の経過を示す複数の小画面から組み立てられることを特徴とする動画像圧縮伸長処理装置。
  7. 記憶手段と、該記憶手段に蓄積された圧縮データを映像信号に伸長復号して出力する画像伸長処理手段を有する動画像圧縮伸長処理装置において、
    記憶手段に蓄積された圧縮データに小画面データが付加された小画面内蔵圧縮データが存在する場合は、該小画面内蔵圧縮データから小画面データを抽出し、
    記憶手段に蓄積された圧縮データと圧縮データの小画面であることを示すフラグデータが付加された小画面データが存在する場合は、該小画面データを読み出し、該小画面データと伸長復号データの片方をユーザが選択して出力映像信号とする出力信号選択手段と、
    記憶手段に蓄積された圧縮データに小画面データが付加されていない場合あるいは圧縮データの小画面であることを示すフラグデータが付加された小画面データが存在しない場合は、伸長復号画像から画素をサンプリングして、またはユーザが指定した画面上の位置を切り出してユーザが指定した画面ごとに小画面データを生成する小画面生成手段と、
    圧縮データの小画面であることを示すフラグデータを小画面データに付加して記憶手段に記録する記録制御手段
    を有することを特徴とする動画像圧縮伸長処理装置。
JP30349798A 1998-10-26 1998-10-26 動画像圧縮伸長処理装置 Expired - Fee Related JP3851003B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP30349798A JP3851003B2 (ja) 1998-10-26 1998-10-26 動画像圧縮伸長処理装置
EP19990120834 EP0998147A1 (en) 1998-10-26 1999-10-25 Moving picture coding/decoding apparatus generating additional indexing information
CNB991233611A CN1207689C (zh) 1998-10-26 1999-10-26 动画图象编码解码处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30349798A JP3851003B2 (ja) 1998-10-26 1998-10-26 動画像圧縮伸長処理装置

Publications (2)

Publication Number Publication Date
JP2000134579A JP2000134579A (ja) 2000-05-12
JP3851003B2 true JP3851003B2 (ja) 2006-11-29

Family

ID=17921687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30349798A Expired - Fee Related JP3851003B2 (ja) 1998-10-26 1998-10-26 動画像圧縮伸長処理装置

Country Status (3)

Country Link
EP (1) EP0998147A1 (ja)
JP (1) JP3851003B2 (ja)
CN (1) CN1207689C (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111787B2 (en) 2001-05-15 2006-09-26 Hand Held Products, Inc. Multimode image capturing and decoding optical reader
US6942151B2 (en) * 2001-05-15 2005-09-13 Welch Allyn Data Collection, Inc. Optical reader having decoding and image capturing functionality
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
KR20030062737A (ko) 2002-01-18 2003-07-28 엘지전자 주식회사 재기록 가능 고밀도 기록매체의 축소영상 기록방법
KR100630203B1 (ko) * 2005-05-12 2006-10-02 삼성전자주식회사 휴대단말기의 영상데이터 표시방법
JP2006345098A (ja) * 2005-06-07 2006-12-21 Canon Inc 受信装置及びその制御方法、コンピュータプログラム及び記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Mpeg信号記録方法およびmpeg信号再生方法
US5717816A (en) * 1993-01-13 1998-02-10 Hitachi America Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using intra-coded video frames
CA2115976C (en) * 1993-02-23 2002-08-06 Saiprasad V. Naimpally Digital high definition television video recorder with trick-play features
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder

Also Published As

Publication number Publication date
CN1252587A (zh) 2000-05-10
CN1207689C (zh) 2005-06-22
EP0998147A1 (en) 2000-05-03
JP2000134579A (ja) 2000-05-12

Similar Documents

Publication Publication Date Title
JP3551181B2 (ja) 記録装置及び記録方法
US6690881B1 (en) Digital camera apparatus and recording method thereof
JP2004072793A5 (ja) 映像記録装置及び映像記録方法
JPH10164492A (ja) 撮像装置
JP3917506B2 (ja) 映像信号記録送信装置および監視システムならびに監視装置
JP3501213B2 (ja) ビデオ装置およびそれに使用される再符号化器
JP3851003B2 (ja) 動画像圧縮伸長処理装置
JP3814565B2 (ja) 記録装置
US20010017976A1 (en) Image or video data processing system
US7064780B2 (en) Image recording apparatus with selection of still image to be recorded from multi-picture display
KR100883119B1 (ko) 동영상 파일 목록 편집 방법
KR20060051064A (ko) 기록 장치 및 기록 방법, 재생 장치 및 재생 방법, 및프로그램
JP3683462B2 (ja) 動画表示装置
JP2005318180A (ja) ハードディスクレコーダ、映像記録装置
JP3902824B2 (ja) 画像処理装置及び方法
JP3736146B2 (ja) 情報記憶媒体、および動画音声記録再生装置
JP4446669B2 (ja) 動画データの記録方法及びその再生方法並びに動画データの記録装置及びその再生装置
JP2007043218A (ja) 画像記録再生装置
KR20080057142A (ko) 카메라 기기 및 카메라 기기의 정지 화상 생성 방법
KR100896278B1 (ko) 가정용 방범 기능이 부가된 하드디스크를 이용한 티브이녹화장치
JP3541910B2 (ja) 映像信号処理装置
JP4487196B2 (ja) 記録装置及びその制御方法
JP4564896B2 (ja) 画像処理装置及び画像処理方法
JP2001103419A (ja) 信号処理装置、映像信号記録再生装置、信号処理システム、信号処理方法、及び記憶媒体
JP2009118195A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees