[go: up one dir, main page]

JP4928666B2 - 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換 - Google Patents

24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換 Download PDF

Info

Publication number
JP4928666B2
JP4928666B2 JP2000527089A JP2000527089A JP4928666B2 JP 4928666 B2 JP4928666 B2 JP 4928666B2 JP 2000527089 A JP2000527089 A JP 2000527089A JP 2000527089 A JP2000527089 A JP 2000527089A JP 4928666 B2 JP4928666 B2 JP 4928666B2
Authority
JP
Japan
Prior art keywords
video signal
digital video
frame rate
input
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000527089A
Other languages
English (en)
Other versions
JP2002500480A5 (ja
JP2002500480A (ja
Inventor
グレン, エー. レートメイヤー,
Original Assignee
メディアテック インコーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディアテック インコーポレイション filed Critical メディアテック インコーポレイション
Publication of JP2002500480A publication Critical patent/JP2002500480A/ja
Publication of JP2002500480A5 publication Critical patent/JP2002500480A5/ja
Application granted granted Critical
Publication of JP4928666B2 publication Critical patent/JP4928666B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

【0001】
本願は、米国特許出願書連続番号09/001,952(弁理士整理番号12713)に関係する。これは本願と同日に出願されるものである。
【0002】
本願は、米国特許出願書連続番号09/001,620(弁理士整理番号12669)に関係する。これは本願と同日に出願されるものである。
【0003】
【発明の属する技術分野】
本発明は、全般的には、ビデオ処理システムに関係しており、具体的には、様々な高品位及び標準品位フォーマットなど、複数のビデオ信号フォーマットを受領及び処理することが可能なビデオ処理システムに関係している。
【0004】
【発明の背景】
NTSC(米国テレビジョン委員会)テレビ受信機など、現在のテレビ受信機はビデオ処理回路を含んでおり、これは通常、予め定められた単一のビデオ・フォーマットのみに適合するビデオ信号しか処理できない。将来型のデジタル・テレビ(DTV)受信機は、大部分が次世代テレビ標準委員会(ATSC)が定めた放送規格に従って実施されることが予想される。同様の規格にはヨーロッパ・デジタル・ビデオ放送(DVB)規格がある。圧縮デジタル・ビデオ・システムについてはATSCデジタル・テレビジョン規格文書A/53に記述されており、これは参考文献として本願に含めている。更にカラー動画符号標準化作業グループ(MPEG)はデジタル・データ送信システムに関する幾つかの規格を公表している。一つ目はMPEG−1として知られており、ISO/IEC規格11172に関するもので、これは参考文献として本願に含めている。2つ目はMPEG−2として知られており、ISO/IEC規格13818に関するもので、これは参考文献として本願に含めている。新しいDTV規格では、放送局は事実上1920×1080ピクセルまでの任意のフォーマットでの送信が可能になる。具体的には、DTV受信機は、様々な空間解像度(480本、720本、1080本)、時相解像度(60fps、30fps、24fps)、走査フォーマット(2:1インタレース又はプログレッシブ走査)の画像シーケンスを備えるソース・ビデオを受信できなくてはいけない。
【0005】
コンピュータ業界では、いわゆる「マルチシンク」ディスプレイ装置で複数の画像フォーマットを表示することが知られている。具体的には、マルチシンク・ディスプレイは、グラフィック・フォーマットの変化に対応して、水平走査周波数や垂直走査周波数を変更する。こうしたマルチシンクのアプローチは、映画テレビ技術者協会(SMPTE)が標準化したスタジオ設備ラスタ・フォーマットなどを使用することで、ビデオやテレビの環境において実施できる。残念なことに、マルチシンクのアプローチは、複雑な偏向回路、消費電力の増加、偏向コイル・インダクタンスに伴う長い時間定数によるフォーマット間切り換え待ち時間の長さから、コストの増加につながる。
【0006】
これよりも優れたアプローチは、1996年1月16日に発行された米国特許番号5,485,216「高品位テレビのビデオ変換装置」の中でリーが開示している。リーの特許においては、高品位テレビ信号をデコードした後、30Hzフレーム・レートに変換し、垂直方向の縮減と水平方向の縮減を順に行い、インタリーブして30Hz、1050垂直走査線ビデオ信号を作り出す。従って、リーの方法では、強引なテクニックを用いて、高品位テレビ信号を30Hz、1050垂直走査線ビデオ信号に変換することになる。フォーマットを変換したテレビ信号は、従来の方法で処理され、画像が形成される。
【0007】
残念なことに、リーの方法には、複雑なタイミング、切り換え、ビデオ処理回路が必要になるという欠点がある。加えて、リーの方法で作り出したテレビ信号には、24Hzソース・ビデオ(フィルムなど)の場合に、動画ビデオの不具合を引き起こす性質を持っている。これは、リーの方法が良く知られた3:2プルアップ・シーケンスを使用して毎秒24フレームのビデオを毎秒60フレームに変換しているためで、この結果、変換したビデオを表示したときに動画ジッタの不具合が生じる。ゴールデンアワーのテレビ番組のほとんどはマスターがフィルムであるため、ビデオ・データの大部分は今後も24Hzプログレッシブ走査フォーマットで送信される。
【0008】
そのため、例えば、複数のフォーマットに対応するテレビ受信機などで使用するのに適した費用効率の良いビデオ処理システムの技術には需要が存在する。更に、24Hzソース・ビデオの使用に適したビデオ処理システムを提供することが望ましいと思われる。
【0009】
【発明の概要】
本発明は、ソース・ビデオのフレーム・レートを3倍にし、結果として生じるビデオ信号のフォーマットを反応的に調整することで、24Hzソース・ビデオの3:2変換による動画表示の不具合を避けることに適応した複数フォーマット・ビデオ処理システムにおける電子式フォーマット及びフレーム・レート変換の方法及び付随する装置である。
【0010】
具体的には、本発明は、フォーマット変換器及びフレーム・レート変換器を備えるビデオ処理システムにおいて使用する方法で、このフォーマット変換器はフォーマット制御信号に反応して入力ビデオ信号の垂直フォーマット及び水平フォーマットの最低一つを適応させ、フレーム・レート変換器はフレーム・レート制御信号に反応して入力ビデオ信号のフレーム・レートを適合させる。この方法が備えるステップでは、入力ビデオ信号のフォーマット及びフレーム・レートの確認し、入力ビデオ信号をネイティブ表示フォーマットへ適合化し、入力ビデオ信号のフレーム・レートが第一の値、例えば約24Hzの場合、入力ビデオ信号のフレーム・レートを3倍にする。
【0011】
本発明は、複数のビデオ・フォーマットの一つを有する入力ビデオ信号を処理して出力ビデオ信号を作り出すための装置でもある。この装置は、入力ビデオ信号を受信するために結合し、フォーマット制御信号に反応して入力ビデオ信号の垂直及び水平フォーマットを適合化するフォーマット変換器、フォーマット変換器と結合し、フレーム・レート制御信号に反応して入力ビデオ信号のフレーム・レートを適合化するフレーム・レート変換器、フォーマット変換器及びフレーム・レート変換器と結合し、フォーマット制御信号及びフレーム・レート制御信号を発信するコントローラを備える。このコントローラは、第一の値のフレーム・レートを有する入力ビデオ信号の場合、フレーム・レート変換器に入力ビデオのフレーム・レートを3倍にさせ、フォーマット変換器に入力ビデオ信号の垂直及び水平フォーマットをディスプレイ装置で使用するのに適したフォーマットに適合化させる。
【0012】
本発明の内容は、添付図面と共に以下の詳細な説明を検討することで容易に理解できる。図面は以下の通りである。
【0013】
【好ましい実施形態の詳細な説明】
本発明は、1997年9月26日に出願した米国暫定特許番号60/060112の長所を有しており、これは参考文献として本願に全て含んでいる。
【0014】
本発明は、デジタル・テレビ(DTV)受信機、例えばATSCテレビ受信機の場合について説明する。しかし、本発明が、DVB、MPEG−1、MPEG−2その他の情報ストリームに適したシステムを含む、任意の複数フォーマット・ビデオ処理システムに応用可能であることは当業者にとって明らかである。
【0015】
図1は、本発明に従ったDTV受信機100の高レベルのブロック図を示している。具体的には、このDTV受信機100はビデオ処理部分及びタイミング部分を備えている。ビデオ処理部分は、ビデオ・デコーダ120、オプショナル・デインタレーサ130、垂直リサイザ140、水平リサイザ150、フレーム・バッファ160を備える。タイミング部分は、クロック回路110、ラスタ発生器190,表示クロック195、読み出しアドレス発生器180、書き込みアドレス発生器185を備える。ビデオ処理部分で処理されるビデオ信号S2は、アンテナ102、チューナ104、復調装置106、トランスポート多重分離装置108を備えるDTVフロント・エンドが受信する。処理されたビデオ信号S8は、ラスタ発生器190が発信する水平及び垂直タイミング信号H−DEF及びV−DEFに従って、ディスプレイ装置175などで(適切なカラー・マトリックス処理の後)表示される。
【0016】
RFソース102(例えば、アンテナやケーブルテレビの配信網)は、残留側波帯(VSB)、直交振幅変調(QAM)その他の最適な変調方式に従って変調された、複数のテレビ信号を備える無線周波数(RF)信号RFを供給する。供給されたRFテレビ信号は、チューナ104と結合し、チューナ104は要求されたテレビ信号をダウンコンバートし、第一の中間周波数(IF)テレビ信号IFを生成する。復調装置106、例えばVSB又はQAMは、IFテレビ信号IFを復調し、デジタル情報ストリームS1を生成する。デジタル情報ストリームS1の例としては、一つ以上のMPEGのようなプログラム・トランスポート・ストリームを含むMPEGのようなシステム・ストリームS1がある。
【0017】
MPEGのようなプログラム・トランスポート・ストリームは、各プログラム・トランスポート・ストリームが、通常、映画その他の視聴覚プログラムなど、単一のプログラムの視聴覚部分を運ぶ点において、NTSCチャンネルと似ている。各プログラム・トランスポート・ストリームは、運ばれる視聴覚プログラムの視聴覚部分に関連する複数の基本ストリームを備える。
【0018】
トランスポート多重分離装置108は既知の方法で動作し、MPEGのようなシステム・ストリームS1から特定のプログラム・トランスポート・ストリームを多重分離する。多重分離されたプログラム・トランスポート・ストリームに関連する基本音声ストリームS3は、音声デコーダ115と結合し、音声ドライバ回路(図示せず)によって処理される前にデコードされる。重分離されたプログラム・トランスポート・ストリームに関連する基本ビデオ・ストリームS2はビデオ・デコーダ120と結合する。
【0019】
トランスポート多重分離装置108は、多重分離されたプログラム・トランスポート・ストリームの選択されたトランスポート・ストリーム・パケット(基準パケット)の適合化フィールドと呼ばれるものに含まれるプログラム・クロック基準(PCR)も抽出する。このPCRは、プログラム・トランスポート・ストリームを伝達する前に、多重分離されたプログラム・トランスポート・ストリームをコード化するのに使用する27MHzクロックのサンプルである。抽出されたPCRはクロック回路110と結合する。
【0020】
クロック回路110は、例えば、位相ロック・ループ(PLL)112、電圧制御発振器(VCO)114を備える。クロック回路110はシステム・クロックfSYS、例えばMPEGのような情報ストリームを処理するのに適した27MHzシステム・クロックを発信する。クロック回路110は、多重分離されたプログラム・トランスポート・ストリームから抽出したPCRを利用して、DTV受信機のデコーダ・システム・クロック(つまり、システム・クロックfSYS)を、多重分離されたプログラム・トランスポート・ストリームを生成するエンコーダのシステム・クロックにロックする。
【0021】
PLL112は既知の方法で動作し、(例えば)VCO114の27MHz出力とトランスポート多重分離装置108から受領したPCRとの比較に応じて、制御信号C1を発信する。VCO114は、制御信号C1に反応し、既知の方法で動作し、27MHzシステム・クロックfSYSの周波数を増減させる。
【0022】
ビデオ・デコーダ120は標準の方法でビデオ・ストリームS2をデコードし、一定の送信フォーマット及びフレーム・レートを有するデコード済みビデオ信号S4を生成する。ビデオ・デコーダ120はビデオ・ストリームS2のシーケンス・ヘッダを調べ、フォーマット、比色定量(可能な場合)、その他ビデオ・ストリームS2にコード化されたビデオ信号に関連する情報を判断する。シーケンス・ヘッダを調べた後、ビデオ・デコーダ140はフォーマット、比色定量、その他の情報を出力と結合させ、ヘッダ・データ信号HDとする。
【0023】
オプショナル・デインタレーサ130はデコード済みビデオ信号S4及びヘッダ・データ信号HDの少なくとも入部を受信する。デコード済みビデオ信号S4が(HD信号が示す通り)インタレース・フォーマットを有するビデオ情報を備える場合、デインタレーサ130はデコード済みビデオ信号S4をプログレッシブ走査フォーマット・ビデオ信号に変換し、出力と結合させ、ビデオ信号S5とする。デコード済みビデオ信号S4がプログレッシブ走査フォーマットを有するビデオ情報を備える場合、デインタレーサ130はデコード済みビデオ信号S4を直接出力と結合させ、ビデオ信号S5とする。デインタレーサ130は、例えば、フレーム・ストレージを必要とする動画適応アプローチや、直接垂直補間又は線反復アプローチを使用して実施する。
【0024】
水平リサイザ150はビデオ信号S5を受信し、コントローラ200からの制御信号HSに反応して、ビデオ信号S5に含まれるビデオ情報の線1本当たりの画素(ピクセル)数を選択的に変更する。水平リサイザ150は、水平方向にリサイズされたビデオ信号S6を生成する。水平リサイザ150は、例えば、既存の2つのピクセル間に挿入する新しいピクセルの輝度及びクロミナンス情報を計算する補間手法を使用して、線1本当たりのピクセル数を増加させることができる。また、水平リサイザ150は、例えば、線に含まれるN番目のピクセルを全て除去することでビデオ線を縮減し、線1本当たりのピクセル数を減らすことができる。
【0025】
垂直リサイザ140は水平方向にリサイズされたビデオ信号S6を受信し、コントローラ200からの制御信号VSに反応して、ビデオ信号S6に含まれるビデオ情報の1フレーム当たりの垂直走査線数を選択的に変更する。垂直リサイザ140は垂直方向にリサイズされたビデオ信号S7を生成する。垂直リサイザ140は、例えば、既存の2線の間に挿入する新しい線の輝度及びクロミナンス情報を計算する補間手法を使用して、1ビデオ・フレーム当たりの線の数を増やすことができる。また、垂直リサイザ140は、例えば、減少した線の密度において新しい走査線を計算する補間手法を使用してビデオ・フレームを縮減し、1ビデオ・フレーム当たりの線の数を減らすことができる。
【0026】
オプショナル・デインタレーサ130が前記垂直補間又は線反復アプローチを使用して実施された場合、デインタレース機能は垂直リサイジング・ユニット140に組み入れることができる。この場合、水平リサイザ150は、図1の点線で示すように、ビデオ・デコーダ120からデコード済みビデオ信号S4を直接受信するように結合する。
【0027】
フレーム・バッファ160は、水平方向及び垂直方向にリサイザされたビデオ信号S7を選択的に受信する。フレーム・バッファ160は二重バッファリング・タイプのフレーム・バッファで、入力フレーム・ストア・バッファ162及び出力フレーム・ストア・バッファ164を備える。ビデオ信号S7内のビデオ情報は、バッファ入力制御信号INに反応して、入力フレーム・ストア・バッファ162に保存される。出力フレーム・ストア・バッファ164の内容を完全に読み出されたとき、入力フレーム・ストア・バッファ162の内容は出力フレーム・ストア・バッファ164として使用される。つまり、入力バッファ及び出力バッファを機能的にスワップし、入力バッファの情報を出力バッファに転送する必要性を回避する。出力フレーム・ストア・バッファ164に保存されるビデオ情報は、バッファ出力制御信号OUTに反応して、フレーム・バッファ出力と結合し、バッファ済みビデオ信号S8となる。フレーム・バッファ160は二重バッファリング・タイプのフレーム・バッファであるため、入力データが入力フレーム・ストア・バッファ162に保存されるよりも速い(又は遅い)速度で、出力データを出力フレーム・ストア・バッファ164から取り込むことができる。つまり、ビデオ信号S7に伴うクロック周波数が、バッファ済みビデオ信号S8に伴うクロック周波数と同じである必要はない。60Hzディスプレイで30Hzビデオ情報を利用するために、出力フレーム・ストア・バッファ164からの各ビデオ・フレームの読み出しは、次のビデオ・フレームが出力フレーム・ストア・バッファ164に入る前に2回行われる。
【0028】
フレーム・バッファ160は、好ましくは、図1に示すように二重バッファリング装置とする。単一バッファリング装置を使用することもできるが、単一バッファリング装置では、バッファ読み出し速度とバッファ書き込み速度が異なるときに、表示画像に「ティアリング」の不具合が発生しがちである。例の実施形態において、(OUT信号によって決定する)バッファ読み出し速度及び(IN信号によって決定する)バッファ書き込み速度は異なると思われ、24Hzソース・ビデオの場合、以下で説明するような違いが生じる。低伝送フレーム・レート・ビデオ信号(24又は30Hzなど)の使用は、ほとんどのディスプレイ技術を使用して表示した画像において、望ましくない広範なフリッカの原因となるため、こうした表示レートの変換が必要になる。
【0029】
RGBマトリックス及びドライバ170はバッファ済みビデオ信号S8を受信する。RGBマトリックス及びドライバ170は既知の方法で動作し、マトリックス係数、伝送特性、基本ビデオ・ストリームS2のシーケンス・ヘッダに含まれるカラーの一次情報に従って、バッファ済みビデオ信号S8を処理する。具体的には、RGBマトリックス及びドライバ170は、伝送されたY、Cr、Cbのカラー構成要素を表示に必要な赤(R)、緑(G)、青(B)のカラー信号へ変換するのに必要なカラー変換処理を実行する。3つのカラー信号R、G、Bは、ディスプレイ装置175と結合し、ここで各カラー信号は、例えば、受像管内の関連する電子銃(図示せず)などを駆動するのに使用される。ここでの注意点として、RGBマトリックス及びドライバ170が発信する3つのカラー信号R、G、Bは、ディスプレイ装置175と結合させる前に、適切なドライバ回路(図示せず)によって、更に増幅する必要が生じる場合もある。
【0030】
ラスタ発生器190は、ラスタ・クロック信号fRASTに反応して、固定周波数の水平偏向信号H−DEF及び垂直偏向信号V−DEFを従来の方法で発信する。ラスタ・クロック信号fRASTは、従来の方法で表示クロック回路195が発信する。水平及び垂直偏向信号H−DEF、V−DEFは、例えば、受像管内の関連する水平及び垂直偏向コイルをそれぞれ駆動するのに使用される。ここでの注意点として、ラスタ発生器190が発信する水平及び垂直偏向信号H−DEF、V−DEFは、ディスプレイ装置175と結合させる前に、適切なドライバ回路(図示せず)による増幅が必要な場合もある。
【0031】
書き込みアドレス発生器180は、コントローラ200からの制御信号WRITE、及びクロック信号fSYSに反応して、フレーム・バッファ入力制御信号INを発信する。同様に、読み出しアドレス発生器185は、コントローラ200からの制御信号READ、及びクロック信号fRASTに反応して、フレーム・バッファ出力制御信号OUTを発信する。重要な点として、ビデオ信号S7のビデオ情報は、システム・クロックfSYSが決定する速度で、入力フレーム・ストア・バッファ162に保存される。同様に、出力フレーム・ストア・バッファ164のビデオ情報は、ラスタ・クロックfRASTが決定する速度で取り込まれる。従って、例えば27MHz表示クロック(27MHzシステム・クロックfSYSと選択的に関連する場合など)及び81MHzラスタ・クロックfRASTの場合、データがフレーム・バッファ160から取り込まれる速度は保存速度の3倍になる。
【0032】
コントローラ200は、標準的なマイクロプロセッサ、備え付けのメモリ・ユニット、入出力ポート及び付随するサポート回路を使用して、標準的な方法で実施できる。更にコントローラ200は、特殊目的のデジタル信号処理回路を備えることができる。コントローラ200は、ビデオ・デコーダ120からヘッダ・データ信号HDを通じて、デコード済みビデオ信号S4に関するフォーマット、比色定量、その他の情報を受領する。コントローラ200は、この情報とディスプレイ装置175に関する追加情報(ディスプレイ装置のネイティブ・フォーマットなど)を利用して、垂直リサイザ140へ垂直サイズ制御信号VS、水平リサイザ150へ水平サイズ制御信号HS、書き込みアドレス発生器180へ書き込みアドレス制御信号WRITE、読み出しアドレス発生器185へ読み出しアドレス制御信号READを発信する。
【0033】
本発明の実施形態の一つにおいて、前記すべての処理及び保存動作は、処理及び保存条件を最小化するために、4:2:0サンプリング(つまりMPEG YUV)コンポーネント・フォーマットを使用して実行する。
【0034】
図1に例示するDTV受信機100のようなATSC受信機は、少なくともATSCの推奨圧縮フォーマットに従って、ビデオ信号を処理する必要がある。このフォーマットを下の表1に示す。表1において、「P」はプログレッシブ走査を表し、「I」はインタレース走査を表す。更に、表1に示すフレーム・レート数は整数値である。ATSC規格では、フレーム・レート値に1000/1001を乗じることも認めている(つまり、670Hzベースの代わりに59.94Hz)。
【0035】
【表1】
図1のDTV受信機において、通常の独立ビデオ・フォーマット変換及び表示レート変換プロセスは、本発明に従って制御及び調整される。つまり、入力ビデオ信号のビデオ・フォーマットは、デインタレーサ130、垂直リサイザ140、水平リサイザ150を使用して制御される。同様に、表示レート変換プロセスは、書き込みアドレス発生器180及び読み出しアドレス発生器185を使用して制御される。コントローラ200は両方のプロセスを制御し、プロセスの使用を調整して、ディスプレイ装置175に表示される画像に、60Hzディスプレイ装置において24Hzソース・データを使用することによる動画の不具合が含まれないようにする。
【0036】
従って、図1に示すDTV受信機100の実施形態の一つにおいて、ディスプレイ装置175は、60Hz(又は59.94Hz)のフレーム・リフレッシュ・レートで、伝送フォーマットの一つ(いわゆるネイティブ表示フォーマット)を実施するために選択した水平偏向周波数によって動作する。60Hz(又は59.94Hz)のフィールド又はフレーム・レートを有する伝送ビデオ情報は、フレーム・レート変換の対象にならない。対照的に、30Hz(又は29.97Hz)のフレーム・レートを有する伝送ビデオ情報は、2:1フレーム反復を使用して60Hz(又は59.94Hz)に変換される。つまり、コントローラ200は、フレーム・バッファ600の出力フレーム・ストア・バッファ164が、各フレームについて2回、読み出されるようにする。
【0037】
24Hzフレーム・レートは、典型的な3:2フレーム・レート変換プロセスによる望ましくない動画の不具合を発生させずに60Hz(又は30Hz)ディスプレイ装置で表示することはできないため、図1のDTV受信機100は、24Hzビデオがデコードされるときは異なる方法で動作する。具体的には、フォーマット変換プロセスにおける必要性に応じて、24Hz(又は24*1000/1001Hz)ビデオがリサイズされ、最終的にはフレーム・レート変換プロセスで72Hz(又は72*1000/1001Hz)に変換される。ディスプレイ装置175は、24Hzビデオが存在するとき、72Hzリフレッシュ・レートで動作する。注意点として、フォーマット変換プロセスは、以下で説明するように、コントローラ200によって72Hzフレーム・レートに適応化される。
【0038】
もしくは、24Hz(又は24*1000/1001Hz)ビデオは、フォーマット変換プロセスにおける必要性に応じて、最終的にフォーマット変換プロセスで48Hz(又は48*1000/1001Hz)ビデオに変換される。48Hzで動作する場合、本開示内容を利用する当業者は、説明した72Hzの方法及び装置の実施に関連する各種のパラメータを48Hzの方法及び装置に適応させることができる。この48Hz動作は、ディスプレイ装置が液晶ディスプレイ装置であるときに望ましい場合がある。重要な注意点として、整数の倍数(72Hzでは3、48Hzでは2)を利用することで、本発明では、ここで説明した3:2の不具合を回避している。
【0039】
図2は、本発明に従った、光弁ディスプレイを含むDTV受信機の高レベルのブロック図である。図2のDTV受信機200は、図1のDTV受信機100とほとんど同じ方法で動作するため、2つの図の相違点のみを説明する。具体的には、DTV受信機200は、例えば、光弁又はデジタル・マイクロミラ・ディスプレイ(DMD)タイプや、液晶ディスプレイ(LCD)タイプのプロジェクション・ディスプレイを備えるディスプレイ175を含んでいる。そのため、図2のDTV受信機200は、水平及び垂直偏向信号を発信する回路を含まない。この実施形態では、読み出しアドレス発生器185は6/5(つまり、72/60)高い周波数に切り替わっており、24Hz伝送フォーマットが存在するときに、二重バッファ済みフレーム・ディスプレイの72Hz読み出しを提供する。注意点として、24Hz伝送フォーマットの空間フォーマット調整は、通常、こうしたディスプレイでは必要としない。
【0040】
以下の説明では、ディスプレイ装置175が陰極線管(CRT)ディスプレイを備えると仮定する。本発明をCRTベースの受信機において費用効率に優れた方法で実施するためには、CRTディスプレイの水平偏向周波数を一定に保つべきであるため、走査線数の5/6(つまり、60/72)変更が必要となる。走査線数を変更するために、コントローラ200は、垂直リサイザ140がビデオ信号S5の線の数を減らすようにする。フレームを反復(2:1反復)させるために、コントローラ200は、次のフレームを受領する前に、出力フレーム・ストア・バッファ164からの読み出しが2回行われるようにする。また、フレームを2度反復(3:1反復)させるために、コントローラ200は、次のフレームを受領する前に、出力フレーム・ストア・バッファ164からの読み出しが3回行われるようにする。
【0041】
表2は、ビデオ伝送及び表示フォーマットの一覧と、DTV受信機100の場合にこうしたビデオ信号を処理するのに適した処理パラメータを示している。具体的には、この処理パラメータは、64.8kHzの水平走査周波数を有する1920ピクセル×1080ラインのプログレッシブ走査ディスプレイであるディスプレイ装置175の場合に、前記方法でこうしたビデオ信号を処理するのに適している。注意点として、このディスプレイ175は、24Hzソース・ビデオの場合に900ライン・モードで動作する。
【0042】
垂直補間パラメータ(垂直補間)、水平補間パラメータ(水平補間)、フレーム反復パラメータ(フレーム反復)は、特定の伝送フォーマットに反応してコントローラ200が利用する垂直リサイジング係数、水平リサイジング係数、フレーム・レート変換係数をそれぞれ備える。コントローラ200は、前に説明したように、これらのパラメータを修正し、固定水平表示周波数を維持し、24Hzソース・ビデオの場合の動画に関する不具合を回避する。
【0043】
【表2】
表3は上の表2と同じ種類の情報を示しているが、表3では45kHzの水平走査周波数を有する1280ピクセル×720ラインのプログレッシブ走査ディスプレイであるディスプレイ装置175の場合について表している。
【0044】
【表3】
表4は上の表2、3と同じ種類の情報を示しているが、表4では32kHzの水平走査周波数を有する1920ピクセル×1080ラインのインタレース走査ディスプレイであるディスプレイ装置175の場合について表している。注意点として、このディスプレイは、24Hzソース・ビデオの場合、900ライン・モードで動作する。1920×1080のプログレッシブ走査における前記アプローチ(表2)が使用されるが、ディスプレイがインタレースされるという事実に適した修正が施される。
【0045】
この場合、最高速度のデインタレースが必要なのは、480ライン・フォーマット・ビデオで実行する場合のみであるため、デインタレーサ130を実施する際の複雑性や必要なメモリは大幅に減少させることができる。更に注意点として、二重フレーム・バッファ160はインタレース走査フォーマット出力信号S8を発信することができる。
【0046】
【表4】
表5は上の表2〜4と同じ種類の情報を示しているが、表5では22.5kHzの水平走査周波数を有する1280ピクセル×720ラインのインタレース走査ディスプレイであるディスプレイ装置175の場合について表している。注意点として、このディスプレイは、24Hzソース・ビデオの場合、600ライン・モードで動作する。1280×720のプログレッシブ走査における前記アプローチ(表3)が使用されるが、ディスプレイがインタレースされるという事実に適した修正が施される。また、表4に関して述べたように、デインタレーサ130における複雑性や必要なメモリは大幅に減少させることが可能で、読み出しアドレス発生回路185は修正しなければならない。
【0047】
【表5】
表2〜5では、30/11、20/11、15/11といった補間比率が数回発生している。こうした比率はそれぞれ3/1、2/1、3/2に簡略化し、補間の複雑性を減らすことができる。こうした簡略化は、当然ながら、アクティブな画像範囲の縮小につながる。
【0048】
図3は、本発明に従ってビデオ信号を処理する方法300のフローチャートである。具体的には、図3は、図1及び2に示すディスプレイ装置175のようなディスプレイ装置に3:2プルアップによる不具合が伝播しないように、ビデオ信号の最適なフォーマットを行う方法を表すフローチャートである。図3のルーチン300は、例えば、図1及び2のコントローラ200を利用したハードウェア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせによって実施できる。
【0049】
図3のルーチン300はステップ302で開始され、ここで入力ビデオ信号は図1のDTV受信機又は図2のDTV受信機200の何れかが受信する。ステップ304において、ビデオ信号のフォーマット及びフレーム・レートを特定し、このルーチンはステップ306へ続く。ステップ306において、受信したビデオ信号がディスプレイ装置175のネイティブ・フォーマットと互換性があるかどうかの質問が行われる。ステップ306の質問の答えが否定だった場合、ルーチンはステップ308へ進み、ビデオ信号のフォーマットとディスプレイ装置のネイティブ・フォーマットを一致させる。その後、ルーチン300はステップ310へ進む。ステップ306の質問の答えが肯定だった場合、ルーチン300はステップ310へ進む。
【0050】
ステップ310において、受信したビデオ信号のフレーム・レートがほぼ24Hz(24Hzや23.97Hzなど)に等しいかどうかの質問が行われる。ステップ310の質問の答えが否定だった場合、ルーチン300はステップ312へ進み、ここで、受信したビデオ信号のフレーム・レートを3倍にする。つまり、ステップ312において、コントローラ200は、フレーム・レート変換器が入力ビデオ信号のフレーム・レート約24Hzを約72Hzに増加させるようにする。この方法により、毎秒24フレームのビデオ信号を、例えば30Hz又は60Hzフレーム・レートのビデオ信号に変換する際に通常伴う3:2プルアップによる不具合を回避する。
【0051】
これまでに説明した本発明の実施形態は、24Hzビデオ・ソース・ビデオの3:2変換による表示動画の不具合を避ける方法及び装置を提示している。複数ビデオ・フォーマットDTV受信機など、この動作を最適化するのに使用できるフォーマット関連機能は他にもある。例えば、固定水平走査周波数ディスプレイ装置で使用するのに適した同期ビデオ及びタイミング信号を生成するディスプレイ装置タイミング・システムと共に動作する複数フォーマット・ビデオ信号処理システムについては、本願と同日に出願する米国特許出願書09/001952番(弁理士整理番号12713)の中で更に詳しく説明されており、これは参考文献として本願に全て含んでいる。もう一つの例は、受信したビデオ信号のフォーマットに応じて、水平ピーキング、垂直ピーキング、比色定量パラメータといったビデオ・プロセッサ動作の調整を自動的に行うビデオ処理システムで、これについては本願と同日に出願する米国特許出願書09/001620番(弁理士整理番号12669)の中で更に詳しく説明されており、これは参考文献として本願に全て含んでいる。
【0052】
ここでは本発明の内容を取り入れた様々な実施形態について示し、説明してきたが、当業者はこれらの内容を取り入れた他の数多くの各種実施形態を容易に考案できる。
【図面の簡単な説明】
【図1】 図1は、本発明に従ったDTV受信機の高レベルのブロック図である。
【図2】 図2は、本発明に従った、光弁ディスプレイを含むDTV受信機の高レベルのブロック図である。
【図3】 図3は、本発明に従ったビデオ信号処理方法のフローチャートである。

Claims (12)

  1. 複数の伝送表示フォーマットの少なくとも一つに関連するビデオ画像を含む入力デジタルビデオ信号を処理して、ディスプレイ装置での提示に適した出力ビデオ信号を生成する装置であって、
    前記伝送表示フォーマットの各々は、対応する水平サイズと、対応する垂直サイズとを有しており、
    前記ディスプレイ装置は、単一の所定のフレーム・レート関連しており、
    第一の制御信号に応じて、前記入力デジタルビデオ信号水平サイズを適応させて、水平方向にリサイズされたデジタルビデオ信号を生成する水平リサイザ(150)と、
    第二の制御信号に応じて、前記入力デジタルビデオ信号垂直サイズを適応させて、垂直方向にリサイズされたデジタルビデオ信号を生成する垂直リサイザ(140)と、
    第三の制御信号に応じて前記水平方向及び垂直方向にリサイズされたデジタルビデオ信号のフレーム・レートを固定の水平走査周波数の下で適応させて、前記入力デジタルビデオ信号のフレーム・レートが24Hzである場合に前記入力デジタルビデオ信号のフレーム・レートの3倍であって且つ前記入力デジタルビデオ信号のフレーム・レートが24Hzでない場合に前記単一の所定のフレーム・レートに等しい適応フレーム・レートを有するフレーム・レート適応デジタルビデオ信号を生成するフレーム・レート変換器(160)と、
    前記入力デジタルビデオ信号の内部に含まれるビデオ画像の前記伝送表示フォーマットに応じて前記第一、第二、及び第三の制御信号を発信するコントローラ(200)と、を備え、
    前記コントローラが、前記水平リサイザに、前記入力デジタルビデオ信号の水平サイズを、前記ディスプレイ装置互換性があるサイズに適応させるように設定され、
    前記コントローラが、前記垂直リサイザに、前記入力デジタルビデオ信号の垂直サイズを、前記ディスプレイ装置と互換性があるサイズに適応させるように設定され、
    前記入力デジタルビデオ信号のフレーム・レートが24Hzである場合、前記入力デジタルビデオ信号の適応された垂直サイズは、前記入力デジタルビデオ信号のフレーム・レートが24Hzでない場合の前記入力デジタルビデオ信号の垂直サイズに、前記適応フレーム・レートに対する前記単一の所定のフレーム・レートの比率を掛け合わせたサイズに等しく、
    前記コントローラが、入力フレーム・バッファ(162)に、前記水平方向及び垂直方向にリサイズされたデジタルビデオ信号を受信させるように設定され、
    前記コントローラが、出力フレーム・バッファ(164)に、前記フレーム・レート適応デジタルビデオ信号(S8)を生成させるように設定され、
    前記コントローラが、前記入力フレーム・バッファが完全フレームを受信するときに前記入力フレーム・バッファと前記出力フレーム・バッファとをスワップするように設定される装置。
  2. インタレース・デジタルビデオ信号をプログレッシブ走査デジタルビデオ信号に変換するデインタレーサ(130)を更に備え、
    前記デインタレーサは、前記水平リサイザ、前記垂直リサイザ、及び前記フレーム・レート変換器より前に、前記デジタルビデオ信号を処理する請求項1の装置。
  3. 前記フレーム・レート変換器(160)は、前記入力フレーム・バッファ(162)を備え、前記入力フレーム・バッファは、第一のアドレッシング・レートに従って前記水平方向及び垂直方向にリサイズされたデジタルビデオ信号を受信するように設定される請求項2の装置。
  4. 前記ディスプレイ装置で使用するのに適した水平及び垂直偏向信号を導き出すのに使用するのに適したタイミング信号を提供するための表示クロックを更に備える請求項3の装置。
  5. 前記ディスプレイ装置で使用するのに適した水平及び垂直偏向信号を発生するための、前記表示クロックと結合する、ラスタ発生器を更に備える請求項4の装置。
  6. 前記ディスプレイ装置はhラインでpピクセルの伝送表示フォーマットと、所定の固定ライン走査レートとを有し、
    前記コントローラ(200)が、前記適応フレーム・レートが前記単一の所定のフレーム・レート以上となるようにし、
    前記コントローラ(200)が、前記垂直リサイザ(140)に、前記デジタルビデオ信号のフレームあたりのラインの数を、前記固定ライン走査レートと互換性があるように変更させる請求項1の装置。
  7. ディスプレイ装置のラインあたりのピクセルの数pは、デジタルビデオ信号のラインあたりのピクセルの数とは異なっており、
    コントローラ(200)が、水平リサイザに、デジタルビデオ信号のラインあたりのピクセルの数を、ディスプレイ装置のラインあたりのピクセルの数と互換性があるように変更させる請求項6の装置。
  8. ディスプレイ装置は、非インタレース・フォーマットを有し、
    インタレース・フォーマットを有するデインタレース・デジタルビデオ信号のためのデインタレーサ(130)を更に備える請求項6又は7の装置。
  9. ディスプレイ装置に表示された際のデジタル信号のフォーマットに対する、デジタルビデオ信号のフォーマットの関係が、下記の表2、3、4、又は5のいずれかにおいて設定される請求項6、7、又は8のいずれかの装置。
  10. 前記整数は、1、2、又は3のいずれかである請求項1、6、7、又は8のいずれかの装置。
  11. 前記ディスプレイ装置は、光弁、DMD、又はLCDディスプレイ装置のいずれか一つを備える請求項1の装置。
  12. 複数の伝送表示フォーマットの少なくとも一つに関連するビデオ画像を含むデジタルビデオ信号を処理して、ディスプレイ装置での提示に適した出力ビデオ信号を生成する方法であって、
    前記伝送表示フォーマットの各々は、対応する水平サイズと、対応する垂直サイズとを有しており、
    前記ディスプレイ装置は、単一の所定のフレーム・レート関連しており、
    前記入力デジタルビデオ信号水平サイズを適応させて、前記ディスプレイ装置互換性がある水平方向にリサイズされたデジタルビデオ信号を生成するステップと、
    前記入力デジタルビデオ信号垂直サイズを適応させて、前記ディスプレイ装置と互換性がある垂直方向にリサイズされたデジタルビデオ信号を生成するステップと、
    第三の制御信号に応じて前記水平方向及び垂直方向にリサイズされたデジタルビデオ信号のフレーム・レートを固定の水平走査周波数の下で適応させて、前記入力デジタルビデオ信号のフレーム・レートが24Hzである場合に前記入力デジタルビデオ信号のフレーム・レートの3倍であって且つ前記入力デジタルビデオ信号のフレーム・レートが24Hzでない場合に前記単一の所定のフレーム・レートに等しい適応フレーム・レートを有するフレーム・レート適応デジタルビデオ信号を生成するステップと、
    入力フレーム・バッファに、前記水平方向及び垂直方向にリサイズされたデジタルビデオ信号を格納するステップと、
    出力フレーム・バッファから、前記フレーム・レート適応デジタルビデオ信号(S8)を生成するステップと、
    前記入力フレーム・バッファが完全フレームを受信するときに前記入力フレーム・バッファと前記出力フレーム・バッファとをスワップするステップと、
    を備え、前記入力デジタルビデオ信号のフレーム・レートが24Hzである場合、前記入力デジタルビデオ信号の適応された垂直サイズは、前記入力デジタルビデオ信号のフレーム・レートが24Hzでない場合の前記入力デジタルビデオ信号の垂直サイズに、前記適応フレーム・レートに対する前記単一の所定のフレーム・レートの比率を掛け合わせたサイズに等しい方法。
JP2000527089A 1997-12-31 1998-12-31 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換 Expired - Lifetime JP4928666B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US159697A 1997-12-31 1997-12-31
US09/001,596 1997-12-31
PCT/US1998/027542 WO1999034597A1 (en) 1997-12-31 1998-12-31 Format and frame rate comversion for display of 24 hz source video

Publications (3)

Publication Number Publication Date
JP2002500480A JP2002500480A (ja) 2002-01-08
JP2002500480A5 JP2002500480A5 (ja) 2006-02-09
JP4928666B2 true JP4928666B2 (ja) 2012-05-09

Family

ID=21696885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000527089A Expired - Lifetime JP4928666B2 (ja) 1997-12-31 1998-12-31 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換

Country Status (4)

Country Link
EP (1) EP1050162A4 (ja)
JP (1) JP4928666B2 (ja)
AU (1) AU2014199A (ja)
WO (1) WO1999034597A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522363B1 (en) * 1999-07-30 2003-02-18 Thomson Licensing S.A. Display frame rate adaptation
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US20030202119A1 (en) * 2002-04-30 2003-10-30 Koninklijke Philips Electronics N.V. Video processing for electronic cinema
JP2004159191A (ja) 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
JP4226933B2 (ja) * 2003-03-11 2009-02-18 パイオニア株式会社 映像信号処理装置
WO2008018015A1 (en) * 2006-08-09 2008-02-14 Koninklijke Philips Electronics N.V. Image rate increasing
TW201026021A (en) * 2008-12-17 2010-07-01 Wistron Corp Method for processing video and apparatus therefor
CN110618802B (zh) * 2019-10-31 2025-03-04 谱瑞科技股份有限公司 显示适配方法及无帧缓存的显示适配装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153069A (ja) * 1992-10-30 1994-05-31 Sony Corp 画像の変換装置、複製装置、再生装置、および表示装置
JPH06178274A (ja) * 1992-11-30 1994-06-24 Sony Corp 動画像復号化装置
KR950012664B1 (ko) * 1993-08-18 1995-10-19 엘지전자주식회사 1050라인 비월주사식 모니터 디스플레이 영상포맷을 갖는 에치디티브이(hdtv)수신장치
US5452024A (en) * 1993-11-01 1995-09-19 Texas Instruments Incorporated DMD display system
JP3617573B2 (ja) * 1996-05-27 2005-02-09 三菱電機株式会社 フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機

Also Published As

Publication number Publication date
WO1999034597A1 (en) 1999-07-08
EP1050162A4 (en) 2003-05-28
AU2014199A (en) 1999-07-19
EP1050162A1 (en) 2000-11-08
JP2002500480A (ja) 2002-01-08

Similar Documents

Publication Publication Date Title
US6549240B1 (en) Format and frame rate conversion for display of 24Hz source video
US6118486A (en) Synchronized multiple format video processing method and apparatus
US9088686B2 (en) Video signal switching
AU2003248047B2 (en) Method and video processing unit for processing a video signal
US7064790B1 (en) Adaptive video data frame resampling
KR101287728B1 (ko) 디지털 서비스에 대응하는 데이터를 재생 및 전송하기 위한 장치 및 방법
US7333149B2 (en) Apparatus and method for converting analog and digital video format
US7030932B2 (en) Apparatus and method for converting multi-source input images
US6373527B1 (en) High definition television for simultaneously displaying plural images contained in broadcasting signals of mutually different broadcasting systems
JP5494697B2 (ja) 受信装置
EP1011267B1 (en) Receiver for simultaneously displaying signals having different display formats and/or different frame rates and method thereof
KR20000057301A (ko) 다중 포맷의 비디오 신호 프로세서용 메모리 구조
JP4568469B2 (ja) 2つの異なるビデオプログラムを同時に記録及び表示するための方法及び装置
EP0716543B1 (en) Multi-picture television receiver
JP3847826B2 (ja) 字幕データ表示制御装置
US6900845B1 (en) Memory architecture for a multiple format video signal processor
JP4928666B2 (ja) 24Hzソース・ビデオ表示のためのフォーマット及びフレーム・レート変換
JPH08251504A (ja) ビデオディスプレイシステム
KR100385975B1 (ko) 비디오 포맷 변환장치 및 방법
JP2582202B2 (ja) テレビジョン信号伝送装置および伝送方法
KR100943902B1 (ko) 디지털 tv 모니터용 범용 영상 처리 장치
JP2002158939A (ja) デジタル放送対応テレビジョン受信機
JP2004056316A (ja) 映像情報処理装置
JPH07222075A (ja) 映像信号表示方法、映像信号表示装置及びテレビジョン装置
JPH06276435A (ja) テレビジョン受像機

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081022

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090821

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090911

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term