JP4174026B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4174026B2 JP4174026B2 JP2003415364A JP2003415364A JP4174026B2 JP 4174026 B2 JP4174026 B2 JP 4174026B2 JP 2003415364 A JP2003415364 A JP 2003415364A JP 2003415364 A JP2003415364 A JP 2003415364A JP 4174026 B2 JP4174026 B2 JP 4174026B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- data
- frame memory
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 68
- 238000012546 transfer Methods 0.000 description 40
- 230000006837 decompression Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 102100022778 POC1 centriolar protein homolog A Human genes 0.000 description 1
- 101710125073 POC1 centriolar protein homolog A Proteins 0.000 description 1
- 102100022769 POC1 centriolar protein homolog B Human genes 0.000 description 1
- 101710125069 POC1 centriolar protein homolog B Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Storing Facsimile Image Data (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この発明は、表示用のフレームメモリを備える画像処理装置に関し、特に、圧縮されて伝送された画像データやコンピュータグラフィックスでの描画データにより画像を生成するビデオゲーム機やグラフィックコンピュータなど高い可視化(ビジュアライゼーション)性能が要求される場合に好適なものである。 The present invention relates to an image processing apparatus having a frame memory for display, and in particular, high visualization (visual) such as video game machines and graphic computers that generate images based on compressed image data and computer graphics drawing data. It is suitable when performance is required.
例えばコンピュータグラフィックスにおいて、通常、3D(3ディメンション=3次元)グラフィックスシステムと呼ばれるものは、現実感のある物体(描画対象の物体をオブジェクトと称する)を描画するに際して、まず、オブジェクトの表面を複数のポリゴン(描画装置が扱う図形の最小単位(三角形や四角形)をポリゴンという)に分解し、各ポリゴンを、モニター表示画面に対応したフレームメモリ(フレームバッファメモリ)に、順に、描画して、フレームメモリに描画画像データを格納し、これを読み出して前記モニター表示画面に表示することで、立体的に見える画像を再構成する。 For example, in computer graphics, a so-called 3D (three-dimensional = three-dimensional) graphics system usually draws a surface of an object when drawing a realistic object (the object to be drawn is called an object). Decompose into multiple polygons (the smallest unit (triangle or quadrangle) of graphics handled by the drawing device is called a polygon), draw each polygon in turn in a frame memory (frame buffer memory) corresponding to the monitor display screen, Drawing image data is stored in the frame memory, read out and displayed on the monitor display screen, thereby reconstructing a stereoscopically visible image.
上記のような3Dグラフィックスシステムと並列に、例えば画像データがデータ圧縮されて記録さているCD−ROMディスクなどの2次記憶装置と画像伸長装置を組み合わせたデジタル動画再生システムを搭載することがある。デジタル動画再生システムは、3Dグラフィックスシステムよりは対話性は劣るものの、3Dグラフィックスシステムでは表現が困難な画像も容易に再生できる利点を有するので、背景画画面に使用するなど、3Dグラフィックスシステムを補うものとして使用されるものである。 In parallel with the 3D graphics system as described above, a digital moving image reproduction system in which a secondary storage device such as a CD-ROM disk on which image data is compressed and recorded and an image decompression device may be mounted. . Although the digital video playback system is less interactive than the 3D graphics system, it has the advantage of easily playing back images that are difficult to express with the 3D graphics system. It is used as a supplement.
ところで、従来、この種の表示用のフレームメモリ(フレームバッファ)を備える画像処理装置では、フレームメモリに書き込まれる画像データのピクセル(画素)のビット数は、一般に固定である。例えば、ゲーム機などでは、3Dグラフィックスによる描画は、それほど高画質を要求しないので、3原色データR(赤)、G(緑)、B(青)からなる1画素当たりのビット数は、R、G、Bそれぞれ5ビットで、15ビット/画素とされ、32000色の発色の解像度に固定されている。 Conventionally, in an image processing apparatus provided with this kind of display frame memory (frame buffer), the number of bits of pixels of image data written in the frame memory is generally fixed. For example, in a game machine or the like, drawing with 3D graphics does not require so high image quality, so the number of bits per pixel consisting of three primary color data R (red), G (green), and B (blue) is R , G and B are 5 bits each, 15 bits / pixel, and are fixed at a resolution of 32,000 colors.
以上のように、従来は、フレームメモリの1画素当たりのビット数は固定であるため、上記のように、3Dグラフィックスシステムと、デジタル動画再生システムとを組み合わせたシステムにおいて、動画を再生して表示するときに、フレームメモリの容量に余裕があったとしても、15ビット/画素とされ、32000色の発色の解像度しか得られなかった。 As described above, since the number of bits per pixel of the frame memory is conventionally fixed, as described above, in the system combining the 3D graphics system and the digital video playback system, the video is played back. Even when there was a margin in the capacity of the frame memory at the time of display, the resolution was 15 bits / pixel and only a resolution of 32,000 colors was obtained.
この動画の表示を考慮して、フレームメモリの1画素当たりのビット数を、例えばR、G、Bそれぞれ8ビットで、24ビット/画素として、1670万色を表示できるように固定することが考えられるが、これではフレームメモリの表示用のメモリ領域が大きくなり、このビット数は3Dグラフィックスの描画画像には不要であることを考え合わせると、非効率的であった。 Considering the display of this moving image, it is considered that the number of bits per pixel of the frame memory is fixed to be able to display 16.7 million colors, for example, each of R, G, and B is 8 bits and 24 bits / pixel. However, this increases the memory area for display of the frame memory, and considering that this number of bits is not necessary for a 3D graphics drawing image, it is inefficient.
この発明は、以上の点にかんがみ、フレームメモリの1画素当たりのビット数を、表示される画像の画質に合わせて最適化することが可能な画像処理装置を提供することを目的とする。 In view of the above points, an object of the present invention is to provide an image processing apparatus capable of optimizing the number of bits per pixel of a frame memory in accordance with the image quality of a displayed image.
上記課題を解決するため、この発明の画像処理装置は、フレームメモリと、前記フレームメモリに画像データを書き込む描画処理手段と、前記フレームメモリに書き込まれた画像データを、各画素が第1のビット数であるとして読み出す第1の画像データ読み出し手段と、前記フレームメモリに書き込まれた画像データを、各画素が第2のビット数であるとして読み出す第2の画像データ読み出し手段と、前記フレームメモリから前記画像データの読み出しを行う読み出し手段を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記描画処理手段からの切り換え指示に基づいて切り換える第1の切り換え手段と、を備える。 In order to solve the above problems, an image processing apparatus according to the present invention includes a frame memory, a drawing processing means for writing image data in the frame memory, and image data written in the frame memory, each pixel having a first bit First image data reading means for reading out the number of image data, second image data reading means for reading out the image data written in the frame memory as if each pixel has the second number of bits, and the frame memory A first switching unit that reads out the image data from one of the first image data reading unit and the second image data reading unit to the other based on a switching instruction from the drawing processing unit. Switching means .
好適な実施形態では、前記フレームメモリから読み出された画像データをアナログ画像信号に変換するD/A変換器と、前記D/A変換器に対するデータの供給元を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記切り換え指示に基づいて切り換える第2の切り換え手段と、をさらに備えてもよい。 In a preferred embodiment, a D / A converter that converts image data read from the frame memory into an analog image signal, and a data supply source to the D / A converter are the first image data read-out. And a second switching means for switching from one of the means and the second image data reading means to the other based on the switching instruction.
上記の構成のこの発明によれば、認識手段61は、フレームメモリに、画像データが、第1のビット数で書き込まれたのか、第2のビット数で書き込まれたのかを認識している。
According to the present invention having the above-described configuration, the
そして、この認識手段61の認識情報に基づいて、フレームメモリ63から読み出される画像データが、第1のビット数/画素のものであるときには、切換手段SW1、SW2が切り換えられて、第1の画像データ読み出し手段64が選択され、フレームメモリ63から画像データが読み出される。また、フレームメモリ63から読み出される画像データが、第2のビット数/画素のものであるときには、切換手段SW1、SW2が切り換えられて、第2の画像データ読み出し手段65が選択され、フレームメモリ63から画像データが読み出される。
Based on the recognition information of the recognition means 61, when the image data read from the
こうして、フレームメモリ63に書き込み/読み出しされる画像データは、画質に合わせて最適化することができる。
Thus, the image data written / read out to / from the
以下、この発明の一実施例について図面を参照しながら説明する。図1は、この発明の一実施例の画像処理装置の構成例を示すもので、この例は3Dグラフィック機能と、デジタル動画再生機能とを備えるゲーム機の実施例である。 An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows an example of the configuration of an image processing apparatus according to an embodiment of the present invention. This example is an embodiment of a game machine having a 3D graphic function and a digital moving image playback function.
図1において、41はシステムバス(メインバス)である。このシステムバス41には、CPU42、メインメモリ43、ソーティングコントローラ45が接続されている。
In FIG. 1, reference numeral 41 denotes a system bus (main bus). A
システムバス41には、また、画像伸長装置部51が、入力用のFIFOバッファメモリ(以下、FIFOバッファメモリをFIFOバッファと略称する)54及び出力用のFIFOバッファ55を介して接続されている。また、CD−ROMデコーダ52がFIFOバッファ56を介して、描画装置部61がFIFOバッファ62を介して、それぞれシステムバス41に接続されている。
An
描画装置部61には、フレームメモリ63が接続されている。このフレームメモリ63に、後述するようにして、描画命令により形成された描画画像のデータが書き込まれ、また、画像伸長装置部51で伸長デコードされた画像データが書き込まれ、画像モニター装置67に、その再生画像が表示される。
A
また、71は操作入力手段としてのコントロールパッドで、インターフェース72を介してシステムバス41に接続されている。さらに、システムバス41には、ゲーム機としての立ち上げを行うためのプログラムが格納されているブートROM73が接続されている。
Reference numeral 71 denotes a control pad as operation input means, which is connected to the system bus 41 via an
CPU42は、装置全体の管理を行なう。この例の装置においては、フレームメモリ63からの表示画像データを、R、G、Bそれぞれ5ビットの、15ビット/画素の画像データ(以下、これを第1のビット数の画像データという)とする第1のモード(以下、これを通常モードという)と、R、G、Bそれぞれ8ビットの、24ビット/画素の画像データ(以下、これを第2のビット数の画像データという)とする第2のモード(以下、これを高解像度モードという)の2つのモードを選択することができるようにされており、CPU42は、そのモード切り換えを行う。
The
また、このCPU42は、物体を多数のポリゴンの集まりとして描画する場合の処理の一部を行う。すなわち、CPU42は、後述もするように、1画面分の描画画像を生成するための描画命令例をメインメモリ43上に作成する。
In addition, the
また、このCPU42は、キャッシュメモリ46を有し、CPUインストラクションの一部は、システムバス41からフェッチすることなく実行できる。さらに、CPU42には、描画命令を作成する際にポリゴンについての座標変換演算を行なうための座標演算装置部44が、CPU内部コプロセッサとして設けられている。座標演算装置部44は、3次元座標変換及び3次元から表示画面上の2次元への変換の演算を行なう。
The
このように、CPU42は、内部に命令キャッシュ46と座標演算装置部44を有しているため、その処理をシステムバス41を使用しなくても、ある程度行うことができるため、システムバス41を開放しやすい。
As described above, since the
CD−ROMデコーダ52は、CD−ROMドライバ53に接続されており、CD−ROMドライバ53に装着されたCD−ROMディスクに記録されているデータをデコードする。CD−ROMディスクには、アプリケーションプログラム(例えばゲームのプログラム)や、例えば離散コサイン変換(DCT)により画像圧縮された動画や静止画の画像データ、ポリゴンを修飾するためのテクスチャー画像の画像データが記録されている。CD−ROMディスクのアプリケーションプログラムには、ポリゴン描画命令が含まれている。FIFOバッファ56は、CD−ROMディスクの記録データの1セクタ分の容量を有する。
The CD-
画像伸長装置部51は、CD−ROMディスクから再生された圧縮画像データの伸長処理を行なうもので、ハフマン符号のデコーダと、逆量子化回路と、逆離散コサイン変換回路のハードウエアを備える。ハフマン符号のデコーダの部分は、CPU42がソフトウエアとしてその処理を行うようにしてもよい。
The
この例においては、画像伸長装置部51は、圧縮画像データを、15ビット/画素の第1のビット数の画像データに伸長するデコード処理モードと、24ビット/画素の第2のビット数の画像データに伸長するデコード処理モードとの、2つのモードにおけるデコード処理を行うことができる。CPU42は、モード切り換え指示を画像伸長装置部51に対して行う。このモード切り換え指示により、通常モードのときには、画像伸長装置部51は、圧縮画像データを、第1のビット数の画像データにデコードし、高解像度モードのときには、第2のビット数の画像データにデコードする。
In this example, the image
この例の場合、画像伸長装置部51は、後述の図7に示すように、1枚(1フレーム)の画像を、例えば16×16ピクセル(画素)程度の小領域(これを以下マクロブロックと称する)に分割して、このマクロブロック単位で画像伸長デコードを行う。そして、このマクロブロック単位でメインメモリ43との間でデータ転送が行われる。したがって、FIFOバッファ54及び55は、マクロブロック分の容量を備えるものとされている。
In the case of this example, as shown in FIG. 7 to be described later, the
描画装置部61には、ローカルバス11を介してフレームメモリ63が接続されている。描画装置部61は、FIFOバッファ62を介してメインメモリ43から転送されてくる描画命令を実行して、その結果をフレームメモリ63に書き込む。この描画命令による描画の実行は、通常モードでのみ行われる。そして、描画画像データは、15ビット/画素の第1のビット数の画像データである。なお、FIFOバッファ62は、1描画命令分のメモリ容量を有する。
A
フレームメモリ63は、描画画像や動画画像を記憶して表示用とする画像メモリ領域と、テクスチャー画像を記憶するテクスチャー領域と、カラールックアップテーブル(色変換テーブルCLUT)が格納されるテーブルメモリ領域とを備える。カラールックアップテーブルは、通常モード用と、高解像度モード用の2種が用意されるものである。通常モード用は、高解像度モード用の一部を使用することもできる。
The
図2は、フレームメモリ63のメモリ空間を示すものである。フレームメモリ63は、カラムとロウの2次元アドレスでアドレシングされる。この2次元アドレス空間のうち、領域ATがテクスチャー領域とされる。このテクスチャー領域ATには、複数種類のテクスチャーパターンを配置することができる。ACは色変換テーブルCLUTのテーブルメモリ領域である。
FIG. 2 shows the memory space of the
後述するように、色変換テーブルCLUTのデータは、CD−ROMディスクからCD−ROMデコーダ52を通じて、ソーティングコントローラ45により、フレームメモリ63に転送される。CD−ROMディスクのテクスチャー画像のデータは、画像伸長装置部51によりデータ伸長され、メインメモリ43を介してフレームメモリ63に転送される。
As will be described later, the data of the color conversion table CLUT is transferred from the CD-ROM disk to the
また、図2において、ADは画像メモリ領域であり、描画するエリアと、表示するエリアの2面分のフレームバッファ領域を備えている。この例では、現在表示用として用いているフレームバッファ領域を表示バッファ、描画を行っているフレームバッファ領域を描画バッファと呼ぶこととする。この場合、一方を描画バッファとして描画を行っている間は、他方は表示バッファとして用い、描画が終了したら、両バッファを互いに切り換える。この描画バッファと表示バッファの切り換えは、描画終了時に、垂直同期に合わせて行う。 In FIG. 2, AD is an image memory area, and includes a frame buffer area for two areas, a drawing area and a display area. In this example, a frame buffer area currently used for display is referred to as a display buffer, and a frame buffer area where drawing is performed is referred to as a drawing buffer. In this case, while drawing is performed using one as a drawing buffer, the other is used as a display buffer. When drawing is completed, the two buffers are switched to each other. Switching between the drawing buffer and the display buffer is performed in synchronization with vertical synchronization when drawing is completed.
この例においては、フレームメモリ63の表示バッファから読み出しのために、2つの読み出し回路(アンパック回路)が用意される。すなわち、アンパック回路64は、通常モード用の読み出し回路であって、15ビット/1画素(2バイト/1画素と考えることもできる)として、画像データを、15ビット毎にフレームメモリ63の表示バッファから読み出す。また、アンパック回路65は、高解像度モード用の読み出し回路であって、24ビット/1画素(3バイト/1画素)として、画像データを、24ビット毎にフレームメモリ63の表示バッファから読み出す。
In this example, two read circuits (unpack circuits) are prepared for reading from the display buffer of the
これらアンパック回路64及び65は、スイッチSW1及びSW2により切り換えられる。このスイッチSW1及びSW2は、説明のためのものであって、実際的には、これらアンパック回路64及び65の動作オン/オフが切り換え制御信号より切り換えられる。
These unpack
これらアンパック回路64及び65の切り換えは、描画装置部61からの切り換え制御信号より行われる。描画装置部61には、CPU42からモード切り換え指示が与えられるので、描画装置部61は、これに基づいてスイッチSW1,SW2の切り換え制御信号を形成する。CPU42からのモード切り換え指示は、フレームメモリ63の画像メモリ領域ADの表示バッファ領域と描画バッファ領域との切り換え時に与えられる。フレームメモリ63への画像データの書き込み時には、現在書き込んでいるのは、第1のビット数の画像データか、第2の画像データかをCPU42が認識しており、描画装置部61は、単に、転送されてきた画像データをフレームメモリ63の描画バッファに順次に書き込むだけでよい。
Switching between the
以上のようにして、アンパック回路64あるいはアンパック回路65により読み出された画像データは、D/Aコンバータ66によりアナログ画像信号に変換され、画像モニター装置67に出力され、その画面に表示される。なお、D/Aコンバータ66は、モード切り換えに応じて、入力画像データR,G,Bのビット数が変わるので、それに応じた切り換え処理が行われるものである。
As described above, the image data read by the
ソーティングコントローラ45は、いわゆるDMAコントローラと同様の機能を備え、メインメモリ43と画像伸長装置部51との間での画像データの転送を行ったり、メインメモリ43から描画装置部61に描画命令列を転送したりするもので、転送装置部を構成している。このソーティングコントローラ45は、CPU42やコントロールパッド71などの他の装置がシステムバス41を開放している間隙をぬって、CPU42の介在なしに前記の転送処理を行う。この場合、CPU42がシステムバス41の開放をソーティングコントローラ45に知らせるようにすることもできるし、ソーティングコントローラ45が強制的にCPU42にバスの開放を要求するようにすることもできる。
The sorting
メインメモリ43は、動画や静止画の画像データに対しては、圧縮された画像データのメモリ領域と、伸長デコード処理された伸長画像データのメモリ領域とを備えている。また、メインメモリ43は、描画命令列などのグラフィックスデータのメモリ領域(これを以下パケットバッファという)を備える。
The
このパケットバッファは、CPU42による描画命令列の設定と、描画命令列の描画装置部61への転送とに使用され、CPU42と、描画装置部61とが共有することになる。CPU42と、描画装置部61とで処理を並列に動作するようにするため、この例では、描画命令列の設定用のパケットバッファ(以下、これを設定パケットバッファという)と、転送用のパケットバッファ(以下、これを実行パケットバッファという)との2つのパケットバッファが用意されており、一方を設定パケットバッファとしているときには、他方は実行パケットバッファとして使用し、実行パケットバッファで実行が終了したら、2つのパケットバッファの機能を交換するようにしている。
The packet buffer is used for setting the drawing command sequence by the
この装置の処理について以下に説明する。 The processing of this apparatus will be described below.
[CD−ROMディスクからのデータの取り込み]
図1の例の装置(ゲーム機)に電源が投入され、CD−ROMディスクが装填されると、ブートROM73のゲームを実行するためのいわゆる初期化処理をするためのプログラムがCPU42により実行される。そして、CD−ROMディスクの記録データが取り込まれる。このとき、CD−ROMディスクの各セクタのユーザーデータ中の識別用情報IDに基づいて各ユーザーデータのデコード処理がなされ、データのチェックが行われる。このチェック結果により、CPU42は、各IDで示される内容の再生データに応じた処理を実行する。
[Import data from CD-ROM disc]
When the apparatus (game machine) in the example of FIG. 1 is turned on and a CD-ROM disk is loaded, the
すなわち、CD−ROMディスクから、圧縮画像データ、描画命令及びCPU42が実行するプログラムが、CD−ROMドライバ53、CD−ROMデコーダ52を介して読み出され、ソーティングコントローラ45によってメインメモリ43にロードされる。そして、ロードされたデータのうち、色変換テーブルの情報は、フレームメモリ63の領域CLUTに転送される。
That is, compressed image data, a drawing command, and a program executed by the
[描画命令列についての処理と転送]
物体の面を構成するポリゴンは、3次元的な奥行きの情報であるZデータに従って奥行き方向の深い位置にあるポリゴンから順に描画することにより、2次元画像表示面に立体的に画像を表示することができる。CPU42は、このように奥行き方向の深い位置にあるポリゴンから順に、描画装置部61で描画が行われるようにするための描画命令列をメインメモリ43上に作成する。
[Processing and transfer of drawing instruction sequence]
Polygons that make up the surface of an object are displayed in a three-dimensional manner on a two-dimensional image display surface by drawing in order from polygons that are deep in the depth direction according to Z data that is three-dimensional depth information. Can do. The
ところで、コンピュータグラフィックスでは、Zデータを各ピクセル毎にメモリに記憶しておいてポリゴンの表示優先順位を決定するようにする、いわゆるZバッファ法を用いている。しかし、このZバッファ法では、Zデータを記憶するために大容量メモリを使用しなければならない。そこで、この例では、次のようにしてポリゴンの表示優先順位を決定する処理をCPU42が行うようにする。
By the way, in computer graphics, a so-called Z buffer method is used in which Z data is stored in a memory for each pixel and the display priority order of polygons is determined. However, in this Z buffer method, a large capacity memory must be used to store Z data. Therefore, in this example, the
このため、この例では、ポリゴン描画命令IPは、図3Aに示すような構造となっている。すなわち、ポリゴン描画命令IPは、ポリゴン描画データPDの前に、ヘッダを備えており、このヘッダ部分は、タグTGとコマンド識別コードCODEとを備えている。 Therefore, in this example, the polygon drawing command IP has a structure as shown in FIG. 3A. That is, the polygon drawing command IP includes a header before the polygon drawing data PD, and the header portion includes a tag TG and a command identification code CODE.
タグTGには、次の描画命令が格納されているメインメモリ43上のアドレスが書き込まれる。コマンド識別コードCODEには、その描画命令がどのような内容のものであるかを示す識別データIDPと、その描画命令にとって必要な他の情報を含む。ポリゴン描画データPDは、ポリゴンの頂点座標などのデータからなる。描画命令IPが、例えば四角形ポリゴンの描画命令であって、そのポリゴンの中を1色でマッピングする場合には、識別データIDPは、それを示すものとなっており、必要な他の情報としては、マッピングする色データが記述される。
In the tag TG, an address on the
図3Bは、この四角形ポリゴンの描画命令の場合で、ポリゴン描画データPDに、4点の座標(X0,Y0),(X1,Y1),(X2,Y2),(X3,Y3)が記述されており、コマンド識別コードCODEに、そのポリゴンの中を1色でマッピングするための3原色の色データ(R,G,B)を含んでいる。 FIG. 3B is a drawing command of this quadrilateral polygon, and the coordinates (X0, Y0), (X1, Y1), (X2, Y2), (X3, Y3) of four points are described in the polygon drawing data PD. The command identification code CODE includes color data (R, G, B) of three primary colors for mapping the inside of the polygon with one color.
CPU42は、コントロールパッド71からのユーザーの操作入力に基づいて、物体や視点の動きを計算し、メインメモリ43上にポリゴン描画命令列を作成する。ついで、Zデータによって、ポリゴン描画命令列のタグを、表示順序の通りに書き換える。このとき、メインメモリ43上の各描画命令のアドレスは、変更せずに、タグのみを書き換える。
The
この描画命令列が完成すると、ソーティングコントローラ45は、各描画命令のタグTGを順番にたどって、1描画命令毎に、メインメモリ43から描画装置部61に転送する。このため、FIFOバッファ62は、1描画命令分の容量を備えていればよい。
When the drawing command sequence is completed, the sorting
描画装置部61では、送られてきたデータが、既にソートされた状態にあるので、図4に示すようにして、ポリゴン描画命令IP1,IP2,IP3,…,IPnを、そのタグTG1,TG2,TG3,…,TGnに従って順次実行してフレームメモリ63の画像メモリ領域ADに結果を格納する。
In the
このポリゴン描画の際、データは、描画装置部61の勾配計算ユニットに送られ、勾配計算が行なわれる。勾配計算は、ポリゴン描画で多角形の内側をマッピングデータで埋めていく際、マッピングデータの平面の傾きを求める計算である。テクスチャーの場合はテクスチャー画像データでポリゴンが埋められ、また、グーローシェーディングの場合は輝度値でポリゴンが埋められる。
At the time of drawing the polygon, the data is sent to the gradient calculation unit of the
物体の表面を構成するポリゴンにテクスチャーを貼り付ける場合には、テクスチャー領域ATのテクスチャーデータが2次元写像変換される。例えば、図5Aに示すようなテクスチャーパターンT1,T2,T3は、図5Bに示すような物体の各面のポリゴンに適合するように、2次元スクリーン上の座標に変換される。このように写像変換されたテクスチャーパターンT1,T2,T3が図5Cに示すように、物体OB1の表面に貼り付けられる。そして、これが、画像メモリ領域ADに配置され、画像表示モニター65の表示画面上に表示される。
When a texture is pasted on a polygon constituting the surface of an object, the texture data in the texture area AT is two-dimensionally mapped. For example, texture patterns T1, T2, and T3 as shown in FIG. 5A are converted into coordinates on a two-dimensional screen so as to match the polygons on each surface of the object as shown in FIG. 5B. The texture patterns T1, T2, T3 thus mapped are pasted on the surface of the object OB1, as shown in FIG. 5C. This is arranged in the image memory area AD and displayed on the display screen of the
静止画テクスチャーの場合には、メインメモリ43上のテクスチャーパターンが、描画装置部61を介して、フレームメモリ63上のテクスチャー領域ATに転送される。描画装置部61は、これをポリゴンに貼り付ける。これにより、物体に静止画のテクスチャーが実現される。この静止画のテクスチャーパターンのデータは、CD−ROMディスクに記録しておくことができる。
In the case of a still image texture, the texture pattern on the
さらに、動画のテクスチャーが可能である。動画テクスチャーの場合には、後述するように、画像伸長装置部51で伸長デコードされた動画データはフレームメモリ63上のテクスチャー領域ATに送られる。テクスチャー領域ATは、フレームメモリ63内に設けられているので、テクスチャーパターン自身も、フレーム毎に書き換えることが可能である。このように、テクスチャー領域ATに動画を送ると、テクスチャーが1フレーム毎に動的に書き換えられて変化する。このテクスチャー領域ATの動画により、ポリゴンへのテクスチャーマッピングを行えば、動画のテクスチャーが実現される。
Furthermore, animation textures are possible. In the case of a moving image texture, the moving image data decompressed and decoded by the
[圧縮画像データの伸長及び転送]
メインメモリ43の入力データのうち、圧縮画像データは、CPU42がハフマン符号のデコード処理を行った後、再びCPU42によりメインメモリ43に書き込まれる。そして、ソーティングコントローラ45は、このハフマン符号のデコード処理後の画像データをメインメモリ43からFIFOバッファ54を介して画像伸長装置部51に転送する。これに先立ち、CPU42から画像伸長装置部51には、通常モードでのデコードを行うか、高解像度モードでのデコードを行うかの指示が与えられる。画像伸長装置部51は、逆量子化の処理と、逆DCTの処理を行って、CPU42からの指示にしたがったモードで画像データの伸長デコード処理を行う。
[Decompression and transfer of compressed image data]
Of the input data to the
伸長された画像データは、ソーティングコントローラ45が、FIFOバッファ55を介してメインメモリ43に転送する。この場合、画像伸長装置部51は、前述したように、マクロブロック単位で画像データの伸長処理を行う。このため、メインメモリ43からは前記マクロブロック単位の圧縮データが入力用FIFOバッファ54に、ソーティングコントローラ45により転送される。そして、画像伸長装置部51は、1マクロブロックの伸長デコード処理が終了すると、その結果の伸長画像データを出力用FIFOバッファ55に入れると共に、入力用FIFOバッファ54から次のマクロブロックの圧縮データを取り出して、伸長デコード処理を行う。
The expanded image data is transferred to the
ソーティングコントローラ45は、システムバス41が開放されていて、かつ、画像伸長装置部51の出力用FIFOバッファ55が空でなければ、1マクロブロックの伸長画像データをメインメモリ43に転送し、次の1マクロブロックの圧縮画像データをメインメモリ43から画像伸長装置部51の入力用FIFOバッファ54に転送する。
The sorting
CPU42は、伸長された画像データのマクロブロックが一定量、メインメモリ43に蓄積された時点で、当該伸長データを描画装置部61を介してフレームメモリ63に転送する。この際に、伸長画像データがフレームメモリ63の画像メモリ領域ADに転送されれば、そのまま背景動画像として画像モニター装置65で表示されることになる。また、フレームメモリ63のテクスチャー領域ATに転送される場合もある。このテクスチャー領域ATの画像データは、テクスチャー画像として、ポリゴンの修飾に使用される。
The
この場合に、背景動画像に描画画像が合成されるときには、その背景動画像の画像データは、通常モードの第1のビット数の画像データとして伸長デコードされ、フレームメモリ63に転送される。また、伸長された画像データがテクスチャー領域ATに転送される場合も同様に、通常モードの第1のビット数の画像データとして伸長デコードされる。描画画像のデータは第1のビット数で形成されるからである。そして、描画画像と合成されない背景画の場合には、高解像度の第2のビット数の画像データとして伸長デコードされる。
In this case, when the drawing image is combined with the background moving image, the image data of the background moving image is decompressed and decoded as image data having the first number of bits in the normal mode and transferred to the
なお、画像伸長装置部51で伸長デコードされた画像データを、メインメモリ43からフレームメモリ63に転送する場合には、この例においては、以下に示すような転送命令を使用する。このように、伸長画像データを転送命令形式に変換するのは、CPU42で行う。
When image data decompressed and decoded by the
すなわち、図6は、この転送命令の構造を示す図である。この転送命令は、描画命令とほぼ同様の形式を有するもので、先頭にタグTGを備え、その次に識別データIDPを備える。タグTGは、描画命令と同様に、次の描画命令あるいは転送命令が格納されているメインメモリ43のアドレス値からなる。識別データIDPには、これが伸長画像データの転送命令であること示すデータが記述される。
That is, FIG. 6 shows the structure of this transfer instruction. This transfer command has substantially the same format as the drawing command, and includes a tag TG at the head and then identification data IDP. The tag TG is composed of an address value of the
そして、図6において、次のデータ「H」と「W」は、転送する伸長データ領域の高さ及び幅を示すものである。この転送領域の高さ及び幅は、1フレーム分の画面における領域に対応している。また、データ「X」と「Y」は、転送先の座標を示している。この座標は、転送領域が矩形であるので、その矩形領域の左上の座標を示している。そして、この座標は、転送先がフレームメモリ63の画像メモリ領域AD内であれば、その領域AD内の座標であり、テクスチャー領域AT内であれば、その領域AT内の座標である。
In FIG. 6, the next data “H” and “W” indicate the height and width of the decompressed data area to be transferred. The height and width of this transfer area correspond to the area on the screen for one frame. Data “X” and “Y” indicate the coordinates of the transfer destination. Since the transfer area is a rectangle, this coordinate indicates the upper left coordinate of the rectangle area. The coordinates are coordinates in the area AD if the transfer destination is in the image memory area AD of the
この伸長画像データの転送命令の場合、以上のタグTGから座標「X」、「Y」まではヘッダであり、識別データIDPからヘッダの大きさが識別される。識別データIDPから座標「X」、「Y」までは、図3の描画命令のコマンド識別コードCODEに対応する。 In the case of the transfer instruction of the decompressed image data, the above tags TG to the coordinates “X” and “Y” are headers, and the size of the header is identified from the identification data IDP. From the identification data IDP to the coordinates “X” and “Y” correspond to the command identification code CODE of the drawing command in FIG.
このヘッダに続いて伸長画像データの画素データPIX0、PIX1、PIX2、…、PIXnが、この転送命令に含まれる。前述したように、各画素データは、通常モードでは15ビットであり、高解像度モードでは24ビットである。そして、この転送命令の単位で、ソーティングコントローラ45により、メインメモリ43から描画装置部61を介してフレームメモリ63に伸長画像データが転送される。
Following this header, pixel data PIX0, PIX1, PIX2,..., PIXn of decompressed image data are included in this transfer command. As described above, each pixel data is 15 bits in the normal mode and 24 bits in the high resolution mode. The decompressed image data is transferred from the
ところで、上述したように、画像伸長装置部51は、1フレームの画像を横×縦=16×16画素からなるマクロブロックに分割してマクロブロック単位で伸長デコードを行っている。今、例えば、1フレームが横×縦=320×240の画素からなる画像を想定した場合、図7に示すように、1フレームは、300個のマクロブロックに分けられる。
By the way, as described above, the
この300個のマクロブロックを描画装置部61に転送するに当たって、マクロブロック単位で転送命令を作成した場合には、ヘッダ部分のオーバーヘッドが大き過ぎるものとなる。そこで、この例では、図8に示すように、縦方向の1列の複数個(図8では15個)のマクロブロックを繋げて、これを転送命令で送る単位とするようにしている。
In transferring these 300 macroblocks to the
1フレームの最初の転送命令の例を図9に示す。すなわち、図9では、座標「X」「Y」が「0」「0」となっている。次の転送命令では、その座標「X」「Y」が「16」「0」となる。 An example of the first transfer command of one frame is shown in FIG. That is, in FIG. 9, the coordinates “X” and “Y” are “0” and “0”. In the next transfer command, the coordinates “X” and “Y” become “16” and “0”.
このように、伸長画像データも、描画命令と同様の形式の転送命令形式に変換したので、タグTGを利用することにより、ポリゴンの描画命令と、転送命令とを混在させてソーティングコントローラ45による転送ならびに、描画装置部61によるフレームメモリ63での画像の描画、生成を実行することができる。
As described above, since the decompressed image data is also converted into a transfer command format similar to the rendering command, the polygon drawing command and the transfer command are mixed and transferred by the sorting
[フレームメモリ63からの画像データ読み出し処理の説明]
まず、CPU42は、フレームメモリ63の画像メモリ領域ADの一方のフレームバッファ領域A(表示バッファとなっている)の画像データを画像モニター装置67に出力するように描画装置部61に対して命令を出す。このとき、通常モードか、高解像度モードかを指示するモード切り換え制御信号も、CPU42は、描画装置部61に送る。
[Description of Image Data Reading Process from Frame Memory 63]
First, the
通常モードが指定されたときは、描画装置部61は、スイッチSW1及びSW2をN側に切り換え、アンパック回路64を選択する。このとき、フレームメモリ63の画像メモリ領域ADの表示バッファには、図10Aで楕円で囲んで示すように、画素データPIXのそれぞれは15ビット(2バイト)毎に書き込まれた状態となっている。
When the normal mode is designated, the
アンパック回路64は、前述したように、フレームメモリ63の画像メモリ領域ADの表示バッファから15ビット(2バイト)毎に画像データを読み出し、読み出した画像データをD/Aコンバータ66に順次転送してアナログ画像信号に変換する。これにより、画像モニター装置67の画面には、その再生画像が映出される。この例の場合、この通常モードで表示されるのは、(1)描画画像のみ、(2)描画されたポリゴンにテクスチャー画像が張り付けられた合成画像、(3)伸長デコードにより得られた15ビット/画素の動画または静止画からなる背景画中に多数のポリゴンとして描画された描画画像が合成されたもの、(4)伸長デコードにより得られた15ビット/画素の動画または静止画のみ、などである。
As described above, the
高解像度モードが指定されたときは、描画装置部61は、スイッチSW1及びSW2をH側に切り換え、アンパック回路65を選択する。このとき、フレームメモリ63の画像メモリ領域ADの表示バッファには、図10Bで楕円で囲んで示すように、画素データPIXのそれぞれは24ビット(3バイト)毎に書き込まれた状態となっている。
When the high resolution mode is designated, the
アンパック回路65は、フレームメモリ63の画像メモリ領域ADの表示バッファから24ビット(3バイト)毎に画像データを読み出し、読み出した画像データをD/Aコンバータ66に順次転送してアナログ画像信号に変換する。これにより、画像モニター装置67の画面には、その再生画像が映出される。この例の場合、この高解像度モードで表示されるのは、伸長デコードにより得られた24ビット/画素の動画または静止画である。
The
この一方のフレームバッファAの画像データの読み出しの間に、CPU42は、次に描画装置部61に転送するデータをメインメモリ43において生成する。描画命令列の生成の場合には、コントロールパッド71の操作入力を読み込み、この操作入力に応じて、メインメモリ43の一方のパケットバッファ(設定パケットバッファとなっている)の描画命令列の座標値を更新すると共に、描画命令列の各描画命令のタグを書き換える。伸長画像データの場合には、前述したような転送命令形式のデータに変換する。15ビット/画素の伸長画像データか、24ビット/画素の伸長画像データかは、CPU42が認識している。
During the reading of the image data from one frame buffer A, the
そして、CPU42による描画命令生成処理あるいは伸長画像データの転送命令形式への変更処理の間隙をぬって、ソーティングコントローラ45により、他方のフレームバッファ領域B(描画バッファとなっている)には、メインメモリ43から描画命令列あるいは伸長画像データが転送される。このとき転送されるデータが描画命令列か、15ビット/画素の伸長画像データか、24ビット/画素の伸長画像データかは、CPU42が認識していることになる。
Then, through the drawing command generation processing by the
次に、メインメモリ43からの描画命令列や転送命令列がすべて描画装置部61に転送されたとき、CPU42は、フレームメモリ63の他方のフレームバッファ領域Bを表示バッファとして、これより描画画像データや伸長画像データを読み出して、画像モニター装置65に出力するように、描画装置部61に対して命令を出す。このとき、前述と同様に、通常モードか、高解像度モードかを指示するモード切り換え制御信号も、CPU42は、描画装置部61に送るので、描画装置部61は、前述と同様にして、スイッチSW1及びSW2の切り換えを行い、通常モードと高解像度モードに応じた読み出し処理を行う。なお、このとき、同時に、フレームメモリ63のフレームバッファ領域Aは描画バッファに切り換えられる。
Next, when all drawing command sequences and transfer command sequences from the
そして、他方のフレームバッファ領域Bを表示バッファ領域として画像データを読み出している間に、前述したようにして、CPU42は、次に描画装置部61に転送するデータをメインメモリ43において生成する。そして、CPU42による描画命令生成処理あるいは伸長画像データの転送命令形式への変更処理の間隙をぬって、ソーティングコントローラ45により、一方のフレームバッファ領域A(描画バッファとなっている)には、メインメモリ43から描画命令列あるいは伸長画像データが転送される。
Then, while reading out image data using the other frame buffer area B as a display buffer area, the
以上の動作を繰り返し行うことにより、動きのある画像が表示できる。しかも、通常モードと高解像度モードとに応じてアンパック回路64、65を切り換えて、フレームメモリ63に書き込まれている画像データの画質に応じた読み出し処理が行われるものである。
By repeating the above operations, a moving image can be displayed. In addition, the unpacking
なお、以上の説明では、1画素当たりのビット数が2通りの場合を例にとったが、3通り以上の場合であっても、同様にこの発明を適用できることはいうまでもない。 In the above description, the case where the number of bits per pixel is two has been taken as an example, but it goes without saying that the present invention can be similarly applied even when there are three or more.
また、以上の例では、CD−ROMディスクに画像データやアプリケーションプログラムを記録したが、記録媒体としては、例えば磁気ディスク、メモリカードのような半導体メモリなどの他の記録媒体を使用することもできる。 In the above example, image data and application programs are recorded on the CD-ROM disc. However, as the recording medium, other recording media such as a magnetic disk and a semiconductor memory such as a memory card can be used. .
また、画像のデータ圧縮方法としては、DCTを使用したが、その他、種々の画像データ圧縮方法を使用することができる。 Further, although DCT is used as an image data compression method, various other image data compression methods can be used.
41 システムバス
42 CPU
43 メインメモリ
44 座標演算装置部
45 ソーティングコントローラ
46 キャッシュメモリ
51 画像伸長装置部
52 CD−ROMデコーダ
53 CD−ROMドライバ
54、55 FIFOバッファ
61 描画装置部
62 FIFOバッファ
63 フレームメモリ
65 画像表示モニター装置
71 コントロールパッド
AD 画像メモリ領域
AT テクスチャー領域
PIX 画素
41
43
Claims (3)
各画素の3原色データR、G、Bがそれぞれ第1ビット数のデータで構成されている画像データを前記フレームメモリに書き込む処理と、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数と異なる第2ビット数のデータで構成されている画像データを前記フレームメモリに書き込む処理とを行う描画処理手段と、
前記フレームメモリに書き込まれた画像データを、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されている画像データであるとして読み出す第1の画像データ読み出し手段と、
前記フレームメモリに書き込まれた画像データを、各画素の3原色データR、G、Bがそれぞれ前記第2ビット数のデータで構成されている画像データであるとして読み出す第2の画像データ読み出し手段と、
前記フレームメモリから前記画像データの読み出しを行う読み出し手段を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記描画処理手段からの切り換え指示に基づいて切り換える第1の切り換え手段と、を備える画像処理装置。 Frame memory,
A process of writing image data in which the three primary color data R, G, B of each pixel is composed of data of the first bit number to the frame memory, and the three primary color data R, G, B of each pixel are Rendering processing means for performing processing of writing image data composed of data of a second bit number different from the number of 1 bits into the frame memory;
First image data reading means for reading out the image data written in the frame memory on the assumption that the three primary color data R, G, B of each pixel are image data composed of the data of the first number of bits, respectively. ,
Second image data reading means for reading out the image data written in the frame memory on the assumption that the three primary color data R, G, B of each pixel are image data composed of the data of the second number of bits, respectively ; ,
Read means for reading the image data from the frame memory is changed from one of the first image data read means and the second image data read means to the other based on a switching instruction from the drawing processing means. And a first switching means for switching.
前記D/A変換器に対するデータの供給元を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記切り換え指示に基づいて切り換える第2の切り替え手段と、をさらに備える請求項1記載の画像処理装置。 A D / A converter for converting image data read from the frame memory into an analog image signal;
Second switching means for switching a data supply source to the D / A converter from one of the first image data reading means and the second image data reading means to the other based on the switching instruction. The image processing apparatus according to claim 1, further comprising:
前記フレームメモリには、テクスチャーを格納するためのテクチャー領域と、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段が読み出す画像データを格納する画像領域と、が設けられていて、
前記描画処理手段は、
各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されているポリゴンの描画を行う際、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されているテクスチャーを前記テクスチャー領域に格納しておいて、該ポリゴンを前記画像領域に格納し、該格納したポリゴンに前記格納されているテクスチャーを貼り付ける処理を行うこと
を特徴とする画像処理装置。
The image processing apparatus according to claim 1, wherein:
The frame memory is provided with a texture area for storing texture, and an image area for storing image data read by the first image data reading means and the second image data reading means,
The drawing processing means includes:
When rendering a polygon in which the three primary color data R, G, and B of each pixel are composed of the data of the first bit number, the three primary color data R, G, and B of each pixel are the first bit number, respectively. A texture composed of the data is stored in the texture area, the polygon is stored in the image area, and the stored texture is pasted on the stored polygon. An image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003415364A JP4174026B2 (en) | 2003-12-12 | 2003-12-12 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003415364A JP4174026B2 (en) | 2003-12-12 | 2003-12-12 | Image processing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6093738A Division JPH07281652A (en) | 1994-04-07 | 1994-04-07 | Image processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004170998A JP2004170998A (en) | 2004-06-17 |
JP4174026B2 true JP4174026B2 (en) | 2008-10-29 |
Family
ID=32709342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003415364A Expired - Lifetime JP4174026B2 (en) | 2003-12-12 | 2003-12-12 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4174026B2 (en) |
-
2003
- 2003-12-12 JP JP2003415364A patent/JP4174026B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004170998A (en) | 2004-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1306808B1 (en) | Image data generation | |
JP3492761B2 (en) | Image generation method and apparatus | |
KR100411534B1 (en) | Video data generation method, generation device and generation circuit, and game playback device | |
KR100363504B1 (en) | Image processing device | |
JP3454914B2 (en) | Image generation method and image generation device | |
KR100340311B1 (en) | Image generating apparatus and method | |
JP4174026B2 (en) | Image processing device | |
JP3735325B2 (en) | Image generator | |
JP3548642B2 (en) | Image information generating apparatus and method, image information processing apparatus and method, and recording medium | |
JP3238567B2 (en) | Image generation method and apparatus | |
CA2350844C (en) | Method and apparatus for producing a polygonal image representation through operation of plotting commands on image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050706 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051220 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060119 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080815 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |