[go: up one dir, main page]

JP4174026B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4174026B2
JP4174026B2 JP2003415364A JP2003415364A JP4174026B2 JP 4174026 B2 JP4174026 B2 JP 4174026B2 JP 2003415364 A JP2003415364 A JP 2003415364A JP 2003415364 A JP2003415364 A JP 2003415364A JP 4174026 B2 JP4174026 B2 JP 4174026B2
Authority
JP
Japan
Prior art keywords
image data
image
data
frame memory
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003415364A
Other languages
Japanese (ja)
Other versions
JP2004170998A (en
Inventor
禎治 豊
雅一 鈴置
真 古橋
正善 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2003415364A priority Critical patent/JP4174026B2/en
Publication of JP2004170998A publication Critical patent/JP2004170998A/en
Application granted granted Critical
Publication of JP4174026B2 publication Critical patent/JP4174026B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Storing Facsimile Image Data (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

産業上の利用分野Industrial application fields

この発明は、表示用のフレームメモリを備える画像処理装置に関し、特に、圧縮されて伝送された画像データやコンピュータグラフィックスでの描画データにより画像を生成するビデオゲーム機やグラフィックコンピュータなど高い可視化(ビジュアライゼーション)性能が要求される場合に好適なものである。   The present invention relates to an image processing apparatus having a frame memory for display, and in particular, high visualization (visual) such as video game machines and graphic computers that generate images based on compressed image data and computer graphics drawing data. It is suitable when performance is required.

例えばコンピュータグラフィックスにおいて、通常、3D(3ディメンション=3次元)グラフィックスシステムと呼ばれるものは、現実感のある物体(描画対象の物体をオブジェクトと称する)を描画するに際して、まず、オブジェクトの表面を複数のポリゴン(描画装置が扱う図形の最小単位(三角形や四角形)をポリゴンという)に分解し、各ポリゴンを、モニター表示画面に対応したフレームメモリ(フレームバッファメモリ)に、順に、描画して、フレームメモリに描画画像データを格納し、これを読み出して前記モニター表示画面に表示することで、立体的に見える画像を再構成する。   For example, in computer graphics, a so-called 3D (three-dimensional = three-dimensional) graphics system usually draws a surface of an object when drawing a realistic object (the object to be drawn is called an object). Decompose into multiple polygons (the smallest unit (triangle or quadrangle) of graphics handled by the drawing device is called a polygon), draw each polygon in turn in a frame memory (frame buffer memory) corresponding to the monitor display screen, Drawing image data is stored in the frame memory, read out and displayed on the monitor display screen, thereby reconstructing a stereoscopically visible image.

上記のような3Dグラフィックスシステムと並列に、例えば画像データがデータ圧縮されて記録さているCD−ROMディスクなどの2次記憶装置と画像伸長装置を組み合わせたデジタル動画再生システムを搭載することがある。デジタル動画再生システムは、3Dグラフィックスシステムよりは対話性は劣るものの、3Dグラフィックスシステムでは表現が困難な画像も容易に再生できる利点を有するので、背景画画面に使用するなど、3Dグラフィックスシステムを補うものとして使用されるものである。   In parallel with the 3D graphics system as described above, a digital moving image reproduction system in which a secondary storage device such as a CD-ROM disk on which image data is compressed and recorded and an image decompression device may be mounted. . Although the digital video playback system is less interactive than the 3D graphics system, it has the advantage of easily playing back images that are difficult to express with the 3D graphics system. It is used as a supplement.

ところで、従来、この種の表示用のフレームメモリ(フレームバッファ)を備える画像処理装置では、フレームメモリに書き込まれる画像データのピクセル(画素)のビット数は、一般に固定である。例えば、ゲーム機などでは、3Dグラフィックスによる描画は、それほど高画質を要求しないので、3原色データR(赤)、G(緑)、B(青)からなる1画素当たりのビット数は、R、G、Bそれぞれ5ビットで、15ビット/画素とされ、32000色の発色の解像度に固定されている。   Conventionally, in an image processing apparatus provided with this kind of display frame memory (frame buffer), the number of bits of pixels of image data written in the frame memory is generally fixed. For example, in a game machine or the like, drawing with 3D graphics does not require so high image quality, so the number of bits per pixel consisting of three primary color data R (red), G (green), and B (blue) is R , G and B are 5 bits each, 15 bits / pixel, and are fixed at a resolution of 32,000 colors.

以上のように、従来は、フレームメモリの1画素当たりのビット数は固定であるため、上記のように、3Dグラフィックスシステムと、デジタル動画再生システムとを組み合わせたシステムにおいて、動画を再生して表示するときに、フレームメモリの容量に余裕があったとしても、15ビット/画素とされ、32000色の発色の解像度しか得られなかった。   As described above, since the number of bits per pixel of the frame memory is conventionally fixed, as described above, in the system combining the 3D graphics system and the digital video playback system, the video is played back. Even when there was a margin in the capacity of the frame memory at the time of display, the resolution was 15 bits / pixel and only a resolution of 32,000 colors was obtained.

この動画の表示を考慮して、フレームメモリの1画素当たりのビット数を、例えばR、G、Bそれぞれ8ビットで、24ビット/画素として、1670万色を表示できるように固定することが考えられるが、これではフレームメモリの表示用のメモリ領域が大きくなり、このビット数は3Dグラフィックスの描画画像には不要であることを考え合わせると、非効率的であった。   Considering the display of this moving image, it is considered that the number of bits per pixel of the frame memory is fixed to be able to display 16.7 million colors, for example, each of R, G, and B is 8 bits and 24 bits / pixel. However, this increases the memory area for display of the frame memory, and considering that this number of bits is not necessary for a 3D graphics drawing image, it is inefficient.

この発明は、以上の点にかんがみ、フレームメモリの1画素当たりのビット数を、表示される画像の画質に合わせて最適化することが可能な画像処理装置を提供することを目的とする。   In view of the above points, an object of the present invention is to provide an image processing apparatus capable of optimizing the number of bits per pixel of a frame memory in accordance with the image quality of a displayed image.

上記課題を解決するため、この発明の画像処理装置は、フレームメモリと、前記フレームメモリに画像データを書き込む描画処理手段と、前記フレームメモリに書き込まれた画像データを、各画素が第1のビット数であるとして読み出す第1の画像データ読み出し手段と、前記フレームメモリに書き込まれた画像データを、各画素が第2のビット数であるとして読み出す第2の画像データ読み出し手段と、前記フレームメモリから前記画像データの読み出しを行う読み出し手段を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記描画処理手段からの切り換え指示に基づいて切り換える第1の切り換え手段と、を備えるIn order to solve the above problems, an image processing apparatus according to the present invention includes a frame memory, a drawing processing means for writing image data in the frame memory, and image data written in the frame memory, each pixel having a first bit First image data reading means for reading out the number of image data, second image data reading means for reading out the image data written in the frame memory as if each pixel has the second number of bits, and the frame memory A first switching unit that reads out the image data from one of the first image data reading unit and the second image data reading unit to the other based on a switching instruction from the drawing processing unit. Switching means .

好適な実施形態では、前記フレームメモリから読み出された画像データをアナログ画像信号に変換するD/A変換器と、前記D/A変換器に対するデータの供給元を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記切り換え指示に基づいて切り換える第2の切り換え手段と、をさらに備えてもよい。  In a preferred embodiment, a D / A converter that converts image data read from the frame memory into an analog image signal, and a data supply source to the D / A converter are the first image data read-out. And a second switching means for switching from one of the means and the second image data reading means to the other based on the switching instruction.

作用Action

上記の構成のこの発明によれば、認識手段61は、フレームメモリに、画像データが、第1のビット数で書き込まれたのか、第2のビット数で書き込まれたのかを認識している。   According to the present invention having the above-described configuration, the recognition unit 61 recognizes whether the image data has been written in the frame memory with the first number of bits or the second number of bits.

そして、この認識手段61の認識情報に基づいて、フレームメモリ63から読み出される画像データが、第1のビット数/画素のものであるときには、切換手段SW1、SW2が切り換えられて、第1の画像データ読み出し手段64が選択され、フレームメモリ63から画像データが読み出される。また、フレームメモリ63から読み出される画像データが、第2のビット数/画素のものであるときには、切換手段SW1、SW2が切り換えられて、第2の画像データ読み出し手段65が選択され、フレームメモリ63から画像データが読み出される。   Based on the recognition information of the recognition means 61, when the image data read from the frame memory 63 is of the first number of bits / pixel, the switching means SW1 and SW2 are switched so that the first image The data reading means 64 is selected, and image data is read from the frame memory 63. When the image data read from the frame memory 63 is the second number of bits / pixel, the switching means SW1 and SW2 are switched to select the second image data reading means 65, and the frame memory 63 is selected. Image data is read out from.

こうして、フレームメモリ63に書き込み/読み出しされる画像データは、画質に合わせて最適化することができる。   Thus, the image data written / read out to / from the frame memory 63 can be optimized according to the image quality.

以下、この発明の一実施例について図面を参照しながら説明する。図1は、この発明の一実施例の画像処理装置の構成例を示すもので、この例は3Dグラフィック機能と、デジタル動画再生機能とを備えるゲーム機の実施例である。   An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows an example of the configuration of an image processing apparatus according to an embodiment of the present invention. This example is an embodiment of a game machine having a 3D graphic function and a digital moving image playback function.

図1において、41はシステムバス(メインバス)である。このシステムバス41には、CPU42、メインメモリ43、ソーティングコントローラ45が接続されている。   In FIG. 1, reference numeral 41 denotes a system bus (main bus). A CPU 42, a main memory 43, and a sorting controller 45 are connected to the system bus 41.

システムバス41には、また、画像伸長装置部51が、入力用のFIFOバッファメモリ(以下、FIFOバッファメモリをFIFOバッファと略称する)54及び出力用のFIFOバッファ55を介して接続されている。また、CD−ROMデコーダ52がFIFOバッファ56を介して、描画装置部61がFIFOバッファ62を介して、それぞれシステムバス41に接続されている。   An image decompression unit 51 is connected to the system bus 41 via an input FIFO buffer memory (hereinafter, FIFO buffer memory is abbreviated as a FIFO buffer) 54 and an output FIFO buffer 55. Further, the CD-ROM decoder 52 is connected to the system bus 41 via the FIFO buffer 56, and the drawing device unit 61 is connected to the system bus 41 via the FIFO buffer 62.

描画装置部61には、フレームメモリ63が接続されている。このフレームメモリ63に、後述するようにして、描画命令により形成された描画画像のデータが書き込まれ、また、画像伸長装置部51で伸長デコードされた画像データが書き込まれ、画像モニター装置67に、その再生画像が表示される。   A frame memory 63 is connected to the drawing device unit 61. In this frame memory 63, the data of the drawn image formed by the drawing command is written as will be described later, and the image data decompressed and decoded by the image decompressing unit 51 is written. The reproduced image is displayed.

また、71は操作入力手段としてのコントロールパッドで、インターフェース72を介してシステムバス41に接続されている。さらに、システムバス41には、ゲーム機としての立ち上げを行うためのプログラムが格納されているブートROM73が接続されている。   Reference numeral 71 denotes a control pad as operation input means, which is connected to the system bus 41 via an interface 72. Further, the system bus 41 is connected to a boot ROM 73 that stores a program for starting up the game machine.

CPU42は、装置全体の管理を行なう。この例の装置においては、フレームメモリ63からの表示画像データを、R、G、Bそれぞれ5ビットの、15ビット/画素の画像データ(以下、これを第1のビット数の画像データという)とする第1のモード(以下、これを通常モードという)と、R、G、Bそれぞれ8ビットの、24ビット/画素の画像データ(以下、これを第2のビット数の画像データという)とする第2のモード(以下、これを高解像度モードという)の2つのモードを選択することができるようにされており、CPU42は、そのモード切り換えを行う。   The CPU 42 manages the entire apparatus. In the apparatus of this example, the display image data from the frame memory 63 is 15 bits / pixel image data (hereinafter referred to as image data of the first number of bits) of 5 bits each for R, G, and B. The first mode (hereinafter referred to as the normal mode), and R, G, and B each having 8-bit image data of 24 bits / pixel (hereinafter referred to as image data having the second number of bits). Two modes of a second mode (hereinafter referred to as a high resolution mode) can be selected, and the CPU 42 switches the mode.

また、このCPU42は、物体を多数のポリゴンの集まりとして描画する場合の処理の一部を行う。すなわち、CPU42は、後述もするように、1画面分の描画画像を生成するための描画命令例をメインメモリ43上に作成する。   In addition, the CPU 42 performs a part of processing when an object is drawn as a collection of many polygons. That is, the CPU 42 creates an example of a drawing command for generating a drawing image for one screen on the main memory 43 as will be described later.

また、このCPU42は、キャッシュメモリ46を有し、CPUインストラクションの一部は、システムバス41からフェッチすることなく実行できる。さらに、CPU42には、描画命令を作成する際にポリゴンについての座標変換演算を行なうための座標演算装置部44が、CPU内部コプロセッサとして設けられている。座標演算装置部44は、3次元座標変換及び3次元から表示画面上の2次元への変換の演算を行なう。   The CPU 42 has a cache memory 46, and a part of the CPU instructions can be executed without fetching from the system bus 41. Further, the CPU 42 is provided with a coordinate calculation device unit 44 as a CPU internal coprocessor for performing coordinate conversion calculation for polygons when creating a drawing command. The coordinate calculation unit 44 performs three-dimensional coordinate conversion and three-dimensional to two-dimensional conversion on the display screen.

このように、CPU42は、内部に命令キャッシュ46と座標演算装置部44を有しているため、その処理をシステムバス41を使用しなくても、ある程度行うことができるため、システムバス41を開放しやすい。   As described above, since the CPU 42 has the instruction cache 46 and the coordinate arithmetic unit 44 inside, the processing can be performed to some extent without using the system bus 41, so the system bus 41 is released. It's easy to do.

CD−ROMデコーダ52は、CD−ROMドライバ53に接続されており、CD−ROMドライバ53に装着されたCD−ROMディスクに記録されているデータをデコードする。CD−ROMディスクには、アプリケーションプログラム(例えばゲームのプログラム)や、例えば離散コサイン変換(DCT)により画像圧縮された動画や静止画の画像データ、ポリゴンを修飾するためのテクスチャー画像の画像データが記録されている。CD−ROMディスクのアプリケーションプログラムには、ポリゴン描画命令が含まれている。FIFOバッファ56は、CD−ROMディスクの記録データの1セクタ分の容量を有する。   The CD-ROM decoder 52 is connected to a CD-ROM driver 53 and decodes data recorded on a CD-ROM disc attached to the CD-ROM driver 53. The CD-ROM disc records application programs (for example, game programs), moving image and still image image data compressed by, for example, discrete cosine transform (DCT), and texture image image data for modifying polygons. Has been. The application program on the CD-ROM disc includes a polygon drawing command. The FIFO buffer 56 has a capacity for one sector of the recording data of the CD-ROM disc.

画像伸長装置部51は、CD−ROMディスクから再生された圧縮画像データの伸長処理を行なうもので、ハフマン符号のデコーダと、逆量子化回路と、逆離散コサイン変換回路のハードウエアを備える。ハフマン符号のデコーダの部分は、CPU42がソフトウエアとしてその処理を行うようにしてもよい。   The image decompression unit 51 performs decompression processing of compressed image data reproduced from a CD-ROM disc, and includes hardware of a Huffman code decoder, an inverse quantization circuit, and an inverse discrete cosine transform circuit. The CPU 42 may process the Huffman code decoder as software.

この例においては、画像伸長装置部51は、圧縮画像データを、15ビット/画素の第1のビット数の画像データに伸長するデコード処理モードと、24ビット/画素の第2のビット数の画像データに伸長するデコード処理モードとの、2つのモードにおけるデコード処理を行うことができる。CPU42は、モード切り換え指示を画像伸長装置部51に対して行う。このモード切り換え指示により、通常モードのときには、画像伸長装置部51は、圧縮画像データを、第1のビット数の画像データにデコードし、高解像度モードのときには、第2のビット数の画像データにデコードする。   In this example, the image expansion device unit 51 decodes the compressed image data into image data having a first bit number of 15 bits / pixel and an image having a second bit number of 24 bits / pixel. Decoding processing in two modes, that is, a decoding processing mode for decompressing data, can be performed. The CPU 42 issues a mode switching instruction to the image expansion device unit 51. According to this mode switching instruction, in the normal mode, the image decompression unit 51 decodes the compressed image data into image data having the first bit number, and in the high resolution mode, the image data is converted into image data having the second bit number. Decode.

この例の場合、画像伸長装置部51は、後述の図7に示すように、1枚(1フレーム)の画像を、例えば16×16ピクセル(画素)程度の小領域(これを以下マクロブロックと称する)に分割して、このマクロブロック単位で画像伸長デコードを行う。そして、このマクロブロック単位でメインメモリ43との間でデータ転送が行われる。したがって、FIFOバッファ54及び55は、マクロブロック分の容量を備えるものとされている。   In the case of this example, as shown in FIG. 7 to be described later, the image decompression unit 51 converts one image (one frame) into a small area of about 16 × 16 pixels (pixels) (hereinafter referred to as a macroblock). Image decompression decoding is performed in units of macroblocks. Data transfer is performed with the main memory 43 in units of macroblocks. Therefore, the FIFO buffers 54 and 55 have a capacity corresponding to a macro block.

描画装置部61には、ローカルバス11を介してフレームメモリ63が接続されている。描画装置部61は、FIFOバッファ62を介してメインメモリ43から転送されてくる描画命令を実行して、その結果をフレームメモリ63に書き込む。この描画命令による描画の実行は、通常モードでのみ行われる。そして、描画画像データは、15ビット/画素の第1のビット数の画像データである。なお、FIFOバッファ62は、1描画命令分のメモリ容量を有する。   A frame memory 63 is connected to the drawing device unit 61 via the local bus 11. The drawing device unit 61 executes a drawing command transferred from the main memory 43 via the FIFO buffer 62 and writes the result into the frame memory 63. The execution of drawing by this drawing command is performed only in the normal mode. The drawing image data is image data having a first bit number of 15 bits / pixel. The FIFO buffer 62 has a memory capacity for one drawing command.

フレームメモリ63は、描画画像や動画画像を記憶して表示用とする画像メモリ領域と、テクスチャー画像を記憶するテクスチャー領域と、カラールックアップテーブル(色変換テーブルCLUT)が格納されるテーブルメモリ領域とを備える。カラールックアップテーブルは、通常モード用と、高解像度モード用の2種が用意されるものである。通常モード用は、高解像度モード用の一部を使用することもできる。   The frame memory 63 stores an image memory area for storing rendered images and moving image images for display, a texture area for storing texture images, and a table memory area for storing a color lookup table (color conversion table CLUT). Is provided. Two types of color look-up tables are prepared for the normal mode and the high resolution mode. For the normal mode, a part for the high resolution mode can be used.

図2は、フレームメモリ63のメモリ空間を示すものである。フレームメモリ63は、カラムとロウの2次元アドレスでアドレシングされる。この2次元アドレス空間のうち、領域ATがテクスチャー領域とされる。このテクスチャー領域ATには、複数種類のテクスチャーパターンを配置することができる。ACは色変換テーブルCLUTのテーブルメモリ領域である。   FIG. 2 shows the memory space of the frame memory 63. The frame memory 63 is addressed with two-dimensional addresses of columns and rows. Of this two-dimensional address space, the area AT is a texture area. A plurality of types of texture patterns can be arranged in the texture area AT. AC is a table memory area of the color conversion table CLUT.

後述するように、色変換テーブルCLUTのデータは、CD−ROMディスクからCD−ROMデコーダ52を通じて、ソーティングコントローラ45により、フレームメモリ63に転送される。CD−ROMディスクのテクスチャー画像のデータは、画像伸長装置部51によりデータ伸長され、メインメモリ43を介してフレームメモリ63に転送される。   As will be described later, the data of the color conversion table CLUT is transferred from the CD-ROM disk to the frame memory 63 by the sorting controller 45 through the CD-ROM decoder 52. The data of the texture image on the CD-ROM disc is decompressed by the image decompressing unit 51 and transferred to the frame memory 63 via the main memory 43.

また、図2において、ADは画像メモリ領域であり、描画するエリアと、表示するエリアの2面分のフレームバッファ領域を備えている。この例では、現在表示用として用いているフレームバッファ領域を表示バッファ、描画を行っているフレームバッファ領域を描画バッファと呼ぶこととする。この場合、一方を描画バッファとして描画を行っている間は、他方は表示バッファとして用い、描画が終了したら、両バッファを互いに切り換える。この描画バッファと表示バッファの切り換えは、描画終了時に、垂直同期に合わせて行う。   In FIG. 2, AD is an image memory area, and includes a frame buffer area for two areas, a drawing area and a display area. In this example, a frame buffer area currently used for display is referred to as a display buffer, and a frame buffer area where drawing is performed is referred to as a drawing buffer. In this case, while drawing is performed using one as a drawing buffer, the other is used as a display buffer. When drawing is completed, the two buffers are switched to each other. Switching between the drawing buffer and the display buffer is performed in synchronization with vertical synchronization when drawing is completed.

この例においては、フレームメモリ63の表示バッファから読み出しのために、2つの読み出し回路(アンパック回路)が用意される。すなわち、アンパック回路64は、通常モード用の読み出し回路であって、15ビット/1画素(2バイト/1画素と考えることもできる)として、画像データを、15ビット毎にフレームメモリ63の表示バッファから読み出す。また、アンパック回路65は、高解像度モード用の読み出し回路であって、24ビット/1画素(3バイト/1画素)として、画像データを、24ビット毎にフレームメモリ63の表示バッファから読み出す。   In this example, two read circuits (unpack circuits) are prepared for reading from the display buffer of the frame memory 63. That is, the unpack circuit 64 is a readout circuit for a normal mode, and assumes 15 bits / 1 pixel (which can be considered as 2 bytes / 1 pixel), and the image data is displayed in the display buffer of the frame memory 63 every 15 bits. Read from. The unpack circuit 65 is a readout circuit for the high resolution mode, and reads out image data from the display buffer of the frame memory 63 every 24 bits as 24 bits / 1 pixel (3 bytes / 1 pixel).

これらアンパック回路64及び65は、スイッチSW1及びSW2により切り換えられる。このスイッチSW1及びSW2は、説明のためのものであって、実際的には、これらアンパック回路64及び65の動作オン/オフが切り換え制御信号より切り換えられる。   These unpack circuits 64 and 65 are switched by switches SW1 and SW2. The switches SW1 and SW2 are for explanation, and actually, the operation on / off of the unpack circuits 64 and 65 is switched by a switching control signal.

これらアンパック回路64及び65の切り換えは、描画装置部61からの切り換え制御信号より行われる。描画装置部61には、CPU42からモード切り換え指示が与えられるので、描画装置部61は、これに基づいてスイッチSW1,SW2の切り換え制御信号を形成する。CPU42からのモード切り換え指示は、フレームメモリ63の画像メモリ領域ADの表示バッファ領域と描画バッファ領域との切り換え時に与えられる。フレームメモリ63への画像データの書き込み時には、現在書き込んでいるのは、第1のビット数の画像データか、第2の画像データかをCPU42が認識しており、描画装置部61は、単に、転送されてきた画像データをフレームメモリ63の描画バッファに順次に書き込むだけでよい。   Switching between the unpack circuits 64 and 65 is performed by a switching control signal from the drawing device unit 61. Since the mode switching instruction is given from the CPU 42 to the drawing device unit 61, the drawing device unit 61 forms a switching control signal for the switches SW1 and SW2 based on the instruction. The mode switching instruction from the CPU 42 is given when switching between the display buffer area and the drawing buffer area of the image memory area AD of the frame memory 63. At the time of writing image data to the frame memory 63, the CPU 42 recognizes whether the image data of the first bit number or the second image data is currently being written. It is only necessary to sequentially write the transferred image data to the drawing buffer of the frame memory 63.

以上のようにして、アンパック回路64あるいはアンパック回路65により読み出された画像データは、D/Aコンバータ66によりアナログ画像信号に変換され、画像モニター装置67に出力され、その画面に表示される。なお、D/Aコンバータ66は、モード切り換えに応じて、入力画像データR,G,Bのビット数が変わるので、それに応じた切り換え処理が行われるものである。   As described above, the image data read by the unpack circuit 64 or the unpack circuit 65 is converted into an analog image signal by the D / A converter 66, output to the image monitor device 67, and displayed on the screen. Note that the D / A converter 66 changes the number of bits of the input image data R, G, and B in accordance with the mode switching, so that the switching process is performed accordingly.

ソーティングコントローラ45は、いわゆるDMAコントローラと同様の機能を備え、メインメモリ43と画像伸長装置部51との間での画像データの転送を行ったり、メインメモリ43から描画装置部61に描画命令列を転送したりするもので、転送装置部を構成している。このソーティングコントローラ45は、CPU42やコントロールパッド71などの他の装置がシステムバス41を開放している間隙をぬって、CPU42の介在なしに前記の転送処理を行う。この場合、CPU42がシステムバス41の開放をソーティングコントローラ45に知らせるようにすることもできるし、ソーティングコントローラ45が強制的にCPU42にバスの開放を要求するようにすることもできる。   The sorting controller 45 has the same function as a so-called DMA controller, transfers image data between the main memory 43 and the image decompression unit 51, and sends a drawing command sequence from the main memory 43 to the drawing unit 61. The transfer device unit is configured. The sorting controller 45 performs the above-described transfer process without the intervention of the CPU 42 through a gap where other devices such as the CPU 42 and the control pad 71 open the system bus 41. In this case, the CPU 42 can notify the sorting controller 45 of the opening of the system bus 41, or the sorting controller 45 can forcibly request the CPU 42 to release the bus.

メインメモリ43は、動画や静止画の画像データに対しては、圧縮された画像データのメモリ領域と、伸長デコード処理された伸長画像データのメモリ領域とを備えている。また、メインメモリ43は、描画命令列などのグラフィックスデータのメモリ領域(これを以下パケットバッファという)を備える。   The main memory 43 includes a memory area for compressed image data and a memory area for decompressed image data subjected to decompression decoding processing for moving image and still image data. The main memory 43 includes a memory area for graphics data such as a drawing command sequence (hereinafter referred to as a packet buffer).

このパケットバッファは、CPU42による描画命令列の設定と、描画命令列の描画装置部61への転送とに使用され、CPU42と、描画装置部61とが共有することになる。CPU42と、描画装置部61とで処理を並列に動作するようにするため、この例では、描画命令列の設定用のパケットバッファ(以下、これを設定パケットバッファという)と、転送用のパケットバッファ(以下、これを実行パケットバッファという)との2つのパケットバッファが用意されており、一方を設定パケットバッファとしているときには、他方は実行パケットバッファとして使用し、実行パケットバッファで実行が終了したら、2つのパケットバッファの機能を交換するようにしている。   The packet buffer is used for setting the drawing command sequence by the CPU 42 and transferring the drawing command sequence to the drawing device unit 61, and is shared by the CPU 42 and the drawing device unit 61. In this example, a packet buffer for setting a drawing command sequence (hereinafter referred to as a setting packet buffer) and a packet buffer for transfer are used so that the CPU 42 and the drawing device unit 61 operate in parallel. (Hereinafter referred to as an execution packet buffer), and when one is a setting packet buffer, the other is used as an execution packet buffer. The functions of two packet buffers are exchanged.

この装置の処理について以下に説明する。   The processing of this apparatus will be described below.

[CD−ROMディスクからのデータの取り込み]
図1の例の装置(ゲーム機)に電源が投入され、CD−ROMディスクが装填されると、ブートROM73のゲームを実行するためのいわゆる初期化処理をするためのプログラムがCPU42により実行される。そして、CD−ROMディスクの記録データが取り込まれる。このとき、CD−ROMディスクの各セクタのユーザーデータ中の識別用情報IDに基づいて各ユーザーデータのデコード処理がなされ、データのチェックが行われる。このチェック結果により、CPU42は、各IDで示される内容の再生データに応じた処理を実行する。
[Import data from CD-ROM disc]
When the apparatus (game machine) in the example of FIG. 1 is turned on and a CD-ROM disk is loaded, the CPU 42 executes a program for performing a so-called initialization process for executing the game in the boot ROM 73. . Then, the recording data of the CD-ROM disc is captured. At this time, each user data is decoded based on the identification information ID in the user data of each sector of the CD-ROM disc, and the data is checked. Based on this check result, the CPU 42 executes a process according to the reproduction data having the contents indicated by each ID.

すなわち、CD−ROMディスクから、圧縮画像データ、描画命令及びCPU42が実行するプログラムが、CD−ROMドライバ53、CD−ROMデコーダ52を介して読み出され、ソーティングコントローラ45によってメインメモリ43にロードされる。そして、ロードされたデータのうち、色変換テーブルの情報は、フレームメモリ63の領域CLUTに転送される。   That is, compressed image data, a drawing command, and a program executed by the CPU 42 are read from the CD-ROM disk via the CD-ROM driver 53 and the CD-ROM decoder 52 and loaded into the main memory 43 by the sorting controller 45. The Of the loaded data, the information of the color conversion table is transferred to the area CLUT of the frame memory 63.

[描画命令列についての処理と転送]
物体の面を構成するポリゴンは、3次元的な奥行きの情報であるZデータに従って奥行き方向の深い位置にあるポリゴンから順に描画することにより、2次元画像表示面に立体的に画像を表示することができる。CPU42は、このように奥行き方向の深い位置にあるポリゴンから順に、描画装置部61で描画が行われるようにするための描画命令列をメインメモリ43上に作成する。
[Processing and transfer of drawing instruction sequence]
Polygons that make up the surface of an object are displayed in a three-dimensional manner on a two-dimensional image display surface by drawing in order from polygons that are deep in the depth direction according to Z data that is three-dimensional depth information. Can do. The CPU 42 creates, on the main memory 43, a drawing command sequence for causing the drawing device unit 61 to perform drawing in order from the polygons at deep positions in the depth direction.

ところで、コンピュータグラフィックスでは、Zデータを各ピクセル毎にメモリに記憶しておいてポリゴンの表示優先順位を決定するようにする、いわゆるZバッファ法を用いている。しかし、このZバッファ法では、Zデータを記憶するために大容量メモリを使用しなければならない。そこで、この例では、次のようにしてポリゴンの表示優先順位を決定する処理をCPU42が行うようにする。   By the way, in computer graphics, a so-called Z buffer method is used in which Z data is stored in a memory for each pixel and the display priority order of polygons is determined. However, in this Z buffer method, a large capacity memory must be used to store Z data. Therefore, in this example, the CPU 42 performs processing for determining the display priority order of polygons as follows.

このため、この例では、ポリゴン描画命令IPは、図3Aに示すような構造となっている。すなわち、ポリゴン描画命令IPは、ポリゴン描画データPDの前に、ヘッダを備えており、このヘッダ部分は、タグTGとコマンド識別コードCODEとを備えている。   Therefore, in this example, the polygon drawing command IP has a structure as shown in FIG. 3A. That is, the polygon drawing command IP includes a header before the polygon drawing data PD, and the header portion includes a tag TG and a command identification code CODE.

タグTGには、次の描画命令が格納されているメインメモリ43上のアドレスが書き込まれる。コマンド識別コードCODEには、その描画命令がどのような内容のものであるかを示す識別データIDPと、その描画命令にとって必要な他の情報を含む。ポリゴン描画データPDは、ポリゴンの頂点座標などのデータからなる。描画命令IPが、例えば四角形ポリゴンの描画命令であって、そのポリゴンの中を1色でマッピングする場合には、識別データIDPは、それを示すものとなっており、必要な他の情報としては、マッピングする色データが記述される。   In the tag TG, an address on the main memory 43 in which the next drawing command is stored is written. The command identification code CODE includes identification data IDP indicating what the drawing command has and other information necessary for the drawing command. The polygon drawing data PD is composed of data such as the vertex coordinates of the polygon. When the drawing command IP is, for example, a drawing command for a quadrangular polygon and the polygon is mapped with one color, the identification data IDP indicates that, and other necessary information includes Color data to be mapped is described.

図3Bは、この四角形ポリゴンの描画命令の場合で、ポリゴン描画データPDに、4点の座標(X0,Y0),(X1,Y1),(X2,Y2),(X3,Y3)が記述されており、コマンド識別コードCODEに、そのポリゴンの中を1色でマッピングするための3原色の色データ(R,G,B)を含んでいる。   FIG. 3B is a drawing command of this quadrilateral polygon, and the coordinates (X0, Y0), (X1, Y1), (X2, Y2), (X3, Y3) of four points are described in the polygon drawing data PD. The command identification code CODE includes color data (R, G, B) of three primary colors for mapping the inside of the polygon with one color.

CPU42は、コントロールパッド71からのユーザーの操作入力に基づいて、物体や視点の動きを計算し、メインメモリ43上にポリゴン描画命令列を作成する。ついで、Zデータによって、ポリゴン描画命令列のタグを、表示順序の通りに書き換える。このとき、メインメモリ43上の各描画命令のアドレスは、変更せずに、タグのみを書き換える。   The CPU 42 calculates the movement of the object and the viewpoint based on the user's operation input from the control pad 71, and creates a polygon drawing command sequence on the main memory 43. Next, the polygon rendering command sequence tag is rewritten in the display order with the Z data. At this time, only the tag is rewritten without changing the address of each drawing command on the main memory 43.

この描画命令列が完成すると、ソーティングコントローラ45は、各描画命令のタグTGを順番にたどって、1描画命令毎に、メインメモリ43から描画装置部61に転送する。このため、FIFOバッファ62は、1描画命令分の容量を備えていればよい。   When the drawing command sequence is completed, the sorting controller 45 sequentially traces the tag TG of each drawing command and transfers the drawing command from the main memory 43 to the drawing device unit 61 for each drawing command. Therefore, the FIFO buffer 62 only needs to have a capacity for one drawing command.

描画装置部61では、送られてきたデータが、既にソートされた状態にあるので、図4に示すようにして、ポリゴン描画命令IP1,IP2,IP3,…,IPnを、そのタグTG1,TG2,TG3,…,TGnに従って順次実行してフレームメモリ63の画像メモリ領域ADに結果を格納する。   In the drawing device unit 61, since the transmitted data is already sorted, the polygon drawing commands IP1, IP2, IP3,..., IPn are sent to the tags TG1, TG2, and TGn as shown in FIG. The results are stored in the image memory area AD of the frame memory 63 by sequentially executing in accordance with TG3,.

このポリゴン描画の際、データは、描画装置部61の勾配計算ユニットに送られ、勾配計算が行なわれる。勾配計算は、ポリゴン描画で多角形の内側をマッピングデータで埋めていく際、マッピングデータの平面の傾きを求める計算である。テクスチャーの場合はテクスチャー画像データでポリゴンが埋められ、また、グーローシェーディングの場合は輝度値でポリゴンが埋められる。   At the time of drawing the polygon, the data is sent to the gradient calculation unit of the drawing device unit 61 to perform the gradient calculation. The gradient calculation is a calculation for obtaining the inclination of the plane of the mapping data when the inside of the polygon is filled with the mapping data in polygon drawing. In the case of texture, the polygon is filled with texture image data, and in the case of Gouraud shading, the polygon is filled with luminance values.

物体の表面を構成するポリゴンにテクスチャーを貼り付ける場合には、テクスチャー領域ATのテクスチャーデータが2次元写像変換される。例えば、図5Aに示すようなテクスチャーパターンT1,T2,T3は、図5Bに示すような物体の各面のポリゴンに適合するように、2次元スクリーン上の座標に変換される。このように写像変換されたテクスチャーパターンT1,T2,T3が図5Cに示すように、物体OB1の表面に貼り付けられる。そして、これが、画像メモリ領域ADに配置され、画像表示モニター65の表示画面上に表示される。   When a texture is pasted on a polygon constituting the surface of an object, the texture data in the texture area AT is two-dimensionally mapped. For example, texture patterns T1, T2, and T3 as shown in FIG. 5A are converted into coordinates on a two-dimensional screen so as to match the polygons on each surface of the object as shown in FIG. 5B. The texture patterns T1, T2, T3 thus mapped are pasted on the surface of the object OB1, as shown in FIG. 5C. This is arranged in the image memory area AD and displayed on the display screen of the image display monitor 65.

静止画テクスチャーの場合には、メインメモリ43上のテクスチャーパターンが、描画装置部61を介して、フレームメモリ63上のテクスチャー領域ATに転送される。描画装置部61は、これをポリゴンに貼り付ける。これにより、物体に静止画のテクスチャーが実現される。この静止画のテクスチャーパターンのデータは、CD−ROMディスクに記録しておくことができる。   In the case of a still image texture, the texture pattern on the main memory 43 is transferred to the texture area AT on the frame memory 63 via the drawing device unit 61. The drawing device unit 61 pastes this on the polygon. Thereby, the texture of the still image is realized on the object. This still image texture pattern data can be recorded on a CD-ROM disc.

さらに、動画のテクスチャーが可能である。動画テクスチャーの場合には、後述するように、画像伸長装置部51で伸長デコードされた動画データはフレームメモリ63上のテクスチャー領域ATに送られる。テクスチャー領域ATは、フレームメモリ63内に設けられているので、テクスチャーパターン自身も、フレーム毎に書き換えることが可能である。このように、テクスチャー領域ATに動画を送ると、テクスチャーが1フレーム毎に動的に書き換えられて変化する。このテクスチャー領域ATの動画により、ポリゴンへのテクスチャーマッピングを行えば、動画のテクスチャーが実現される。   Furthermore, animation textures are possible. In the case of a moving image texture, the moving image data decompressed and decoded by the image decompressing unit 51 is sent to the texture area AT on the frame memory 63, as will be described later. Since the texture area AT is provided in the frame memory 63, the texture pattern itself can be rewritten for each frame. As described above, when a moving image is sent to the texture area AT, the texture is dynamically rewritten and changed every frame. If the texture mapping to the polygon is performed by the moving image in the texture area AT, the moving image texture is realized.

[圧縮画像データの伸長及び転送]
メインメモリ43の入力データのうち、圧縮画像データは、CPU42がハフマン符号のデコード処理を行った後、再びCPU42によりメインメモリ43に書き込まれる。そして、ソーティングコントローラ45は、このハフマン符号のデコード処理後の画像データをメインメモリ43からFIFOバッファ54を介して画像伸長装置部51に転送する。これに先立ち、CPU42から画像伸長装置部51には、通常モードでのデコードを行うか、高解像度モードでのデコードを行うかの指示が与えられる。画像伸長装置部51は、逆量子化の処理と、逆DCTの処理を行って、CPU42からの指示にしたがったモードで画像データの伸長デコード処理を行う。
[Decompression and transfer of compressed image data]
Of the input data to the main memory 43, the compressed image data is written again into the main memory 43 by the CPU 42 after the CPU 42 decodes the Huffman code. Then, the sorting controller 45 transfers the image data after the decoding process of the Huffman code from the main memory 43 to the image expansion device unit 51 via the FIFO buffer 54. Prior to this, the CPU 42 is instructed to the image expansion device unit 51 to perform decoding in the normal mode or in the high resolution mode. The image decompression unit 51 performs inverse quantization processing and inverse DCT processing, and performs decompression decoding processing of image data in a mode in accordance with an instruction from the CPU 42.

伸長された画像データは、ソーティングコントローラ45が、FIFOバッファ55を介してメインメモリ43に転送する。この場合、画像伸長装置部51は、前述したように、マクロブロック単位で画像データの伸長処理を行う。このため、メインメモリ43からは前記マクロブロック単位の圧縮データが入力用FIFOバッファ54に、ソーティングコントローラ45により転送される。そして、画像伸長装置部51は、1マクロブロックの伸長デコード処理が終了すると、その結果の伸長画像データを出力用FIFOバッファ55に入れると共に、入力用FIFOバッファ54から次のマクロブロックの圧縮データを取り出して、伸長デコード処理を行う。   The expanded image data is transferred to the main memory 43 by the sorting controller 45 via the FIFO buffer 55. In this case, as described above, the image expansion device unit 51 performs image data expansion processing in units of macroblocks. Therefore, the compressed data in units of macro blocks is transferred from the main memory 43 to the input FIFO buffer 54 by the sorting controller 45. When the decompression decoding process for one macroblock is completed, the image decompressing unit 51 puts the resulting decompressed image data into the output FIFO buffer 55 and also receives the compressed data of the next macroblock from the input FIFO buffer 54. Take out and perform decompression decoding.

ソーティングコントローラ45は、システムバス41が開放されていて、かつ、画像伸長装置部51の出力用FIFOバッファ55が空でなければ、1マクロブロックの伸長画像データをメインメモリ43に転送し、次の1マクロブロックの圧縮画像データをメインメモリ43から画像伸長装置部51の入力用FIFOバッファ54に転送する。   The sorting controller 45 transfers the decompressed image data of one macro block to the main memory 43 unless the system bus 41 is opened and the output FIFO buffer 55 of the image decompressing device 51 is empty. One macroblock of compressed image data is transferred from the main memory 43 to the input FIFO buffer 54 of the image decompression unit 51.

CPU42は、伸長された画像データのマクロブロックが一定量、メインメモリ43に蓄積された時点で、当該伸長データを描画装置部61を介してフレームメモリ63に転送する。この際に、伸長画像データがフレームメモリ63の画像メモリ領域ADに転送されれば、そのまま背景動画像として画像モニター装置65で表示されることになる。また、フレームメモリ63のテクスチャー領域ATに転送される場合もある。このテクスチャー領域ATの画像データは、テクスチャー画像として、ポリゴンの修飾に使用される。   The CPU 42 transfers the decompressed data to the frame memory 63 via the drawing device unit 61 when a certain amount of macroblocks of the decompressed image data is accumulated in the main memory 43. At this time, if the decompressed image data is transferred to the image memory area AD of the frame memory 63, it is displayed on the image monitor device 65 as a background moving image as it is. Further, it may be transferred to the texture area AT of the frame memory 63. The image data of the texture area AT is used for modifying the polygon as a texture image.

この場合に、背景動画像に描画画像が合成されるときには、その背景動画像の画像データは、通常モードの第1のビット数の画像データとして伸長デコードされ、フレームメモリ63に転送される。また、伸長された画像データがテクスチャー領域ATに転送される場合も同様に、通常モードの第1のビット数の画像データとして伸長デコードされる。描画画像のデータは第1のビット数で形成されるからである。そして、描画画像と合成されない背景画の場合には、高解像度の第2のビット数の画像データとして伸長デコードされる。   In this case, when the drawing image is combined with the background moving image, the image data of the background moving image is decompressed and decoded as image data having the first number of bits in the normal mode and transferred to the frame memory 63. Similarly, when the decompressed image data is transferred to the texture area AT, it is decompressed and decoded as image data having the first number of bits in the normal mode. This is because the drawing image data is formed with the first number of bits. In the case of a background image that is not combined with the drawn image, it is decompressed and decoded as high-resolution second-bit image data.

なお、画像伸長装置部51で伸長デコードされた画像データを、メインメモリ43からフレームメモリ63に転送する場合には、この例においては、以下に示すような転送命令を使用する。このように、伸長画像データを転送命令形式に変換するのは、CPU42で行う。   When image data decompressed and decoded by the image decompression device 51 is transferred from the main memory 43 to the frame memory 63, a transfer command as shown below is used in this example. In this manner, the CPU 42 converts the decompressed image data into the transfer command format.

すなわち、図6は、この転送命令の構造を示す図である。この転送命令は、描画命令とほぼ同様の形式を有するもので、先頭にタグTGを備え、その次に識別データIDPを備える。タグTGは、描画命令と同様に、次の描画命令あるいは転送命令が格納されているメインメモリ43のアドレス値からなる。識別データIDPには、これが伸長画像データの転送命令であること示すデータが記述される。   That is, FIG. 6 shows the structure of this transfer instruction. This transfer command has substantially the same format as the drawing command, and includes a tag TG at the head and then identification data IDP. The tag TG is composed of an address value of the main memory 43 in which the next drawing command or transfer command is stored, similarly to the drawing command. The identification data IDP describes data indicating that this is a transfer command for decompressed image data.

そして、図6において、次のデータ「H」と「W」は、転送する伸長データ領域の高さ及び幅を示すものである。この転送領域の高さ及び幅は、1フレーム分の画面における領域に対応している。また、データ「X」と「Y」は、転送先の座標を示している。この座標は、転送領域が矩形であるので、その矩形領域の左上の座標を示している。そして、この座標は、転送先がフレームメモリ63の画像メモリ領域AD内であれば、その領域AD内の座標であり、テクスチャー領域AT内であれば、その領域AT内の座標である。   In FIG. 6, the next data “H” and “W” indicate the height and width of the decompressed data area to be transferred. The height and width of this transfer area correspond to the area on the screen for one frame. Data “X” and “Y” indicate the coordinates of the transfer destination. Since the transfer area is a rectangle, this coordinate indicates the upper left coordinate of the rectangle area. The coordinates are coordinates in the area AD if the transfer destination is in the image memory area AD of the frame memory 63, and coordinates in the area AT if the transfer destination is in the texture area AT.

この伸長画像データの転送命令の場合、以上のタグTGから座標「X」、「Y」まではヘッダであり、識別データIDPからヘッダの大きさが識別される。識別データIDPから座標「X」、「Y」までは、図3の描画命令のコマンド識別コードCODEに対応する。   In the case of the transfer instruction of the decompressed image data, the above tags TG to the coordinates “X” and “Y” are headers, and the size of the header is identified from the identification data IDP. From the identification data IDP to the coordinates “X” and “Y” correspond to the command identification code CODE of the drawing command in FIG.

このヘッダに続いて伸長画像データの画素データPIX0、PIX1、PIX2、…、PIXnが、この転送命令に含まれる。前述したように、各画素データは、通常モードでは15ビットであり、高解像度モードでは24ビットである。そして、この転送命令の単位で、ソーティングコントローラ45により、メインメモリ43から描画装置部61を介してフレームメモリ63に伸長画像データが転送される。   Following this header, pixel data PIX0, PIX1, PIX2,..., PIXn of decompressed image data are included in this transfer command. As described above, each pixel data is 15 bits in the normal mode and 24 bits in the high resolution mode. The decompressed image data is transferred from the main memory 43 to the frame memory 63 via the drawing device unit 61 by the sorting controller 45 in units of this transfer command.

ところで、上述したように、画像伸長装置部51は、1フレームの画像を横×縦=16×16画素からなるマクロブロックに分割してマクロブロック単位で伸長デコードを行っている。今、例えば、1フレームが横×縦=320×240の画素からなる画像を想定した場合、図7に示すように、1フレームは、300個のマクロブロックに分けられる。   By the way, as described above, the image decompression unit 51 divides an image of one frame into macroblocks each composed of horizontal × vertical = 16 × 16 pixels and performs decompression decoding in units of macroblocks. Now, for example, assuming an image in which one frame is composed of pixels of horizontal × vertical = 320 × 240, as shown in FIG. 7, one frame is divided into 300 macroblocks.

この300個のマクロブロックを描画装置部61に転送するに当たって、マクロブロック単位で転送命令を作成した場合には、ヘッダ部分のオーバーヘッドが大き過ぎるものとなる。そこで、この例では、図8に示すように、縦方向の1列の複数個(図8では15個)のマクロブロックを繋げて、これを転送命令で送る単位とするようにしている。   In transferring these 300 macroblocks to the drawing device unit 61, if a transfer command is created in units of macroblocks, the overhead of the header portion becomes too large. Therefore, in this example, as shown in FIG. 8, a plurality of (15 in FIG. 8) macroblocks in one column in the vertical direction are connected and used as a unit to be sent by a transfer command.

1フレームの最初の転送命令の例を図9に示す。すなわち、図9では、座標「X」「Y」が「0」「0」となっている。次の転送命令では、その座標「X」「Y」が「16」「0」となる。   An example of the first transfer command of one frame is shown in FIG. That is, in FIG. 9, the coordinates “X” and “Y” are “0” and “0”. In the next transfer command, the coordinates “X” and “Y” become “16” and “0”.

このように、伸長画像データも、描画命令と同様の形式の転送命令形式に変換したので、タグTGを利用することにより、ポリゴンの描画命令と、転送命令とを混在させてソーティングコントローラ45による転送ならびに、描画装置部61によるフレームメモリ63での画像の描画、生成を実行することができる。   As described above, since the decompressed image data is also converted into a transfer command format similar to the rendering command, the polygon drawing command and the transfer command are mixed and transferred by the sorting controller 45 by using the tag TG. In addition, an image can be drawn and generated in the frame memory 63 by the drawing device unit 61.

[フレームメモリ63からの画像データ読み出し処理の説明]
まず、CPU42は、フレームメモリ63の画像メモリ領域ADの一方のフレームバッファ領域A(表示バッファとなっている)の画像データを画像モニター装置67に出力するように描画装置部61に対して命令を出す。このとき、通常モードか、高解像度モードかを指示するモード切り換え制御信号も、CPU42は、描画装置部61に送る。
[Description of Image Data Reading Process from Frame Memory 63]
First, the CPU 42 instructs the drawing device unit 61 to output the image data of one frame buffer area A (which is a display buffer) of the image memory area AD of the frame memory 63 to the image monitor device 67. put out. At this time, the CPU 42 also sends a mode switching control signal indicating whether the mode is the normal mode or the high resolution mode to the drawing device unit 61.

通常モードが指定されたときは、描画装置部61は、スイッチSW1及びSW2をN側に切り換え、アンパック回路64を選択する。このとき、フレームメモリ63の画像メモリ領域ADの表示バッファには、図10Aで楕円で囲んで示すように、画素データPIXのそれぞれは15ビット(2バイト)毎に書き込まれた状態となっている。   When the normal mode is designated, the drawing device unit 61 switches the switches SW1 and SW2 to the N side and selects the unpack circuit 64. At this time, each of the pixel data PIX is written in every 15 bits (2 bytes) in the display buffer of the image memory area AD of the frame memory 63 as indicated by an ellipse in FIG. 10A. .

アンパック回路64は、前述したように、フレームメモリ63の画像メモリ領域ADの表示バッファから15ビット(2バイト)毎に画像データを読み出し、読み出した画像データをD/Aコンバータ66に順次転送してアナログ画像信号に変換する。これにより、画像モニター装置67の画面には、その再生画像が映出される。この例の場合、この通常モードで表示されるのは、(1)描画画像のみ、(2)描画されたポリゴンにテクスチャー画像が張り付けられた合成画像、(3)伸長デコードにより得られた15ビット/画素の動画または静止画からなる背景画中に多数のポリゴンとして描画された描画画像が合成されたもの、(4)伸長デコードにより得られた15ビット/画素の動画または静止画のみ、などである。   As described above, the unpack circuit 64 reads the image data every 15 bits (2 bytes) from the display buffer in the image memory area AD of the frame memory 63, and sequentially transfers the read image data to the D / A converter 66. Convert to analog image signal. As a result, the reproduced image is displayed on the screen of the image monitor device 67. In this example, the normal mode displays (1) only the rendered image, (2) the composite image in which the texture image is pasted on the rendered polygon, and (3) the 15-bit obtained by decompression decoding. / In the background image consisting of a moving image or still image of pixels, a drawing image drawn as many polygons is synthesized, (4) Only a moving image or still image of 15 bits / pixel obtained by decompression decoding, etc. is there.

高解像度モードが指定されたときは、描画装置部61は、スイッチSW1及びSW2をH側に切り換え、アンパック回路65を選択する。このとき、フレームメモリ63の画像メモリ領域ADの表示バッファには、図10Bで楕円で囲んで示すように、画素データPIXのそれぞれは24ビット(3バイト)毎に書き込まれた状態となっている。   When the high resolution mode is designated, the drawing device unit 61 switches the switches SW1 and SW2 to the H side and selects the unpacking circuit 65. At this time, each of the pixel data PIX is written in every 24 bits (3 bytes) in the display buffer of the image memory area AD of the frame memory 63 as shown by an ellipse in FIG. 10B. .

アンパック回路65は、フレームメモリ63の画像メモリ領域ADの表示バッファから24ビット(3バイト)毎に画像データを読み出し、読み出した画像データをD/Aコンバータ66に順次転送してアナログ画像信号に変換する。これにより、画像モニター装置67の画面には、その再生画像が映出される。この例の場合、この高解像度モードで表示されるのは、伸長デコードにより得られた24ビット/画素の動画または静止画である。   The unpack circuit 65 reads the image data every 24 bits (3 bytes) from the display buffer in the image memory area AD of the frame memory 63, and sequentially transfers the read image data to the D / A converter 66 to convert it into an analog image signal. To do. As a result, the reproduced image is displayed on the screen of the image monitor device 67. In this example, a 24-bit / pixel moving image or still image obtained by decompression decoding is displayed in this high resolution mode.

この一方のフレームバッファAの画像データの読み出しの間に、CPU42は、次に描画装置部61に転送するデータをメインメモリ43において生成する。描画命令列の生成の場合には、コントロールパッド71の操作入力を読み込み、この操作入力に応じて、メインメモリ43の一方のパケットバッファ(設定パケットバッファとなっている)の描画命令列の座標値を更新すると共に、描画命令列の各描画命令のタグを書き換える。伸長画像データの場合には、前述したような転送命令形式のデータに変換する。15ビット/画素の伸長画像データか、24ビット/画素の伸長画像データかは、CPU42が認識している。   During the reading of the image data from one frame buffer A, the CPU 42 generates data to be transferred to the drawing device unit 61 in the main memory 43 next time. In the case of generating the drawing command sequence, the operation input of the control pad 71 is read, and the coordinate value of the drawing command sequence of one packet buffer (which is a set packet buffer) of the main memory 43 is read according to this operation input. And the tag of each drawing command in the drawing command sequence is rewritten. In the case of decompressed image data, it is converted into data in the transfer command format as described above. The CPU 42 recognizes whether the expanded image data of 15 bits / pixel or the expanded image data of 24 bits / pixel.

そして、CPU42による描画命令生成処理あるいは伸長画像データの転送命令形式への変更処理の間隙をぬって、ソーティングコントローラ45により、他方のフレームバッファ領域B(描画バッファとなっている)には、メインメモリ43から描画命令列あるいは伸長画像データが転送される。このとき転送されるデータが描画命令列か、15ビット/画素の伸長画像データか、24ビット/画素の伸長画像データかは、CPU42が認識していることになる。   Then, through the drawing command generation processing by the CPU 42 or the processing for changing the decompressed image data to the transfer command format, the sorting controller 45 causes the main memory to be stored in the other frame buffer area B (which is a drawing buffer). A drawing command sequence or decompressed image data is transferred from 43. The CPU 42 recognizes whether the data transferred at this time is a drawing command sequence, 15-bit / pixel decompressed image data, or 24-bit / pixel decompressed image data.

次に、メインメモリ43からの描画命令列や転送命令列がすべて描画装置部61に転送されたとき、CPU42は、フレームメモリ63の他方のフレームバッファ領域Bを表示バッファとして、これより描画画像データや伸長画像データを読み出して、画像モニター装置65に出力するように、描画装置部61に対して命令を出す。このとき、前述と同様に、通常モードか、高解像度モードかを指示するモード切り換え制御信号も、CPU42は、描画装置部61に送るので、描画装置部61は、前述と同様にして、スイッチSW1及びSW2の切り換えを行い、通常モードと高解像度モードに応じた読み出し処理を行う。なお、このとき、同時に、フレームメモリ63のフレームバッファ領域Aは描画バッファに切り換えられる。   Next, when all drawing command sequences and transfer command sequences from the main memory 43 are transferred to the drawing device unit 61, the CPU 42 uses the other frame buffer area B of the frame memory 63 as a display buffer, thereby drawing image data. Or a command to the drawing device unit 61 to read out the decompressed image data and output it to the image monitor device 65. At this time, as described above, since the CPU 42 also sends a mode switching control signal instructing whether the mode is the normal mode or the high resolution mode to the drawing device unit 61, the drawing device unit 61 switches the switch SW1 in the same manner as described above. And SW2 are switched, and a reading process corresponding to the normal mode and the high resolution mode is performed. At the same time, the frame buffer area A of the frame memory 63 is switched to the drawing buffer.

そして、他方のフレームバッファ領域Bを表示バッファ領域として画像データを読み出している間に、前述したようにして、CPU42は、次に描画装置部61に転送するデータをメインメモリ43において生成する。そして、CPU42による描画命令生成処理あるいは伸長画像データの転送命令形式への変更処理の間隙をぬって、ソーティングコントローラ45により、一方のフレームバッファ領域A(描画バッファとなっている)には、メインメモリ43から描画命令列あるいは伸長画像データが転送される。   Then, while reading out image data using the other frame buffer area B as a display buffer area, the CPU 42 generates data to be transferred to the drawing device unit 61 in the main memory 43 as described above. Then, through the drawing command generation processing by the CPU 42 or the processing for changing the decompressed image data to the transfer command format, the sorting controller 45 causes the main memory to be stored in one frame buffer area A (which is a drawing buffer). A drawing command sequence or decompressed image data is transferred from 43.

以上の動作を繰り返し行うことにより、動きのある画像が表示できる。しかも、通常モードと高解像度モードとに応じてアンパック回路64、65を切り換えて、フレームメモリ63に書き込まれている画像データの画質に応じた読み出し処理が行われるものである。   By repeating the above operations, a moving image can be displayed. In addition, the unpacking circuits 64 and 65 are switched according to the normal mode and the high resolution mode, and a reading process according to the image quality of the image data written in the frame memory 63 is performed.

なお、以上の説明では、1画素当たりのビット数が2通りの場合を例にとったが、3通り以上の場合であっても、同様にこの発明を適用できることはいうまでもない。   In the above description, the case where the number of bits per pixel is two has been taken as an example, but it goes without saying that the present invention can be similarly applied even when there are three or more.

また、以上の例では、CD−ROMディスクに画像データやアプリケーションプログラムを記録したが、記録媒体としては、例えば磁気ディスク、メモリカードのような半導体メモリなどの他の記録媒体を使用することもできる。   In the above example, image data and application programs are recorded on the CD-ROM disc. However, as the recording medium, other recording media such as a magnetic disk and a semiconductor memory such as a memory card can be used. .

また、画像のデータ圧縮方法としては、DCTを使用したが、その他、種々の画像データ圧縮方法を使用することができる。   Further, although DCT is used as an image data compression method, various other image data compression methods can be used.

この発明による画像処理装置の一実施例のブロック図である。1 is a block diagram of an embodiment of an image processing apparatus according to the present invention. この発明の一実施例におけるメモリ領域の説明のための図である。It is a figure for demonstrating the memory area | region in one Example of this invention. この発明の一実施例におけるポリゴン描画命令の例を示す図である。It is a figure which shows the example of the polygon drawing command in one Example of this invention. この発明の一実施例におけるポリゴンの描画表示順序を説明するための図である。It is a figure for demonstrating the drawing display order of the polygon in one Example of this invention. テクスチャーマッピングの説明のための図である。It is a figure for description of texture mapping. この発明の一実施例における画像データの転送時のデータ構造の例を説明するための図である。It is a figure for demonstrating the example of the data structure at the time of transfer of the image data in one Example of this invention. 1フレームの画像の例を示す図である。It is a figure which shows the example of the image of 1 frame. この発明の一実施例における画像データの転送単位を説明するための図である。It is a figure for demonstrating the transfer unit of the image data in one Example of this invention. この発明の一実施例における画像データの転送時のデータ構造の例を示す図である。It is a figure which shows the example of the data structure at the time of transfer of the image data in one Example of this invention. この発明の一実施例における1画素当たりのビット数の複数の例を説明するための図である。It is a figure for demonstrating the several example of the bit number per pixel in one Example of this invention.

符号の説明Explanation of symbols

41 システムバス
42 CPU
43 メインメモリ
44 座標演算装置部
45 ソーティングコントローラ
46 キャッシュメモリ
51 画像伸長装置部
52 CD−ROMデコーダ
53 CD−ROMドライバ
54、55 FIFOバッファ
61 描画装置部
62 FIFOバッファ
63 フレームメモリ
65 画像表示モニター装置
71 コントロールパッド
AD 画像メモリ領域
AT テクスチャー領域
PIX 画素
41 System bus 42 CPU
43 Main memory 44 Coordinate operation unit 45 Sorting controller 46 Cache memory 51 Image decompression unit 52 CD-ROM decoder 53 CD-ROM driver 54, 55 FIFO buffer 61 Drawing unit 62 FIFO buffer 63 Frame memory 65 Image display monitor 71 Control pad AD Image memory area AT Texture area PIX Pixel

Claims (3)

フレームメモリと、
各画素の3原色データR、G、Bがそれぞれ第1ビット数のデータで構成されている画像データを前記フレームメモリに書き込む処理と、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数と異なる第2ビット数のデータで構成されている画像データを前記フレームメモリに書き込む処理とを行う描画処理手段と、
前記フレームメモリに書き込まれた画像データを、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されている画像データであるとして読み出す第1の画像データ読み出し手段と、
前記フレームメモリに書き込まれた画像データを、各画素の3原色データR、G、Bがそれぞれ前記第2ビット数のデータで構成されている画像データであるとして読み出す第2の画像データ読み出し手段と、
前記フレームメモリから前記画像データの読み出しを行う読み出し手段を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記描画処理手段からの切り換え指示に基づいて切り換える第1の切り換え手段と、を備える画像処理装置。
Frame memory,
A process of writing image data in which the three primary color data R, G, B of each pixel is composed of data of the first bit number to the frame memory, and the three primary color data R, G, B of each pixel are Rendering processing means for performing processing of writing image data composed of data of a second bit number different from the number of 1 bits into the frame memory;
First image data reading means for reading out the image data written in the frame memory on the assumption that the three primary color data R, G, B of each pixel are image data composed of the data of the first number of bits, respectively. ,
Second image data reading means for reading out the image data written in the frame memory on the assumption that the three primary color data R, G, B of each pixel are image data composed of the data of the second number of bits, respectively ; ,
Read means for reading the image data from the frame memory is changed from one of the first image data read means and the second image data read means to the other based on a switching instruction from the drawing processing means. And a first switching means for switching.
前記フレームメモリから読み出された画像データをアナログ画像信号に変換するD/A変換器と、
前記D/A変換器に対するデータの供給元を、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段のいずれか一方から他方へ、前記切り換え指示に基づいて切り換える第2の切り替え手段と、をさらに備える請求項1記載の画像処理装置。
A D / A converter for converting image data read from the frame memory into an analog image signal;
Second switching means for switching a data supply source to the D / A converter from one of the first image data reading means and the second image data reading means to the other based on the switching instruction. The image processing apparatus according to claim 1, further comprising:
請求項1または2に記載の画像処理装置であって、
前記フレームメモリには、テクスチャーを格納するためのテクチャー領域と、前記第1の画像データ読み出し手段および前記第2の画像データ読み出し手段が読み出す画像データを格納する画像領域と、が設けられていて、
前記描画処理手段は、
各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されているポリゴンの描画を行う際、各画素の3原色データR、G、Bがそれぞれ前記第1ビット数のデータで構成されているテクスチャーを前記テクスチャー領域に格納しておいて、該ポリゴンを前記画像領域に格納し、該格納したポリゴンに前記格納されているテクスチャーを貼り付ける処理を行うこと
を特徴とする画像処理装置。
The image processing apparatus according to claim 1, wherein:
The frame memory is provided with a texture area for storing texture, and an image area for storing image data read by the first image data reading means and the second image data reading means,
The drawing processing means includes:
When rendering a polygon in which the three primary color data R, G, and B of each pixel are composed of the data of the first bit number, the three primary color data R, G, and B of each pixel are the first bit number, respectively. A texture composed of the data is stored in the texture area, the polygon is stored in the image area, and the stored texture is pasted on the stored polygon. An image processing apparatus.
JP2003415364A 2003-12-12 2003-12-12 Image processing device Expired - Lifetime JP4174026B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003415364A JP4174026B2 (en) 2003-12-12 2003-12-12 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003415364A JP4174026B2 (en) 2003-12-12 2003-12-12 Image processing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP6093738A Division JPH07281652A (en) 1994-04-07 1994-04-07 Image processor

Publications (2)

Publication Number Publication Date
JP2004170998A JP2004170998A (en) 2004-06-17
JP4174026B2 true JP4174026B2 (en) 2008-10-29

Family

ID=32709342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003415364A Expired - Lifetime JP4174026B2 (en) 2003-12-12 2003-12-12 Image processing device

Country Status (1)

Country Link
JP (1) JP4174026B2 (en)

Also Published As

Publication number Publication date
JP2004170998A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
EP1306808B1 (en) Image data generation
JP3492761B2 (en) Image generation method and apparatus
KR100411534B1 (en) Video data generation method, generation device and generation circuit, and game playback device
KR100363504B1 (en) Image processing device
JP3454914B2 (en) Image generation method and image generation device
KR100340311B1 (en) Image generating apparatus and method
JP4174026B2 (en) Image processing device
JP3735325B2 (en) Image generator
JP3548642B2 (en) Image information generating apparatus and method, image information processing apparatus and method, and recording medium
JP3238567B2 (en) Image generation method and apparatus
CA2350844C (en) Method and apparatus for producing a polygonal image representation through operation of plotting commands on image data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051220

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060119

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080815

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term