[go: up one dir, main page]

WO2006072992A1 - 圧縮符号化装置、伸張復号化装置 - Google Patents

圧縮符号化装置、伸張復号化装置 Download PDF

Info

Publication number
WO2006072992A1
WO2006072992A1 PCT/JP2005/000122 JP2005000122W WO2006072992A1 WO 2006072992 A1 WO2006072992 A1 WO 2006072992A1 JP 2005000122 W JP2005000122 W JP 2005000122W WO 2006072992 A1 WO2006072992 A1 WO 2006072992A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
reference camera
captured
imaged
camera
Prior art date
Application number
PCT/JP2005/000122
Other languages
English (en)
French (fr)
Inventor
Kimihiko Kazui
Kohji Yamada
Takashi Itoh
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to PCT/JP2005/000122 priority Critical patent/WO2006072992A1/ja
Priority to CN2005800461596A priority patent/CN101099392B/zh
Priority to JP2006550569A priority patent/JP4893311B2/ja
Priority to EP05703387A priority patent/EP1843597A4/en
Publication of WO2006072992A1 publication Critical patent/WO2006072992A1/ja
Priority to US11/774,264 priority patent/US20070253482A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • Compression encoding device decompression decoding device
  • the present invention relates to a technique that is effective when applied to an apparatus or method for encoding / decoding an image captured from multiple viewpoints.
  • the coding efficiency improves as the prediction efficiency improves.
  • the correlation between moving images taken at each viewpoint means that a part of the object or background reflected in a certain viewpoint camera is also reflected in the camera of another viewpoint.
  • the frame at camera m and the camera n Compared to the same time frame, the same object and the same background may be captured when both cameras are capturing images in close directions at close positions. For this reason, it is possible to perform a prediction code using a motion vector by regarding a frame captured at the same time by such different cameras as a frame captured by the same camera.
  • the frame by the other camera is used. It is possible to increase the efficiency of code prediction when using motion prediction code
  • the motion vector corresponds to the parallax between the two cameras.
  • Patent Document 1-17 there is Patent Document 1-17.
  • Patent Document 1 JP 2001-186516 A
  • Patent Document 2 Japanese Translation of Special Publication 2002-523943
  • Patent Document 3 Japanese Patent Laid-Open No. 2002-300607
  • Patent Document 4 Japanese Patent No. 3426668
  • Patent Document 5 Japanese Patent Laid-Open No. 06-98312
  • Patent Document 6 Japanese Patent Laid-Open No. 10-191394
  • Patent Document 7 JP 2000-23918
  • the reference camera refers to a camera that captures a frame used for prediction between cameras. Other cameras are called reference cameras. Conventionally, only the reference camera is set based on the arrangement information of each viewpoint camera, and no effective setting standard has been proposed. For this reason, the improvement of the efficiency of the sign key has not been realized sufficiently.
  • FIGS. 9 and 10 are diagrams showing problems of the conventional technology.
  • the problems of the conventional technology are explained using Figs.
  • the three triangles indicate cameras CI, C2, and C3, respectively.
  • three ellipses arranged in the direction of camera movement indicate the subject.
  • Cameras CI, C2, and C3 capture the imaging direction while moving in the right direction.
  • Figure 10 shows each camera CI, C2, C3 at each time T (nl), T (n), ⁇ ( ⁇ + 1). It is a figure which shows the example of the flame
  • the present invention aims to solve these problems and provide an apparatus, a method, and the like that can improve prediction efficiency and encoding efficiency by selecting an optimal frame used for prediction.
  • a frame captured by itself is compressed and encoded by motion prediction using only a frame captured by itself, and a frame captured by itself is captured by itself.
  • a compression encoding device includes a determination unit, a compression encoding unit, a prediction information generation unit, and a synthesis unit.
  • the determination unit determines the subject in the captured frame before the captured frame is captured. Based on the motion! /, Determine the frame of the other power mela that is used for motion prediction.
  • the compression encoding unit compresses the frame captured by the reference camera by motion prediction using the frame of the other power mer determined by the determination unit and the other frame captured by the reference camera. Do sign y.
  • the compression coding means performs compression coding based on intra-frame prediction or motion prediction using only other frames imaged by the reference camera for the frames imaged by the reference force camera. In other words, the compression encoding means uses the same method as the conventional method for predicting motion for each frame imaged by the reference camera using only the frame imaged by the same power memera. Do the trap.
  • the prediction information creating means includes information indicating whether each frame is a frame imaged by the reference camera or a frame imaged by the reference camera, and for the frame imaged by the reference camera, the frame and motion Prediction information including information for associating with other frames used for prediction is generated.
  • the synthesizing unit includes a single piece of moving image data including a plurality of frames after the code captured by the reference camera, a plurality of frames after the code captured by the reference camera, and motion prediction information. Is generated.
  • the frame force used for motion prediction when the determination unit performs compression coding on the frame imaged by the reference camera is previously captured. It is determined based on the movement of the subject in the determined frame. Then, this frame captured by the reference camera is compressed and encoded by motion prediction using the frame determined by the determining means. For this reason, the optimum frame used for motion prediction is determined based on the motion of the subject in the past frame, and the prediction efficiency and the encoding efficiency are improved.
  • the determining means provides a direction of a motion vector acquired at the time of motion prediction performed on a frame captured before the frame to be processed is captured. According to the above, the movement of the subject may be judged and the frame of the other power mela used for the motion prediction may be determined.
  • the determining means in the first aspect of the present invention is that the frame to be processed is It is installed in the direction opposite to the direction of the motion vector acquired in the motion prediction performed in the captured frame before the target frame is captured with respect to the captured reference camera. It may be configured to determine a frame captured by another camera as a frame used for motion prediction. With this configuration, it is possible to perform motion prediction using a frame having a higher correlation with the processing target frame. Therefore, prediction efficiency and encoding efficiency can be improved.
  • the first aspect of the present invention may be configured to further include reference camera determination means for determining which of the plurality of cameras should be the reference camera at a predetermined cycle. good.
  • the reference camera is accurately selected, the optimal frame used for motion prediction is determined, and prediction efficiency and coding efficiency are improved.
  • the reference camera determination unit determines the reference camera based on the movement of the subject in the captured frame before the frame to be processed is captured. It can be configured as
  • the reference camera determination unit provides a motion vector acquired at the time of motion prediction performed on a frame captured before a frame to be processed is captured.
  • the reference camera may be determined by judging the movement of the subject according to the orientation of the camera.
  • the motion prediction information creating unit does not perform motion prediction using a frame imaged by another camera on a frame imaged by the reference camera.
  • the compression-coded time information may be further included in the motion prediction information.
  • a second aspect of the present invention is a decompression decoding apparatus that decompresses and decodes moving image data created by the compression coding apparatus according to the first aspect of the present invention, comprising a judging means and Includes decompression decoding means.
  • the determining means extracts moving image data force motion prediction information, and determines for each frame whether the frame was captured by the reference camera or the reference camera. Then, the decompression decoding means is based on only the other frames imaged by the same camera for the frames determined by the determining means as the frames imaged by the reference camera. For the frame that is determined to be a frame captured by the reference camera by the determination means, the frame that has been captured by the same camera and the frame that is captured by the other camera are used. Performs extended decoding by motion estimation based on this.
  • the first aspect and the second aspect may be realized by executing a program by the information processing apparatus. That is, the present invention specifies the processing executed by each means in the first aspect and the second aspect described above as a program for causing the information processing apparatus to execute or a recording medium on which the program is recorded. be able to. Further, the present invention may be specified by a method in which the information processing apparatus executes the processing executed by each of the above-described means.
  • an optimal frame to be used for motion prediction is determined, and prediction efficiency and encoding efficiency can be improved.
  • FIG. 1 is a diagram showing a prediction code encoding method for each frame imaged by a reference camera and a prediction code encoding method for each frame imaged by a reference camera.
  • FIG. 2 is a diagram illustrating a configuration example of moving image data.
  • FIG. 3 is a diagram illustrating an example of functional blocks of a compression code generator.
  • FIG. 4 is a flowchart showing a processing example of a reference camera determination process and a reference destination determination process.
  • FIG. 5 is a diagram showing an arrangement example of cameras.
  • FIG. 6 A table showing the strength and power of each camera serving as a reference camera, and which reference camera is a reference frame when it is a reference camera.
  • FIG. 7 is a diagram illustrating an example of functional blocks of the decompression decoding apparatus.
  • FIG. 8 is a flowchart showing a processing example of decoding camera determination processing.
  • FIG. 9 is a diagram showing problems with the conventional technology.
  • FIG. 10 is a diagram showing problems with the conventional technology.
  • FIG. 1 is a diagram illustrating a prediction code encoding method for each frame imaged by the reference camera and a prediction code encoding method for each frame imaged by the reference camera.
  • the frame positioned at the root of the arrow is predicted by referring to the frame positioned at the tip of the arrow.
  • the I frame indicates a frame on which intraframe coding is performed.
  • I frame other frame Are encoded without any reference to.
  • the P frame indicates a forward temporal prediction coding frame.
  • a P frame is a frame captured by the same camera, and is predicted by referring to an I frame or another P frame located immediately before in time.
  • B frame indicates a bidirectional temporal prediction encoded frame.
  • the B frame is a frame imaged by the same camera, and refers to an I frame or P frame positioned immediately before in time and an I frame or P frame positioned immediately after in time to predict a prediction code. Is done.
  • the concepts of I-frame, P-frame, and B-frame are the same as MPEG-1, 2, 4, and so on.
  • the I 'frame is predicted by referring to only the I frame of the same time imaged by the reference camera.
  • Such predictive encoding by referring to a frame imaged by another camera is hereinafter referred to as “parallax predictive encoding”.
  • the P 'frame is obtained by referring to the P frame at the same time captured by the reference camera, and the ⁇ frame or other P' frame that is captured by the same camera and positioned immediately before in time.
  • B 'frame is a B frame at the same time taken by the reference camera, a frame taken by the same camera, and I, frame or P, which is located immediately in time, and taken by the same camera.
  • Predictive coding is performed by referring to a ⁇ frame or P ′ frame that is immediately after the frame.
  • FIG. 2 is a diagram illustrating a configuration example of moving image data.
  • the moving image data includes S EQH and GOP.
  • SEQH is inserted into the full power unit of GOP (Group of pictures).
  • SEQH (n) indicates the GOP force nth GOP that follows.
  • SEQH includes the total number of cameras, the parallax prediction type of each camera (that is, the force that the camera that captured each frame is either the reference camera or the reference camera, and an identifier that indicates the reference destination camera in each reference camera.
  • GOP (m, n) indicates the nth GOP of camera m, which is a group of frames arranged along the time axis.
  • GOPH includes GOPH and a plurality of frames.
  • GOPH GOP header Information GOPH includes an identifier indicating the camera that captured the frame, and parallax prediction, and includes time information (frame number relative value from the GOP head).
  • Frame is encoded frame data.
  • One Frame includes a Frame Header and a plurality of MBs (Macro Blocks).
  • Frame Header is frame header information.
  • the Frame Header contains the prediction type of the frame (I, P, B, ⁇ ', ⁇ ', ⁇ ⁇ ,).
  • MB indicates macroblock information.
  • Each MB includes MBType, MV, and DCTCoeff.
  • MBType includes the prediction type (Intra, Inter, Bi-Direction) and quantization coefficient of each macroblock.
  • the prediction type further includes an identifier of a frame referred to in unidirectional prediction (Inter) or bidirectional prediction (Bi- Direction).
  • the prediction type includes one identifier for unidirectional prediction and two identifiers for bidirectional prediction.
  • MV is vector information. In the following, this beta information is described separately for motion vectors and disparity vectors.
  • the motion vector indicates vector information between frames captured by the same power camera, and indicates vector information between frames captured by a camera different from the disparity vector.
  • DCTCoeff is the quantization DCT coefficient information of the prediction error.
  • the compression encoding device 1 includes a CPU (central processing unit), a main storage device (RAM), an auxiliary storage device, and the like connected via a bus in terms of hardware.
  • the auxiliary storage device is configured using a nonvolatile storage device.
  • Non-volatile memory devices mentioned here include so-called ROM (Read-Only Memory: EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), mask ROM, etc.), FRAM ( Ferroelectric RAM) and hard disk.
  • FIG. 3 is a diagram illustrating an example of functional blocks of the compression encoding device 1.
  • the compression encoding device 1 mainly includes various programs (OS, applications, etc.) stored in the auxiliary storage device.
  • the input frame buffer 101, the subtractor 102, the DCT quantization unit 103, the IDCT inverse quantization unit 104, the calorie calculator 105, the frame buffer 106, and the motion 'disparity vector compensation are loaded into the storage device and executed by the CPU. It functions as a device including a unit 107, a variable length coding unit 108, a header adding unit 109, a control unit 110, and the like.
  • DCT quantization section 103 IDCT inverse quantization section 104, motion and disparity vector compensation section 107, variable length coding section 108, header addition section 109, and control section 110 are realized by the program being executed by the CPU. . Further, the DCT quantization unit 103, the IDCT inverse quantization unit 104, the motion / disparity vector compensation unit 107, the variable length coding unit 108, the header addition unit 109, and the control unit 110 may be configured as dedicated chips. Next, each functional unit included in the compression coding device 1 will be described.
  • the input frame buffer 101 buffers a moving image input to the compression encoding device 1.
  • the compression coding device 1 receives a moving image captured by the basic camera and a moving image captured by the reference camera. Therefore, the input frame buffer 101 buffers the moving image captured by the basic camera and the moving image captured by the reference camera.
  • the input frame buffer 101 outputs frame data in units of code key processing of each camera according to an instruction from the control unit 110.
  • the encoding processing unit may be one frame or a plurality of frames such as 1 GOP (Group of Pictures).
  • a frame output by the input frame buffer 101 that is, a frame to be subjected to compression coding processing is referred to as an input frame.
  • the subtractor 102 calculates the difference between the input frame and prediction information by motion compensation or parallax compensation, and outputs the result as prediction difference information.
  • the DCT quantization unit 103 performs DCT (Discrete Cosine Transform) operation and quantization operation.
  • the DCT quantization unit 103 performs DCT operation on the prediction difference information calculated by the subtractor 102 in units of blocks, quantizes the DCT coefficient, and outputs the resulting quantized DCT coefficient.
  • the IDCT inverse quantization unit 104 performs IDCT (Inverse Discrete Cosine Transform) operation (hereinafter also referred to as “inverse DCT operation”) and inverse quantization operation.
  • IDCT Inverse Discrete Cosine Transform
  • inverse DCT operation Inverse Discrete Cosine Transform
  • the IDCT inverse quantization unit 104 performs inverse quantization and inverse DCT operation on the quantized DCT coefficient to obtain an inverse DCT operation result.
  • the adder 105 adds the inverse DCT calculation result and the prediction result by motion compensation or disparity compensation to generate a local decoded moving image.
  • the frame buffer 106 stores local decoded moving images.
  • the frame buffer 106 outputs a designated frame of a designated camera moving image in accordance with an instruction from the control unit 110.
  • a frame output by the frame buffer 106 that is, a frame used for motion prediction or disparity prediction is referred to as a prediction source frame.
  • the motion 'parallax vector compensation unit 107 performs prediction based on block matching using the input frame and the prediction source frame in accordance with an instruction from the control unit 110.
  • the motion / disparity vector compensation unit 107 outputs the motion vector information and the disparity vector information to the variable length coding unit 108.
  • the motion / disparity vector compensation unit 107 outputs the prediction information to the subtractor 102.
  • Motion vector information, disparity vector information, and prediction information are used to minimize prediction errors.
  • the motion 'parallax vector compensation unit 107 outputs the motion vector information for the entire frame to the control unit 110.
  • the motion vector information is, for example, the average and variance of motion vector information in all blocks.
  • variable-length code unit 108 generates frame-compressed frame data by variable-length coding the quantization result. Also, the motion vector information used for motion compensation and the disparity vector information used for disparity compensation are passed to the header adding unit 109.
  • the header adding unit 109 adds information such as a camera number, camera type (base camera or reference camera), other cameras to be referred to, etc. to each frame or a plurality of frames after compression encoding. Generate data. ⁇ Control unit>
  • the control unit 110 controls the sign of a moving image captured by each camera, determines a reference camera (reference camera determination process), and determines a frame to be referenced for a predicted sign of a frame captured by a reference camera. (Reference destination decision processing) is performed. Further, the control unit 110 is connected so as to be able to instruct each function unit. The controller 110 also receives parameters of each camera (placement information for each camera) and external force. The arrangement information may be an absolute position of each camera or a relative position.
  • the reference camera determination process and the reference destination determination process will be described.
  • FIG. 4 is a flowchart showing an operation example of the control unit 110 in the base camera determination process and the reference destination determination process. An operation example of the control unit 110 will be described with reference to FIG. The following processing is executed for each set of GOPs. That is, the process shown in FIG. 4 is executed in units of a plurality of GOPs collected by one SEQH.
  • the control unit 110 determines whether or not a panning has occurred in the last frame of the immediately preceding GOP (SOI). For example, the control unit 110 determines the occurrence of the vanning based on the motion vector information in the last frame of the previous GOP (for example, the average and variance of the motion vector information in all blocks). In other words, the occurrence of panning is determined based on the movement of the subject imaged in this last frame. In this case, the control unit 110 determines whether the average value of the motion vectors in the horizontal direction is greater than or equal to a threshold and whether the variance is equal to or less than the threshold. When these two conditions are satisfied, the control unit 110 determines that the vanning has occurred. On the other hand, if one of these two conditions is not satisfied, control unit 110 determines that nosing has not occurred.
  • SOI the last frame of the immediately preceding GOP
  • the control unit 110 calculates C (NZ2 nK) and sets the camera corresponding to the calculation result as the reference camera (S03).
  • C (m) is an identifier indicating the m-th camera, and it is assumed that numbers are assigned in the order in which the cameras are arranged in one direction.
  • N indicates the total number of cameras. N represents an integer of 0 or more.
  • the value of K is a positive value and is set appropriately by the designer in accordance with the distance between the cameras and the distance between the camera and the subject. In this case, a camera in which the center of the camera row and the central force are both in the left and right directions at equal intervals (K) is set as the reference camera.
  • FIG. 5 is a diagram illustrating an arrangement example of cameras. Further, FIG. 6 is a table showing the strength and power of each camera serving as a reference camera, and which reference camera is a reference frame when it is a reference camera.
  • seven cameras C (l) and C (7) are arranged in numerical order on the X axis. In FIG. 5, the cameras are arranged at equal intervals or at arbitrary intervals in the direction perpendicular to the shooting direction (Z-axis direction).
  • the control unit 110 determines in which direction the vanning is occurring (S02). This direction can be determined from the motion vector information used when determining the occurrence of the vanning. That is, the direction of occurrence of vanning can be determined from the direction of this vector.
  • C l + nK
  • the control unit 110 determines the reference frame for each frame imaged by the reference camera as the nearest reference frame on the right side (S07). In other words, the control unit 110 sets the reference frame for each frame imaged by the reference camera as the nearest reference camera installed in the direction opposite to the direction in which the Banning occurs.
  • control unit 110 determines that the vanning has occurred on the right (S02 right), C (N nK) is set as the reference camera (S05). Then, the control unit 110 determines the reference frame for each frame imaged by the reference camera as the nearest reference frame on the left side (SO 8).
  • the decompression decoding device 2 includes a CPU (Central Processing Unit), a main storage device (RAM), an auxiliary storage device and the like connected via a bus in hardware.
  • the auxiliary storage device is configured using a nonvolatile storage device.
  • Non-volatile memory devices mentioned here include so-called ROM (Read-Only Memory: EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), mask ROM, etc.), FRAM ( Ferroelectric RAM) and hard disk.
  • FIG. 7 is a diagram illustrating an example of functional blocks of the decompression decoding apparatus 2.
  • the decompression decoding device 2 loads various programs (OS, applications, etc.) stored in the auxiliary storage device into the main storage device and executes them by the CPU, whereby the header analysis unit 201, the encoded video buffer 202, a variable length decoding unit 203, an IDCT inverse quantization unit 204, an adder 205, a display moving image buffer 206, a frame buffer 207, a motion 'disparity vector compensation unit 208, a control unit 209, and the like.
  • OS operating system
  • applications etc.
  • the header analysis unit 201, variable length decoding unit 203, IDCT inverse quantization unit 204, motion / disparity vector compensation unit 208, and control unit 209 are realized by the program being executed by the CPU. Further, the header 201, the variable length decoding unit 203, the IDCT inverse quantization unit 204, the motion / disparity vector compensation unit 208, and the control unit 209 may be configured as dedicated chips. Next, each functional unit included in the decompression decoding apparatus 2 will be described.
  • the header analysis unit 201 extracts header information from the input moving image data (moving image data created by the compression encoding device 1). Specifically, the header information includes the identifier of the camera that captured each frame, its type (base camera or reference camera), the identifier of the camera that captured the reference frame, and the like. Also, the header analysis unit 201 receives from the control unit 209 the identifier of the camera that has captured the frame to be decoded. Based on this identifier, the header analysis unit 201 determines whether or not each input frame should be decoded, and only the frame that is determined to be decoded is encoded video buffer 202. To pass.
  • the header analysis unit 201 determines a GOP corresponding to a camera to be decoded from among GOPs including frames captured by each camera (decoding camera determination process). By executing this processing, it becomes possible to omit the decoding processing for unnecessary frames, and to increase the processing speed. At the same time, it is possible to reduce the amount of data to be notched, and for example, it is possible to reduce the scale of the display moving image buffer 206 and the frame notifier 207. Further, the header analysis unit 201 notifies the control unit 209 of the identifier of the frame passed to the code motion image buffer 202.
  • FIG. 8 is a flowchart showing an operation example of the header analysis unit 201 in the decoding camera determination process. The processing shown in this flowchart is executed every time SEQH is detected.
  • the header analysis unit 201 acquires an identifier indicating a camera from the control unit 209 (Sl l).
  • the header analysis unit 201 extracts and analyzes SEQ H from the input moving image data (S12). Through this analysis, the header analysis unit 201 acquires the error prediction type of each camera, the identifier of the camera to be referred to, and the like.
  • the header analysis unit 201 searches for GOPH. At this time, if the next SEQH is detected, that is, if there is no frame imaged by the next camera, this process is terminated (S13—No). On the other hand, when GOPH is detected (S13—Yes), the header analysis unit 201 analyzes this GOPH and obtains an identifier of the camera. Then, the header analysis unit 201 determines whether or not the identifier included in GOPH matches the identifier passed from the control unit 209. If they match (S14—Yes), it is determined that decoding should be performed for each frame included in this GOP (S19). Then, the processes after S13 are executed again.
  • the header analysis unit 201 determines whether the identifier is a camera corresponding to the camera reference destination of the identifier passed from the control unit 209. If it is not the reference destination (S15—No), the processing after S13 is executed. On the other hand, when it is a reference destination (S15—Yes), the header analysis unit 201 analyzes GOPH and analyzes the time during which disparity prediction is not performed (S16). And if the parallax prediction is performed all the time (S 17—Yes), this It is determined that the decoding key for each frame included in the GOP should be executed (S19).
  • the header analysis unit 201 determines a frame for which disparity prediction is performed, and determines that only that frame should be decoded ( S18). Then, the processes after S13 are executed again.
  • the code motion picture buffer 202 buffers each frame determined to be decoded by the header analysis unit 201.
  • the encoded video buffer 202 outputs a frame in units of decoding key processing in accordance with an instruction from the control unit 209.
  • the decryption processing unit may be one frame or multiple frames like GOP.
  • variable length decoding unit 203 performs variable length decoding on the quantized DCT coefficient that has been subjected to variable length coding, and passes the result to the IDCT inverse quantization unit 204.
  • the variable length decoding unit 203 also performs variable length decoding on the motion vector information and the disparity vector information and passes them to the motion / disparity vector compensation unit 208.
  • the IDCT inverse quantization unit 204 performs IDCT operation and inverse quantization operation.
  • the IDCT inverse quantization unit 204 performs inverse quantization and inverse DCT operation on the quantized DCT coefficient to obtain an inverse DCT operation result.
  • the adder 205 adds the inverse DCT calculation result and the prediction result by motion compensation or disparity compensation to generate a decoded moving image.
  • the display moving image buffer 206 buffers the decoded moving image data generated by the adder 205. At this time, the display moving image buffer 208 buffers the data of the decoded moving image corresponding to the camera designated to be displayed from the outside. Then, the display moving image buffer 206 sequentially outputs the data being noffered.
  • the frame buffer 207 stores the decoded moving image data. Buffer the data. Further, the frame buffer 207 also accumulates frames captured by other cameras that are necessary for decoding the frame to be processed regardless of designation from the outside.
  • the motion 'disparity vector compensation unit 208 reads out, from the frame notifier 207, a frame used for motion prediction and parallax prediction necessary for decoding a frame to be processed. Then, the motion 'disparity vector compensation unit 208 acquires motion vector information ⁇ disparity vector information from the variable length decoding unit 203. Then, the prediction result is acquired, and the prediction result is passed to the adder 205.
  • the control unit 209 performs decoding key control on the input moving image data.
  • the control unit 209 is connected so as to be able to instruct each functional unit.
  • an identifier indicating a camera that has captured a moving image to be output to the outside from the display moving image buffer 208 is input to the control unit 209 from the outside.
  • One or more identifiers may be used. Then, the control unit 209 passes this input identifier to the header analysis unit 201.
  • Each frame (I, frame, P, frame, B, frame) captured by the reference camera is not limited to a frame captured by the reference camera at the same time, but refers to a frame captured by another reference camera.
  • Predictive encoding may be performed, or prediction encoding may be performed with reference to frames captured at different times by a standard camera or other reference power cameras.
  • the cameras may be installed in any way, such as wavy lines, circles, crosses, squares, etc.
  • the present invention can obtain an effect by being applied to an apparatus that encodes / decodes images picked up from multiple viewpoints.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　予測に用いる最適なフレームを選択することにより予測効率、符号化効率を向上させることが可能となる装置や方法などを提供する。 　自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮像されるフレームを圧縮符号化する装置や方法において、参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用いるフレームを決定する。

Description

明 細 書
圧縮符号化装置、伸張復号化装置
技術分野
[0001] 本発明は、多視点にお ヽて撮像された画像を符号化 ·復号化する装置や方法など に適用されて有効な技術に関する。
背景技術
[0002] 近年、多視点にぉ 、て同時に撮像された動画像を活用する技術が注目されて!/、る 。このような動画像を用いることにより、従来のステレオカメラシステムでは不可能だつ たことが可能となる。例えば、立体視ディスプレイを用いることなぐユーザが自由な 視点でカメラ動画像を見ることが可能となった。具体的には、コンサートの模様を多視 点において同時に撮像することにより、ユーザは、コンサートの状況を一つの視点か らだけではなぐ横方向や後方向など任意の視点から鑑賞することが可能となる。
[0003] ところで、一般的に動画像の情報量は非常に大きい。このため、動画像のデータを 圧縮することなくメディア蓄積やネットワーク伝送を行うことは、伝送速度やコスト面で 不利である。このため、動画像のデータを可逆若しくは不可逆の方式で圧縮符号ィ匕 する技術が開発されてきた。例えば、 Moving Picture Experts Group (MPEG )で標準化された MPEG— 1, MPEG— 2, MPEG— 4等である。
[0004] しかし、同時に撮像を行う視点の数が増加する (カメラの台数が増加する）に伴い、 動画像の数も増加する。このため、多視点において同時に撮像された動画像の総デ ータ量は、単一のカメラを用いて撮像された動画像のデータ量に比べて増大する。こ のため、多視点において同時に撮像された動画像のデータを効率的に圧縮符号ィ匕 する技術が要望されている。
[0005] このような問題に対し、各視点において撮像された動画像間の相関性を用いること により、予測効率を向上させる技術が提案されている。これらの技術では、予測効率 が向上することに伴い、符号化効率が向上する。各視点において撮像された動画像 間の相関性とは、ある視点カメラに映っている物体や背景は、他視点のカメラにもそ の一部が映っていることを指す。例えば、カメラ mにおけるフレームと、カメラ nにおけ る同時刻のフレームとを比較すると、両カメラが近い位置で近い方向を撮像している 場合、同一物体や同一背景が撮像される場合がある。このため、このような異なるカメ ラによって同時刻に撮像されたフレームを、同一のカメラによって撮像されたフレーム とみなすことにより、動きベクトルを用いた予測符号ィ匕を行うことができる。例えば、力 メラ nのフレームを、これまでのように同一カメラ (カメラ n)によって撮像されたフレーム のみを用いて動き予測符号ィ匕する場合に比べて、他のカメラ (カメラ m)によるフレー ムをさらに用いて動き予測符号ィ匕する場合は、符号ィ匕効率を高めることが可能となる
。この場合、動きベクトルは、二つのカメラ間の視差に相当する。このような技術の例 として、特許文献 1一 7がある。
特許文献 1 :特開 2001— 186516号公報
特許文献 2：特表 2002 - 523943号公報
特許文献 3：特開 2002— 300607号公報
特許文献 4：特許 3426668号公報
特許文献 5：特開平 06— 98312号公報
特許文献 6 :特開平 10— 191394号公報
特許文献 7：特開 2000-23918号公報
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、視差予測の効率を向上させるためには、最適な基準カメラを設定す る必要がある。基準カメラとは、カメラ間の予測に用いるフレームを撮像するカメラを 示す。また、それ以外のカメラを参照カメラと呼ぶ。従来は、各視点カメラの配置情報 のみに基づいて基準カメラを設定するにとどまっており、有効な設定基準は提案され ていな力つた。このため、符号ィ匕効率の向上が十分に実現されていな力つた。
[0007] 図 9, 10は、従来の技術の問題点を示す図である。図 9, 10を用いて、従来技術の 問題点について説明する。図 9において、三つの三角形はそれぞれカメラ CI, C2, C3を示す。また、図 9において、カメラの移動方向に並ぶ三つの楕円は、被写体を 示す。また、カメラ CI, C2, C3はそれぞれ右方向に移動しながら、撮像方向を撮像 する。図 10は、各時刻 T(n-l) , T(n) , Τ(η+ 1)において各カメラ CI, C2, C3によ り撮像されたフレーム（a)— (i)の例を示す図である。
[0008] カメラ C1の時刻 T(n)におけるフレーム（b)を、同一カメラであるカメラ C1の時刻 T( η— 1)のフレーム (b)のみから予測する場合について検討する。この場合、右端の被 写体 Aは、予測に用いるフレーム (a)には撮像されていない。このため、予測効率が 落ちてしまう。一方、同時刻 T(n)におけるカメラ C2のフレーム (e)には被写体 Aが撮 像されている。このため、このフレーム（e)を用いてフレーム（b)を予測しょうとすれば 、予測効率が向上する。
[0009] また、カメラ C2の時刻 T(n)におけるフレーム（e)を、同時刻 T(n)におけるカメラ C 1のフレーム (b)を用いて視差予測しょうとする場合について検討する。この場合、フ レーム (e)に撮像されて 、る被写体 Cの右側部分がフレーム (b)には撮像されて!、な いため予測効率は向上しない。このように、フレーム (b)からフレーム（e)を視差予測 しょうとした場合に予測効率が向上したのとは異なり、フレーム (e)力もフレーム (b)を 視差予測しょうとしても予測効率は向上しない。
[0010] このように、予測効率を向上させるためには、そのカメラによって撮像されて！、るフレ ームの状態に応じて、予測に用いる最適なフレームを選択する必要がある。
[0011] そこで本発明はこれらの問題を解決し、予測に用いる最適なフレームを選択するこ とにより予測効率、符号化効率を向上させることが可能となる装置や方法などを提供 することを目的とする。
課題を解決するための手段
[0012] 上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態 様は、自身により撮像されたフレームが自身により撮像されたフレームのみを用いた 動き予測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身 により撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレーム を用いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによつ て撮像されるフレームを圧縮符号化する圧縮符号化装置であって、決定手段、圧縮 符号化手段、予測情報作成手段、及び合成手段を含む。
[0013] 決定手段は、参照カメラによって撮像されたフレームを圧縮符号ィ匕する場合に、処 理対象となっているフレームが撮像される前に撮像されたフレームにおける被写体の 動きに基づ!/、て、動き予測に用 、る他力メラのフレームを決定する。
[0014] 圧縮符号化手段は、参照カメラにより撮像されたフレームについては、決定手段に よって決定された他力メラのフレーム及び当該参照カメラによって撮像された他のフ レームを用いた動き予測による圧縮符号ィ匕を行う。また、圧縮符号化手段は、基準力 メラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラにより 撮像された他のフレームのみを用いた動き予測による圧縮符号ィ匕を行う。言い換え れば、圧縮符号化手段は、基準カメラによって撮像された各フレームについては、同 一力メラによって撮像されたフレームのみを用いて動き予測をしていた従来の方法と 同じ方法により圧縮符号ィ匕を行う。
[0015] 予測情報作成手段は、各フレームが基準カメラによって撮像されたフレームである か参照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって 撮像されたフレームについては当該フレームと動き予測に用いられた他のフレームと を対応づけるための情報を含む予測情報を生成する。
[0016] 合成手段は、基準カメラにより撮像された複数の符号ィ匕後のフレームと、参照カメラ により撮像された複数の符号ィヒ後のフレームと、動き予測情報とを含む一つの動画 像データを生成する。
[0017] このように構成された本発明の第一の態様によれば、決定手段により、参照カメラに よって撮像されたフレームを圧縮符号ィ匕する場合に動き予測に用いられるフレーム 力 以前に撮像されたフレームにおける被写体の動きに基づいて決定される。そして 、決定手段によって決定されたフレームを用いた動き予測により、参照カメラによって 撮像されたこのフレームが圧縮符号ィ匕される。このため、過去のフレームにおける被 写体の動きに基づいて、動き予測に用いる最適なフレームが決定され、予測効率、 符号化効率の向上が図られる。
[0018] また、本発明の第一の態様における決定手段は、処理対象となっているフレームが 撮像される前に撮像されたフレームにおいて実施される動き予測の際に取得される 動きベクトルの向きに従って、被写体の動きを判断し、動き予測に用いる他力メラのフ レームを決定するように構成されても良 、。
[0019] また、本発明の第一の態様における決定手段は、処理対象となっているフレームが 撮像された参照カメラに対し、処理対象となっているフレームが撮像される前に撮像 されたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きと 反対の方向に設置されている他のカメラによって撮像されたフレームを、動き予測に 用いるフレームとして決定するように構成されても良 、。このように構成されることによ り、処理対象のフレームと相関性がより高いフレームを用いて動き予測を行うことが可 能となる。従って、予測効率、符号化効率の向上が図られる。
[0020] また、本発明の第一の態様は、所定の周期で、複数台のカメラのうちいずれのカメ ラを基準カメラとすべきか判断する基準カメラ判断手段をさらに含むように構成されて も良い。このように構成されることにより、基準カメラが的確に選択され、動き予測に用 いる最適なフレームが決定され、予測効率、符号化効率の向上が図られる。
[0021] また、本発明の第一の態様における基準カメラ判断手段は、処理対象となっている フレームが撮像される前に撮像されたフレームにおける被写体の動きに基づいて、 基準カメラを決定するように構成されても良 ヽ。
[0022] また、本発明の第一の態様における基準カメラ判断手段は、処理対象となっている フレームが撮像される前に撮像されたフレームにおいて実施される動き予測の際に 取得される動きベクトルの向きに従って、被写体の動きを判断し、基準カメラを決定す るように構成されても良い。
[0023] また、本発明の第一の態様における動き予測情報作成手段は、参照カメラにより撮 像されたフレームについて、他のカメラによって撮像されたフレームを用いた動き予 測が実施されることなく圧縮符号化された時間の情報を、動き予測情報にさらに含め るように構成されても良い。
[0024] 本発明の第二の態様は、本発明の第一の態様である圧縮符号ィ匕装置により作成さ れた動画像データを伸張復号化する伸張復号化装置であって、判断手段及び伸張 復号化手段を含む。
[0025] 判断手段は、動画像データ力 動き予測情報を抽出し、各フレームについて基準 カメラと参照カメラといずれによって撮像されたフレームであるか判断する。そして、伸 張復号ィ匕手段は、判断手段によって基準カメラによって撮像されたフレームと判断さ れたフレームについては、同一のカメラによって撮像された他のフレームのみに基づ いた動き予測により伸張復号ィ匕を行い、判断手段によって参照カメラによって撮像さ れたフレームと判断されたフレームについては、同一のカメラによって撮像された他 のフレーム及び他のカメラによって撮像されたフレームに基づいた動き予測により伸 張復号化を行う。
[0026] 第一の態様及び第二の態様は、プログラムが情報処理装置によって実行されること によって実現されても良い。即ち、本発明は、上記した第一の態様及び第二の態様 における各手段が実行する処理を、情報処理装置に対して実行させるためのプログ ラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、 本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもつ て特定されても良い。
発明の効果
[0027] 本発明によれば、動き予測に用いる最適なフレームが決定され、予測効率、符号 化効率の向上を図ることが可能となる。
図面の簡単な説明
[0028] [図 1]基準カメラによって撮像された各フレームの予測符号ィ匕方法と、参照カメラによ つて撮像された各フレームの予測符号ィ匕方法とを示す図である。
[図 2]動画像データの構成例を示す図である。
[図 3]圧縮符号ィ匕装置の機能ブロックの例を示す図である。
[図 4]基準カメラ決定処理と参照先決定処理の処理例を示すフローチャートである。
[図 5]カメラの配置例を示す図である。
[図 6]各カメラが基準カメラとなる力否力 及び、参照カメラである場合に参照先となる フレームはどの基準カメラとなるかを示す表である。
[図 7]伸張復号ィ匕装置の機能ブロックの例を示す図である。
[図 8]復号ィ匕カメラ判断処理の処理例を示すフローチャートである。
[図 9]従来の技術の問題点を示す図である。
[図 10]従来の技術の問題点を示す図である。
符号の説明
[0029] 1 圧縮符号化装置 101 入力フレームバッファ
102 減算器
103 DCT量子化部
104 IDCT逆量子化部
105 加算器
106 フレームノッファ
107 動き'視差ベクトル補償部
108 可変長符号部
109 ヘッダ付加部
110 制御部
2 伸張復号化装置
201 ヘッダ解析部
202 符号ィ匕動画像バッファ
203 可変長復号部
204 IDCT逆量子化部
205 加算器
206 表示動画像バッファ
207 フレームノ ッファ
208 動き'視差ベクトル補償部
209 制御部
発明を実施するための最良の形態
[0030] [原理]
まず、本発明における予測符号ィ匕の方法の原理について説明する。図 1は、基準 カメラによって撮像された各フレームの予測符号ィ匕方法と、参照カメラによって撮像さ れた各フレームの予測符号ィ匕方法とを示す図である。図 1において、矢印の根に位 置するフレームは、矢印の先に位置するフレームを参照することにより予測符号ィ匕さ れる。
[0031] Iフレームは、フレーム内符号ィ匕を行うフレームを示す。 Iフレームは、他のフレーム を一切参照することなく符号化される。 Pフレームは、前方向時間予測符号化フレー ムを示す。 Pフレームは、同一カメラによって撮像されたフレームであって、時間的に 直前に位置する Iフレーム又は他の Pフレームを参照することにより予測符号ィ匕される
。このように同一カメラによって撮像された他のフレームを参照することにより予測符 号化することを、以下では「動き予測符号化」と呼ぶ。 Bフレームは、双方向時間予測 符号化フレームを示す。 Bフレームは、同一カメラによって撮像されたフレームであつ て、時間的に直前に位置する Iフレーム又は Pフレーム及び時間的に直後に位置す る Iフレーム又は Pフレームを参照することにより予測符号ィ匕される。 Iフレーム， Pフレ ーム， Bフレームの概念は、 MPEG— 1, 2, 4と同じである。
[0032] I'フレームは、基準カメラによって撮像された同時刻の Iフレームのみを参照するこ とにより予測符号ィ匕される。このように他のカメラによって撮像されたフレームを参照 することにより予測符号化することを、以下では「視差予測符号化」と呼ぶ。 P'フレー ムは、基準カメラによって撮像された同時刻の Pフレーム、及び同一カメラによって撮 像されたフレームであって時間的に直前に位置する Γフレーム又は他の P'フレーム を参照することにより予測符号化される。 B'フレームは、基準カメラによって撮像され た同時刻の Bフレーム、同一カメラによって撮像されたフレームであって時間的に直 前に位置する I，フレーム又は P，フレーム、及び同一カメラによって撮像されたフレー ムであって時間的に直後に位置する Γフレーム又は P'フレームを参照することにより 予測符号化される。
[0033] 次に、本発明における予測符号化によって作成される動画像データの構成につい て説明する。図 2は、動画像データの構成例を示す図である。動画像データには、 S EQHと GOPとが含まれる。 SEQHは、 GOP (Group of pictures)の全力メラ単位 に挿入される。 SEQH (n)は、以下に続く GOP力 n番目の GOPであることを示す。 SEQHは、カメラ総数，各カメラの視差予測タイプ (即ち、各フレームを撮像したカメラ が基準カメラと参照カメラのいずれである力 ，各参照カメラにおける参照先のカメラ を示す識別子を含む。 GOPは、時間軸に沿って並んでいるフレームをグループ化し たデータである。 GOP (m, n)は、カメラ mの n番目の GOPであることを示す。
[0034] 一つの GOPには、 GOPHと複数の Frameが含まれる。 GOPHは、 GOPのヘッダ 情報である。 GOPHには、このフレームを撮像したカメラを示す識別子，視差予測を 行って 、な 、時間情報（GOP先頭からのフレーム番号相対値）を含む。 Frameは、 符号ィ匕されたフレームのデータである。
[0035] 一つの Frameには、 Frame Headerと複数の MB (Macro Block)が含まれる。
Frame Headerは、フレームのヘッダ情報である。 Frame Headerは、そのフレー ムの予測種別（I, P, B, Ι' , Ρ' , Β，）が含まれる。 MBは、マクロブロック情報を示す。
[0036] 各 MBには、 MBType, MV,及び DCTCoeffが含まれる。 MBTypeは、各マクロ ブロックの予測種別 (Intra, Inter, Bi— Direction)、及び量子化係数を含む。予測 種別は、片方向予測（Inter)や両方向予測（Bi— Direction)で参照するフレームの 識別子をさらに含む。予測種別は、片方向予測の場合は一つの識別子を、両方向 予測の場合は二つの識別子を含む。 MVは、ベクトル情報である。以下、このべタト ル情報を動きベクトルと視差ベクトルとに区別して記載する。動きベクトルとは同一力 メラによって撮像されたフレーム間のベクトル情報を示し、視差ベクトルとは異なるカメ ラによって撮像されたフレーム間のベクトル情報を示す。 DCTCoeffは、予測誤差の 量子化 DCT係数情報である。
[0037] 次に、各カメラによって撮像された動画像を圧縮符号ィ匕することにより上記のような 動画像データを生成する圧縮符号化装置 1と、この圧縮符号化装置 1によって生成 された動画像データを復号ィ匕する伸張復号ィ匕装置 2とについて説明する。
[0038] [圧縮符号化装置]
まず、圧縮符号ィ匕装置 1の構成例について説明する。圧縮符号ィ匕装置 1は、ハード ウェア的には、バスを介して接続された CPU (中央演算処理装置)，主記憶装置 (R AM) ,補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて 構成される。ここで言う不揮発性記憶装置とは、いわゆる ROM (Read— Only Mem ory： EPROM (Erasable Programmable Read— Only Memory) , EEPROM (Electrically Erasable Programmable Read— Only Memory) ,マスク RO M等を含む） , FRAM (Ferroelectric RAM) ,ハードディスク等を指す。
[0039] 図 3は、圧縮符号化装置 1の機能ブロックの例を示す図である。圧縮符号化装置 1 は、補助記憶装置に記憶された各種のプログラム (OS,アプリケーション等）が主記 憶装置にロードされ CPUにより実行されることによって、入力フレームバッファ 101, 減算器 102, DCT量子化部 103, IDCT逆量子化部 104,カロ算器 105,フレームバ ッファ 106,動き'視差ベクトル補償部 107,可変長符号部 108,ヘッダ付加部 109, 及び制御部 110等を含む装置として機能する。 DCT量子化部 103, IDCT逆量子 化部 104,動き，視差ベクトル補償部 107,可変長符号部 108,ヘッダ付加部 109, 及び制御部 110は、プログラムが CPUによって実行されることにより実現される。また 、 DCT量子化部 103, IDCT逆量子化部 104,動き，視差ベクトル補償部 107,可変 長符号部 108,ヘッダ付加部 109,及び制御部 110は専用のチップとして構成され ても良い。次に、圧縮符号ィ匕装置 1が含む各機能部について説明する。
[0040] 〈入力フレームバッファ〉
入力フレームバッファ 101は、圧縮符号化装置 1に入力される動画像をバッファリン グする。圧縮符号ィ匕装置 1には、基本カメラによって撮像された動画像と、参照カメラ によって撮像された動画像とが入力される。従って、入力フレームバッファ 101は、基 本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とをバッ ファリングする。入力フレームバッファ 101は、制御部 110からの指示に従って、各力 メラの符号ィ匕処理単位でフレームデータを出力する。符号化処理単位とは、 1フレー ムであっても良いし、 1GOP (Group of Pictures)といった複数フレームであって も良い。以下、入力フレームバッファ 101によって出力されたフレーム、即ち圧縮符 号化の処理対象となるフレームを入力フレームと呼ぶ。
[0041] 〈減算器〉
減算器 102は、入力フレームと、動き補償や視差補償による予測情報との差分を計 算し、その結果を予測差分情報として出力する。
[0042] く DCT量子化部〉
DCT量子化部 103は、 DCT(Discrete Cosine Transform)演算、量子化演 算を行う。 DCT量子化部 103は、減算器 102により算出される予測差分情報をプロ ック単位で DCT演算し、 DCT係数を量子化し、その結果である量子化 DCT係数を 出力する。
[0043] 〈IDCT逆量子化部〉 IDCT逆量子化部 104は、 IDCT (Inverse Discrete Cosine Transform)演 算 (以下、「逆 DCT演算」とも呼ぶ)、逆量子化演算を行う。 IDCT逆量子化部 104は 、量子化 DCT係数の逆量子化及び逆 DCT演算を行い、逆 DCT演算結果を得る。
[0044] 〈加算器〉
加算器 105は、逆 DCT演算結果と、動き補償や視差補償による予測結果とを足し 合わせて、ローカル復号化動画像を生成する。
[0045] 〈フレームバッファ〉
フレームバッファ 106は、ローカル復号化動画像を蓄積する。また、フレームバッフ ァ 106は、制御部 110からの指示に従って、指定されたカメラ動画像の指定されたフ レームを出力する。以下、フレームバッファ 106によって出力されたフレーム、即ち動 き予測や視差予測に用いられるフレームを予測元フレームと呼ぶ。
[0046] 〈動き'視差ベクトル補償部〉
動き'視差ベクトル補償部 107は、制御部 110からの指示に従って、入力フレームと 、予測元フレームとを用いてブロックマッチングによる予測を行う。動き'視差ベクトル 補償部 107は、動きベクトル情報及び視差ベクトル情報を可変長符号部 108へ出力 する。また、動き'視差ベクトル補償部 107は、予測情報を減算器 102へ出力する。 動きベクトル情報や視差ベクトル情報や予測情報は、予測誤差を最小にするために 使用される。また、動き'視差ベクトル補償部 107は、フレーム全体での動きベクトル 情報を制御部 110に出力する。動きベクトル情報とは、例えば全ブロックでの動きべ タトル情報の平均と分散などである。
[0047] 〈可変長符号部〉
可変長符号部 108は、量子化の結果を可変長符号化することにより、圧縮符号ィ匕 されたフレームのデータを生成する。また、動き補償に用いられた動きベクトル情報、 視差補償に用いられた視差ベクトル情報をヘッダ付加部 109へ渡す。
[0048] 〈ヘッダ付加部〉
ヘッダ付加部 109は、カメラ番号、カメラ種別（基準カメラ又は参照カメラ）、参照す る他のカメラ、等の情報を、圧縮符号化された後各フレーム又は複数フレーム単位に 付加することにより動画像データを生成する。 [0049] 〈制御部〉
制御部 110は、各カメラにより撮像された動画像の符号ィ匕制御、基準カメラの決定（ 基準カメラ決定処理）、参照カメラにより撮像されたフレームの予測符号ィ匕のために 参照するフレームの決定 (参照先決定処理)などを行う。また、制御部 110は、各機 能部に指示をすることが可能となるように接続される。また、制御部 110には、各カメ ラのパラメタ (各カメラについての配置情報）が外部力も入力される。配置情報は、各 カメラの絶対位置であってもよいし相対位置でも良い。以下、基準カメラ決定処理と 参照先決定処理にっ 、て説明する。
[0050] 図 4は、基準カメラ決定処理と参照先決定処理における制御部 110の動作例を示 すフローチャートである。図 4を用いて、制御部 110の動作例について説明する。な お、以下の処理は一組の GOP単位で実行される。即ち、一つの SEQHによってまと められる複数の GOP単位で、図 4の処理が実行される。
[0051] まず、制御部 110は、直前の GOPの最後のフレームにおいてバニング（Panning) が生じていた力否力判断する（SOI)。制御部 110は、例えば、直前の GOPの最後 のフレームにおける動きベクトル情報（例えば、全ブロックでの動きベクトル情報の平 均及び分散など）に基づいて、バニングの発生について判断する。言い換えれば、こ の最後のフレームにおいて撮像されていた被写体の画像内での動きに基づいて、パ ニングの発生が判断される。この場合、制御部 110は、横方向の動きベクトルの平均 値が閾値以上である力否力、及び分散が閾値以下である力否力判断する。この二つ の条件が満たされる場合に、制御部 110は、バニングが発生していると判断する。一 方、この二つの条件の一方でも満たされない場合は、制御部 110は、ノ ユングが発 生していないと判断する。
[0052] バニングが発生していないと判断した場合（S01— No)、制御部 110は、 C (NZ2 士 nK)を計算し、その計算結果に該当するカメラを基準カメラとする（S03)。なお、 C (m)は、 m番目のカメラを示す識別子であり、一方向に向けて並ぶ複数のカメラに並 んでいる順番で数字が割り当てられていると仮定する。また、 Nはカメラの総数を示す 。また、 nは 0以上の整数を示す。また、 Kの値は、正の値を示す値であり、カメラ間の 間隔やカメラと被写体との距離などに応じて設計者により適宜設定される値である。 この場合は、カメラ列の中心、及び中心力も等間隔 (K)に左右両方向にあるカメラが 基準カメラとして設定される。
[0053] そして、処理対象となる GOPに含まれるフレームのうち、参照カメラによって撮像さ れたフレームを予測符号ィ匕するための参照先フレームが決定される。この場合は、制 御部 110は、各フレームにとって、中心側の直近の基準フレームを参照先フレームと なるように決定する（S06)。図 5は、カメラの配置例を示す図である。また、図 6は、各 カメラが基準カメラとなる力否力、及び、参照カメラである場合に参照先となるフレー ムはどの基準カメラとなるかを示す表である。図 5では、 7台のカメラ C (l)一 C (7)が X 軸上に番号順に並んでいる。また、図 5では、各カメラは撮影方向（Z軸方向）に垂直 方向に等間隔若しくは任意の間隔で並んでいる。また、図 6では、 Kの値は" 2"と設 定されている。また、図 6では、〇は基準カメラであることを示し、 C (m)はそのカメラ によって撮像されたフレームが参照先フレームとなることを示す。上記のようにパニン グが生じていないと判断された場合、 S03の処理の結果、 C (2) , C (4) , C (6)が基 準カメラとして設定される。そして、 C (1)はじ (2)を、 C (3)及び C (5)はじ (4)を、 C (7 )はじ (6)を参照先とする。
[0054] 次に、バニングが発生していると判断した場合 (S01— Yes)について説明する。こ の場合、制御部 110は、バニングがどの方向に生じているか判断する（S02)。この方 向は、バニングの発生を判断する際に使用された動きベクトル情報により判断できる 。即ち、このベクトルの向きによってバニングの発生方向が判断できる。制御部 110 は、左にバニングが生じていると判断した場合 (S02—左）、 C (l +nK)を基準カメラと する（S04)。そして、制御部 110は、参照カメラにより撮像された各フレームにとって の参照先フレームを、右側の直近の基準フレームに決定する（S07)。言い換えれば 、制御部 110は、参照カメラにより撮像された各フレームにとっての参照先フレームを 、バニングが発生している方向と逆方向に設置された直近の基準カメラとして設定す る。
[0055] 一方、制御部 110は、右にバニングが生じていると判断した場合 (S02 右）、 C (N nK)を基準カメラとする（S05)。そして、制御部 110は、参照カメラにより撮像された 各フレームにとっての参照先フレームを、左側の直近の基準フレームに決定する（SO 8)。
[0056] [伸張復号化装置]
次に、伸張復号ィ匕装置 2の構成例について説明する。伸張復号ィ匕装置 2は、ハー ドウエア的には、バスを介して接続された CPU (中央演算処理装置)，主記憶装置 (R AM) ,補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて 構成される。ここで言う不揮発性記憶装置とは、いわゆる ROM (Read— Only Mem ory： EPROM (Erasable Programmable Read— Only Memory) , EEPROM (Electrically Erasable Programmable Read— Only Memory) ,マスク RO M等を含む） , FRAM (Ferroelectric RAM) ,ハードディスク等を指す。
[0057] 図 7は、伸張復号ィ匕装置 2の機能ブロックの例を示す図である。伸張復号化装置 2 は、補助記憶装置に記憶された各種のプログラム (OS,アプリケーション等）が主記 憶装置にロードされ CPUにより実行されることによって、ヘッダ解析部 201,符号ィ匕 動画像バッファ 202,可変長復号部 203, IDCT逆量子化部 204,加算器 205,表 示動画像バッファ 206,フレームバッファ 207,動き'視差ベクトル補償部 208,及び 制御部 209等を含む装置として機能する。ヘッダ解析部 201,可変長復号部 203, I DCT逆量子化部 204,及び動き ·視差ベクトル補償部 208,及び制御部 209は、プ ログラムが CPUによって実行されることにより実現される。また、ヘッダ 201,可変長 復号部 203, IDCT逆量子化部 204,動き ·視差ベクトル補償部 208,及び制御部 2 09は専用のチップとして構成されても良い。次に、伸張復号化装置 2が含む各機能 部について説明する。
[0058] 〈ヘッダ解析部〉
ヘッダ解析部 201は、入力された動画像データ (圧縮符号化装置 1により作成され た動画像データ)から、ヘッダ情報を抽出する。ヘッダ情報とは、具体的には、各フレ 一ムを撮像したカメラの識別子やその種別 (基準カメラ又は参照カメラ）、参照先フレ 一ムを撮像したカメラの識別子などである。また、ヘッダ解析部 201は、制御部 209 から、復号ィ匕すべきフレームを撮像したカメラの識別子を受け取る。そして、ヘッダ解 析部 201は、この識別子に基づいて、入力された各フレームについて復号化すべき か否か判断し、復号ィ匕すべきと判断したフレームのみを符号ィ匕動画像バッファ 202 へ渡す。具体的には、ヘッダ解析部 201は、各カメラによって撮像されたフレームを 含む GOPのうち、復号化すべきカメラに対応する GOPを判断する（復号ィ匕カメラ判 断処理)。この処理が実行されることにより、不要なフレームについての復号化処理を 省略することが可能となり、処理の高速ィ匕を図ることができる。同時に、ノ ッファリング すべきデータ量の削減も図ることができ、例えば表示動画像バッファ 206やフレーム ノ ッファ 207の規模を小さくすることができる。さらに、ヘッダ解析部 201は、制御部 2 09に対し、符号ィ匕動画像バッファ 202に渡したフレームの識別子を通知する。
[0059] 以下、復号化カメラ判断処理につ!、て説明する。なお、以下の説明では、参照カメ ラによって撮像された画像は、参照先フレームとして基準カメラによって撮像されたフ レームのみを用いて圧縮符号ィ匕されたと仮定している。ただし、このように限定される 必要はない。図 8は、復号ィ匕カメラ判断処理におけるヘッダ解析部 201の動作例を 示すフローチャートである。このフローチャートに示される処理は、 SEQHが検出され る度に実行される。まず、ヘッダ解析部 201は、制御部 209からカメラを示す識別子 を取得する（Sl l)。次に、ヘッダ解析部 201は、入力される動画像データから SEQ Hを抽出し解析する（S12)。この解析により、ヘッダ解析部 201は、各カメラの誤差 予測タイプや参照先となるカメラの識別子などを取得する。
[0060] 次に、ヘッダ解析部 201は、 GOPHを探索する。このとき、次の SEQHが検出され た場合、即ち次のカメラによって撮像されたフレームが無い場合はこの処理を終了す る（S13— No)。一方、 GOPHが検出された場合は（S13— Yes)、ヘッダ解析部 201 は、この GOPHを解析し、カメラの識別子を取得する。そして、ヘッダ解析部 201は、 GOPHに含まれる識別子と、制御部 209から渡された識別子とがー致する力否か判 断する。一致する場合（S14— Yes)、この GOPに含まれる各フレームについての復 号化を実行すべきと判断する（S19)。そして、 S13以降の処理が再び実行される。
[0061] 一方、ヘッダ解析部 201は、識別子が一致しない場合 (S 14— No)、制御部 209か ら渡された識別子のカメラの参照先に対応するカメラである力否力判断する。参照先 でない場合 (S 15— No)、 S13以降の処理が実行される。一方、参照先である場合 (S 15— Yes)、ヘッダ解析部 201は、 GOPHを解析し視差予測を行っていない時間を 解析する（S16)。そして、全時間で視差予測を行っている場合は（S 17— Yes)、この GOPに含まれる各フレームについての復号ィ匕を実行すべきと判断する（S19)。一方 、一部の時間で視差予測を行っていない場合には（S17— No)、ヘッダ解析部 201 は、視差予測を行っているフレームを判断し、そのフレームのみについて復号化す べきと判断する（S18)。そして、 S13以降の処理が再び実行される。
[0062] 〈符号化動画像バッファ〉
符号ィ匕動画像バッファ 202は、ヘッダ解析部 201によって復号ィ匕すべきと判断され た各フレームをバッファリングする。符号ィ匕動画像バッファ 202は、制御部 209からの 指示に従って、復号ィ匕処理単位でフレームを出力する。復号化処理単位とは、 1フレ ームであっても良!ヽし、 GOPのように複数フレームであっても良!ヽ。
[0063] 〈可変長復号部〉
可変長復号部 203は、可変長符号化されている量子化 DCT係数を可変長復号化 し、その結果を IDCT逆量子化部 204に渡す。また、可変長復号化部 203は、動き ベクトル情報や視差ベクトル情報についても可変長復号ィ匕し、動き ·視差べタトル補 償部 208に渡す。
[0064] 〈IDCT逆量子化部〉
IDCT逆量子化部 204は、 IDCT演算、逆量子化演算を行う。 IDCT逆量子化部 2 04は、量子化 DCT係数の逆量子化及び逆 DCT演算を行い、逆 DCT演算結果を 得る。
[0065] 〈加算器〉
加算器 205は、逆 DCT演算結果と、動き補償や視差補償による予測結果とを足し 合わせて、復号化動画像を生成する。
[0066] 〈表示動画像バッファ〉
表示動画像バッファ 206は、加算器 205によって生成された復号化動画像のデー タをバッファリングする。このとき、表示動画像バッファ 208は、外部から表示すること を指定されたカメラに対応する復号化動画像のデータをバッファリングする。そして、 表示動画像バッファ 206は、ノ ッファリングしているデータを順次出力する。
[0067] 〈フレームバッファ〉
フレームバッファ 207は、表示動画像バッファ 206と同様に、復号化動画像のデー タをバッファリングする。さらに、フレームバッファ 207は、外部からの指定に関わらず 、処理対象のフレームの復号ィ匕に必要となる他のカメラにより撮像されたフレームも 蓄積する。
[0068] 〈動き'視差ベクトル補償部〉
動き'視差ベクトル補償部 208は、制御部 209からの指示に従い、処理対象となつ ているフレームの復号ィ匕に必要な動き予測'視差予測に用いるフレームを、フレーム ノ ッファ 207から読み出す。そして、動き'視差ベクトル補償部 208は、可変長復号部 203から動きベクトル情報 ·視差ベクトル情報を取得する。そして、予測結果を取得し 、その予測結果を加算器 205へ渡す。
[0069] 〈制御部〉
制御部 209は、入力される動画像データについての復号ィ匕制御を行う。また、制御 部 209は、各機能部に指示をすることが可能となるように接続される。また、制御部 2 09には、外部から、表示動画像バッファ 208から外部へ出力すべき動画像を撮像し たカメラを示す識別子が入力される。この識別子は、一つでも複数でも良い。そして、 制御部 209は、入力されたこの識別子をヘッダ解析部 201に渡す。
[0070] 〔作用 Z効果〕
〔変形例〕
参照カメラにより撮像された各フレーム（I，フレーム， P，フレーム， B，フレーム）は、 基準カメラによって同時刻に撮像されたフレームに限らず、他の参照カメラによって 撮像されたフレームを参照して予測符号化されても良いし、基準カメラや他の参照力 メラによって異なる時刻によって撮像されたフレームを参照して予測符号ィ匕されても 良い。
[0071] また、カメラは一直線上に並ぶように設置される必要はなぐ波線状や円状や十字 状や四角状など、どのように並ぶように設置されても良 、。
産業上の利用可能性
[0072] 本発明は、多視点において撮像された画像を符号化'復号ィ匕する装置に対して利 用することにより、効果を得ることができる。

Claims

請求の範囲
[1] 自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームを圧縮符号ィ匕する圧縮符号ィ匕装置であって、
前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象と なっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基 づ 、て、動き予測に用いる他力メラのフレームを決定する決定手段と、
前記参照カメラにより撮像されたフレームについては、前記決定手段によって決定 されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予 測による圧縮符号化を行い、前記基準カメラにより撮像されたフレームについては、 フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用いた動き 予測による圧縮符号化を行う圧縮符号化手段と、
各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮 像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームにつ いては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情 報を含む予測情報を生成する動き予測情報作成手段と、
前記基準カメラにより撮像された複数の符号ィ匕後のフレームと、前記参照カメラによ り撮像された複数の符号化後のフレームと、前記動き予測情報とを含む一つの動画 像データを生成する合成手段と
を含む圧縮符号化装置。
[2] 前記決定手段は、処理対象となっているフレームが撮像される前に撮像されたフレ ームにおいて実施される動き予測の際に取得される動きベクトルの向きに従って、前 記被写体の動きを判断し、動き予測に用いる他力メラのフレームを決定する請求項 1 に記載の圧縮符号ィヒ装置。
[3] 前記決定手段は、処理対象となっているフレームが撮像された参照カメラに対し、処 理対象となっているフレームが撮像される前に撮像されたフレームにおいて実施され る動き予測の際に取得される動きベクトルの向きと反対の方向に設置されている他の カメラによって撮像されたフレームを、前記動き予測に用いるフレームとして決定する 請求項 2に記載の圧縮符号化装置。
[4] 所定の周期で、前記複数台のカメラのうちいずれのカメラを前記基準カメラとすべき か判断する基準カメラ判断手段をさらに含む請求項 1に記載の圧縮符号化装置。
[5] 前記基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像さ れたフレームにおける被写体の動きに基づいて、基準カメラを決定する請求項 4に記 載の圧縮符号化装置。
[6] 前記基準カメラ判断手段は、処理対象となっているフレームが撮像される前に撮像さ れたフレームにおいて実施される動き予測の際に取得される動きベクトルの向きに従 つて、前記被写体の動きを判断し、基準カメラを決定する請求項 5に記載の圧縮符号 化装置。
[7] 前記動き予測情報作成手段は、前記参照カメラにより撮像されたフレームについて、 他のカメラによって撮像されたフレームを用いた動き予測が実施されることなく圧縮符 号化された時間の情報を、前記動き予測情報にさらに含める請求項 1に記載の圧縮 符号化装置。
[8] 自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームを圧縮符号化する圧縮符号化装置であって、前記参照カメラによつ て撮像されたフレームを圧縮符号ィ匕する場合に、処理対象となって ヽるフレームが撮 像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用 V、る他力メラのフレームを決定する決定手段と、前記参照カメラにより撮像されたフレ ームについては、前記決定手段によって決定されたフレーム及び当該参照カメラに よって撮像された他のフレームを用いた動き予測による圧縮符号ィ匕を行い、前記基 準カメラにより撮像されたフレームについては、フレーム内予測又は当該基準カメラ により撮像された他のフレームのみを用いた動き予測による圧縮符号ィ匕を行う圧縮符 号ィ匕手段と、各フレームが基準カメラによって撮像されたフレームであるか参照カメラ によって撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフ レームについては当該フレームと動き予測に用いられた他のフレームとを対応づける ための情報を含む予測情報を生成する動き予測情報作成手段と、前記基準カメラに より撮像された複数の符号ィ匕後のフレームと、前記参照カメラにより撮像された複数 の符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成す る合成手段とを含む圧縮符号ィ匕装置により作成された動画像データを伸張復号ィ匕 する伸張復号ィ匕装置であって、
前記動画像データから動き予測情報を抽出し、各フレームについて基準カメラと参 照カメラのいずれによって撮像されたフレームであるか判断する判断手段と、 前記判断手段によって、基準カメラによって撮像されたフレームと判断されたフレー ムについては、同一のカメラによって撮像された他のフレームのみに基づいた動き予 測により伸張復号ィ匕を行い、前記判断手段によって参照カメラによって撮像されたフ レームと判断されたフレームについては、同一のカメラによって撮像された他のフレ ーム及び他のカメラによって撮像されたフレームに基づいた動き予測により伸張復号 化を行う伸張復号化手段と
を含む伸張復号化装置。
自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームを圧縮符号化する圧縮符号化方法であって、
情報処理装置が、前記参照カメラによって撮像されたフレームを圧縮符号ィ匕する場 合に、処理対象となっているフレームが撮像される前に撮像されたフレームにおける 被写体の動きに基づ 、て、動き予測に用 、るフレームを決定するステップと、 情報処理装置が、前記参照カメラにより撮像されたフレームについては、前記決定 するステップにおいて決定されたフレーム及び当該参照カメラによって撮像された他 のフレームを用いた動き予測による圧縮符号ィ匕を行い、前記基準カメラにより撮像さ れたフレームについては、フレーム内予測又は当該基準カメラにより撮像された他の フレームのみを用いた動き予測による圧縮符号ィ匕を行うステップと、
情報処理装置が、各フレームが基準カメラによって撮像されたフレームであるか参 照カメラによって撮像されたフレームであるかを示す情報と、参照カメラによって撮像 されたフレームについては当該フレームと動き予測に用いられた他のフレームとを対 応づけるための情報を含む予測情報を生成するステップと、
情報処理装置が、前記基準カメラにより撮像された複数の符号ィ匕後のフレームと、 前記参照カメラにより撮像された複数の符号ィ匕後のフレームと、前記動き予測情報と を含む一つの動画像データを生成するステップと
を含む圧縮符号化方法。
自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームを圧縮符号化する圧縮符号化装置であって、前記参照カメラによつ て撮像されたフレームを圧縮符号ィ匕する場合に、処理対象となって ヽるフレームが撮 像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用 いるフレームを決定する決定手段と、前記参照カメラにより撮像されたフレームにつ いては、前記決定手段によって決定されたフレーム及び当該参照カメラによって撮 像された他のフレームを用いた動き予測による圧縮符号ィ匕を行い、前記基準カメラに より撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像 された他のフレームのみを用いた動き予測による圧縮符号ィ匕を行う圧縮符号ィ匕手段 と、各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって 撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームに ついては当該フレームと動き予測に用いられた他のフレームとを対応づけるための 情報を含む予測情報を生成する動き予測情報作成手段と、前記基準カメラにより撮 像された複数の符号化後のフレームと、前記参照カメラにより撮像された複数の符号 化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成 手段とを含む圧縮符号ィ匕装置により作成された動画像データを伸張復号ィ匕する伸 張復号化方法であって、
情報処理装置が、前記動画像データから動き予測情報を抽出し、各フレームにつ V、て基準カメラと参照カメラの 、ずれによって撮像されたフレームであるか判断するス テツプと、
情報処理装置が、前記判断するステップにおいて基準カメラによって撮像されたフ レームと判断されたフレームについては、同一のカメラによって撮像された他のフレ ームのみに基づいた動き予測により伸張復号ィ匕を行い、前記判断するステップにお いて参照カメラによって撮像されたフレームと判断されたフレームについては、同一 のカメラによって撮像された他のフレーム及び他のカメラによって撮像されたフレーム に基づいた動き予測により伸張復号ィ匕を行うステップと
を含む伸張復号化方法。
自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームの圧縮符号ィ匕を情報処理装置に実行させるためのプログラムであ つて、
前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象と なっているフレームが撮像される前に撮像されたフレームにおける被写体の動きに基 づ 、て、動き予測に用いるフレームを決定するステップと、
前記参照カメラにより撮像されたフレームについては、前記決定するステップにお いて決定されたフレーム及び当該参照カメラによって撮像された他のフレームを用い た動き予測による圧縮符号ィ匕を行い、前記基準カメラにより撮像されたフレームにつ いては、フレーム内予測又は当該基準カメラにより撮像された他のフレームのみを用 いた動き予測による圧縮符号ィ匕を行うステップと、
各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって撮 像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームにつ いては当該フレームと動き予測に用いられた他のフレームとを対応づけるための情 報を含む予測情報を生成するステップと、
前記基準カメラにより撮像された複数の符号ィ匕後のフレームと、前記参照カメラによ り撮像された複数の符号化後のフレームと、前記動き予測情報とを含む一つの動画 像データを生成するステップと
を情報処理装置に実行させるためのプログラム。
自身により撮像されたフレームが自身により撮像されたフレームのみを用いた動き予 測により圧縮符号化される基準カメラと、自身により撮像されたフレームが自身により 撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用 いた動き予測とにより圧縮符号化される参照カメラとを含む複数台のカメラによって撮 像されるフレームを圧縮符号化する圧縮符号化装置であって、前記参照カメラによつ て撮像されたフレームを圧縮符号ィ匕する場合に、処理対象となって ヽるフレームが撮 像される前に撮像されたフレームにおける被写体の動きに基づいて、動き予測に用 いるフレームを決定する決定手段と、前記参照カメラにより撮像されたフレームにつ いては、前記決定手段によって決定されたフレーム及び当該参照カメラによって撮 像された他のフレームを用いた動き予測による圧縮符号ィ匕を行い、前記基準カメラに より撮像されたフレームについては、フレーム内予測又は当該基準カメラにより撮像 された他のフレームのみを用いた動き予測による圧縮符号ィ匕を行う圧縮符号ィ匕手段 と、各フレームが基準カメラによって撮像されたフレームであるか参照カメラによって 撮像されたフレームであるかを示す情報と、参照カメラによって撮像されたフレームに ついては当該フレームと動き予測に用いられた他のフレームとを対応づけるための 情報を含む予測情報を生成する動き予測情報作成手段と、前記基準カメラにより撮 像された複数の符号化後のフレームと、前記参照カメラにより撮像された複数の符号 化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成 手段とを含む圧縮符号ィ匕装置により作成された動画像データの伸張復号ィ匕を情報 処理装置に実行させるためのプログラムであって、
前記動画像データから動き予測情報を抽出し、各フレームについて基準カメラと参 照カメラといずれによって撮像されたフレームである力判断するステップと、 前記判断するステップにおいて基準カメラによって撮像されたフレームと判断され たフレームについては、同一のカメラによって撮像された他のフレームのみに基づい た動き予測により伸張復号ィ匕を行い、前記判断するステップにおいて参照カメラによ つて撮像されたフレームと判断されたフレームについては、同一のカメラによって撮 像された他のフレーム及び他のカメラによって撮像されたフレームに基づいた動き予 測により伸張復号ィ匕を行うステップと
を情報処理装置に実行させるためのプログラム。
複数台のカメラによって撮像されるフレームを圧縮符号化する圧縮符号化装置であ つて、
前記複数台のカメラには自身のカメラによって撮像されたフレームのみを用いて圧 縮符号化を行う基準カメラと、自身及び他のカメラにて撮像されたフレームを用いて 圧縮符号ィ匕を行う参照カメラをそれぞれ少なくとも 1つカゝら構成される撮像手段と、 前記参照カメラによって撮像されたフレームを圧縮符号化する場合に、処理対象と なるフレームに対し時間的に前後に撮像されたフレームにおける被写体の動きべタト ルに基づいて動き予測に用いる自身又は他のカメラにて撮像されたフレームを決定 する決定手段と、
少なくとも前記参照カメラにより撮像されたフレームを、前記決定手段によって決定 されたフレーム及び当該参照カメラによって撮像された他のフレームを用いた動き予 測による圧縮符号ィ匕を行う符号ィ匕手段と
を有する圧縮符号化装置。
PCT/JP2005/000122 2005-01-07 2005-01-07 圧縮符号化装置、伸張復号化装置 WO2006072992A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2005/000122 WO2006072992A1 (ja) 2005-01-07 2005-01-07 圧縮符号化装置、伸張復号化装置
CN2005800461596A CN101099392B (zh) 2005-01-07 2005-01-07 压缩编码装置、解压缩解码装置
JP2006550569A JP4893311B2 (ja) 2005-01-07 2005-01-07 圧縮符号化装置、伸張復号化装置
EP05703387A EP1843597A4 (en) 2005-01-07 2005-01-07 COMPRESSION / CODING DEVICE, DECOMPRESSING / DECODING DEVICE
US11/774,264 US20070253482A1 (en) 2005-01-07 2007-07-06 Compression-coding device and decompression-decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/000122 WO2006072992A1 (ja) 2005-01-07 2005-01-07 圧縮符号化装置、伸張復号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/774,264 Continuation US20070253482A1 (en) 2005-01-07 2007-07-06 Compression-coding device and decompression-decoding device

Publications (1)

Publication Number Publication Date
WO2006072992A1 true WO2006072992A1 (ja) 2006-07-13

Family

ID=36647480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/000122 WO2006072992A1 (ja) 2005-01-07 2005-01-07 圧縮符号化装置、伸張復号化装置

Country Status (5)

Country Link
US (1) US20070253482A1 (ja)
EP (1) EP1843597A4 (ja)
JP (1) JP4893311B2 (ja)
CN (1) CN101099392B (ja)
WO (1) WO2006072992A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098134A1 (ja) * 2009-02-27 2010-09-02 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2011074189A1 (ja) * 2009-12-15 2011-06-23 パナソニック株式会社 画像符号化方法及び画像符号化装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JPH06113338A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 多眼式立体映像の動き補償予測方法
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH10191394A (ja) 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JPH1169381A (ja) * 1997-08-25 1999-03-09 Sony Corp 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置、立体画像用ビデオ信号受信装置および立体画像用ビデオ信号送出切り替え装置
JP2000023918A (ja) 1998-07-10 2000-01-25 Canon Inc 眼科撮影装置
JP2002016945A (ja) * 2000-06-29 2002-01-18 Toppan Printing Co Ltd 画像軽量化手法を用いた三次元画像表現システム
JP2002300607A (ja) 2001-03-29 2002-10-11 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6137912A (en) * 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
JP3592168B2 (ja) * 1999-12-22 2004-11-24 キヤノン株式会社 画像データの符号化復号化方法及び装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
CN101304536B (zh) * 2002-11-20 2011-11-02 松下电器产业株式会社 动态图像编码方法及动态图像编码装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698312A (ja) 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JPH06113338A (ja) * 1992-09-30 1994-04-22 Fujitsu Ltd 多眼式立体映像の動き補償予測方法
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JP3426668B2 (ja) 1993-11-19 2003-07-14 三洋電機株式会社 動画像符号化方法
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH10191394A (ja) 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JPH1169381A (ja) * 1997-08-25 1999-03-09 Sony Corp 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置、立体画像用ビデオ信号受信装置および立体画像用ビデオ信号送出切り替え装置
JP2000023918A (ja) 1998-07-10 2000-01-25 Canon Inc 眼科撮影装置
JP2002016945A (ja) * 2000-06-29 2002-01-18 Toppan Printing Co Ltd 画像軽量化手法を用いた三次元画像表現システム
JP2002300607A (ja) 2001-03-29 2002-10-11 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HIKEAKI KIMATA ET AL.: "System Design of Free Viewpoint Video Communication", COMPUTER AND INFORMATION TECHNOLOGY, 2004. CIT '04. THE FOURTH INTERNATIONAL CONFERENCE ON, IEEE, LOS ALAMITOS, CA, USA, 14 September 2004 (2004-09-14), pages 52 - 59, XP003012676
KHAN S ET AL.: "Consistent labeling of tracked objects in multiple cameras with overlapping fields of view", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, vol. 25, no. 10, 1 October 2003 (2003-10-01), pages 1355 - 1360, XP011101862, DOI: doi:10.1109/TPAMI.2003.1233912
LIM J ET AL.: "A multiview sequence CODEC with view scalability" SIGNAL PROCESSING. IMAGE COMMUNICATOIN", vol. 19, 1 March 2004, ELSEVIER SCIENCE PUSLISHERS, pages: 239 - 256
See also references of EP1843597A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098134A1 (ja) * 2009-02-27 2010-09-02 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JPWO2010098134A1 (ja) * 2009-02-27 2012-08-30 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8861940B2 (en) 2009-03-02 2014-10-14 Panasonic Corporation Recording medium, playback device and integrated circuit
WO2011074189A1 (ja) * 2009-12-15 2011-06-23 パナソニック株式会社 画像符号化方法及び画像符号化装置

Also Published As

Publication number Publication date
CN101099392A (zh) 2008-01-02
US20070253482A1 (en) 2007-11-01
JPWO2006072992A1 (ja) 2008-06-12
EP1843597A4 (en) 2010-07-14
CN101099392B (zh) 2010-10-13
EP1843597A1 (en) 2007-10-10
JP4893311B2 (ja) 2012-03-07

Similar Documents

Publication Publication Date Title
KR100774296B1 (ko) 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
WO2006073116A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JPH09294266A (ja) 動きベクトル探索方法
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
US8606024B2 (en) Compression-coding device and decompression-decoding device
WO2006072992A1 (ja) 圧縮符号化装置、伸張復号化装置
JP5402953B2 (ja) 伸張復号化装置、伸張復号化方法、及び、プログラム
US8897368B2 (en) Image coding device, image coding method, image coding integrated circuit and image coding program
JP5402960B2 (ja) 伸張復号化装置、及び、伸張復号化方法
KR100926607B1 (ko) 압축 부호화 장치, 신장 복호화 장치
JP3690259B2 (ja) 動画像高速符号化装置及び動画像高速符号化方法
KR100926608B1 (ko) 압축 부호화 장치, 신장 복호화 장치
WO2006038568A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2007517438A (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
JP2011130499A (ja) 伸張復号化装置、及び、伸張復号化方法
JP2012049753A (ja) 映像圧縮装置、映像圧縮方法およびプログラム
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JP2008245237A (ja) 画像処理方法、画像処理装置およびそれを用いた撮像装置
JP5274181B2 (ja) 動画像符号化装置および動画像符号化方法
JP2006165801A (ja) 符号化モード判定装置及び方法
JP2000295567A (ja) 符号化データ編集装置
JP2007325230A (ja) 動きベクトル復号化方法および復号化装置
JP2003309803A (ja) ビデオストリーム編集装置
JP2010068219A (ja) 動画像符号化装置
JPH0662388A (ja) 動画像圧縮装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006550569

Country of ref document: JP

Ref document number: 11774264

Country of ref document: US

Ref document number: 200580046159.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005703387

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077018034

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005703387

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11774264

Country of ref document: US