[go: up one dir, main page]

WO2014030665A1 - 受信装置、送信装置および画像送信方法 - Google Patents

受信装置、送信装置および画像送信方法 Download PDF

Info

Publication number
WO2014030665A1
WO2014030665A1 PCT/JP2013/072267 JP2013072267W WO2014030665A1 WO 2014030665 A1 WO2014030665 A1 WO 2014030665A1 JP 2013072267 W JP2013072267 W JP 2013072267W WO 2014030665 A1 WO2014030665 A1 WO 2014030665A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
receiving
unit
transmission
Prior art date
Application number
PCT/JP2013/072267
Other languages
English (en)
French (fr)
Inventor
近藤 哲二郎
Original Assignee
アイキューブド研究所株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイキューブド研究所株式会社 filed Critical アイキューブド研究所株式会社
Priority to JP2014531647A priority Critical patent/JP6379036B2/ja
Priority to EP13830282.3A priority patent/EP2890127A4/en
Priority to KR1020147036017A priority patent/KR102114509B1/ko
Priority to CN201380041205.8A priority patent/CN104509117A/zh
Priority to US14/422,809 priority patent/US10034004B2/en
Publication of WO2014030665A1 publication Critical patent/WO2014030665A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to a transmission / reception system for transmitting / receiving images.
  • Japanese Patent Laid-Open No. 5-167992 Japanese Unexamined Patent Publication No. 2003-134411 (first page, FIG. 1 etc.) JP 2003-172959 A (first page, FIG. 1 etc.) Japanese Unexamined Patent Publication No. 2007-135059 (first page, FIG. 1 etc.) JP 2007-96541 A (first page, FIG. 1 etc.)
  • a transmission device is a transmission device in a transmission / reception system including a transmission device that transmits an image and a reception device, and the transmission device includes an image reception unit that receives the first image, and a first image
  • the transmission side having a plurality of pieces of transmission side correspondence information in which the first image block that is a block constituting the first image block and the second image block that is a block corresponding to the first image block and that constitutes the second image are associated with each other
  • One or more blocks are acquired from the first image received by the transmission side correspondence table storage unit storing the correspondence table and the image receiving unit, and one or more second image blocks corresponding to each of the one or more blocks are transmitted.
  • a pre-processing unit configured to acquire a second image from one or more second image blocks, and a transmission unit that transmits the second image, and the reception device receives the second image.
  • the receiver A generation unit for generating a third image from the second image, a transmitting apparatus in a transmitting and receiving system and an output unit for outputting the third image.
  • the transmission device further includes an encoding unit that encodes the second image and obtains an encoded image.
  • the reception unit receives the encoded image
  • the reception device further includes a decoding unit that decodes the encoded image received by the reception unit and obtains a second image
  • the generation unit includes: The transmission device in the transmission / reception system that generates the third image from the second image acquired by the decoding unit.
  • the generation unit has a second image block that is a block constituting the second image, and a block corresponding to the second image block.
  • Receiving-side correspondence table storage means for storing a receiving-side correspondence table having a plurality of receiving-side correspondence information associated with a third image block that is a block of the third resolution, and one or more from the second image
  • a receiving side dividing unit for acquiring a block and acquiring one or more second image blocks, and one or more third image blocks corresponding to each of the one or more second image blocks acquired by the receiving side dividing unit,
  • a transmission apparatus comprising: a third image block acquisition unit that acquires from a correspondence table storage unit; and a third image configuration unit that forms a third image from one or more third image blocks acquired by the third image block acquisition unit. is there.
  • the preprocessing unit acquires one or more feature amounts from the first image received by the image receiving unit.
  • the transmission unit transmits one or more feature quantities and a second image or encoded image
  • the reception section receives one or more feature quantities and the second image or encoded image.
  • the reception and generation unit is a transmission device that generates a third image from the second image received by the reception unit or the second image acquired by the decoding unit using one or more feature amounts.
  • one of the one or more feature values is an encoding method identifier for identifying an encoding method, and is compatible with the receiving side.
  • the table storage means has two or more reception side correspondence tables for each encoding scheme identifier, and the third image block acquisition means is acquired by the reception side division means from the reception side correspondence table corresponding to the encoding scheme identifier.
  • the transmission device acquires one or more third image blocks corresponding to each of the one or more second image blocks.
  • the feature amount acquisition means is a spatio-temporal parameter from an image constituting one or more past fields and a current image. It is a transmission apparatus which acquires one or more prediction coefficients.
  • the amount of data to be transmitted can be reduced and a high-quality image can be output by the receiving device.
  • Block diagram of transmission / reception system according to Embodiment 1 Diagram explaining the blockization Flow chart for explaining the operation of the transmitter Flowchart explaining details of example of same preprocessing Flow chart for explaining the operation of the receiving apparatus A flowchart for explaining the operation of the generation process The figure explaining conversion of the video signal The figure which shows the structure of the said 2nd image block acquisition means Overview of the computer system Block diagram of the computer system
  • the transmission / reception system 1 includes a transmission device 11 that transmits an image and a reception device 12.
  • the transmitter 11 performs preprocessing such that the image information lost by encoding is compensated by the receiver 12, encodes the image, and transmits the encoded image.
  • the receiving device 12 receives the encoded image and decodes it. Then, the receiving device 12 further performs a process to supplement the preprocessing performed in the transmitting device 11 on the decoded image, and outputs the image.
  • the transmission device 11 acquires and transmits one or more feature amounts of the image.
  • the receiving device 12 receives one or more feature quantities and uses the feature quantities for generating a high-resolution image.
  • the transmission device 11 may transmit image and audio data.
  • the receiving device 12 may receive image and audio data.
  • the image is usually a moving image, but may be a still image.
  • the preprocessed image itself may be transmitted without encoding.
  • the receiving device 12 generates an output image from the received image without decoding.
  • the image encoded by the transmission device 11 is not transmitted, but an image recorded on a recording medium such as a hard disk or an image recorded on the recording medium by the reception device 12 is output. May be.
  • FIG. 1 is a block diagram of a transmission / reception system 1 according to the present embodiment.
  • the transmission device 11 includes an image reception unit 111, a transmission side correspondence table storage unit 112, a preprocessing unit 113, an encoding unit 114, and a transmission unit 115.
  • the pre-processing unit 113 includes a transmission side dividing unit 1131, a second image block acquisition unit 1132, a second image construction unit 1133, and a feature amount acquisition unit 1134.
  • the receiving device 12 includes a receiving unit 121, a decoding unit 122, a generating unit 123, and an output unit 124.
  • the generation unit 123 includes a reception side correspondence table storage unit 1231, a reception side division unit 1232, a third image block acquisition unit 1233, and a third image configuration unit 1234.
  • the image reception unit 111 constituting the transmission device 11 receives the first image.
  • the first image may have noise.
  • the first image is an image having a first resolution.
  • the acceptance may be reception from a camera or reading from a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory.
  • the method for receiving the first image is not limited.
  • the transmission side correspondence table storage unit 112 stores a transmission side correspondence table having a plurality of transmission side correspondence information.
  • the transmission side correspondence information is information in which a first image block that is a block constituting the first image is associated with a second image block that is a block constituting the second image.
  • the transmission side correspondence information is information for converting the first image into a second image more suitable for transmission.
  • the second image is obtained by removing noise from the first image, for example.
  • the second image is obtained by sub-sampling the first image and reducing the resolution, for example.
  • the first image block here is preferably not one of the image data itself constituting the first image but one or more parameters indicating the characteristics of the image data constituting the first image.
  • the parameters are, for example, the maximum value (MAX), the minimum value (MIN), the dynamic range (DR) indicated by “MAX-MIN”, the dynamic range divided into two, and the quantum data of the pixel data of the first image block.
  • the transmission side correspondence information may include a first image block (may be one or more parameters) and a second image block, and may include identification information of the first image block and identification information of the second image block. You may do it.
  • the first image block and the second image block may exist in the transmission device 11 or may exist outside the transmission device 11.
  • the second image is, for example, an image having a second resolution from which noise has been removed from the first image. Further, when the second image is output, the image may be completely different from the output of the first image. That is, the first image is, for example, an image obtained by photographing one or more objects with a camera.
  • the second image is an image in which the viewer cannot recognize one or more objects, for example. That is, unlike the first image, for example, the second image may be an image that cannot be viewed (cannot endure viewing).
  • the second image may be an image that allows the receiving device 12 to generate a third image to be described later.
  • the second resolution which is the resolution of the second image
  • the second resolution is preferably higher than the first resolution, which is the resolution of the first image, but may be the same resolution as the first resolution.
  • the second resolution may be lower than the first resolution.
  • the removal of the noise may be removal of a part of the noise.
  • the second image is an image obtained by adjusting the information amount with respect to the first image, for example.
  • the information amount adjustment is, for example, subsampling or quantization.
  • the transmission side correspondence table storage unit 112 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the transmission side correspondence table in the transmission side correspondence table storage unit 112 does not matter.
  • the transmission side correspondence table may be stored in the transmission side correspondence table storage unit 112 via a recording medium, and the transmission side correspondence table transmitted via a communication line or the like is stored in the transmission side correspondence table storage unit.
  • 112 may be stored, or the transmission side correspondence table input via the input device may be stored in the transmission side correspondence table storage unit 112.
  • the preprocessing unit 113 divides the first image received by the image receiving unit 111 into two or more blocks, acquires two or more second image blocks corresponding to each of the two or more blocks, and acquires two or more second images. Construct a second image from the blocks.
  • the preprocessing unit 113 acquires the second image block (this block is the second image itself) corresponding to the first image without dividing the first image received by the image receiving unit 111. Also good. That is, the preprocessing unit 113 acquires one or more blocks from the first image received by the image receiving unit 111, and stores one or more second image blocks corresponding to the one or more blocks in the transmission side correspondence table. The second image is acquired from the unit 112 and is composed of the one or more second image blocks.
  • the pre-processing unit 113 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the preprocessing unit 113 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the transmission side dividing unit 1131 acquires one or more first image blocks from the first image received by the image receiving unit 111. For example, it is preferable that the transmission side dividing unit 1131 divides the first image received by the image receiving unit 111 into two or more blocks and acquires two or more first image blocks.
  • the transmission side dividing means 1131 receives a first image (here, for example, a television signal) digitized at a predetermined sampling frequency, and converts the order of the television signals into the order of the blocks.
  • the transmission side dividing unit 1131 is realized by, for example, two or more (for example, “4” here) scanning line conversion circuits.
  • Each of the four scanning line conversion circuits is supplied with an image of the current field, an image of the previous field, an image of the previous field, and an image of the previous field. Then, data of each field is generated in the order of blocks at the output terminals of the four scanning line conversion circuits.
  • the image is output to the output terminal of the scanning line conversion circuit one block at a time in the order of the numbers given in FIG. Image F k-1 of the previous field, the image F k-2 of the second previous field, also respect to the image F k-3 of the second previous s field, as in the image F k, 1 in the order given the number 2
  • An image is output block by block to the output terminal of each scanning line conversion circuit.
  • Each scanning line conversion circuit has a memory for blocking.
  • one field is (210 lines ⁇ 684) pixels, all pixels are 143640 pixels.
  • the second image block acquisition unit 1132 acquires one or more second image blocks corresponding to each of the one or more first image blocks acquired by the transmission side dividing unit 1131 from the transmission side correspondence table storage unit 112. For example, the second image block acquisition unit 1132 acquires one or more parameters of each of the one or more first image blocks, and acquires the second image block corresponding to the one or more parameters from the transmission side correspondence table storage unit 112. To do.
  • the second image construction unit 1133 constructs a second image from one or more second image blocks acquired by the second image block acquisition unit 1132.
  • the second image configuration unit 1133 performs processing only for acquiring the second image block (second image).
  • Feature amount acquisition means 1134 acquires one or more feature amounts from the first image received by the image receiving unit 111.
  • the feature amount is, for example, an encoding scheme identifier (which may be called a format identifier), sampling pattern information indicating a sampling pattern, a prediction coefficient, or the like.
  • the encoding scheme identifier is, for example, “H.264”, “MPEG-4 AVC”, “MPEG-2” or the like indicating the encoding scheme.
  • the sampling pattern information is information (for example, “1”, “2”, etc.) that identifies a sampling pattern that the transmitting device 11 and the receiving device 12 know in advance.
  • the sampling pattern information determines a spatial sampling method and a temporal sampling method.
  • the prediction coefficient is a space-time defined by linear linear combination for obtaining pixel data of the current field from pixel data of several past fields (a predetermined number of fields, for example, 3 fields). It is a parameter that defines the relational expression. Note that a method for obtaining a prediction coefficient is described in, for example, “JP-A-62-126885”. In such a case, the feature quantity acquisition unit 1134 acquires one or more prediction coefficients, which are spatiotemporal parameters, from an image constituting one or more past fields and the current image.
  • the feature amount acquisition unit 1134 is pixel data of several past fields, A parameter defining a spatio-temporal relational expression defined by linear linear combination is identified from pixel data in a block obtained by dividing this field and pixel data in a corresponding block.
  • the feature quantity acquisition unit 1134 uses, for example, the least square method.
  • the feature amount acquisition unit 1134 acquires 35 parameters for each block.
  • the feature quantity acquisition unit 1134 first calculates prediction data using a linear linear combination formula.
  • the equation of the linear primary combination is the following Equation 1.
  • Equation 2 A parameter w that minimizes the sum of squares of the prediction error vector e is obtained.
  • T represents a transposed matrix.
  • the parameter w that minimizes e T e satisfies the following Equation 2.
  • Equation 2 The derivation of Equation 2 can be found, for example, in Chapter 4, Section 4, Item 2 of the document “System Identification” (Publisher: Society of Instrument and Control Engineers, Issue Date: February 10, 1981 (first edition)). Are listed.
  • the feature quantity acquisition unit 1134 calculates P and Q from the past three fields of prediction data. Then, the parameter is calculated by (P ⁇ 1 Q).
  • the transmission side dividing unit 1131, the second image block acquiring unit 1132, the second image constituting unit 1133, and the feature amount acquiring unit 1134 can be usually realized by an MPU, a memory or the like.
  • the processing procedure of the second image block acquisition unit 1132 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the encoding unit 114 encodes the second image and obtains an encoded image.
  • the encoding method performed by the encoding unit 114 does not matter.
  • the encoding method is preferably a method that performs moving image compression with high efficiency.
  • the encoding method is, for example, H.264. H.264 (MPEG-4 AVC).
  • the encoding method may be MPEG-2. As described above, the encoding unit 114 may not exist.
  • the encoding unit 114 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the encoding unit 114 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the transmission unit 115 transmits one or more feature amounts and an encoded image.
  • the transmission unit 115 transmits one or more feature amounts and the second image.
  • the transmission unit 115 may transmit only the encoded image or only the second image. In such a case, the feature amount acquisition unit 1134 is not necessary.
  • the transmission unit 115 may store information in a recording medium (not shown) without transmitting information. That is, the transmission here is a concept including accumulation (writing to a recording medium).
  • the transmission unit 115 is usually realized by a wireless or wired communication means. However, the transmission unit 115 may be realized by broadcasting means.
  • the receiving unit 121 configuring the receiving device 12 receives the encoded image or the second image.
  • the receiving unit 121 may receive one or more feature amounts and an encoded image, or one or more feature amounts and a second image.
  • the receiving unit 121 is usually realized by a wireless or wired communication means, but may be realized by a means for receiving a broadcast. Note that the receiving unit 121 may acquire an image stored in a recording medium.
  • the decoding unit 122 decodes the encoded image received by the receiving unit 121 and acquires the second image.
  • the decoding unit 122 can be realized by a known technique (for example, an H.264 decoder).
  • the decoding unit 122 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the decryption unit 122 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit). As described above, the decoding unit 122 may not exist.
  • the generating unit 123 generates a third image from the second image received by the receiving unit 121 or the second image acquired by the decoding unit 122. It is preferable that the generation unit 123 generates a third image having a higher resolution than the resolution of the second image from the second image acquired by the decoding unit 122 using one or more feature amounts.
  • the generation unit 123 may generate a high-quality third image from the second image.
  • the high-quality image may be an image with a high resolution (spatial resolution), an image with a high temporal resolution (high frame rate), or an image with a fine gradation (high gradation).
  • a high quality image is, for example, an image with a high SNR (small difference from the first image), an image with little image degradation failure due to encoding, a high-definition image, a smooth image, natural, and uncomfortable. An image with few images may be used.
  • the generation unit 123 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the generation unit 123 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the reception side correspondence table storage unit 1231 stores a reception side correspondence table having a plurality of reception side correspondence information.
  • the reception side correspondence information is information in which the second image block and the third image block are associated with each other.
  • the second image block here may not be the second image block itself, but may be one or more parameters indicating the characteristics of the second image block.
  • the reception side correspondence information may be information including the second image block and the third image block, or may be information including identification information of the second image block and identification information of the third image block. In such a case, the second image block and the third image block may be included in the reception device 12 or may be included in a device outside the reception device 12.
  • the third image block is a block constituting the third image. The resolution of the third image may be higher than the first resolution.
  • the receiving side correspondence table storage unit 1231 holds two or more receiving side correspondence tables for each encoding scheme identifier.
  • the receiving side correspondence table storage means 1231 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the reception side correspondence table in the reception side correspondence table storage unit 1231 does not matter.
  • the reception side correspondence table may be stored in the reception side correspondence table storage means 1231 via the recording medium, and the reception side correspondence table transmitted via the communication line or the like is the reception side correspondence table storage means.
  • 1231 may be stored, or the reception side correspondence table input via the input device may be stored in the reception side correspondence table storage unit 1231.
  • the receiving side dividing unit 1232 acquires one or more second image blocks from the second image.
  • the processing of the receiving side dividing unit 1232 and the processing of the transmitting side dividing unit 1131 are different in the processing target image, but may be the same processing.
  • the receiving side dividing means 1232 can be usually realized by an MPU, a memory or the like.
  • the processing procedure of the receiving side dividing unit 1232 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the third image block acquisition unit 1233 acquires one or more third image blocks corresponding to each of the one or more second image blocks acquired by the reception side division unit 1232 from the reception side correspondence table storage unit 1231.
  • the third image block acquisition unit 1233 also includes one or more third image blocks corresponding to each of the one or more second image blocks acquired by the reception side dividing unit 1232 from the reception side correspondence table corresponding to the encoding scheme identifier. It is preferable to acquire
  • the processing of the third image block acquisition unit 1233 and the processing of the second image block acquisition unit 1132 are different in the correspondence table to be used, but the same processing may be used.
  • the third image block acquisition unit 1233 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the third image block acquisition unit 1233 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the third image construction unit 1234 constructs a third image from one or more third image blocks acquired by the third image block acquisition unit 1233. When there is one third image block acquired by the third image block acquisition unit 1233, the third image construction unit 1234 performs a process only for acquiring the third image block.
  • the third image constructing means 1234 can be usually realized by an MPU, a memory or the like.
  • the processing procedure of the third image construction unit 1234 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the output unit 124 outputs the third image acquired by the generation unit 123.
  • output refers to display on a display, projection using a projector, transmission to an external device (display device), storage in a recording medium, delivery of a processing result to another processing device or another program, etc. It is a concept that includes
  • the output unit 124 may or may not include an output device such as a display.
  • the output unit 124 can be realized by output device driver software, or output device driver software and an output device.
  • the image receiving unit 111 determines whether an image has been received.
  • the image received here is a one-field image constituting the first image.
  • the first image is a moving image, one field image is sequentially received.
  • Step S302 The preprocessing unit 113 performs preprocessing on the image received in step S301. Details of the example of the preprocessing will be described with reference to the flowchart of FIG.
  • Step S303 The encoding unit 114 performs an encoding process on the second image, which is an image obtained by performing the preprocessing in Step S302, and acquires an encoded image.
  • the encoding process is, for example, H.264. H.264 encoding.
  • the processing here excludes extraction processing of one or more feature amounts.
  • the feature amount extraction processing is performed in step S304 described later.
  • Step S304 The preprocessing unit 113 acquires one or more feature amounts of the first image.
  • the feature amount of the first image may be the feature amount of the second image created from the first image, or the feature amount of the encoded image created from the first image.
  • Step S305 The transmission unit 115 transmits the one or more feature amounts acquired in Step S304 and the encoded image acquired in Step S303. Note that the transmission unit 115 may transmit only the encoded image. In such a case, step S304 is not necessary.
  • the feature amount acquisition process in step S304 may be performed before the encoding process in step S303.
  • step S304 it is not necessary to acquire and transmit the feature amount. In such a case, the process of step S304 is unnecessary.
  • the encoding process may not be performed in the flowchart of FIG. In such a case, the process of step S303 is unnecessary. In such a case, the transmission unit 115 transmits the one or more feature amounts acquired in step S304 and the second image.
  • the processing is terminated by powering off or interruption for aborting the processing.
  • step S302 details of an example of the preprocessing in step S302 will be described using the flowchart of FIG.
  • the transmission side dividing unit 1131 divides the image received by the image receiving unit 111 into two or more blocks to obtain two or more block images.
  • the transmission side dividing unit 1131 may only acquire the image received by the image receiving unit 111 as one block image.
  • Step S402 The second image block obtaining unit 1132 substitutes 1 for the counter i.
  • Step S403 The second image block acquisition unit 1132 determines whether or not the i-th block image exists. If the i-th block image exists, the process proceeds to step S404, and if it does not exist, the process returns to the upper process.
  • the second image block acquisition unit 1132 acquires one or more parameters of the i-th block image.
  • the parameter is information indicating the characteristics of the i-th block image. For example, the maximum value (MAX), minimum value (MIN), and dynamic range (DR) indicated by “MAX-MIN” of the pixel data of the image block. Etc.
  • Step S405 The second image block acquisition unit 1132 acquires the second image block corresponding to the one or more parameters acquired in step S404 from the transmission side correspondence table storage unit 112.
  • Step S406 The second image block acquisition unit 1132 increments the counter i by one. The process returns to step S403.
  • the preprocessing may be noise removal, down conversion, or the like.
  • the preprocessing may be information adjustment such as sub-sampling.
  • Step S501 The receiving unit 121 determines whether or not an encoded image has been received. If an encoded image is received, the process proceeds to step S502, and if an encoded image is not received, the process returns to step S501.
  • Step S502 The decoding unit 122 decodes the encoded image received in Step S501 and obtains a second image.
  • Step S503 The generation unit 123 generates a third image having a higher resolution than the resolution of the second image from the second image acquired in Step S502. Details of this generation processing will be described with reference to the flowchart of FIG.
  • Step S504 The output unit 124 outputs the third image generated in Step S503. The process returns to step S501.
  • the process is ended by powering off or interruption for aborting the process.
  • the receiving unit 121 may receive the second image. In such a case, the process of step S502 is unnecessary.
  • the generation unit 123 generates a third image having a higher resolution than the resolution of the second image from the second image.
  • the generation unit 123 may generate a third image that is a high-quality image from a viewpoint other than the resolution with respect to the second image.
  • the viewpoint other than the resolution is, for example, luminance.
  • step S503 details of the generation processing in step S503 will be described using the flowchart of FIG.
  • Step S601 The receiving side dividing unit 1232 divides the second image into two or more blocks and acquires two or more second image blocks. Note that the receiving side dividing unit 1232 may simply acquire the second image without dividing the second image.
  • Step S602 The third image block acquisition unit 1233 substitutes 1 for the counter i.
  • Step S603 The third image block acquisition unit 1233 determines whether or not the i-th second block image exists. If the i-th second block image exists, the process goes to step S604, and if not, the process goes to step S607.
  • the third image block acquisition unit 1233 acquires one or more parameters of the i-th second block image.
  • the parameter is information indicating the characteristics of the i-th second block image. For example, the maximum value (MAX), the minimum value (MIN), and the dynamic range (MAX-MIN) indicated by “MAX-MIN” of the pixel data of the image block. DR).
  • the third image block acquisition unit 1233 corresponds to one or more feature amounts (for example, an encoding scheme identifier or sampling pattern information) among the one or more feature amounts received by the reception unit 121.
  • a reception side correspondence table is selected, and the third image block corresponding to one or more parameters (second image block) acquired in step S604 is referred to by referring to the selected one reception side correspondence table. Obtained from the storage means 1231.
  • Step S606 The third image block acquisition unit 1233 increments the counter i by one. The process returns to step S603.
  • Step S607 The third image construction unit 1234 constructs a third image from one or more third image blocks acquired by the third image block acquisition unit 1233. Return to upper process.
  • the third image generation process in the flowchart of FIG. 6 is an example, and other methods may be used. Another method is, for example, an image up-conversion method described in Patent Document 3 or the like.
  • the image receiving unit 111 receives a video signal that is an image of the first resolution.
  • the second image block acquisition unit 1132 has a structure shown in FIG.
  • the output signal (block 5s) of the transmission side dividing means 1131 is supplied to the ADRC encoder 81.
  • ADRC encoding adapted to a dynamic range
  • the ADRC encoder 81 outputs a dynamic range DR for each block, a minimum value MIN, and a 4-bit code signal DT corresponding to each pixel.
  • the code signal DT (16 bits in one block) in the output signal of the ADRC encoder 81 is supplied as an address to the memory 112 (transmission side correspondence table storage unit 112).
  • the memory 112 stores a mapping table based on the correlation of the encoded output between the first image and the second image.
  • the memory 112 is composed of, for example, a nonvolatile RAM.
  • the encoded video signal of the block 5h of (4 ⁇ 4 ⁇ 4 bits) is read out.
  • the position occupied by this block 5h in one screen (one field or one frame) is the same as that of the block 5s of the input image.
  • the output block 5h corresponding to the block 5s of the upper left corner of the input image for example. Is used as the upper image block inside the upper left corner.
  • the dynamic range DR and the minimum value MIN in the encoded output of the ADRC encoder 81 are supplied to the delay circuit 82.
  • the code signal of the block of the output image signal read from the memory 112 is supplied to the multiplier 84.
  • the multiplier 84 is supplied with a quantization step. Therefore, the data after the minimum value removal can be restored from the multiplier 84.
  • the output signal of the multiplier 84 is supplied to the adder 85, and the minimum value MIN from the delay circuit 82 is added. Therefore, from the adder 85, (4 ⁇ 4 ⁇ 8 bits) restored data of the video signal of the second image is obtained. Then, the restored data is output to the second image construction unit 1133.
  • the second image construction unit 1133 converts the data order of the restoration data (second image block) for each block in the order of raster scanning. Then, the second image construction unit 1133 obtains a second image.
  • first image to second image generation process performed by the transmission apparatus 11 and the second image to third image generation process performed by the reception apparatus 12 may be similar processes.
  • the amount of data to be transmitted can be reduced, and a high-resolution image can be output by the receiving device 12.
  • the processing of the transmission device 11 and the reception device 12 in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed. This also applies to other embodiments in this specification.
  • achieves the transmitter 11 in this Embodiment is the following programs, for example. That is, the program includes a first image block that is a block that forms a first image on a storage medium, and a second image block that is a block corresponding to the first image block and that forms a second image.
  • the transmission side correspondence table having a plurality of transmission side correspondence information associated with each other is stored, and the computer receives an image reception unit that receives the first image, and one or more blocks from the first image received by the image reception unit. Acquire, acquire one or more second image blocks corresponding to the one or more blocks, and transmit the second image from the one or more second image blocks and a preprocessing unit constituting a second image It is a program for functioning as a transmission part.
  • the software that implements the receiving device 12 in the present embodiment is, for example, the following program. That is, this program causes a computer to function as a receiving unit that receives the second image, a generating unit that generates a third image from the second image, and an output unit that outputs the third image. Program.
  • FIG. 9 shows an external appearance of a computer that can implement the transmission device 11 or the reception device 12 of the above-described embodiment by executing the program described in this specification.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 9 is an overview diagram of the computer system 340
  • FIG. 10 is a block diagram of the computer system 340.
  • the computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.
  • the computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program.
  • a RAM 3416 for temporarily storing application program instructions and providing a temporary storage space; and a hard disk 3417 for storing application programs, system programs, and data.
  • the computer 341 may further include a network card that provides connection to the LAN.
  • a program that causes the computer system 340 to execute the functions of the transmission device 11 or the reception device 12 according to the above-described embodiment is stored in the CD-ROM 3501 or the FD 3502, and is inserted into the CD-ROM drive 3412 or the FD drive 3411. Further, it may be transferred to the hard disk 3417. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. The program is loaded into the RAM 3416 at the time of execution. The program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.
  • the program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute functions such as the transmission / reception system of the above-described embodiment.
  • the program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
  • processing performed by hardware for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware) Processing is not included.
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • two or more communication means existing in one apparatus may be physically realized by one medium.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • the transmission / reception system has the effects of reducing the amount of data to be transmitted and outputting a high-quality image with a receiving apparatus, and is useful as a transmission / reception system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】伝送するデータ量を減らしつつ、高品質な画像を受信装置で出力できなかった。 【解決手段】第一画像を受け付ける画像受付部と、第一画像を構成するブロックである第一画像ブロックと、第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、第一画像から1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを取得し、当該1以上の第二画像ブロックから第二画像を構成する前処理部と、第二画像を送信する送信部とを具備する送信装置により、伝送するデータ量を減らし、高品質な画像を出力できる。

Description

受信装置、送信装置および画像送信方法
 本発明は、画像を送受信する送受信システム等に関するものである。
 従来、標準解像度のテレビジョン信号を高解像度のテレビジョン信号に変換するアップコンバージョンに適用可能な解像度補償可能な画像変換装置があった(例えば、特許文献1参照)。かかる画像変換装置は、テレビジョン受信装置で用いられていた。
 また、いわゆるアップコンバージョンするテレビチューナがあった(例えば、特許文献2参照)。
 また、アップコンバージョン方式の画像表示装置もあった(例えば、特許文献3参照)。
 また、送信側で動画圧縮を行い、受信側でストリーミング再生を行う送受信システムがあった(例えば、特許文献4参照)。
 さらに、各種の動画圧縮の符号化方法が提案されている(例えば、特許文献5参照)。なお、符号化方法の一例として、H.264が知られている。
特開平5-167992号公報(第1頁、第1図等) 特開2003-134411号公報(第1頁、第1図等) 特開2003-172959号公報(第1頁、第1図等) 特開2007-135059号公報(第1頁、第1図等) 特開2007-96541号公報(第1頁、第1図等)
 しかしながら、従来の送受信システムにおいては、伝送するデータ量を減らしつつ、高品質な画像を受信装置で出力できなかった。
 つまり、例えば、H.264などの符号化方式を用いて、画像を伝送する場合、伝送するデータ量を減らすことができるが、高周波成分が除去されるため、時間的および空間的な画像の詳細部分が失われてしまい、受信装置において、きれいな画像を出力できなかった。
 また、高品質な画像を受信装置で出力しようとした場合、伝送するデータ量が膨大になっていた。
 本第一の発明の送信装置は、画像を送信する送信装置と、受信装置とを具備する送受信システムにおける送信装置であって、送信装置は、第一画像を受け付ける画像受付部と、第一画像を構成するブロックである第一画像ブロックと、第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、画像受付部が受け付けた第一画像から1以上のブロックを取得し、1以上の各ブロックに対応する1以上の第二画像ブロックを送信側対応表格納部から取得し、1以上の第二画像ブロックから第二画像を構成する前処理部と、第二画像を送信する送信部とを具備し、受信装置は、第二画像を受信する受信部と、第二画像から第三画像を生成する生成部と、第三画像を出力する出力部とを具備する送受信システムにおける送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できることができる。
 また、本第二の発明の送信装置は、第一の発明に対して、送信装置は、第二画像を符号化し、符号化画像を取得する符号化部をさらに具備し、送信部は、符号化画像を送信し、受信部は、符号化画像を受信し、受信装置は、受信部が受信した符号化画像を復号化し、第二画像を取得する復号化部をさらに具備し、生成部は、復号化部が取得した第二画像から、第三画像を生成する送受信システムにおける送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できることができる。
 また、本第三の発明の送信装置は、第一または第二の発明に対して、生成部は、第二画像を構成するブロックである第二画像ブロックと、第二画像ブロックに対応するブロックである第三の解像度のブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、第二画像から1以上のブロックを取得し、1以上の第二画像ブロックを取得する受信側分割手段と、受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、受信側対応表格納手段から取得する第三画像ブロック取得手段と、第三画像ブロック取得手段が取得した1以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
 また、本第四の発明の送信装置は、第一から第三のいずれかの発明に対して、前処理部は、画像受付部が受け付けた第一画像から1以上の特徴量を取得する特徴量取得手段を具備し、送信部は、1以上の特徴量と、第二画像または符号化画像とを送信し、受信部は、1以上の特徴量と、第二画像または符号化画像とを受信し、生成部は、1以上の特徴量を用いて、受信部が受信した第二画像または復号化部が取得した第二画像から、第三画像を生成する送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつより高品質な画像を受信機で出力できる。
 また、本第五の発明の送信装置は、第四の発明に対して、1以上の特徴量のうちの一の特徴量は、符号化方式を識別する符号化方式識別子であり、受信側対応表格納手段は、符号化方式識別子ごとに、2以上の受信側対応表を有し、第三画像ブロック取得手段は、符号化方式識別子に対応する受信側対応表から、受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを取得する送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
 また、本第六の発明の送信装置は、第四の発明に対して、特徴量取得手段は、過去の1以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである1以上の予測係数を取得する送信装置である。
 かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
 本発明による送受信システムによれば、伝送するデータ量を減らし、かつ高品質な画像を受信装置で出力できる。
実施の形態1における送受信システムのブロック図 同ブロック化を説明する図 同送信装置の動作について説明するフローチャート 同前処理の例の詳細について説明するフローチャート 同受信装置の動作について説明するフローチャート 同生成処理の動作について説明するフローチャート 同ビデオ信号の変換を説明する図 同第二画像ブロック取得手段の構造を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
 以下、送受信システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
 (実施の形態1)
 本実施の形態において、伝送するデータ量を減らし、かつ高画質の画像を出力できる送受信システム1について説明する。この送受信システム1は、画像を送信する送信装置11と、受信装置12とを具備する。
 そして、送信装置11において、符号化により失われる画像の情報を、受信装置12で補うような前処理を行ってから、画像を符号化し、当該符号化した画像を伝送する。また、受信装置12では、符号化した画像を受信し、復号化する。そして、受信装置12は、復号化した画像に対して、さらに送信装置11において行った前処理を補うような処理を行い、画像を出力する。
 また、本実施の形態において、送信装置11は、画像の1以上の特徴量を取得し、送信する。また、受信装置12は、1以上の特徴量を受信し、当該特徴量を高解像度の画像の生成に利用する。
 また、本実施の形態において、送信装置11は、画像と音声データとを送信しても良いことは言うまでもない。さらに、受信装置12は、画像と音声データとを受信しても良いことは言うまでもない。なお、本明細書において、画像は、通常、動画であるが、静止画でも良い。
 また、本実施の形態において、符号化を行わず、前処理を行った画像そのものを伝送してもよい。その場合、受信装置12においては復号化を行わずに受信した画像から出力画像を生成する。また、本実施の形態において、送信装置11によって符号化された画像を伝送するのではなく、ハードディスク等の記録媒体に記録されている画像や、受信装置12によって記録媒体に記録された画像を出力してもよい。
 図1は、本実施の形態における送受信システム1のブロック図である。送信装置11は、画像受付部111、送信側対応表格納部112、前処理部113、符号化部114、送信部115を備える。
 前処理部113は、送信側分割手段1131、第二画像ブロック取得手段1132、第二画像構成手段1133、特徴量取得手段1134を備える。
 受信装置12は、受信部121、復号化部122、生成部123、出力部124を備える。
 生成部123は、受信側対応表格納手段1231、受信側分割手段1232、第三画像ブロック取得手段1233、第三画像構成手段1234を備える。
 送信装置11を構成する画像受付部111は、第一画像を受け付ける。第一画像は、ノイズを有しても良い。また、第一画像は、第一の解像度の画像である。また、受け付けとは、カメラからの受信でも良いし、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体からの読み出しでも良い。第一画像の受け付け方法は問わない。
 送信側対応表格納部112は、複数の送信側対応情報を有する送信側対応表を格納している。送信側対応情報とは、第一画像を構成するブロックである第一画像ブロックと、第二画像を構成するブロックである第二画像ブロックとを対応付けた情報である。また、送信側対応情報とは、第一画像を、より伝送に好適な第二画像に変換する情報である。ここで、第二画像は、例えば、第一画像からノイズを除去したものである。また、第二画像は、例えば、第一画像をサブサンプルして解像度を小さくしたものである。
 また、ここでの第一画像ブロックは、第一画像を構成する画像データそのものではなく、第一画像を構成する画像データの特徴を示す1以上のパラメータであることは好適である。パラメータとは、例えば、第一画像ブロックの画素データの最大値(MAX)、最小値(MIN)、「MAX-MIN」で示されるダイナミックレンジ(DR)、ダイナミックレンジを2等分して、量子化し、最小値(MIN)を減算することにより画素データを正規化し、その正規化したデータを量子化(再量子化)した情報などである。送信側対応情報は、第一画像ブロック(1以上のパラメータでも良い)と第二画像ブロックとを有しても良いし、第一画像ブロックの識別情報と第二画像ブロックの識別情報とを有しても良い。かかる場合、第一画像ブロックおよび第二画像ブロックは、送信装置11に存在しても良いし、送信装置11の外部に存在しても良い。第二画像は、第一画像に対して、例えば、ノイズを除去した第二の解像度の画像である。また、第二画像を出力した場合に、第一画像の出力とは、全く異なる画像でも良い。つまり、第一画像は、例えば、カメラで1以上の対象物を撮影した画像である。そして、第二画像は、例えば、視聴者が1以上の対象物を認識できない画像である。つまり、第二画像は、第一画像とは異なり、例えば、視聴できない(視聴に耐えない)画像でも良い。第二画像は、受信装置12が後述する第三画像を生成できる画像であれば良い。なお、第二画像の解像度である第二の解像度は、第一画像の解像度である第一の解像度より高解像度であることが好適であるが、第一の解像度と同じ解像度でも良い。また、第二の解像度は、第一の解像度より低い解像度でも良い。また、上記のノイズの除去とは、一部のノイズの除去でも良いことは言うまでもない。また、第二画像は、例えば第一画像に対して情報量調整を行った画像である。情報量調整とは、例えば、サブサンプリング、量子化等である。
 送信側対応表格納部112は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。送信側対応表格納部112に送信側対応表が記憶される過程は問わない。例えば、記録媒体を介して送信側対応表が送信側対応表格納部112で記憶されるようになってもよく、通信回線等を介して送信された送信側対応表が送信側対応表格納部112で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された送信側対応表が送信側対応表格納部112で記憶されるようになってもよい。
 前処理部113は、画像受付部111が受け付けた第一画像を2以上のブロックに分割し、2以上の各ブロックに対応する2以上の第二画像ブロックを取得し、2以上の第二画像ブロックから第二画像を構成する。
 ただし、前処理部113は、画像受付部111が受け付けた第一画像を分割せずに、当該第一画像に対応する第二画像ブロック(このブロックは第二画像そのものである)を取得しても良い。つまり、前処理部113は、画像受付部111が受け付けた第一画像から1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを前記送信側対応表格納部112から取得し、当該1以上の第二画像ブロックから第二画像を構成する。
 前処理部113は、通常、MPUやメモリ等から実現され得る。前処理部113の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 送信側分割手段1131は、画像受付部111が受け付けた第一画像から、1以上の第一画像ブロックを取得する。また、例えば、送信側分割手段1131は、画像受付部111が受け付けた第一画像を2以上のブロックに分割し、2以上の第一画像ブロックを取得することは好適である。送信側分割手段1131は、所定のサンプリング周波数でデジタル化された第一画像(ここでは、例えば、テレビジョン信号)を受け付け、テレビジョン信号の順序をブロックの順序に変換する。送信側分割手段1131は、例えば、2以上(例えば、ここでは「4」)の走査線変換回路により実現される。4つの各走査線変換回路には、それぞれ、現フィールドの画像、前フィールドの画像、前々フィールドの画像、前々々フィールドの画像、が供給される。そして、4つの各走査線変換回路の出力端子には、それぞれ、各フィールドのデータがブロックの順序で発生する。現フィールドの画像Fに関して、図2において付された番号の順序で1ブロックずつ画像が走査線変換回路の出力端子に出力される。前フィールドの画像Fk-1、前々フィールドの画像Fk-2、前々々フィールドの画像Fk-3に関しても、画像Fと同様に、図2において付された番号の順序で1ブロックずつ画像が各走査線変換回路の出力端子に出力される。1ブロック内でのデータの出力の順序は、テレビジョン走査と同様である。各走査線変換回路は、ブロック化のためのメモリを有する。1フィールドが(210ライン×684)画素の場合、全画素は143640画素となる。図2に示すように、1フィールドを4分割した場合は、1ブロックに含まれる画素数は(105×342=35910)画素となる。
 第二画像ブロック取得手段1132は、送信側分割手段1131が取得した1以上の各第一画像ブロックに対応する1以上の第二画像ブロックを送信側対応表格納部112から取得する。第二画像ブロック取得手段1132は、例えば、1以上の各第一画像ブロックの1以上のパラメータを取得し、当該1以上のパラメータに対応する第二画像ブロックを送信側対応表格納部112から取得する。
 第二画像構成手段1133は、第二画像ブロック取得手段1132が取得した1以上の第二画像ブロックから第二画像を構成する。なお、第二画像ブロック取得手段1132が一つの第二画像ブロックを取得した場合、第二画像構成手段1133は、その第二画像ブロック(第二画像)を取得するだけの処理を行う。
 特徴量取得手段1134は、画像受付部111が受け付けた第一画像から1以上の特徴量を取得する。特徴量とは、例えば、符号化方式識別子(フォーマット識別子と言っても良い)、サンプリングのパターンを示すサンプリングパターン情報、予測係数などである。符号化方式識別子とは、例えば、符号化方式を示す「H.264」や「MPEG-4 AVC」や「MPEG-2」などである。サンプリングパターン情報は、送信装置11と受信装置12が予め知っているサンプリングのパターンを識別する情報(例えば、「1」「2」など)である。サンプリングパターン情報により、空間的なサンプリングの方法や時間的なサンプリングの方法が決定される。
 予測係数とは、過去の数フィールド(予め決められた数のフィールドで、例えば、3フィールド)の画素データから現在のフィールドの画素データを取得するための線形1次結合で規定される時空間な関係式を規定するパラメータである。なお、予測係数の取得方法は、例えば、「特開昭62-102685」に記載されている。かかる場合、特徴量取得手段1134は、過去の1以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである1以上の予測係数を取得する。
 また、詳細には、「特開昭62-102685」、「特許第3072306号」に記載されているように、例えば、特徴量取得手段1134は、過去の数フィールドの画素データであって、現在のフィールドを分割して得られるブロック内の画素データと対応するブロック内の画素データとから線形1次結合で規定される時空間な関係式を規定するパラメータを同定する。かかる場合、特徴量取得手段1134は、例えば、最小自乗法を用いる。特徴量取得手段1134は、例えば、ブロック毎に35個のパラメータを取得する。特徴量取得手段1134は、まず、予測データを線形1次結合の式を用いて算出する。線形1次結合の式は、以下の数式1である。
Figure JPOXMLDOC01-appb-M000001
 数式1を行列とベクトルによりまとめて表現すると、「i=I・w」となる。iは、(m×n)次のベクトル、Iは(m×n,35)の行列、wは35次のベクトルである。(m×n)は、1ブロック内の全ての画素または代表点を示す。
 一方、現フィールドの画素または代表点のデータ(真値)を並べてなるベクトルjは、(m×n)次のベクトルであり、eを(m×n)次の予測誤差ベクトルとすると、「j=i+e=I・w+e」となる。この式は、「e=j-I・w」となる。
 この予測誤差ベクトルeの自乗和を最小にするパラメータwが求められる。上式は、下記のように変形される。但し、Tは転置行列を示す。
「ee=(j-I・w)(j-I・w)=jj-jIw―wj-wIw」
上式で、eeを最小にするパラメータwは、以下の数式2を満足するものとなる。
Figure JPOXMLDOC01-appb-M000002
 この数式2の導出は、例えば、文献「システム同定」(発行所:社団法人計測自動制御学会,発行日:昭和56年2月10日(初版))の第4章第4節第2項に記載されている。
 このままでは、1ブロックの(m×n)個の画素の場合、(m×n,35)という大きな行列を扱うこととなり、適切ではない。従って、上式を小さい次数の行列およびベクトルに直して処理する。つまり、(P=I・I)の(35,35)の行列と、(Q=I・J)の35次のベクトルとを用いる。P、およびQについて、数式3に示す。
Figure JPOXMLDOC01-appb-M000003
 特徴量取得手段1134は、過去の3フィールドの予測データから、このP、Qが算出される。そして、(P-1Q)により、パラメータが計算される。
 送信側分割手段1131、第二画像ブロック取得手段1132、第二画像構成手段1133、および特徴量取得手段1134は、通常、MPUやメモリ等から実現され得る。第二画像ブロック取得手段1132の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 符号化部114は、第二画像を符号化し、符号化画像を取得する。符号化部114が行う符号化方式は問わない。符号化方式は、動画圧縮を高効率で行う方式であることが好適である。符号化方式は、例えば、H.264(MPEG-4 AVCと言っても良い)などである。符号化方式は、MPEG-2でも良い。なお、上述したように、符号化部114は、存在しなくても良い。
 符号化部114は、通常、MPUやメモリ等から実現され得る。符号化部114の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 送信部115は、1以上の特徴量と符号化画像とを送信する。また、符号化部11が存在しない場合、送信部115は、1以上の特徴量と第二画像を送信する。また、送信部115は、符号化画像のみ、または第二画像のみを送信しても良い。かかる場合、特徴量取得手段1134は不要である。また、送信部115は、情報を送信せずに、図示しない記録媒体に、蓄積しても良い。つまり、ここでの送信は、蓄積(記録媒体への書き込み)を含む概念である。
 送信部115は、通常、無線または有線の通信手段で実現される。ただし、送信部115は、放送手段で実現されても良い。
 受信装置12を構成する受信部121は、符号化画像または第二画像を受信する。受信部121は、1以上の特徴量と符号化画像、または1以上の特徴量と第二画像を受信しても良い。受信部121は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。なお、受信部121は、記録媒体に蓄積されている画像を取得しても良い。
 復号化部122は、受信部121が受信した符号化画像を復号化し、第二画像を取得する。復号化部122は、公知技術(例えば、H.264のデコーダ)により実現され得る。復号化部122は、通常、MPUやメモリ等から実現され得る。復号化部122の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、上述したように、復号化部122は、存在しなくても良い。
 生成部123は、受信部121が受信した第二画像、または復号化部122が取得した第二画像から、第三画像を生成する。生成部123は、1以上の特徴量を用いて、復号化部122が取得した第二画像から、第二画像の解像度より高解像度の第三画像を生成することは好適である。
 なお、生成部123は、第二画像から高品質な第三画像を生成すれば良い。なお、高品質な画像とは、上述した解像度(空間解像度)が高い画像でも良いし、時間解像度が高い(高フレームレート)画像でも良いし、階調が細かい(高階調)画像でも良い。また、高品質な画像とは、例えば、高SNR(第一画像との差分が少ない)の画像、符号化による画像劣化破綻が少ない画像、高精細な画像、滑らかな画像、自然であり、違和感の少ない画像等でも良い。
 生成部123は、通常、MPUやメモリ等から実現され得る。生成部123の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 受信側対応表格納手段1231は、複数の受信側対応情報を有する受信側対応表を格納している。受信側対応情報とは、第二画像ブロックと第三画像ブロックとを対応付けた情報である。ここでの第二画像ブロックとは、第二画像ブロックそのものでなくても良く、第二画像ブロックの特徴を示す1以上のパラメータでも良い。受信側対応情報は、第二画像ブロックと第三画像ブロックとを有する情報でも良いし、第二画像ブロックの識別情報と第三画像ブロックの識別情報とを有する情報でも良い。かかる場合、第二画像ブロックと第三画像ブロックとは、受信装置12が有しても良いし、受信装置12の外部の装置が有しても良い。第三画像ブロックとは、第三画像を構成するブロックである。第三画像の解像度は、第一の解像度より高解像度であってもよい。
 受信側対応表格納手段1231は、符号化方式識別子ごとに、2以上の受信側対応表を保持していることは好適である。
 受信側対応表格納手段1231は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。受信側対応表格納手段1231に受信側対応表が記憶される過程は問わない。例えば、記録媒体を介して受信側対応表が受信側対応表格納手段1231で記憶されるようになってもよく、通信回線等を介して送信された受信側対応表が受信側対応表格納手段1231で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された受信側対応表が受信側対応表格納手段1231で記憶されるようになってもよい。
 受信側分割手段1232は、第二画像から1以上の第二画像ブロックを取得する。受信側分割手段1232の処理と送信側分割手段1131の処理とは、処理対象の画像が異なるが、同じ処理でも良い。
 受信側分割手段1232は、通常、MPUやメモリ等から実現され得る。受信側分割手段1232の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 第三画像ブロック取得手段1233は、受信側分割手段1232が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、受信側対応表格納手段1231から取得する。また、第三画像ブロック取得手段1233は、符号化方式識別子に対応する受信側対応表から、受信側分割手段1232が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを取得することは好適である。第三画像ブロック取得手段1233の処理と第二画像ブロック取得手段1132の処理とは、用いる対応表が異なるが、同様の処理でも良い。
 第三画像ブロック取得手段1233は、通常、MPUやメモリ等から実現され得る。第三画像ブロック取得手段1233の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 第三画像構成手段1234は、第三画像ブロック取得手段1233が取得した1以上の第三画像ブロックから第三画像を構成する。第三画像ブロック取得手段1233が取得した第三画像ブロックが一つである場合、第三画像構成手段1234は、第三画像ブロックを取得するだけの処理を行う。
 第三画像構成手段1234は、通常、MPUやメモリ等から実現され得る。第三画像構成手段1234の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
 出力部124は、生成部123が取得した第三画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置(表示装置)への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
 出力部124は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部124は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
 次に、送受信システム1を構成する送信装置11の動作について、図3のフローチャートを用いて説明する。
 (ステップS301)画像受付部111は、画像を受け付けたか否かを判断する。なお、ここで受け付ける画像は、第一画像を構成する1フィールドの画像である。第一画像が動画である場合、順次、1フィールドの画像を受け付けることとなる。
 (ステップS302)前処理部113は、ステップS301で受け付けた画像に対して、前処理を行う。前処理の例の詳細について、図4のフローチャートを用いて説明する。
 (ステップS303)符号化部114は、ステップS302で前処理を行った結果の画像である第二画像に対して、符号化処理を行い、符号化画像を取得する。符号化処理は、例えば、H.264の符号化である。なお、ここでの処理は、1以上の特徴量の抽出処理は除いている。特徴量の抽出処理は、後述するステップS304で行う。
 (ステップS304)前処理部113は、第一画像の特徴量を、1以上取得する。なお、第一画像の特徴量は、当該第一画像から作られる第二画像の特徴量でも良いし、当該第一画像から作られる符号化画像の特徴量でも良い。
 (ステップS305)送信部115は、ステップS304で取得された1以上の特徴量と、ステップS303で取得された符号化画像とを送信する。なお、送信部115は、符号化画像のみを送信しても良い。かかる場合、ステップS304が不要である。
 なお、図3のフローチャートにおいて、ステップS304の特徴量の取得処理は、ステップS303の符号化処理の前でも良い。
 また、図3のフローチャートにおいて、特徴量の取得、送信は行わなくても良い。かかる場合、ステップS304の処理は不要である。
 また、図3のフローチャートにおいて、符号化処理は行わなくても良い。かかる場合、ステップS303の処理は不要である。また、かかる場合、送信部115は、ステップS304で取得された1以上の特徴量と、第二画像とを送信する。
 さらに、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
 次に、ステップS302の前処理の例の詳細について、図4のフローチャートを用いて説明する。
 (ステップS401)送信側分割手段1131は、画像受付部111が受け付けた画像を2以上のブロックに分割し、2以上のブロック画像を得る。なお、送信側分割手段1131は、画像受付部111が受け付けた画像を、一つのブロック画像として、取得するだけでも良い。
 (ステップS402)第二画像ブロック取得手段1132は、カウンタiに1を代入する。
 (ステップS403)第二画像ブロック取得手段1132は、i番目のブロック画像が存在するか否かを判断する。i番目のブロック画像が存在すればステップS404に行き、存在しなければ上位処理にリターンする。
 (ステップS404)第二画像ブロック取得手段1132は、i番目のブロック画像の1以上のパラメータを取得する。パラメータとは、i番目のブロック画像の特徴を示す情報であり、例えば、画像ブロックの画素データの最大値(MAX)、最小値(MIN)、「MAX-MIN」で示されるダイナミックレンジ(DR)などである。
 (ステップS405)第二画像ブロック取得手段1132は、ステップS404で取得した1以上のパラメータに対応する第二画像ブロックを、送信側対応表格納部112から取得する。
 (ステップS406)第二画像ブロック取得手段1132は、カウンタiを、1インクリメントする。ステップS403に戻る。
 なお、図4のフローチャートにおいて、前処理は、ノイズの除去、およびダウンコンバージョンなどでも良い。
 また、図4のフローチャートにおいて、前処理は、サブサンプリングなどの情報調整などでも良い。
 次に、送受信システム1を構成する受信装置12の動作について、図5のフローチャートを用いて説明する。
 (ステップS501)受信部121は、符号化画像を受信したか否かを判断する。符号化画像を受信すればステップS502に行き、符号化画像を受信しなければステップS501に戻る。
 (ステップS502)復号化部122は、ステップS501で受信された符号化画像を復号化し、第二画像を取得する。
 (ステップS503)生成部123は、ステップS502で取得された第二画像から、第二画像の解像度より高解像度の第三画像を生成する。この生成処理の詳細について、図6のフローチャートを用いて説明する。
 (ステップS504)出力部124は、ステップS503で生成された第三画像を出力する。ステップS501に戻る。
 なお、図5のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
 また、図5のフローチャートにおいて、受信部121は、第二画像を受信しても良い。かかる場合、ステップS502の処理は不要である。
 さらに、図5のフローチャートのステップS503において、生成部123は、第二画像から、第二画像の解像度より高解像度の第三画像を生成した。しかし、生成部123は、第二画像に対して、解像度以外の観点で高品質な画像である第三画像を生成しても良い。解像度以外の観点とは、例えば、輝度等である。
 次に、ステップS503の生成処理の詳細について、図6のフローチャートを用いて説明する。
 (ステップS601)受信側分割手段1232は、第二画像を2以上のブロックに分割し、2以上の第二画像ブロックを取得する。なお、受信側分割手段1232は、第二画像を分割せずに、単に第二画像を取得するだけでも良い。
 (ステップS602)第三画像ブロック取得手段1233は、カウンタiに1を代入する。
 (ステップS603)第三画像ブロック取得手段1233は、i番目の第二ブロック画像が存在するか否かを判断する。i番目の第二ブロック画像が存在すればステップS604に行き、存在しなければステップS607に行く。
 (ステップS604)第三画像ブロック取得手段1233は、i番目の第二ブロック画像の1以上のパラメータを取得する。パラメータとは、i番目の第二ブロック画像の特徴を示す情報であり、例えば、画像ブロックの画素データの最大値(MAX)、最小値(MIN)、「MAX-MIN」で示されるダイナミックレンジ(DR)などである。
 (ステップS605)第三画像ブロック取得手段1233は、受信部121が受信した1以上の特徴量のうちの1以上の特徴量(例えば、符号化方式識別子やサンプリングパターン情報など)に対応する一の受信側対応表を選択し、当該選択した一の受信側対応表を参照して、ステップS604で取得した1以上のパラメータ(第二画像ブロック)に対応する第三画像ブロックを、受信側対応表格納手段1231から取得する。
 (ステップS606)第三画像ブロック取得手段1233は、カウンタiを、1インクリメントする。ステップS603に戻る。
 (ステップS607)第三画像構成手段1234は、第三画像ブロック取得手段1233が取得した1以上の第三画像ブロックから第三画像を構成する。上位処理にリターンする。
 なお、図6のフローチャートにおける第三画像の生成処理は一例であり、他の方法でも良い。他の方法とは、例えば、特許文献3などに記載されている画像のアップコンバージョン方法である。
 以下、本実施の形態における送信装置11の第二画像構成手段1133が行う第二画像の生成処理の具体的な動作について説明する。ここで、画像受付部111は、第一の解像度の画像であるビデオ信号を受け付ける、とする。
 まず、送信側分割手段1131は、ビデオ信号が通常のラスター走査の順序からブロックの順序に変換する。そして、送信側分割手段1131は、図7に示すように、(2×2×8ビット=32ビット)のブロック5sに変換されたビデオ信号が発生する。
 そして、ここでは、第二画像ブロック取得手段1132は、例えば、図8に示す構造である、とする。
 送信側分割手段1131の出力信号(ブロック5s)がADRCエンコーダ81に供給される。ADRC(ダイナミックレンジに適応した符号化)は、ブロック内の複数画素が空間的な相関を有することを利用して、各画素のビット数を8ビットから例えば4ビットに圧縮するものである。
 そして、ADRCエンコーダ81は、ブロックの画素データの最大値MAX、その最小値MIN、(MAX-MIN=DR)で表されるダイナミックレンジDRを検出する回路と、ダイナミックレンジDRを2等分して、量子化ステップを発生する回路と、最小値MINを減算することで、そのブロックの画素データを正規化する減算回路と、減算回路の出力を量子化ステップで割算する、すなわち、再量子化する量子化回路とを含む。ADRCエンコーダ81からは、ブロック毎のダイナミックレンジDR、最小値MIN、各画素と対応する4ビットのコード信号DTとが出力される。
 このADRCエンコーダ81の出力信号中のコード信号DT(1ブロックで16ビット)がメモリ112(送信側対応表格納部112)にアドレスとして供給される。メモリ112には、第一画像と第二画像との間の符号化出力の相関に基づいたマッピング表が格納されている。このメモリ112は、例えば、不揮発性RAMで構成される。
 メモリ3からは、図7に示すように、(4×4×4ビット)のブロック5hの符号化されたビデオ信号が読み出される。このブロック5hが1画面(1フィールドあるいは1フレーム)中で占める位置は、入力画像のブロック5sのそれと同一とされる。なお、例えば、第一画像のアスペクト比が(4:3)で、第二画像のアスペクト比が(16:9)である場合、入力画像の、例えば左上コーナのブロック5sと対応する出力ブロック5hは、左上コーナより内側の上側の画像ブロックとして使用される。
 ADRCエンコーダ81の符号化出力中のダイナミックレンジDRおよび最小値MINが遅延回路82に供給される。遅延回路82の出力に現れるダイナミックレンジDRが割算回路83に供給され、2=16で除算される。従って、割算回路83からは、そのブロックの量子化ステップが得られる。
 メモリ112から読み出された出力画像信号のブロックのコード信号が乗算器84に供給される。この乗算器84には、量子化ステップが供給され、従って、乗算器84からは、最小値除去後のデータが復元できる。この乗算器84の出力信号が加算器85に供給され、遅延回路82からの最小値MINが加算される。従って、加算器85からは、第二画像のビデオ信号の(4×4×8ビット)の復元データが得られる。そして、この復元データが第二画像構成手段1133に出力される。
 次に、第二画像構成手段1133は、ブロック毎の復元データ(第二画像ブロック)のデータ順を、ラスター走査の順に変換する。そして、第二画像構成手段1133は、第二画像を得る。
 なお、送信装置11が行う第一画像から第二画像の生成処理と、受信装置12が行う第二画像から第三画像の生成処理とは、同様の処理でも良い。
 以上、本実施の形態によれば、伝送するデータ量を減らし、かつ高解像度の画像を受信装置12で出力できる。
 なお、本実施の形態における送信装置11、および受信装置12の処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における送信装置11を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納しており、コンピュータを、第一画像を受け付ける画像受付部と、前記画像受付部が受け付けた第一画像から1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを取得し、当該1以上の第二画像ブロックから第二画像を構成する前処理部と、前記第二画像を送信する送信部として機能させるためのプログラム、である。
 また、本実施の形態における受信装置12を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記第二画像を受信する受信部と、前記第二画像から、第三画像を生成する生成部と、前記第三画像を出力する出力部として機能させるためのプログラム、である。
 また、図9は、本明細書で述べたプログラムを実行して、上述した実施の形態の送信装置11、または受信装置12を実現し得るコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図9は、このコンピュータシステム340の概観図であり、図10は、コンピュータシステム340のブロック図である。
 図9において、コンピュータシステム340は、FDドライブ、CD-ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
 図10において、コンピュータ341は、FDドライブ3411、CD-ROMドライブ3412に加えて、MPU3413と、CD-ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
 コンピュータシステム340に、上述した実施の形態の送信装置11、または受信装置12の機能を実行させるプログラムは、CD-ROM3501、またはFD3502に記憶されて、CD-ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD-ROM3501、FD3502またはネットワークから直接、ロードされても良い。
 プログラムは、コンピュータ341に、上述した実施の形態の送受信システム等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
 なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
 また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
 また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
 また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
 本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
 以上のように、本発明にかかる送受信システムは、伝送するデータ量を減らし、かつ高品質な画像を受信装置で出力できる、という効果を有し、送受信システム等として有用である。
 1 送受信システム
 11 送信装置
 12 受信装置
 113 前処理部
 114 符号化部
 115 送信部
 121 受信部
 122 復号化部
 123 生成部
 124 出力部
 1131 送信側分割手段
 1132 第二画像ブロック取得手段
 1133 第二画像構成手段
 1134 特徴量取得手段
 1231 受信側対応表格納手段
 1232 受信側分割手段
 1233 第三画像ブロック取得手段
 1234 第三画像構成手段

Claims (13)

  1. 画像を送信する送信装置と、受信装置とを具備する送受信システムにおける送信装置であって、
    前記送信装置は、
    第一画像を受け付ける画像受付部と、
    第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、
    前記画像受付部が受け付けた第一画像から1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該1以上の第二画像ブロックから第二画像を構成する前処理部と、
    前記第二画像を送信する送信部とを具備し、
    前記受信装置は、
    前記第二画像を受信する受信部と、
    前記受信部が受信した第二画像から、第三画像を生成する生成部と、
    前記第三画像を出力する出力部とを具備する送受信システムにおける送信装置。
  2. 前記送信装置は、
    前記第二画像を符号化し、符号化画像を取得する符号化部をさらに具備し、
    前記送信部は、
    前記符号化画像を送信し、
    前記受信部は、
    前記符号化画像を受信し、
    前記受信装置は、
    前記受信部が受信した符号化画像を復号化し、第二画像を取得する復号化部をさらに具備し、
    前記生成部は、
    前記復号化部が取得した第二画像から、第三画像を生成する請求項1記載の送受信システムにおける送信装置。
  3. 前記生成部は、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、
    前記第二画像を1以上のブロックに分割し、1以上の第二画像ブロックを取得する受信側分割手段と、
    前記受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得手段と、
    前記第三画像ブロック取得手段が取得した1以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する請求項1記載の送信装置。
  4. 前記生成部は、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、
    前記第二画像を1以上のブロックに分割し、1以上の第二画像ブロックを取得する受信側分割手段と、
    前記受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得手段と、
    前記第三画像ブロック取得手段が取得した1以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する請求項2記載の送信装置。
  5. 前記前処理部は、
    前記画像受付部が受け付けた第一画像から1以上の特徴量を取得する特徴量取得手段を具備し、
    前記送信部は、
    前記1以上の特徴量と、前記第二画像または前記符号化画像とを送信し、
    前記受信部は、
    前記1以上の特徴量と、前記第二画像または前記符号化画像とを受信し、
    前記生成部は、
    前記1以上の特徴量を用いて、前記受信部が受信した第二画像または前記復号化部が取得した第二画像から、第三画像を生成する請求項1記載の送信装置。
  6. 前記1以上の特徴量のうちの一の特徴量は、
    符号化方式を識別する符号化方式識別子であり、
    前記受信側対応表格納手段は、
    符号化方式識別子ごとに、2以上の受信側対応表を有し、
    前記第三画像ブロック取得手段は、
    前記符号化方式識別子に対応する受信側対応表から、前記受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを取得する請求項5記載の送信装置。
  7. 前記特徴量取得手段は、
    過去の1以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである1以上の予測係数を取得する請求項5記載の送信装置。
  8. 画像を送信する送信装置と、受信装置とを具備する送受信システムにおける受信装置であって、
    前記送信装置は、
    第一画像を受け付ける画像受付部と、
    第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、
    前記画像受付部が受け付けた第一画像から1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該1以上の第二画像ブロックから第二画像を構成する前処理部と、
    前記第二画像を送信する送信部とを具備し、
    前記受信装置は、
    前記第二画像を受信する受信部と、
    前記第二画像から、第三画像を生成する生成部と、
    前記第三画像を出力する出力部とを具備する送受信システムにおける受信装置。
  9. 前記送信装置は、
    前記第二画像を符号化し、符号化画像を取得する符号化部をさらに具備し、
    前記送信部は、
    前記符号化画像を送信し、
    前記受信部は、
    前記符号化画像を受信し、
    前記受信装置は、
    前記受信部が受信した符号化画像を復号化し、第二画像を取得する復号化部をさらに具備し、
    前記生成部は、
    前記復号化部が取得した第二画像から、第三画像を生成する請求項8記載の受信装置。
  10. 前記生成部は、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、
    前記第二画像を1以上のブロックに分割し、1以上の第二画像ブロックを取得する受信側分割手段と、
    前記受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得手段と、
    前記第三画像ブロック取得手段が取得した1以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する請求項8記載の受信装置。
  11. 前記生成部は、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、
    前記第二画像を1以上のブロックに分割し、1以上の第二画像ブロックを取得する受信側分割手段と、
    前記受信側分割手段が取得した1以上の各第二画像ブロックに対応する1以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得手段と、
    前記第三画像ブロック取得手段が取得した1以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する請求項9記載の受信装置。
  12. 前記前処理部は、
    前記画像受付部が受け付けた第一画像から1以上の特徴量を取得する特徴量取得手段を具備し、
    前記送信部は、
    前記1以上の特徴量と、前記第二画像または前記符号化画像とを送信し、
    前記受信部は、
    前記1以上の特徴量と、前記第二画像または前記符号化画像とを受信し、
    前記生成部は、
    前記1以上の特徴量を用いて、前記受信部が受信した第二画像または前記復号化部が取得した第二画像から、第三画像を生成する請求項8記載の受信装置。
  13. 記憶媒体に、第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納しており、
    画像受付部、前処理部、および送信部とにより実現される画像送信方法であって、
    前記画像受付部により、第一画像を受け付ける画像受付ステップと、
    前記前処理部により、前記画像受付ステップで受け付けられた第一画像を1以上のブロックを取得し、当該1以上の各ブロックに対応する1以上の第二画像ブロックを前記記憶媒体から取得し、当該1以上の第二画像ブロックから第二画像を構成する前処理ステップと、
    前記送信部により、前記第二画像を送信する送信ステップとを具備する画像送信方法。
PCT/JP2013/072267 2012-08-24 2013-08-21 受信装置、送信装置および画像送信方法 WO2014030665A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014531647A JP6379036B2 (ja) 2012-08-24 2013-08-21 送信装置、画像送信方法、および画像送受信方法
EP13830282.3A EP2890127A4 (en) 2012-08-24 2013-08-21 RECEIVING DEVICE, TRANSMISSION DEVICE, AND IMAGE TRANSMISSION METHOD
KR1020147036017A KR102114509B1 (ko) 2012-08-24 2013-08-21 수신 장치, 송신 장치 및 화상 송신 방법
CN201380041205.8A CN104509117A (zh) 2012-08-24 2013-08-21 接收装置、传送装置以及影像传送方法
US14/422,809 US10034004B2 (en) 2012-08-24 2013-08-21 Receiving apparatus, transmitting apparatus, and image transmitting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012184921 2012-08-24
JP2012-184921 2012-08-24

Publications (1)

Publication Number Publication Date
WO2014030665A1 true WO2014030665A1 (ja) 2014-02-27

Family

ID=50149971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072267 WO2014030665A1 (ja) 2012-08-24 2013-08-21 受信装置、送信装置および画像送信方法

Country Status (7)

Country Link
US (1) US10034004B2 (ja)
EP (1) EP2890127A4 (ja)
JP (2) JP6379036B2 (ja)
KR (1) KR102114509B1 (ja)
CN (1) CN104509117A (ja)
TW (1) TWI600327B (ja)
WO (1) WO2014030665A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016172394A1 (en) 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
CN107846589B (zh) * 2016-09-19 2020-07-07 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法
CN108063951B (zh) * 2017-12-14 2021-07-13 Oppo广东移动通信有限公司 非标准分辨率数据的传输方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62102685A (ja) 1985-10-29 1987-05-13 Sony Corp 高能率符号化装置
JPH0372306B2 (ja) 1989-11-16 1991-11-18 Azu Intaanashonaru Kk
JPH05167992A (ja) 1991-12-13 1993-07-02 Sony Corp 解像度補償可能な画像変換装置
JP2000040966A (ja) * 1998-07-23 2000-02-08 Tadahiro Omi データ圧縮装置および方法、データ伸長装置および方法、データ圧縮伸長システム、記録媒体
JP2003134411A (ja) 2001-07-18 2003-05-09 Zarlink Semiconductor Ltd テレビジョンチューナ
JP2003172959A (ja) 2001-12-04 2003-06-20 Sony Corp 画像表示方法及び画像表示装置
JP2007096541A (ja) 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
JP2007135059A (ja) 2005-11-11 2007-05-31 Sony Corp 送信装置、受信装置、送信方法、受信方法、送信プログラム、受信プログラム及び映像コンテンツのデータ構造
JP2008312083A (ja) * 2007-06-18 2008-12-25 Sony Corp 符号化装置および方法、復号装置および方法、プログラム、並びに記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746864B2 (ja) * 1984-08-22 1995-05-17 ソニー株式会社 高能率符号化装置
JPS6298991A (ja) * 1985-10-25 1987-05-08 Sony Corp テレビジヨン信号の高能率符号化装置
JPH08336134A (ja) 1995-04-06 1996-12-17 Sanyo Electric Co Ltd 動画像圧縮符号化方法、動画像圧縮符号化装置、動画像復号方法、動画像復号装置、及び、記録媒体
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
EP0823823A3 (en) * 1996-08-07 2001-02-14 Matsushita Electric Industrial Co., Ltd. Digital broadcasting system
WO2003043306A1 (fr) * 2001-11-13 2003-05-22 Seiko Epson Corporation Dispositif et procede de conversion de couleurs, programme de modification de couleurs et support d'enregistrement.
JP3762319B2 (ja) 2002-03-15 2006-04-05 キヤノン株式会社 画像処理方法、画像処理装置及び画像処理システム
AU2003238771A1 (en) 2002-05-29 2003-12-19 Simon Butler Predictive interpolation of a video signal
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
US7627198B2 (en) * 2003-05-29 2009-12-01 Sony Corporation Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods
JP4093114B2 (ja) 2003-05-29 2008-06-04 ソニー株式会社 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN1860794A (zh) * 2003-09-29 2006-11-08 皇家飞利浦电子股份有限公司 使用用于3-d过完备小波视频编码框架的联合时空预测进行形态学有效位映射编码
JP2006079458A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 画像伝送システム、画像伝送方法、及び画像伝送プログラム
JP4410084B2 (ja) * 2004-11-04 2010-02-03 コニカミノルタビジネステクノロジーズ株式会社 モード情報変換装置及び画像形成装置並びに画像形成システム
JP4807999B2 (ja) * 2005-09-16 2011-11-02 株式会社リコー 画像表示装置、画像表示方法、画像形成装置、画像形成方法、および、それらの方法をコンピュータに実行させるプログラム
JP5188033B2 (ja) * 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
KR100813435B1 (ko) * 2006-10-18 2008-03-13 주식회사 휴맥스 비트스트림 인코딩/디코딩 방법 및 장치
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
JP2010041654A (ja) * 2008-08-08 2010-02-18 Toshiba Corp 動画像符号化方法および装置
JP2010245796A (ja) * 2009-04-06 2010-10-28 Sony Corp 映像表示装置および方法、映像表示システム、並びにプログラム
WO2011027440A1 (ja) * 2009-09-02 2011-03-10 株式会社 東芝 画像圧縮装置及び画像伸張装置
US9602814B2 (en) * 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
JP5452337B2 (ja) * 2010-04-21 2014-03-26 日本放送協会 画像符号化装置及びプログラム
JP5419795B2 (ja) * 2010-04-30 2014-02-19 日本放送協会 画像符号化装置及びプログラム
AU2011296956A1 (en) * 2010-09-03 2013-02-14 Sony Corporation Encoding device and encoding method, as well as decoding device and decoding method
KR20120062551A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
US20120169924A1 (en) * 2011-01-05 2012-07-05 Mediatek Inc. Video processing apparatus capable of dynamically controlling processed picture quality based on runtime memory bandwidth utilization
WO2012147621A1 (ja) * 2011-04-28 2012-11-01 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62102685A (ja) 1985-10-29 1987-05-13 Sony Corp 高能率符号化装置
JPH0372306B2 (ja) 1989-11-16 1991-11-18 Azu Intaanashonaru Kk
JPH05167992A (ja) 1991-12-13 1993-07-02 Sony Corp 解像度補償可能な画像変換装置
JP2000040966A (ja) * 1998-07-23 2000-02-08 Tadahiro Omi データ圧縮装置および方法、データ伸長装置および方法、データ圧縮伸長システム、記録媒体
JP2003134411A (ja) 2001-07-18 2003-05-09 Zarlink Semiconductor Ltd テレビジョンチューナ
JP2003172959A (ja) 2001-12-04 2003-06-20 Sony Corp 画像表示方法及び画像表示装置
JP2007096541A (ja) 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
JP2007135059A (ja) 2005-11-11 2007-05-31 Sony Corp 送信装置、受信装置、送信方法、受信方法、送信プログラム、受信プログラム及び映像コンテンツのデータ構造
JP2008312083A (ja) * 2007-06-18 2008-12-25 Sony Corp 符号化装置および方法、復号装置および方法、プログラム、並びに記録媒体

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"System Identification", 10 February 1981, SOCIETY OF INSTRUMENT AND CONTROL ENGINEERS
See also references of EP2890127A4
ZHU LI ET AL.: "A color vector quantization based video coder", PROCEEDINGS OF INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, vol. 3, 2002, pages III-673 - III-676, XP010607807 *

Also Published As

Publication number Publication date
JP6653353B2 (ja) 2020-02-26
KR20150045951A (ko) 2015-04-29
TW201412131A (zh) 2014-03-16
EP2890127A1 (en) 2015-07-01
JPWO2014030665A1 (ja) 2016-07-28
KR102114509B1 (ko) 2020-05-22
US10034004B2 (en) 2018-07-24
EP2890127A4 (en) 2016-03-23
TWI600327B (zh) 2017-09-21
US20150245039A1 (en) 2015-08-27
JP2018148578A (ja) 2018-09-20
JP6379036B2 (ja) 2018-08-22
CN104509117A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
US20230011071A1 (en) Hybrid backward-compatible signal encoding and decoding
US10404985B2 (en) Image processing device and method for improving coding efficiency of quantization matrices
US10728552B2 (en) Image processing apparatus and method
US10560697B2 (en) Image processing device and method
EP2869558B1 (en) Image processing device and method
US20190215534A1 (en) Image processing apparatus and image processing method
US9438849B2 (en) Systems and methods for transmitting video frames
US20150139303A1 (en) Encoding device, encoding method, decoding device, and decoding method
WO2010093432A1 (en) Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
CN115668947A (zh) 用信号通知hls的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
US20150124863A1 (en) Chroma-based video converter
JP6653353B2 (ja) 送受信システム、送信装置、受信装置、および画像送信方法
JP2015076861A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
US20250159219A1 (en) Synchronising frame decoding in a multi-layer video stream
KR20160052459A (ko) 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법
CN116830575A (zh) 用于对具有不同位深度的视频信号进行哈达玛变换域滤波的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13830282

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014531647

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20147036017

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013830282

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14422809

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE