[go: up one dir, main page]

WO2011001853A1 - 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置 - Google Patents

立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置 Download PDF

Info

Publication number
WO2011001853A1
WO2011001853A1 PCT/JP2010/060581 JP2010060581W WO2011001853A1 WO 2011001853 A1 WO2011001853 A1 WO 2011001853A1 JP 2010060581 W JP2010060581 W JP 2010060581W WO 2011001853 A1 WO2011001853 A1 WO 2011001853A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
image data
unit
eye image
Prior art date
Application number
PCT/JP2010/060581
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN2010800028685A priority Critical patent/CN102177723A/zh
Priority to BRPI1004288A priority patent/BRPI1004288A2/pt
Priority to EP10794023.1A priority patent/EP2451167A4/en
Priority to RU2011105392/08A priority patent/RU2530346C2/ru
Priority to US13/058,982 priority patent/US20110141234A1/en
Publication of WO2011001853A1 publication Critical patent/WO2011001853A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present invention relates to a stereoscopic image data transmission device, a stereoscopic image data transmission method, and a stereoscopic image data reception device, and in particular, a stereoscopic image that can satisfactorily display superimposed information such as closed caption information, subtitle information, graphics information, and text information.
  • the present invention relates to an image data transmission device and the like.
  • Patent Document 1 proposes a transmission method using a television broadcast radio wave of stereoscopic image data.
  • stereoscopic image data including left-eye image data and right-eye image data is transmitted, and stereoscopic image display using binocular parallax is performed in the television receiver.
  • FIG. 54 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • the right and left line of sight intersects in front of the screen surface, so that the stereoscopic image is reproduced.
  • the position is in front of the screen surface.
  • the right and left lines of sight intersect on the screen surface. It becomes on the surface.
  • the left image Lc is shifted to the left and the right image Rc is shifted to the right, the right and left lines of sight intersect at the back of the screen surface.
  • the playback position is behind the screen.
  • Rendering information that is superimposed on images such as closed caption information, subtitle information, graphics information, and text information, is rendered in conjunction with stereoscopic image display, not only in two-dimensional space but also in three-dimensional depth. Is expected to be.
  • subtitles that are closed caption information or subtitle information are superimposed on an image (overlay display)
  • the viewer will not be able to display it in front of the closest object (object) in the perspective.
  • other graphics information or text information is superimposed on an image, it is expected that parallax adjustment is performed according to the perspective of each object in the image to maintain the consistency of perspective.
  • An object of the present invention is to maintain perspective consistency with each object in an image in displaying superimposed information such as closed caption information, subtitle information, graphics information, and text information.
  • the concept of this invention is An encoding unit that encodes stereoscopic image data including left-eye image data and right-eye image data to obtain encoded video data; A superimposition information data generating unit for generating superimposition information data to be superimposed on the left eye image data and the right eye image data; A parallax information output unit for outputting parallax information for giving parallax to the superimposition information superimposed on the image based on the left-eye image data and the right-eye image data; Stereo image data transmission comprising: encoded video data obtained by the encoding unit, superimposition information data generated by the superimposition information data generation unit, and a transmission unit that transmits the disparity information output from the disparity information output unit In the device.
  • the encoding unit performs encoding on the stereoscopic image data including the left eye image data and the right eye image data to obtain encoded video data.
  • the encoding unit MPEG2, H.264, etc.
  • the encoding is performed using an encoding method such as H.264 AVC or VC-1.
  • the superimposition information data generation unit generates superimposition information data to be superimposed on the image based on the left eye image data and the right eye image data.
  • the superimposition information includes closed caption information for displaying subtitles, subtitle information, graphics information for displaying graphics such as a logo, electronic program guide (EPG), text information for displaying text broadcast contents, and the like. , Meaning the information superimposed on the image.
  • the parallax information output unit outputs parallax information for adding parallax to the superimposition information to be superimposed on the image based on the left eye image data and the right eye image data. For example, an identifier is added to each superimposition information data generated by the superimposition information data generation unit, and the parallax information of each superimposition information data output from the parallax information output unit is given to the corresponding superimposition information data. An identifier corresponding to the existing identifier is added. As described above, the identifier is added to each of the superimposition information data and the parallax information, so that the superimposition information data and the parallax information can be associated with each other.
  • the corresponding identifier means the same identifier or an associated identifier.
  • the disparity information output unit includes a disparity information determination unit that determines disparity information for each of the superimposition information data generated by the superimposition information data generation unit according to the content of the image based on the left eye image data and the right eye image data. And disparity information determined by the disparity information determining unit is output.
  • the disparity information determination unit detects disparity information on the other of the left eye image and the right eye image at a plurality of positions in the image based on the left eye image data and the right eye image data.
  • a parallax information detected at a detection position corresponding to the superimposition position among a plurality of parallax information detected by the parallax information detection section is determined for each superimposition information data.
  • the disparity information output unit includes a disparity information setting unit that sets disparity information for each piece of superimposition information data generated by the superimposition information data generation unit, and the disparity information set by the disparity information setting unit Output.
  • the disparity information setting unit for example, disparity information is set for each piece of superimposition information data by predetermined program processing or by a user's manual operation. For example, different parallax information is set according to the superposition position, common parallax information is set regardless of the superposition position, or different parallax information is set for each type of superposition information.
  • the types of superimposition information are, for example, types of closed caption information, subtitle information, graphics information, text information, and the like.
  • the type of superimposition information is a type that is classified by, for example, a superposition position or a superposition duration.
  • the disparity information output unit determines disparity information for each piece of superimposition information data generated by the superimposition information data generation unit, according to the content of the image based on the left eye image data and the right eye image data.
  • a disparity information setting unit that sets disparity information for each of the superimposition information data generated by the superimposition information data generation unit, and is set by the disparity information or the disparity information setting unit determined by the disparity information determination unit The parallax information is selectively output.
  • the transmission unit transmits the encoded video data obtained by the encoding unit, the superimposition information data generated by the superimposition information data generation unit, and the disparity information output from the disparity information output unit.
  • the disparity information output by the disparity information output unit is transmitted by including the encoded video data obtained by the encoding unit in the user data area of the header portion of the video elementary stream including the payload portion.
  • information indicating the superimposition position of the superimposition information and information indicating the display time of the superimposition information are added to the disparity information and transmitted. By adding information indicating the superimposition position and display time to the parallax information and transmitting the information, for example, it is not necessary to add the information to the superimposition information data and transmit it.
  • the superimposition information data and the parallax information are transmitted together with the encoded video data obtained by encoding the stereoscopic image data including the left eye image data and the right eye image data. Therefore, on the receiving side, the same superimposition information (closed caption information, subtitle information, graphics information, text information, etc.) superimposed on the left eye image and the right eye image is used according to the perspective of each object in the image. In other words, in the display of superimposition information, it is possible to maintain perspective consistency with each object in the image.
  • the concept of the present invention is Encoded video data obtained by encoding stereoscopic image data including left-eye image data and right-eye image data, and superimposition information to be superimposed on an image based on the left-eye image data and the right-eye image data.
  • a receiving unit that receives data and parallax information for adding parallax to the superimposition information that is superimposed on an image based on the left-eye image data and the right-eye image data;
  • a decoding unit that decodes the encoded video data received by the receiving unit to obtain the stereoscopic image data; Based on the parallax information received by the reception unit, the reception unit superimposes the left eye image data and the right eye image data included in the stereoscopic image data obtained by the decoding unit on the reception unit.
  • An image data processing unit that adds parallax to the same superimposition information by the superimposition information data, and obtains data of a left eye image on which the superimposition information is superimposed and data of a right eye image on which the superimposition information is superimposed. It exists in the stereoscopic image data receiving apparatus.
  • the reception unit transmits the superimposition information data and the parallax information together with the encoded video data obtained by encoding the stereoscopic image data including the left eye image data and the right eye image data. Then, the decoding unit decodes the encoded video data received by the receiving unit, and stereoscopic image data including left eye image data and right eye image data is obtained.
  • the left eye image data on which the superimposition information is superimposed by the image data processing unit based on the left eye image data included in the stereoscopic image data obtained by the decoding unit and the superimposition information data received by the reception unit.
  • Data of the right eye image on which the data and the superimposition information are superimposed is obtained.
  • parallax is given to the superimposed image to be superimposed on the image based on the left eye image data and the right eye image data. Therefore, it is possible to maintain perspective consistency with each object in the image when displaying superimposition information such as closed caption information, subtitle information, graphics information, and text information.
  • the same superimposition information superimposed on the left eye image and the right eye image is subjected to parallax adjustment according to the perspective of each object in the image. It is possible to maintain perspective consistency in the display of superimposed information such as closed caption information, subtitle information, graphics information, and text information.
  • FIG. 1 shows the other structural example of the transmission data generation part in a broadcast station. It is a figure for demonstrating the superimposition position etc. of the left-eye graphics information and right-eye graphics information in case a transmission system is a 1st transmission system ("Top & Bottom” system). It is a figure for demonstrating the production
  • H.264 2 is a diagram illustrating a configuration example of user data in each of H.264 AVC and VC-1. It is a figure which shows the structural example of "user_structure” containing disparity information (disparity vector). It is a block diagram which shows the other structural example of the transmission data generation part in a broadcast station. It is a block diagram which shows the other structural example of the transmission data generation part in a broadcast station. It is a figure which shows the superimposition position of left-eye graphics information and right-eye graphics information in case a transmission system is a 2nd transmission system ("Side
  • HDMI transmission part HDMI source
  • HDMI receiving part HDMI receiving part
  • FIG. 1 shows a configuration example of a stereoscopic image transmission / reception system 10 as an embodiment.
  • the stereoscopic image transmission / reception system 10 includes a broadcasting station 100, a set top box (STB) 200, and a television receiver 300.
  • STB set top box
  • the set top box 200 and the television receiver 300 are connected via an HDMI (High Definition Multimedia Interface) cable 400.
  • the set top box 200 is provided with an HDMI terminal 202.
  • the television receiver 300 is provided with an HDMI terminal 302.
  • One end of the HDMI cable 400 is connected to the HDMI terminal 202 of the set top box 200, and the other end of the HDMI cable 400 is connected to the HDMI terminal 302 of the television receiver 300.
  • the broadcast station 100 transmits bit stream data on a broadcast wave.
  • the bit stream data includes stereoscopic image data including left-eye image data and right-eye image data, audio data, superimposition information data, and disparity information (disparity vector).
  • the superimposition information data is closed caption data, subtitle data, graphics data, text data, and the like.
  • FIG. 2 shows a configuration example of the transmission data generation unit 110 that generates the above-described bit stream data in the broadcast station 100.
  • This configuration example is an example in which a disparity vector is transmitted as numerical information.
  • the transmission data generation unit 110 includes cameras 111L and 111R, a video framing unit 112, a video encoder 113, a video encoder 113, a parallax vector detection unit 114, and a parallax vector encoder 115. Further, the transmission data generation unit 110 includes a microphone 116 and an audio encoder 117.
  • the transmission data generation unit 110 further includes a subtitle / graphics generation unit 118, a subtitle / graphics encoder 119, a text generation unit 120, a text encoder 121, and a multiplexer 122.
  • the camera 111L captures a left eye image and obtains left eye image data for stereoscopic image display.
  • the camera 111R captures the right eye image and obtains right eye image data for stereoscopic image display.
  • the video framing unit 112 processes the left eye image data obtained by the camera 111L and the right eye image data obtained by the camera 111R into a state corresponding to the transmission method.
  • Example of transmission method of stereoscopic image data Here, the following first to third methods are listed as transmission methods for stereoscopic image data (3D image data), but other transmission methods may be used.
  • 3D image data 3D image data
  • the first transmission method is the “Top & Bottom” method, as shown in FIG. 4A, in which the left eye image data is transmitted in the first half in the vertical direction and the left eye in the second half in the vertical direction.
  • This is a method for transmitting data of each line of image data.
  • the vertical resolution is halved with respect to the original signal.
  • the second transmission method is the “Side By Side” method, as shown in FIG. 4B, pixel data of the left eye image data is transmitted in the first half in the horizontal direction, and right eye image data in the second half in the horizontal direction.
  • This is a method for transmitting pixel data.
  • the pixel data in the horizontal direction is thinned out to 1/2.
  • the horizontal resolution is halved.
  • the third transmission method is a “Frame Sequential” method, in which left-eye image data and right-eye image data are sequentially switched and transmitted for each field as shown in FIG.
  • the video encoder 113 performs encoding such as MPEG4-AVC, MPEG2, VC-1, etc. on the stereoscopic image data processed by the video framing unit 112 to obtain encoded video data.
  • the video encoder 113 includes a stream formatter 113a in the subsequent stage.
  • the stream formatter 113 generates a video elementary stream including encoded video data in the payload portion.
  • the disparity vector detection unit 114 detects a disparity vector that is disparity information of the other of the left eye image and the right eye image at a predetermined position in the image based on the left eye image data and the right eye image data.
  • the predetermined position in the image is all pixel positions, a representative position of each area composed of a plurality of pixels, or a superimposition information, here, a representative position of an area where graphic information or text information is superimposed.
  • Disposity vector detection A detection example of a disparity vector will be described. Here, an example in which the parallax vector of the right eye image with respect to the left eye image is detected will be described. As shown in FIG. 5, the left eye image is a detected image, and the right eye image is a reference image. In this example, the disparity vectors at the positions (xi, yi) and (xj, yj) are detected.
  • a case where a disparity vector at the position of (xi, yi) is detected will be described as an example.
  • an 8 ⁇ 8 or 16 ⁇ 16 pixel block (parallax detection block) Bi is set in the left eye image with the pixel at the position (xi, yi) at the upper left. Then, a pixel block matching the pixel block Bi is searched in the right eye image.
  • a search range centered on the position of (xi, yi) is set in the right eye image, and each pixel in the search range is sequentially set as a pixel of interest, for example, 8 ⁇ 8 as in the pixel block Bi described above.
  • 16 ⁇ 16 comparison blocks are sequentially set. Between the pixel block Bi and the sequentially set comparison blocks, the sum of absolute difference values for each corresponding pixel is obtained.
  • the disparity vector at the position (xi, yi) is detected as (xi′ ⁇ xi, yi′ ⁇ yi).
  • an 8 ⁇ 8 or 16 ⁇ 16 pixel block in the left-eye image with the pixel at the position (xj, yj) at the upper left Bj is set and detected in the same process.
  • FIG. 7A shows an example of the parallax vector VV detected by the parallax vector detection unit 114 at a predetermined position in the image.
  • FIG. 7B if the left eye image (detected image) is shifted by the parallax vector VV at a predetermined position in the image, it means that it overlaps with the right eye image (reference image). .
  • the disparity vector encoder 115 generates an elementary stream of disparity vectors including the disparity vector detected by the disparity vector detection unit 114.
  • the elementary stream of disparity vectors includes the following contents. That is, ID (ID_Block), vertical position information (Vertical_Position), horizontal position information (Horizontal_Position), and disparity vector (View_Vector) are set as one set. Then, this one set is repeated for N blocks, which is the number of parallax detection blocks.
  • FIG. 8 shows the transmission content of the disparity vector.
  • the disparity vector includes a vertical direction component (View_Vector_Vertical) and a horizontal direction component (View_Vector_Horizontal).
  • the vertical and horizontal positions of the parallax detection block are offset values in the vertical and horizontal directions from the upper left origin of the image to the upper left pixel of the block.
  • the reason why the ID of the parallax detection block is attached to the transmission of each parallax vector is to allow a link with a pattern of superimposition information such as subtitle information, graphics information, text information, and the like to be superimposed on the image.
  • the transmission contents include the IDs of the disparity detection blocks A to F as shown in FIG. 9 (b). , Vertical and horizontal position information, and disparity vectors.
  • ID2 indicates the ID of the disparity detection block A
  • Ha, Va indicates the vertical and horizontal position information of the disparity detection block A
  • the disparity vector a Indicates a disparity vector of the disparity detection block A.
  • timing for detecting and transmitting a disparity vector will be described.
  • this timing for example, the following first to fourth examples can be considered.
  • the disparity vector is transmitted in units of pictures.
  • This picture unit is the finest unit for transmitting a disparity vector.
  • FIG. 10B it is synchronized with a video scene. In this case, the disparity vector is transmitted in scene units.
  • the display is synchronized with the display start timing of the subtitle information, graphics information, text information, and the like displayed superimposed on the image.
  • the microphone 116 detects sound corresponding to the images photographed by the cameras 111L and 111R, and obtains sound data.
  • the audio encoder 117 performs encoding such as MPEG-2Audio AAC on the audio data obtained by the microphone 116 to generate an audio elementary stream.
  • the subtitle / graphics generating unit 118 generates subtitle information and graphics information data (subtitle data, graphics data) to be superimposed on the image.
  • the subtitle information is, for example, a caption.
  • the graphics information is, for example, a logo.
  • the subtitle data and graphics data are bitmap data.
  • the subtitle data and graphics data are added with idling offset information indicating the superimposed position on the image.
  • This idling offset information indicates, for example, offset values in the vertical and horizontal directions from the upper left origin of the image to the upper left pixel of the superimposed position of the subtitle information and graphics information.
  • the standard for transmitting caption data as bitmap data is standardized and operated as DVB_Subtitling in DVB, which is a European digital broadcasting standard.
  • the subtitle / graphic encoder 119 inputs the subtitle information generated by the subtitle / graphics generation unit 118 and the data of the graphics information (subtitle data, graphics data). Then, the subtitle / graphic encoder 119 generates an elementary stream including these data in the payload portion.
  • the text generator 120 generates text information data (text data) to be superimposed on the image.
  • the text information is, for example, an electronic program guide or text broadcast content.
  • idling offset information indicating the superimposed position on the image is added to the text data.
  • This idling offset information indicates, for example, offset values in the vertical and horizontal directions from the upper left origin of the image to the upper left pixel of the text information overlapping position.
  • Examples of text data transmission include EPG used as a program reservation and CC_data (Closed Caption) of the American digital terrestrial standard ATSC.
  • the text encoder 121 inputs the text data generated by the text generator 120. Then, the text encoder 121 generates an elementary stream including these data in the payload portion.
  • the multiplexer 122 multiplexes the packetized elementary streams output from the encoders 113, 115, 117, 119, and 121.
  • the multiplexer 122 outputs bit stream data (transport stream) BSD as transmission data.
  • the operation of the transmission data generation unit 110 shown in FIG. 2 will be briefly described.
  • the camera 111L captures a left eye image.
  • Left-eye image data for stereoscopic image display obtained by the camera 111L is supplied to the video framing unit 112.
  • the camera 111R captures a right eye image.
  • the right eye image data for stereoscopic image display obtained by the camera 111R is supplied to the video framing unit 112.
  • the left-eye image data and the right-eye image data are processed into a state corresponding to the transmission method to obtain stereoscopic image data (see FIGS. 4A to 4C).
  • the stereoscopic image data obtained by the video framing unit 112 is supplied to the video encoder 113.
  • the stereoscopic image data is encoded by MPEG4-AVC, MPEG2, VC-1, or the like, and a video elementary stream including the encoded video data is generated. This video elementary stream is supplied to the multiplexer 122.
  • the left eye image data and right eye image data obtained by the cameras 111L and 111R are supplied to the parallax vector detection unit 114 through the video framing unit 112.
  • a disparity detection block is set at a predetermined position in the image based on the left eye image data and the right eye image data, and is the other disparity information for one of the left eye image and the right eye image. A disparity vector is detected.
  • the disparity vector at a predetermined position in the image detected by the disparity vector detection unit 114 is supplied to the disparity vector encoder 115.
  • the ID of the parallax detection block, the vertical position information of the parallax detection block, the horizontal position information of the parallax detection block, and the parallax vector are passed as one set.
  • the disparity vector encoder 115 generates a disparity vector elementary stream including disparity vector transmission contents (see FIG. 8). This disparity vector elementary stream is supplied to the multiplexer 122.
  • the microphone 116 detects sound corresponding to the images photographed by the cameras 111L and 111R. Audio data obtained by the microphone 116 is supplied to the audio encoder 117.
  • the audio encoder 117 performs encoding such as MPEG-2Audio AAC on the audio data, and generates an audio elementary stream including the encoded audio data. This audio elementary stream is supplied to the multiplexer 122.
  • the subtitle / graphics generation unit 118 generates subtitle information and graphics information data (subtitle data, graphics data) to be superimposed on the image.
  • This data (bitmap data) is supplied to the subtitle / graphic encoder 119.
  • the subtitle / graphics data is added with idling offset information indicating the superimposed position on the image.
  • the graphics data is subjected to predetermined encoding, and an elementary stream including the encoded data is generated. This elementary stream is supplied to the multiplexer 122.
  • the text generator 120 generates text information data (text data) to be superimposed on the image.
  • This text data is supplied to the text encoder 121.
  • idling offset information indicating the superimposed position on the image is added to the text data.
  • the text encoder 121 the text data is subjected to predetermined encoding, and an elementary stream including the encoded data is generated. This elementary stream is supplied to the multiplexer 122.
  • the multiplexer 122 multiplexes the elementary stream packets supplied from the encoders to obtain bit stream data (transport stream) BSD as transmission data.
  • FIG. 12 shows an example of each data stream multiplexed in the transmission data generation unit 110 shown in FIG. This example shows a case where a disparity vector is detected and transmitted in units of video scenes (see FIG. 10B).
  • Each stream packet is given a time stamp for synchronous display, and the reception side can control the superimposition timing of subtitle information, graphics information, text information, and the like on the image. .
  • “Other configuration examples of the transmission data generator" 2 is configured to transmit disparity vector transmission content (see FIG. 8) to the receiving side as an independent elementary stream.
  • the transmission content of the disparity vector is embedded in another stream for transmission.
  • the transmission content of the disparity vector is embedded and transmitted as user data in a video stream.
  • the transmission content of a disparity vector is embedded and transmitted in a subtitle, graphics, or text stream.
  • FIG. 13 illustrates a configuration example of the transmission data generation unit 110A.
  • This example is also an example in which a disparity vector is transmitted as numerical information.
  • This transmission data generation unit 110A is configured to transmit the transmission content of the disparity vector by embedding it in the video stream as user data.
  • parts corresponding to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the disparity vector at a predetermined position in the image detected by the disparity vector detection 114 is supplied to the stream formatter 113a in the video encoder 113.
  • the ID of the parallax detection block, the vertical position information of the parallax detection block, the horizontal position information of the parallax detection block, and the parallax vector are passed as one set.
  • the transmission content of the disparity vector (see FIG. 8) is embedded as user data in the video stream.
  • the transmission data generation unit 110A shown in FIG. 13 is otherwise configured in the same manner as the transmission data generation unit 110 shown in FIG. 2 and operates in the same manner.
  • the transmission data generation unit 110 shown in FIG. 2 and the transmission data generation unit 110A shown in FIG. 13 transmit the disparity vector as numerical information (see FIG. 8).
  • the transmission side instead of transmitting the parallax vector as numerical information, the transmission side reflects the parallax information in advance on the data of superimposition information (for example, subtitle information, graphics information, text information, etc.) to be superimposed on the image, and transmits it.
  • superimposition information for example, subtitle information, graphics information, text information, etc.
  • the transmission side when reflecting in the graphics information data, the transmission side generates graphics data corresponding to both the left-eye graphics information to be superimposed on the left-eye image and the right-eye graphics information to be superimposed on the right-eye image.
  • the left eye graphics information and the right eye graphics information are the same graphics information.
  • the display position in the image is shifted in the horizontal direction by, for example, the horizontal component of the parallax vector corresponding to the display position of the right-eye graphics information with respect to the left-eye graphics information.
  • parallax vector a parallax vector detected at a plurality of positions in the image and corresponding to the superimposed position is used. Further, for example, as the parallax vector, a parallax vector at a position that is recognized closest in terms of perspective among parallax vectors detected at a plurality of positions in the image is used. Although the detailed description is omitted, the same applies to the case where the parallax information is reflected in the data of the subtitle information or the graphics information.
  • FIG. 14A shows the superimposed positions of left-eye graphics information and right-eye graphics information when the transmission method is the above-described first transmission method (“Top & Bottom” method). These left-eye graphics information and right-eye graphics information are the same information. However, with respect to the left eye graphics information LGI superimposed on the left eye image IL, the right eye graphics information RGI superimposed on the right eye image IR is shifted in the horizontal direction by the horizontal component VVT of the parallax vector. It is said that.
  • graphics data is generated so that the graphics information LGI and RGI are superimposed on the images IL and IR. Accordingly, as shown in FIG. 14B, the viewer can observe the graphics information LGI and RGI together with the images IL and IR with parallax, and can recognize the perspective in the graphics information.
  • the graphics data of each graphics information LGI, RGI is generated as single area data as shown in FIG.
  • the data other than the graphics information LGI and RGI may be generated as transparent data.
  • the graphics data of each graphics information LGI, RGI is generated as data of another area as shown in FIG.
  • FIG. 16A shows the superimposed positions of left-eye graphics information and right-eye graphics information when the transmission method is the above-described second transmission method (“SideSBy Side” method).
  • These left-eye graphics information and right-eye graphics information are the same information.
  • the right eye graphics information RGI superimposed on the right eye image IR is shifted in the horizontal direction by the horizontal component VVT of the parallax vector. It is said that. IT is an idling offset value.
  • graphics data is generated so that the graphics information LGI and RGI are superimposed on the images IL and IR.
  • the viewer can observe the graphics information LGI and RGI together with the images IL and IR with parallax, and can recognize the perspective in the graphics information.
  • the graphics data of each graphics information LGI, RGI is generated as single area data as shown in FIG.
  • the data other than the graphics information LGI and RGI may be generated as transparent data.
  • FIG. 18 shows a configuration example of the transmission data generation unit 110B.
  • the transmission data generation unit 110B is configured to transmit disparity information in subtitle information, graphics information, and text information data.
  • the same reference numerals are given to the portions corresponding to those in FIG.
  • a subtitle / graphics processing unit 124 is inserted between the subtitle / graphics generating unit 118 and the subtitle / graphic encoder 119.
  • a text processing unit 125 is inserted between the text generation unit 120 and the text encoder 121.
  • the disparity vector at a predetermined position in the image detected by the disparity vector detection unit 114 is supplied to the subtitle / graphics processing unit 124 and the text processing unit 125.
  • the subtitle / graphics processing unit 124 generates left eye and right eye subtitles and graphics information LGI and RGI data to be superimposed on the left eye image IL and the right eye image IR. In this case, it is generated based on the subtitle data or graphics data generated by the subtitle / graphics generating unit 118.
  • the left-eye and right-eye subtitle information and graphics information are the same information. However, the superimposed position in the image is shifted in the horizontal direction by the horizontal component VVT of the disparity vector, for example, with respect to the left-eye subtitle information or graphics information. (See FIG. 14A and FIG. 16A).
  • the subtitle data and graphics data generated in this way by the subtitle / graphics processing unit 124 are supplied to the subtitle / graphics encoder 119. Note that idling offset information indicating a superimposed position on an image is added to the subtitle data and graphics data.
  • the subtitle / graphic encoder 119 generates an elementary stream of subtitle data and graphics data generated by the subtitle / graphics processing unit 124.
  • the text processing unit 125 based on the text data generated by the text generation unit 120, the left-eye text information data superimposed on the left-eye image and the right-eye text information superimposed on the right-eye image. Data is generated.
  • the left-eye text information and the right-eye text information are the same text information, but the superimposed position in the image is, for example, the left-eye text information, and the right-eye text information is the horizontal component of the disparity vector. Only VVT is shifted in the horizontal direction.
  • the text data generated by the text processing unit 125 is supplied to the text encoder 121.
  • idling offset information indicating the superimposed position on the image is added to the text data.
  • the text encoder 121 generates an elementary stream of text data generated by the text processing unit.
  • the other parts of the transmission data generation unit 110B shown in FIG. 18 are configured in the same manner as the transmission data generation unit 110 shown in FIG. 2 and operate in the same manner.
  • the transmission data generation unit 110 illustrated in FIG. 2 transmits the transmission content (see FIG. 8) based on the disparity vector detected by the disparity vector detection unit 114 to the reception side as it is without corresponding to each piece of superimposition information data. It has a configuration. However, it is also conceivable to transmit disparity information associated with each piece of superimposition information data.
  • FIG. 19 shows a configuration example of the transmission data generation unit 110C.
  • the transmission data generation unit 110C is configured to transmit disparity information associated with each piece of superimposition information data. 19, parts corresponding to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the transmission data generation unit 110C includes a controller 126, a CC (Closed Caption) encoder 127, and a Z data unit 128.
  • CC encoder 127 is a CEA-708 compliant encoder, and outputs CC data (closed caption information data) for displaying closed caption captions.
  • the controller 126 controls the CC encoder 127. For example, an information set of “Region_ID (WindowID)”, “Location (AnchorID)”, and “Region size (SetPenAttribute)” is given from the controller 126 to the CC encoder 127.
  • the information of “Location (AnchorID)” indicates where in the image (Picture) the closed caption subtitle display identified by “Region_ID (WindowID)” is displayed as shown in FIG. .
  • the information of “Region size (SetPenAttribute)” indicates the size of an area for displaying closed caption captions identified by “Region_ID (WindowID)”, as shown in FIG.
  • the Z data unit 128 outputs disparity information (disparity vector) associated with each piece of superimposition information data. That is, the Z data unit 128 outputs disparity information associated with each window ID included in the CC data output from the CC encoder 127 regarding the closed caption information. In addition, the Z data unit 128 also outputs disparity information associated with each piece of superimposition information data regarding superimposition information such as subtitle information, graphics information, and text information.
  • FIG. 21 shows a configuration example of the Z data unit 128.
  • the Z data unit 128 outputs disparity information for each “Region_id” designated by the controller 126.
  • “Region_id” will be described.
  • This Region_id is an identifier for associating each superimposition information such as closed caption information, subtitle information, graphics information, and text information with disparity information.
  • Region_id 0 to 7 is assigned to identify disparity information corresponding to Window 0 to 7 of CC data defined by CEA-708.
  • Region_id 8 to 15 are reserved for future expansion.
  • the region_id after 16 is assigned to identify disparity information corresponding to superimposition information (subtitle information, graphics information, text information, etc.) other than the closed caption information.
  • the subtitle data and graphics data generated by the subtitle / graphics generating unit 118 and the text data generated by the text generating unit 120 are assigned identifiers corresponding to the above-mentioned Region_id.
  • the identifier corresponding to Region_id means the same identifier as this Region_id or an identifier associated with this Region_id.
  • the Z data unit 128 outputs disparity information for each Region_id as described above. For example, the Z data unit 128 selectively outputs the determined parallax vector or the set parallax vector as the parallax information by switching control of the controller 126 based on a user operation.
  • the determined disparity vector is a disparity vector determined based on a plurality of disparity vectors detected by the disparity vector detection unit 114.
  • the set disparity vector is, for example, a disparity vector set by predetermined program processing or a user's manual operation.
  • the determined disparity vector is output as disparity information.
  • the information set of “Region_ID (WindowID)”, “Location (AnchorID)”, and “Region size (SetPenAttribute)” described above is supplied from the controller 126 to the Z data unit 128 in relation to the closed caption information. Is done.
  • an information set of “Region_ID”, “Location”, and “Region size” is supplied from the controller 126 to the Z data unit 128 in association with each superimposition information such as subtitle information, graphics information, and text information.
  • N parallax vectors Dv0 to DvN are input from the parallax vector detection unit 114 to the Z data unit 114.
  • the N disparity vectors Dv0 to DvN are disparity vectors detected at N positions in the image by the disparity vector detection unit 114 based on the left eye image data and the right eye image data.
  • the Z data unit 128 extracts, for each Region_id, a disparity vector related to a display area of superimposition information determined by information of “Location” and “Region size” from N disparity vectors Dv0 to DvN. For example, as the disparity vector related to the display area, when there is one or a plurality of disparity vectors whose detection positions are within the display area, the disparity vector is selected. Further, for example, as the disparity vector related to the display area, when one or more disparity vectors whose detection position is in the display area do not exist, one or more disparity vectors located in the vicinity of the display area are Selected. In the illustrated example, Dv2 to Dvn are selected as disparity vectors related to the display area.
  • the Z data unit 128 selects, for example, the one with the largest signed value from the disparity vectors related to the display area, and sets the selected disparity vector DzD.
  • the disparity vector is composed of a vertical direction component (View_Vector_Vertical) and a horizontal direction component (View_Vector_Horizontal).
  • View_Vector_Vertical a vertical direction component
  • View_Vector_Horizontal For example, only the value of the horizontal direction component is used as a signed value here. This is because, on the receiving side, superimposition information such as closed caption information superimposed on the left eye image and the right eye image is shifted in the horizontal direction based on the parallax information, and the horizontal component is important.
  • the determined disparity vector DzD determined for each Region_id corresponds to superimposition information other than closed caption information, and includes information indicating the superimposition position under the control of the controller 126.
  • Information indicating the display time is added.
  • the information indicating the superimposed position is, for example, vertical position information (Vertical_Position) and horizontal position information (Horizontal_Position).
  • the information indicating the display time is, for example, frame number information (Duration_Counter) corresponding to the display continuation time.
  • Duration_Counter frame number information
  • the controller 126 sets a disparity vector for each Region_id by a predetermined program process or a user's manual operation. For example, different parallax vectors are set according to the superimposition position of superimposition information, common parallax information is set regardless of the superposition position, or different parallax information is set for each type of superimposition information.
  • the Z data unit 128 sets the disparity vector for each Region_id set in this way as a set disparity vector DzD ′.
  • the types of superimposition information are, for example, types of closed caption information, subtitle information, graphics information, text information, and the like.
  • the type of superimposition information is a type that is classified by, for example, a superposition position or a superposition duration.
  • the disparity vector set for each Region_id by the controller 126 may be set substantially only in the horizontal direction component. As described above, this is a process of shifting the superimposition information such as closed caption information superimposed on the left eye image and the right eye image in the horizontal direction on the receiving side based on the parallax information. Because is important.
  • the set parallax vector DzD ′ also indicates the superposition position under the control of the controller 126 when it corresponds to other superposition information other than the closed caption information. Information indicating information and display time is added.
  • the CC data output from the CC encoder 127 and the disparity information (DzD / DzD ′, including superimposition position information and display time information as necessary) output from the Z data unit 128 are video encoders.
  • CC data and disparity information are embedded as user data in the video elementary stream.
  • FIG. 22 schematically shows an example of the structure of a video elementary stream (Video Elementary Stream).
  • a sequence header portion including parameters in sequence units is arranged at the head.
  • a picture header including parameters and user data in units of pictures is arranged.
  • a payload portion including picture data is arranged.
  • the picture header part and the payload part are repeatedly arranged.
  • FIG. 23 shows a configuration example of user data.
  • FIG. 23A shows the structure of user data when the encoding method is MPEG2.
  • FIG. 23B shows that the encoding method is H.264.
  • the structure of user data in the case of H.264 AVC (MPEG4-AVC) is shown.
  • FIG. 23 (c) shows a configuration of user data when the encoding method is VC-1.
  • FIG. 24 shows a configuration example of “user_structure”.
  • Data_Length indicates the data size of this “user_structure”.
  • “Page_id” may be used for identifying a caption language as a data group ID, but corresponds to a pattern of caption data, and is an identifier for identifying a page of “user_structure”.
  • “Number_of_ViewBlocksN” indicates that this “user_structure” includes disparity information and the like of N Region_ids.
  • ID_Block (i) indicates Region_id (i).
  • 2D_object_posion_flag is a flag indicating whether or not to reference superimposition position information (information on the display position of superimposition information for 2D) included as information of ID_Block (i). When this flag is set, it indicates that this superposition position information is referred to. In this case, superimposition position information (“Vertical_Position”, “Horizontal_Position”) is included as information of ID_Block (i). “Vertical_Position” indicates the vertical position of the superimposition information for 2D. “Horizontal_Position” indicates the horizontal position of the superimposition information for 2D.
  • the control data of the superimposed position is included in the CC data output from the CC encoder 127 described above. Therefore, for example, when ID_Block (i) corresponds to closed caption information, “2D_object_posion_flag” is not set. And superimposition position information (“Vertical_Position”, “Horizontal_Position”) is not included as information of ID_Block (i).
  • 3D_disparity_flag indicates whether or not disparity information (disparity vector) is included as information of ID_Block (i). When this flag is set, it indicates that disparity information is included.
  • View_Vector_Vertical indicates a vertical component of a disparity vector.
  • View_Vector_Horizontal indicates the horizontal component of the disparity vector. In this example, both “View_Vector_Vertical” and “View_Vector_Horizontal” are included. However, when only the horizontal component is used, only “View_Vector_Horizontal” may be included.
  • “Status_Count_flag” is a flag indicating whether or not to refer to the display time information of superimposition information as information of ID_Block (i). When this flag is set, it indicates that display time information is referred to. In this case, as information of ID_Block (i), for example, information “Duration_Counter” indicating the number of frames corresponding to the display duration time is included.
  • information of ID_Block (i) for example, information “Duration_Counter” indicating the number of frames corresponding to the display duration time is included.
  • the display of the superimposition information starts with the time stamp of the system layer, but the superimposition information display (including the effect of the parallax information) is reset after the number of frames corresponding to this display duration has elapsed. This eliminates the need to repeatedly send the same information for each picture.
  • the CC data output from the CC encoder 127 described above includes display time control data. Therefore, when ID_Block (i) corresponds to closed caption information, “Status_Count_flag” is not set, and information “Duration_Counter” is not included as information of ID_Block (i). Although the detailed description is omitted, the rest of the transmission data generation unit 110C shown in FIG. 19 is configured in the same manner as the transmission data generation unit 110 shown in FIG. 2 and operates in the same manner.
  • the transmission data generation unit 110C illustrated in FIG. 19 transmits the disparity information from the Z data unit 128 as user data embedded in the video elementary stream. However, it is also conceivable to transmit the disparity information from the Z data unit 128 to the receiving side as an independent elementary stream.
  • FIG. 25 illustrates a configuration example of the transmission data generation unit 110D.
  • the transmission data generation unit 110D includes a parallax information encoder 129.
  • the disparity information (DzD / DzD ′, including position information and time information as necessary) for each Region_id output from the Z data unit 128 is sent to the disparity information encoder 129.
  • the disparity information encoder 129 generates a disparity information elementary stream including disparity information. This disparity information elementary stream is supplied to the multiplexer 122. The multiplexer 122 then multiplexes the elementary stream packets supplied from the encoders including the disparity information encoder 129 to obtain bit stream data (transport stream) BSD as transmission data.
  • bit stream data transport stream
  • the transmission data generation unit 110D shown in FIG. 25 is otherwise configured in the same manner as the transmission data generation unit 110 shown in FIG. 19 and operates in the same manner.
  • “Other configuration examples of the transmission data generator” 18 handles subtitle information, graphics information, and text information as superimposition information.
  • a configuration similar to that of the transmission data generation unit 110B illustrated in FIG. 18 and a configuration that handles closed caption information is also conceivable.
  • FIG. 26 shows a configuration example of the transmission data generation unit 110E.
  • disparity information is reflected in data of superimposition information (for example, closed caption information, subtitle information, graphics information, text information, etc.) to be superimposed on an image. It is configured to transmit.
  • superimposition information for example, closed caption information, subtitle information, graphics information, text information, etc.
  • a CC data processing unit 130 is inserted between the CC encoder 127 and the stream formatter 113a.
  • the disparity vector at a predetermined position in the image detected by the disparity vector detection unit 114 is supplied to the CC data processing unit 130.
  • the CC data processing unit 130 based on the CC data generated by the CC encoder 127, data of left-eye closed caption information superimposed on the left-eye image and right-eye closed caption superimposed on the right-eye image Information data is generated.
  • the left eye close caption information and the right eye close caption information are the same information.
  • the superimposed position in the image is shifted in the horizontal direction by the horizontal component VVT of the parallax vector, for example, with respect to the left-eye closed caption information.
  • the CC data processed by the CC data processing unit 130 in this way is supplied to the stream formatter 113a of the video encoder 113.
  • CC data from the CC data processing unit 130 is embedded as user data in the video elementary stream.
  • the other parts of the transmission data generation unit 110E shown in FIG. 26 are configured in the same manner as the transmission data generation unit 110B shown in FIG. 18 and operate in the same manner.
  • the set-top box 200 receives bit stream data (transport stream) transmitted from the broadcast station 100 on a broadcast wave.
  • the bit stream data includes stereoscopic image data including left eye image data and right eye image data, audio data, superimposition information data, and further disparity information (disparity vector).
  • the superimposition information data is, for example, closed caption data, subtitle data, graphics data, text data, or the like.
  • the set top box 200 has a bit stream processing unit 201.
  • the bit stream processing unit 201 extracts stereoscopic image data, audio data, superimposition information data, a disparity vector, and the like from the bit stream data.
  • the bit stream processing unit 201 uses stereoscopic image data, superimposition information data (subtitle data, graphics data, text data, CC (Closed Caption) data), and the like, and a left-eye image and a right-eye image on which superimposition information is superimposed Generate data for.
  • left eye superimposition information and right eye superimposition information to be superimposed on the left eye image and the right eye image are generated based on the parallax vector and the superimposition information data.
  • the left eye superposition information and the right eye superposition information are the same superposition information.
  • the superposition position in the image is shifted in the horizontal direction by the horizontal component of the parallax vector, for example, with respect to the left eye superimposition information.
  • FIG. 27A shows the superimposed positions of left-eye graphics information and right-eye graphics information when the transmission method is the above-described second transmission method (“SideSBy Side” method).
  • the right-eye graphics information RGI superimposed on the right-eye image IR is set at a position shifted in the horizontal direction by the horizontal component VVT of the parallax vector.
  • IT is an idling offset value.
  • bit stream processing unit 201 graphics data is generated such that the graphics information LGI and RGI are superimposed on the images IL and IR as shown in FIG.
  • the bit stream processing unit 201 combines the generated left eye graphics data and right eye graphics data with the stereoscopic image data (left eye image data and right eye image data) extracted from the bit stream data, and performs processing Later stereo image data is acquired.
  • this stereoscopic image data as shown in FIG. 27 (b), the viewer can observe each graphics information LGI, RGI together with each image IL, IR with parallax, and the graphics information has a sense of perspective. It becomes possible to recognize.
  • FIG. 28A shows a state in which graphics images based on graphics data extracted from bit stream data are superimposed on the images IL and IR as they are.
  • FIG. 28B the viewer observes the left half of the graphics information together with the left eye image IL, and the right half of the graphics information together with the right eye image IR. Therefore, the graphics information cannot be recognized correctly.
  • FIG. 27 shows the case of graphics information, but the same applies to other superimposition information (closed caption information, subtitle information, text information, etc.). That is, when the parallax vector is transmitted as numerical information, left eye superimposition information and right eye superimposition information to be superimposed on the left eye image and the right eye image are generated based on the parallax vector and the superimposition information data data. .
  • the left eye superposition information and the right eye superposition information are the same superposition information.
  • the superposition position in the image is shifted in the horizontal direction by, for example, the horizontal component of the parallax vector in the right eye superposition information with respect to the left eye superposition information, for example.
  • FIGS. 29 (a), (b), (c), and (d) show disparity vectors (View Vector) at three object positions at times T0, T1, T2, and T3, respectively.
  • the disparity vector VV0-1 at the position (H0, V0) corresponding to the object 1 is the maximum disparity vector MaxVV (T0).
  • the disparity vector VV1-1 at the position (H1, V1) corresponding to the object 1 is the maximum disparity vector MaxVV (T1).
  • the parallax vector VV2-2 at the position (H2, V2) corresponding to the object 2 is the maximum parallax vector MaxVV (T2).
  • the parallax vector VV3-0 at the position (H3, V3) corresponding to the object 1 is the maximum parallax vector MaxVV (T3).
  • Superimposition information can be displayed in front of an object in a close image.
  • FIG. 30A shows a display example of captions (for example, closed caption information and subtitle information) on an image.
  • captions are superimposed on an image composed of a background and a foreground object.
  • FIG. 30B shows the perspective of the background, the foreground object, and the caption, and indicates that the caption is recognized as being closest.
  • FIG. 31A shows a display example of captions (for example, closed caption information and subtitle information) on the same image as FIG. 30A.
  • FIG. 31B shows left eye subtitle information LGI and right eye subtitle information RGI for displaying a caption.
  • FIG. 31 (c) shows that disparity is given to each subtitle information LGI and RGI in order that the subtitle is recognized as being closest.
  • FIG. 32A shows graphic information based on graphic data extracted from bit stream data and text information based on text data extracted from bit stream data.
  • FIG. 32B shows a state in which the left eye graphics information LGI and the left eye text information LTI are superimposed on the left eye image.
  • the superimposition position thereof is regulated by the idling offset value (IT-0) in the horizontal direction.
  • the left eye text information LTI has its superposition position regulated in the horizontal direction by an idling offset value (IT-1).
  • FIG. 32 (c) shows a state where the right eye graphics information RGI and the right eye text information RTI are superimposed on the right eye image.
  • the superimposition position is restricted by the idling offset value (IT-0) in the horizontal direction, and the horizontal component VVT-0 of the parallax vector corresponding to this superposition position is also set to the left eye. It is shifted from the superimposed position of the graphics information LGI.
  • the right-eye text information RTI has its superposition position restricted by an idling offset value (IT-1) in the horizontal direction, and the left-eye text corresponding to the horizontal component VVT-1 of the parallax vector corresponding to this superposition position. It is shifted from the superimposed position of the information LTI.
  • FIG. 33 (a) shows that objects A, B, and C exist in the image, and for example, text information indicating the annotation of each object is superimposed on the vicinity of each object.
  • FIG. 33B shows the positions of the objects A, B, and C, the disparity vector list indicating the correspondence between the disparity vectors at the positions, the disparity vectors, and the annotations of the objects A, B, and C. It shows that it is used when parallax is given to the text information shown. For example, the text information “Text” is superimposed in the vicinity of the object A, but the disparity vector at the position (Ha, Va) of the object A is between the left-eye text information and the right-eye text information. Parallax corresponding to VV-a is given. The same applies to the text information superimposed in the vicinity of the B and C objects.
  • FIG. 32 shows a case where the superimposition information is graphics information and text information.
  • FIG. 33 shows a case where the tatami information is text information. Although the detailed description is omitted, the same applies to other superimposition information (closed caption information, subtitle information, etc.).
  • the superimposition information data extracted from the bitstream data includes data of left eye superimposition information and right eye superimposition information that are given disparity by a disparity vector.
  • the bit stream processing unit 201 simply synthesizes the superimposition information data extracted from the bit stream data with the stereoscopic image data (left eye image data, right eye image data) extracted from the bit stream data, The processed stereoscopic image data is acquired.
  • processing such as conversion of character code into bitmap data is necessary.
  • FIG. 34 shows a configuration example of the set top box 200.
  • the set top box 200 includes a bit stream processing unit 201, an HDMI terminal 202, an antenna terminal 203, a digital tuner 204, a video signal processing circuit 205, an HDMI transmission unit 206, and an audio signal processing circuit 207. ing.
  • the set top box 200 includes a CPU 211, a flash ROM 212, a DRAM 213, an internal bus 214, a remote control receiving unit 215, and a remote control transmitter 216.
  • the antenna terminal 203 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 204 processes the television broadcast signal input to the antenna terminal 203 and outputs predetermined bit stream data (transport stream) corresponding to the user's selected channel.
  • the bit stream processing unit 201 extracts stereoscopic image data (left-eye image data, right-eye image data), audio data, superimposition information data, disparity information (disparity vector), and the like from the bit stream data.
  • the superimposition information data is closed caption data, subtitle data, graphics data, text data, and the like.
  • the bit stream processing unit 201 synthesizes superimposition information (closed caption information, subtitle information, graphics information, text information, etc.) data with the stereoscopic image data, and acquires display stereoscopic image data. To do.
  • the bit stream processing unit 201 outputs audio data.
  • the detailed configuration of the bit stream processing unit 201 will be described later.
  • the video signal processing circuit 205 performs image quality adjustment processing on the stereoscopic image data output from the bit stream processing unit 201 as necessary, and supplies the processed stereoscopic image data to the HDMI transmission unit 206.
  • the audio signal processing circuit 207 performs sound quality adjustment processing or the like on the audio data output from the bit stream processing unit 201 as necessary, and supplies the processed audio data to the HDMI transmission unit 206.
  • the HDMI transmission unit 206 transmits baseband image (video) and audio data from the HDMI terminal 202 by communication conforming to HDMI. In this case, since transmission is performed using the HDMI TMDS channel, image and audio data are packed and output from the HDMI transmission unit 206 to the HDMI terminal 202. Details of the HDMI transmission unit 206 will be described later.
  • the CPU 211 controls the operation of each part of the set top box 200.
  • the flash ROM 212 stores control software and data.
  • the DRAM 213 constitutes a work area for the CPU 211.
  • the CPU 211 develops software and data read from the flash ROM 212 on the DRAM 213 to activate the software, and controls each part of the set top box 200.
  • the remote control receiving unit 215 receives the remote control signal (remote control code) transmitted from the remote control transmitter 216 and supplies it to the CPU 211.
  • the CPU 211 controls each part of the set top box 200 based on the remote control code.
  • the CPU 211, flash ROM 212 and DRAM 213 are connected to the internal bus 214.
  • a television broadcast signal input to the antenna terminal 203 is supplied to the digital tuner 204.
  • the digital tuner 204 processes the television broadcast signal and outputs predetermined bit stream data (transport stream) corresponding to the user's selected channel.
  • the bit stream data output from the digital tuner 204 is supplied to the bit stream processing unit 201.
  • the bit stream processing unit 201 extracts stereoscopic image data (left-eye image data, right-eye image data), audio data, graphics data, text data, disparity vectors, and the like from the bit stream data.
  • data of superimposition information (closed caption information, subtitle information, graphics information, text information, and the like) is combined with the stereoscopic image data to generate stereoscopic image data for display.
  • the display stereoscopic image data generated by the bit stream processing unit 201 is supplied to the HDMI transmission unit 206 after image quality adjustment processing or the like is performed as necessary by the video signal processing circuit 205. Also, the audio data obtained by the bit stream processing unit 201 is supplied to the HDMI transmission unit 206 after the audio signal processing circuit 207 performs sound quality adjustment processing or the like as necessary.
  • the stereoscopic image data and audio data supplied to the HDMI transmission unit 206 are transmitted from the HDMI terminal 202 to the HDMI cable 400 via the HDMI TMDS channel.
  • FIG. 35 shows a configuration example of the bit stream processing unit 201.
  • the bit stream processing unit 201 has a configuration corresponding to the transmission data generation unit 110 shown in FIG.
  • the bit stream processing unit 201 includes a demultiplexer 220, a video decoder 221, a subtitle / graphics decoder 222, a text decoder 223, an audio decoder 224, and a disparity vector decoder 225.
  • the bit stream processing unit 201 includes a stereoscopic image subtitle / graphics generating unit 226, a stereoscopic image text generating unit 227, a video superimposing unit 228, and a multi-channel speaker control unit 229.
  • the demultiplexer 220 extracts video, audio, disparity vectors, subtitles, graphics, and text packets from the bit stream data BSD, and sends them to each decoder.
  • the video decoder 221 performs processing reverse to that of the video encoder 113 of the transmission data generation unit 110 described above. That is, the video decoder 221 reconstructs a video elementary stream from the video packet extracted by the demultiplexer 220, performs decoding processing, and generates stereoscopic image data including left-eye image data and right-eye image data.
  • Stereo image data transmission methods include, for example, the first transmission method (“Top (& Bottom” method), the second transmission method (“Side By Side” method), and the third transmission method (“Frame Sequential”). (See FIGS. 4A to 4C).
  • the subtitle / graphics decoder 222 performs the reverse process of the subtitle / graphics encoder 119 of the transmission data generation unit 110 described above. That is, the subtitle / graphics decoder 222 reconstructs a subtitle / graphics elementary stream from the subtitle / graphics packet extracted by the demultiplexer 220. Then, the subtitle / graphics decoder 222 further performs a decoding process to obtain subtitle data and graphics data.
  • the text decoder 223 performs processing reverse to that of the text encoder 121 of the transmission data generation unit 110 described above. That is, the text decoder 223 reconstructs a text elementary stream from the text packet extracted by the demultiplexer 220 and performs a decoding process to obtain text data.
  • the audio decoder 224 performs processing opposite to that of the audio encoder 117 of the transmission data generation unit 110 described above. That is, the audio decoder 224 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 220, performs decoding processing, and obtains audio data.
  • the disparity vector decoder 225 performs processing opposite to that of the disparity vector encoder 115 of the transmission data generation unit 110 described above. That is, the disparity vector decoder 225 reconstructs an elementary stream of disparity vectors from the disparity vector packets extracted by the demultiplexer 220, performs decoding processing, and obtains disparity vectors at predetermined positions in the image.
  • the stereoscopic image subtitle / graphics generating unit 226 generates left-eye and left-eye subtitle information and graphics information to be superimposed on the left-eye image and the right-eye image, respectively. This generation process is performed based on the subtitle data and graphics data obtained by the decoder 222 and the disparity vector obtained by the decoder 225. In this case, the left-eye and left-eye subtitle information and graphics information are the same information. However, the superimposed position in the image is shifted in the horizontal direction by, for example, the horizontal component of the disparity vector in the right-eye title information and graphics information with respect to the left-eye subtitle information and graphics information, for example. . Then, the stereoscopic image subtitle / graphics generating unit 226 outputs the generated left-eye and left-eye subtitle information and graphics information data (bitmap data).
  • the stereoscopic image text generating unit 227 Based on the text data obtained by the decoder 223 and the parallax vector obtained by the decoder 225, the stereoscopic image text generating unit 227 superimposes the left-eye text information and the right-eye image to be superimposed on the left-eye image and the right-eye image, respectively. Generate text information.
  • the left-eye text information and the right-eye text information are the same text information, but the superimposed position in the image is, for example, the left-eye text information, and the right-eye text information is the horizontal component of the disparity vector. Only to be shifted horizontally. Then, the stereoscopic image text generation unit 227 outputs data (bitmap data) of the generated left eye text information and right eye text information.
  • the video superimposing unit 228 superimposes the data generated by the generating units 226 and 227 on the stereoscopic image data (left-eye image data and right-eye image data) obtained by the video decoder 221 to display stereoscopic image data for display. Get Vout. Note that superimposition of superimposition information data on stereoscopic image data (left-eye image data, right-eye image data) is started by a time stamp of the system layer.
  • the multi-channel speaker control unit 229 gives the sound data obtained by the audio decoder 224 a process for generating sound data of a multi-channel speaker for realizing 5.1ch surround, for example, and predetermined sound field characteristics. Apply processing.
  • the multi-channel speaker control unit 229 controls the output of the multi-channel speaker based on the disparity vector obtained by the decoder 225.
  • FIG. 36 shows an example of speaker output control when the parallax vector VV1 is larger for the left video object toward the television display.
  • the Rear Left speaker volume of the multi-channel speaker is increased, the Front Left speaker volume is medium, and the Front Right and Rear Right speaker volumes are reduced.
  • the disparity vector of the video content stereoscopic image data
  • the viewer can experience a stereoscopic effect comprehensively.
  • the operation of the bit stream processing unit 201 shown in FIG. The bit stream data BSD output from the digital tuner 204 (see FIG. 34) is supplied to the demultiplexer 220.
  • the demultiplexer 220 extracts video, audio, disparity vectors, subtitles, graphics, and text packets from the bit stream data BSD, and supplies them to each decoder.
  • a video elementary stream is reconstructed from the video packet extracted by the demultiplexer 220, and further, decoding processing is performed, so that stereoscopic image data including left eye image data and right eye image data is obtained. can get.
  • the stereoscopic image data is supplied to the video superimposing unit 228.
  • the disparity vector decoder 225 reconstructs the disparity vector elementary stream from the disparity vector packet extracted by the demultiplexer 220 and further performs decoding processing to obtain a disparity vector at a predetermined position in the image. (See FIG. 8).
  • the subtitle / graphics decoder 222 reconstructs a subtitle / graphics elementary stream from the subtitle / graphics packets extracted by the demultiplexer 220.
  • the subtitle / graphics decoder 222 further performs a decoding process on the subtitle and graphics elementary streams to obtain subtitle data and graphics data.
  • the subtitle data and graphics data are supplied to the stereoscopic image subtitle / graphics generating unit 226.
  • the stereoscopic image subtitle / graphics generating unit 226 is also supplied with the disparity vector obtained by the disparity vector decoder 225.
  • the stereoscopic image subtitle / graphics generating unit 226 generates left eye and right eye subtitle information and graphics information data to be superimposed on the left eye image and the right eye image, respectively. This generation process is performed based on the subtitle data and graphics data obtained by the decoder 222 and the disparity vector obtained by the decoder 225. In this case, for example, with respect to the left-eye subtitle information and left-eye graphics information, the right-eye subtitle information and graphics information are shifted in the horizontal direction by the horizontal component of the disparity vector. Is done. From the stereoscopic image subtitle / graphics generating unit 226, the generated left-eye and right-eye subtitle information and graphics information data (bitmap data) are output.
  • bitmap data bitmap data
  • the text decoder 223 reconstructs a text elementary stream from the text packet extracted by the demultiplexer 220, and further performs a decoding process to obtain text data.
  • This text data is supplied to the stereoscopic image text generator 227.
  • the stereoscopic image text generation unit 227 is also supplied with the disparity vector obtained by the disparity vector decoder 225.
  • this stereoscopic image text generation unit 227 based on the text data obtained by the decoder 223 and the disparity vector obtained by the decoder 225, left-eye text information to be superimposed on the left-eye image and the right-eye image, Eye text information is generated.
  • the left-eye text information and the right-eye text information are the same text information, but the superimposed position in the image is, for example, the left-eye text information, and the right-eye text information is the horizontal component of the disparity vector. Only to be shifted horizontally.
  • data (bitmap data) of the generated left eye text information and right eye text information is output.
  • the video superimposing unit 228 is supplied with data output from the subtitle / graphics generating unit 226 and the text generating unit 227. Is done.
  • the video superimposing unit 228 superimposes the data generated by the subtitle / graphics generating unit 226 and the text generating unit 227 on the stereoscopic image data (left-eye image data, right-eye image data), and displays stereoscopic image data for display. Vout is obtained.
  • the display stereoscopic image data Vout is supplied as transmission image data to the HDMI transmission unit 206 (see FIG. 34) via the video signal processing circuit 205.
  • the audio decoder 224 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 220, and further performs decoding processing to obtain audio data.
  • This audio data is supplied to the multi-channel speaker control unit 229.
  • processing for generating multi-channel speaker audio data for realizing 5.1ch surround, processing for giving predetermined sound field characteristics, and the like are performed on the audio data.
  • the parallax vector obtained by the parallax vector decoder 225 is also supplied to the multi-channel speaker control unit 229.
  • the multi-channel speaker control unit 229 controls the output of the multi-channel speaker based on the parallax vector.
  • Multi-channel audio data obtained by the multi-channel speaker control unit 229 is supplied as transmission audio data to the HDMI transmission unit 206 (see FIG. 34) via the audio signal processing circuit 207.
  • the bit stream processing unit 201A illustrated in FIG. 37 has a configuration corresponding to the transmission data generation unit 110A illustrated in FIG. In FIG. 37, portions corresponding to those in FIG. 35 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the bit stream processing unit 201A is provided with a disparity vector extracting unit 231 instead of the disparity vector decoder 225 of the bit stream processing unit 201 shown in FIG.
  • the disparity vector extracting unit 231 extracts a disparity vector embedded in the user data area from a video stream obtained through the video decoder 221.
  • the disparity vector extracting unit 231 supplies the extracted disparity vector to the stereoscopic image subtitle / graphics generating unit 226, the stereoscopic image text generating unit 227, and the multi-channel speaker control unit 229.
  • bit stream processing unit 201A shown in FIG. 37 is configured in the same manner as the bit stream processing unit 201 shown in FIG. 35 and operates in the same manner.
  • bit stream processing unit 201B shown in FIG. 38 has a configuration corresponding to the transmission data generation unit 110B shown in FIG. In FIG. 38, portions corresponding to those in FIG. 35 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • This bit stream processing unit 201B is obtained by removing the parallax vector decoder 225, the stereoscopic image subtitle / graphics generating unit 226, and the stereoscopic image text generating unit 227 from the bit stream processing unit 201 shown in FIG.
  • the disparity vector is reflected in advance in the data of subtitle information, graphics information, and text information.
  • the transmitted subtitle data and graphics data include left eye subtitle information and graphics information data to be superimposed on the left eye image, and right eye subtitle information and graphics to be superimposed on the right eye image. Contains informational data.
  • the transmitted text data includes left-eye text information data superimposed on the left-eye image and right-eye text information data superimposed on the right-eye image. Accordingly, the disparity vector decoder 225, the stereoscopic image subtitle / graphics generating unit 226, and the stereoscopic image text generating unit 227 are not necessary.
  • the text data obtained by the text decoder 223 is code data (character code), it is necessary to convert it into bitmap data. This processing is performed at the final stage of the text decoder 223 or at the input stage of the video superimposing unit 228, for example.
  • bit stream processing unit 201C illustrated in FIG. 39 is configured to correspond to the transmission data generation unit 110C illustrated in FIG.
  • portions corresponding to those in FIG. 35 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the bit stream processing unit 201C includes a parallax information extraction unit 232, a CC decoder 233, and a stereoscopic image closed caption generation unit 234. As described above, CC (closed caption) data and disparity information for each Region_id are embedded as user data in the video elementary stream output from the video encoder 113 of the transmission data generation unit 110C illustrated in FIG. Yes.
  • the disparity information extracting unit 232 extracts disparity information for each Region_id from the video elementary stream obtained through the video decoder 221. From the disparity information extraction unit 232 to the closed caption generation unit 234 for stereoscopic images, disparity information corresponding to the closed caption information among the extracted disparity information for each Region_id (not including superposition position information and display time information) Is supplied.
  • the disparity information extraction unit 232 to the stereoscopic image subtitle / graphics generation unit 226 receives disparity information (superimposition position information and display time information) corresponding to the subtitle information and graphics information among the extracted disparity information for each Region_id. Is included). Further, disparity information (including superimposition position information and display time information) corresponding to the text information among the extracted disparity information for each Region_id is supplied from the disparity information extraction unit 232 to the stereoscopic image text generation unit 227.
  • the CC decoder 233 extracts CC data (closed caption data) from the video elementary stream obtained through the video decoder 233. Further, the CC decoder 233 obtains closed caption data (caption character code), and control data for the superimposed position and display time for each window from the CC data. The CC decoder 233 supplies the closed caption data for stereoscopic image 234 with closed caption data and control data for the superimposition position and display time.
  • the stereoscopic image closed caption generation unit 234 generates, for each window, left eye closed caption information (caption) and right eye closed caption information (caption) to be superimposed on the left eye image and the right eye image, respectively.
  • the This generation process is performed based on the closed caption data and superposition position control data obtained by the CC decoder 233 and the disparity information (disparity vector) supplied from the disparity information extracting unit 232.
  • the closed caption information for the left eye and the right eye is the same information.
  • the superimposed position in the image is shifted in the horizontal direction by, for example, the horizontal component of the parallax vector in the right-eye closed caption information with respect to the left-eye closed caption information.
  • the data (bitmap data) of the closed caption information of the left eye and the right eye generated for each window by the stereoscopic image closed caption generation unit 234 is displayed together with the display time control data and the video superimposing unit 228. To be supplied.
  • the stereoscopic image subtitle / graphics generating unit 226 generates left-eye and left-eye subtitle information and graphics information to be superimposed on the left-eye image and the right-eye image, respectively.
  • This generation processing is performed based on the subtitle data and graphics data obtained by the subtitle / graphics decoder 222 and the disparity information (disparity vector) supplied from the disparity information extracting unit 232.
  • the left-eye and left-eye subtitle information and graphics information are the same information.
  • the superimposed position in the image is shifted in the horizontal direction by, for example, the horizontal component of the disparity vector in the right-eye title information and graphics information with respect to the left-eye subtitle information and graphics information, for example. .
  • left-eye and right-eye subtitle information and graphics information data generated by the stereoscopic image subtitle / graphics generating unit 234 are displayed together with the display time information (frame number information) and the video superimposing unit. 228.
  • the stereoscopic image text generator 227 generates left eye and left eye text information to be superimposed on the left eye image and the right eye image, respectively. This generation process is performed based on the text data obtained by the text decoder 223 and the disparity information (disparity vector) supplied from the disparity information extracting unit 232. In this case, the text information of the left eye and the left eye is the same information. However, the superimposed position in the image is shifted in the horizontal direction by the horizontal component of the parallax vector, for example, with respect to the left-eye text information.
  • the left eye and right eye text information data (bitmap data) generated by the stereoscopic image text generating unit 227 is supplied to the video superimposing unit 228 together with the display time information (frame number information). .
  • the video superimposing unit 228 superimposes superimposition information data supplied from each decoder on the stereoscopic image data (left-eye image data and right-eye image data) obtained by the video decoder 221, and displays the stereoscopic image data Vout for display. Is obtained.
  • superimposition of superimposition information data on stereoscopic image data is started by a time stamp of the system layer.
  • the superimposition duration is controlled based on display time control data for closed caption information, and based on display time information for subtitle information, graphics information, text information, and the like.
  • bit stream processing unit 201C shown in FIG. 39 are configured in the same manner as the bit stream processing unit 201 shown in FIG. 35 and operate in the same manner.
  • bit stream processing unit 201D illustrated in FIG. 40 is configured to correspond to the transmission data generation unit 110D illustrated in FIG. 25 described above.
  • portions corresponding to those in FIGS. 35 and 9 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the bit stream processing unit 201D has a disparity information decoder 235.
  • a disparity information elementary stream including disparity information is generated from the Z data unit 128 by the disparity information encoder 129.
  • the multiplexer 122 then multiplexes the elementary stream packets supplied from the encoders including the disparity information encoder 129 to obtain bit stream data (transport stream) BSD as transmission data.
  • disparity information decoder 235 an elementary stream of disparity information is reconstructed from the disparity information packet extracted by the demultiplexer 220, and further, decoding processing is performed to obtain disparity information for each Region_id.
  • This disparity information is the same as the disparity information extracted by the disparity information extracting unit 232 of the bit stream processing unit 201C in FIG.
  • the disparity information decoder 235 extracts disparity information for each Region_id from the video elementary stream obtained through the video decoder 221. From the disparity information decoder 235 to the stereoscopic image closed caption generation unit 234, disparity information corresponding to the closed caption information (not including superposition position information and display time information) among the extracted disparity information for each Region_id. Supplied.
  • the stereoscopic image subtitle / graphics generating unit 226 from the disparity information decoder 235 includes disparity information (superimposition position information and display time information) corresponding to the subtitle information and graphics information among the extracted disparity information for each Region_id. ) Is supplied. Further, the disparity information decoder 235 supplies disparity information (including superimposition position information and display time information) corresponding to the text information among the extracted disparity information for each Region_id to the stereoscopic image text generation unit 227. .
  • bit stream processing unit 201D shown in FIG. 40 is configured in the same manner as the bit stream processing unit 201C shown in FIG. 39 and operates in the same manner.
  • bit stream processing unit 201E illustrated in FIG. 41 is configured to correspond to the transmission data generation unit 110E illustrated in FIG. 26 described above.
  • portions corresponding to those in FIGS. 35 and 38 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the bit stream processing unit 201E has a CC decoder 236.
  • the CC data processing unit 130 of the transmission data generating unit 110E shown in FIG. 26 the left eye closed caption information data superimposed on the left eye image and the right eye superimposed on the right eye image based on the CC data. Closed caption information data has been generated.
  • the CC data processed by the CC data processing unit 130 is supplied to the stream formatter 113a of the video encoder 113, and is embedded as user data in the video stream.
  • CC data is extracted from the video elementary stream obtained through the video decoder 221, and the closed caption information data for the left eye and the right eye is acquired for each window from the CC data.
  • the left eye and right eye closed caption information data obtained by the CC decoder 236 is supplied to the video superimposing unit 228.
  • the video superimposing unit 228 superimposes the data generated by the CC decoder 236, the subtitle / graphics decoder 222, and the text decoder 223 on the stereoscopic image data (left-eye image data, right-eye image data), and displays the stereoscopic image for display.
  • Data Vout is obtained.
  • bit stream processing unit 201E shown in FIG. 41 is configured in the same manner as the bit stream processing unit 201B shown in FIG. 38 and operates in the same manner.
  • the television receiver 300 receives stereoscopic image data sent from the set top box 200 via the HDMI cable 400.
  • the television receiver 300 includes a 3D signal processing unit 301.
  • the 3D signal processing unit 301 performs processing (decoding processing) corresponding to the transmission method on the stereoscopic image data to generate left-eye image data and right-eye image data. That is, the 3D signal processing unit 301 includes the video framing unit 112 in the transmission data generation units 110, 110A, 110B, 110C, 110D, and 110E shown in FIGS. 2, 13, 18, 19, 25, and 26. Reverses the process. Then, the 3D signal processing unit 301 acquires the left eye image data and the right eye image data constituting the stereoscopic image data.
  • FIG. 42 illustrates a configuration example of the television receiver 300.
  • the television receiver 300 includes a 3D signal processing unit 301, an HDMI terminal 302, an HDMI receiving unit 303, an antenna terminal 304, a digital tuner 305, and a bit stream processing unit 306.
  • the television receiver 300 also includes a video signal processing circuit 307, a panel driving circuit 308, a display panel 309, an audio signal processing circuit 310, an audio amplification circuit 311, and a speaker 312.
  • the television receiver 300 includes a CPU 321, a flash ROM 322, a DRAM 323, an internal bus 324, a remote control receiving unit 325, and a remote control transmitter 326.
  • the antenna terminal 304 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 305 processes the television broadcast signal input to the antenna terminal 304 and outputs predetermined bit stream data (transport stream) corresponding to the user's selected channel.
  • the bit stream processing unit 306 has the same configuration as the bit stream processing unit 201 of the set top box 200 shown in FIG.
  • the bit stream processing unit 306 extracts stereoscopic image data (left eye image data, right eye image data), audio data, superimposition information data, disparity vectors (disparity information), and the like from the bit stream data.
  • the superimposition information data is closed caption data, subtitle data, graphics data, text data, and the like. Then, the bit stream processing unit 306 combines the superimposition information data with the stereoscopic image data, and acquires display stereoscopic image data.
  • the bit stream processing unit 306 outputs audio data.
  • the HDMI receiving unit 303 receives uncompressed image data (stereoscopic image data) and audio data supplied to the HDMI terminal 302 via the HDMI cable 400 by communication conforming to HDMI. Details of the HDMI receiving unit 303 will be described later.
  • the 3D signal processing unit 301 performs processing (decoding processing) corresponding to the transmission method on the stereoscopic image data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306, and thereby the left eye image Data and right eye image data are generated.
  • the video signal processing circuit 307 generates image data for displaying a stereoscopic image based on the left eye image data and the right eye image data generated by the 3D signal processing unit 301.
  • the video signal processing circuit performs image quality adjustment processing on the image data as necessary.
  • the panel drive circuit 308 drives the display panel 309 based on the image data output from the video signal processing circuit 307.
  • the display panel 309 includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or the like.
  • the audio signal processing circuit 310 performs necessary processing such as D / A conversion on the audio data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306.
  • the audio amplification circuit 311 amplifies the audio signal output from the audio signal processing circuit 310 and supplies the amplified audio signal to the speaker 312.
  • the CPU 321 controls the operation of each unit of the television receiver 300.
  • the flash ROM 322 stores control software and data.
  • the DRAM 323 constitutes a work area for the CPU 321.
  • the CPU 321 develops software and data read from the flash ROM 322 on the DRAM 323 to activate the software, and controls each unit of the television receiver 300.
  • the remote control receiving unit 325 receives the remote control signal (remote control code) transmitted from the remote control transmitter 326 and supplies it to the CPU 321.
  • the CPU 321 controls each part of the television receiver 300 based on the remote control code.
  • the CPU 321, flash ROM 322, and DRAM 323 are connected to the internal bus 324.
  • the HDMI receiving unit 303 receives stereoscopic image data and audio data transmitted from the set top box 200 connected to the HDMI terminal 302 via the HDMI cable 400.
  • the stereoscopic image data received by the HDMI receiving unit 303 is supplied to the 3D signal processing unit 301.
  • the audio data received by the HDMI receiving unit 303 is supplied to the audio signal processing circuit 310.
  • the TV broadcast signal input to the antenna terminal 304 is supplied to the digital tuner 305.
  • the digital tuner 305 processes the television broadcast signal and outputs predetermined bit stream data (transport stream) corresponding to the user's selected channel.
  • the bit stream data output from the digital tuner 305 is supplied to the bit stream processing unit 306.
  • the bit stream processing unit 306 extracts stereoscopic image data (left eye image data, right eye image data), audio data, superimposition information data, disparity vectors (disparity information), and the like from the bit stream data. Further, the bit stream processing unit 306 synthesizes superimposition information (closed caption information, subtitle information, graphics information, text information) data with the stereoscopic image data to generate display stereoscopic image data.
  • the display stereoscopic image data generated by the bit stream processing unit 306 is supplied to the 3D signal processing unit 301.
  • the audio data obtained by the bit stream processing unit 306 is supplied to the audio signal processing circuit 310.
  • processing corresponding to the transmission method is performed on the stereoscopic image data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306, and the left eye Image data and right eye image data are generated.
  • the left eye image data and right eye image data are supplied to the video signal processing unit circuit 307.
  • image data for displaying a stereoscopic image is generated based on the left eye image data and the right eye image data. Therefore, a stereoscopic image is displayed on the display panel 309.
  • the audio signal processing circuit 310 necessary processing such as D / A conversion is performed on the audio data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306.
  • the audio data is amplified by the audio amplification circuit 311 and then supplied to the speaker 312. Therefore, sound is output from the speaker 312.
  • FIG. 43 shows a configuration example of the HDMI transmission unit (HDMI source) 206 of the set-top box 200 and the HDMI reception unit (HDMI sink) 303 of the television receiver 300 in the stereoscopic image display system 10 of FIG.
  • the HDMI transmission unit 206 transmits a differential signal corresponding to pixel data of an uncompressed image for one screen in an effective image section (hereinafter, also referred to as an active video section as appropriate) using a plurality of channels.
  • the effective image section is a section obtained by removing the horizontal blanking section and the vertical blanking section from the section from one vertical synchronization signal to the next vertical synchronization signal.
  • the HDMI transmission unit 206 receives the differential signals corresponding to at least audio data, control data, other auxiliary data, etc. associated with the image on a plurality of channels in the horizontal blanking interval or the vertical blanking interval. Transmit to the unit 303 in one direction.
  • the transmission channels of the HDMI system including the HDMI transmission unit 206 and the HDMI reception unit 303 include the following transmission channels. That is, three TMDS channels # 0 to ## as transmission channels for serially transmitting pixel data and audio data in one direction in synchronization with the pixel clock from the HDMI transmission unit 206 to the HDMI reception unit 303. There are two. There is also a TMDS clock channel as a transmission channel for transmitting a pixel clock.
  • the HDMI transmission unit 206 includes an HDMI transmitter 81.
  • the transmitter 81 converts, for example, pixel data of an uncompressed image into a corresponding differential signal, and is connected via the HDMI cable 400 with three TMDS channels # 0, # 1, and # 2 that are a plurality of channels. Serial transmission in one direction to the HDMI receiving unit 303.
  • the transmitter 81 converts audio data accompanying uncompressed images, further necessary control data and other auxiliary data, etc. into corresponding differential signals, and converts them into three TMDS channels # 0, # 1, #. 2 serially transmits to the HDMI receiving unit 303 in one direction.
  • the transmitter 81 transmits the pixel clock synchronized with the pixel data transmitted through the three TMDS channels # 0, # 1, and # 2 to the HDMI receiving unit 303 connected via the HDMI cable 400 using the TMDS clock channel. Send.
  • the HDMI receiving unit 303 receives a differential signal corresponding to the pixel data transmitted from the HDMI transmitting unit 206 in one direction through a plurality of channels in the active video section. Further, the HDMI receiving unit 303 receives differential signals corresponding to audio data and control data transmitted in one direction from the HDMI transmitting unit 206 through a plurality of channels in a horizontal blanking interval or a vertical blanking interval. Receive.
  • the HDMI receiving unit 303 has an HDMI receiver 82.
  • This HDMI receiver 82 uses TMDS channels # 0, # 1, and # 2 to transmit a differential signal corresponding to pixel data and a difference corresponding to audio data and control data transmitted from the HDMI transmission unit 206 in one direction. Receive a motion signal. In this case, reception is performed in synchronization with the pixel clock transmitted from the HDMI transmission unit 206 via the TMDS clock channel.
  • the HDMI system transmission channel composed of the HDMI transmission unit 206 and the HDMI reception unit 303 includes a transmission channel called a DDC (Display Data Channel) 83 or a CEC line 84.
  • the DDC 83 includes two signal lines (not shown) included in the HDMI cable 400.
  • the DDC 83 is used by the HDMI transmitting unit 206 to read E-EDID (Enhanced Extended Display Identification Data) from the HDMI receiving unit 303.
  • E-EDID Enhanced Extended Display Identification Data
  • the HDMI receiving unit 303 has an EDID ROM (Read Only Memory) 85 that stores E-EDID, which is performance information related to its performance (Configuration / capability), in addition to the HDMI receiver 81. .
  • E-EDID is performance information related to its performance (Configuration / capability)
  • the HDMI transmission unit 206 sends the E-EDID of the HDMI reception unit 303 from the HDMI reception unit 303 connected via the HDMI cable 400 to the DDC 83. Read through.
  • the HDMI transmission unit 206 sends the read E-EDID to the CPU 211.
  • the CPU 211 stores this E-EDID in the flash ROM 212 or the DRAM 213.
  • the CPU 211 can recognize the performance setting of the HDMI receiving unit 303 based on the E-EDID. For example, the CPU 211 recognizes image data formats (resolution, frame rate, aspect, etc.) that can be supported by the television receiver 300 having the HDMI receiving unit 303.
  • the CEC line 84 is made up of one signal line (not shown) included in the HDMI cable 400, and is used for bidirectional communication of control data between the HDMI transmission unit 206 and the HDMI reception unit 303.
  • the CEC line 84 constitutes a control data line.
  • the HDMI cable 400 includes a line (HPD line) 86 connected to a pin called HPD (Hot Plug Detect).
  • HPD Hot Plug Detect
  • the source device can detect the connection of the sink device using the line 86.
  • the HDMI cable 400 includes a line 87 that is used to supply power from the source device to the sink device. Further, the HDMI cable 400 includes a reserved line 88.
  • FIG. 44 shows a configuration example of the HDMI transmitter 81 and the HDMI receiver 82 of FIG.
  • the HDMI transmitter 81 has three encoder / serializers 81A, 81B, and 81C corresponding to the three TMDS channels # 0, # 1, and # 2, respectively.
  • Each of the encoders / serializers 81A, 81B, and 81C encodes the image data, auxiliary data, and control data supplied thereto, converts the parallel data into serial data, and transmits the data by a differential signal.
  • the B component is supplied to the encoder / serializer 81A
  • the G component is supplied to the encoder / serializer 81B
  • the R component is supplied to the encoder / serializer 81C. Supplied.
  • auxiliary data there are audio data and control packets.
  • the control packets are supplied to, for example, the encoder / serializer 81A, and the audio data is supplied to the encoders / serializers 81B and 81C.
  • the control data includes a 1-bit vertical synchronization signal (VSYNC), a 1-bit horizontal synchronization signal (HSYNC), and 1-bit control bits CTL0, CTL1, CTL2, and CTL3.
  • the vertical synchronization signal and the horizontal synchronization signal are supplied to the encoder / serializer 81A.
  • the control bits CTL0 and CTL1 are supplied to the encoder / serializer 81B, and the control bits CTL2 and CTL3 are supplied to the encoder / serializer 81C.
  • the encoder / serializer 81A transmits the B component of the image data, the vertical synchronization signal and the horizontal synchronization signal, and auxiliary data supplied thereto in a time division manner. That is, the encoder / serializer 81A converts the B component of the image data supplied thereto into 8-bit parallel data that is a fixed number of bits. Further, the encoder / serializer 81A encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 0.
  • the encoder / serializer 81A encodes 2-bit parallel data of the vertical synchronization signal and horizontal synchronization signal supplied thereto, converts the data into serial data, and transmits the serial data through the TMDS channel # 0. Furthermore, the encoder / serializer 81A converts the auxiliary data supplied thereto into parallel data in units of 4 bits. Then, the encoder / serializer 81A encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 0.
  • Encoder / serializer 81B transmits the G component of image data, control bits CTL0 and CTL1, and auxiliary data supplied thereto in a time-sharing manner. That is, the encoder / serializer 81B sets the G component of the image data supplied thereto as parallel data in units of 8 bits, which is a fixed number of bits. Further, the encoder / serializer 81B encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 1.
  • the encoder / serializer 81B encodes the 2-bit parallel data of the control bits CTL0 and CTL1 supplied thereto, converts the data into serial data, and transmits it through the TMDS channel # 1. Furthermore, the encoder / serializer 81B converts the auxiliary data supplied thereto into parallel data in units of 4 bits. Then, the encoder / serializer 81B encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 1.
  • the encoder / serializer 81C transmits the R component of the image data, control bits CTL2 and CTL3, and auxiliary data supplied thereto in a time division manner. That is, the encoder / serializer 81C sets the R component of the image data supplied thereto as parallel data in units of 8 bits, which is a fixed number of bits. Further, the encoder / serializer 81C encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 2.
  • the encoder / serializer 81C encodes the 2-bit parallel data of the control bits CTL2 and CTL3 supplied thereto, converts it into serial data, and transmits it through the TMDS channel # 2. Furthermore, the encoder / serializer 81C converts the auxiliary data supplied thereto into parallel data in units of 4 bits. Then, the encoder / serializer 81C encodes the parallel data, converts it into serial data, and transmits it through the TMDS channel # 2.
  • the HDMI receiver 82 has three recovery / decoders 82A, 82B, and 82C corresponding to the three TMDS channels # 0, # 1, and # 2, respectively. Then, each of the recovery / decoders 82A, 82B, and 82C receives image data, auxiliary data, and control data transmitted as differential signals through the TMDS channels # 0, # 1, and # 2. Further, each of the recovery / decoders 82A, 82B, and 82C converts the image data, auxiliary data, and control data from serial data to parallel data, and further decodes and outputs them.
  • the recovery / decoder 82A receives the B component of image data, the vertical synchronization signal, the horizontal synchronization signal, and the auxiliary data that are transmitted as differential signals through the TMDS channel # 0. Then, the recovery / decoder 82A converts the B component of the image data, the vertical synchronization signal, the horizontal synchronization signal, and the auxiliary data from serial data to parallel data, and decodes and outputs them.
  • the recovery / decoder 82B receives the G component of the image data, the control bits CTL0 and CTL1, and the auxiliary data transmitted by the differential signal through the TMDS channel # 1. Then, the recovery / decoder 82B converts the G component of the image data, the control bits CTL0 and CTL1, and the auxiliary data from serial data to parallel data, and decodes and outputs them.
  • the recovery / decoder 82C receives the R component of the image data, the control bits CTL2 and CTL3, and the auxiliary data transmitted as a differential signal through the TMDS channel # 2. Then, the recovery / decoder 82C converts the R component of the image data, the control bits CTL2 and CTL3, and the auxiliary data from serial data to parallel data, and decodes and outputs them.
  • FIG. 45 shows an example of the structure of TMDS transmission data.
  • FIG. 45 shows sections of various transmission data when image data of horizontal ⁇ vertical 1920 pixels ⁇ 1080 lines is transmitted in TMDS channels # 0, # 1, and # 2.
  • Video Field In a video field (Video Field) in which transmission data is transmitted through the three TMDS channels # 0, # 1, and # 2 of HDMI, there are three types of sections according to the type of transmission data. These three types of sections are a video data period (Video Data period), a data island period (Data Islandperiod), and a control period (Control period).
  • the video field period is a period from the rising edge (active edge) of a certain vertical synchronizing signal to the rising edge of the next vertical synchronizing signal.
  • This video field period is divided into a horizontal blanking period (horizontal blanking), a vertical blanking period (verticalblanking), and an active video period (Active Video).
  • This active video section is a section obtained by removing the horizontal blanking period and the vertical blanking period from the video field section.
  • the video data section is assigned to the active video section.
  • 1920 pixels (pixels) ⁇ 1080 lines of effective pixel (Active pixel) data constituting uncompressed image data for one screen is transmitted.
  • Data island section and control section are assigned to horizontal blanking period and vertical blanking period.
  • auxiliary data (Auxiliary data) is transmitted. That is, the data island period is assigned to a part of the horizontal blanking period and the vertical blanking period.
  • audio data packets which are data not related to control, of auxiliary data are transmitted.
  • the control section is assigned to other parts of the horizontal blanking period and the vertical blanking period.
  • this control period for example, vertical synchronization signals, horizontal synchronization signals, control packets, and the like, which are data related to control, of auxiliary data are transmitted.
  • FIG. 46 shows an example of the pin arrangement of the HDMI terminals 211 and 251.
  • the pin arrangement shown in FIG. 46 is called type A (type-A).
  • Two lines which are differential lines that transmit TMDS channel #i differential signals, have pins assigned to TMDS Data # i + (pin numbers 1, 4, and 7) and TMDS Data # i. It is connected to a pin to which-is assigned (pin numbers 3, 6, and 9).
  • the CEC line 84 through which the CEC signal, which is control data, is transmitted is connected to the pin with the pin number 13, and the pin with the pin number 14 is a reserved pin.
  • a line through which an SDA (Serial Data) signal such as E-EDID is transmitted is connected to a pin having a pin number of 16.
  • a line through which an SCL (SeriallockClock) signal, which is a clock signal used for synchronization during transmission / reception of the SDA signal, is connected to a pin having a pin number of 15.
  • the above-described DDC 83 includes a line for transmitting the SDA signal and a line for transmitting the SCL signal.
  • the HPD line 86 for detecting the connection of the sink device by the source device is connected to the pin having the pin number 19. Further, as described above, the line 87 for supplying power is connected to a pin having a pin number of 18.
  • FIG. 47 illustrates an example of TMDS transmission data in the first transmission method (“Top & Bottom” method).
  • 1920 pixel ⁇ 1080 line active video section 1920 pixel ⁇ 1080 line effective pixel (active pixel) data (the synthesis of left eye (L) image data and right eye (R) image data).
  • L left eye
  • R right eye
  • Data is arranged.
  • the vertical line is thinned out to 1/2.
  • the left eye image data to be transmitted is either an odd line or an even line
  • the right eye image data to be transmitted is either an odd line or an even line.
  • FIG. 48 shows an example of TMDS transmission data of the second transmission method (“Side By Side” method).
  • 1920 pixels ⁇ 1080 lines of active video section 1920 pixels (pixels) ⁇ 1080 lines of effective pixel (active pixel) data (compositing left eye (L) image data and right eye (R) image data).
  • L left eye
  • R right eye
  • Data is arranged.
  • the left-eye image data and the right-eye image data are each decimated by half of the pixel data in the horizontal direction.
  • FIG. 49 shows an example of TMDS transmission data in the third transmission method (“Frame Sequential” method).
  • left-eye (L) image data of effective pixels (active pixels) for 1920 pixels ⁇ 1080 lines is arranged in an active video section of 1920 pixels ⁇ 1080 lines in an odd field.
  • right-eye (R) image data of effective pixels (active pixels) for 1920 pixels ⁇ 1080 lines is arranged in an active video section of 1920 pixels ⁇ 1080 lines in the even field.
  • the TMDS transmission data example in the “Frame Sequential” method shown in FIG. 49 indicates the “Frame Sequential” method in HDMI 1.4 (New HDMI).
  • the left eye image data is arranged in the odd field and the right eye image data is arranged in the even field.
  • the left eye image data and the right eye image data are alternately transmitted every frame period Vfreq.
  • the source device needs to send information (L and R signaling information) indicating whether the image data transmitted for each frame is left-eye image data or right-eye image data to the sink device. Become.
  • the following syntax is transmitted by newly defining one of Vendor Specific, AVI InfoFrame, or Reserved defined in Legacy HDMI specification blanking.
  • InfoFrameType # (8bits) -------------------------------- 0x01: Vendor Specific 0x02: AVI InfoFrame 0x03: Source Product Description 0x04: Audio InfoFrame 0x05: MPEGSource 0x06 -0xFF Reserved
  • 3DVideoFlag 1bit (0: 2D, 1: 3D) if (3DVideoFlag) ⁇ 3DVideoFormat 3bits (0x0: Frame Packing Left View 0x1: Frame Packing Right View 0x2: Side by Side 0x4: Top & Bottom by Frame 0x6: Top & Bottom by Field (0x3,5,7: Reserved) Reserved 4bits (0x0) ⁇ else ⁇ Reserved 7bits (0x0) ⁇
  • the above information includes 3D image data (stereoscopic image data) and 2D image data switching information (1-bit 3D VideoFlag information).
  • the above-described information includes information for specifying the format of the three-dimensional image data or switching between the left eye image data and the right eye image data (3-bit 3D Video Format information).
  • This information should be defined as auxiliary information sent at a timing corresponding to a picture header in a bit stream in which similar contents are broadcast.
  • the bit stream alternatively includes three-dimensional image data (stereoscopic image data including left-eye image data and right-eye image data) or two-dimensional image data.
  • the receiver downloads and installs software for processing the 3D image data included in the data stream from an external device such as a broadcast server. You may do it.
  • the same superimposition information (closed caption information, subtitle information, etc.) to be superimposed on the left eye image and the right eye image has parallax. Is granted. Therefore, as the same superimposition information superimposed on the left eye image and the right eye image, information on which parallax adjustment is performed according to the perspective of each object (object) in the image can be used. In this case, it is possible to maintain perspective consistency with each object in the image.
  • the disparity vector at a predetermined position in the image is transmitted from the broadcast station 100 side to the set top box 200.
  • the set top box 200 does not need to obtain a disparity vector based on the left eye image data and the right eye image data included in the received stereoscopic image data, and the processing of the set top box 200 is simplified. .
  • FIG. 51 shows a configuration example of the bit stream processing unit 201F provided in the set top box 200, for example.
  • FIG. 51 portions corresponding to those in FIG. 35 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • a disparity vector detection unit 237 is arranged instead of the disparity vector decoder 225 in the bit stream processing unit 201 shown in FIG.
  • the disparity vector detection unit 237 detects a disparity vector at a predetermined position in the image based on the left eye image data and the right eye image data constituting the stereoscopic image data obtained by the video decoder 221. Then, the parallax vector detection unit 237 supplies the detected parallax vector to the stereoscopic image subtitle / graphics generation unit 226, the stereoscopic image text generation unit 227, and the multi-channel speaker output control unit 229.
  • bit stream processing unit 201F shown in FIG. 51 is configured in the same manner as the bit stream processing unit 201 shown in FIG. 35 and operates in the same manner.
  • FIG. 52 shows another configuration example of the bit stream processing unit 201G provided in the set top box 200, for example.
  • portions corresponding to those in FIGS. 35 and 39 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • a disparity vector detection unit 237 is arranged instead of the disparity information extraction unit 232 disparity vector decoder 225 in the bit stream processing unit 201C shown in FIG.
  • the disparity vector detection unit 237 detects a disparity vector at a predetermined position in the image based on the left eye image data and the right eye image data constituting the stereoscopic image data obtained by the video decoder 221.
  • the disparity vector detection unit 237 supplies the detected disparity vector to the stereoscopic image closed caption generation unit 234, the stereoscopic image subtitle / graphics generation unit 226, the stereoscopic image text generation unit 227, and the multi-channel speaker control unit 229. .
  • bit stream processing unit 201G shown in FIG. 52 is configured in the same manner as the bit stream processing unit 201C shown in FIG. 39 and operates in the same manner.
  • the stereoscopic image display system 10 includes the broadcasting station 100, the set top box 200, and the television receiver 300.
  • the television receiver 300 includes a bit stream processing unit 306 that functions in the same manner as the bit stream processing unit 201 in the set top box 200, as shown in FIG. Therefore, as shown in FIG. 53, a stereoscopic image display system 10A including a broadcasting station 100 and a television receiver 300 is also conceivable.
  • the present invention can be applied to a stereoscopic image display system that displays superimposition information such as graphics information and text information superimposed on an image.
  • Parallax information encoder 130... CC data processing portion, 200... Set top box, 201, 201A to 201G. 202 ... HDMI terminal, 203 ... antenna terminal, 204 ... digital tuner, 205 ... video signal processing circuit, 206 ... HDMI transmission unit, 207 ... audio signal processing circuit, 211 ... CPU, 212 ... Flash ROM, 213 ... DRAM, 214 ... Internal bus, 215 ... Remote control receiver, 216 ... Remote control transmitter, 220 ... Demultiplexer, 221 ... Video decoder, 222 ... subtitle / graphics decoder, 223 ... text decoder, 224 ... DIO decoder, 225 ... disparity vector decoder, 226 ...
  • stereoscopic image subtitle / graphics generating unit 227 ... stereoscopic image text generating unit, 228 ... video superimposing unit, 229 ... multi-channel speaker Control unit, 231 ... disparity vector extraction unit, 232 ... disparity information extraction unit, 233 ... CC decoder, 234 ... stereoscopic image closed caption generation unit, 235 ... disparity information extraction unit, 236 ... CC decoder, 237 ... disparity vector detection unit, 300 ... TV receiver, 301 ... 3D signal processing unit, 302 ... HDMI terminal, 303 ... HDMI reception unit, 304 .. Antenna terminal, 305... Digital tuner, 306... Bit stream processing unit, 307 ..Video signal processing circuit, 308... Panel drive circuit, 309... Display panel, 310... Audio signal processing circuit, 311. 322 ... Flash ROM, 323 ... DRAM, 324 ... Internal bus, 325 ... Remote control receiver, 326 ... Remote control transmitter, 400 ... HDMI cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】クローズド・キャプション表示等において画像内の各物体との間の遠近感の整合性を維持する。 【解決手段】ビデオフレーミング部１１２は、左眼画像データおよび右眼画像データを、伝送方式に応じた状態に加工して、送信用立体画像データを得る。ＣＣエンコーダ１２７は、クローズド・キャプションデータ（ＣＣデータ）を出力する。Ｚデータ部１２８は、クローズド・キャプション情報等の重畳情報のデータ毎に、対応付けされた視差情報を出力する。この対応付けをRegion_idを用いて行う。ＣＣデータおよび視差情報をビデオエンコーダ１１３のストリームフォーマッタ１１３ａに送り、ビデオのストリームに、ユーザデータとして埋め込こんで送信する。受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。

Description

立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
　この発明は、立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置に関し、特に、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。
　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
　図５４は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
特開２００５－６１１４号公報
　上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
　例えば、画像にクローズド・キャプション情報あるいはサブタイトル情報である字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
　この発明の目的は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
　この発明の概念は、
　左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力部と、
　上記符号化部で得られた符号化ビデオデータ、上記重畳情報データ発生部で発生された重畳情報データおよび上記視差情報出力部から出力された視差情報を送信する送信部と
　を備える立体画像データ送信装置にある。
　この発明において、符号化部により、左眼画像データおよび右眼画像データを含む立体画像データに対して符号化が行われて符号化ビデオデータが得られる。例えば、符号化部では、ＭＰＥＧ２、Ｈ．２６４　ＡＶＣあるいはＶＣ－１等の符号化方式で、符号化が行われる。
　また、重畳情報データ発生部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが発生される。ここで、重畳情報は、字幕を表示するクローズド・キャプション情報、サブタイトル情報、ロゴ等のグラフィクスを表示するグラフィクス情報、電子番組表（ＥＰＧ：Electronic Program Guide）、文字放送内容等を表示するテキスト情報など、画像に重畳表示される情報を意味している。
　また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報に視差を付与するための視差情報が出力される。例えば、重畳情報データ発生部で発生される各重畳情報データには識別子が付加されており、視差情報出力部から出力される各重畳情報データの視差情報には、対応する重畳情報データに付与されている識別子に対応した識別子が付加される。このように重畳情報データおよび視差情報のそれぞれに識別子が付加されることで、重畳情報データと視差情報との対応付けが可能となる。ここで、対応した識別子とは、同じ識別子、あるいは関連付けされている識別子を意味する。
　例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、左眼画像データおよび右眼画像データによる画像の内容に応じて、視差情報を決定する視差情報決定部を有し、この視差情報決定部で決定された視差情報を出力する、ようにされる。この場合、例えば、視差情報決定部は、左眼画像データおよび右眼画像データに基づき、画像内の複数の位置において、左眼画像および右眼画像の一方に対する他方の視差情報を検出する視差情報検出部を有し、重畳情報データ毎に、この視差情報検出部で検出された複数の視差情報のうち重畳位置に対応した検出位置で検出された視差情報に決定する、ようにされる。
　また、例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、視差情報を設定する視差情報設定部を有し、この視差情報設定部で設定された視差情報を出力する、ようにされる。視差情報設定部では、例えば、所定のプログラム処理により、またはユーザのマニュアル操作により、重畳情報データ毎に視差情報の設定が行われる。例えば、重畳位置に応じて異なる視差情報が設定され、あるいは重畳位置によらずに共通の視差情報が設定され、あるいは重畳情報の種類別に異なる視差情報が設定される。ここで、重畳情報の種類とは、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の種類である。また、この重畳情報の種類とは、例えば、重畳位置や重畳継続時間等により区分けされる種類である。
　また、例えば、視差情報出力部は、重畳情報データ発生部で発生される重畳情報データ毎に、左眼画像データおよび右眼画像データによる画像の内容に応じて、視差情報を決定する視差情報決定部と、重畳情報データ発生部で発生される重畳情報データ毎に、視差情報を設定する視差情報設定部とを有し、視差情報決定部で決定された視差情報または視差情報設定部で設定された視差情報を選択的に出力する、ようにされる。
　また、送信部により、符号化部で得られた符号化ビデオデータ、重畳情報データ発生部で発生された重畳情報データおよび視差情報出力部から出力された視差情報が送信される。例えば、視差情報出力部で出力された視差情報は、符号化部で得られた符号化ビデオデータをペイロード部に含むビデオエレメンタリーストリームのヘッダ部のユーザデータ領域に含めて送信される。また、例えば、重畳情報の重畳位置を示す情報および重畳情報の表示時間を示す情報のいずれかまたは両方が、視差情報に付加して送信される。視差情報に重畳位置および表示時間を示す情報を付加して送信することで、例えば、重畳情報データにそれらの情報を付加して送信しなくてもよくなる。
　このように、この発明においては、左眼画像データおよび右眼画像データを含む立体画像データを符号化して得られた符号化ビデオデータと共に、重畳情報データおよび視差情報が送信される。そのため、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
　また、この発明の概念は、
　左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って得られた符号化ビデオデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報とを受信する受信部と、
　上記受信部で受信された上記符号化ビデオデータに対して復号化を行って上記立体画像データを得る復号化部と、
　上記受信部で受信された上記視差情報に基づいて、上記復号化部で得られた立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記受信部で受信された上記重畳情報データによる同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
　を備える立体画像データ受信装置にある。
　この発明においては、受信部により、左眼画像データおよび右眼画像データを含む立体画像データを符号化して得られた符号化ビデオデータと共に、重畳情報データおよび視差情報が送信される。そして、復号化部により、受信部で受信された符号化ビデオデータに対して復号化が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。
　また、画像データ処理部により、復号化部で得られた立体画像データに含まれる左眼画像データと、受信部で受信された重畳情報データに基づいて、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。この場合、受信部で受信された視差情報に基づいて、左眼画像データおよび右眼画像データによる画像に重畳される重畳画像には、視差が付与される。そのため、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
　この発明によれば、立体画像データの受信側で、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報の表示において遠近感の整合性を維持することが可能となる。
この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。 視差ベクトルの伝送内容を示す図である。 視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 視差ベクトルを検出して伝送するタイミングの例を説明するための図である。 送信データ生成部において多重化される各データのストリーム例を示す図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。 伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 「Location」、「Region大きさ」の情報を説明するための図である。 重畳情報毎の視差情報を出力するＺデータ部の構成例を示すブロック図である。 ビデオエレメンタリーストリームの構造例を概略的に示す図である。 ＭＰＥＧ２、Ｈ．２６４　ＡＶＣ、ＶＣ－１の各符号化方式におけるユーザデータの構成例を示す図である。 視差情報（視差ベクトル）を含む「user_structure」の構成例を示す図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 放送局における送信データ生成部の他の構成例を示すブロック図である。 伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。 左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。 時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。 視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。 画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。 ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。 ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。 ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。 第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示す図である。 第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示す図である。 第３の伝送方式（「Frame Sequential」方式）のＴＭＤＳ伝送データ例を示す図である。 ＨＤＭＩ 1.4（New HDMI）での「FrameSequential」方式と、ＨＤＭＩ 1.3（LegacyHDMI）での「Frame Sequential」方式を説明するための図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。 立体画像表示システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［立体画像送受信システムの構成例］
　図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
　セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
　［放送局の説明］
　放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。
　「送信データ生成部の構成例」
　図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７を有している。さらに、この送信データ生成部１１０は、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。
　カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
　［立体画像データの伝送方式例］
　ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１～第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
　第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
　第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
　第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
　図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３により、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。
　視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。
　［視差ベクトルの検出］
　視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
　（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
　この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)－Ｒ(x,y)｜で表される。
　右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１～Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′－xi，yi′－yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
　図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
　図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。
　なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるサブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
　例えば、図９（ａ）に示すように、Ａ～Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ～ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
　ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１～第４の例が考えられる。
　第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
　第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
　図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
　サブタイトル・グラフィクス発生部１１８は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。
　このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
　サブタイトル・グラフィクスエンコーダ１１９は、サブタイトル・グラフィクス発生部１１８で発生されたサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を入力する。そして、このサブタイトル・グラフィクスエンコーダ１１９は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
　テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
　テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを入力する。そして、テキストエンコーダ１２１は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
　マルチプレクサ１２２は、エンコーダ１１３，１１５，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
　図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）～（ｃ）参照）。
　ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
　また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
　視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
　また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
　また、サブタイトル・グラフィクス発生部１１８では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）が発生される。このデータ（ビットマップデータ）は、サブタイトル・グラフィクスエンコーダ１１９に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
　また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
　マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
　図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
　「送信データ生成部の他の構成例」
　なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
　この送信データ生成部１１０Ａにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
　詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
　「送信データ生成部の他の構成例」
　また、上述の図２に示す送信データ生成部１１０および上述の図１３に示す送信データ生成部１１０Ａは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信する。
　例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。
　図１４（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
　各画像ＩＬ，ＩＲに対して、図１４（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１４（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
　例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ｂ）に示すように、別領域のデータとして生成される。
　図１６（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
　各画像ＩＬ，ＩＲに対して、図１６（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１６（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
　例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１７に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
　図１８は、送信データ生成部１１０Ｂの構成例を示している。この送信データ生成部１１０Ｂは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに視差情報を反映させて送信する構成となっている。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
　この送信データ生成部１１０Ｂでは、サブタイトル・グラフィクス発生部１１８とサブタイトル・グラフィクスエンコーダ１１９との間に、サブタイトル・グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｂでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
　サブタイトル・グラフィクス処理部１２４では、左眼画像ＩＬ、右眼画像ＩＲに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報ＬＧＩ，ＲＧＩのデータが生成される。この場合、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１４（ａ）、図１６（ａ）参照）。
　このようにサブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ１１９に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、サブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。
　また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
　このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
　詳細説明は省略するが、この図１８に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
　「送信データ生成部の他の構成例」
　図２に示す送信データ生成部１１０は、視差ベクトル検出部１１４で検出された視差ベクトルに基づく伝送内容（図８参照）を、重畳情報データの個々に対応させることなく、そのまま受信側に伝送する構成となっている。しかし、重畳情報データ毎に対応付けされた視差情報を伝送することも考えられる。
　図１９は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、重畳情報データ毎に対応付けされた視差情報を伝送する構成となっている。この図１９において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ｃは、コントローラ１２６と、ＣＣ（Closed Caption）エンコーダ１２７と、Ｚデータ部１２８を有している。
　ＣＣエンコーダ１２７は、ＣＥＡ－７０８準拠のエンコーダであって、クローズド・キャプションの字幕表示をするためのＣＣデータ（クローズド・キャプション情報のデータ）を出力する。コントローラ１２６は、このＣＣエンコーダ１２７を制御する。例えば、コントローラ１２６からＣＣエンコーダ１２７に、「Region_ID（WindowID）」、「Location（AnchorID）」、「Region大きさ（SetPenAttribute）」の情報セットが与えられる。
　ここで、「Location（AnchorID）」の情報は、図２０に示すように、「Region_ID（WindowID）」で識別されるクローズド・キャプションの字幕表示を画像（Picture）のどの位置に表示するかを示す。また、「Region大きさ（SetPenAttribute）」の情報は、図２０に示すように、「Region_ID（WindowID）」で識別されるクローズド・キャプションの字幕表示を行う領域の大きさを示す。
　Ｚデータ部１２８は、重畳情報データ毎に対応付けされた視差情報（視差ベクトル）を出力する。すなわち、このＺデータ部１２８は、クローズド・キャプション情報に関しては、ＣＣエンコーダ１２７から出力されるＣＣデータに含まれるWindowID毎に、対応付けされた視差情報を出力する。また、このＺデータ部１２８は、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報に関しても、重畳情報データ毎に対応付けされた視差情報を出力する。
　図２１は、Ｚデータ部１２８の構成例を示している。Ｚデータ部１２８は、コントローラ１２６によって指定される Region_id 毎に視差情報を出力する。ここで、 Region_id について説明する。このRegion_idは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報などの各重畳情報と視差情報との対応付けを行うための識別子となる。
　例えば、Region_idの０～７は、ＣＥＡ－７０８規定のＣＣデータのWindow０～７に対応した視差情報を識別するために割り当てられる。また、Region_idの８～１５は、将来の拡張用にリザーブされる。また、Region_idの１６以降は、クローズド・キャプション情報以外の他の重畳情報（サブタイトル情報、グラフィクス情報、テキスト情報など）に対応した視差情報を識別するために割り当てられる。
　なお、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータ、およびテキスト発生部１２０で発生されるテキストデータには、上述のRegion_idに対応した識別子が付与されている。ここで、Region_idに対応した識別子とは、このRegion_idと同じ識別子、あるいはこのRegion_idに関連付けされている識別子を意味する。これにより、受信側で、サブタイトル情報、グラフィクス情報、テキスト情報の各重畳情報と、その重畳情報に対して使用すべき視差情報との対応付けが可能となる。
　Ｚデータ部１２８は、上述したようにRegion_id毎に視差情報を出力する。Ｚデータ部１２８は、例えば、ユーザ操作に基づくコントローラ１２６の切り換え制御により、決定視差ベクトルまたは設定視差ベクトルを、視差情報として選択的に出力する。決定視差ベクトルは、視差ベクトル検出部１１４で検出された複数個の視差ベクトルに基づいて決定された視差ベクトルである。設定視差ベクトルは、例えば、所定のプログラム処理、またはユーザのマニュアル操作によって設定された視差ベクトルである。
　最初に、決定視差ベクトルを視差情報として出力する場合について説明する。この場合、クローズド・キャプション情報に関連して、コントローラ１２６からＺデータ部１２８に、上述した「Region_ID（WindowID）」、「Location（AnchorID）」、「Region大きさ（SetPenAttribute）」の情報セットが供給される。また、サブタイトル情報、グラフィクス情報、テキスト情報などの各重畳情報に関連して、コントローラ１２６からＺデータ部１２８に、「Region_ID」、「Location」、「Region大きさ」の情報セットが供給される。
　また、視差ベクトル検出部１１４からＺデータ部１１４に、複数個、ここではＮ個の視差ベクトルＤｖ０～ＤｖＮが入力される。このＮ個の視差ベクトルＤｖ０～ＤｖＮは、視差ベクトル検出部１１４において、左眼画像データおよび右眼画像データに基づいて、画像内のＮ個の位置で検出された視差ベクトルである。
　Ｚデータ部１２８は、Region_id毎に、Ｎ個の視差ベクトルＤｖ０～ＤｖＮから、「Location」および「Region大きさ」の情報で決定される重畳情報の表示領域に関連する視差ベクトルを抽出する。例えば、表示領域に関連する視差ベクトルとしては、検出位置が表示領域内にある一つまたは複数の視差ベクトルが存在するときは、その視差ベクトルが選択される。また、例えば、表示領域に関連する視差ベクトルとしては、検出位置が表示領域内にある一つまたは複数の視差ベクトルが存在しないときは、表示領域の近傍に位置する一つまたは複数の視差ベクトルが選択される。図示の例では、表示領域に関連する視差ベクトルとして、Ｄｖ２～Ｄｖｎが選択されている。
　そして、Ｚデータ部１２８は、表示領域に関連する視差ベクトルから、例えば、符号付きの値が最大のものを選択して、決定視差ベクトルＤｚＤとする。上述したように、視差ベクトルは、垂直方向成分（View_Vector_Vertical）と水平方向成分（View_Vector_Horizontal）からなっているが、ここでの符号付きの値としては、例えば水平方向成分の値だけが用いられる。受信側において、左眼画像および右眼画像に重畳するクローズド・キャプション情報等の重畳情報を視差情報に基づいて水平方向にずらす処理を行うものであり、水平方向成分が重要だからである。
　なお、上述したようにRegion_id毎に決定された決定視差ベクトルＤｚＤには、クローズド・キャプション情報以外の他の重畳情報に対応するものにあっては、コントローラ１２６の制御により、重畳位置を示す情報と表示時間を示す情報が付加される。重畳位置を示す情報は、例えば、垂直方向位置情報（Vertical_Position）および水平方向位置情報（Horizontal_Position）である。また、表示時間を示す情報は、例えば、表示継続時間に対応したフレーム数情報（Duration_Counter）である。クローズド・キャプション情報の場合には、ＣＣデータ内に重畳位置および表示時間の制御データが含まれているので、これらの情報を別途送る必要はない。
　次に、設定視差ベクトルを視差情報として出力する場合について説明する。この場合、コントローラ１２６は、所定のプログラム処理、またはユーザのマニュアル操作によって、Region_id毎に視差ベクトルを設定する。例えば、重畳情報の重畳位置に応じて異なる視差ベクトルを設定し、あるいは重畳位置によらずに共通の視差情報を設定し、あるいは重畳情報の種類別に異なる視差情報を設定する。Ｚデータ部１２８は、このように設定されたRegion_id毎の視差ベクトルを、設定視差ベクトルＤｚＤ′とする。ここで、重畳情報の種類とは、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の種類である。また、この重畳情報の種類とは、例えば、重畳位置や重畳継続時間等により区分けされる種類である。
　なお、コントローラ１２６によりRegion_id毎に設定される視差ベクトルは、実質的には水平方向成分のみを設定すればよい。これは、上述したように、受信側において、左眼画像および右眼画像に重畳するクローズド・キャプション情報等の重畳情報を視差情報に基づいて水平方向にずらす処理を行うものであり、水平方向成分が重要だからである。また、この設定視差ベクトルＤｚＤ′にも、上述した決定視差ベクトルＤｚＤと同様に、クローズド・キャプション情報以外の他の重畳情報に対応するものにあっては、コントローラ１２６の制御により、重畳位置を示す情報と表示時間を示す情報が付加される。
　図１９に戻って、ＣＣエンコーダ１２７から出力されるＣＣデータおよびＺデータ部１２８から出力される視差情報（ＤｚＤ／ＤｚＤ′、必要に応じて重畳位置情報、表示時間情報を含む）は、ビデオエンコーダ１１３のストリームフォーマッタ１１３ａに送られる。ストリームフォーマッタ１１３ａでは、ビデオエレメンタリーストリームに、ＣＣデータおよび視差情報がユーザデータとして埋め込まれる。
　図２２は、ビデオエレメンタリーストリーム（Video Elementary Stream）の構造例を概略的に示している。ビデオエレメンタリーストリームには、先頭に、シーケンス単位のパラメータを含むシーケンスヘッダ部が配置されている。このシーケンスヘッダ部に続いて、ピクチャ単位のパラメータおよびユーザデータを含むピクチャヘッダが配置されている。このピクチャヘッダ部に続いてピクチャーデータを含むペイロード部が配置される。以下、ピクチャヘッダ部およびペイロード部が繰り返し配置されている。
　上述したようにＣＣデータおよび視差情報は、ピクチャヘッダ部のユーザデータ領域に埋め込まれる。図２３は、ユーザデータの構成例を示している。図２３（ａ）は、符号化方式がＭＰＥＧ２である場合のユーザデータの構成を示している。図２３（ｂ）は、符号化方式がＨ．２６４　ＡＶＣ（ＭＰＥＧ４－ＡＶＣ）である場合のユーザデータの構成を示している。さらに、図２３（ｃ）は、符号化方式がＶＣ－１である場合のユーザデータの構成を示している。
　詳細説明は省略するが、各方式のユーザデータの構成はほぼ同様の構成となっている。すなわち、最初に、ユーザデータの開始を示すコードが配置され、その後に、データの種類を示す識別子「user_identifier」が配置され、さらにその後に、データ本体「user_structure」が配置されている。
　図２４は、「user_structure」の構成例を示している。「Data_Length」は、この「user_structure」のデータサイズを示す。「Page_id」は、データグループＩＤとして字幕言語識別に利用される場合もあるが、字幕データのパターンに対応するもので、この「user_structure」のページを識別する識別子である。「Number_of_ViewBlocksN」は、この「user_structure」に、Ｎ個のRegion_idの視差情報等が含まれていることを示す。
　「ID_Block(i)」は、Region_id(i)を示す。「2D_object_posion_flag」は、ID_Block(i)の情報として含まれている重畳位置情報（２Ｄ用の重畳情報の表示位置の情報）を参照するか否かを示すフラグである。このフラグが立っている場合には、この重畳位置情報を参照することを示す。この場合、ID_Block(i)の情報として、重畳位置情報（「Vertical_Position」、「Horizontal_Position」）が含まれる。「Vertical_Position」は、２Ｄ用の重畳情報の垂直方向位置を示す。「Horizontal_Position」は、２Ｄ用の重畳情報の水平方向位置を示す。
　上述のＣＣエンコーダ１２７から出力されるＣＣデータ内に重畳位置の制御データが含まれている。そのため、例えば、ID_Block(i)がクローズド・キャプション情報に対応している場合、「2D_object_posion_flag」は立っていない。そして、ID_Block(i)の情報として重畳位置情報（「Vertical_Position」、「Horizontal_Position」）は、含まれない。
　「3D_disparity_flag」は、ID_Block(i)の情報として、視差情報（視差ベクトル）が含まれているか否かを示す。このフラグが立っている場合には、視差情報が含まれていることを示す。「View_Vector_Vertical」は、視差ベクトルの垂直方向成分を示す。「View_Vector_Horizontal」は、視差ベクトルの水平方向成分を示す。なお、この例では、「View_Vector_Vertical」および「View_Vector_Horizontal」の双方が含まれている。しかし、水平方向成分だけを使用するときには、「View_Vector_Horizontal」だけが含まれるようにしてもよい。
　「Status_Count_flag」は、ID_Block(i)の情報として、重畳情報の表示時間情報を参照するか否かを示すフラグである。このフラグが立っている場合には、表示時間情報を参照することを示す。この場合、ID_Block(i)の情報として、例えば、表示継続時間に対応したフレーム数を示す情報「Duration_Counter」が含まれる。受信側において、重畳情報の表示はシステムレイヤのタイムスタンプで開始されるが、この表示継続時間に対応したフレーム数の経過後に、重畳情報の表示（視差情報による効果を含む）がリセットされる。これにより、同じ情報をピクチャ毎に繰り返し送る必要はなくなる。
　上述のＣＣエンコーダ１２７から出力されるＣＣデータ内に表示時間の制御データが含まれている。そのため、ID_Block(i)がクローズド・キャプション情報に対応している場合、「Status_Count_flag」は立っておらず、ID_Block(i)の情報として情報「Duration_Counter」は含まれない。
　詳細説明は省略するが、この図１９に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
　「送信データ生成部の他の構成例」
　図１９に示す送信データ生成部１１０Ｃは、Ｚデータ部１２８からの視差情報をビデオエレメンタリーストリームにユーザデータとして埋め込まれて伝送される。しかし、このＺデータ部１２８からの視差情報を独立したエレメンタリーストリームとして受信側に伝送することも考えられる。
　図２５は、送信データ生成部１１０Ｄの構成例を示している。この図２５において、図１９と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ｄは、視差情報エンコーダ１２９を有している。Ｚデータ部１２８から出力されるRegion_id毎の視差情報（ＤｚＤ／ＤｚＤ′、必要に応じて位置情報、時間情報を含む）は、視差情報エンコーダ１２９に送られる。
　この視差情報エンコーダ１２９では、視差情報を含む視差情報エレメンタリーストリームが生成される。この視差情報エレメンタリーストリームはマルチプレクサ１２２に供給される。そして、マルチプレクサ１２２では、視差情報エンコーダ１２９を含む各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
　詳細説明は省略するが、この図２５に示す送信データ生成部１１０Ｄのその他は、図１９に示す送信データ生成部１１０と同様に構成され、同様に動作する。
　「送信データ生成部の他の構成例」
　図１８に示す送信データ生成部１１０Ｂは、重畳情報としてサブタイトル情報、グラフィクス情報およびテキスト情報を扱っている。この図１８に示す送信データ生成部１１０Ｂと同様の構成で、さらにクローズド・キャプション情報を扱う構成も考えられる。
　図２６は、送信データ生成部１１０Ｅの構成例を示している。この例は、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに視差情報を反映させて伝送する構成となっている。この図２６において、図１８および図１９と対応する部分には同一符号を付し、その詳細説明は省略する。
　この図２６の送信データ生成部において、ＣＣエンコーダ１２７とストリームフォーマッタ１１３ａとの間に、ＣＣデータ処理部１３０が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、ＣＣデータ処理部１３０に供給される。
　ＣＣデータ処理部１３０では、ＣＣエンコーダ１２７で発生されるＣＣデータに基づいて、左眼画像上に重畳される左眼クローズド・キャプション情報のデータおよび右眼画像上に重畳される右眼クローズド・キャプション情報のデータが生成される。この場合、左眼クローズキャプション情報および右眼クローズキャプション情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼クローズド・キャプション情報に対して、右眼クローズド・キャプション情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
　このようにＣＣデータ処理部１３０で処理された後のＣＣデータは、ビデオエンコーダ１１３のストリームフォーマッタ１１３ａに供給される。ストリームフォーマッタ１１３ａでは、ＣＣデータ処理部１３０からのＣＣデータがビデオエレメンタリーストリームにユーザデータとして埋め込まれる。
　詳細説明は省略するが、この図２６に示す送信データ生成部１１０Ｅのその他は、図１８に示す送信データ生成部１１０Ｂと同様に構成され、同様に動作する。
　［セットトップボックスの説明］
　図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えばクローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。
　セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（サブタイトルデータ、グラフィクスデータ、テキストデータ、ＣＣ（Closed Caption）データ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
　ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　図２７（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
　ビットストリーム処理部２０１では、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図２７（ａ）に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図２７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
　なお、図２８（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２８（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
　図２７は、グラフィクス情報の場合を示したが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報、テキスト情報など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図２９（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
　時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
　このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
　図３０（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３０（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
　図３１（ａ）は、図３０（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。図３１（ｂ）は、字幕を表示するための左眼サブタイトル情報ＬＧＩと、右眼サブタイトル情報ＲＧＩを示している。図３１（ｃ）は、字幕が最も近くにあるように認識されるために、各サブタイトル情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
　また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することが考えられる。図３２（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
　図３２（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
　図３２（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
　上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
　その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
　図３３（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図３３（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
　なお、図３２は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図３３は、畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報など）の場合も同様である。
　次に、視差ベクトルが、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
　そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、クローズド・キャプションデータやテキストデータに関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
　［セットトップボックスの構成例］
　セットトップボックス２００の構成例を説明する。図３４は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
　アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
　ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
　映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
　ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
　ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
　リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
　セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
　デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータが合成され、表示用立体画像データが生成される。
　ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
　「ビットストリーム処理部の構成例」
　図３５は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、サブタイトル・グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用サブタイトル・グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
　デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。
　ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）～（ｃ）参照）。
　サブタイトル・グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のサブタイトル・グラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ２２２は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。
　テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータを得る。
　オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
　視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
　立体画像用サブタイトル・グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部２２６は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）を出力する。
　立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
　ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
　マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
　視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
　図３６は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
　図３５に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３４参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのパケットが抽出され、各デコーダに供給される。
　ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８参照）。
　サブタイトル・グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ２２２では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部２２６に供給される。この立体画像用サブタイトル・グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
　この立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部２２６からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）が出力される。
　また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
　この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
　ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図３４参照）に、送信画像データとして供給される。
　また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
　このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図３４参照）に、送信音声データとして供給される。
　「ビットストリーム処理部の他の構成例」
　図３７に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図３７において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。
　このビットストリーム処理部２０１Ａは、図３５に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
　詳細説明は省略するが、この図３７に示すビットストリーム処理部２０１Ａのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
　「ビットストリーム処理部の他の構成例」
　また、図３８に示すビットストリーム処理部２０１Ｂは、上述の図１８に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図３８において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。
　このビットストリーム処理部２０１Ｂは、図３５に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。
　送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。
　なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
　「ビットストリーム処理部の他の構成例」
　また、図３９に示すビットストリーム処理部２０１Ｃは、上述の図１９に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図３９において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。
　このビットストリーム処理部２０１Ｃは、視差情報取り出し部２３２、ＣＣデコーダ２３３および立体画像用クローズド・キャプション発生部２３４を有している。上述したように、図１９に示す送信データ生成部１１０Ｃのビデオエンコーダ１１３から出力されるビデオエレメンタリーストリームには、ＣＣ（クローズド・キャプション）データおよびRegion_id毎の視差情報が、ユーザデータとして埋め込まれている。
　視差情報取り出し部２３２では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからRegion_id毎の視差情報が取り出される。視差情報取り出し部２３２から立体画像用クローズド・キャプション発生部２３４には、取り出されたRegion_id毎の視差情報のうち、クローズド・キャプション情報に対応した視差情報（重畳位置情報、表示時間情報を含まない）が供給される。
　また、視差情報取り出し部２３２から立体画像用サブタイトル・グラフィクス発生部２２６には、取り出されたRegion_id毎の視差情報のうち、サブタイトル情報やグラフィクス情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。さらに、視差情報取り出し部２３２から立体画像用テキスト発生部２２７には、取り出されたRegion_id毎の視差情報のうち、テキスト情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。
　ＣＣデコーダ２３３では、ビデオデコーダ２３３を通じて得られるビデオエレメンタリーストリームからＣＣデータ（クローズド・キャプションデータ）が取り出される。さらに、ＣＣデコーダ２３３では、このＣＣデータからWindow毎にクローズド・キャプションデータ（字幕のキャラクタコード）、さらには重畳位置および表示時間の制御データが取得される。そして、このＣＣデコーダ２３３から立体画像用クローズド・キャプション発生部２３４に、クローズド・キャプションデータと、重畳位置および表示時間の制御データが供給される。
　立体画像用クローズド・キャプション発生部２３４では、Window毎に、左眼画像、右眼画像にそれぞれ重畳する左眼クローズド・キャプション情報（字幕）、右眼クローズド・キャプション情報（字幕）のデータが生成される。この生成処理は、ＣＣデコーダ２３３で得られたクローズド・キャプションデータおよび重畳位置制御データと、視差情報取り出し部２３２から供給された視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および右眼のクローズド・キャプション情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼クローズド・キャプション情報に対して、右眼クローズド・キャプション情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　このように、立体画像用クローズド・キャプション発生部２３４でWindow毎に生成された左眼および右眼のクローズド・キャプション情報のデータ（ビットマップデータ）は、表示時間の制御データと共に、ビデオ重畳部２２８に供給される。
　また、立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のサブタイトル情報やグラフィクス情報が生成される。この生成処理は、サブタイトル・グラフィクスデコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、視差情報取り出し部２３２から供給される視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　このように、立体画像用サブタイトル・グラフィクス発生部２３４で生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）は、表示時間情報（フレーム数情報）と共に、ビデオ重畳部２２８に供給される。
　また、立体画像用テキスト発生部２２７では、左眼画像および右眼画像にそれぞれ重畳する左眼および左眼のテキスト情報が生成される。この生成処理は、テキストデコーダ２２３で得られたテキストデータと、視差情報取り出し部２３２から供給される視差情報（視差ベクトル）に基づいて行われる。この場合、左眼および左眼のテキスト情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のテキスト情報に対して、右眼のテキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
　このように、立体画像用テキスト発生部２２７で生成された左眼および右眼のテキスト情報のデータ（ビットマップデータ）は、表示時間情報（フレーム数情報）と共に、ビデオ重畳部２２８に供給される。
　ビデオ重畳部２２８では、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、各デコーダから供給される重畳情報データが重畳され、表示用立体画像データＶoutが得られる。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。また、その重畳継続時間は、クローズド・キャプション情報に関しては表示時間の制御データに基づいて、サブタイトル情報、グラフィクス情報、テキスト情報等に関しては表示時間情報に基づいて制御される。
　詳細説明は省略するが、この図３９に示すビットストリーム処理部２０１Ｃのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
　「ビットストリーム処理部の他の構成例」
　また、図４０に示すビットストリーム処理部２０１Ｄは、上述の図２５に示す送信データ生成部１１０Ｄに対応させた構成となっている。この図４０において、図３５および図９と対応する部分には同一符号を付し、その詳細説明は省略する。
　ビットストリーム処理部２０１Ｄは、視差情報デコーダ２３５を有している。図２５に示す送信データ生成部１１０Ｄでは、視差情報エンコーダ１２９によりＺデータ部１２８から視差情報を含む視差情報エレメンタリーストリームが生成される。そして、マルチプレクサ１２２では、視差情報エンコーダ１２９を含む各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
　視差情報デコーダ２３５には、デマルチプレクサ２２０で抽出された視差情報のパケットから視差情報のエレメンタリーストリームが再構成され、さらに復号化処理が行われて、Region_id毎の視差情報が得られる。この視差情報は、図３９のビットストリーム処理部２０１Ｃの視差情報取り出し部２３２で取り出される視差情報と同じものである。
　この視差情報デコーダ２３５では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからRegion_id毎の視差情報が取り出される。視差情報デコーダ２３５から立体画像用クローズド・キャプション発生部２３４には、取り出されたRegion_id毎の視差情報のうち、クローズド・キャプション情報に対応した視差情報（重畳位置情報、表示時間情報を含まない）が供給される。
　また、視差情報デコーダ２３５から立体画像用サブタイトル・グラフィクス発生部２２６には、取り出されたRegion_id毎の視差情報のうち、サブタイトル情報やグラフィクス情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。さらに、視差情報デコーダ２３５から立体画像用テキスト発生部２２７には、取り出されたRegion_id毎の視差情報のうち、テキスト情報に対応した視差情報（重畳位置情報、表示時間情報を含む）が供給される。
　詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ｄのその他は、図３９に示すビットストリーム処理部２０１Ｃと同様に構成され、同様の動作をする。
　「ビットストリーム処理部の他の構成例」
　また、図４１に示すビットストリーム処理部２０１Ｅは、上述の図２６に示す送信データ生成部１１０Ｅに対応させた構成となっている。この図４１において、図３５および図３８と対応する部分には同一符号を付し、その詳細説明は省略する。
　このビットストリーム処理部２０１Ｅは、ＣＣデコーダ２３６を有している。図２６に示す送信データ生成部１１０ＥのＣＣデータ処理部１３０では、ＣＣデータに基づいて、左眼画像上に重畳される左眼クローズド・キャプション情報のデータおよび右眼画像上に重畳される右眼クローズド・キャプション情報のデータが生成されている。そして、ＣＣデータ処理部１３０で処理された後のＣＣデータがビデオエンコーダ１１３のストリームフォーマッタ１１３ａに供給され、ビデオのストリームにユーザデータとして埋め込まれている。
　ＣＣデコーダ２３６では、ビデオデコーダ２２１を通じて得られるビデオエレメンタリーストリームからＣＣデータが取り出され、さらに、このＣＣデータからWindow毎に左眼および右眼のクローズド・キャプション情報のデータが取得される。そして、このＣＣデコーダ２３６で取得される左眼および右眼のクローズド・キャプション情報のデータは、ビデオ重畳部２２８に供給される。
　ビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、ＣＣデコーダ２３６、サブタイトル・グラフィクスデコーダ２２２およびテキストデコーダ２２３で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。
　詳細説明は省略するが、この図４１に示すビットストリーム処理部２０１Ｅのその他は、図３８に示すビットストリーム処理部２０１Ｂと同様に構成され、同様に動作する。
　［テレビ受信機の説明］
　図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１８、図１９、図２５、図２６に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ，１１０Ｅにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
　［テレビ受信機の構成例］
　テレビ受信機３００の構成例を説明する。図４２は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。また、このテレビ受信機３００は、映像信号処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
　アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
　ビットストリーム処理部３０６は、図３４に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等を抽出する。重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。そして、このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
　ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データ（立体画像データ）および音声データを受信する。このＨＤＭＩ受信部３０３の詳細は後述する。３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
　映像信号処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像信号処理回路は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像信号処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
　音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
　ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
　リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
　図４２に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
　アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
　デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
　ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
　３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像信号処理部回路３０７に供給される。この映像信号処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成される。そのため、表示パネル３０９により立体画像が表示される。
　また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から音声が出力される。
　［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
　図４３は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
　ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
　ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
　ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
　また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
　さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
　ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
　すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
　ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２の他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。このＤＤＣ８３は、ＨＤＭＩ送信部２０６がＨＤＭＩ受信部３０３から、Ｅ－ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
　すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ－ＥＤＩＤを記憶している、ＥＤＩＤ　ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３４参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、当該ＨＤＭＩ受信部３０３のＥ－ＥＤＩＤを、ＤＤＣ８３を介して読み出す。ＨＤＭＩ送信部２０６は、読み出したＥ－ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ－ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。
　ＣＰＵ２１１は、Ｅ－ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が対応可能な画像データのフォーマット（解像度、フレームレート、アスペクト等）を認識する。
　ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
　また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン８７が含まれている。さらに、ＨＤＭＩケーブル４００には、リザーブライン８８が含まれている。
　図４４は、図４３のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
　また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
　エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
　また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
　エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
　また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
　エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
　また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
　ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
　すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
　リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
　リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
　図４５は、ＴＭＤＳ伝送データの構造例を示している。この図４５は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
　ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
　ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
　ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
　データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
　コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
　図４６は、ＨＤＭＩ端子２１１，２５１のピン配列の一例を示している。図４６に示すピン配列はタイプＡ（type-A）と呼ばれている。
　ＴＭＤＳチャネル＃ｉの差動信号を伝送する差動線である２本のラインは、ＴＭＤＳ　Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ　Ｄａｔａ＃ｉ－が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
　また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、Ｅ－ＥＤＩＤ等のＳＤＡ(SerialData)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。また、ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
　また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン８６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
　［立体画像データの各方式におけるＴＭＤＳ伝送データ例］
　ここで、立体画像データの各方式におけるＴＭＤＳ伝送データ例を説明する。図４７は、第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第１の方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが１／２に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。
　図４８は、第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第２の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。
　図４９は、第３の伝送方式（「Frame Sequential」方式）におけるＴＭＤＳ伝送データ例を示している。この場合、奇数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の左眼（Ｌ）画像データが配置される。また、偶数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の右眼（Ｒ）画像データが配置される。
　なお、図４９に示す「Frame Sequential」方式におけるＴＭＤＳ伝送データ例は、ＨＤＭＩ 1.4（New HDMI）での「Frame Sequential」方式を示している。この場合、図５０（ａ）に示すように、各フレーム期間Ｖfreqにおいて、奇数フィールドに左眼画像データが配置され、偶数フィールドに右眼画像データが配置されている。
　しかし、ＨＤＭＩ 1.3（Legacy HDMI）での「FrameSequential」方式の場合には、図５０（ｂ）に示すように、フレーム期間Ｖfreq毎に、左眼画像データと右眼画像データとは交互に伝送される。この場合、フレーム毎に伝送される画像データが左眼画像データ、右眼画像データのいずれであるかを示す情報（Ｌ，Ｒのsignaling情報）を、ソース機器はシンク機器に送ることが必要となる。
　「Top& Bottom」方式、「Side By Side」方式、「Frame Sequential」方式の立体画像データをシンク機器に送信する場合、ソース機器側で方式を指定する。さらに、「Frame Sequential」方式の場合には、Ｌ，Ｒをフレーム毎にsignalingする。
　例えば、以下のシンタクスをLegacy ＨＤＭＩ仕様のブランキングに定義されているVendor Specific、あるいはAVI InfoFrame、もしくはReservedの一つを新規定義して、伝送する。
　ＨＤＭＩ 1.3の場合、ブランキング期間で送る情報としては、次のものが定義されている。
InfoFrameType #　(8bits)　 
--------------------------
0x01:Vendor Specific
0x02:AVI　InfoFrame
0x03:Source Product Description
0x04:Audio InfoFrame
0x05: MPEGSource
0x06 -0xFF　Reserved
　このうちの、Vendor Specific、あるいはAVI InfoFrame、もしくは未使用領域の一つを新規定義して、以下のようにする。
 
3DVideoFlag　　　　　　 1bit　　(0:2D, 1: 3D)
if(3DVideoFlag) {
　　　　　　3DVideoFormat　　　 3bits　 (0x0:Frame Packing Left View
　　　　　　　　　　　　0x1:Frame Packing Right View
　　　　　　　　　　　　0x2:Side by Side
　　　　　　　　　　　　0x4:Top & Bottom by Frame
　　　　　　　　　　　　0x6:Top & Bottom by Field 
　　　　　　　　　　　　0x3,5,7:Reserved )
　　　　Reserved　　　 4bits　 (0x0)
}
else {
　　　　Reserved　　　　7bits　 (0x0)
}
 
　上述の情報には、３次元画像データ（立体画像データ）および２次元画像データの切り替え情報（１ビットの3DVideoFlag情報）が含まれている。また、上述の情報には、３次元画像データのフォーマットの指定あるいは左眼画像データおよび右眼画像データの切り替えの情報（3ビットの3DVideoFormat情報）が含まれている。
　なお、この情報は、同様の内容が放送されるビットストリームの中において、ピクチャヘッダあるいはそれに相当するタイミングで送られる補助情報に定義されるべきものである。この場合、このビットストリームには、３次元画像データ（左眼画像データおよび右眼画像データからなる立体画像データ）または２次元画像データが択一的に含まれる。
受信機（セットトップボックス２００）では、そのストリームを受信した際に、このシグナリング情報を後段のデジタルインタフェースへ送ることで、表示ディスプレイ（テレビ受信機３００）において正確な３Ｄ変換が行えるようにとり図る。
　受信機は、切り替え情報（１ビットの3DVideoFlag情報）が３次元画像データを示すとき、データストリームに含まれる３次元画像データを処理するためのソフトウェアを放送サーバ等の外部機器からダウンロードしてインストールするようにしてもよい。
　例えば、上述の３Ｄ情報を伝送するため、ＨＤＭＩ１．３対応のシステム上に追加で対応すること、あるいはＨＤＭＩ１．４対応のシステムのソフトウェアを更新することが必要となる。そのため、ソフトウェアのアップデートの際には、例えば、上述の３Ｄ情報を伝送するために必要なファームウェア、ミドルウェア関係のソフトウェアがアップデートの対象となる。
　上述したように、図１に示す立体画像表示システム１０においては、視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（クローズド・キャプション情報、サブタイトル情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、放送局１００側からセットトップボックス２００に画像内の所定位置の視差ベクトルが送信されてくる。この場合、セットトップボックス２００は、受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差ベクトルを得ることを必要とせず、セットトップボックス２００の処理が簡単となる。
　しかし、立体画像データの受信側、上述の実施の形態ではセットトップボックス２００に、図２の送信データ生成部１１０における視差ベクトル検出部１１４と同等の視差ベクトル検出部を配置することも考えられる。この場合、視差ベクトルが送られてこなくても、視差ベクトルを用いた処理が可能となる。
　図５１は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｆの構成例を示している。この図５１において、図３５と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｆでは、図３５に示すビットストリーム処理部２０１における視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３７が配置されている。
　この視差ベクトル検出部２３７は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。そして、この視差ベクトル検出部２３７は、検出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカ出力制御部２２９に供給する。
　詳細説明は省略するが、この図５１に示すビットストリーム処理部２０１Ｆのその他は、図３５に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
　また、図５２は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｇの他の構成例を示している。この図５２において、図３５、図３９と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｇでは、図３９に示すビットストリーム処理部２０１Ｃにおける視差情報取り出し部２３２視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３７が配置されている。
　この視差ベクトル検出部２３７は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。視差ベクトル検出部２３７は、検出した視差ベクトルを、立体画像用クローズド・キャプション発生部２３４、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
　詳細説明は省略するが、この図５２に示すビットストリーム処理部２０１Ｇのその他は、図３９に示すビットストリーム処理部２０１Ｃと同様に構成され、同様に動作する。
　また、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４２に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図５３に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
　また、上述実施例においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
　なお、この出願は、特願２００９－１５３６８６号を参照している。
　この発明は、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
　１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ～１００Ｅ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・サブタイトル・グラフィクス発生部、１１９・・・サブタイトル・グラフィクスエンコーダ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・サブタイトル・グラフィクス処理部、１２５・・・テキスト処理部、１２６・・・コントローラ、１２７・・・ＣＣエンコーダ、１２８・・・Ｚデータ部、１２９・・・視差情報エンコーダ、１３０・・・ＣＣデータ処理部、２００・・・セットトップボックス、２０１，２０１Ａ～２０１Ｇ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・サブタイトル・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用サブタイトル・グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル取り出し部、２３２・・・視差情報取り出し部、２３３・・・ＣＣデコーダ、２３４・・・立体画像用クローズド・キャプション発生部、２３５・・・視差情報取り出し部、２３６・・・ＣＣデコーダ、２３７・・・視差ベクトル検出部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像信号処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル

Claims (12)

  1. 　左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化部と、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生部と、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力部と、
    　上記符号化部で得られた符号化ビデオデータ、上記重畳情報データ発生部で発生された重畳情報データおよび上記視差情報出力部から出力された視差情報を送信する送信部と
    　を備える立体画像データ送信装置。
  2. 　上記重畳情報データ発生部で発生される各重畳情報データには識別子が付加されており、
    　上記視差情報出力部から出力される各重畳情報データの視差情報には、対応する重畳情報データに付与されている識別子に対応した識別子が付加される
    　請求項１に記載の立体画像データの送信装置。
  3. 　上記視差情報出力部は、
    　上記重畳情報データ発生部で発生される重畳情報データ毎に、上記左眼画像データおよび上記右眼画像データによる画像の内容に応じて、上記視差情報を決定する視差情報決定部を有し、
    　上記視差情報決定部で決定された視差情報を出力する
    　請求項１または請求項２に記載の立体画像データ送信装置。
  4. 　上記視差情報決定部は、
    　上記左眼画像データおよび上記右眼画像データに基づき、画像内の複数の位置において、左眼画像および右眼画像の一方に対する他方の視差情報を検出する視差情報検出部を有し、
    　上記重畳情報データ毎に、上記視差情報検出部で検出された複数の視差情報のうち重畳位置に対応した検出位置で検出された視差情報に決定する
    　請求項３に記載の立体画像データ送信装置。
  5. 　上記視差情報出力部は、
    　上記重畳情報データ発生部で発生される重畳情報データ毎に、上記視差情報を設定する視差情報設定部を有し、
    　上記視差情報設定部で設定された視差情報を出力する
    　請求項１または請求項２に記載の立体画像データ送信装置。
  6. 　上記視差情報出力部は、
    　上記重畳情報データ発生部で発生される重畳情報データ毎に、上記左眼画像データおよび上記右眼画像データによる画像の内容に応じて、上記視差情報を決定する視差情報決定部と、上記重畳情報データ発生部で発生される重畳情報データ毎に、上記視差情報を設定する視差情報設定部とを有し、
    　上記視差情報決定部で決定された視差情報または上記視差情報設定部で設定された視差情報を選択的に出力する
    　請求項１または請求項２に記載の立体画像データ送信装置。
  7. 　上記送信部は、
    　上記視差情報出力部で出力された視差情報を、上記符号化部で得られた符号化ビデオデータをペイロード部に含むビデオエレメンタリーストリームのヘッダ部のユーザデータ領域に含めて送信する
    　請求項１に記載の立体画像データ送信装置。
  8. 　上記送信部は、
    　上記視差情報出力部から出力された視差情報を送信する際に、上記重畳情報の重畳位置を示す情報および上記重畳情報の表示時間を示す情報のいずれかまたは両方を、上記視差情報に付加して送信する
    　請求項１に記載の立体画像データ送信装置。
  9. 　上記重畳情報のデータは字幕または番組情報を表示するためのキャラクタコードである
    　請求項１に記載の立体画像データ送信装置。
  10. 　上記重畳情報のデータは、サブタイトルまたはグラフィクスを表示するためのビットマップデータである
    　請求項１に記載の立体画像データ送信装置。
  11. 　左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って符号化ビデオデータを得る符号化ステップと、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを発生する重畳情報データ発生ステップと、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報を出力する視差情報出力ステップと、
    　上記符号化ステップで得られた符号化ビデオデータ、上記重畳情報データ発生ステップで発生された重畳情報データおよび上記視差情報出力ステップで出力された視差情報を送信する送信ステップと
    　を備える立体画像データ送信方法。
  12. 　左眼画像データおよび右眼画像データを含む立体画像データに対して符号化を行って得られた符号化ビデオデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記重畳情報に視差を付与するための視差情報とを受信する受信部と、
    　上記受信部で受信された上記符号化ビデオデータに対して復号化を行って上記立体画像データを得る復号化部と、
    　上記受信部で受信された上記視差情報に基づいて、上記復号化部で得られた立体画像データに含まれる上記左眼画像データおよび上記右眼画像データによる画像に重畳する上記受信部で受信された上記重畳情報データによる同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部と
    　を備える立体画像データ受信装置。
PCT/JP2010/060581 2009-06-29 2010-06-22 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置 WO2011001853A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2010800028685A CN102177723A (zh) 2009-06-29 2010-06-22 立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器
BRPI1004288A BRPI1004288A2 (pt) 2009-06-29 2010-06-22 dispositivos de transmissão e recepção de dados de imagem estereoscópica, e, método de transmissão de dados de imagem estereoscópica
EP10794023.1A EP2451167A4 (en) 2009-06-29 2010-06-22 TRANSMITTER FOR STEREOSCOPIC IMAGE DATA, METHOD FOR TRANSMITTING STEREOSCOPIC IMAGE DATA AND RECEIVER FOR STEREOSCOPIC IMAGE DATA
RU2011105392/08A RU2530346C2 (ru) 2009-06-29 2010-06-22 Устройство передачи данных стереоскопического изображения, способ передачи данных стереоскопического изображения и устройство для приёма данных стереоскопического изображения
US13/058,982 US20110141234A1 (en) 2009-06-29 2010-06-22 Stereoscopic Image Data Transmission Device, Stereoscopic AImage Data Transmission Method, And Stereoscopic Image Data Reception Device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009153686 2009-06-29
JP2009-153686 2009-06-29
JP2009246179A JP5521486B2 (ja) 2009-06-29 2009-10-27 立体画像データ送信装置および立体画像データ送信方法
JP2009-246179 2009-10-27

Publications (1)

Publication Number Publication Date
WO2011001853A1 true WO2011001853A1 (ja) 2011-01-06

Family

ID=43410930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/060581 WO2011001853A1 (ja) 2009-06-29 2010-06-22 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

Country Status (9)

Country Link
US (1) US20110141234A1 (ja)
EP (1) EP2451167A4 (ja)
JP (1) JP5521486B2 (ja)
KR (1) KR20120038388A (ja)
CN (1) CN102177723A (ja)
BR (1) BRPI1004288A2 (ja)
RU (1) RU2530346C2 (ja)
TW (1) TWI413403B (ja)
WO (1) WO2011001853A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
US20130010064A1 (en) * 2010-03-24 2013-01-10 Panasonic Corporation Video processing device
WO2011129631A2 (ko) 2010-04-14 2011-10-20 삼성전자 주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
CN103069815B (zh) * 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
US9635342B2 (en) * 2010-10-05 2017-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view encoding and decoding technique based on single-view video codecs
KR101817939B1 (ko) * 2011-03-28 2018-01-15 삼성디스플레이 주식회사 3차원 영상 데이터 처리 방법 및 이를 수행하는 표시 장치
JP5143291B2 (ja) * 2011-04-20 2013-02-13 株式会社東芝 画像処理装置、方法、および立体画像表示装置
JP2012227842A (ja) * 2011-04-21 2012-11-15 Sharp Corp 映像供給装置、および、映像供給方法
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
CN103931200A (zh) * 2011-11-14 2014-07-16 摩托罗拉移动有限责任公司 Mvc立体视图与用于3dtv的左或右眼显示器的关联
WO2013114887A1 (en) 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information
KR102133936B1 (ko) * 2012-04-16 2020-07-14 삼성전자주식회사 ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
WO2013157812A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 3d 비디오 부호화/복호화 장치 및 부호화/복호화 방법
US9392214B2 (en) * 2013-02-06 2016-07-12 Gyrus Acmi, Inc. High definition video recorder/player
EP3242487B1 (en) * 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
WO2018089040A1 (en) * 2016-11-14 2018-05-17 Lightcraft Technology Llc Spectator virtual reality system
CN116489454A (zh) * 2018-06-25 2023-07-25 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
JP2021534616A (ja) * 2018-07-31 2021-12-09 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． データ配信のための方法、装置、システムおよびコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2009017198A (ja) * 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
CN1726726A (zh) * 2002-12-16 2006-01-25 三洋电机株式会社 立体图像产生设备和立体图像传递方法
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
WO2006086051A2 (en) * 2004-12-03 2006-08-17 Sarnoff Corporation Method and apparatus for tracking a movable object
US7563228B2 (en) * 2005-01-24 2009-07-21 Siemens Medical Solutions Usa, Inc. Stereoscopic three or four dimensional ultrasound imaging
JP2008537250A (ja) * 2005-04-19 2008-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行き検知装置及び方法
US20090284584A1 (en) * 2006-04-07 2009-11-19 Sharp Kabushiki Kaisha Image processing device
US9769462B2 (en) * 2007-03-16 2017-09-19 Thomson Licensing System and method for combining text with three dimensional content
EP2393301A1 (en) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
US8803948B2 (en) * 2009-02-12 2014-08-12 Lg Electronics Inc. Broadcast receiver and 3D subtitle data processing method thereof
CN102318352B (zh) * 2009-02-17 2014-12-10 皇家飞利浦电子股份有限公司 组合3d图像和图形数据

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2009017198A (ja) * 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2451167A4

Also Published As

Publication number Publication date
US20110141234A1 (en) 2011-06-16
BRPI1004288A2 (pt) 2016-02-23
EP2451167A1 (en) 2012-05-09
RU2530346C2 (ru) 2014-10-10
TWI413403B (zh) 2013-10-21
EP2451167A4 (en) 2013-12-04
KR20120038388A (ko) 2012-04-23
TW201116043A (en) 2011-05-01
JP5521486B2 (ja) 2014-06-11
JP2011030176A (ja) 2011-02-10
CN102177723A (zh) 2011-09-07
RU2011105392A (ru) 2012-08-20

Similar Documents

Publication Publication Date Title
JP5521486B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
WO2011001854A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011001851A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407957B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
TWI452892B (zh) Image data transmission device, control method and program
WO2011001858A1 (ja) 立体画像データ送信装置および立体画像データ受信装置
WO2011001855A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011166757A (ja) 送信装置、送信方法および受信装置
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080002868.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010794023

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011105392

Country of ref document: RU

Ref document number: 13058982

Country of ref document: US

Ref document number: 1063/DELNP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20117003580

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10794023

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI1004288

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110214