[go: up one dir, main page]

TWI413403B - Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device - Google Patents

Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device Download PDF

Info

Publication number
TWI413403B
TWI413403B TW99119491A TW99119491A TWI413403B TW I413403 B TWI413403 B TW I413403B TW 99119491 A TW99119491 A TW 99119491A TW 99119491 A TW99119491 A TW 99119491A TW I413403 B TWI413403 B TW I413403B
Authority
TW
Taiwan
Prior art keywords
information
data
parallax
image data
unit
Prior art date
Application number
TW99119491A
Other languages
English (en)
Other versions
TW201116043A (en
Inventor
Ikuo Tsukagoshi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201116043A publication Critical patent/TW201116043A/zh
Application granted granted Critical
Publication of TWI413403B publication Critical patent/TWI413403B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

立體影像資料送訊裝置、立體影像資料送訊方法及立體影像資料收訊裝置
本發明係有關於立體影像資料送訊裝置、立體影像資料送訊方法及立體影像資料收訊裝置尤其是有關於，可良好進行隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等重疊資訊之顯示的立體影像資料送訊裝置等。
例如，在專利文獻1中係提出了立體影像資料的使用電視播送電波之傳輸方式。該情況下，含有左眼用影像資料及右眼用影像資料的立體影像資料係被發送，於電視收訊機中，會進行利用兩眼視差的立體影像顯示。
圖54係圖示了，在利用兩眼視差之立體影像顯示時，於螢幕上的物件(物體)的左右像之顯示位置、與該立體像之再生位置的關係。例如，在螢幕上如圖所示，關於左像La往右側偏移而右像Ra往左側偏移而顯示的物件A，由於左右視線是在螢幕面前就交叉，因此該立體像的再生位置是在螢幕面的前方。
又，例如，在螢幕上如圖所示，關於左像Lb及右像Rb是在同一位置而顯示的物件B，由於左右視線是在螢幕面上交叉，因此該立體像的再生位置是在螢幕面上。然後，例如，在螢幕上如圖所示，關於左像Lc往左側偏移而右像Rc往右側偏移而顯示的物件C，由於左右視線是在螢幕面之後才交叉，因此該立體像的再生位置是在螢幕面的後方。
[先前技術文獻] [專利文獻]
[專利文獻1]　日本特開2005-6114號公報
於上述的立體影像顯示中，視聽者普通是利用兩眼視差，而認知到立體影像的遠近感。而關於被重疊到影像的重疊資訊，例如隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等，也希望不僅只有2維空間，而是希望也能帶有3維的縱深感，和立體影像顯示連動地被演算繪製出來。
例如，將屬於隱藏式字幕資訊或字幕資訊的字幕對影像作重疊顯示(Overlay顯示)時，若不是被顯示在遠近感上最靠近前面的影像內物體(物件)的前面，則視聽者有時候會感到遠近感的矛盾。又，當將其他的圖形資訊、或文字資訊對影像作重疊顯示時也是，期待能夠隨著影像內各物體的遠近感來實施視差調整，希望能夠維持遠近感的整合性。
本發明的目的在於，隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之重疊資訊的顯示時，謀求維持與影像內各物體之間的遠近感之整合性。
本發明的概念係在於，一種立體影像資料送訊裝置，其特徵為，具備：編碼部，係對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼以獲得編碼視訊資料；和重疊資訊資料產生部，係產生出要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的重疊資訊之資料；和視差資訊輸出部，係將用來對要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的上記重疊資訊賦予視差所需之視差資訊，加以輸出；和送訊部，係將上記編碼部所得到的編碼視訊資料、上記重疊資訊資料產生部所產生的重疊資訊資料及從上記視差資訊輸出部所輸出的視差資訊，加以發送。
於本發明中，藉由編碼部，會對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼，而獲得編碼視訊資料。例如，在編碼部中，係以MPEG2、H.264 AVC或VC-1等之編碼方式，來進行編碼。
又，藉由重疊資訊資料產生部，會產生出要重疊於左眼影像資料及右眼影像資料所致之影像上的重疊資訊之資料。此處，重疊資訊係為：用來顯示字幕的隱藏式字幕資訊、字幕資訊、用來顯示標誌等之圖形的圖形資訊、電子節目表(EPG：Electronic Program Guide)、顯示文字播送內容等的文字資訊等，是意味著要被重疊顯示於影像的資訊。
又，藉由視差資訊輸出部，會輸出用來對要重疊於左眼影像資料及右眼影像資料所致之影像上的重疊資訊賦予視差所需之視差資訊。例如，重疊資訊資料產生部所產生的各重疊資訊資料中係被附加有識別元，在從視差資訊輸出部所輸出的各重疊資訊資料的視差資訊中係被附加有，所對應之重疊資訊資料中所被賦予之識別元所相對應的識別元。藉由如此對重疊資訊資料及視差資訊各自附加識別元，就可使重疊資訊資料與視差資訊建立對應。此處，所謂對應的識別元，係意味著相同識別元、或是有被建立關連的識別元。
例如，視差資訊輸出部，係具有視差資訊決定部，其係就重疊資訊資料產生部所產生的每一重疊資訊資料，隨應於左眼影像資料及右眼影像資料所致之影像的內容，而決定視差資訊；而將該視差資訊決定部所決定的視差資訊，予以輸出。此情況下，例如，視差資訊決定部，係具有視差資訊偵測部，基於左眼影像資料及右眼影像資料，而於影像內的複數位置上，偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊；並就每一重疊資訊資料，在該視差資訊偵測部所偵測到的複數視差資訊當中，決定為在對應於重疊位置之偵測位置上所偵測到的視差資訊。
又，例如，視差資訊輸出部，係具有：視差資訊設定部，係就重疊資訊資料產生部所產生的每一重疊資訊資料，設定視差資訊；並將該視差資訊設定部所設定的視差資訊，予以輸出。在視差資訊設定部中，例如，藉由所定之程式處理，或藉由使用者手動操作，而對每一重疊資訊資料，進行視差資訊之設定。例如，隨應於重疊位置而設定不同的視差資訊，或是不論重疊位置為何均設定共通的視差資訊，或是按照重疊資訊的種類別而設定不同的視差資訊。此處，所謂重疊資訊的種類係有，例如，隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之種類。又，該所謂重疊資訊之種類，係例如依照重疊位置或重疊持續時間等而被區分的種類。
又，例如，視差資訊輸出部，係具有：視差資訊決定部，係就重疊資訊資料產生部所產生的每一重疊資訊資料，隨應於左眼影像資料及右眼影像資料所致之影像的內容，而決定視差資訊；和視差資訊設定部，係就重疊資訊資料產生部所產生的每一重疊資訊資料，設定視差資訊；將視差資訊決定部所決定的視差資訊或視差資訊設定部所設定的視差資訊，予以選擇性輸出。
又，藉由送訊部，編碼部所得到的編碼視訊資料、重疊資訊資料產生部所產生的重疊資訊資料及從視差資訊輸出部所輸出的視差資訊，會被發送。例如，已被視差資訊輸出部所輸出的視差資訊係被含有在，在酬載部中含有編碼部所得到之編碼視訊資料的視訊元素串流的標頭部的使用者資料領域裡，而被發送。又，例如，用來表示重疊資訊之重疊位置的資訊及用來表示重疊資訊之顯示時間的資訊的任一者或雙方，是被附加視差資訊而發送。藉由對視差資訊附加用來表示重疊位置及顯示時間的資訊而發送，就可不必在例如重疊資訊資料中附加這些資訊而發送。
如此，於本發明中，將含有左眼影像資料及右眼影像資料的立體影像資料進行編碼而得到的編碼視訊資料，會連同重疊資訊資料及視差資訊，一起被發送。因此，於收訊側上，作為被重疊至左眼影像及右眼影像的同一重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)，可使用相應於影像內各物體之遠近感而施以視差調整過者，於重疊資訊的顯示時，就可保持與影像內各物體之間的遠近感之整合性。
又，本發明的概念係在於，一種立體影像資料收訊裝置，其特徵為，具備：收訊部，係接收：對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼而獲得之編碼視訊資料、要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的重疊資訊之資料、用來對要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的上記重疊資訊賦予視差所需之視差資訊；和解碼部，係對上記收訊部所接收到的上記編碼視訊資料進行解碼以獲得上記立體影像資料；和影像資料處理部，係基於已被上記收訊部所接收到的上記視差資訊，而對要重疊至上記解碼部所得到之立體影像資料中所含有之上記左眼影像資料及上記右眼影像資料所致之影像上的、已被上記收訊部所接收之上記重疊資訊所致之同一重疊資訊，賦予視差，獲得已被重疊上記重疊資訊的左眼影像之資料及已被重疊上記重疊資訊的右眼影像之資料。
於本發明中，是藉由收訊部，含有左眼影像資料及右眼影像資料的立體影像資料進行編碼而得到的編碼視訊資料，會連同重疊資訊資料及視差資訊，一起被接收。然後，藉由解碼部，會對已被收訊部所接收到的編碼視訊資料進行解碼，獲得含有左眼影像資料及右眼影像資料之立體影像資料。
又，藉由影像資料處理部，會獲得已被解碼部所解碼之立體影像資料中所含之左眼影像資料，和基於已被收訊部所接收到的重疊資訊資料，而已被重疊有重疊資訊的左眼影像之資料及已被重疊有重疊資訊的右眼影像之資料。此時，基於收訊部所接收到的視差資訊，而對左眼影像資料及右眼影像資料所致之影像上所被重疊之重疊影像，賦予視差。因此，隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等重疊資訊的顯示時，就可謀求維持與影像內各物體之間的遠近感之整合性。
若依據本發明，則在立體影像資料的收訊側，作為被重疊至左眼影像及右眼影像的同一重疊資訊，可使用相應於影像內各物體之遠近感而施以視差調整過者，在隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之重疊資訊的顯示時，就可謀求維持遠近感之整合性。
以下，說明用以實施發明的形態(以下稱作「實施形態」)。此外，說明是按照以下順序進行。
1.　實施形態
2.　變形例
＜1.　實施形態＞ [立體影像送收訊系統之構成例]
圖1係圖示，作為實施形態的立體影像送收訊系統10的構成例。該立體影像送收訊系統10係具有：播送台100、機上盒(STB：Set Top Box)200、電視收訊機300。
機上盒200及電視收訊機300，係透過HDMI(High Definition Multimedia Interface)纜線400而連接。在機上盒200上設有HDMI端子202。在電視收訊機300上設有HDMI端子302。HDMI纜線400的一端係被連接至機上盒200的HDMI端子202，該HDMI纜線400的另一端係被連接至電視收訊機300的HDMI端子302。
[播送台的說明]
播送台100係將位元串流資料，裝載於載波中而發送。該位元串流資料中係包含有：含左眼影像資料及右眼影像資料的立體影像資料、聲音資料、重疊資訊資料、還含有視差資訊(視差向量)等。此處，重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。
「送訊資料生成部之構成例」
圖2係圖示，於播送台100中，生成上述位元串流資料的送訊資料生成部110之構成例。該構成例，係將視差向量以數值資訊方式發送的例子。該送訊資料生成部110係具有：攝影機111L，111R、視訊畫格化部112、視訊編碼器113、視訊編碼器113、視差向量偵測部114、視差向量編碼器115。又，該送訊資料生成部110係具有麥克風116、音訊編碼器117。再者，該送訊資料生成部110係還具有：字幕圖形產生部118、字幕圖形編碼器119、文字產生部120、文字編碼器121、多工器122。
攝影機111L，係拍攝左眼影像而獲得立體影像顯示所需之左眼影像資料。攝影機111R，係拍攝右眼影像而獲得立體影像顯示所需之右眼影像資料。視訊畫格化部112，係將攝影機111L所得之左眼影像資料及攝影機111R所得之右眼影像資料，加工處理成符合傳輸方式的狀態。
[立體影像資料的傳輸方式例]
此處，作為立體影像資料(3D影像資料)的傳輸方式，係舉出以下第1～第3方式，但亦可為這些以外的方式。此處，如圖3所示，以左眼(L)及右眼(R)的影像資料分別是已決定之解析度、例如1920×1080p的像素格式的影像資料時為例子來說明。
第1傳輸方式，係「Top ＆ Bottom」方式，如圖4(a)所示，是在垂直方向的前半是傳輸左眼影像資料的各掃描線之資料，在垂直方向的後半是傳輸左眼影像資料的各掃描線之資料的方式。此時，由於左眼影像資料及右眼影像資料的掃描線被抽掉了1/2，因此對於原訊號而言垂直解析度係減半。
第2傳輸方式，係「Side By Side」方式，如圖4(b)所示，是在水平方向的前半是傳輸左眼影像資料的像素資料，在水平方向的後半是傳輸右眼影像資料的像素資料的方式。此情況下，左眼影像資料及右眼影像資料，其水平方向的像素資料是分別被抽略了1/2。對原訊號而言，水平解析度係減半。
第3傳輸方式，係「Frame Sequential」方式，如圖4(c)所示，是將左眼影像資料與左眼影像資料按照每一圖場依序切換進行傳輸之方式，回到圖2，視訊編碼器113，係對於已被視訊畫格化部112加工處理過的立體影像資料，施以MPEG4-AVC、MPEG2、VC-1等編碼處理而獲得編碼視訊資料。又，視訊編碼器113，係在後段具備有串流格式化器113a。藉由該串流格式化器113，會生成在酬載部中含有編碼視訊資料的視訊之元素串流。
視差向量偵測部114，係基於左眼影像資料及右眼影像資料，於影像內的所定位置，偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊亦即視差向量。此處，影像內的所定位置係為所有的像素位置、由複數像素所成之各領域的代表位置、或者，重疊資訊、在此係為要將圖形資訊或文字資訊加以重疊之領域的代表位置等。
[視差向量的偵測]
說明視差向量的偵測例。此處說明，相對於左眼影像的右眼影像之視差向量的偵測例。如圖5所示，令左眼影像為偵測影像，右眼影像為參照影像。在此例中，在(xi,yi)及(xj,yj)之位置上的視差向量，會被偵測出來。
以偵測(xi,yi)之位置上的視差向量時為例來說明。此時，在左眼影像中，令(xi,yi)之位置的像素為左上，設定例如8×8或16×16的像素區塊(視差偵測區塊)Bi。然後，於右眼影像中，探索出與像素區塊Bi契合的像素區塊。
此時，在右眼影像中，設定以(xi,yi)之位置為中心的探索範圍，將該探索範圍內的各像素逐一當作注目像素，而逐次設定與上述像素區塊Bi同樣之例如8×8或16×16的比較區塊。在像素區塊Bi與逐次設定之比較區塊之間，求出對應之每一像素的差分絕對值之總和。此處，如圖6所示，令像素區塊Bi的像素值為L(x,y)，比較區塊的像素值為R(x,y)時，像素區塊Bi與某個比較區塊之間的差分絕對值之總和，係以Σ|L(x,y)-R(x,y)|來表示。
右眼影像中所被設定的探索範圍裡含有n個像素時，最終會求出n個總和S1～Sn，其中最小的總和Smin會被選擇。然後，從獲得該總和Smin的比較區塊可得到左上之像素位置是(xi',yi')。藉此，(xi,yi)之位置上的視差向量，係被偵測為(xi'-xi，yi'-yi)。詳細說明雖然省略，但關於(xj,yj)之位置上的視差向量，也是在左眼影像中，令(xj,yj)之位置的像素為左上，設定例如8×8或16×16的像素區塊Bj，以同樣的處理過程而偵測出來。
圖7(a)係圖示了，被視差向量偵測部114所偵測出來的影像內的所定位置上的視差向量VV之一例。此時係意味著，如圖7(b)所示，於該影像內的所定位置上，若將左眼影像(偵測影像)偏移了視差向量VV的份量，則會與右眼影像(參照影像)重疊。
回到圖2，視差向量編碼器115，係生成含有視差向量偵測部114所測出之視差向量等之視差向量的元素串流。此處，視差向量的元素串流中，含有以下的內容。亦即，ID(ID_Block)、垂直位置資訊(Vertical_Position)、水平位置資訊(Horizontal_Position)、視差向量(View_Vector)是呈1組。然後，該1組係被重複了恰好等於視差偵測區塊之數目的N個份。圖8係圖示了視差向量的傳輸內容。視差向量中係含有垂直方向成分(View_Vector_Vertical)及水平方向成分(View_Vector_Horizontal)。
此外，視差偵測區塊的垂直、水平位置，係為從影像的左上原點、至區塊的左上像素為止的垂直方向、水平方向的偏移值。各視差向量的傳輸時，賦予視差偵測區塊之ID的原因是，為了與被重疊顯示於影像的字幕資訊、圖形資訊、文字資訊等之重疊資訊的模態，保持連結。
例如，如圖9(a)所示，當有A～F的視差偵測區塊存在時，在傳輸內容中，係如圖9(b)所示，含有該視差偵測區塊A～F的ID，和垂直、水平的位置資訊，和視差向量。例如，於圖9(b)中，關於視差偵測區塊A係ID2是表示視差偵測區塊A的ID，(Ha，Va)是表示視差偵測區塊A的垂直、水平之位置資訊，視差向量a是表示視差偵測區塊A的視差向量。
此處，說明將視差向量加以偵測而傳輸的時序。關於該時序，例如，考慮以下的第1～第4例。
於第1例中，係如圖10(a)所示，是同步於圖像的編碼。此時，視差向量係以圖像單位而被傳輸。該圖像單位係為比視差向量傳輸之際還要更細緻的單位。於第2例中，係如圖10(b)所示，是同步於視訊的場景。此時，視差向量係以場景單位而被傳輸。
於第3例中，係如圖10(c)所示，是同步於編碼視訊的I圖像(Intra picture)、或GOP(Group Of Pictures)。於第4例中，係如圖11所示，是同步於被重疊顯示於影像之字幕資訊、圖形資訊、文字資訊等的顯示開始時序。
返回圖2，麥克風116係將攝影機111L，111R所拍攝到的影像所對應之聲音加以偵測，獲得聲音資料。音訊編碼器117，係對麥克風116所得到的聲音資料，施以MPEG-2 Audio AAC等之編碼，生成音訊的元素串流。
字幕‧圖形產生部118，係產生要重疊於影像的字幕資訊或圖形資訊的資料(字幕資料、圖形資料)。字幕資訊係例如為字幕。又，圖形資訊，係例如為標誌(logo)等。該字幕資料及圖形資料，係為點陣圖資料。在該字幕資料及圖形資料中，係被附加有表示影像上之重疊位置的閒置偏移資訊。
該閒置偏移資訊係表示，例如從影像的左上原點、至字幕資訊或圖形資訊之重疊位置的左上像素為止的垂直方向、水平方向的偏移值。此外，將字幕資料以點陣圖資料方式傳輸的規格，係在歐洲的數位播送規格亦即DVB中，被規格化成DVB_Subtitling而運用。
字幕‧圖形編碼器119，係將字幕‧圖形產生部118所產生的字幕資訊或圖形資訊的資料(字幕資料、圖形資料)，予以輸入。然後，該字幕‧圖形編碼器119，係生成將這些資料包含在酬載部中的元素串流。
文字產生部120，係產生要重疊於影像的文字資訊的資料(文字資料)。文字資訊係為例如電子節目表、文字播送內容等。該文字資料中，係和上述圖形資料同樣地，被附加有表示影像上之重疊位置的閒置偏移資訊。該閒置偏移資訊係表示，例如從影像的左上原點、至文字資訊之重疊位置的左上像素為止的垂直方向、水平方向的偏移值。此外，作為將文字資料予以傳輸的例子，係有作為節目預錄用而運用的EPG、美國的數位地表波規格ATSC的CC_data(Closed Caption)。
文字編碼器121，係將文字產生部120所產生的文字資料，予以輸入。然後，文字編碼器121係生成將這些資料包含在酬載部中的元素串流。
多工器122，係將從編碼器113，115，117，119，121所輸出的已被封包化的元素串流，予以多工化。然後，該多工器122，係將作為傳輸資料的位元串流資料(傳輸串流)BSD，予以輸出。
簡單說明圖2所示的送訊資料生成部110之動作。在攝影機111L中，係拍攝左眼影像。該攝影機111L所獲得之立體影像顯示所需之左眼影像資料，係被供給至視訊畫格化部112。又，在攝影機111R中，係拍攝右眼影像。該攝影機111R所獲得之立體影像顯示所需之右眼影像資料，係被供給至視訊畫格化部112。在視訊畫格化部112中，左眼影像資料及右眼影像資料，係被加工處理成符合傳輸方式的狀態，獲得立體影像資料(參照圖4(a)～(c))。
視訊畫格化部112所獲得之立體影像資料，係被供給至視訊編碼器113。在此視訊編碼器113中，係對立體影像資料施以MPEG4-AVC、MPEG2、VC-1等之編碼，生成含有編碼視訊資料的視訊元素串流。該視訊元素串流係被供給至多工器122。
又，攝影機111L，111R所得到之左眼影像資料、右眼影像資料，係通過視訊畫格化部112，而被供給至視差向量偵測部114。在該視差向量偵測部114中，係基於左眼影像資料及右眼影像資料，於影像內的所定位置，設定視差偵測區塊，偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊亦即視差向量。
已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量，係被供給至視差向量編碼器115。此時，視差偵測區塊的ID、視差偵測區塊的垂直位置資訊、視差偵測區塊的水平位置資訊、視差向量，是呈1組而被交付。在視差向量編碼器115中，係生成含有視差向量之傳輸內容(參照圖8)的視差向量元素串流。該視差向量元素串流係被供給至多工器122。
又，在麥克風116中，係偵測出攝影機111L，111R所拍攝到的影像所對應之聲音。該麥克風116所獲得之聲音資料，係被供給至音訊編碼器117。在此音訊編碼器117中，係對聲音資料，施以MPEG-2 Audio AAC等之編碼，生成含有編碼音訊資料的音訊元素串流。該音訊元素串流係被供給至多工器122。
又，在字幕‧圖形產生部118中，係產生要重疊於影像的字幕資訊或圖形資訊的資料(字幕資料、圖形資料)。該資料(點陣圖資料)，係被供給至字幕‧圖形編碼器119。在該字幕‧圖形資料中，係被附加有表示影像上之重疊位置的閒置偏移資訊。在字幕‧圖形編碼器119中，係對該圖形資料施以所定之編碼，生成含有編碼資料的元素串流。該元素串流係被供給至多工器122。
又，在文字產生部120中，係產生要重疊於影像的文字資訊的資料(文字資料)。該文字資料，係被供給至文字編碼器121。該文字資料中，係和上述圖形資料同樣地，被附加有表示影像上之重疊位置的閒置偏移資訊。在文字編碼器121中，係對該文字資料施以所定之編碼，生成含有編碼資料的元素串流。該元素串流係被供給至多工器122。
在多工器122中，從各編碼器所供給之元素串流的封包係被多工化，獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
圖12係圖示，圖2所示的送訊資料生成部110中被多工化的各資料的串流例。此外，該例子係展示了，視差向量是以視訊的場景單位而被偵測並傳輸的情形(參照圖10(b))。此外，各串流的封包中係被附加有同步顯示用的時間戳記，在收訊側係可對於影像，控制字幕資訊、圖形資訊、文字資訊等的重疊時序。
「送訊資料生成部之其他構成例」
此外，上述圖2所示的送訊資料生成部110係構成為，將視差向量的傳輸內容(參照圖8)以獨立的元素串流之方式而傳輸至收訊側。可是，也可考慮將視差向量的傳輸內容嵌入至其他的串流中而傳輸。例如，視差向量的傳輸內容，係可被當成使用者資料而嵌入至串流中而傳輸。又，例如，視差向量的傳輸內容，係被嵌入至字幕、圖形、或文字的串流中而傳輸。
圖13係圖示了送訊資料生成部110A的構成例。該例子也是，係將視差向量以數值資訊方式發送的例子。該送訊資料生成部110A係構成為，將視差向量的傳輸內容，當作使用者資料而嵌入至視訊的串流中而傳輸。於此圖13中，和圖2對應的部分係標示同一符號，並省略其詳細說明。
於該送訊資料生成部110A中，已被視差向量偵測114所偵測的影像內的所定位置上的視差向量，係被供給至視訊編碼器113內的串流格式化器113a。此時，視差偵測區塊的ID、視差偵測區塊的垂直位置資訊、視差偵測區塊的水平位置資訊、視差向量，是呈1組而被交付。在串流格式化器113a中，視差向量的傳輸內容(參照圖8)是被當成使用者資料而嵌入至視訊的串流中。
詳細說明雖然省略，但該圖13所示的送訊資料生成部110A的其他部分，係和圖2所示的送訊資料生成部110同樣構成，同樣動作。
「送訊資料生成部之其他構成例」
又，上述圖2所示的送訊資料生成部110及上述圖13所示的送訊資料生成部110A，係將視差向量當作數值資訊而發送(參照圖8)。可是，不將視差向量以數值資訊方式傳輸，在用來重疊至影像所需之重疊資訊(例如字幕資訊、圖形資訊、文字資訊等)之資料上，送訊側預先反映出視差資訊而發送。
例如，在圖形資訊的資料上反映時，在送訊側會生成，對應於應重疊至左眼影像之左眼圖形資訊和應重疊至右眼影像之右眼圖形資訊雙方的圖形資料。此時，左眼圖形資訊及右眼圖形資訊，係為相同的圖形資訊。可是，影像內的顯示位置係為，例如，相對於左眼圖形資訊，右眼圖形資訊是往水平方向偏移了，對應於該顯示位置之視差向量的水平方向成分。
例如，作為視差向量，係使用在影像內複數位置所偵測到的視差向量當中，對應於該重疊位置者。又，例如，作為視差向量，係使用在影像內複數位置所偵測到的視差向量當中，遠近感被辨識為最近之位置的視差向量。此外，雖然省略詳細說明，但在字幕資訊或圖形資訊的資料上反映出視差資訊時，也同樣如此。
圖14(a)係圖示了，傳輸方式是上述第1傳輸方式(「Top & Bottom」方式)時，左眼圖形資訊及右眼圖形資訊的重疊位置。這些左眼圖形資訊及右眼圖形資訊係為相同的資訊。只不過，相對於被重疊於左眼影像IL上的左眼圖形資訊LGI，被重疊於右眼影像IR上的右眼圖形資訊RGI，係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。
對各影像IL，IR，係如圖14(a)所示，以使各圖形資訊LGI，RGI被重疊的方式，生成圖形資料。藉此，視聽者係如圖14(b)所示，可將各影像IL，IR，連同各圖形資訊LGI，RGI，都帶有視差而觀察，對於圖形資訊也可認知到遠近感。
例如，各圖形資訊LGI，RGI的圖形資料，係如圖15(a)所示，是被生成為單一領域的資料。此時，各圖形資訊LGI，RGI以外之部分的資料，係被生成為透明資料即可。又，例如，各圖形資訊LGI，RGI的圖形資料，係如圖15(b)所示，是被生成為別的領域的資料。
圖16(a)係圖示了，傳輸方式是上述第2傳輸方式(「Side By Side」方式)時，左眼圖形資訊及右眼圖形資訊的重疊位置。這些左眼圖形資訊及右眼圖形資訊係為相同的資訊。只不過，相對於被重疊於左眼影像IL上的左眼圖形資訊LGI，被重疊於右眼影像IR上的右眼圖形資訊RGI，係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。此外，IT係為閒置偏移值。
對各影像IL，IR，係如圖16(a)所示，以使各圖形資訊LGI，RGI被重疊的方式，生成圖形資料。藉此，視聽者係如圖16(b)所示，可將各影像IL，IR，連同各圖形資訊LGI，RGI，都帶有視差而觀察，對於圖形資訊也可認知到遠近感。
例如，各圖形資訊LGI，RGI的圖形資料，係如圖17所示，是被生成為單一領域的資料。此時，各圖形資訊LGI，RGI以外之部分的資料，係被生成為透明資料即可。
圖18係圖示了送訊資料生成部110B的構成例。該送訊資料生成部110B係構成為，在字幕資訊、圖形資訊、文字資訊之資料上反映出視差資訊而發送。於此圖18中，和圖2對應的部分係標示同一符號，並省略其詳細說明。
在該送訊資料生成部110B中，係在字幕‧圖形產生部118和字幕‧圖形編碼器119之間，插入有字幕‧圖形處理部124。又，在該送訊資料生成部110B中，係在文字產生部120與文字編碼器121之間，插入有文字處理部125。然後，已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量，係被供給至字幕‧圖形處理部124及文字處理部125。
在字幕‧圖形處理部124中係生成，要被重疊於左眼影像IL、右眼影像IR的左眼、右眼之字幕或圖形的資訊LGI，RGI之資料。此時，是基於字幕‧圖形產生部118所產生的字幕資料或圖形資料而產生之。左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是，影像內的重疊位置係為，例如，相對於左眼的字幕資訊或圖形資訊，右眼的字幕資訊或圖形資訊是往水平方向偏移了，視差向量的水平方向成分VVT(參照圖14(a)、圖16(a))。
如此，已被字幕‧圖形處理部124所生成的字幕資料或圖形資料，係被供給至字幕‧圖形編碼器119。此外，在該字幕資料或圖形資料中，係被附加有表示影像上之重疊位置的閒置偏移資訊。在字幕‧圖形編碼器119中係生成，字幕‧圖形處理部124所生成之字幕資料或圖形資料的元素串流。
又，在文字處理部125中，係基於文字產生部120所產生的文字資料，而生成要被重疊於左眼影像上的左眼文字資訊之資料及要被重疊於右眼影像上的右眼文字資訊之資料。此情況下，雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊，但右眼文字資訊，其在影像內的重疊位置係為，例如，相對於左眼文字資訊，是往水平方向偏移了視差向量之水平方向成分VVT。
如此，已被文字處理部125所生成的文字資料，係被供給至文字編碼器121。此外，該文字資料中，係被附加有表示影像上之重疊位置的閒置偏移資訊。在文字編碼器121中係生成，文字處理部所生成之文字資料的元素串流。
詳細說明雖然省略，但該圖18所示的送訊資料生成部110B的其他部分，係和圖2所示的送訊資料生成部110同樣構成，同樣動作。
「送訊資料生成部之其他構成例」
此外，上述圖2所示的送訊資料生成部110係構成為，將基於已被視差向量偵測部114所偵測到的視差向量的傳輸內容(參照圖8)，不一一對應於重疊資訊資料，直接傳輸至收訊側。可是，亦可考慮將與每一重疊資訊資料建立對應的視差資訊，加以傳輸。
圖19係圖示了送訊資料生成部110C的構成例。該送訊資料生成部110C係構成為，將與每一重疊資訊資料建立對應的視差資訊，加以傳輸。於此圖19中，和圖2對應的部分係標示同一符號，並省略其詳細說明。該送訊資料生成部110C，係具有：控制器126、CC(Closed Caption)編碼器127、Z資料部128。
CC編碼器127，係為依據CEA-708規格的編碼器，將隱藏式字幕之字幕顯示所需的CC資料(隱藏式字幕資訊的資料)，予以輸出。控制器126，係控制該CC編碼器127。例如，從控制器126往CC編碼器127係給予著「Region_ID(WindowID)」、「Location(AnchorID)」、「Region大小(SetPenAttribute)」之資訊組。
此處，「Location(AnchorID)」之資訊，係如圖20所示，是表示被「Region_ID(WindowID)」所識別的隱藏式字幕的字幕顯示，是要顯示於影像(Picture)的哪個位置上。又，「Region大小(SetPenAttribute)」之資訊，係如圖20所示，是表示被「Region_ID(WindowID)」所識別的隱藏式字幕進行字幕顯示之領域的大小。
Z資料部128，係將與每一重疊資訊資料建立對應的視差資訊(視差向量)，加以輸出。亦即，該Z資料部128，關於隱藏式字幕資訊，係輸出已經與從CC編碼器127所輸出的CC資料中所含的每一WindowID建立對應的視差資訊。又，該Z資料部128，係即使關於字幕資訊、圖形資訊、文字資訊等之重疊資訊，也是輸出已經與每一重疊資訊資料建立對應的視差資訊。
圖21係圖示了Z資料部128的構成例。Z資料部128，係就控制器126所指定的每一Region_id，輸出視差資訊。此處，說明Region_id。該Region_id，係為用來進行隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之各重疊資訊與視差資訊之對應關連所需的識別元。
例如，Region_id的0～7，係為了識別CEA-708規定之CC資料的Window0～7所對應之視差資訊，而被指派。又，Region_id的8～15，是被預留給將來擴充用。又，Region_id的16以後，係為了識別隱藏式字幕資訊以外的其他重疊資訊(字幕資訊、圖形資訊、文字資訊等)所對應之視差資訊而被指派。
此外，字幕.圖形產生部118所產生的字幕資料或圖形資料、及文字產生部120所產生的文字資料中，係被賦予上述Region_id所對應之識別元。此處，所謂對應於Region_id的識別元，係意味著和該Region_id相同的識別元，或意味著與該Region_id建立關連的識別元。藉此，在收訊側，字幕資訊、圖形資訊、文字資訊的各重疊資訊，和應對該重疊資訊使用的視差資訊之對應關連，是可進行的。
Z資料部128，係如上述就每一Region_id，輸出視差資訊。Z資料部128，例如，係藉由基於使用者操作而切換控制控制器126，就可將決定視差向量或設定視差向量，當作視差資訊而選擇性地輸出。決定視差向量，係基於視差向量偵測部114所偵測到的複數個視差向量而被決定的視差向量。設定視差向量係為，例如，藉由所定之程式處理、或使用者手動操作而被設定的視差向量。
首先說明，將決定視差向量當成視差資訊而輸出之情形。此時，關連於隱藏式字幕資訊，從控制器126往Z資料部128，係供給著上述「Region_ID(WindowID)」、「Location(AnchorID)」、「Region大小(SetPenAttribute)」的資訊組。又，關連於字幕資訊、圖形資訊、文字資訊等之各重疊資訊，從控制器126往Z資料部128，係供給著「Region_ID」、「Location」、「Region大小」的資訊組。
又，從視差向量偵測部114往Z資料部114，係輸入著複數個，此處係為N個視差向量Dv0～DvN。該N個視差向量Dv0～DvN，係於視差向量偵測部114中，基於左眼影像資料及右眼影像資料，而在影像內的N個位置上所被偵測出來的視差向量。
Z資料部128，係就每一Region_id，從N個視差向量Dv0～DvN，抽出被「Location」及「Region大小」之資訊所決定的重疊資訊的顯示領域所關連之視差向量。例如，當作為關連於顯示領域的視差向量，是存在有偵測位置是在顯示領域內的一或複數個視差向量時，則該視差向量係被選擇。又，例如，當作為關連於顯示領域的視差向量，不存在有偵測位置是在顯示領域內的一或複數個視差向量時，則位於顯示領域附近的一或複數個視差向量係被選擇。在圖示的例子中，作為關連於顯示領域的視差向量，係選擇了Dv2～Dvn。
然後，Z資料部128，係從關連於顯示領域的視差向量，選擇出例如帶符號之值為最大者，當作決定視差向量DzD。如上述，視差向量係由垂直方向成分(View_Vector_Vertical)與水平方向成分(View_Vector_Horizontal)所成，但此處作為帶符號之值，係僅使用例如水平方向成分的值。於收訊側，將要重疊於左眼影像及右眼影像上的隱藏式字幕資訊等之重疊資訊，基於視差資訊而進行水平方向上的偏移處理，因此水平方向成分是很重要的。
此外，如上述，就每一Region_id而被決定的決定視差向量DzD，對應於隱藏式字幕資訊以外的其他重疊資訊者，係藉由控制器126之控制，而被附加用來表示重疊位置的資訊和用來表示顯示時間的資訊。用來表示重疊位置的資訊係為例，例如，垂直方向位置資訊(Vertical_Position)及水平方向位置資訊(Horizontal_Position)。又，用來表示顯示時間的資訊係為，例如，對應於顯示持續時間的畫格數資訊(Duration_Counter)。在隱藏式字幕資訊的情況下，由於CC資料內含有重疊位置及顯示時間的控制資料，因此這些資訊不需要另行發送。
接著說明，將設定視差向量當成視差資訊而輸出之情形。此情況下，控制器126係藉由所定之程式處理、或使用者手動操作，而設定每一Region_id的視差向量。例如，隨應於重疊資訊的重疊位置而設定不同的視差向量，或是不論重疊位置為何均設定共通的視差資訊，或是按照重疊資訊的種類別而設定不同的視差資訊。Z資料部128，係將如此所被設定的每一Region_id的視差向量，視作設定視差向量DzD'。此處，所謂重疊資訊的種類係有，例如，隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之種類。又，該所謂重疊資訊之種類，係例如依照重疊位置或重疊持續時間等而被區分的種類。
此外，藉由控制器126而對每一Region_id所設定的視差向量，實質上只要將水平方向成分加以設定即可。這是因為，如上述，於收訊側，將要重疊於左眼影像及右眼影像上的隱藏式字幕資訊等之重疊資訊，基於視差資訊而進行水平方向上的偏移處理，因此水平方向成分是很重要的。又，該設定視差向量DzD'，也是和上述決定視差向量DzD同樣地，對應於隱藏式字幕資訊以外的其他重疊資訊者，係藉由控制器126之控制，而被附加用來表示重疊位置的資訊和用來表示顯示時間的資訊。
返回圖19，從CC編碼器127所輸出的CC資料及從Z資料部128所輸出的視差資訊(DzD/DzD'，因應需要而含有重疊位置資訊、顯示時間資訊)，係被發送至視訊編碼器113的串流格式化器113a。在串流格式化器113a中，CC資料及視差資訊係被當成使用者資料而嵌入至視訊元素串流。
圖22係概略圖示視訊元素串流(Video Elementary Stream)之構造例。在視訊元素串流中，在開頭係配置有，含有序列單位之參數的序列標頭部。接續於該序列標頭部，配置有含圖像單位之參數及使用者資料的圖像標頭。接續於該圖像標頭部，配置有含圖像資料的酬載部。以下，圖像標頭部及酬載部係被反覆配置。
如上述，CC資料及視差資訊，係被嵌入至圖像標頭部的使用者資料領域。圖23係圖示了使用者資料的構成例。圖23(a)係圖示了，當編碼方式是MPEG2時的使用者資料之構成。圖23(b)係圖示了，當編碼方式是H.264 AVC(MPEG4-AVC)時的使用者資料之構成。再者，圖23(c)係圖示了，當編碼方式是VC-1時的使用者資料之構成。
雖然省略詳細說明，但各方是的使用者資料之構成係幾乎是同樣的構成。亦即，最初係配置表示使用者資料之開始的碼，其後配置表示資料種類的識別元「user_identifier」 ，而其後再配置資料本體「user_structure」。
圖24係圖示了「user_structure」的構成例。「Data_Length」係表示該「user_structure」的資料大小。「Page_id」係有時候是作為資料群組ID而被利用於字幕語言識別，但因為是對應於字幕資料之模態，所以是識別該「user_structure」之分頁的識別元。「Number_of_ViewBlocks N」係表示在該「user_structure」中含有N 個 Region_id的視差資訊等。
「ID_Block(i)」係表示Region_id(i)。「2D_object_posion_flag」係一旗標，用來表示是否參照被當作ID_Block(i)而含有之重疊位置資訊(2D用重疊資訊的顯示位置之資訊)。若該旗標豎起時，則表示要參照該重疊位置資訊。此時，作為ID_Block(i)之資訊，係含有重疊位置資訊(「Vertical_Position」、「Horizontal_Position」)。「Vertical_Position」，係表示2D用重疊資訊的垂直方向位置。「Horizontal_Position」，係表示2D用重疊資訊的水平方向位置。
從上述CC編碼器127所輸出的CC資料內，含有重疊位置的控制資料。因此，例如，當ID_Block(i)是對應於隱藏式字幕資訊時，「2D_object_posion_flag」就不會豎起。然後，作為ID_Block(i)的資訊，就不含有重疊位置資訊(「Vertical_Position」、「Horizontal_Position」)。
「3D_disparity_flag」係表示，作為ID_Block(i)之資訊，是否含有視差資訊(視差向量)。若該旗標豎起時，則表示含有視差資訊。「View_Vector_Vertical」係表示視差向量的垂直方向成分。「View_Vector_Horizontal」係表示視差向量的水平方向成分。此外，在此例子中，是含有「View_Vector_Vertical」及「View_Vector_Horizontal」雙方。可是，當僅使用水平方向成分時，則亦可僅含有「View_Vector_Horizontal」。
「Status_Count_flag」係一旗標，用來表示作為ID_Block(i)之資訊，是否參照重疊資訊的顯示時間資訊。若該旗標豎起時，則表示要參照顯示時間資訊。此時，作為ID_Block(i)之資訊，係含有例如，表示對應於顯示持續時間之畫格數的資訊「Duration_Counter」。於收訊側中，重疊資訊的顯示係被系統層的時間戳記所開始，但該顯示持續時間所對應之畫格數經過後，重疊資訊之顯示(包含視差資訊所致之效果)就被重置。藉此，就不需要將相同的資訊每圖像地重複發送。
從上述CC編碼器127所輸出的CC資料內，含有顯示時間的控制資料。因此，例如，當ID_Block(i)是對應於隱藏式字幕資訊時，「Status_Count_flag」就不會豎起，作為ID_Block(i)之資訊就不會含有資訊「Duration_Counter」。
詳細說明雖然省略，但該圖19所示的送訊資料生成部110C的其他部分，係和圖2所示的送訊資料生成部110同樣構成，同樣動作。
「送訊資料生成部之其他構成例」
圖19所示的送訊資料生成部110C，係將來自Z資料部128的視差資訊，當作使用者資料而嵌入至視訊元素串流中而傳輸。可是，亦可考慮將該來自Z資料部128的視差資訊，以獨立的元素串流之方式，傳輸給收訊側。
圖25係圖示了送訊資料生成部110D的構成例。於此圖25中，和圖19對應的部分係標示同一符號，並省略其詳細說明。該送訊資料生成部110D係具有視差資訊編碼器129。從Z資料部128所輸出的每一Region_id的視差資訊(DzD/DzD'，因應需要而含有位置資訊、時間資訊)，係被送往視差資訊編碼器129。
在該視差資訊編碼器129中，係生成含視差資訊的視差資訊元素串流。該視差資訊元素串流係被供給至多工器122。然後，在多工器122中，含視差資訊編碼器129的從各編碼器所供給之元素串流的封包係被多工化，獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
詳細說明雖然省略，但該圖25所示的送訊資料生成部110D的其他部分，係和圖19所示的送訊資料生成部110同樣構成，同樣動作。
「送訊資料生成部之其他構成例」
圖18所示的送訊資料生成部110B，係將字幕資訊、圖形資訊及文字資訊當作重疊資訊而處理。考慮用和該圖18所示之送訊資料生成部110B同樣的構成，而且還能處理隱藏式字幕資訊之構成。
圖26係圖示了送訊資料生成部110E的構成例。此例係不將視差向量以數值資訊方式傳輸，而是改為，在用來重疊於影像所需之重疊資訊(例如隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料上，反映出視差資訊而傳輸之構成。於此圖26中，與圖18及圖19相對應的部分係標示同一符號，並省略其詳細說明。
於該圖26的送訊資料生成部中，在CC編碼器127和串流格式化器113a之間，插入有CC資料處理部130。然後，已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量，係被供給至CC資料處理部130。
在CC資料處理部130中，係基於CC編碼器127所產生的CC資料，而生成要重疊於左眼影像上的左眼隱藏式字幕資訊之資料及要重疊於右眼影像上的右眼隱藏式字幕資訊之資料。此時，左眼隱藏式字幕資訊及右眼隱藏式字幕資訊係為相同的資訊。可是，右眼隱藏式字幕資訊，其在影像內的重疊位置係為，例如，相對於左眼隱藏式字幕資訊，是往水平方向偏移了視差向量之水平方向成分VVT。
如此被CC資料處理部130所處理後的CC資料，係被供給至視訊編碼器113的串流格式化器113a。在串流格式化器113a中，來自CC資料處理部130的CC資料係被當成使用者資料而嵌入至視訊元素串流。
詳細說明雖然省略，但該圖26所示的送訊資料生成部110E的其他部分，係和圖18所示的送訊資料生成部110B同樣構成，同樣動作。
[機上盒的說明]
返回圖1，機上盒200，係將從播送台100裝載於載波而發送過來的位元串流資料(傳輸串流)，加以接收。該位元串流資料中係包含有：含左眼影像資料及右眼影像資料的立體影像資料、聲音資料、重疊資訊資料、還含有視差資訊(視差向量)。此處，重疊資訊資料係為，例如隱藏式字幕資料、字幕資料、圖形資料、文字資料等。
機上盒200，係具有位元串流處理部201。該位元串流處理部201，係從位元串流資料，抽出立體影像資料、聲音資料、重疊資訊資料、視差向量等。該位元串流處理部201，係使用立體影像資料、重疊資訊資料(字幕資料、圖形資料、文字資料、CC(Closed Caption)資料))等，而生成已被重疊有重疊資訊的左眼影像及右眼影像之資料。
此處，當視差向量是以數值資訊的方式而被發送過來時，基於視差向量和重疊資訊資料，而生成分別要重疊於左眼影像、右眼影像的左眼重疊資訊、右眼重疊資訊。此時，左眼重疊資訊及右眼重疊資訊係為相同的重疊資訊。可是，右眼重疊資訊，其在影像內的重疊位置係為，例如，相對於左眼重疊資訊，是往水平方向偏移了視差向量之水平方向成分。
圖27(a)係圖示了，傳輸方式是上述第2傳輸方式(「Side By Side」方式)時，左眼圖形資訊及右眼圖形資訊的重疊位置。相對於被重疊於左眼影像IL上的左眼圖形資訊LGI，被重疊於右眼影像IR上的右眼圖形資訊RGI，係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。此外，IT係為閒置偏移值。
在位元串流處理部201中，係對各影像IL，IR係有各圖形資訊LGI，RGI如圖27(a)所示重疊，而生成圖形資料。位元串流處理部201，係對於從位元串流資料所抽出的立體影像資料(左眼影像資料、右眼影像資料)，將已被生成的左眼圖形資料、右眼圖形資料加以合成，取得處理後的立體影像資料。若依據該立體影像資料，則視聽者係如圖27(b)所示，可將各影像IL，IR，連同各圖形資訊LGI，RGI，都帶有視差而觀察，對於圖形資訊也可認知到遠近感。
此外，圖28(a)係圖示了，對各影像IL，IR，直接重疊了從位元串流資料所抽出的圖形資料所致之圖形影像之狀態。此情況下，視聽者係如圖28(b)所示，連同左眼影像IL而觀察到圖形資訊的左半部分，連同右眼影像IR而觀察到圖形資訊的右半部分。因此，無法正確地辨識圖形資訊。
雖然圖27係圖示了圖形資訊的情形，但關於其他的重疊資訊(隱藏式字幕資訊、字幕資訊、文字資訊等)也同樣如此。亦即，當視差向量是以數值資訊的方式而被發送過來時，基於視差向量和重疊資訊資料，而生成分別要重疊於左眼影像、右眼影像的左眼重疊資訊、右眼重疊資訊。此時，左眼重疊資訊及右眼重疊資訊係為相同的重疊資訊。可是，右眼重疊資訊，其在影像內的重疊位置係為，例如，相對於左眼重疊資訊，是往水平方向偏移了視差向量之水平方向成分。
此處，作為在左眼重疊資訊與右眼重疊資訊之間給予視差用的視差向量，係考慮使用以下的視差向量。例如，作為視差向量，考慮使用在影像內複數位置所偵測到的視差向量當中，遠近感被辨識為最近之位置的視差向量。圖29(a)，(b)，(c)，(d)係分別圖示了，在時刻T0，T1，T2，T3上的3個物件位置的視差向量(View Vector)。
在時刻T0上，物件1所對應之位置(H0，V0)中的視差向量VV0-1，係為最大的視差向量MaxVV(T0)。在時刻T1上，物件1所對應之位置(H1，V1)中的視差向量VV1-1，係為最大的視差向量MaxVV(T1)。在時刻T2上，物件2所對應之位置(H2，V2)中的視差向量VV2-2，係為最大的視差向量MaxVV(T2)。在時刻T3上，物件1所對應之位置(H3，V3)中的視差向量VV3-0，係為最大的視差向量MaxVV(T3)。
如此，作為視差向量，是使用在影像內複數位置所偵測到的視差向量當中，遠近感被辨識為最近之位置的視差向量，藉此，就可將重疊資訊，顯示在比遠近感上感覺最近之影像內物體還要前方。
圖30(a)係圖示了，影像上的字幕(例如隱藏式字幕資訊、字幕資訊)的顯示例。在該顯示例中係為，在背景與近景物件所成之影像上，重疊有字幕的例子。圖30(b)係圖示了背景、近景物件、字幕的遠近感，表示了字幕是被辨識成位於最前方的樣子。
圖31(a)係和圖30(a)同樣地圖示了，影像上的字幕(例如隱藏式字幕資訊、字幕資訊)的顯示例。圖31(b)係圖示了，字幕顯示所需的左眼字幕資訊LGI、和右眼字幕資訊RGI。圖31(c)係圖示了，為了使字幕被辨識成最近前方，而對各字幕資訊LGI、RGI賦予視差的樣子。
又，作為視差向量，係考慮使用在影像內複數位置所偵測到的視差向量當中，對應於該重疊位置者。圖32(a)係圖示了，從位元串流資料所抽出的圖形資料所致之圖形資訊，和從位元串流資料所抽出的文字資料所致之文字資訊。
圖32(b)係圖示了，在左眼影像上，重疊有左眼圖形資訊LGI及左眼文字資訊LTI的狀態。此時，左眼圖形資訊LGI，其重疊位置是在水平方向上被閒置偏移值(IT-0)所限制。又，左眼文字資訊LTI，其重疊位置是在水平方向上被閒置偏移值(IT-1)所限制。
圖32(c)係圖示了，在右眼影像上，重疊有右眼圖形資訊RGI及右眼文字資訊RTI的狀態。此時，右眼圖形資訊RGI，其重疊位置是在水平方向上被閒置偏移值(IT-0)所限制，而且還從左眼圖形資訊LGI的重疊位置起，偏移了該重疊位置所對應之視差向量之水平方向成分VVT-0。又，右眼文字資訊RTI，其重疊位置是在水平方向上被閒置偏移值(IT-1)所限制，而且還從左眼文字資訊LTI的重疊位置起，偏移了該重疊位置所對應之視差向量之水平方向成分VVT-1。
在上述係說明了，在左眼影像及右眼影像上，重疊從位元串流資料所抽出的圖形資料所致之圖形資訊、或從位元串流資料所抽出的文字資料所致之文字資訊之情形。除此以外，還考慮在機上盒200內產生圖形資料或文字資料，並且要將這些的資訊，重疊於左眼影像及右眼影像上的情形。
此情況下也是，可利用從位元串流資料所抽出的影像內的所定位置的視差向量，使左眼圖形資訊與右眼圖形資訊之間，或左眼文字資訊與右眼文字資訊之間，帶有視差。藉此，圖形資訊、文字資訊之顯示時，就可與影像內之各物體(物件)的遠近感之間，維持遠近感之整合性而賦予適切的遠近感。
圖33(a)係圖示了，在影像內有A，B，C各物件存在，例如，在這些各物件的附近位置，重疊用來表示各物件之注釋的文字資訊。圖33(b)係圖示了，將A，B，C各物件之位置、表示該位置上的視差向量之對應的視差向量清單、各個視差向量，利用於對表示A，B，C各物件之注釋的文字資訊賦予視差時的情形。例如，A的物件附近係被重疊有「Text」的文字資訊，但在其左眼文字資訊和右眼文字資訊之間，係被給予了A物件之位置(Ha，Va)上的視差向量VV-a所對應之視差。此外，關於B，C物件的附近所被重疊的文字資訊，也同樣如此。
此外，圖32係圖示了，重疊資訊是圖形資訊及文字資訊之情形。又，圖33係圖示了，重疊資訊是文字資訊之情形。雖然省略詳細說明，但其他的重疊資訊(隱藏式字幕資訊、字幕資訊、文字資訊等)時候也同樣如此。
接著說明，視差向量是被事先反映在重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料上而被發送過來的情形。此時，從位元串流資料所抽出的重疊資訊資料中係含有，已被視差向量而給予視差的左眼重疊資訊及右眼重疊資訊之資料。
因此，位元串流處理部201，係對於從位元串流資料所抽出的立體影像資料(左眼影像資料、右眼影像資料)，將從位元串流資料所抽出之重疊資訊資料單純加以合成，取得處理後的立體影像資料。此外，關於隱藏式字幕資料或文字資料，係需要將字元碼轉換成點陣圖資料等之處理。
[機上盒的構成例]
說明機上盒200之構成。圖34係圖示了機上盒200的構成例。該機上盒200係具有：位元串流處理部201、HDMI端子202、天線端子203、數位選台器204、映像訊號處理電路205、HDMI送訊部206、聲音訊號處理電路207。又，該機上盒200係具有：CPU211、快閃ROM212、DRAM213、內部匯流排214、遙控器收訊部215、遙控器送訊機216。
天線端子203，係用來將收訊天線(未圖示)所接收到的電視播送訊號加以輸入的端子。數位選台器204，係將被天線端子203所輸入之電視播送訊號予以處理，將使用者所選擇頻道所對應之所定的位元串流資料(傳輸串流)予以輸出。
位元串流處理部201，係如上述，從位元串流資料中，抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差資訊(視差向量)等。重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。該位元串流處理部201，係如上述，對於立體影像資料，將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料加以合成，取得顯示用立體影像資料。又，位元串流處理部201，係將聲音資料予以輸出。位元串流處理部201的詳細構成係於後述。
映像訊號處理電路205，係對從位元串流處理部201所輸出的立體影像資料，因應需要而進行畫質調整處理等，將處理後的立體影像資料供給至HDMI送訊部206。聲音訊號處理電路207，係對從位元串流處理部201所輸出的聲音資料，因應需要而進行音質調整處理等，將處理後的聲音資料供給至HDMI送訊部206。
HDMI送訊部206，係藉由以HDMI為依據的通訊，將基頻的影像(映像)與聲音的資料，從HDMI端子202予以送出。此時，由於是以HDMI的TMDS通道進行送訊，因此影像及聲音之資料是被打包(packing)，從HDMI送訊部206往HDMI端子202輸出。該HDMI送訊部206的細節將於後述。
CPU211，係控制機上盒200各部的動作。快閃ROM212，係進行控制軟體之儲存及資料之保管。DRAM213，係構成CPU211之工作區域。CPU211，係將從快閃ROM212讀出之軟體或資料，展開於DRAM213上而啟動軟體，控制機上盒200的各部。
遙控器收訊部215，係將從遙控器送訊機216所發送來之遙控訊號(遙控碼)，供給至CPU211。CPU211，係基於該遙控碼而控制著機上盒200的各部。CPU211、快閃ROM212及DRAM213係被連接至內部匯流排214。
簡單說明機上盒200之動作。已被輸入至天線端子203的電視播送訊號係被供給至數位選台器204。在該數位選台器204中，電視播送訊號會被處理，對應於使用者選擇頻道的所定之位元串流資料(傳輸串流)會被輸出。
從數位選台器204所輸出的位元串流資料，係被供給至位元串流處理部201。在該位元串流處理部201上，係從位元串流資料中抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、圖形資料、文字資料、視差向量等。又，在該位元串流處理部201中，係對於立體影像資料，將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料加以合成，生成顯示用立體影像資料。
由位元串流處理部201所生成的顯示用立體影像資料，係因應需要而在映像訊號處理電路205進行畫質調整處理等之後，供給至HDMI送訊部206。又，位元串流處理部201所獲得之聲音資料，係在聲音訊號處理電路207中因應需要而進行音質調整處理等之後，供給至HDMI送訊部206。已被供給至HDMI送訊部206的立體影像資料及聲音資料，係藉由HDMI的TMDS通道，從HDMI端子202往HDMI纜線400送出。
「位元串流處理部之構成例」
圖35係圖示了位元串流處理部201的構成例。該位元串流處理部201，係對應於上述圖2所示的送訊資料生成部110而構成。該位元串流處理部201係具有：解多工器220、視訊解碼器221、字幕‧圖形解碼器222、文字解碼器223、音訊解碼器224、視差向量解碼器225。又，該位元串流處理部201係具有：立體影像用字幕‧圖形產生部226、立體影像用文字產生部227、視訊重疊部228、多聲道揚聲器控制部229。
解多工器220，係從位元串流資料BSD，抽出視訊、音訊、視差向量、字幕或圖形及文字的封包，送往各解碼器。
視訊解碼器221係進行與上述送訊資料生成部110之視訊編碼器113相反的處理。亦即，該視訊解碼器221係根據已被解多工器220所抽出的視訊的封包，重新構成視訊的元素串流，進行解碼處理，獲得含左眼影像資料及右眼影像資料的立體影像資料。立體影像資料的傳輸方式係例如有，上述的第1傳輸方式(「Top & Bottom」方式)、第2傳輸方式(「Side By Side」方式)、第3傳輸方式(「Frame Sequential」方式)等(參照圖4(a)～(c))。
字幕‧圖形解碼器222，係進行與上述的送訊資料生成部110之字幕‧圖形編碼器119相反的處理。亦即，該字幕‧圖形解碼器222，係係根據已被解多工器220所抽出的字幕或圖形之封包，而重新構成字幕或圖形的元素串流。然後，該字幕‧圖形解碼器222，係還進行解碼處理，獲得字幕資料或圖形資料。
文字解碼器223係進行與上述送訊資料生成部110之文字編碼器121相反的處理。亦即，該文字解碼器223係根據已被解多工器220所抽出的文字的封包，重新構成文字的元素串流，進行解碼處理，獲得文字資料。
音訊解碼器224係進行與上述送訊資料生成部110之音訊編碼器117相反的處理。亦即，該音訊解碼器224係根據已被解多工器220所抽出的音訊的封包，重新構成音訊的元素串流，進行解碼處理，獲得聲音資料。
視差向量解碼器225，係進行與上述的送訊資料生成部110之視差向量編碼器115相反的處理。亦即，該視差向量解碼器225係根據已被解多工器220所抽出的視差向量的封包，重新構成視差向量的元素串流，進行解碼處理，獲得影像內的所定位置之視差向量。
立體影像用字幕‧圖形產生部226，係生成分別要重疊至左眼影像及右眼影像的左眼及右眼的字幕資訊或圖形資訊。該生成處理，係基於解碼器222所得到的字幕資料或圖形資料，和解碼器225所得到的視差向量，而進行之。此時，左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是，影像內的重疊位置係為，例如，相對於左眼的字幕資訊或圖形資訊，右眼的字幕資訊或圖形資訊是往水平方向偏移了視差向量的水平方向成分。然後，該立體影像用字幕‧圖形產生部226，係將已被生成的左眼及右眼的字幕資訊或圖形資訊之資料(點陣圖資料)，予以輸出。
立體影像用文字產生部227，係基於解碼器223所得到的文字資料、和解碼器225所得到的視差向量，而生成分別要重疊於左眼影像、右眼影像的左眼文字資訊、右眼文字資訊。此情況下，雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊，但右眼文字資訊，其在影像內的重疊位置係為，例如，相對於左眼文字資訊，是往水平方向偏移了視差向量之水平方向成分。然後，該立體影像用文字產生部227，係將已被生成的左眼文字資訊及右眼文字資訊之資料(點陣圖資料)，予以輸出。
視訊重疊部228，係對於視訊解碼器221所獲得之立體影像資料(左眼影像資料、右眼影像資料)，將已被產生部226、227所產生的資料，加以重疊，獲得顯示用立體影像資料Vout。此外，重疊資訊資料對立體影像資料(左眼影像資料、右眼影像資料)的重疊，係藉由系統層的時間戳記而被開始。
多聲道揚聲器控制部229，係對音訊解碼器224所獲得的聲音資料，施以例如用來實現5.1ch環繞等所需的多聲道揚聲器的聲音資料生成處理、賦予所定之音場特性的處理等。又，該多聲道揚聲器控制部229，係基於解碼器225所得到的視差向量，控制多聲道揚聲器的輸出。
視差向量的大小越大，則立體感上會越有效果。配合立體的程度，來控制多聲道的揚聲器輸出，可實現更加立體體驗的提供。
圖36係圖示了，視差向量VV1是當面向電視顯示器，左側的視訊物件較大時的揚聲器輸出控制例。在此控制例中，多聲道揚聲器的Rear Left的揚聲器音量是被加大，Front Left的揚聲器音量係被設為中程度，Front Right，Rear Right的揚聲器音量係被減小。如此，可將視訊內容(立體影像資料)的視差向量，對聲音資料等其他媒體資料，在收訊側上加以適用，藉此，就可讓視聽者完整地體驗到立體感。
簡單說明圖35所示的位元串流處理部201之動作。從數位選台器204(參照圖34)所輸出的位元串流資料BSD，係被供給至解多工器220。在該解多工器220中，係從位元串流資料BSD，抽出視訊、音訊、視差向量、字幕或圖形及文字的封包，供給至各解碼器。
在視訊解碼器221中，係根據已被解多工器220所抽出的視訊的封包，重新構成視訊的元素串流，然後進行解碼處理，獲得含左眼影像資料及右眼影像資料的立體影像資料。該立體影像資料，係被供給至視訊重疊部228。又，在視差向量解碼器225中，係根據已被解多工器220所抽出的視差向量的封包而重新構成視差向量的元素串流，然後進行解碼處理，獲得影像內的所定位置之視差向量(參照圖8)。
在字幕‧圖形解碼器222中，係根據已被解多工器220所抽出的字幕或圖形之封包，而重新構成字幕或圖形的元素串流。在字幕‧圖形解碼器222中，係更進一步對字幕或圖形的元素串流進行解碼處理，而獲得字幕資料或圖形資料。該字幕資料或圖形資料，係被供給至立體影像用字幕‧圖形產生部226。對該立體影像用字幕‧圖形產生部226係還會供給著，視差向量解碼器225所得到的視差向量。
在該立體影像用字幕‧圖形產生部226中係生成，分別要重疊至左眼影像、右眼影像的左眼及右眼的字幕資訊或圖形資訊之資料。該生成處理，係基於解碼器222所得到的字幕資料或圖形資料，和解碼器225所得到的視差向量，而進行之。此時，影像內的重疊位置係為，例如，相對於左眼的字幕資訊或左眼圖形資訊，右眼的字幕資訊或圖形資訊，是往水平方向偏移了視差向量的水平方向成分。從該立體影像用字幕‧圖形產生部226係會輸出，已被生成的左眼及右眼的字幕資訊或圖形資訊之資料(點陣圖資料)。
又，在文字解碼器223中，係根據已被解多工器220所抽出的文字的封包，重新構成文字的元素串流，然後進行解碼處理，獲得文字資料。該文字資料，係被供給至立體影像用文字產生部227。對該立體影像用文字產生部227係還會供給著，視差向量解碼器225所得到的視差向量。
在該立體影像用文字產生部227中，係基於解碼器223所得到的文字資料、和解碼器225所得到的視差向量，而生成分別要重疊於左眼影像、右眼影像的左眼文字資訊、右眼文字資訊。此情況下，雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊，但右眼文字資訊，其在影像內的重疊位置係為，例如，相對於左眼文字資訊，是往水平方向偏移了視差向量之水平方向成分。從該立體影像用文字產生部227係輸出，已被生成的左眼文字資訊及右眼文字資訊之資料(點陣圖資料)。
對視訊重疊部228係供給著上述來自視訊解碼器221的立體影像資料(左眼影像資料、右眼影像資料)以外，還供給著從字幕‧圖形產生部226及文字產生部227所輸出的資料。在該視訊重疊部228中，係對於立體影像資料(左眼影像資料、右眼影像資料)，重疊上字幕‧圖形產生部226及文字產生部227所產生的資料，獲得顯示用立體影像資料Vout。該顯示用立體影像資料Vout，係透過映像訊號處理電路205，而向HDMI送訊部206(參照圖34)，當作送訊影像資料而供給。
又，在音訊解碼器224中，係根據已被解多工器220所抽出的音訊的封包，重新構成音訊的元素串流，然後進行解碼處理，獲得聲音資料。該聲音資料，係被供給至多聲道揚聲器控制部229。在該多聲道揚聲器控制部229中，係對聲音資料，施以例如用來實現5.1ch環繞等所需的多聲道揚聲器的聲音資料生成處理、賦予所定之音場特性的處理等。
對該多聲道揚聲器控制部229係還會供給著，視差向量解碼器225所得到的視差向量。然後，在該多聲道揚聲器控制部229中，係基於視差向量，控制多聲道揚聲器的輸出。該多聲道揚聲器控制部229所獲得的多聲道聲音資料，係透過聲音訊號處理電路207而向HDMI送訊部206(參照圖34)，當作送訊聲音資料而供給。
「位元串流處理部之其他構成例」
圖37所示的位元串流處理部201A，係對應於上述圖13所示的送訊資料生成部110A而構成。於此圖37中，和圖35對應的部分係標示同一符號，並省略其詳細說明。
該位元串流處理部201A，係取代了圖35所示的位元串流處理部201的視差向量解碼器225，改為設置視差向量取出部231。該視差向量取出部231，係從通過視訊解碼器221所得之視訊的串流中，取出該使用者資料領域中所被嵌入的視差向量。然後，該視差向量取出部231，係將已取出的視差向量，供給至立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器控制部229。
詳細說明雖然省略，但該圖37所示的位元串流處理部201A的其他部分，係和圖35所示的位元串流處理部201同樣構成，同樣動作。
「位元串流處理部之其他構成例」
又，圖38所示的位元串流處理部201B，係對應於上述圖18所示的送訊資料生成部110B而構成。於此圖38中，和圖35對應的部分係標示同一符號，並省略其詳細說明。
該位元串流處理部201B，係從圖35所示的位元串流處理部201，去除了視差向量解碼器225、立體影像用字幕‧圖形產生部226及立體影像用文字產生部227。此時，視差向量係預先被反映在字幕資訊、圖形資訊、文字資訊之資料上。
被發送過來的字幕資料或圖形資料中，係如上述，含有要重疊至左眼影像的左眼之字幕資訊或圖形資訊之資料，及要重疊至右眼影像的右眼之字幕資訊或圖形資訊之資料。同樣地，被發送過來的文字資料中，係如上述，含有要重疊至左眼影像的左眼文字資訊之資料，及要重疊至右眼影像的右眼文字資訊之資料。因此，視差向量解碼器225係不需要立體影像用字幕‧圖形產生部226及立體影像用文字產生部227。
此外，由於文字解碼器223所獲得的文字資料係為碼資料(字元碼)，因此需要有將它們轉換成點陣圖資料的處理。該處理係例如在文字解碼器223的最終段裡進行，或者是在視訊重疊部228的輸入段上進行。
「位元串流處理部之其他構成例」
又，圖39所示的位元串流處理部201C，係對應於上述圖19所示的送訊資料生成部110C而構成。於此圖39中，和圖35對應的部分係標示同一符號，並省略其詳細說明。
該位元串流處理部201C，係具有：視差資訊取出部232、CC解碼器233及立體影像用隱藏式字幕產生部234。如上述，從圖19所示的送訊資料生成部110C的視訊編碼器113所輸出的視訊元素串流中，係有CC(隱藏式字幕)資料及每一Region_id的視差資訊，被當成使用者資料而嵌入。
在視差資訊取出部232上，係從通過視訊解碼器221而獲得的視訊元素串流中，取出每一Region_id的視差資訊。從視差資訊取出部232往立體影像用隱藏式字幕產生部234係供給著，已被取出之每一Region_id的視差資訊當中的對應於隱藏式字幕資訊的視差資訊(不含重疊位置資訊、顯示時間資訊)。
又，從視差資訊取出部232往立體影像用字幕‧圖形產生部226係供給著，已被取出之每一Region_id的視差資訊當中的對應於字幕資訊或圖形資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。然後，從視差資訊取出部232往立體影像用文字產生部227係供給著，已被取出之每一Region_id的視差資訊當中的對應於文字資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。
在CC解碼器233上，係從通過視訊解碼器233而獲得的視訊元素串流中，取出CC資料(隱藏式字幕資料)。然後，在CC解碼器233上，從該CC資料係取得每一Window的隱藏式字幕資料(字幕的字元碼)，並還取得重疊位置及顯示時間的控制資料。然後，從該CC解碼器233往立體影像用隱藏式字幕產生部234係供給著隱藏式字幕資料、和重疊位置及顯示時間的控制資料。
在立體影像用隱藏式字幕產生部234中，係就每一Window，生成分別要重疊至左眼影像、右眼影像的左眼隱藏式字幕資訊(字幕)、右眼隱藏式字幕資訊(字幕)之資料。該生成處理，係基於已被CC解碼器233所獲得之隱藏式字幕資料及重疊位置資訊，和從視差資訊取出部232所供給來的視差資訊(視差向量)，而進行之。此時，左眼及右眼的隱藏式字幕資訊係為相同的資訊。可是，右眼隱藏式字幕資訊，其在影像內的重疊位置係為，例如，相對於左眼隱藏式字幕資訊，是往水平方向偏移了視差向量之水平方向成分。
如此，在立體影像用隱藏式字幕產生部234上對每一Window所生成的左眼及右眼之隱藏式字幕資訊之資料(點陣圖資料)，係連同顯示時間之控制資料，一起被供給至視訊重疊部228。
又，在立體影像用字幕‧圖形產生部226中係生成，分別要重疊至左眼影像及右眼影像的左眼及右眼的字幕資訊或圖形資訊。該生成處理，係基於已被字幕‧圖形解碼器222所獲得之字幕資料或圖形資料，和從視差資訊取出部232所供給之視差資訊(視差向量)，而進行之。此時，左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是，影像內的重疊位置係為，例如，相對於左眼的字幕資訊或圖形資訊，右眼的字幕資訊或圖形資訊是往水平方向偏移了視差向量的水平方向成分。
如此，在立體影像用字幕‧圖形產生部234上所生成的左眼及右眼之字幕資訊或圖形資訊之資料(點陣圖資料)，係連同顯示時間資訊(畫格數資訊)，一起被供給至視訊重疊部228。
又，在立體影像用文字產生部227中係生成，分別要重疊至左眼影像及右眼影像的左眼及右眼的文字資訊。該生成處理，係基於已被文字解碼器223所獲得之文字資料，和從視差資訊取出部232所供給之視差資訊(視差向量)，而進行之。此時，左眼及右眼的文字資訊係為相同的資訊。可是，右眼的文字資訊，其在影像內的重疊位置係為，例如，相對於左眼的文字資訊，是往水平方向偏移了視差向量之水平方向成分。
如此，在立體影像用文字產生部227上所生成的左眼及右眼之文字資訊之資料(點陣圖資料)，係連同顯示時間資訊(畫格數資訊)，一起被供給至視訊重疊部228。
在視訊重疊部228中，係對於視訊解碼器221所獲得之立體影像資料(左眼影像資料、右眼影像資料)，重疊了從各各解碼器所供給之重疊資訊資料，獲得顯示用立體影像資料Vout。此外，重疊資訊資料對立體影像資料(左眼影像資料、右眼影像資料)的重疊，係藉由系統層的時間戳記而被開始。又，其重疊持續時間，係關於隱藏式字幕資訊係基於顯示時間之控制資料，關於字幕資訊、圖形資訊、文字資訊等則是基於顯示時間資訊，而被控制。
詳細說明雖然省略，但該圖39所示的位元串流處理部201C的其他部分，係和圖35所示的位元串流處理部201同樣構成，同樣動作。
「位元串流處理部之其他構成例」
又，圖40所示的位元串流處理部201D，係對應於上述圖25所示的送訊資料生成部110D而構成。於此圖40中，與圖35及圖9相對應的部分係標示同一符號，並省略其詳細說明。
位元串流處理部201D，係具有視差資訊解碼器235。在圖25所示的送訊資料生成部110D中，係藉由視差資訊編碼器129，生成含有來自Z資料部128之視差資訊的視差資訊元素串流。然後，在多工器122中，含視差資訊編碼器129的從各編碼器所供給之元素串流的封包係被多工化，獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
在視差資訊解碼器235中，係根據已被解多工器220所抽出之視差資訊的封包，重新構成視差資訊的元素串流，然後進行解碼處理，獲得每一Region_id的視差資訊。該視差資訊，係和圖39的位元串流處理部201C的視差資訊取出部232所取出的視差資訊相同。
在該視差資訊解碼器235中，係從通過視訊解碼器221而獲得的視訊元素串流中，取出每一Region_id的視差資訊。從視差資訊解碼器235往立體影像用隱藏式字幕產生部234係供給著，已被取出之每一Region_id的視差資訊當中的對應於隱藏式字幕資訊的視差資訊(不含重疊位置資訊、顯示時間資訊)。
又，從視差資訊解碼器235往立體影像用字幕‧圖形產生部226係供給著，已被取出之每一Region_id的視差資訊當中的對應於字幕資訊或圖形資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。然後，從視差資訊解碼器235往立體影像用文字產生部227係供給著，已被取出之每一Region_id的視差資訊當中的對應於文字資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。
詳細說明雖然省略，但該圖40所示的位元串流處理部201D的其他部分，係和圖39所示的位元串流處理部201C同樣構成，同樣動作。
「位元串流處理部之其他構成例」
又，圖41所示的位元串流處理部201E，係對應於上述圖26所示的送訊資料生成部110E而構成。於此圖41中，與圖35及圖38相對應的部分係標示同一符號，並省略其詳細說明。
該位元串流處理部201E，係具有CC解碼器236。在圖26所示的送訊資料生成部110E的CC資料處理部130中，係基於CC資料，而生成要重疊於左眼影像上的左眼隱藏式字幕資訊之資料及要重疊於右眼影像上的右眼隱藏式字幕資訊之資料。然後，被CC資料處理部130所處理後的CC資料，係被供給至視訊編碼器113的串流格式化器113a，被當成使用者資料而嵌入至視訊的串流中。
在CC解碼器236上，係從通過視訊解碼器221而獲得的視訊元素串流中，取出CC資料(隱藏式字幕資料)，然後，從該CC解碼器，取得每一Window的左眼及右眼之隱藏式字幕資訊之資料。然後，該CC解碼器236所取得的左眼及右眼之隱藏式字幕資訊之資料，係被供給至視訊重疊部228。
在該視訊重疊部228中，係對於立體影像資料(左眼影像資料、右眼影像資料)，重疊上由CC解碼器236、字幕‧圖形解碼器222及文字解碼器223所產生的資料，獲得顯示用立體影像資料Vout。
詳細說明雖然省略，但該圖41所示的位元串流處理部201E的其他部分，係和圖38所示的位元串流處理部201B同樣構成，同樣動作。
[電視收訊機之說明]
返回圖1，電視收訊機300係將從機上盒200透過HDMI纜線400而送來的立體影像資料，加以接收。該電視收訊機300，係具有3D訊號處理部301。該3D訊號處理部301，係對立體影像資料，進行對應於傳輸方式的處理(解碼處理)，生成左眼影像資料及右眼影像資料。亦即，該3D訊號處理部301係進行與圖2、圖13、圖18、圖19、圖25、圖26所示之送訊資料生成部110，110A，110B，110C，110D，110E中的視訊畫格化部112相反的處理。然後，該3D訊號處理部301，係將構成立體影像資料的左眼影像資料及右眼影像資料，加以取得。
[電視收訊機之構成例]
說明電視收訊機300的構成例。圖42係圖示了電視收訊機300的構成例。該電視收訊機300，係具有：3D訊號處理部301、HDMI端子302、HDMI收訊部303、天線端子304、數位選台器305、位元串流處理部306。又，該電視收訊機300係具有：映像訊號處理電路307、面板驅動電路308、顯示面板309、聲音訊號處理電路310、聲音增幅電路311、揚聲器312。又，該電視收訊機300，係具有：CPU321、快閃ROM322、DRAM323、內部匯流排324、遙控器收訊部325、遙控器送訊機326。
天線端子304，係用來將收訊天線(未圖示)所接收到的電視播送訊號加以輸入的端子。數位選台器305，係將被天線端子304所輸入之電視播送訊號予以處理，將使用者所選擇頻道所對應之所定的位元串流資料(傳輸串流)予以輸出。
位元串流處理部306，係和圖34所示之機上盒200的位元串流處理部201是同樣的構成。該位元串流處理部306，係從位元串流資料中，抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差向量(視差資訊)等。重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。然後，該位元串流處理部306，係對立體影像資料，將重疊資訊資料加以合成，取得顯示用立體影像資料。又，位元串流處理部306，係將聲音資料予以輸出。
HDMI收訊部303，係藉由以HDMI為依據的通訊，將透過HDMI纜線400而被供給至HDMI端子302的非壓縮之影像資料(立體影像資料)及聲音資料，予以接收。該HDMI收訊部303的細節將於後述。3D訊號處理部301，係對已被HDMI收訊部303所接收到的、或位元串流處理部306所得到的立體影像資料，進行對應於傳輸方式的處理(解碼處理)，生成左眼影像資料及右眼影像資料。
映像訊號處理電路307，係基於3D訊號處理部301所生成之左眼影像資料及右眼影像資料，而生成顯示立體影像所需的影像資料。又，映像訊號處理電路，係對影像資料，因應需要而進行畫質調整處理。面板驅動電路308，係基於從映像訊號處理電路307所輸出之影像資料，來驅動顯示面板309。顯示面板309，係由例如LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等所構成。
聲音訊號處理電路310係對於HDMI收訊部303所接收到的、或位元串流處理部306所得到的聲音資料，進行D/A轉換等必要之處理。聲音增幅電路311，係將從聲音訊號處理電路310所輸出之聲音訊號予以增幅而供給至揚聲器312。
CPU321，係控制著電視收訊機300各部之動作。快閃ROM322，係進行控制軟體之儲存及資料之保管。DRAM323，係構成CPU321之工作區域。CPU321，係將從快閃ROM322讀出之軟體或資料，展開於DRAM323上而啟動軟體，控制電視收訊機300的各部。
遙控器收訊部325，係將從遙控器送訊機326所發送來之遙控訊號(遙控碼)，供給至CPU321。CPU321，係基於該遙控碼而控制著電視收訊機300的各部。CPU321、快閃ROM322及DRAM323係被連接至內部匯流排324。
簡單說明圖42所示的電視收訊機300之動作。在HDMI收訊部303中，對HDMI端子302透過HDMI纜線400所連接之機上盒200所發送過來的立體影像資料及聲音資料，會被接收。該HDMI收訊部303所接收到的立體影像資料，係被供給至3D訊號處理部301。又，該HDMI收訊部303所接收到的聲音資料，係被供給至聲音訊號處理電路310。
已被輸入至天線端子304的電視播送訊號係被供給至數位選台器305。在該數位選台器305中，電視播送訊號會被處理，對應於使用者選擇頻道的所定之位元串流資料(傳輸串流)會被輸出。
從數位選台器305所輸出的位元串流資料，係被供給至位元串流處理部306。在該位元串流處理部306上，係從位元串流資料中，抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差向量(視差資訊)等。又，在該位元串流處理部306中，係對於立體影像資料，將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊)的資料加以合成，生成顯示用立體影像資料。
位元串流處理部306所生成的顯示用立體影像資料，係被供給至3D訊號處理部301。又，該位元串流處理部306所獲得之聲音資料，係被供給至聲音訊號處理電路310。
在3D訊號處理部301上，係對已被HDMI收訊部303所接收到的、或位元串流處理部306所得到的立體影像資料，進行對應於傳輸方式的處理(解碼處理)，生成左眼影像資料及右眼影像資料。該左眼影像資料及右眼影像資料，係被供給至映像訊號處理部電路307。在該映像訊號處理電路307中，係基於左眼影像資料及右眼影像資料，生成立體影像顯示所需之影像資料。因此，藉由顯示面板309，就會顯示出立體影像。
又，在聲音訊號處理電路310中，係對於HDMI收訊部303所接收到的、或位元串流處理部306所得到的聲音資料，施以D/A轉換等必要之處理。該聲音資料，係被聲音增幅電路311增幅後，供給至揚聲器312。因此，從揚聲器312就會輸出聲音。
[HDMI送訊部、HDMI收訊部的構成例]
圖43係圖示了，圖1的立體影像顯示系統10中，機上盒200的HDMI送訊部(HDMI訊源端)206、和電視收訊機300的HDMI收訊部(HDMI接收端)303的構成例。
HDMI送訊部206，係於有效影像區間(以下亦適宜稱作有效視訊區間)中，將非壓縮之1畫面份的影像之像素資料所對應之差動訊號，以複數通道，向HDMI收訊部303進行單向送訊。此處，有效影像區間係為，從一個垂直同期訊號至下個垂直同期訊號為止的區間裡，去除掉水平歸線區間及垂直歸線區間後剩下的區間。又，HDMI送訊部206，係於水平歸線區間或垂直歸線區間中，至少將附隨於影像的聲音資料或控制資料、其他補助資料等所對應之差動訊號，以複數通道，向HDMI收訊部303進行單向送訊。
由HDMI送訊部206和HDMI收訊部303所成的HDMI系統的傳輸通道中，係有以下的傳輸通道。亦即，作為從HDMI送訊部206對HDMI收訊部303，將像素資料及聲音資料同步於像素時脈而作單向地進行序列傳輸所需之傳輸通道的3個TMDS通道#0乃至#2。又，還有作為傳輸像素時脈之傳輸通道的TMDS時脈通道。
HDMI送訊部206，係具有HDMI發送器81。發送機81，係例如，將非壓縮之影像的像素資料轉換成對應之差動訊號，以複數通道的3個TMDS通道#0，#1，#2，向透過HDMI纜線400所連接之HDMI收訊部303，單向地進行序列傳輸。
又，發送器81，係將非壓縮之附隨於影像的聲音資料、甚至必要的控制資料其他補助資料等，轉換成對應的差動訊號，以3個TMDS通道#0、#1、#2而對HDMI收訊部303，單向地進行序列傳輸。
再者，發送器81，係將同步於以3個TMDS通道#0，#1，#2所發送之像素資料的像素時脈，以TMDS時脈通道，向透過HDMI纜線400所連接HDMI收訊部303進行送訊。此處，在1個TMDS通道#i(i=0，1，2)中，在像素時脈的1個時脈的期間內，會發送10位元的像素資料。
HDMI收訊部303，係於有效視訊區間中，將從HDMI送訊部206以複數通道單向發送過來的像素資料所對應之差動訊號，加以接收。又，該HDMI收訊部303，係於水平歸線區間或垂直歸線區間中，將從HDMI送訊部206以複數通道單向發送過來的聲音資料或控制資料所對應之差動訊號，加以接收。
亦即，HDMI收訊部303，係具有HDMI接收器82。該HDMI接收器82，係將以TMDS通道#0、#1、#2而從HDMI送訊部206所單向發送過來的像素資料所對應之差動訊號，和聲音資料或控制資料所對應之差動訊號，加以接收。此時是同步於從HDMI送訊部206以TMDS時脈通道所發送過來的像素時脈，而進行收訊。
由HDMI送訊部206與HDMI收訊部303所成之HDMI系統的傳輸通道裡，除了上述的TMDS通道#0乃至#2以外，還有稱作DDC(Display Data Channel)83或CEC線84的傳輸通道。DDC83，係由HDMI纜線400中所含之未圖示的2條訊號線所成。該DDC83，係HDMI送訊部206為了從HDMI收訊部303讀出E-EDID(Enhanced Extended Display Identification Data)時，會被使用。
亦即，HDMI收訊部303，係除了具有HDMI接收器81以外，還具有用來記憶著關於自己之性能(Configuration/capability)的性能資訊亦即E-EDID的、EDID ROM(Read Only Memory)85。HDMI送訊部206，係例如，隨應於來自CPU211(參照圖34)的要求，而從透過HDMI纜線400所連接之HDMI收訊部303，將該當HDMI收訊部303的E-EDID，透過DDC83而予以讀出。HDMI送訊部206，係將已讀出之E-EDID，發送至CPU211。CPU211係將該E-EDID，儲存在快閃ROM212或DRAM213中。
CPU211，係基於E-EDID，就可辨識HDMI收訊部303的性能之設定。例如，CPU211係辨識出，具有HDMI收訊部303之電視收訊機300所能支援的影像資料之格式(解析度、畫格速率、長寬比等)。
CEC線84，係由HDMI纜線400所含之未圖示的1條訊號線所成，在HDMI送訊部206和HDMI收訊部303之間，為了進行控制用資料的雙向通訊而被使用。此CEC線84，係構成了控制資料線。
又，在HDMI纜線400中，係含有被稱作HPD(Hot Plug Detect)之腳位所連接的線(HPD線)86。訊源端機器，係利用該當線86，就可偵測出接收端機器的連接。又，在HDMI纜線400中，係含有用來從訊源端機器向接收端機器供給電源用的線87。再者，HDMI纜線400中係含有預留線88。
圖44係圖示了，圖43的HDMI發送器81與HDMI接收器82的構成例。HDMI發送器81，係具有分別對應於3個TMDS通道#0，#1，#2的3個編碼器/序列化器81A，81B，81C。然後，編碼器/序列化器81A，81B，81C之每一者，係將被供給至其的影像資料、輔助資料、控制資料予以編碼，從平行資料轉換成序列資料，藉由差動訊號而進行送訊。此處，若影像資料是具有例如R，G，B之3成分的情況下，則B成分係被供給至編碼器/序列化器81A，G成分係被供給至編碼器/序列化器81B，R成分係被供給至編碼器/序列化器81C。
又，作為輔助資料則是例如有聲音資料或控制封包，例如控制封包係被供給至編碼器/序列化器81A，聲音資料則是被供給至編碼器/序列化器81B，81C。然後，作為控制資料係有，1位元的垂直同步訊號(VSYNC)、1位元的水平同步訊號(HSYNC)、及各為1位元的控制位元CTL0、CTL1、CTL2、CTL3。垂直同步訊號及水平同步訊號，係被供給至編碼器/序列化器81A。控制位元CTL0、CTL1係被供給至編碼器/序列化器81B，控制位元CTL2、CTL3係被供給至編碼器/序列化器81C。
編碼器/序列化器81A，係將被供給至其的影像資料的B成分、垂直同步訊號及水平同步訊號，以及輔助資料，以分時方式進行發送。亦即，編碼器/序列化器81A，係將被供給至其的影像資料的B成分，變成固定位元數的8位元單位之平行資料。然後，編碼器/序列化器81A，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#0進行發送。
又，編碼器/序列化器81A，係將被供給至其的垂直同步訊號及水平同步訊號的2位元之平行資料加以編碼，轉換成序列資料，以TMDS通道#0進行發送。再者，編碼器/序列化器81A，係將被供給至其的輔助資料，變成4位元單位之平行資料。然後，編碼器/序列化器81A，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#0進行發送。
編碼器/序列化器81B，係將被供給至其的影像資料的G成分、控制位元CTL0、CTL1，以及輔助資料，以分時方式進行發送。亦即，編碼器/序列化器81B，係將被供給至其的影像資料的G成分，變成固定位元數的8位元單位之平行資料。然後，編碼器/序列化器81B，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#1進行發送。
又，編碼器/序列化器81B，係將被供給至其的控制位元CTL0、CTL1的2位元之平行資料加以編碼，轉換成序列資料，以TMDS通道#1進行發送。再者，編碼器/序列化器81B，係將被供給至其的輔助資料，變成4位元單位之平行資料。然後，編碼器/序列化器81B，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#1進行發送。
編碼器/序列化器81C，係將被供給至其的影像資料的R成分、控制位元CTL2、CTL3，以及輔助資料，以分時方式進行發送。亦即，編碼器/序列化器81C，係將被供給至其的影像資料的R成分，變成固定位元數的8位元單位之平行資料。然後，編碼器/序列化器81C，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#2進行發送。
又，編碼器/序列化器81C，係將被供給至其的控制位元CTL2、CTL3的2位元之平行資料加以編碼，轉換成序列資料，以TMDS通道#2進行發送。再者，編碼器/序列化器81C，係將被供給至其的輔助資料，變成4位元單位之平行資料。然後，編碼器/序列化器81C，係將該平行資料加以編碼，轉換成序列資料，以TMDS通道#2進行發送。
HDMI接收器82，係具有分別對應於3個TMDS通道#0，#1，#2的3個復原/解碼器82A，82B，82C。然後，復原/解碼器82A，82B，82C的每一者，係將以TMDS通道#0，#1，#2藉由差動訊號所被發送過來的影像資料、輔助資料、控制資料，加以接收。再來，復原/解碼器82A，82B，82C之每一者，係將影像資料、輔助資料、控制資料，從序列資料傳換成平行資料，然後加以解碼而輸出。
亦即，復原/解碼器82A，係將以TMDS通道#0藉由差動訊號所被發送過來的影像資料的B成分、垂直同步訊號及水平同步訊號、輔助資料，加以接收。然後，復原/解碼器82A，係將該影像資料的B成分、垂直同步訊號及水平同步訊號、輔助資料，從序列資料傳換成平行資料，然後加以解碼而輸出。
亦即，復原/解碼器82B，係將以TMDS通道#1藉由差動訊號所被發送過來的影像資料的G成分、控制位元CTL0、CTL1、輔助資料，加以接收。然後，復原/解碼器82B，係將該影像資料的G成分、控制位元CTL0、CTL1、輔助資料，從序列資料傳換成平行資料，然後加以解碼而輸出。
亦即，復原/解碼器82C，係將以TMDS通道#2藉由差動訊號所被發送過來的影像資料的R成分、控制位元CTL2、CTL3、輔助資料，加以接收。然後，復原/解碼器82C，係將該影像資料的R成分、控制位元CTL2、CTL3、輔助資料，從序列資料傳換成平行資料，然後加以解碼而輸出。
圖45係圖示了TMDS傳輸資料的構造例。該圖45係圖示了，於TMDS通道#0，#1，#2中，傳輸著橫×縱是1920像素×1080掃描線的影像資料時的各種傳輸資料的區間。
以HDMI的3個TMDS通道#0，#1，#2所傳輸之傳輸資料的視訊圖場(Video Field)中，係隨著傳輸資料的種類，而存在有3種類的區間。該3種類的區間係為，視訊資料區間(Video Data period)、資料島區間(Data Island period)、及控制區間(Control period)。
此處，視訊圖場區間係為，從某個垂直同期訊號的上揚邊緣(active edge)起至下個垂直同期訊號的上揚邊緣為止的區間。該視訊圖場區間，係偏移控制處理，係被分成：水平遮沒期間(horizontal blanking)、垂直遮沒期間(vertical blanking)、以及有效視訊區間(Active Video)。該有效視訊區間係為，從視訊圖場區間中，去除了水平遮沒期間及垂直遮沒期間後剩下的區間。
視訊資料區間，係被分配至有效視訊區間。在該視訊資料區間中係傳輸著，構成非壓縮之1畫面份影像資料的，1920像素(pixel)×1080掃描線份的有效像素(Active pixel)之資料。
資料島區間及控制區間，係被分配至水平遮沒期間及垂直遮沒期間。在此資料島區間及控制區間中，係傳輸著輔助資料(Auxiliary data)。亦即，資料島區間，係被分配至水平遮沒期間與垂直遮沒期間的一部分。在該資料島區間中係傳輸著，輔助資料當中與控制沒有關係的資料，例如聲音資料的封包等。
控制區間，係被分配至水平遮沒期間與垂直遮沒期間的其他部分。在該控制區間中係傳輸著，輔助資料當中與控制有關的資料，例如垂直同步訊號及水平同步訊號、控制封包等。
圖46係圖示了HDMI端子211，251的腳位排列之一例。圖46中所示的腳位排列係稱為A型(type-A)。
將TMDS通道#i的差動訊號加以傳輸的差動線亦即2條訊號線，係被連接至被分配TMDS Data#i+之腳位(腳位編號為1，4，7之腳位)、和被分配TMDS Data#i-之腳位(腳位編號為3，6，9之腳位)。
又，控制用資料亦即CEC訊號所被傳輸的CEC線84，係被連接至腳位編號13的腳位，腳位編號14的腳位係為空(Reserved)腳位。又，E-EDID等之SDA(Serial Data)訊號所被傳輸的訊號線，係連接至腳位編號16的腳位。又，SDA訊號收送時之同步所用的時脈訊號亦即SCL(Serial Clock)訊號所被傳輸的訊號線，係連接至腳位編號15的腳位。上述的DDC83，係由傳輸SDA訊號的訊號線、及傳輸SCL訊號的訊號線所構成。
又，如上述，訊源端機器用來偵測接收端機器之連接所用的HPD線86，係被連接至腳位編號19之腳位。又，如上述般地用來供給電源的線87，係被連接至腳位編號18之腳位。
[立體影像資料之各方式下的TMDS傳輸資料例]
此處說明，立體影像資料之各方式下的TMDS傳輸資料例。圖47係圖示了第1傳輸方式(「Top ＆ Bottom」方式)的TMDS傳輸資料例。此情況下，在1920像素×1080掃描線的有效視訊區間，配置著1920像素(畫素)×1080掃描線份的有效像素(Active pixel)之資料(左眼(L)影像資料及右眼(R)影像資料的合成資料)。該第1方式的情況下，如上述，左眼影像資料及右眼影像資料係皆為垂直方向的掃描線被抽掉了1/2。此處，應被傳輸之左眼影像資料係為奇數掃描線或是偶數掃描線之任一者，同樣地，應被傳輸之右眼影像資料係為奇數掃描線或是偶數掃描線之任一者。
圖48係圖示了第2傳輸方式(「Side By Side」方式)的TMDS傳輸資料例。此情況下，在1920像素×1080掃描線的有效視訊區間，配置著1920像素(畫素)×1080掃描線份的有效像素(Active pixel)之資料(左眼(L)影像資料及右眼(R)影像資料的合成資料)。該第2傳輸方式的情況下，如上述，左眼影像資料及右眼影像資料係皆為水平方向之像素資料被抽掉了1/2。
圖49係圖示了第3傳輸方式(「Frame Sequential」方式)時的TMDS傳輸資料例。此情況下，在奇數圖場的1920像素×1080掃描線的有效視訊區間，配置著1920像素(畫素)×1080掃描線份的有效像素(Active pixel)的左眼(L)影像資料。又，在偶數圖場的1920像素×1080掃描線的有效視訊區間，配置著1920像素(畫素)×1080掃描線份的有效像素(Active pixel)的右眼(R)影像資料。
此外，圖49所示的「Frame Sequential」方式時的TMDS傳輸資料例，係圖示了HDMI 1.4(New HDMI)下的「Frame Sequential」方式。此情況下，如圖50(a)所示，於各畫格區間Vfreq中，在奇數圖場配置有左眼影像資料，在偶數圖場配置有右眼影像資料。
可是，在HDMI 1.3(Legacy HDMI)下的「Frame Sequential」方式時，如圖50(b)所示，是在每一畫格區間Vfreq，交互地傳輸左眼影像資料與右眼影像資料。此時，用來表示每一畫格所被傳輸的影像資料是左眼影像資料、右眼影像資料之哪一者的資訊(L，R的signaling資訊)，必須要從訊源端機器送往接收端機器。
將「Top ＆ Bottom」方式、「Side By Side」方式、「Frame Sequential」方式的立體影像資料發送至接收端機器時，是在訊源端機器側上指定方式。然而，在「Frame Sequential」方式的情況下，則是將L，R就每一畫格進行signaling。
例如，將以下的語法，新定義在Legacy HDMI規格的遮沒中所被定義之Vendor Specific，或AVI InfoFrame、或者Reserved之一者，而加以傳輸。
若為HDMI 1.3，則作為遮沒期間中所送出的資訊，係被定義如下。
其中，新定義了Vendor Specific、或AVI InfoFrame、或是未使用領域之一者，而成如下。
上述的資訊中係含有，3維影像資料(立體影像資料)及2維影像資料的切換資訊(1位元的3DVideoFlag資訊)。又，上述的資訊中係含有，3維影像資料的格式之指定或者左眼影像資料及右眼影像資料之切換的資訊(3位元的3DVideoFormat資訊)。
又，該資訊係於播送著同樣內容的位元串流中，應該被定義在圖像標頭或相當於其的時序上所被送來的輔助資訊中。此時，在該位元串流中係擇一性地含有3維影像資資料(由左眼影像資料及右眼影像資料所成之立體影像資料)或2維影像資料。在收訊機(機上盒200)上，接收該串流之際，藉由將該訊令資訊送往後段的數位介面，就可謀求在顯示器(電視收訊機300)上能夠進行正確的3D轉換。
亦可為，收訊機係當切換資訊(1位元的3DVideoFlag資訊)是表示3維影像資料時，就將用來處理資料串流中所含之3維影像資料所需之軟體，從播送伺服器等之外部機器下載安裝。
例如，為了傳輸上述3D資訊，必須要在支援HDMI1.3的系統上作追加而支援，或是需要更新支援HDMI1.4之系統的軟體。因此，在軟體的升級之際，例如，上述3D資訊傳輸時所必須的韌體、中介軟體關係的軟體，就成為升級的對象。
如上述，在圖1所示的立體影像顯示系統10中，是基於視差資訊，而對要重疊於左眼影像及右眼影像的同一重疊資訊(隱藏式字幕資訊、字幕資訊等)，賦予視差。因此，作為被重疊至左眼影像及右眼影像的同一重疊資訊，可使用相應於影像內各物體(物件)之遠近感而施以視差調整過者，於重疊資訊的顯示時，就可保持與影像內各物體之間的遠近感之整合性。
＜2.　變形例＞
此外，於上述實施形態中，是從播送台100側往機上盒200，發送著影像內的所定位置之視差向量。此情況下，機上盒200係不需要基於所接收到的立體影像資料中所含之左眼影像資料及右眼影像資料來獲得視差向量，機上盒200的處理會變得簡單。
可是，亦可考慮，在立體影像資料的收訊側，在上述實施形態中是在機上盒200中，配置與圖2的送訊資料生成部110中的視差向量偵測部114同等的視差向量偵測部。此時，即使沒有視差向量被送過來，仍可進行使用視差向量之處理。
圖51係圖示了例如，被設在機上盒200中的位元串流處理部201F的構成例。於此圖51中，和圖35對應的部分係標示同一符號，並省略其詳細說明。在該位元串流處理部201F中，係取代了圖35所示的位元串流處理部201中的視差向量解碼器225，改為配置了視差向量偵測部237。
該視差向量偵測部237，係基於視訊解碼器221所獲得之構成立體影像資料的左眼影像資料及右眼影像資料，而偵測出影像內的所定位置上的視差向量。然後，該視差向量偵測部237，係將所測出的視差向量，供給至立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器輸出控制部229。
詳細說明雖然省略，但該圖51所示的位元串流處理部201F的其他部分，係和圖35所示的位元串流處理部201同樣構成，同樣動作。
又，圖52係圖示了例如，被設在機上盒200中的位元串流處理部201G的其他構成例。於此圖52中，與圖35、圖39相對應的部分係標示同一符號，並省略其詳細說明。在該位元串流處理部201G中，係取代了圖39所示的位元串流處理部201C中的視差資訊取出部232、視差向量解碼器225，改為配置了視差向量偵測部237。
該視差向量偵測部237，係基於視訊解碼器221所獲得之構成立體影像資料的左眼影像資料及右眼影像資料，而偵測出影像內的所定位置上的視差向量。然後，該視差向量偵測部237，係將所測出的視差向量，供給至立體影像用隱藏式字幕產生部234、立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器控制部229。
詳細說明雖然省略，但該圖52所示的位元串流處理部201G的其他部分，係和圖39所示的位元串流處理部201C同樣構成，同樣動作。
又，於上述實施形態中係展示了，立體影像顯示系統10是由播送台100、機上盒200及電視收訊機300所構成。可是，電視收訊機300係如圖42所示，具備與機上盒200內的位元串流處理部201同等機能的位元串流處理部306。因此，如圖53所示，亦可考慮由播送台100及電視收訊機300所構成的立體影像顯示系統10A。
又，於上述實施例中係展示了，含有立體影像資料的資料串流(位元串流資料)，是從播送台100被播送出來的例子。可是，本發明係當然也可同樣適用於，該資料串流是利用網際網路等網路而被配送至收訊終端之構成的系統中。
此外，本案係參照日本專利申請第2009-153686號。
[產業上利用之可能性]
本發明係可適用於，將圖形資訊、文字資訊等之重疊資訊，重疊顯示於影像上的立體影像顯示系統等。
10，10A．．．立體影像顯示系統
100．．．播送台
110，110A～100E．．．送訊資料生成部
111L，111R．．．攝影機
112．．．視訊畫格化部
113．．．視訊編碼器
113a．．．串流格式化器
114．．．視差向量偵測部
115．．．視差向量編碼器
116．．．麥克風
117．．．音訊編碼器
118．．．字幕‧圖形產生部
119．．．字幕‧圖形編碼器
120．．．文字產生部
121．．．文字編碼器
122．．．多工器
124．．．字幕‧圖形處理部
125．．．文字處理部
126．．．控制器
127．．．CC編碼器
128．．．Z資料部
129．．．視差資訊編碼器
130．．．CC資料處理部
200．．．機上盒
201，201A～201G．．．位元串流處理部
202．．．HDMI端子
203．．．天線端子
204．．．數位選台器
205．．．映像訊號處理電路
206．．．HDMI送訊部
207．．．聲音訊號處理電路
211．．．CPU
212．．．快閃ROM
213．．．DRAM
214．．．內部匯流排
215．．．遙控器收訊部
216．．．遙控器送訊機
220．．．解多工器
221．．．視訊解碼器
222．．．字幕‧圖形解碼器
223．．．文字解碼器
224．．．音訊解碼器
225．．．視差向量解碼器
226．．．立體影像用字幕‧圖形產生部
227．．．立體影像用文字產生部
228．．．視訊重疊部
229．．．多聲道揚聲器控制部
231．．．視差向量取出部
232．．．視差資訊取出部
233．．．CC解碼器
234．．．立體影像用隱藏式字幕產生部
235．．．視差資訊取出部
236．．．CC解碼器
237．．．視差向量偵測部
300．．．電視收訊機
301．．．3D訊號處理部
302．．．HDMI端子
303．．．HDMI收訊部
304．．．天線端子
305．．．數位選台器
306．．．位元串流處理部
307．．．映像訊號處理電路
308．．．面板驅動電路
309．．．顯示面板
310．．．聲音訊號處理電路
311．．．聲音增幅電路
312．．．揚聲器
321．．．CPU
322．．．快閃ROM
323．．．DRAM
324．．．內部匯流排
325．．．遙控器收訊部
326．．．遙控器送訊機
400．．．HDMI纜線
[圖1]本發明之實施形態的立體影像顯示系統之構成例的區塊圖。
[圖2]播送台中的送訊資料生成部之構成例的區塊圖。
[圖3]1920×1080p之像素格式的影像資料的圖示。
[圖4]用來說明立體影像資料(3D影像資料)之傳輸方式的「Top ＆ Bottom」方式、「Side By Side」方式、「Frame Sequential」方式的圖。
[圖5]相對於左眼影像的右眼影像之視差向量偵測例的說明圖。
[圖6]以區塊比對方式求出視差向量的說明圖。
[圖7]被視差向量偵測部所偵測出來的影像內所定位置上的視差向量VV之一例的圖示。
[圖8]視差向量之傳輸內容的圖示。
[圖9]視差偵測區塊例子，和此時的視差向量之傳輸內容的圖示。
[圖10]偵測出視差向量而進行傳輸之時序之例子的說明圖。
[圖11]偵測出視差向量而進行傳輸之時序之例子的說明圖。
[圖12]於送訊資料生成部中被多工化的各資料之串流例的圖示。
[圖13]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖14]傳輸方式是第1傳輸方式(「Top ＆ Bottom」方式)時，左眼圖形資訊及右眼圖形資訊的重疊位置等的說明圖。
[圖15]傳輸方式是第1傳輸方式(「Top ＆ Bottom」方式)時，左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖16]傳輸方式是第2傳輸方式(「Side By Side」方式)時，左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖17]傳輸方式是第2傳輸方式(「Side By Side」方式)時，左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖18]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖19]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖20]「Location」、「Region大小」之資訊的說明圖。
[圖21]輸出各重疊資訊之視差資訊的Z資料部之構成例的區塊圖。
[圖22]視訊元素串流之構造例的概略性圖示。
[圖23]MPEG2、H.264 AVC、VC-1之各編碼方式中的使用者資料之構成例的圖示。
[圖24]含有視差資訊(視差向量)的「user_structure」之構成例的圖示。
[圖25]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖26]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖27]傳輸方式是第2傳輸方式(「Side By Side」方式)時，左眼圖形資訊及右眼圖形資訊之重疊位置的圖示。
[圖28]對於左眼影像、右眼影像，將從位元串流資料中所抽出的以先前方法而傳輸的圖形資料所致之圖形影像，直接做重疊之狀態的圖示。
[圖29]時刻T0，T1，T2，T3上的3個物件位置之視差向量(View Vector)的圖示。
[圖30]影像上的字幕(圖形資訊)的顯示例，和背景、近景物件、字幕之遠近感的圖示。
[圖31]影像上的字幕(圖形資訊)的顯示例，和用來顯示字幕所需的左眼圖形資訊LGI及右眼圖形資訊RGI的圖示。
[圖32]作為視差向量，是使用在影像內複數位置所偵測到的視差向量當中，對應於該重疊位置者的說明圖。
[圖33]影像內存在A，B，C各物件，在這些各物件的附近位置，重疊表示各物件之注釋的文字資訊的圖示。
[圖34]構成立體影像顯示系統的機上盒之構成例的區塊圖。
[圖35]構成機上盒的位元串流處理部之構成例的區塊圖。
[圖36]視差向量VV1是當面向電視顯示器而左側的視訊物件較大時的揚聲器輸出控制例的圖示。
[圖37]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖38]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖39]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖40]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖41]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖42]構成立體影像顯示系統的電視收訊機之構成例的區塊圖。
[圖43]HDMI送訊部(HDMI訊源端)與HDMI收訊部(HDMI接收端)之構成例的區塊圖。
[圖44]構成HDMI送訊部的HDMI發送器，與構成HDMI收訊部的HDMI接收器之構成例的區塊圖。
[圖45]TMDS傳輸資料的構造例(橫×縱為1920像素×1080掃描線的影像資料傳輸時)的圖示。
[圖46]訊源端機器及接收端機器的HDMI纜線所連接的HDMI端子的腳位排列(A型)的圖示。
[圖47]第1傳輸方式(「Top ＆ Bottom」方式)的TMDS傳輸資料例之圖示。
[圖48]第2傳輸方式(「Side By Side」方式)的TMDS傳輸資料例之圖示。
[圖49]第3傳輸方式(「Frame Sequential」方式)的TMDS傳輸資料例之圖示。
[圖50]用來說明HDMI 1.4(New HDMI)上的「Frame Sequential」方式，和HDMI 1.3(Legacy HDMI)上的「Frame Sequential」方式的圖。
[圖51]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖52]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖53]立體影像顯示系統之其他構成例的區塊圖。
[圖54]利用兩眼視差之立體影像顯示時，於螢幕上的物件的左右像之顯示位置、與該立體像之再生位置的關係之圖示。
110C．．．送訊資料生成部
1111L．．．攝影機(左眼影像)
111R．．．攝影機(右眼影像)
112．．．視訊畫格化部
113．．．視訊編碼器
113a．．．串流格式化器
114．．．視差向量偵測部
116．．．麥克風
117．．．音訊編碼器
118．．．字幕‧圖形產生部
119．．．字幕‧圖形編碼器
120．．．文字產生部
121．．．文字編碼器
122．．．多工器
126．．．控制器
127．．．CC編碼器
128．．．Z資料部

Claims (11)

  1. 一種立體影像資料送訊裝置，其特徵為，具備：編碼部，係對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼以獲得編碼視訊資料；和重疊資訊資料產生部，係產生出要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的重疊資訊之資料；和視差資訊輸出部，係將用來對要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的上記重疊資訊賦予視差所需之視差資訊，加以輸出；和送訊部，係將上記編碼部所得到的編碼視訊資料、上記重疊資訊資料產生部所產生的重疊資訊資料及從上記視差資訊輸出部所輸出的視差資訊，加以發送；上記視差資訊輸出部，係具有：視差資訊決定部，係就上記重疊資訊資料產生部所產生的每一重疊資訊資料，隨應於上記左眼影像資料及上記右眼影像資料所致之影像的內容，而決定上記視差資訊；和視差資訊設定部，係就上記重疊資訊資料產生部所產生的每一重疊資訊資料，設定上記視差資訊；將上記視差資訊決定部所決定的視差資訊或上記視差資訊設定部所設定的視差資訊，予以選擇性輸出。
  2. 如申請專利範圍第1項所記載之立體影像資料送訊裝置，其中，上記重疊資訊資料產生部所產生的各重疊資訊資料中 係被附加有識別元；從上記視差資訊輸出部所輸出的各重疊資訊資料的視差資訊中係被附加有，所對應之重疊資訊資料中所被賦予之識別元所相對應的識別元。
  3. 如申請專利範圍第1項或第2項所記載之立體影像資料送訊裝置，其中，上記視差資訊輸出部，係具有：視差資訊決定部，係就上記重疊資訊資料產生部所產生的每一重疊資訊資料，隨應於上記左眼影像資料及上記右眼影像資料所致之影像的內容，而決定上記視差資訊；將已被上記視差資訊決定部所決定之視差資訊，予以輸出。
  4. 如申請專利範圍第3項所記載之立體影像資料送訊裝置，其中，上記視差資訊決定部，係具有：視差資訊偵測部，係基於上記左眼影像資料及上記右眼影像資料，而於影像內的複數位置上，偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊；就每一上記重疊資訊資料，在上記視差資訊偵測部所偵測到的複數視差資訊當中，決定為在對應於重疊位置之偵測位置上所偵測到的視差資訊。
  5. 如申請專利範圍第1項或第2項所記載之立體影像資料送訊裝置，其中， 上記視差資訊輸出部，係具有：視差資訊設定部，係就上記重疊資訊資料產生部所產生的每一重疊資訊資料，設定上記視差資訊；將已被上記視差資訊設定部所設定之視差資訊，予以輸出。
  6. 如申請專利範圍第1項所記載之立體影像資料送訊裝置，其中，上記送訊部，係使上記視差資訊輸出部所輸出的視差資訊是被含有在，在酬載部中含有上記編碼部所得到之編碼視訊資料的視訊元素串流的標頭部的使用者資料領域裡，而加以發送。
  7. 如申請專利範圍第1項所記載之立體影像資料送訊裝置，其中，上記送訊部，係在將從上記視差資訊輸出部所輸出之視差資訊予以發送之際，將用來表示上記重疊資訊之重疊位置的資訊及用來表示上記重疊資訊之顯示時間的資訊的任一者或雙方，附加在上記視差資訊中而發送。
  8. 如申請專利範圍第1項所記載之立體影像資料送訊裝置，其中，上記重疊資訊之資料係為字幕或用來顯示節目資訊所需的字元碼。
  9. 如申請專利範圍第1項所記載之立體影像資料送 訊裝置，其中，上記重疊資訊之資料，係用來顯示字幕或圖形所需的點陣圖資料。
  10. 一種立體影像資料送訊方法，其特徵為，具備：編碼步驟，係對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼以獲得編碼視訊資料；和重疊資訊資料產生步驟，係產生出要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的重疊資訊之資料；和視差資訊輸出步驟，係將用來對要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的上記重疊資訊賦予視差所需之視差資訊，加以輸出；和送訊步驟，係將上記編碼步驟中所得到的編碼視訊資料、上記重疊資訊資料產生步驟中所產生的重疊資訊資料及上記視差資訊輸出步驟中所輸出的視差資訊，加以發送；上記視差資訊輸出步驟係具備：視差資訊決定步驟，係就上記重疊資訊資料產生步驟所產生的每一重疊資訊資料，隨應於上記左眼影像資料及上記右眼影像資料所致之影像的內容，而決定上記視差資訊；和視差資訊設定步驟，係就上記重疊資訊資料產生步驟所產生的每一重疊資訊資料，設定上記視差資訊；將上記視差資訊決定步驟所決定的視差資訊或上記視 差資訊設定步驟所設定的視差資訊，予以選擇性輸出之步驟。
  11. 一種立體影像資料收訊裝置，其特徵為，具備：收訊部，係接收：對含有左眼影像資料及右眼影像資料之立體影像資料進行編碼而獲得之編碼視訊資料、要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的重疊資訊之資料、用來對要重疊於上記左眼影像資料及上記右眼影像資料所致之影像上的上記重疊資訊賦予視差所需之視差資訊；和解碼部，係對上記收訊部所接收到的上記編碼視訊資料進行解碼以獲得上記立體影像資料；和影像資料處理部，係基於已被上記收訊部所接收到的上記視差資訊，而對要重疊至上記解碼部所得到之立體影像資料中所含有之上記左眼影像資料及上記右眼影像資料所致之影像上的、已被上記收訊部所接收之上記重疊資訊資料所致之同一重疊資訊，賦予視差，獲得已被重疊上記重疊資訊的左眼影像之資料及已被重疊上記重疊資訊的右眼影像之資料；上記視差資訊係為，對每一上記重疊資訊資料，隨應於上記左眼影像資料及上記右眼影像資料所致之影像的內容，而被決定而設定者。
TW99119491A 2009-06-29 2010-06-15 Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device TWI413403B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009153686 2009-06-29
JP2009246179A JP5521486B2 (ja) 2009-06-29 2009-10-27 立体画像データ送信装置および立体画像データ送信方法

Publications (2)

Publication Number Publication Date
TW201116043A TW201116043A (en) 2011-05-01
TWI413403B true TWI413403B (zh) 2013-10-21

Family

ID=43410930

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99119491A TWI413403B (zh) 2009-06-29 2010-06-15 Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device

Country Status (9)

Country Link
US (1) US20110141234A1 (zh)
EP (1) EP2451167A4 (zh)
JP (1) JP5521486B2 (zh)
KR (1) KR20120038388A (zh)
CN (1) CN102177723A (zh)
BR (1) BRPI1004288A2 (zh)
RU (1) RU2530346C2 (zh)
TW (1) TWI413403B (zh)
WO (1) WO2011001853A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
JP5390016B2 (ja) * 2010-03-24 2014-01-15 パナソニック株式会社 映像処理装置
BR112012026194A2 (pt) 2010-04-14 2017-07-18 Samsung Electronics Co Ltd método para gerar um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, método para receber um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, aparelho para gerar um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, aparelho para receber um fluxo de bits de radiodifusão para uma radiodifusão digital de legenda, e mídia de gravação legível por computador
EP2608547B1 (en) * 2010-08-17 2018-03-21 LG Electronics Inc. Apparatus and method for receiving digital broadcasting signal
WO2012045319A1 (en) * 2010-10-05 2012-04-12 Telefonaktiebolaget L M Ericsson (Publ) Multi-view encoding and decoding technique based on single-view video codecs
KR101817939B1 (ko) 2011-03-28 2018-01-15 삼성디스플레이 주식회사 3차원 영상 데이터 처리 방법 및 이를 수행하는 표시 장치
WO2012144039A1 (ja) * 2011-04-20 2012-10-26 株式会社東芝 画像処理装置、および方法
JP2012227842A (ja) * 2011-04-21 2012-11-15 Sharp Corp 映像供給装置、および、映像供給方法
RU2573213C2 (ru) * 2011-08-30 2016-01-20 Интел Корпорейшн Схемы многопланового видеокодирования
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
CN103931200A (zh) * 2011-11-14 2014-07-16 摩托罗拉移动有限责任公司 Mvc立体视图与用于3dtv的左或右眼显示器的关联
CN106851239B (zh) 2012-02-02 2020-04-03 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
KR102133936B1 (ko) * 2012-04-16 2020-07-14 삼성전자주식회사 ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
WO2013157812A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 3d 비디오 부호화/복호화 장치 및 부호화/복호화 방법
US9392214B2 (en) * 2013-02-06 2016-07-12 Gyrus Acmi, Inc. High definition video recorder/player
JP6862830B2 (ja) 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
WO2018089040A1 (en) * 2016-11-14 2018-05-17 Lightcraft Technology Llc Spectator virtual reality system
WO2020000135A1 (zh) * 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
WO2020025114A1 (en) * 2018-07-31 2020-02-06 Vestel Elektronik Sanayi Ve Ticaret A.S. Method, apparatus, system and computer program for data distribution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
TW200601113A (en) * 2004-03-08 2006-01-01 Kazunari Era Stereoscoping parameter embedded device and stereoscopic image reproducing device
JP2009017198A (ja) * 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
JP4436762B2 (ja) * 2002-12-16 2010-03-24 三洋電機株式会社 立体映像生成装置及び立体映像配信方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
US7929728B2 (en) * 2004-12-03 2011-04-19 Sri International Method and apparatus for tracking a movable object
US7563228B2 (en) * 2005-01-24 2009-07-21 Siemens Medical Solutions Usa, Inc. Stereoscopic three or four dimensional ultrasound imaging
WO2006111893A1 (en) * 2005-04-19 2006-10-26 Koninklijke Philips Electronics N.V. Depth perception
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
EP2293553B1 (en) * 2008-06-26 2013-09-11 Panasonic Corporation Recording medium, reproducing device, recording device, reproducing method, recording method, and program
JP5577348B2 (ja) * 2008-12-01 2014-08-20 アイマックス コーポレイション 内容順応情報を有する３次元動画提示方法及びシステム
KR101622688B1 (ko) * 2008-12-02 2016-05-19 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
BRPI0922899A2 (pt) * 2009-02-12 2019-09-24 Lg Electronics Inc receptor de transmissão e método de processamento de dados de subtítulos 3d
EP2399398B1 (en) * 2009-02-17 2016-04-20 Koninklijke Philips N.V. Combining 3d image and graphical data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
TW200601113A (en) * 2004-03-08 2006-01-01 Kazunari Era Stereoscoping parameter embedded device and stereoscopic image reproducing device
JP2009017198A (ja) * 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Also Published As

Publication number Publication date
RU2530346C2 (ru) 2014-10-10
JP2011030176A (ja) 2011-02-10
WO2011001853A1 (ja) 2011-01-06
EP2451167A4 (en) 2013-12-04
BRPI1004288A2 (pt) 2016-02-23
JP5521486B2 (ja) 2014-06-11
CN102177723A (zh) 2011-09-07
KR20120038388A (ko) 2012-04-23
TW201116043A (en) 2011-05-01
US20110141234A1 (en) 2011-06-16
EP2451167A1 (en) 2012-05-09
RU2011105392A (ru) 2012-08-20

Similar Documents

Publication Publication Date Title
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
RU2463731C1 (ru) Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения
TWI452892B (zh) Image data transmission device, control method and program
EP2451168A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011001859A1 (ja) 立体画像データ送信装置および立体画像データ受信装置
WO2011001858A1 (ja) 立体画像データ送信装置および立体画像データ受信装置
KR20130132240A (ko) 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees