JP4202991B2 - 立体画像用データの記録方法及び表示再生方法 - Google Patents

Description

この発明は、立体画像用データの構造及びその記録方法並びにその表示再生方法に係り、特に、圧縮に適する立体表示画像を記録する立体画像用データの構造及びその記録方法並びにその表示再生方法に関する。

動画の立体表示が可能な立体視画像表示装置、所謂、３次元ディスプレイには、種々の方式が知られている。近年、立体視画像表示装置では、特に、フラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置及びプラズマ表示装置等のフラットパネルタイプ表示装置では、その表示面における画素位置は、固定され、この表示パネルの直前に表示パネルからの光線を制御して観察者に向ける視差バリアが設置される方式が立体視画像表示装置を比較的容易に実現できるとされている。

視差バリアは、一般的にはパララクスバリアとも称せられ、視差バリア上の同一位置を観察した場合でも、角度により異なる画像が見えるように光線が制御される。具体的には、左右の視差（水平視差）のみが与えられる場合には、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下の視差（垂直視差）も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視差バリアを用いる方式にも、さらに２眼式、多眼式、超多眼式（超多眼条件が与えられた多眼式）、インテグラルフォトグラフィー（以下、ＩＰとも云う）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

通常、ＩＰ方式においても、また、多眼方式においても、視距離が有限であるため、その視距離に透視投影画像が実際に見えるように表示画像が作成される。水平視差のみで、垂直視差のないＩＰ方式（１次元ＩＰ方式、非特許文献１）では、視差バリアの水平方向ピッチが画素の水平方向ピッチの整数倍（ｎ倍）に設定された場合、平行光線の組が生じる（以下、平行光線１次元ＩＰとも云う）。従って、平行光線の１組を構成する画素列を集積した視差成分画像は、垂直方向がある一定視距離の透視投影であり、水平方向が平行投影である画像である。垂直方向が透視投影で、水平方向が平行投影である各視差成分画像を画素列ごとに分割し、インターリーブ状に合成配置すれば視差合成画像が作成され、これを表示面に表示して視差バリアを通して観察すると、正しい投影すなわち水平方向・垂直方向とも透視投影の立体像が得られる。具体的な方法は、非特許文献１、特許文献１及び特許文献２などに開示されている。多眼方式では、単純な透視投影による画像を画素列ごとに分割しインターリーブ状に合成配置することにより、正しい投影の立体像が得られる。

尚、方向（垂直および水平）に応じて投影方法或いは投影中心距離を異ならせるような撮像装置は、平行投影の場合に被写体と同サイズのカメラ、或いは、レンズが必要とされるため、実現が困難である。従って、撮像により、平行投影データを得るためには、透視投影の撮像データから平行投影データに変換する方法が現実的であり、ＥＰＩ（エピポーラ面）を用いた補間による方法である光線空間法などが知られている。

平行光線１次元ＩＰ方式は、２眼方式に比べ見やすいというメリットがあるが、投影方法並びに分割配置方法において画像フォーマットが複雑である。２眼及び多眼は、最も単純な立体画像表示であるため画像フォーマットも単純で、各視点画像は、全て同一縦横画素数で作成され、２眼なら２枚、９眼なら９枚の視差成分画像が画素列毎に分割されて、表示面に表示される画像形式である視差合成画像に合成されれば良いこととなる。しかし、平行光線１次元ＩＰ方式では、略同一解像度を与える多眼方式に比較し、視差成分画像の枚数が多くなり、各視差成分画像の横画素数（使用する水平範囲）も視差方向により異なり、画像フォーマットが複雑となっている。
ＳＩＤ０４ Ｄｉｇｅｓｔ １４３８ （２００４） 特願２００３−９０７３８ 特願２００３−３１５３５６

多眼方式においても、また、平行光線１次元ＩＰ方式においても、各視差情報がサブ画素単位で割り当てられる場合には、視差合成画像の形式の画像がＪＰＥＧ或いはＭＰＥＧ等の符号化方法により非可逆的に圧縮されると、視差情報が混合され、展開時に画質が劣化する問題がある。特に、色モアレ防止のためにカラーフィルタ等の色配列がモザイク配列されている場合には、色情報も混合し、展開時に画質がさらに劣化する問題がある。可逆圧縮の場合は、劣化の問題はないが、圧縮率が非可逆圧縮に比べかなり悪いという問題がある。また、視差成分画像を個別に非可逆圧縮・展開する方法は、多眼では、容易であるが、平行光線１次元ＩＰ方式では、視差成分画像の数が多く、その横画素数も異なることから、合理的な方法ではない。

上述のように、従来の平行光線１次元ＩＰ方式の立体表示画像記録方法にあっては、圧縮率及び展開時の画質劣化に問題がある。

この発明は、上記事情を考慮してなされたものであり、その目的は、平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく、圧縮率の高い立体表示画像記録方法を提供することにある。

この発明によれば、
第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
を具備し、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置の為の立体画像用データを記録する方法であって、
前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位として記録することを特徴とする立体画像用データの記録方法が提供される。

また、この発明によれば、
第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
を具備する立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録し、
このｎ枚の連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示することを特徴とする立体画像の表示再生方法が提供される。
更にまた、この発明によれば、
第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
を具備する立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録し、
この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示することを特徴とする立体画像の表示再生方法が提供される。

この発明の立体表示画像の記録方法及び再生方法によれば、平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく圧縮率の高い記録及び再生が可能となる。

以下、図面を参照して、この発明の一実施の形態に係る立体表示画像の記録方法及び再生方法を説明する。

始めに、図１〜図１１を参照して、ＩＰ方式に係る表示装置及び表示方法について説明する。

図１は、立体画像表示装置の全体を概略的に示す斜視図である。図１に示す立体画像を表示する表示装置は、平面画像としての視差合成画像を表示する平面型表示部３３１を備えている。この平面型表示部３３１の前面には、この表示部３３１からの光線を制御する視差バリア３３２として図２（ａ）に示すレンチキュラーシート３３４或いは図２（ｂ）に示すスリット板３３３が配置されている。ここで、レンチキュラーシート３３４或いはスリット板３３３は、総称して視差バリア３３２と称する。ここで、視差バリアは、光学的開口を備え、視差バリアがレンチキュラーシート３３４であれば、光学的開口は、各シリンドリカルレンズに相当し、視差バリアがスリット板３３３であれば、光学的開口は、スリット板３３３に設けられたスリットに相当する。この視差バリア３３２の光学的開口は、立体画像が表示される視域に向けられる表示部３３１からの光線を実質的に制限し、表示部３３１上に表示される２次元的な画像を構成する各要素画像に対応して設けられている。従って、表示部３３１上に表示される視差合成画像は、視差バリア３３２の光学的開口の数に対応した数の要素画像から構成されている。その結果、要素画像が夫々視差バリア３３２の光学的開口を介して視域内の空間に向けて投影されることによって立体画像が立体画像表示装置の前面或いは背面に表示される。

尚、立体画像表示装置においては、必要に応じて拡散シート３０１が平面画像表示部３３１と視差バリア３３２との間に設けられても良い。また、視差バリア３２２が、平面画像表示部３３１の背面側に設置されていてもよい。

この立体画像表示装置は、１次元ＩＰ方式であって、この１次元ＩＰ方式においては、想定視距離Ｌ上の視点３４３から見ると、水平視差３４１が与えられるが、垂直視差３４２が与えられていない立体画像が観察される。ここで、図３（ａ）は、立体画像表示装置の前面を示し、図３（ｂ）は、立体画像表示装置の水平面内における光学系の配置並びに要素画像平均幅Ｐｅ、第２水平ピッチ（視差バリアの開口部の水平ピッチ）Ｐｓ、視距離Ｌ、視域幅Ｗの関係を示す作図線（直線群３４６）を示し、図３（ｃ）は、図３（ａ）に示す立体画像表示装置の表示部３３１を基準とする視域空間における垂直面内の画角を概略的に示している。

図１及び図３（ｂ）に示すように、立体画像表示装置は、上述したように液晶表示素子等の平面画像を表示する平面型表示部３３１及び光学的開口を有する視差バリア３３２を備えている。視差バリア３３２は、図２（ａ）及び（ｂ）に示すような垂直方向に光学的開口が直線状に伸び水平方向に周期的に配列される形状のレンチュキュラーシート３３４或いはスリット板３３３で構成される。投射型の表示装置にあっては、この視差バリア３３２は、曲面鏡アレイなどで構成される。この立体画像表示装置においては、水平方向の視角３４１及び垂直方向の視角３４２の範囲内において、眼の位置から視差バリア３３２を介して表示装置３３１が観察されて表示部３３１の前面及び背面に立体像を観察することができる。ここでは、平面画像表示部３３１の画素数は、正方形となる最小単位の画素群で数えた場合の一例として横方向（水平方向）が１９２０であり、縦方向（垂直方向）が１２００である。ここで、各最小単位の画素群は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素を含んでいるものとする。尚、この明細書において「画素」とは、表示面の１フレーム内で独立に輝度を制御できる最小単位を意味し、通常の直視透過型液晶パネルにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素が「画素」に該当することに注意されたい。

図３（ｂ）において、視差バリア３３２から視距離面３４３までの間の距離（想定視距離）Ｌ、視差バリアピッチ（視差バリア３３２の光学的開口の水平ピッチ）Ｐｓ、視差バリアギャップｄが定められれば、各要素画像の幅が定められる。即ち、要素画像の平均ピッチＰｅは、視距離面３４３上の視点からアパーチャ（視差バリア３３２の光学的開口）の中心に向かう直線に沿ってアパーチャ中心を表示装置の表示面上に投影した点の間隔により決定される。符号３４６は、視点位置と各アパーチャ中心とを結ぶ線を示し、視域幅Ｗは、表示装置の表示面上で要素画像が互いに重なり合わないとの条件から決定される。既に説明したように、要素画像とは、視差バリア３３２のある光学的開口を通過して視差バリア３３２と視距離面３４３上との間の視域に向けられる光線束を発生する画素の集合によって表示される２次元的な合成画像（視差合成画像の一部）に相当する。複数の要素画像が表示部３３１に表示されてこれが投影されることによって立体画像が表示される。

この視差合成画像は、図３（ａ）に示す駆動回路３１０からの表示信号で表示装置３３１が駆動されて表示装置３３１に表示される。この駆動回路３１０は、後に説明する視差成分画像群から構成される連結画像を圧縮して立体画像データとして記憶する記憶部３１２をその周辺装置として具備している。また、駆動回路３１０は、この記憶部３１２からの圧縮立体画像データを展開して連結画像に変換し、さらに連結画像から視差合成画像に変換し、画素データを抽出する画像処理部３１４をその周辺装置として具備している。

アパーチャの水平ピッチＰｓが画素ピッチＰｐの整数倍に定められている平行光線１次元ＩＰ方式においては、各アパーチャに対応して定められる立体画像の表示に寄与する要素画像の平均ピッチＰｅは、画素ピッチＰｐの整数倍とはならず、この整数倍の値に端数を伴う。アパーチャの水平ピッチＰｓが画素ピッチＰｐの整数倍に定められていない（平行光線群を形成しない）広義の１次元ＩＰ方式にあっても、一般的に要素画像の平均ピッチＰｅは、同様に画素ピッチＰｐの整数倍からずれた端数を伴う。これに対して、多眼方式では、要素画像の平均ピッチＰｅは、画素ピッチＰｐの整数倍に定められる。１次元ＩＰ方式において、アパーチャの水平ピッチＰｓを画素ピッチＰｐで除した整数を「視差数」と呼ぶことにする。

各要素画像は、図４（ａ）、（ｂ）及び（ｃ）及び図５を参照して説明するように各平行光線群の方向に対応する視差成分画像４２６から抜き出された画素列の集合で構成される。また、明らかなように１枚の立体画像を表示する為の視差合成画像は、要素画像の集合（要素画像アレイとも称する）でもあり、この要素画像を構成する多数の視差成分画像４２６の集合（インターリーブ状に合成された集合）でもある。

図４（ａ）、（ｂ）及び（ｃ）は、平行光線１次元ＩＰ方式における視差成分画像に基づく視差合成画像の構成方法を示している。図４（ａ）に示されるように、表示される物体（被写体）４２１は、実際に立体画像表示装置の視差バリア３３２が置かれる面に配置される投影面４２２に投影される。１次元ＩＰにおいては、垂直方向が透視投影となり、水平方向が平行投影となるように、投影面４２２に平行な面で、且つ、視距離Ｌの面の中央に定められ投影中心線４２３に向かう投影線４２５に向けて投影される。この投影では、投影線が水平方向では互いに交わらないが、垂直方向では投影中心線で交わる。この投影法により、投影面４２２上に、垂直方向が透視投影され、水平方向が平行投影された図４（ｂ）に示されるような被写体の像４２４が作成される。図４（ｂ）に示される被写体の像４２４は、図４（ａ）においては、符号１で示される投影方向４２８に投影される像に相当し、１次元ＩＰにあっては、図４（ａ）に示されるように複数の方向に投影される被写体の像４２４が必要とされる。

投影面４２２上に垂直方向が透視投影され、水平方向が平行投影される一方向分の画像に相当する投影画像すなわち視差成分画像４２６は、図４（ｂ）に示すように、垂直方向に沿う各画素列に分割され、各光学的開口（アパーチャ）に対応させる各要素画像に分配され、視差合成画像４２７内に配置される。視差成分画像４２６は、表示装置の表示面４２７における長さでいえば、アパーチャピッチＰｓ（光学的開口のピッチＰｓ）の間隔（視差数と同じ数のサブ画素列間隔）だけ間隔が空けられ、互いに分離して配置される。

各視差成分画像の必要解像度は、視差合成画像の１／（視差数）である。表示装置の表示面のカラー配列がモザイク配列である場合は、視差合成画像に対する各視差成分画像の水平解像度を３／（視差数）、垂直解像度を１／３にすると都合がよい（ただし視差成分画像は視差数が９でない限りアスペクト比が１でなくなる）。図５は、視差数１８の例であり、視差合成画像の水平画素数５７６０（サブ画素数）に対し、視差成分画像の水平画素数は１／６の９６０（サブ画素数）である。図５（ａ）及び（ｂ）に示すように撮影時に取得された視差成分画像４２６（カメラ画像）の各ＲＧＢサブ画素は横方向（行方向）に配列されているが、各ＲＧＢのサブ画素からのサブ画素データは、視差合成画像において縦方向（列方向）に、例えば、縦方向に沿うサブ画素にＲＧＢサブ画素データが（縦方向に沿うＧＢＲ或いはＢＲＧサブ画素データの順序でも良い）並べ替えられて縦方向に沿う画素列に配分される。この変換配分によって、水平視差のみを持つ１次元ＩＰ方式における立体画像の表示における水平方向の解像度を高めることがでる。視差成分画像の水平隣接画素（ＲＧＢの１組と水平隣接するＲＧＢの１組）は、視差合成画像上において視差数と同じ数のサブ画素数だけ分離されて配置される。このような操作が他の投影方向４２８についても夫々繰り返されて図５（ｃ）に示すように表示面４２７に表示される２次元画像としての視差合成画像全体が完成される。投影方向４２８は、図４（ａ）には、−４，−３，−２，−１，１，２，３，４の８方向のみが示されているが、視距離により数１０方向が必要とされ、図５乃至図１８に示す視差数１８の例では、３０方向が必要とされる。但し、投影された画像、即ち、視差成分画像４２６は、視差合成画像の画素列数の３／（視差数）がとりうる最大の画素列数であるが、そのうち各投影方向ごとにそれぞれ必要な範囲の列のみ作成すれば良く、必要な範囲は、図１３を参照して説明する範囲となる。

図４（ａ）に示される各投影方向は、視差番号で特定される視差成分画像４２６を観察する視差方向に対応し、各方向は、等角度と成すようには定められず、図１４を参照して説明するように視距離面上で投影中心（カメラ位置）の間隔が等間隔になるように設定される。即ち、カメラを投影中心線４２３上で等間隔に平行移動（向きは一定）して撮影することによって、投影中心の間隔が等間隔に設定される。

図６は、立体画像表示装置の一部分の構成を概略的に示す斜視図である。液晶パネルなどの平面状の視差画像表示部の表示面の前面に、視差バリア３３２として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラーシート３３４が配置されている場合を示している。この視差バリア３３２の光学開口は、図６に示されるように直線状に延出される場合に限らず、斜め、或いは、階段状に配置形成されも良い。図６に示されるように表示装置の表示面には、縦横比が３：１の画素３４が横方向及び縦方向に夫々直線状にマトリクス状に配置され、各画素３４は、同一行及び列内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶように配列されている。この色配列は、一般にモザイク配列と呼ばれる。

図７は、図６に示される表示面における画素配列の一例を拡大して示す平面図である。この図７において、画素３４の列上に付された−９から９までの数字は、図４を参照して説明した視差成分画像を特定する視差番号を表し、隣接する視差番号は、隣接列に割当てられている。図７に示される配列においては、列に沿った画素３４の縦周期は、行に沿った画素の横周期Ｐｐの３倍に定められている。

図６に示される表示画面では、１８列６行の画素３４で１実効画素４３（この１実効画素４３は、図６において黒枠で示されている）、或いは、１８列３行の画素３４で１実効画素が構成される。このような表示部の構造では、水平方向に１８視差を与える立体画像表示が可能となる。

平行光線１次元ＩＰ方式においては、画素ピッチの整数倍、例えば、１８画素ピッチが視差バリアピッチＰｓに等しく定められ、視差バリア３３２の光学開口を介して射出される光線には、平行光線の組が生ずる。このような設計においては、１８画素幅よりわずかに大きい間隔（例えば１８．０２）で要素画像境界が生じるが、実効画素が画素単位で定められることから、図７および図８に示されるように、実効画素の幅は表示面内の位置に依存して１８列分或いは１９列分に定められる。即ち、要素画像ピッチの平均値が１８画素幅より大きく、且つ、視差バリア３３２の横ピッチが１８画素幅に定められる。

図９及び図１０は、立体画像表示装置における表示部の水平断面を概略的に示している。図９及び図１０に示すようにスリット板３３３及びレンチキュラーシート３３４のレンチキュラーレンズの水平方向のピッチＰｓ（周期）は、正確に整数画素分（ｎ×Ｐｐ、ｎは整数）に定められている。即ち、各スリット間の中心を通る中心軸３５１又は隣接するレンチキュラーレンズの境界を通る基準軸３５２は、画素境界を通り、中心軸３５１或いは基準軸３５２間に相当する領域には、整数個の画素が配置され、中心軸３５１或いは基準軸３５２の水平方向のピッチＰｓ（周期）は、一定に定められている。図９或いは図１０に示す例では、このピッチＰｓは、１８画素分に定められている。表示装置の表示面３３１と視差バリア３３３、３３４との間のギャップｄは、ガラス基板、或いは、レンズ材質の屈折率を考慮して実効的に約２ｍｍに定められている。このように、視差バリア３３２のピッチＰｓが画素間ピッチＰｐの整数倍となる方式は、すでに説明したように１次元ＩＰに相当する。尚、要素画像ピッチＰｅが画素間ピッチＰｐの整数倍となっているものは、一般的に多眼式に分類される。

図１１は、平行光線１次元ＩＰ方式において、表示装置の表示面内に画像を配置する方法を概念的に説明する為の立体画像表示装置の表示部を示す正面図である。表示装置の表示面は、各アパーチャ（視差バリア３３２の開口部）に対応する要素画像３７０に区分され、この要素画像３７０は、既に説明したように夫々１８列又は１９列の画素列から構成されている。アパーチャ数（光学的開口数）は、視差成分画像の水平画素（ここではサブ画素ではない）数と同じく３２０であり、要素画像の数も３２０となる。視差合成画像４２６の画素列は５７６０（サブ画素数）である。図１１においては、３２０個のアパーチャを要素画素３７０に対比して説明する為に符号３６４で示す図面中の領域にアパーチャ番号（要素画像番号）を付している。領域３６４に記述されるアパーチャ番号の範囲（合計３２０個のアパーチャの番号の範囲）は、＃−１６０〜＃−１、＃１〜＃１６０である。図１１において、各画素列３６５には、視差成分画像４２６を特定する視差番号（この例では、視差番号−１５〜−１、１〜１５の３０方向分）が符号３６３で示す図面中の領域に項目として示されている。

図１１から明らかなようにアパーチャ番号＃１の要素画像３７０は、視差番号−９〜−１及び視差番号１〜９で特定される１８視差成分画像４２６の列からなり、アパーチャ番号＃−１５９の要素画像は、視差番号−１５〜−１及び視差番号１〜３で特定される１８視差成分画像４２６の列から構成される。要素画像平均幅Ｐｅが１８画素列の幅よりわずかに大きいため、要素画像境界を最も近い画素列境界に合わせる（通常のＡ−Ｄ変換方法）とすると、アパーチャに対する要素画像の画素列数は、大部分のアパーチャにおいて１８列であるが、画素列数が１９列になっているアパーチャも生ずる（図７及び図６の説明を参照）。画素列数が１９列になるアパーチャ番号を境に、要素画像内の視差番号範囲が１つずつシフトされる。具体的には、視距離が１０００ｍｍに設定される場合には、画素列数が１９列になっているアパーチャ番号は、＃１４、＃４２、＃７０、＃９８、＃１２５、＃１５３及びそのアパーチャ番号にマイナスを付した番号が該当する。従って、アパーチャ番号＃−１６０および＃１６０の要素画像は、はみ出した６列分少ない１２列から構成される。

次に、表示部３３１に表示される視差合成画像を、圧縮に適した形式に変換した画像データの構成について、図１２〜図２５を参照して説明する。

図１２は、この発明の一実施形態に係る立体表示画像の記録方法に適用される、立体表示画像の記録に適した同一縦横画素数のｎ枚（この例では、ｎ＝１８）の連結画像２を示している。ここでｎは、視差数に相当していることから、以下の説明において、視差数ｎと称する。その夫々の連結画像２は、１枚、或いは、数枚の視差成分画像４２６（＋１５〜＋１,−１〜−１５）の組み合わせによって構成されている。これらｎ枚の連結画像２は、表示部３３１に表示される１枚の視差合成画像４２６に容易に変換できるようにフォーマットされたデータ構造である。図４および図５を参照して説明した視差成分画像の分割配置と同様な分割配置方法によってこの連結画像２を表示部３３１上に配分することによって視差合成画像に変換することができ、この変換方法は、図３７に示されている。視域の右端のカメラ画像（＃−９）を含む連結画像を、視差合成画像の左端１列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置し、視域の右端から２番目のカメラ画像（＃−８）を含む連結画像を、視差合成画像の左端２列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置し、（・・・以下同様に繰り返し）、最後に視域の左端のカメラ画像（＃９）を含む連結画像を含む連結画像を、視差合成画像の左端１８列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら、右端まで配置する。すなわち１８枚の連結画像は、多眼方式の１８視点画像と全く同じ処理で扱え、全く同じインターリーブ処理により視差合成画像に変換できる。ここで、図１２に示される連結画像２の配列の形態で記憶媒体に記録され、或いは、図１２に示される連結画像２の配列が１フレームとしてフレーム内圧縮され、或いは、同様に他の連結画像２の配列としての他のフレームとの間での相関が取られてフレーム間圧縮される。

尚、図１２中の番号（１５〜１,−１〜ー１５）は、視差成分画像４２６の番号（カメラ番号と同じ）を示している。従って、以下の説明において、連結画像２を特定するに際しては、視差成分画像４２６の番号（１５〜１,−１〜―１５）の組み合わせで説明されることに注意されたい。例えば、図１２において、図中左上端に位置される連結画像２は、連結画像（−９,＋１０）として特定され、また、中段右端の連結画像２は、連結画像（＋３）として特定されるものとする。

平行光線が水平方向に射出される１次元ＩＰ方式では、表示面内に配列された画素（この例ではサブ画素）の水平ピッチの整数倍、例えば、１８倍に等しい水平ピッチで光学的開口部（レンチキュラー板の各シリンドリカルレンズ）が配置されるように直線状に延びる視差バリア３３２（レンチキュラー板）が表示パネルの前面に配置されている。そして、１次元ＩＰ方式においては、表示面の水平方向に沿ってその整数倍としての１８個の間隔を開けた画素からの光線が平行光線として視野領域に向けられて立体像が再生される。同一視差方向の平行光線を構成する画素の組の画像データを集積した各視差成分画像４２６は、例えば、１８枚より多く３０枚に定められ、図１３に示すように＃-１５〜＃-１及び＃＋１〜＃＋１５の視差成分画像４２６は、夫々その水平方向の画素数（使用画素範囲）が異なっている。図１３は、合計３０枚の各視差成分画像４２６を含むカメラ画像の使用画素範囲のサイズを示している。ここで、実線は、視差成分画像４２６の使用画素範囲を示し、破線は、立体表示時の表示解像度に等しいカメラ画像サイズ（撮像時の投影面に対応する縦横画素数）を示している。この縦横画素数は、横３２０×縦４００画素（サブ画素ではない）に定められている。各視差成分画像４２６は、縦画素数は、全て同一であるが、横画素数は、夫々異なり、具体的な値（横３２０画素のうち使用画素範囲）が図１５に示されている。視距離において立体像の観察可能な観察者位置（視域）は、３０カメラのうち中央の１８カメラの位置する幅に相当するが、この視域に入る範囲が使用画素範囲である。なお、図１３の形式の実際の画像の例を図３９（ａ）に示した。

図１３に示される連結画像２を構成する視差成分画像４２６は、図１４に示されるような投影面４２２（被写体４２１に合わせる焦点の面に相当）から視距離Ｌだけ離間して配置されたカメラによって、共通の投影面範囲に撮影された画像から分離されて得られる。すべてのカメラは平行に向いており、かつ共通投影面であることから、あおりレンズ撮影あるいは広角撮影後の切り出しという撮影方法となる。図１４においては、各カメラの撮影位置は、図１３に付されたカメラ番号（＃１〜＃１５,＃-1〜＃-１５）で示されている。カメラ番号（視差方向番号）は、図２のように、ｎが偶数の場合は０番を除き、表示面４２２の正面中央に対して対称に正負の番号を付するものとする。カメラが被写体４２１から視距離Ｌだけ離間した水平方向の撮影基準線上を等間隔で移動されて同一投影面範囲で被写体４２１を撮影すると、被写体４２１を含む空間の領域が撮影される。カメラ番号＃１及びカメラ番号＃-１では、水平方向の撮影基準線上の略中央に位置することから、このカメラ番号＃１及びカメラ番号＃-１で撮影された撮影画像は、全範囲が（立体画像表示時の）視域内に入り、カメラ番号＃１及びカメラ番号＃-１の全画素範囲が＃-１及び＃＋１の視差成分画像４２６として利用される。カメラ番号が増加或いは減少するに従って、投影面４２２への撮影画像のうち視域に入らない範囲が増加し、視差成分画像４２６としての使用画素範囲が減少され、撮影画像中に占める視差成分画像４２６として利用されない不要画素範囲が増加される。例えば、カメラ番号＃９及びカメラ番号＃-９で撮影された撮影画像は、画角はほとんど変わらないが、視域に入る範囲が約１／２となり、視差成分画像４２６は、撮影画像の略１／２の横画素範囲となり、その他は、視域内に表示されるべき立体表示に関しては不要画素範囲となる。図１３は、撮影画像と視差成分画像４２６との関係を示し、この図１３に示されるようにカメラ番号が増加或いは減少するに従って撮影画像から分離される視差成分画像４２６として使用される横画素範囲が減少され、不要画素範囲が増加される。カメラが水平方向の撮影基準線上を等間隔で移動される場合には、撮影画像から分離される視差成分画像４２６として使用される画素範囲及び視差成分画像４２６として利用されない不要画素範囲との間には、図１３に示されるように互いにその画素範囲に関して相補的な関係にある視差成分画像４２６範囲及び不要範囲が生じている。例えば、カメラ番号＃-５で撮影された撮影画像には、視差成分画像４２６範囲及び不要範囲が生ずるが、この不要範囲は、カメラ番号＃-１４で撮影された撮影画像の視差成分画像４２６範囲に等しくなる。従って、カメラ番号＃-５及び＃-１４で撮影された撮影画像の視差成分画像４２６の組み合わせは、カメラ番号＃１で撮影された撮影画像の視差成分画像４２６の縦横画素数に等しくなる。

図１２に示される連結画像２は、図１３に示される撮影画像から分離される視差成分画像４２６が組み合わされて同一の縦横画素数に定められている。図１３に示される各視差成分画像４２６のサイズ（縦横画素数）の比較から明らかなように、第１８隣接視差方向となる１枚乃至数枚ずつ組み合わせると、すべて同一縦横画素数の１８枚の連結画像２に変換することが出来る。例えば、図１２の左上に示される連結画像２は、視差方向の番号が１８だけ離れている−９番と１０番の組み合わせに相当し、右上の連結画像２は、視差方向の番号が１８だけ離れている−４番と１５番の組み合わせに相当する。視域端側に位置されるカメラ番号で撮影された撮影画像から分離された視差成分画像４２６が他の視差成分画像４２６に組み合わされるが、視差成分画像４２６の絵柄も比較的、特に、視差が小さい画像であれば、連結画像内での連続性が高くなる。したがって、連結画像を非可逆圧縮し展開しても、連結部分での画質劣化が少なくすむ。一部の連結画像２（１８枚中番号＃-３〜＃３の６枚）は、１枚の視差成分画像４２６からのみ構成されている。また、各連結画像２は、縦横画素数が全く同一であることから、多眼方式の表示装置における多眼データと全く同様に処理することが出来る利点もある。

図１５は、各視差成分画像４２６の具体的な横画素数（水平画素（サブ画素でない）範囲）及び視差合成画像上での配置（水平画素（サブ画素）範囲）を示す表である。これは、図１１を例にすでに説明したように、想定視距離Ｌにより決定される要素画像平均幅（１８画素幅よりわずかに大きい）から計算によって作成される。この図１５に示される表から明らかなように視差方向を特定する視差番号−１５番（図１４におけるカメラ番号−１５番に相当）の画像は、図１３に示すカメラ撮影画像において、横３２０画素列のうち２列目から８列目の画素の領域のみのサイズであり、７画素幅分に相当している。この７画素幅のデータが、視差合成画像（５７６０サブ画素幅）の１３列目から１２１列目のサブ画素列範囲に、１８サブ画素おきに分割され、視差成分画像において横に並んでいたＲＧＢの３サブ画素が縦に並べ替えられて配置される。同様に視差方向−１１番の視差画像は、図１３に示すカメラ撮影画像において、横３２０画素列のうち２列目から１１９列目の画素の領域のみのサイズであり、１１８画素幅分に相当している。この１１８画素幅のデータが表示部３３１上に表示される視差合成画像（５７６０サブ画素幅）の１７列目から２１２３列目のサブ画素列範囲に、１８サブ画素おきに分割され、ＲＧＢが縦に並べ替えられて配置される。図１２に示される連結画像２は、一例として視差番号−１５及び視差番号４が組みあわされているが、視差番号−１５及び視差番号４の組み合わせに係る領域幅（横画素数）の合計は、７＋３１３＝３２０である。また、図１２に示される連結画像２は、視差番号−１１及び視差番号８が組みあわされているが、視差番号−１１及び視差番号８の組み合わせに係る領域幅の合計は、１１８＋２０２＝３２０である。同様に、視差番号―１４及び視差番号５の組み合わせに係る領域幅の合計は、３５＋２８５＝３２０であり、同様に他の組み合わせに係る領域幅は、すべてその合計幅が３２０となっている。

上述した説明において、各視差成分画像４２６は、垂直方向が想定視距離Ｌ、或いは、その近傍の視距離に対応した透視投影でありかつ水平方向が平行投影である画像であることが設計上正しいことになるが、垂直方向及び水平方向とも透視投影であっても、立体像の歪が目立たない場合には許容される。

図１６は、図１２に示される１８枚の連結画像２を更に直線に沿って連結して１枚の全連結画像とした例を示している。この全連結画像は、隣接視差方向を含む連結画像２が水平方向に隣接するように連結して構成される。この例では、表示面の正面に近い１８視差方向の両端の視差方向（−９番と９番）を含む２枚の連結画像２が全連結画像の両端に配置されている。この形式は、多眼方式の表示装置における多眼データと略同様の処理に適用するに好適な構造に相当している。

図１７に示すように、図１２に示される１８枚の同一縦横画素数を有する連結画像２が水平方向及び垂直方向に組み合わされてタイル状に配置されて互いに連結されても良い。このタイル状の全連結画像は、立体像表示時に表示面に表示される視差合成画像と同一縦横画素数になるように定められても良い。このように最終表示画像である視差合成画像と同一の縦横画素数であれば、ＭＰＥＧ２等の規格に沿う形式で圧縮記録が可能となる。即ち、図１７に示されるタイル状全連結画像がフレームとして用意され、複数のフレームで立体視可能な動画を再生するような場合において、フレーム間圧縮並びにフレーム内圧縮を適用することが出来る。各視差成分画像４２６の左右端は、立体表示時に画面端或いは視域端のいずれかに相当し、各連結画像内での視差成分画像連結部分は視域端、連結画像同士の連結部分は画面端に相当している。非可逆圧縮では、一定のブロックサイズごとに符号化が行われるが、連結画像同士の連結部分は多くの場合ブロック境界に一致する。また、各連結画像内での視差成分画像連結部分はブロック境界に一致しない場合が多いが、視域端（隣接ローブとの境界）ではもともと立体像自体が分裂して正常に見えないため、画質が劣化しても問題ない。したがって、全連結画像を非可逆圧縮し展開しても、連結部分での画質劣化の立体像に対する影響が抑えられる。図１７の全連結画像から視差合成画像への変換も図３７と同様であるが、これは図３８に示した（ａ）→（ｂ）の変換のように、同じ縦横画素数の画像間の１対１写像となる。この変換の際に、（ａ）の３段構造の各段の中で同じ行番号を取り出して３行にまとめ、順に書き出した（ｂ）の画像形式を経由すると、（ｂ）→（ｃ）の変換が３行内で閉じた１対１写像となるため、処理系によっては（ａ）→（ｂ）→（ｃ）の変換手順のほうがよい場合もある。なお、図１７の形式の実際の画像の例を図３９（ｂ）に示した。

図１８に示すように、更に、全連結画像は、連結画像２が垂直方向に１段ごとに反転して連結して構成されても良い。このように多段に連結される場合には、相関が比較的高い画面が上下に配置され、互いに連結されることが好ましい。このような配置によれば、非可逆圧縮記録時における画質劣化が少ないまま、フレーム間圧縮並びにフレーム内圧縮を適用することが出来るが、視差合成画像への変換処理は多少複雑になる。

図１９は、図１３と同様に視差成分画像４２６がｎ＝１８であり、想定視距離Ｌが図１３に示す視差成分画像４２６とは異なる場合におけるカメラ画像から抽出される視差成分画像４２６の例を示している。図２０にも示すように、視差方向は、合計４０である。例えば、視差番号が１８ずつ離れた、視差番号−２０、視差番号−２及び視差番号１７の３枚の視差成分画像の領域幅（横画素数）の合計は、１４＋２５１＋５５＝３２０であり、同様に１８隣接視差方向の合計幅は、全て３２０となる。図２０の表は、図１５に示す表と同一の項目を備えていることから、その説明を省略する。

図２１は、図１９及び図２０に示す視差成分画像４２６を組み合わせた１８枚の連結画像２を示している。この連結画像２は、１枚の視差成分画像４２６のみで構成される連結画像２がなく、２又は３枚の視差成分画像４２６から成っている。１８枚中４枚の連結画像２は、３枚の視差成分画像４２６から構成され、他の連結画像２は、２枚の視差成分画像４２６から構成される。このように、視差数が同じ（表示装置として同一構成の）場合に、想定視距離を変化させると、視差方向数が増減し、画素数範囲も変動するが、連結画像は同じ１８枚にまとめられる。したがって、図３７に示すような圧縮後の読み出し・展開処理は不変である。

図２２は、図２１に示す連結画像２において、隣接視差成分画像４２６の左端が互いに連結され、或いは、隣接視差成分画像４２６の右端が互いに連結されるように連結画像２を１つおきに左右反転して連結し、このような連結によって全連結画像を構成した例である。視差方向番号の数字が裏返しで示されている連結画像２が反転されている連結画像に相当している。各連結画像２の左右端は、立体表示時の画面端であり、隣接カメラであれば相関が高い（要素画像内の隣接列）ため、このように反転させて接続すれば、非可逆圧縮した場合の画質劣化が少ないまま、フレーム間圧縮並びにフレーム内圧縮を適用することが出来るが、視差合成画像への変換処理は多少複雑になる。

図２３は、左右反転連結した図２２に示される全連結画像を、３段に分けて、視差合成画像と同一縦横画素数にタイル状に配列した例を示している。全連結画像は、この図２３に示すように視差合成画像と同一縦横画素数にタイル状に配列することにより、ＭＰＥＧ２などの規格に合う形式での圧縮記録等が可能となる。図２３の配置は、図２４に示すように図２２に示される配列の中段を上下反転しても良い。

図２５は、図２３よりも全体の対称性が高くなるように配列を変更した例を示している。図２５においては、このように全連結画像に対称性を与えることによって、中央の２枚の連結画像２のみが反転されないままに連結されることとなる。

図２６に示されるように、図２５に示される全連結画像において、その中段の連結画像が上下反転されて全連結画像が構成されても良い。また、図２７に示されるように、図２６に示される全連結画像において、更に中段全体が左右に反転されても良い。

以上のように、視差数が３の倍数の場合は、全連結画像を３段構造にすることにより視差合成画像と同一縦横画素数となる。３の倍数でない場合に３段構造にすると、連結画像のうち２枚のみが分断されることになるが、これによる立体像の画質劣化は多くの場合軽微である。分断位置に視差成分画像境界がうまく合うように選ぶ、あるいは、分断位置の視差成分画像を視域外のカメラ番号の画像になるように選ぶ、などの方法によりさらに影響を軽微にできる。

図２８は、視差数が３２であり、５６枚の視差成分画像４２６を組み合わせた３２枚の連結画像２の各縦横画素数（サブ画素でない）が横３００×縦８００であり、視差合成画像の縦横画素数（サブ画素でない）が横３２００×縦２４００である場合の連結画像２を示している。図２８においては、視差成分画像の視差番号のみを示し、視差成分画像同士の境界線（縦線）は省略されている。図２９は、図２８に示される連結画像２を示す配置表を示している。図２９に示される表は、図１６及び図２０の表と同様の欄を有する表であるのでその説明は省略する。

図２８に示される各連結画像２は、図３０に示されるように全連結画像に組み合わされる。この全連結画像の縦横画素数は、横２４００×縦３２００となる。全連結画像が視差合成画像と同じ縦横画素数に合わされる場合には、図３１に示されるようにさらに全連結画像が９０度回転されても良い。

図３２は、他の実施の形態に係る配置表を示している。この配置表は、視差数が９であり、２５枚の視差成分画像４２６を組み合わせた９枚の連結画像２の各縦横画素数（サブ画素でない）が横６４０×縦４００であり、視差合成画像の縦横画素数（サブ画素でない）が横１９２０×縦１２００である場合に該当している。図３２から明らかなように、視差数が奇数の場合は、視差番号０番が含められる。図３２に示される連結画像は、図３３に示されるように連結された全連結画像が形成される。図３３においては、視差成分画像の視差番号のみを示し、視差成分画像同士の境界線（縦線）は省略されている。

図３４に示されるように全連結画像が平面的に配列される場合に限らず、光線空間法により定義される直方体状の光線空間として連結された状態に構成されても良い。この直方体上の仮想空間上で、圧縮記録や補間などの処理が可能である。

図３５を参照して立体表示画像の記録・再生方法について説明する。図３５は、この発明の上述した実施形態に係る立体表示画像記録方法で作られた連結画像２、或いは、全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示している。図１４を参照して説明したように始めに各カメラ位置（１５〜１，−１〜−１５）において、立体画像として表示されるべき被写体４２１が撮影されて図１３に破線で示されるようなカメラ画像が獲得される。このカメラ画像から図１３に実線で示されるような視差成分画像４２１が抽出される（ステップＳ１０）。この視差成分画像４２１から図１３に示すように視差数と同じ番号だけ離れた視差番号の視差成分画像４２１が組み合わされて連結画像が作られ、この連結画像が組み合せ配列されて図１２、図１６、図１７及び図１８に示すように全連結画像が形成される（ステップＳ１２）。この全連結画像は、ＪＰＥＧなどの高圧縮率の非可逆符号化方式により圧縮される。表示すべき立体画像が動画である場合には、ＭＰＥＧなどの高圧縮率の非可逆符号化方式により時間的に隣接する他の全連結画像と当該全連結画像との相関が取られて同様に圧縮されても良い。圧縮された全連結画像のデータは、記憶媒体或いは図３（ａ）に示される記憶部３１２に記憶されて保存される（ステップＳ１４）。

再生に際しては、図３（ａ）に示される画像処理部３１４で圧縮された全連結画像が伸長されて連結画像の配列に相当する全連結画像に展開される（ステップＳ１６）。この全連結画像の連結画像から光学的開口（アパーチャ）に対応させる視差成分画像４２６の画素列データが取り出されて図４（ｂ）及び（ｃ）に示すように所定ピッチでその画素列データがフレームメモリ（図示せず）に並べ替えられる。全ての連結画像から視差成分画像４２６の画素列データが取り出されてフレームメモリ上に並べ替えられると、図４（ｃ）に示すような視差合成画像の全体が完成される（ステップＳ１８）。この視差合成画像は、表示部３３１に表示されて視域に向けて立体画像が表示される（ステップＳ２０）。なお、遠隔サーバからの配信（ストリーミング）の場合は、記憶部と画像処理部は互いに遠隔地にある。

図３６（ａ）及び（ｂ）は、比較例１及び２に係る立体表示画像記録方法で作られた連結画像２、或いは、全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示している。図３６（ａ）及び（ｂ）においては、図３５に示したと同一の符号を付してその説明を省略する。

図３６（ａ）における方法においては、視差成分画像が直接圧縮されて保存されている（ステップＳ２２）。また、図３６（ｂ）における方法においては、ステップＳ２４において視差成分画像から視差合成画像が形成され、その後、この視差合成画像が圧縮されて保存される（ステップＳ２４，Ｓ２６）。読み出し及び展開に際しては、圧縮された視差合成画像が展開されてそのまま表示部３３１に表示される。

図３５と図３６（ａ）及び（ｂ）との比較から明らかなように、図３５に示す方法においては、互いに同一縦横画素数の連結画像２に変換した上で圧縮することにより、想定視距離を変化させた場合の視差方向数増減や画素数範囲変動にも影響されず、画質劣化が最小限に防止される。特に、連結画像２が互いに相関を有するような配置及び組み合わせを採用することにより、より圧縮率を高めることができる。

図３６（ａ）に示される方法では、各視差成分画像４２６が個別に圧縮されている。このような方法は、多眼方式に適用される場合には、特に問題ないが、平行光線１次元ＩＰ方式では、視差方向数が多く縦横画素数もまちまちである上、想定視距離を変化させた場合の視差方向数増減や画素数範囲変動にも影響されるため、この方法は適さないこととなる。図３６（ｂ）は、視差合成画像の形式で圧縮する方法であるが、多眼・平行光線１次元ＩＰのいずれの場合も非可逆圧縮では画質が劣化し、可逆圧縮では圧縮率が悪化してしまう。

以上のように、本発明によれば、平行光線１次元ＩＰ方式において、効率的で画質劣化が少なく圧縮率の高い記録及び再生が可能となる。本発明による立体画像用データ構造並びに記録方法は、一般的なＭＰＥＧデータなどと同様、記録媒体への記録に限らず、有線・無線の通信手段を利用した配信、いわゆるストリーミング等にも適用可能である。

尚、この発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除しても良い。更に、異なる実施形態に亘る構成要素を適宜組み合わせても良い。

この発明の一実施の形態に係る立体表示画像の記録方法及び再生方法が適用される立体画像表示装置の全体の概略を示す斜視図である。 （ａ）及び（ｂ）は、図１に示される視差バリアとしてのレンチキュラーシート及びスリット板を概略的に示す斜視図である。 この発明の一実施の形態に係る立体表示画像の記録方法及び再生方法が適用される立体表示画像を模示的に示し、（ａ）は、立体画像表示装置の前面を示し、（ｂ）は、立体画像表示装置の水平面内における光学系の配置並びに作図線を示し、（ｃ）は、（ａ）に示す立体画像表示装置の表示部を基準とする視域空間における垂直面内の画角を概略的に示している。 （ａ）、（ｂ）及び（ｃ）は、この発明の１実施の形態に係る平行光線１次元ＩＰ方式における視差成分画像に基づく視差合成画像の構成方法を示す説明図である。 （ａ）、（ｂ）及び（ｃ）は、この発明の１実施の形態に係る撮影時に取得された視差成分画像の視差合成画像への配分方法を概略的に示す説明図である。 図６は、この発明の立体表示画像の記録方法及び再生方法が適用される立体画像表示装置の一部分の構成を概略的に示す斜視図である。 図６に示される表示画面における画素配列の一例を拡大して概略的に示す平面図である。 図６に示される表示画面における画素配列の他の部分の例を拡大して概略的に示す平面図である。 この発明の立体表示画像の記録方法及び再生方法が適用される立体画像表示装置における表示部の水平断面を概略的に示す模式図である。 この発明の立体表示画像の記録方法及び再生方法が適用される立体画像表示装置における表示部の水平断面を概略的に示す模式図である。 この発明の立体表示画像の記録方法及び再生方法において、表示装置の表示面内に画像を配置する方法を概念的に説明する為の立体画像表示装置の表示部を概略的に示す正面図である。 この発明の一実施形態に係る立体表示画像の記録方法に適用される立体表示画像を記録するのに適した同一縦横画素数の連結画像の配列を示す平面図である。 この発明の実施形態に係る立体表示画像記録方法における各視差成分画像を概略的に示す平面図である。 図１３に示される各視差成分画像を獲得するための撮影方法を説明する為の模式図である。 この発明の実施形態による立体表示画像記録方法における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表である。 この発明の実施形態の変形例に係る立体表示画像記録方法における全連結画像の形式を概略的に示す平面図である。 この発明の他の実施形態に係る立体表示画像記録方法における全連結画像の形式を概略的に示す平面図である。 この発明のまた他の実施形態に係る立体表示画像記録方法における全連結画像の形式を概略的に示す平面図である。 この発明の更に他の実施形態に係る立体表示画像記録方法における各視差成分画像を示す図である。 図１９を参照して説明する立体表示画像記録方法における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表である。 図１９及び図２０に示す視差成分画像を組み合わせた１８枚の連結画像を示す平面図である。 図２１に示す連結画像を連結した全連結画像の一例を示す平面図である。 図２２に示す全連結画像の変形例を示す平面図である。 図２２に示す全連結画像の他の変形例を示す平面図である。 図２２に示す全連結画像の更に他の変形例を示す平面図である。 図２２に示す全連結画像の更に他の変形例を示す平面図である。 図２２に示す全連結画像の更にまた他の変形例を示す平面図である。 この発明の更に他の実施形態に係る立体表示画像記録方法における３２枚の連結画像を示す平面図である。 図２８に示される連結画像における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表である。 図２８に示す連結画像を連結した全連結画像を示す平面図である。 図３０に示される全連結画像の他の変形例に係る全連結画像を示す平面図である。 この発明の更にまた他の実施形態に係る立体表示画像記録方法における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表である。 図３２に示す視差成分画像を組み合わせた９枚の連結画像を示す平面図である。 図３３に示す連結画像を組み合わせた全連結画像の変形例を示す斜視図である。 この発明の上述した実施形態に係る立体表示画像記録方法で作られた連結画像或いは、全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示している。 （ａ）及び（ｂ）は、比較例に係る立体表示画像記録方法で作られた連結画像或いは全連結画像を非可逆圧縮して記録し、読み出し・展開し並べ替えて再生する記録・再生方法の概略を示している。 この発明の１実施の形態に係る連結画像群の視差合成画像への配分方法を概略的に示す説明図である。 この発明の１実施の形態に係る全連結画像の視差合成画像への２通りの変換方法を概略的に示す説明図である。 この発明の１実施の形態に係る視差成分画像（ａ）および全連結画像（ｂ）の一例を示す図である。

符号の説明

３４．．．画素、３５．．．ブラックマトリクス、４３．．．立体画像表示時の実効画素、３０１．．．拡散シート、３３１．．．平面画像表示部、３３２．．．視差バリア、３３３．．．スリット、３３４．．．レンチキュラー板、３３５．．．画素、３４１．．．水平方向の視角、３４２．．．垂直方向の視角、３４３．．．視距離面、３４６．．．視点とアパーチャ中心を結ぶ線、３６３．．．視差画像の番号、３６４．．．アパーチャの番号、３６５．．．表示装置の表示面上の画素列、４２１．．．表示される物体（被写体）、４２２．．．投影面、４２３．．．投影中心線、４２４．．．投影面上に投影された被写体、４２５．．．投影線、４２６．．．投影面上に投影された一方向分の視差成分画像、４２７．．．一方向分の視差成分画像が分割配置された、表示面の視差合成画像、４２８．．．投影方向、４２９．．．カメラ

Claims (14)

1. 第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
   この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
   を具備し、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画像表示装置の為の立体画像用データを記録する方法であって、
   前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
   第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像を視差合成画像への変換単位として記録することを特徴とする立体画像用データの記録方法。
2. 前記各視差成分画像の垂直方向が略前記視距離に対応した透視投影であり、且つ、水平方向が平行投影であることを特徴とする請求項１に記載の立体画像用データの記録方法。
3. 前記各視差成分画像の垂直方向及び水平方向とも透視投影であることを特徴とする請求項１に記載の立体画像用データの記録方法。
4. 前記ｎ枚の連結画像をさらに連結した１枚の全連結画像として記録することを特徴とする請求項１乃至３に記載の立体画像用データの記録方法。
5. 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように連結して構成されることを特徴とする請求項４に記載の立体画像用データの記録方法。
6. 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように連結して構成され、前記表示面の正面に近いｎ視差方向の両端の視差方向を含む２枚の連結画像が全連結画像の両端に配置されることを特徴とする請求項５に記載の立体画像用データの記録方法。
7. 前記全連結画像は、隣接視差成分画像の左端が互いに隣接し、或いは、右端が互いに隣接して接続されるように連結画像が１つおきに左右反転して連結されていることを特徴とする請求項４に記載の立体画像用データの記録方法。
8. 前記全連結画像は、前記連結画像を水平方向及び垂直方向にタイル状に連結して構成されることを特徴とする請求項１乃至７に記載の立体画像用データの記録方法。
9. 前記全連結画像は、前記連結画像を垂直方向に１段ごとに反転して連結して構成されることを特徴とする請求項８に記載の立体画像用データの記録方法。
10. 前記全連結画像は、立体像表示時に表示面に表示される視差合成画像と同一縦横画素数であることを特徴とする請求項１乃至９に記載の立体画像用データの記録方法。
11. 前記全連結画像は、光線空間法により定義される直方体状の光線空間として構成されることを特徴とする請求項４に記載の立体画像用データの記録方法。
12. 前記連結画像、或いは、前記全連結画像が非可逆圧縮して記録されることを特徴とする請求項１乃至１１に記載の立体画像用データの記録方法。
13. 第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
    この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
    を具備する立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
    前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
    第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像として記録し、
    このｎ枚の連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示することを特徴とする立体画像の表示再生方法。
14. 第１水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表示される表示面を有する表示部と、
    この表示面に対向して配置され、前記水平ピッチの整数ｎ倍に等しい第２の水平ピッチで水平方向に配置されている直線状光学的開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿うｎ個間隔の画素からの光線を平行光線として視域に向ける視差バリアと、
    を具備する立体画像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる表示再生方法において、
    前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積されているｎ枚或いはｎ枚より多い、縦横画素数の異なる視差成分画像データを用意し、
    第ｎ隣接視差方向となる１以上の前記視差成分画像が組み合わされた実質的に同一縦横画素数のｎ枚の連結画像とした画像群をさらに連結した１枚の全連結画像として記録し、
    この１枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表示することを特徴とする立体画像の表示再生方法。

Images