JP3802629B2 - Stereo image generator - Google Patents

Description

【００１６】
上記（１），（２）式の導出には図４を用いている。図４において、ｄは、左仮想カメラ４Ｌの左視点および右仮想カメラ４Ｒの右視点の中点Ｏから左右視点までの距離を示し、右視点側を＋ｄとし、左視点側を−ｄとするように設定されている。また、ＬＢａｓｅは視距離を示し、θは左右仮想カメラの水平方向の半画角を示し、Ｈは距離ＬＢａｓｅ離れた線上の任意の水平座標を示す。また、後述するＬｏｂｊ はターゲットオブジェクトの中心から左右視点までの奥行き方向の距離（輻輳による距離）を示す。上記（１），（２）式より（３）式が導かれる。
【数２】

輻輳は、立体画像を観察する際にオブジェクトである球２の左画像の中心からの水平方向の変位量ｘ1 と球２の右画像の中心からの水平方向の変位量ｘ2 とが異なる場合に生じ、球２の水平方向の変位量の差｜ｘ1 −ｘ2 ｜が（３）式を満たすとき、球２の輻輳による距離はＬＢａｓｅとなる。
【００１７】
したがって、（３）式を満たすような左右画像を生成すれば、画像中のターゲットオブジェクトの飛び出し量の変化を小さくしたまま立体感を十分感じさせることが可能になり、さらに左右画像中のターゲットオブジェクトに関して視距離と輻輳による距離とをほぼ一致させれば、一層自然な立体感を与えることが可能になる。
【００１８】
次に、ターゲットオブジェクトである球２の飛びだし量を視距離ＬＢａｓｅを中心として±２ディオプターまで許容する場合の条件を求める。これは、図５に示す「輻輳−調節の対応関係と許容範囲」から導くことができる。この図５は、「O plus E No.73 ，株) 新技術コミニケーションズ, 1985年12月の第98乃至 109頁記載、生理光学15, ３次元ディスプレイ，畑田豊彦（東京工芸大学・工学部）」の第１０３頁の図１３８を引用したものであり、図中の横軸は輻輳を示し、縦横は調節（視度）を示す。この図５から分かるように、輻輳が調節値の±２ディオプター内にある場合には、融像しやすい輻輳を生じさせることができる。
【００１９】
この場合において、球２の水平方向の変位量の差｜ｘ1 −ｘ2 ｜が満たすべき条件を求める。上記（３）式をディオプターで微分すると、
【数３】

となる（但し、距離の単位はｍｍとする、以下同様）。この（４）式の右辺に４（ディオプター）を掛けることにより、４ディオプター変化するときの球２の水平方向の変位量の差｜ｘ1 −ｘ2 ｜の変化量が求まる。よって、球２の飛び出し量の変化量を例えば４ディオプター以内にする場合には次式を満たせばよい。
【数４】

つまり、ターゲットオブジェクトである球２の飛び出し量の変化量を４ディオプター内に抑えるためには（５）式を満たせばよいことが判る。
【００２０】
一方、ターゲットオブジェクトである球２の飛び出し量が視距離ＬＢａｓｅを中心として±２ディオプター内であるためには次の（６）式を満たせばよい。
【数５】

また、視距離ＬＢａｓｅ＞５００に場合には、上記（６）式を満たすようにしても、下記（６’）式を満たすようにしてもよい。
【数６】

その場合、例えば視距離ＬＢａｓｅ＝１０００（ｍｍ）であれば、ターゲットオブジェクトである球２の飛び出し量を５００（ｍｍ）〜２０００（ｍｍ）の範囲に抑えることになる。
さらに望ましくは、ターゲットオブジェクトである球２の飛びだし量を視距離ＬＢａｓｅを中心として±１ディオプターまで許容する。この場合、図５から分かるように、輻輳が調節値の±１ディオプター内にある場合には、短時間提示で融像できる輻輳を生じさせることができる。よって、球２の飛び出し量の変化量を例えば２ディオプター以内にする場合には次式を満たせばよい。
【数７】

つまり、ターゲットオブジェクトである球２の飛び出し量の変化量を２ディオプター内に抑えるためには（７）式を満たせばよいことが判る。
一方、ターゲットオブジェクトである球２の飛び出し量が視距離ＬＢａｓｅを中心として±１ディオプター内であるためには次の（８）式を満たせばよい。
【数８】

また、視距離ＬＢａｓｅ＞１０００の場合には、上記（８）式を満たすようにしても、下記（８’）式を満たすようにしてもよい。
【数９】

【００２１】
以上、観察者に注視してもらいたい物体であるターゲットオブジェクトの飛び出し量の変化を小さくしたまま立体感を十分感じることのできる立体画像の条件を示した。
本発明によれば、観察者に注視してもらいたい物体とそれ以外の物体との間の距離を大きく変化させながら、観察者に注視してもらいたい物体の飛び出し量の変化を小さくすることができる。よって、図２９（ａ）〜（ｃ）の従来例の場合のように観察者に注視してもらいたい物体の飛び出し量の変化を小さくするとそれ以外の物体との間の距離の変化が小さくなってしまう不具合は生じない。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づき詳細に説明する。図６は本発明の第１実施形態の立体画像生成装置の全体構成を示す図である。本実施形態の立体画像生成装置は、処理装置１１と、それに接続される周辺装置とから成り、周辺装置としては、オペレーターが各種データを入力するためのキーボードやマウス等の入力装置１２と、オペレータが入力したデータや生成された画像をモニタするための表示装置１３と、入力したデータを記憶するための外部記憶装置１４と、生成した動画像を録画するための録画装置１５とを具備して成る。処理装置１１は、ＣＧ（コンピュータグラフィックス）像生成のための計算を行ったり、各周辺装置の処理を行うためのＣＰＵ（図示せず）と、データを一時的に記憶するための内部記憶装置１１ａとを内蔵している。
【００２３】
本実施形態は、左右の画像（ピクチャー）を生成した後にシフトする例であり、通常の左右画像の生成の後に、ターゲットオブジェクトの輻輳による距離が固定されるように、言い換えればターゲットオブジェクトの表示位置が所定の位置に固定されるように、画像編集を行う。
【００２４】
図７は第１実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。図７において、まず、ステップ５１〜５３では、複数のオブジェクトの形状データ、初期位置データおよび時間的な動きのデータ（運動データ）をキーボード等の入力装置１２によって入力し、外部記憶装置１４に記憶させる。次のステップ５４では、左右の仮想カメラの位置データ、画角データおよび交差角（姿勢）データを入力し、外部記憶装置１４に記憶させる。その際、左右仮想カメラの位置は両者の間隔が観察者の眼幅（例えば６５ｍｍ）となるように設定し、その画角および交差角は観察に使用するＨＭＤの接眼光学系の画角および交差角と同一に設定するのが望ましい。
【００２５】
次のステップ５５では、ターゲットオブジェクト（ＣＧ製作者が観察者に注目してもらいたいオブジェクト）を上記複数のオブジェクトの中から選択設定し、外部記憶装置１４に記憶させる（代わりに、オブジェクト上の特定の点を選択設定するようにしてもよい）。このステップ５５で選択したターゲットオブジェクトに関しては、以下の処理により視距離と輻輳による距離とが一致することになり、ここではターゲットオブジェクトが球２であるものとして以下の説明を展開する。次のステップ５６では、使用するＨＭＤの接眼光学系の視距離データ（例えば１０００ｍｍ）を入力し、外部記憶装置１４に記憶させる。
【００２６】
次のステップ５７では、上記ステップ５１〜５６で記憶したデータに基づいてレンダリングを行い、左右仮想カメラにより撮影される現行フレームの左右の二次元画像（ピクチャー）を生成し、生成した左右画像を内部記憶装置１１ａに一旦記憶させる。このレンダリングは、図２９（ａ）〜（ｃ）に示す従来例と同様にして行うものとし、例えば図２８に示すように仮想三次元空間１内に配置したオブジェクトである球２および三角錐３を同一空間内に配置した左右の仮想カメラ４Ｌ，４Ｒで撮像したときの左画像および右画像を生成するものであり、このレンダリングにより、例えば図８（ａ）に示すような画像が生成される。上記レンダリングにより生成される左右画像は夫々、画像内に、時間の経過とともに大きさの変化する少なくとも１つのオブジェクトおよびそれ以外の１つ以上のオブジェクト（時間の経過とともに大きさの変化するオブジェクトでも変化しないオブジェクトでもよい）が視差を有するように描かれている必要があり、画像内には２つ以上のオブジェクトが含まれることになる。
【００２７】
次のステップ５８では、上記ステップ５１〜５７で記憶したデータに基づいて現フレームにおけるターゲットオブジェクトである球２から左右仮想カメラの視点までの距離Ｌｏｂｊ （図４参照）を算出し、それを用いて、次のステップ５９で次式により左右画像全体を夫々画像中心から水平方向に移動（シフト）するシフト量Ｓを画素単位で算出する。
【数１０】

ここで、ｄは左右仮想カメラの視点の中点（図４参照）から左右視点までの距離（右視点側を正とし、左視点側を負とする）、Ｌｏｂｊ はターゲットオブジェクトの中心から左右視点までの奥行き方向の距離（輻輳による距離）、ＬＢａｓｅはＨＭＤの接眼光学系によって決定される視距離、θはカメラの水平方向の半画角、ＰＨ−ｈａｌｆは１つの画像の水平画素数の半分である。シフト量Ｓが正のとき画像全体の右方向シフトを表わし、負のとき左方向シフトを表わす。
【００２８】
上記シフト量Ｓの具体例を以下に示す。例えば、ｄ＝３２（ｍｍ）、ＬＢａｓｅ＝１０００（ｍｍ）、θ＝２４．２、ＰＨ−ｈａｌｆ＝３２０と設定した場合には、Ｌｏｂｊ ＝５００（ｍｍ）のときは、右画像については２３画素だけ右へシフトし、左画像については２３画素だけ左へシフトする。また、Ｌｏｂｊ ＝２０００（ｍｍ）のときは、右画像については１０画素だけ左へシフトし、左画像については１０画素だけ右へシフトする。
【００２９】
ここで、視距離ＬＢａｓｅと輻輳による距離Ｌｏｂｊ との一致精度は±２ディオプター内のずれまでなら許容する。これは、上述した図５に示す「輻輳−調節の対応関係と許容範囲」から導くことができる。この図５から分かるように、輻輳が調節値の±２ディオプター内にある場合には、融像しやすい輻輳を生じさせることができる。よって、その条件としては、
【数１１】

を満足すれば十分である。上式中、ｄ、Ｌｏｂｊ 、ＬＢａｓｅの単位はｍｍである。また、ＬＢａｓｅ＞５００のときは、上記（１０）式を満たすようにしても、下記（１１）式を満たすようにしてもよい。
【数１２】

さらに望ましくは、視距離ＬＢａｓｅと輻輳による距離Ｌｏｂｊとの一致精度を±１ディオプター内のずれまで許容させる。この場合、図５から分かるように短時間提示で融像できる輻輳を生じさせることができる。その条件としては、
【数１３】

を満足すればよい。また、視距離ＬＢａｓｅ＞１０００の場合には、上記（１２）式を満たすようにしても、下記（１３）式を満たすようにしてもよい。
【数１４】

【００３０】
図７において、次のステップ６０では、上記ステップ５９で求めたシフト量Ｓだけ上記図８（ａ）の画像を水平方向にシフトして新しい左右画像を生成する。この新しい左右画像は、例えば図８（ｂ）に示すように、図８（ａ）の画像全体を左方向にずらした結果、空白になった部分（右端部）を黒表示としたものである。このシフト後の左右画像は、外部記憶装置１４に記憶する。
【００３１】
次のステップ６１では、現在処理中のフレームが最終フレームか否かを判断し、最終フレームの処理を完了するまで、ステップ６１のＮＯ−５７−５８−５９−６０−６１のループを繰り返す。そして、次のステップ６２では、外部記憶装置１４から左画像列を読み出し、その左画像列をビデオデッキ等の画像録画装置を用いてビデオテープ等の記録媒体に左眼用動画として録画する。さらに、次のステップ６３では、外部記憶装置１４から右画像列を読み出し、その右画像列をビデオデッキ等の画像録画装置を用いてビデオテープ等の記録媒体に右眼用動画として録画する。
以上の一連の処理が終了すると、結果的に左右の動画像列が生成される。この動画像列の左右画像は、前述した（９）式、（１０）式または（１１）式を満足するシフト量Ｓで水平方向にシフトした左右画像であるので、結果的に、前述した（３）式、（５）式、（６）式または（６’）式を満足する画像としてＨＭＤ等に表示し得るものとなる。また、（１２）式、（１３）式を満足するシフト量Ｓで水平方向にシフトすれば、（７）式、（８）式、または（８’）式を満足する画像としてＨＭＤ等に表示し得る。
【００３２】
上記左右画像の一例を図１（ａ）〜（ｃ）に示す。これら左右画像は、画像内に、時間の経過とともに大きさが変化するオブジェクトである球２と、時間が経過しても大きさが変化しないオブジェクトである三角錐３とが視差を有するように描かれており、図１の（ａ），（ｂ），（ｃ）の各画像の間では球２と三角錐３との水平方向の相対的位置関係が時間の経過とともに変化するようになっている。ここで、図１の（ａ）から（ｂ）への変化および（ｂ）から（ｃ）への変化を分析すると、球２は、球２の左画像の中心からの水平方向の変位量と右画像の中心からの水平方向の変位量との差（図３の｜ｘ1 −ｘ2 ｜）がほぼ一定になるように水平方向にシフトされている（それにより、立体観察時の球２の輻輳による距離が固定される）。一方、三角錐３は、球２の大きさの変化に応じて、球２に対して水平方向にシフトされており、三角錐３は、三角錐３の左画像の中心からの水平方向の変位量と右画像の中心からの水平方向の変位量との差が変化するように水平方向にシフトされている。
【００３３】
次に、上記のようにして生成した立体画像の観察例を図９を用いて説明する。本実施形態では、立体画像の観察をＨＭＤ２１で行う。まず、作成された左右の動画像を記録したビデオテープを夫々、左用画像再生装置２２Ｌ、右用画像再生装置２２Ｒに挿入して再生する。その際、左右画像再生装置２２Ｌ、２２Ｒは互いに同期信号を供給することにより同期して画像を再生し、左画像再生装置２２Ｌからは左画像信号および左音声信号が、右画像再生装置２２Ｒからは右画画像信号および右音声信号が、ＨＭＤコントロールボックス２３に入力される。
ＨＭＤコントロールボックス２３は、ＨＭＤ２１へ左画像信号および左音声信号ならびに右画像信号および右音声信号を供給するとともに、ＨＭＤ２１の表示素子（ＬＣＤ）の駆動回路へ電力を供給する他、外界像の遮断／透過を切り換えるための液晶シャッタを駆動する液晶シャッタ駆動信号を供給する。また、ＨＭＤコントロールボックス２３では、ＨＭＤ２１に設けたヘッドフォンの音声のボリューム調整を行うこともできる。
【００３４】
ＨＭＤ２１内では、左画像信号は左ＬＣＤで表示され、左接眼光学系で拡大されて観察者の左眼球に投影される。右画像信号は右ＬＣＤで表示され、右接眼光学系で拡大されて観察者の右眼球に投影される。ここで、ＨＭＤ２１の左右接眼光学系の視距離は、図７のフローチャートのステップ５６で設定した視距離と同一になるように構成する。
【００３５】
本実施形態の立体画像生成装置によれば、図７のフローチャートのステップ５５で設定した、ＣＧ作成者が提示したいターゲットオブジェクトについては、常に輻輳による距離が視距離と一致するので、観察者がそのターゲットオブジェクトを注視するとき、観察者眼球のピント調整作用が働くため、ピント調節位置と両眼輻輳による位置は常に一致することになる。以下、このことについて左右画像の具体例を用いて説明する。
【００３６】
図２８に示すように仮想三次元空間１内にオブジェクトである球２および三角錐３と、左右の仮想カメラ４Ｌ，４Ｒとを配置し、球２のみが矢印で示すように左右の仮想カメラ４Ｌ，４Ｒに向かって接近するように設定した場合、生成される左右画像は例えば図１（ａ）〜（ｃ）に示すようになる。この左右画像を（ａ）、（ｂ）、（ｃ）の順番でＨＭＤ２１で表示したとき、ＨＭＤ２１によって呈示される立体空間は、例えば図２に示すようになる。すなわち、球２は時間の経過とともに大きくなるが、眼球に対する距離（輻輳による距離）は時間が経過しても変化せず、表示位置が固定される。一方、三角錐３は時間が経過しても大きさは変化しないが、時間の経過とともに図示矢印のように眼球に対し遠方に移動する。つまり、図３０の従来例と同様に球２と三角錐３との間の距離は時間の経過とともに増大するが、球２の眼球に対する距離は変化しない。このとき、「人間の眼球は相対的距離の変化には敏感であるが、絶対的距離の検出にはそれほど敏感ではない」という上述した人間の視覚の作用により、観察者はあたかも球２が眼球側に接近し、三角錐３は位置を変えていないように見える。よって、球３の飛び出し量をほとんど変化させずに、立体感のある画像を提示することができる。
【００３７】
また、図１０に示すように仮想三次元空間１内にオブジェクトである球２および三角錐３と、左右の仮想カメラ４Ｌ，４Ｒとを配置し、球２は矢印で示すように左右の仮想カメラ４Ｌ，４Ｒに向かって接近し、三角錐３は矢印で示すように左右の仮想カメラ４Ｌ，４Ｒから遠ざかるように設定した場合、生成される左右画像は例えば図１１（ａ）〜（ｃ）に示すようになる。この左右画像を（ａ）、（ｂ）、（ｃ）の順番でＨＭＤ２１によって表示すると、球２は時間の経過とともに大きくなるが、眼球に対する距離（輻輳による距離）は時間が経過しても変化せず、表示位置が固定される。なお、この例の場合、球２は輻輳角も固定されることになる。一方、三角錐３は時間の経過とともに小さくなりつつ眼球に対し遠方に移動する。このとき、上述した人間の視覚の作用により、観察者はあたかも球２が眼球側に接近し、三角錐３は眼球から遠ざかるように見える。よって、球３の飛び出し量をほとんど変化させずに、立体感のある画像を提示することができる。
【００３８】
なお、図１０の設定を用いて、上記従来例により生成される左右画像は例えば図３１（ａ）〜（ｃ）に示すようになる。この左右画像を（ａ）、（ｂ）、（ｃ）の順番でＨＭＤ２１によって表示すると、本実施形態と同様に球２が眼球側に接近し三角錐３は眼球から遠ざかるように見えるが、球２の表示位置が固定されず眼球側に移動する点が本実施形態と相違する。
【００３９】
また、図１２に示すように仮想三次元空間１内にオブジェクトである球２および三角錐３と、左右の仮想カメラ４Ｌ，４Ｒとを配置し、球２のみが矢印で示すように左右の仮想カメラ４Ｌ，４Ｒに向かって斜めに接近するように設定した場合、生成される左右画像は例えば図１３（ａ）〜（ｃ）に示すようになる。この左右画像を（ａ）、（ｂ）、（ｃ）の順番でＨＭＤ２１で表示したとき、ＨＭＤ２１によって呈示される立体空間は、例えば図１４に示すようになる。すなわち、球２は時間の経過とともに大きくなりつつ、図示矢印のように眼球に対する距離（輻輳による距離）が時間の経過とともにほとんど変化せずほぼ真横に移動する。この場合、図１３（ａ）〜（ｃ）の画像を左右を上下に並び替えた図１５（ａ）〜（ｃ）に示すように、球２の各画像内における位置は変化しているが、球２の左画像の中心からの水平方向の変位量と右画像の中心からの水平方向の変位量との差｜ｘ1 −ｘ2 ｜は、上記（６）式または（６’）式の範囲でしか変化せず、ほぼ一定になる。一方、三角錐３は時間の経過とともに眼球から遠ざかるが大きさは変化しない。このとき、上述した人間の視覚の作用により、観察者はあたかも球２が眼球側に斜めに接近し、三角錐３は位置を変えていないように見える。よって、球３の飛び出し量をほとんど変化させずに、立体感のある画像を提示することができる。
【００４０】
なお、図１２の設定を用いて、上記従来例により生成される左右画像は例えば図３２（ａ）〜（ｃ）に示すようになる。この左右画像を（ａ）、（ｂ）、（ｃ）の順番でＨＭＤ２１で表示したとき、ＨＭＤ２１によって呈示される立体空間は、例えば図３３に示すようになる。すなわち、本実施形態と同様に球２が眼球側に接近し三角錐３は動かないように見えるが、（ａ）、（ｂ）、（ｃ）の順番で画像が変化するに従い、｜ｘ1 −ｘ2 ｜が増大するように変化する点が本実施形態と相違する。
【００４１】
以上説明したように、本実施形態によれば、ターゲットオブジェクトの輻輳による距離Ｌｏｂｊ が固定された立体画像を作成することができる。この立体画像は、上記輻輳による距離Ｌｏｂｊ と視距離ＬＢａｓｅとを一致させているので、一層見やすい画像となる。
なお、ＨＭＤ２１での観察例としては図３４のように、処理装置１１で生成した立体画像を録画装置１５を介することなく直接ＨＭＤ２１で観察してもよい。
このときは図７のフローチャートにおけるステップ６０で記憶することなくシフトした画像を出力する。
【００４２】
図１６（ａ）〜（ｄ）は本発明の第２実施形態における立体画像生成処理により生成される画像を例示する図である。本実施形態では、ＨＭＤ画角よりも大きなカメラ画角で画像を生成し、その画像を第１実施形態と同様にシフトした後、ＨＭＤ画角分切り出すようにしている。なお、本実施形態では、上記第１実施形態と同様に図６の立体画像生成装置を使用する。
【００４３】
本実施形態においては、上記第１実施形態と同様に図７のフローチャートにより処理装置が立体画像生成処理を行うが、その内容の一部を第１実施形態とは変更している。すなわち、図７のフローチャートのステップ５４では、左右仮想カメラの画角をＨＭＤ接眼光学系の画角よりも大きくするようにする。このステップ５４の処理により生成される画像は例えば図１６（ａ）のようになり、画角を大きくした分、第１実施形態の画像（図８（ａ））よりもオブジェクトは小さくなる。
この図１６（ａ）の画像は、図７のステップ６０において、第１実施形態と同様にシフトされて図１６（ｂ）のような画像となるが、本実施形態のステップ６０では、上記シフト処理の後に、図１６（ｃ）に示すようなＨＭＤ接眼光学系の画角の画像領域分の切り出しの処理と、図１６（ｄ）に示すような拡大処理とが行われる。
【００４４】
本実施形態によれば、上記第１実施形態の作用効果に加えて、上記第１実施形態のように画像の端部に黒を表示させることなく画像全体を表示することができる作用効果が得られる。
【００４５】
図１７は本発明の第３実施形態における立体画像生成処理により生成される画像を、仮想三次元空間内のオブジェクトと左右仮想カメラとの位置関係に基づいて説明するための図である。本実施形態では、図１７に示すように仮想三次元空間内１にターゲットオブジェクトである立方体５と、左右の仮想カメラ４Ｌ，４Ｒとを配置し、ターゲットオブジェクト５が左右の仮想カメラ４Ｌ，４Ｒに向かって接近する際に、ターゲットオブジェクト５に対する輻輳による距離を常に一定にするため、仮想カメラ４Ｌ，４Ｒの注視方向をターゲットオブジェクト５から左右仮想カメラの視点までの距離Ｌｏｂｊに追従させるようにしている。
【００４６】
すなわち、ターゲットオブジェクト５が座標Ｐ１の位置にある場合には左右仮想カメラ４Ｌ，４Ｒの注視点を座標Ｐ２に設定する。また、ターゲットオブジェクト５が接近して座標Ｐ３の位置にある場合には、左右仮想カメラの注視点も接近させて座標Ｐ４に設定する。このように、左右仮想カメラ４Ｌ，４Ｒの注視方向を変化させることにより、ターゲットオブジェクト５に対する輻輳による距離を固定させることができる。このとき、左右仮想カメラの注視方向角度ψは、左視点、右視点からの視線に対し左視点、右視点とターゲットオブジェクト５とを結んだ線分がなす角度ωから固定角度φを差し引いた角度とし（ψ＝ω−φ）、このψは以下の式で表わされる。
【数１５】

ここで、ｄは左仮想カメラ４Ｌの左視点および右仮想カメラ４Ｒの右視点の中点Ｏから左右視点までの距離を示し、ＬＢａｓｅは視距離を示す。（１４）式において、例えばｄ＝３２、ＬＢａｓｅ＝１０００の場合、固定角度φ＝１．８度となる。
【００４７】
本実施形態では、上記第１実施形態と同様に、視距離と輻輳による距離との一致精度は±２ディオプター内のずれまでなら許容するように設定する。このとき（１４）式は次式に書き換えられる。
【数１６】

となる。なお、左右仮想カメラの注視方向は左右の各々について別に計算する。ここで角度ωは次式で表わされる。
【数１７】

さらに望ましくは、視距離と輻輳による距離との一致精度を±１ディオプター内に許容するように設定した場合は次式となる。
【数１８】

【００４８】
図１８は第３実施形態において処理装置が行う立体画像生成処理を示すフローチャートであり、ステップ５１〜５６は第１実施形態の図７と同一であるので説明を省略する（ただし、本実施形態のステップ５４では交差角を使用しない）。
次のステップ７１では、上記ステップ５１〜５６で記憶した各データを読み出して、上記（１４）式、（１５）式または（１５’）式の計算を行い、左右仮想カメラの注視方向角度（左右仮想カメラの注視方向の動きを表わす）ψを夫々求め、この注視方向角度のデータは外部記憶装置１４に記憶する。
次のステップ７２，７３では、第１実施形態と同様に通常のレンダリングを左右の全フレームに亘って行い、生成した左右画像を１フレームずつ外部記憶装置１４に記憶する。その後、ステップ７４，７５で、第１実施形態のステップ６２，６３と同様に、外部記憶装置１４から左右画像列を読み出し、その左右画像列をビデオデッキ等の画像録画装置を用いてビデオテープ等の記録媒体に左右眼用動画として録画する。
【００４９】
以上の一連の処理により、結果的に、ターゲットオブジェクトの輻輳による距離（図１７に示すようにターゲットオブジェクトが左右仮想カメラの視点の垂直２等分線と平行な線分上を動く場合は輻輳角）が固定された立体画像を作成することができる。さらに輻輳による距離と視距離とを一致させているので一層見やすい画像となる。
本実施形態によれば、上記第１実施形態、第２実施形態のように画像シフトを行なわない分、処理速度が高速化されるという利点がある。
【００５０】
図１９は本発明の第４実施形態における立体画像生成処理の原理を説明するための図である。上記第１〜第３実施形態では、ターゲットオブジェクトの遠近方向の動きに拘わらず飛び出し量が変化しないような左右画像を生成しているが、そのようにすると背景が無く単一の物体のみが動く画像の場合には画像の大きさが変わるだけで奥行き方向は変化せず、立体感が損なわれるおそれがある。
そこで、本実施形態では、ターゲットオブジェクトの飛び出し量に狭い範囲内に限定した変化を与えるようにしている。さらに、その範囲を視距離を中心とした領域に設定することにより、一層見やすい画像を生成するようにしている。
【００５１】
図１９には、ターゲットオブジェクトから仮想カメラまでの奥行き方向の距離の逆数を１０００倍した値である１０００／Ｌｏｂｊ （以下、元輻輳と称す）とシフト等による画像変換後の輻輳１０００／ＬＴａｇ （以下、変換後輻輳）との関係が示されている。ここで、元輻輳が最小値αから最大値βまでの範囲で変化する場合には、変換後輻輳は元輻輳に比例しつつ、（１０００／視距離ＬＢａｓｅ）を中心とした±２ディオプター以内の範囲（図１９に斜線を付けて示す）で変化し、変換後輻輳の変化量は２γ（ただし、０≦γ≦２かつγ≦１０００／ＬＢａｓｅ）となる。
【００５２】
このとき、ターゲットオブジェクトである球２の奥行き方向の距離は図２０（ａ）に示すように変換されるため、視距離ＬＢａｓｅの近傍（ディオプターで±２の範囲）で視距離が変化するオブジェクトとして見えることになる。また、ターゲットオブジェクト以外のオブジェクト（図示の三角錐）３とターゲットオブジェクト２との相対的な距離は従来例と同様に変化するため、両オブジェクトの動きは従来例と同様に立体的に見えることになる。
なお、従来例の方法で立体画像を生成した場合のオブジェクトの見え方は、図２０（ｂ）に示すように、ターゲットオブジェクトである球の奥行き方向の距離が遠距離から近距離まで大きく変化するものとなる。
【００５３】
上述した元輻輳と変換後輻輳との関係は次式で表わされる。
【数１９】

ここで得られる１／ＬＴａｇ を次式に代入してシフト量Ｓを決定する。
【数２０】

この（１９）式は（９）式のＬＢａｓｅをＬＴａｇ に置き換えたものである。ここで、ｄは左右仮想カメラ４Ｌ，４Ｒの左右視点の中点Ｏから左右視点までの距離を示し、右視点側を＋ｄとし、左視点側を−ｄとするように設定されている。また、Ｌｏｂｊ はターゲットオブジェクトの中心から左右視点までの奥行き方向の距離（輻輳による距離）を示し、θは左右仮想カメラの水平方向の半画角を示し、ＰＨ−ｈａｌｆは１つの画像の水平画素数の半分である。シフト量Ｓが正のとき画像全体の右方向シフトを表わし、負のとき左方向シフトを表わす。
【００５４】
上記シフト量Ｓの具体例を以下に示す。例えば、ＬＢａｓｅ＝１０００、ｄ＝３２、θ＝２４．２、ＰＨ−ｈａｌｆ＝３２０、γ＝１、ＬＯｂｊ の最小値α＝０．２５（＝１０００／４０００）、最大値β＝４（＝１０００／２５０）と設定した場合には、上記（１８）式、（１９）式により、Ｌｏｂｊ ＝５００のときは、右画像については２５画素だけ右へシフトし、左画像については２５画素だけ左へシフトする。また、Ｌｏｂｊ ＝２０００のときは、右画像については８画素だけ右へシフトし、左画像については８画素だけ左へシフトする。
【００５５】
上記（１９）式については、眼球の焦点深度内程度の公差は許容することができる。上述した図５を鑑みて、（１９）式は次式に置き換えられる。
【数２１】

【００５６】
次に、本実施形態の立体画像生成処理について説明する。図２１は第４実施形態において処理装置が行う立体画像生成処理を示すフローチャートであり、ステップ５１〜５６は第１実施形態の図７と同一であるので説明を省略する。
次のステップ７６では、上記ステップ５１〜５６で記憶した各データを読み出し、全フレームにおけるターゲットオブジェクトから視点までの距離を算出し、外部記憶装置１４に記憶する。次のステップ７７では、上記ステップ７６の処理により得られるターゲットオブジェクトから視点までの距離の最大値および最小値から、（１２）式におけるαおよびβを求め、外部記憶装置１４に記憶する。次のステップ７８では、ターゲットオブジェクトの輻輳変化量γを入力し、外部記憶装置１４に記憶する。
以下のステップ７９〜８４の処理は、第１実施形態の図７のステップ５７、５９〜６３の処理と同一であるため、説明を省略する。ただし、ステップ８０のシフト量Ｓの計算においては上記（１８）式、（１９）式または（２０）式を使用する。
【００５７】
本実施形態によれば、結果的に、ターゲットオブジェクトの飛び出し量の変化を小さくしたまま立体感を十分感じることのできる立体画像をコンピュータを用いて生成することができる。さらに、飛び出し量の変化の範囲を視距離を中心としてその近傍領域に設定することにより、一層見やすい画像を作成することができる。
【００５８】
図２２は第５実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。この図２２は第３実施形態の図１８のフローチャートに対し、ステップ５６とステップ７１との間にステップ７０を挿入する変更を加えたものである。本実施形態は上記第４実施形態の方式を第３実施形態に応用したものであり、元画像の輻輳による距離の変化を視距離の近傍の領域内に圧縮して輻輳による距離に変化を与えるように左右仮想カメラの注視方向の制御を行う。このとき、左右仮想カメラの注視方向角度ψは、左視点、右視点からの視線に対し左視点、右視点とターゲットオブジェクトとを結んだ線分がなす角度ωから固定角度φを差し引いた角度とし（ψ＝ω−φ）、この角度ψをターゲットオブジェクトまでの距離Ｌｏｂｊ に応じて変化させる。
【００５９】
そのため、まず、第４実施形態の（１８）式でＬＴａｇ を求める。次にＬＴａｇ を次式に代入する。
【数２２】

ここで、第４実施形態と同様に眼球の焦点深度内程度の公差は許容するので、（２１）式は次式に置き換えられる。
【数２３】

【００６０】
上記図２２のフローチャートのステップ７０では、上記ステップ５１〜５６で記憶した各データに基づき算出した全フレームにおけるターゲットオブジェクトから視点までの距離の最大値および最小値から、（１８）式におけるαおよびβを求め、外部記憶装置１４に記憶する。次のステップ７１では、上記第４実施形態と同様に左右仮想カメラの注視方向を計算するが、その注視方向の計算には上記（２１）式を用いる。なお、以下のステップ７２〜７５は第３実施形態と同一であるため、説明を省略する。
【００６１】
本実施形態によれば、結果的に、ターゲットオブジェクトの飛び出し量の変化を小さくしたまま立体感を十分感じることのできる立体画像をコンピュータを用いて生成することができる。さらに、飛び出し量の変化の範囲を視距離を中心としてその近傍領域に設定することにより、一層見やすい画像を作成することができる。さらに、第４実施形態のように画像シフトを行わない分、処理速度が高速化されるという利点がある。
なお、第４，第５実施形態では、元輻輳と変換後輻輳の関係が図１９のように比例関係になるものとしたが、これに限定されるものではなく、非線型になるようにしてもよい。
【００６２】
図２３は第６実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。本実施形態では、動画のフレーム数が進むに従い、つまり時間が経過するに従いシフト量や注視方向を変化させるようにしたものである。この方式では、立体動画像の最初のフレーム帯（例えば最初の５分間）では従来例と同様の通常の立体画像生成方式で画像を作成し、時間が経過するに従い（例えば５分後から１０分後の間）第４実施形態や第５実施形態の方式で立体画像を作成し、あるフレーム以降の時間帯（例えば１０分後以降）では第１実施形態や第２実施形態の方式で画像を作成する。
【００６３】
すなわち、図２３のフローチャートのステップ８５では、第４実施形態と同様に図２１のステップ５１〜５６、７６、７７の処理を行う。次のステップ８６では、第１切換フレームナンバーＦ１および第２切換フレームバーＦ２を入力して外部記憶装置１４に記憶し、次のステップ８７では上記ステップ５１〜５６で記憶したデータに基づいてレンダリングを行い、左右仮想カメラにより撮影される現行フレームの左右の二次元画像を生成し、生成した左右画像を内部記憶装置１１ａに一旦記憶させる。このレンダリングは、上記従来例と同様にして行うものする。
【００６４】
次のステップ８８では、現行のフレームナンバーＦがＦ１，Ｆ２により３分割される時間帯のどれに該当するかを判定し、Ｆ≦Ｆ１であれば処理を直ちにステップ９２に進め、Ｆ１＜Ｆ≦Ｆ２であれば処理をステップ８９に進め、Ｆ２＜Ｆであれば処理をステップ９０に進める。ステップ８９では第４実施形態と同様に（１８）式、（１９）式または（２０）式を用いてシフト量Ｓを計算し、ステップ９０では第１実施形態と同様に（９）式、（１０）式または（１１）式を用いてシフト量Ｓを計算する。次のステップ９１ではそのシフト量Ｓで画像シフトを行う。そして、次のステップ９２では生成した左右画像を１フレームずつ外部記憶装置１４に記憶する。なお、次のステップ９３〜９５の処理は第４実施形態のステップ８２〜８４と同一であるので説明を省略する。
上記処理により、Ｆ１以前のフレームの画像については画像シフトがなされないため、従来例の生成方法で生成したのと同一の画像が生成され、Ｆ１からＦ２までの間のフレームの画像については第４実施形態の方式で計算したシフト量Ｓで水平方向にシフトされ、Ｆ２以降のフレームの画像については第１実施形態の方式で計算したシフト量Ｓで水平方向にシフトされることになる。
【００６５】
本実施形態によれば、最初の時間帯（Ｆ≦Ｆ１）ではターゲットオブジェクトの輻輳による距離が大きく変化することにより観察者にインパクトを与えることを重視した画像を提示することができる。また、時間が経過するに従い、立体視疲労を抑えることを重視した画像を、時間帯（Ｆ１＜Ｆ≦Ｆ２）と時間帯（Ｆ２＜Ｆ）とで２段階に切り換えて提示することができる。
【００６６】
なお、上記図２３のフローチャートでは画像シフト方式を用いているが、左右仮想カメラの注視方向を制御する第２実施形態や第５実施形態の方式を用いてもよいことは勿論である。また、画像生成方式の切り換えを不連続にせずに、徐々に切り換えてもよい。そのような方式の一例としては、（１８）式におけるγをフレームナンバーＦが大きくなるに従い小さくしていく方法がある。
【００６７】
図２４は本発明の第７実施形態の立体画像生成装置の全体構成を示す図であり、第１実施形態の図６と同一の部分には同一符号を付けて説明を省略する。本実施形態では、画像生成装置の画像を見るためのディスプレイとして図６の表示装置１３の代わりにＨＭＤ１６が備えられており、このＨＭＤ１６は、オペレータがデータの確認および生成した立体画像の確認に使用する。
【００６８】
図２４において、処理装置１１からフレーム毎に交互に左右画像がＨＭＤ１６へ出力され、これら左右画像がＨＭＤ１６内でフレーム毎に左ＬＣＤ、右ＬＣＤへ振り分けられることにより立体画像を観察することができる。このときＨＭＤ１６の接眼光学系の視距離、画角および交差角は、図７のステップ５４、５６で設定した仮想カメラの視距離、画角および交差角と同一であることが望ましい。オペレータは、例えば図７のステップ６２，６３の最終的な録画の前に、生成した立体画像を確認し、良ければ録画を実行する。
【００６９】
本実施形態によれば、録画前にオペレータが画像を確認および修正できるという利点を有している。
【００７０】
図２５は第８実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。本実施形態では、ターゲットオブジェクトの設定をオペレータが行わなくても処理装置１１が自動設定するようにしている。この自動設定においてターゲットオブジェクトの設定条件は、仮想カメラの水平画角および垂直画角の中央領域にあるオブジェクトでかつ仮想カメラに一番近いオブジェクトとするのがよい。これは、観察者が画像を観察する場合、ほぼ中央に位置し最も手前のオブジェクトを注目するからである。
この設定条件を図２６を用いて説明する。左右仮想カメラ４Ｌ，４Ｒの前に球２、三角錐３および直方体５の３つのオブジェクトを配置した場合、仮想カメラ４Ｌの中央画角領域（点線）内に入っていて仮想カメラ４Ｌ，４Ｒに一番距離が近いオブジェクトは直方体５である。そこで、この直方体５がターゲットオブジェクトとなる。その際、上記中央領域は仮想カメラ画角の５０％とするのが望ましい。
【００７１】
図２５のフローチャートは本実施形態のターゲットオブジェクトの自動設定を上記第１実施形態に応用したものであり、第１実施形態のステップ５５，５８を夫々、ステップ５５ａ，５８ａに変更している。
ステップ５５ａでは、ターゲットとオブジェクトの設定条件を入力し、外部記憶装置１４にその設定条件を記憶する。また、ステップ５８ａでは、上記ステップ５１〜５４，５５ａ，５６で入力した各データを読み出し、ステップ５５ａの設定条件に適合するオブジェクトを探し、それをターゲットオブジェクトに設定する。
【００７２】
本実施形態によれば、オペレータがターゲットオブジェクトを設定する必要がないので入力の手間が省けるという利点があり、特に、時間の経過とともにターゲットオブジェクトとなるオブジェクトが頻繁に変わっていく画像の場合には入力の手間が省ける利点が顕著になる。
なお、上記においては第１実施形態に応用した場合を示したが、第２〜第７実施形態に応用し得ることは言うまでもない。
【００７３】
以上、実施形態に基づいて説明したが、本明細書中には、以下の付記項として示した発明が含まれる。
【００７４】
複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶する記憶手段と、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成する第１の描画手段と、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成する第２の描画手段と、前記複数のオブジェクトの中から任意に選択した特定オブジェクトの、前記第１および第２の描画手段によって生成される前記第１および第２の二次元画像データの中心からの水平方向の変位量の差がほぼ一定になるように、前記第１および第２の二次元画像データのうち少なくともいずれか一方の二次元画像データ全体の水平移動を制御する二次元画像データ制御手段とを具備して成ることを特徴とする立体画像生成装置（付記項１）。
【００７５】
または、複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶する記憶手段と、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成する第１の描画手段と、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成する第２の描画手段と、前記第１の描画手段によって生成される前記第１の二次元画像データ全体の水平移動を制御する第１の二次元画像データ制御手段と、前記第１の二次元画像データ制御手段による水平移動の量とは異なる移動量で前記第２の描画手段によって生成される前記第２の二次元画像データ全体の水平移動を制御する第２の二次元画像データ制御手段とを具備して成ることを特徴とする立体画像生成装置（付記項２）
において、前記二次元画像データ制御手段は、前記第１の二次元画像データに対する制御方向と前記第２の二次元画像データに対する制御方向とを逆方向にすることを特徴とする立体画像生成装置としてもよい（付記項３）。
【００７６】
また、上記付記項１または２において、前記二次元画像データ制御手段は、前記第１の二次元画像上における特定オブジェクトの水平方向の変位量ｘ1 と前記第２の二次元画像上における特定オブジェクトの水平方向の変位量ｘ2 との差｜ｘ1 −ｘ2 ｜の画像全体における変化量Δ｜ｘ1 −ｘ2 ｜を、次式
【数２４】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、θは第１および第２の仮想カメラ手段の半画角であり、水平方向の変位量ｘ1 ，ｘ2 は二次元画像全体の水平距離を２として規格化したものである）を満たすよう制御することを特徴とする立体画像生成装置としてもよい（付記項４）。
【００７７】
また、上記付記項１または２において、前記制御後の第１および第２の二次元画像データによる画像は視距離ＬＢａｓｅで立体観察され、前記二次元画像データ制御手段は、前記第１の二次元画像上における特定オブジェクトの水平方向の変位量ｘ1 と前記第２の二次元画像上における特定オブジェクトの水平方向の変位量ｘ2 との差｜ｘ1 −ｘ2 ｜を、次式
【数２５】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、θは第１および第２の仮想カメラ手段の半画角であり、水平方向の変位量ｘ1 ，ｘ2 は二次元画像全体の水平距離を２として規格化したものである）を満たすよう制御することを特徴とする立体画像生成装置としてもよい（付記項５）。
【００７８】
また、上記付記項１または２において、前記特定オブジェクトは、前記第１および第２の視点までの距離が時間的に変化するオブジェクトであることを特徴とする立体画像生成装置としてもよい（付記項６）。
また、上記付記項１または２において、前記二次元画像データ制御手段は、前記特定オブジェクトから前記第１および第２の視点までの奥行き方向の距離Ｌｏｂｊ に応じて制御量を変化させることを特徴とする立体画像生成装置としてもよい（付記項７）。
【００７９】
また、上記付記項１または２において、前記制御後の第１および第２の二次元画像データを入力されて該第１および第２の二次元画像データによる画像を表示する第１および第２の表示素子と、前記第１および第２の表示素子が表示する画像を観察者の第１および第２の眼球の夫々に拡大して提示する第１および第２の接眼光学系とを有する頭部装着型映像表示装置を具えることを特徴とする立体画像生成装置としてもよい（付記項８）。
また、上記付記項１または２において、前記複数のオブジェクトの中で前記第１および第２の仮想カメラ手段の水平画角に対し中央５０％の範囲内に位置し、かつ最も前記第１および第２の仮想カメラ手段に接近して位置するオブジェクトを前記特定オブジェクトに設定する特定オブジェクト設定手段を有することを特徴とする立体画像生成装置としてもよい（付記項９）。
【００８０】
また、上記付記項１または２において、前記二次元画像データ制御手段は、前記特定オブジェクトから前記第１および第２の視点までの距離に応じて前記第１および第２の二次元画像データを水平方向にシフトする画像データシフト手段であることを特徴とする立体画像生成装置としてもよい（付記項１０）。
また、上記付記項１０において、前記制御後の第１および第２の二次元画像は視距離ＬＢａｓｅで立体観察され、その水平方向のシフト量Ｓは、次式
【数２６】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、Ｌｏｂｊ は特定オブジェクトから前記中点までの距離、θは第１および第２の仮想カメラ手段の半画角、ＰＨ−ｈａｌｆは第１および第２の二次元画像の水平画素数の半分である）を満たすように制御することを特徴とする立体画像生成装置としてもよい（付記項１１）。
【００８１】
また、上記付記項１０において、前記制御後の第１および第２の二次元画像は視距離ＬＢａｓｅで立体観察され、その水平方向のシフト量Ｓは、次式
【数２７】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、Ｌｏｂｊ は特定オブジェクトから前記中点までの距離、θは第１および第２の仮想カメラ手段の半画角、ＰＨ−ｈａｌｆは第１および第２の二次元画像の水平画素数の半分、α，βは特定オブジェクトから仮想カメラ手段までの奥行き方向の距離の逆数を１０００倍した値である元輻輳１０００／Ｌｏｂｊ の最小値および最大値、γは変換後輻輳１０００／ＬＴａｇ の変化量の半分であり、０≦γ≦２かつγ≦１０００／ＬＢａｓｅである）を満たすことを特徴とする立体画像生成装置としてもよい（付記項１２）。
【００８２】
また、上記付記項１０において、前記画像データシフト手段のシフト量Ｓは画像のフレーム番数に応じて変化させることを特徴とする立体画像生成装置としてもよい（付記項１３）。
また、上記付記項１０において、前記画像データシフト手段は、画像データのシフト後に画像データの一部を抽出する画像データ抽出手段を有することを特徴とする立体画像生成装置としてもよい（付記項１４）。
また、上記付記項１または２において、前記二次元画像データ制御手段は、前記特定オブジェクトから前記第１および第２の視点までの距離に応じて前記第１および第２の仮想カメラ手段の注視方向を変化させる注視方向制御手段であることを特徴とする立体画像生成装置としてもよい（付記項１５）。
【００８３】
また、上記付記項１５において、前記制御後の第１および第２の二次元画像は視距離ＬＢａｓｅで立体観察され、前記第１および第２の仮想カメラ手段の注視方向角度ψは、次式
【数２８】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、ωは第１および第２の視点からの視線に対し第１および第２の視点と前記特定オブジェクトとを結んだ線分がなす角度である）を満足することを特徴とする立体画像生成装置としてもよい（付記項１６）。
【００８４】
また、上記付記項１５において、前記制御後の第１および第２の二次元画像は視距離ＬＢａｓｅで立体観察され、前記第１および第２の仮想カメラ手段の注視方向角度ψは、次式
【数２９】

（ただし、ｄは第１および第２の視点の中点から第１および第２の視点までの距離、Ｌｏｂｊ は特定オブジェクトから前記中点までの距離、ωは第１および第２の視点からの視線に対し第１および第２の視点と前記特定オブジェクトとを結んだ線分がなす角度、α，βは特定オブジェクトから仮想カメラ手段までの奥行き方向の距離の逆数を１０００倍した値である元輻輳１０００／Ｌｏｂｊ の最小値および最大値、γは変換後輻輳１０００／ＬＴａｇ の変化量の半分であり、０≦γ≦２かつγ≦１０００／ＬＢａｓｅである）を満足することを特徴とする立体画像生成装置としてもよい（付記項１７）。
また、上記付記項１５において、前記注視方向制御手段が制御する前記第１および第２の仮想カメラ手段の注視方向は画像のフレーム番数に応じて変化させることを特徴とする立体画像生成装置としてもよい（付記項１８）。
【００８５】
また、左側視点および右側視点の動画像を生成する立体画像生成装置において、前記左側視点および右側視点の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を視差を有するように描画する描画手段と、前記描画手段によって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記左側視点および右側視点の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像の水平移動を制御する第１の像制御手段と、前記描画手段によって描画される前記特定の１つの像の大きさの変化に応じて、前記左側視点および右側視点の動画像内の他の像を前記特定の１つの像に対して水平移動を制御する第２の像制御手段とを具備して成ることを特徴とする立体画像生成装置（付記項１９）。
【００８６】
または、視点の異なる第１および第２の動画像を生成する立体画像生成装置において、前記第１および第２の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を視差を有するように描画する描画手段と、前記描画手段によって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記第１および第２の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像を画像制御することにより、立体観察時の前記特定の１つの像の輻輳による距離を固定する第１の画像制御手段と、前記第１および第２の動画像内の他の像の、前記第１および第２の動画像の中心からの水平方向の変位量の差が変化するように該他の像を画像制御する第２の画像制御手段とを具備して成ることを特徴とする立体画像生成装置（付記項２０）
において、前記時間的に大きさの変化する像の特定の１つの像が時間の経過とともに大きくなる場合は該特定の１つの像と前記他の像とが相対的に離反し、時間の経過とともに小さくなる場合は該特定の１つの像と前記他の像とが相対的に接近するように前記水平移動制御を行うことを特徴とする立体画像生成装置としてもよい（付記項２１）。
【００８７】
また、上記付記項１９または上記付記項２０において、前記時間的に大きさの変化する像の特定の１つの像は、前記左側視点および右側視点の動画像の水平移動制御の際に水平方向の相対的な位置を変化させないことを特徴とする立体画像生成装置としてもよい（付記項２２）。
【００８８】
また、複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶手段に記憶することをコンピュータにもたらす第１のコンピュータリーダブルプログラム手段と、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成することをコンピュータにもたらす第２のコンピュータリーダブルプログラム手段と、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成することをコンピュータにもたらす第３のコンピュータリーダブルプログラム手段と、前記複数のオブジェクトの中から任意に選択した特定オブジェクトの、前記第２および第３のコンピュータリーダブルプログラム手段に従って前記コンピュータによって生成される前記第１および第２の二次元画像データの中心からの水平方向の変位量の差がほぼ一定になるように、前記第１および第２の二次元画像データのうち少なくともいずれか一方の二次元画像データ全体の水平移動を制御することをコンピュータにもたらす第４のコンピュータリーダブルプログラム手段とを具備して成ることを特徴とする立体画像を生成する処理を実行するために収録されたコンピュータリーダブルプログラムコード手段を有するコンピュータリーダブル記憶媒体（付記項２３）。
【００８９】
左側視点および右側視点の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を視差を有するように描画することをコンピュータにもたらす第１のコンピュータリーダブルプログラム手段と、前記第１のコンピュータリーダブルプログラム手段に従って前記コンピュータによって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記左側視点および右側視点の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像の水平移動を制御することをコンピュータにもたらす第２のコンピュータリーダブルプログラム手段と、前記第１のコンピュータリーダブルプログラム手段に従って前記コンピュータによって描画される前記特定の１つの像の大きさの変化に応じて、前記左側視点および右側視点の動画像内の他の像を前記特定の１つの像に対して水平移動を制御することをコンピュータにもたらす第３のコンピュータリーダブルプログラム手段とを具備してなることを特徴とする左側視点および右側視点の動画像を生成する処理を実行するために収録されたコンピュータリーダブルプログラムコード手段を有するコンピュータリーダブル記憶媒体（付記項２４）。
【００９０】
第１および第２の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を互いに視差を有するように描画することをコンピュータにもたらす第１のコンピュータリーダブルプログラム手段と、前記第１のコンピュータリーダブルプログラム手段に従って前記コンピュータによって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記第１および第２の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像を画像制御することにより、立体観察時の前記特定の１つの像の輻輳による距離を固定するコンピュータにもたらす第２のコンピュータリーダブルプログラム手段と、前記第１および第２の動画像内の他の像の、前記第１および第２の動画像の中心からの水平方向の変位量の差が変化するように該他の像を画像制御することをコンピュータにもたらす第３のコンピュータリーダブルプログラム手段とを具備してなることを特徴とする互いに視点の異なる第１および第２の動画像を生成する処理を実行するために収録されたコンピュータリーダブルプログラムコード手段を有するコンピュータリーダブル記憶媒体（付記項２５）。
【００９１】
複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶手段に記憶することをコンピュータにもたらす第１のコンピュータリーダブルプログラム手段と、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成することをコンピュータにもたらす第２のコンピュータリーダブルプログラム手段と、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成することをコンピュータにもたらす第３のコンピュータリーダブルプログラム手段と、前記第２のコンピュータリーダブルプログラム手段に従って前記コンピュータによって生成される前記第１の二次元画像データ全体の水平移動を制御することをコンピュータにもたらす第４のコンピュータリーダブルプログラム手段と、前記第４のコンピュータリーダブルプログラム手段に従って前記コンピュータによって制御される水平移動の両とは異なる移動量で前記第３のコンピュータリーダブルプログラム手段に従って前記コンピュータによって生成される前記第２の二次元画像データ全体の水平移動を制御することをコンピュータにもたらす第５のコンピュータリーダブルプログラム手段とを具備して成ることを特徴とする立体画像を生成する処理を実行するために収録されたコンピュータリーダブルプログラムコード手段を有するコンピュータリーダブル記憶媒体（付記項２６）。
【００９２】
立体画像を生成する処理を実行するコンピュータシステムにおいて、 複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶する記憶し、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成し、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成し、前記複数のオブジェクトの中から任意に選択した特定オブジェクトの、前記第１および第２の二次元画像データの中心からの水平方向の変位量の差がほぼ一定になるように、前記第１および第２の二次元画像データのうち少なくともいずれか一方の二次元画像データ全体の水平移動を制御することを特徴とする前記立体画像を生成する方法（付記項２７）。
【００９３】
左側視点および右側視点の動画像を生成する処理を実行するコンピュータシステムにおいて、前記左側視点および右側視点の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を視差を有するように描画し、前記描画手段によって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記左側視点および右側視点の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像の水平移動を制御し、前記描画手段によって描画される前記特定の１つの像の大きさの変化に応じて、前記左側視点および右側視点の動画像内の他の像を前記特定の１つの像に対して水平移動を制御することを特徴とする前記左側視点および右側視点の動画像を生成する方法（付記項２８）。
【００９４】
互いに視点の異なる第１および第２の動画像を生成する処理を実行するコンピュータシステムにおいて、前記第１および第２の動画像内に夫々、少なくとも１つの時間的に大きさの変化する像を含む複数の像を互いに視差を有するように描画し、前記描画手段によって描画される前記時間的に大きさの変化する像の特定の１つの像の、前記第１および第２の動画像の中心からの水平方向の変位量の差がほぼ一定になるように、該特定の１つの像を画像制御することにより、立体観察時の前記特定の１つの像の輻輳による距離を固定し、前記第１および第２の動画像内の他の像の、前記第１および第２の動画像の中心からの水平方向の変位量の差が変化するように該他の像を画像制御することを特徴とする前記互いに視点の異なる第１および第２の動画像を生成する方法（付記項２９）。
【００９５】
立体画像を生成する処理を実行するコンピュータシステムにおいて、複数のオブジェクトの三次元形状データと、前記複数のオブジェクトの三次元座標内の初期位置データと、前記複数のオブジェクトの三次元座標内の運動データと、前記三次元座標内の第１および第２の視点の位置データとを記憶し、前記三次元座標内の複数のオブジェクトを前記第１の視点から描画した第１の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成し、前記三次元座標内の複数のオブジェクトを前記第２の視点から描画した第２の二次元画像データを、前記記憶手段により記憶された各データに基づいて生成し、前記第１の二次元画像データ全体の水平移動を制御し、前記第１の二次元画像データ全体の水平移動の量とは異なる移動量で前記第２の二次元画像データ全体の水平移動を制御することを特徴とする前記立体画像を制御する方法（付記項３０）。
【図面の簡単な説明】
【図１】（ａ）〜（ｃ）は本発明の立体画像生成装置により生成される画像を例示する図である。
【図２】図１（ａ）〜（ｃ）の画像を観察するときの画像内の各オブジェクトの見え方を説明するための図である。
【図３】本発明の立体画像生成装置により生成される画像内の特定オブジェクトの配置状態を説明するための図である。
【図４】本発明の立体画像生成装置により画像を生成する際の、仮想三次元空間内のオブジェクトおよび左右仮想カメラの配置状態を例示する図である。
【図５】輻輳−調節の対応関係および許容範囲を説明するための図である
【図６】本発明の第１実施形態の立体画像生成装置の全体構成を示す図である。
【図７】第１実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図８】（ａ），（ｂ）は第１実施形態において生成される画像を例示する図である。
【図９】第１実施形態において生成した立体画像の観察例を説明するための図である。
【図１０】第１実施形態において画像を生成する際の、仮想三次元空間内のオブジェクトおよび左右仮想カメラの配置状態を例示する図である。
【図１１】（ａ）〜（ｃ）は第１実施形態の立体画像生成装置により生成される画像を例示する図である。
【図１２】第１実施形態において画像を生成する際の、仮想三次元空間内のオブジェクトおよび左右仮想カメラの配置状態の他の例を示す図である。
【図１３】（ａ）〜（ｃ）は第１実施形態の立体画像生成装置により生成される画像の他の例を示す図である。
【図１４】図１３（ａ）〜（ｃ）の画像を観察するときの画像内の各オブジェクトの見え方を説明するための図である。
【図１５】（ａ）〜（ｃ）は第１実施形態の立体画像生成装置により生成される画像内の特定オブジェクトの配置状態を説明するための図である。
【図１６】（ａ）〜（ｄ）は本発明の第２実施形態における立体画像生成処理により生成される画像を例示する図である。
【図１７】本発明の第３実施形態における立体画像生成処理により生成される画像を、仮想三次元空間内のオブジェクトと左右仮想カメラとの位置関係に基づいて説明するための図である。
【図１８】第３実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図１９】本発明の第４実施形態における立体画像生成処理の原理を説明するための図である。
【図２０】（ａ）、（ｂ）は夫々、第４実施形態および従来例において画像を観察するときの画像内の各オブジェクトの見え方を説明するための図である。
【図２１】第４実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図２２】第５実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図２３】第６実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図２４】本発明の第７実施形態の立体画像生成装置の全体構成を示す図である。
【図２５】第８実施形態において処理装置が行う立体画像生成処理を示すフローチャートである。
【図２６】第８実施形態における特定オブジェクトの自動設定の設定条件を説明するための図である。
【図２７】従来例における立体画像生成処理を示すフローチャートである。
【図２８】画像を生成する際の、仮想三次元空間内のオブジェクトおよび左右仮想カメラの配置状態を例示する図である。
【図２９】（ａ）〜（ｃ）は従来例により生成される画像を例示する図である。
【図３０】図２９（ａ）〜（ｃ）の画像を観察するときの画像内の各オブジェクトの見え方を説明するための図である。
【図３１】（ａ）〜（ｃ）は、図１０の設定を用いて上記従来従来例により生成される画像を例示する図である。
【図３２】（ａ）〜（ｃ）は、図１２の設定を用いて上記従来従来例により生成される画像を例示する図である。
【図３３】図３２（ａ）〜（ｃ）の画像を観察するときの画像内の各オブジェクトの見え方を説明するための図である。
【図３４】第１実施形態において生成した立体画像の観察例を説明するための図である。
【符号の説明】
１ 仮想三次元空間
２ 特定オブジェクト（ターゲットオブジェクト）
３ オブジェクト
４Ｌ，４Ｒ 左右仮想カメラ
１１ 処理装置
１１ａ 内部記憶装置
１２ 入力装置
１３ 表示装置
１４ 外部記憶装置
１５ 録画装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic image generating apparatus that generates a stereoscopic image that is easy to see for an observer.
[0002]
[Prior art]
As a conventional technique for generating a stereoscopic image using a computer, for example, a plurality of objects (objects) arranged in a virtual three-dimensional space are used by left and right virtual cameras arranged in the virtual three-dimensional space. There is a method for generating a captured two-dimensional image. According to this method, left and right two-dimensional images with parallax can be obtained. In addition, when creating a stereoscopic moving image, the object is moved over time with respect to the left and right virtual cameras fixed in the virtual three-dimensional space, or the left and right virtual cameras for a plurality of fixed objects. Are moved over time to generate a plurality of images for composing a moving image.
[0003]
The conventional image creation method will be described with reference to the flowchart of FIG. In steps 101 to 103 in FIG. 27, shape data, initial position data, and temporal motion data (motion data) of a plurality of objects are input and stored in an external storage device. In the next step 104, position data, field angle data, and intersection angle (posture) data of the left and right virtual cameras are input and stored in the external storage device. In the next steps 105 to 106, left and right two-dimensional image generation (rendering) for each frame is performed for all frames based on the data stored in the above steps 101 to 104.
[0004]
By the processing in steps 101 to 106, for example, the sphere 2 and the triangular pyramid 3 as objects and the left and right virtual cameras 4L and 4R are arranged in the virtual three-dimensional space 1 as shown in FIG. As shown in FIG. 29, when set to approach toward the left and right virtual cameras 4L and 4R, the sphere 2 increases as it approaches and moves to the right in the left image and moves to the left in the right image. A left image sequence and a right image sequence as shown in a) to (c) are generated. The generated left image sequence and right image sequence are read out in steps 107 and 108, respectively, and then stored in the external storage device, for example, in the order of FIGS. 29 (a), (b), and (c). Is remembered. Thereafter, the left image sequence and the right image sequence are recorded on a recording medium such as a video tape using an image recording device such as a video deck.
[0005]
The stereoscopic image generated as described above is observed by a stereoscopic display. A head-mounted image display device (HMD), which is an example of a stereoscopic display used for observing a stereoscopic image, is a type of binocular stereoscopic display, and includes a left and right display element and left and right eyepiece optics in front of the left and right eyeballs of an observer, respectively. A system is arranged so that a left eye image can be presented to the left eyeball and a right eye image can be presented to the right eyeball for stereoscopic viewing.
[0006]
[Problems to be solved by the invention]
For example, FIG. 30 shows how each object in the image looks when the image sequence shown in FIGS. 29A to 29C is observed in this order by, for example, an HMD. That is, it appears that the sphere 2 in FIG. 30 moves in the direction of the illustrated arrow as time passes and approaches the eyeball side, in other words, pops out. However, since the viewing distance of the image is determined by the eyepiece optical system of the HMD, the focus adjustment action of the observer's eyeball is fixed. That is, the viewing distance and the distance due to convergence do not match for the sphere 2 in the image. This phenomenon occurs not only in the HMD but also in various 3D televisions such as the shutter switching method and the lenticular method. The viewing distance of these types of stereoscopic televisions is the distance from a display device such as a CRT to the observer's eyeball. In the case of the HMD, the distance is from the virtual image plane formed by the eyepiece optical system to the eyeball.
Thus, when viewing an image with a large change in the projection amount when the viewing distance and the distance due to convergence do not match during stereoscopic image observation, the image becomes unnatural and causes eye fatigue of the observer. May occur. On the other hand, if an image with a small change in the pop-out amount is generated in order to solve this problem, the impact of the stereoscopic image is weakened.
[0007]
In order to solve the above problem, Japanese Patent Publication No. 6-85590 proposes a technique for changing the viewing distance according to the image by mechanically driving the eyepiece during stereoscopic image observation by the HMD. In this technique, since it is necessary to add a device for “mechanically driving the eyepiece” to the HMD, there arises a problem that cost increases cannot be avoided.
[0008]
The present invention does not require the addition of a device as in Japanese Patent Publication No. 6-85590, and allows a stereoscopic effect to be sufficiently felt while reducing a change in the amount of protrusion of a specific object in the image. Is a stereoscopic image generation device that can generate a stereoscopic image using a computer or the like, and can provide a more natural stereoscopic effect by substantially matching the viewing distance and the distance due to convergence for a specific object in the image An object is to provide a generation device.
[0009]
[Means and Actions for Solving the Problems]
For this purpose, the stereoscopic image generating apparatus according to claim 1 of the present invention includes three-dimensional shape data of a plurality of objects, initial position data in three-dimensional coordinates of the plurality of objects, and three-dimensional data of the plurality of objects. Storage means for storing movement data in coordinates and position data of first and second viewpoints in the three-dimensional coordinates;
First two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint is based on each data stored in the storage means. As left image Based on each data memorize | stored by the said 1st drawing means to produce | generate and the 2nd two-dimensional image data which drew the several object in the said three-dimensional coordinate from the said 2nd viewpoint As the right image Second drawing means to be generated and a specific object arbitrarily selected from the plurality of objects Concerning The first 1's Generated by drawing means The difference between the horizontal displacement amount from the center position of the left image at the first timing and the horizontal displacement amount from the center position of the right image generated by the second drawing means, and the first timing. The amount of horizontal displacement from the center position of the left image at the second timing after the elapse of time and the center position of the right image generated by the second drawing means Horizontal displacement from When Horizontal movement of the entire two-dimensional image data of at least one of the first and second two-dimensional image data so that the difference between them is substantially constant amount Two-dimensional image data control means for controlling Moving image data generating means for generating left and right images controlled by the two-dimensional image data control means as data that can be displayed as moving images observed so that the plurality of objects move relative to each other in the depth direction; It is characterized by comprising.
[0010]
The stereoscopic image generating apparatus according to claim 2 of the present invention is a stereoscopic image generating apparatus that generates a moving image of the left viewpoint and the right viewpoint, respectively, in the moving image of the left viewpoint and the right viewpoint, respectively. Between the first timing and the second timing that has elapsed from the first timing Change in size At least one specific Multiple images including images Respectively To have parallax On the left and right viewpoint video A drawing means for drawing, and the drawing means drawn by the drawing means; Between the first timing and the second timing Change in size Said Of one particular image, The difference between the horizontal displacement from the center position of the left viewpoint image at the first timing and the horizontal displacement from the center position of the right viewpoint image, and the left viewpoint image at the second timing The amount of horizontal displacement from the center position of the image and the center position of the right viewpoint image Horizontal displacement When Horizontal movement of the specific image so that the difference between amount And a first image control means for controlling the size of the specific one image drawn by the drawing means. In response to changes , Other images in the left and right viewpoint video of Pair with the specific one image At the first timing and the second timing Horizontal movement amount Second image control means for controlling The plurality of objects on the left and right viewpoint images drawn by the drawing means and controlled by the first and second image control means are observed as moving images relative to each other in the depth direction. It is characterized by this.
[0011]
The stereoscopic image generating apparatus according to claim 3 of the present invention is a stereoscopic image generating apparatus that generates the first and second moving images having different viewpoints, and each of the first and second moving images includes the first and second moving images. Between the first timing and the second timing that has elapsed from the first timing Change in size At least one specific Multiple images including images Respectively To have parallax with each other On the first and second moving images A drawing means for drawing, and the drawing means drawn by the drawing means; Between the first timing and the second timing Change in size The specific Of the statue The difference between the horizontal displacement from the center position of the left viewpoint image at the first timing and the horizontal displacement from the center position of the right viewpoint image, and the left viewpoint image at the second timing The amount of horizontal displacement from the center position of the image and the center position of the right viewpoint image Horizontal displacement When Difference Is one The particular image to be constant Control the display position in the video The first image control means for fixing the distance due to the convergence of the specific one image during stereoscopic observation, and other images in the first and second moving images, The difference between the horizontal displacement from the center position of the left viewpoint image at the first timing and the horizontal displacement from the center position of the right viewpoint image, and the left viewpoint image at the second timing The amount of horizontal displacement from the center position of the image and the center position of the right viewpoint image Horizontal displacement from When Is the difference The distance due to the congestion changes corresponding to the amount of change in the size of the specific image. The other image to change Control the display position in the video Second image control means for The plurality of objects on the first and second moving images controlled by the first and second image control means are observed as moving images relative to each other in the depth direction. It is characterized by this.
[0012]
According to a fourth aspect of the present invention, there is provided a stereoscopic image generating apparatus according to the present invention, wherein the three-dimensional shape data of a plurality of objects, the initial position data in the three-dimensional coordinates of the plurality of objects, Storage means for storing motion data and position data of the first and second viewpoints in the three-dimensional coordinates, and a first second image in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint. Dimensional image data based on each data stored by the storage means As left image Based on each data memorize | stored by the said 1st drawing means to produce | generate and the 2nd two-dimensional image data which drew the several object in the said three-dimensional coordinate from the said 2nd viewpoint As the right image A second drawing means for generating; A horizontal displacement amount of a specific object arbitrarily selected from the plurality of objects from a center position of a left image generated by the first drawing unit and a right generated by the second drawing unit At least one of the first and second two-dimensional image data so that the difference from the horizontal displacement from the center position of the image becomes substantially constant over time. Horizontal movement of entire 2D image data amount Control Two Dimensional image data control means and Moving image data generating means for generating left and right images controlled by the two-dimensional image data control means as data that can be displayed as moving images observed so that the plurality of objects move relative to each other in the depth direction; It is characterized by comprising.
[0013]
In the present invention, as shown in FIGS. 1A to 1C, the position where the sphere 2 is displayed is hardly changed even when the sphere 2 is moved in the perspective direction with respect to the eyeball. A stereoscopic image generating apparatus capable of generating an image sequence and a right image sequence is provided. When the image sequences of FIGS. 1A to 1C are displayed in this order, for example, by an HMD, the three-dimensional space presented by the HMD is, for example, as shown in FIG. That is, the size of the sphere 2 increases with time, but the distance of the sphere 2 to the eyeball (the distance due to convergence) does not change. On the other hand, although the size of the triangular pyramid 3 does not change, the triangle pyramid 3 moves far away from the eyeball as time passes. That is, the distance between the sphere 2 and the triangular pyramid 3 increases with time. As a result, the observer feels that the sphere 2 appears to jump out over time as in the conventional example of FIG.
[0014]
In the above, it is utilized that the human eyeball is sensitive to changes in relative distance, but not so sensitive to detection of absolute distance. That is, according to an experiment conducted by the inventor, when viewing a stereoscopic image in which only one object whose distance due to convergence is changed in a black background is viewed, the distance seems to change. However, it has been found that when a plurality of objects that move differently in a stereoscopic image are viewed simultaneously, a stereoscopic effect is felt. That is, a change in the distance between a certain object can be recognized, but a change in the distance of a single object is difficult to recognize.
1A to 1C of the present invention, the distance between the sphere 2 and the triangular pyramid 3 changes, and the size of the sphere 2 changes, but the size of the triangular pyramid 3 changes. By not doing so, the observer looks as if the sphere 2 approaches the eyeball side and the triangular pyramid 3 does not change its position. Therefore, the pop-out amount of the sphere 3 hardly changes and an image with a three-dimensional feeling can be presented.
[0015]
Furthermore, if the distance L due to the convergence of the sphere 2 in FIG. 2 is made to coincide with the viewing distance of the eyepiece, the viewing distance and the distance due to the convergence always coincide with each other, which is more preferable. An object that fixes the distance due to congestion in this way is hereinafter referred to as a target object.
Hereinafter, the conditions of the actually generated stereoscopic image are obtained. In order to make the distance L due to the convergence of the target object during stereoscopic observation equal to the viewing distance LBase, in FIG. 3, the horizontal displacement x1 from the center of the left image of the sphere 2 and the center of the right image of the sphere 2 The horizontal displacement amount x2 must satisfy the following condition.
[Expression 1]

[0016]
FIG. 4 is used to derive the above equations (1) and (2). In FIG. 4, d indicates the distance from the middle point O to the left and right viewpoints of the left viewpoint of the left virtual camera 4L and the right viewpoint of the right virtual camera 4R, the right viewpoint side is + d, and the left viewpoint side is -d. Is set to LBase represents a viewing distance, θ represents a horizontal half field angle of the left and right virtual cameras, and H represents an arbitrary horizontal coordinate on a line separated by the distance LBase. Further, L obj described later indicates a distance in the depth direction (distance due to convergence) from the center of the target object to the left and right viewpoints. Equation (3) is derived from the above equations (1) and (2).
[Expression 2]

Convergence occurs when the amount of horizontal displacement x1 from the center of the left image of the sphere 2 that is the object differs from the amount of horizontal displacement x2 of the sphere 2 from the center of the right image when observing the stereoscopic image. When the difference | x1−x2 | in the horizontal displacement amount of the sphere 2 satisfies the expression (3), the distance due to the convergence of the sphere 2 is LBase.
[0017]
Therefore, if the left and right images satisfying the expression (3) are generated, it is possible to sufficiently feel the stereoscopic effect while reducing the change in the projection amount of the target object in the image, and further, the target object in the left and right images. If the viewing distance and the distance due to convergence are substantially the same, a more natural stereoscopic effect can be given.
[0018]
Next, a condition for allowing an amount of protrusion of the target object sphere 2 up to ± 2 diopters around the viewing distance LBase is obtained. This can be derived from the “congestion-adjustment correspondence and tolerance” shown in FIG. FIG. 5 shows “O plus E No.73, New Technology Communications, pp. 98-109, December 1985, physiological optics 15, 3D display, Toyohiko Hatada (Tokyo Polytechnic University, Faculty of Engineering)” FIG. 138 on page 103 is cited, in which the horizontal axis indicates convergence and the vertical and horizontal directions indicate adjustment (diopter). As can be seen from FIG. 5, when the convergence is within ± 2 diopters of the adjustment value, it is possible to cause convergence that is easy to be fused.
[0019]
In this case, a condition to be satisfied by the difference | x1-x2 | in the horizontal displacement amount of the sphere 2 is obtained. Differentiating the above equation (3) with a diopter,
[Equation 3]

(However, the unit of distance is mm, and so on). By multiplying the right side of the equation (4) by 4 (diopter), the amount of change | x1 -x2 | in the horizontal displacement amount of the sphere 2 when 4 diopters change is obtained. Therefore, when the change amount of the pop-out amount of the sphere 2 is, for example, within 4 diopters, the following equation should be satisfied.
[Expression 4]

That is, it can be understood that the expression (5) should be satisfied in order to keep the amount of change in the pop-out amount of the sphere 2 as the target object within 4 diopters.
[0020]
On the other hand, in order for the amount of projection of the sphere 2 as the target object to be within ± 2 diopters with the viewing distance LBase as the center, the following equation (6) should be satisfied.
[Equation 5]

Further, when the viewing distance LBase> 500, the above expression (6) may be satisfied, or the following expression (6 ′) may be satisfied.
[Formula 6]

In this case, for example, if the viewing distance LBase = 1000 (mm), the pop-out amount of the sphere 2 as the target object is suppressed to a range of 500 (mm) to 2000 (mm).
More preferably, the protrusion amount of the sphere 2 as the target object is allowed up to ± 1 diopter with the viewing distance LBase as the center. In this case, as can be seen from FIG. 5, when the congestion is within ± 1 diopter of the adjustment value, it is possible to generate the convergence that can be fused in a short time presentation. Therefore, when the change amount of the pop-out amount of the sphere 2 is, for example, within 2 diopters, the following equation should be satisfied.
[Expression 7]

That is, it can be seen that the expression (7) should be satisfied in order to keep the change amount of the pop-out amount of the sphere 2 as the target object within 2 diopters.
On the other hand, in order for the amount of projection of the sphere 2 as the target object to be within ± 1 diopter with the viewing distance LBase as the center, the following equation (8) should be satisfied.
[Equation 8]

Further, when the viewing distance LBase> 1000, the above equation (8) may be satisfied, or the following equation (8 ′) may be satisfied.
[Equation 9]

[0021]
As described above, the conditions of the stereoscopic image that can sufficiently feel the stereoscopic effect while reducing the change in the pop-out amount of the target object, which is the object that the observer wants to watch, have been shown.
According to the present invention, it is possible to reduce the change in the pop-out amount of the object that the observer wants to watch while greatly changing the distance between the object that the observer wants to watch and the other object. it can. Therefore, if the change in the pop-out amount of the object that the observer wants to watch is reduced as in the conventional example of FIGS. 29 (a) to 29 (c), the change in the distance to the other objects is reduced. There will be no malfunction.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 6 is a diagram showing an overall configuration of the stereoscopic image generating apparatus according to the first embodiment of the present invention. The stereoscopic image generating apparatus according to the present embodiment includes a processing device 11 and peripheral devices connected to the processing device 11. The peripheral devices include an input device 12 such as a keyboard and a mouse for an operator to input various data, an operator Includes a display device 13 for monitoring input data and generated images, an external storage device 14 for storing input data, and a recording device 15 for recording the generated moving images. Become. The processing device 11 includes a CPU (not shown) for performing calculations for generating a CG (computer graphics) image and processing each peripheral device, and an internal storage device for temporarily storing data. 11a.
[0023]
This embodiment is an example of shifting after generating left and right images (pictures). After generating normal left and right images, the target object display position is fixed so that the distance due to the congestion of the target object is fixed. Image editing is performed so that is fixed at a predetermined position.
[0024]
FIG. 7 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the first embodiment. In FIG. 7, first, in steps 51 to 53, shape data, initial position data, and temporal motion data (motion data) of a plurality of objects are input by the input device 12 such as a keyboard and stored in the external storage device 14. Let In the next step 54, the position data, the angle of view data, and the intersection angle (posture) data of the left and right virtual cameras are input and stored in the external storage device 14. At that time, the positions of the left and right virtual cameras are set so that the distance between them is the observer's eye width (for example, 65 mm), and the angle of view and crossing angle are the angle of view and crossing of the eyepiece optical system of the HMD used for observation. It is desirable to set it equal to the corner.
[0025]
In the next step 55, the target object (object that the CG producer wants the viewer to pay attention to) is selected and set from the plurality of objects and stored in the external storage device 14 (instead, specified on the object). May be selected and set). With respect to the target object selected in step 55, the viewing distance and the distance due to the convergence are matched by the following processing, and the following description will be developed assuming that the target object is the sphere 2. In the next step 56, viewing distance data (for example, 1000 mm) of the eyepiece optical system of the HMD to be used is input and stored in the external storage device 14.
[0026]
In the next step 57, rendering is performed based on the data stored in the above steps 51 to 56, and right and left two-dimensional images (pictures) of the current frame photographed by the left and right virtual cameras are generated. The data is temporarily stored in the storage device 11a. This rendering is performed in the same manner as the conventional example shown in FIGS. 29A to 29C. For example, as shown in FIG. 28, the sphere 2 and the triangular pyramid 3 which are objects arranged in the virtual three-dimensional space 1 are used. Is generated with the left and right virtual cameras 4L and 4R arranged in the same space, and this rendering generates, for example, an image as shown in FIG. 8A. . Each of the left and right images generated by the rendering changes in the image, at least one object whose size changes with the passage of time and one or more other objects (an object whose size changes with the passage of time). It is necessary to be drawn so as to have parallax, and two or more objects are included in the image.
[0027]
In the next step 58, the distance Lobj (see FIG. 4) from the sphere 2 as the target object in the current frame to the viewpoint of the left and right virtual cameras is calculated based on the data stored in the above steps 51 to 57, and is used. In the next step 59, a shift amount S for moving (shifting) the entire left and right images in the horizontal direction from the image center is calculated in units of pixels by the following equation.
[Expression 10]

Here, d is the distance from the midpoint of the viewpoint of the left and right virtual cameras (see FIG. 4) to the left and right viewpoints (the right viewpoint side is positive and the left viewpoint side is negative), and Lobj is the left and right viewpoints from the center of the target object. Distance in the depth direction (distance due to convergence), LBase is a viewing distance determined by the eyepiece optical system of the HMD, θ is a half field angle in the horizontal direction of the camera, and PH-half is half of the number of horizontal pixels of one image It is. When the shift amount S is positive, it represents a rightward shift of the entire image, and when it is negative, it represents a leftward shift.
[0028]
Specific examples of the shift amount S are shown below. For example, when d = 32 (mm), LBase = 1000 (mm), θ = 24.2, and PH-half = 320, when Lobj = 500 (mm), 23 pixels for the right image The left image is shifted to the right by 23 pixels, and the left image is shifted to the left by 23 pixels. When Lobj = 2000 (mm), the right image is shifted to the left by 10 pixels, and the left image is shifted to the right by 10 pixels.
[0029]
Here, the matching accuracy between the viewing distance LBase and the distance Lobj due to the convergence is allowed up to a deviation within ± 2 diopters. This can be derived from the “congestion-adjustment correspondence and allowable range” shown in FIG. 5 described above. As can be seen from FIG. 5, when the convergence is within ± 2 diopters of the adjustment value, it is possible to cause convergence that is easy to be fused. Therefore, as the condition,
[Expression 11]

Satisfying is sufficient. In the above formula, the unit of d, Lobj, and LBase is mm. When LBase> 500, the above equation (10) may be satisfied, or the following equation (11) may be satisfied.
[Expression 12]

More preferably, the matching accuracy between the viewing distance LBase and the distance L obj due to convergence is allowed up to a deviation within ± 1 diopter. In this case, as can be seen from FIG. 5, it is possible to cause congestion that can be fused in a short time presentation. As the condition,
[Formula 13]

Should be satisfied. Further, when the viewing distance LBase> 1000, the above equation (12) may be satisfied, or the following equation (13) may be satisfied.
[Expression 14]

[0030]
In FIG. 7, in the next step 60, the left and right images are generated by shifting the image of FIG. 8A in the horizontal direction by the shift amount S obtained in step 59. For example, as shown in FIG. 8B, the new left and right images are obtained by shifting the entire image shown in FIG. 8A to the left, resulting in a black display of a blank portion (right end). . The left and right images after the shift are stored in the external storage device 14.
[0031]
In the next step 61, it is determined whether or not the currently processed frame is the final frame, and the loop of NO-57-58-59-60-61 in step 61 is repeated until the processing of the final frame is completed. In the next step 62, the left image sequence is read from the external storage device 14, and the left image sequence is recorded as a moving image for the left eye on a recording medium such as a video tape using an image recording device such as a video deck. Further, in the next step 63, the right image sequence is read from the external storage device 14, and the right image sequence is recorded as a moving image for the right eye on a recording medium such as a video tape using an image recording device such as a video deck.
When the above series of processing ends, the left and right moving image sequences are generated as a result. Since the left and right images of this moving image sequence are left and right images shifted in the horizontal direction by a shift amount S that satisfies the above-mentioned formulas (9), (10), or (11), as a result, It is possible to display on the HMD or the like as an image satisfying the expressions 3), 5), 6) or 6 '). If the shift is performed in the horizontal direction by a shift amount S that satisfies the expressions (12) and (13), an image satisfying the expressions (7), (8), or (8 ′) is displayed on the HMD or the like. Can do.
[0032]
An example of the left and right images is shown in FIGS. These left and right images are drawn so that the sphere 2, which is an object whose size changes over time, and the triangular pyramid 3, an object whose size does not change over time, have parallax in the image. The horizontal relative positional relationship between the sphere 2 and the triangular pyramid 3 changes with the passage of time between the images in FIGS. 1A, 1B, and 1C. Yes. Here, when the change from (a) to (b) and the change from (b) to (c) in FIG. 1 is analyzed, the sphere 2 has a horizontal displacement amount from the center of the left image of the sphere 2. Shifted in the horizontal direction so that the difference from the horizontal displacement from the center of the right image (| x1 -x2 | in FIG. 3) becomes substantially constant (thereby, the convergence of the sphere 2 during stereoscopic observation) The distance by is fixed). On the other hand, the triangular pyramid 3 is shifted in the horizontal direction with respect to the sphere 2 according to the change in the size of the sphere 2, and the triangular pyramid 3 is displaced in the horizontal direction from the center of the left image of the triangular pyramid 3. The amount is shifted in the horizontal direction so that the difference between the amount and the amount of horizontal displacement from the center of the right image changes.
[0033]
Next, an example of observation of a stereoscopic image generated as described above will be described with reference to FIG. In this embodiment, the stereoscopic image is observed with the HMD 21. First, the created video tapes on which the left and right moving images are recorded are respectively inserted into the left image reproduction device 22L and the right image reproduction device 22R for reproduction. At this time, the left and right image reproduction devices 22L and 22R reproduce the images in synchronization by supplying a synchronization signal to each other. The left image reproduction device 22L receives the left image signal and the left audio signal, and the right image reproduction device 22R receives the image. The right image signal and the right audio signal are input to the HMD control box 23.
The HMD control box 23 supplies the left image signal, the left audio signal, the right image signal, and the right audio signal to the HMD 21 and supplies power to the drive circuit of the display element (LCD) of the HMD 21, and also blocks / interrupts the external image. A liquid crystal shutter drive signal for driving a liquid crystal shutter for switching transmission is supplied. The HMD control box 23 can also adjust the volume of the sound of headphones provided in the HMD 21.
[0034]
In the HMD 21, the left image signal is displayed on the left LCD, enlarged by the left eyepiece optical system, and projected onto the left eyeball of the observer. The right image signal is displayed on the right LCD, magnified by the right eyepiece optical system, and projected onto the right eyeball of the observer. Here, the viewing distance of the left and right eyepiece optical system of the HMD 21 is configured to be the same as the viewing distance set in step 56 of the flowchart of FIG.
[0035]
According to the stereoscopic image generating apparatus of the present embodiment, for the target object that the CG creator wants to present set in step 55 of the flowchart of FIG. 7, the distance due to convergence always matches the viewing distance. When gazing at the target object, the focus adjustment action of the observer's eyeballs works, so that the focus adjustment position and the position due to binocular convergence always coincide. This will be described below using a specific example of left and right images.
[0036]
As shown in FIG. 28, the sphere 2 and the triangular pyramid 3 as objects and the left and right virtual cameras 4L and 4R are arranged in the virtual three-dimensional space 1, and the left and right virtual cameras 4L as shown by arrows only. , 4R, the left and right images to be generated are as shown in FIGS. 1 (a) to 1 (c), for example. When the left and right images are displayed on the HMD 21 in the order of (a), (b), and (c), the three-dimensional space presented by the HMD 21 is, for example, as shown in FIG. That is, the sphere 2 increases with time, but the distance to the eyeball (the distance due to convergence) does not change over time, and the display position is fixed. On the other hand, the size of the triangular pyramid 3 does not change with the passage of time, but moves away from the eyeball with the passage of time as shown by the arrows in the figure. That is, as in the conventional example of FIG. 30, the distance between the sphere 2 and the triangular pyramid 3 increases with time, but the distance of the sphere 2 to the eyeball does not change. At this time, due to the above-described human visual action that “the human eyeball is sensitive to changes in relative distance but not so sensitive to detection of absolute distance”, the observer feels as if the sphere 2 is the eyeball. Approaching the side, it appears that the triangular pyramid 3 has not changed position. Therefore, it is possible to present a three-dimensional image without changing the amount of protrusion of the sphere 3.
[0037]
Further, as shown in FIG. 10, a sphere 2 and a triangular pyramid 3 that are objects and left and right virtual cameras 4L and 4R are arranged in the virtual three-dimensional space 1, and the sphere 2 is a left and right virtual camera as indicated by arrows. When approaching 4L and 4R and the triangular pyramid 3 is set to move away from the left and right virtual cameras 4L and 4R as indicated by arrows, the generated left and right images are shown in FIGS. 11A to 11C, for example. As shown. When the left and right images are displayed by the HMD 21 in the order of (a), (b), and (c), the sphere 2 increases with time, but the distance to the eyeball (distance due to convergence) changes with time. Without displaying, the display position is fixed. In this example, the convergence angle of the sphere 2 is also fixed. On the other hand, the triangular pyramid 3 moves far away from the eyeball while becoming smaller with time. At this time, due to the above-described human visual action, the observer looks as if the sphere 2 approaches the eyeball side and the triangular pyramid 3 moves away from the eyeball. Therefore, it is possible to present a three-dimensional image without changing the amount of protrusion of the sphere 3.
[0038]
Note that the left and right images generated by the conventional example using the settings of FIG. 10 are as shown in FIGS. 31 (a) to 31 (c), for example. When the left and right images are displayed by the HMD 21 in the order of (a), (b), and (c), the sphere 2 approaches the eyeball side and the triangular pyramid 3 appears to move away from the eyeball as in the present embodiment. 2 is different from the present embodiment in that the display position 2 is not fixed and moves to the eyeball side.
[0039]
In addition, as shown in FIG. 12, the sphere 2 and the triangular pyramid 3 that are objects and the left and right virtual cameras 4L and 4R are arranged in the virtual three-dimensional space 1, and only the sphere 2 is indicated by the left and right virtual as indicated by arrows. When the camera 4L and 4R are set so as to approach obliquely, left and right images to be generated are as shown in FIGS. 13A to 13C, for example. When the left and right images are displayed on the HMD 21 in the order of (a), (b), and (c), the three-dimensional space presented by the HMD 21 is, for example, as shown in FIG. That is, the sphere 2 becomes larger with the passage of time, and the distance to the eyeball (distance due to the convergence) hardly changes with the passage of time as shown by the arrow in the figure, and moves almost to the side. In this case, as shown in FIGS. 15A to 15C in which the images in FIGS. 13A to 13C are rearranged vertically, the position of the sphere 2 in each image has changed. The difference | x 1 −x 2 | between the horizontal displacement from the center of the left image of the sphere 2 and the horizontal displacement from the center of the right image is the range of the above equation (6) or (6 ′). It changes only in and becomes almost constant. On the other hand, the triangular pyramid 3 moves away from the eyeball over time, but the size does not change. At this time, due to the above-described human visual action, the observer looks as if the sphere 2 is approaching obliquely toward the eyeball side, and the triangular pyramid 3 does not change position. Therefore, it is possible to present a three-dimensional image without changing the amount of protrusion of the sphere 3.
[0040]
Note that the left and right images generated by the above conventional example using the settings of FIG. 12 are as shown in FIGS. 32 (a) to (c), for example. When the left and right images are displayed on the HMD 21 in the order of (a), (b), and (c), the three-dimensional space presented by the HMD 21 is as shown in FIG. 33, for example. That is, as in the present embodiment, the sphere 2 approaches the eyeball side and the triangular pyramid 3 does not appear to move, but as the image changes in the order of (a), (b), and (c), | x1 − The difference from this embodiment is that x2 | changes so as to increase.
[0041]
As described above, according to the present embodiment, it is possible to create a stereoscopic image in which the distance L obj is fixed due to the congestion of the target object. This stereoscopic image is more easily viewable because the distance Lobj and the viewing distance LBase due to the convergence are matched.
As an example of observation with the HMD 21, as illustrated in FIG. 34, a stereoscopic image generated by the processing device 11 may be directly observed with the HMD 21 without using the recording device 15.
At this time, the shifted image is output without being stored in step 60 in the flowchart of FIG.
[0042]
FIGS. 16A to 16D are diagrams illustrating images generated by the stereoscopic image generation processing according to the second embodiment of the present invention. In this embodiment, an image is generated with a camera angle of view larger than the HMD angle of view, and the image is shifted in the same manner as in the first embodiment, and then cut out by the HMD angle of view. In the present embodiment, the stereoscopic image generating apparatus in FIG. 6 is used as in the first embodiment.
[0043]
In the present embodiment, the processing apparatus performs the stereoscopic image generation process according to the flowchart of FIG. 7 as in the first embodiment, but part of the content is changed from the first embodiment. That is, in step 54 of the flowchart of FIG. 7, the angle of view of the left and right virtual cameras is made larger than the angle of view of the HMD eyepiece optical system. The image generated by the processing in step 54 is, for example, as shown in FIG. 16A, and the object is smaller than the image of the first embodiment (FIG. 8A) by increasing the angle of view.
The image in FIG. 16A is shifted in the same manner as in the first embodiment in step 60 in FIG. 7 to become the image in FIG. 16B. In step 60 in the present embodiment, the above-described shift is performed. After the processing, a clipping process for the image area of the field angle of the HMD eyepiece optical system as shown in FIG. 16C and an enlargement process as shown in FIG.
[0044]
According to the present embodiment, in addition to the operational effects of the first embodiment, there is an operational effect that allows the entire image to be displayed without displaying black at the edges of the image as in the first embodiment. It is done.
[0045]
FIG. 17 is a diagram for explaining an image generated by the stereoscopic image generation processing according to the third embodiment of the present invention based on the positional relationship between the object in the virtual three-dimensional space and the left and right virtual cameras. In this embodiment, as shown in FIG. 17, a cube 5 as a target object and left and right virtual cameras 4L and 4R are arranged in a virtual three-dimensional space 1, and the target object 5 is placed on the left and right virtual cameras 4L and 4R. When approaching, the distance from the target object 5 due to the congestion is always constant so that the gaze direction of the virtual cameras 4L and 4R follows the distance Lobj from the target object 5 to the viewpoint of the left and right virtual cameras. .
[0046]
That is, when the target object 5 is at the position of the coordinate P1, the gazing point of the left and right virtual cameras 4L and 4R is set to the coordinate P2. When the target object 5 approaches and is at the position of the coordinate P3, the gazing point of the left and right virtual cameras is also approached and set to the coordinate P4. In this way, by changing the gaze direction of the left and right virtual cameras 4L and 4R, the distance due to the congestion with respect to the target object 5 can be fixed. At this time, the gaze direction angle ψ of the left and right virtual cameras is an angle obtained by subtracting the fixed angle φ from the angle ω formed by the line connecting the left viewpoint and the right viewpoint with the target object 5 with respect to the lines of sight from the left viewpoint and the right viewpoint. (Ψ = ω−φ), and this ψ is expressed by the following equation.
[Expression 15]

Here, d indicates the distance from the midpoint O to the left and right viewpoints of the left viewpoint of the left virtual camera 4L and the right viewpoint of the right virtual camera 4R, and LBase indicates the viewing distance. In the equation (14), for example, when d = 32 and LBase = 1000, the fixed angle φ = 1.8 degrees.
[0047]
In the present embodiment, as in the first embodiment, the matching accuracy between the viewing distance and the distance due to convergence is set to be allowed up to a deviation within ± 2 diopters. At this time, the equation (14) is rewritten into the following equation.
[Expression 16]

It becomes. Note that the gaze direction of the left and right virtual cameras is calculated separately for each of the left and right. Here, the angle ω is expressed by the following equation.
[Expression 17]

More preferably, when the matching accuracy between the viewing distance and the distance due to convergence is set to be allowed within ± 1 diopter, the following expression is obtained.
[Formula 18]

[0048]
FIG. 18 is a flowchart showing a stereoscopic image generation process performed by the processing device in the third embodiment. Steps 51 to 56 are the same as those in FIG. 7 of the first embodiment, and a description thereof will be omitted (however, in this embodiment). Step 54 does not use an intersection angle).
In the next step 71, each data stored in the above steps 51 to 56 is read out, and the above formula (14), (15) or (15 ′) is calculated, and the gaze direction angle (left and right) of the left and right virtual cameras is calculated. Ψ representing the movement of the virtual camera in the gaze direction) is obtained, and the gaze direction angle data is stored in the external storage device 14.
In the next steps 72 and 73, normal rendering is performed over all the left and right frames as in the first embodiment, and the generated left and right images are stored in the external storage device 14 frame by frame. Thereafter, in steps 74 and 75, as in steps 62 and 63 of the first embodiment, the left and right image sequences are read from the external storage device 14, and the left and right image sequences are video tapes or the like using an image recording device such as a video deck. Are recorded as moving images for the left and right eyes.
[0049]
As a result of the series of processes described above, the distance due to the convergence of the target object (when the target object moves on a line segment parallel to the vertical bisector of the viewpoint of the left and right virtual cameras as shown in FIG. ) Can be created. Furthermore, since the distance due to the convergence and the viewing distance are matched, the image becomes easier to see.
According to the present embodiment, there is an advantage that the processing speed is increased by the amount that the image is not shifted as in the first embodiment and the second embodiment.
[0050]
FIG. 19 is a diagram for explaining the principle of stereoscopic image generation processing according to the fourth embodiment of the present invention. In the first to third embodiments, the left and right images are generated so that the amount of pop-out does not change regardless of the movement of the target object in the perspective direction. However, in this case, there is no background and only a single object moves. In the case of an image, only the size of the image changes, the depth direction does not change, and the stereoscopic effect may be impaired.
Therefore, in the present embodiment, a change limited to a narrow range is given to the pop-out amount of the target object. Furthermore, by setting the range to an area centered on the viewing distance, an image that is easier to see is generated.
[0051]
FIG. 19 shows 1000 / Lojj (hereinafter referred to as original congestion) that is a value obtained by multiplying the reciprocal of the distance in the depth direction from the target object to the virtual camera by 1000, and congestion 1000 / LTTag (hereinafter referred to as “shift”) after image conversion. , Post-conversion congestion). Here, when the original congestion changes in the range from the minimum value α to the maximum value β, the post-conversion congestion is proportional to the original congestion, but within ± 2 diopters centered on (1000 / viewing distance LBase). It changes in the range (shown by hatching in FIG. 19), and the change amount of the post-conversion congestion is 2γ (where 0 ≦ γ ≦ 2 and γ ≦ 1000 / LBase).
[0052]
At this time, since the distance in the depth direction of the sphere 2 that is the target object is converted as shown in FIG. 20A, the object whose viewing distance changes near the viewing distance LBase (diopter range of ± 2). You will see. In addition, since the relative distance between the object other than the target object (triangular pyramid) 3 and the target object 2 changes in the same manner as in the conventional example, the movements of both objects appear to be three-dimensional as in the conventional example. Become.
Note that, when a stereoscopic image is generated by the conventional method, as shown in FIG. 20B, the depth direction distance of the sphere that is the target object greatly changes from a long distance to a short distance. It will be a thing.
[0053]
The relationship between the original congestion and the post-conversion congestion described above is expressed by the following equation.
[Equation 19]

The shift amount S is determined by substituting 1 / LTTag obtained here into the following equation.
[Expression 20]

This equation (19) is obtained by replacing LBase of equation (9) with LTTag. Here, d indicates the distance from the middle point O of the left and right viewpoints of the left and right virtual cameras 4L and 4R to the left and right viewpoints, and is set so that the right viewpoint side is + d and the left viewpoint side is -d. Lobj represents the distance in the depth direction (distance due to convergence) from the center of the target object to the left and right viewpoints, θ represents the horizontal half field angle of the left and right virtual cameras, and PH-half represents the horizontal pixel of one image. Half of the number. When the shift amount S is positive, it represents a rightward shift of the entire image, and when it is negative, it represents a leftward shift.
[0054]
Specific examples of the shift amount S are shown below. For example, LBase = 1000, d = 32, θ = 24.2, PH-half = 320, γ = 1, LObj minimum value α = 0.25 (= 1000/4000), maximum value β = 4 (= 1000 / 250), according to the above equations (18) and (19), when Lobj = 500, the right image is shifted to the right by 25 pixels, and the left image is shifted to the left by 25 pixels. shift. When Lobj = 2000, the right image is shifted to the right by 8 pixels, and the left image is shifted to the left by 8 pixels.
[0055]
With respect to the above equation (19), a tolerance within the depth of focus of the eyeball can be allowed. In view of FIG. 5 described above, equation (19) is replaced with the following equation.
[Expression 21]

[0056]
Next, the stereoscopic image generation process of this embodiment will be described. FIG. 21 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the fourth embodiment. Steps 51 to 56 are the same as those in FIG.
In the next step 76, each data stored in the above steps 51 to 56 is read, and the distance from the target object to the viewpoint in all frames is calculated and stored in the external storage device 14. In the next step 77, α and β in the equation (12) are obtained from the maximum value and the minimum value of the distance from the target object to the viewpoint obtained by the processing in step 76, and stored in the external storage device 14. In the next step 78, the congestion change amount γ of the target object is input and stored in the external storage device 14.
The processing in the following steps 79 to 84 is the same as the processing in steps 57 and 59 to 63 in FIG. However, in the calculation of the shift amount S in step 80, the above equation (18), equation (19) or equation (20) is used.
[0057]
According to the present embodiment, as a result, it is possible to generate a three-dimensional image with which a three-dimensional effect can be sufficiently felt with a small change in the amount of protrusion of the target object using a computer. Furthermore, an image that is easier to see can be created by setting the range of change of the pop-out amount in the vicinity region with the viewing distance as the center.
[0058]
FIG. 22 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the fifth embodiment. FIG. 22 is obtained by adding a change in which step 70 is inserted between step 56 and step 71 with respect to the flowchart of FIG. 18 of the third embodiment. In this embodiment, the method of the fourth embodiment is applied to the third embodiment, and the change in distance due to the congestion of the original image is compressed in the region near the viewing distance, and the distance due to the congestion is changed. Thus, the gaze direction of the left and right virtual cameras is controlled. At this time, the gaze direction angle ψ of the left and right virtual cameras is an angle obtained by subtracting the fixed angle φ from the angle ω formed by the line segment connecting the left viewpoint and the right viewpoint to the target object with respect to the line of sight from the left viewpoint and the right viewpoint. (Ψ = ω−φ), and this angle ψ is changed according to the distance L obj to the target object.
[0059]
Therefore, first, LTTag is obtained by the equation (18) of the fourth embodiment. Next, LTTag is substituted into the following equation.
[Expression 22]

Here, as in the fourth embodiment, since a tolerance within the depth of focus of the eyeball is allowed, equation (21) is replaced with the following equation.
[Expression 23]

[0060]
In step 70 of the flowchart of FIG. 22 above, α and β in the equation (18) are calculated from the maximum and minimum values of the distance from the target object to the viewpoint in all frames calculated based on the data stored in steps 51 to 56. Is stored in the external storage device 14. In the next step 71, the gaze direction of the left and right virtual cameras is calculated in the same manner as in the fourth embodiment, and the above formula (21) is used to calculate the gaze direction. In addition, since the following steps 72-75 are the same as 3rd Embodiment, description is abbreviate | omitted.
[0061]
According to the present embodiment, as a result, it is possible to generate a three-dimensional image with which a three-dimensional effect can be sufficiently felt with a small change in the amount of protrusion of the target object using a computer. Furthermore, an image that is easier to see can be created by setting the range of change of the pop-out amount in the vicinity region with the viewing distance as the center. Further, there is an advantage that the processing speed is increased by the amount that the image is not shifted as in the fourth embodiment.
In the fourth and fifth embodiments, the relationship between the original congestion and the post-conversion congestion is assumed to be a proportional relationship as shown in FIG. 19, but the present invention is not limited to this. Also good.
[0062]
FIG. 23 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the sixth embodiment. In the present embodiment, the shift amount and the gaze direction are changed as the number of frames of the moving image advances, that is, as time elapses. In this method, an image is created by a normal stereoscopic image generation method similar to the conventional example in the first frame band (for example, the first 5 minutes) of a stereoscopic moving image, and as time elapses (for example, 10 minutes after 5 minutes). Later) A stereoscopic image is created by the method of the fourth embodiment or the fifth embodiment, and in the time zone after a certain frame (for example, after 10 minutes), the image is created by the method of the first embodiment or the second embodiment. create.
[0063]
That is, in step 85 of the flowchart of FIG. 23, the processes of steps 51 to 56, 76, and 77 of FIG. 21 are performed as in the fourth embodiment. In the next step 86, the first switching frame number F1 and the second switching frame bar F2 are input and stored in the external storage device 14, and in the next step 87, rendering is performed based on the data stored in the above steps 51 to 56. The left and right two-dimensional images of the current frame photographed by the left and right virtual cameras are generated, and the generated left and right images are temporarily stored in the internal storage device 11a. This rendering is performed in the same manner as in the conventional example.
[0064]
In the next step 88, it is determined which time zone the current frame number F is divided into three by F1 and F2, and if F ≦ F1, the process immediately proceeds to step 92, and F1 <F ≦ If F2, the process proceeds to step 89, and if F2 <F, the process proceeds to step 90. In step 89, the shift amount S is calculated using equation (18), equation (19) or equation (20) as in the fourth embodiment, and in step 90, equation (9), ( The shift amount S is calculated using the equation (10) or (11). In the next step 91, the image is shifted by the shift amount S. In the next step 92, the generated left and right images are stored in the external storage device 14 frame by frame. In addition, since the process of the following steps 93-95 is the same as that of steps 82-84 of 4th Embodiment, it abbreviate | omits description.
As a result of the above processing, no image shift is performed on the image of the frame before F1, so the same image as that generated by the conventional generation method is generated, and the image of the frame between F1 and F2 is the fourth. The image is shifted in the horizontal direction by the shift amount S calculated by the method of the embodiment, and the images of the frames after F2 are shifted in the horizontal direction by the shift amount S calculated by the method of the first embodiment.
[0065]
According to this embodiment, in the first time zone (F ≦ F1), it is possible to present an image that places importance on giving an impact to the observer because the distance due to the congestion of the target object changes greatly. In addition, as time passes, an image that emphasizes the suppression of stereoscopic vision fatigue can be presented by switching between two stages in a time zone (F1 <F ≦ F2) and a time zone (F2 <F).
[0066]
Although the image shift method is used in the flowchart of FIG. 23, it is needless to say that the method of the second embodiment or the fifth embodiment for controlling the gaze direction of the left and right virtual cameras may be used. Further, the image generation method may be switched gradually without being discontinuous. As an example of such a method, there is a method of decreasing γ in the equation (18) as the frame number F increases.
[0067]
FIG. 24 is a diagram showing the overall configuration of the stereoscopic image generating apparatus according to the seventh embodiment of the present invention. The same parts as those in FIG. In the present embodiment, an HMD 16 is provided instead of the display device 13 of FIG. 6 as a display for viewing the image of the image generating device, and this HMD 16 is used for checking the data and the generated stereoscopic image by the operator. To do.
[0068]
In FIG. 24, left and right images are alternately output from the processing device 11 to the HMD 16 for each frame, and these left and right images are distributed to the left LCD and the right LCD for each frame in the HMD 16 so that a stereoscopic image can be observed. At this time, it is desirable that the viewing distance, field angle, and crossing angle of the eyepiece optical system of the HMD 16 are the same as the viewing distance, field angle, and crossing angle of the virtual camera set in steps 54 and 56 of FIG. For example, the operator confirms the generated stereoscopic image before final recording in steps 62 and 63 in FIG.
[0069]
According to the present embodiment, there is an advantage that an operator can confirm and correct an image before recording.
[0070]
FIG. 25 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the eighth embodiment. In the present embodiment, the processing apparatus 11 automatically sets the target object without setting the target object. In this automatic setting, the setting condition of the target object is preferably an object in the center region of the horizontal angle of view and vertical angle of view of the virtual camera and the object closest to the virtual camera. This is because when an observer observes an image, he / she pays attention to the closest object located at the center.
This setting condition will be described with reference to FIG. When three objects of the sphere 2, the triangular pyramid 3 and the rectangular parallelepiped 5 are arranged in front of the left and right virtual cameras 4L and 4R, they are within the central field of view area (dotted line) of the virtual camera 4L and are identical to the virtual cameras 4L and 4R. An object having a short distance is a rectangular parallelepiped 5. Therefore, this rectangular parallelepiped 5 becomes a target object. At this time, it is desirable that the central area is 50% of the virtual camera angle of view.
[0071]
The flowchart of FIG. 25 is obtained by applying the automatic setting of the target object of this embodiment to the first embodiment, and steps 55 and 58 of the first embodiment are changed to steps 55a and 58a, respectively.
In step 55a, the setting conditions for the target and the object are input, and the setting conditions are stored in the external storage device 14. In step 58a, each data input in steps 51 to 54, 55a, and 56 is read out, an object that meets the setting conditions in step 55a is searched, and it is set as a target object.
[0072]
According to the present embodiment, since there is no need for the operator to set the target object, there is an advantage that the labor of inputting can be saved. Particularly, in the case of an image in which the target object is frequently changed over time. The advantage that the labor of inputting can be saved becomes remarkable.
In addition, although the case where it applied to 1st Embodiment was shown in the above, it cannot be overemphasized that it can apply to 2nd-7th embodiment.
[0073]
As mentioned above, although demonstrated based on embodiment, the invention shown as the following additional items is contained in this specification.
[0074]
Three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, and first and second in the three-dimensional coordinates Storage means for storing the viewpoint data of the viewpoint, and first two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint are stored in each data stored by the storage means. A first rendering unit that generates the first two-dimensional image data obtained by rendering a plurality of objects in the three-dimensional coordinates from the second viewpoint based on each data stored in the storage unit; Second drawing means to be generated and a first object generated by the first and second drawing means of a specific object arbitrarily selected from the plurality of objects. And the entire two-dimensional image data of at least one of the first and second two-dimensional image data so that the difference in the amount of displacement in the horizontal direction from the center of the second two-dimensional image data is substantially constant. And a two-dimensional image data control means for controlling horizontal movement of the three-dimensional image generating apparatus (Appendix 1).
[0075]
Or three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, and first and Storage means for storing position data of a second viewpoint, and first two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint are stored in the storage means. First drawing means that is generated based on data, and second two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the second viewpoint are stored in each data stored by the storage means. Second drawing means generated based on the first two-dimensional image data control for controlling horizontal movement of the entire first two-dimensional image data generated by the first drawing means And a second control unit that controls horizontal movement of the entire second two-dimensional image data generated by the second drawing unit by a movement amount different from a horizontal movement amount by the first two-dimensional image data control unit. And a two-dimensional image data control means (Appendix 2)
And the two-dimensional image data control means reverses the control direction with respect to the first two-dimensional image data and the control direction with respect to the second two-dimensional image data. (Appendix 3).
[0076]
In addition, in the above supplementary item 1 or 2, the two-dimensional image data control means includes a horizontal displacement amount x1 of the specific object on the first two-dimensional image and the specific object on the second two-dimensional image. The amount of change Δ | x1−x2 | in the entire image of the difference | x1−x2 |
[Expression 24]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, θ is the half angle of view of the first and second virtual camera means, and the amount of horizontal displacement x1 and x2 may be controlled so as to satisfy a condition that the horizontal distance of the entire two-dimensional image is normalized to 2) (Appendix 4).
[0077]
Further, in the above supplementary item 1 or 2, the image based on the first and second two-dimensional image data after the control is stereoscopically observed at a viewing distance LBase, and the two-dimensional image data control means includes the first two-dimensional image data control means. The difference | x1 −x2 | between the horizontal displacement x1 of the specific object on the image and the horizontal displacement x2 of the specific object on the second two-dimensional image is expressed by the following equation:
[Expression 25]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, θ is the half angle of view of the first and second virtual camera means, and the amount of horizontal displacement x1 and x2 may be controlled so that the horizontal distance of the entire two-dimensional image is standardized as 2).
[0078]
In addition, in the above supplementary item 1 or 2, the specific object may be an object whose distance to the first and second viewpoints changes with time (additional item). 6).
Further, in the above supplementary item 1 or 2, the two-dimensional image data control means changes a control amount in accordance with a distance Lobj in the depth direction from the specific object to the first and second viewpoints. It is good also as a three-dimensional image production | generation apparatus to perform (Appendix item 7).
[0079]
In addition, in the above supplementary item 1 or 2, the first and second two-dimensional image data after the control is input and the first and second two-dimensional image data are displayed. A head having a display element and first and second eyepiece optical systems that present an image displayed by the first and second display elements in an enlarged manner to each of the first and second eyeballs of the observer A stereoscopic image generating device characterized by including a wearable video display device (Appendix 8).
In addition, in the above supplementary item 1 or 2, the first and second objects are located within a range of a center of 50% with respect to a horizontal field angle of the first and second virtual camera means among the plurality of objects. It is good also as a stereo image production | generation apparatus characterized by having the specific object setting means which sets the object located close to 2 virtual camera means to the said specific object (supplementary item 9).
[0080]
In addition, in the above-mentioned supplementary item 1 or 2, the two-dimensional image data control means horizontally applies the first and second two-dimensional image data according to the distance from the specific object to the first and second viewpoints. It is good also as a stereoscopic image generation device characterized by being an image data shift means which shifts in the direction (Appendix 10).
Further, in the above supplementary item 10, the first and second two-dimensional images after the control are stereoscopically observed at a viewing distance LBase, and the horizontal shift amount S is expressed by the following equation:
[Equation 26]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, Lobj is the distance from the specific object to the midpoint, and θ is the first and second virtual camera means. The half-angle of view, PH-half is half of the number of horizontal pixels of the first and second two-dimensional images). .
[0081]
Further, in the above supplementary item 10, the first and second two-dimensional images after the control are stereoscopically observed at a viewing distance LBase, and the horizontal shift amount S is expressed by the following equation:
[Expression 27]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, Lobj is the distance from the specific object to the midpoint, and θ is the first and second virtual camera means. The half angle of view, PH-half is half the number of horizontal pixels of the first and second two-dimensional images, and α and β are values obtained by multiplying the reciprocal of the distance in the depth direction from the specific object to the virtual camera means by 1000. A minimum value and a maximum value of the original congestion 1000 / Lobj, and γ is half the amount of change of the converted congestion 1000 / LT Tag, and 0 ≦ γ ≦ 2 and γ ≦ 1000 / LBase). An image generation device may be used (Appendix 12).
[0082]
In addition, in the above-mentioned supplementary item 10, the shift amount S of the image data shifting unit may be changed according to the number of frame numbers of the image (additional item 13).
In addition, in the above supplementary item 10, the image data shift unit may include an image data extraction unit that extracts part of the image data after the shift of the image data (additional item 14). ).
In addition, in the above supplementary item 1 or 2, the two-dimensional image data control means is directed to gaze direction of the first and second virtual camera means according to a distance from the specific object to the first and second viewpoints. It is good also as a stereoscopic image production | generation apparatus characterized by the gaze direction control means to change (additional item 15).
[0083]
Further, in the above supplementary item 15, the first and second two-dimensional images after the control are stereoscopically observed at a viewing distance LBase, and the gaze direction angle ψ of the first and second virtual camera means is given by
[Expression 28]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, and ω is the first and second viewpoints and the above-mentioned line of sight from the first and second viewpoints) It is good also as a stereo image production | generation apparatus characterized by satisfying (it is the angle which the line segment which tied the specific object makes | forms) (supplementary item 16).
[0084]
Further, in the above supplementary item 15, the first and second two-dimensional images after the control are stereoscopically observed at a viewing distance LBase, and the gaze direction angle ψ of the first and second virtual camera means is given by
[Expression 29]

(Where d is the distance from the midpoint of the first and second viewpoints to the first and second viewpoints, Lobj is the distance from the specific object to the midpoint, and ω is from the first and second viewpoints. Angles formed by line segments connecting the first and second viewpoints to the specific object with respect to the line of sight, α and β are values obtained by multiplying the reciprocal of the distance in the depth direction from the specific object to the virtual camera means by 1000. A minimum value and a maximum value of congestion 1000 / Lobj, and γ is half the amount of change in the converted congestion 1000 / LT Tag, and 0 ≦ γ ≦ 2 and γ ≦ 1000 / LBase). An image generating device may be used (Appendix 17).
Further, in the above supplementary item 15, as the stereoscopic image generating apparatus, the gaze direction of the first and second virtual camera means controlled by the gaze direction control means is changed according to the frame number of the image. (Appendix 18).
[0085]
Further, in the stereoscopic image generating apparatus that generates moving images of the left viewpoint and the right viewpoint, each of the moving images of the left viewpoint and the right viewpoint includes at least one image including at least one temporally changing image. Horizontal drawing from the center of the moving image of the left viewpoint and the right viewpoint of a drawing means for drawing with parallax, and a specific one of the images that change in size with time drawn by the drawing means A first image control means for controlling the horizontal movement of the specific image so that the difference in direction displacement is substantially constant; and the size of the specific single image drawn by the drawing means. And second image control means for controlling horizontal movement of the other images in the moving images of the left viewpoint and the right viewpoint with respect to the specific one image in accordance with the change of the second viewpoint. 3D image generation device ( Climate 19).
[0086]
Alternatively, in the stereoscopic image generation apparatus that generates the first and second moving images having different viewpoints, each of the first and second moving images includes a plurality of images that include at least one temporally changing image. And a center of the first and second moving images of a drawing unit that draws the image with parallax and a specific one of the images that change in size with time drawn by the drawing unit The distance from the convergence of the specific one image during stereoscopic observation is fixed by controlling the specific image so that the difference in displacement in the horizontal direction from the image becomes substantially constant. The image control means and the other images in the first and second moving images so that the difference in the amount of horizontal displacement from the center of the first and second moving images changes. And second image control means for controlling the image. Stereoscopic image generating apparatus according to claim (Note 20)
In the case where a specific one image of the image whose size changes with time becomes larger as time elapses, the specific one image and the other image are relatively separated from each other, and as time elapses, When the image becomes smaller, the stereoscopic image generation apparatus may perform the horizontal movement control so that the specific one image and the other image are relatively close to each other (Appendix 21).
[0087]
In addition, in the above supplementary item 19 or the above supplementary item 20, the specific one image of the image whose size changes with time is determined in a horizontal direction during horizontal movement control of the moving image of the left viewpoint and the right viewpoint. It is good also as a three-dimensional image generation apparatus characterized by not changing a relative position (supplementary item 22).
[0088]
Also, three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, first and First computer readable program means for causing the computer to store the position data of the second viewpoint in the storage means; and a first two drawn from the first viewpoint for a plurality of objects in the three-dimensional coordinates. Second computer readable program means for causing a computer to generate dimensional image data based on each data stored in the storage means; and drawing a plurality of objects in the three-dimensional coordinates from the second viewpoint Generating the second two-dimensional image data based on each data stored in the storage means Third computer readable program means to be provided to a computer, and the first and second computer generated by the computer according to the second and third computer readable program means of a specific object arbitrarily selected from the plurality of objects. Horizontal of the entire two-dimensional image data of at least one of the first and second two-dimensional image data so that the difference in the amount of horizontal displacement from the center of the two two-dimensional image data is substantially constant. A computer readable program comprising computer readable program code means for executing a process for generating a stereoscopic image, characterized in that it comprises fourth computer readable program means for controlling the movement to the computer. Storage medium (Appendix 23).
[0089]
First computer readable program means for causing a computer to draw a plurality of images including at least one temporally changing image in a moving image of a left viewpoint and a right viewpoint, each having a parallax; , A specific one of the temporally varying images rendered by the computer according to the first computer readable program means in a horizontal direction from the center of the left and right viewpoint moving images. Second computer readable program means for causing the computer to control the horizontal movement of the particular image so that the difference in displacement is substantially constant, and the computer according to the first computer readable program means. In response to a change in the size of the one particular image to be drawn, And third computer readable program means for causing the computer to control horizontal movement of the other images in the left and right viewpoint moving images with respect to the specific one image. A computer readable storage medium having computer readable program code means recorded to execute processing for generating a moving image of the left and right viewpoints (Appendix 24).
[0090]
First computer readable program means for causing a computer to draw a plurality of images including at least one temporally varying image in the first and second moving images so as to have parallax with each other. And a horizontal direction from a center of the first and second moving images of one particular image of the temporally varying image drawn by the computer according to the first computer readable program means A second computer that provides a computer that fixes the distance due to the convergence of the specific image during stereoscopic observation by controlling the specific image so that the difference in the amount of displacement of the image becomes substantially constant Horizontal direction of the readable program means and other images in the first and second moving images from the center of the first and second moving images And third computer readable program means for providing the computer with image control of the other image so that the difference between the displacement amounts of the first and second images differs from each other. A computer readable storage medium having computer readable program code means recorded for executing the process of generating a moving image (Appendix 25).
[0091]
Three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, and first and second in the three-dimensional coordinates First computer readable program means for causing the computer to store the position data of the viewpoint in the storage means, and a first two-dimensional image in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint Second computer readable program means for causing the computer to generate data based on each data stored in the storage means; and a plurality of objects in the three-dimensional coordinates drawn from the second viewpoint. Generating two-dimensional image data based on each data stored in the storage means. A third computer readable program means for the computer and a fourth computer means for controlling the horizontal movement of the entire first two-dimensional image data generated by the computer according to the second computer readable program means. The second generated by the computer according to the third computer readable program means with a movement amount different from both the computer readable program means and the horizontal movement controlled by the computer according to the fourth computer readable program means. And a fifth computer readable program means for controlling the horizontal movement of the entire two-dimensional image data to the computer. Computer readable storage medium having computer readable program code means recorded in order (Note 26).
[0092]
In a computer system that executes processing for generating a stereoscopic image, three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, and motion data in the three-dimensional coordinates of the plurality of objects And position data of the first and second viewpoints in the three-dimensional coordinates, and a first two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint Is generated based on each data stored by the storage means, and second 2D image data in which a plurality of objects in the 3D coordinates are drawn from the second viewpoint is stored by the storage means. The first and second two-dimensional image data of a specific object that is generated based on each data and is arbitrarily selected from the plurality of objects. Controlling the horizontal movement of the entire two-dimensional image data of at least one of the first and second two-dimensional image data so that the difference in the amount of horizontal displacement from the center of the data becomes substantially constant. A method for generating the stereoscopic image characterized by the following (Appendix 27).
[0093]
In the computer system that executes the processing for generating the left-viewpoint and right-viewpoint moving images, the left-viewpoint and right-viewpoint moving images each include a plurality of images including at least one temporally changing image. Horizontal displacement of a specific one of the temporally changing images drawn with parallax and drawn by the drawing means from the center of the left and right viewpoint moving images The horizontal movement of the specific one image is controlled so that the difference in quantity is substantially constant, and the left viewpoint and the left viewpoint and the size of the specific single image drawn by the drawing means are changed. A method of generating a moving image of the left viewpoint and the right viewpoint, wherein horizontal movement of another image in the moving image of the right viewpoint is controlled with respect to the specific one image (Appendix 28).
[0094]
In a computer system that executes processing for generating first and second moving images having different viewpoints, each of the first and second moving images includes at least one temporally changing image. Drawing a plurality of images so as to have parallax from each other, and from the center of the first and second moving images of one specific image of the image whose size changes with time drawn by the drawing means The distance due to the convergence of the one particular image during stereoscopic observation is fixed by controlling the particular one image so that the difference in the amount of displacement in the horizontal direction is substantially constant. And the other image in the second moving image is image-controlled so that the difference in the amount of horizontal displacement from the center of the first and second moving images changes. The first and the first having different viewpoints Method of generating a moving image (Note 29).
[0095]
In a computer system that executes processing for generating a stereoscopic image, three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, and motion data in the three-dimensional coordinates of the plurality of objects And position data of the first and second viewpoints in the three-dimensional coordinates, and the first two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the first viewpoint, Each of the two-dimensional image data generated based on each data stored by the storage means and drawn from the second viewpoint to the plurality of objects in the three-dimensional coordinates is stored by the storage means. Generated based on the data, controls horizontal movement of the entire first two-dimensional image data, and has a shift different from the amount of horizontal movement of the entire first two-dimensional image data. Method for controlling the stereo image and controlling the horizontal movement of the entire second two-dimensional image data in an amount (Note 30).
[Brief description of the drawings]
FIGS. 1A to 1C are diagrams illustrating images generated by a stereoscopic image generating apparatus according to the present invention.
FIG. 2 is a diagram for explaining how each object in an image is viewed when observing the images of FIGS.
FIG. 3 is a diagram for explaining an arrangement state of a specific object in an image generated by the stereoscopic image generation apparatus of the present invention.
FIG. 4 is a diagram illustrating an arrangement state of objects in a virtual three-dimensional space and left and right virtual cameras when an image is generated by the stereoscopic image generation apparatus of the present invention.
FIG. 5 is a diagram for explaining a correspondence relationship and an allowable range of congestion-adjustment.
FIG. 6 is a diagram illustrating an overall configuration of a stereoscopic image generation apparatus according to a first embodiment of the present invention.
FIG. 7 is a flowchart showing a stereoscopic image generation process performed by the processing apparatus in the first embodiment.
FIGS. 8A and 8B are diagrams illustrating images generated in the first embodiment. FIGS.
FIG. 9 is a diagram for explaining an observation example of a stereoscopic image generated in the first embodiment.
FIG. 10 is a diagram illustrating an arrangement state of objects in a virtual three-dimensional space and left and right virtual cameras when an image is generated in the first embodiment.
FIGS. 11A to 11C are diagrams illustrating images generated by the stereoscopic image generation apparatus according to the first embodiment. FIGS.
FIG. 12 is a diagram illustrating another example of the arrangement state of the objects in the virtual three-dimensional space and the left and right virtual cameras when an image is generated in the first embodiment.
FIGS. 13A to 13C are diagrams illustrating other examples of images generated by the stereoscopic image generating apparatus according to the first embodiment.
FIG. 14 is a diagram for explaining how each object in the image is viewed when observing the images of FIGS.
FIGS. 15A to 15C are diagrams for explaining arrangement states of specific objects in an image generated by the stereoscopic image generation apparatus according to the first embodiment;
FIGS. 16A to 16D are diagrams illustrating images generated by the stereoscopic image generation processing according to the second embodiment of the present invention.
FIG. 17 is a diagram for describing an image generated by the stereoscopic image generation processing according to the third embodiment of the present invention based on the positional relationship between an object in the virtual three-dimensional space and the left and right virtual cameras.
FIG. 18 is a flowchart illustrating a stereoscopic image generation process performed by the processing apparatus in the third embodiment.
FIG. 19 is a diagram for explaining the principle of stereoscopic image generation processing according to the fourth embodiment of the present invention;
FIGS. 20A and 20B are views for explaining the appearance of each object in an image when the image is observed in the fourth embodiment and the conventional example, respectively.
FIG. 21 is a flowchart illustrating a stereoscopic image generation process performed by a processing apparatus in the fourth embodiment.
FIG. 22 is a flowchart illustrating a stereoscopic image generation process performed by the processing apparatus according to the fifth embodiment.
FIG. 23 is a flowchart illustrating a stereoscopic image generation process performed by the processing apparatus according to the sixth embodiment.
FIG. 24 is a diagram illustrating an overall configuration of a stereoscopic image generating apparatus according to a seventh embodiment of the present invention.
FIG. 25 is a flowchart illustrating a stereoscopic image generation process performed by the processing apparatus according to the eighth embodiment.
FIG. 26 is a diagram for explaining setting conditions for automatic setting of a specific object in the eighth embodiment.
FIG. 27 is a flowchart showing stereoscopic image generation processing in a conventional example.
FIG. 28 is a diagram illustrating an arrangement state of objects in the virtual three-dimensional space and left and right virtual cameras when an image is generated.
FIGS. 29A to 29C are diagrams illustrating images generated by a conventional example. FIGS.
30 is a diagram for explaining how each object in the image looks when the images in FIGS. 29A to 29C are observed. FIG.
FIGS. 31A to 31C are diagrams illustrating images generated by the conventional example using the setting of FIG.
FIGS. 32A to 32C are diagrams illustrating images generated by the conventional example using the setting of FIG.
FIG. 33 is a diagram for explaining how each object in the image is viewed when observing the images of FIGS.
FIG. 34 is a diagram for explaining an example of observation of a stereoscopic image generated in the first embodiment.
[Explanation of symbols]
1 Virtual 3D space
2 Specific object (target object)
3 objects
4L, 4R left and right virtual cameras
11 Processing equipment
11a Internal storage device
12 Input devices
13 Display device
14 External storage device
15 Recording device

Claims (4)

Three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, and first and second in the three-dimensional coordinates Storage means for storing the position data of the viewpoint of
First drawing means for generating, as a left image, first two-dimensional image data obtained by drawing a plurality of objects in the three-dimensional coordinates from the first viewpoint based on each data stored in the storage means; ,
Second drawing means for generating second two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the second viewpoint as a right image based on each data stored in the storage means; ,
For a particular object selected arbitrarily from the plurality of objects, the first horizontal displacement amount and the second drawing means from the center position of the left image of the first timing generated by the drawing unit And the horizontal displacement amount from the center position of the left image at the second timing after a lapse of time from the first timing, and the horizontal displacement amount from the center position of the right image generated by as the difference between the horizontal displacement from the center position of the right image generated by the second rendering means is substantially constant, the at least one of said first and second two-dimensional image data two Two-dimensional image data control means for controlling the amount of horizontal movement of the entire dimensional image data ;
Moving image data generating means for generating left and right images controlled by the two-dimensional image data control means as data that can be displayed as moving images observed so that the plurality of objects move relative to each other in the depth direction;
A three-dimensional image generating apparatus comprising: In a stereoscopic image generation device that generates a moving image of a left viewpoint and a right viewpoint,
A plurality of images including at least one specific image whose size changes between a first timing and a second timing that has elapsed from the first timing , in the left-viewpoint and right-viewpoint moving images, respectively. and drawing means for drawing on the moving image of the left and right viewpoint to have a parallax, respectively,
Wherein said particular one image that varies in size between the drawn by the drawing means first timing and the second timing, the horizontal from the center position of the image of the left-side perspective of the first timing The difference between the direction displacement amount and the horizontal displacement amount from the center position of the right viewpoint image, the horizontal displacement amount from the center position of the left viewpoint image at the second timing, and the right viewpoint image the difference between the horizontal displacement from the center position so that almost constant, and the first image control means for controlling the horizontal movement of the particular one image,
In response to variation in the size of the particular one of the image drawn by the drawing means, the said particular pair to one image other image in a moving image of the left viewpoint and right viewpoint the A second image control means for controlling a horizontal movement amount at the timing of 1 and the second timing ,
The plurality of objects on the left and right viewpoint images, which are controlled by the first and second image control means and drawn by the drawing means, are observed as moving images relative to each other in the depth direction. 3D image generating apparatus. In a three-dimensional image generation apparatus that generates first and second moving images having different viewpoints,
Each of the first and second moving images includes a plurality of images including at least one specific image that changes in size between a first timing and a second timing that has elapsed from the first timing. Drawing means for drawing on the first and second moving images so as to have parallax with each other,
Horizontal from the center position of the specific image, the image of the left-side perspective of the first timing change in the size to be had us between the first timing and the second timing which is drawn by said drawing means The difference between the direction displacement amount and the horizontal displacement amount from the center position of the right viewpoint image, the horizontal displacement amount from the center position of the left viewpoint image at the second timing, and the right viewpoint image the difference between the horizontal displacement from the center position so is a constant, by controlling the display position in the video image of the particular 1 Tsunozo, the specific 1 Tsunozo during stereoscopic observation First image control means for fixing the distance due to congestion of
The horizontal displacement of the other images in the first and second moving images from the center position of the left viewpoint image at the first timing and the horizontal displacement from the center position of the right viewpoint image. the difference between the amount of horizontal difference the particular image of the displacement from the central position of the horizontal displacement amount and the right viewpoint image from the center position of the image of the left-side perspective of the second timing Second image control means for controlling the display position of the other image in the moving image so that the distance due to convergence changes corresponding to the amount of change in size , and
A stereoscopic image characterized in that the plurality of objects on the first and second moving images controlled by the first and second image control means are observed as moving images that move relative to each other in the depth direction. Generator. Three-dimensional shape data of a plurality of objects, initial position data in the three-dimensional coordinates of the plurality of objects, motion data in the three-dimensional coordinates of the plurality of objects, and first and second in the three-dimensional coordinates Storage means for storing the position data of the viewpoint of
First drawing means for generating, as a left image, first two-dimensional image data obtained by drawing a plurality of objects in the three-dimensional coordinates from the first viewpoint based on each data stored in the storage means; ,
Second drawing means for generating second two-dimensional image data in which a plurality of objects in the three-dimensional coordinates are drawn from the second viewpoint as a right image based on each data stored in the storage means; ,
A horizontal displacement amount of a specific object arbitrarily selected from the plurality of objects from a center position of a left image generated by the first drawing unit and a right generated by the second drawing unit Two-dimensional image data of at least one of the first and second two-dimensional image data so that the difference from the horizontal displacement from the center position of the image becomes substantially constant over time. a two-dimensional image data control unit that controls the horizontal movement of the whole,
Moving image data generating means for generating left and right images controlled by the two-dimensional image data control means as data that can be displayed as moving images observed so that the plurality of objects move relative to each other in the depth direction;
A three-dimensional image generating apparatus comprising:

Images