JP2000152285A

JP2000152285A - 立体画像表示装置

Info

Publication number: JP2000152285A
Application number: JP10322139A
Authority: JP
Inventors: Tomoshi Takigawa; 智志瀧川; Takasato Taniguchi; 尚郷谷口; Hideki Morishima; 英樹森島
Original assignee: MR SYSTEM KENKYUSHO KK; MR System Kenkyusho KK
Current assignee: MR SYSTEM KENKYUSHO KK; MR System Kenkyusho KK
Priority date: 1998-11-12
Filing date: 1998-11-12
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】ディスプレイに表示した視差画像に基づく立
体画像を観察者の視点が変化しても良好に観察すること
ができる立体画像表示装置を得ること。【解決手段】観察者の視点を検出する視点検出機構
と、観察者の左右両眼に対応した視差画像を視点情報に
追従制御して表示するディスプレイとデバイスとを用い
て、該視差画像を立体的に観察する立体画像表示装置に
おいて、該視点検出機構は、観察者を映像情報として取
り込む撮像手段、該撮像手段で取り込まれた観察者の映
像情報から顔領域を検出し、該顔領域から観察者の両眼
を検出する機能と検出された両眼をトラッキングする機
能を有した映像処理手段、該映像処理手段で検出された
顔領域を拡大、又は縮小するカメラ制御手段、とを有し
ていること。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は立体画像表示装置に
関し、特にテレビ、ビデオ、コンピュータモニタ、ゲー
ムマシン等のディスプレイデバイス（ディスプレイ）に
おいて画像情報の立体表示を行い、特殊な眼鏡を使用す
ることなく該画像情報の立体観察を良好に行う際に好適
なものである。

【０００２】

【従来の技術】従来より立体画像の観察方法としては、
例えば偏光眼鏡を用いて互いに異った偏光状態に基づく
視差画像を左右眼で観察する方法や、レンチキュラーレ
ンズを用いて複数の視差画像のうちから所定の視差画像
を観察者の眼球に導光する方法等が提案されている。

【０００３】特殊な偏光眼鏡をかけることなく、立体画
像表示を行うレンチキュラーレンズを用いた方法は、デ
ィスプレイデバイスの観察者側にレンチキュラーレンズ
を設け、ディスプレイデバイス上に表示された視差画像
の画素毎に指向性を与えて観察者に立体像を認識させて
いる。レンチキュラーレンズを用いた方式は偏光眼鏡
を用いないで立体視が出来るという利点があるが、この
方式によれば、ディスプレイの前面にレンチキュラーレ
ンズシートを配置するため、画質が低下するという問題
を有していた。

【０００４】これに対し本発明者らは特願平８―１４８
６１１号、特願平８―２５０９４３号や特願平１０−２
１１１１９号等において広い視域（観察領域）において
良好なる立体像が観察できる立体画像表示装置を提案し
ている。

【０００５】同号では市松模様の透光部を有したマスク
パターンと該マスクパターンを照明する光源手段と、水
平方向と垂直方向とで光学作用の異なるマイクロ光学素
子と透過型のディスプレイデバイスとを有し、該ディス
プレイデバイスに右目用の視差画像と左目用の視差画像
のそれぞれを多数のストライプ状の画素に分割して得た
ストライプ合成画像を表示し、該光源手段より射出する
光束に該マイクロ光学素子で指向性を与えて該ストライ
プ合成画像を照射し、該ストライプ合成画像の視差画像
に基づく光束を少なくとも２つの領域に分離させて該ス
トライプ合成画像を立体画像として観察者に視認せしめ
る立体表示装置を提案している。

【０００６】また、観察者の視点（本明細書では観察者
の両眼の瞳孔の中心位置を視点と定義する。）近傍を視
点検出機構で検出し、該視点位置情報により、該視差画
像を切り換え表示したり、あるいは前記マスクパターン
を離散的な画素構造を有する光変調器を用いて形成し、
該マスクパターンの開口部を制御することにより広い立
体視領域を有する立体表示装置を提案している。

【０００７】従来より視点近傍の位置検出装置が、例え
ば、特開平２−５０１４５号公報やUSP5016282(priorit
y pat. Application No.63-175899,63-193898,63-19389
9,63-289761)に開示されている。前者には観察者の両眼
位置を検出する装置として５種の実施形態が開示されて
いる。これらの各実施形態の特徴として、第１の実施形
態は、複数の赤外受光器で観察者からの赤外反射光、ま
たは体温を検知することにより観察者の視点を推測する
方法であり、第２の実施形態は、ライン状に受光素子を
配列した１ヶのCCDイメージセンサーを受光器として使
用する方法であり、第３の実施形態は発光光源と受光器
が同一パッケージに入った装置であり、第４の実施形態
は、光源を観察者の背面に配置し、観察者の前面に配置
した受光器で光度分布を測定して観察者の位置を検出す
る方法であり、第５の実施形態は、観察者をＴＶカメラ
で撮影し、其の画像を画像処理技術によって処理するこ
とにより視点を検出する方法である。

【０００８】後者はカメラの光軸に沿って赤外光を観察
者に照射し、観察者の網膜、或いは角膜からの反射光を
撮影し、その画像から目の位置、及び観察者の注視点
（観察者が見ている点）を検出する方法を開示してい
る。

【０００９】しかし、赤外光を照射する方法は、観察距
離に応じて赤外光の強度を調整する必要があり、又、赤
外光を常時観察者の目に照射するため健康上の問題が懸
念され、また、メガネ使用者の場合にはメガネによる反
射光のため誤動作を生じやすいという欠点がある。

【００１０】一方、観察者をＴＶカメラで撮影して画像
処理により両眼位置を推測する方法は、検出位置精度を
高めようとすれば、大容量の画像情報の処理に時間がか
かり、又、情報量の少ない画像では検出精度が十分に得
られないと云う問題があった。

【００１１】

【発明が解決しようとする課題】本発明は上記本発明者
らが提案した立体画像表示装置を更に改良し、又、前記
従来の視点検出の欠点を克服した視点検出機構を搭載
し、かつメガネなどを必要としないで立体画像を観察す
ることができる立体画像表示装置の提供を目的とする。

【００１２】又、本発明は、観察者がディスプレイに表
示した立体画像を観察しているとき、観察者が移動し、
視点が変化した場合にも、視点を精度良く検出する検出
機構を用いて、広い観察域において、観察者に常時正常
な立体観察を可能とする立体画像表示装置の提供を目的
とする。

【００１３】又、本発明は、同時に表示される視差画像
が左右両眼に対応する２ヶの視差画像からなり、観察者
が移動し、視点が変化した場合にも逆立体視の生ずるこ
となく常時正常な立体観察が可能で、かつ視点に応じた
立体画像の観察できる立体画像表示装置の提供を目的と
する。又、本発明は、観察者がディスプレイに表示し
た立体画像の観察可能領域外に位置した場合には警告を
表示することや、視点検出用のビデオカメラを例えばＴ
Ｖ会議用カメラ、あるいは監視用カメラとして使用可能
とするなどして、使用者の利便性を高めた立体画像表示
装置の提供を目的とする。

【００１４】

【課題を解決するための手段】本発明の立体画像表示装
置は、 (1-1)観察者の視点を検出する視点検出機構と、観察者
の左右両眼に対応した視差画像を視点情報に追従制御し
て表示するディスプレイとデバイスとを用いて、該視差
画像を立体的に観察する立体画像表示装置において、該
視点検出機構は、観察者を映像情報として取り込む撮像
手段、該撮像手段で取り込まれた観察者の映像情報から
顔領域を検出し、該顔領域から観察者の両眼を検出する
機能と検出された両眼をトラッキングする機能を有した
映像処理手段、該映像処理手段で検出された顔領域を拡
大、又は縮小するカメラ制御手段、とを有していること
を特徴としている。

【００１５】特に、 (1-1-1)前記撮像手段は、ビデオカメラを有し、前記カ
メラ制御手段は該ビデオカメラをパン・チルトする機構
を有していること。 (1-1-2)前記撮像手段からの映像信号、及び前記カメラ
制御手段からのズーム・パン・チルトの制御信号を外部
に取り出すための信号切り換え手段を有すること。 (1-1-3)前記映像処理手段は、取り込まれれた観察者の
映像情報から予め設定された色情報を識別すること。 (1-1-4)前記予め設定された色情報は観察者の顔の色、
あるいは標準的肌色であること。 (1-1-5)前記映像処理手段により予め設定された情報を
識別する際、取り込まれた映像情報の中にその色に該当
する領域が検出されなかった場合には、前記ビデオカメ
ラの焦点距離を短焦点距離側に制御し、検出された場合
には予め設定した焦点距離に制御すること。 (1-1-6)前記映像処理手段により予め設定された色情報
を識別する際、取り込まれた映像情報の中にその色情報
に該当する領域が検出されなかった場合には、それを観
察者にしらせるための警告手段を有すること。 (1-1-7)前記映像処理手段は、取り込まれれた観察者の
映像情報から予め設定されたパターン領域を識別するこ
と。 (1-1-8)前記予め設定されたパターンは観察者の目、ま
たは標準的な目、目の近傍、あるいは光彩など目を構成
する部分画像であること。 (1-1-9)前記予め設定された色、あるいはパターンを観
察者の顔映像情報から作成するための映像処理手段、お
よびその情報を記録するための映像記録手段を有するこ
とを。 (1-1-10)前記ビデオカメラで取り込まれた観察者の顔映
像情報をディスプレイ表示部に表示するための切り換え
手段を有すること。 (1-1-11)前記ディスプレイ表示部に表示された観察者の
顔映像を観察者が手動で、表示画面上で予め定められた
位置、大きさに設定するための操作手段を有すること。 (1-1-12)前記映像処理手段は、パターン認識により特定
パターンをトラッキングすること。(1-1-13)前記特定パ
ターンは観察者の目、または標準的な目、目の近傍、あ
るいは光彩など目を構成する部分画像であり、両眼をト
ラッキングしているときの両眼間隔（ビデオカメラから
見込む）が規定の値以外のときに警告を発する警告手段
を有すること等を特徴としている。

【００１６】(1-2)離散的な画素構造を有する光変調器
と該光変調器の表示面に透光部と遮光部とを複数個、所
定のピッチで水平方向と垂直方向に配列したマスクパタ
ーンと、該光変調器に光を照射する光源手段と、離散的
な画素構造を有し走査線を利用して合成視差画像を表示
したディスプレイと、該ディスプレイに表示した視差画
像に該マスクのパターンでパターン化した光束を照射
し、該視差画像に基づく光束を観察者の右目と左目に導
光して、該ディスプレイに表示した画像情報を立体的に
観察する、ディスプレイデバイスと観察者の視点情報を
検出する視点検出機構を有する立体画像表示装置におい
て、該合成視差画像を、左右眼に対応する２ヶの原視差
画像から構成し、該視点検出機構からの視点情報に基づ
き、該マスクパターンのパターン形状、及び該合成視差
画像を構成する現視差画像を切り換えて表示することを
特徴としている。

【００１７】特に、 (1-2-1)前記合成視差画像を構成する２ヶの原視差画像
は眼間距離対応した視点から観察した画像であること。 (1-2-2)該光変調器のマスクパターンの透光部の水平要
素を複数の画素から構成し、観察位置に投射されるスト
ライプ状の照射領域を複数の領域に分割して制御するこ
と等を特徴としている。

【００１８】本発明の立体画像表示方法は、 (2-1)ディスプレイに表示した視差画像に基づく立体画
像を観察する観察者を映像情報として取り込む工程、該
観察者の映像情報より該観察者の顔領域を検出する工
程、該観察者の顔領域から観察者の眼球を検出する工
程、該観察者の眼球をトラッキングする工程、該検出し
た観察者の眼球より観察者の視点情報を検出する工程、
該観察者の視点情報に基づいて該ディスプレイに表示す
る視差画像を追従制御する工程とを含むことを特徴とし
ている。

【００１９】特に、 (2-1-1)前記取り込んだ観察者の映像情報と予め設定し
た色情報とを識別する工程を含むこと。 (2-1-2)前記取り込んだ観察者の映像情報の中に予め設
定した色情報が存在しないときには、該観察者の映像情
報を取り込み方法を変化させる工程を含むこと。 (2-1-3)前記取り込んだ観察者の映像情報の中に予め設
定した色情報が存在しないときには、警告信号を発する
工程を含むこと等を特徴としている。

【００２０】

【発明の実施の形態】［実施形態１］本発明の立体画像
表示装置の実施形態１を、図１から図２１を用いて説明
する。図１は本発明の実施形態１の外観図である。同図
において、１００は本装置全体を示す本体である。１１
０はディスプレイ表示部である。１１１はディスプレイ
表示部１１０のなかで立体像（視差画像）が表示される
３Ｄウインドウである。１２０は観察者の眼球情報、例
えば視点を検出するための眼球検出手段、例えば視点検
出機構で１２１は、視点検出機構の一構成要素であるビ
デオカメラである。

【００２１】図２は実施形態１のシステムを説明したシ
ステムブロック図である。同図においてディスプレイ表
示部１１０は、液晶等の透過型ディスプレイデバイス
（ディスプレイ）２１０、離散的画素構造を持つ液晶な
どからなる光変調器２４０、バックライト光源（光源手
段）２５０、および、ディスプレイ２１０と光変調器２
４０との間に配置された母線方向が直交する２枚のレン
チキュラーレンズ２２０，２３０からなる。

【００２２】ディスプレイ２１０には、視差のある立体
像（視差画像）や視差のない普通の２次元画像が表示さ
れる。視差画像の表示される領域が図１の３Ｄウインド
１１１に相当する。

【００２３】２６０はディスプレイ駆動回路で、画像処
理手段２７０からの信号に基づきディスプレイ２１０に
画像の表示を行っている。画像処理手段２７０からは３
Ｄウインドウ１１１の大きさ、位置情報が信号合成回路
３３０に出力される。

【００２４】視点検出機構１２０で検出された観察者２
８０の視点情報も信号合成回路３３０に出力される。

【００２５】信号合成回路３３０は、この両情報をもと
に光変調器２４０を駆動するための情報を生成し、光変
調器駆動回路３２０に情報を出力する。

【００２６】光変調器２４０は光変調器駆動回路３２０
によって駆動され、その表示面に３Ｄウインドウ部に対
応する領域には市松状のマスクパターン、２次元画像表
示部に対応する領域には一様濃度の表示を行う。

【００２７】２８０はディスプレイ２１０の観察者であ
る。

【００２８】図３は３Ｄウインドウ部１１１の要部概略
図である。

【００２９】図３において、２５０はバックライト光源
（光源手段）、２４０は離散的な画素構造を有する光変
調器でその表示面に光が透過する透光部（開口部）２４
２、遮光部２４３からなるマスクパターン２４１が形成
されている。

【００３０】２３０は水平方向Ｘに母線を有する横レン
チキュラーレンズ（横シリンドリカルレンズアレイ）で
あり、多数の平凸形状の横シリンドリカルレンズを垂直
方向Ｙに並べて構成している。横レンチキュラーレンズ
２３０は、マスクパターン２４１の透光部２４２、遮光
部２４３が、ディスプレイデバイス２１０の画像表示面
に結像するようにレンズ曲率を設定している。また、横
レンチキュラーレンズ２３０のレンズピッチ（幅）Ｖｌ
は,マスクパターン２４１の透光部２４２、遮光部２４
３の垂直方向の幅Ｖｍの１倍、または２倍に対応するよ
うに設定している。本実施形態では２倍の場合を示して
いる。

【００３１】２２０は垂直方向Ｙに母線を有する縦レン
チキュラレンズ（縦シリンドリカルレンズアレイ）であ
り、多数の平凸形状の縦シリンドリカルレンズを水平方
向Ｘに並べて構成している。縦レンチキュラーレンズ２
２０を構成する各シリンドリカルレンズは、マスクパタ
ーン２４１が観察位置に結像するようにレンズ曲率を設
定している。

【００３２】マスクパターン２４１の透光部２４２、遮
光部２４３の水平方向ピッチＨｍは縦レンチキュラーレ
ンズ２２０の縦シリンドリカルレンズの１ピッチ（幅）
Hlに対応している。

【００３３】尚、図３では、ディスプレイデバイス２１
０、光変調器２４０のカバーガラスや、偏光板、そして
電極などは省略して示し、表示面の表示画像、マスクパ
ターン形状は模式的に表示している。

【００３４】Ｅｌ，Ｅｒはそれぞれ画像観察者２８０の
左右眼を示す。

【００３５】ここで、光変調器２４０に表示する透光部
２４２、遮光部２４３からなるマスクパターン２４１に
ついて図４を用いて説明する。図４は、図３に示したマ
スクパターン２４１の正面図を示している。

【００３６】同図に示すように、マスクパターン２４１
は水平方向のピッチＨｍ、垂直方向の幅Ｖｍの透光部２
４２と遮光部２４３から構成されている。透光部２４２
は３ヶの画素２４４，２４５，２４６から構成され、遮
光部２４３も同様に３ヶの画素から構成されている。

【００３７】次に、ディスプレイデバイス２１０に表示
する視差画像について図５を用いて説明する。図５で、
左右眼対応の２ヶの視差画像Ｇ（１），Ｇ（２）を図示
するように多数の横ストライプ状のストライプ画像に分
割し、視差画像Ｇ（１）、Ｇ（２）の要素であるストラ
イプ画像Ｇ（１）i、Ｇ（２）iを走査線ごとにならべ換
えて合成視差画像Ｇ（１、２）とする。

【００３８】次に、図６〜図９を用いて立体画像表示の
作用を説明する。

【００３９】図６は、３Ｄウインドウ部１１１の水平断
面図（Ｘ−Ｚ断面）である。

【００４０】同図において、バックライト光源２５０か
らの光は、光変調器２４０のマスクパターン２４１の透
光部２４２から射出され、横シリンドリカルレンズ２３
０を通過する。（この断面方向では、横レンチキュラー
レンズは特に光学的作用をしない。）そして、縦レンチ
キュラレンズ２２０を構成する各シリンドリカルレンズ
により、マスクパターン２４１の透光部２４２からの透
過光束が観察者の位置で照射視差画像領域ＧＳ１に照射
される。

【００４１】この照射視差画像領域ＧＳ１に照射される
光束は、縦レンチキュラーレンズ２２０と観察者との間
に設けられたディスプレイディバイス２１０に表示され
た合成視差画像で変調される。この断面では、例えば図
５で示した合成視差画像Ｇ（１，２）を構成する視差画
像Ｇ（１）の要素ストライプ画像Ｇ（１）１，Ｇ（１）
３，Ｇ（１）５，…を通るため、照射視差画像領域ＧＳ
１では視差画像Ｇ１が観察される。

【００４２】ここで、マスクパターンの透光部２４２は
３ヶの画素２４４，２４５，２４６から構成されている
ため、各画素を通った光束はそれぞれ領域２４７，２４
８，２４９を照射することとなる。

【００４３】同様に、図７に示すように、図６の１走査
線下、あるいは上の走査線に相当する断面の光束は照射
視差画像領域ＧＳ2に照射される。この照射視差画像領
域ＧＳ２に照射される光束は、縦レンチキュラーレンズ
２２０と観察者との間に設けたディスプレイディバイス
２１０に表示された合成視差画像で変調される。この断
面では、図５で示した合成視差画像Ｇ（１，２）を構成
する視差画像Ｇ（２）の要素ストライプ画像Ｇ（２）
２、Ｇ（２）４、Ｇ（２）６、…を通るため、照射視差
画像領域ＧＳ２では視差画像Ｇ２が観察される。この領
域も３ヶの部分領域から成っている。

【００４４】図８は立体画像表示用のウインドウ１１１
の垂直断面図（Ｙ−Ｚ断面）である。この断面ではバッ
クライト光源２５０で照射されたマスクパターン２４１
の透光部２４２の像が横レンチキュラレンズ２３０の作
用によりディスプレイデバイス２１０の画像表示面に結
像するが、その際、光変調器２４０の透光部２４２の幅
がディスプレイデバイス２１０の画素幅になる倍率で結
像する構成となっている。そのため、光変調器２４０と
ディスプレイデバイス２１０と横レンチキュラーレンズ
２３０の位置を適切に設定することにより、例えばＧ
（１）の視差画像の要素ストライプ画像のみが照射され
る。

【００４５】同様に、図９に示すように、図８の１画素
横の画素列では視差画像Ｇ（２）の要素ストライプ画像
のみが照射される。

【００４６】従って、視差画像Ｇ（１），Ｇ（２）を眼
球Ｅｌ，Ｅｒに対応した視差画像に設定し、それぞれ照
射視差画像領域ＧＳ１，ＧＳ２に眼球Ｅｌ，Ｅｒを置く
ことにより観察者は左右の目で視差画像を分離独立して
観察する事になり、立体画像が観察できる。

【００４７】図１０〜図１２は上記の作用を模式的に示
す説明図である。

【００４８】図１０において、左側の図はディスプレイ
の水平断面図（Ｘ−Ｚ断面）の主要部であり、右側には
光変調器２４０のマスクパターン２４１，ディスプレイ
デバイス２１０に表示される合成視差画像２１１、観察
者位置に照射される照射視差画像２９０が示してある。

【００４９】照射視差画像２９０は視差画像Ｇ（１），
Ｇ（２）の視差画像からなっており、同図は観察者の左
右眼Ｅｌ，Ｅｒが、それぞれ視差画像Ｇ（１），Ｇ
（２）の位置にある状態を示している。

【００５０】この状態から、観察者が左方に移動し、図
１１の状態になった場合，或いは右方へ移動し図１２の
状態になった場合、すなわち左右眼Ｅｌ，Ｅｒにそれぞ
れ視差画像Ｇ２，Ｇ１が観察される場合には逆立体視と
なり正常な立体観察は不可能となる。

【００５１】ここで、水平断面（Ｘ−Ｚ断面）での光学
系の構成条件を図６を用いて説明する。

【００５２】なお、本明細書においては各光学素子間の
距離を換算距離で取り扱う。換算距離とはディスプレイ
デバイス２１０、光変調器２４０においては、それぞれ
画像表示面、マスクパターン表示面、レンチキュラレン
ズ２２０，２３０においては、距離を測ろうとする側の
主点を夫々基準点として２つの光学系素子間の距離を空
気中の値に換算した所謂光学的距離である。

【００５３】同図に示すように、縦レンチキュラレンズ
２２０とマスクパターン２４１との距離（縦レンチキュ
ラーレンズ２２０のマスクパターン側の主点とマスクパ
ターン２４１との距離を空気中の値に換算した光学的間
隔）をＬｈ２、予め定められた観察位置から縦レンチキ
ュラーレンズ２２０までの距離（観察位置と縦レンチキ
ュラーレンズ２２０の観察者側の主点との空気中の値に
換算した光学的間隔）をＬｈ１，マスクパターン２４１
の透光部２４２の水平方向の幅をＨｍｗ、隣り合う透光
部までの水平方向のピッチをＨｍ，縦レンチキュラーレ
ンズ２２０を構成している縦シリンドリカルレンズのピ
ッチ（幅）をＨｌ、観察者の左右眼の間隔をEとすると
き、下記の条件を満たすように構成している。

【００５４】 2×E/Hm = Lh1/Lh2 …………………式１ Lh1/(Lh1+Lh2)＝ Hl/Hm…………………式２ 2×Hmw= Hm…………………式３次に、観察者の視点が変化した場合にも逆立体視の状態
が生ずることなく、常に正常な立体像を観察できる機能
について説明する。

【００５５】これまでの説明では、観察者の左右の目が
それぞれの目に対応した視差画像の照射される領域にあ
る場合には正常な立体視が可能であるが、そうでない場
合には逆立体視の状態になり、正常な立体視が不可能と
なった。

【００５６】これを解消するため本実施形態１ではシス
テムブロック図２に示すように、視点検出機構１２０に
より得られる観察者２８０の視点情報を受けて、光変調
器駆動回路３２０により、光変調器２４０に表示するマ
スクパターン２４１のパターン形状を視点に応じて変化
する構成となっている。

【００５７】後に詳述する視点検出機構１２０により視
点情報が得られれば、観察者の観察が変化した場合に
も、其の視点に立体視可能な照射視差画像領域を追従制
御することにより、逆立体視の状態が生ずることなく、
常に正常な立体像の観察が可能である。

【００５８】その作用について図１３〜図１６を用いて
説明する。

【００５９】図１３は図１０と同一状態であり、左右眼
Ｅｌ，Ｅｒはそれぞれ視差画像Ｇ（１），Ｇ（２）を観
察しており、正常な立体視の状態を表示している。

【００６０】このとき左右眼はそれぞれ照射視差画像２
９０の位置８，１１に位置しているが、この状態から観
察者が移動した場合、例えば図１４に示すように左右眼
がＧ（１），Ｇ（２）の３ヶの部分領域の一つ左隣の領
域（照射視差画像２９０の位置７，１０）に入った場合
はディスプレイの合成視差画像２１１はそのままで、マ
スクパターン２４１の透光部２４２を図のように１画素
左に移動する。これによって照射視差画像２９０は一画
素対応領域分だけ左に移動する。

【００６１】このように制御することで、観察者はＧ
（１），Ｇ（２）の３ヶの部分領域の一つ左隣の領域へ
移動したのにもかかわらず、それぞれの視差画像Ｇ
（１），Ｇ（２）の中央の部分領域で見ている状態が保
持される。

【００６２】また、観察者が右へ移動し、図１５のよう
に左右眼が照射視差画像の位置９，１２に位置している
状態では図示するように、ディスプレイの合成視差画像
２１１はそのままで、マスクパターン２４１の透光部２
４２を図のように１画素右へ移動することにより、照射
視差画像２９０は一画素対応領域分だけ右に移動する。
この状態から、さらに、観察者が右方へ移動した図１６
の状態では、合成視差画像２１１はそのままで、マスク
パターン２４１を図示のように更に１画素移動すること
により、照射視差画像２９０をさらに一画素対応領域分
右に移動できる。

【００６３】以下、観察者の左右の移動に対しては同様
の制御を行う。

【００６４】上記のように、２像の原視差画像から合成
された合成視差画像を用い、視点に応じてマスクパター
ンを順次切り換え表示することにより、対応する照射視
差画像領域を左右眼の位置に来るように制御することに
より、逆立体視の生じない常時安定した立体像観察が可
能となる。

【００６５】以上は、マスクパターンの透光部、遮光部
の構成画素数ｎがそれぞれ３ヶの場合について説明した
が、ｎが４以上の場合も同様である。

【００６６】次に、観察者の視点を検出する視点検出機
構（眼球検出機構）１２０について図１７〜２１を用い
て説明する。

【００６７】視点は観察者の眼の位置を追従制御に必要
十分な位置精度で検出することが必要である。図１７
は視点検出機構１２０のシステムブロック図である。同
図に於いて、１２０は視点検出機構の全体を示し、１２
１は観察者を撮影するためのビデオカメラ（撮像手段）
であり、このビデオカメラ１２１は撮影レンズ１２２，
ＣＣＤ等の撮像センサーを含む映像撮影手段１２３など
から成っている。

【００６８】撮影レンズ１２２はズームレンズより成
り、ズーム制御手段１２４に依って撮影レンズの焦点距
離が制御される。このズーム制御手段１２４は外部から
の制御信号により制御され、また撮影レンズの焦点距離
情報などのレンズ情報を外部に出力する。

【００６９】１２５はビデオカメラ１２１の雲台であ
り、ビデオカメラ１２１のパンとチルトを行う制御手段
を有しており、またカメラのパン、チルト位置情報を出
力する手段を有している。

【００７０】１２７は映像処理手段１２６と情報を授受
して、これらカメラの操作を制御するカメラ制御手段で
ある。

【００７１】１２６は映像処理手段であり、映像撮影手
段１２３の映像情報とカメラ制御手段１２７からの情報
をもとに視点検出に必要な画像処理を行うとともに、必
要に応じてズームレンズ１２２を制御したり、ビデオカ
メラ１２１のパン・チルト操作を行うための情報を生成
する。映像処理手段１２６で得られた視点情報は図２
の信号合成回路３３０に送られる。

【００７２】以下に視点検出機構１２０の作用を説明す
る。

【００７３】ビデオカメラ１２１は図１に示すようにデ
ィスプレイの正面の映像を取り込むように設置されてい
るため、観察者が通常ディスプレイを観察する状態では
観察者の顔の映像が撮像される。

【００７４】また、観察者がディスプレイの正面から外
れた位置にいて、観察者の顔情報が撮像されていない状
態では、後に記すように自動的に撮影レンズ１２２の焦
点距離が短焦点側にセットされるようになっているた
め、カメラの短焦点側の限界領域の範囲内に観察者の顔
が有れば顔を含む観察者の映像が撮影されることとな
る。

【００７５】図１８は撮影レンズ１２２が短焦点側にセ
ットされた状態で、ビデオカメラ１２１で撮影された観
察者２８０の映像２８１を示している。２８２は撮影さ
れた画面である。

【００７６】この図１８に示す顔映像から観察者の視
点、すなわち観察者の両眼位置を先に記した立体視制御
に必要十分な精度で検出出来れば目的は達するが、その
ためには、例えば撮像素子にＣＣＤを使用する場合には
画素数の大きな素子を必要とし、高価であり、また、画
素数の多い撮像素子から得られた情報量の多い映像情報
から直接目の位置を検出するには画像処理に時間がかか
り実用的ではない。

【００７７】そのため、本装置ではこの図１８に示した
顔映像に対して公知の「色情報を用いて特徴領域を抽出
する方法」を利用し、あらかじめ設定した肌色情報をも
とに映像処理手段１２６により観察者の顔位置を検出す
る。

【００７８】図１８の２８３はこの方法により検出され
た顔領域を示している。検出された顔領域２８３の中心
位置、及び大きさ情報をもとに、この顔領域が画面の中
央で、かつ、大きさが所定の大きさになるように映像処
理手段１２６からカメラ制御手段を介してズーム制御手
段１２４、およびカメラ雲台１２５に制御信号を送り、
カメラのズーム、パン、チルトを行う。

【００７９】図１９はその結果、カメラで撮影された観
察者の顔映像である。

【００８０】これ以降、観察者がディスプレイを観察中
は常時、顔領域が画面２８２の中央にあり、大きさが一
定であるように制御する。

【００８１】観察者が大きく移動し画面から完全に外れ
たり、また、観察者が規定以上の速い動きをした場合な
ど何らかの原因で顔領域の検出が出来なかった場合に
は、撮影レンズは短焦点側にセットされ再度短焦点側で
の顔領域探索が行われる。

【００８２】図２０は図１９の部分拡大図である。

【００８３】次にこの顔領域２８３内で公知の「テンプ
レートマッチング法」を利用した機能を有する映像処理
手段で両眼位置情報を検出する。

【００８４】図２１は映像処理手段の一要素を構成する
両眼のテンプレートを示している。２８４，２８５はそ
れぞれ左右眼のテンプレートである。このテンプレート
２８４，２８５には、観察者本人２８０のあらかじめ撮
影した両眼の画像、あるいは標準の目の画像を使用す
る。

【００８５】このテンプレートを用い図２０に示す顔領
域２８３の領域内でマッチング操作を実行し観察者の両
眼位置を検出する。

【００８６】図２０には両眼位置が検出された状態を示
す。この際両眼の探索はそれぞれの目について、ある程
度自由度を持たせ、独立に行う事により観察者の眼間の
ばらつきや視点の前後方向の移動による両眼位置のズレ
を吸収する。

【００８７】このようにして、目の位置が探索されれ
ば、公知の「テンプレートマッチング法」によって目の
テンプレート２８４，２８５を使用してトラッキングを
行い観察者の動きに応じた画面２８２上の目の位置情報
を得る。

【００８８】以上のようにして検出された画面２８２上
での両眼位置情報とこのときのカメラ制御手段１２７か
らのカメラのズーム、パン、チルト情報からディスプレ
イに対する視点情報を算出し、信号合成回路３３０に送
る。

【００８９】尚、目のテンプレート２８４，２８５はそ
の範囲を図２１に示したように目の近傍を含む目全体に
設定しても良いし、目の光彩の大きさ等目の部分領域に
設定しても良い。

【００９０】［実施形態２］本発明の実施形態１は左右
一対の視差画像を使用して、広い観察領域から正常な立
体視を可能とする画像表示装置である。

【００９１】これに対し、実施形態２は同時に表示され
る視差画像は実施形態１と同様に２ヶであるが、規定の
撮影条件で撮影された多数の視差画像を用いて観察者の
視点に応じた立体画像を逆立体視の状態の生ずることな
く常時正常に立体視できる、いわゆる回り込み表示の可
能な立体画像表示装置を提供する。

【００９２】実施形態２の立体画像表示装置を、図２２
から図３０を用いて、実施形態１と相違点を中心に説明
する。

【００９３】外観図は図１、システムブロック図は図
２、３Ｄウインド要部概略図は図３、マスクパターンの
正面図は図４の実施形態１と同様である。

【００９４】図２２は実施形態２で使用する視差画像の
合成法の説明図である。

【００９５】実施形態１で説明したように、マスクパタ
ーンの透光部、遮光部の構成画素数をそれぞれｎとし
て、左右眼対応の２ヶの視差画像g(i)，ｇ(i+ｎ)を図示
するように多数の横ストライプ状のストライプ画像に分
割し、視差画像g(i)，ｇ(i+ｎ)から作成されるストライ
プ画像g(i)j，ｇ(i+ｎ)jを走査線ごとにならべ換えて合
成視差画像g(i,i+ｎ)とする。

【００９６】合成に使用する原視差画像g(i),g(i+ｎ)は
以下の様にして作製する。

【００９７】図２３は、例えば複数のビデオカメラを使
用して原視差画像を作成方する法を説明する説明図であ
る（ＣＧによる視差画像の作製もこれに準ずる。）。

【００９８】一般に両眼視差方式の立体表示装置に使用
する視差画像は図２３(A)に示すように２台のカメラＧ
１，Ｇ２の光軸を平行にして、人間の両眼の間隔（眼間
距離）に相当する距離を離して撮影した画像を用いる。
静止画像の場合は１台のカメラを平行移動して撮影して
もよい。

【００９９】ただし、表示スクリーンの大きさ、観察者
からの距離、実物と表示画像の倍率などの条件によりカ
メラの光軸間距離、平行移動の距離を適宜設定する。

【０１００】実施形態１で使用した原視差画像のカメラ
間距離をEとした場合、実施形態２では図２３（Ｂ）に
示すように（１／ｎ）＊Eに等しいカメラ間距離で撮影
した複数の画像ｇ(１)，ｇ(２)，ｇ(３)、……を原視差
画像として使用する。

【０１０１】以下の説明では説明をわかりやすくするた
めn=3の場合について説明する。また、使用する視点情
報の検出は実施形態１に記した方法による。

【０１０２】立体画像表示の作用は光変調器２４０に表
示されるマスクパターン２４１の形状、およびディスプ
レイ２１０に表示される合成視差画像の内容が異なるだ
けで、実施形態１の図６〜図９と同様である。従って実
施形態１の図１０に相当する状態は図２４に示すように
なる。図２４において、左側の図はディスプレイの水
平断面図の主要部であり、右側には光変調器２４０のマ
スクパターン２４１，ディスプレイデバイス２１０に表
示される合成視差画像２１１、観察者位置に照射される
照射視差画像２９０が示してある。照射視差画像２９０
は視差画像g(i)，g(i+３)からなっており、同図は観察
者の左右眼Ｅｌ，Ｅｒが視差画像g(i)，g(i+３)の位置
にある状態を示している。

【０１０３】このまま状態で、観察者が左方に移動し、
図２５の状態になった場合，或いは右方へ移動し図２６
の状態になった場合、すなわち左右眼にそれぞれg(i+
３)，g(i)の視差画像が観察される場合には逆立体視と
なり正常な立体観察は不可能となる。

【０１０４】以下に、観察者の視点が変化した場合にも
逆立体視の状態が生ずることなく、常に正常な立体像の
観察が可能で、且つ観察者の動きに応じて視点の変化し
た立体画像の観察のできる、いわゆる回り込み表示が可
能な機能について図２７〜図３０を用いて説明する。

【０１０５】図２７は図２４と同一状態であり、このと
き左右眼は前述の通りそれぞれ視差画像g(i)，g(i+3)を
観察しており、正常な立体視の状態を表示している。

【０１０６】この左右眼がそれぞれ照射視差画像２９０
の位置８，１１に位置している状態から、観察者が移動
した場合、例えば図２８に示すように左右眼が３ヶの部
分領域の一つ左隣の領域７，１０に入った場合はディス
プレイの合成視差画像２１１は元g(i)、g(i+3))の視差
画像が表示されていたラインには、それぞれg(i+1)、g
(i+4)を表示し、マスクパターン２４１の透光部２４２
を図のように１画素左に移動する。これによって照射視
差画像２９０には図のように視差画像g(i+1)、g(i+4)が
表示される。

【０１０７】このように制御することで、観察者は左右
眼でそれぞれg(i+1)、g(i+4)を観察することとなり、正
常な立体視状態で視点の変化した画像を観察できる。

【０１０８】また、観察者が右へ移動した図２９の左右
眼が照射視差画像２９０の位置９，１２に位置している
状態では図示するように、ディスプレイの合成視差画像
２１１には図示のようにg(i-1)、g(i+2)を表示し、マス
クパターン２４１の透光部を図のように１画素右へ移動
することにより、照射視差画像２９０には図示のように
g(i-1)、g(i+2)が表示される。この状態から、さらに、
観察者が右方へ移動した図３０の状態では、合成視差画
像２１１にはg(i-2)、g(i+1)を表示し、マスクパターン
２４１を図示の状態に切り替えることにより、照射視差
画像２９０には視差画像g(i-2)、g(i+1)が図示の位置に
表示される。以下、観察者の左右の移動に対しては同様
の制御を行う。

【０１０９】上記のように、多数の視差画像を用い、視
点に応じてディスプレイに表示する合成視差画像とマス
クパターンを順次切り換え表示することにより、逆立体
視の生じない回り込み表示の可能な立体観察が可能とな
る。

【０１１０】以上は同時に表示する視差画像が２ヶで、
マスクパターンの透光部、遮光部が３ヶの画素からなる
場合を示したが、視差画像が３ヶ以上、透光部、遮光部
の画素が４ヶ以上の場合も装置の構成、制御方法を適切
に設定することにより同様の機能が達成できる。

【０１１１】［実施形態３］実施形態３は、実施形態２
と同様の効果を達成するための変形例である。

【０１１２】図３１は本実施形態３の３Ｄウインドウ部
の要部概略図である。

【０１１３】同図において、３５０はバックライト光源
（光源手段）、３４０は離散的な画素構造を有する光変
調器でその表示面にスリット状の透光部３４２、遮光部
３４３からなるマスクパターン３４１が形成されてい
る。透光部３４２は３ヶの画素３４４，３４５，３４６
から構成され、遮光部３４３も同様に３ヶの画素から構
成されている。

【０１１４】３１０は液晶パネル等で構成されるディス
プレイデバイスであり、其の表示面には縦ストライプ状
の左右眼対応の視差画像が表示される。

【０１１５】本実施形態３の場合には、ディスプレイデ
バイス３１０がカラー表示の液晶パネルであれば、カラ
ー表示のためのｒｇｂカラーフィルターは横ストライプ
方式を使用するなど表示画像のカラーバランスが正常と
なるよう考慮している。

【０１１６】ディスプレイデバイス３１０，光変調器３
４０のカバーガラスや、偏光板、そして電極などは省略
して示し、表示面の表示画像、マスクパターン形状は模
式的に表示している。Ｅｌ，Ｅｒはそれぞれ画像観察者
の左右眼を示す。

【０１１７】ここで、光変調器３４０に表示する透光
部、遮光部からなるマスクパターン３４１について図３
２を用いて説明する。

【０１１８】図３２は図３１に示したマスクパターン３
４１の正面図を示している。

【０１１９】同図に示すように、マスクパターン３４１
は水平方向のピッチＨｍの透光部３４２と遮光部３４３
から構成されている。透光部３４２は幅１画素の３ヶの
部分ストライプ３４４，３４５，３４６から構成され、
遮光部３４３も同様に３ヶのストライプから構成されて
いる。次に、ディスプレイデバイス３１０に表示する
視差画像について図３３を用いて、その合成方法を説明
する。

【０１２０】同図で左右眼対応の２ヶの視差画像g(i)，
ｇ(i+ｎ)を図示するように多数の縦ストライプ状のスト
ライプ画像に分割し、視差画像g(i)，ｇ(i+ｎ)から作成
されるストライプ画像g(i)j，ｇ(i+ｎ)jを走査線ごとに
ならべ換えて合成視差画像g(i,i+ｎ)とする。ただし、
合成に使用する原視差画像g(i),g(i+ｎ)は実施形態２で
説明した視差画像を利用する。

【０１２１】次に、図３４を用いて立体画像表示の作用
を説明する。

【０１２２】図３４は、３Ｄウインドウ部の水平断面図
である。

【０１２３】同図において、バックライト光源３５０か
らの光は、光変調器３４０のマスクパターン３４１の透
光部３４２から射出され、観察者の位置では照射視差画
像領域gs(i)、gs(i+ｎ)に照射される。

【０１２４】領域gs(i)に照射される光束は、光変調器
３４０と観察者との間に設けたディスプレイディバイス
３１０に表示された合成視差画像で変調されるが、図示
の状態では図３３で示した視差画像g(i)から合成された
ライン状のストライプ画像g(i)1，g(i)3，g(i)5，…を
通るため、、gs(i)の領域では視差画像Ｇ１が観察され
る。

【０１２５】ここで、マスクパターンの透光部２４２は
３ヶの画素２４４，２４５，２４６から構成されている
ため、各画素を通った光束はそれぞれ領域３４７，３４
８，３４９の部分領域を照射することとなる。

【０１２６】同様に、領域gs(i+ｎ)に照射される光束
は、光変調器３４０と観察者との間に設けたディスプレ
イディバイス３１０に表示された合成視差画像で変調さ
れるが、この場合は図３３で示した視差画像g(i+ｎ)か
ら合成されたライン状のストライプ画像g(i+ｎ)2 g(i+
ｎ)4，g(i+ｎ)6…を通るため、gs(i+ｎ)の領域では視差
画像g(i+ｎ)が観察される。

【０１２７】従って、視差画像g(i)，g(i+ｎ)を眼球Ｅ
ｌ，Ｅｒに対応した視差画像に設定し、この領域に両眼
を置くことにより観察者は左右の目でそれぞれの視差画
像を分離独立して観察する事になり、立体画像が観察で
きる。

【０１２８】ここで、水平断面での光学系の構成条件を
図３４を用いて説明する。

【０１２９】同図に示すように、マスクパターン３４１
とディスプレイデバイス３１０の距離をＬｗ２、予め定
められた観察位置からディスプレイデバイス３１０まで
の距離をＬｗ１，マスクパターン３４１の透光部３４２
の水平方向の幅をＨｍｗ、隣り合う透光部までの水平方
向のピッチをＨｍ、ディスプレイデバイス３１０の画素
幅をＰｈ、観察者の左右眼の間隔をEとするとき、下記
の条件を満たすように構成している。

【０１３０】 2×E/Hm = Lw1/Lw2 …………………式１ Lw1/(Lw1+Lw2)＝ 2×Ph/Hm …………………式２ 2×Hmw = Hm…………………式3 図３５〜図３７は立体視の様子を模式的に示す説明図で
ある。

【０１３１】図３５において、左側の図はディスプレイ
の水平断面図（Ｘ−Ｚ断面）の主要部であり、右側には
光変調器３４０のマスクパターン３４１，ディスプレイ
デバイス３１０に表示される合成視差画像３１１、観察
者位置に照射される照射視差画像３９０が示してある。
照射視差画像３９０は視差画像g(i)，g(i+ｎ)の視差画
像からなっており、同図は観察者の左右眼Ｅｌ，Ｅｒが
視差画像g(i)，g(i+n)の位置にある状態を示している。

【０１３２】このまま状態で、観察者が左方に移動し、
図３６の状態になった場合，或いは右方へ移動し図３７
の状態になった場合、すなわち左右眼にそれぞれg(i+
ｎ)，g(i)の視差画像が観察される場合には逆立体視と
なり正常な立体観察は不可能となる。

【０１３３】以下に、観察者の視点が変化した場合にも
逆立体視の状態が生ずることなく、常に正常な立体像の
観察が可能で、且つ観察者の動きに応じて視点の変化し
た画像の観察のできる、いわゆる回り込み表示が可能な
機能について図３８〜図４１を用いて説明する。

【０１３４】以下の説明では説明をわかりやすくするた
めn=3の場合について説明する。また、使用する視点情
報の検出は実施形態１に記した方法による。

【０１３５】図３８は図３５と同一状態であり、このと
き左右眼は前述の通りそれぞれ視差画像g(i)，g(i+3)を
観察しており、正常な立体視の状態を表示している。

【０１３６】この左右眼がそれぞれ照射視差画像３９０
の位置８，１１に位置している状態から、観察者が移動
した場合、例えば図３９に示すように左右眼が３ヶの部
分領域の一つ左隣の領域７，１０に入った場合はディス
プレイの合成視差画像３１１は元g(i)、g(i+3))の視差
画像が表示されていたラインには、それぞれg(i+1)、g
(i+4)を表示し、マスクパターン３４１の透光部３４２
を図のように１画素右に移動する。これによって照射視
差画像３９０には図のように視差画像g(i+1)、g(i+4)が
表示される。

【０１３７】このように制御することで、観察者は左右
眼でそれぞれg(i+1)、g(i+4)を観察することとなり、正
常な立体視状態で視点の変化した画像を観察できる。

【０１３８】また、観察者が右へ移動した図４０の左右
眼が照射視差画像３９０の位置９，１２に位置している
状態では図示するように、ディスプレイの合成視差画像
３１１には図示のようにg(i-1)、g(i+2)を表示し、マス
クパターン３４１の透光部３４２を図のように１画素左
へ移動することにより、照射視差画像３９０には図示の
ようにg(i-1)、g(i+2)が表示される。この状態から、さ
らに、観察者が右方へ移動した図４１の状態では、合成
視差画像３１１にはg(i-2)、g(i+1)を表示し、マスクパ
ターン３４１を図示の状態に切り替えることにより、照
射視差画像３９０には視差画像g(i-2)、g(i+1)が図示の
位置に表示される。以下、観察者の左右の移動に対して
は同様の制御を行う。

【０１３９】上記のように、多数の視差画像を用い、視
点に応じてディスプレイに表示する合成視差画像とマス
クパターンを順次切り換え表示することにより、逆立体
視の生ぜず回り込み表示の可能な立体観察が可能とな
る。

【０１４０】以上は同時に表示する視差画像が２ヶで、
マスクパターンの透光部、遮光部が画素３ヶからなる場
合を示したが、それぞれ視差画像が３ヶ以上、画素４ヶ
以上の場合も装置の構成、制御方法を適切に設定するこ
とにより同様の機能が達成できる。

【０１４１】［実施形態４］実施形態４は、実施形態１
〜３に改良を加え本発明の立体画像表示装置を使いやす
くしたものである。

【０１４２】実施形態４を、図４２から図４８を用いて
説明する。実施形態１〜３と同一機能を有する部材は同
一の番号を付して説明を省き、実施形態１〜３との相違
点を中心に説明する。

【０１４３】図４２は本実施形態４の外観図である。

【０１４４】実施形態１の外観図との相違点は、視点検
出機構４２０がディスプレイの上部に取り付けられてい
る点と、後に詳述する電気信号の切り替え用の切り換え
スイッチ４３１，４４１、視点検出機構４２０のビデオ
カメラ１２１の機能を手動で操作するためのカメラ操作
手段４５０、および、観察者が立体観察不可能領域にい
る場合や、視点検出機構４２０による視点検出が何らか
の理由で不能の場合に観察者に警告を発するための警告
手段４６０を有する点である。

【０１４５】カメラの操作手段４５０にはカメラの映像
を記録するためのセーブスイッチ４５１，カメラのズー
ム、パン、ティルトを操作するカメラ操作ボタン４５２
が備えられている。

【０１４６】図４３は実施形態４のシステムブロック図
である。

【０１４７】実施形態１のシステムブロック図２との相
違点は外観図４２で示した切り換えスイッチ４３１，４
４１をそれぞれその要素として含む信号切り換え手段
（１）４３０，信号切り換え手段（２）４４０と、カメ
ラ操作手段４５０、視点検出機構４２０のからの映像信
号を処理する信号処理手段４７０とその信号を記録する
為の映像信号記録手段４８０、および、視点検出手段４
２０からの情報で作動する警告手段４６０が付加された
点である。

【０１４８】視点検出機構４２０は実施形態１で説明し
たシステムブロック図２と同様のシステムとなっている
が、実施形態４では視点検出機構４２０は視点情報信号
とともに、撮影された映像情報信号を出力し、且つ、視
点検出機構４２０を構成するビデオカメラ１２１を操作
する情報をも入出力出来るように構成されている。

【０１４９】以下にそれぞれの部材の作用を説明する。

【０１５０】ディスプレイ表示部１１０の観察者がディ
スプレイ使用に際し、信号切り換えスイッチ（１）４３
１を操作することにより、視点検出機構４２０からの映
像信号、及びズーム、パン、チルト等のカメラ操作信号
が図４３に示した外部端子Aに出力される。

【０１５１】この映像信号、操作信号を利用して不図示
の公知の手段により、遠隔地との情報の交換が可能とな
り、視点検出機構４２０構成するビデオカメラ１２１が
ＴＶ会議用ビデオカメラ、あるいは、監視用カメラとし
て機能する。

【０１５２】したがって、本実施形態では視点検出機構
４２０がディスプレイの上部に取り付けられ、観察者の
視点を検出するために観察者の頭部を撮影するだけでな
く、TV会議用あるいは、監視用としてより広い範囲の撮
影でき、また、遠隔地からのカメラ操作が可能となって
いる。信号切り換えスイッチ（２）４４１は実施形態
１で説明した観察者本人の撮影映像を使用して目のテン
プレートを作製するためのスイッチである。

【０１５３】信号切り換えスイッチ（２）４４１を操作
するとディスプレイ駆動回路２６０は、通常の画像処理
手段２７０から信号処理手段４７０に接続が切り替わ
り、ディスプレイ２１０には、信号処理手段４７０の信
号処理結果が表示される。

【０１５４】信号処理手段４７０にはビデオカメラ１２
１で撮影された映像信号が供給されており、信号切り換
えスイッチ（２）４４１の操作によりディスプレイ２１
０にはその映像が表示される。

【０１５５】同時に信号処理手段４７０の作用によりデ
ィスプレイ２１０のほぼ中央に観察者の両眼に対応する
指標が重畳して表示される。

【０１５６】また同時に、信号切り換えスイッチ（２）
４４１に連動する信号処理手段４７０内の連動スイッチ
により視点検出機構４２０のビデオカメラ１２１のズー
ム、パン、ティルトなどのカメラ操作が手動に切り換わ
り、カメラ操作手段４５０を操作することにより信号処
理手段４７０を通してビデオカメラ１２１の操作を行う
ことが可能となる。

【０１５７】図４４はディスプレイ２１０に重畳する指
標を説明するための説明図である。

【０１５８】同図において、４８３はディスプレイの表
示画面であり、４８１，４８２は観察者の両眼に対応す
る、例えば円形の指標である。

【０１５９】この両指標４８１，４８２のそれぞれの大
きさは、規定のズーム倍率で、観察者が標準位置でディ
スプレイ２１０を観察するときの観察者の目、目を含む
その近傍、あるいは、目の光彩等の目の構成要素の大き
さに設定され、両者の間隔は観察者の映像の標準眼間距
離に設定されている。

【０１６０】一般に、観察者がディスプレイ２１０を観
察する場合には標準観察位置からずれた位置に位置する
ためあらかじめ設定した指標位置と両眼の像位置は一致
しない。そこで、先に記したカメラ操作手段４５０に設
けられたカメラ操作ボタン４５２を観察者が操作し、指
標位置に両眼を合致させる。

【０１６１】図４５は、指標４８１，４８２が観察者２
８０に重畳され、観察者２８０の映像２８１の目が指標
４８１，４８２に一致した状態でのディスプレイ画面４
８０を示している。

【０１６２】図４６はその拡大図であり、実施形態１で
説明した目のテンプレート２８４，２８５、顔領域２８
３が参考として表示してある。

【０１６３】観察者は目が指標４８１，４８２に一致し
たことを確認し、カメラ操作手段４５０に設けられたセ
ーブボタン４５１を操作することにより、観察者の目の
映像を映像記録装置４８０に記録する。

【０１６４】この記録された映像をテンプレート２８
４，２８５として使用し実施形態１に述べた方法により
視点情報を得る。

【０１６５】テンプレートとして汎用の映像を使用する
よりも観察者本人２８０の映像を使用した方が精度良く
位置情報が検出可能である。

【０１６６】本実施形態では観察者の顔映像を表示する
のにディスプレイ２１０を使用したが、勿論別の専用モ
ニターを使用することも可能である。

【０１６７】次に、図４２の警告手段４６０の作用につ
いて図４７，図４８を用いて説明する。

【０１６８】図４７は、観察者がディスプレイ表示部１
１０を観察している状態を上から見た様子の模式図、す
なわちディスプレイ表示部１１０の水平断面図で、実施
形態４の正常な立体観察の可能な領域を説明する説明図
である。

【０１６９】ただし、同図は、説明のために、視点検出
機構４２０の作用を仮に中止し、立体視追従機能を働か
せなかった場合を示している。

【０１７０】同図において、１１０はディスプレイ表示
部を示し、Ｅｌ，Ｅｒは標準観察位置Lh1での観察者の
左右眼を示す。Eは標準眼間距離である。

【０１７１】ディスプレイの表示部１１０は幅Ｗで内部
構成は実施形態１と全く同様のため、標準眼間距離に等
しい眼間距離の観察者の場合には、同図において太線で
記した四角形の領域内に観察者の視点が存在する場合に
観察者が正常に立体観察が可能である。ディスプレイ表
示部１１０面に垂直の方向（観察者の前後方向）では、
観察者とディスプレイ間の距離が図のLh1maxからLh1min
の範囲外では立体観察が出来ない。

【０１７２】眼間距離eの観察者、或いは顔を傾けて眼
間の水平成分の距離がeとなる場合にはLh1max、Lh1min
はそれぞれ図に示すようにLmax,Lminとなる。

【０１７３】ここで、視点検出機構４２０を作用させ、
立体視域追従機能を働かせた場合には、ディスプレ面に
平行な方向（観察者の左右方向）については、視点検
出、立体視域追従制御の可能な範囲で立体視の可能な範
囲が広がるが、垂直方向（前後方向）では立体視の可能
な範囲は変化せずLmax〜Lmin以外では正常な立体視が不
可能となる。

【０１７４】図４８は実施形態１の図２０に相当する実
施形態４のディスプレイ作動中の視点検出機構４２０の
撮影画像である。

【０１７５】観察者が前後した場合にも実施形態１で説
明したように、オートズーム機構の作用によりこの顔画
像の大きさは一定に保たれるが、そのときに検出される
テンプレートの両眼間隔の水平成分Teと撮影カメラのズ
ーム、パン、チルト情報から水平成分Teの実空間距離e
を算出し、その値からLmax,Lminを算出することによ
り、この前後領域外では立体視不能であることを警告手
段４６０を作動させることにより観察者に警告する。

【０１７６】また、実施形態２で記した顔領域の検出、
或いはテンプレートによる目の検出が何らかの理由で検
出不可能であった場合にもこの警告手段４６０を作動さ
せることが出来る。

【０１７７】本実施形態では、独立の警告手段を設けた
が、警告をディスプレイ表示部１１０に表示することも
可能である。

【０１７８】

【発明の効果】本発明によれば以上のように、（ア−１）観察者が移動し、視点が変化した場合にも、
視点を精度良く検出する検出有し、観察者が常時正常な
立体観察ができる。（ア−２）同時に表示される視差画像が左右両眼に対応
する２ヶの視差画像からなり、観察者が移動し、視点が
変化した場合にも逆立体視が生ずることなく常時正常な
立体観察が可能で、かつ視点に応じた画像の観察でき
る。（ア−３）視点検出用のビデオカメラをＴＶ会議用ビデ
オカメラなど、他用途に使用可能とすることや、観察者
が観察可能条件外に位置した場合に警告を表示して観察
者の利便性を高めたこと。などの効果を有した立体画像
表示装置を達成することができる。

【図面の簡単な説明】

【図１】本発明の実施形態１の外観図

【図２】本発明の実施形態１のシステムブロック図

【図３】本発明の実施形態１のディスプレイ表示部の腰
部概略図

【図４】本発明の実施形態１のマスクパターンの説明図

【図５】本発明の実施形態１の視差画像合成の説明図

【図６】本発明の実施形態１の光学作用の説明図

【図７】本発明の実施形態１の光学作用の説明図

【図８】本発明の実施形態１の光学作用の説明図

【図９】本発明の実施形態１の光学作用の説明図

【図１０】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１１】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１２】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１３】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１４】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１５】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１６】本発明の実施形態１の合成視差画像とマスク
パターンの表示方法の説明図

【図１７】本発明の実施形態１の視点検出機構のシステ
ムブロック図

【図１８】本発明の実施形態１の短焦点側での観察者の
映像を示す画面

【図１９】本発明の実施形態１の規定焦点での観察者の
映像を示す画面

【図２０】本発明の実施形態１の顔領域の拡大図

【図２１】本発明の実施形態１の目のテンプレートの説
明図

【図２２】本発明の実施形態２の視差画像合成の説明図

【図２３】本発明の実施形態２で使用する視差画像の撮
影方法の説明図

【図２４】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図２５】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図２６】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図２７】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図２８】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図２９】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図３０】本発明の実施形態２の合成視差画像とマスク
パターンの表示方法の説明図

【図３１】本発明の実施形態３のディスプレイ表示部の
腰部概略図

【図３２】本発明の実施形態３のマスクパターンの説明
図

【図３３】本発明の実施形態３の視差画像合成の説明図

【図３４】本発明の実施形態３の光学作用の説明図

【図３５】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図３６】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図３７】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図３８】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図３９】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図４０】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図４１】本発明の実施形態３の合成視差画像とマスク
パターンの表示方法の説明図

【図４２】本発明の実施形態４の外観図

【図４３】本発明の実施形態４のシステムブロック図

【図４４】本発明の実施形態４の重畳指標の説明図

【図４５】本発明の実施形態４の重畳指標と撮影像の説
明図

【図４６】本発明の実施形態４の重畳指標と撮影像の拡
大説明図

【図４７】本発明の実施形態４の立体視可能領域の説明
図

【図４８】本発明の実施形態４の検出眼間距離の説明図

【符号の説明】

１００立体画像表示装置本体１１０ディスプレイ表示部１１１３Ｄウインドウ１２０、４２０視点検出機構１２１視点検出機構のビデオカメラ１２２撮影レンズ１２３映像撮影手段１２４ズーム制御手段１２５カメラ雲台１２６映像処理手段１２７カメラ制御手段２１０ディスプレイ（ディスプレイデバイス）２１１、３１１合成視差画像２２０縦レンチキュラーレンズ（縦シリンドリカルレ
ンズアレイ）２３０横レンチキュラーレンズ（横シリンドリカルレ
ンズアレイ）２４０、３４０光変調器２４１、３４１マスクパターン２４４、３４４光変調器の透光部の画素２４５、３４５光変調器の透光部の画素２４６、３４６光変調器の透光部の画素２４２、３４２マスクパターンの透光部２４３、３４３マスクパターンの遮光部２４７、３４７照射視差画像部分領域２４８、３４８照射視差画像部分領域２４９、３４９照射視差画像部分領域２５０、３５０バックライト光源２６０ディスプレイ駆動回路２７０画像処理手段２８０観察者２８１観察者の画像２８２撮影画面２８３検出された顔領域２８４，２８５目のテンプレート２９０、３９０照射視差画像３２０光変調器駆動回路３３０信号合成回路４３０信号切り換え手段（１）４３１信号切り換えスイッチ１４４０信号切り換え手段（２）４４１信号切り換えスイッチ２４５０カメラ操作手段４５１セーブボタン４５２ズーム、パン、ティルトボタン４６０警告手段４７０信号処理手段４８０映像信号記録手段４８０ディスプレイ画面４８１、４８２重畳指標 E 観察者の標準眼間距離 E 観察者の眼間距離の水平成分 El 観察者の左眼 Er 観察者の右眼Ｇ(１)，Ｇ(２)、g(i)、g(i+n) 視差画像Ｇ(１,２)，g(i,i+n) 合成視差画像ＧＳ１，ＧＳ２，gs(i)、gs(i+n) 照射視差画像領域 Hl 縦レンチキュラーレンズを構成する縦シリンドリカ
ルレンズのピッチ幅 Hm マスクパターンの透光部の水平方向のピッチ幅Ｈｍｗマスクパターンの透光部の水平方向の幅 Lh1 観察者と縦レンチキュラーレンズとの換算距離 Lmax 立体視可能な観察者とディスプレイ間の最大距離 Lmin 立体視可能な観察者とディスプレイ間の最小距離 Lh1max 標準眼間距離での立体視可能な観察者とディス
プレイ間の最大距離 Lh1min 標準眼間距離での立体視可能な観察者とディス
プレイ間の最小距離 Lh2 縦レンチキュラーレンズとマスクパターンとの換算
距離Ｌｖ１ディスプレイデバイスと横レンチキュラーレン
ズとの換算距離Ｌｖ２横レンチキュラーレンズとマスクパターンとの
換算距離Ｌｗ１観察者とディスプレイデバイスとの換算距離Ｌｗ２ディスプレイデバイスとマスクパターンとの換
算距離ｎマスクパターンの透光部、遮光部を構成する画素の
数 Ph ディスプレイディバイス上のストライプ画素のＸ方
向の幅 Pv ディスプレイディバイス上のストライプ画素のＹ方
向の幅 Te 表示画像の眼間距離の水平成分 X,Y,Z 座標Ｖｌ横レンチキュラーレンズを構成する横シリンドリ
カルレンズのピッチ幅 Vm マスクパターンの透光部、遮光部の垂直方向の幅 W ディスプレイ表示部の幅

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/232 Ａ 5/232 Ｇ０６Ｆ 15/62 ３５０Ｖ (72)発明者森島英樹神奈川県横浜市西区花咲町６丁目145番地株式会社エム・アール・システム研究所内社内Ｆターム(参考） 2H059 AA12 AA18 AA38 5B050 BA09 BA12 EA03 EA05 EA07 EA12 EA13 EA19 EA26 FA02 FA06 5C022 AB13 AB21 AB66 AB68 AC18 AC27 AC54 5C061 AA06 AB03 5C082 AA27 BA47 BD02 CB01 MM10

Claims

【特許請求の範囲】

【請求項１】観察者の視点を検出する視点検出機構
と、観察者の左右両眼に対応した視差画像を視点情報に
追従制御して表示するディスプレイとデバイスとを用い
て、該視差画像を立体的に観察する立体画像表示装置に
おいて、該視点検出機構は、観察者を映像情報として取り込む撮像手段、該撮像手段で取り込まれた観察者の映像情報から顔領域
を検出し、該顔領域から観察者の両眼を検出する機能と
検出された両眼をトラッキングする機能を有した映像処
理手段、該映像処理手段で検出された顔領域を拡大、又
は縮小するカメラ制御手段、とを有していることを特徴
とする立体画像表示装置。
【請求項２】前記撮像手段は、ビデオカメラを有し、
前記カメラ制御手段は該ビデオカメラをパン・チルトす
る機構を有していることを特徴とする請求項１の立体画
像表示装置。
【請求項３】前記撮像手段からの映像信号、及び前記
カメラ制御手段からのズーム・パン・チルトの制御信号
を外部に取り出すための信号切り換え手段を有すること
を特徴とする請求項１又は２の立体画像表示装置。
【請求項４】前記映像処理手段は、取り込まれれた観
察者の映像情報から予め設定された色情報を識別するこ
とを特徴とする請求項１，２又は３の立体画像表示装
置。
【請求項５】前記予め設定された色情報は観察者の顔
の色、あるいは標準的肌色であることを特徴とする請求
項４の立体画像表示装置。
【請求項６】前記映像処理手段により予め設定された
情報を識別する際、取り込まれた映像情報の中にその色
に該当する領域が検出されなかった場合には、前記ビデ
オカメラの焦点距離を短焦点距離側に制御し、検出され
た場合には予め設定した焦点距離に制御することを特徴
とする請求項４、又は５の立体画像表示装置。
【請求項７】前記映像処理手段により予め設定された
色情報を識別する際、取り込まれた映像情報の中にその
色情報に該当する領域が検出されなかった場合には、そ
れを観察者にしらせるための警告手段を有することを特
徴とする請求項４，５又は６の立体画像表示装置。
【請求項８】前記映像処理手段は、取り込まれれた観
察者の映像情報から予め設定されたパターン領域を識別
することを特徴とする請求項８の立体画像表示装置。
【請求項９】前記予め設定されたパターンは観察者の
目、または標準的な目、目の近傍、あるいは光彩など目
を構成する部分画像であることを特徴とする請求項１の
立体画像表示装置。
【請求項１０】前記予め設定された色、あるいはパタ
ーンを観察者の顔映像情報から作成するための映像処理
手段、およびその情報を記録するための映像記録手段を
有することを特徴とする請求項１の立体画像表示装置。
【請求項１１】前記ビデオカメラで取り込まれた観察
者の顔映像情報をディスプレイ表示部に表示するための
切り換え手段を有することを特徴とする請求項１の立体
画像表示装置。
【請求項１２】前記ディスプレイ表示部に表示された
観察者の顔映像を観察者が手動で、表示画面上で予め定
められた位置、大きさに設定するための操作手段を有す
ることを特徴とする請求項１１の立体画像表示装置。
【請求項１３】前記映像処理手段は、パターン認識に
より特定パターンをトラッキングすることを特徴とする
請求項１の立体画像表示装置。
【請求項１４】前記特定パターンは観察者の目、また
は標準的な目、目の近傍、あるいは光彩など目を構成す
る部分画像であり、両眼をトラッキングしているときの
両眼間隔（ビデオカメラから見込む）が規定の値以外の
ときに警告を発する警告手段を有することを特徴とする
請求項１３の立体画像表示装置。
【請求項１５】離散的な画素構造を有する光変調器と
該光変調器の表示面に透光部と遮光部とを複数個、所定
のピッチで水平方向と垂直方向に配列したマスクパター
ンと、該光変調器に光を照射する光源手段と、離散的な
画素構造を有し走査線を利用して合成視差画像を表示し
たディスプレイと、該ディスプレイに表示した視差画像
に該マスクのパターンでパターン化した光束を照射し、
該視差画像に基づく光束を観察者の右目と左目に導光し
て、該ディスプレイに表示した画像情報を立体的に観察
する、ディスプレイデバイスと観察者の視点情報を検出
する視点検出機構を有する立体画像表示装置において、該合成視差画像を、左右眼に対応する２ヶの原視差画像
から構成し、該視点検出機構からの視点情報に基づき、
該マスクパターンのパターン形状、及び該合成視差画像
を構成する現視差画像を切り換えて表示することを特徴
とする立体画像表示装置。
【請求項１６】前記合成視差画像を構成する２ヶの原
視差画像は眼間距離対応した視点から観察した画像であ
ることを特徴とする請求項１５の立体画像表示装置。
【請求項１７】該光変調器のマスクパターンの透光部
の水平要素を複数の画素から構成し、観察位置に投射さ
れるストライプ状の照射領域を複数の領域に分割して制
御することを特徴とする請求項１５又は１６の立体画像
表示装置。
【請求項１８】ディスプレイに表示した視差画像に基
づく立体画像を観察する観察者を映像情報として取り込
む工程、該観察者の映像情報より該観察者の顔領域を検
出する工程、該観察者の顔領域から観察者の眼球を検出
する工程、該観察者の眼球をトラッキングする工程、該
検出した観察者の眼球より観察者の視点情報を検出する
工程、該観察者の視点情報に基づいて該ディスプレイに
表示する視差画像を追従制御する工程とを含むことを特
徴とする立体画像表示方法。
【請求項１９】前記取り込んだ観察者の映像情報と予
め設定した色情報とを識別する工程を含むことを特徴と
する請求項１８の立体画像表示方法。
【請求項２０】前記取り込んだ観察者の映像情報の中
に予め設定した色情報が存在しないときには、該観察者
の映像情報を取り込み方法を変化させる工程を含むこと
を特徴とする請求項１８又は１９の立体画像表示方法。
【請求項２１】前記取り込んだ観察者の映像情報の中
に予め設定した色情報が存在しないときには、警告信号
を発する工程を含むことを特徴とする請求項１９又は２
０の立体画像表示方法。