【発明の詳細な説明】
〔産業上の利用分野〕
本発明は．運動視差を用いた立体表示を行う運動視差立
体表示処理方式に関するものである．〔従来の技術〕
現在のＴＶ放送等の画像通信においては，画像を撮影す
るに当っての方向やアングル等は番組作威者の意志によ
り決定され，視聴者は半ば強制的にこの画像を見させら
れている。一方，監視を主たる目的とするシステム等に
おいては，ＴＶカメラを遠隔制御により左右及び上下に
回転駆動させたり，ＴＶカメラを一定の速度で回転させ
たりして観察できる機能を有している．
第１２図は．従来の実施例を示した構戒図である．図に
おいて，ｌ１０はＴＶ力Ｊラ． １２０はＴＶカメラ
駆動部．１３０は方向設定部．１４０は駆動制御信号，
ｌ５０は表示部である．ＴＶカメラ１１０の方向は，Ｔ
Ｖカメラ駆動部１２０によって上下及び左右に自由に設
定できる．ＴＶカメラ駆動部１２０はジョイスティック
等を用いた観察者の手動制御あるいはあらかじめ決めら
れたパターンによる自動制御等によって方向設定部１３
０から出力される駆動制御信号１４０によって動作する
．表示部１５０には２つのＴＶカメラ１１０からの両眼
視差を有する２つの画像信号が入力する．表示部１５０
はこの画像信号に基づいて２眼式立体画像表示を行う．
さらに，複数のＴＶカメラの出力を複数のＴＶモニタに
並列に表示したり．複数のＴＶカメラの出力を自動的あ
るいは手動で切り換えて１台のＴＶモニタに表示したり
して観察できる機能を有している．
〔発明が解決しようとする課題〕
しかし，これらのシステムにおいては．観察対象物を上
下及び左右からのぞき込んで観察できないこと，ジョイ
スティック等ツールを使用してカメラの方向設定を行う
必要がありヒューマンインタフェースが良くないこと．
等の欠点があった．本発明は，観察者の立場に立ったよ
り自然なヒューマンインタフェースを有する画像表示方
式並びに符号化処理を容易とする運動視差立体表示処理
方式を提供することを目的としている．〔課題を解決す
るための手段〕
本発明は．観察対象物を上下，左右及び斜め方向からの
ぞき込んで観察できるようにしたことにより観察したり
対象物を観察したい方向から自由に観察できるようにし
ており，観察者の頭部の方向あるいは視線の方向を検出
することにより．その検出方向に相当する２つの画像を
両眼に提示することを最も主要な特徴とする．
〔実施例〕
第１図は，本発明の第１の実施例であって．２０ａは画
像入力部（ａｌ，２０ｂは画像入力部山）．２０Ｃは画
像入力部（Ｃｌ． ２２０は入力切換部．２３０は両
眼視差を有する左右２つの画像から威る立体画像を表示
する表示部，２４０は視線方向検出部，２６０はＴＶカ
メラ駆動信号，２７０は入力切換信号である．また，
２００ａ， ２００ｂ， ２００ｃは立体画像を得るた
めの左右２眼から成るＴＶカメラであり．２１０ａ，
２１０ｂ， ２１０ｃはＴＶカメラ駆動部である．第２
図，第３図．第４図．第５図，第６図，第７図，第８図
は夫々第１の実施例に関する説明図であって，２４１は
水平方向検出部．２４２は垂直方向検出部．２４３は磁
気発生部，２４５は眼球方向検出部，２５０は磁気セン
サ部，３０１は対象物（Ｉ），３０２は対象物（ｎ），
３１１は画像入力部２０ａのＴＶカメラ２００ａと画
倣入力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角
，３１２は画倣入力部２０ｃのＴＶカメラ２００ｃと画
像入力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角
である．また， ４００ａ，４００ｂ． ４００ｃ．
４００ｅ． ４００ｆ． ４００ｇはそれぞれ頭部位直
を示す．４１１は頭部位置４００ｂと頭部位置４００ａ
とのなす角，４１２は頭部位置４００ｂと頭部位置４０
０ｃとのなす角，６ｌ３は頭部位置４００ｆと頭部位置
４００ｅとのなす角．６ｌ４は頭部位１４００ｆと頭部
位置４００ｇとのなす角である．以下，実施例について
詳細に説明する．
第１図において．各々のＴＶカメラ２００ａ， ２００
ｂ及び２００ｃによって撮影された立体画像信号は入力
切換部２２０によって切り換えられて表示部２３０に表
示される．入力切換部２２０は，視線方向検出部２４０
の検出結果，すなわち視線方向に応じて入力画像信号を
切り換える．また，ＴＶカメラ駆動部は視線方向検出部
２４０からのＴＶカメラ駆動信号２６０に基づいてＴＶ
カメラの垂直位置を制御する．第２図及び第３図は．視
線方向検出部の構威図である．視線方向検出部２４０は
，水平方向検出部２４１．垂直方向検出部２４２． Ｉ
気発生部２４３及び磁気センサ部２５０から構威される
．人間の頭部に取り付けた磁気センサ部２５０の検出出
力に応じて人間の頭部の水平方向の位置と向き及び垂直
方向の位置と向きを各々水平方向検出部２４１及び垂直
方向検出部２４２によって検出する．また．視線方向検
出部は第３図に示すように眼球方向検出部２４５を含む
構戒でも実現できる．なお，視線方向を検出する手段と
して頭部方向を検出する手段，頭部方向と眼球方向とを
検出し視線方向を検出する手段について説明したが，そ
の他いかなる視線方向検出手段を用いても本発明を実現
できることは明らかである．また，頭部方向を検出する
手段として磁気センサ部２５０を用いる方法について説
明したが．これに限ることな（ＴＶカメラ等を用いて頭
部位置を検出するようにしてもよく．その他いかなる頭
部検出方法を用いても本発明を実現できることは明らか
である。[Detailed Description of the Invention] [Industrial Application Field] The present invention... This paper relates to a motion parallax stereoscopic display processing method that performs stereoscopic display using motion parallax. [Prior Art] In current image communication such as TV broadcasting, the direction and angle for shooting an image are determined by the will of the program producer, and viewers are not forced to view the image. I'm forced to. On the other hand, systems whose main purpose is surveillance have functions that enable observation by rotating the TV camera horizontally and vertically by remote control, or by rotating the TV camera at a constant speed. Figure 12 is. This is a composition diagram showing a conventional example. In the figure, l10 is TV force J la. 120 is a TV camera drive unit. 130 is a direction setting section. 140 is a drive control signal,
l50 is a display section. The direction of the TV camera 110 is T
The V-camera drive unit 120 allows the camera to be freely set vertically and horizontally. The TV camera drive unit 120 controls the direction setting unit 13 by manual control by an observer using a joystick or the like or by automatic control using a predetermined pattern.
It operates according to the drive control signal 140 output from 0. Two image signals having binocular parallax from two TV cameras 110 are input to the display unit 150. Display section 150
performs a two-lens three-dimensional image display based on this image signal.
Furthermore, the output of multiple TV cameras can be displayed in parallel on multiple TV monitors. It has a function that allows the output of multiple TV cameras to be switched automatically or manually and displayed on a single TV monitor for observation. [Problems to be solved by the invention] However, in these systems. It is not possible to observe objects by looking up and down, left and right, and the human interface is not good as it is necessary to set the direction of the camera using tools such as a joystick.
There were drawbacks such as: The purpose of the present invention is to provide an image display method that has a more natural human interface from the perspective of an observer, and a motion parallax stereoscopic display processing method that facilitates encoding processing. [Means for Solving the Problems] The present invention. By making it possible to look into the object from above, below, left, right, and diagonally, it is possible to observe the object from the desired direction, and the direction of the observer's head or line of sight can be adjusted freely. By detecting. The main feature is that two images corresponding to the detection direction are presented to both eyes. [Embodiment] FIG. 1 shows a first embodiment of the present invention. 20a is an image input section (al, 20b is an image input section mountain). 20C is an image input unit (Cl. 220 is an input switching unit; 230 is a display unit that displays a stereoscopic image from two left and right images with binocular parallax; 240 is a line-of-sight direction detection unit; 260 is a TV camera drive signal; 270 is an input switching signal.
200a, 200b, and 200c are TV cameras consisting of two left and right eyes for obtaining stereoscopic images. 210a,
210b and 210c are TV camera drive units. Second
Figure, Figure 3. Figure 4. FIG. 5, FIG. 6, FIG. 7, and FIG. 8 are explanatory diagrams of the first embodiment, respectively, and 241 is a horizontal direction detection section. 242 is a vertical direction detection section. 243 is a magnetism generating section, 245 is an eyeball direction detecting section, 250 is a magnetic sensor section, 301 is an object (I), 302 is an object (n),
311 is the angle formed by the optical axes of the TV camera 200a of the image input section 20a and the TV camera 200b of the image input section 20b, and 312 is the angle between the TV camera 200c of the image input section 20c and the TV camera 200b of the image input section 20b. This is the angle formed by the optical axis. Also, 400a, 400b. 400c.
400e. 400f. 400g indicates the direct weight of each head. 411 is the head position 400b and the head position 400a
The angle 412 formed by the head position 400b and the head position 40
0c, and 6l3 is the angle between head position 400f and head position 400e. 6l4 is the angle formed by the head position 1400f and the head position 400g. Examples will be explained in detail below. In Figure 1. Each TV camera 200a, 200
The stereoscopic image signals taken by the input terminals b and 200c are switched by the input switching section 220 and displayed on the display section 230. The input switching unit 220 is connected to the line-of-sight direction detection unit 240
The input image signal is switched according to the detection result, that is, the direction of the line of sight. Furthermore, the TV camera drive unit is configured to drive the TV based on the TV camera drive signal 260 from the line-of-sight direction detection unit 240.
Control the vertical position of the camera. Figures 2 and 3 are. This is a diagram of the configuration of the line-of-sight direction detection unit. The line-of-sight direction detection section 240 includes a horizontal direction detection section 241. Vertical direction detection section 242. I
It is composed of the air generating section 243 and the magnetic sensor section 250. The horizontal position and orientation of the human head and the vertical position and orientation of the human head are detected by the horizontal direction detection unit 241 and the vertical direction detection unit 242, respectively, according to the detection output of the magnetic sensor unit 250 attached to the human head. do. Also. The line-of-sight direction detection section can also be realized by a construction system that includes an eyeball direction detection section 245 as shown in FIG. Note that although the means for detecting the head direction and the means for detecting the head direction and the eyeball direction to detect the line of sight direction have been described as means for detecting the line of sight direction, the present invention may be applied to any other line of sight direction detection means. It is clear that this can be achieved. Furthermore, the method of using the magnetic sensor section 250 as means for detecting the head direction has been described. The present invention is not limited to this (the head position may be detected using a TV camera, etc.).It is clear that the present invention can be realized using any other head detection method.
第４図は対象物と画像入力部の配置の関係を示した図で
ある．今，第４図においてＴＶカメラ２００ａ， ２０
０ｂ． ２００ｃが対象物（１） ３０１及び対象物（
ｎ）３０２に対して第４図に示すように配置されている
とする．第５図は．人間の頭部の位置と対象物との関係
を真上から図示した図である．今，第５図において，視
線方向検出部によって頭部位置が４００ｂの位置にある
ことが検出されると．人力切換部２２０によってＴＶカ
メラ２００ｂの出力画像信号が選択され表示部２３０に
表示される．ｇ部位置が４００ａの位置にあった場合に
は，同様に視線方向検出部２４０によって頭部位置が４
００８の位置にあることが検出され，入力切換部２２０
によってＴＶカメラ２００ａの出力画像信号が選択され
表示部２３０に表示される．また．ａ部位置が４００ｃ
の位置にあった場合には，同様に視線方向検出部２４０
によって頭部位置が４００ｃの位置にあることが検出さ
れ．入力切換部２２０によってＴＶカメラ２００ｃの出
力画像信号が選択され表示部２３０に表示される．した
がって．観察者は頭の位置を水平方向に動かすことによ
り．頭部位置が第５図の４００ａの位置にある場合には
第６図の＋ａｌに示す画像を．頭部位置が４００ｂの位
置にある場合には第６図の（ｂｌに示す画像を頭部位置
が４００ｃの位置にある場合には第６図の（Ｃｌに示す
画像を観察することができる．
ＴＶカメラ駆動部２１０は，視線方向検出部２４０の検
出結果に基づき各々のＴＶカメラ２００ａ． ２００ｂ
，２００ｃを垂直方向に駆動するとともに各々のＴＶカ
メラの仰角を制御する．第７図は，人間の頭部の位置と
対象物との関係を真横から図示した図である。今，第７
図において，視線方向検出部２４０によって頭部が頭部
位置４００ｅの位置にあることが検出されると，各々の
ＴＶカメラ駆動部２］．Ｏａ． ２１０ｂ２１０ｃによ
って各々のＴＶカメラ２００ａ． ２００ｂ， ２００
ｃが垂直方向に駆動されるとともにＴＶカメラの仰角が
制御されて第８図のｔｅｌに示す画像が表示部２３０に
表示される．ａ部が頭部位置４００ｆの位置にある場合
には同様に第８図のｉｆ）に示す画像が．頭部が頭部位
置４００ｇの位置にある場合には第８図のＴｇｌに示す
画像が表示部２３０に表示される．なお，本発明の実施
例においては．３台の画像入力部を用いた場合について
説明したが．さらに多数の画像入力部を用いても本発明
を実現できることは明らかである．さらに，本発明の実
施例において．画像入力部は水平方向に対して複数の位
置に複数台固定している場合について説明したが，頭部
の水平方向の動きに応して連続的に移動させることによ
って実現しても良く．その他いかなる画像入力手段を用
いても本発明を実現できることは明らかである．
また，本発明の実施例において，角度３１ＨＴＶカメラ
２００ａとＴＶカメラ２００ｂとのなす角）と角度４１
１（頭部位置４００ｂと頭部位置４００ａとのなす角）
との関係及び角度３１２（ＴＶカメラ２００ｃとＴＶカ
メラ２００ｂとのなす角）と角度４１２（頭部位置４０
０ｂと頭部位置４００ｃとのなす角）との関係について
は特に説明しなかったが，角度３１１と角度４１１が全
く等しい場合及び角度３１２と角度４１２が全く等しい
場合には．直接対象物体を見たときと同じように頭部の
位置と対象物体の位置の関係が全く同し関係で観察する
ことができる．また，垂直方向についても同様にＴＶカ
メラの仰角と角度６１３及び角度６１４が全く等しい場
合には．直接対象物体を見たときの頭部の位置と対象物
体の位置の関係が全く同し関係で観察することができる
。さらに，画像入力部を頭部の水平方向の動きに応じて
連続的に全く同様に移動させた場合には，直接対象物体
を見たときの頭部の移動量と対象物体の位置の関係が全
く同じ関係で観察することができる．なお，角度３１Ｈ
Ｔｖカメラ２００ａとＴＶカメラ２００ｂとのなす角）
を角度４１１ （！！１部位置４００ｂと頭部位置４０
０ａとのなす角）よりも大きく．同様に角度３１２（Ｔ
Ｖカメラ２００ｃとＴＶカメラ２００ｂとのなす角）
を角度４ｌ２（頭部位置４００ｂと頭部位置４００ｃと
のなす角）よりも大きくすると，直接対象物体を見たと
きの頭部の位置よりもさらに対象物体をのぞき込んだ画
像を観察することができ，平面のディスプレイを用いて
対象物体の裏側まで観察することができ，実効的に大き
な視野角を得ることができる．また．同様にＴＶカメラ
の仰角を角度６１３及び角度６１４よりも大きくすると
，上述したと同様の効果が垂直方向にも得られる．さら
に，ＴＶカメラを頭部の水平方向の動きよりも大きく連
続的に移動させた場合，ＴＶカメラを頭部の垂直方向の
動きよりも大きく連続的に移動させた場合等でも同様の
効果が得られる．
なお，本発明の実施例において，視線方向検出部２４０
の頭部方向検出結果に基づいて入力切換部２２０及びＴ
Ｖカメラ駆動部２１０によりＴＶカメラ２００を駆動し
たり，ＴＶカメラ出力を切り換えたりして，ａ部の動き
に応じた画像を表示部にリアルタイムで表示する手段を
用いるようにしたがこれに限ることなくあらかしめ多数
の画像を撮影して，この画像をＶＴＲ，磁気記録装置，
光ディスク等の画像記録装置に録画しておいて．観察者
の頭部の動きに対応して表示する方法を用いてもよく，
その他いかなる画像入力手段を用いても本発明を実現で
きることは明らかである。Figure 4 is a diagram showing the relationship between the object and the arrangement of the image input section. Now, in FIG. 4, TV cameras 200a, 20
0b. 200c is the object (1) 301 and the object (
n) 302 is arranged as shown in FIG. Figure 5 is. This is a diagram showing the relationship between the position of a human head and an object from directly above. Now, in FIG. 5, when the line-of-sight direction detection unit detects that the head position is at position 400b. The output image signal of the TV camera 200b is selected by the manual switching section 220 and displayed on the display section 230. When the g position is at the 400a position, the line of sight direction detection unit 240 similarly determines the head position at 400a.
008 is detected, and the input switching section 220
The output image signal of the TV camera 200a is selected and displayed on the display section 230. Also. A part position is 400c
Similarly, the line of sight direction detection unit 240
It is detected that the head position is at position 400c. The output image signal of the TV camera 200c is selected by the input switching section 220 and displayed on the display section 230. therefore. The observer moves his or her head horizontally. When the head position is at position 400a in Fig. 5, the image shown at +al in Fig. 6 is displayed. When the head position is at position 400b, the image shown in (bl) in Figure 6 can be observed, and when the head position is at position 400c, the image shown in (Cl) in Figure 6 can be observed. The TV camera drive unit 210 drives each TV camera 200a, 200b based on the detection result of the line-of-sight direction detection unit 240.
, 200c in the vertical direction and control the elevation angle of each TV camera. FIG. 7 is a diagram illustrating the relationship between the position of a human head and an object from the side. Now, the 7th
In the figure, when the line-of-sight direction detection unit 240 detects that the head is at the head position 400e, each TV camera drive unit 2]. Oa. 210b210c for each TV camera 200a. 200b, 200
c is driven in the vertical direction, the elevation angle of the TV camera is controlled, and the image shown at tel in FIG. 8 is displayed on the display section 230. Similarly, when part a is at the head position 400f, the image shown in if) of FIG. 8 is obtained. When the head is at the head position 400g, the image shown at Tgl in FIG. 8 is displayed on the display unit 230. In addition, in the embodiment of the present invention. We have explained the case where three image input units are used. It is clear that the present invention can also be implemented using a larger number of image input units. Furthermore, in an embodiment of the present invention. Although we have explained the case where multiple image input units are fixed at multiple positions in the horizontal direction, it may also be realized by moving them continuously according to the horizontal movement of the head. It is clear that the present invention can be implemented using any other image input means. In addition, in the embodiment of the present invention, the angle 31 (the angle between the HTV camera 200a and the TV camera 200b) and the angle 41
1 (Angle between head position 400b and head position 400a)
and the angle 312 (the angle between the TV camera 200c and the TV camera 200b) and the angle 412 (the head position 40
0b and the head position 400c), but if the angles 311 and 411 are completely equal, and if the angles 312 and 412 are completely equal. The relationship between the position of the head and the position of the target object can be observed in exactly the same way as when looking directly at the target object. Similarly, in the vertical direction, if the elevation angle of the TV camera and angles 613 and 614 are exactly equal. It can be observed that the relationship between the position of the head and the position of the target object when directly looking at the target object is exactly the same. Furthermore, if the image input unit is continuously moved in exactly the same way according to the horizontal movement of the head, the relationship between the amount of head movement and the position of the target object when looking directly at the target object is The exact same relationship can be observed. In addition, the angle 31H
angle between TV camera 200a and TV camera 200b)
The angle 411 (!! 1 part position 400b and head position 40
angle with 0a). Similarly, angle 312 (T
angle between the V camera 200c and the TV camera 200b)
When is made larger than the angle 4l2 (the angle formed by the head position 400b and the head position 400c), it is possible to observe an image that looks further into the target object than the position of the head when directly looking at the target object. , it is possible to observe the back side of the target object using a flat display, and it is possible to obtain a effectively large viewing angle. Also. Similarly, if the elevation angle of the TV camera is made larger than angles 613 and 614, the same effect as described above can be obtained in the vertical direction as well. Furthermore, the same effect can be obtained when the TV camera is continuously moved larger than the horizontal movement of the head, or when the TV camera is continuously moved larger than the vertical movement of the head. It will be done. Note that in the embodiment of the present invention, the viewing direction detection unit 240
The input switching unit 220 and T
Although the present invention uses means for displaying an image corresponding to the movement of section a in real time on the display section by driving the TV camera 200 by the V camera drive section 210 or switching the TV camera output, the present invention is not limited to this. A large number of images are taken at random, and these images are transferred to a VTR, magnetic recording device, etc.
Record it on an image recording device such as an optical disc. A method of displaying in response to the movement of the observer's head may also be used.
It is clear that the present invention can be implemented using any other image input means.
なお，本発明の実施例において表示部２３０について特
に説明しなかったが，表示部２３０としては，偏光メガ
ネあるいは液晶シャッターメガネ等の特殊なメガネを利
用した２眼弐立体画像表示装置やレンティキエラレンズ
を用いた多眼式メガネなし立体表示装置等を用いてもよ
く．その他いかなる立体画像表示手段を用いても本発明
を実現できることは明らかである．
したがって．ジライスティック等の操作なしに観察対象
物を上下，左右及び斜め方向からのぞき込んで観察でき
ること，観察したい対象物を観察したい方向から自由に
観察できること等観察者の立場に立ったより自然なヒュ
ーマンインタフェースを有する画像表示を実現できる．
第９図は，本発明の第２の実施例であって，８０】は画
像入力装ｆｆｌ， ８０２は画像入力装置２， ８０３
は画像入力装置３， ８１０はシーン切換部，８２０は
画像入力装置切換部，８３０はシーン切換信号である．
画像入力装置８０１， ８０２， ８０３，視線方向検
出部２４０及び表示部２３０の動作は実施例１と同様で
あるのでここでは説明を省略する．
ここで．Ｎ像入力装置８０１． ８０２及び８０３は全
く異なった対象物あるいはシーンを撮影できる場所に設
置されているものとする．観察者は．必要に応じてスイ
ッチ操作を行うことにより．全く異なった対象物あるい
はシーンを切り換えて観察することができる．なお．各
対象物あるいは各シーンにおいては．実施例ｌと全く同
様に頭部を動かすことにより観察対象物あるいはシーン
を上下及び左右からのぞき込んで自由に観察することが
できる．
第１０図は，本発明の第３の実施例であって．ｎは４以
上の整数であり， ９００１， ９００２． ９００３
， ・・・９００ｎはＴＶカメラ，９０１は画像入力部
（１）， ９０２は画像入力部（２）． ９０３は画像
入力部（３）＋−＋ ９ ０ ｎは画像入力部（ｎ）
である．また，９１０はＴＶカメラ駆動部．９３０は立
体画像表示部，９４０は表示画像選択部である．？！線
方向検出部２４０， ＴＶカメラ駆動信号２６０及び入
力切換信号２７０の動作は実施例１と同様であるのでこ
こでは説明を省略する。Although the display unit 230 has not been particularly described in the embodiments of the present invention, the display unit 230 may be a two-lens stereoscopic image display device using special glasses such as polarized glasses or liquid crystal shutter glasses, or a lenticular lens. It is also possible to use a multi-lens stereoscopic display device using glasses. It is clear that the present invention can be realized using any other stereoscopic image display means. therefore. It has a more natural human interface from the perspective of the observer, such as being able to look into the object from above and below, left and right, and diagonally without operating a dilistic, etc., and being able to freely observe the object from the direction that you want to observe. Image display can be realized. FIG. 9 shows a second embodiment of the present invention, in which 80] is an image input device ffl, 802 is an image input device 2, and 803 is an image input device ffl.
is the image input device 3, 810 is a scene switching section, 820 is an image input device switching section, and 830 is a scene switching signal.
The operations of the image input devices 801, 802, 803, the line-of-sight direction detection section 240, and the display section 230 are the same as in the first embodiment, so their explanation will be omitted here. here. N image input device 801. It is assumed that 802 and 803 are installed at locations where completely different objects or scenes can be photographed. The observer. By operating switches as necessary. You can switch and observe completely different objects or scenes. In addition. For each object or scene. Just as in Example 1, by moving the head, the user can freely observe the object or scene by looking at it from above, below, and from the left and right. FIG. 10 shows a third embodiment of the present invention. n is an integer of 4 or more, 9001, 9002. 9003
, . . 900n is a TV camera, 901 is an image input unit (1), 902 is an image input unit (2). 903 is an image input section (3) +-+ 9 0 n is an image input section (n)
It is. Also, 910 is a TV camera drive unit. 930 is a stereoscopic image display section, and 940 is a display image selection section. ? ! The operations of the line direction detection section 240, the TV camera drive signal 260, and the input switching signal 270 are the same as in the first embodiment, so their explanation will be omitted here.
第１１図は，対象物と画像入力部の配置の関係を示した
図であって．３０１は対象物（１）， ３０２は対象物
（ｎ）である，
第１０図，第１１図において，複数のＴＶカメラ９００
１， ９００２， ９００３． −， ９００ｉによっ
て撮影された画倣信号は表示画倣選択部９４０によって
選択されて立体画像表示部９３０に入力される．表示画
像選択部９４０は，視線方向検出部２４０の検出結果す
なわち視線方向に応じてその方向の画像を選択して表示
部へ出力する．表示画像選択部９４０は複数のＴＶカメ
ラによって撮影された複数画像群から立体表示部の立体
表示に必要な２つ以上の画像群を選択する．また，ＴＶ
カメラ駆動部９１０は視線方向検出部２４０からのＴＶ
カメラ駆動信号２６０に基づいてＴＶカメラの垂直位置
を制御する．立体画像表示部９３０としては，偏光メガ
ネあるいは液晶シャッターメガネ等の特殊なメガネを利
用した２眼式立体画像表示装置やレンティキュラレンズ
を用いた多眼式メガネなし立体表示装置等を用いてもよ
く．その他いかなる立体画像表示手段を用いても本発明
を実現できることは明らかである．したがって，ジツイ
ステインク等の操作なしに観察対象物を上下，左右及び
斜め方向からのぞき込んで観察できること，観察したい
対象物を観察したい方向から自由に観察できること等観
察者の立場に立ったより自然なヒューマンインタフェー
スを有する画像表示を実現できる．
なお．ここでは特に説明しないが，本実施例３に実施例
２を組み合わせて使用することも可能であることは明ら
かである．
〔発明の効果〕
以上説明したように，本発明によれば．観察者の頭部の
方向あるいは視線の方向を検出することにより，その検
出方向に相当する画像を両眼に提示するものであるから
観察対象物を上下，左右及び斜め方向からのぞき込んで
観察できることにより．観察したい対象物を観察したい
方向から自由に観察でき，観察者の立場に立ったより自
然なヒューマンインタフェースを有する画像表示方式並
びに符号化処理を容易とする画像表示方式を提供するこ
とができる利点がある．FIG. 11 is a diagram showing the relationship between the object and the arrangement of the image input section. 301 is an object (1), 302 is an object (n), and in FIGS. 10 and 11, a plurality of TV cameras 900
1, 9002, 9003. -, the image copy signal photographed by the 900i is selected by the display image copy selection section 940 and input to the three-dimensional image display section 930. The display image selection unit 940 selects an image in the direction according to the detection result of the line-of-sight direction detection unit 240, that is, the line-of-sight direction, and outputs the selected image to the display unit. The display image selection section 940 selects two or more image groups necessary for stereoscopic display on the stereoscopic display section from a plurality of image groups taken by a plurality of TV cameras. Also, TV
The camera drive unit 910 is connected to the TV from the line-of-sight direction detection unit 240.
The vertical position of the TV camera is controlled based on the camera drive signal 260. As the stereoscopic image display section 930, a two-lens stereoscopic image display device using special glasses such as polarized glasses or liquid crystal shutter glasses, a multi-lens stereoscopic display device using lenticular lenses without glasses, etc. may be used. ．． It is clear that the present invention can be realized using any other stereoscopic image display means. Therefore, it is possible to create a more natural human interface from the perspective of the observer, such as being able to look into the observed object from the top, bottom, left, right, and diagonal directions without having to perform any operations such as twisting, and being able to freely observe the desired object from the desired direction. It is possible to realize image display with In addition. Although not specifically explained here, it is clear that the third embodiment can be used in combination with the second embodiment. [Effects of the Invention] As explained above, according to the present invention. By detecting the direction of the observer's head or the direction of the line of sight, an image corresponding to the detected direction is presented to both eyes, making it possible to observe the object by looking up and down, left and right, and diagonally. ．． This has the advantage of being able to freely observe the object you want to observe from the direction you want to observe, providing an image display method that has a more natural human interface from the perspective of the observer, and an image display method that facilitates encoding processing. ．．
【図面の簡単な説明】[Brief explanation of drawings]
第１図は本発明の第１の実施例．第２図は視線方向検出
部の構成例，第３図は視線方向検出部の構威例．第４図
は対象物と画像入力部の配置の関係を示した図，第５図
は人間の頭部の位置と対象物との関係を真上から図示し
た図．第６図は第５図の説明図，第７図は人間の頭部の
位置と対象物との関係を真横から図示した図．第８図は
第７図の説明図．第９図は本発明の第２の実施例１第ｌ
Ｏ図は本発明の第３の実施例，第１１図は対象物と画像
入力部の配置の関係を示した図，第１２図は従来の例を
示した構戒図である．
図中，２０ａは画像入力部ｆａ＋，２０ｂは画像人力部
（ｂｌ，２０Ｃは画像入力部（Ｃ）． ２２０は入力
切換部，２３０は表示部，２４０は視線方向検出部，２
６０はＴＶカメラ駆動信号，２７０は入力切換信号，２
００ａ， ２００ｂ． ２００ｃは立体画像を得るため
の左右２眼から或るＴＶカメラ， ２１０ａ． ２１
０ｂ， ２１０ｃはＴＶカメラ駆動部．２４１は水平方
向検出部，２４２は垂直方向検出部，２４３は磁気発生
部，２４５は眼球方向検出部，２５０は磁気センサ部，
３０１は対象物（１），３０２は対象物（Ｉｆ）， ３
１１は画像入力部２０ａのＴＶカメラ２００ａと画像入
力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角，３
１２は画像入力部２０ｃのＴＶカメラ２００ｃと画像人
力部２０ｂのＴＶカメラ２００ｂとの光軸のなす角，
４００ａ， ４００ｂ，４００ｃ． ４００ｅ， ４０
０ｆ， ４００ｇはそれぞれ頭部位置．４１１は頭部位
置４００ｂと頭部位置４００ａとのなす角．４１２は頭
部位置４００ｂと頭部位置４００ｃとのなす角．６１３
は頭部位置４００ｆと頭部位置４００ｅとのなす角，６
１４は頭部位置４００１と頭部位置４００ｇとのなす角
．８０１は画像入力装置１． ８０２は画像入力装置２
． ８０３は画像入力装置３． ８１０はシーン切換部
．８２０は画像入力装置切換部．８３０はシーン切換信
号，ｎは４以上の整数であり， ９００１， ９００２
， ９００３．・・・９００ｎはＴＶカメラ．９０１は
画像入力部（１）， ９０２は画像入力部（２）． ９
０３は画像入力部（３），−， ９ ０ ｎは画像入
力部（ｎ）． ９１０はＴＶカメラ駆動部，９３０は立
体画像表示部，９４０は表示画像選択部， ３０１は
対象物（１）．３０２は対象物（Ｉｆ）である。Figure 1 shows the first embodiment of the present invention. Figure 2 shows an example of the configuration of the line-of-sight direction detection unit, and Figure 3 shows an example of the configuration of the line-of-sight direction detection unit. Figure 4 is a diagram showing the relationship between the target object and the arrangement of the image input section, and Figure 5 is a diagram showing the relationship between the position of the human head and the target object from directly above. Figure 6 is an explanatory diagram of Figure 5, and Figure 7 is a diagram showing the relationship between the position of a human head and an object from the side. Figure 8 is an explanatory diagram of Figure 7. FIG. 9 shows the first embodiment of the second embodiment of the present invention.
Figure O shows the third embodiment of the present invention, Figure 11 shows the relationship between the arrangement of the object and the image input section, and Figure 12 shows the composition of a conventional example. In the figure, 20a is an image input section fa+, 20b is an image input section (bl, 20C is an image input section (C), 220 is an input switching section, 230 is a display section, 240 is a gaze direction detection section, 2
60 is a TV camera drive signal, 270 is an input switching signal, 2
00a, 200b. 200c is a TV camera with two left and right eyes for obtaining stereoscopic images, 210a. 21
0b and 210c are TV camera drive units. 241 is a horizontal direction detection section, 242 is a vertical direction detection section, 243 is a magnetism generation section, 245 is an eyeball direction detection section, 250 is a magnetic sensor section,
301 is the object (1), 302 is the object (If), 3
11 is the angle formed by the optical axes of the TV camera 200a of the image input section 20a and the TV camera 200b of the image input section 20b; 3;
12 is the angle formed by the optical axes of the TV camera 200c of the image input unit 20c and the TV camera 200b of the image input unit 20b;
400a, 400b, 400c. 400e, 40
0f and 400g are head positions, respectively. 411 is the angle formed by the head position 400b and the head position 400a. 412 is the angle formed by the head position 400b and the head position 400c. 613
is the angle between the head position 400f and the head position 400e, 6
14 is the angle formed by the head position 4001 and the head position 400g. 801 is an image input device 1. 802 is image input device 2
．． 803 is an image input device 3. 810 is a scene switching section. 820 is an image input device switching unit. 830 is a scene switching signal, n is an integer of 4 or more, 9001, 9002
, 9003. ...900n is a TV camera. 901 is an image input section (1), and 902 is an image input section (2). 9
03 is an image input section (3), -, 90 n is an image input section (n). 910 is a TV camera drive unit, 930 is a stereoscopic image display unit, 940 is a display image selection unit, and 301 is an object (1). 302 is a target object (If).