JPH08313843A - Wide visual field and high resolution video presentation device in line of sight followup system - Google Patents
Wide visual field and high resolution video presentation device in line of sight followup systemInfo
- Publication number
- JPH08313843A JPH08313843A JP7116762A JP11676295A JPH08313843A JP H08313843 A JPH08313843 A JP H08313843A JP 7116762 A JP7116762 A JP 7116762A JP 11676295 A JP11676295 A JP 11676295A JP H08313843 A JPH08313843 A JP H08313843A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- sight
- field
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 66
- 230000003287 optical effect Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 210000001508 eye Anatomy 0.000 abstract description 19
- 238000003384 imaging method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000004371 high visual acuity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、臨場感の高い映像を
人に提示するための視線追従方式による広視野高解像度
映像提示装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a wide-field-of-view, high-resolution image presentation device that uses a line-of-sight tracking system for presenting a highly realistic image to a person.
【０００２】[0002]
【従来の技術】ＴＶカメラで撮影した情景を臨場感を持
って人に視覚的に表示したり、あるいはコンピュータの
中で作られた仮想的世界を人に臨場感を持ってグラフィ
ック表示するために、ヘッドマウントディスプレイが開
発されている。このヘッドマウントディスプレイは人の
左右両眼の前にそれぞれ独立に小形のＴＶモニタを配置
し、立体感のある映像を人に提示することを可能にする
装置である。2. Description of the Related Art In order to visually display a scene photographed by a TV camera to a person with a realistic sensation, or to display a virtual world created in a computer with a realistic sensation to a person. , Head mounted displays have been developed. This head-mounted display is a device in which a small TV monitor is independently arranged in front of both the left and right eyes of a person and it is possible to present a person with a stereoscopic image.
【０００３】一般には、ゴニオメータや磁気的な方法で
計測される頭の動きに応じて、ＴＶカメラあるいはコン
ピュータディスプレイ上に生成されるグラフィックス像
を操作し、そうして生成された映像を左右両眼のディス
プレイに提示することで、あたかもＴＶカメラの置かれ
た位置で外界を見ているかのような、あるいはコンピュ
ータグラフィックスが提示する映像の世界の中に実在し
てその世界を見ているかのような感覚を生成することが
できる。ヘッドマウントディスプレイはこうしたいわゆ
る人工現実感システムの視覚表示装置として注目されて
いるが、一方、左右両眼への映像提示に小形モニタを用
いるため、モニタの外枠が常に視野内に入り、臨場感が
損なわれるという欠点があることも指摘されている。Generally, a graphics image generated on a TV camera or a computer display is operated according to a head movement measured by a goniometer or a magnetic method, and the image thus generated is displayed on both left and right sides. By presenting on the eye display, it is as if you are looking at the outside world at the position where the TV camera is placed, or whether you are actually seeing the world in the world of images presented by computer graphics. Such a feeling can be generated. Head-mounted displays are attracting attention as visual display devices for such so-called artificial reality systems, but on the other hand, because a small monitor is used to present images to the left and right eyes, the outer frame of the monitor is always in the field of view, giving a sense of realism. It has also been pointed out that there is a drawback in that
【０００４】[0004]
【発明が解決しようとする課題】人は通常眼球の中心を
軸として視野角±４０゜の視野を有するといわれてい
る。従って、ヘッドマウントディスプレイではこの領域
をカバーする画面の大きさを有するＴＶモニタを両眼の
前方に配置しないと、人はＴＶモニタの枠が見えるた
め、結果的に提示される映像は枠を通して情景をのぞい
ているような感じを持つようになる。こうした問題を解
決する一つの方法は人の最大視野をカバーする画面を有
するＴＶモニタを導入することであるが、一般にＴＶモ
ニタに映像を表示する走査線の数は制限があるため（例
えば通常のＮＴＳＣ方式では走査線は５２５本、高品位
ＴＶモニタの走査線は１１２５本程度）、大きな画面の
ＴＶモニタを使うと像の解像度が低下する。この解像度
の低下は人にぼけた像を提示することになり、臨場感を
損なう一因となる。It is said that a person usually has a visual field with a visual angle of ± 40 ° about the center of the eyeball. Therefore, in a head-mounted display, unless a TV monitor having a screen size that covers this area is placed in front of both eyes, a person can see the frame of the TV monitor, and the resulting image is displayed through the frame. You will feel like you are looking into. One way to solve such a problem is to introduce a TV monitor having a screen that covers the maximum field of view of a person, but in general, the number of scan lines for displaying an image on the TV monitor is limited (for example, a normal monitor). In the NTSC system, there are 525 scanning lines and a high-definition TV monitor has 1125 scanning lines.) If a TV monitor with a large screen is used, the resolution of the image is lowered. This decrease in resolution presents a blurred image to people, which is one of the causes of impairing the sense of presence.
【０００５】この問題を解決するには、人の視力を損な
わない高解像度な映像を画面に表示できる走査線数の多
いＴＶモニタを開発することであるが、現状では人の視
野に対応する、高解像度ＴＶモニタを開発することは技
術的に困難である。この発明は、このような視野の狭い
現状のヘッドマウントディスプレイの視野を、解像度を
落とすことなく拡大する方法を提供すべく成されたもの
である。人は注視点（眼球の中心軸すなわち視線を向け
て見ている対象の位置）およびその狭い周囲でのみもの
がよく見えて（通常は視線を中心に±５゜の領域）、そ
れ以外の領域では像がぼけて見えるという現象が知られ
ている。この発明はこうした生体の特性に注目し、オプ
トメカトロニクス的方法により、広視野・高解像度なモ
ニタを用いたのと等価な像を操作者に提示できる装置に
関するものである。To solve this problem, it is necessary to develop a TV monitor having a large number of scanning lines capable of displaying a high-resolution image on the screen without impairing the human visual acuity, but at present, it corresponds to the human visual field. Developing a high resolution TV monitor is technically difficult. The present invention has been made to provide a method of expanding the field of view of such a current head mounted display having a narrow field of view without deteriorating the resolution. A person can see only the gazing point (the center axis of the eyeball, that is, the position of the object looking toward the line of sight) and its narrow area (usually within ± 5 ° of the line of sight), and other areas It is known that the image looks blurry. The present invention relates to a device capable of presenting an image equivalent to an image obtained by using a monitor with a wide field of view and high resolution to an operator by an optomechatronic method by paying attention to such characteristics of a living body.
【０００６】このような人の注視点及びその狭い周囲だ
けを高解像度に表示するためには、まず人の注視点すな
わち、人の視線を検出して、その人の視線に追従して高
解像度の映像を人に与えるのがうまい解決策である。こ
の特許出願の出願人は先にオプトメカトロニクス的方法
により人の視線を検出し、その人の視線に追従して高解
像度の映像を人に与えるヘッドマウントディスプレーを
提案した（平成５年特許願第１７４９３５号及び平成５
年特許願第２２２７９４号参照）。この先に提案された
視線追従型ヘッドマウントディスプレーは、作画装置と
映像提示装置と視線検出装置を備え、撮像装置はカメラ
装置と撮像方向制御装置とを有し、映像提示装置は、モ
ニタと接眼光学系とを備える。作画装置で撮影された映
像は処理されたのち、接眼光学系を通して装着者の眼球
に与えられる。装着者の眼球の視線が動くと、視線検出
装置で検出し、眼球の視線とモニタの中心とを一致さ
せ、また眼球の視線と一致するようにカメラ装置の向き
を変えるように構成したものであり、眼球の位置を正確
に測定して、その眼球の視線に対応した範囲の映像情報
だけを人の眼球に正面から与えるようにして映像情報を
絞り込んで解像度を上げることができるのであるが、視
線追従範囲が水平または垂直方向の一次元に制限される
という問題がある。In order to display only such a gazing point of a person and its narrow surroundings with high resolution, first, the gazing point of the person, that is, the line of sight of the person is detected, and the line of sight of the person is followed to obtain high resolution. It is a good solution to give people a video of. The applicant of this patent application has previously proposed a head mount display that detects a person's line of sight by an optomechatronics method and follows the person's line of sight to give a high-resolution image to the person (Japanese Patent Application No. 1993). No. 174935 and Heisei 5
See Japanese Patent Application No. 222794). The gaze-following head-mounted display proposed earlier includes an image drawing device, a video presentation device, and a visual line detection device, the imaging device includes a camera device and an imaging direction control device, and the video presentation device includes a monitor and an eyepiece optical system. And system. The image captured by the drawing device is processed and then given to the eyeball of the wearer through the eyepiece optical system. When the line of sight of the eyeball of the wearer moves, it is detected by the line-of-sight detection device, the line of sight of the eyeball and the center of the monitor are matched, and the direction of the camera device is changed so as to match the line of sight of the eyeball. Yes, by accurately measuring the position of the eyeball, it is possible to improve the resolution by narrowing down the video information so that only the video information in the range corresponding to the line of sight of the eyeball is given to the human eyeball from the front. There is a problem that the line-of-sight tracking range is limited to one dimension in the horizontal or vertical direction.
【０００７】この発明は上記の如き事情に鑑みてなされ
たものであって、広視野映像を提示することが可能であ
るとともに注視点において高解像度の映像を提示するこ
とができ、かつ、人の視線の検出が容易で、映像の追従
も良好に行うことができて、仮想現実感の実現を良好に
行うことができるとともに、装置の構成も簡単であり、
特に視線追従範囲を垂直・水平の２次元に拡張した投影
方式による眼球運動追従型視覚提示装置を提供すること
を目的とするものである。The present invention has been made in view of the above circumstances, and it is possible to present a wide-field image and a high-resolution image at the gazing point, and The line of sight can be easily detected, the image can be tracked well, the virtual reality can be realized well, and the device configuration is simple.
In particular, it is an object of the present invention to provide an eye movement tracking type visual presentation device by a projection method in which the line-of-sight tracking range is extended in two dimensions, vertical and horizontal.
【０００８】[0008]
【課題を解決するための手段】この目的に対応して、こ
の発明の視線追従方式による広視野高解像度映像提示装
置は、装着者の視線に対応した映像を作成する作画装置
と、前記作画装置で作成した映像を装着者に提示する映
像提示装置と、前記装着者の視線を検出する視線検出装
置とを備え、前記作画装置は広視野映像を作成する広視
野映像作画装置と前記広視野映像よりも狭い視野角で高
解像度の狭視野映像を作成する狭視野映像作画装置とを
含み、前記映像提示装置は、前記作画装置で作成した映
像を表示する表示装置と、前記装着者の眼球の前方に配
置されていて前記表示装置に表示された映像を透過する
接眼光学系と、前記接眼光学系に入射する狭視野映像の
位置を制御する映像位置制御装置とを備え、前記表示装
置は前記広視野映像を表示する広視野映像モニタと前記
狭視野映像を表示する狭視野映像モニタとを有しかつ前
記映像位置制御装置は直角をなす２軸のまわりに回転可
能なミラーと前記ミラーを回転駆動する駆動装置とを有
し、前記視線検出装置からの信号によって前記作画装置
を制御しかつ前記映像位置制御装置を制御するように構
成したことを特徴としている。To achieve this object, a wide-view high-resolution video presentation device according to the present invention of a line-of-sight tracking system is a drawing device for creating an image corresponding to the wearer's line of sight, and the drawing device. The image display device for presenting the image created in 1. to the wearer, and the line-of-sight detection device for detecting the line-of-sight of the wearer, wherein the drawing device creates a wide-field image and a wide-field image drawing device. A narrow-field image drawing device that creates a high-resolution narrow-field image with a narrower viewing angle than the display device that displays the image created by the image-drawing device; and the eyeball of the wearer. The display device includes an eyepiece optical system that is disposed in front and transmits an image displayed on the display device, and an image position control device that controls the position of the narrow-field image incident on the eyepiece optical system. Wide-field projection And a narrow-field image monitor for displaying the narrow-field image, and the image position control device includes a mirror rotatable about two axes forming a right angle and a drive for rotationally driving the mirror. And a device for controlling the drawing device and the image position control device according to a signal from the line-of-sight detection device.
【０００９】[0009]
【作用】眼球の動きに対し光学系を操作して、常に視線
がモニタの中心一点を見つめるようにすると同時に、モ
ニタの中心領域には、直接眼球の前にモニタが置かれて
いる場合に眼球が注視するはずの領域の像を高解像度で
提示し、その領域の周囲の映像を低解像度で提示する装
置であり、その映像は映像を透過させる接眼光学系を用
いて装着者の正面から装着者に与えられる。[Operation] The optical system is operated in response to the movement of the eyeball so that the line of sight always looks at one point in the center of the monitor, and at the same time, in the center area of the monitor, when the monitor is placed directly in front of the eyeball, Is a device that presents a high-resolution image of the area that should be gazed at, and presents a low-resolution image of the surrounding area of the area.The image is attached from the front of the wearer using an eyepiece optical system that transmits the image. Given to the person.
【００１０】まず、装着者の眼球の直前に接眼光学系を
配置し、接眼光学系の一点を見つめさせると、その視線
は接眼光学系を透過し、更にハーフミラーにより外部に
取り出される。その視線方向をモニタの中心を向くよう
に変更すると、光学系の双方向性から結果的に装着者は
接眼光学系を介して、モニタの中心を見ることが出来
る。一方、眼球が動き視線の向きが変わったときは、そ
れをモニタの中心を通る軸上に置かれたセンサで眼球の
動きを捉えて検知し、それに応じてミラーの向きを２次
元で制御して、常に視線の向きがモニタの中央に固定さ
れるようにする。また、これと同時に、眼球の動きに応
じて作画装置を制御して、眼球の運動に応じた視線方向
の映像がモニタ中央に映し出されるようにする。ミラー
の制御や作画装置の制御は視線信号発信装置からの眼球
の位置信号にもとづき、それぞれの制御装置が行う。First, when the eyepiece optical system is arranged immediately in front of the wearer's eyeball and one point at the eyepiece optical system is stared, the line of sight passes through the eyepiece optical system and is taken out by the half mirror. When the line-of-sight direction is changed to face the center of the monitor, the bidirectionality of the optical system allows the wearer to see the center of the monitor through the eyepiece optical system. On the other hand, when the eye moves and the direction of the line of sight changes, the sensor placed on the axis passing through the center of the monitor detects the eye movement and detects it, and the direction of the mirror is controlled in two dimensions accordingly. And always keep the line of sight fixed in the center of the monitor. At the same time, the drawing device is controlled according to the movement of the eyeball so that an image in the line-of-sight direction according to the movement of the eyeball is displayed at the center of the monitor. The control of the mirror and the control of the drawing device are performed by the respective control devices based on the eye position signal from the line-of-sight signal transmission device.
【００１１】[0011]
【実施例】図１（ａ），（ｂ）にこの発明の基本的考え
方を示す。例えば人が肉眼で対象物１０を見つめる場合
を考える。まず眼球が符号１５で示す位置にあってその
視線が５０の方向を向き、物体１０上の点Ｐ1 を注視す
るとする。また次に視線の向きを変えて、眼球を１５′
の位置に動かし、視線を５０′の方向に向けて、点Ｐ2
を注視する状況を想定する。この時、人の視覚系の特性
から、各眼球位置において人は注視点Ｐ1 ，Ｐ2 の近傍
で高分解能な映像を取得することができる。一方、注視
点からはなれた外方位置の状態は明瞭には判別できない
から、広画角・低分解能な映像を得ることができる。こ
うした視覚の特性を利用して、視線方向の注視点のみ常
に高分解能な映像を提示するようにして、等価的に広画
角・高分解能な映像を提示することを考える。DESCRIPTION OF THE PREFERRED EMBODIMENTS The basic idea of the present invention is shown in FIGS. 1 (a) and 1 (b). For example, consider a case where a person looks at the object 10 with the naked eye. First, it is assumed that the eyeball is at the position indicated by the reference numeral 15 and the line of sight thereof faces the direction of 50, and the point P 1 on the object 10 is focused. Next, change the direction of the line of sight and move the eyeball to 15 '.
To the point P 2 with the line of sight directed in the direction of 50 ′.
Imagine a situation of gazing at. At this time, due to the characteristics of the human visual system, the person can obtain a high-resolution image near the gazing points P 1 and P 2 at each eyeball position. On the other hand, since the state of the outer position deviated from the gazing point cannot be clearly discriminated, an image with a wide angle of view and low resolution can be obtained. Considering that such a visual characteristic is utilized, a high-resolution video is equivalently presented only at the gazing point in the line-of-sight direction, so that an equivalent wide-angle and high-resolution video is presented.
【００１２】そのために、図１（ａ）と等価なディスプ
レイ系として図１（ｂ）のような系を考える。すなわ
ち、まず図１（ｂ）の（イ）のように眼球の運動に応じ
てその視線方向にモニタの位置が動くディスプレイ系
と、図１（ｂ）の（ロ）に示すように、カメラの位置
Ｏ′および光軸が図１（ａ）の眼球の位置Ｏおよび視線
と一致するように置かれた撮像系を想定する。ここで眼
球が図１（ａ）の位置１５に対応する図１（ｂ）の位置
１５にある時に、カメラ装置５を視線５０の方向に向
け、点Ｐ1 を撮像してその注視点像を高解像度で視線５
０方向にモニタ１２２に写し、また、眼球が１５′に移
動したときはその動きを検出して、それに追従するよう
にモニタ１２２を視線５０′方向の１２２′の位置に動
かすと同時に、カメラもまたその視線５０′に一致する
方向に動かし、点Ｐ2 を撮像してその注視点像を高解像
度で位置１２２′にあるモニタ１２２に写す。ここでモ
ニタの大きさを高視力を有する眼球の狭視野をカバーす
る程度の大きさにすれば、人は図１（ｂ）のシステムで
も図１（ａ）とほぼ同様の映像を受容することができ
る。ここで、図１（ｂ）の（イ）のようにモニタ１２２
を動かせば、対象物１０の全面を一度に提示する固定モ
ニタを用いる場合よりも、小さい画面のモニタで同様の
像の提示効果を得ることが出来るから、同一走査線数の
モニタを利用する場合、より解像度の高い像を提示する
ことが可能になる。次に狭視野映像の作成と同様に、広
視野映像も装着者の視線と一致させて作成し、人が低視
力となる眼球の広視野をカバーする程度の大きさのモニ
タに提示し、狭視野映像を広視野映像中にスーパーイン
ポーズして装着者に与える。ただし、図１（ｂ）の
（イ）のようにモニタ１２２を高速な眼球の動きに応じ
て動かすのは困難であるから、この発明ではこれと等価
な効果を、光学系を用いて実現することを考える。Therefore, a system as shown in FIG. 1B is considered as a display system equivalent to that shown in FIG. That is, first, as shown in (a) of FIG. 1 (b), a display system in which the position of the monitor moves in the direction of the line of sight according to the movement of the eyeball, and as shown in (b) of (b) of FIG. Assume an imaging system placed so that the position O ′ and the optical axis coincide with the position O and the line of sight of the eyeball in FIG. Here, when the eyeball is at the position 15 in FIG. 1B corresponding to the position 15 in FIG. 1A, the camera device 5 is directed toward the line of sight 50, the point P 1 is imaged, and the gazing point image is obtained. Line of sight 5 with high resolution
The image is displayed on the monitor 122 in the 0 direction, and when the eyeball moves to 15 ′, the movement is detected and the monitor 122 is moved to the position of 122 ′ in the direction of the line of sight 50 ′ so as to follow the movement, and at the same time, the camera is also moved. Further, it is moved in a direction corresponding to the line of sight 50 ', the point P 2 is imaged, and the gazing point image is captured with high resolution on the monitor 122 at the position 122'. Here, if the size of the monitor is set to a size that covers the narrow visual field of the eyeball having a high visual acuity, a person can receive an image similar to that of FIG. 1A even in the system of FIG. 1B. You can Here, as shown in (a) of FIG.
When a monitor with the same number of scanning lines is used, a similar image presentation effect can be obtained on a monitor with a small screen, as compared with the case where a fixed monitor that presents the entire surface of the object 10 at a time is used. , It becomes possible to present a higher resolution image. Next, as in the case of creating a narrow-field image, a wide-field image is created so as to match the wearer's line of sight, and is presented on a monitor that is large enough to cover the wide field of view of the eye where people have low vision. The field-of-view image is superimposed on the wide-field image and given to the wearer. However, since it is difficult to move the monitor 122 according to the high-speed movement of the eyeball as shown in (a) of FIG. 1B, in the present invention, an effect equivalent to this is realized by using an optical system. Think about it.
【００１３】以下に、その詳細を一実施例を示す図面を
用いて説明する。図２において、１は広視野高解像度映
像提示装置である。広視野高解像度映像提示装置１は右
眼用装置１００ａと左眼用装置１００ｂを備えている。
右眼用装置１００ａは装着者１４の右眼１５ａに与える
映像を取扱う装置であり、左眼用装置１００ｂは装着者
１４の左眼１５ｂに与える映像を取扱う装置であるが、
右眼用装置１００ａと左眼用装置１００ｂとは対称的な
構成であるので、ここでは右眼用装置１００ａについて
説明する。右眼用装置１００ａは作画装置２と映像提示
装置３と視線検出装置４とを備えている。作画装置２は
主としてモニタで提示すべき映像を作成するための装置
である。作画装置２はコンピュータグラフィックス装置
や対象物１０を撮影して映像を作成する撮像装置２ａで
構成することができるが、いずれの場合も、その作成さ
れる映像は装着者１４の視線５０に対応した内容のもの
であって、したがって装着者１４の視線５０が変われば
映像の内容も変るものである。以下に説明する実施例で
は作画装置２として対象物１０を撮影して映像を作成す
る撮像装置２ａを用いる場合について説明する。又、映
像提示装置３は、装着者１４に作画装置２で作成した映
像を提示するための装置である。又、視線検出装置４は
装着者１４の眼球運動を測定して視線を検出し作画装置
２（撮像装置２ａ）及び映像提示装置３を制御するため
の装置である。The details will be described below with reference to the drawings showing an embodiment. In FIG. 2, reference numeral 1 is a wide-view high-resolution video presentation device. The wide-view high-resolution image presentation device 1 includes a right-eye device 100a and a left-eye device 100b.
The device for right eye 100a is a device for handling an image given to the right eye 15a of the wearer 14, and the device for left eye 100b is a device handling an image given to the left eye 15b of the wearer 14,
Since the right-eye device 100a and the left-eye device 100b have symmetrical configurations, the right-eye device 100a will be described here. The right-eye device 100a includes a drawing device 2, a video presenting device 3, and a line-of-sight detecting device 4. The drawing device 2 is a device mainly for creating an image to be presented on a monitor. The drawing device 2 can be configured by a computer graphics device or an image pickup device 2a that shoots an image of the object 10 and creates a video. In either case, the created video corresponds to the line of sight 50 of the wearer 14. Therefore, if the line-of-sight 50 of the wearer 14 changes, the content of the image also changes. In the embodiment described below, a case will be described in which an imaging device 2a that captures an image of the object 10 and creates an image is used as the drawing device 2. The video presentation device 3 is a device for presenting the video image created by the drawing device 2 to the wearer 14. The line-of-sight detection device 4 is a device for measuring the eye movement of the wearer 14 to detect the line of sight and controlling the drawing device 2 (imaging device 2a) and the image presentation device 3.
【００１４】撮像装置２ａは対象物１０を撮影するカメ
ラ装置５とカメラ装置５の撮像方向を制御する撮像方向
制御装置６とを備えている。カメラ装置５はこの実施例
では一対の広視野用ＴＶカメラ５Ａ，狭視野用ＴＶカメ
ラ５ａを備え、また撮像方向制御装置６は、ハーフミラ
ー６０Ａ、ミラー６０ａ、スキャナー６１Ａ，６１ａ、
スキャナ駆動回路６２、スキャナコントローラー６３か
らなっている。The image pickup device 2a comprises a camera device 5 for taking an image of the object 10 and an image pickup direction control device 6 for controlling the image pickup direction of the camera device 5. In this embodiment, the camera device 5 includes a pair of wide-view TV camera 5A and narrow-view TV camera 5a, and the imaging direction control device 6 includes a half mirror 60A, a mirror 60a, and scanners 61A and 61a.
It is composed of a scanner drive circuit 62 and a scanner controller 63.
【００１５】広視野用ＴＶカメラ５Ａ、狭視野用ＴＶカ
メラ５ａは自動焦点機能を備えていて、ＴＶカメラ５
Ａ、及び５ａの焦点は対象物１０の表面上の同一点Ｐに
一致している。広視野用ＴＶカメラ５Ａで撮像された広
視野映像４０は画像処理装置１２Ａで画像処理された後
に広視野用モニタ２４Ａに表示される。狭視野用ＴＶカ
メラ５ａで撮像された狭視野映像４１は画像処理装置１
２ａで画像処理された後に狭視野用モニタ２４ａに表示
される。ここで注意すべき点は、広視野映像４０と狭視
野映像４１とは後にスーパーインポーズにより重ね合わ
されるのであるが、広視野映像４０中の中央で狭視野映
像４１が重ね合わされるべき部分は映像が欠除されて存
在しない。このような広視野映像４０の画像処理は画像
処理装置１２Ａで行われる。広視野映像４０と狭視野映
像４１は映像提示装置３の接眼光学系１３に送られる。The wide-view TV camera 5A and the narrow-view TV camera 5a have an autofocus function,
The focal points of A and 5a coincide with the same point P on the surface of the object 10. The wide-field video 40 captured by the wide-field TV camera 5A is displayed on the wide-field monitor 24A after being image-processed by the image processing device 12A. The narrow-field image 41 captured by the narrow-field TV camera 5a is the image processing device 1
The image is processed at 2a and then displayed on the narrow-field monitor 24a. The point to be noted here is that the wide-field image 40 and the narrow-field image 41 are superposed later by superimposing, but the portion of the wide-field image 40 where the narrow-field image 41 should be superposed is the center. The image is missing and does not exist. Image processing of such a wide-field video 40 is performed by the image processing device 12A. The wide-field image 40 and the narrow-field image 41 are sent to the eyepiece optical system 13 of the image presentation device 3.
【００１６】映像提示装置３は一対の接眼光学系１３を
有する。また表示装置として広視野用モニタ２４Ａ、狭
視野用モニタ２４ａとを有する。更に映像位置制御装置
１０１を有する。接眼光学系１３は接眼レンズ２９ａ，
２９ｂで構成され、或るいは平成５年特許願第１７４９
３５号及び平成５年特許願第２２２７９４号明細書、図
面に記載されたものを使用することができる。The image presentation device 3 has a pair of eyepiece optical systems 13. Further, it has a wide-field monitor 24A and a narrow-field monitor 24a as display devices. Further, the image position control device 101 is provided. The eyepiece optical system 13 includes an eyepiece lens 29a,
29b, or 1993 patent application No. 1749
No. 35 and 1993 Patent Application No. 222794, and those described in the drawings can be used.
【００１７】この映像位置制御装置１０１は、人間の視
覚が視線方向の一定領域にのみ高解像度の像を受容する
能力を持つことに着目し、視線検出によって得られた視
線方向の一定領域に高解像度の狭視野映像４１を提示
し、その周囲には低解像度だが広視野の広視野映像４０
を提示することによって、広視野で高解像度の映像を提
示したのと同じ効果を得るためのものである。視線追従
範囲を垂直・水平の２次元に拡張した点がこの発明の視
線追従による映像位置制御装置１０１の特徴である。This video position control device 101 is focused on the fact that human vision has the ability to receive a high-resolution image only in a certain area in the line-of-sight direction, and a high level in the certain area in the line-of-sight direction obtained by line-of-sight detection. A wide-field image 40 of low resolution but wide field is presented around the narrow-field image 41 of resolution.
By presenting, the same effect as presenting a high-resolution image with a wide field of view is obtained. The feature of the image position control device 101 according to the present invention is that the line-of-sight tracking range is expanded vertically and horizontally two-dimensionally.
【００１８】その基本原理は、図２に示すように、まず
同種の２つの広視野用モニタ２４Ａ、狭視野用モニタ２
４ａの映像から対物レンズ３０Ａ，３０ａにより、それ
ぞれ広視野・低解像度の広視野映像４０と狭視野・高解
像度の狭視野映像４１が生成する。低解像度の広視野映
像４０はハーフミラー３１を透過し、高解像度の狭視野
映像４１は、ハーフミラー３１を反射させることによっ
てスーパーインポーズした映像を装着者１４に投影す
る。そして後述する視線検出装置４によって検出された
視線方向データに応じて狭視野映像４１を常に視線方向
に一致するように提示させるものである。そして狭視野
映像の提示位置を視線方向に常に一致させるためには、
水平・垂直の両方向に視線追従範囲を拡張することは不
可欠であり、そのためには入射した狭視野映像４１をハ
ーフミラーなどの反射によって、２次元に移動追従させ
る機構が必要になる。高解像度の狭視野映像を２次元移
動を実現させる機構としてはジンバルを使用したジンバ
ル方式と分離した２軸を使用した分離制御方式が考えら
れる。As shown in FIG. 2, the basic principle is that first, two wide-field monitors 24A and two narrow-field monitors 2 of the same type are used.
A wide-field / low-resolution wide-field image 40 and a narrow-field / high-resolution narrow-field image 41 are generated from the image 4a by the objective lenses 30A and 30a, respectively. The low-resolution wide-field image 40 is transmitted through the half mirror 31, and the high-resolution narrow-field image 41 is projected on the wearer 14 by superimposing the image by reflecting the half mirror 31. Then, the narrow-field image 41 is presented so as to always match the line-of-sight direction in accordance with the line-of-sight direction data detected by the line-of-sight detection device 4 described later. And in order to always match the presentation position of the narrow-field video with the line-of-sight direction,
It is indispensable to extend the line-of-sight tracking range in both horizontal and vertical directions, and for that purpose, a mechanism for moving and tracking the incident narrow-field image 41 in two dimensions by reflection by a half mirror or the like is required. A gimbal method using a gimbal and a separation control method using two separate axes are conceivable as a mechanism for realizing two-dimensional movement of a high-resolution narrow-field image.
【００１９】まずジンバル方式を図３について説明す
る。図３はジンバル方式の構成を示している。ハーフミ
ラー３１を駆動する駆動装置であるスキャナー３５，３
６とハーフミラー３１の部分をジンバル３２によって２
軸化し直交する回転軸３３，３４に関して回転可能とし
たものである。この方式では映像光路が短く光学設計も
容易で、機器配置のための位置調整などが簡単である。
しかしながらこの方式では、狭視野映像４１を垂直に移
動させるために、スキャナー３５，３６で２軸とも動か
す必要があり、かつこの場合には図４に示すように映像
の回転が発生する。First, the gimbal method will be described with reference to FIG. FIG. 3 shows the configuration of the gimbal system. Scanners 35 and 3 which are driving devices for driving the half mirror 31
6 and the half mirror 31 by the gimbal 32
The rotation axes 33 and 34 are axially and orthogonally rotatable. With this method, the image optical path is short, the optical design is easy, and the position adjustment for equipment placement is easy.
However, in this method, in order to move the narrow-field image 41 vertically, it is necessary to move both axes by the scanners 35 and 36, and in this case, image rotation occurs as shown in FIG.
【００２０】次に分離制御方式を図５について説明す
る。図５は分離制御方式の構成を示している。これは構
成にさらにミラー３７を追加し、駆動装置である２つの
スキャナー４２，４３によって別個に配置した回転軸４
４，４５に取付けた別個のハーフミラー３１、ミラー３
７を回転させ狭視野映像４１の水平・垂直方向移動を別
々に制御する方式である。この方式では、ジンバル方式
に比べ映像光路が長くなるが、図６に示すように狭視野
映像４１はスキャナー４２により垂直方向に、スキャナ
ー４３により水平方向に移動可能であるため、制御が容
易で、かつ映像の回転が発生しない。Next, the separation control method will be described with reference to FIG. FIG. 5 shows the configuration of the separation control method. This is a structure in which a mirror 37 is further added to the configuration, and the rotary shaft 4 which is separately arranged by the two scanners 42 and 43 which are drive devices.
Separate half mirror 31, mirror 3 attached to 4, 45
This is a method in which the horizontal and vertical movements of the narrow-field image 41 are controlled separately by rotating 7 of the images. In this method, the image optical path is longer than in the gimbal method, but the narrow-field image 41 can be moved vertically by the scanner 42 and horizontally by the scanner 43 as shown in FIG. And the image does not rotate.
【００２１】尚、図２には分離制御方式の映像位置制御
装置１０１が示されている。図７には分離制御方式の映
像位置制御装置１０１の構成が斜視図で示されている。Incidentally, FIG. 2 shows a video position control device 101 of a separation control system. FIG. 7 is a perspective view showing the configuration of the video position control device 101 of the separation control system.
【００２２】一方、ハーフミラー７１の透過側には視線
検出装置４が配置されている。視線検出装置４はレンズ
７２、分割型光検出器（ＡＰＤ）、赤外ＣＣＤカメラ等
の光検出器７３及び眼球照明用光学装置７４を備えてい
る。眼球照明用光学装置７４は赤外ＬＥＤ７５を備えて
いる。光検出器７３は増幅回路７６を介して眼球位置演
算回路７７に接続し、眼球位置演算回路７７の出力はス
キャナコントローラー７８、スキャナコントローラー６
３、画像処理装置１２Ａに入力される。On the other hand, the line-of-sight detection device 4 is arranged on the transmission side of the half mirror 71. The line-of-sight detection device 4 includes a lens 72, a split photodetector (APD), a photodetector 73 such as an infrared CCD camera, and an eyeball illumination optical device 74. The eyeball illuminating optical device 74 includes an infrared LED 75. The photodetector 73 is connected to an eyeball position calculation circuit 77 via an amplifier circuit 76, and the output of the eyeball position calculation circuit 77 is the scanner controller 78 and the scanner controller 6.
3, input to the image processing apparatus 12A.
【００２３】眼球位置演算回路７７は例えばコンピュー
タとソフトウェアによって構成することができ、光検出
器７３の出力信号に基づいて眼球の位置１５を演算し
て、スキャナコントローラー７８、スキャナコントロー
ラー６３、画像処理装置１２Ａに入力する。スキャナコ
ントローラー７８は例えばコンピュータとソフトウェア
とによって構成することができ、眼球位置演算回路７７
からの信号によってスキャナ４２，４３の駆動量を算出
しスキャナ駆動回路８１の動作を制御する。The eyeball position calculation circuit 77 can be composed of, for example, a computer and software, calculates the position 15 of the eyeball based on the output signal of the photodetector 73, and the scanner controller 78, the scanner controller 63, the image processing device. Input to 12A. The scanner controller 78 can be configured by, for example, a computer and software, and includes an eyeball position calculation circuit 77.
The drive amount of the scanners 42 and 43 is calculated according to the signal from and the operation of the scanner drive circuit 81 is controlled.
【００２４】スキャナコントローラー６３は、例えばコ
ンピュータとソフトウェアとによって構成することがで
き、眼球位置演算回路７７からの信号によってスキャナ
６１の駆動量を算出し、スキャナ駆動回路６２の動作を
制御する。なお、図２において実線は電気的接続を示
し、破線は光軸を示している。The scanner controller 63 can be composed of, for example, a computer and software, calculates the drive amount of the scanner 61 by a signal from the eyeball position calculation circuit 77, and controls the operation of the scanner drive circuit 62. In addition, in FIG. 2, the solid line indicates the electrical connection and the broken line indicates the optical axis.
【００２５】このように構成された広視野高解像度映像
提示装置１における映像の提示操作は次の通りである。
遠隔の作業環境にある対象物１０は一対の広視野用ＴＶ
カメラ５Ａで撮影され、その信号は画像処理装置１２Ａ
で処理された後に広視野用モニタ２４Ａに表示される。
画像処理装置１２Ａにおける処理の内容としては、例え
ば、狭視野映像が表示されるべき画面の中央部の映像の
消去またはノイズの消去等の処理がある。一方、同じく
対象物１０は一対の狭視野用ＴＶカメラ５ａで撮影さ
れ、その信号は画像処理装置１２ａで処理された後に狭
視野用モニタ２４ａに表示される。画像処理装置１２ａ
における処理の内容としては映像の縮小またはノイズの
消去等の処理がある。The operation of presenting an image in the wide-view high-resolution image presenting apparatus 1 configured as described above is as follows.
The object 10 in the remote work environment is a pair of wide-view TVs.
The image is taken by the camera 5A, and the signal is the image processing device 12A.
Is displayed on the wide-field monitor 24A after being processed.
The content of the processing in the image processing device 12A includes, for example, processing such as erasing an image in the central portion of the screen where a narrow-field image is to be displayed or erasing noise. On the other hand, similarly, the object 10 is photographed by the pair of narrow-field TV cameras 5a, and the signal thereof is processed by the image processing device 12a and then displayed on the narrow-field monitor 24a. Image processing device 12a
The contents of the processing in 1) include processing such as image reduction or noise elimination.
【００２６】広視野用モニタ２４Ａは映像を光路５４に
投入する。光路５４では広視野用モニタ２４Ａからの光
はハーフミラー３１を透過し、次に接眼光学系１３を通
して装着者１４の眼球１５に入射する。一方、狭視野用
モニタ２４ａの映像は光路５５からミラー３７で反射
し、ハーフミラー３１で反射されて光路５４に投入され
る。光路５４では広視野映像４０と狭視野映像４１とが
重なり合い、広視野映像４０の映像切欠き部分に狭視野
映像４１がはめ込まれた状態の図８に示すように合成映
像となり、この合成映像が装着者１４の眼球１５に与え
られて眼球１５の網膜上に結像する。これによって、装
着者１４の眼球１５の前方に対象物１０上の点Ｐの注視
点像と周辺像が合成映像により形成される。このとき、
眼球１５の位置すなわち視線は視線検出装置４によって
測定されている。視線検出装置４では赤外ＬＥＤ７５か
ら赤外光が発光し、眼球１５を照明する。眼球１５から
の反射した赤外光は、接眼光学系１３を通して光路５４
に投入され、ハーフミラー７１を通過して、視線検出装
置４に達し、レンズ７２を通して光検出器７３に入射す
る。光検出器７３では眼球１５の位置の変化によって出
力に変化が生じ、その信号を増幅回路７６を介して眼球
位置演算回路７７に入力し、眼球位置演算回路７７が眼
球の位置１５を算出する。The wide-field monitor 24A inputs an image into the optical path 54. In the optical path 54, the light from the wide-field monitor 24A passes through the half mirror 31, and then enters the eyeball 15 of the wearer 14 through the eyepiece optical system 13. On the other hand, the image on the narrow-field monitor 24a is reflected from the optical path 55 by the mirror 37, reflected by the half mirror 31 and input to the optical path 54. In the optical path 54, the wide-field image 40 and the narrow-field image 41 overlap with each other, and the narrow-field image 41 is fitted in the image cutout portion of the wide-field image 40 to form a composite image, as shown in FIG. It is given to the eyeball 15 of the wearer 14 and forms an image on the retina of the eyeball 15. As a result, the gazing point image and the peripheral image of the point P on the object 10 are formed in front of the eyeball 15 of the wearer 14 as a composite image. At this time,
The position of the eyeball 15, that is, the line of sight is measured by the line-of-sight detection device 4. In the line-of-sight detection device 4, infrared light is emitted from the infrared LED 75 to illuminate the eyeball 15. The infrared light reflected from the eyeball 15 passes through the eyepiece optical system 13 and has an optical path 54.
, Passes through the half mirror 71, reaches the line-of-sight detection device 4, and enters the photodetector 73 through the lens 72. In the photodetector 73, the output changes due to the change in the position of the eyeball 15, the signal is input to the eyeball position calculation circuit 77 via the amplification circuit 76, and the eyeball position calculation circuit 77 calculates the position 15 of the eyeball.
【００２７】次に、装着者１４が視線を動かして、つま
り眼球１５を動かすと、その眼球１５の赤外光で照明さ
れた像は接眼光学系１３を通しハーフミラー７１を透過
して視線検出装置４に入る。視線検出装置４では眼球１
５の像はレンズ７２を通して光検出器７３で検出され、
その像の信号が増幅回路７６で増幅されて眼球位置演算
回路７７に入力され、そこで眼球の位置１５の移動量及
び位置が検出される。そしてその眼球位置信号を撮像方
向制御装置６に入力し、撮像方向制御装置６は眼球の視
線の方向に狭視野用ＴＶカメラ５ａの撮像方向を変え
る。Next, when the wearer 14 moves the line of sight, that is, the eyeball 15, the image illuminated by the infrared light of the eyeball 15 passes through the eyepiece optical system 13 and passes through the half mirror 71 to detect the line of sight. Enter device 4. In the line-of-sight detection device 4, the eyeball 1
The image of 5 is detected by the photodetector 73 through the lens 72,
The image signal is amplified by the amplifier circuit 76 and input to the eyeball position calculation circuit 77, where the amount of movement and the position of the eyeball position 15 are detected. Then, the eyeball position signal is input to the imaging direction control device 6, and the imaging direction control device 6 changes the imaging direction of the narrow-field TV camera 5a to the direction of the line of sight of the eyeball.
【００２８】これによって、装着者１４の視線と狭視野
用ＴＶカメラ５ａの視線とが一致する。こうして装着者
１４の視線が向いた方向の映像情報だけが狭視野用ＴＶ
カメラ５ａで撮影されて狭視野用モニタ２４ａ上に表示
されることになる。As a result, the line of sight of the wearer 14 and the line of sight of the narrow-field TV camera 5a coincide. In this way, only the image information in the direction in which the wearer's 14 line of sight is directed is the narrow-view TV
The image is taken by the camera 5a and displayed on the narrow-field monitor 24a.
【００２９】一方、装着者１４の眼球１５が動くことに
よって、眼球１５からモニタ２４ａに至る光路５４が変
化し、従って眼球１５がモニタ２４ａの中心を見なくな
るので、これを一致させるために眼球位置演算回路７７
で算出した眼球１５の回転角θの１／２すなわち（１／
２）θだけハーフミラー３１，ミラー３７を回転させて
眼球１５の視線をモニタ２４ａの中心に一致させる。こ
の狭視野映像４１の位置は、ミラー３７を回転させるこ
とにより垂直方向に、ハーフミラー３１を回転させるこ
とにより水平方向に制御可能である。On the other hand, when the eyeball 15 of the wearer 14 moves, the optical path 54 from the eyeball 15 to the monitor 24a changes, so that the eyeball 15 does not see the center of the monitor 24a. Arithmetic circuit 77
1/2 of the rotation angle θ of the eyeball 15 calculated in step 1, that is, (1 /
2) The half mirror 31 and the mirror 37 are rotated by θ so that the line of sight of the eyeball 15 coincides with the center of the monitor 24a. The position of the narrow-field image 41 can be controlled in the vertical direction by rotating the mirror 37 and in the horizontal direction by rotating the half mirror 31.
【００３０】このハーフミラー３１、ミラー３７の制御
はスキャナコントローラー７８からの眼球位置信号にも
とずいてスキャナ駆動回路８１がスキャナ４２，４３を
駆動して行う。このようにして眼球１５の視線とモニタ
２４ａの中心が一致すると、モニタ２４Ａ、２４ａの像
が、装着者１４の眼球１５に入射され、眼球前方に先ほ
どのＴＶカメラ５Ａ、５ａでとらえた視線方向の合成映
像情報が形成される。こうして、本装置は視線が変化し
ても視線方向の映像のみを眼球に入射することを可能に
し、図１ｂと等価な効果をもつ系の構成を可能にする。The half mirror 31 and the mirror 37 are controlled by the scanner drive circuit 81 which drives the scanners 42 and 43 based on the eyeball position signal from the scanner controller 78. When the line of sight of the eyeball 15 coincides with the center of the monitor 24a in this way, the images of the monitors 24A and 24a are incident on the eyeball 15 of the wearer 14 and the line-of-sight directions captured by the TV cameras 5A and 5a in front of the eyeballs. Composite image information of is formed. In this way, the device allows only the image in the line-of-sight direction to enter the eye even if the line-of-sight changes, and enables the construction of a system having an effect equivalent to that of FIG.
【００３１】なお、本説明では視線方向に狭視野用ＴＶ
カメラ５ａを制御して狭視野用モニタ２４ａ上に像を提
示するシステムについて記述したが、眼球位置信号に応
じて、コンピュータグラフィックス像を制御すれば仮想
の世界を表示する仮想現実感システムを得ることも可能
である。It should be noted that in the present description, a TV for narrow field of view in the direction of the line of sight.
The system for controlling the camera 5a and presenting the image on the narrow-field monitor 24a has been described. However, if the computer graphics image is controlled according to the eyeball position signal, a virtual reality system for displaying a virtual world is obtained. It is also possible.
【００３２】[0032]
【発明の効果】このように、この発明の視線追従方式に
よる広視野高解像度映像提示装置においては、図８に示
すように、広視野映像と狭視野映像を組合せ、同じ走査
線数のモニタを使用しても、周辺の背景を構成する広視
野映像を低解像度で表示し、注視点の狭視野映像を高解
像度で表示することができるので、現実感の高い映像を
装着者に与えることができる。しかも特に重要の点とし
て、この発明の視線追従方式による広視野高解像度映像
提示装置では、映像を接眼光学系を通して装着者の前方
から入射するので、映像の光路を屈折させる回数が少な
くなるなど、光路の構成が簡単になるので、映像にゆが
みが発生することが少なく、良好な映像を与えることが
できる。装着者の視線に追従してＴＶカメラの視線が変
化し、装着者の視線が向いた方向における映像だけを装
着者に与えることができるので、その視線方向周囲の像
を高解像で提示することで比較的小画面でも画面の枠を
意識させない高精度な像を表示することができ、装着者
は良好な視覚人工現実感を得ることができる。また、視
線を正確に測定することを可能にするとともに、視線の
追跡も容易にし、また、回転楕円鏡の焦点に人の眼球を
一致させる必要もないので装置の構成も単純化する効果
をもつ。また、特に、視線追従範囲を垂直・水平の２次
元に拡張した広視野高解像度映像提示装置を得ることが
できる。As described above, in the wide-view high-resolution video presentation apparatus according to the visual line tracking method of the present invention, as shown in FIG. 8, a wide-field video and a narrow-field video are combined and a monitor having the same number of scanning lines is used. Even when used, it is possible to display a wide-field image that constitutes the surrounding background at a low resolution and a narrow-field image of the gazing point at a high resolution, which gives the wearer a highly realistic image. it can. Moreover, as a particularly important point, in the wide-field high-resolution image presentation device according to the line-of-sight tracking method of the present invention, since the image is incident from the front of the wearer through the eyepiece optical system, the number of refraction of the optical path of the image is reduced, etc. Since the configuration of the optical path is simplified, the image is less likely to be distorted and a good image can be provided. Since the line of sight of the TV camera changes following the line of sight of the wearer and only the image in the direction in which the line of sight of the wearer is facing can be given to the wearer, an image around that line of sight is presented with high resolution. As a result, it is possible to display a highly accurate image without making the frame of the screen conscious even on a relatively small screen, and the wearer can obtain a good visual artificial reality. In addition, it is possible to accurately measure the line of sight, facilitate the tracking of the line of sight, and have the effect of simplifying the configuration of the device because it is not necessary to match the human eyeball with the focus of the spheroid mirror. . Further, in particular, it is possible to obtain a wide-field-of-view high-resolution video presentation device in which the line-of-sight tracking range is expanded vertically and horizontally in two dimensions.
【図１】眼球と対象物、眼球とディスプレイ、及びＴＶ
カメラと対象物の関係を示す説明図。1] Eyeball and object, eyeball and display, and TV
Explanatory drawing which shows the relationship between a camera and an object.
【図２】広視野高解像度映像提示装置の構成説明図。FIG. 2 is an explanatory diagram of a configuration of a wide-view high-resolution video presentation device.
【図３】ジンバル方式による映像位置制御装置の基本構
成斜視説明図。FIG. 3 is a perspective view showing the basic configuration of a gimbal type image position control device.
【図４】ジンバル方式による映像提示の状態を示す説明
図。FIG. 4 is an explanatory diagram showing a state of image presentation by a gimbal method.
【図５】軸別制御方式による映像位置制御装置の基本構
成斜視説明図。FIG. 5 is an explanatory perspective view of a basic configuration of a video position control device using a control system for each axis.
【図６】軸別制御方式による映像提示の状態を示す説明
図。FIG. 6 is an explanatory diagram showing a state of image presentation by the axis-based control method.
【図７】軸別制御方式による映像位置制御装置の斜視説
明図。FIG. 7 is a perspective explanatory view of a video position control device using a control system for each axis.
【図８】組合せ映像を示す説明図。FIG. 8 is an explanatory diagram showing a combined image.
１ 広視野高解像度映像提示装置 ２ 作画装置 ２ａ 撮像装置 ３ 映像提示装置 ４ 視線検出装置 ５ カメラ装置 ５Ａ 広視野用ＴＶカメラ ５ａ 狭視野用ＴＶカメラ ６ 撮像方向制御装置 １０ 対象物 １２Ａ 画像処理装置 １２ａ 画像処理装置 １３ 接眼光学系 １４ 装着者 １５ａ 右眼 １５ｂ 左眼 ２４Ａ 広視野用モニタ ２４ａ 狭視野用モニタ ２９ａ 接眼レンズ ２９ｂ 接眼レンズ ３０Ａ 対物レンズ ３０ａ 対物レンズ ３１ ハーフミラー ３２ ジンバル ３３ 回転軸 ３４ 回転軸 ３５ スキャナ ３６ スキャナ ４０ 広視野映像 ４１ 狭視野映像 ４２ スキャナ ４３ スキャナ ４４ 回転軸 ４５ 回転軸 ５０′ 方向 ５０ 視線 ５４ 光路 ５５ 光路 ６０Ａ ハーフミラー ６０ａ ミラー ６１Ａ スキャナ ６１ａ スキャナ ６２ スキャナ駆動回路 ６３ スキャナコントローラー ７１ ハーフミラー ７２ レンズ ７３ 光検出器 ７４ 眼球照明用光学装置 ７５ 赤外ＬＥＤ ７６ 増幅回路 ７７ 眼球位置演算回路 ７８ スキャナコントローラー ７９ スキャナコントローラー ８１ スキャナ駆動回路 １００ａ 右眼用装置 １００ｂ 左眼用装置 １０１ 映像位置制御装置 １２２，１２２′ モニタ DESCRIPTION OF SYMBOLS 1 Wide-view high-resolution image presentation device 2 Image-drawing device 2a Imaging device 3 Image-presentation device 4 Eye-gaze detection device 5 Camera device 5A Wide-view TV camera 5a Narrow-field TV camera 6 Imaging direction control device 10 Object 12A Image processing device 12a Image processing apparatus 13 Eyepiece optical system 14 Wearer 15a Right eye 15b Left eye 24A Wide-field monitor 24a Narrow-field monitor 29a Eyepiece 29b Eyepiece 30A Objective lens 30a Objective lens 31 Half mirror 32 Gimbal 33 Rotation axis 34 Rotation axis 35 Scanner 36 Scanner 40 Wide-field image 41 Narrow-field image 42 Scanner 43 Scanner 44 Rotation axis 45 Rotation axis 50 'Direction 50 Line of sight 54 Optical path 55 Optical path 60A Half mirror 60a Mirror 61A Scanner 61a Scanner 62 Scanner drive circuit 63s Scanner controller 71 Half mirror 72 Lens 73 Photodetector 74 Optical device for eyeball 75 Infrared LED 76 Amplifying circuit 77 Eye position calculating circuit 78 Scanner controller 79 Scanner controller 81 Scanner drive circuit 100a Right eye device 100b Left eye device 101 Video Position Control Device 122, 122 'Monitor
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 13/04 13/04 Ｇ０６Ｆ 15/62 ３６０ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Office reference number FI Technical display location H04N 7/18 H04N 13/04 13/04 G06F 15/62 360
Claims (4)
作画装置と、前記作画装置で作成した映像を装着者に提
示する映像提示装置と、前記装着者の視線を検出する視
線検出装置とを備え、前記作画装置は広視野映像を作成
する広視野映像作画装置と前記広視野映像よりも狭い視
野角で高解像度の狭視野映像を作成する狭視野映像作画
装置とを含み、前記映像提示装置は、前記作画装置で作
成した映像を表示する表示装置と、前記装着者の眼球の
前方に配置されていて前記表示装置に表示された映像を
透過する接眼光学系と、前記接眼光学系に入射する狭視
野映像の位置を制御する映像位置制御装置とを備え、前
記表示装置は前記広視野映像を表示する広視野映像モニ
タと前記狭視野映像を表示する狭視野映像モニタとを有
しかつ前記映像位置制御装置は直角をなす２軸のまわり
に回転可能なミラーと前記ミラーを回転駆動する駆動装
置とを有し、前記視線検出装置からの信号によって前記
作画装置を制御しかつ前記映像位置制御装置を制御する
ように構成したことを特徴とする視線追従方式による広
視野高解像度映像提示装置。1. A drawing device that creates an image corresponding to the line of sight of the wearer, a video presentation device that presents the image created by the drawing device to the wearer, and a line-of-sight detection device that detects the line of sight of the wearer. The image presentation device includes a wide-field image creation device that creates a wide-field image and a narrow-field image creation device that creates a high-resolution narrow-field image with a viewing angle narrower than the wide-field image. The device is a display device that displays an image created by the drawing device, an eyepiece optical system that is disposed in front of the eyeball of the wearer and that transmits the image displayed on the display device, and the eyepiece optical system. An image position control device for controlling the position of an incident narrow-field image, wherein the display device has a wide-field image monitor for displaying the wide-field image and a narrow-field image monitor for displaying the narrow-field image. The image position The control device has a mirror rotatable about two axes forming a right angle and a drive device for rotationally driving the mirror, controls the drawing device by a signal from the visual axis detection device, and controls the image position control device. A wide-field-of-view high-resolution image presentation device using a line-of-sight tracking method, which is configured to be controlled.
ーと前記ミラーを支持するジンバルと、前記ジンバルの
２個の回転軸のまわりに前記ミラーを駆動する駆動装置
を有することを特徴とする請求項１記載の視線追従方式
による広視野高解像度映像提示装置。2. The image position controller includes one mirror, a gimbal that supports the mirror, and a driving device that drives the mirror around two rotation axes of the gimbal. A wide-field-of-view high-resolution image presentation device according to the eye-gaze tracking method according to claim 1.
りに回転可能な一方のミラーと前記一方のミラーを駆動
する一方の駆動装置と他方の軸の回りに回転可能な他の
ミラーと前記他方のミラーを駆動する他方の駆動装置と
を有することを特徴とする請求項１記載の視線追従方式
による広視野高解像度映像提示装置。3. The image position control device comprises: one mirror rotatable about one axis; one drive device driving the one mirror; and another mirror rotatable about the other axis. The wide-field-of-view high-resolution image presentation device according to claim 1, further comprising: another drive device that drives the other mirror.
前記接眼光学系寄りに位置するものはハーフミラーであ
ることを特徴とする請求項１記載の視線追従方式による
広視野高解像度映像提示装置。4. The wide-view high-resolution image presentation apparatus according to claim 1, wherein one of the mirrors located closest to the eyepiece optical system on the optical path is a half mirror.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7116762A JPH08313843A (en) | 1995-05-16 | 1995-05-16 | Wide visual field and high resolution video presentation device in line of sight followup system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7116762A JPH08313843A (en) | 1995-05-16 | 1995-05-16 | Wide visual field and high resolution video presentation device in line of sight followup system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08313843A true JPH08313843A (en) | 1996-11-29 |
Family
ID=14695115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7116762A Pending JPH08313843A (en) | 1995-05-16 | 1995-05-16 | Wide visual field and high resolution video presentation device in line of sight followup system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08313843A (en) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016038484A (en) * | 2014-08-08 | 2016-03-22 | セイコーエプソン株式会社 | Virtual image display apparatus and method |
| WO2016199731A1 (en) * | 2015-06-10 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display, display control method, and program |
| JP2018069069A (en) * | 2013-06-07 | 2018-05-10 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | System and method for generating extended virtual reality scene by less hops in head-mound system |
| JP2018109745A (en) * | 2016-12-01 | 2018-07-12 | ヴァルヨ テクノロジーズ オーユー | Display unit, and display method using focus display and context display |
| JP2018109746A (en) * | 2016-12-01 | 2018-07-12 | ヴァルヨ テクノロジーズ オーユー | Display device and display method using projector |
| JP2018113675A (en) * | 2016-12-01 | 2018-07-19 | ヴァルヨ テクノロジーズ オーユー | Display device and display method using context display and projector |
| US20180249150A1 (en) * | 2017-02-28 | 2018-08-30 | Seiko Epson Corporation | Head mounted display and image formation optical system |
| KR20190026030A (en) * | 2016-08-01 | 2019-03-12 | 페이스북 테크놀로지스, 엘엘씨 | The adaptive parameters in the image region based on the eye tracking information |
| JP2020501424A (en) * | 2016-12-01 | 2020-01-16 | ヴァルヨ テクノロジーズ オーユー | Imaging system and method for creating context image and focus image |
| JP2020504832A (en) * | 2016-12-31 | 2020-02-13 | ルムス エルティーディー． | Eye tracker based on retinal imaging via light guiding optics |
| US11099389B2 (en) | 2005-02-10 | 2021-08-24 | Lumus Ltd. | Substrate-guide optical device |
| US11187905B2 (en) | 2005-11-08 | 2021-11-30 | Lumus Ltd. | Polarizing optical system |
| US11223820B2 (en) | 2018-01-02 | 2022-01-11 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
| JP2022514217A (en) * | 2018-12-07 | 2022-02-10 | エイヴギャント コーポレイション | Maneuverable positioning element |
| JP2022516270A (en) * | 2019-01-07 | 2022-02-25 | エイヴギャント コーポレイション | Control system and rendering pipeline |
| US11262587B2 (en) | 2018-05-22 | 2022-03-01 | Lumus Ltd. | Optical system and method for improvement of light field uniformity |
| US11409103B2 (en) | 2018-07-16 | 2022-08-09 | Lumus Ltd. | Light-guide optical element employing polarized internal reflectors |
| US11415812B2 (en) | 2018-06-26 | 2022-08-16 | Lumus Ltd. | Compact collimating optical device and system |
| US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
| US11536975B2 (en) | 2017-03-22 | 2022-12-27 | Lumus Ltd. | Overlapping facets |
| US11573371B2 (en) | 2019-11-27 | 2023-02-07 | Lumus Ltd. | Lightguide optical element for polarization scrambling |
| US11796729B2 (en) | 2021-02-25 | 2023-10-24 | Lumus Ltd. | Optical aperture multipliers having a rectangular waveguide |
| WO2023238884A1 (en) * | 2022-06-09 | 2023-12-14 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| US11940625B2 (en) | 2018-11-08 | 2024-03-26 | Lumus Ltd. | Light-guide display with reflector |
| US12032174B2 (en) | 2019-03-29 | 2024-07-09 | Avegant Corp. | Steerable hybrid display using a waveguide |
| US12092828B2 (en) | 2020-01-06 | 2024-09-17 | Avegant Corp. | Head mounted system with color specific modulation |
| US12099214B2 (en) | 2018-08-26 | 2024-09-24 | Lumus Ltd. | Near-eye displays with scenery reflection suppression |
| US12124037B2 (en) | 2020-05-24 | 2024-10-22 | Lumus Ltd. | Compound light-guide optical elements |
| US12152994B2 (en) | 2020-04-30 | 2024-11-26 | Lumus Ltd. | Optical sample characterization |
| US12360378B2 (en) | 2017-03-27 | 2025-07-15 | Avegant Corp. | Steerable high-resolution display |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0777665A (en) * | 1993-03-29 | 1995-03-20 | Canon Inc | Image display device and image capturing device therefor |
| JPH0787374A (en) * | 1993-06-22 | 1995-03-31 | Agency Of Ind Science & Technol | Eyeball movement floow up type eyesight indication device by projection system |
-
1995
- 1995-05-16 JP JP7116762A patent/JPH08313843A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0777665A (en) * | 1993-03-29 | 1995-03-20 | Canon Inc | Image display device and image capturing device therefor |
| JPH0787374A (en) * | 1993-06-22 | 1995-03-31 | Agency Of Ind Science & Technol | Eyeball movement floow up type eyesight indication device by projection system |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11099389B2 (en) | 2005-02-10 | 2021-08-24 | Lumus Ltd. | Substrate-guide optical device |
| US11187905B2 (en) | 2005-11-08 | 2021-11-30 | Lumus Ltd. | Polarizing optical system |
| JP2018069069A (en) * | 2013-06-07 | 2018-05-10 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | System and method for generating extended virtual reality scene by less hops in head-mound system |
| JP2016038484A (en) * | 2014-08-08 | 2016-03-22 | セイコーエプソン株式会社 | Virtual image display apparatus and method |
| WO2016199731A1 (en) * | 2015-06-10 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display, display control method, and program |
| US10715735B2 (en) | 2015-06-10 | 2020-07-14 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| KR20190026030A (en) * | 2016-08-01 | 2019-03-12 | 페이스북 테크놀로지스, 엘엘씨 | The adaptive parameters in the image region based on the eye tracking information |
| JP2018109745A (en) * | 2016-12-01 | 2018-07-12 | ヴァルヨ テクノロジーズ オーユー | Display unit, and display method using focus display and context display |
| JP2018109746A (en) * | 2016-12-01 | 2018-07-12 | ヴァルヨ テクノロジーズ オーユー | Display device and display method using projector |
| JP2018113675A (en) * | 2016-12-01 | 2018-07-19 | ヴァルヨ テクノロジーズ オーユー | Display device and display method using context display and projector |
| JP2020501424A (en) * | 2016-12-01 | 2020-01-16 | ヴァルヨ テクノロジーズ オーユー | Imaging system and method for creating context image and focus image |
| JP2020504832A (en) * | 2016-12-31 | 2020-02-13 | ルムス エルティーディー． | Eye tracker based on retinal imaging via light guiding optics |
| US11500143B2 (en) | 2017-01-28 | 2022-11-15 | Lumus Ltd. | Augmented reality imaging system |
| US20180249150A1 (en) * | 2017-02-28 | 2018-08-30 | Seiko Epson Corporation | Head mounted display and image formation optical system |
| US10873742B2 (en) | 2017-02-28 | 2020-12-22 | Seiko Epson Corporation | Head mounted display and image formation optical system |
| US11536975B2 (en) | 2017-03-22 | 2022-12-27 | Lumus Ltd. | Overlapping facets |
| US12360378B2 (en) | 2017-03-27 | 2025-07-15 | Avegant Corp. | Steerable high-resolution display |
| US11223820B2 (en) | 2018-01-02 | 2022-01-11 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
| US11262587B2 (en) | 2018-05-22 | 2022-03-01 | Lumus Ltd. | Optical system and method for improvement of light field uniformity |
| US11415812B2 (en) | 2018-06-26 | 2022-08-16 | Lumus Ltd. | Compact collimating optical device and system |
| US11409103B2 (en) | 2018-07-16 | 2022-08-09 | Lumus Ltd. | Light-guide optical element employing polarized internal reflectors |
| US12099214B2 (en) | 2018-08-26 | 2024-09-24 | Lumus Ltd. | Near-eye displays with scenery reflection suppression |
| US11940625B2 (en) | 2018-11-08 | 2024-03-26 | Lumus Ltd. | Light-guide display with reflector |
| JP2022514217A (en) * | 2018-12-07 | 2022-02-10 | エイヴギャント コーポレイション | Maneuverable positioning element |
| US11927762B2 (en) | 2018-12-07 | 2024-03-12 | Avegant Corp. | Steerable positioning element |
| JP2022516270A (en) * | 2019-01-07 | 2022-02-25 | エイヴギャント コーポレイション | Control system and rendering pipeline |
| US11650663B2 (en) | 2019-01-07 | 2023-05-16 | Avegant Corp. | Repositionable foveal display with a fast shut-off logic |
| US12032174B2 (en) | 2019-03-29 | 2024-07-09 | Avegant Corp. | Steerable hybrid display using a waveguide |
| US11573371B2 (en) | 2019-11-27 | 2023-02-07 | Lumus Ltd. | Lightguide optical element for polarization scrambling |
| US12092828B2 (en) | 2020-01-06 | 2024-09-17 | Avegant Corp. | Head mounted system with color specific modulation |
| US12152994B2 (en) | 2020-04-30 | 2024-11-26 | Lumus Ltd. | Optical sample characterization |
| US12124037B2 (en) | 2020-05-24 | 2024-10-22 | Lumus Ltd. | Compound light-guide optical elements |
| US11796729B2 (en) | 2021-02-25 | 2023-10-24 | Lumus Ltd. | Optical aperture multipliers having a rectangular waveguide |
| WO2023238884A1 (en) * | 2022-06-09 | 2023-12-14 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08313843A (en) | Wide visual field and high resolution video presentation device in line of sight followup system | |
| US5635947A (en) | Eye movement tracking display | |
| EP0618471B1 (en) | Image display apparatus | |
| CN106796344B (en) | System, arrangement and the method for the enlarged drawing being locked on object of interest | |
| JP3618381B2 (en) | Visual information system and image display method | |
| US6890077B2 (en) | Method and apparatus for high resolution video image display | |
| US6389153B1 (en) | Distance information generator and display device using generated distance information | |
| JP3240362B2 (en) | Wide-field image presentation device | |
| IL247922A (en) | Combining video-based and optic-based augmented reality in a near eye display | |
| WO2006118057A1 (en) | Image display device | |
| JPH09238369A (en) | 3D image display device | |
| US20200285055A1 (en) | Direct retina projection apparatus and method | |
| JP2002176661A (en) | Image display device | |
| EP3548956B1 (en) | Imaging system and method of producing context and focus images | |
| JPH05205030A (en) | Line-of-sight display device for photographed person | |
| JPH0449943A (en) | Eye ball motion analyzer | |
| JP2025065315A (en) | Image display device and image display method | |
| JP2741063B2 (en) | Wide-field display device | |
| JP2507913B2 (en) | Eye movement tracking type visual presentation device by projection method | |
| JP2557406B2 (en) | 3D image display device | |
| JP2017026893A (en) | Image display device | |
| JPH0822038B2 (en) | Eye movement tracking type visual presentation device | |
| JPH06103939B2 (en) | Eye-tracking head-mounted display | |
| Iwamoto et al. | Development of an eye movement tracking type dead mounted display: system proposal and evaluation experiments | |
| US12248148B2 (en) | Smart eyeglasses |