[go: up one dir, main page]

JP2017097098A - Transmission type video display device - Google Patents

Transmission type video display device Download PDF

Info

Publication number
JP2017097098A
JP2017097098A JP2015227629A JP2015227629A JP2017097098A JP 2017097098 A JP2017097098 A JP 2017097098A JP 2015227629 A JP2015227629 A JP 2015227629A JP 2015227629 A JP2015227629 A JP 2015227629A JP 2017097098 A JP2017097098 A JP 2017097098A
Authority
JP
Japan
Prior art keywords
light
image
pupil
video
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015227629A
Other languages
Japanese (ja)
Inventor
片野 泰男
Yasuo Katano
泰男 片野
圭一郎 油谷
Keiichiro Yutani
圭一郎 油谷
秀和 ▲柳▼沼
秀和 ▲柳▼沼
Hidekazu Yaginuma
大島 淳
Atsushi Oshima
淳 大島
和明 辻
Kazuaki Tsuji
和明 辻
藤村 浩
Hiroshi Fujimura
浩 藤村
祐馬 臼井
Yuma Usui
祐馬 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015227629A priority Critical patent/JP2017097098A/en
Publication of JP2017097098A publication Critical patent/JP2017097098A/en
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a transmission type video display device capable of displaying a video excellent in visibility for a user, even when the brightness around the line-of-sight direction of the user is different from the brightness of other areas.SOLUTION: A transmission type video display device 1 includes a video display part 9 which displays the video, an optical part 12 which guides the video to the eye of the user, a light control filter 6 which makes the transmittance of external light variable and adjusts the light intensity of the external light reaching the eye of the user, a pupil imaging camera 7 which images the pupil of the eye of the user, and a control part 13 which calculates the pupil diameter of the pupil on the basis of an imaging signal from the pupil imaging camera 7 and adjusts each of the transmittance of the light control filter 6 and the light intensity of the video of the video display part 9 on the basis of the value of the calculated pupil diameter.SELECTED DRAWING: Figure 4

Description

本発明は、透過型映像表示装置に関する。   The present invention relates to a transmissive image display device.

近年、使用者の頭部に装着された状態で、映像表示部に表示された映像の光と外界からの光とを使用者の眼に導いて、前記映像を外界の像に重ねて表示する透過型映像表示装置(所謂、透過型ヘッドマウントディスプレイ(透過型HMD))が提案されている(例えば、特許文献1)。   In recent years, while being mounted on the user's head, the light of the image displayed on the image display unit and the light from the outside world are guided to the user's eyes, and the image is displayed on the image of the outside world. A transmissive image display device (a so-called transmissive head mounted display (transmissive HMD)) has been proposed (for example, Patent Document 1).

特許文献1に記載の透過型映像表示装置(眼鏡型視覚装置)には、前記映像を使用者の眼側に反射させるとともに外界からの光を透過させる偏光ビームスプリッタの前方側に、光の透過率が可変な減光シャッタ(エレクトロクロミック素子)が設けられている。そして、使用者によるスイッチのON/OFF操作によって、外部環境が明るいときは減光シャッタの透過率を下げ、外部環境が暗いときは減光シャッタの透過率を上げて、明瞭な映像を見ることができるようにしている。   In the transmissive image display device (glasses-type visual device) described in Patent Document 1, light is transmitted to the front side of a polarizing beam splitter that reflects the image to the user's eye side and transmits light from the outside. A dimming shutter (electrochromic element) having a variable rate is provided. When the user turns on / off the switch, the transmittance of the dimming shutter is lowered when the external environment is bright, and the transmittance of the dimming shutter is increased when the external environment is dark so that a clear image can be seen. To be able to.

しかしながら、外部環境の明るさに応じて減光シャッタの透過率を調整する構成では、使用者の視線方向付近の明るさが他の領域の明るさと異なっている場合には、減光シャッタの透過率を適切に調整できずに、使用者に対して視認性のよい映像を表示することができなくなるおそれがある。   However, in the configuration in which the transmittance of the light-reducing shutter is adjusted according to the brightness of the external environment, if the light near the user's line-of-sight direction is different from the brightness of other regions, the light-reducing shutter is transmitted. The rate cannot be adjusted appropriately, and there is a possibility that an image with good visibility cannot be displayed to the user.

そこで、本発明は、使用者の視線方向付近の明るさが他の領域の明るさと異なっているような場合でも、使用者に対して視認性のよい映像を表示することができる透過型映像表示装置を提供することを目的とする。   Therefore, the present invention provides a transmissive video display capable of displaying a video with good visibility for the user even when the brightness in the vicinity of the user's line-of-sight direction is different from the brightness of other areas. An object is to provide an apparatus.

前記目的を達成するために本発明に係る透過型映像表示装置は、映像を表示する映像表示部と、前記映像を使用者の眼に導く光学手段と、外光の透過率を可変し、前記使用者の眼に達する外光の光強度を調整する調光フィルタと、前記使用者の眼の瞳孔を撮像する瞳孔撮像手段と、前記瞳孔撮像手段からの撮像信号に基づいて前記瞳孔の瞳孔径を算出し、算出した瞳孔径の値に基づいて、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ調整する制御部と、を有することを特徴としている。   In order to achieve the above object, a transmission-type image display device according to the present invention includes an image display unit that displays an image, optical means that guides the image to a user's eyes, and a transmittance of external light, A dimming filter that adjusts the light intensity of external light that reaches the user's eye, pupil imaging means that images the pupil of the user's eye, and the pupil diameter of the pupil based on an imaging signal from the pupil imaging means And a control unit that adjusts the transmittance of the dimming filter and the light intensity of the image on the image display unit based on the calculated pupil diameter value, respectively.

本発明に係る透過型映像表示装置によれば、算出した使用者の瞳孔径の値に基づいて調光フィルタの透過率と映像表示部の映像の光強度をそれぞれ制御するによって、外光の光強度の変化だけでなく、使用者の視線方向付近の明るさが変化した場合でも、使用者に対して視認性のよい映像を表示することができる。   According to the transmission type image display device of the present invention, the light of outside light is controlled by controlling the transmittance of the light control filter and the light intensity of the image of the image display unit based on the calculated value of the pupil diameter of the user. An image with good visibility can be displayed to the user not only when the intensity changes but also when the brightness near the user's line of sight changes.

実施形態に係る透過型映像表示装置の外観を示す斜視図。1 is a perspective view showing an external appearance of a transmissive video display apparatus according to an embodiment. 透過型映像表示装置を使用者が装着した状態を示す側面図。The side view which shows the state with which the user mounted | wore the transmissive | pervious image display apparatus. 透過型映像表示装置を使用者が装着した状態を示す平面図。The top view which shows the state which the user mounted | worn with the transmissive | pervious image display apparatus. 透過型映像表示装置の構造を示す概略図。Schematic which shows the structure of a transmissive | pervious image display apparatus. 調光フィルタの構造を示す概略断面図。The schematic sectional drawing which shows the structure of a light control filter. (a)は、左眼用の導光板の左下端付近に瞳孔撮像カメラを配置した状態を示す図、(b)は、右眼用の導光板の右上端付近に瞳孔撮像カメラを配置した状態を示す図。(A) is the figure which shows the state which has arrange | positioned the pupil imaging camera near the lower left end of the light guide plate for left eyes, (b) is the state which has arrange | positioned the pupil imaging camera near the upper right end of the light guide plate for right eyes FIG. 制御部の構成を示す図。The figure which shows the structure of a control part. 外光の光強度、透過光の光強度、及び映像の光強度の関係について説明した図。The figure explaining the relationship between the light intensity of external light, the light intensity of transmitted light, and the light intensity of an image. 調光フィルタの透過率を変化させたときの、映像の光強度と映像の見やすさレベルの関係の一例を示した図。The figure which showed an example of the relationship between the light intensity of an image | video, and the visibility level of an image | video when changing the transmittance | permeability of a light control filter. 調光フィルタの透過率を変化させたときの、光強度比と映像の見やすさレベルの関係の一例を示した図。The figure which showed an example of the relationship between light intensity ratio and the visibility level of an image | video when changing the transmittance | permeability of a light control filter. 文字画像と写真画像を表示したときの、光強度比と映像の見やすさレベルの関係の一例を示した図。The figure which showed an example of the relationship between a light intensity ratio and the visibility level of an image | video when a character image and a photographic image are displayed. 全面白ベタ画像を表示したときの、光源の駆動電圧と眼前での映像照度の関係の一例を示した図。The figure which showed an example of the relationship between the drive voltage of a light source, and the image illumination intensity in front when a whole surface white solid image is displayed. 眼の瞳孔径と外光照度の関係の一例を示した図。The figure which showed an example of the relationship between the pupil diameter of an eye, and external light illumination intensity. 主制御部の記憶部に予め記憶された調整テーブルの一例を示した図。The figure which showed an example of the adjustment table previously memorize | stored in the memory | storage part of the main-control part. 調光フィルタの駆動電圧と調光フィルタの透過率の関係の一例を示した図。The figure which showed an example of the drive voltage of a light control filter, and the transmittance | permeability of a light control filter.

以下、本発明を図示の実施形態に基づいて説明する。図1は、本実施形態に係る透過型映像表示装置の外観を示す斜視図、図2は、使用者(ユーザ)がこの透過型映像表示装置を装着した状態を示した側面図、図3は、使用者がこの透過型映像表示装置を装着した状態を示した平面図である。本実施形態に係る透過型映像表示装置は、眼鏡形状の外観を有する頭部装着型の表示装置(透過型ヘッドマウントディスプレイ)である。   Hereinafter, the present invention will be described based on the illustrated embodiments. FIG. 1 is a perspective view showing an external appearance of a transmissive video display apparatus according to the present embodiment, FIG. 2 is a side view showing a state in which a user (user) wears the transmissive video display apparatus, and FIG. FIG. 3 is a plan view showing a state in which the user wears the transmissive image display device. The transmissive video display device according to the present embodiment is a head-mounted display device (transmissive head mounted display) having a spectacle-shaped appearance.

図1〜図3に示すように、この透過型映像表示装置1は、連結部材2の両側に接続された一対の装置前面部3aと、各装置前面部3aの両側に接続された一対のテンプル3bとで構成されており、通常の眼鏡と同様に、テンプル3bのテンプル後部3b1を使用者の頭部Hの側面(耳付近)に装着することで、装置前面部3aが使用者の両眼前方に位置する。   As shown in FIGS. 1 to 3, the transmissive image display device 1 includes a pair of device front surface portions 3 a connected to both sides of the connecting member 2 and a pair of temples connected to both sides of each device front surface portion 3 a. 3b, and by attaching the temple rear part 3b1 of the temple 3b to the side surface (near the ear) of the user's head H, the apparatus front surface part 3a is in front of the user's eyes. Located in the direction.

装置前面部3aは、導光板5と、その前面側(外光入射側)に配置した調光フィルタ6と、瞳孔撮像カメラ7とを備えている。また、テンプル3bのテンプル前部3b2内には、図4に示すように、映像表示部10と、光源11と、光学部12と、制御部13と、電源14等が設けられている。なお、導光板5の眼LIと対向する位置には、ハーフミラー15が設けられている。図4では、透過型映像表示装置1の左眼側のフロント部3aとテンプル3b(テンプル前部3b2)の構成を示しているが、右眼側においても同様に構成されている。   The apparatus front surface portion 3 a includes a light guide plate 5, a light control filter 6 disposed on the front surface side (external light incident side), and a pupil imaging camera 7. Further, in the temple front part 3b2 of the temple 3b, as shown in FIG. 4, an image display unit 10, a light source 11, an optical unit 12, a control unit 13, a power source 14, and the like are provided. A half mirror 15 is provided at a position facing the eye LI of the light guide plate 5. FIG. 4 shows the configuration of the front part 3a and the temple 3b (the temple front part 3b2) on the left eye side of the transmissive image display apparatus 1, but the same is also configured on the right eye side.

透過型映像表示装置1は、調光フィルタ6を通して外部から入射する光(外界の像)を、ハーフミラー15を透過させて使用者に視認させるとともに、それに重畳させて映像表示部10からの映像を使用者に表示させることが可能な装置である。以下、透過型映像表示装置1の各構成要素について説明する。   The transmissive image display apparatus 1 allows light (external image) incident from the outside through the dimming filter 6 to pass through the half mirror 15 to be visually recognized by the user and superimposed on the image from the image display unit 10. Can be displayed to the user. Hereinafter, each component of the transmissive video display apparatus 1 will be described.

映像表示部10は、例えば、液晶表示素子によって構成されており、その背面側(光学部12側とは反対側)には光源(例えば、LEDバックライト)11が配置されている。光源11の発する光の強さを制御部13で制御することで、映像表示部10に表示させる映像の光強度(輝度)を調節することができる。   The video display unit 10 is configured by, for example, a liquid crystal display element, and a light source (for example, an LED backlight) 11 is disposed on the back side (the side opposite to the optical unit 12 side). By controlling the intensity of light emitted from the light source 11 with the control unit 13, the light intensity (luminance) of the image displayed on the image display unit 10 can be adjusted.

なお、映像表示部10に表示させる映像は、例えば、透過型映像表示装置1の外部から有線や無線で供給することができる。或いは、透過型映像表示装置1に着脱可能な記憶部(メモリーカード等)を設け、この記憶部を介して映像を供給する構成にしてもよい。   The video to be displayed on the video display unit 10 can be supplied from the outside of the transmissive video display device 1 by wire or wireless, for example. Alternatively, a detachable storage unit (memory card or the like) may be provided in the transmissive image display device 1 and an image may be supplied via the storage unit.

光学部12は、映像表示部10から出射された光(映像)を導光板5に導く部分であり、例えば、レンズ16、ミラー17を有している。なお、光学部12は、複数のレンズを有する構成としてもよいし、プリズム等を用いる構成としてもよい。   The optical unit 12 is a part that guides light (video) emitted from the video display unit 10 to the light guide plate 5, and includes, for example, a lens 16 and a mirror 17. The optical unit 12 may have a configuration including a plurality of lenses or a configuration using a prism or the like.

導光板5は、光学部12から出射された光を内壁面で反射させながらハーフミラー15に導光する部分である。導光板5は、光学部12から出射された光の波長に対して透過性を有する樹脂等により形成されている。ハーフミラー15は、導光板5からの光を調光フィルタ6と反対側(使用者の眼側(図4では左眼LI))に反射する部分である。なお、光学部12、導光板5、及びハーフミラー15は、映像表示部10が表示する映像を使用者の眼に導く光学手段の代表的な一例である。   The light guide plate 5 is a part that guides the light emitted from the optical unit 12 to the half mirror 15 while reflecting the light from the inner wall surface. The light guide plate 5 is formed of a resin having transparency to the wavelength of light emitted from the optical unit 12. The half mirror 15 is a part that reflects the light from the light guide plate 5 to the side opposite to the light control filter 6 (the user's eye side (left eye LI in FIG. 4)). The optical unit 12, the light guide plate 5, and the half mirror 15 are typical examples of optical means that guides the video displayed by the video display unit 10 to the eyes of the user.

調光フィルタ6は、外部から入射する光(外光)の透過率を電気的に可変し、使用者の眼に達する外光の光強度(輝度)を調整する部分である。調光フィルタ6は、導光板5の前面(使用者の眼と反対側の表面)に、使用者の視界(視野)を覆う形で設けられている。調光フィルタ6は、例えば、エレクトロクロミック素子を用いて構成できる。エレクトロクロミック素子は、例えば、可視光に対して透明なガラス基板上若しくはプラスチック基板上に形成することができる。   The light control filter 6 is a part that electrically changes the transmittance of light (external light) incident from the outside and adjusts the light intensity (luminance) of the external light reaching the user's eyes. The light control filter 6 is provided on the front surface of the light guide plate 5 (surface opposite to the user's eyes) so as to cover the user's field of view (field of view). The light control filter 6 can be comprised using an electrochromic element, for example. The electrochromic element can be formed, for example, on a glass substrate or a plastic substrate that is transparent to visible light.

調光フィルタ6としてエレクトロクロミック素子を用いることで、エレクトロクロミック素子は遮光フィルタ効果にメモリ性があり、電源をオフ状態でも遮光性を維持できる。   By using an electrochromic element as the dimming filter 6, the electrochromic element has a memory property with respect to the light shielding filter effect, and can maintain the light shielding property even when the power is turned off.

ここで、図5を参照しながら、調光フィルタ6の構造の一例について説明する。調光フィルタ6は、表示基板20上に酸化チタン粒子膜21及び表示層22を形成し、10μm程度のスペーサ23を介して対向基板24を貼り合わせたセル構造とすることができる。セル構造内には、電解液として、例えば、1-エチル-3-メチルイミダゾリウム・テトラシアノボレートが封入されている。   Here, an example of the structure of the dimming filter 6 will be described with reference to FIG. The light control filter 6 can have a cell structure in which a titanium oxide particle film 21 and a display layer 22 are formed on a display substrate 20 and a counter substrate 24 is bonded through a spacer 23 of about 10 μm. In the cell structure, for example, 1-ethyl-3-methylimidazolium tetracyanoborate is enclosed as an electrolytic solution.

調光フィルタ6は、この調光フィルタ6の透過率を制御部13により可変制御できるよう構成されている。この機能は、例えば、調光フィルタ6の対向基板24として、透過率の高い薄膜トランジスタアレイを用いることで実現できる。例えば、使用者の視界領域(視野領域)を複数の画素に分割し、各画素に対応する薄膜トランジスタを備えた薄膜トランジスタアレイを対向基板24として用いる。そして、調光フィルタ6の表示層22への電力供給を各薄膜トランジスタにより個別に制御することで、任意の位置や大きさで表示層22の透過率を可変制御可能となる。   The dimming filter 6 is configured so that the transmittance of the dimming filter 6 can be variably controlled by the control unit 13. This function can be realized, for example, by using a thin film transistor array having a high transmittance as the counter substrate 24 of the light control filter 6. For example, a user's view area (view area) is divided into a plurality of pixels, and a thin film transistor array including thin film transistors corresponding to each pixel is used as the counter substrate 24. The power supply to the display layer 22 of the dimming filter 6 is individually controlled by each thin film transistor, so that the transmittance of the display layer 22 can be variably controlled at an arbitrary position and size.

或いは、粗い制御でもよい仕様であれば、例えば、調光フィルタ6の対向基板24を使用者の視野領域に対応する数個程度の領域(セグメント)に分割し、各セグメントに対して個別配線を設けてもよい。個別配線への電力供給を制御することで、セグメント毎に表示層22の透過率を可変制御可能となる。この方法は、対向基板24として薄膜トランジスタアレイのような高価な部品を用いなくて良い点で好適である。   Alternatively, if the specification allows rough control, for example, the counter substrate 24 of the dimming filter 6 is divided into several regions (segments) corresponding to the visual field region of the user, and individual wiring is provided for each segment. It may be provided. By controlling the power supply to the individual wiring, the transmittance of the display layer 22 can be variably controlled for each segment. This method is preferable in that an expensive component such as a thin film transistor array does not have to be used as the counter substrate 24.

なお、調光フィルタ6を導光板5の表面側に着脱可能な構造としてもよい。これにより、調光フィルタ6の消耗度に応じて容易に交換可能となるため、常に見やすい状態に維持することができる。   The dimming filter 6 may be configured to be detachable from the surface side of the light guide plate 5. Thereby, since it becomes easily exchangeable according to the consumption degree of the light control filter 6, it can always maintain in the state which is easy to see.

瞳孔撮像カメラ7は、使用者の眼の瞳孔を撮像するためのカメラであり、例えば、超小型のCCDカメラを用いることができる。瞳孔撮像カメラ7は、例えば、図3、図6(a)に示すように、導光板5の下端付近(図では、左眼用の導光板5の左下端付近)に使用者の眼(瞳)に向けて配置される。或いは、図6(b)に示すように、瞳孔撮像カメラ7を導光板5の上端付近(図では、左眼用の導光板5の右上端付近)に使用者の眼(瞳)に向けて配置してもよい。なお、瞳孔撮像カメラ7は、どちらか一方側の導光板(例えば、図2のように左眼用の導光板5)に配置している。   The pupil imaging camera 7 is a camera for imaging the pupil of the user's eyes, and for example, an ultra-small CCD camera can be used. For example, as shown in FIGS. 3 and 6A, the pupil imaging camera 7 has a user's eye (pupil) near the lower end of the light guide plate 5 (in the drawing, near the lower left end of the left-eye light guide plate 5). ). Alternatively, as shown in FIG. 6B, the pupil imaging camera 7 is directed toward the user's eye (pupil) near the upper end of the light guide plate 5 (in the drawing, near the upper right end of the light guide plate 5 for the left eye). You may arrange. Note that the pupil imaging camera 7 is disposed on either one of the light guide plates (for example, the left eye light guide plate 5 as shown in FIG. 2).

瞳孔撮像カメラ7で使用者の瞳孔を撮像すると、制御部13は瞳孔撮像カメラ7から撮像信号を取り込んで、例えば、周知の画像認識処理によって撮像した瞳孔の径(以下、「瞳孔径」という)を算出する。   When the pupil imaging camera 7 captures the pupil of the user, the control unit 13 captures an imaging signal from the pupil imaging camera 7 and, for example, the diameter of the pupil imaged by a known image recognition process (hereinafter referred to as “pupil diameter”). Is calculated.

制御部13は、図7に示すように、カメラ制御部30、画像認識部31、瞳孔径算出部32、映像表示部制御部33、光源電圧制御部34、調光フィルタ電圧制御部35、これらの制御部全体を制御する主制御部36を備えている。なお、光源電圧制御部34は、光源(LEDバックライト)11の駆動電圧を制御することで、光源11からの出射光の光強度を調整し、これにより、映像表示部10の映像輝度(映像光の光強度)が制御される。   As shown in FIG. 7, the control unit 13 includes a camera control unit 30, an image recognition unit 31, a pupil diameter calculation unit 32, a video display unit control unit 33, a light source voltage control unit 34, a dimming filter voltage control unit 35, and the like. The main control unit 36 for controlling the entire control unit is provided. The light source voltage control unit 34 adjusts the light intensity of the emitted light from the light source 11 by controlling the driving voltage of the light source (LED backlight) 11, and thereby the video luminance (video) of the video display unit 10. Light intensity) is controlled.

制御部13の主制御部36は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、メインメモリ等を含むように構成することができる。   The main control unit 36 of the control unit 13 can be configured to include, for example, a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), a main memory, and the like.

電源14は、映像表示部10、光源11、調光フィルタ6及び制御部13に電力を供給する部分である。本実施形態では、1つの電源14から、映像表示部10、光源11、映像表示部10、調光フィルタ6及び制御部13にそれぞれ電力を供給する構成である。電源14としては、例えば、リチュウムイオン電池等の二次電池等を用いることができる。なお、電源14を電源コードを介して透過型映像表示装置1の外部に設けるようにしてもよい。   The power source 14 is a part that supplies power to the video display unit 10, the light source 11, the dimming filter 6, and the control unit 13. In the present embodiment, power is supplied from the single power supply 14 to the video display unit 10, the light source 11, the video display unit 10, the dimming filter 6, and the control unit 13. As the power source 14, for example, a secondary battery such as a lithium ion battery can be used. Note that the power source 14 may be provided outside the transmissive video display device 1 via a power cord.

図2〜図4に示したように、透過型映像表示装置1を使用者の頭部に装着することで、映像表示部10から出射された映像は、光学部(レンズ16、ミラー17)12、導光板5、ハーフミラー15を介して使用者の眼に導かれるとともに、外界の外光(像)が調光フィルタ6、ハーフミラー15を通して使用者の眼に入射される。このように、透過型映像表示装置1は、装着した使用者に対して映像を外界の外光(像)に重ねて表示することができる。この際、調光フィルタ6は、外光を適度に遮光し、映像を見やすくする。   As shown in FIGS. 2 to 4, when the transmissive image display device 1 is mounted on the user's head, the image emitted from the image display unit 10 is an optical unit (lens 16, mirror 17) 12. The light is guided to the user's eyes through the light guide plate 5 and the half mirror 15, and external light (image) from the outside is incident on the user's eyes through the light control filter 6 and the half mirror 15. As described above, the transmissive image display device 1 can display an image superimposed on the external light (image) in the outside world for the user who wears the image. At this time, the dimming filter 6 appropriately blocks external light and makes it easy to view the image.

本願発明者らは、透過型映像表示装置1の調光フィルタ6の透過率(T)に対して、下記の式(1)を導いた。以下では、式(1)の導出と技術的意義を中心に説明する。   The inventors of the present application derived the following formula (1) with respect to the transmittance (T) of the light control filter 6 of the transmissive image display device 1. Hereinafter, the derivation of Expression (1) and the technical significance will be mainly described.

T=(B×k)/(D×A) …式(1)
ただし、
B:映像表示部10の映像の光強度、k:映像係数、A:透過型映像表示装置1の外光入射面(フロント部3a)での外光の光強度、
D=−log((Lmax−L0)/(Lmax−Lmin))
T = (B × k) / (D × A) (1)
However,
B: light intensity of the image on the image display unit 10, k: image coefficient, A: light intensity of external light on the external light incident surface (front portion 3a) of the transmissive image display device 1,
D = −log ((Lmax−L0) / (Lmax−Lmin))

なお、上記のLmaxは映像の見やすさレベルの最大値、Lminは映像の見やすさレベルの最小値、L0は映像の見やすさレベルの閾値である。   Note that Lmax is the maximum value of the video viewability level, Lmin is the minimum value of the video viewability level, and L0 is the threshold value of the video viewability level.

そして、映像の見やすさは、図8に示すように、映像表示部10から送られた映像光量の強さ(映像の光強度C)と、外光光量(外光の光強度A)を調光フィルタ6で減光した透過光光量(透過光の光強度B)により決まる。   As shown in FIG. 8, the visibility of the image is adjusted by adjusting the intensity of the image light amount (image light intensity C) sent from the image display unit 10 and the amount of outside light (light intensity A of the outside light). It is determined by the amount of transmitted light (light intensity B of transmitted light) dimmed by the optical filter 6.

本願発明者らは、上記の透過型映像表示装置1を用い、多数の被験者に対して、さまざまな明るさの外光環境のもと、調光フィルタ6の透過率を変えながら文字映像や写真映像に対して、5段階で視認性の官能評価を実施した。図9に、実施した官能評価の一例を示す。図9は、外光12000ルクスの環境で、上記の透過型映像表示装置1を用いて、調光フィルタ6の透過率を5%から15%まで変化させたときの文字映像の視認性(見やすさ)の結果である。   The inventors of the present application use the transmission-type image display device 1 described above, and for a large number of subjects, character images and photographs while changing the transmittance of the dimming filter 6 in an ambient light environment with various brightnesses. Sensory evaluation of visibility was performed on the video in five stages. FIG. 9 shows an example of the sensory evaluation performed. FIG. 9 shows the visibility of character images when the transmittance of the dimming filter 6 is changed from 5% to 15% using the above-described transmission-type image display device 1 in an environment of 12000 lux of external light (easy to see. This is the result.

図9に示すように、映像の光強度が高いほど映像の視認性レベルは高く、かつ調光フィルタ6の光透過度を低くして外光を遮蔽するほど映像の視認性レベルは高い。この結果から、本願発明者らは、図8で説明した透過光の光強度Bと映像の光強度Cとの比(C/B)が、映像の視認性に依存すると考えた。   As shown in FIG. 9, the higher the light intensity of the video, the higher the visibility level of the video, and the lower the light transmittance of the dimming filter 6, the higher the visibility level of the video. From this result, the present inventors considered that the ratio (C / B) between the light intensity B of the transmitted light and the light intensity C of the image described in FIG. 8 depends on the visibility of the image.

そこで、光量の差として、映像の光強度C(映像光量)と透過光の光強度B(調光フィルタ6を透過後の外光の光強度)との光強度比を、下記のごとく定義した。   Therefore, the light intensity ratio between the light intensity C of the image (image light intensity) and the light intensity B of the transmitted light B (the light intensity of the external light after passing through the light control filter 6) is defined as follows as the difference in the light amount. .

光強度比=映像の光強度/透過光の光強度(調光フィルタ6を透過後の外光の光強度)
なお、各々の光強度は照度センサの計測値もしくは輝度センサ計測値とした。また、映像の光強度は、白ベタ映像のときの光強度とした。
Light intensity ratio = light intensity of image / light intensity of transmitted light (light intensity of external light after passing through light control filter 6)
In addition, each light intensity was made into the measured value of an illuminance sensor, or a luminance sensor measured value. In addition, the light intensity of the image was the light intensity for a white solid image.

図10は、図9を光強度比に対する映像のレベルの度合いとしてプロットした結果を示す。図10に示すように、調光フィルタ6の各透過率(5%、10%、15%)での映像の見やすさレベルは、光強度比と映像の見やすさレベルのカーブにすべて乗り、光強度比によって、映像の見やすさレベルは一意的に決まることを本願発明者らは見い出した。さらに、図示していないが、外光の明るさが1000ルクスから50000ルクスの範囲で、どの外光の明るさでも図10の光強度と映像の見やすさレベルのカーブに略一致し、外光がどの明るさであっても、視認性は、本願発明者らが定義した光強度比で決まることを見い出した。   FIG. 10 shows the result of plotting FIG. 9 as the degree of the level of the image with respect to the light intensity ratio. As shown in FIG. 10, the visibility level of the image at each transmittance (5%, 10%, 15%) of the light control filter 6 is all on the curve of the light intensity ratio and the visibility level of the image. The inventors of the present application have found that the level of visibility of an image is uniquely determined by the intensity ratio. Furthermore, although not shown, the brightness of the external light is in the range of 1000 lux to 50000 lux, and the brightness of any external light substantially matches the curve of the light intensity and the visibility level of the image in FIG. It has been found that the visibility is determined by the light intensity ratio defined by the inventors of the present application regardless of the brightness.

また、図11に示すように、文字映像のように2階調しかない映像の場合と、写真映像のように多階調からなる中間調映像では、光強度比に対する視認性のカーブが異なり、視認性(映像の見やすさレベル)を上げるには、中間調画像のほうが光強度比を高くする必要があることが分かった。本願発明者らは、これらの視認性官能評価実験に基づいて、映像の見やすさレベル(L)が、下記の式(2)として表されることを導き出した。   In addition, as shown in FIG. 11, the visibility curve with respect to the light intensity ratio differs between an image having only two gradations such as a character image and a halftone image having multiple gradations such as a photographic image, It has been found that in order to increase the visibility (level of visibility of the video), it is necessary to increase the light intensity ratio of the halftone image. Based on these visibility sensory evaluation experiments, the inventors of the present application have derived that the visibility level (L) of an image is expressed as the following equation (2).

L=Lmax−(Lmax−Lmin)×exp(−k×S) …式(2)
ただし、
L:映像の見やすさレベル、Lmax:映像の見やすさレベルの最大値、Lmin:映像の見やすさレベルの最小値、k:映像係数、S:光強度比(=B/(A×T))
L = Lmax− (Lmax−Lmin) × exp (−k × S) (2)
However,
L: Video viewing level, Lmax: Video viewing level maximum value, Lmin: Video viewing level minimum value, k: Video coefficient, S: Light intensity ratio (= B / (A × T))

なお、上記の光強度比S(=B/(A×T))において、Bは映像表示部10の映像の光強度、Aは透過型映像表示装置1の外光入射面(フロント部3a)での外光の光強度、Tは調光フィルタ6の透過率である。   In the light intensity ratio S (= B / (A × T)), B is the light intensity of the image of the image display unit 10, and A is the external light incident surface (front portion 3a) of the transmissive image display device 1. The light intensity of outside light at T, T is the transmittance of the light control filter 6.

式(2)から、映像の見やすさレベル(L)の値として、映像の見やすさレベルの閾値(L0)を選ぶことで、映像の見やすさに必要な調光フィルタ6の透過率(T)を求めることができる。それが、上記の式(1)となる。   From formula (2), by selecting the threshold value (L0) of the video viewability level as the value of the video viewability level (L), the transmittance (T) of the light control filter 6 necessary for the video viewability Can be requested. That is the above equation (1).

式(2)において、映像表示部10の映像の光強度Bは、導光板5の眼と対向する面での光強度検出手段の検出値を意味する。しかしながら、この場合に光強度検出手段が眼に干渉するため、導光板5の眼と対向する面に光強度検出センサを常時設けるのは困難である。   In the formula (2), the light intensity B of the image of the image display unit 10 means a detection value of the light intensity detecting means on the surface of the light guide plate 5 facing the eye. However, in this case, since the light intensity detection means interferes with the eyes, it is difficult to always provide the light intensity detection sensor on the surface of the light guide plate 5 facing the eyes.

そこで、図12に示すように、予め、全面白ベタ映像の表示時に、導光板5の眼と対向する面に光強度検出センサを取り付けて、映像表示部10の光源11の駆動電圧と、眼前での映像の光強度(図12では、映像の照度)との関係を測定し、光源11の駆動電圧の値から映像表示部10の映像の光強度B値を算出することとした。なお、この測定後に光強度検出センサは取り外しておく。   Therefore, as shown in FIG. 12, a light intensity detection sensor is attached to the surface of the light guide plate 5 facing the eye in advance when displaying the entire white solid image, and the driving voltage of the light source 11 of the image display unit 10 and the front of the eye The relationship between the light intensity of the image and the light intensity (image illuminance in FIG. 12) is measured, and the light intensity B value of the image of the image display unit 10 is calculated from the value of the driving voltage of the light source 11. The light intensity detection sensor is removed after this measurement.

これにより、導光板5の眼と対向する面に光強度検出手段を常時設けることなく、図12の測定結果をテーブルデータとして、主制御部36にて光源11の駆動電圧の値(電圧値)から映像表示部10の映像の光強度Bを算出することができる。   As a result, the light intensity detection means is not always provided on the surface of the light guide plate 5 facing the eyes, and the measurement result of FIG. Thus, the light intensity B of the image on the image display unit 10 can be calculated.

式(2)において、映像の見やすさレベル(L)は、多段階レベルで設定可能であり、例えば5段階でも10段階でも構わない。例えば5段階では、映像の見やすさレベル(L)の最大値は「5」で、最小値は「1」となる。なお。映像の見やすさレベル(L)の閾値は、概ね最大値の80%程度が適し、5段階では閾値は「4」となる。   In the expression (2), the video viewability level (L) can be set at multiple levels, and may be, for example, 5 levels or 10 levels. For example, in five stages, the maximum value of the video visibility level (L) is “5”, and the minimum value is “1”. Note that. The threshold value of the visibility level (L) of the video is preferably about 80% of the maximum value, and the threshold value is “4” in five levels.

式(1)、(2)の映像係数(k)とは、表示する映像により決める係数値で、文字映像では概ね「15〜50」、写真などの中間調映像では概ね「5〜15」の値とする。   The video coefficient (k) in the equations (1) and (2) is a coefficient value determined by the video to be displayed, and is generally “15 to 50” for character video and “5 to 15” for halftone video such as photographs. Value.

ところで、外界の景色は一様ではなく、例えば、白い壁や蛍光灯の光源などのように明るい領域と、建物の影や木々のように暗い領域がある。そして、透過型映像表示装置1の外光入射面(フロント部3a)での外光の光強度(A)を、例えば周知の照度センサで測定した場合、これらの景色からくる光を平均値として測定する。このため、景色の中でも、使用者の目線が例えば白い壁のところを向いた場合、その白い壁から眼にくる光の強度は、照度センサで測定した場合の平均化された光の強度よりも強くなる。   By the way, the scenery of the outside world is not uniform, for example, there are bright areas such as white walls and fluorescent light sources, and dark areas such as shadows and trees of buildings. Then, when the light intensity (A) of the external light on the external light incident surface (front portion 3a) of the transmissive image display device 1 is measured by, for example, a well-known illuminance sensor, the light from these scenes is used as an average value. taking measurement. For this reason, when the user's eyes are facing a white wall, for example, in the scenery, the intensity of the light coming from the white wall to the eyes is higher than the averaged light intensity measured by the illuminance sensor. Become stronger.

よって、透過型映像表示装置1の外光入射面(フロント部3a)での外光の光強度を、照度センサ等で測定する構成では、映像の見やすさが改善されない可能性がある。   Therefore, in the configuration in which the light intensity of the external light on the external light incident surface (front portion 3a) of the transmissive image display device 1 is measured with an illuminance sensor or the like, the visibility of the image may not be improved.

このように、透過型映像表示装置1の外光入射面(フロント部3a)での外光の光強度を照度センサ等で測定する構成では、外界の景色のどこに使用者の目線が向いているかに対して対応できないときがある。使用者の目線がどこを向いていても、映像の見やすさが常に良好であるためには、目線の向いている領域の明るさに応じて、調光フィルタ6の透過率(外光透過率)を制御する必要がある。   As described above, in the configuration in which the light intensity of the external light on the external light incident surface (front portion 3a) of the transmissive image display device 1 is measured by the illuminance sensor or the like, where the user's line of sight is facing in the outside scene. There are times when it cannot respond to. Regardless of where the user's line of sight is directed, in order to ensure good visibility of the image, the transmittance of the dimming filter 6 (external light transmittance) according to the brightness of the region where the line of sight is directed. ) Need to be controlled.

そこで、本願発明者らは、眼の瞳孔径と外光の強さ(外光照度)との関係に着目した。図13は、文献(「モバイル端末の視認性に対する照度の影響」(モバイル学会誌2012 vol2(2)pp81−85 図7))にあったデータを基に、外界の外光照度(外光の光強度)と瞳孔径との関係を示したものである。   Accordingly, the inventors of the present application focused on the relationship between the pupil diameter of the eye and the intensity of external light (external light illuminance). FIG. 13 shows external light illuminance (light from outside light) based on data in the literature (“Effect of Illuminance on Visibility of Mobile Terminals” (Mobile Society Journal 2012 vol2 (2) pp81-85 FIG. 7)). (Intensity) and the pupil diameter.

本願発明者らは、図13に示した外界の外光照度(外光の光強度)と瞳孔径との関係と、眼(瞳)の色、年齢に基づいて、外光の眼線での光強度(外光照度)Aが下記の式(3)として表されることを導き出した。   Based on the relationship between the external light illuminance (light intensity of external light) and the pupil diameter, the color of the eye (pupil), and the age shown in FIG. It was derived that (external light illuminance) A is expressed as the following formula (3).

A=exp(−(d−K1)/K2) …式(3)
ただし、
d:瞳孔径(mm)、K1:眼(瞳)の色により決まる係数、K2:年齢により決まる係数
A = exp (− (d−K1) / K2) (3)
However,
d: pupil diameter (mm), K1: coefficient determined by eye (pupil) color, K2: coefficient determined by age

係数K1は、眼(瞳)の色で決まる係数であり、例えば、茶色系統で0.4〜0.5、青色系統で0.5〜0.6に設定される。また、係数K2は、年齢により決まる係数でありり、例えば20代から50代で5〜6、60代以上で4〜5程度に設定される。   The coefficient K1 is a coefficient determined by the color of the eye (pupil), and is set to, for example, 0.4 to 0.5 for the brown system and 0.5 to 0.6 for the blue system. The coefficient K2 is a coefficient determined by age, and is set to about 5 to 6 in the 20s to 50s, and about 4 to 5 in the 60s or more, for example.

図13において、黒丸データは係数K1を5.5、係数K2を0.44としたときの、外界の外光照度(外光の光強度)と瞳孔径との関係を示したものである。   In FIG. 13, black circle data shows the relationship between the external light illuminance (light intensity of external light) and the pupil diameter when the coefficient K1 is 5.5 and the coefficient K2 is 0.44.

このように、瞳孔撮像カメラ7からの撮像信号に基づいて使用者の瞳孔径を算出することで、式(3)から、使用者の目線を向けている領域における外光の光強度を照度として算出することができる。   Thus, by calculating the pupil diameter of the user based on the imaging signal from the pupil imaging camera 7, the light intensity of the external light in the region where the user's line of sight is directed is expressed as illuminance from Equation (3). Can be calculated.

上記の式(3)で算出される外光の眼線での光強度(外光照度)Aを、上記の式(1)、(2)のAとして用いる。   The light intensity (external light illuminance) A at the eye of the external light calculated by the above formula (3) is used as A in the above formulas (1) and (2).

上記した透過型映像表示装置1を使用者の頭部に装着したときにおいて、制御部13のカメラ制御部30の制御によって瞳孔撮像カメラ7で使用者の眼(瞳)を撮像することで、画像認識部31は取り込んだ撮像信号に基づいて瞳孔を画像として認識処理し、瞳孔径算出部32は認識処理された瞳孔画像から瞳孔径を算出する。   When the transmission type image display apparatus 1 is mounted on the user's head, the pupil imaging camera 7 images the user's eyes (pupil) under the control of the camera control unit 30 of the control unit 13, thereby generating an image. The recognition unit 31 recognizes the pupil as an image based on the captured image signal, and the pupil diameter calculation unit 32 calculates the pupil diameter from the recognized pupil image.

そして、主制御部36は、上記の式(3)に基づいて、算出された瞳孔径に対応した外光入射面(フロント部3a)での外光の眼線での光強度(外光照度)Aを算出する。更に、主制御部36は、この外光の眼線での光強度Aと、映像表示部制御部33と光源電圧制御部34の制御によって映像表示部10から出射される映像の光強度Bとの比(光強度比S)を求め、上記の式(1)、(2)に基づき、調光フィルタ6の適切な透過率(T)を算出する。更に、主制御部36は、算出した適切な透過率(T)となるような調光フィルタ6の駆動電圧を算出し、調光フィルタ電圧制御部35による制御によって電源14から算出した駆動電圧を調光フィルタ6へ供給する。   Then, the main control unit 36, based on the above equation (3), the light intensity (external light illuminance) A at the line of external light on the external light incident surface (front unit 3a) corresponding to the calculated pupil diameter. Is calculated. Further, the main control unit 36 compares the light intensity A at the line of sight of the external light and the light intensity B of the video emitted from the video display unit 10 under the control of the video display control unit 33 and the light source voltage control unit 34. The ratio (light intensity ratio S) is obtained, and an appropriate transmittance (T) of the dimming filter 6 is calculated based on the above formulas (1) and (2). Further, the main control unit 36 calculates the drive voltage of the dimming filter 6 so that the calculated appropriate transmittance (T) is obtained, and the drive voltage calculated from the power source 14 by the control of the dimming filter voltage control unit 35. It supplies to the light control filter 6.

このように、透過型表示装置1の外光入射面(フロント部3a)での外光の光強度(A)を検出する照度センサ等の光強度検出手段を設けることなく、瞳孔撮像カメラ7で使用者の眼(瞳)を撮像して瞳孔径の大きさを算出することで、使用者の目線がどこを向いていても、見ている視線付近の外光の光強度(輝度)の変化に応じて調光フィルタ6を適切な透過率に制御して、表示される映像の見やすさレベルを常に良好に維持することができる。   As described above, the pupil imaging camera 7 does not provide a light intensity detection means such as an illuminance sensor for detecting the light intensity (A) of the external light on the external light incident surface (front portion 3a) of the transmissive display device 1. Changes in the intensity (luminance) of external light near the line of sight of the user's eyes, regardless of where the user's eyes are looking, by imaging the user's eyes (pupil) and calculating the size of the pupil diameter Accordingly, the dimming filter 6 can be controlled to an appropriate transmittance so that the level of visibility of the displayed image can always be maintained satisfactorily.

更に、見ている視線付近の光強度(輝度)の変化に応じて、調光フィルタ6を適切な透過率に制御するとともに、光源11の駆動電圧もそれに応じて制御することで、表示される映像を見やすいレベルに維持しながら、光源11の消費電力を常に必要最小限に抑えることができる。   Furthermore, the light control filter 6 is controlled to an appropriate transmittance according to the change in the light intensity (luminance) near the line of sight that is being viewed, and the drive voltage of the light source 11 is also controlled accordingly to be displayed. The power consumption of the light source 11 can always be kept to the minimum necessary while maintaining the level at which the video is easy to see.

また、制御部13の主制御部36の記憶部に、上記の式(1)〜式(3)によって算出される、瞳孔撮像カメラ7からの撮像信号に基づいて算出される瞳孔径の値に応じて、映像の見やすさレベルが閾値以上となるような、映像表示部10の映像の光強度(輝度)の値と調光フィルタ6の透過率の値とを、予め設定した調整テーブルを記憶しておくとよい。   Further, in the storage unit of the main control unit 36 of the control unit 13, the pupil diameter value calculated based on the imaging signal from the pupil imaging camera 7 calculated by the above formulas (1) to (3) is set. Correspondingly, an adjustment table in which the light intensity (luminance) value of the image of the image display unit 10 and the transmittance value of the dimming filter 6 are set in advance so that the image visibility level is equal to or higher than the threshold value is stored. It is good to keep.

図14は、主制御部36の記憶部に予め記憶された調整テーブルの一例を示した図である。図14において、光源11の駆動電圧の値は、映像表示部10の映像の光強度(輝度)の値に対応しており、調光フィルタ6の駆動電圧の値は、調光フィルタ6の透過率の値に対応している。また、瞳孔径の算出においては、上記の式(1)〜式(3)において、K1(眼(瞳)の色により決まる係数)を5.5、K2(年齢により決まる係数)を0.44、Lmax(映像の見やすさレベルの最大値)を5、Lmin(映像の見やすさレベルの最小値)を1、L0(映像の見やすさレベルの閾値)を4、k(映像係数)を30とした。   FIG. 14 is a diagram illustrating an example of an adjustment table stored in advance in the storage unit of the main control unit 36. In FIG. 14, the value of the drive voltage of the light source 11 corresponds to the value of the light intensity (luminance) of the image of the image display unit 10, and the value of the drive voltage of the dimming filter 6 is transmitted through the dimming filter 6. Corresponds to the rate value. In calculating the pupil diameter, in the above formulas (1) to (3), K1 (coefficient determined by the eye (pupil) color) is 5.5 and K2 (coefficient determined by age) is 0.44. , Lmax (maximum value of video viewing level) is 5, Lmin (minimum value of video viewing level) is 1, L0 (threshold level of video viewing level) is 4, and k (video coefficient) is 30. did.

なお、例えば図14に示した調整テーブルにおける調光フィルタ6の透過率の値は、上記の式(1)で算出される透過率の値であるが、この値に対して±20%程度の誤差範囲内の透過率の値であれば、実用上問題のないレベルである。図14に示した調整テーブルは一例であり、使用者に応じた調整テーブルを記憶しておくことができる。   For example, the transmittance value of the dimming filter 6 in the adjustment table shown in FIG. 14 is the transmittance value calculated by the above equation (1), but about ± 20% of this value. If the transmittance value is within the error range, the level is practically acceptable. The adjustment table shown in FIG. 14 is an example, and an adjustment table corresponding to the user can be stored.

図14に示したような調整テーブルを予め主制御部36の記憶部に予め記憶しておくことにより、瞳孔撮像カメラ7からの撮像信号に基づいて算出される瞳孔径の値に基づいて、主制御部36が例えば図14に示した調整テーブルにより、映像の見やすさレベルが閾値以上となるように、調光フィルタ6の透過率と映像表示部10の映像の光強度(輝度)を容易にかつ精度よく調整することができる。   The adjustment table as shown in FIG. 14 is stored in advance in the storage unit of the main control unit 36, so that the main table is based on the value of the pupil diameter calculated based on the imaging signal from the pupil imaging camera 7. The control unit 36 easily adjusts the transmittance of the dimming filter 6 and the light intensity (luminance) of the video on the video display unit 10 so that the level of visibility of the video is equal to or higher than the threshold by using the adjustment table shown in FIG. And it can adjust with high precision.

また、主制御部36は、上記の式(1)に基づき、瞳孔撮像カメラ7からの撮像信号に基づいて算出される瞳孔径の値に基づいて例えば図14に示したような調整テーブルを随時作成して、作成した調整テーブルに基づき、映像の見やすさレベルが閾値以上となるように、調光フィルタ6の透過率と映像表示部10の映像の光強度(輝度)を多段階で調整するようにしてもよい。   Further, the main control unit 36 generates an adjustment table as shown in FIG. 14 based on the value of the pupil diameter calculated based on the imaging signal from the pupil imaging camera 7 based on the above formula (1) as needed. Based on the created adjustment table, the transmittance of the dimming filter 6 and the light intensity (luminance) of the video on the video display unit 10 are adjusted in multiple stages so that the level of visibility of the video is equal to or greater than the threshold. You may do it.

このように、上記の式(1)に基づき、瞳孔撮像カメラ7からの撮像信号に基づいて算出される瞳孔径の値に基づいて調整テーブルを、使用者の視線方向に応じて随時作成することで、予め複数の調整テーブルを記憶しておく必要がなくなる。よって、記憶部の記憶容量を大きくする必要がなく、また、使用者の視線方向に応じて、映像の見やすさレベルが閾値以上となるように、調光フィルタ6の透過率と映像表示部10の映像の光強度(輝度)を素早く調整することができる。   As described above, based on the above formula (1), the adjustment table is created as needed according to the eye gaze direction of the user based on the value of the pupil diameter calculated based on the imaging signal from the pupil imaging camera 7. Thus, it is not necessary to store a plurality of adjustment tables in advance. Therefore, it is not necessary to increase the storage capacity of the storage unit, and the transmittance of the dimming filter 6 and the image display unit 10 are set so that the level of image visibility is equal to or greater than the threshold according to the user's line-of-sight direction. It is possible to quickly adjust the light intensity (luminance) of the video.

また、瞳孔撮像カメラ7からの撮像信号に基づいて使用者の瞳孔径を算出する際において、使用者の年齢、眼(瞳)の色に応じて適切に補正することで、使用者の年齢や人種等にかかわらず、表示される映像の見やすさレベルを良好に維持することができる。   Further, when calculating the pupil diameter of the user based on the imaging signal from the pupil imaging camera 7, by appropriately correcting according to the age of the user and the color of the eyes (pupil), the age of the user Regardless of race or the like, it is possible to maintain a good level of visibility of the displayed video.

また、本実施形態では、1つの電源14から、映像表示部10、光源11、調光フィルタ6及び制御部13にそれぞれ電力を供給することにより、電源を小型軽量にすることできるので、装置全体の軽量化を図ることができる。   In the present embodiment, the power supply can be reduced in size and weight by supplying power from the single power supply 14 to the video display unit 10, the light source 11, the dimming filter 6, and the control unit 13. Can be reduced in weight.

また、本実施形態の透過型映像表示装置1は、眼鏡形状の外観を有する透過型ヘッドマウントディスプレイであるため、映像を眼の正面に視認性よく表示することができる。   In addition, since the transmissive image display apparatus 1 of the present embodiment is a transmissive head mounted display having a spectacle-shaped appearance, it is possible to display an image with high visibility on the front of the eye.

<調光フィルタの作製>
下記の実施例1、2の透過型映像表示装置において、調光フィルタに用いるエレクトロクロミック素子は以下の方法で作製した。
<Preparation of light control filter>
In the transmissive image display devices of Examples 1 and 2 below, the electrochromic element used for the dimming filter was produced by the following method.

20mm×40mm(厚み0.3mm)のガラス基板にITOをスパッタで製膜し導電層を形成させた。その導電層の上面に酸化チタンナノ粒子分散液(昭和タイタニウム社製SP210)をスピンコート法により塗布し、120℃で15分間アニール処理を行うことによって、酸化チタン粒子膜を形成した。この酸化チタン粒子膜に下記の構造式(化1)で示される還元発色する色素の1wt%2,2,3,3−テトラフロロプロパノール溶液を塗布液としてスピンコート法により塗布し、120℃で5分間アニール処理を行うことによって酸化チタン粒子表面にエレクトロクロミック化合物を吸着させた表示層を形成した。   ITO was formed on a 20 mm × 40 mm (thickness 0.3 mm) glass substrate by sputtering to form a conductive layer. A titanium oxide nanoparticle dispersion (SP210 manufactured by Showa Titanium Co., Ltd.) was applied to the upper surface of the conductive layer by a spin coating method, and annealed at 120 ° C. for 15 minutes to form a titanium oxide particle film. A 1 wt% 2,2,3,3-tetrafluoropropanol solution of a dye that produces a reduction color represented by the following structural formula (Chemical Formula 1) is applied to the titanium oxide particle film as a coating solution by a spin coating method at 120 ° C. A display layer having an electrochromic compound adsorbed on the surface of the titanium oxide particles was formed by annealing for 5 minutes.

対向基板には酸化発色する色素をスピンコート塗布したITO付きガラス基板を用意した。表示基板と対向基板を10μmのスペーサを介して貼り合わせ、セルを作製した。次に、電解液として、1-エチル-3-メチルイミダゾリウム・テトラシアノボレートをセル内に注入することでエレクトロクロミック素子を完成させた。その後、張り合わせた2枚のガラス基板の端部全周囲をUV接着剤にて封止した。   As the counter substrate, a glass substrate with ITO coated with a dye that oxidizes and develops a color by spin coating was prepared. The display substrate and the counter substrate were bonded to each other through a 10 μm spacer to manufacture a cell. Next, 1-ethyl-3-methylimidazolium tetracyanoborate as an electrolytic solution was injected into the cell to complete the electrochromic device. Thereafter, the entire periphery of the ends of the two glass substrates bonded together was sealed with a UV adhesive.

作製したエレクトロクロミック素子(調光フィルタ)は、例えば、図15に示すような、駆動電圧と透過率の関係が得られた。   For the produced electrochromic element (light control filter), for example, the relationship between the drive voltage and the transmittance as shown in FIG. 15 was obtained.

<実施例1>
以下の条件により、図1の構成の透過型映像表示装置1を作製した。
表示装置本体(装置前面部3a、テンプル3b):moverio BT−200(エプソン社)
調光フィルタ6:エレクトロクロミック素子(上記方法で作製した素子)
瞳孔撮像カメラ7:CMOSカメラモジュール(日本ケミコン NCM03−V 8.4×11.8×5)
表示映像:白色の文字画像(20ポイント文字)
<Example 1>
The transmissive video display device 1 having the configuration shown in FIG. 1 was produced under the following conditions.
Display device body (device front surface portion 3a, temple 3b): mobile BT-200 (Epson)
Light control filter 6: electrochromic device (device fabricated by the above method)
Pupil imaging camera 7: CMOS camera module (Nippon Chemi-Con NCM03-V 8.4 × 11.8 × 5)
Display image: White text image (20-point text)

式(1)で、K1=5.5、K2=0.44、Lmax=5、Lmin=1、L0=4、k=30として、瞳孔撮像カメラ7からの撮像信号に基づいて算出した各瞳孔径に対する映像の光強度(映像表示部10の駆動電圧の値)とのマトリックスからなる調光フィルタ6の透過率の調整テーブル(例えば、図14)を作成し、図7に示した主制御部36の記憶部に記憶する。   Each pupil calculated based on the imaging signal from the pupil imaging camera 7 with K1 = 5.5, K2 = 0.44, Lmax = 5, Lmin = 1, L0 = 4, k = 30 in Equation (1) An adjustment table (for example, FIG. 14) of the transmittance of the dimming filter 6 composed of a matrix of the light intensity of the image with respect to the diameter (the value of the driving voltage of the image display unit 10) is created, and the main control unit illustrated in FIG. It memorize | stores in 36 memory | storage parts.

そして、作成した調節テーブルに基づいて制御を行い、1万ルクスの屋外において、文字画像を表示したところ、外光の光強度に応じて調光フィルタ6が作動し、文字をはっきり視認できた。   Then, control was performed based on the created adjustment table, and when a character image was displayed outdoors at 10,000 lux, the dimming filter 6 was activated according to the light intensity of external light, and the characters were clearly visible.

<実施例2>
以下の条件により、図1の構成の透過型映像表示装置1を作製した。
表示装置本体(装置前面部3a、テンプル3b):moverio BT−200(エプソン社)
調光フィルタ6:エレクトロクロミック素子(上記方法で作製した素子)
瞳孔撮像カメラ7:CMOSカメラモジュール(日本ケミコン NCM03−V 8.4×11.8×5)
表示映像:白色の文字画像(20ポイント文字)
<Example 2>
The transmissive video display device 1 having the configuration shown in FIG. 1 was produced under the following conditions.
Display device body (device front surface portion 3a, temple 3b): mobile BT-200 (Epson)
Light control filter 6: electrochromic device (device fabricated by the above method)
Pupil imaging camera 7: CMOS camera module (Nippon Chemi-Con NCM03-V 8.4 × 11.8 × 5)
Display image: White text image (20-point text)

式(1)で、K1=5.5、K2=0.44、Lmax=5、Lmin=1、L0=4、k=40として、瞳孔撮像カメラ7からの撮像信号に基づいて瞳孔径を算出し、光源11の駆動電圧の値を1.5Vから2.5Vの範囲で制御しながら、図7に示した主制御部36、光源電圧制御部34にて、調光フィルタ6(エレクロトクロミック素子)の駆動電圧を制御した。なお、この制御において、図12及び図14のデータをテーブルデータとして参照するようにプログラミングした。   In equation (1), K1 = 5.5, K2 = 0.44, Lmax = 5, Lmin = 1, L0 = 4, k = 40, and the pupil diameter is calculated based on the imaging signal from the pupil imaging camera 7 Then, while controlling the value of the driving voltage of the light source 11 in the range of 1.5V to 2.5V, the dimming filter 6 (electrochromic filter) is controlled by the main control unit 36 and the light source voltage control unit 34 shown in FIG. The driving voltage of the device was controlled. In this control, programming was performed so as to refer to the data in FIGS. 12 and 14 as table data.

そして、1000ルクスの室内、1万ルクスの木陰、4万ルクスの炎天下にて、文字映像を表示したところ、外光の光強度に応じて調光フィルタ6の透過率と映像の光強度(輝度)が自動的に調整され、上記した明るさの環境下でも、文字画像をはっきり視認できた。   Then, when a character image is displayed in a room of 1000 lux, in the shade of 10,000 lux, under a hot sun of 40,000 lux, the transmittance of the dimming filter 6 and the light intensity (luminance of the image) according to the light intensity of external light. ) Was automatically adjusted, and the character image was clearly visible even in the above-mentioned brightness environment.

1 透過型映像表示装置
5 導光板
6 調光フィルタ
7 瞳孔撮像カメラ
10 映像表示部
11 光源
12 光学部
13 制御部
14 電源
36 主制御部
DESCRIPTION OF SYMBOLS 1 Transmission type image display apparatus 5 Light guide plate 6 Light control filter 7 Pupil imaging camera 10 Video display part 11 Light source 12 Optical part 13 Control part 14 Power supply 36 Main control part

特許第3371156号公報Japanese Patent No. 3371156

Claims (8)

映像を表示する映像表示部と、
前記映像を使用者の眼に導く光学手段と、
外光の透過率を可変し、前記使用者の眼に達する外光の光強度を調整する調光フィルタと、
前記使用者の眼の瞳孔を撮像する瞳孔撮像手段と、
前記瞳孔撮像手段からの撮像信号に基づいて前記瞳孔の瞳孔径を算出し、算出した瞳孔径の値に基づいて、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ調整する制御部と、を有することを特徴とする透過型映像表示装置。
A video display unit for displaying video;
Optical means for guiding the image to the user's eyes;
A dimming filter that varies the transmittance of external light and adjusts the light intensity of external light reaching the user's eyes;
Pupil imaging means for imaging the pupil of the user's eye;
The pupil diameter of the pupil is calculated based on the imaging signal from the pupil imaging means, and the transmittance of the dimming filter and the light intensity of the image on the video display unit are adjusted based on the calculated pupil diameter value, respectively. A transmission-type image display device.
外光の光強度に対応した前記瞳孔径の値に応じた、前記調光フィルタの透過率の値と前記映像表示部の映像の光強度の値が設定された調整テーブルが予め記憶されており、
前記制御部は、前記算出した瞳孔径の値と前記調整テーブルに基づき、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ多段階で調整することを特徴とする請求項1に記載の透過型映像表示装置。
An adjustment table in which the transmittance value of the light control filter and the value of the light intensity of the image on the image display unit according to the value of the pupil diameter corresponding to the light intensity of outside light is stored in advance. ,
The control unit adjusts the transmittance of the light control filter and the light intensity of the image on the image display unit in multiple stages based on the calculated pupil diameter value and the adjustment table, respectively. 2. The transmissive image display device according to 1.
前記調整テーブルにおける前記調光フィルタの透過率(T)は、下記の式(1)で算出される透過率の値であることを特徴とする請求項2に記載の透過型映像表示装置。
T=(B×k)/(D×A) …式(1)
ただし、B:映像表示部の映像の光強度、k:映像係数、A:透過型表示装置の外光入射面での外光の眼線での光強度、
上記の式(1)において、
D=−log((Lmax−L0)/(Lmax−Lmin))
ただし、Lmax:映像の見やすさレベルの最大値、Lmin:映像の見やすさレベルの最小値、L0:映像の見やすさレベルの閾値
A=exp(−(d−K1)/K2)
ただし、d:瞳孔径(mm)、K1:眼(瞳)の色により決まる係数、K2:年齢により決まる係数
The transmission type video display apparatus according to claim 2, wherein the transmittance (T) of the light control filter in the adjustment table is a transmittance value calculated by the following equation (1).
T = (B × k) / (D × A) (1)
Where B: light intensity of the image on the image display unit, k: image coefficient, A: light intensity at the line of external light on the external light incident surface of the transmissive display device,
In the above formula (1),
D = −log ((Lmax−L0) / (Lmax−Lmin))
However, Lmax: Maximum value of video viewing level, Lmin: Minimum value of video viewing level, L0: Video viewing level threshold A = exp (− (d−K1) / K2)
Where d: pupil diameter (mm), K1: coefficient determined by eye (pupil) color, K2: coefficient determined by age
前記制御部は、前記式(1)に基づいて、前記瞳孔撮像手段からの撮像信号に基づいて算出した瞳孔径の値に応じた前記調整テーブルを随時作成し、作成された前記調整テーブルに基づいて、映像の見やすさレベルが閾値以上となるように、前記調光フィルタの透過率と前記映像表示部の映像の光強度をそれぞれ調整することを特徴とする請求項3に記載の透過型映像表示装置。   The control unit creates the adjustment table according to the value of the pupil diameter calculated based on the imaging signal from the pupil imaging unit based on the formula (1), and based on the created adjustment table. 4. The transmission type image according to claim 3, wherein the transmittance of the light control filter and the light intensity of the image of the image display unit are respectively adjusted so that the level of visibility of the image is equal to or greater than a threshold value. Display device. 前記調光フィルタに駆動電圧を供給する電源と、前記映像表示部に駆動電圧を供給する電源は、同一の電源によって構成されていることを特徴とする請求項1乃至4のいずれか一項に記載の透過型映像表示装置。   5. The power supply for supplying a drive voltage to the dimming filter and the power supply for supplying a drive voltage to the video display unit are configured by the same power supply. The transmissive image display device described. 前記調光フィルタは、エレクトロクロミック素子であることを特徴とする請求項1乃至5のいずれか一項に記載の透過型映像表示装置。   The transmissive image display device according to claim 1, wherein the dimming filter is an electrochromic element. 前記調光フィルタは、着脱可能に設けられていることを特徴とする請求項1乃至6のいずれか一項に記載の透過型映像表示装置。   The transmissive image display apparatus according to claim 1, wherein the light control filter is detachably provided. 前記透過型映像表示装置は、使用者の頭部に装着されて、前記調光フィルタを通して外界からの光を使用者の眼に入射させて、前記光学手段を介して使用者の眼に導かれる前記映像を外界の像に重ねて表示する頭部装着型の表示装置であることを特徴とする請求項1乃至7のいずれか一項に記載の透過型映像表示装置。   The transmissive image display device is mounted on a user's head, and light from the outside is incident on the user's eyes through the light control filter and guided to the user's eyes via the optical means. The transmissive image display device according to any one of claims 1 to 7, wherein the transmissive image display device is a head-mounted display device that displays the image superimposed on an image of the outside world.
JP2015227629A 2015-11-20 2015-11-20 Transmission type video display device Pending JP2017097098A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015227629A JP2017097098A (en) 2015-11-20 2015-11-20 Transmission type video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227629A JP2017097098A (en) 2015-11-20 2015-11-20 Transmission type video display device

Publications (1)

Publication Number Publication Date
JP2017097098A true JP2017097098A (en) 2017-06-01

Family

ID=58817738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227629A Pending JP2017097098A (en) 2015-11-20 2015-11-20 Transmission type video display device

Country Status (1)

Country Link
JP (1) JP2017097098A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019077975A1 (en) 2017-10-16 2019-04-25 コニカミノルタ株式会社 Video display device and optical see-through display
WO2019146367A1 (en) 2018-01-29 2019-08-01 ソニー株式会社 Video projection device, video projection method, and video display light output control method
KR20200098908A (en) * 2019-02-13 2020-08-21 동우 화인켐 주식회사 Virtual Image Display
US11143870B2 (en) 2017-02-17 2021-10-12 Ricoh Company, Ltd. Display apparatus and display method
US11868524B2 (en) 2020-12-23 2024-01-09 Samsung Electronics Co., Ltd. Augmented reality device and operating method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136424A (en) * 2007-12-05 2009-06-25 Kowa Co Ophthalmic equipment
US20130114043A1 (en) * 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control
JP2013114123A (en) * 2011-11-30 2013-06-10 Seiko Epson Corp Transmission type display device, display method and display program
JP2013122519A (en) * 2011-12-12 2013-06-20 Seiko Epson Corp Transmission type display device, display method and display program
WO2015114724A1 (en) * 2014-01-28 2015-08-06 パナソニックIpマネジメント株式会社 Lighting evaluation method, program for lighting evaluation, lighting equipment production method, lighting evaluation device, and lighting equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136424A (en) * 2007-12-05 2009-06-25 Kowa Co Ophthalmic equipment
US20130114043A1 (en) * 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control
JP2013114123A (en) * 2011-11-30 2013-06-10 Seiko Epson Corp Transmission type display device, display method and display program
JP2013122519A (en) * 2011-12-12 2013-06-20 Seiko Epson Corp Transmission type display device, display method and display program
WO2015114724A1 (en) * 2014-01-28 2015-08-06 パナソニックIpマネジメント株式会社 Lighting evaluation method, program for lighting evaluation, lighting equipment production method, lighting evaluation device, and lighting equipment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11143870B2 (en) 2017-02-17 2021-10-12 Ricoh Company, Ltd. Display apparatus and display method
WO2019077975A1 (en) 2017-10-16 2019-04-25 コニカミノルタ株式会社 Video display device and optical see-through display
WO2019146367A1 (en) 2018-01-29 2019-08-01 ソニー株式会社 Video projection device, video projection method, and video display light output control method
KR20200112832A (en) 2018-01-29 2020-10-05 소니 주식회사 Image projection apparatus, image projection method, and image display light output control method
KR20200098908A (en) * 2019-02-13 2020-08-21 동우 화인켐 주식회사 Virtual Image Display
KR102617220B1 (en) 2019-02-13 2023-12-21 동우 화인켐 주식회사 Virtual Image Display
US11868524B2 (en) 2020-12-23 2024-01-09 Samsung Electronics Co., Ltd. Augmented reality device and operating method thereof

Similar Documents

Publication Publication Date Title
CN107111145B (en) Head mounted display device and display method
US10451881B2 (en) Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
JP7155527B2 (en) Display device and display method
KR102084723B1 (en) Smart glass display device applying augmented reality and virtual reality combination with plastic LCD shade
US9064445B2 (en) Transmission type display device, display method and display program
US9389423B2 (en) Head wearable display with adjustable transparency
JP6819031B2 (en) Head-mounted display device, display method
US20180188536A1 (en) Near eye display multi-component dimming system
JP2017097098A (en) Transmission type video display device
WO2015164158A1 (en) Display devices with dimming panels
TWI600925B (en) Head-mounted displaying apparatus
KR20200095985A (en) A head mounted display apparatus using discoloration lens and illumination sensor
US20170116950A1 (en) Liquid crystal display with variable drive voltage
US11656466B2 (en) Spatio-temporal multiplexed single panel based mutual occlusion capable head mounted display system and method
CN215526232U (en) Intelligent glasses display device
WO2016114130A1 (en) Head-mounted display apparatus, and display method
JP2005284007A (en) Transmission type video display device
TWI676048B (en) Near-eye display structure
US20230324686A1 (en) Adaptive control of optical transmission
CN117130159B (en) Glasses and control method thereof
JP2018081280A (en) Image display unit
TWI740083B (en) Low-light environment display structure
TW202511816A (en) Device for controlling transmittance of visible light
CN111435195A (en) Near-eye display structure
WO2018151183A1 (en) Display apparatus and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915