[go: up one dir, main page]

JP6255450B1 - Image projection apparatus, image projection system, server, image projection method, and image projection program - Google Patents

Image projection apparatus, image projection system, server, image projection method, and image projection program Download PDF

Info

Publication number
JP6255450B1
JP6255450B1 JP2016142128A JP2016142128A JP6255450B1 JP 6255450 B1 JP6255450 B1 JP 6255450B1 JP 2016142128 A JP2016142128 A JP 2016142128A JP 2016142128 A JP2016142128 A JP 2016142128A JP 6255450 B1 JP6255450 B1 JP 6255450B1
Authority
JP
Japan
Prior art keywords
image
correction
image data
laser light
correction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016142128A
Other languages
Japanese (ja)
Other versions
JP2018013566A (en
Inventor
充 菅原
充 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QD Laser Inc
Original Assignee
QD Laser Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QD Laser Inc filed Critical QD Laser Inc
Priority to JP2016142128A priority Critical patent/JP6255450B1/en
Priority to PCT/JP2017/021452 priority patent/WO2018016223A1/en
Application granted granted Critical
Publication of JP6255450B1 publication Critical patent/JP6255450B1/en
Publication of JP2018013566A publication Critical patent/JP2018013566A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Digital Computer Display Output (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】視界の歪みによって歪んで視認される画像を補正した画像を表示する。
【解決手段】画像データに基づいた画像用レーザ光を生成して、光源からの画像用レーザ光の出射制御を行う制御部と、画像用レーザ光を走査する走査ミラーと、画像用レーザ光を、画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、画像と共に投影されるポインタを操作する操作部と、を有し、制御部は、補正用画像データに基づいた画像用レーザ光を生成して、光源から出射させ、補正用画像と共に前記利用者の網膜に投影されたポインタに対する前記操作部の操作を受け付け、操作に応じて、利用者が視認する前記画像の歪みを補正する補正情報を生成し、生成された補正情報を用いて、入力された画像データを補正し、補正された画像データに基づいた画像用レーザ光を生成して、光源から出射させる。
【選択図】図1
An image obtained by correcting an image that is visually distorted due to a distortion in the field of view is displayed.
A control unit that generates image laser light based on image data and controls emission of the image laser light from the light source, a scanning mirror that scans the image laser light, and an image laser light The image data represents a projection mirror that projects onto the retina of the user's eyeball, and an operation unit that operates a pointer that is projected together with the image. The control unit is an image based on the correction image data. The laser beam is generated and emitted from the light source, the operation of the operation unit with respect to the pointer projected on the retina of the user together with the correction image is received, and the distortion of the image visually recognized by the user according to the operation Correction information is generated, and the input image data is corrected using the generated correction information, and an image laser beam based on the corrected image data is generated and emitted from the light source.
[Selection] Figure 1

Description

本発明は、画像投影装置、画像投影システム、サーバ、画像投影方法及び画像投影プログラムに関する。   The present invention relates to an image projection apparatus, an image projection system, a server, an image projection method, and an image projection program.

従来から、画像データに基づく画像用光線を人の網膜上に投影することで、人の水晶体の機能に影響されずに、人に画像データが表す画像を視認させる方法を用いた画像投影装置が知られている。   2. Description of the Related Art Conventionally, an image projection apparatus using a method of causing an image represented by image data to be visually recognized by a person without being affected by the function of the lens of the person by projecting image light rays based on the image data onto the retina of the person. Are known.

特開2011−215194号公報JP 2011-215194 A

上述した従来の画像投影装置では、画像データに基づく画像をそのまま網膜に投影させるため、黄斑変性症等の網膜の変形により視界が歪む場合には、その歪みを補正することができない。

In the conventional image projection device described above, for projecting an image based on image data as it is to the retina, when the visibility is distorted by deformation of the retina macular degeneration and the like, it is not possible to correct the distortion.

開示の技術は、上述した事情に鑑みて成されたものであり、視界の歪みによって歪んで視認される画像を補正した画像を表示することが可能な画像投影装置、画像投影システム、サーバ、画像投影方法及び画像投影プログラムを提供することを目的としている。   The disclosed technology has been made in view of the above-described circumstances, and is an image projecting device, an image projecting system, a server, an image capable of displaying an image obtained by correcting an image that is visually distorted due to distortion of the field of view. An object is to provide a projection method and an image projection program.

開示の技術は、レーザ光を出射する光源と、画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、前記画像用レーザ光を走査する走査ミラーと、前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、前記画像と共に投影されるポインタを操作する操作部と、を有し、前記制御部は、補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、生成された前記補正情報を保持する補正情報保持部と、前記補正情報を用いて、入力された前記画像データを補正する画像補正部と、補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる画像データ出力部と、を有する画像投影装置である。   The disclosed technology includes a light source that emits laser light and an image input unit that inputs image data, generates image laser light based on the input image data, and emits the image laser light. A control unit that performs control, a scanning mirror that scans the image laser light, a projection mirror that projects the image laser light on the retina of a user's eyeball as an image represented by the image data, and the image An operation unit that operates a projected pointer, and the control unit includes a correction image data holding unit that holds correction image data representing a correction image, and an image unit based on the correction image data. A correction image data output unit for generating laser light and emitting it from the light source, and an operation for accepting an operation of the operation unit for the pointer projected on the retina of the user together with the correction image A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user, a correction information holding unit that holds the generated correction information, and An image correction unit that corrects the input image data using correction information; and an image data output unit that generates an image laser beam based on the corrected image data and emits the laser beam from the light source. An image projection apparatus.

視界の歪みによって歪んで視認される画像を補正した画像を表示する。   An image obtained by correcting an image that is visually distorted due to the distortion of the visual field is displayed.

第一の実施形態における画像投影装置の概要を説明する図である。It is a figure explaining the outline | summary of the image projector in 1st embodiment. 画像投影装置の上視図である。It is a top view of an image projector. 画像投影装置の投影部近傍を拡大した図である。It is the figure which expanded the projection part vicinity of the image projector. 走査ミラーの振動を説明する図である。It is a figure explaining the vibration of a scanning mirror. 制御部のハードウェア構成の一例を説明する図である。It is a figure explaining an example of the hardware constitutions of a control part. 第一の実施形態の制御部の機能を説明する図である。It is a figure explaining the function of the control part of 1st embodiment. 第一の実施形態の補正情報生成処理部の処理を説明するフローチャートである。It is a flowchart explaining the process of the correction information generation process part of 1st embodiment. 補正用画像に対する操作を説明する図である。It is a figure explaining operation with respect to an image for amendment. 操作後の補正用画像の一例を示す図である。It is a figure which shows an example of the image for a correction | amendment after operation. 補正情報の一例を示す図である。It is a figure which shows an example of correction information. 第一の実施形態の画像補正処理部の処理を説明するフローチャートである。It is a flowchart explaining the process of the image correction process part of 1st embodiment. 投影用画像データの一例を示す図である。It is a figure which shows an example of the image data for projection. 第二の実施形態の画像投影システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system configuration | structure of the image projection system of 2nd embodiment. 補正情報データベースの一例を示す図である。It is a figure which shows an example of a correction information database. 第三の実施形態の画像投影システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system configuration | structure of the image projection system of 3rd embodiment. 第四の実施形態の画像投影装置を上方から見た図である。It is the figure which looked at the image projector of a 4th embodiment from the upper part. 比較例に係る画像投影装置における光線の光路を示す図である。It is a figure which shows the optical path of the light ray in the image projector which concerns on a comparative example. 第四の実施形態の画像投影装置を説明する第一の図である。It is a 1st figure explaining the image projector of 4th embodiment. 第四の実施形態の画像投影装置を説明する第二の図である。It is a 2nd figure explaining the image projector of 4th embodiment.

(第一の実施形態)
以下に図面を参照して、第一の実施形態について説明する。図1は、第一の実施形態における画像投影装置の概要を説明する図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram for explaining the outline of the image projection apparatus according to the first embodiment.

本実施形態の画像投影装置100は、視界の歪みによって歪んで視認される画像を補正した画像の表示(投影)に用いる補正情報を生成するための、補正用画像Gを利用者の網膜に投影させる。また、本実施形態の画像投影装置100は、操作部11を有し、操作部11により操作されるポインタPを補正用画像G上に投影する。   The image projection apparatus 100 according to the present embodiment projects a correction image G on a user's retina to generate correction information used for displaying (projecting) an image obtained by correcting an image that is visually distorted and viewed by distortion of the field of view. Let Further, the image projection apparatus 100 according to the present embodiment includes an operation unit 11 and projects a pointer P operated by the operation unit 11 onto the correction image G.

本実施形態の操作部11は、ポインティングデバイスであり、例えばメガネ型フレームのツル150に配置されたトラックボール等であっても良い。また、本実施形態の操作部11は、トラックボール以外のポインティングデバイスであっても良く、画像投影装置100と通信が可能な外部装置として設けられても良い。   The operation unit 11 of the present embodiment is a pointing device, and may be, for example, a trackball disposed on the temple 150 of the glasses-type frame. Further, the operation unit 11 according to the present embodiment may be a pointing device other than the trackball, and may be provided as an external device capable of communicating with the image projection apparatus 100.

本実施形態の画像投影装置100は、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。マクスウェル視とは、画像データに基づく画像用光線(レーザ光)を一旦瞳孔の中心で収束させてから網膜上に投影することで、人の水晶体の機能に影響されずに人に画像データが表す画像を視認させる方法である。   The image projection apparatus 100 according to the present embodiment is a retinal projection type head mounted display using Maxwell's view. Maxwell's vision is that image light (laser light) based on image data is once converged at the center of the pupil and then projected onto the retina, so that the image data represents to the person without being affected by the function of the human lens. This is a method of visually recognizing an image.

人の網膜に直接投影された画像は、網膜の機能が正常であれば、画像データにより表される画像の通りに視認される。しかし、網膜の機能や視神経等に問題がある場合には、網膜に投影された画像は、画像データにより表される画像とは異なる態様で視認される。   An image directly projected on a human retina is visually recognized as an image represented by image data if the function of the retina is normal. However, when there is a problem with the function of the retina, the optic nerve or the like, the image projected on the retina is viewed in a different manner from the image represented by the image data.

例えば、網膜が変形していた場合等には、投影された画像は、網膜の形状と同じように変形した画像として視認される。本実施形態では、この点に着目し、利用者の網膜の形状(歪み)を示す補正情報を予め取得しておき、補正情報を用いて補正した画像データが示す画像を利用者の網膜に投影させる。   For example, when the retina is deformed, the projected image is visually recognized as an image deformed in the same manner as the shape of the retina. In this embodiment, paying attention to this point, correction information indicating the shape (distortion) of the user's retina is acquired in advance, and the image indicated by the image data corrected using the correction information is projected onto the user's retina. Let

補正用画像Gは、例えば視界の歪みの度合いを調べるためのアムスラーチャート等である。尚、補正用画像Gは、アムスラーチャートでなくてもよく、直線により形成される複数の格子が含まれる画像であれば、どのような画像であっても良い。   The correction image G is, for example, an Amsler chart for examining the degree of distortion of the visual field. The correction image G may not be an Amsler chart, and may be any image as long as it includes a plurality of grids formed by straight lines.

通常、乱視や黄斑変性症の症状のある利用者は、片眼で補正用画像Gにおける注視点Sを注視すると、主に注視点Sの周辺の直線が歪んで見える。   Normally, when a user with symptoms of astigmatism or macular degeneration looks at the gazing point S in the correction image G with one eye, the straight line around the gazing point S mainly appears to be distorted.

そこで、本実施形態では、このような利用者に対し、操作部11によりポインタPを操作させ、補正用画像Gにおいて、歪んで見える線が直線となるように画像を補正させる。   Therefore, in this embodiment, such a user operates the pointer P by the operation unit 11 to correct the image so that the distorted line becomes a straight line in the correction image G.

そして、本実施形態の画像投影装置100では、操作前の補正用画像Gの画像データと、操作後の補正用画像Gの画像データの差分から、利用者の視界の歪みによって歪んで視認される画像を補正する補正情報を生成し、保持する。   In the image projection apparatus 100 according to the present embodiment, the difference between the image data of the correction image G before the operation and the image data of the correction image G after the operation is visually distorted due to distortion of the user's field of view. Correction information for correcting the image is generated and held.

本実施形態では、このように、利用者の視界の歪みを示す補正情報を生成することで、補正用画像G以外の画像を投影させる際に、この補正情報を用いて画像の歪みを補正することができる。   In the present embodiment, when the correction information indicating the distortion of the user's field of view is generated as described above, when the image other than the correction image G is projected, the correction information is used to correct the distortion of the image. be able to.

本実施形態の画像投影装置100は、投影すべき画像データが入力されると、補正情報に基づきこの画像データを補正し、補正した画像データを利用者の網膜に投影する。つまり、補正後の画像データは、利用者の網膜に投影されたときに歪みが補正された状態となるように、利用者の視界の歪みを相殺するような歪みを持たせた画像の画像データとなる。   When image data to be projected is input, the image projection apparatus 100 according to the present embodiment corrects the image data based on the correction information, and projects the corrected image data onto the user's retina. In other words, the corrected image data is image data with a distortion that cancels the distortion of the user's field of vision so that the distortion is corrected when projected onto the user's retina. It becomes.

本実施形態では、以上のように、視界の歪みによって歪んで視認される画像を補正する補正情報を生成し、画像データを投影させる際には、補正情報に基づき補正した後の画像データを利用者の網膜に投影する。よって、本実施形態によれば、視界の歪みによって歪んで視認される画像を補正した画像を表示することができる。   In the present embodiment, as described above, correction information for correcting an image that is visually distorted due to the distortion of the field of view is generated, and when projecting image data, the image data corrected based on the correction information is used. Project onto the person's retina. Therefore, according to the present embodiment, it is possible to display an image obtained by correcting an image that is visually distorted due to the distortion of the visual field.

次に、図2乃至図5を参照して、本実施形態の画像投影装置100について説明する。   Next, the image projection apparatus 100 of this embodiment will be described with reference to FIGS.

図2は、視野検査装置の上視図である。本実施形態の画像投影装置100は、投影部110、制御部130を備える。   FIG. 2 is a top view of the visual field inspection apparatus. The image projection apparatus 100 of this embodiment includes a projection unit 110 and a control unit 130.

本実施形態の投影部110は、光源111、走査ミラー112、ミラー113、ミラー114、ミラー115、投影ミラー116を備える。   The projection unit 110 of this embodiment includes a light source 111, a scanning mirror 112, a mirror 113, a mirror 114, a mirror 115, and a projection mirror 116.

光源111は、メガネ型フレームのツル150に配置されている。光源111は、制御部130の指示の下、例えば単一又は複数の波長の光線Lを出射する。この光線Lは、ユーザの眼球160の網膜161に画像を投影するための画像用光線である。以下の説明では、光線Lを画像用光線と呼ぶ。   The light source 111 is disposed on the temple 150 of the glasses-type frame. The light source 111 emits, for example, a light beam L having a single wavelength or a plurality of wavelengths under the instruction of the control unit 130. This light ray L is an image light ray for projecting an image onto the retina 161 of the user's eyeball 160. In the following description, the light beam L is referred to as an image light beam.

光源111は、例えば赤色レーザ光(波長:610nm〜660nm程度)、緑色レーザ光(波長:515nm〜540nm程度)、及び青色レーザ光(波長:440nm〜480nm程度)を出射する。赤色、緑色、及び青色レーザ光を出射する。本実施形態の光源111は、光源111として、例えばRGB(赤・緑・青)それぞれのレーザダイオードチップと3色合成デバイスとマイクロコリメートレンズと、が集積された光源等により実現される。   The light source 111 emits, for example, red laser light (wavelength: about 610 nm to 660 nm), green laser light (wavelength: about 515 nm to 540 nm), and blue laser light (wavelength: about 440 nm to 480 nm). Red, green, and blue laser beams are emitted. The light source 111 of the present embodiment is realized as the light source 111 by, for example, a light source in which RGB (red, green, blue) laser diode chips, a three-color synthesis device, and a microcollimator lens are integrated.

走査ミラー112は、メガネ型フレームのツル150に配置されている。走査ミラー112は、光源111から出射された画像用光線を、水平方向及び垂直方向に走査する。走査ミラー112は、例えばMEMS(Micro Electro Mechanical System)ミラーである。なお、光源111から出射された画像用光線は、例えばミラー113及びミラー114で反射されて、走査ミラー112に入射する。   The scanning mirror 112 is disposed on the temple 150 of the glasses-type frame. The scanning mirror 112 scans the image light beam emitted from the light source 111 in the horizontal direction and the vertical direction. The scanning mirror 112 is, for example, a MEMS (Micro Electro Mechanical System) mirror. Note that the image light beam emitted from the light source 111 is reflected by, for example, the mirror 113 and the mirror 114 and enters the scanning mirror 112.

本実施形態の制御部130は、CPU(Central Processing Unit)等の演算処理装置と、RAM(Random Access Memory)及びROM(Read Only Memory)等の記憶装置とを有する。制御部130の詳細は後述する。   The control unit 130 of the present embodiment includes an arithmetic processing device such as a CPU (Central Processing Unit) and a storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory). Details of the control unit 130 will be described later.

制御部130は、例えば走査ミラー112(MEMSミラー)が実装された基板と同じ基板に実装されていても良い。また、制御部130は、画像投影装置100と接続された外部装置に設けられたものであっても良い。   For example, the control unit 130 may be mounted on the same substrate as the substrate on which the scanning mirror 112 (MEMS mirror) is mounted. The control unit 130 may be provided in an external device connected to the image projection device 100.

本実施形態の制御部130は、投影部110を制御する。制御部130は、入力された画像データに基づく画像用光線を光源111から出射させる。また、本実施形態の制御部130は、走査ミラー112(MEMSミラー)を振動させて、光源111から出射された画像用光線を走査し、網膜161に画像を投影させる。   The control unit 130 of this embodiment controls the projection unit 110. The control unit 130 causes the light source 111 to emit image light based on the input image data. Further, the control unit 130 of the present embodiment vibrates the scanning mirror 112 (MEMS mirror), scans the image light beam emitted from the light source 111, and projects an image on the retina 161.

次に、図3及び図4により、画像投影装置100の投影部110による画像の投影について説明する。   Next, image projection by the projection unit 110 of the image projection apparatus 100 will be described with reference to FIGS. 3 and 4.

図3は、画像投影装置の投影部近傍を拡大した図である。   FIG. 3 is an enlarged view of the vicinity of the projection unit of the image projection apparatus.

図2及び図3のように、走査ミラー112で走査された画像用光線は、ミラー115によって、メガネ型フレームのレンズ151に向かって反射される。本実施形態では、投影部110が、レンズ151の眼球160側の面に配置されているため、走査ミラー112で走査された画像用光線は、投影ミラー116に入射する。   As shown in FIGS. 2 and 3, the image light beam scanned by the scanning mirror 112 is reflected by the mirror 115 toward the lens 151 of the glasses-type frame. In the present embodiment, since the projection unit 110 is disposed on the surface of the lens 151 on the eyeball 160 side, the image light beam scanned by the scanning mirror 112 enters the projection mirror 116.

投影ミラー116は、表面の画像用光線が入射される領域116aでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投影ミラー116に入射された画像用光線は、眼球160の瞳孔162近傍で収束した後に網膜161に投射される。   The projection mirror 116 is a half mirror having a free curved surface or a combined structure of a free curved surface and a diffractive surface in a region 116 a where the image light beam on the surface is incident. Thus, the image light beam incident on the projection mirror 116 converges near the pupil 162 of the eyeball 160 and is then projected onto the retina 161.

よって、被験者は、画像用光線で形成される画像を認識することができると共に、外界像をシースルーで視認することができる。   Therefore, the subject can recognize the image formed by the image light beam and can visually recognize the outside world image through the see-through.

図4は、走査ミラーの振動を説明する図である。尚、図4では、走査ミラー112が点Aから点Bまで振動した場合を示している。   FIG. 4 is a diagram for explaining the vibration of the scanning mirror. FIG. 4 shows a case where the scanning mirror 112 vibrates from point A to point B.

走査ミラー112によって画像用光線を走査して網膜161に画像を投影する方法として、画像を投影する領域の左上から右下に向かって光を高速に走査し、画像を表示させる方法(例えばラスタースキャン)がある。   As a method for projecting an image light beam by the scanning mirror 112 and projecting the image onto the retina 161, a method of scanning the light at high speed from the upper left to the lower right of the region to project the image to display the image (for example, raster scan) )

本実施形態では、図4に示すように、走査ミラー112は、画像用光線(光線L)を走査するために、網膜161に画像が投影される領域H(図4の破線範囲)よりも大きく、水平方向(第1方向)と垂直方向(第1方向に交差する第2方向)と、に振動する。図4では、走査ミラー112の振動を符号50で示している。   In the present embodiment, as shown in FIG. 4, the scanning mirror 112 is larger than the region H (the broken line range in FIG. 4) where the image is projected onto the retina 161 in order to scan the image light ray (light ray L). Oscillate in the horizontal direction (first direction) and the vertical direction (second direction intersecting the first direction). In FIG. 4, the vibration of the scanning mirror 112 is indicated by reference numeral 50.

走査ミラー112が大きく振れた箇所で画像用光線を走査して網膜161に画像を投影する場合、画像の歪みが大きくなる。したがって、本実施形態では、画像用光線は、走査ミラー112の振れが小さい箇所で走査される。   When the image light beam is scanned at a position where the scanning mirror 112 is greatly shaken and the image is projected onto the retina 161, the distortion of the image increases. Therefore, in this embodiment, the image light beam is scanned at a position where the shake of the scanning mirror 112 is small.

尚、図4では、画像用光線は矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。   FIG. 4 shows an example in which the image light beam is scanned in a rectangular shape. However, the present invention is not limited to this case, and other cases such as a case where the light beam is scanned in a trapezoid shape may be used.

次に、本実施形態の制御部130について説明する。図5は、制御部のハードウェア構成の一例を説明する図である。   Next, the control unit 130 of this embodiment will be described. FIG. 5 is a diagram illustrating an example of a hardware configuration of the control unit.

本実施形態の制御部130は、それぞれバスBで相互に接続されている操作部11、メモリ12、CPU13及びインターフェース部14を含む。   The control unit 130 of this embodiment includes an operation unit 11, a memory 12, a CPU 13, and an interface unit 14 that are connected to each other via a bus B.

操作部11は、各種の情報を制御部130へ入力するためのものであり、例えば操作部11による操作の内容等が入力される。メモリ12は、ROMやRAM等により実現され、CPU13による演算処理結果や、画像投影プログラム等が格納される。CPU13は、画像投影プログラムに従って、後述するような各種処理を実現している。   The operation unit 11 is used to input various types of information to the control unit 130. For example, the contents of operations performed by the operation unit 11 are input. The memory 12 is realized by a ROM, a RAM, or the like, and stores a calculation processing result by the CPU 13, an image projection program, and the like. The CPU 13 implements various processes as described later according to the image projection program.

インターフェース部14は、画像投影装置100をネットワークに接続する為等に用いられる。また、制御部130では、インターフェース部14を介して投影対象の画像データが入力されても良い。   The interface unit 14 is used for connecting the image projection apparatus 100 to a network. Further, the control unit 130 may input image data to be projected via the interface unit 14.

画像投影装置100において実行される補正情報生成プログラムと画像処理プログラムは、画像投影装置100を制御する画像投影プログラムの少なくとも一部である。補正情報生成プログラムと画像処理プログラムは例えば記録媒体の配布やネットワークからのダウンロードなどによって提供される。補正情報生成プログラムと画像処理プログラムを記録した記録媒体は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。   The correction information generation program and the image processing program executed in the image projection apparatus 100 are at least a part of the image projection program that controls the image projection apparatus 100. The correction information generation program and the image processing program are provided by, for example, distribution of a recording medium or downloading from a network. The recording medium on which the correction information generation program and the image processing program are recorded is a recording medium on which information is optically, electrically or magnetically recorded, such as a CD-ROM, flexible disk, magneto-optical disk, ROM, flash memory, etc. Various types of recording media such as a semiconductor memory that electrically records information can be used.

次に、本実施形態の制御部130の機能について説明する。図6は、第一の実施形態の制御部の機能を説明する図である。   Next, the function of the control unit 130 of this embodiment will be described. FIG. 6 is a diagram illustrating the function of the control unit of the first embodiment.

本実施形態の制御部130は、補正情報生成処理部300と、画像補正処理部400と、を有する。補正情報生成処理部300は、制御部130の有するCPU13がメモリ12に格納された補正情報生成プログラムを実行することで実現される。また、画像補正処理部400は、制御部130の有するCPU13がメモリ12に格納された画像補正プログラムを実行することで実現される。尚、補正情報生成プログラムと画像補正プログラムは、画像投影プログラムに含まれる。   The control unit 130 of this embodiment includes a correction information generation processing unit 300 and an image correction processing unit 400. The correction information generation processing unit 300 is realized by the CPU 13 of the control unit 130 executing a correction information generation program stored in the memory 12. The image correction processing unit 400 is realized by the CPU 13 of the control unit 130 executing an image correction program stored in the memory 12. The correction information generation program and the image correction program are included in the image projection program.

本実施形態の補正情報生成処理部300は、補正用画像データ保持部310、補正用画像データ出力部320、操作受付部330、補正情報生成部340、補正情報保持部350を有し、利用者の操作に応じて利用者毎の補正情報を生成する。   The correction information generation processing unit 300 according to the present embodiment includes a correction image data holding unit 310, a correction image data output unit 320, an operation receiving unit 330, a correction information generation unit 340, and a correction information holding unit 350. The correction information for each user is generated according to the operation.

本実施形態の補正用画像データ保持部310は、補正用画像Gを示す補正用画像データを保持している。   The correction image data holding unit 310 of the present embodiment holds correction image data indicating the correction image G.

補正用画像データ出力部320は、補正用画像データを投影部110へ出力する。言い換えれば、補正用画像データ出力部320は、補正用画像データに基づく画像用光線を生成し、光源111から出射させる。また、補正用画像データ出力部320は、操作受付部330が受け付けた操作に応じて、投影させる画像(直線)の位置を変更させる。   The correction image data output unit 320 outputs the correction image data to the projection unit 110. In other words, the correction image data output unit 320 generates an image light beam based on the correction image data and causes the light source 111 to emit the image light beam. The correction image data output unit 320 changes the position of the image (straight line) to be projected in accordance with the operation received by the operation receiving unit 330.

操作受付部330は、操作部11による操作を受け付け、補正用画像データ出力部320に操作内容を通知する。   The operation reception unit 330 receives an operation by the operation unit 11 and notifies the correction image data output unit 320 of the operation content.

補正情報生成部340は、操作受付部330による操作の受け付けが完了すると、操作後の補正用画像データと、操作前の補正用画像データとから、補正情報を生成する。補正情報保持部350は、生成された補正情報を保持する。   When the operation reception by the operation reception unit 330 is completed, the correction information generation unit 340 generates correction information from the corrected image data after the operation and the correction image data before the operation. The correction information holding unit 350 holds the generated correction information.

尚、操作部11による操作と、補正情報生成部340の処理の詳細は後述する。   The details of the operation by the operation unit 11 and the processing of the correction information generation unit 340 will be described later.

本実施形態の画像補正処理部400は、投影される画像データに対し、補正情報に基づく補正を行う。   The image correction processing unit 400 according to the present embodiment performs correction based on the correction information on the projected image data.

本実施形態の画像補正処理部400は、画像データ取得部410、補正情報読出部420、画像補正部430、画像データ出力部440を有する。   The image correction processing unit 400 of this embodiment includes an image data acquisition unit 410, a correction information reading unit 420, an image correction unit 430, and an image data output unit 440.

画像データ取得部410は、投影要求を受けた画像データを取得する。画像データ取得部410は、例えばインターフェース部14を介して外部のサーバや記録媒体等から画像データを取得しても良い。   The image data acquisition unit 410 acquires image data that has received a projection request. For example, the image data acquisition unit 410 may acquire image data from an external server or a recording medium via the interface unit 14.

補正情報読出部420は、補正情報保持部350に保持された補正情報を読み出す。   The correction information reading unit 420 reads the correction information held in the correction information holding unit 350.

画像補正部430は、取得した画像データと、補正情報とに基づき、画像データを補正する。画像データ出力部440は、補正後の画像データを投影部110へ出力する。言い換えれば、画像データ出力部440は、補正後の画像データに基づく画像用光線を生成し、光源111から出射させる。   The image correction unit 430 corrects the image data based on the acquired image data and the correction information. The image data output unit 440 outputs the corrected image data to the projection unit 110. In other words, the image data output unit 440 generates an image light beam based on the corrected image data and emits it from the light source 111.

次に、図7を参照して本実施形態の制御部130の補正情報生成処理部300の処理について説明する。図7は、第一の実施形態の補正情報生成処理部の処理を説明するフローチャートである。   Next, processing of the correction information generation processing unit 300 of the control unit 130 of this embodiment will be described with reference to FIG. FIG. 7 is a flowchart for explaining processing of the correction information generation processing unit of the first embodiment.

本実施形態の補正情報生成処理部300は、補正情報の生成要求を受け付けたか否かを判定する(ステップS701)。ステップS701において、生成要求を受け付けない場合、補正情報生成処理部300は、生成要求を受け付けるまで待機する。   The correction information generation processing unit 300 according to the present embodiment determines whether a correction information generation request has been received (step S701). In step S701, when the generation request is not received, the correction information generation processing unit 300 stands by until the generation request is received.

ステップS701において、生成要求を受け付けた場合、補正情報生成処理部300は、補正用画像データ出力部320により、補正用画像データ保持部310が保持している補正用画像データを読み出す(ステップS702)。   When the generation request is received in step S701, the correction information generation processing unit 300 reads the correction image data held in the correction image data holding unit 310 by the correction image data output unit 320 (step S702). .

続いて、補正情報生成処理部300は、補正用画像データ出力部320により、補正用
画像データを利用者の網膜に投影させる(ステップS703)。
Subsequently, the correction information generation processing unit 300 causes the correction image data output unit 320 to project the correction image data onto the retina of the user (step S703).

続いて、補正情報生成処理部300は、操作受付部330により、投影された補正用画像Gに対する操作を受け付けたか否かを判定する(ステップS704)。ステップS704において、操作を受け付けない場合、操作を受け付けるまで待機する。尚、このとき補正情報生成処理部300は、所定時間が経過しても操作を受け付けなかった場合、処理を終了しても良い。   Subsequently, the correction information generation processing unit 300 determines whether the operation receiving unit 330 has received an operation for the projected correction image G (step S704). If the operation is not accepted in step S704, the process waits until the operation is accepted. At this time, the correction information generation processing unit 300 may end the process if the operation is not accepted even after a predetermined time has elapsed.

ステップS704において、操作を受け付けた場合、操作受付部330は、操作の内容を補正用画像データ出力部320へ通知し、補正用画像データ出力部320は、補正用画像Gにおいて操作された箇所の投影位置を変更する(ステップS705)。   In step S704, when an operation is accepted, the operation accepting unit 330 notifies the correction image data output unit 320 of the contents of the operation, and the correction image data output unit 320 indicates the location of the operation in the correction image G. The projection position is changed (step S705).

続いて、補正情報生成処理部300は、操作受付部330による操作の受け付けが完了したか否かを判定する(ステップS706)。このとき、操作受付部330は、操作を受け付けない時間が所定時間を経過したとき、操作の受け付けの完了としても良いし、操作の完了を示す操作を受け付けて、操作の受け付けの完了としても良い。   Subsequently, the correction information generation processing unit 300 determines whether or not the operation reception by the operation reception unit 330 has been completed (step S706). At this time, the operation accepting unit 330 may complete the acceptance of the operation when the time during which the operation is not accepted passes a predetermined time, or may accept the operation indicating the completion of the operation and complete the acceptance of the operation. .

ステップS706において、操作の受け付けが完了していない場合、補正情報生成処理部300は、ステップS705へ戻る。   In step S706, when the acceptance of the operation is not completed, the correction information generation processing unit 300 returns to step S705.

ステップS706において、操作の受け付けが完了した場合、補正情報生成処理部300は、補正情報生成部340により、操作前の補正用画像データと操作後の補正用画像データとの差分から、補正情報を生成して、補正情報保持部350により保持し(ステップS707)、処理を終了する。   When the acceptance of the operation is completed in step S706, the correction information generation processing unit 300 causes the correction information generation unit 340 to obtain correction information from the difference between the correction image data before the operation and the correction image data after the operation. It is generated and held by the correction information holding unit 350 (step S707), and the process ends.

以下に、図8及び図9を参照して、補正情報の生成についてさらに説明する。図8は、補正情報の生成を説明する図である。   Hereinafter, generation of correction information will be further described with reference to FIGS. 8 and 9. FIG. 8 is a diagram for explaining generation of correction information.

図8は、補正用画像に対する操作を説明する図である。図8(A)は、補正用画像Gを示す図である。図8(B)は、視野に歪みがある利用者にとっての補正用画像Gの見え方の一例を示す図である。図8(C)は、補正用画像Gに対する操作を説明する図である。   FIG. 8 is a diagram illustrating an operation on the correction image. FIG. 8A shows the correction image G. FIG. FIG. 8B is a diagram illustrating an example of how the correction image G appears to the user who has distortion in the visual field. FIG. 8C is a diagram illustrating an operation on the correction image G.

本実施形態の補正用画像Gは、複数の直線により形成された格子状の画像であり、中心部分に注視点Sを有する。   The correction image G of the present embodiment is a grid-like image formed by a plurality of straight lines, and has a gazing point S at the center.

網膜の状態に異常がない利用者にとっては、網膜に投影された補正用画像Gは、図8(A)に示す通り、縦線と横線で形成される格子状の画像として視認される。   For a user who has no abnormality in the retina state, the correction image G projected on the retina is visually recognized as a grid-like image formed by vertical and horizontal lines as shown in FIG.

ところが、網膜に変形等がある利用者の場合には、網膜に投影された補正用画像Gは、網膜の形状に合わせて歪み、例えば図8(B)に示すような画像となって視認される。   However, in the case of a user whose retina is deformed, the correction image G projected on the retina is distorted according to the shape of the retina, and is visually recognized as an image as shown in FIG. 8B, for example. The

そこで、本実施形態では、歪んだ状態で視認された補正用画像Gを、利用者にとって歪みのない格子状となるように、操作部11を用いて利用者により補正させる。   Therefore, in the present embodiment, the correction image G visually recognized in a distorted state is corrected by the user using the operation unit 11 so as to have a lattice shape without distortion for the user.

図8(B)の例では、例えば直線L81は、直線ではなく歪んで視認された状態である。したがって、利用者は、操作部11により直線L81を選択し、利用者にとって直線L81が歪みのない真っ直ぐな線に見えるように、直線L81を変形させる操作を行う。   In the example of FIG. 8B, for example, the straight line L81 is not a straight line but is distorted and viewed. Therefore, the user selects the straight line L81 using the operation unit 11, and performs an operation of deforming the straight line L81 so that the straight line L81 looks straight to the user without distortion.

具体的には、図8(C)に示すように、直線L81をポインタPにより選択し、直線L81を利用者にとって直線と視認される線L81′に変形する。同様に、直線L82についても、直線L82をポインタPにより選択し、直線L82を利用者にとって直線と視認される線L82′に変形する。   Specifically, as shown in FIG. 8C, the straight line L81 is selected by the pointer P, and the straight line L81 is transformed into a line L81 ′ that is visually recognized by the user as a straight line. Similarly, for the straight line L82, the straight line L82 is selected by the pointer P, and the straight line L82 is transformed into a line L82 ′ that is visually recognized by the user as a straight line.

尚、図8には示していないが、補正用画像Gには、選択する線を特定するための番号等を各線と対応付けて投影させても良い。この場合、利用者は、この番号を選択することで、操作対象の線を特定できる。   Although not shown in FIG. 8, the correction image G may be projected with a number or the like for specifying a line to be selected in association with each line. In this case, the user can specify the operation target line by selecting this number.

本実施形態では、以上のようにして、図8(B)のように視認されていた補正用画像Gの歪みを、利用者が歪みを許容できる範囲となるまで補正させる。   In the present embodiment, as described above, the distortion of the correction image G that has been visually recognized as illustrated in FIG. 8B is corrected until the distortion is within a range that the user can tolerate.

その結果、操作後の補正用画像Gは、操作前の補正用画像Gを変形させた画像となる。図9は、操作後の補正用画像の一例を示す図である。   As a result, the correction image G after the operation is an image obtained by deforming the correction image G before the operation. FIG. 9 is a diagram illustrating an example of the correction image after the operation.

図9に示す操作後の補正用画像Gaでは、注視点Sの周辺の直線が、図8(B)に示した歪みを相殺するように歪められた画像となる。言い換えれば、操作後の補正用画像Gaは、補正を行った利用者の網膜に投影されたときに、歪みがなくなるように補正された画像である。   In the corrected image Ga after the operation shown in FIG. 9, the straight line around the gazing point S is an image distorted so as to cancel the distortion shown in FIG. In other words, the corrected image Ga after the operation is an image corrected so as not to be distorted when projected on the retina of the user who has performed the correction.

本実施形態の補正情報生成部340は、図8(A)に示す操作前の補正用画像Gと、図9に示す操作後の補正用画像Gaと、から、補正情報を生成する。   The correction information generation unit 340 according to the present embodiment generates correction information from the correction image G before operation shown in FIG. 8A and the correction image Ga after operation shown in FIG.

以下に、本実施形態の補正情報生成部340による補正情報の生成について説明する。本実施形態の補正情報生成部340は、操作前の補正用画像Gにおいて、ポインタPによって移動させられた点の操作前の座標と操作後の座標とを対応付けて記憶した情報を補正情報とする。   Hereinafter, generation of correction information by the correction information generation unit 340 of the present embodiment will be described. The correction information generation unit 340 according to the present embodiment uses, as correction information, information stored by associating coordinates before operation and coordinates after operation of a point moved by the pointer P in the correction image G before operation. To do.

例えば補正情報生成部340は、操作前の補正用画像Gにおいて、ポインタPが示す点M1の座標と、点M1が操作によって移動した先の点M1aの座標とを対応付けて記憶する(図8(B)、(C)参照)。   For example, the correction information generation unit 340 stores the coordinates of the point M1 indicated by the pointer P in the correction image G before the operation and the coordinates of the point M1a to which the point M1 has moved by the operation in association with each other (FIG. 8). (See (B) and (C)).

図10は、補正情報の一例を示す図である。補正情報101は、補正情報保持部350により保持される。   FIG. 10 is a diagram illustrating an example of the correction information. The correction information 101 is held by the correction information holding unit 350.

補正情報には、例えば操作前の点M1の座標(x1,y1)と、点M1を操作により移動させた後の点M1aの座標(x1a,y1a)とが対応付けられて保持されている。   In the correction information, for example, the coordinates (x1, y1) of the point M1 before the operation and the coordinates (x1a, y1a) of the point M1a after the point M1 is moved by the operation are associated and held.

本実施形態の補正情報生成部340は、ポインタPの操作によって移動された全ての点について、操作前の座標と操作後の座標とを対応付けて、補正情報保持部350に保持させる。   The correction information generation unit 340 according to the present embodiment causes the correction information holding unit 350 to hold the coordinates before the operation and the coordinates after the operation in association with all the points moved by the operation of the pointer P.

次に、本実施形態の画像補正処理部400の動作について説明する。図11は、第一の実施形態の画像補正処理部の処理を説明するフローチャートである。   Next, the operation of the image correction processing unit 400 of this embodiment will be described. FIG. 11 is a flowchart for explaining processing of the image correction processing unit of the first embodiment.

本実施形態の画像補正処理部400は、画像データ取得部410により、画像の投影要求を受け付けたか否かを判定する(ステップS1101)。ステップS1101において、投影要求を受け付けない場合、画像補正処理部400は、投影要求を受け付けるまで待機する。   The image correction processing unit 400 according to the present embodiment determines whether or not the image data acquisition unit 410 has received an image projection request (step S1101). If the projection request is not accepted in step S1101, the image correction processing unit 400 waits until the projection request is accepted.

ステップS1101において、投影要求を受け付けると、画像データ取得部410は、投影要求を受けた画像データを取得する(ステップS1102)。言い換えれば、画像データ取得部410は、投影対象の画像データの入力を受け付ける。   In step S1101, when a projection request is received, the image data acquisition unit 410 acquires the image data that has received the projection request (step S1102). In other words, the image data acquisition unit 410 receives input of image data to be projected.

続いて画像補正処理部400は、補正情報読出部420により、補正情報保持部350に保持された補正情報101を読み出す(ステップS1103)。続いて、画像補正処理部400は、画像補正部430により、取得した画像データを、補正情報101を用いて補正する(ステップS1104)。   Subsequently, the image correction processing unit 400 reads the correction information 101 held in the correction information holding unit 350 by the correction information reading unit 420 (step S1103). Subsequently, the image correction processing unit 400 corrects the acquired image data using the correction information 101 by the image correction unit 430 (step S1104).

ここで、画像補正部430による画像データの補正について説明する。本実施形態の画像補正部430は、画像データが示す画像において、補正情報の操作前の点の座標として特定される画素を、補正情報の操作後の点の座標として特定される点の位置へ移動させる。   Here, correction of image data by the image correction unit 430 will be described. In the image indicated by the image data, the image correction unit 430 according to the present embodiment moves the pixel specified as the coordinate of the point before the operation of the correction information to the position of the point specified as the coordinate of the point after the operation of the correction information. Move.

例えば、投影要求を受けた画像データを投影させた際に点M1の位置にくる画素を、点M1aに移動させる。   For example, the pixel at the position of the point M1 when the image data that has received the projection request is projected is moved to the point M1a.

尚、本実施形態では、補正用画像Gの投影領域と、投影要求を受けて投影される画像の投影領域とは、同一であるものとした。したがって、補正情報101における座標が示す位置は、補正用画像Gの投影領域と、投影要求を受けて投影される画像の投影領域と、において、同一の点を示すものとした。   In the present embodiment, the projection area of the correction image G and the projection area of the image projected upon receiving a projection request are the same. Therefore, the position indicated by the coordinates in the correction information 101 indicates the same point in the projection area of the correction image G and the projection area of the image projected in response to the projection request.

画像補正処理部400は、補正情報101に含まれる全ての操作前の座標により特定される画素が、対応する操作後の座標へ移動するように補正した画像データを投影用画像データとして、画像データ出力部440へ渡す。   The image correction processing unit 400 uses the image data corrected so that the pixels specified by all the coordinates before the operation included in the correction information 101 move to the corresponding coordinates after the operation as projection image data, and the image data It passes to the output unit 440.

画像データ出力部440は、投影用画像データを投影部110に出力し、利用者の網膜に投影させ(ステップS1105)、処理を終了する。   The image data output unit 440 outputs the projection image data to the projection unit 110, projects it onto the retina of the user (step S1105), and ends the process.

以下に、図12を参照して、補正情報101を用いて補正された投影用画像データについて説明する。図12は、投影用画像データの一例を示す図である。図12(A)に示す画像121Aは、補正前の投影要求を受けた画像データの例を示す。図12(B)は、補正情報101を生成した利用者にとっての画像121Aの見え方を示す。図12(C)に示す画像121Cは、画像121Aを補正情報101により補正した投影用画像データにより投影される画像を示す。   The projection image data corrected using the correction information 101 will be described below with reference to FIG. FIG. 12 is a diagram illustrating an example of image data for projection. An image 121A shown in FIG. 12A shows an example of image data that has received a projection request before correction. FIG. 12B shows how the image 121 </ b> A appears to the user who has generated the correction information 101. An image 121C shown in FIG. 12C shows an image projected by projection image data obtained by correcting the image 121A with the correction information 101.

図12に示すように、網膜の変形によって、画像121Aが図12(B)に示すように見える利用者に対しては、補正情報101を用いて、利用者の視界の歪みを相殺するような画像121Cを投影させる投影用画像データを生成する。本実施形態では、この投影用画像データを利用者の網膜へ投影させることで、画像121Cを画像121Aに示す画像と近い画像として利用者に視認させることができる。したがって、本実施形態によれば、図12(B)に示すような利用者の視界の歪みによって歪んで視認される画像を補正した画像を表示することができる。   As shown in FIG. 12, the correction information 101 is used to cancel the distortion of the user's field of view for the user whose image 121A appears as shown in FIG. Projection image data for projecting the image 121C is generated. In the present embodiment, by projecting the projection image data onto the retina of the user, the image 121C can be viewed by the user as an image close to the image shown in the image 121A. Therefore, according to the present embodiment, it is possible to display an image obtained by correcting an image that is visually distorted and viewed due to distortion of the user's field of view as shown in FIG.

(第二の実施形態)
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、補正情報生成処理部300と画像補正処理部400とが、サーバに設けられ点が第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態と同様の機能構成を有するものには、第一の実施形態と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that the correction information generation processing unit 300 and the image correction processing unit 400 are provided in a server. Therefore, in the following description of the second embodiment, components having the same functional configuration as those of the first embodiment are given the same reference numerals as those of the first embodiment, and description thereof is omitted.

図13は、第二の実施形態の画像投影システムのシステム構成の一例を示す図である。本実施形態の画像投影システム500は、画像投影装置100Aと、サーバ600とを有する。   FIG. 13 is a diagram illustrating an example of a system configuration of the image projection system according to the second embodiment. The image projection system 500 of this embodiment includes an image projection device 100A and a server 600.

本実施形態のサーバ600は、補正情報生成処理部300と、画像補正処理部400と、補正情報データベース101Aとを有する。   The server 600 of this embodiment includes a correction information generation processing unit 300, an image correction processing unit 400, and a correction information database 101A.

補正情報生成処理部300と画像補正処理部400のそれぞれの処理は、第一の実施形態と同様である。   The processes of the correction information generation processing unit 300 and the image correction processing unit 400 are the same as those in the first embodiment.

本実施形態の画像投影装置100Aは、サーバ600から補正用画像Gと対応する補正用画像データを受け取ると、補正用画像Gを利用者の網膜へ投影させる。そして、画像投影装置100Aは、操作部11による、補正用画像Gに対する操作を受け付けると、操作の内容をサーバ600へ通知する。サーバ600は、この通知を受けて、補正情報を生成する。   When the image projection apparatus 100A of the present embodiment receives the correction image data corresponding to the correction image G from the server 600, the image projection apparatus 100A projects the correction image G onto the retina of the user. Then, upon receiving an operation on the correction image G by the operation unit 11, the image projection device 100A notifies the server 600 of the operation content. The server 600 receives this notification and generates correction information.

生成された補正情報は、利用者を識別する識別子と対応付けられて、補正情報データベース101Aに格納される。補正情報データベース101Aの詳細は後述する。   The generated correction information is stored in the correction information database 101A in association with an identifier for identifying the user. Details of the correction information database 101A will be described later.

また、画像投影システム500では、画像投影装置100Aにおいて、画像の投影要求を受け付けると、画像投影装置100Aは、この要求をサーバ600へ通知する。サーバ600は、この通知を受けて、画像補正処理部400により、投影要求を受けた画像データを取得し、補正情報データベース101Aにおいて、投影要求を行った利用者と対応する補正情報を参照して画像データを補正する。そして、サーバ600は、画像補正処理部400により、補正後の画像データを投影用画像データとして画像投影装置100Aへ出力する。   In the image projection system 500, when the image projection apparatus 100A receives an image projection request, the image projection apparatus 100A notifies the server 600 of this request. Upon receiving this notification, the server 600 acquires the image data for which the projection request has been received by the image correction processing unit 400, and refers to the correction information corresponding to the user who has requested the projection in the correction information database 101A. Correct the image data. Then, the server 600 causes the image correction processing unit 400 to output the corrected image data as projection image data to the image projection apparatus 100A.

本実施形態では、以上のように、補正情報生成処理部300と画像補正処理部400の処理をサーバ600で実行させることで、画像投影装置100A側の処理の負担を軽減できる。   In the present embodiment, as described above, the processing of the correction information generation processing unit 300 and the image correction processing unit 400 is executed by the server 600, whereby the processing burden on the image projection apparatus 100A side can be reduced.

また、本実施形態では、利用者毎の補正情報がサーバ600に格納されているため、画像投影装置100Aを、複数の異なる利用者により共有することができる。   In the present embodiment, since the correction information for each user is stored in the server 600, the image projection device 100A can be shared by a plurality of different users.

図14は、補正情報データベースの一例を示す図である。本実施形態の補正情報データベース101Aは、利用者IDと、補正情報とが対応付けられている。   FIG. 14 is a diagram illustrating an example of the correction information database. In the correction information database 101A of this embodiment, a user ID and correction information are associated with each other.

利用者IDは、画像投影装置100Aの利用者を識別するための識別子である。尚、本実施形態では、補正情報は、補正情報を生成した日時を示す情報等とも対応付けられていても良い。日時を示す情報と補正情報とが対応付けられていれば、画像補正処理部400は、最新の補正情報に基づき画像データを補正することができる。   The user ID is an identifier for identifying the user of the image projection apparatus 100A. In the present embodiment, the correction information may be associated with information indicating the date and time when the correction information is generated. If the information indicating the date and time is associated with the correction information, the image correction processing unit 400 can correct the image data based on the latest correction information.

(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、補正情報生成処理部300が画像投影装置に設けられ、画像補正処理部400がサーバに設けられ点が第二の実施形態と相違する。よって、以下の第三の実施形態の説明では、第二の実施形態と同様の機能構成を有するものには、第二の実施形態と同様の符号を付与し、その説明を省略する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the second embodiment in that the correction information generation processing unit 300 is provided in the image projection apparatus and the image correction processing unit 400 is provided in the server. Therefore, in the following description of the third embodiment, components having the same functional configuration as those of the second embodiment are given the same reference numerals as those of the second embodiment, and description thereof is omitted.

図15は、第三の実施形態の画像投影システムのシステム構成の一例を示す図である。本実施形態の画像投影システム500Aは、画像投影装置100Bと、サーバ600Aとを有する。   FIG. 15 is a diagram illustrating an example of a system configuration of the image projection system according to the third embodiment. The image projection system 500A of the present embodiment includes an image projection device 100B and a server 600A.

画像投影装置100Bは、補正情報生成処理部300を有する。本実施形態のサーバ600Aは、画像補正処理部400と、補正情報データベース101Aとを有する。   The image projection device 100B includes a correction information generation processing unit 300. The server 600A of this embodiment includes an image correction processing unit 400 and a correction information database 101A.

本実施形態では、画像投影装置100Bにおいて、補正情報生成処理部300が補正情報を生成すると、生成した補正情報をサーバ600Aへ送信する。   In the present embodiment, when the correction information generation processing unit 300 generates correction information in the image projection device 100B, the generated correction information is transmitted to the server 600A.

サーバ600Aは、この補正情報を、補正情報と対応する利用者の利用者IDと対応付けて、補正情報データベース101Aへ格納する。尚、補正情報と対応する利用者IDは、画像投影装置100Bを識別する識別子であっても良いし、利用者固有のIDであっても良い。利用者固有のIDである場合には、利用者IDは、例えば補正情報を補正情報データベース101Aに格納する際に、利用者により入力されても良い。   The server 600A stores this correction information in the correction information database 101A in association with the user ID of the user corresponding to the correction information. Note that the user ID corresponding to the correction information may be an identifier for identifying the image projection device 100B, or may be an ID unique to the user. When the ID is unique to the user, the user ID may be input by the user when storing the correction information in the correction information database 101A, for example.

サーバ600Aは、画像投影装置100Bから画像データの投影要求を受けると、補正情報データベース101Aを参照し、投影要求を行った利用者と対応する補正情報に基づき、投影要求を受けた画像データを補正し、投影用画像データとして画像投影装置100Bへ出力する。   When the server 600A receives a projection request for image data from the image projection apparatus 100B, the server 600A refers to the correction information database 101A and corrects the image data received from the projection request based on correction information corresponding to the user who has requested the projection. Then, the image data is output to the image projection apparatus 100B as projection image data.

以上のように、本実施形態では、補正情報生成処理部300を画像投影装置100Bに設けることで、画像投影装置100Bは、サーバ600Aと通信せずに補正情報を生成できる。さらに、本実施形態では、画像補正処理部400をサーバ600Aに設けたことで、画像投影装置100Bにおける画像データの補正にかかる処理の負荷を低減できる。   As described above, in this embodiment, by providing the correction information generation processing unit 300 in the image projection apparatus 100B, the image projection apparatus 100B can generate correction information without communicating with the server 600A. Furthermore, in this embodiment, by providing the image correction processing unit 400 in the server 600A, it is possible to reduce the processing load related to the correction of image data in the image projection apparatus 100B.

(第四の実施形態)
以下に図面を参照して第四の実施形態について説明する。第四の実施形態は、画像投影装置におけるミラーの形状が第一の実施形態と相違する。したがって、以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Fourth embodiment)
The fourth embodiment will be described below with reference to the drawings. The fourth embodiment is different from the first embodiment in the shape of the mirror in the image projection apparatus. Therefore, in the following description of the fourth embodiment, only differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described for the first embodiment. The same reference numerals as those used in FIG.

図16は、第四の実施形態の画像投影装置を上方から見た図である。本実施形態の画像投影装置100Bは、第一及び第二の実施形態で説明した画像投影システムに適用することができる。   FIG. 16 is a diagram of the image projection apparatus according to the fourth embodiment viewed from above. The image projection apparatus 100B of this embodiment can be applied to the image projection system described in the first and second embodiments.

本実施形態の画像投影装置100Bは、投影部110A、制御部130を備える。本実施形態の投影部110Aは、光源111、走査ミラー112A、反射ミラー115A及び投影ミラー116を有する。本実施形態の投影部110Aは、ミラー113とミラー114を有しておらず、走査ミラー112の代わりに走査ミラー112Aを有し、反射ミラー115の代わりに、反射ミラー115Aを有する点が第一の実施形態の投影部110と相違する。   The image projection device 100B of this embodiment includes a projection unit 110A and a control unit 130. The projection unit 110A of this embodiment includes a light source 111, a scanning mirror 112A, a reflection mirror 115A, and a projection mirror 116. The projection unit 110A of the present embodiment does not include the mirror 113 and the mirror 114, includes the scanning mirror 112A instead of the scanning mirror 112, and includes the reflection mirror 115A instead of the reflection mirror 115. This is different from the projection unit 110 of the embodiment.

本実施形態の画像投影装置100Bでは、投影ミラー116に入射した光線の投影ミラー116内の進行方向をX方向、投影ミラー116におけるX方向に直交する方向をY方向とする。   In the image projection apparatus 100B of the present embodiment, the traveling direction of the light ray incident on the projection mirror 116 in the projection mirror 116 is defined as the X direction, and the direction orthogonal to the X direction in the projection mirror 116 is defined as the Y direction.

走査ミラー112Aは、例えばMEMSミラーであり、光源111から出射されたレーザ光(光線)Lを水平方向及び垂直方向の2次元方向に走査する。また、走査ミラー112Aは、光源111から出射された光線Lを2次元に走査して、ユーザの眼球160の網膜161に画像を投影させるための投影光とする。   The scanning mirror 112A is, for example, a MEMS mirror, and scans the laser beam (light beam) L emitted from the light source 111 in the two-dimensional direction of the horizontal direction and the vertical direction. The scanning mirror 112 </ b> A scans the light beam L emitted from the light source 111 two-dimensionally to obtain projection light for projecting an image onto the retina 161 of the user's eyeball 160.

反射ミラー115Aは、走査ミラー112Aで走査された光線Lをレンズ151に向かって反射させる。   The reflection mirror 115A reflects the light beam L scanned by the scanning mirror 112A toward the lens 151.

レンズ151の利用者の眼球160側の面には、自由曲面を有する投影ミラー116が設けられている。投影ミラー116は、走査ミラー112Aで走査され、反射ミラー115Aで反射された光線Lを眼球160の網膜161に照射することにより、網膜161に画像を投影する。つまり、利用者は、網膜161に投射されたレーザ光の残像効果によって、画像を認識することができる。投影ミラー116は、走査ミラー112Aで走査された光線Lの収束位置が、眼球160の瞳孔162となるように設計されている。光線Lは投影ミラー116にほぼ真横(すなわちほぼ−X方向)から入射する。   A projection mirror 116 having a free curved surface is provided on the surface of the lens 151 on the user's eyeball 160 side. The projection mirror 116 projects an image on the retina 161 by irradiating the retina 161 of the eyeball 160 with the light beam L scanned by the scanning mirror 112A and reflected by the reflection mirror 115A. That is, the user can recognize the image by the afterimage effect of the laser light projected on the retina 161. The projection mirror 116 is designed so that the convergence position of the light beam L scanned by the scanning mirror 112 </ b> A is the pupil 162 of the eyeball 160. The light ray L is incident on the projection mirror 116 from substantially right side (that is, substantially in the −X direction).

尚、本実施形態では、投影ミラー116の自由曲面の曲率を大きくすれば、反射ミラー115Aから瞳孔162の収束位置までの距離を短くすることができ、画像投影装置100Bを小型にすることができる。   In the present embodiment, if the curvature of the free curved surface of the projection mirror 116 is increased, the distance from the reflection mirror 115A to the convergence position of the pupil 162 can be shortened, and the image projection apparatus 100B can be reduced in size. .

図17は、比較例に係る画像投影装置における光線の光路を示す図である。図17において、光線L0からL2は、走査ミラー112Aにより水平方向に走査された光線であり、−X方向から投影ミラー116に照射される。光線L0は画像の中心に相当する光線、光線L1、L2は画像の端に相当する光線である。光線L0からL2はそれぞれ投影ミラー116の領域R0からR2で反射される。反射した光線L0からL2は、虹彩163の中央部に位置する瞳孔162において収束し、水晶体164を透過し網膜161に至る。領域R0は画像の中心に相当する光線L0を反射する領域である。領域R1は領域R0より−X方向(光線L0からL2が入射される方向)の領域である。領域R2は領域R0より+X方向の領域である。マックスウエル視のためには光線L0からL2は瞳孔162近傍で交差することになる。しかし、各光線L0からL2の合焦位置F0からF2は網膜161からずれてしまう。   FIG. 17 is a diagram illustrating an optical path of a light beam in the image projection apparatus according to the comparative example. In FIG. 17, light beams L0 to L2 are light beams scanned in the horizontal direction by the scanning mirror 112A, and are irradiated onto the projection mirror 116 from the -X direction. The light beam L0 is a light beam corresponding to the center of the image, and the light beams L1 and L2 are light beams corresponding to the edge of the image. Light rays L0 to L2 are reflected by regions R0 to R2 of projection mirror 116, respectively. The reflected light rays L0 to L2 converge at the pupil 162 located at the center of the iris 163, pass through the crystalline lens 164, and reach the retina 161. The region R0 is a region that reflects the light ray L0 corresponding to the center of the image. The region R1 is a region in the −X direction (the direction in which the light rays L0 to L2 are incident) from the region R0. The region R2 is a region in the + X direction from the region R0. For Maxwellian viewing, the light rays L0 to L2 intersect near the pupil 162. However, the focus positions F0 to F2 of the light beams L0 to L2 are shifted from the retina 161.

図17では、投影ミラー116で反射された光線L0はほぼ平行光として水晶体164に入射し、網膜161近傍で合焦する。投影ミラー116で反射された光線L1は、拡散光として水晶体164に入射する。このため、光線L1は網膜161より遠くで合焦する。投影ミラー116で反射された光線L2は、収束光として水晶体164に入射する。このため、光線L2は網膜161より近くで合焦する。このように、光線L0を網膜161近傍で合焦させると、合焦位置F1は網膜161より投影ミラー116から遠い位置となる。合焦位置F1と網膜161との距離D1となる。合焦位置F2は網膜161より投影ミラー116に近い位置となる。合焦位置F2と網膜161との距離D2となる。   In FIG. 17, the light beam L0 reflected by the projection mirror 116 enters the crystalline lens 164 as substantially parallel light, and is focused in the vicinity of the retina 161. The light beam L1 reflected by the projection mirror 116 enters the crystalline lens 164 as diffused light. For this reason, the light beam L1 is focused farther than the retina 161. The light beam L2 reflected by the projection mirror 116 enters the crystalline lens 164 as convergent light. For this reason, the light beam L2 is focused closer to the retina 161. As described above, when the light ray L0 is focused in the vicinity of the retina 161, the focus position F1 is farther from the projection mirror 116 than the retina 161. A distance D1 between the in-focus position F1 and the retina 161 is obtained. The in-focus position F2 is closer to the projection mirror 116 than the retina 161. A distance D2 between the in-focus position F2 and the retina 161 is obtained.

このように合焦位置F0からF2が異なるのは、投影ミラー116が自由曲面であるためで、−X方向から投影ミラー116に入射した光線L0からL2を瞳孔162で収束させようとすると、投影ミラー116の領域R0からR2の曲率がX方向で異なる、および/または光線L0からL2の光路差が生じるためである。例えば、領域R2はR1より曲率が大きい。すなわち、領域R2はR1より集光パワーが大きい。このため、合焦位置F2はF1より光源側となる。また、投影ミラー116を顔に平行に配置しようとすると、光線L2の光路は光線L1より長くなる。これにより、合焦位置F2はF1よりさらに光源側となる。このように、比較例では、マックスウエル視のため光線L0からL2を瞳孔162近傍で収束させると、画像内において合焦位置が網膜161から大きく外れる領域が発生する。なお、Y方向の光学系は、X軸に対しほぼ対称であり、Y方向ではX方向のような合焦位置のずれは生じにくい。   The focus positions F0 to F2 are different in this way because the projection mirror 116 is a free-form surface. If the light rays L0 to L2 incident on the projection mirror 116 from the −X direction are converged by the pupil 162, the projection 162 projects. This is because the curvatures of the regions R0 to R2 of the mirror 116 are different in the X direction and / or there is an optical path difference between the light beams L0 to L2. For example, region R2 has a larger curvature than R1. That is, the region R2 has a higher light collection power than R1. For this reason, the focus position F2 is closer to the light source than F1. If the projection mirror 116 is arranged in parallel to the face, the optical path of the light beam L2 becomes longer than that of the light beam L1. Thereby, the focus position F2 is further on the light source side than F1. As described above, in the comparative example, when the light rays L0 to L2 are converged in the vicinity of the pupil 162 for Maxwell's view, an area in which the in-focus position greatly deviates from the retina 161 occurs in the image. Note that the optical system in the Y direction is substantially symmetric with respect to the X axis, and in the Y direction, the in-focus position does not easily shift as in the X direction.

そこで、本実施形態では、光学部品として反射ミラー115Aを用いる。図18は、第四の実施形態の画像投影装置を説明する第一の図である。図18(A)は、第四の実施形態に係る画像投影装置における光線の光路を示す図、図18(B)は、図18(A)の反射ミラー付近の拡大図である。図18(A)および図18(B)に示すように、投影ミラー116の領域R0からR2に照射される光線L0からL2は反射ミラー115A内のそれぞれ領域S0からS2において反射される。反射ミラー115Aは自由曲面を有する。その他の構成は上述した比較例と同じであり説明を省略する。   Therefore, in this embodiment, the reflection mirror 115A is used as an optical component. FIG. 18 is a first diagram illustrating an image projection apparatus according to the fourth embodiment. FIG. 18A is a diagram showing an optical path of a light beam in the image projection apparatus according to the fourth embodiment, and FIG. 18B is an enlarged view of the vicinity of the reflection mirror in FIG. As shown in FIGS. 18A and 18B, the light rays L0 to L2 irradiated to the regions R0 to R2 of the projection mirror 116 are reflected in the regions S0 to S2 in the reflecting mirror 115A, respectively. The reflection mirror 115A has a free curved surface. Other configurations are the same as those of the comparative example described above, and a description thereof will be omitted.

図19は、第四の実施形態の画像投影装置を説明する第二の図である。図19(A)は、第四の実施形態における反射ミラー表面の凹凸を示す斜視図、図19(B)は、反射ミラーのX方向における高さZを示す図である。X方向およびY方向は、投影ミラー116におけるX方向およびY方向に対応する方向である。反射ミラー115Aにおける高さがZ方向である。   FIG. 19 is a second diagram illustrating the image projection apparatus according to the fourth embodiment. FIG. 19A is a perspective view showing irregularities on the surface of the reflecting mirror in the fourth embodiment, and FIG. 19B is a diagram showing the height Z of the reflecting mirror in the X direction. The X direction and the Y direction are directions corresponding to the X direction and the Y direction in the projection mirror 116. The height of the reflecting mirror 115A is the Z direction.

図19(A)では、Z方向は、反射ミラー115Aの表面の凹凸を拡大して示している。図19(A)および図19(B)に示すように、領域S0では反射ミラー115Aの表面はほぼ平面であり、領域S1では反射ミラー115A表面は凹面であり、領域S2では反射ミラー115A表面は凸面である。これにより、領域S0では集光パワーはほぼ0であり、領域S1では集光パワーが正となり、領域S2では集光パワーが負となる。よって、光線L0の合焦位置F0は比較例から変化しない。光線L1の合焦位置F1は比較例の図17に比べ光源に近づき、光線L2の合焦位置F2は図17に比べ光源から遠くなる。これにより、合焦位置F0からF2が網膜161近傍となる。   In FIG. 19A, in the Z direction, the surface unevenness of the reflecting mirror 115A is enlarged. As shown in FIGS. 19A and 19B, the surface of the reflecting mirror 115A is substantially flat in the region S0, the surface of the reflecting mirror 115A is concave in the region S1, and the surface of the reflecting mirror 115A is in the region S2. Convex surface. Thereby, the condensing power is almost 0 in the region S0, the condensing power is positive in the region S1, and the condensing power is negative in the region S2. Therefore, the focus position F0 of the light beam L0 does not change from the comparative example. The in-focus position F1 of the light beam L1 is closer to the light source than in FIG. 17 of the comparative example, and the in-focus position F2 of the light beam L2 is farther from the light source than in FIG. Thereby, the focus positions F0 to F2 are in the vicinity of the retina 161.

本実施形態では、反射ミラー115Aの表面のZを次式で現される自由曲面とする。   In the present embodiment, Z on the surface of the reflecting mirror 115A is a free-form surface expressed by the following equation.

Z=Σaij×X×Y
原点(X=0、Y=0)は画像中心に相当し、例えば領域S0付近に相当する。aijは係数である。X方向の集光パワーを異ならせるためには、iが奇数の項の係数aijの少なくとも1つを有限の値(0以外)とする。
Z = Σ aij × X i × Y j
The origin (X = 0, Y = 0) corresponds to the center of the image, for example, near the region S0. aij is a coefficient. In order to vary the condensing power in the X direction, at least one of the coefficients aij of the odd-numbered terms is set to a finite value (other than 0).

投影ミラー116におけるY方向の集光パワーは、X軸に対し対称である。よって、jが奇数の項の係数aijを0とする。   The condensing power in the Y direction in the projection mirror 116 is symmetric with respect to the X axis. Therefore, the coefficient aij of the term in which j is an odd number is set to 0.

本実施形態において、例えば、係数a30およびa12を有限とする。これにより、図19のような自由曲面を実現できる。反射ミラー115Aの自由曲面をより調整するため、係数a10および/またはa20を有限の値としてもよい。さらに、高次の係数を有限の値としてもよい。   In the present embodiment, for example, the coefficients a30 and a12 are finite. Thereby, a free-form surface as shown in FIG. 19 can be realized. In order to further adjust the free-form surface of the reflecting mirror 115A, the coefficients a10 and / or a20 may be finite. Furthermore, a high-order coefficient may be a finite value.

このように、反射ミラー115Aの曲面を、凹面、凸面、平面を組み合わせた投影ミラー116の自由曲面に対応した自由曲面に設定することにより、画像投影装置100Bの小型で歪の少ない光学系が実現できる。   In this way, by setting the curved surface of the reflecting mirror 115A to a free curved surface corresponding to the free curved surface of the projection mirror 116 that is a combination of a concave surface, a convex surface, and a flat surface, a compact and less distortion optical system of the image projection apparatus 100B is realized. it can.

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげた構成、その他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。   As described above, the present invention has been described based on each embodiment. However, the present invention is not limited to the requirements shown here, such as the configurations described in the above embodiment and combinations with other elements. With respect to these points, the present invention can be changed within a range that does not detract from the gist of the present invention, and can be appropriately determined according to the application form.

11 操作部
100、100A、100B 画像投影装置
101A 補正情報データベース
130 制御部
300 補正情報生成処理部
310 補正用画像データ保持部
320 補正用画像データ出力部
330 操作受付部
340 補正情報生成部
350 補正情報保持部
400 画像補正処理部
410 画像データ取得部
420 補正情報読出部
430 画像補正部
440 画像出力部
500 画像投影システム
600 サーバ
DESCRIPTION OF SYMBOLS 11 Operation part 100, 100A, 100B Image projection apparatus 101A Correction information database 130 Control part 300 Correction information generation process part 310 Correction image data holding part 320 Correction image data output part 330 Operation reception part 340 Correction information generation part 350 Correction information Holding unit 400 Image correction processing unit 410 Image data acquisition unit 420 Correction information reading unit 430 Image correction unit 440 Image output unit 500 Image projection system 600 Server

Claims (9)

レーザ光を出射する光源と、
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
生成された前記補正情報を保持する補正情報保持部と、
前記補正情報を用いて、入力された前記画像データを補正する画像補正部と、
補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる画像データ出力部と、を有する画像投影装置。
A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit that generates image laser light based on the correction image data and emits the laser light from the light source;
An operation accepting unit that accepts an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation;
A correction information holding unit for holding the generated correction information;
An image correction unit for correcting the input image data using the correction information;
An image projection apparatus comprising: an image data output unit that generates image laser light based on the corrected image data and emits the laser light from the light source.
前記補正用画像は、
格子の中心に注視点を有する画像である、請求項1記載の画像投影装置。
The correction image is
The image projection apparatus according to claim 1, wherein the image projection apparatus is an image having a gazing point at the center of the lattice.
前記補正情報は、
前記補正用画像において、前記ポインタにより選択された点の座標と、前記操作部の操作により前記点が移動された後の前記点の座標と、を対応付けた情報である、請求項1又は2記載の画像投影装置。
The correction information is
The information for associating the coordinates of the point selected by the pointer with the coordinates of the point after the point is moved by the operation of the operation unit in the correction image. The image projection apparatus described.
画像投影装置と、前記画像投影装置と通信を行うサーバと、を有する画像投影システムであって、
前記画像投影装置は、
レーザ光を出射する光源と、
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
前記サーバから受信した補正用画像データに基づいた画像用レーザ光を生成して前記光源から出射させ、
前記操作部による、前記補正用画像データが表す補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作の内容を前記サーバへ送信し、
前記サーバは、
前記操作の内容に応じて、前記利用者視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
生成された前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、画像投影システム。
An image projection system comprising: an image projection device; and a server that communicates with the image projection device,
The image projector is
A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
Generate image laser light based on the correction image data received from the server and emit from the light source,
The operation unit transmits the contents of the operation on the pointer projected on the retina of the user together with the correction image represented by the correction image data to the server,
The server
Depending on the content of the operation, the correction information generation unit which the user generates the correction information for correcting the distortion of the image to be visually recognized,
A correction information database for storing the generated correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
An image projection system for transmitting corrected image data to the image projection apparatus.
画像投影装置と、前記画像投影装置と通信を行うサーバと、を有する画像投影システムであって、
前記画像投影装置は、
レーザ光を出射する光源と、
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、を有し
生成した前記補正情報を前記サーバへ送信し、
前記サーバは、
前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、画像投影システム。
An image projection system comprising: an image projection device; and a server that communicates with the image projection device,
The image projector is
A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit that generates image laser light based on the correction image data and emits the laser light from the light source;
An operation accepting unit that accepts an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
A correction information generation unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation, and transmits the generated correction information to the server.
The server
A correction information database for storing the correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
An image projection system for transmitting corrected image data to the image projection apparatus.
レーザ光を出射する光源と、画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、前記画像用レーザ光を走査する走査ミラーと、前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、前記画像と共に投影されるポインタを操作する操作部と、を有する画像投影装置と、通信を行うサーバであって、
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データを前記画像投影装置に送信する補正用画像データ出力部と、
前記画像投影装置から、前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作の内容を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、サーバ。
A control unit that includes a light source that emits laser light and an image input unit that inputs image data, generates image laser light based on the input image data, and controls emission of the image laser light A scanning mirror that scans the image laser light, a projection mirror that projects the image laser light onto the retina of the user's eyeball as an image represented by the image data, and a pointer that is projected together with the image. A server that communicates with an image projection device having an operation unit to be operated;
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit for transmitting the correction image data to the image projection device;
An operation receiving unit that receives the operation content of the operation unit for the pointer projected on the retina of the user together with the correction image from the image projection device;
A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation;
A correction information database for storing the correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
A server that transmits the corrected image data to the image projection apparatus.
利用者の網膜に投影されたポインタに対する操作を行う操作部を有する画像投影装置と、前記画像投影装置と通信を行うサーバと、を有する画像投影システムによる画像投影方法であって、
前記画像投影装置による、
画像データを入力する手順と、
入力された前記画像データに基づいた画像用レーザ光を生成し、光源からの前記画像用レーザ光の出射制御を行う制御手順と、
前記画像用レーザ光を走査ミラーにより走査する走査手順と、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影手順と、を有し、
前記制御手順は、
前記サーバから受信した補正用画像データに基づいた画像用レーザ光を生成して前記光源から出射させ、
前記操作部による、前記補正用画像データが表す補正用画像と共に前記利用者の網膜に投影されたポインタに対する前記操作の内容を前記サーバへ送信し、
前記サーバによる、
前記操作の内容に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する手順と、
生成された前記補正情報を補正情報データベースに格納する手順と、
前記補正情報を用いて、投影要求を受けた画像データを補正する手順と、
補正された画像データを前記画像投影装置へ送信する手順と、有する画像投影方法。
An image projection method by an image projection system having an image projection apparatus having an operation unit that performs an operation on a pointer projected on a retina of a user, and a server that communicates with the image projection apparatus,
According to the image projection device,
The procedure for inputting image data,
A control procedure for generating image laser light based on the input image data and performing emission control of the image laser light from a light source;
A scanning procedure of scanning the image laser light by a scanning mirror;
A projection procedure of projecting the image laser light as an image represented by the image data onto a retina of a user's eyeball by a projection mirror;
The control procedure is:
Generate image laser light based on the correction image data received from the server and emit from the light source,
The operation part transmits the content of the operation on the pointer projected on the retina of the user together with the correction image represented by the correction image data to the server,
By the server,
A procedure for generating correction information for correcting distortion of the image visually recognized by the user according to the content of the operation;
A procedure for storing the generated correction information in a correction information database;
Using the correction information, a procedure for correcting image data that has received a projection request;
And a procedure for transmitting the corrected image data to the image projection device, and an image projection method.
利用者の網膜に投影されたポインタに対する操作を行う操作部を有する画像投影装置と、前記画像投影装置と通信を行うサーバと、を有する画像投影システムによる画像投影方法であって、
前記画像投影装置による、
画像データを入力する手順と、
入力された前記画像データに基づいた画像用レーザ光を生成し、レーザ光を出射する光源からの前記画像用レーザ光の出射制御を行う制御手順と、
前記画像用レーザ光を走査ミラーにより走査する走査手順と、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影手順と、を有し、
前記制御手順は、
補正用画像を表す補正用画像データを保持する手順と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる手順と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける手順と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する手順と、を有し
生成した前記補正情報を前記サーバへ送信する手順と、を有し
前記サーバによる、
前記補正情報を補正情報データベースに格納する手順と、
前記補正情報を用いて、投影要求を受けた画像データを補正する手順と、
補正された画像データを前記画像投影装置へ送信する手順と、を有する画像投影方法。
An image projection method by an image projection system having an image projection apparatus having an operation unit that performs an operation on a pointer projected on a retina of a user, and a server that communicates with the image projection apparatus,
According to the image projection device,
The procedure for inputting image data,
A control procedure for generating image laser light based on the input image data and performing emission control of the image laser light from a light source that emits laser light;
A scanning procedure of scanning the image laser light by a scanning mirror;
A projection procedure of projecting the image laser light as an image represented by the image data onto a retina of a user's eyeball by a projection mirror;
The control procedure is:
A procedure for storing correction image data representing a correction image;
A procedure for generating image laser light based on the correction image data and emitting it from the light source,
A procedure of accepting an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
Generating correction information for correcting distortion of the image viewed by the user according to the operation, and transmitting the generated correction information to the server. ,
Storing the correction information in a correction information database;
Using the correction information, a procedure for correcting image data that has received a projection request;
And a procedure for transmitting the corrected image data to the image projection apparatus.
画像投影装置による画像投影プログラムであって、前記画像投影装置に、
画像データを入力するステップと、
入力された前記画像データに基づいた画像用レーザ光を生成し、レーザ光を出射する光源からの前記画像用レーザ光の出射制御を行う制御ステップと、
前記画像用レーザ光を走査ミラーにより走査する走査ステップと、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影ステップと、を実行させ、
前記制御ステップは、
補正用画像を表す補正用画像データを保持するステップと、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させるステップと、
前記補正用画像と共に前記利用者の網膜に投影されたポインタに対する操作部の操作を受け付けるステップと、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成するステップと、
生成された前記補正情報を保持するステップと、
前記補正情報を用いて入力された前記画像データを補正するステップと、
補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させるステップと、を実行させる画像投影プログラム。
An image projection program by an image projection device, the image projection device,
Inputting image data;
A control step of generating image laser light based on the input image data and performing emission control of the image laser light from a light source that emits laser light;
A scanning step of scanning the image laser light by a scanning mirror;
The image laser beam, wherein the image data represents an image, and projecting the shadow step you projected on the retina of the user's eyeball by the projection mirror, allowed to run,
The control step includes
Holding correction image data representing a correction image;
Generating image laser light based on the image data for correction and emitting the laser light from the light source;
Receiving an operation of an operation unit for a pointer projected on the retina of the user together with the correction image;
Generating correction information for correcting distortion of the image visually recognized by the user according to the operation;
Holding the generated correction information;
Correcting the input image data using the correction information;
Generating an image laser beam based on the corrected image data and emitting it from the light source.
JP2016142128A 2016-07-20 2016-07-20 Image projection apparatus, image projection system, server, image projection method, and image projection program Active JP6255450B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016142128A JP6255450B1 (en) 2016-07-20 2016-07-20 Image projection apparatus, image projection system, server, image projection method, and image projection program
PCT/JP2017/021452 WO2018016223A1 (en) 2016-07-20 2017-06-09 Image projection device, image projection system, server, image projection method, and image projection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016142128A JP6255450B1 (en) 2016-07-20 2016-07-20 Image projection apparatus, image projection system, server, image projection method, and image projection program

Publications (2)

Publication Number Publication Date
JP6255450B1 true JP6255450B1 (en) 2017-12-27
JP2018013566A JP2018013566A (en) 2018-01-25

Family

ID=60860125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016142128A Active JP6255450B1 (en) 2016-07-20 2016-07-20 Image projection apparatus, image projection system, server, image projection method, and image projection program

Country Status (2)

Country Link
JP (1) JP6255450B1 (en)
WO (1) WO2018016223A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437814B1 (en) * 2018-11-19 2022-08-29 이-비전 스마트 옵틱스, 아이엔씨. Beam Steering Device
JP7427237B2 (en) * 2020-02-21 2024-02-05 株式会社Qdレーザ Image projection device, image projection method, program
CN112598589A (en) * 2020-12-17 2021-04-02 青岛海信激光显示股份有限公司 Laser projection system and image correction method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010061547A1 (en) * 2008-11-25 2012-04-19 学校法人日本大学 Eye simulation device
JP5884380B2 (en) * 2011-09-30 2016-03-15 セイコーエプソン株式会社 Projector and projector control method
US9180053B2 (en) * 2013-01-29 2015-11-10 Xerox Corporation Central vision impairment compensation
CN106170729A (en) * 2013-03-25 2016-11-30 英特尔公司 For the method and apparatus with the head-mounted display of multiple emergent pupil
JP6209456B2 (en) * 2013-05-31 2017-10-04 株式会社Qdレーザ Image projection apparatus and projection apparatus

Also Published As

Publication number Publication date
WO2018016223A1 (en) 2018-01-25
JP2018013566A (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7576120B2 (en) Display system and method for determining alignment between a display and a user&#39;s eyes - Patents.com
JP7512505B2 (en) Depth Plane Selection for Multi-Depth Planar Display Systems via User Categorization
JP6255524B2 (en) Image projection system, image projection apparatus, image projection method, image projection program, and server apparatus
JP6227177B1 (en) Image projection device
JP7699254B2 (en) Display system and method for determining vertical alignment between left and right displays and a user&#39;s eyes - Patents.com
JP3787939B2 (en) 3D image display device
CN110753876B (en) Image projection apparatus
CN110709755B (en) Image projection apparatus
US10924716B2 (en) Image projection device
JP5214060B1 (en) Virtual image display device
JP2009268778A (en) Image display apparatus, image display method, program and integrated circuit
JP2020503905A (en) Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
JP6231545B2 (en) Image projection device
JP6255450B1 (en) Image projection apparatus, image projection system, server, image projection method, and image projection program
JP2021519945A (en) How to make a waveguide with integrated optics and the same thing
JP2015219489A (en) Display device
JP2011242580A (en) Projection optical device
CN113396355B (en) Image display device and head mounted display
JP6209705B2 (en) Image projection device
JP7437048B2 (en) image projection device
CN115151853B (en) Method for displaying a clear image on the retina of a human eye
CN115052512A (en) Method for determining at least one parameter of an eye of a person
JP7710586B2 (en) Display system and method for determining alignment between a display and a user&#39;s eyes - Patents.com
WO2017213241A1 (en) Image projection system, image projection device, image projection method, image projection program, and server device
US20230199141A1 (en) Image projection device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171204

R150 Certificate of patent or registration of utility model

Ref document number: 6255450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250