JP6255450B1 - Image projection apparatus, image projection system, server, image projection method, and image projection program - Google Patents
Image projection apparatus, image projection system, server, image projection method, and image projection program Download PDFInfo
- Publication number
- JP6255450B1 JP6255450B1 JP2016142128A JP2016142128A JP6255450B1 JP 6255450 B1 JP6255450 B1 JP 6255450B1 JP 2016142128 A JP2016142128 A JP 2016142128A JP 2016142128 A JP2016142128 A JP 2016142128A JP 6255450 B1 JP6255450 B1 JP 6255450B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- image data
- laser light
- correction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Digital Computer Display Output (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】視界の歪みによって歪んで視認される画像を補正した画像を表示する。
【解決手段】画像データに基づいた画像用レーザ光を生成して、光源からの画像用レーザ光の出射制御を行う制御部と、画像用レーザ光を走査する走査ミラーと、画像用レーザ光を、画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、画像と共に投影されるポインタを操作する操作部と、を有し、制御部は、補正用画像データに基づいた画像用レーザ光を生成して、光源から出射させ、補正用画像と共に前記利用者の網膜に投影されたポインタに対する前記操作部の操作を受け付け、操作に応じて、利用者が視認する前記画像の歪みを補正する補正情報を生成し、生成された補正情報を用いて、入力された画像データを補正し、補正された画像データに基づいた画像用レーザ光を生成して、光源から出射させる。
【選択図】図1An image obtained by correcting an image that is visually distorted due to a distortion in the field of view is displayed.
A control unit that generates image laser light based on image data and controls emission of the image laser light from the light source, a scanning mirror that scans the image laser light, and an image laser light The image data represents a projection mirror that projects onto the retina of the user's eyeball, and an operation unit that operates a pointer that is projected together with the image. The control unit is an image based on the correction image data. The laser beam is generated and emitted from the light source, the operation of the operation unit with respect to the pointer projected on the retina of the user together with the correction image is received, and the distortion of the image visually recognized by the user according to the operation Correction information is generated, and the input image data is corrected using the generated correction information, and an image laser beam based on the corrected image data is generated and emitted from the light source.
[Selection] Figure 1
Description
本発明は、画像投影装置、画像投影システム、サーバ、画像投影方法及び画像投影プログラムに関する。 The present invention relates to an image projection apparatus, an image projection system, a server, an image projection method, and an image projection program.
従来から、画像データに基づく画像用光線を人の網膜上に投影することで、人の水晶体の機能に影響されずに、人に画像データが表す画像を視認させる方法を用いた画像投影装置が知られている。 2. Description of the Related Art Conventionally, an image projection apparatus using a method of causing an image represented by image data to be visually recognized by a person without being affected by the function of the lens of the person by projecting image light rays based on the image data onto the retina of the person. Are known.
上述した従来の画像投影装置では、画像データに基づく画像をそのまま網膜に投影させるため、黄斑変性症等の網膜の変形により視界が歪む場合には、その歪みを補正することができない。
In the conventional image projection device described above, for projecting an image based on image data as it is to the retina, when the visibility is distorted by deformation of the retina macular degeneration and the like, it is not possible to correct the distortion.
開示の技術は、上述した事情に鑑みて成されたものであり、視界の歪みによって歪んで視認される画像を補正した画像を表示することが可能な画像投影装置、画像投影システム、サーバ、画像投影方法及び画像投影プログラムを提供することを目的としている。 The disclosed technology has been made in view of the above-described circumstances, and is an image projecting device, an image projecting system, a server, an image capable of displaying an image obtained by correcting an image that is visually distorted due to distortion of the field of view. An object is to provide a projection method and an image projection program.
開示の技術は、レーザ光を出射する光源と、画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、前記画像用レーザ光を走査する走査ミラーと、前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、前記画像と共に投影されるポインタを操作する操作部と、を有し、前記制御部は、補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、生成された前記補正情報を保持する補正情報保持部と、前記補正情報を用いて、入力された前記画像データを補正する画像補正部と、補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる画像データ出力部と、を有する画像投影装置である。 The disclosed technology includes a light source that emits laser light and an image input unit that inputs image data, generates image laser light based on the input image data, and emits the image laser light. A control unit that performs control, a scanning mirror that scans the image laser light, a projection mirror that projects the image laser light on the retina of a user's eyeball as an image represented by the image data, and the image An operation unit that operates a projected pointer, and the control unit includes a correction image data holding unit that holds correction image data representing a correction image, and an image unit based on the correction image data. A correction image data output unit for generating laser light and emitting it from the light source, and an operation for accepting an operation of the operation unit for the pointer projected on the retina of the user together with the correction image A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user, a correction information holding unit that holds the generated correction information, and An image correction unit that corrects the input image data using correction information; and an image data output unit that generates an image laser beam based on the corrected image data and emits the laser beam from the light source. An image projection apparatus.
視界の歪みによって歪んで視認される画像を補正した画像を表示する。 An image obtained by correcting an image that is visually distorted due to the distortion of the visual field is displayed.
(第一の実施形態)
以下に図面を参照して、第一の実施形態について説明する。図1は、第一の実施形態における画像投影装置の概要を説明する図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram for explaining the outline of the image projection apparatus according to the first embodiment.
本実施形態の画像投影装置100は、視界の歪みによって歪んで視認される画像を補正した画像の表示(投影)に用いる補正情報を生成するための、補正用画像Gを利用者の網膜に投影させる。また、本実施形態の画像投影装置100は、操作部11を有し、操作部11により操作されるポインタPを補正用画像G上に投影する。
The
本実施形態の操作部11は、ポインティングデバイスであり、例えばメガネ型フレームのツル150に配置されたトラックボール等であっても良い。また、本実施形態の操作部11は、トラックボール以外のポインティングデバイスであっても良く、画像投影装置100と通信が可能な外部装置として設けられても良い。
The
本実施形態の画像投影装置100は、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。マクスウェル視とは、画像データに基づく画像用光線(レーザ光)を一旦瞳孔の中心で収束させてから網膜上に投影することで、人の水晶体の機能に影響されずに人に画像データが表す画像を視認させる方法である。
The
人の網膜に直接投影された画像は、網膜の機能が正常であれば、画像データにより表される画像の通りに視認される。しかし、網膜の機能や視神経等に問題がある場合には、網膜に投影された画像は、画像データにより表される画像とは異なる態様で視認される。 An image directly projected on a human retina is visually recognized as an image represented by image data if the function of the retina is normal. However, when there is a problem with the function of the retina, the optic nerve or the like, the image projected on the retina is viewed in a different manner from the image represented by the image data.
例えば、網膜が変形していた場合等には、投影された画像は、網膜の形状と同じように変形した画像として視認される。本実施形態では、この点に着目し、利用者の網膜の形状(歪み)を示す補正情報を予め取得しておき、補正情報を用いて補正した画像データが示す画像を利用者の網膜に投影させる。 For example, when the retina is deformed, the projected image is visually recognized as an image deformed in the same manner as the shape of the retina. In this embodiment, paying attention to this point, correction information indicating the shape (distortion) of the user's retina is acquired in advance, and the image indicated by the image data corrected using the correction information is projected onto the user's retina. Let
補正用画像Gは、例えば視界の歪みの度合いを調べるためのアムスラーチャート等である。尚、補正用画像Gは、アムスラーチャートでなくてもよく、直線により形成される複数の格子が含まれる画像であれば、どのような画像であっても良い。 The correction image G is, for example, an Amsler chart for examining the degree of distortion of the visual field. The correction image G may not be an Amsler chart, and may be any image as long as it includes a plurality of grids formed by straight lines.
通常、乱視や黄斑変性症の症状のある利用者は、片眼で補正用画像Gにおける注視点Sを注視すると、主に注視点Sの周辺の直線が歪んで見える。 Normally, when a user with symptoms of astigmatism or macular degeneration looks at the gazing point S in the correction image G with one eye, the straight line around the gazing point S mainly appears to be distorted.
そこで、本実施形態では、このような利用者に対し、操作部11によりポインタPを操作させ、補正用画像Gにおいて、歪んで見える線が直線となるように画像を補正させる。
Therefore, in this embodiment, such a user operates the pointer P by the
そして、本実施形態の画像投影装置100では、操作前の補正用画像Gの画像データと、操作後の補正用画像Gの画像データの差分から、利用者の視界の歪みによって歪んで視認される画像を補正する補正情報を生成し、保持する。
In the
本実施形態では、このように、利用者の視界の歪みを示す補正情報を生成することで、補正用画像G以外の画像を投影させる際に、この補正情報を用いて画像の歪みを補正することができる。 In the present embodiment, when the correction information indicating the distortion of the user's field of view is generated as described above, when the image other than the correction image G is projected, the correction information is used to correct the distortion of the image. be able to.
本実施形態の画像投影装置100は、投影すべき画像データが入力されると、補正情報に基づきこの画像データを補正し、補正した画像データを利用者の網膜に投影する。つまり、補正後の画像データは、利用者の網膜に投影されたときに歪みが補正された状態となるように、利用者の視界の歪みを相殺するような歪みを持たせた画像の画像データとなる。
When image data to be projected is input, the
本実施形態では、以上のように、視界の歪みによって歪んで視認される画像を補正する補正情報を生成し、画像データを投影させる際には、補正情報に基づき補正した後の画像データを利用者の網膜に投影する。よって、本実施形態によれば、視界の歪みによって歪んで視認される画像を補正した画像を表示することができる。 In the present embodiment, as described above, correction information for correcting an image that is visually distorted due to the distortion of the field of view is generated, and when projecting image data, the image data corrected based on the correction information is used. Project onto the person's retina. Therefore, according to the present embodiment, it is possible to display an image obtained by correcting an image that is visually distorted due to the distortion of the visual field.
次に、図2乃至図5を参照して、本実施形態の画像投影装置100について説明する。
Next, the
図2は、視野検査装置の上視図である。本実施形態の画像投影装置100は、投影部110、制御部130を備える。
FIG. 2 is a top view of the visual field inspection apparatus. The
本実施形態の投影部110は、光源111、走査ミラー112、ミラー113、ミラー114、ミラー115、投影ミラー116を備える。
The
光源111は、メガネ型フレームのツル150に配置されている。光源111は、制御部130の指示の下、例えば単一又は複数の波長の光線Lを出射する。この光線Lは、ユーザの眼球160の網膜161に画像を投影するための画像用光線である。以下の説明では、光線Lを画像用光線と呼ぶ。
The
光源111は、例えば赤色レーザ光(波長:610nm〜660nm程度)、緑色レーザ光(波長:515nm〜540nm程度)、及び青色レーザ光(波長:440nm〜480nm程度)を出射する。赤色、緑色、及び青色レーザ光を出射する。本実施形態の光源111は、光源111として、例えばRGB(赤・緑・青)それぞれのレーザダイオードチップと3色合成デバイスとマイクロコリメートレンズと、が集積された光源等により実現される。
The
走査ミラー112は、メガネ型フレームのツル150に配置されている。走査ミラー112は、光源111から出射された画像用光線を、水平方向及び垂直方向に走査する。走査ミラー112は、例えばMEMS(Micro Electro Mechanical System)ミラーである。なお、光源111から出射された画像用光線は、例えばミラー113及びミラー114で反射されて、走査ミラー112に入射する。
The
本実施形態の制御部130は、CPU(Central Processing Unit)等の演算処理装置と、RAM(Random Access Memory)及びROM(Read Only Memory)等の記憶装置とを有する。制御部130の詳細は後述する。
The
制御部130は、例えば走査ミラー112(MEMSミラー)が実装された基板と同じ基板に実装されていても良い。また、制御部130は、画像投影装置100と接続された外部装置に設けられたものであっても良い。
For example, the
本実施形態の制御部130は、投影部110を制御する。制御部130は、入力された画像データに基づく画像用光線を光源111から出射させる。また、本実施形態の制御部130は、走査ミラー112(MEMSミラー)を振動させて、光源111から出射された画像用光線を走査し、網膜161に画像を投影させる。
The
次に、図3及び図4により、画像投影装置100の投影部110による画像の投影について説明する。
Next, image projection by the
図3は、画像投影装置の投影部近傍を拡大した図である。 FIG. 3 is an enlarged view of the vicinity of the projection unit of the image projection apparatus.
図2及び図3のように、走査ミラー112で走査された画像用光線は、ミラー115によって、メガネ型フレームのレンズ151に向かって反射される。本実施形態では、投影部110が、レンズ151の眼球160側の面に配置されているため、走査ミラー112で走査された画像用光線は、投影ミラー116に入射する。
As shown in FIGS. 2 and 3, the image light beam scanned by the
投影ミラー116は、表面の画像用光線が入射される領域116aでは、自由曲面又は自由曲面と回折面の合成構造をしたハーフミラーとなっている。これにより、投影ミラー116に入射された画像用光線は、眼球160の瞳孔162近傍で収束した後に網膜161に投射される。
The
よって、被験者は、画像用光線で形成される画像を認識することができると共に、外界像をシースルーで視認することができる。 Therefore, the subject can recognize the image formed by the image light beam and can visually recognize the outside world image through the see-through.
図4は、走査ミラーの振動を説明する図である。尚、図4では、走査ミラー112が点Aから点Bまで振動した場合を示している。
FIG. 4 is a diagram for explaining the vibration of the scanning mirror. FIG. 4 shows a case where the
走査ミラー112によって画像用光線を走査して網膜161に画像を投影する方法として、画像を投影する領域の左上から右下に向かって光を高速に走査し、画像を表示させる方法(例えばラスタースキャン)がある。
As a method for projecting an image light beam by the
本実施形態では、図4に示すように、走査ミラー112は、画像用光線(光線L)を走査するために、網膜161に画像が投影される領域H(図4の破線範囲)よりも大きく、水平方向(第1方向)と垂直方向(第1方向に交差する第2方向)と、に振動する。図4では、走査ミラー112の振動を符号50で示している。
In the present embodiment, as shown in FIG. 4, the
走査ミラー112が大きく振れた箇所で画像用光線を走査して網膜161に画像を投影する場合、画像の歪みが大きくなる。したがって、本実施形態では、画像用光線は、走査ミラー112の振れが小さい箇所で走査される。
When the image light beam is scanned at a position where the
尚、図4では、画像用光線は矩形状に走査される場合を例に示しているが、この場合に限られず、台形状に走査される場合など、その他の場合でもよい。 FIG. 4 shows an example in which the image light beam is scanned in a rectangular shape. However, the present invention is not limited to this case, and other cases such as a case where the light beam is scanned in a trapezoid shape may be used.
次に、本実施形態の制御部130について説明する。図5は、制御部のハードウェア構成の一例を説明する図である。
Next, the
本実施形態の制御部130は、それぞれバスBで相互に接続されている操作部11、メモリ12、CPU13及びインターフェース部14を含む。
The
操作部11は、各種の情報を制御部130へ入力するためのものであり、例えば操作部11による操作の内容等が入力される。メモリ12は、ROMやRAM等により実現され、CPU13による演算処理結果や、画像投影プログラム等が格納される。CPU13は、画像投影プログラムに従って、後述するような各種処理を実現している。
The
インターフェース部14は、画像投影装置100をネットワークに接続する為等に用いられる。また、制御部130では、インターフェース部14を介して投影対象の画像データが入力されても良い。
The
画像投影装置100において実行される補正情報生成プログラムと画像処理プログラムは、画像投影装置100を制御する画像投影プログラムの少なくとも一部である。補正情報生成プログラムと画像処理プログラムは例えば記録媒体の配布やネットワークからのダウンロードなどによって提供される。補正情報生成プログラムと画像処理プログラムを記録した記録媒体は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
The correction information generation program and the image processing program executed in the
次に、本実施形態の制御部130の機能について説明する。図6は、第一の実施形態の制御部の機能を説明する図である。
Next, the function of the
本実施形態の制御部130は、補正情報生成処理部300と、画像補正処理部400と、を有する。補正情報生成処理部300は、制御部130の有するCPU13がメモリ12に格納された補正情報生成プログラムを実行することで実現される。また、画像補正処理部400は、制御部130の有するCPU13がメモリ12に格納された画像補正プログラムを実行することで実現される。尚、補正情報生成プログラムと画像補正プログラムは、画像投影プログラムに含まれる。
The
本実施形態の補正情報生成処理部300は、補正用画像データ保持部310、補正用画像データ出力部320、操作受付部330、補正情報生成部340、補正情報保持部350を有し、利用者の操作に応じて利用者毎の補正情報を生成する。
The correction information
本実施形態の補正用画像データ保持部310は、補正用画像Gを示す補正用画像データを保持している。
The correction image
補正用画像データ出力部320は、補正用画像データを投影部110へ出力する。言い換えれば、補正用画像データ出力部320は、補正用画像データに基づく画像用光線を生成し、光源111から出射させる。また、補正用画像データ出力部320は、操作受付部330が受け付けた操作に応じて、投影させる画像(直線)の位置を変更させる。
The correction image data output unit 320 outputs the correction image data to the
操作受付部330は、操作部11による操作を受け付け、補正用画像データ出力部320に操作内容を通知する。
The
補正情報生成部340は、操作受付部330による操作の受け付けが完了すると、操作後の補正用画像データと、操作前の補正用画像データとから、補正情報を生成する。補正情報保持部350は、生成された補正情報を保持する。
When the operation reception by the
尚、操作部11による操作と、補正情報生成部340の処理の詳細は後述する。
The details of the operation by the
本実施形態の画像補正処理部400は、投影される画像データに対し、補正情報に基づく補正を行う。
The image
本実施形態の画像補正処理部400は、画像データ取得部410、補正情報読出部420、画像補正部430、画像データ出力部440を有する。
The image
画像データ取得部410は、投影要求を受けた画像データを取得する。画像データ取得部410は、例えばインターフェース部14を介して外部のサーバや記録媒体等から画像データを取得しても良い。
The image
補正情報読出部420は、補正情報保持部350に保持された補正情報を読み出す。
The correction
画像補正部430は、取得した画像データと、補正情報とに基づき、画像データを補正する。画像データ出力部440は、補正後の画像データを投影部110へ出力する。言い換えれば、画像データ出力部440は、補正後の画像データに基づく画像用光線を生成し、光源111から出射させる。
The
次に、図7を参照して本実施形態の制御部130の補正情報生成処理部300の処理について説明する。図7は、第一の実施形態の補正情報生成処理部の処理を説明するフローチャートである。
Next, processing of the correction information
本実施形態の補正情報生成処理部300は、補正情報の生成要求を受け付けたか否かを判定する(ステップS701)。ステップS701において、生成要求を受け付けない場合、補正情報生成処理部300は、生成要求を受け付けるまで待機する。
The correction information
ステップS701において、生成要求を受け付けた場合、補正情報生成処理部300は、補正用画像データ出力部320により、補正用画像データ保持部310が保持している補正用画像データを読み出す(ステップS702)。
When the generation request is received in step S701, the correction information
続いて、補正情報生成処理部300は、補正用画像データ出力部320により、補正用
画像データを利用者の網膜に投影させる(ステップS703)。
Subsequently, the correction information
続いて、補正情報生成処理部300は、操作受付部330により、投影された補正用画像Gに対する操作を受け付けたか否かを判定する(ステップS704)。ステップS704において、操作を受け付けない場合、操作を受け付けるまで待機する。尚、このとき補正情報生成処理部300は、所定時間が経過しても操作を受け付けなかった場合、処理を終了しても良い。
Subsequently, the correction information
ステップS704において、操作を受け付けた場合、操作受付部330は、操作の内容を補正用画像データ出力部320へ通知し、補正用画像データ出力部320は、補正用画像Gにおいて操作された箇所の投影位置を変更する(ステップS705)。
In step S704, when an operation is accepted, the
続いて、補正情報生成処理部300は、操作受付部330による操作の受け付けが完了したか否かを判定する(ステップS706)。このとき、操作受付部330は、操作を受け付けない時間が所定時間を経過したとき、操作の受け付けの完了としても良いし、操作の完了を示す操作を受け付けて、操作の受け付けの完了としても良い。
Subsequently, the correction information
ステップS706において、操作の受け付けが完了していない場合、補正情報生成処理部300は、ステップS705へ戻る。
In step S706, when the acceptance of the operation is not completed, the correction information
ステップS706において、操作の受け付けが完了した場合、補正情報生成処理部300は、補正情報生成部340により、操作前の補正用画像データと操作後の補正用画像データとの差分から、補正情報を生成して、補正情報保持部350により保持し(ステップS707)、処理を終了する。
When the acceptance of the operation is completed in step S706, the correction information
以下に、図8及び図9を参照して、補正情報の生成についてさらに説明する。図8は、補正情報の生成を説明する図である。 Hereinafter, generation of correction information will be further described with reference to FIGS. 8 and 9. FIG. 8 is a diagram for explaining generation of correction information.
図8は、補正用画像に対する操作を説明する図である。図8(A)は、補正用画像Gを示す図である。図8(B)は、視野に歪みがある利用者にとっての補正用画像Gの見え方の一例を示す図である。図8(C)は、補正用画像Gに対する操作を説明する図である。 FIG. 8 is a diagram illustrating an operation on the correction image. FIG. 8A shows the correction image G. FIG. FIG. 8B is a diagram illustrating an example of how the correction image G appears to the user who has distortion in the visual field. FIG. 8C is a diagram illustrating an operation on the correction image G.
本実施形態の補正用画像Gは、複数の直線により形成された格子状の画像であり、中心部分に注視点Sを有する。 The correction image G of the present embodiment is a grid-like image formed by a plurality of straight lines, and has a gazing point S at the center.
網膜の状態に異常がない利用者にとっては、網膜に投影された補正用画像Gは、図8(A)に示す通り、縦線と横線で形成される格子状の画像として視認される。 For a user who has no abnormality in the retina state, the correction image G projected on the retina is visually recognized as a grid-like image formed by vertical and horizontal lines as shown in FIG.
ところが、網膜に変形等がある利用者の場合には、網膜に投影された補正用画像Gは、網膜の形状に合わせて歪み、例えば図8(B)に示すような画像となって視認される。 However, in the case of a user whose retina is deformed, the correction image G projected on the retina is distorted according to the shape of the retina, and is visually recognized as an image as shown in FIG. 8B, for example. The
そこで、本実施形態では、歪んだ状態で視認された補正用画像Gを、利用者にとって歪みのない格子状となるように、操作部11を用いて利用者により補正させる。
Therefore, in the present embodiment, the correction image G visually recognized in a distorted state is corrected by the user using the
図8(B)の例では、例えば直線L81は、直線ではなく歪んで視認された状態である。したがって、利用者は、操作部11により直線L81を選択し、利用者にとって直線L81が歪みのない真っ直ぐな線に見えるように、直線L81を変形させる操作を行う。
In the example of FIG. 8B, for example, the straight line L81 is not a straight line but is distorted and viewed. Therefore, the user selects the straight line L81 using the
具体的には、図8(C)に示すように、直線L81をポインタPにより選択し、直線L81を利用者にとって直線と視認される線L81′に変形する。同様に、直線L82についても、直線L82をポインタPにより選択し、直線L82を利用者にとって直線と視認される線L82′に変形する。 Specifically, as shown in FIG. 8C, the straight line L81 is selected by the pointer P, and the straight line L81 is transformed into a line L81 ′ that is visually recognized by the user as a straight line. Similarly, for the straight line L82, the straight line L82 is selected by the pointer P, and the straight line L82 is transformed into a line L82 ′ that is visually recognized by the user as a straight line.
尚、図8には示していないが、補正用画像Gには、選択する線を特定するための番号等を各線と対応付けて投影させても良い。この場合、利用者は、この番号を選択することで、操作対象の線を特定できる。 Although not shown in FIG. 8, the correction image G may be projected with a number or the like for specifying a line to be selected in association with each line. In this case, the user can specify the operation target line by selecting this number.
本実施形態では、以上のようにして、図8(B)のように視認されていた補正用画像Gの歪みを、利用者が歪みを許容できる範囲となるまで補正させる。 In the present embodiment, as described above, the distortion of the correction image G that has been visually recognized as illustrated in FIG. 8B is corrected until the distortion is within a range that the user can tolerate.
その結果、操作後の補正用画像Gは、操作前の補正用画像Gを変形させた画像となる。図9は、操作後の補正用画像の一例を示す図である。 As a result, the correction image G after the operation is an image obtained by deforming the correction image G before the operation. FIG. 9 is a diagram illustrating an example of the correction image after the operation.
図9に示す操作後の補正用画像Gaでは、注視点Sの周辺の直線が、図8(B)に示した歪みを相殺するように歪められた画像となる。言い換えれば、操作後の補正用画像Gaは、補正を行った利用者の網膜に投影されたときに、歪みがなくなるように補正された画像である。 In the corrected image Ga after the operation shown in FIG. 9, the straight line around the gazing point S is an image distorted so as to cancel the distortion shown in FIG. In other words, the corrected image Ga after the operation is an image corrected so as not to be distorted when projected on the retina of the user who has performed the correction.
本実施形態の補正情報生成部340は、図8(A)に示す操作前の補正用画像Gと、図9に示す操作後の補正用画像Gaと、から、補正情報を生成する。
The correction
以下に、本実施形態の補正情報生成部340による補正情報の生成について説明する。本実施形態の補正情報生成部340は、操作前の補正用画像Gにおいて、ポインタPによって移動させられた点の操作前の座標と操作後の座標とを対応付けて記憶した情報を補正情報とする。
Hereinafter, generation of correction information by the correction
例えば補正情報生成部340は、操作前の補正用画像Gにおいて、ポインタPが示す点M1の座標と、点M1が操作によって移動した先の点M1aの座標とを対応付けて記憶する(図8(B)、(C)参照)。
For example, the correction
図10は、補正情報の一例を示す図である。補正情報101は、補正情報保持部350により保持される。
FIG. 10 is a diagram illustrating an example of the correction information. The
補正情報には、例えば操作前の点M1の座標(x1,y1)と、点M1を操作により移動させた後の点M1aの座標(x1a,y1a)とが対応付けられて保持されている。 In the correction information, for example, the coordinates (x1, y1) of the point M1 before the operation and the coordinates (x1a, y1a) of the point M1a after the point M1 is moved by the operation are associated and held.
本実施形態の補正情報生成部340は、ポインタPの操作によって移動された全ての点について、操作前の座標と操作後の座標とを対応付けて、補正情報保持部350に保持させる。
The correction
次に、本実施形態の画像補正処理部400の動作について説明する。図11は、第一の実施形態の画像補正処理部の処理を説明するフローチャートである。
Next, the operation of the image
本実施形態の画像補正処理部400は、画像データ取得部410により、画像の投影要求を受け付けたか否かを判定する(ステップS1101)。ステップS1101において、投影要求を受け付けない場合、画像補正処理部400は、投影要求を受け付けるまで待機する。
The image
ステップS1101において、投影要求を受け付けると、画像データ取得部410は、投影要求を受けた画像データを取得する(ステップS1102)。言い換えれば、画像データ取得部410は、投影対象の画像データの入力を受け付ける。
In step S1101, when a projection request is received, the image
続いて画像補正処理部400は、補正情報読出部420により、補正情報保持部350に保持された補正情報101を読み出す(ステップS1103)。続いて、画像補正処理部400は、画像補正部430により、取得した画像データを、補正情報101を用いて補正する(ステップS1104)。
Subsequently, the image
ここで、画像補正部430による画像データの補正について説明する。本実施形態の画像補正部430は、画像データが示す画像において、補正情報の操作前の点の座標として特定される画素を、補正情報の操作後の点の座標として特定される点の位置へ移動させる。
Here, correction of image data by the
例えば、投影要求を受けた画像データを投影させた際に点M1の位置にくる画素を、点M1aに移動させる。 For example, the pixel at the position of the point M1 when the image data that has received the projection request is projected is moved to the point M1a.
尚、本実施形態では、補正用画像Gの投影領域と、投影要求を受けて投影される画像の投影領域とは、同一であるものとした。したがって、補正情報101における座標が示す位置は、補正用画像Gの投影領域と、投影要求を受けて投影される画像の投影領域と、において、同一の点を示すものとした。
In the present embodiment, the projection area of the correction image G and the projection area of the image projected upon receiving a projection request are the same. Therefore, the position indicated by the coordinates in the
画像補正処理部400は、補正情報101に含まれる全ての操作前の座標により特定される画素が、対応する操作後の座標へ移動するように補正した画像データを投影用画像データとして、画像データ出力部440へ渡す。
The image
画像データ出力部440は、投影用画像データを投影部110に出力し、利用者の網膜に投影させ(ステップS1105)、処理を終了する。
The image
以下に、図12を参照して、補正情報101を用いて補正された投影用画像データについて説明する。図12は、投影用画像データの一例を示す図である。図12(A)に示す画像121Aは、補正前の投影要求を受けた画像データの例を示す。図12(B)は、補正情報101を生成した利用者にとっての画像121Aの見え方を示す。図12(C)に示す画像121Cは、画像121Aを補正情報101により補正した投影用画像データにより投影される画像を示す。
The projection image data corrected using the
図12に示すように、網膜の変形によって、画像121Aが図12(B)に示すように見える利用者に対しては、補正情報101を用いて、利用者の視界の歪みを相殺するような画像121Cを投影させる投影用画像データを生成する。本実施形態では、この投影用画像データを利用者の網膜へ投影させることで、画像121Cを画像121Aに示す画像と近い画像として利用者に視認させることができる。したがって、本実施形態によれば、図12(B)に示すような利用者の視界の歪みによって歪んで視認される画像を補正した画像を表示することができる。
As shown in FIG. 12, the
(第二の実施形態)
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、補正情報生成処理部300と画像補正処理部400とが、サーバに設けられ点が第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態と同様の機能構成を有するものには、第一の実施形態と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that the correction information
図13は、第二の実施形態の画像投影システムのシステム構成の一例を示す図である。本実施形態の画像投影システム500は、画像投影装置100Aと、サーバ600とを有する。 FIG. 13 is a diagram illustrating an example of a system configuration of the image projection system according to the second embodiment. The image projection system 500 of this embodiment includes an image projection device 100A and a server 600.
本実施形態のサーバ600は、補正情報生成処理部300と、画像補正処理部400と、補正情報データベース101Aとを有する。
The server 600 of this embodiment includes a correction information
補正情報生成処理部300と画像補正処理部400のそれぞれの処理は、第一の実施形態と同様である。
The processes of the correction information
本実施形態の画像投影装置100Aは、サーバ600から補正用画像Gと対応する補正用画像データを受け取ると、補正用画像Gを利用者の網膜へ投影させる。そして、画像投影装置100Aは、操作部11による、補正用画像Gに対する操作を受け付けると、操作の内容をサーバ600へ通知する。サーバ600は、この通知を受けて、補正情報を生成する。
When the image projection apparatus 100A of the present embodiment receives the correction image data corresponding to the correction image G from the server 600, the image projection apparatus 100A projects the correction image G onto the retina of the user. Then, upon receiving an operation on the correction image G by the
生成された補正情報は、利用者を識別する識別子と対応付けられて、補正情報データベース101Aに格納される。補正情報データベース101Aの詳細は後述する。
The generated correction information is stored in the
また、画像投影システム500では、画像投影装置100Aにおいて、画像の投影要求を受け付けると、画像投影装置100Aは、この要求をサーバ600へ通知する。サーバ600は、この通知を受けて、画像補正処理部400により、投影要求を受けた画像データを取得し、補正情報データベース101Aにおいて、投影要求を行った利用者と対応する補正情報を参照して画像データを補正する。そして、サーバ600は、画像補正処理部400により、補正後の画像データを投影用画像データとして画像投影装置100Aへ出力する。
In the image projection system 500, when the image projection apparatus 100A receives an image projection request, the image projection apparatus 100A notifies the server 600 of this request. Upon receiving this notification, the server 600 acquires the image data for which the projection request has been received by the image
本実施形態では、以上のように、補正情報生成処理部300と画像補正処理部400の処理をサーバ600で実行させることで、画像投影装置100A側の処理の負担を軽減できる。
In the present embodiment, as described above, the processing of the correction information
また、本実施形態では、利用者毎の補正情報がサーバ600に格納されているため、画像投影装置100Aを、複数の異なる利用者により共有することができる。 In the present embodiment, since the correction information for each user is stored in the server 600, the image projection device 100A can be shared by a plurality of different users.
図14は、補正情報データベースの一例を示す図である。本実施形態の補正情報データベース101Aは、利用者IDと、補正情報とが対応付けられている。
FIG. 14 is a diagram illustrating an example of the correction information database. In the
利用者IDは、画像投影装置100Aの利用者を識別するための識別子である。尚、本実施形態では、補正情報は、補正情報を生成した日時を示す情報等とも対応付けられていても良い。日時を示す情報と補正情報とが対応付けられていれば、画像補正処理部400は、最新の補正情報に基づき画像データを補正することができる。
The user ID is an identifier for identifying the user of the image projection apparatus 100A. In the present embodiment, the correction information may be associated with information indicating the date and time when the correction information is generated. If the information indicating the date and time is associated with the correction information, the image
(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、補正情報生成処理部300が画像投影装置に設けられ、画像補正処理部400がサーバに設けられ点が第二の実施形態と相違する。よって、以下の第三の実施形態の説明では、第二の実施形態と同様の機能構成を有するものには、第二の実施形態と同様の符号を付与し、その説明を省略する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the second embodiment in that the correction information
図15は、第三の実施形態の画像投影システムのシステム構成の一例を示す図である。本実施形態の画像投影システム500Aは、画像投影装置100Bと、サーバ600Aとを有する。
FIG. 15 is a diagram illustrating an example of a system configuration of the image projection system according to the third embodiment. The
画像投影装置100Bは、補正情報生成処理部300を有する。本実施形態のサーバ600Aは、画像補正処理部400と、補正情報データベース101Aとを有する。
The
本実施形態では、画像投影装置100Bにおいて、補正情報生成処理部300が補正情報を生成すると、生成した補正情報をサーバ600Aへ送信する。
In the present embodiment, when the correction information
サーバ600Aは、この補正情報を、補正情報と対応する利用者の利用者IDと対応付けて、補正情報データベース101Aへ格納する。尚、補正情報と対応する利用者IDは、画像投影装置100Bを識別する識別子であっても良いし、利用者固有のIDであっても良い。利用者固有のIDである場合には、利用者IDは、例えば補正情報を補正情報データベース101Aに格納する際に、利用者により入力されても良い。
The
サーバ600Aは、画像投影装置100Bから画像データの投影要求を受けると、補正情報データベース101Aを参照し、投影要求を行った利用者と対応する補正情報に基づき、投影要求を受けた画像データを補正し、投影用画像データとして画像投影装置100Bへ出力する。
When the
以上のように、本実施形態では、補正情報生成処理部300を画像投影装置100Bに設けることで、画像投影装置100Bは、サーバ600Aと通信せずに補正情報を生成できる。さらに、本実施形態では、画像補正処理部400をサーバ600Aに設けたことで、画像投影装置100Bにおける画像データの補正にかかる処理の負荷を低減できる。
As described above, in this embodiment, by providing the correction information
(第四の実施形態)
以下に図面を参照して第四の実施形態について説明する。第四の実施形態は、画像投影装置におけるミラーの形状が第一の実施形態と相違する。したがって、以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Fourth embodiment)
The fourth embodiment will be described below with reference to the drawings. The fourth embodiment is different from the first embodiment in the shape of the mirror in the image projection apparatus. Therefore, in the following description of the fourth embodiment, only differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described for the first embodiment. The same reference numerals as those used in FIG.
図16は、第四の実施形態の画像投影装置を上方から見た図である。本実施形態の画像投影装置100Bは、第一及び第二の実施形態で説明した画像投影システムに適用することができる。
FIG. 16 is a diagram of the image projection apparatus according to the fourth embodiment viewed from above. The
本実施形態の画像投影装置100Bは、投影部110A、制御部130を備える。本実施形態の投影部110Aは、光源111、走査ミラー112A、反射ミラー115A及び投影ミラー116を有する。本実施形態の投影部110Aは、ミラー113とミラー114を有しておらず、走査ミラー112の代わりに走査ミラー112Aを有し、反射ミラー115の代わりに、反射ミラー115Aを有する点が第一の実施形態の投影部110と相違する。
The
本実施形態の画像投影装置100Bでは、投影ミラー116に入射した光線の投影ミラー116内の進行方向をX方向、投影ミラー116におけるX方向に直交する方向をY方向とする。
In the
走査ミラー112Aは、例えばMEMSミラーであり、光源111から出射されたレーザ光(光線)Lを水平方向及び垂直方向の2次元方向に走査する。また、走査ミラー112Aは、光源111から出射された光線Lを2次元に走査して、ユーザの眼球160の網膜161に画像を投影させるための投影光とする。
The
反射ミラー115Aは、走査ミラー112Aで走査された光線Lをレンズ151に向かって反射させる。
The
レンズ151の利用者の眼球160側の面には、自由曲面を有する投影ミラー116が設けられている。投影ミラー116は、走査ミラー112Aで走査され、反射ミラー115Aで反射された光線Lを眼球160の網膜161に照射することにより、網膜161に画像を投影する。つまり、利用者は、網膜161に投射されたレーザ光の残像効果によって、画像を認識することができる。投影ミラー116は、走査ミラー112Aで走査された光線Lの収束位置が、眼球160の瞳孔162となるように設計されている。光線Lは投影ミラー116にほぼ真横(すなわちほぼ−X方向)から入射する。
A
尚、本実施形態では、投影ミラー116の自由曲面の曲率を大きくすれば、反射ミラー115Aから瞳孔162の収束位置までの距離を短くすることができ、画像投影装置100Bを小型にすることができる。
In the present embodiment, if the curvature of the free curved surface of the
図17は、比較例に係る画像投影装置における光線の光路を示す図である。図17において、光線L0からL2は、走査ミラー112Aにより水平方向に走査された光線であり、−X方向から投影ミラー116に照射される。光線L0は画像の中心に相当する光線、光線L1、L2は画像の端に相当する光線である。光線L0からL2はそれぞれ投影ミラー116の領域R0からR2で反射される。反射した光線L0からL2は、虹彩163の中央部に位置する瞳孔162において収束し、水晶体164を透過し網膜161に至る。領域R0は画像の中心に相当する光線L0を反射する領域である。領域R1は領域R0より−X方向(光線L0からL2が入射される方向)の領域である。領域R2は領域R0より+X方向の領域である。マックスウエル視のためには光線L0からL2は瞳孔162近傍で交差することになる。しかし、各光線L0からL2の合焦位置F0からF2は網膜161からずれてしまう。
FIG. 17 is a diagram illustrating an optical path of a light beam in the image projection apparatus according to the comparative example. In FIG. 17, light beams L0 to L2 are light beams scanned in the horizontal direction by the
図17では、投影ミラー116で反射された光線L0はほぼ平行光として水晶体164に入射し、網膜161近傍で合焦する。投影ミラー116で反射された光線L1は、拡散光として水晶体164に入射する。このため、光線L1は網膜161より遠くで合焦する。投影ミラー116で反射された光線L2は、収束光として水晶体164に入射する。このため、光線L2は網膜161より近くで合焦する。このように、光線L0を網膜161近傍で合焦させると、合焦位置F1は網膜161より投影ミラー116から遠い位置となる。合焦位置F1と網膜161との距離D1となる。合焦位置F2は網膜161より投影ミラー116に近い位置となる。合焦位置F2と網膜161との距離D2となる。
In FIG. 17, the light beam L0 reflected by the
このように合焦位置F0からF2が異なるのは、投影ミラー116が自由曲面であるためで、−X方向から投影ミラー116に入射した光線L0からL2を瞳孔162で収束させようとすると、投影ミラー116の領域R0からR2の曲率がX方向で異なる、および/または光線L0からL2の光路差が生じるためである。例えば、領域R2はR1より曲率が大きい。すなわち、領域R2はR1より集光パワーが大きい。このため、合焦位置F2はF1より光源側となる。また、投影ミラー116を顔に平行に配置しようとすると、光線L2の光路は光線L1より長くなる。これにより、合焦位置F2はF1よりさらに光源側となる。このように、比較例では、マックスウエル視のため光線L0からL2を瞳孔162近傍で収束させると、画像内において合焦位置が網膜161から大きく外れる領域が発生する。なお、Y方向の光学系は、X軸に対しほぼ対称であり、Y方向ではX方向のような合焦位置のずれは生じにくい。
The focus positions F0 to F2 are different in this way because the
そこで、本実施形態では、光学部品として反射ミラー115Aを用いる。図18は、第四の実施形態の画像投影装置を説明する第一の図である。図18(A)は、第四の実施形態に係る画像投影装置における光線の光路を示す図、図18(B)は、図18(A)の反射ミラー付近の拡大図である。図18(A)および図18(B)に示すように、投影ミラー116の領域R0からR2に照射される光線L0からL2は反射ミラー115A内のそれぞれ領域S0からS2において反射される。反射ミラー115Aは自由曲面を有する。その他の構成は上述した比較例と同じであり説明を省略する。
Therefore, in this embodiment, the
図19は、第四の実施形態の画像投影装置を説明する第二の図である。図19(A)は、第四の実施形態における反射ミラー表面の凹凸を示す斜視図、図19(B)は、反射ミラーのX方向における高さZを示す図である。X方向およびY方向は、投影ミラー116におけるX方向およびY方向に対応する方向である。反射ミラー115Aにおける高さがZ方向である。
FIG. 19 is a second diagram illustrating the image projection apparatus according to the fourth embodiment. FIG. 19A is a perspective view showing irregularities on the surface of the reflecting mirror in the fourth embodiment, and FIG. 19B is a diagram showing the height Z of the reflecting mirror in the X direction. The X direction and the Y direction are directions corresponding to the X direction and the Y direction in the
図19(A)では、Z方向は、反射ミラー115Aの表面の凹凸を拡大して示している。図19(A)および図19(B)に示すように、領域S0では反射ミラー115Aの表面はほぼ平面であり、領域S1では反射ミラー115A表面は凹面であり、領域S2では反射ミラー115A表面は凸面である。これにより、領域S0では集光パワーはほぼ0であり、領域S1では集光パワーが正となり、領域S2では集光パワーが負となる。よって、光線L0の合焦位置F0は比較例から変化しない。光線L1の合焦位置F1は比較例の図17に比べ光源に近づき、光線L2の合焦位置F2は図17に比べ光源から遠くなる。これにより、合焦位置F0からF2が網膜161近傍となる。
In FIG. 19A, in the Z direction, the surface unevenness of the reflecting
本実施形態では、反射ミラー115Aの表面のZを次式で現される自由曲面とする。
In the present embodiment, Z on the surface of the reflecting
Z=Σaij×Xi×Yj
原点(X=0、Y=0)は画像中心に相当し、例えば領域S0付近に相当する。aijは係数である。X方向の集光パワーを異ならせるためには、iが奇数の項の係数aijの少なくとも1つを有限の値(0以外)とする。
Z = Σ aij × X i × Y j
The origin (X = 0, Y = 0) corresponds to the center of the image, for example, near the region S0. aij is a coefficient. In order to vary the condensing power in the X direction, at least one of the coefficients aij of the odd-numbered terms is set to a finite value (other than 0).
投影ミラー116におけるY方向の集光パワーは、X軸に対し対称である。よって、jが奇数の項の係数aijを0とする。
The condensing power in the Y direction in the
本実施形態において、例えば、係数a30およびa12を有限とする。これにより、図19のような自由曲面を実現できる。反射ミラー115Aの自由曲面をより調整するため、係数a10および/またはa20を有限の値としてもよい。さらに、高次の係数を有限の値としてもよい。
In the present embodiment, for example, the coefficients a30 and a12 are finite. Thereby, a free-form surface as shown in FIG. 19 can be realized. In order to further adjust the free-form surface of the reflecting
このように、反射ミラー115Aの曲面を、凹面、凸面、平面を組み合わせた投影ミラー116の自由曲面に対応した自由曲面に設定することにより、画像投影装置100Bの小型で歪の少ない光学系が実現できる。
In this way, by setting the curved surface of the reflecting
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげた構成、その他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 As described above, the present invention has been described based on each embodiment. However, the present invention is not limited to the requirements shown here, such as the configurations described in the above embodiment and combinations with other elements. With respect to these points, the present invention can be changed within a range that does not detract from the gist of the present invention, and can be appropriately determined according to the application form.
11 操作部
100、100A、100B 画像投影装置
101A 補正情報データベース
130 制御部
300 補正情報生成処理部
310 補正用画像データ保持部
320 補正用画像データ出力部
330 操作受付部
340 補正情報生成部
350 補正情報保持部
400 画像補正処理部
410 画像データ取得部
420 補正情報読出部
430 画像補正部
440 画像出力部
500 画像投影システム
600 サーバ
DESCRIPTION OF
Claims (9)
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
生成された前記補正情報を保持する補正情報保持部と、
前記補正情報を用いて、入力された前記画像データを補正する画像補正部と、
補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる画像データ出力部と、を有する画像投影装置。 A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit that generates image laser light based on the correction image data and emits the laser light from the light source;
An operation accepting unit that accepts an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation;
A correction information holding unit for holding the generated correction information;
An image correction unit for correcting the input image data using the correction information;
An image projection apparatus comprising: an image data output unit that generates image laser light based on the corrected image data and emits the laser light from the light source.
格子の中心に注視点を有する画像である、請求項1記載の画像投影装置。 The correction image is
The image projection apparatus according to claim 1, wherein the image projection apparatus is an image having a gazing point at the center of the lattice.
前記補正用画像において、前記ポインタにより選択された点の座標と、前記操作部の操作により前記点が移動された後の前記点の座標と、を対応付けた情報である、請求項1又は2記載の画像投影装置。 The correction information is
The information for associating the coordinates of the point selected by the pointer with the coordinates of the point after the point is moved by the operation of the operation unit in the correction image. The image projection apparatus described.
前記画像投影装置は、
レーザ光を出射する光源と、
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
前記サーバから受信した補正用画像データに基づいた画像用レーザ光を生成して前記光源から出射させ、
前記操作部による、前記補正用画像データが表す補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作の内容を前記サーバへ送信し、
前記サーバは、
前記操作の内容に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
生成された前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、画像投影システム。 An image projection system comprising: an image projection device; and a server that communicates with the image projection device,
The image projector is
A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
Generate image laser light based on the correction image data received from the server and emit from the light source,
The operation unit transmits the contents of the operation on the pointer projected on the retina of the user together with the correction image represented by the correction image data to the server,
The server
Depending on the content of the operation, the correction information generation unit which the user generates the correction information for correcting the distortion of the image to be visually recognized,
A correction information database for storing the generated correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
An image projection system for transmitting corrected image data to the image projection apparatus.
前記画像投影装置は、
レーザ光を出射する光源と、
画像データを入力する画像入力部を有し、入力された前記画像データに基づいた画像用レーザ光を生成して、前記画像用レーザ光の出射制御を行う制御部と、
前記画像用レーザ光を走査する走査ミラーと、
前記画像用レーザ光を、前記画像データが表す画像として、利用者の眼球の網膜に投影する投影ミラーと、
前記画像と共に投影されるポインタを操作する操作部と、を有し、
前記制御部は、
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる補正用画像データ出力部と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、を有し
生成した前記補正情報を前記サーバへ送信し、
前記サーバは、
前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、画像投影システム。 An image projection system comprising: an image projection device; and a server that communicates with the image projection device,
The image projector is
A light source that emits laser light;
A control unit that has an image input unit that inputs image data, generates image laser light based on the input image data, and performs emission control of the image laser light;
A scanning mirror that scans the image laser beam;
A projection mirror that projects the image laser light as an image represented by the image data onto a retina of a user's eyeball;
An operation unit for operating a pointer projected together with the image,
The controller is
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit that generates image laser light based on the correction image data and emits the laser light from the light source;
An operation accepting unit that accepts an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
A correction information generation unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation, and transmits the generated correction information to the server.
The server
A correction information database for storing the correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
An image projection system for transmitting corrected image data to the image projection apparatus.
補正用画像を表す補正用画像データを保持する補正用画像データ保持部と、
前記補正用画像データを前記画像投影装置に送信する補正用画像データ出力部と、
前記画像投影装置から、前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作の内容を受け付ける操作受付部と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する補正情報生成部と、
前記補正情報を格納する補正情報データベースと、
前記補正情報を用いて、投影要求を受けた画像データを補正する画像補正部と、を有し、
補正された画像データを前記画像投影装置へ送信する、サーバ。 A control unit that includes a light source that emits laser light and an image input unit that inputs image data, generates image laser light based on the input image data, and controls emission of the image laser light A scanning mirror that scans the image laser light, a projection mirror that projects the image laser light onto the retina of the user's eyeball as an image represented by the image data, and a pointer that is projected together with the image. A server that communicates with an image projection device having an operation unit to be operated;
A correction image data holding unit for holding correction image data representing a correction image;
A correction image data output unit for transmitting the correction image data to the image projection device;
An operation receiving unit that receives the operation content of the operation unit for the pointer projected on the retina of the user together with the correction image from the image projection device;
A correction information generating unit that generates correction information for correcting distortion of the image visually recognized by the user according to the operation;
A correction information database for storing the correction information;
Using the correction information, an image correction unit for correcting the image data received the projection request,
A server that transmits the corrected image data to the image projection apparatus.
前記画像投影装置による、
画像データを入力する手順と、
入力された前記画像データに基づいた画像用レーザ光を生成し、光源からの前記画像用レーザ光の出射制御を行う制御手順と、
前記画像用レーザ光を走査ミラーにより走査する走査手順と、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影手順と、を有し、
前記制御手順は、
前記サーバから受信した補正用画像データに基づいた画像用レーザ光を生成して前記光源から出射させ、
前記操作部による、前記補正用画像データが表す補正用画像と共に前記利用者の網膜に投影されたポインタに対する前記操作の内容を前記サーバへ送信し、
前記サーバによる、
前記操作の内容に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する手順と、
生成された前記補正情報を補正情報データベースに格納する手順と、
前記補正情報を用いて、投影要求を受けた画像データを補正する手順と、
補正された画像データを前記画像投影装置へ送信する手順と、有する画像投影方法。 An image projection method by an image projection system having an image projection apparatus having an operation unit that performs an operation on a pointer projected on a retina of a user, and a server that communicates with the image projection apparatus,
According to the image projection device,
The procedure for inputting image data,
A control procedure for generating image laser light based on the input image data and performing emission control of the image laser light from a light source;
A scanning procedure of scanning the image laser light by a scanning mirror;
A projection procedure of projecting the image laser light as an image represented by the image data onto a retina of a user's eyeball by a projection mirror;
The control procedure is:
Generate image laser light based on the correction image data received from the server and emit from the light source,
The operation part transmits the content of the operation on the pointer projected on the retina of the user together with the correction image represented by the correction image data to the server,
By the server,
A procedure for generating correction information for correcting distortion of the image visually recognized by the user according to the content of the operation;
A procedure for storing the generated correction information in a correction information database;
Using the correction information, a procedure for correcting image data that has received a projection request;
And a procedure for transmitting the corrected image data to the image projection device, and an image projection method.
前記画像投影装置による、
画像データを入力する手順と、
入力された前記画像データに基づいた画像用レーザ光を生成し、レーザ光を出射する光源からの前記画像用レーザ光の出射制御を行う制御手順と、
前記画像用レーザ光を走査ミラーにより走査する走査手順と、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影手順と、を有し、
前記制御手順は、
補正用画像を表す補正用画像データを保持する手順と、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させる手順と、
前記補正用画像と共に前記利用者の網膜に投影された前記ポインタに対する前記操作部の操作を受け付ける手順と、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成する手順と、を有し
生成した前記補正情報を前記サーバへ送信する手順と、を有し
前記サーバによる、
前記補正情報を補正情報データベースに格納する手順と、
前記補正情報を用いて、投影要求を受けた画像データを補正する手順と、
補正された画像データを前記画像投影装置へ送信する手順と、を有する画像投影方法。 An image projection method by an image projection system having an image projection apparatus having an operation unit that performs an operation on a pointer projected on a retina of a user, and a server that communicates with the image projection apparatus,
According to the image projection device,
The procedure for inputting image data,
A control procedure for generating image laser light based on the input image data and performing emission control of the image laser light from a light source that emits laser light;
A scanning procedure of scanning the image laser light by a scanning mirror;
A projection procedure of projecting the image laser light as an image represented by the image data onto a retina of a user's eyeball by a projection mirror;
The control procedure is:
A procedure for storing correction image data representing a correction image;
A procedure for generating image laser light based on the correction image data and emitting it from the light source,
A procedure of accepting an operation of the operation unit for the pointer projected on the retina of the user together with the correction image;
Generating correction information for correcting distortion of the image viewed by the user according to the operation, and transmitting the generated correction information to the server. ,
Storing the correction information in a correction information database;
Using the correction information, a procedure for correcting image data that has received a projection request;
And a procedure for transmitting the corrected image data to the image projection apparatus.
画像データを入力するステップと、
入力された前記画像データに基づいた画像用レーザ光を生成し、レーザ光を出射する光源からの前記画像用レーザ光の出射制御を行う制御ステップと、
前記画像用レーザ光を走査ミラーにより走査する走査ステップと、
前記画像用レーザ光を、前記画像データが表す画像として、投影ミラーにより利用者の眼球の網膜に投影する投影ステップと、を実行させ、
前記制御ステップは、
補正用画像を表す補正用画像データを保持するステップと、
前記補正用画像データに基づいた画像用レーザ光を生成して、前記光源から出射させるステップと、
前記補正用画像と共に前記利用者の網膜に投影されたポインタに対する操作部の操作を受け付けるステップと、
前記操作に応じて、前記利用者が視認する前記画像の歪みを補正する補正情報を生成するステップと、
生成された前記補正情報を保持するステップと、
前記補正情報を用いて入力された前記画像データを補正するステップと、
補正された画像データに基づいた画像用レーザ光を生成して、前記光源から出射させるステップと、を実行させる画像投影プログラム。 An image projection program by an image projection device, the image projection device,
Inputting image data;
A control step of generating image laser light based on the input image data and performing emission control of the image laser light from a light source that emits laser light;
A scanning step of scanning the image laser light by a scanning mirror;
The image laser beam, wherein the image data represents an image, and projecting the shadow step you projected on the retina of the user's eyeball by the projection mirror, allowed to run,
The control step includes
Holding correction image data representing a correction image;
Generating image laser light based on the image data for correction and emitting the laser light from the light source;
Receiving an operation of an operation unit for a pointer projected on the retina of the user together with the correction image;
Generating correction information for correcting distortion of the image visually recognized by the user according to the operation;
Holding the generated correction information;
Correcting the input image data using the correction information;
Generating an image laser beam based on the corrected image data and emitting it from the light source.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016142128A JP6255450B1 (en) | 2016-07-20 | 2016-07-20 | Image projection apparatus, image projection system, server, image projection method, and image projection program |
PCT/JP2017/021452 WO2018016223A1 (en) | 2016-07-20 | 2017-06-09 | Image projection device, image projection system, server, image projection method, and image projection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016142128A JP6255450B1 (en) | 2016-07-20 | 2016-07-20 | Image projection apparatus, image projection system, server, image projection method, and image projection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6255450B1 true JP6255450B1 (en) | 2017-12-27 |
JP2018013566A JP2018013566A (en) | 2018-01-25 |
Family
ID=60860125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142128A Active JP6255450B1 (en) | 2016-07-20 | 2016-07-20 | Image projection apparatus, image projection system, server, image projection method, and image projection program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6255450B1 (en) |
WO (1) | WO2018016223A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102437814B1 (en) * | 2018-11-19 | 2022-08-29 | 이-비전 스마트 옵틱스, 아이엔씨. | Beam Steering Device |
JP7427237B2 (en) * | 2020-02-21 | 2024-02-05 | 株式会社Qdレーザ | Image projection device, image projection method, program |
CN112598589A (en) * | 2020-12-17 | 2021-04-02 | 青岛海信激光显示股份有限公司 | Laser projection system and image correction method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2010061547A1 (en) * | 2008-11-25 | 2012-04-19 | 学校法人日本大学 | Eye simulation device |
JP5884380B2 (en) * | 2011-09-30 | 2016-03-15 | セイコーエプソン株式会社 | Projector and projector control method |
US9180053B2 (en) * | 2013-01-29 | 2015-11-10 | Xerox Corporation | Central vision impairment compensation |
CN106170729A (en) * | 2013-03-25 | 2016-11-30 | 英特尔公司 | For the method and apparatus with the head-mounted display of multiple emergent pupil |
JP6209456B2 (en) * | 2013-05-31 | 2017-10-04 | 株式会社Qdレーザ | Image projection apparatus and projection apparatus |
-
2016
- 2016-07-20 JP JP2016142128A patent/JP6255450B1/en active Active
-
2017
- 2017-06-09 WO PCT/JP2017/021452 patent/WO2018016223A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018016223A1 (en) | 2018-01-25 |
JP2018013566A (en) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7576120B2 (en) | Display system and method for determining alignment between a display and a user's eyes - Patents.com | |
JP7512505B2 (en) | Depth Plane Selection for Multi-Depth Planar Display Systems via User Categorization | |
JP6255524B2 (en) | Image projection system, image projection apparatus, image projection method, image projection program, and server apparatus | |
JP6227177B1 (en) | Image projection device | |
JP7699254B2 (en) | Display system and method for determining vertical alignment between left and right displays and a user's eyes - Patents.com | |
JP3787939B2 (en) | 3D image display device | |
CN110753876B (en) | Image projection apparatus | |
CN110709755B (en) | Image projection apparatus | |
US10924716B2 (en) | Image projection device | |
JP5214060B1 (en) | Virtual image display device | |
JP2009268778A (en) | Image display apparatus, image display method, program and integrated circuit | |
JP2020503905A (en) | Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization | |
JP6231545B2 (en) | Image projection device | |
JP6255450B1 (en) | Image projection apparatus, image projection system, server, image projection method, and image projection program | |
JP2021519945A (en) | How to make a waveguide with integrated optics and the same thing | |
JP2015219489A (en) | Display device | |
JP2011242580A (en) | Projection optical device | |
CN113396355B (en) | Image display device and head mounted display | |
JP6209705B2 (en) | Image projection device | |
JP7437048B2 (en) | image projection device | |
CN115151853B (en) | Method for displaying a clear image on the retina of a human eye | |
CN115052512A (en) | Method for determining at least one parameter of an eye of a person | |
JP7710586B2 (en) | Display system and method for determining alignment between a display and a user's eyes - Patents.com | |
WO2017213241A1 (en) | Image projection system, image projection device, image projection method, image projection program, and server device | |
US20230199141A1 (en) | Image projection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6255450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |