KR102724424B1 - 디지털 치료적 보정 안경 - Google Patents
디지털 치료적 보정 안경 Download PDFInfo
- Publication number
- KR102724424B1 KR102724424B1 KR1020207011621A KR20207011621A KR102724424B1 KR 102724424 B1 KR102724424 B1 KR 102724424B1 KR 1020207011621 A KR1020207011621 A KR 1020207011621A KR 20207011621 A KR20207011621 A KR 20207011621A KR 102724424 B1 KR102724424 B1 KR 102724424B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- view
- common
- views
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims description 55
- 230000001225 therapeutic effect Effects 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims description 148
- 230000002093 peripheral effect Effects 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 27
- 230000002829 reductive effect Effects 0.000 claims description 18
- 230000005043 peripheral vision Effects 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 7
- 230000000007 visual effect Effects 0.000 abstract description 272
- 238000012360 testing method Methods 0.000 abstract description 163
- 230000004438 eyesight Effects 0.000 abstract description 107
- 238000012937 correction Methods 0.000 abstract description 87
- 230000003416 augmentation Effects 0.000 abstract description 4
- 230000008397 ocular pathology Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 81
- 210000001747 pupil Anatomy 0.000 description 72
- 230000008569 process Effects 0.000 description 43
- 238000013473 artificial intelligence Methods 0.000 description 37
- 238000012800 visualization Methods 0.000 description 36
- 230000015654 memory Effects 0.000 description 35
- 230000004075 alteration Effects 0.000 description 30
- 230000004044 response Effects 0.000 description 30
- 210000001525 retina Anatomy 0.000 description 27
- 230000009466 transformation Effects 0.000 description 26
- 230000003190 augmentative effect Effects 0.000 description 24
- 206010047555 Visual field defect Diseases 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 19
- 230000003902 lesion Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 17
- 210000004087 cornea Anatomy 0.000 description 14
- 230000007547 defect Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 14
- 208000003164 Diplopia Diseases 0.000 description 13
- 208000029444 double vision Diseases 0.000 description 13
- 238000013519 translation Methods 0.000 description 13
- 230000014616 translation Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 10
- 208000010412 Glaucoma Diseases 0.000 description 9
- 206010002537 anisometropia Diseases 0.000 description 9
- 208000002780 macular degeneration Diseases 0.000 description 9
- 238000000844 transformation Methods 0.000 description 9
- 208000013441 ocular lesion Diseases 0.000 description 8
- 206010037538 Pupils unequal Diseases 0.000 description 7
- 208000004350 Strabismus Diseases 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 201000009310 astigmatism Diseases 0.000 description 7
- 230000002950 deficient Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 208000001491 myopia Diseases 0.000 description 7
- 208000014733 refractive error Diseases 0.000 description 7
- 206010034960 Photophobia Diseases 0.000 description 6
- 230000004308 accommodation Effects 0.000 description 6
- 208000001239 anisocoria Diseases 0.000 description 6
- 208000013469 light sensitivity Diseases 0.000 description 6
- 210000001328 optic nerve Anatomy 0.000 description 6
- 201000010041 presbyopia Diseases 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004304 visual acuity Effects 0.000 description 5
- 206010027646 Miosis Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 208000003435 Optic Neuritis Diseases 0.000 description 4
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 4
- 206010064930 age-related macular degeneration Diseases 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000003547 miosis Effects 0.000 description 4
- 230000004444 near reflex Effects 0.000 description 4
- 208000020911 optic nerve disease Diseases 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000001179 pupillary effect Effects 0.000 description 4
- 230000004400 visual pathway Effects 0.000 description 4
- 210000000239 visual pathway Anatomy 0.000 description 4
- 206010025421 Macule Diseases 0.000 description 3
- 206010061323 Optic neuropathy Diseases 0.000 description 3
- 206010045178 Tunnel vision Diseases 0.000 description 3
- 230000004430 ametropia Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 208000020564 Eye injury Diseases 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000002350 accommodative effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000004286 retinal pathology Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 201000011573 Aniseikonia Diseases 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 208000001692 Esotropia Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000029777 axis specification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 201000009308 regular astigmatism Diseases 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012956 testing procedure Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
- A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Vascular Medicine (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Image Analysis (AREA)
- Eyeglasses (AREA)
Abstract
환자의 시각에 영향을 주는 안구 병변들을 테스팅하고, 식별하고, 보상하기 위한 디바이스들은 개인화되고 맞춤화된 시각적 필드 보정/증대를 제공한 디지털 치료적 보정 안경의 형태로 제공된다. 디바이스들은, 전체 시각적 필드를 디지털화된 보정된 이미지로서 재생성하기 위하여 이용되거나, 대상자의 시각적 필드를 보정하거나 증대시키기 위하여 생성된 이미지와 시각적 장면을 오버레이하기 위하여 이용될 수 있는 맞춤-현실 안경을 포함하는, 하나 이상의 디지털 모니터들을 갖는 웨어러블 안경을 포함한다.
Description
관련 출원들에 대한 상호-참조
본 출원은 이로써 그 전체적으로 본원에 편입되는, 2017년 9월 27일자로 출원되고 "Digital Therapeutic Corrective Spectacles"로 명명된 미국 가출원 제62/563,770호의 이익을 주장한다.
본 개시내용은 시각적 필드(visual field)에서의 시각적 손상(visual impairment)들, 시각적 수차(visual aberration)들, 및 사용자의 시각적 정렬 오차(visual alignment error)들을 보상하기 위한 기법들에 관한 것으로, 더 상세하게는, 전술한 시각적 손상들에 대하여 보정하고 보정들을 사용자들에게 공급하는 웨어러블 디바이스(wearable device)들에 관한 것이다.
본원에서 제공된 배경 설명은 개시내용의 맥락을 일반적으로 제시하는 목적을 위한 것이다. 배경 섹션에서 설명되는 한도까지의, 현재 거명된 발명자들의 작업뿐만 아니라, 출원 시에 종래 기술로서 달리 자격부여하지 않을 수 있는 설명의 양태들은 본 개시내용에 대하여 종래 기술로서 명시적으로도 또는 묵시적으로도 인정되지 않는다.
시신경 병변(optic nerve pathology)들 및/또는 망막 병변(retinal pathology)들과 같은 안구 병변(ocular pathology)들을 갖는 환자들(예컨대, 녹내장(glaucoma)을 갖는 환자들)은 그 시각적 필드의 시각적 감도(visual sensitivity)에서의 가변적인 국소화된 감소를 가진다. 그것은 그 시각적 필드의 일부 에어리어(area)들에서, 이미지가 다른 에어리어들보다 더 흐리다는 것을 의미한다. 시각적 필드 내의 이 흐릿함(dimming)은 영향받지 않는 에어리어들과 비교하여, 영향받은 에어리어들에서 눈을 자극하기 위하여 더 강렬한 조명이 요구되기 때문에 발생하고, 눈 병변의 결과이다. 환자들은 이 흐릿함을 그 시각적 필드의 일부 상에서 구름(cloud) 또는 희미함(blur)을 가지는 것으로서 설명할 것이다. 병변이 진행될 때, 시각적 필드의 영향받은 에어리어들은 보기 위한 그 능력을 점점 더 많이 상실할 수 있고, 궁극적으로, 완전히 블라인드(blind)로 될 수 있다.
시각적 필드 진단 디바이스(visual field diagnostic device)들은 초기에 미약한 광을 투영함으로써 환자의 시각적 필드 감도를 테스팅하기 위하여 이용되었고, 그 다음으로, 환자가 그/그녀가 광을 보고 있다는 것을 표시하지 않을 경우에, 환자가 그/그녀가 광을 본다는 것을 표시할 때까지, 강도(intensity)가 점점 더 증가한다. 투영된 에어리어의 감도는 그 다음으로 레코딩된다. 환자가 최대 조명 강도로도 광을 보지 않을 경우에, 시각적 필드의 이 에어리어는 블라인드로서 식별된다.
굴절 오류(refractive error)들은 시각(vision)에 부정적으로 영향을 준다. 그 굴절 오류들은 눈의 굴절 엘리먼트(refractive element)들에서의 불규칙성(irregularity)들에 의해 야기된다. 불규칙성들은 유리 안경(glass spectacles) 및 접촉 렌즈(contact lense)들에 의해 부분적으로 보정가능한 희미한 시각으로 귀착된다. 그것은 일부 대상자(subject)들이 다른 사람들보다 더 많이 보고 일부는 다른 사람들보다 더 양호한 시각의 품질을 가지는 이유이다. 유리로 이루어진 안경 뿐만 아니라 접촉 렌즈들은 어떤 증분(increment)들로 오직 나오고, 굴절의 규칙적인 오류들 예컨대, 규칙적인 난시(astigmatism)를 오직 보정할 것이다. 굴절의 그 규칙적인 오류들은 저위 차수 수차(lower order aberration)들로 칭해진다. 고위 차수 수차(higher order aberration)들은 안경에 의해 또는 접촉 렌즈들에 의해 보정가능하지 않은 굴절의 오류들이다. 추가적으로, 고위 차수 수차들은 동적이고 고정되지 않는다. 이들은 동공 크기(pupil size), 눈의 수용 상태(accommodation), 및 응시(gaze)의 방향에 따라 변화한다.
노안(presbyopia)을 치료하기 위한 현재의 기법들은 단일 시각, 쌍초점(bifocal), 및 다초점(multifocal) 판독 안경 및 다초점 접촉 렌즈들을 포함한다. 다초점 또는 쌍초점 안경으로, 환자는 요구된 보정을 얻기 위하여 유리의 특정 에어리어들을 통해 주시할 것이다. 다초점 접촉 렌즈들로, 광은 다수의 초점 포인트(focal point)들로 굴절되어, 초점의 심도(depth of focus)를 개선시키지만, 시각의 품질을 감소시키는 것을 희생한다. 모든 그러한 기법들은 매우 편리하지는 않고, 근접 시각(near vision)을 제한한다.
이중 시각(double vision)은 환자의 시선(line of vision)의 오정렬로부터 기인한다. 이중 시각은 정적이지 않고 동적이고, 이는 이중 시각이 하나 또는 다수의 응시들을 향해 증가하고 감소한다는 것을 의미한다. 따라서, 대상자가 우측 눈을 외향하도록 함에 있어서 제한을 가질 경우에, 이중 시각은 환자가 우측으로 주시하고 있을 때에 증가할 것이고, 대상자가 좌측으로 주시하고 있을 때에 감소할 수 있다.
부동시(anisometropia)(대상자의 양쪽 눈들의 비동일한 굴절력(refractive power))는 특히, 눈 수술(surgery) 또는 외상(trauma) 후에 드물지 않다. 그것은 메디케어(Medicare) 당 백내장(cataract) 수술의 표시들 중의 하나이다. 보정 유리 안경은 부동시에 대하여 보정할 수 없다. 그것은 보정 유리 안경이 비동일한 크기들(부등상시증(aniseikonia))을 갖는, 각각의 눈에 하나인 2 개의 이미지들을 생성하고 뇌는 그 2 개의 이미지들을 양안(binocular) 단일 시각으로 융합할 수 없기 때문이다. 그 문제는 간단하게, 유리 안경의 렌즈들이 볼록하여 이미지를 확대하거나, 오목하여 이미지를 축소하는 어느 하나이기 때문이다. 확대 또는 축소의 양은 보정의 양에 종속된다.
유리 안경의 렌즈들은 볼록하여 이미지를 확대하거나, 오목하여 이미지를 축소하는 것의 어느 하나이다. 그것은 대상자들의 시각적 필드에 영향을 준다. 유리 안경은 환자의 굴절 오류를 보정하지만, 관측(view)되는 이미지에서 왜곡(distortion)을 또한 생성한다.
동공부동증(anisocoria)을 갖는 대상자들은 비동일한 동공 크기를 가지고, 그것은 선천적(congenital)일 수 있거나, 눈 질병(eye disease)으로부터 취득될 수 있거나, 수술 또는 외상에 후속할 수 있다. 그 대상자들은 단일 눈으로부터의 광 감도를 가지고, 그 눈은 건강한 눈에 의해 용인된 광 밝기(light brightness)를 용인할 수 없다.
전술한 시각적 손상들을 보상할 수 있는 광학 디바이스에 대한 필요성이 있다.
예시적인 실시예들에서, 본 기법들은 환자의 시각에 영향을 주는 하나 이상의 안구 병변들을 테스팅하고, 식별하고, 및/또는 보상하기 위한 디바이스들을 제공한다. 이 안구 병변들은 예를 들어, 녹내장(glaucoma), 시신경염(optic neuritis), 및 시신경병증(optic neuropathy)들과 같은 시신경(optic nerve)의 병변들, 황반변성(macular degeneration), 망막색소변성증(retinitis pigmentosa)과 같은 망막의 병변들, 미세혈관 뇌졸중(microvascular stroke)들 및 종양(tumor)들로서의 시각적 통로의 병변들, 및 노안(presbyopia), 사시(strabismus), 높고 낮은 광학적 수차들, 단안 시각(monocular vision), 부동시 및 부등상시증, 광 감도, 동공부동증 굴절 오류들, 및 난시와 같은 다른 질환들을 포함한다. 일부 예시적인 실시예들에서, 본 기법들은 관측의 수평, 수직, 및/또는 대각선 각도; 하나 이상의 영역들에 제공된 광; 하나 이상의 영역들에서의 객체(object)들의 크기; 및/또는 하나 이상의 영역들에서의 객체들의 위치(location)의 수정과 같은, 대상자로의 관측 필드(field of view)를 증대시키기 위한 디바이스들을 제공한다.
예시적인 실시예들에서, 본원에서 설명된 시스템들 및 디바이스들은 시각적 손상들을 테스팅하고, 식별하고, 보상하고, 및/또는 대상자들 시각 또는 관측 필드의 양태들을 증대시키도록 구성된 웨어러블 안경 디바이스를 포함할 수 있다. 일부 이러한 실시예들은 이들을 이용하여 개인화되고 맞춤화된 시각적 보정을 대상자에게 제공하도록 구성될 수 있다. 하나의 예에서, 안경 디바이스는 디지털 치료적 보정 안경(digital therapeutic corrective spectacles)(또한, 본원에서 "DTS"로 칭해짐)을 포함한다. 안경은 예로서, 안경(glasses), 색안경(sunglasses), 및 아이웨어(eyewear)를 또한 포함할 수 있다.
양태에서, 시각 시스템(vision system)은 웨어러블 안경 디바이스를 포함할 수 있다. 시스템은 프로세서 및 메모리를 가지는 이미지 프로세싱 디바이스를 더 포함할 수 있다. 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장할 수 있고, 여기서, 명령들은, 실행될 때, 프로세서로 하여금 테스팅 모드(testing mode) 및/또는 시각 모드(vision mode)를 실행하게 한다.
하나의 예에서, 시스템은 대상자의 동공 물리적 조건 및/또는 가시선(line of sight)을 추적하도록 구성된 동공 추적 센서(pupil tracking sensor)를 더 포함할 수 있다. 추가의 예에서, 동공 추적 센서는 하나 이상의 내향 지향된 이미지 센서(inward directed image sensor)들을 포함한다. 위의 또는 또 다른 예에서, 시스템은 시각 모드에서 시각 필드(vision field)를 캡처(capture)하도록 구성된 시각 필드 센서(vision field sensor)를 포함할 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 테스팅 모드에서, (i) 테스팅 시각적 필드에서의 하나 이상의 테스팅 위치들 상에서 대상자로의 복수의 테스팅 자극들의 웨어러블 안경 디바이스에 의한 디스플레이를 명령하게 하고, (ii) 내향 지향된 이미지 센서가 하나 이상의 테스팅 위치들 상에서의 복수의 테스팅 자극들의 디스플레이 동안에 동공 물리적 조건 및/또는 가시선의 포지션 표시(position indication)들을 캡처할 것을 명령하게 하고, 그리고 (iii) 테스팅 시각적 필드에서의 하나 이상의 영향받은 영역들을 결정하고 대상자의 하나 이상의 시각 병변들을 결정하게 하고, 여기서, 복수의 자극들은 서로에 대한, 그리고 기준선 콘트라스트 레벨(contrast level)에 대한 콘트라스트 레벨들에 있어서 상이하다.
위의 또는 또 다른 예 중의 임의의 것에서, 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 시각화 모드(visioning mode)에서, 관측 필드를 증대시키고 및/또는 하나 이상의 영향받은 영역들을 보상하기 위하여 시각 필드의 이미지를 보정하게 할 수 있고, 웨어러블 안경 디바이스를 이용하여 대상자로의 보정된 이미지의 웨어러블 안경 디바이스에 의한 디스플레이를 명령하게 할 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 시각화 모드에서, 시각 필드 카메라(vision field camera)가 시각적 필드의 이미지를 캡처할 것을 명령하게 하고, 테스팅 시각적 필드에서의 결정된 하나 이상의 영향받은 영역들에 응답하여 이미지를 프로세싱하게 하고, 하나 이상의 영향받은 영역들을 보상하기 위하여 이미지를 보정하게 하고, 디지털 이미지로서의 대상자로의 보정된 이미지의 웨어러블 안경 디바이스에 의한 디스플레이를 명령하게 한다.
위의 또는 또 다른 예 중의 임의의 것에서, 디지털 안경은, 각각이 테스팅 모드에서 복수의 자극들 중의 하나를 대상자의 개개의 눈에 디스플레이하도록 구성된 제1 디지털 모니터(digital monitor) 및 제2 디지털 모니터를 더 포함할 수 있다. 위의 또는 또 다른 예 중의 임의의 것에서, 시각 필드 카메라는 제1 시각 필드 카메라 및 제2 시각 필드 카메라를 포함하고, 제1 시각 필드 카메라는 제1 디지털 모니터에 대응하고 제2 시각 필드 카메라는 제2 디지털 모니터에 대응한다. 위의 또는 또 다른 예 중의 임의의 것에서, 동공 물리적 조건은 (i) 하나 이상의 동공들의 동공 이동, (ii) 연곽(limbus), (iii) 가시선, 및/또는 (iv) 대상자의 시각적 축 중의 하나 이상으로부터 선택된다. 위의 또는 또 다른 예 중의 임의의 것에서, 시각 필드 카메라는 웨어러블 안경의 외부 표면으로부터 내향하여 연장되는 적어도 하나의 시각 필드 카메라를 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 시각 필드 카메라는 웨어러블 안경의 외부 표면으로부터 외향하여 연장되는 적어도 하나의 시각 필드 카메라를 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 시각화 모드에서, 시각 필드 카메라는 시각적 필드의 연속적인 이미지들을 캡처한다.
위의 또는 또 다른 예 중의 임의의 것에서, 복수의 테스팅 자극들은 텍스트(text) 또는 객체의 적어도 하나의 테스팅 이미지를 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 하나 이상의 영향받은 영역들은 감소된 시각 감도 또는 더 높거나 더 낮은 광학적 수차들의 영역들을 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 하나 이상의 영향받은 영역들은 감소된 밝기의 영역들을 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 복수의 자극들은 서로에 대한, 그리고 기준선 콘트라스트 레벨에 대한 콘트라스트 레벨들에 있어서 적어도 20 dB만큼 상이하다. 위의 또는 또 다른 예 중의 임의의 것에서, 복수의 자극들은 서로에 대한, 그리고 기준선 콘트라스트 레벨에 대한 콘트라스트 레벨들에 있어서 적어도 30 dB만큼 상이하다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 테스팅 모드에서, 내림(descending) 또는 오름(ascending) 콘트라스트로 대상자로의 복수의 테스팅 자극들의 웨어러블 안경 디바이스에 의한 디스플레이를 명령하게 한다.
또 다른 양태에서, 시각 시스템은 웨어러블 안경 디바이스, 적어도 하나의 디지털 모니터, 적어도 하나의 시각 필드 카메라, 및 이미지 프로세싱 디바이스를 포함한다.
일부 예들에서, 적어도 하나의 디지털 모니터는 이미지를 대상자의 눈에 디스플레이하도록 구성된다. 하나의 예에서, 적어도 하나의 시각 필드 카메라는 장면(scene)의 복수의 단안(monocular) 이미지들을 캡처하도록 구성될 수 있고, 각각의 단안 이미지는 서로의 단안 이미지로부터 시프팅(shift)될 수 있다. 하나의 예에서, 이미지 프로세싱 디바이스는 프로세서 및 메모리를 포함할 수 있고, 적어도 하나의 디지털 모니터에 결합될 수 있다. 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장할 수 있고, 명령들은, 실행될 때, 프로세서로 하여금 복수의 단안 이미지들을, 복수의 단안 이미지들 중의 임의의 하나의 단안 이미지의 관측 필드보다 더 큰 관측 필드를 가지는 조합된 이미지로 조합하게 한다. 위의 또는 또 다른 실시예 중의 임의의 것에서, 명령들은 프로세서로 하여금, 대상자에게 장면의 넓혀진 필드 뷰(field view)를 제시하기 위하여 조합된 이미지를 적어도 하나의 디지털 모니터에 디스플레이하게 할 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 조합된 이미지에 대한 넓혀진 주변 영역을 생성하기 위하여 다른 복수의 단안 이미지들에 대한 복수의 단안 이미지들 중의 적어도 하나 상에서의 선택적인 필드 시프팅(selective field shifting)을 수행함으로써, 복수의 단안 이미지들을 조합된 이미지로 조합하게 한다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 다른 복수의 단안 이미지들에 대한 복수의 단안 이미지들 중의 적어도 하나 상에서의 주변 선택적인 필드 조작(peripheral selective field manipulation)을 수행함으로써, 복수의 단안 이미지들을 조합된 이미지로 조합하게 한다.
위의 또는 또 다른 예 중의 임의의 것에서, 주변 선택적인 필드 조작은 복수의 단안 이미지들의 주변 영역(peripheral region) 또는 중심 황반부 영역(central macular region) 상에서 수축(shrinking) 또는 확대(enlarging)를 수행하는 것을 포함한다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 복수의 단안 이미지들 중의 적어도 하나에서 결함 필드 영역(defect field region)을 식별하고, 결함 필드 영역을 캡처하고, 캡처된 결함 필드 영역을 비-결함 필드 영역으로 전송하고, 그리고 대상자로의 디스플레이를 위하여 전송되고 캡처된 결함 필드 영역을 포함하도록 조합된 이미지를 형성함으로써, 복수의 단안 이미지들을 조합된 이미지로 조합하게 한다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 복수의 단안 이미지들 각각의 공통 중심 영역을 식별하고, 그리고 복수의 단안 이미지들의 발산하는(divergent) 주변 영역들을 식별함으로써, 복수의 단안 이미지들을 조합된 이미지로 조합하게 하고; 그리고 공통 중심 영역에 대응하는 제1 영역, 및 발산하는 주변 영역들을, 제1 영역을 포위하는 넓혀진 주변 영역으로 조합함으로써 형성된 제2 영역을 가지도록 조합된 이미지를 형성하게 한다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 제2 영역이 시각적 필드 결함 및 대상자의 눈의 수차들에 대하여 보정하도록 조합된 이미지를 형성하게 한다. 위의 또는 또 다른 예 중의 임의의 것에서, 적어도 하나의 디지털 모니터는, 각각이 조합된 이미지를 대상자의 개개의 눈에 디스플레이하도록 구성된 제1 디지털 모니터 및 제2 디지털 모니터를 포함한다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 이하에 따라, 복수의 단안 이미지들의 방사상 컴포넌트(radial component)를 수정하기 위하여 복수의 단안 이미지들의 제1 영역 상에서 어안 변환(fisheye transformation)을 수행하게 한다:
여기서, 는 상수이다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장하고, 명령들은, 실행될 때, 프로세서로 하여금 이하에 따라, 방사상 컴포넌트를 수정하기 위하여 복수의 단안 이미지들 상에서 등각 맵핑 변환(conformal mapping transformation)을 수행하게 한다:
여기서, 는 방사상 컴포넌트의 상수 제곱이고, > 1이다.
위의 또는 또 다른 실시예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 메모리 상에 명령들을 저장할 수 있고, 명령들은, 실행될 때, 프로세서로 하여금 조합된 이미지를 형성하기 위하여, 포인트(point)들을 복수의 단안 이미지들의 중심 주위의 더 넓은 환형부(annulus)로부터 더 얇은 환형부로 맵핑하기 위한 다항식 변환(polynomial transformation)을 수행하게 한다.
또 다른 양태에서, 장치는 하우징을 가지는 웨어러블 안경을 포함할 수 있다. 웨어러블 안경은 패턴화된 이미지를 대상자의 망막(retina) 상으로 투영하도록 구성된 제어가능한 투영기(projector)를 가질 수 있다. 장치는 프로세서, 메모리, 및 입력 디바이스를 가지는 이미지 프로세싱 디바이스를 더 포함할 수 있다. 이미지 프로세싱 디바이스는 제어가능한 투영기에 결합될 수 있다.
일부 예들에서, 이미지 프로세싱 디바이스는: (A) 대상자의 망막에서 경험된 패턴화된 이미지를 표시하는 시각적 점수화 신호(visual scoring signal)를 입력 디바이스로 수신하고; (B) 시각적 점수화 신호를 분석하고, 시각적 점수화 신호에 기초하여, 망막에서 경험된 왜곡이 존재하는지를 결정하고, 왜곡이 존재할 때, 시각적 점수화 신호에 기초하여, 패턴화된 이미지에 대한 패턴 조절을 결정하고; 그리고 (C) 정정되고 패턴화된 이미지를 형성하고 정정되고 패턴화된 이미지를 망막 상으로 투영하기 위하여, 패턴 조절에 기초하여 패턴화된 이미지를 조절하고, (A)를 반복하도록 구성된다.
위의 또는 또 다른 예 중의 임의의 것에서, 보정 이미징 엘리먼트는 가시적인 장면의 중심 이미지 영역에 대한 주변 엘리먼트의 조절된 강도, 또는 가시적인 장면의 주변 이미지 영역에 대한 중심 엘리먼트의 조절된 강도이다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 대상자의 눈의 검출된 이동에 응답하여 보정 이미징 엘리먼트의 포지션 및/또는 조성(composition)을 조절하도록 구성된다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 대상자의 하나 또는 양쪽 눈들의 하나 이상의 영향받은 영역들을 식별하고; 그리고 하나 이상의 영향받은 영역들을 보상하는 보정 이미징 엘리먼트를 결정하도록 구성된다.
또 다른 양태에서, 장치는 웨어러블 안경 디바이스를 포함할 수 있고, 웨어러블 안경 디바이스는 가시적인 장면의 이미지를 대상자에게 전달하기 위한 적어도 하나의 광학 엘리먼트를 포함할 수 있다. 웨어러블 안경 디바이스는 적어도 하나의 광학 엘리먼트에 대응하는 적어도 하나의 디지털 모니터를 더 포함할 수 있고, 적어도 하나의 디지털 모니터는 적어도 하나의 광학 엘리먼트의 가시적인 장면의 이미지 상에서 보정 이미징 엘리먼트를 오버레이(overlay)하도록 구성될 수 있다. 장치는 프로세서 및 메모리를 가지는 이미지 프로세싱 디바이스를 또한 포함할 수 있다. 이미지 프로세싱 디바이스는 적어도 하나의 디지털 모니터에 결합될 수 있다.
하나의 예에서, 이미지 프로세싱 디바이스는 주변 시각적 필드 검출에 대하여 보정하기 위하여 보정 이미징 엘리먼트를 가시적인 장면의 이미지의 주변 엘리먼트로서 생성하거나, 또는 중심 시각적 필드 결함에 대하여 보정하기 위하여 보정 이미징 엘리먼트를 가시적인 장면의 이미지의 중심 엘리먼트로서 생성하도록 구성될 수 있다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 가시적인 장면 상에서의 보정 이미지 엘리먼트를 대상자에게 디스플레이하도록 구성될 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 보정 이미징 엘리먼트는 가시적인 장면의 중심 이미지 영역에 대한 주변 엘리먼트의 조절된 강도, 또는 가시적인 장면의 주변 이미지 영역에 대한 중심 엘리먼트의 조절된 강도이다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 대상자의 눈의 검출된 이동에 응답하여 보정 이미징 엘리먼트의 포지션 및/또는 조성을 조절하도록 구성된다. 위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 대상자의 하나 또는 양쪽 눈들의 하나 이상의 영향받은 영역들을 식별하고; 그리고 하나 이상의 영향받은 영역들을 보상하는 보정 이미징 엘리먼트를 결정하도록 구성된다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 테스팅 모드에서, (i) 적어도 하나의 디지털 모니터에게, 테스팅 시각적 필드에서의 하나 이상의 테스팅 위치들 상에서 복수의 테스팅 자극들을 대상자에게 디스플레이할 것을 명령하고, (ii) 장치의 이미지 센서에게, 하나 이상의 테스팅 위치들 상에서의 복수의 테스팅 자극들의 디스플레이 동안에 동공 물리적 조건 및/또는 가시선의 포지션 표시들을 캡처할 것을 명령하고, 그리고 (iii) 테스팅 시각적 필드에서의 하나 이상의 영향받은 영역들을 결정하고 대상자의 하나 이상의 시각 병변들을 결정하도록 구성된다. 위의 또는 또 다른 예 중의 임의의 것에서, 복수의 자극들은 서로에 대한, 그리고 기준선 콘트라스트 레벨에 대한 콘트라스트 레벨들에 있어서 상이하다.
위의 또는 또 다른 예 중의 임의의 것에서, 적어도 하나의 디지털 모니터는 적어도 하나의 광학 엘리먼트의 층(layer)과 함께 포함된다. 위의 또는 또 다른 예 중의 임의의 것에서, 층은 적어도 하나의 광학 엘리먼트의 내부 층 또는 외부 층이다.
이하에서 설명된 도면들은 본원에서 개시된 시스템 및 방법들의 다양한 양태들을 도시한다. 각각의 도면은 본 시스템들 및 방법들의 양태들의 예를 도시한다는 것이 이해되어야 한다.
도 1a 내지 도 1c는 본원에서 설명된 다양한 실시예들에 따른 일 예의 안경 디바이스의 도면들을 예시하고;
도 2는 본원에서 설명된 다양한 실시예들에 따른 일 예의 시각 시스템을 개략적으로 예시하고;
도 3은 본원에서 설명된 다양한 실시예들에 따른, 이미지 프로세싱 디바이스 및 웨어러블 안경 디바이스 상에서 구현된 시각 보정 프레임워크를 갖는 디바이스를 개략적으로 예시하고;
도 4는 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드 및 시각화 모드를 포함하는 일 예의 프로세스를 예시하고;
도 5는 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드 및 시각화 모드를 포함하는 일 예의 프로세스를 예시하고;
도 6a 내지 도 6c는 본원에서 설명된 다양한 실시예들에 따른, 동공 추적을 포함하는 테스팅 모드 프로세스를 위한 일 예의 평가 프로토콜을 예시하고;
도 7a 내지 도 7c는 본원에서 설명된 다양한 실시예들에 따른, 동공 추적을 포함하는 테스팅 모드 프로세스를 위한 일 예의 평가 프로토콜을 예시하고;
도 8은 본원에서 설명된 다양한 실시예들에 따른, 복수의 시각적 자극들을 생성하고 복수의 시각적 자극들을 웨어러블 안경 디바이스를 통해 사용자에게 제시하는 테스팅 모듈을 포함하는 작업흐름(workflow)을 개략적으로 예시하고;
도 9는 본원에서 설명된 다양한 실시예들에 따른 테스팅 모드 프로세스를 예시하고;
도 10은 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드의 일부로서 구현될 수 있는 인공 지능(artificial intelligence) 보정 알고리즘 모드를 위한 프로세스를 예시하고;
도 11은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지를 도시하고;
도 12는 본원에서 설명된 다양한 실시예들에 따른, 대상자로의 제시를 위하여 테스트 이미지 상에서 손상된 시각적 필드를 오버레이하는 것을 포함하는 시뮬레이팅된 시각 이미지의 개발을 예시하고;
도 13은 본원에서 설명된 다양한 실시예들에 따른, 이미지에 적용될 수 있고 대상자에게 제시될 수 있는 상이한 보정 변환들의 예들을 예시하고;
도 14는 본원에서 설명된 다양한 실시예들에 따른 일 예의 병진 방법(translation method)들을 예시하고;
도 15는 본원에서 설명된 다양한 실시예들에 따른 머신 러닝 프레임워크(machine learning framework)의 예를 개략적으로 예시하고;
도 16은 본원에서 설명된 다양한 실시예들에 따른 머신 러닝 프레임워크의 AI 시스템의 프로세스를 예시하고;
도 17은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지의 일 예의 변환을 예시하고;
도 18은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지의 일 예의 병진(translation)을 예시하고;
도 19는 본원에서 설명된 다양한 실시예들에 따른, AI 시스템의 구현예의 다양한 양태들을 예시하는 그래픽 사용자 인터페이스이고;
도 20은 본원에서 설명된 다양한 실시예들에 따른, 피드-포워드 신경망(feed-forward neural network)을 포함하는 AI 시스템을 위한 프레임워크를 개략적으로 예시하고;
도 21 및 도 22는 본원에서 설명된 다양한 실시예들에 따른, AI 신경망 및 AI 알고리즘 최적화 프로세스를 포함하는 AI 시스템의 일 예의 테스팅 모드 프로세스들을 각각 예시하고;
도 23은 본원에서 설명된 다양한 실시예들에 따른, 테스팅 및 시각화 모드들을 구현하는 일 예의 프로세스를 예시하고;
도 24는 본원에서 설명된 다양한 실시예들에 따른, 환경으로부터의 이미지가 웨어러블 안경의 부분을 통과하는 것을 허용하는 - 관측자(viewer)의 주변 필드가 통과하도록 허용되고 중심 영역이 차단됨 - 맞춤 현실(custom reality) 웨어러블 안경을 포함하는 웨어러블 안경 디바이스를 예시하고;
도 25는 본원에서 설명된 다양한 실시예들에 따른, 환경으로부터의 이미지가 웨어러블 안경의 부분을 통과하는 것을 허용하는 - 관측자의 중심 영역이 통과하도록 허용되고 주변 필드 영역이 차단됨 - 맞춤 현실 웨어러블 안경을 포함하는 웨어러블 안경 디바이스를 예시하고;
도 26은 좌측 눈으로부터 및 우측 눈으로부터의 단안 이미지가 황반부 중심 에어리어(macular central area) 및 중심 에어리어를 포위하는 주변 시각적 필드 에어리어를 가지는 단일 지각된 이미지로 조합되는 대상자를 위한 정상적인 양안 시각을 예시하고;
도 27은 주변 에어리어가 대상자에게 가시적이지 않은 터널 시각 조건을 예시하고;
도 28은 본원에서 설명된 다양한 실시예들에 따른, 시각을 증대시키거나 터널 시각 조건(tunnel vision condition)을 보정하기 위한 이미지 시프팅 기법을 예시하고;
도 29는 본원에서 설명된 다양한 실시예들에 따른, 시각적 필드를 확장하면서 시각을 증대시키거나 중심 시각적 시력(acuity)을 보존하기 위한 이미지 리사이징 변환 기법(image resizing transformation technique)을 예시하고;
도 30은 본원에서 설명된 다양한 실시예들에 따른 양안 관측 필드 확장 기법을 예시하고;
도 31a는 본원에서 설명된 다양한 실시예들에 따른, 패턴을 각막 표면(corneal surface) 상으로 투영하고 패턴을 반사하는 각막 표면을 이미징하는 것을 포함하는 건조한 눈 및 각막 불규칙성들을 평가하기 위한 기법을 예시하고;
도 31b는 본원에서 설명된 다양한 실시예들에 따른, 웨어러블 안경을 통해 대상자에게 디스플레이되거나 대상자의 각막 또는 망막 상으로 투영된 그리드(grid)를 포함하는 기준 이미지(reference image)의 제시를 개략적으로 예시하고;
도 31c는 본원에서 설명된 다양한 실시예들에 따른, 대상자에 의한 조작을 위한 일 예의 그리드를 예시하고;
도 31d는 본원에서 설명된 다양한 실시예들에 따른, 도 31c에서 예시된 그리드의 일 예의 조작을 예시하고;
도 31e는 본원에서 설명된 다양한 실시예들에 따른, 대상자에 의해 지각되어야 하는 바와 같은 장면을 예시하고;
도 31f는 본원에서 설명된 다양한 실시예들에 따른, 그리드 기법에 의해 결정된 시각적 왜곡을 갖는 대상자에게 제공될 때, 도 31e에서 도시된 바와 같이, 그 대상자가 시각적 필드를 지각하는 것으로 귀착되는 일 예의 보정된 시각적 필드를 예시하고;
도 31g는 본원에서 설명된 다양한 실시예들에 따른, 대상자가 시각적 필드 내의 왜곡들을 통신할 수 있는 조작가능한 그리드를 포함하는 디스플레이를 예시하고;
도 32는 본원에서 설명된 다양한 실시예들에 따른, 각막 표면 상으로 투영된 패턴을 반사하는 각막 표면의 이미지이고;
도 33은 본원에서 설명된 다양한 실시예들에 따른, 정상적인 패턴 반사의 예를 예시하고;
도 34는 본원에서 설명된 다양한 실시예들에 따른, 비정상적인 패턴 반사의 예를 예시하고;
도 35a는 본원에서 설명된 다양한 실시예들에 따른, 미리 결정된 위치들에서의 52 개의 자극 시퀀스들을 이용하여 중심 40 도 반경을 커버하는 4 개의 콘트라스트 계단 자극(contrast staircase stimulus)들을 포함하는 테스팅 모드를 위한 고속 임계화 전략(fast thresholding strategy)을 예시하고;
도 35b는 본원에서 설명된 다양한 실시예들에 따른, 하나의 자극 위치에서의 테스팅 시퀀스의 5 개의 단계(a 내지 e)를 도시하는 타이밍도를 도시하고;
도 36은 본원에서 설명된 다양한 실시예들에 따른, 가장 큰 밟은 필드와 경계를 이루는 픽셀들의 폭들 및 높이들의 계산을 예시하고;
도 37은 본원에서 설명된 다양한 실시예들에 따른 폭 맵(width map) 및 높이 맵(height map)을 예시하고;
도 38은 본원에서 설명된 다양한 실시예들에 따른, 시각적 필드의 4 개의 주 사분면(quadrant)들을 테스팅하기 위하여 이용된 테스트 이미지들을 예시하고;
도 39a는 본원에서 설명된 다양한 실시예들에 따른, 리맵핑(remapping) 이전의 일 예의 시각적 필드 뷰를 예시하고;
도 39b는 본원에서 설명된 다양한 실시예들에 따른, 리맵핑에 후속하는 일 예의 시각적 필드 뷰를 예시하고; 그리고
도 40a 내지 도 40c는 본원에서 설명된 다양한 실시예들에 따른 일 예의 맞춤 현실 안경 디바이스를 예시한다.
도 1a 내지 도 1c는 본원에서 설명된 다양한 실시예들에 따른 일 예의 안경 디바이스의 도면들을 예시하고;
도 2는 본원에서 설명된 다양한 실시예들에 따른 일 예의 시각 시스템을 개략적으로 예시하고;
도 3은 본원에서 설명된 다양한 실시예들에 따른, 이미지 프로세싱 디바이스 및 웨어러블 안경 디바이스 상에서 구현된 시각 보정 프레임워크를 갖는 디바이스를 개략적으로 예시하고;
도 4는 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드 및 시각화 모드를 포함하는 일 예의 프로세스를 예시하고;
도 5는 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드 및 시각화 모드를 포함하는 일 예의 프로세스를 예시하고;
도 6a 내지 도 6c는 본원에서 설명된 다양한 실시예들에 따른, 동공 추적을 포함하는 테스팅 모드 프로세스를 위한 일 예의 평가 프로토콜을 예시하고;
도 7a 내지 도 7c는 본원에서 설명된 다양한 실시예들에 따른, 동공 추적을 포함하는 테스팅 모드 프로세스를 위한 일 예의 평가 프로토콜을 예시하고;
도 8은 본원에서 설명된 다양한 실시예들에 따른, 복수의 시각적 자극들을 생성하고 복수의 시각적 자극들을 웨어러블 안경 디바이스를 통해 사용자에게 제시하는 테스팅 모듈을 포함하는 작업흐름(workflow)을 개략적으로 예시하고;
도 9는 본원에서 설명된 다양한 실시예들에 따른 테스팅 모드 프로세스를 예시하고;
도 10은 본원에서 설명된 다양한 실시예들에 따른, 테스팅 모드의 일부로서 구현될 수 있는 인공 지능(artificial intelligence) 보정 알고리즘 모드를 위한 프로세스를 예시하고;
도 11은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지를 도시하고;
도 12는 본원에서 설명된 다양한 실시예들에 따른, 대상자로의 제시를 위하여 테스트 이미지 상에서 손상된 시각적 필드를 오버레이하는 것을 포함하는 시뮬레이팅된 시각 이미지의 개발을 예시하고;
도 13은 본원에서 설명된 다양한 실시예들에 따른, 이미지에 적용될 수 있고 대상자에게 제시될 수 있는 상이한 보정 변환들의 예들을 예시하고;
도 14는 본원에서 설명된 다양한 실시예들에 따른 일 예의 병진 방법(translation method)들을 예시하고;
도 15는 본원에서 설명된 다양한 실시예들에 따른 머신 러닝 프레임워크(machine learning framework)의 예를 개략적으로 예시하고;
도 16은 본원에서 설명된 다양한 실시예들에 따른 머신 러닝 프레임워크의 AI 시스템의 프로세스를 예시하고;
도 17은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지의 일 예의 변환을 예시하고;
도 18은 본원에서 설명된 다양한 실시예들에 따른 테스트 이미지의 일 예의 병진(translation)을 예시하고;
도 19는 본원에서 설명된 다양한 실시예들에 따른, AI 시스템의 구현예의 다양한 양태들을 예시하는 그래픽 사용자 인터페이스이고;
도 20은 본원에서 설명된 다양한 실시예들에 따른, 피드-포워드 신경망(feed-forward neural network)을 포함하는 AI 시스템을 위한 프레임워크를 개략적으로 예시하고;
도 21 및 도 22는 본원에서 설명된 다양한 실시예들에 따른, AI 신경망 및 AI 알고리즘 최적화 프로세스를 포함하는 AI 시스템의 일 예의 테스팅 모드 프로세스들을 각각 예시하고;
도 23은 본원에서 설명된 다양한 실시예들에 따른, 테스팅 및 시각화 모드들을 구현하는 일 예의 프로세스를 예시하고;
도 24는 본원에서 설명된 다양한 실시예들에 따른, 환경으로부터의 이미지가 웨어러블 안경의 부분을 통과하는 것을 허용하는 - 관측자(viewer)의 주변 필드가 통과하도록 허용되고 중심 영역이 차단됨 - 맞춤 현실(custom reality) 웨어러블 안경을 포함하는 웨어러블 안경 디바이스를 예시하고;
도 25는 본원에서 설명된 다양한 실시예들에 따른, 환경으로부터의 이미지가 웨어러블 안경의 부분을 통과하는 것을 허용하는 - 관측자의 중심 영역이 통과하도록 허용되고 주변 필드 영역이 차단됨 - 맞춤 현실 웨어러블 안경을 포함하는 웨어러블 안경 디바이스를 예시하고;
도 26은 좌측 눈으로부터 및 우측 눈으로부터의 단안 이미지가 황반부 중심 에어리어(macular central area) 및 중심 에어리어를 포위하는 주변 시각적 필드 에어리어를 가지는 단일 지각된 이미지로 조합되는 대상자를 위한 정상적인 양안 시각을 예시하고;
도 27은 주변 에어리어가 대상자에게 가시적이지 않은 터널 시각 조건을 예시하고;
도 28은 본원에서 설명된 다양한 실시예들에 따른, 시각을 증대시키거나 터널 시각 조건(tunnel vision condition)을 보정하기 위한 이미지 시프팅 기법을 예시하고;
도 29는 본원에서 설명된 다양한 실시예들에 따른, 시각적 필드를 확장하면서 시각을 증대시키거나 중심 시각적 시력(acuity)을 보존하기 위한 이미지 리사이징 변환 기법(image resizing transformation technique)을 예시하고;
도 30은 본원에서 설명된 다양한 실시예들에 따른 양안 관측 필드 확장 기법을 예시하고;
도 31a는 본원에서 설명된 다양한 실시예들에 따른, 패턴을 각막 표면(corneal surface) 상으로 투영하고 패턴을 반사하는 각막 표면을 이미징하는 것을 포함하는 건조한 눈 및 각막 불규칙성들을 평가하기 위한 기법을 예시하고;
도 31b는 본원에서 설명된 다양한 실시예들에 따른, 웨어러블 안경을 통해 대상자에게 디스플레이되거나 대상자의 각막 또는 망막 상으로 투영된 그리드(grid)를 포함하는 기준 이미지(reference image)의 제시를 개략적으로 예시하고;
도 31c는 본원에서 설명된 다양한 실시예들에 따른, 대상자에 의한 조작을 위한 일 예의 그리드를 예시하고;
도 31d는 본원에서 설명된 다양한 실시예들에 따른, 도 31c에서 예시된 그리드의 일 예의 조작을 예시하고;
도 31e는 본원에서 설명된 다양한 실시예들에 따른, 대상자에 의해 지각되어야 하는 바와 같은 장면을 예시하고;
도 31f는 본원에서 설명된 다양한 실시예들에 따른, 그리드 기법에 의해 결정된 시각적 왜곡을 갖는 대상자에게 제공될 때, 도 31e에서 도시된 바와 같이, 그 대상자가 시각적 필드를 지각하는 것으로 귀착되는 일 예의 보정된 시각적 필드를 예시하고;
도 31g는 본원에서 설명된 다양한 실시예들에 따른, 대상자가 시각적 필드 내의 왜곡들을 통신할 수 있는 조작가능한 그리드를 포함하는 디스플레이를 예시하고;
도 32는 본원에서 설명된 다양한 실시예들에 따른, 각막 표면 상으로 투영된 패턴을 반사하는 각막 표면의 이미지이고;
도 33은 본원에서 설명된 다양한 실시예들에 따른, 정상적인 패턴 반사의 예를 예시하고;
도 34는 본원에서 설명된 다양한 실시예들에 따른, 비정상적인 패턴 반사의 예를 예시하고;
도 35a는 본원에서 설명된 다양한 실시예들에 따른, 미리 결정된 위치들에서의 52 개의 자극 시퀀스들을 이용하여 중심 40 도 반경을 커버하는 4 개의 콘트라스트 계단 자극(contrast staircase stimulus)들을 포함하는 테스팅 모드를 위한 고속 임계화 전략(fast thresholding strategy)을 예시하고;
도 35b는 본원에서 설명된 다양한 실시예들에 따른, 하나의 자극 위치에서의 테스팅 시퀀스의 5 개의 단계(a 내지 e)를 도시하는 타이밍도를 도시하고;
도 36은 본원에서 설명된 다양한 실시예들에 따른, 가장 큰 밟은 필드와 경계를 이루는 픽셀들의 폭들 및 높이들의 계산을 예시하고;
도 37은 본원에서 설명된 다양한 실시예들에 따른 폭 맵(width map) 및 높이 맵(height map)을 예시하고;
도 38은 본원에서 설명된 다양한 실시예들에 따른, 시각적 필드의 4 개의 주 사분면(quadrant)들을 테스팅하기 위하여 이용된 테스트 이미지들을 예시하고;
도 39a는 본원에서 설명된 다양한 실시예들에 따른, 리맵핑(remapping) 이전의 일 예의 시각적 필드 뷰를 예시하고;
도 39b는 본원에서 설명된 다양한 실시예들에 따른, 리맵핑에 후속하는 일 예의 시각적 필드 뷰를 예시하고; 그리고
도 40a 내지 도 40c는 본원에서 설명된 다양한 실시예들에 따른 일 예의 맞춤 현실 안경 디바이스를 예시한다.
본 출원은 환자를 위한 시각적 필드에 영향을 주는 안구 병변들을 테스팅하고, 식별하고, 보상하기 위한 기법들 및 디바이스들을 제공한다. 이 안구 병변들은 예를 들어, 녹내장, 시신경염, 및 시신경병증들과 같은 시신경의 병변들, 황반변성, 망막색소변성증과 같은 망막의 병변들, 미세혈관 뇌졸중들 및 종양들로서의 시각적 통로의 병변들, 및 노안, 사시, 높고 낮은 광학적 수차들, 단안 시각, 부동시 및 부등상시증, 광 감도, 동공부동증 굴절 오류들, 및 난시와 같은 다른 질환들을 포함한다.
본원에서의 기법들은 시각적 필드의 시각 또는 지각(perception)을 테스팅하고, 증대시키고, 및/또는 보정하기 위한 시각 시스템들, 안경 디바이스들, 및 그 연관된 시스템들 및 디바이스들을 제공한다.
시각 시스템을 위한 하나 이상의 디바이스들은 본원에서 설명된 시스템들 중의 하나 이상 내에서의 이용을 위하여 구성될 수 있거나, 별도의 이용을 위하여 구성될 수 있다. 예를 들어, 다양한 실시예들에서, 시각 시스템은 안경 디바이스를 포함한다. 본원에서 설명된 디바이스들은 하나 이상의 디바이스들을 포함하는 하나 이상의 시스템들을 포함할 수 있다는 것이 인식될 것이다. 이에 따라, 디바이스들은 하나 이상의 연관된 시스템들 또는 디바이스들을 포함할 수 있다.
시각 시스템은 시각 시스템의 본원에서 설명된 이미지 프로세싱 동작들을 수행하도록 구성된 (이미지 프로세서, 컴퓨팅 디바이스 등으로서 또한 지칭될 수 있는) 이미지 프로세싱 디바이스를 포함할 수 있다. 본원에서 설명된 바와 같이, 이미지 프로세싱 디바이스는 안경 디바이스와 완전히 또는 부분적으로 통합될 수 있거나, 안경 디바이스에 대해 완전히 또는 부분적으로 외부적, 즉, 원격일 수 있다. 이러한 외부 이미지 프로세싱 디바이스들은 안경 디바이스와의 유선 또는 무선 통신을 위하여 구성될 수 있다.
안경 디바이스의 예시적인 실시예들은 웨어러블 안경 디바이스를 포함한다. 안경 디바이스의 일부 실시예들은 이미징, 이미징 프로세싱, 통신, 디스플레이, 또는 본원에서 설명된 다른 기능성들 중의 하나 이상에 대한 디지털 양태들을 채용할 수 있다. 안경 디바이스의 다양한 실시예들은 단독으로 또는 다른 시스템들 또는 디바이스들과 함께, 개인화되고 맞춤화된 시각적으로 보정된 시각 필드를 대상자에게 제공하도록 구성될 수 있다. 일부 예들에서, 안경 디바이스는 디지털 치료적 보정 안경(또한, 본원에서 "DTS"로 칭해짐)을 포함할 수 있다. 하나의 예시적인 안경 디바이스는 치료적 보정 이외의 목적들을 위하여 개인들에 의한 이용을 위한 웨어러블 디지털 안경을 포함할 수 있다. 예를 들어, 안경 디바이스는 예컨대, 관측 필드를 증가시키거나 감소시키는 것, 관측의 수평, 수직, 및/또는 대각선 각도의 수정, 하나 이상의 영역들에 제공된 광의 수정, 관측 필드의 하나 이상의 영역들 내에서의 객체 또는 영역들의 크기의 수정, 및/또는 관측 필드의 또 다른 영역으로의 객체 또는 영역의 재위치(relocation)에 의해, 대상자의 정상적인 시각, 관측 필드, 또는 그 지각을 증대시키도록 구성될 수 있다. 본원에서의 안경 디바이스들은 일부 예들에서, 음성 활성화(voice activation), 원격 제어(예컨대, 셀룰러 전화), 또는 신체 이동(예컨대, 윙크(wink)들 또는 강한 두 번의 깜빡임(blink)들)에 의해 활성화될 수 있다.
시각 시스템들 또는 안경 디바이스들의 실시예들은 하나 이상의 디지털 모니터들을 포함할 수 있다. 시각 시스템들 또는 안경 디바이스들은 하나 이상의 이미지 센서들을 또한 포함할 수 있다. 일부 실시예들에서, 이미지 센서들은, 대상자의 눈들로부터 유래되는 관측 필드에 전형적으로 대응할 수 있지만, 일부 구성들에서 다른 원점 포인트들로부터 취해질 수 있는, (사용자, 착용자, 또는 환자로서 또한 지칭될 수 있는) 대상자의 관측 환경을 이미징하기 위한 하나 이상의 외향 지향된 이미지 센서(outward directed image sensor)들을 포함할 수 있다. 외향 지향된 이미지 센서들은 예를 들어, 인간에 비해 더 많거나 더 적은 관측 필드를 포함할 수 있는, 하나 이상의 관측 필드들의 전부 또는 부분을 캡처하도록 위치결정된 하나 이상의 카메라들을 포함할 수 있다. 이러한 또는 다른 실시예들에서, 하나 이상의 이미지 센서들은 대상자의 동공의 물리적 상태와 같은 대상자의 양태들을 이미징하기 위한 하나 이상의 내향 지향된 이미지 센서들을 포함할 수 있다. 예를 들어, 안경 디바이스는 대상자를 위한 가시선, 연곽, 동공 데이터, 대상자를 위한 각막 데이터, 망막 이미지, 각막 또는 망막 상에서 반사된 패턴의 이미지를 캡처하고 추적하는 카메라들(가시, 적외선 등)과 같은 내향 지향된 이미지 센서들을 포함할 수 있다. 시각적 축으로서 또한 알려진 가시선은 동공, (각막과 공막(sclera) 사이의 에지(edge)인) 연곽을 추적하거나, 눈의 표면 상에서 또는 눈 내부에서 혈관(blood vessel)을 심지어 추적함으로써 달성될 수 있다. 이에 따라, 이미지 센서들은 연곽, 혈관들 뿐만 아니라 동공을 이미징하기 위하여 이용될 수 있다.
일부 시각 시스템들 또는 안경 디바이스들은 디지털 모니터들로서 지칭될 수 있는 하나 이상의 디스플레이들을 포함할 수 있다. 디지털 모니터들은 헤드업(heads-up) 디스플레이를 포함할 수 있는 스크린 상으로의 투영을 포함할 수 있는, 스크린 상의 디스플레이를 생성하기 위한 모니터, 또는 대상자의 하나 또는 양쪽 눈들 상으로의 디스플레이의 투영을 위한 모니터를 포함할 수 있다. 예를 들어, 안경 디바이스는 대상자로의 이미지들의 디스플레이를 위한 하나 이상의 디지털 모니터들을 포함할 수 있다. 이러한 또는 다른 시각 시스템들 또는 안경 디바이스들은 모니터 예컨대, 유리와 같은 스크린 상에, 또는 대상자의 눈 예컨대, 망막 투영 상으로 이미지들을 투영함으로써 이미지들을 대상자에게 디스플레이하도록 구성된 투영기들을 포함할 수 있다. 일부 예들에서, 디바이스들은 2 개의 소형 외부 뷰파인더(viewfinder) 카메라들을 갖는 헤드셋(headset)을 포함한다. 헤드셋들은 예를 들어, 본원에서 설명된 바와 같은 웨어러블 안경 디바이스를 포함할 수 있다. 일부 예들에서, 안경 디바이스들은 시각적 필드의 최적화된 연출(rendition)을 제공하기 위하여 전체 시각적 필드를 디지털화된 보정된 이미지로서 재생성(recreate)하도록 구성된 안경 디바이스를 포함할 수 있다. 일부 예들에서, 시각 시스템들 또는 안경 디바이스들은 대안 현실(alternative reality)(AR) 또는 가상 현실(virtual reality)(VR) 헤드셋을 포함하는 안경 디바이스를 포함할 수 있다. 이러한 또는 다른 예들에서, 시스템들 또는 디바이스들은, 시각적 필드가 사용자에 의해 관측될 수 있지만, 시각적 필드가 보정된 이미지의 도입에 의해 보정된 안경 디바이스들을 포함할 수 있다.
일부 예들에서, 시각 시스템 또는 안경 디바이스는 저위 및/또는 고위 차수 수차들 및/또는 굴절 오류들을 보정하고, 이에 따라, 개선된 맞춤화된 개인화된 시각을 대상자에게 제공하기 위하여 이미지들을 프로세싱하고 및/또는 디스플레이하도록 구성될 수 있다. 일부 예들에서, 안경 디바이스를 포함하는 시스템들 또는 디바이스들은 무수한 안구 비정상들을 치료하도록 구성될 수 있다. 안구 비정상들은 예를 들어, 시각적 필드 결함들, 감소된 시각 효과들, 시각 필드 왜곡들, 부차적인 효과들, 및 이중 시각 중의 하나 이상에 관련된 진단가능한 질환들의 다양한 부류들을 포함한다. 본원에서 설명된 시스템들 또는 디바이스들의 동작을 통해 보정될 수 있는 안구 비정상들은 노안, 사시에 의해 야기된 이중 시각, 녹내장, 연령 관련된 황반변성, 단안 시각, 부동시 및 부등상시증, 광 감도, 및 동공부동증과, 녹내장, 시신경염, 및 시신경병증들과 같은 시신경의 병변들, 황반변성, 망막색소변성증과 같은 망막의 병변들, 미세혈관 뇌졸중들 및 종양들로서의 시각적 통로의 병변들, 및 노안, 사시, 높고 낮은 광학적 수차들, 굴절 오류들, 및 난시와 같은 다른 질환들 중의 하나 이상을 포함할 수 있지만, 이것으로 제한되지는 않는다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 디지털 재생성을 통해 또는 시각적 필드를 증강시키는 것을 통해 중의 어느 하나로, 대상자에게 디스플레이된 증대된 및/또는 보정된 이미지를 제공하도록 구성될 수 있다. 예시적인 실시예들에서, 안경 디바이스는 디지털 재생성된 또는 증강된 이미지를 대상자의 눈에 투영하여, 망막 투영을 통해 망막 상으로 투영하도록 구성된 하나 이상의 투영기들을 포함할 수 있다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스들은 대상자의 관측 필드를 보정하거나 증대시키도록 예컨대, 대상자의 시각의 각도를 보정하거나 증가시키도록 구성될 수 있다. 일부 예들에서, 중심 및 주변 관측 영역들은 대상자의 관측 각도를 증대시키거나 대상자에 의해 지각된 세부사항을 증가시키기 위하여 (예컨대, 대상자 눈에 디스플레이되거나 투영된 이미지들을 줌인(zoom in)하거나 줌아웃(zoom out)하는 것을 통해) 상이하게 영향받는다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 예컨대, 안경 디바이스들과 함께 또는 별도로 수행될 수 있는 시각적 필드 테스트 결과들로부터 결정된 바와 같이, 환자를 위한 시각적 필드의 국소화된 밝기에서의 변화들을 보상하도록 구성될 수 있다. 안경 디바이스들은 정상적인 감도를 갖는 에어리어들과 비교하여 더 낮은 감도를 갖는 시각적 필드의 에어리어들에 증가된 밝기를 제공함으로써 보상하도록 구성될 수 있다. 일부 예들에서, 안경 디바이스들 또는 연관된 시스템들은 동공 및 시각적 축들을 이용하여 이 더 낮은 감도 에어리어들을 등록(register)하고 추적하도록 구성된다. 안경 디바이스들 또는 본원에서의 연관된 시스템들은 대상자의 지각으로부터의 동질 이미지(homogenous image)를 제공하기 위하여 이 더 낮은 감도의 영역들에 대한 보상 기법들을 채용한다. 이 보상 기법들은 시각적 성능을 개선시키고 대상자의 기능적인 시각적 필드를 증가시키기 위하여 낮은 감도의 에어리어들에 대한 대상자의 국소화된 구름을 제거한다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 예컨대, 대상자의 시각 또는 기능적인 시각적 필드의 양태들을 식별하고 테스팅하기 위한 테스팅 모드를 포함할 수 있다. 이러한 또는 다른 실시예들에서, 안경 디바이스들은 예컨대, 실시간일 수 있고 및/또는 대상자에게 개인화될 수 있는, 증대된 또는 보정된 시각 또는 시각적 필드를 제공하기 위한 시각화 모드를 포함할 수 있다. 일부 실시예들에서, 안경 디바이스들 또는 연관된 시스템들은, 대상자의 시각이 변화함에 따라 시각화 모드 프로세싱의 최신 재프로그래밍을 위한 후속(follow-up) 또는 유지보수 테스팅 절차들을 사용하도록 구성될 수 있는 양자의 테스팅 모드 및 시각화 모드를 포함한다. 일부 실시예들에서, 안경 디바이스는 테스팅 모드 동작들 및/또는 시각화 모드 동작들에 대한 업데이트들을 수신하도록 구성된 프로그래밍 인터페이스를 포함할 수 있다. 예를 들어, 프로그래밍 인터페이스는 수신기 또는 트랜시버를 포함하는 유선 또는 무선 통신 포트를 포함할 수 있다. 일부 실시예들에서, 안경 디바이스는 시각화 모드 동작들과의 통합을 위하여 시스템 또는 또 다른 시스템 또는 디바이스의 테스팅 모드에 의해 수행된 테스팅 결과들을 포함하는 업데이트들을 수신하도록 구성될 수 있다. 일부 실시예들에서, 업데이트들은 통신 포트를 통해 프로그래밍 인터페이스와 신호 통신하는 사용자 인터페이스를 통한 것과 같이, 대상자에 의해 제공된 데이터 또는 명령들을 포함할 수 있다. 데이터 또는 명령들은 본원에서 설명된 바와 같이, 또는 피드백 모드를 유사하게 포함할 수 있는 시각화 모드의 동작 동안에, 피드백 모드를 포함할 수 있는 테스팅 모드에서 태블릿, 스마트폰, 컴퓨터, 또는 주변 디바이스를 포함하는 사용자 인터페이스와의 상호작용들을 통해 사용자에 의해 운반될 수 있다. 일부 실시예들은 스위치, 터치 센서, 용량 센서, 또는 다른 인터페이스와 같은 안경 디바이스 상에 장착된 사용자 인터페이스를 포함할 수 있고, 사용자 인터페이스를 통해, 사용자는 시각화 모드가 시각 또는 보정 프로파일에 의해 이미지들을 프로세싱하고 이미지들을 대상자에게 제시하는 시각 또는 보정 프로파일에 대한 파라미터들을 전달하거나 조절할 수 있다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는, 대상자의 시각 필드를 이미징하고 모니터, 예컨대, 디스플레이 스크린, 안경의 유리 상에 이미지들을 디스플레이하거나, 이미지를 프로세싱한 후에 안경 디바이스를 착용하는 대상자 사람의 눈에 이미지들을 투영하도록 위치결정된 하나 이상의 외향 지향된 이미지 센서들, 예컨대, 카메라들을 포함할 수 있다. 이미지의 프로세싱은 전술한 질환들에 대하여 치료하고 및/또는 보정하거나, 시각 또는 기능적인 시각적 필드를 증대시키기 위하여, 이미지를 맞춤화하는 것을 포함할 수 있다. 위에서 도입된 바와 같이, 안경 디바이스들은 전술한 보정들 또는 증대들에 대하여 등록하고 및/또는 조절하기 위하여 대상자 눈, 가시선, 동공 크기, 및/또는 연곽의 포지션을 관찰하는 하나 이상의 내향 지향된 이미지 센서들, 예컨대, 카메라들을 포함할 수 있거나 이를 연관시킬 수 있다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 동적인 방식으로 저위 및/또는 고위 차수 시각적 수차에 대하여 보정하도록 구성될 수 있다. 기법들은 동공의 크기, 수용적 상황(accommodative status), 및 가시선에서의 변화를 검출할 수 있고, 이에 따라, 시각적 수차 보정 프로파일을 이에 따라 변화시킨다. 고위 및/또는 저위 차수 수차들은 안경 디바이스가 이러한 동적 보정 프로파일을 생성하는 것을 허용하기 위하여 수차계(aberrometer)를 이용하여 동공 크기, 수용의 상태, 및 응시의 방향에 관련하여 캡처될 수 있다. 본원에서의 기법들에 의해 대상자에게 투영된 이미지는 그/그녀 자신의 수차들이 최상의 시각을 제공하기 위하여 재반전(re-inverse)되도록, 대상자의 실제적인 수차들에 따라 반대로 왜곡될 수 있다. 일부 실시예들은 근접 반사(near reflex)의 징후들, 즉, 축동(miosis)(동공의 크기를 감소) 및 수렴(convergence)(동공의 내향 교차)을 검출함으로써 수용의 상태를 검출하기 위한 기법들을 구현할 수 있다. 예를 들어, 안경 디바이스들은 동공 크기를 검출하기 위한 동공, 및/또는 응시의 방향을 검출하기 위한 가시선 추적기를 포함할 수 있다. 그 입력들은 기법들이 디스플레이되어야 할 보정 프로파일을 검출하는 것을 허용한다.
예시적인 실시예들에서, 본 기법들은 근접 시각을 제공하기 위하여 하나 이상의 모니터들을 통해 디스플레이된 이미지들을 자동적으로 오토포커싱(autofocus)하는 시각 보정을 제공하도록 구현될 수 있다. 근접 시각을 추가로 증강시키고 증대시키기 위하여, 내향 지향된 이미지 센서들 예컨대, 카메라들은 근접 반사의 징후들, 축동(동공 크기에서의 감소) 및 수렴(눈의 내향 이동)을 검출함으로써, 대상자가 근접 타겟을 주시하려고 하는지를 검출할 수 있고, 더 양호한 근접 시각을 제공하기 위하여 자동적으로 오토포커싱할 수 있다. 신문을 판독하기 위한 근접 보정은 예를 들어, 컴퓨터 모니터로부터 판독하기 위한 것과는 상이하다. 본원에서 설명된 일 예의 안경 디바이스들 및/또는 연관된 시스템들은 대상자에 의해 가해진 근접 반사의 양을 수량화(quantify)함으로써 객체가 얼마나 멀리 떨어져 있는지를 결정하고, 이에 따라, 대응하는 포커싱 보정(focusing correction)을 제공하도록 구성될 수 있다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 동적인 방식으로 사시에 대해 부차적인 이중 시각에 대하여 보정하도록 구성될 수 있다. 예를 들어, 동공 및 가시선 추적은 동공, 연곽, 또는 대상자의 혈관들 및 가시선과 같은 눈 구조를 추적하기 위하여 내향 지향된 이미지 센서들과 동작적으로 협력할 수 있다. 이 추적은 사시를 보상하고 모든 응시들에서 이중 시각을 방지하기 위하여, 대상자에게 디스플레이된, 예컨대, 하나 이상의 모니터들 상에서 투영 또는 디스플레이되거나, 동적인 방법으로 대상자의 눈들 상으로 투영된 이미지들의 변위(displacement)를 통지하기 위하여 사용될 수 있다.
예시적인 실시예들에서, 시각 시스템 또는 안경 디바이스는 녹내장 환자들과 같은, 시각적 필드 결함들을 갖는 환자들의 시각 및 안전성을 개선시키도록 구성될 수 있다. 이러한 대상자들은 시각적 필드들의 손실 부분들을 가질 수 있다. 예를 들어, 자동차 또는 사람이 이 대상자 시각의 블라인드 부분에 있을 경우에, 그 자동차 또는 사람은 그 대상자에 대하여 비가시적이다. 본원에서 설명된 시각 시스템들 및 안경 디바이스들은 이 블라인드 스폿(blind spot)들에 대하여 보정하도록 구현될 수 있다. 예를 들어, 시각적 필드 결함은 시각 시스템 또는 안경 디바이스의 시각적 필드 테스팅 모드를 이용하여 검출될 수 있다. 일부 예들에서, 본원에서의 일 예의 시스템들 및 디바이스들에 의해 실행된 소프트웨어는 외향 지향된 이미지 센서, 예컨대, 카메라에 의해 캡처된 이미지들을 대상자의 실제적인 기능적 시각적 필드로 재분산(redistribute)시키도록 구성될 수 있다. 실제적인 시각적 필드는 동공 또는 가시선을 참조하여, 예컨대, 동공 및 가시선 추적에 의해 획득된 데이터를 사용하여 동적으로 투영될 수 있다. 다시 말해서, 본 기법들은 대상자의 블라인드 스폿 내에 있는 자동차 또는 사람의 그림을 대상자의 블라인드 스폿의 외부의 포지션(position)으로 가져옴으로써, 그 대상자들의 안전성 및 기능성을 개선시킬 수 있다.
연령 관련된 황반변성, 또는 중심 블라인드 스폿을 가지는 눈의 황반부에 영향을 주는 다른 질환들을 갖는 환자들에서는, 시각 시스템 또는 안경 디바이스가 이미지 또는 그 부분을 그 기능적인 시각적 필드의 주변 또는 부중심(paracentral) 부분으로 분산시키도록 구성될 수 있다. 본 기법들은 관심 있는 이미지의 부분들을 예를 들어, 망막의 건강한 부분들로 투영할 수 있고, 망막의 비건강한 부분들을 회피할 수 있다. 일부 예들에서, 시각 시스템 또는 안경 디바이스는 그 분산을 지향시키기 위한 이미지의 수정 동안에 이용되는 시각적 필드의 시인(seeing) 및 블라인드 부분들을 묘사하기 위한 테스팅 모드를 포함할 수 있다.
단안 환자들 또는 하나의 눈에서 열악한 시각을 가지는 환자에서, 시각 시스템 또는 안경 디바이스는 정상적인 양안 시각적 필드를 캡처할 수 있고, 가장 넓은 가능한 관측 필드를 환자에게 제공하기 위하여 정상적인 양안 시각적 필드를 양쪽 눈들의 실제적인 기능적인 시각적 필드로 분산시킬 수 있다. 실제로, 이 안경 디바이스들은 증강된 시각적 필드를 대상자에게 제공하기 위하여, 군사적 교전 및 다른 애플리케이션들을 위한 정상적인 대상자의 시각적 필드를 증대시키도록 구현될 수 있다. 예를 들어, 안경 디바이스는 운동 애플리케이션들, 의사 애플리케이션들, 운전 애플리케이션들 등에서 대상자의 시각적 필드를 증대시키도록 구현될 수 있다.
부동시는 대상자의 양쪽 눈들의 비동일한 굴절력으로부터 기인한다. 다양한 실시예들에서, 시각 시스템 또는 안경 디바이스는 동일한 크기들의 이미지들을 생성하기 위한 이미지 크기의 수정에 의해, 그리고 시각적 교란(disturbance)들을 회피하기 위하여 이미지들을 양쪽 눈들에 디스플레이하거나 투영함으로써, 부동시에 대하여 보정하도록 구성될 수 있다.
관심 있는 이미지의 축소 또는 확대와 같은 시각적 필드에 대한 왜곡을 야기시키는 유리 안경의 렌즈들과 달리, 본 기법들은 대상자들의 시각적 필드에 영향을 주지 않기 위하여 보정 렌즈들에 독립적으로 되도록 사용될 수 있다.
일부 예들에서, 시각 시스템 또는 안경 디바이스는 포위하는 환경의 밝기로부터 독립적인 광을 디스플레이하거나 투영하도록 구성될 수 있다. 하나의 예에서, 디스플레이되거나 투영된 광은 시스템들 및/또는 디바이스들에 의해 검출된 바와 같은 동공의 크기에 따라 자동적으로, 또는 예컨대, 환자가 요구할 때, 안경 디바이스에 결합된, 예컨대, 안경 디바이스와 신호 통신하는 사용자 인터페이스를 통해 수동적으로 조절될 수 있다. 동공은 밝은 환경에서 더 많이 위축되고 덜 밝은 환경에서 팽창하는 경향이 있다. 위에서 도입된 바와 같이, 본원에서의 시스템들 및 디바이스들은 위축/팽창의 정도를 검출하고 이에 따라 밝기에 대하여 조절하도록 구성될 수 있고, 이 조절은 개인화되고 맞춤화된 방식일 수 있다. 예를 들어, 동공부동증을 갖는 대상자들은 각각의 눈에 대한 밝기의 조절을 별도로 허용하기 위하여 본 기법들을 이용할 수 있다. 일부 예들에서, 이것은 시스템 또는 디바이스가 동공 크기를 검출할 때, 시스템 또는 디바이스에 의해 자동적으로 행해진다.
도 1a는 대상자를 위한 웨어러블 디바이스를 형성하는 일 예의 안경 디바이스(100)를 예시한다. 일부 실시예들에서, 안경 디바이스(100)는 본원에서 설명된 바와 같은 시각화 시스템의 일부일 수 있다. 안경 디바이스(100)는 좌측 아이피스(eyepiece)(102) 및 우측 아이피스(104)를 포함한다. 각각의 아이피스(102 및 104)는 재생성된 이미지들을 대상자의 개개의 눈에 디스플레이(또는 투영)하도록 구성된 디지털 모니터를 포함할 수 있고 및/또는 디지털 모니터와 연관될 수 있다. 다양한 실시예들에서, 디지털 모니터들은 디스플레이 스크린 상의 이미지 디스플레이를 생성하기 위한 디스플레이 스크린, 투영기들, 및/또는 하드웨어를 포함할 수 있다. 투영기들을 포함하는 디지털 모니터들은 이미지들을 대상자의 눈 상으로, 또는 이미지들이 투영될 수 있는 스크린, 유리, 또는 다른 표면을 포함하는 아이피스 상으로 투영하기 위한 다른 위치들에서 위치결정될 수 있다. 하나의 실시예에서, 좌측 아이피스(102) 및 우측 아이피스(104)는, 각각의 아이피스(102, 104)가 데이터를 수집할 수 있고, 추가의 예에서, 상이한 눈에의 디스플레이/투영 이미지 데이터를 포함하는 이미지 데이터를 디스플레이/투영할 수 있도록, 대상자 상에 궤도 에어리어(orbital area)를 맞추기 위하여 하우징(106)에 대하여 위치결정될 수 있다.
각각의 아이피스(102, 104)는 내향 지향된 이미지 센서들일 수 있는 하나 이상의 내향 지향된 센서들(108, 110)을 더 포함할 수 있다. 예에서, 내향 지향된 센서들(108, 110)은 동공 이동을 추적하고 대상자의 시각적 축들을 결정 및 추적하도록 구성된 적외선 카메라들, 광검출기들, 또는 다른 적외선 센서들을 포함할 수 있다. 예컨대, 적외선 카메라들을 포함하는 내향 지향된 센서들(108, 110)은 대상자의 시각적 필드, 그 실제의 시각적 필드 뿐만 아니라 대상자에게 디스플레이되거나 투영된 시각적 필드도 차단하지 않기 위하여, 아이피스들(102, 104)에 비해 더 낮은 부분들에서 위치될 수 있다. 내향 지향된 센서들(108, 110)은 더 양호한 동공 및/또는 가시선 추적을 위한 상정된 동공 영역을 향하는 포인트로 지향적으로 정렬될 수 있다. 일부 예들에서, 내향 지향된 센서들(108, 110)은 연속적인 내부 표면을 제공하기 위하여 아이피스들(102, 104) 내에 내장될 수 있다.
도 1b는 시각 필드 카메라들을 포함하는 개개의 외향 지향된 이미지 센서들(112, 114)이 위치결정되는 아이피스들(102, 104)의 정면도를 도시하는 안경 디바이스(100)의 정면도를 예시한다. 다른 실시예들에서, 더 적거나 추가적인 외향 지향된 이미지 센서들(112, 114)이 제공될 수 있다. 외향 지향된 이미지 센서들(112, 114)은 연속적인 이미지들을 캡처하도록 구성될 수 있다. 안경 디바이스(100) 또는 연관된 시각 시스템은 그 다음으로, 이미지들을 보정하고 및/또는 증대시키도록 추가로 구성될 수 있고, 이것은 대상자의 광학적 병변들에 기초한 맞춤화된 방식일 수 있다. 안경 디바이스(100)는 시각화 모드에서 모니터들을 통해 보정된 및/또는 증대된 이미지를 대상자에게 디스플레이하도록 추가로 구성될 수 있다. 예를 들어, 안경 디바이스는 아이피스 또는 인접한 영역과 연관된 디스플레이 스크린 상에서 보정된 및/또는 증대된 이미지를 생성할 수 있거나, 이미지를 아이피스 또는 인접한 영역과 연관된 디스플레이 스크린 상으로 투영할 수 있거나, 이미지를 대상자의 하나 이상의 눈들 상으로 투영할 수 있다.
도 1c는 포커싱 렌즈(116, 118)를 갖는, 2 개의 디지털 모니터들을 포함하는 아이피스들(102, 104)을 포함하는 일 예의 구성된 안경 디바이스(100)의 이미지이다. 이 예에서, 오직 하나의 내향 지향된 광학 센서(110)는 동공 및 가시선 추적을 위하여 포함되지만, 그러나, 다른 예들에서는, 다수의 내향 지향된 광학 센서들(110)이 제공될 수 있다.
예시적인 실시예들에서, 안경 디바이스(100)는 테스팅 모드를 포함할 수 있다. 일 예의 테스팅 모드에서, 내향 지향된 센서들(108, 110)은 동공 이동을 추적하고, 테스팅 프로토콜에 응답하여 시각적 축 추적(예컨대, 가시선)을 수행한다. 이러한 또는 또 다른 예에서, 내향 지향된 센서들(108, 110)은 각막 또는 안구 광학계의 왜곡들 및 불규칙성들을 검출하기 위하여 각막 및/또는 망막 상에서 반사된 패턴의 반사를 캡처하도록 구성될 수 있다.
테스팅 모드는 고위 및/또는 저위 차수 수차들과 같은 안구 병변들, 녹내장, 시신경염, 및 시신경병증들과 같은 시신경의 병변들, 황반변성, 망막색소변성증과 같은 망막의 병변들, 미세혈관 뇌졸중들 및 종양들로서의 시각적 통로의 병변들, 및 노안, 사시, 높고 낮은 광학적 수차들, 단안 시각, 부동시 및 부등상시증, 광 감도, 동공부동증 굴절 오류들, 및 난시와 같은 다른 질환들을 식별하기 위한 시각적 평가들을 수행하기 위하여 이용될 수 있다. 테스팅 모드에서, 데이터는 특정한 대상자에 대하여 수집될 수 있고, 그 이미지들이 디스플레이되기 전에 캡처된 이미지들을 보정하기 위하여 이용될 수 있고, 디스플레이된다는 것은 본원에서 설명된 바와 같이 모니터들에 의해 대상자에게 투영된 것을 포함할 수 있다.
일부 예들에서, 외부 센서들은 대상자의 시각적 필드를 평가하기 위한 추가의 데이터를 제공하기 위하여 이용될 수 있다. 예를 들어, 캡처된 이미지를 보정하기 위하여 이용된 데이터는 시각적 필드 테스팅 디바이스들, 수차계들, 전기-안구도(electro-oculogram)들, 또는 시각적 유발된 전위 디바이스(visual evoked potential device)들과 같은 외부 테스팅 디바이스들로부터 획득될 수 있다. 그러한 디바이스들로부터 획득된 데이터는 관측자에게 투영되거나 디스플레이되는 이미지들을 보정하기 위하여 이용된 보정 프로파일을 생성하기 위하여 시각적 축 결정들을 위한 동공 또는 가시선 추적과 조합될 수 있다.
안경 디바이스(100)는 테스팅 모드에 추가적일 수 있거나 테스팅 모드 대신일 수 있는 시각화 모드를 포함할 수 있다. 시각화 모드에서, 하나 이상의 외향 지향된 이미지 센서들(112, 114)은 실시간 이미지 프로세싱을 위하여 이미징 프로세서로 송신되는 이미지들을 캡처한다. 이미지 프로세서는 안경 디바이스(100) 내에 내장될 수 있거나, 예컨대, 안경 디바이스(100)에 통합되거나 부착될 수 있거나, 외부 이미지 프로세싱 디바이스와 연관된 것과 같이, 안경 디바이스(100)에 대해 외부적일 수 있다. 이미징 프로세서는 시각화 모듈의 컴포넌트일 수 있고, 및/또는 본원에서의 다른 곳에서 설명된 바와 같은 장면 프로세싱 모듈(scene processing module)을 포함할 수 있다.
안경 디바이스(100)는 안경 디바이스(100) 내에 내장된 무선 트랜시버를 통한 것과 같이, 유선 또는 무선 통신들을 통해 하나 이상의 이미징 프로세서와 통신가능하게 결합될 수 있다. 외부 이미징 프로세서는 랩톱 컴퓨터, 태블릿, 이동 전화, 네트워크 서버, 또는 중압집중화되거나 분산된 다른 컴퓨터 프로세싱 디바이스들과 같은 컴퓨터를 포함할수 있고, 하나 이상의 프로세서들 및 하나 이상의 메모리들에 의해 특징될 수 있다. 논의된 예에서, 캡처된 이미지들은 이 외부 이미지 프로세싱 디바이스에서 프로세싱되지만; 그러나, 다른 예들에서는, 캡처된 이미지들이 디지털 안경 내에 내장된 이미징 프로세서에 의해 프로세싱될 수 있다. 예컨대, 기능적인 시각적 필드 또는 다른 시각 양태들을 개선시키기 위하여 증대된 및/또는 대상자의 시각적 필드 병변들에 대하여 보정하기 위하여 증대된 프로세싱 이미지들은 그 다음으로, 안경 디바이스(100)로 송신되고, 대상자에 의한 관측을 위하여 모니터들에 의해 디스플레이된다.
안경 디바이스를 포함하는 시각 시스템의 일 예의 동작에서, 캡처된 이미지들의 실시간 이미지 프로세싱은 예컨대, 안경 디바이스에서 내장된 소형 컴퓨터 상에서 작동되는 맞춤-구축된 MATLAB(MathWorks, Natick, MA) 코드를 이용하여 이미징 프로세서에 의해 실행될 수 있다. 다른 예들에서, 코드는 안경 디바이스와 통신하도록 무선으로 네트워크화된 외부 이미지 프로세싱 디바이스 또는 다른 컴퓨터 상에서 작동될 수 있다. 하나의 실시예에서, 안경 디바이스, 이미지 프로세서, 및 단독으로 또는 하나 이상의 외부 디바이스들, 예컨대, 랩톱 컴퓨터와 조합하여 안경 디바이스 상에서 구체화될 수 있는 시각화 및/또는 테스팅 모드들을 실행하기 위한 연관된 명령들을 포함하는 시각 시스템은 2 개의 모드들, 예컨대, 시각화 모드 및 별도의 테스팅 모드에서 동작될 수 있다.
도 2는 서버(206)와 통신하기 위하여 네트워크(204)에 통신가능하게 결합된 안경 디바이스(202), 이동 셀룰러 전화(208), 또는 개인용 컴퓨터(210)를 포함하는 일 예의 시각 시스템(200)을 예시하고, 안경 디바이스(202), 이동 셀룰러 전화(208), 또는 개인용 컴퓨터(210) 중의 임의의 것은 테스팅 모드 및/또는 시각화 모드에 대한 것들을 포함할 수 있는, 이미지 프로세싱 기법들과 같은 본원에서의 프로세싱 기법들을 구현하기 위한 시각적 보정 프레임워크(212)을 포함할 수 있다. 예시된 예에서, 시각적 보정 프레임워크(212)는 네트워크(204) 상에서 안경 디바이스(202)와 통신하기 위한 트랜시버와 함께, 프로세서, 및 본원에서의 기법들을 구현하기 위한 운영 체제(operating system) 및 애플리케이션들을 저장하는 메모리를 포함한다. 프레임워크(212)는 본 예에서의 머신 러닝 프레임워크를 포함하는 테스팅 모듈(214)을 포함한다. 머신 러닝 프레임워크는 감독된 또는 비감독된 방식의 어느 하나로 안구 병변들을 더 정확하게 평가하기 위한 테스팅 모드를 적응적으로 조절하기 위하여, 테스팅 모듈에 의해 실행된 테스팅 프로토콜과 함께 이용될 수 있다. 테스팅 모듈 동작의 결과는 대상자(218)를 위한 맞춤화된 시각 보정 모델(216)의 개발을 포함할 수 있다. 시각화 모듈(220)은 일부 실시예들에서, 안경 디바이스(202)에 의한 디스플레이를 위한 보정된 시각적 이미지들을 생성하기 위하여 맞춤화된 시각 보정 모델들을 액세스한 머신 러닝 프레임워크를 또한 포함할 수 있다. 시각 보정 프레임워크(212)는, 테스팅 모드 및/또는 시각화 모드 동작들 동안의 이용을 위한 이미지들을 프로세싱할 수 있고 프로세싱 모듈에 대하여 위에서 그리고 본원에서의 다른 곳에서 설명된 동작들을 포함할 수 있는 장면 프로세싱 모듈을 또한 포함할 수 있다. 위에서 그리고 본원에서의 다른 곳에서 설명된 바와 같이, 일부 실시예들에서, 안경 디바이스(202)는 시각 보정 프레임워크(212)의 전부 또는 부분을 포함할 수 있다.
테스팅 모드에서, 안경 디바이스(100 또는 202) 및 특히, 안경 디바이스(100 또는 202)의 내부를 따라 위치결정될 수 있는 추적 카메라들을 포함하는 하나 이상의 내향 지향된 이미지 센서들은 대상자의 동공 및 시각적 축 상에서 프로세싱된 이미지들을 정확하게 등록하기 위하여 이용되는 동공 및 시각적 축 추적 데이터를 캡처하기 위하여 이용될 수 있다.
도 3은 시각 보정 프레임워크(302)를 포함하는 시각 시스템(300)을 예시한다. 시각 보정 프레임워크(302)는 이미지 프로세싱 디바이스(304), 및 대상자 상에서 배치하기 위한 안경 디바이스(306) 상에서 구현될 수 있다. 이미지 프로세싱 디바이스(304)는 외부 이미지 프로세싱 디바이스 또는 다른 컴퓨터에서 전체적으로 포함될 수 있는 반면, 다른 예들에서, 이미지 프로세싱 디바이스(304)의 전부 또는 일부는 안경 디바이스(306) 내에서 구현될 수 있다.
이미지 프로세싱 디바이스(304)는 안경 디바이스(306)로부터 대상자의 고해상도 이미지들을 수집하기 위한 명령들을 포함할 수 있는, 본원에서 설명된 테스팅 및/또는 시각화 모드들을 실행하기 위한 명령들(310)을 저장하는 메모리(308)를 포함할 수 있다. 시각화 모드에서, 안경 디바이스(306)는 실시간 시각 필드 이미지 데이터를 원시 데이터(raw data), 프로세싱된 데이터, 또는 사전-프로세싱된 데이터로서 캡처할 수 있다. 테스팅 모드에서, 안경 디바이스는 대상자의 시각 필드의 양태들을 테스팅하기 위한 (차량 또는 다른 객체의 글자들 "text" 또는 이미지들과 같은) 테스팅 이미지들을 투영할 수 있다.
안경 디바이스(306)는 유선 또는 무선 링크를 통해 이미지 프로세싱 디바이스(304)에 통신가능하게 접속될 수 있다. 링크는 유니버셜 직렬 버스(Universal Serial Bus)(USB), IEEE 1394(파이어와이어(Firewire)), 이더넷(Ethernet), 또는 다른 유선 통신 프로토콜 디바이스를 통한 것일 수 있다. 무선 접속은 WiFi, NFC, iBeacon, 블루투스(Bluetooth), 블루투스 로우 에너지(Bluetooth low energy) 등과 같은 임의의 적당한 무선 통신 프로토콜을 통한 것일 수 있다.
다양한 실시예들에서, 이미지 프로세싱 디바이스(304)는 입력/출력(I/O) 회로에 접속된 링크를 통해 데이터베이스에 동작적으로 접속된 제어기를 가질 수 있다. 추가적인 데이터베이스들은 알려진 방식으로 제어기에 링크될 수 있다. 제어기는 프로그램 메모리, 프로세서(마이크로제어기 또는 마이크로프로세서로 칭해질 수 있음), 랜덤-액세스 메모리(random-access memory)(RAM), 및 입력/출력(I/O) 회로를 포함하고, 이들 전부는 어드레스/데이터 버스를 통해 상호접속될 수 있다. 오직 하나의 마이크로프로세서가 설명되지만, 제어기는 다수의 마이크로프로세서들을 포함할 수 있다는 것이 인식되어야 한다. 유사하게, 제어기의 메모리는 다수의 RAM들 및 다수의 프로그램 메모리들을 포함할 수 있다. RAM(들) 및 프로그램 메모리들은 예를 들어, 반도체 메모리들, 자기적 판독가능 메모리들, 및/또는 광학적 판독가능 메모리들로서 구현될 수 있다. 링크는 I/O 회로를 통해 제어기를 캡처 디바이스에 동작적으로 접속할 수 있다.
프로그램 메모리 및/또는 RAM은 마이크로프로세서에 의한 실행을 위한 다양한 애플리케이션들(즉, 머신 판독가능 명령들)을 저장할 수 있다. 예를 들어, 운영 체제는 일반적으로, 안경 디바이스(306) 및/또는 이미지 프로세싱 디바이스(304)의 동작들과 같은 시각 시스템(300)의 동작을 제어할 수 있고, 일부 실시예들에서는, 본원에서 설명된 프로세스들을 구현하기 위하여 사용자 인터페이스를 디바이스에 제공할 수 있다. 프로그램 메모리 및/또는 RAM은 본원에서 설명된 이미지 프로세싱 디바이스의 특정 기능들을 액세스하기 위한 다양한 서브루틴(subroutine)들을 또한 저장할 수 있다. 예로서, 그리고 제한 없이, 서브루틴들은 그 중에서도, 안경 디바이스로부터 시각 필드의 고해상도 이미지들을 획득하는 것; 이미지들을 증대시키고 및/또는 보정하는 것; 및 안경 디바이스(306)에 의한 대상자로의 디스플레이를 위한 증대된 및/또는 보정된 이미지들을 제공하는 것을 포함할 수 있다.
상기한 것에 추가적으로, 이미지 프로세싱 디바이스(304)는 다른 하드웨어 자원들을 포함할 수 있다. 디바이스는 시각적 디스플레이 및 입력 디바이스(들)(예컨대, 키패드, 키보드 등)와 같은 다양한 유형들의 입력/출력 하드웨어를 또한 포함할 수 있다. 실시예에서, 디스플레이는 터치-감지식이고, 사용자 입력을 받아들이기 위한 소프트웨어 루틴들 중의 하나로서의 소프트웨어 키보드 루틴과 협력할 수 있다. 이미지 프로세싱 디바이스는 다수의 알려진 네트워킹 디바이스들 및 기법들 중의 임의의 것을 통해(예컨대, 인트라넷(intranet), 인터넷(Internet) 등과 같은 컴퓨터 네트워크를 통해) 더 폭넓은 네트워크(도시되지 않음)와 통신하는 것이 유리할 수 있다. 예를 들어, 디바이스는 수차 데이터의 데이터베이스에 접속될 수 있다.
예 - "텍스트" 테스팅 모드
시각 시스템의 일 예의 구현예에서, 테스팅은 4 명의 대상자들에 대해 수행되었다. 테스팅 프로토콜은 안경 디바이스의 하나 이상의 디스플레이 모니터들의 상이한 위치들에서 텍스트의 디스플레이를 포함하였다. 손상된 영역들의 대상자의 시각 필드를 평가하기 위하여, 단어 "text"는 각각의 눈을 위한 안경 모니터들 상에서 디스플레이되었고, 대상자는 "text"를 식별하도록 요청받았다. 초기에, 단어 "text"의 "xt" 부분은 대상자의 블라인드 스폿 상에 조작자에 의해 의도적으로 배치되었다. 모든 4 명의 대상자들은 단어의 "te" 부분을 오직 본다는 것을 보고하였다. 글자들은 그 다음으로, 구체적으로 디스플레이를 제어하기 위한 소프트웨어를 이용하여 이동되었다. 텍스트 "text"는 단어를 판독하도록 다시 요청받은 대상자의 블라인드 스폿으로부터 떨어지도록 이동되었다. 대상자들은 이제, 단어의 "xt" 부분이 나타났다는 것을 기재하는 "text"를 판독할 수 있었다.
테스팅 모드의 이 평가 프로토콜의 예는 도 6a 내지 도 6c에서 도시된다. 도 6a 및 도 6b에서 도시된 바와 같이, 코드는 험프리(Humphrey) 시각적 필드 상에서 블라인드 스폿들을 자동적으로 검출한다. 단어 "text"(600)는 단어의 "xt" 부분이 블라인드 스폿(602) 내에 있도록 투영된다(도 6a). 대상자는 단어를 판독하도록 요청받았다. 단어 "text"(600)는 그 다음으로, 블라인드 스폿(602)로부터 떨어져서 이동되었고(도 6b), 대상자는 그것을 다시 판독하도록 요청받았다. 단어 "text"(600)는 대상자의 시각 필드의 상이한 좌표들에서 디스플레이될 수 있고, 시각 필드는 예시된 예에서 4 개의 좌표들로 분할될 수 있다. 이 프로토콜은 주변 블라인드 스폿(604)을 포함하는 다수의 블라인드 스폿들의 식별을 허용한다. 텍스트는 대상자의 전체 시각 필드 상에서 주위로 이동될 수 있고, 대상자는 텍스트의 전부 또는 부분들이 언제 가시적이지 않거나, 부분적으로 가시적이거나, 감소된 강도로 가시적인지를 식별하도록 요청받을 수 있다.
본원에서 설명된 동공 추적 기능성들은 동공 물리적 조건(예컨대, 시각적 축, 동공 크기, 및/또는 연곽), 정렬, 팽창, 및/또는 가시선을 포함할 수 있다. 시각적 축으로서 또한 알려진 가시선은 동공, (각막과 공막 사이의 에지인) 연곽을 추적하는 것, 또는 눈의 표면 상에서 또는 눈 내부에서 혈관을 심지어 추적하는 것 중 하나 이상에 의해 달성될 수 있는 목표이다. 이에 따라, 동공 추적은 연곽 또는 혈관 추적을 유사하게 포함할 수 있다. 동공 추적은 본원에서 설명된 바와 같은 하나 이상의 내향 대면 이미지 센서들을 사용하여 수행될 수 있다.
다양한 실시예들에서, 동공 추적 기능성들은 대상자의 시각적 필드 상의 투영된 이미지를 등록하기 위한 파라미터들의 결정을 위하여 이용될 수 있다(도 6c).
GUI(606) 디스플레이는 조작자에게 디스플레이될 수 있다. GUI(606)는 테스팅에 관련된 정보를 제공할 수 있다. 예를 들어, GUI(606)는 측정된 시각적 필드 결함들, 및 결함들까지의 이미지의 상대적인 위치를 도시한다. GUI(606)는 시각적 필드의 기능적인 부분으로의 이미지들의 자동적 분산(automatic distribution)을 허용하도록 동작가능할 수 있지만, 조작자가 자동 모드를 기각(override)하는 것을 허용하기 위한 버튼들을 포함할 수 있다. 외부 이미지 프로세싱 디바이스는 이 평가 텍스트가 어디에 디스플레이되어야 하는지를 결정하도록 구성될 수 있고, 테스팅 모드에서 다양한 위치들에 텍스트를 디스플레이하기 위하여 명령들을 디지털 안경으로 무선으로 통신할 수 있다.
예 - "이미지" 테스팅 모드
도 7a 내지 도 7c는, "텍스트"가 이용되는 대신에, 대상자가 동공 추적 및 영향받은 영역 결정을 위하여, 시각적 필드의 상이한 부분들에서 배치된 자동차(700)를 볼 수 있는지 여부를 결정하기 위하여 테스팅된 또 다른 예의 테스팅 모드 동작을 예시한다. 동공 추적 기능성은 시각 시스템이 대상자의 시각적 필드 상의 투영된 이미지를 등록하는 것을 허용한다.
도 4는 양자의 테스팅 모드 및 후속 시각화 모드의 일 예의 구현예를 예시하는 프로세스(400)를 예시한다. 블록(402)에서, 테스팅 모드에서는, 안경 디바이스, 및 셀룰러 전화 또는 태블릿 PC와 같은 다른 사용자 입력 디바이스들 내에 내장된 이미지 센서들과 같은 진단 디바이스들로부터 데이터가 획득된다. 블록(404)에서, 테스팅 모드 진단들은 수신된 데이터로부터 안구 비정상들, 예컨대, 시각적 필드 결함들, 눈 오정렬, 동공 이동 및 크기, 각막 또는 망막의 표면으로부터 반사된 패턴들의 이미지들을 검출하고 측정하기 위하여 수행될 수 있다. 예에서, 제어 프로그램 및 알고리즘들은 MATLAB R2017b(MathWorks, Inc., Natick, MA, USA)를 이용하여 구현되었다. 다양한 실시예들에서, 대상자 또는 테스터는 각각의 눈을 개별적으로 테스팅하거나 양쪽 눈을 순차적으로 하나의 런(run)에서 테스팅하도록 선택하기 위한 옵션을 제공받을 수 있다. 일부 실시예들에서, 테스팅 모드는 미리 결정된 위치들에서의 자극 시퀀스들을 이용하여 20 도 이상의 중심 반경을 커버하는 콘트라스트 계단 자극들을 포함하는 적용된 고속 임계화 전략을 포함할 수 있다. 예를 들어, 테스팅 모드는 도 35a 및 도 35b에 관하여 이하에서 추가로 논의된 바와 같이, 미리 결정된 위치들에서의 52 개의 자극 시퀀스들을 이용하여 중심 40 도의 반경을 커버하는 4 개의 콘트라스트 계단 자극들을 포함하는 응용된 고속 임계화 전략을 포함할 수 있다.
블록(406)에서, 결정된 진단 데이터는 식별가능한 안구 병변들을 보상하기 위한 보정 프로파일들을 저장하는 데이터베이스 또는 데이터세트(dataset)와 비교될 수 있다(예컨대, 도 16 및 관련된 논의들을 참조).
식별된 보정 프로파일들은 그 다음으로, 예를 들어, 시각적 축에서의 차이들, 시각적 필드 결함들, 광 감도, 이중 시각, 2 개의 눈들 사이의 이미지의 크기에서의 변화, 이미지 왜곡들, 감소된 시각을 보상하기 위하여 개인에 대해 개인화될 수 있다.
개인화된 프로파일들은 예컨대, 이미지 프로세서, 장면 프로세싱 모듈, 및/또는 시각화 모듈을 이용하여 이미지들을 프로세싱하기 위하여, 실시간 데이터와 함께 블록(408)에 의해 이용될 수 있다. 실시간 데이터는 동공 추적 데이터를 제공하는 하나 이상의 내향 지향된 이미지 센서들(410)에 의해 검출된, 및/또는 시각적 필드 스크린을 캡처하도록 위치결정된 하나 이상의 시각 필드 카메라들(412)을 포함하는 하나 이상의 외향 지향된 이미지 센서들로부터의 데이터를 포함할 수 있다. 블록(414)에서는, 실시간 이미지 보정이 수행될 수 있고, 이미지들은 디스플레이된 재생성된 디지털 이미지들로서, 오버레이된 보정된 부분들을 갖는, 안경 디바이스를 통과하는 증강 현실 이미지들로서, 또는 대상자의 망막들 내로 투영된 이미지들로서 중의 어느 하나로서, 안경 디바이스 상에서 디스플레이될 수 있다(블록(416)). 일부 예들에서, 블록(414)의 동작은 사용자가 이미지 및 보정 프로파일들을 제어하는 것을 허용하는 입력 디바이스와 같은 사용자 인터페이스를 이용하여, 사용자가 이미지 보정을 조율(tune)할 수 있는 교정 모드(calibration mode)(418)와 조합하여 수행된다. 예를 들어, 사용자들은 하나의 눈의 이미지를 측부, 상부, 및 하부로 변위시킬 수 있거나, 시각의 두 배를 완화시키도록 사이클로터팅(cyclotert)될 수 있다. 위의 또는 또 다른 예에서, 사용자는 기능적인 시각에 부정적으로 영향을 주지 않으면서, 시각의 필드를 확대하는 것을 허용하기 위하여 시각적 필드 변환(예를 들어, 어안(fish eye), 다항식, 또는 등각) 또는 병진의 정도를 미세 조율할 수 있거나, 허용불가능한 왜곡들을 야기시킬 수 있거나, 밝기 및 콘트라스트를 미세 조율할 수 있거나, 컬러들을 반전시킬 수 있다.
도 5는 테스팅 모드 및 시각화 모드의 구현을 위한, 프로세스(400)의 것과 유사한 또 다른 예의 프로세스(500)를 예시한다. 블록(502)에서, 동공 크기, 수용의 정도, 및 응시에 대한 고위 및 저위 차수 수차들에 대한 데이터가 수집된다. 일부 실시예들에서, 데이터의 전부 또는 부분은 수차계로부터, 또는 각막 및/또는 망막 상에서 투영된 패턴 또는 그리드의 이미지를 캡처하고, 그리고 예를 들어, 각막 또는 전체 안구 광학계의 수차들을 검출하기 위하여 캡처된 이미지를 기준 이미지와 비교함으로써 수집될 수 있다. 수집된 데이터는, 블록(504)에서, 위에서 설명된 블록(406)과 유사한 개인화된 보정 프로파일들을 결정할 수 있는 시각 보정 프레임워크로 전송될 수 있다. 블록들(508 내지 518)은 프로세스(400)에서의 대응하는 블록들(408 내지 418)과 유사한 기능들을 수행한다.
도 8은 복수의 시각적 자극들(804)을 생성하고 복수의 시각적 자극들(804)을 안경 디바이스를 통해 사용자(806)에게 제시하는 테스팅 모듈(802)을 도시하는 작업흐름(800)을 예시한다. 사용자(804)는 사용자 디바이스(808)를 가지고, 사용자 디바이스(808)를 통해, 사용자는 테스팅 자극들에 대한 입력 응답을 제공하도록 상호작용할 수 있다. 일부 예들에서, 사용자 디바이스(808)는 조이스틱(joystick), 전자 클릭커(electronic clicker), 키보드, 마우스, 제스처 검출기/모션 센서, 컴퓨터, 스마트폰과 같은 전화, 전용 디바이스, 및/또는 태블릿 PC를 포함할 수 있고, 이들을 통해, 사용자는 테스팅 자극들에 대한 입력 응답을 제공하도록 인터페이싱할 수 있다. 사용자 디바이스(808)는 프로세서, 및 프로세서에 의해 실행될 때, 사용자에 의한 상호작용을 위한 GUI의 디스플레이를 생성하는 명령들을 저장하는 메모리를 또한 포함할 수 있다. 사용자 디바이스(808)는 메모리, 신호들을 송신하고 수신하기 위한 트랜시버(XVR), 및 이미지 프로세싱 디바이스 상에서 저장될 수 있는 시각 보정 프레임워크(810)와 유선 또는 무선으로 접속하기 위한 입력/출력 인터페이스를 포함할 수 있다. 예시된 예에서, 프레임워크(810)는 외부 이미지 프로세싱 디바이스 상에서 저장되지만, 시각 보정 프레임워크(810)는 안경 디바이스 상에서, 사용자 디바이스 상에서 등에 저장될 수 있다. 프레임워크(810)는 테스팅 모듈(802)로부터 테스팅 모드 정보를, 그리고 사용자 디바이스(808)로부터 사용자 입력 데이터를 수신한다.
도 9는 작업흐름(800)에 의해 수행될 수 있는 바와 같은 테스팅 모드 프로세스(900)를 예시한다. 블록(902)에서, 대상자는 테스팅 모드 프로토콜에 따라 복수의 테스팅 자극들을 제공받는다. 그 자극들은 텍스트의 이미지들, 객체들의 이미지들, 광의 플래시(flash)들, 그리드 패턴들과 같은 패턴들을 포함할 수 있다. 자극들은 대상자에게 디스플레이될 수 있거나, 대상자의 망막 및/또는 각막 상으로 투영될 수 있다. 블록(904)에서, 시각 보정 프레임워크는 하나 이상의 내향 지향된 이미지 센서들로부터, 동공 물리적 조건(예컨대, 시각적 축, 동공 크기, 및/또는 연곽)에 대응하는 데이터와 같은 검출된 데이터를 수신할 수 있다. 블록(904)은 자극들에 응답하여 사용자로부터 수집된 사용자 응답 데이터를 수신하는 것을 더 포함할 수 있다. 블록(906)에서, 동공 포지션 조건은 예를 들어, 상이한 자극들 사이의 포지션 차이들 및 오정렬 차이들을 측정함으로써 상이한 자극들에 걸쳐 결정될 수 있다.
블록(908)에서, 난시 결정들은 시각 필드의 전반에 걸쳐 행해질 수 있고, 이는 동공 오정렬 데이터 및/또는 눈 수차들의 분석(예컨대, 망막 및 각막 상에서 기준 이미지들을 투영하고, 망막 또는 각막 표면들로부터의 반사된 이미지들을 기준 이미지들과 비교하는 것)을 포함할 수 있다.
블록(910)에서, 전체적인 눈 수차들은 예컨대, 기준 이미지들을 망막 및/또는 각막 상으로 투영하고, 그 다음으로, 망막 또는 각막 표면들로부터의 반사된 이미지들을 기준 이미지들과 비교함으로써 결정될 수 있다(예컨대, 도 31a, 도 32 내지 도 34, 및 동반 논의를 참조).
블록(912)에서, 혼수상태(coma), 난시, 또는 구면 수차(spherical aberration)들과 같은 광학적 왜곡들 또는 망막 질병들로부터의 시각적 왜곡들과 같은 시각적 왜곡들은 시각 필드 전반에 걸쳐 측정될 수 있다.
블록(914)에서, 시각적 필드 감도는 시각 필드 전반에 걸쳐 측정될 수 있다.
도 9의 프로세스의 다양한 실시예들에서, 블록들(904 내지 914) 중의 하나 이상은 임의적일 수 있다.
일부 예들에서, 본원에서의 시각 시스템들은 테스팅 모드로부터의 데이터를 평가할 수 있고, 안구 비정상의 유형 및 필요한 보정의 유형을 결정할 수 있다. 예를 들어, 도 10은 테스팅 모드의 일부로서 구현될 수 있는 인공 지능 보정 알고리즘 모드를 포함하는 프로세스(1000)를 예시한다. 머신 러닝 프레임워크는 블록(1002)에서 로딩되고, 일 예의 프레임워크들은 예를 들어, 차원성 감소(dimensionality reduction), 앙상블 러닝(ensemble learning), 메타 러닝(meta learning), 강화 러닝(reinforcement learning), 감독된 러닝(supervised learning), 베이지안(Bayesian), 판정 트리 알고리즘(decision tree algorithm)들, 선형 분류기(linear classifier)들, 비감독된 러닝(unsupervised learning), 인공 신경망(artificial neural network)들, 연관성 규칙 러닝(association rule learning), 계층적 클러스터링(hierarchical clustering), 클러스터 분석(cluster analysis), 딥 러닝(deep learning), 반-감독된 러닝(semi-supervised learning)을 포함할 수 있다.
블록(1004)에서는, 시각적 필드 결함 유형이 결정된다. 3 개의 예의 필드 결함들이 예시된다: 비보상된 블라인드 필드(1006), 더 낮은 감도를 갖는 부분적 블라인드 스폿(1008), 및 완전무결한(intact) 시각적 필드(1010). 블록(1004)은 시각적 필드 결함을 결정하고, 그 다음으로, 시각화 모드를 위한 적절한 보정 프로토콜을 적용한다. 예를 들어, 비보상된 블라인드 필드(1006)에 대하여, 블록(1012)에서, 시각 보정 프레임워크는 내향 지향된 이미지 센서들을 이용한 동공 추적을 통한 것과 같이 시각을 추적하고, 예컨대, 외부 카메라들과 같은 외향 지향된 이미지 센서들을 통해 시각 필드에서의 이동하는 객체의 비디오 추적을 행한다. 예시된 예에서, 블록(1014)에서는, 블라인드 스폿들의 영역들에서의, 또는 블라인드 스폿들의 영역들 내로 이동하고 있는 안전성 위험요소(safety hazard)들은 예를 들어, 안전성 위험요소의 포지션을, 테스팅 모드에서 측정된 바와 같은 결함들을 갖는 맵핑된 시각 필드와 비교함으로써 검출된다. 블록(1016)에서, 관심 있는 객체는 중심 위치 및 주변 위치를 포함하는 다양한 위치들에서 모니터링될 수 있다.
부분적 블라인드 스폿(1008)의 예에서, 증강된 시각 시각화 모드는 블록(1018)에서 진입될 수 있고, 이로부터, 시각 필드에서의 객체는 시각 필드의 중심 부분들을 추적함으로써 모니터링된다. 블록(1020)에서, 이미지 세그먼트화 알고리즘(image segmentation algorithm)은 시각 필드로부터 객체를 분리시키기 위하여 채용될 수 있다. 증강된 윤곽은 또한, 객체에 적용될 수 있고 사용자에게 디스플레이될 수 있고, 여기서, 윤곽은 세그먼트화된 객체의 식별된 에지들과 일치한다.
완전무결한 시각 필드(1010)에 대하여, 블록(1022)에서, 맞춤화된 보정 알고리즘은 올바른 수차들, 시각적 필드 검출들, 교차된 눈들, 및/또는 시각적 왜곡에 적용될 수 있다.
예시적인 실시예들에서, 인공 지능(AI)은 테스팅 모드 및/또는 시각화 모드를 위하여 이용될 수 있다. 예를 들어, 기법들은 시각적 필드를 개선시키기 위한 이미지 워핑(image warping)(변환, 병진, 및 리사이징)을 위한 방법들이 수백 개의 상이한 가능한 보정 프로파일들을 생성한다는 인식 상에서 구축될 수 있다. 지문(fingerprint)과 거의 유사하게, 모든 환자의 시각적 필드 결함은 상이하다. 일부 시각적 필드 결함들에서, 일부 이미지 워핑은 환자들에게 허용가능한 것으로 구해진 반면, 다른 것들은 그렇지 않다. 일부 이미지 워핑은 시각적 필드를 개선시키지만, 중심 시각을 감소시킨다(예컨대, 중심에서의 축소). 그러므로, AI 알고리즘들은 변동된 조건들을 다루기 위하여 개발되었다.
예에서, AI 알고리즘을 갖는 머신 러닝 프레임워크를 가지는 시각 보정 프레임워크는 관측 필드를 나머지 기능적인 시각적 필드에 더 양호하게 맞추기 위하여 관측 필드의 변환, 병진, 및 리사이징을 적용함으로써 자동적 개인화된 보정 프로파일들을 생성하기 위하여 이용될 수 있다. 머신 러닝 프레임워크는 데이터 수집, 시각적 필드 분류, 및/또는 회귀 모델(regression model)들 중의 하나 이상을 포함할 수 있다. 참가자 응답들, 수량적 점수들, 및 피드백의 레코딩을 용이하게 하기 위하여, 그래픽 사용자 인터페이스(graphical user interface)(GUI) 및 데이터 수집 프로그램이 이용될 수 있다.
시각화 모드에서 이미지들에 적용된 변환들에 대하여, 머신 러닝 프레임워크의 일 예의 변환들은 다음 중의 하나 이상을 포함할 수 있다: 1) 등각 맵핑, 2) 어안(fisheye), 3) 맞춤형 제4 차수 다항식 변환, 4) (극 좌표들을 이용한) 극 다항식 변환, 또는 5) (직사각형 좌표들을 이용한) 직사각형 다항식 변환(예컨대, 도 13을 참조).
시각화 모드에서 이미지들에 적용된 병진들에 대하여, 예들은 다음 중의 하나 이상을 포함할 수 있다. 중심 검출을 위하여, 최상의 중심 및 중심까지의 가장 가까운 포인트의 가중화 평균이 이용될 수 있다. 예를 들어, 가장 가까운 포인트는 중심 위치까지의 가장 근접한 포인트를 구함으로써 결정될 수 있다. 최상의 중심은 다음 중의 하나 이상에 의해 결정될 수 있다: 1) 가장 큰 컴포넌트의 센트로이드(centroid), 2) 가장 큰 내접된 원, 정사각형, 마름모(rhombus), 및/또는 직사각형의 중심, 또는 3) 국소적 가장 큰 내접된 원, 정사각형, 마름모, 및/또는 직사각형의 중심(예컨대, 도 14를 참조). 예를 들어, 프레임워크는 가장 큰 형상을 검색할 수 있지만, 두운법으로(alliteratively), 황반부 시각 영역으로부터 멀어지는 것을 회피하기 위하여, 프레임워크는 이것을 방법들을 갖는 가장 근접한 포인트의 가중화된 평균에 의해 대체할 수 있다.
다양한 실시예들에서, AI 알고리즘은 시뮬레이팅된 시각적 필드 결함들을 이용하여 초기에 트레이닝(train)될 수 있다. 예를 들어, AI 알고리즘을 트레이닝하기 위하여, 시각적 필드 결함들의 데이터세트가 수집될 수 있다. 예를 들어, 하나의 실험적인 프로토콜에서, 400 개의 시각적 필드 결함들의 데이터세트는 녹내장을 갖는 환자들로부터 획득되었다. 데이터세트는 등급화(grading)를 위한 정상적인 대상자들로의 제시를 위하여 가상 현실 안경 상에서 시뮬레이팅된 시각적 필드 결함들을 생성하기 위하여 이용될 수 있다. 등급화로부터 획득된 결과적인 피드백은 그 다음으로, 알고리즘을 트레이닝하기 위하여 이용될 수 있다.
예를 들어, 입력 이미지를 각각의 환자를 위한 완전무결한 시각적 필드 패턴에 개별적으로 대응하는 에어리어들에 자동적으로 맞추는 AI 알고리즘이 이용될 수 있다. 다양한 실시예들에서, 더 많거나 더 적은 자유도(degree of freedom)들이 이용될 수 있지만, 알고리즘은 이미지들을 리맵핑(remap)하기 위하여 적어도 3 개의 자유도들을 포함할 수 있다. 하나의 예에서, 자유도들은 변환, 시프팅, 및 리사이징을 포함한다. 추가된 이미지 변환은 주변부에서 이미지 품질의 적당한 양을 갖는 주변 에어리어들을 응축(condense)하면서, 시력이 가장 높은, 중심 시각에 대응하는 이미지의 중심 에어리어의 품질을 보존할 수 있다. 이것은 생성된 전체적인 이미지 컨텐츠가 환자에게 현저하도록 적용될 수 있다.
AI 알고리즘 내에 포함된 이미지 변환들은 등각, 다항식, 또는 어안 변환들 중의 하나 이상을 포함할 수 있다. 일부 실시예들에서는, 다른 변환들이 이용될 수 있다. 머신 러닝 기법들은 그 실제적인 업무를 수행하기 이전에 라벨링된 데이터세트에 대해 트레이닝될 수 있다. 하나의 예에서, AI 알고리즘은 상이한 유형들의 주변 결함들을 편입시키는 시각적 필드 데이터세트에 대해 트레이닝될 수 있다. 예를 들어, 하나의 실험에서, 데이터세트는 400 개의 시각적 필드 결함 패턴들을 포함하였다. 트레이닝 국면은 그 다음으로, AI 알고리즘에 의해 생성된 리맵핑된 이미지들을 수량적으로 점수화하기 위하여 정상적인 참가자들에 의해 안내되었다.
도 11은 하나의 예에 따른 테스트 이미지(자극들)의 이미지(1100)를 도시한다. 테스트 이미지(1100)는 시력, 부중심 시각, 및/또는 주변 시각을 측정하도록 설계될 수 있다. 예시된 테스트 이미지는 도 11에서 도시된 바와 같이, 중심 영역에서 5 개의 글자들, 부중심 영역에서 4 개의 내부 다이아몬드들(1102), 그리고 주변 영역에서 8 개의 외부 다이아몬드들(1104)을 디스플레이한다.
AI 시스템을 트레이닝할 수 있기 위하여, 데이터의 용량은 위에서 도입된 바와 같이 필요하다. 초기 단계로서, 결함있는 양안 시각적 필드들은 도 12에서 도시된 바와 같이, 환자들의 양안 시각을 시뮬레이팅하기 위하여 이용될 수 있다. 다음으로, 시뮬레이팅된 시각은 안경 디바이스를 통해 대상자들에게 제시될 수 있다. 이러한 방법으로, 입력 이미지는 상이한 이미지 조작들을 이용하여 조작될 수 있고, 그 다음으로, 수정된 시각을 등급화하기 위하여 대상자에게 다시 제시될 수 있다. 보정된 이미지는 추가로 보정될 수 있고, 최적화된 보정된 이미지가 결정될 때까지, 계속적인 보정 프로세스에서 대상자에게 제시될 수 있다. 도 13은 이미지에 적용될 수 있고 사용자에게 제시될 수 있는 상이한 보정 변환들의 예들을 예시한다. 도 14는 상이한 병진 방법들의 예(이미지를 완전무결한 시각적 필드에서 맞추기 위하여 이미지를 시프팅하는 것)를 예시한다. 완전무결한 시각적 필드는 백색이고, 블라인드 시각적 필드는 흑색이다.
AI 시스템은 인공 신경망들 및 지원 벡터 머신(Support Vector Machine)(SVM)들과 같은 머신 러닝 모델들을 이용하여 설계될 수 있다. 일부 예들에서, AI 시스템은 최적화 AI 시스템을 통해 최상의 이미지 조작 방법들(즉, 기하학적 변환 및 병진)의 추정치를 포함하는 출력을 생성하도록 설계된다. 시각 시스템은 시각화 모드에서, 환자가 그의 결함 시각적 필드에 기초하여 최상의 가능한 시각을 경험하도록, 출력 이미지 조작 방법들에 따라 조작된 이미지들을 헤드셋을 통해 환자에게 제시할 수 있다. 시각 보정 프레임워크의 머신 러닝 프레임워크(또한, 본원에서 "AI 시스템"으로 칭해짐)는 예컨대, 위에서 그리고 본원에서의 다른 곳에서 설명된 바와 같이, 수집된 데이터를 이용하여 트레이닝될 수 있다. 일 예의 AI 시스템(1500)의 블록도가 도 15에서 도시된다.
AI 시스템(1500)의 프로세스(1600)는 도 16에서 도시된다. 시스템(1500)으로의 입력은 테스트 이미지 및 시각적 필드 이미지를 포함한다. AI 시스템(1500)은 더 많은 세부사항들이 시각적 필드를 통해 제시될 수 있도록, 테스트 이미지에 대한 최상의 기하학적 변환을 추정한다. 그 다음으로, AI 시스템(1500)은 디스플레이된 이미지가 시각적 필드의 주요한 부분들을 커버하도록, 테스트 이미지에 대한 최상의 병진을 추정한다. 그 다음으로, 테스트 이미지는 각각 도 17 및 도 18에서 도시된 바와 같이 변환되고 병진된다. 최종적으로, 이미지는 오직 시뮬레이션 목적을 위한 트레이닝의 경우에 시각적 필드와 다시 조합되지만, 그것은 테스팅 국면에서 환자에게 직접적으로 디스플레이된다. 이미지에 적용되어야 할 이미지 변환 및 병진의 파라미터들을 포함하는 시각적 필드 AI 시스템의 최종적인 구현예를 포함할 수 있는 시각적 필드 분석의 개요를 제시하는 그래픽 사용자 인터페이스의 스크린샷(screenshot)이 도 19에서 도시된다.
일 예의 구현예에서, 인공 신경망 모델은 시각 보정 프레임워크 상에서 머신 러닝 프레임워크("AI 시스템")를 구현하기 위하여 이용되었다. AI 시스템은 벡터로 변환된 시각적 필드 이미지로서 취한다. AI 시스템은 장면 이미지에 적용되어야 할 이미지 변환 및 병진의 파라미터들의 예측을 출력으로서 제공한다. 그 다음으로, 장면 이미지는 이 파라미터들을 이용하여 조작된다. AI 시스템은 2 개의 은닉된 층들을 포함하고, 여기서, 각각의 은닉된 층은 3 개의 뉴런(neuron)들(즉, 유닛들) 및 하나의 출력 층을 포함한다. 하나의 이러한 예의 AI 시스템이 도 20에서 도시된다. 이 AI 시스템은 또한, 다른 예들에서, 훨씬 더 정확한 결과들을 위하여 컨볼루션 신경망 모델(convolutional neural network model)로 연장될 수 있다. 도 21 및 도 22는 각각 AI 신경망의 테스팅 모드 적용 및 AI 신경망을 이용하는 AI 알고리즘 최적화 프로세스의 일 예의 프로세스들(2100 및 2200)을 예시한다.
다양한 실시예들에서, 시각 시스템은 안경 디바이스 및/또는 이미지 프로세싱 디바이스를 포함한다. 시각 시스템의 실시예들은 이미지 프로세싱 디바이스를 단독으로 포함할 수 있다. 본원에서 설명된 시각 보정 프레임워크와 연관된 것들과 같은 이미지 프로세싱 디바이스 및 그 기능성들은 본원에서 설명된 안경 디바이스들 또는 다른 디바이스들과의 이용을 위하여 구성될 수 있거나, 조건들의 진단, 및/또는 프로세싱된 이미지 데이터의 디스플레이와 연관될 수 있거나 연관되지 않을 수 있는 증대된 실시간 디스플레이들의 프로세싱을 위하여 이용될 수 있다. 예를 들어, 하나의 실시예에서, 이미지 프로세싱 디바이스는 파일럿(pilot)들을 위한 시각적 필드의 증대를 위하여 이미지 데이터를 프로세싱하도록 구성될 수 있다. 증대된 시각적 필드는 예컨대, 파일럿으로의 증대된 시각적 필드의 단일 또는 다수의 디스플레이들을 포함하는 헬멧 바이저(helmet visor)로 편입될 수 있는 본원에서 설명된 안경 디바이스를 이용하여 파일럿에게 제공될 수 있다. 일부 예들에서, 안경 디바이스는 고글(goggle)들이다. 증대된 시각적 필드는 또한, 그 투명도가 본원에서 설명된 바와 같이 제어가능한 유리, 필름, 및/또는 층들을 포함할 수 있는 디스플레이 스크린 또는 모니터로서, 항공기의 윈드쉴드(windshield) 또는 캐노피(canopy)에 걸쳐 디스플레이될 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 본원에서 설명된 바와 같은 테스팅 모드 및/또는 시각화 모드에 대한 이미지들을 프로세싱하도록 구성될 수 있다(예컨대, 도 4, 도 5, 도 9, 도 10, 도 15, 도 16, 도 20 내지 도 23을 참조). 일부 예들에서, 이미지 프로세싱 디바이스는 테스팅 모드 및/또는 시각화 모드에 대한 하나 이상의 동작들을 수행하도록 구성된 시각 보정 프레임워크를 포함할 수 있다(예컨대, 도 2, 도 3, 도 8을 참조). 위의 또는 또 다른 예 중의 임의의 것에서, 시각 보정 프레임워크는 AI 보정 알고리즘을 포함할 수 있는 머신 러닝 프레임워크를 포함한다(예컨대, 도 2, 도 10 내지 도 23을 참조). 시각 시스템은 본원에서 설명된 임의의 하드웨어, 소프트웨어, 및/또는 네트워크 구성을 포함할 수 있다(예컨대, 도 1a 내지 도 3, 도 8, 도 21, 도 22, 도 24, 도 25를 참조).
위의 또는 또 다른 예 중의 임의의 것에서, 이미지 프로세싱 디바이스는 안경 디바이스와 통합될 수 있다. 통합은 전체적 또는 부분적일 수 있다. 이미지 프로세싱 디바이스는 또한, 전체적 또는 부분적일 수 있는 안경 디바이스에 대해 외부적일 수 있다. 하나의 예에서, 이미지 프로세싱 디바이스 및/또는 시각 보정 프레임워크는 예컨대, 네트워크 또는 통신 프로토콜을 통해 분산될 수 있다. 예를 들어, 이미지 프로세싱 디바이스 및/또는 시각 보정 프레임워크 및 그 기능성들은 스마트폰, 랩톱, 태블릿, 또는 전용 디바이스와 같은 사용자 디바이스; 온보드(onboard) 프로세싱 시스템과 같은 안경 디바이스; 및 컴퓨터, PC, 랩톱, 또는 서버와 같은 외부 프로세싱 시스템 중의 2 개 이상에 걸쳐 분산될 수 있다.
위에서 도입된 바와 같이, 시각 시스템은 안경 디바이스 및 이미지 프로세싱 디바이스를 포함할 수 있다. 일부 실시예들은 다른 연관된 시스템들 및 디바이스를 포함할 수 있는, 단지 안경 디바이스 또는 단지 이미지 프로세싱 디바이스를 포함할 수 있다.
위의 또는 또 다른 예 중의 임의의 것에서, 안경 디바이스는 스크린, 유리, 필름, 및/또는 층상화된(layered) 매체와 같은 모니터의 디스플레이 에어리어의 투명도를 선택적으로 제어하도록 구성될 수 있다. 예를 들어, 본 기법들은 증강 현실(또한, 본원에서 맞춤 현실로 칭해짐) 안경 디바이스에서 구현될 수 있다. 도 23은 테스팅 및 시각화 모드들을 구현하는 일 예의 프로세스(2300)를 예시한다. 예에서, 맞춤-현실 안경 디바이스는 양안(중심) 대 주변 시각 조작을 이용할 수 있다.
일부 예들에서, 맞춤 현실 안경 디바이스(예컨대, 도 40a 내지 도 40c를 참조)는 보정된 이미지들을 가시적인 장면 상으로 오버레이하기 위한 투명한 안경을 포함한다. 안경은 이미지들이 디스플레이를 위하여 그 상으로 투영될 수 있는, 제어가능한 투명도를 가지는 스크린을 포함하는 모니터를 포함할 수 있다. 하나의 예에서, 디스플레이는 헤드업 디스플레이(heads-up display)를 포함한다. 다양한 실시예들에서, 맞춤 현실 안경 디바이스는 보정된 이미지들을 안경을 통해 가시적인 장면 상으로 오버레이하기 위한 제어가능한 층들을 가지는 안경을 포함한다. 층들은 유리, 세라믹, 폴리머, 필름, 및/또는 층상화된 구성에서 배열된 다른 투명한 재료들을 포함할 수 있다. 제어가능한 층들은 예를 들어, 픽셀 어드레싱가능한 방식으로 시각적 필드의 하나 이상의 부분들 상에서 투명도를 조절하는 것을 허용하는 하나 이상의 전기적 제어된 층들을 포함할 수 있다. 하나의 실시예에서는, 예컨대, 전류, 필드, 또는 광을 통해 개별적으로 어드레싱가능할 수 있는 픽셀들 또는 셀들을 포함할 수 있다. 제어가능한 층들은 시각적 필드의 하나 이상의 부분들의 콘트라스트, 부분들 상에서의 컬러 필터링, 부분들의 줌인/줌아웃, 부분들 상에서의 초점 포인트, 시각적 필드의 특정 위치에서의 환경으로부터 나오는 광을 차단하거나 허용하기 위하여 이미지를 디스플레이하는 안경 디바이스 표면의 투명도를 조절하도록 제어될 수 있는 층들일 수 있다. 조작이 대상자의 시각을 증강시키기 위한 관측 필드의 부분(예컨대, 주변 시각의 부분 또는 양안 시각의 부분 또는 그 일부가 양안이고 그 일부가 주변인 부분)이 있을 경우에, 유리의 그 부분의 투명도는 유리의 그 부분을 통한 환경의 관측을 차단하고 환자가 유리의 그 부분을 따라 디스플레이된 조작된 이미지를 더 명확하게 보는 것을 허용하기 위하여 저하될 수 있다. 다양한 실시예들에서, 시각 시스템 또는 맞춤 현실 안경 디바이스는 대상자가 단지 머리 이동이 아니라 눈 이동에 의해 눈들을 재지향할 때에 환경을 자연스럽게 관측하는 것을 허용하기 위하여 투명도 영역들을 동적으로 제어할 수 있다. 예를 들어, 동공 추적 데이터, 예컨대, 동공 및/또는 가시선 추적은 감소된 투명도 영역이 대상자의 눈에 대해 병진하도록, 감소된 투명도를 가지는 유리의 부분을 수정하기 위하여 이용될 수 있다.
예를 들어, 맞춤-현실 안경을 포함하는 안경 디바이스에서의 유리의 투명도는 예컨대, 중심 영역 또는 주변 영역에서, 이미지 보정이 수행되는 곳에 대응하는 시각적 필드의 그 부분으로부터 광을 차단하기 위하여 제어가능하게 조절될 수 있다. 그렇지 않을 경우에, 대상자는 조작된 이미지를 볼 수 있고, 조작된 이미지를 통해, 그 영역에서 기저를 이루는 실제적인 시각적 필드를 주시할 수 있고 지각할 수 있다. 이러한 광 차단은 안경 디바이스 내의 광색성 유리 층(photochromic glass layer)에 의해 달성될 수 있다. 또한, 안경 디바이스는 내향 지향된 이미지 센서들을 이용하여 눈(동공) 이동에 대하여 측정하고, 그리고 시각 보정 프레임워크에서의 프로세싱에 의해 이러한 이동에 기초하여 보상함으로써, 유리 투명도가 감소되는 에어리어의 포지션을 변화시킬 수 있다. 하나의 예에서, 모니터의 디스플레이 스크린은, 전기 잉크(electric ink) 기술을 포함하고, 투명도를 수정하고 및/또는 디스플레이의 픽셀을 생성하기 위하여 전기장(electric field)이 셀 내의 잉크의 배열을 수정하게 하도록 개별적으로 어드레싱될 수 있는 픽셀들 또는 셀들을 포함한다. 일 예의 구현예에서, 도 40a는 프레임(4002) 및 2 개의 투명한 유리 조립체들(4004)을 위하여 형성된 맞춤-현실 안경(4000)을 도시한다. 도 40b 및 도 40c에서 도시된 바와 같이, 투명한 유리 조립체들(4004)은, 완전히 투명한 것으로부터 완전히 불투명한 것으로 제어가능할 수 있고, 안경(4004)의 관측 필드의 부분을 오버레이하거나 대체하기 위한 보정 이미지를 생성할 수 있는 디지털 층들일 수 있는 전자적으로 제어가능한 보정 층들(4006)을 내장하였다. 보정 층들(4006)은 전기적 접속(4008)을 통해, 프레임(4002) 상의 이미지 프로세싱 디바이스(4010)에 접속될 수 있다.
도 23의 프로세스(2300)를 특히 참조하면, 블록(2302)에서, 테스팅 모드 데이터는 시각 보정 프레임워크에 의해 수신될 수 있고, 블록(2304)에서, 시각적 필드 왜곡들, 결함들, 수차들, 및/또는 다른 안구 비정상들이 그 위치들과 함께 결정될 수 있다.
진단된 중심 시각 필드 비정상들(2306)에 대하여, 블록(2308)에서, 맞춤 현실 안경 디바이스는 환경으로부터의 이미지가 예컨대, 도 24에서 도시된 바와 같이, 관측자의 주변 필드로 그 유리를 통과하는 것을 허용할 수 있다. 도시된 바와 같이, 맞춤 현실 안경 디바이스(2400)는 다층화된 유리 뷰파인더(multi-layered glass viewfinder)(2402)를 가질 수 있다. 주변 영역(2404)은 이를 통한 광 통과를 허용하여, 대상자가 실제적인 비보정된 환경을 관측하는 것을 허용하기 위하여 투명한 것으로서 설정될 수 있다. 블록(2312)에서, 환경의 중심 영역(2406)은 안경 디바이스(2400)에 의해 차단될 수 있고, 중심 영역의 보정된 연출은 예를 들어, 도 13, 도 14, 도 17, 및 도 18의 것들과 같은 보정들을 이용하여 디스플레이에 의해 사용자에게 제시될 수 있다.
진단된 주변 시각적 필드 비정상들(2308)에 대하여, 블록(2314)에서, 환경의 중심 영역(2406')(도 25를 참조)은 안경 디바이스(2400)의 투명한 부분을 통과하도록 허용되고, 주변 영역(2404')의 투명도는 예를 들어, 본원에서의 보정 변환들을 이용하여, 보정된 주변 버전 이미지가 주변 영역(2404') 내에서 디스플레이될 수 있도록 차단하기 위하여 수정된다.
다른 예들에서, 본 기법들은 보정된(또는 일부 사례들에서 증대된) 관측 필드를 대상자에게 제공하기 위하여 양쪽 눈들에 그 다음으로 적용될 수 있는 양안 시각적 필드를 캡처하고 증대시키기 위하여 이용될 수 있다. 도 26 내지 도 30은 양안 시각적 필드 확장 기법들의 예들을 예시한다.
도 26은 좌측 눈(2602) 및 우측 눈(2604)으로부터의 단안 이미지가 황반부 중심 에어리어(2608) 및 중심 에어리어(2608)를 포위하는 주변 시각적 필드 에어리어(2610)를 가지는 단일 지각된 이미지(2606)로 조합되는 대상자를 위한 정상적인 양안 시각을 예시한다. 그러나, 일부 경우들에는, 대상자가 터널 시각 조건을 가질 수 있고, 여기서, 주변 에어리어(2610)는 도 27에서와 같이, 대상자에게 가시적이지 않다. 도시된 바와 같이, 이 경우들에 대하여, 하나 이상의 객체들은 관측 필드 내에서 나타나지 않아서, 에어리어(2610) 내의 객체들이 환자에 의해 보여지지 않는 에어리어(2610)에서의 주변 결함(2612)으로 귀착된다.
일부 예들에서, 도 27에서의 결함은 시프팅 이미지 보정 기법을 이용하여 보정될 수 있다. 도 28에서, 입증된 바와 같이, 각각의 시각적 필드 카메라는 단안 이미지(2702 및 2704)를 각각 캡처하고, 여기서, 각각의 단안 이미지는 약간 상이한(오프셋) 포지션으로부터 시각적 장면을 캡처하고 있으므로, 각각의 단안 이미지는 상이하다. 2 개의 캡처된 단안 이미지들(2702, 2704)은 그 다음으로, 시각적 보정 프레임워크에서 서로를 향해 시프팅되어, 이미지들(2702' 및 2704')로 귀착된다. 이 2 개의 시프트 이미지들은 그 다음으로, 시각적 장면의 전체 주변부를 캡처하는 양안 이미지(2706)를 생성하기 위하여 조합된다. 모니터 디스플레이들을 가지는 안경 디바이스에 대하여, 각각의 디스플레이는 보정된 양안 이미지(2706)를 대상자에게 디스플레이할 수 있다. 예에서, 우리가 입증한 바와 같이, 이 시프팅 변환은 환자를 위한 이중 시각 효과들을 생성하지 않으면서, 대상자의 관측 필드를 5 %, 10 %, 15 %, 또는 20 %만큼 증가시킬 수 있다.
도 29는 또 다른 양안 시각적 필드 보정 프로세스를 예시한다. 이 예에서, 캡처된 단안 이미지들(2902 및 2904)은 황반부 중심 에어리어(중심 20 도)를 변화되지 않도록 유지하면서, 예를 들어, 오직 주변 에어리어들에서 리사이징되어, 보정된 이미지들(2902', 2904')로 귀착된다. 이러한 리사이징 변환은 시각적 필드를 확장하면서, 중심에서의 시각적 시력을 보존할 것이다. 조합된 양안 이미지(2906)는 이전에 손실되었던 주변부에서 객체들을 캡처하고, 동시에, 도시된 바와 같이, 중심 황반부 에어리어의 세부사항들을 유지시킨다. 주변 시각이 중심 시각만큼 민감하지 않으므로, 주변 객체들은 이들을 리사이징한 후에도 대상자에 의해 명확하게 인지된다. 예에서, 우리는 이미지 크기의 최대 20 %의 수축이 환자를 위한 이중 시각 효과들을 생성하지 않으면서 수행될 수 있다는 것을 입증하였다. 다양한 실시예들에서, 시스템은 중심 에어리어의 리사이징에 추가적으로 또는 대안적으로, 주변 영역의 리사이징을 수행할 수 있다. 예를 들어, 주변 영역들은 예컨대, 녹내장 환자들을 위하여, 황반부 중심 에어리어의 크기를 유지하면서 크기에 있어서 감소될 수 있다.
황반변성에 대하여, 우리는 반대로 행할 수 있다. 주변 시각을 완전무결하게 두고 중심을 확대한다.
도 30은 또 다른 양안 시각적 필드 보정 프로세스를 예시한다. 하나의 눈에서 먼 주변 결함을 갖는 환자들을 위하여, 결함있는 눈의 시각 필드(3004)에서의 손실 객체(3002)는 시각 필드(3004)의 중간 주변 필드 영역(3006)으로 디지털 방식으로 전송될 수 있는 반면, 다른 시각 필드(3008), 건강한 눈의 것은 이와 다르게 이 에어리어를 커버할 것이고, 이는 조합된 양안 이미지(3010)가 완전무결한 시각 필드 내의 손실 객체(3002)를 디스플레이한다는 것을 의미한다. 대상자는 에어리어에서의 시각적 혼동을 인지할 수 있지만, 대상자는 이동하는 객체 또는 변화하는 환경에 따라 시각적 필드의 이 에어리어에서의 정보를 격리시키도록 적응할 수 있다.
테스팅 모드의 다양한 예들에서, 패턴은 투영-기반 웨어러블 안경을 이용하여 망막 상으로 투영될 수 있다. 패턴은 망막 바로 위의 결함들 뿐만 아니라, 각막에 영향을 주는 결함들을 결정하기 위하여 이용될 수 있다. 예에서, 투영 패턴은 연령 관련된 황반변성 및 다른 망막 병변들에서의 변형시(dysmorphopsia)에 대한 보정을 평가하기 위하여 이용될 수 있다. 도 31a에서 도시된 바와 같이, 패턴(3100)의 디지털 투영은 대상자들 눈(3102) 상으로 투영될 수 있다. 패턴은 안경 디바이스의 내부 상에서 위치결정된 투영기 상에서 디지털 방식으로 생성될 수 있다. 내향 지향된 이미지 센서와 같은 디지털 카메라(3104)는 또한, 눈(3102)으로부터 반사된 패턴(3100)의 이미지를 캡처하기 위하여 안경 디바이스의 내부 측부 상에서 위치결정될 수 있다. 그 이미지 캡처는 예를 들어, 도 32에서 도시된 바와 같이, 눈의 각막 표면으로부터 캡처될 수 있다. 패턴(3100')의 캡처된 이미지로부터, 시각 보정 프레임워크는 패턴이 예컨대, 도 33에서 도시된 바와 같이 정상적으로 보이는지, 또는 예컨대, 도 34에서 도시된 것과 같은 비정상들(3101)을 나타내는지를 결정할 수 있다. 비정상들은 본원에서 설명된 기법들 중의 하나를 이용하여 평가될 수 있고 보정될 수 있다.
일부 예들에서, 패턴(3100)은 암슬러 그리드(Amsler grid)와 같은 그리드, 또는 하나 이상의 안구 비정상들을 치료하기 위하여 필요한 변환을 검출하는 것을 허용하도록 설계된 임의의 알려진 기준 형상일 수 있다. 그 변환은 그 다음으로, 이미지를 실시간으로 역-왜곡(reverse-distort)하여 더 양호한 시각을 허용하기 위하여 이용될 수 있다. 예를 들어, 이 기법은 가상 현실 모델 또는 증강 현실 모델을 이용하여 채용될 수 있다. 도 8의 일 예의 구현예에서, 시각 시스템(800)은 테스팅 모듈(802)을 포함할 수 있다. 테스팅 모듈(802)은 웨어러블 안경과 연관될 수 있거나, 본원에서의 다른 곳에서 설명된 바와 같이 외부 디바이스와 조합하여 실행될 수 있다. 테스팅 모듈(802)은 암슬러 그리드를 포함하는 테스팅 자극들을 대상자(806)에게 제시할 수 있다. 대상자는 사용자 디바이스(808) 또는 다른 입력 디바이스를 통해, 왜곡들을 개선시키기 위하여 그리드의 이미지를 조작할 수 있다. 시각적 보정 프레임워크(810)는 대상자에 의한 추가의 보정을 위하여 암슬러 그리드를 제시할 수 있다. 대상자가 그 수동적인 보정을 완료하였을 때, 시각 보정 프레임워크(810)는 시각적 장면들이 안경 디바이스를 이용하고 있을 때, 시각적 장면들에 적용하기 위한 대상자의 보정 프로파일을 생성할 수 있다. 시각 시스템(800)의 설명된 작업흐름은 본원에서 설명된 다른 테스팅 모드 동작들에 유사하게 적용가능할 수 있다.
도 31b는 웨어러블 안경(예컨대, VR 또는 AR 헤드셋) 상에서 이미지로서 디스플레이된 암슬러 그리드(3100)(즉, 일 예의 기준 이미지)의 제시의 개략적인 예시도이다. 암슬러 그리드(3100)는 대상자의 각막 및/또는 망막 상으로 디스플레이될 수 있거나 투영될 수 있다. 일 예의 표준 그리드(3100)가 도 31c에서 도시된다. 동일한 그리드 패턴은 사용자 디바이스 상에서 디스플레이될 수 있다. 대상자는 키보드, 마우스, 터치 스크린, 또는 사용자 인터페이스를 포함할 수 있는 사용자 디바이스 상의 다른 입력을 사용하여, 그리드 패턴의 라인들, 특히, 굴곡된 것으로 보이는 라인들을 조작할 수 있다. 대상자는 어느 이미지를 조작할 것인지로부터 앵커 포인트(anchor point)(3110)를 특정할 수 있다. 앵커 포인트를 특정한 후에, 대상자는 특정된 라인을 조절하여 그 손상된 황반부에 의해 야기된 지각된 왜곡을 보정하기 위하여 사용자 디바이스(예컨대, 화살표 키들)를 이용할 수 있다. 이 절차는 각각의 눈 상에서 독립적으로 수행될 수 있어서, 2 개의 수정된 그리드들의 세트를 제공할 수 있다.
일단 대상자가 직선으로 보이기 위하여 라인들의 수정을 완료하면, 시각 보정 프레임워크는 새로운 그리드들을 취하고, 적용된 왜곡들에 대응하는 정점(vertex)들의 메쉬(mesh)들을 생성한다. 테스팅 모드로부터 기인하는 이 메쉬들은 환자의 비정상들을 보상하기 위하여 임의적인 이미지에 적용된다. 예를 들어, 각각의 눈은 테스팅 모드의 확인의 일부로서, 적절한 메쉬에 대응하는 수정된 이미지로 도시될 수 있다. 대상자는 그 다음으로, 보정된 이미지들이 무오류(faultless)인 것으로 보일 경우에 사용자 디바이스 상에서 표시될 수 있고, 무오류인 것으로 보일 경우는, 참(true)이면, 보정들이 성공적이었다는 것을 표시할 것이다. 예를 들어, 장면이 사용자에 의해 지각되어야 하므로, 도 31e는 실제적인 장면을 예시한다. 도 31f는 암슬러 그리드 기법에 의해 결정된 시각적 왜곡이 대상자에게 제공될 때, 대상자가 도 31f의 시각적 필드를 도 31e의 실제적인 시각적 필드로서 보는 것으로 귀착되는 보정된 시각적 필드를 예시한다.
이러한 보정은 연속적으로 보정된 시각적 장면을 대상자에게 제시하기 위하여 라이브 이미지들 상에서 실시간으로 수행될 수 있다. 보정은 안경 디바이스가 캡처 시각적 필드를 생성하는 디스플레이들을 포함하든지 간에, 또는 안경 디바이스가 맞춤-현실 기반이고 왜곡에 대하여 조절하기 위하여 보정 층을 이용하든지 간에 실시간으로 달성될 수 있는데, 이것은 양자의 경우들이 결정된 보정 메쉬들을 사용할 수 있기 때문이다.
일부 예들에서, 암슬러 패턴과 같은 기준 이미지는 터치 스크린, 또는 도 31g에서 도시된 3150(예컨대, 태블릿 PC)과 같은 태블릿 PC 상에서 직접적으로 제시될 수 있다. 암슬러 패턴은 디바이스(3150)의 디스플레이 상에서 제시되고, 대상자는 라인들을 직선으로 보이게 하기 위하여 라인들에 적용되어야 하는 보정들을 그리기 위한 스타일러스(stylus)(3152)를 이용하여 굴곡된 것으로 보이는 라인들을 조작할 수 있다. 테스팅 모드 동안에는, 각각의 수정 후에, 그리드가 가장 최근의 편집을 반영하기 위하여 다시 그려질 수 있다. 이 절차는 각각의 눈 상에서 독립적으로 수행될 수 있어서, 2 개의 수정된 그리드들의 세트를 우리에게 제공할 수 있다. 대상자가 테스팅 모드 수정을 완료한 후에, 태블릿 PC는, 결정된 메쉬들을 적용하는 이미지들을 프로세싱하기 위하여, 메쉬 데이터를 생성하고 메쉬 데이터를 안경 디바이스 상의 동반 애플리케이션으로 전송하는 애플리케이션을 실행한다.
일단 안경 디바이스가 테스팅 모드 수정의 결과들을 수신하면, 안경 디바이스는 대상자의 비정상들을 보상하기 위하여 결과들을 임의적인 이미지에 적용할 수 있다. 이 보정으로부터 기인하는 이미지들이 그 다음으로 디스플레이될 수 있다. 디스플레이는 VR, AR 헤드셋을 통한 것일 수 있다. 하나의 예에서, 디스플레이는 이미지들을 홀로그래피 방식으로 헤드셋들을 통해 사용자에게 제시한다. 각각의 디스플레이된 이미지는 각각의 눈을 위하여 생성된 메쉬(mesh)에 대응할 수 있다. 보정된 이미지들이 환자에게 무오류인 것으로 보일 경우에, 보정들은 성공적인 것으로 고려될 수 있고 미래의 이미지 프로세싱을 위하여 유지될 수 있다. 테스팅 모드의 일부 실시예들에서, 수정된 그리드들에 따라 수정된 단일 이미지를 제시하는 것 대신에 또는 이것에 추가적으로, 수정들을 편입시키는 비디오가 제시될 수 있다. 하나의 예에서, 비디오는 대상자에게 보여지는, 보정을 통한 카메라의 라이브 비디오 피드의 스트림을 포함한다.
본 기법들은 예를 들어, 광학적 병변들의 신속한 시작에 의해 빈번하게 영향받는 그렇지 않을 경우에 건강한 대상자들, 군인들 및 참전용사들과 같은 대상자들에 대하여, 임의의 수의 애플리케이션들에서 이용될 수 있다. 시각적 필드의 상실은 그 필수적인 업무들 뿐만 아니라 일상 생활의 활동들을 수행하기 위하여 군인들, 참전용사들, 다른 영향받은 환자들의 능력을 손상시킨다. 이 시각적 불능은 그 독립성, 안전성, 생산성, 및 삶의 질을 손상시키고, 낮은 자부심(self-esteem) 및 우울증(depression)을 초래한다. 최근의 과학적인 진전들에도 불구하고, 망막, 시신경, 또는 시각적 피질(visual cortex)의 현존하는 손상을 역전시키기 위한 치료 옵션들은 제한된다. 이에 따라, 치료는 그 기능성을 최대화하기 위한 시각적 보조들을 갖는 환자들을 제공하는 것에 의존한다. 현재의 시각적 보조들은 그 목적들을 달성할 시에 부족하다. 이것은 시각적 성능, 삶의 질, 및 안전성을 개선시키기 위한 더 양호한 시각적 보조들을 가지기 위한 필요성을 강조한다. 안경 디바이스 내로 통합된 본원에서의 기법들은, 소박하거나 동떨어진 것 뿐만 아니라, 일반적인 환경들에서 시각적 필드 결함들을 야기시키는, 군사-관련된 눈 부상들 및 질병들과 같은 눈 부상들의 보편적인 신속한 시작을 진달할 수 있고 완화할 수 있다. 본원에서의 기법들은 시각적 필드 결함들을 진단할 수 있고 수량화할 수 있다. 이 데이터를 이용하면, 디바이스들은 환자들의 관측 필드를 실시간으로 프로세싱하고, 그 나머지 기능적인 시각적 필드 상에서 보정된 이미지들을 맞추고 투영한다. 이에 따라, 환자들의 시각적 성능에 대한 시각적 필드의 블라인드(또는 감소된) 부분의 부정적인 효과를 최소화한다. 또한, 안경 디바이스가 시각적 필드 결함들을 진단하기 위하여 또 다른 의학적 디바이스에 의존하지 않는다는 사실은 안경 디바이스를 소박하고 동떨어진 환경들에서 특히 유용하게 한다. 유사하게, 본 기법들은 정상적인 대상자들의 시각적 필드를 증강시켜서 정상적인 시각적 필드 또는 시각보다 더 양호한 것을 가지기 위하여 이용될 수 있다.
본 기법들은 동적인 방식으로 저위 및/또는 고위 차수 시각적 수차에 대하여 보정할 수 있다. 본 기법들은 동공의 크기, 수용적 상황, 및 가시선에서의 변화를 검출할 수 있고, 대응하는 시각적 수차 보정 프로파일을 이용하여 사용자의 눈에 디스플레이되거나 투영된 시각적 이미지를 프로세싱할 수 있다. 고위 및/또는 저위 차수 수차들은 안경이 이러한 동적 보정 프로파일을 생성하는 것을 허용하기 위하여 수차계를 이용하여 동공 크기, 수용의 상태, 및 응시의 방향에 관련하여 캡처될 수 있다. 본 기법들에 의해 대상자에게 투영된 이미지는 그/그녀 자신의 수차들이 최상의 시각을 제공하기 위하여 재반전되도록, 대상자의 실제적인 수차들에 따라 반대로 왜곡될 수 있다(예컨대, 도 31b 내지 도 31f를 참조). 본 기법들은 근접 반사의 징후들, 즉, 축동(동공의 크기를 감소) 및 수렴(동공의 내향 교차)을 검출함으로써 수용의 상태를 검출할 수 있다. 동공 추적기는 응시의 방향을 검출하기 위하여 동공 및 가시선을 추적하기 위한 동공 추적기를 포함할 수 있다. 이러한 입력들 뿐만 아니라 본원에서 설명된 다른 것들은 본 기법들이 디스플레이되어야 할 보정 프로파일을 검출하는 것을 허용할 수 있다.
본 기법들은 근접 시각을 제공하기 위하여 디스플레이된 이미지들을 자동적으로 오토포커싱할 수 있다. 근접 시각을 추가로 증강시키고 증대시키기 위하여, 본 기법들은 근접 반사의 징후들, 어느 것이 축동(동공 크기에서의 감소) 및 수렴(눈의 내향 이동)인지를 검출함으로써, 대상자가 근접 타겟을 주시하려고 하는지를 검출하고 더 양호한 근접 시각을 제공하기 위하여, 카메라들과 같은 내향 지향된 이미지 센서들을 이용할 수 있다. 본 기법들은 또한, 대상자에 의해 가해진 근접 반사의 양을 수량화함으로써 객체가 얼마나 멀리 있는지를 결정하고, 이에 따라, 그것에 대한 적당한 보정을 제공한다.
본 기법들은 동적인 방식으로 이중 시각 부차적인 눈 오정렬에 대하여 보정할 수 있고, 이는 본 기법들이 대상자의 동공 및 가시선 또는 시각적 축들을 추적하므로, 본 기법들은 눈 정렬에 대한 연속적인 보상을 제공하고 이에 따라, 모든 응시들에서의 이중 시각을 방지하기 위하여 이미지들을 실시간으로 변위시킬 수 있다는 것을 의미한다.
본 기법들은 DTS 시각 필드 카메라들에 의해 캡처된 이미지를 대상자의 실제의 기능적인 시각적 필드로 재분산시키는 소프트웨어를 포함할 수 있다. 실제적인 시각적 필드는 동공, 가시선, 또는 시각적 축들을 참조하여 동적으로 투영될 수 있다.
연령 관련된 황반변성, 또는 중심 블라인드 스폿을 가지는 인간 황반부의 다른 병변을 갖는 환자들에서는, 본 기법들이 이미지를 대상자의 기능적인 시각적 필드의 주변 또는 부중심 부분으로 분산시키기 위하여 사용될 수 있다. 본 기법들은 관심 있는 이미지의 부분들을 망막의 건강한 부분들로 투영할 수 있고, 망막의 비건강한 부분들을 회피할 수 있다.
본 기법들은 정상적인 양안 시각적 필드를 캡처할 수 있고, 가장 넓은 가능한 관측 필드를 대상자에게 제공하기 위하여, 캡처된 정상적인 양안 시각적 필드를 양쪽 눈들의 실제의 기능적인 시각적 필드로 분산시킬 수 있다.
대상자 눈들의 비동일한 굴절력으로부터 기인하는 부동시는 예컨대, 동일한 크기들을 갖는 이미지들을 생성하는 것과, 시각적 교란들을 회피하기 위하여 이미지들을 양쪽 눈들에 디스플레이하거나 이미지들을 양쪽 눈들에 투영하는 것을 통해, 본 기법들에 의해 보정될 수 있다.
관심 있는 이미지의 축소 또는 확대와 같은 시각적 필드에 대한 왜곡을 야기시키는 유리 안경의 렌즈들과 달리, 본 기법들은 디스플레이 또는 투영의 시각적 필드가 보정 렌즈들에 독립적일 수 있으므로, 대상자들의 시각적 필드에 영향을 주지 않을 정도로 사용될 수 있다.
본 기법들은 포위하는 환경의 밝기로부터 독립적인 광을 디스플레이할 수 있거나 투영할 수 있고, 본 기법들에 의해 검출된 바와 같은 동공의 크기에 따라 자동적으로, 또는 환자가 요구하는 바와 같이 수동적으로 조절될 수 있다. 본 기법들은 동공 크기를 검출할 수 있고, 개인화되고 맞춤화된 방식으로 밝기에 대하여 조절할 수 있다. 동공부동증을 갖는 대상자들은 각각의 눈에 대한 밝기를 별도로 조절하는 것을 허용하기 위하여 본 기법들을 이용한다. 이것은 또한, 본 기법들이 동공 크기를 검출할 때, 본 기법들에 의해 자동적으로 행해진다.
예
시각적 필드 테스팅 프로토콜에서의 본 기법들의 일 예의 애플리케이션이 설명된다. 테스팅 모드는 도 35a에서 예시된 바와 같이, 미리 결정된 위치들에서의 52 개의 자극 시퀀스들을 이용하여 중심 40 도의 반경을 커버하는 4 개의 콘트라스팅 계단 자극들을 사용하는 고속 임계화 전략을 적용하였다. 다른 예들에서, 상이한 수들의 콘트라스트 자극들, 커버리지, 및 자극 위치들이 이용될 수 있다. 이 예에서, 자극들은 도 35a에서 도시된 각각의 셀의 중심에 위치되었다. 12 개의 코너 셀들은, 자극들이 원형 디스플레이의 렌즈로 인해 가시적이지 않을 경우에 테스팅되지 않았다. 각각의 자극 위치 사이의 이격은 대략 10 도 떨어져 있었다. 각각의 자극 시퀀스는 배경에 대한 상이한 콘트라스트 레벨들에서 4 개의 연속 자극들을 포함하였다. 자극 콘트라스트는 각각의 콘트라스트 레벨 사이의 내림 차순으로 3 dB의 단계들로 33 dB로부터 아래로 24 dB 사이의 범위였다. 임계치 값들은 최후에 보여진 자극에서 레코딩되었다. 환자가 특정 위치에서 임의의 자극 콘트라스트를 보지 않았을 경우에, 위치는 보이지 않는 것으로 표기되고, 0 dB의 값을 부여받았다.
배경은 밝은 조명(100 룩스(lux))을 가진 반면, 자극은 상이한 콘트라스트 정도들을 갖는 어두운 도트(dot)들이었다. 그러므로, 테스트는 박명시(mesopic) 테스트가 아니라, 주간시(photopic) 테스트였다. 일부 실시예들에서, 후방 지면은 어두울 수 있고, 자극들은 밝은 조명 도트들을 포함할 수 있다. 각각의 자극은 대략 250 msec의 시간 주기, 그 다음으로, 대략 300 msec의 응답 대기 시간 주기에 대하여 제시되었다. 이 시간 주기들은 또한, 예를 들어, 사전-테스트 입증에 기초하여 테스팅 이전에, 테스팅 동안에 동적으로 조절될 수 있는 대상자의 응답 속력에 따라 제어 프로그램을 통해 조절가능하게 되었다. 일반적으로, 0.44 도의 자극 크기는 표준 골드만(Goldmann) 자극 크기 III과 동등한 중심 24 도의 반경에서 이용되었다. (24 내지 40 도의 반경 사이의) 주변부에서의 자극 크기는 0.88 도인 것으로 2 배로 되었다. 주변 시각에서의 자극 크기를 2 배로 하는 것의 목적은 주변부에서의 열화된 디스플레이 렌즈 성능을 극복하기 위한 것이었다. 정상적인 인간 시각의 시력이 주변 영역들에서 훨씬 악화하므로, 이 렌즈 열화 효과는 상당하였다. 테스팅 프로그램은 또한, 자극 크기가 상이한 환자 경우들에 대하여 변화되기 위한 능력을 가졌다.
도 35a의 정착 타겟(패턴)은 테스팅된 각각의 눈을 위한 스크린의 중심에서 위치되었다. 이 타겟은 전통적인 험프리 테스트들에서 일상적으로 이용된 바와 같은 단일컬러 정착 포인트(unicolor fixation point)가 아니라, 멀티컬러 포인트(multicolor point)로서 설계되었다. 이 컬러 변화 효과는 대상자의 주의를 끄는 것을 도왔고, 타겟 포커싱을 그들을 위해 더 용이하게 하였다. 컬러 변화들의 빈도는 자극 등장과 비동적이어서, 대상자는 양자의 이벤트들을 함께 관련시키지 않고 거짓으로 응답할 것이다. 테스팅 프로토콜은 또한, 정착 타겟 크기가 환자의 조건에 따라 변화되기 위한 능력을 가졌다. 추가적으로, 눈/동공 추적 시스템은 상이한 시간 간격들로 대상자의 눈 정착을 체크하기 위하여 이용될 수 있다. 눈 추적 시스템은 대상자가 중심에 적절하게 포커싱되는지 또는 그렇지 않은지를 프로그램에 통지하는 응시 벡터들의 방향을 테스팅 프로그램으로 송신한다.
정착 체크들은 각각의 눈을 위한 동공/응시 데이터를 개별적으로 이용하여 수행되었다. 동공/응시 데이터는 상이한 시간 순간들에서 취득되었고, 응시 방향 벡터들이 대략 0 도에 있었을 경우에, 대상자는 중심 타겟 상에서 포커싱하고 있고, 그렇지 않을 경우에, 프로그램은 복원되어야 할 정착을 대기하는 것을 일시정지시킬 것이다. 환자가 정착으로부터 벗어났을 경우에, 자극은 도시되지 않았고, 테스트는 참가자가 정착 상태로 돌아올 때까지 중단되었다. 오프셋 공차(offset tolerance)는 정착 타겟에서의 사소한 눈 이동들을 위하여 허용되었다. 정착 체크들은 주로 2 개의 시간 이벤트들에서; 응답이 긍정적(환자가 자극을 보았음) 또는 부정적(환자가 자극을 보지 않았음)이든지 간에, 자극 시퀀스에서 각각의 자극을 도시하기 전에(즉, 더 이전에 언급된 4 개의 레벨들의 각각의 자극 콘트라스트 레벨 이전에), 그리고 응답을 레코딩하기 전에 각각의 자극들의 위치에 대하여 수행되었다. 부정적인 응답들은 허용된 응답 시간에 추가적으로, 자극 시퀀스 간격의 종료 시에 레코딩되었다. 자극 시퀀스를 도시하기 전에 정착을 체크하는 것은 환자가 정착 타겟 상에서 포커싱하고 있었다는 것을 보장하기 위한 것이었다. 대상자들이 정착으로부터 벗어났을 경우에, 자극은 도시되지 않았고, 테스트는 참가자가 정착 상태로 돌아올 때까지 중단되었다.
도 35b는 하나의 자극 위치에서의 테스팅 시퀀스의 5 개의 단계(a 내지 e)를 도시하는 타이밍도를 도시한다.
하나의 예에서, 별도일 수 있거나 시각 시스템 또는 그 디바이스의 컴포넌트일 수 있는 동공 추적 디바이스는 내향 지향된 이미지 센서들을 포함할 수 있고, 가시선 이동에 따라 투영되는 자극의 위치를 변화시킬 것을, 투영기를 포함할 수 있는 이미지 디스플레이 디바이스, 예컨대, 모니터에 명령하는 데이터를 제공하도록 구성될 수 있다. 이러한 방법으로, 대상자가 주위를 주시하고 있고 정착되지 않을 경우에, 자극들은 대상자의 눈들과 함께 이동할 수 있고, 시각적 필드의 희망된 위치를 테스팅하는 것을 계속할 것이다. 그러므로, 대상자가 정착 타겟의 외부에서 포커싱되는 것으로 결정될 때에 자극 시퀀스를 중단시키는 것이 아니라, 자극 시퀀스는 대상자의 현재의 정착 포인트의 결정에 기초하여 재위치결정된 바와 같은 시퀀스들 내의 대상자의 시각적 필드 내의 의도된 위치와 대응하기 위하여 자극의 수정과 함께 계속될 수 있다.
각각의 대상자에 대하여, 시각적 필드 테스트는 테스트가 어떻게 진행되는지의 대상자를 배향시킴으로써 시작되었다. 안경 디바이스는, 대상자가 정착 타겟을 명확하게 볼 수 있고, 필요할 경우에, 타겟 크기가 이에 따라 조절되었다는 것을 보장하기 위하여, 환자 상에서 맞추어졌다. 눈 추적 교정은 하나의 포인트, 정착 타겟에서 수행되었다. 그것에 후속하여, 입증 모드가 대상자에게 제시되었다. 이 모드는 주 테스트와 동일한 시퀀스를 따르지만, 오직 더 적은 위치들, 이 사례에서는 7 개의 위치들을 갖고, 그리고 임의의 응답들을 레코딩하지 않는다. 이 모드의 목적은 테스트 시에 대상자를 트레이닝하기 위한 것이었다. 추가적으로, 이 트레이닝 모드는 오류 또는 편차가 전체 테스트 동안에 발생하지 않을 것이라는 것을 보장하기 위하여, 프로그램 조작자가 눈 추적 시스템 정확도, 환자 응답 속력, 및 장착된 헤드셋에 대한 환자의 눈의 위치를 체크하는 것을 돕는다.
정상적인 블라인드 스폿들은 그 다음으로, 15-도 근처에서 1 도만큼 이격된 4 개의 상이한 위치들에서 역치상(suprathreshold) 자극을 도시함으로써 스캔되었다. 이 단계는 헤드셋과 대상자의 눈들 사이의 회전 부적응(rotational misfit)들을 회피하기 위하여 유익하다.
다음으로, 52 개의 자극 시퀀스들은 무작위적인 순서로 미리-특정된 위치들에서 환자에게 제시되었다. 대상자는 전자 클릭커를 작동시키거나 자극에 응답하여 제스처를 취하는 것의 어느 하나에 의해 응답들을 표시하였다. 모든 위치들에서 대상자의 응답들을 레코딩한 후에, "보여지지 않은" 포인트들의 위치들이 일시적으로 저장되었다. 검색 알고리즘은 그 다음으로, "보여지지 않은" 포인트들의 위치들의 둘레(perimeter) 상에서 모든 "보여진" 포인트들의 위치들을 구하기 위하여 채용되었다. 포인트들의 그 2 개의 세트들은 그 다음으로, 참가자에 의한 무작위적인 응답 오류들을 제거하고 시각적 필드 영역들의 연속성을 보장하기 위하여 재테스트(retest)되었다. 거짓 긍정적 응답들, 거짓 부정적 응답들, 및 정착 손실들(만약 존재할 경우)은 테스트의 종료에 의해 계산되고 보고되었다. 결과적으로, 모든 52 개의 응답들은 테스팅된 참가자의 연속적인 시각적 필드 도표를 생성하기 위하여 정육면체 방법(cubic method)을 이용하여 보간되었다.
시각적 필드 테스트는 안경 디바이스의 내부 디스플레이 렌즈의 부분들을 커버함으로써, 시뮬레이팅된 필드 결함들을 이용하여 20 명의 자원봉사자 대상자들에 대해 시도되었다. 결과들은 디스플레이의 커버된 에어리어들을 도시하는 이미지와의 포인트 대 포인트 비교 근거에 대해 평가되었다. 52 개의 응답들은 테스팅 정확도의 척도로서, 커버된 헤드셋의 디스플레이 이미지에서의 대략적인 대응하는 위치들에서 비교되었다. 계산된 오류들의 개요는 표 1에서 열거된다.
다른 한편으로, 23 명의 의학적 환자들에 대한 시각적 필드 테스트들은 그 방문들 동안에 대상자에 의해 일상적으로 행해진 가장 최근의 험프리 필드 분석기(Humphrey Field Analyzer)(HFA) 테스트와 비교되었다. 공통적인 24 도 중심 에어리어들은 일치되었고, 2 개의 필드 테스팅 디바이스들 사이에서 비교되었다. 비교 및 상대적인 오류 계산들은 공통적인 중심 24 도 에어리어들에서의 포인트 대 포인트 근거에 다시 기초하였고, 여기서, 이 영역을 지난 에어리어들은 중심 에어리어와의 연속성 및 격리된 응답 포인트들의 결여(lack)를 통해 판단되었다. 계산된 오류들의 개요는 표 2에서 열거된다.
이미지 리맵핑 프로세스가 그 다음으로 수행되었고, 이미지 리맵핑 프로세스는 환자에게 도시되어야 할 디스플레이된 이미지들에 대한 새로운 치수들 및 새로운 중심을 구하는 것을 수반하였다. 출력 이미지는 원래의 입력 이미지를 리사이징하고 시프팅시킴으로써 대상자의 눈의 밝은 시각적 필드에서 맞추어진다.
시각적 필드는 모든 보여진 환자 응답들을 1들로 설정하고, 그리고 보여지지 않은 응답들을 0(zero)들로 유지함으로써 2진화되었고, 이것은 8x8 크기의 작은 2진 이미지로 귀착되었다. 다른 실시예들에서, 더 작거나 더 큰 2진 이미지 크기들이 이용될 수 있다. 기껏해야 4 개의 접속된 픽셀들을 포함하는 작은 영역들은 2진 시각적 필드 이미지로부터 제거되었다. 더 크거나 더 작은 임계치 값들이 일부 실시예들에서 이용될 수 있지만, 4 개의 접속된 픽셀들은 작은 영역들의 결정을 위한 미리 결정된 임계치 값을 표현하였다. 그 작은 영역들은 이미지 맞춤화 프로세스에서 고려되지 않았다. 무시된 작은 영역들은 정상적인 블라인드 스폿들, 덜중요한 결함들, 또는 대상자의 시각적 필드 테스트 동안에 발생하였을 수 있는 임의의 무작위적인 오류성 응답들의 어느 하나를 표현한다.
이 보간된 2진 필드 이미지에 기초하여, 밝은 필드의 영역 성질들이 계산되었다. 밝은 영역들에 대한 계산된 성질들은: 1) 픽셀들의 단위들인 밝은 에어리어들, 2) 영역들의 경계결정 박스, 3) 가중화된 에어리어 센트로이드, 및 4) 시각적 필드의 밝은 영역들을 구성하는 모든 픽셀들의 리스트를 포함하였다. 경계결정 박스는 밝은 영역을 구성하는 모든 픽셀들을 동봉하는 가장 작은 직사각형으로서 취해졌다. 영역의 센트로이드는 수평 및 수직 좌표들에 대해 계산된 그 영역의 질량의 중심으로서 계산되었다. 이 성질의 값들은 맵핑을 위하여 요구된 이미지의 양에 대응하는 출력 이미지의 새로운 중심에 대응한다.
가장 큰 밝은 필드를 구성하는 픽셀들의 리스트를 이용하면, 밝은 필드를 경계결정하는 모든 픽셀들의 폭들 및 높이들이 도 36에서 도시된 바와 같이 계산되었다. 밝은 필드에서의 각각의 행(row)에 대하여, 2 개의 경계결정 픽셀들이 구해졌고, 그 수직 좌표들은 그 특정 행에서 필드의 폭 BFwidth를 얻기 위하여 감산(subtract)되었다. 이 폭 계산은 BFwidths를 계산하기 위하여 고려된 밝은 필드를 확립하는 모든 행들에 대하여 반복되었다. 동일한 반복 프로세스는 BFheights를 계산하기 위한 열 근거(column basis)에 대해 적용될 수 있다. 나중에, 2 개의 스케일링 수학식(scaling equation)들 중의 어느 하나는 도 37에서 도시된 바와 같이, 맵핑된 출력 이미지의 새로운 크기; Widthmap 및 Heightmap를 결정하기 위하여 이용될 수 있다.
Widthmap는 리사이징 수학식을 이용하여 계산될 수 있다:
여기서, BFwidths 및 BFheights는 각각 계산된 밝은 필드의 경계결정 픽셀들의 폭들 및 높이들이다. 이 스케일링 방법은 위와 같이 구해진 새로운 이미지 중심에 중심이 두어진, 각각의 방향에서의 밝은 시각적 필드 크기의 중위(median)로서, 새로운 출력 이미지 크기를 계산한다. 중위 척도는 극도로 크거나 작은 밝은 필드 치수들에 관련된 임의의 리사이징 편포도(skewness)를 회피하기 위하여, 평균 값 대신에 이용되었다. 이 방법의 맵핑 거동은 가장 큰 가능한 밝은 에어리어 내에서 이미지들을 맞추기 위한 것이지만, 이 방법이 종횡비(aspect ratio)를 보존하지 않으므로, 이미지 연신(stretching) 또는 압착(squeezing)이 발생할 수 있다.
Heightmap는 리사이징 수학식을 이용하여 계산될 수 있다:
여기서, Isize는 보간된 이미지 크기(출력 이미지 크기)이고, BXwidths, BXheights는 경계결정 박스 폭 및 높이이다. 수학식의 분자(numerator)들에서의 합산들은 각각 수평 및 수직 방향들에 대하여 계산된 밝은 필드 에어리어를 근사화한다. 그러므로, 그 합산들을 출력 이미지의 크기의 제곱에 의해 제산(divide)하는 것은 각각의 방향에서 맵핑되어야 할 비율적인 이미지 에어리어들의 추정치를 제공하였다. 이 비율들은 그 다음으로, 이전에 계산되었던 대응하는 경계결정 박스 치수에 의해 승산된다. 이 방법의 맵핑 거동은 출력 이미지의 종횡비를 보존하도록 노력하면서, 가장 큰 밝은 시각적 필드에서 이미지들을 맞추기 위한 것이다. 경계결정 박스의 치수들을 계산들 내로 편입시키는 것은 이 효과가 발생하는 것을 도왔다. 하지만, 종횡비의 보존은 모든 결함있는 시각적 필드 패턴들로 귀착되지 않을 수 있다.
하나의 실시예에서, AI 시스템은 어느 것이 시인 시각적 필드의 더 많은 것을 이미지와 맞추는 것을 허용할 것인지를 알아보기 위하여, 최적화의 프로세스에서 2개의 수학식들 및 수백이 아닌 경우에 수십 개의 차분 수학식들을 사용할 수 있다. 조작자의 피드백에 기초하여, 시스템은 보정되어야 할 특정 시각적 필드에 기초하여 다른 것들보다 더 많이 수학식을 선호하도록 학습할 수 있다.
이 리맵핑 기법들은 식별하는 위험한 객체 테스트에서 이용되었다. 리맵핑 방법들은 안전성 위험요소, 이 테스트에서 차량을 포함한 테스트 이미지들을 이용하여 23 명의 대상자들에 대해 테스팅되었다. 테스트 이미지들은 도 38에서 도시된 바와 같이, 시각적 필드의 4 개의 주 사분면들을 테스팅하도록 선택되었다. 시각적 필드 예는 대상자로의 디스플레이를 위한 테스트 이미지들을 리맵핑하기 위하여 이용되었다. 대상자는 인입하는 자동차의 이미지를 도시함으로써 테스팅되었다. 대상자는 리맵핑 없이 대상자에 의해 보여진 바와 같은 이미지를 예시하는 도 39a 및 리맵핑 후에 보여진 바와 같은 이미지를 예시하는 도 39b에서 도시된 바와 같이, 리맵핑된 이미지로 도시되기 전에 자동차를 볼 수 없었다. 우리의 예비적인 연구는 78 %의 대상자들(23 중에서 18)이 대상자들이 우리의 보조 없이 행할 수 없는 안전성 위험요소들을 식별할 수 있었다는 것을 입증하였다. 일부 대상자들은 양쪽 눈들에 대해 개별적으로 테스팅되었고, 따라서, 33 개의 눈 테스트들이 이용가능하였다. 33 개 중에서 23 개의 눈들에서, 시각적 보조는 시뮬레이팅된 인입하는 위험요소를 식별하는 대상자를 돕는 것에 효과적이었다는 것이 밝혀졌다(P = 0.023).
이 명세서의 전반에 걸쳐, 복수의 사례들은 단일 사례로서 설명된 컴포넌트들, 동작들, 또는 구조들을 구현할 수 있다. 하나 이상의 방법들의 개별적인 동작들은 별도의 동작들로서 예시되고 설명되지만, 개별적인 동작들 중의 하나 이상은 동시에 수행될 수 있고, 어떤 것도 동작들이 예시된 순서로 수행되는 것을 요구하지는 않는다. 일 예의 구성들에서 별도의 컴포넌트들로서 제시된 구조들 및 기능성은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조들 및 기능성은 별도의 컴포넌트들로서 구현될 수 있다. 이러한 그리고 다른 변형들, 수정들, 추가들, 및 개선들은 본원에서의 요지의 범위 내에 속한다.
추가적으로, 어떤 실시예들은 로직 또는 다수의 루틴들, 서브루틴들, 애플리케이션들, 또는 명령들을 포함하는 것으로서 본원에서 설명된다. 이들은 소프트웨어(예컨대, 머신-판독가능 매체 상에서 또는 송신 신호에서 구체화된 코드) 또는 하드웨어의 어느 하나를 구성할 수 있다. 하드웨어에서, 루틴들 등은 어떤 동작들을 수행할 수 있는 유형의 유닛들이고, 어떤 방식으로 구성되거나 배열될 수 있다. 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템들(예컨대, 단독형, 클라이언트, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈들(예컨대, 프로세서 또는 프로세서들의 그룹)은 본원에서 설명된 바와 같은 어떤 동작들을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예컨대, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다.
다양한 실시예들에서, 하드웨어 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 어떤 동작들을 수행하도록 (예컨대, 필드 프로그래밍가능 게이트 어레이(field programmable gate array)(FPGA) 또는 애플리케이션-특정 집적 회로(application-specific integrated circuit)(ASIC)와 같은 특수-목적 프로세서로서) 영구적으로 구성되는 전용 회로부 또는 로직을 포함할 수 있다. 하드웨어 모듈은 어떤 동작들을 수행하기 위하여 소프트웨어에 의해 일시적으로 구성되는 (예컨대, 범용 프로세서 또는 다른 프로그래밍가능 프로세서 내에서 포함된 바와 같은) 프로그래밍가능 로직 또는 회로부를 또한 포함할 수 있다. 전용이며 영구적으로 구성된 회로부에서, 또는 (예컨대, 소프트웨어에 의해 구성된) 일시적으로 구성된 회로부에서 하드웨어 모듈을 기계적으로 구현하기 위한 판단은 비용 및 시간 고려사항들에 의해 추진될 수 있다는 것이 인식될 것이다.
따라서, 용어 "하드웨어 모듈"은 어떤 방식으로 동작하거나 본원에서 설명된 어떤 동작들을 수행하도록 물리적으로 구축되거나, 영구적으로 구성(예컨대, 하드와이어링(hardwired))되거나, 또는 일시적으로 구성(예컨대, 프로그래밍)되는 엔티티인, 유형의 엔티티(tangible entity)를 망라하는 것으로 이해되어야 한다. 하드웨어 모듈들이 일시적으로 구성(예컨대, 프로그래밍)되는 실시예들을 고려하면, 하드웨어 모듈들의 각각은 시간에 있어서의 임의의 하나의 인스턴스에서 구성되거나 인스턴스화(instantiate)될 필요가 없다. 예를 들어, 하드웨어 모듈들이 소프트웨어를 이용하여 구성된 범용 프로세서를 포함할 경우, 범용 프로세서는 상이한 시간들에서 개개의 상이한 하드웨어 모듈들로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 시간의 하나의 인스턴스에서 특정한 하드웨어 모듈을 구성하고, 시간의 상이한 인스턴스에서 상이한 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 정보를 다른 하드웨어 모듈들에 제공할 수 있고, 다른 하드웨어 모듈들로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신가능하게 결합되는 것으로서 간주될 수 있다. 다수의 이러한 하드웨어 모듈들이 동시에 존재할 경우, 통신들은 (예컨대, 하드웨어 모듈들을 접속하는 적절한 회로들 및 버스들 상에서) 신호 송신을 통해 달성될 수 있다. 다수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예들에서, 이러한 하드웨어 모듈들 사이의 통신들은 예를 들어, 다수의 하드웨어 모듈들이 액세스하는 메모리 구조들에서의 정보의 저장 및 취출을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 동작을 수행할 수 있고, 그것이 통신가능하게 결합되는 메모리 디바이스에서 그 동작의 출력을 저장할 수 있다. 그 다음으로, 추가의 하드웨어 모듈은 저장된 출력을 취출하고 프로세싱하기 위하여 더 이후의 시간에 메모리 디바이스를 액세스할 수 있다. 하드웨어 모듈들은 입력 또는 출력 디바이스들과의 통신들을 또한 개시할 수 있고, 자원(예컨대, 정보의 집합)에 대해 동작할 수 있다.
본원에서 설명된 예시적인 방법들의 다양한 동작들은 적어도 부분적으로, 관련된 동작들을 수행하도록 (예컨대, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성되는 하나 이상의 프로세서들에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되든지 간에, 이러한 프로세서들은 하나 이상의 동작들 또는 기능들을 수행하도록 동작하는 프로세서-구현된 모듈들을 구성할 수 있다. 본원에서 지칭된 모듈들은 일부 예의 실시예들에서, 프로세서-구현된 모듈들을 포함할 수 있다.
유사하게, 본원에서 설명된 방법들 또는 루틴들은 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 동작들의 적어도 일부는 하나 이상의 프로세서들 또는 프로세서-구현된 하드웨어 모듈들에 의해 수행될 수 있다. 동작들 중의 어떤 것의 수행은 단일 머신 내에서 상주할 뿐만 아니라, 다수의 머신들에 걸쳐 전개된 하나 이상의 프로세서들 사이에서 분산될 수 있다. 일부 예의 실시예들에서, 프로세서 또는 프로세서들은 (예컨대, 가정 환경, 사무실 환경 내에서, 또는 서버 팜(server farm)으로서) 단일 위치에 위치될 수 있는 반면, 다른 실시예들에서, 프로세서들은 다수의 위치들에 걸쳐 분산될 수 있다.
동작들 중의 어떤 것의 수행은 단일 머신 내에서 상주할 뿐만 아니라, 다수의 머신들에 걸쳐 전개된 하나 이상의 프로세서들 사이에서 분산될 수 있다. 일부 예의 실시예들에서, 하나 이상의 프로세서들 또는 프로세서-구현된 모듈들은 (예컨대, 가정 환경, 사무실 환경, 또는 서버 팜 내의) 단일 지리적 위치에 위치될 수 있다. 다른 예의 실시예들에서, 하나 이상의 프로세서들 또는 프로세서-구현된 모듈들은 다수의 지리적 위치들에 걸쳐 분산될 수 있다.
이와 다르게 구체적으로 기재되지 않으면, "프로세싱(processing)", "컴퓨팅(computing)", "계산(calculating)", "결정(determining)", "제시(presenting)", "디스플레이(displaying)" 등과 같은 단어들을 이용한 본원에서의 논의들은 정보를 수신하거나, 저장하거나, 송신하거나, 디스플레이하는 하나 이상의 메모리들(예컨대, 휘발성 메모리, 비-휘발성 메모리, 또는 그 조합), 레지스터들, 또는 다른 머신 컴포넌트들 내의 물리적(예를 들어, 전기적, 자기적, 또는 광학적) 양들로서 표현된 데이터를 조작하거나 변환하는 머신(예를 들어, 컴퓨터)의 액션들 또는 프로세스들을 참조할 수 있다. 일부 실시예들에서, 메모리 또는 메모리의 컴퓨터 판독가능 저장 매체는 프로세서가 본원에서 개시된 다양한 시스템들 및 방법들을 제어하고 작동시키기 위한 프로그램들, 모듈들 및 데이터 구조들, 또는 그 서브세트를 저장한다. 하나의 실시예에서, 비-일시적 컴퓨터 판독가능 저장 매체는, 프로세서에 의해 실행될 때, 본원에서 개시된 방법들 중의 하나 이상을 수행하는 컴퓨터-실행가능 명령들을 그 상에 저장하였다.
본원에서 이용된 바와 같이, "하나의 실시예" 또는 "실시예"에 대한 임의의 참조는, 실시예와 관련하여 설명된 특정한 엘리먼트, 특징, 구조, 또는 특성이 적어도 하나의 실시예 내에 포함된다는 것을 의미한다. 명세서에서의 다양한 장소들에서의 어구 "하나의 실시예에서"의 출현들은 반드시 모두 동일한 실시예를 지칭하고 있는 것은 아니다.
일부 실시예들은 그 파생어들과 함께, 표현 "결합된(coupled)" 및 "접속된(connected)"을 이용하여 설명될 수 있다. 예를 들어, 일부 실시예들은 2 개 이상의 엘리먼트들이 직접적으로 물리적 또는 전기적으로 접촉한다는 것을 표시하기 위하여 용어 "결합된"을 이용하여 설명될 수 있다. 그러나, 용어 "결합된"은 또한, 2 개 이상의 엘리먼트들이 서로 직접적으로 접촉하는 것이 아니라, 아직 여전히 서로 협력하거나 상호작용한다는 것을 의미할 수 있다. 실시예들은 이 문맥에서 제한되지 않는다.
본원에서 이용된 바와 같이, 용어들 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)", "포함하는(including)", "가진다(has)", "가지는(having)" 또는 그 임의의 다른 변형은 비-포괄적인 포함을 커버하도록 의도된다. 예를 들어, 엘리먼트들의 리스트를 포함하는 프로세스, 방법, 물품, 또는 장치는 오직 그 엘리먼트들로 반드시 제한되는 것이 아니라, 명백히 열거되거나, 이러한 프로세스, 방법, 물품, 또는 장치에 내재적이지 않은 다른 엘리먼트들을 포함할 수 있다. 또한, 반대로 명백히 기재되지 않으면, "또는(or)"은 배타적이 아닌 포함적인 것을 지칭한다. 예를 들어, 조건 A 또는 B는 다음 중의 임의의 하나에 의해 만족된다: A는 참(또는 존재함)이고 B는 거짓(또는 존재하지 않음)이고, A는 거짓(또는 존재하지 않음)이고 B는 참(또는 존재함)이고, 양자의 A 및 B는 참(또는 존재함)이다.
추가적으로, "a" 및 "an"의 이용은 본원에서의 실시예들의 엘리먼트들 및 컴포넌트들을 설명하기 위하여 채용된다. 이것은 단지 편의상, 그리고 설명의 일반적인 의미를 제공하기 위하여 행해진다. 이 설명 및 후속하는 청구항들은 하나 또는 적어도 하나를 포함하도록 판독되어야 하고, 단수는 또한, 단수가 이와 다르게 의도되는 것이 명백하지 않으면, 복수를 포함한다.
이 상세한 설명은 오직 예로서 해석되어야 하고, 모든 가능한 실시예들을 설명하지는 않는데, 이는 모든 가능한 실시예를 설명하는 것이 불가능하지는 않더라도, 비실용적일 것이기 때문이다. 누군가는 현재의 기술, 또는 이 출원의 출원일 이후에 개발된 기술의 어느 하나를 이용하여 수 많은 대안적인 실시예들을 구현할 수 있다.
Claims (30)
- 장면의 시야 증가를 용이화하는 시스템으로서,
컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서를 포함하는 컴퓨터 시스템을 포함하고, 상기 컴퓨터 프로그램 명령어들은, 실행될 때, 상기 컴퓨터 시스템으로 하여금:
웨어러블 디바이스를 통해, 장면의 복수의 뷰를 획득하게 하고;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 사용자의 중심 시야에 관련된, 장면의 제1 영역을 결정하게 하고;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 사용자의 주변 시야에 관련된, 장면의 제2 영역을 결정하게 하고;
수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현 및 상기 공통 주변 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분, (ⅱ) 뷰에 공통인 주변 영역에 대응하는 뷰 중 적어도 하나의 일 부분, 및 (ⅲ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하게 하고,
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는, 시스템. - 제1항에 있어서,
상기 컴퓨터 시스템은:
상기 공통 제1 영역의 크기는 감소되고, 상기 제2 영역 중 적어도 하나의 크기는 증가하도록 상기 복수의 뷰의 각각의 뷰의 시프팅을 수행하도록 야기되고,
상기 수정된 뷰를 생성하는 것은, (ⅰ) 상기 수정된 뷰의 상기 제1 부분에 표현된 상기 공통 제1 영역은 감소된 크기를 반영하고, (ⅱ) 상기 수정된 뷰의 상기 제2 부분에 표현된 상기 제2 영역 중 적어도 하나는 증가된 크기를 반영하도록, 상기 시프팅의 수행에 후속하여 상기 수정된 뷰를 생성하는 것을 포함하는, 시스템. - 제1항에 있어서,
상기 컴퓨터 시스템은:
상기 공통 제1 영역의 임의의 크기조정의 정도가 상기 제2 영역 중 적어도 하나의 임의의 크기조정의 정도와 상이하도록, 상기 복수의 뷰 중 하나 이상의 영역의 크기조정을 수행하도록 야기되고,
상기 수정된 뷰를 생성하는 것은, 상기 크기조정의 수행에 후속하여 상기 수정된 뷰를 생성하는 것을 포함하는, 시스템. - 제3항에 있어서,
상기 크기조정을 수행하는 것은, 상기 수정된 뷰의 상기 제1 부분에서 표현된 상기 공통 제1 영역의 크기에서의 백분율 변화가 상기 수정된 뷰의 상기 제2 부분에서 표현된 상기 제2 영역 중 적어도 하나의 크기에서 백분율 변화보다 크거나 작도록, 상기 복수의 뷰의 하나 이상의 영역의 크기조정을 수행하는 것을 포함하는, 시스템. - 제4항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0이고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0보다 큰, 시스템. - 제4항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0보다 크고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0인, 시스템. - 제1항에 있어서,
상기 웨어러블 디바이스는 제1 및 제2 카메라를 포함하고, 상기 복수의 뷰를 획득하는 것은 상기 웨어러블 디바이스의 상기 제1 카메라를 통해 상기 복수의 뷰 중 적어도 하나는 획득하는 것, 및 상기 웨어러블 디바이스의 제2 카메라를 통해 상기 복수의 뷰 중 적어도 다른 하나를 획득하는 것을 포함하는, 시스템. - 제1항에 있어서,
상기 웨어러블 디바이스는 제1 및 제2 모니터를 포함하고, 상기 수정된 뷰가 디스플레이되게 하는 것은 상기 수정된 뷰가 상기 제1 및 제2 모니터를 통해 디스플레이되게 하는 것을 포함하는, 시스템. - 제1항에 있어서,
상기 컴퓨터 시스템은 웨어러블 컴퓨터 시스템이고, 상기 웨어러블 컴퓨터 시스템은, 실행될 때, 상기 웨어러블 컴퓨터 시스템으로 하여금 상기 복수의 뷰의 획득, 상기 제1 영역을 결정, 상기 제2 영역의 결정, 상기 수정된 뷰의 생성 및 상기 수정된 뷰의 디스플레이 동작들을 수행하게 하는 상기 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서를 포함하는, 시스템. - 제1항에 있어서,
상기 웨어러블 디바이스는 웨어러블 안경 디바이스를 포함하는, 시스템. - 제10항에 있어서,
상기 웨어러블 안경 디바이스는, 실행될 때, 상기 웨어러블 안경 디바이스로 하여금 상기 복수의 뷰의 획득, 상기 제1 영역을 결정, 상기 제2 영역의 결정, 상기 수정된 뷰의 생성 및 상기 수정된 뷰의 디스플레이 동작들을 수행하게 하는 상기 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서를 포함하는, 시스템. - 실행될 때, 방법을 수행하는 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서에 의해 구현되는 방법으로서,
웨어러블 디바이스의 하나 이상의 카메라를 통해, 장면의 복수의 뷰를 획득하는 단계;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 각각의 뷰의 중심에 근접한 뷰에서 표현되는, 장면의 제1 영역을 결정하는 단계;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 주변 시야에 관련된, 장면의 제2 영역을 결정하는 단계;
상기 공통 제1 영역의 크기는 감소되고, 상기 제2 영역 중 적어도 하나의 크기는 증가하도록 상기 복수의 뷰의 각각의 뷰의 시프팅을 수행하는 단계;
수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분 및 (ⅱ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하는 단계 - (ⅰ) 상기 수정된 뷰의 상기 제1 부분에 표현된 상기 공통 제1 영역은 감소된 크기를 반영하고, (ⅱ) 상기 수정된 뷰의 상기 제2 부분에 표현된 상기 제2 영역 중 적어도 하나는 증가된 크기를 반영함 -; 및
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 단계를 포함하는, 방법. - 제12항에 있어서,
상기 공통 제1 영역의 임의의 크기조정의 정도가 상기 제2 영역 중 적어도 하나의 임의의 크기조정의 정도와 상이하도록, 상기 복수의 뷰 중 하나 이상의 영역의 크기조정을 수행하는 단계를 더 포함하고,
상기 수정된 뷰를 생성하는 단계는, 상기 크기조정의 수행에 후속하여 상기 수정된 뷰를 생성하는 단계를 포함하는, 방법. - 제13항에 있어서,
상기 크기조정을 수행하는 단계는, 상기 수정된 뷰의 상기 제1 부분에서 표현된 상기 공통 제1 영역의 크기에서의 백분율 변화가 상기 수정된 뷰의 상기 제2 부분에서 표현된 상기 제2 영역 중 적어도 하나의 크기에서 백분율 변화보다 크거나 작도록, 상기 복수의 뷰의 하나 이상의 영역의 크기조정을 수행하는 단계를 포함하는, 방법. - 제14항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0이고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0보다 큰, 방법. - 제14항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0보다 크고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0인, 방법. - 하나 이상의 프로세서에 의해 실행될 때, 동작들을 야기하는 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 동작들은:
웨어러블 디바이스를 통해, 장면의 복수의 뷰를 획득하는 동작;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 각각의 뷰의 중심에 근접한 뷰에서 표현되는, 장면의 제1 영역을 결정하는 동작;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 주변 시야에 관련된, 장면의 제2 영역을 결정하는 동작;
상기 공통 제1 영역의 크기는 감소되고, 상기 제2 영역 중 적어도 하나의 크기는 증가하도록 상기 복수의 뷰의 각각의 뷰의 시프팅을 수행하는 동작;
상기 시프팅의 수행에 후속하여, 향상된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분 및 (ⅱ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 향상된 뷰를 생성하는 동작 - (ⅰ) 상기 향상된 뷰의 상기 제1 부분에 표현된 상기 공통 제1 영역은 감소된 크기를 반영하고, (ⅱ) 상기 향상된 뷰의 상기 제2 부분에 표현된 상기 제2 영역 중 적어도 하나는 증가된 크기를 반영함 -; 및
상기 향상된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 동작을 포함하는, 비일시적인 컴퓨터 판독가능한 매체. - 실행될 때, 방법을 수행하는 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서에 의해 구현되는 방법으로서,
웨어러블 디바이스의 하나 이상의 카메라를 통해, 장면의 복수의 뷰를 획득하는 단계;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 각각의 뷰의 중심에 근접한 뷰에서 표현되는, 장면의 제1 영역을 결정하는 단계;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 주변 시야에 관련된, 장면의 제2 영역을 결정하는 단계;
상기 공통 제1 영역의 임의의 크기조정의 정도가 상기 제2 영역 중 적어도 하나의 임의의 크기조정의 정도와 상이하도록, 상기 복수의 뷰 중 하나 이상의 영역의 크기조정을 수행하는 단계;
상기 크기조정의 수행에 후속하여, 수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분 및 (ⅱ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하는 단계; 및
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 단계를 포함하는, 방법. - 제18항에 있어서,
상기 크기조정을 수행하는 단계는, 상기 수정된 뷰의 상기 제1 부분에서 표현된 상기 공통 제1 영역의 크기에서의 백분율 변화가 상기 수정된 뷰의 상기 제2 부분에서 표현된 상기 제2 영역 중 적어도 하나의 크기에서 백분율 변화보다 크거나 작도록, 상기 복수의 뷰의 하나 이상의 영역의 크기조정을 수행하는 단계를 포함하는, 방법. - 제19항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0이고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0보다 큰, 방법. - 제19항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0보다 크고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0인, 방법. - 하나 이상의 프로세서에 의해 실행될 때, 동작들을 야기하는 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 동작들은:
웨어러블 디바이스를 통해, 장면의 복수의 뷰를 획득하는 동작;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 각각의 뷰의 중심에 근접한 뷰에서 표현되는, 장면의 제1 영역을 결정하는 동작;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 주변 시야에 관련된, 장면의 제2 영역을 결정하는 동작;
상기 공통 제1 영역의 임의의 크기조정의 정도가 상기 제2 영역 중 적어도 하나의 임의의 크기조정의 정도와 상이하도록, 상기 복수의 뷰 중 하나 이상의 영역의 크기조정을 수행하는 동작;
상기 크기조정의 수행에 후속하여, 수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분 및 (ⅱ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하는 동작; 및
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 동작을 포함하는, 비일시적인 컴퓨터 판독가능한 매체. - 제22항에 있어서,
상기 크기조정을 수행하는 단계는, 상기 수정된 뷰의 상기 제1 부분에서 표현된 상기 공통 제1 영역의 크기에서의 백분율 변화가 상기 수정된 뷰의 상기 제2 부분에서 표현된 상기 제2 영역 중 적어도 하나의 크기에서 백분율 변화보다 크거나 작도록, 상기 복수의 뷰의 하나 이상의 영역의 크기조정을 수행하는 단계를 포함하는, 비일시적인 컴퓨터 판독가능한 매체. - 제23항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0이고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0보다 큰, 비일시적인 컴퓨터 판독가능한 매체. - 제23항에 있어서,
상기 제2 영역 중 적어도 하나의 크기에서의 백분율 변화는 0보다 크고, 상기 공통 제1 영역의 크기에서의 백분율 변화는 0인, 비일시적인 컴퓨터 판독가능한 매체. - 실행될 때, 방법을 수행하는 컴퓨터 프로그램 명령어들을 실행하는 하나 이상의 프로세서에 의해 구현되는 방법으로서,
웨어러블 디바이스를 통해, 장면의 복수의 뷰를 획득하는 단계;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 사용자의 중심 시야에 관련된, 장면의 제1 영역을 결정하는 단계;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 사용자의 주변 시야에 관련된, 장면의 제2 영역을 결정하는 단계;
수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현 및 상기 공통 주변 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분, (ⅱ) 뷰에 공통인 주변 영역에 대응하는 뷰 중 적어도 하나의 일 부분, 및 (ⅲ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하는 단계; 및
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 단계를 포함하는, 방법. - 하나 이상의 프로세서에 의해 실행될 때, 동작들을 야기하는 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 동작들은:
웨어러블 디바이스를 통해, 장면의 복수의 뷰를 획득하는 동작;
(ⅰ) 상기 뷰에서 공통적이고, (ⅱ) 사용자의 중심 시야에 관련된, 장면의 제1 영역을 결정하는 동작;
상기 뷰의 각각의 뷰에 대해, (ⅰ) 상기 뷰에서 표현되고, (ⅱ) 사용자의 주변 시야에 관련된, 장면의 제2 영역을 결정하는 동작;
수정된 뷰가 (ⅰ) 상기 공통 제1 영역의 표현 및 상기 공통 주변 영역의 표현을 포함하는 제1 부분 및 (ⅱ) 상기 제1 부분 주위에 있고, 상기 제2 영역의 표현들을 포함하는 제2 부분을 포함하도록, (ⅰ) 상기 공통 제1 영역에 대응하는 뷰 중 적어도 하나의 일 부분, (ⅱ) 뷰에 공통인 주변 영역에 대응하는 뷰 중 적어도 하나의 일 부분, 및 (ⅲ) 상기 제2 영역에 대응하는 뷰의 부분들에 기초하여 수정된 뷰를 생성하는 동작; 및
상기 수정된 뷰가 상기 웨어러블 디바이스를 통해 디스플레이되게 하는 동작을 포함하는, 비일시적인 컴퓨터 판독가능한 매체. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762563770P | 2017-09-27 | 2017-09-27 | |
| US62/563,770 | 2017-09-27 | ||
| PCT/US2018/053213 WO2019067779A1 (en) | 2017-09-27 | 2018-09-27 | DIGITAL THERAPEUTIC GUARANTEES |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200063173A KR20200063173A (ko) | 2020-06-04 |
| KR102724424B1 true KR102724424B1 (ko) | 2024-10-31 |
Family
ID=65807407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207011621A Active KR102724424B1 (ko) | 2017-09-27 | 2018-09-27 | 디지털 치료적 보정 안경 |
Country Status (7)
| Country | Link |
|---|---|
| US (4) | US10386645B2 (ko) |
| EP (1) | EP3687465B1 (ko) |
| JP (2) | JP2021502130A (ko) |
| KR (1) | KR102724424B1 (ko) |
| CN (1) | CN111511318B (ko) |
| CA (1) | CA3075934A1 (ko) |
| WO (1) | WO2019067779A1 (ko) |
Families Citing this family (93)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11546527B2 (en) * | 2018-07-05 | 2023-01-03 | Irisvision, Inc. | Methods and apparatuses for compensating for retinitis pigmentosa |
| US10963999B2 (en) | 2018-02-13 | 2021-03-30 | Irisvision, Inc. | Methods and apparatus for contrast sensitivity compensation |
| US11372479B2 (en) | 2014-11-10 | 2022-06-28 | Irisvision, Inc. | Multi-modal vision enhancement system |
| GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
| CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| US10742944B1 (en) | 2017-09-27 | 2020-08-11 | University Of Miami | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations |
| US10531795B1 (en) * | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
| US10389989B2 (en) | 2017-09-27 | 2019-08-20 | University Of Miami | Vision defect determination and enhancement using a prediction model |
| US11179093B2 (en) * | 2017-09-27 | 2021-11-23 | Apexk Inc. | Apparatus and method for evaluating cognitive function |
| US10409071B2 (en) | 2017-09-27 | 2019-09-10 | University Of Miami | Visual enhancement for dynamic vision defects |
| KR102724424B1 (ko) | 2017-09-27 | 2024-10-31 | 유니버시티 오브 마이애미 | 디지털 치료적 보정 안경 |
| CA3094130A1 (en) * | 2018-03-16 | 2019-09-19 | REBIScan, Inc. | Apparatus and method for ophthalmic neural scanning |
| US11980507B2 (en) | 2018-05-02 | 2024-05-14 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
| US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
| US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
| FR3089785B1 (fr) * | 2018-12-17 | 2020-11-20 | Pierre Briand | Dispositif médical d’aide à la perception d’environnement pour des utilisateurs aveugles ou malvoyants |
| US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
| US11178389B2 (en) * | 2019-03-25 | 2021-11-16 | Microsoft Technology Licensing, Llc | Self-calibrating display device |
| JP7276823B2 (ja) * | 2019-03-28 | 2023-05-18 | 学校法人早稲田大学 | 視覚認知機能評価システム |
| US11112609B1 (en) * | 2019-05-07 | 2021-09-07 | Snap Inc. | Digital glasses having display vision enhancement |
| JP7172870B2 (ja) * | 2019-06-19 | 2022-11-16 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
| US12178666B2 (en) | 2019-07-29 | 2024-12-31 | Augmedics Ltd. | Fiducial marker |
| US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
| WO2021038422A2 (en) | 2019-08-26 | 2021-03-04 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
| CN110597386A (zh) * | 2019-09-03 | 2019-12-20 | 北京爱博同心医学科技有限公司 | 基于增强现实的图像亮度提升方法及增强现实眼镜 |
| CN110706164A (zh) * | 2019-09-03 | 2020-01-17 | 北京爱博同心医学科技有限公司 | 基于增强现实的管状视野图像变形显示方法及眼镜 |
| CN110728651A (zh) * | 2019-09-03 | 2020-01-24 | 北京爱博同心医学科技有限公司 | 基于增强现实的管状视野图像变形检测方法及眼镜 |
| CN110728631A (zh) * | 2019-09-03 | 2020-01-24 | 北京爱博同心医学科技有限公司 | 基于增强现实的图像动态对比度增强方法及增强现实眼镜 |
| CN110728630A (zh) * | 2019-09-03 | 2020-01-24 | 北京爱博同心医学科技有限公司 | 基于增强现实的互联网图像处理方法及增强现实眼镜 |
| KR102250775B1 (ko) * | 2019-10-18 | 2021-05-11 | 주식회사 에스알파테라퓨틱스 | 근시 치료를 위한 디지털 장치 및 애플리케이션 |
| US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
| US12112665B2 (en) | 2019-11-01 | 2024-10-08 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
| US12360592B2 (en) | 2019-11-01 | 2025-07-15 | Evolution Optiks Limited | Light field device and vision testing system using same |
| US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
| CN114365027A (zh) | 2019-11-06 | 2022-04-15 | 海思智财控股有限公司 | 显示具有景深的物体的系统与方法 |
| CA3162928A1 (en) * | 2019-11-29 | 2021-06-03 | Electric Puppets Incorporated | System and method for virtual reality based human biological metrics collection and stimulus presentation |
| JP2021089351A (ja) * | 2019-12-03 | 2021-06-10 | キヤノン株式会社 | 頭部装着システム及び情報処理装置 |
| WO2021112836A1 (en) * | 2019-12-04 | 2021-06-10 | Hewlett-Packard Development Company, L.P. | Interfaces and processes for biological characteristics handling in head-mountable devices |
| US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
| US11435503B2 (en) | 2020-01-31 | 2022-09-06 | Microsoft Technology Licensing, Llc | Head mounted display device with double faceted optics |
| US11243399B2 (en) | 2020-01-31 | 2022-02-08 | Microsoft Technology Licensing, Llc | Head mounted display device with double faceted optics |
| JP7272985B2 (ja) * | 2020-03-23 | 2023-05-12 | ホヤ レンズ タイランド リミテッド | 仮想画像生成装置及び仮想画像生成方法 |
| US12137975B2 (en) * | 2020-03-30 | 2024-11-12 | The Research Foundation For The State University Of New York | Systems, methods, and program products for performing on-off perimetry visual field tests |
| GB2584546B (en) * | 2020-04-06 | 2021-09-01 | Novasight Ltd | Method and device for treating vision impairment |
| US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
| SE2050893A1 (en) * | 2020-07-14 | 2022-01-15 | Heads Stockholm Ab | Eye movement evaluation |
| US12239385B2 (en) | 2020-09-09 | 2025-03-04 | Augmedics Ltd. | Universal tool adapter |
| CN112022642B (zh) * | 2020-09-16 | 2023-01-10 | 杭州集视智能科技有限公司 | 一种基于视野中心损伤的边缘视野训练设备及训练方法 |
| US12329453B2 (en) | 2020-10-28 | 2025-06-17 | University Of Miami | Device calibration via a projective transform matrix |
| EP4236755A4 (en) * | 2020-10-28 | 2025-01-08 | University of Miami | SYSTEMS AND METHODS FOR VISUAL FIELD TESTING IN HEAD-MOUNTED DISPLAYS |
| US10993612B1 (en) | 2020-10-28 | 2021-05-04 | University Of Miami | Systems and methods for visual field testing in head-mounted displays |
| KR102467429B1 (ko) * | 2020-11-13 | 2022-11-16 | (주)에이트원 | 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법 |
| US20240000308A1 (en) * | 2020-11-20 | 2024-01-04 | Diagnosys LLC | Methods and apparatus for performing enhanced full-field stimulus threshold (fst) tests |
| DE102020214707A1 (de) | 2020-11-24 | 2022-05-25 | Hochschule Bremen | Verfahren und Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung |
| CN112426333A (zh) * | 2020-11-24 | 2021-03-02 | 杭州集视智能科技有限公司 | 一种偏盲患者立体视觉辅助电子设备及其控制方法 |
| WO2022115860A1 (en) * | 2020-11-25 | 2022-06-02 | Irisvision, Inc. | Methods and systems for evaluating vision acuity and/or conducting visual field tests in a head-mounted vision device |
| KR20220078298A (ko) * | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치 |
| GB202019278D0 (en) * | 2020-12-08 | 2021-01-20 | Give Vision Ltd | Vision aid device |
| US20220187906A1 (en) * | 2020-12-16 | 2022-06-16 | Starkey Laboratories, Inc. | Object avoidance using ear-worn devices and image sensors |
| CN114903760B (zh) * | 2021-01-08 | 2025-07-04 | 上海青研科技有限公司 | 一种斜视训练设备 |
| IL305654A (en) * | 2021-03-05 | 2023-11-01 | Evolution Optiks Ltd | A light field device and a vision-based inspection system that uses it |
| US11681146B2 (en) * | 2021-03-18 | 2023-06-20 | Snap Inc. | Augmented reality display for macular degeneration |
| US20230201067A1 (en) | 2021-06-11 | 2023-06-29 | Hes Ip Holdings, Llc | Systems and methods for improving vision of a viewer's eye with impaired retina |
| CN113413265A (zh) * | 2021-06-24 | 2021-09-21 | 上海理湃光晶技术有限公司 | 视功能障碍者视觉辅助方法、系统及智能ar眼镜 |
| CN113520709B (zh) * | 2021-06-25 | 2024-01-02 | 艾视雅健康科技(苏州)有限公司 | 一种头戴式电子辅助视觉设备及其视物变形矫正方法 |
| US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
| US12150821B2 (en) | 2021-07-29 | 2024-11-26 | Augmedics Ltd. | Rotating marker and adapter for image-guided surgery |
| JP7544001B2 (ja) * | 2021-08-23 | 2024-09-03 | トヨタ自動車株式会社 | 遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラム |
| CN113687513A (zh) * | 2021-08-26 | 2021-11-23 | 北京邮电大学 | 一种面向视野缺失人群的区域视野转移系统 |
| JP7663947B2 (ja) | 2021-10-28 | 2025-04-17 | 学校法人北里研究所 | 視覚情報補正装置、視覚情報補正方法、及びプログラム |
| JP7480335B2 (ja) | 2021-12-08 | 2024-05-09 | セブンポイントワン インコーポレイテッド | 登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム |
| KR102383793B1 (ko) * | 2021-12-08 | 2022-04-11 | 주식회사 세븐포인트원 | 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템 |
| EP4197425A1 (en) * | 2021-12-17 | 2023-06-21 | Carl Zeiss Vision International GmbH | Determining a visual performance of an eye of a person |
| US11918287B2 (en) * | 2021-12-27 | 2024-03-05 | Novasight Ltd. | Method and device for treating / preventing refractive errors as well as for image processing and display |
| US11633097B1 (en) | 2022-03-18 | 2023-04-25 | Mongoose Enterprises, LLC | Automated method for testing peripheral and expanded visual fields on limited field of view head-mounted device |
| EP4511809A1 (en) | 2022-04-21 | 2025-02-26 | Augmedics Ltd. | Systems and methods for medical image visualization |
| US12164109B2 (en) * | 2022-04-29 | 2024-12-10 | Snap Inc. | AR/VR enabled contact lens |
| US20240036641A1 (en) * | 2022-08-01 | 2024-02-01 | Heru Inc. | Ocular anomaly detection via concurrent presentation of stimuli to both eyes |
| EP4587881A1 (en) | 2022-09-13 | 2025-07-23 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
| EP4339681A1 (en) * | 2022-09-16 | 2024-03-20 | Leica Instruments (Singapore) Pte Ltd | Device for an imaging system, ocular, display apparatus, imaging system, method and computer program |
| KR20240066844A (ko) * | 2022-11-08 | 2024-05-16 | 삼성전자주식회사 | 탄젠트 스크린을 표시하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법 |
| US11864834B1 (en) * | 2023-01-25 | 2024-01-09 | SoliDDD Corp. | Multi-tiled plenoptic system for the detection and correction of ocular defects and for improved foveated rendering |
| CN115862300B (zh) * | 2023-02-15 | 2023-11-14 | 暨南大学附属第一医院（广州华侨医院） | 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜 |
| KR102596560B1 (ko) * | 2023-03-21 | 2023-10-31 | 주식회사 셀리코 | 시각장애환자 (망막색소 변성증, 황반반변성증, 녹내장)을 위한 증강현실 장치 및 알고리즘 |
| US20240331264A1 (en) * | 2023-03-28 | 2024-10-03 | SoftWeir Inc. | Systems, Devices, and Methods for Generating a Display |
| WO2025038626A2 (en) * | 2023-08-17 | 2025-02-20 | The Johns Hopkins University | Immersive headset evaluation of visual field |
| ES3004577A1 (es) | 2023-09-08 | 2025-03-12 | Voptica S L | Instrumento oftálmico binocular para llevar puesto para la simulación visual de aberraciones oculares y método para la simulación visual de aberraciones oculares |
| WO2025076361A1 (en) * | 2023-10-06 | 2025-04-10 | Tesseract Health, Inc. | Systems, apparatus, articles of manufacture, and methods for gaze angle triggered fundus imaging |
| US20250123490A1 (en) * | 2023-10-16 | 2025-04-17 | Apple Inc. | Head-Mounted Device with Double Vision Compensation and Vergence Comfort Improvement |
| FR3155699A1 (fr) * | 2023-11-29 | 2025-05-30 | Eyesoft | Système informatique de dépistage, d’évaluation et de rééducation de déséquilibres oculomoteurs et d’amélioration et d’entrainement du confort et de la performance visuelle |
| US20250187437A1 (en) * | 2023-12-12 | 2025-06-12 | Fcs Us Llc | Enhanced reality system for a vehicle and method of using the same |
| ES3030938A1 (es) | 2023-12-28 | 2025-07-02 | Univ Murcia | Instrumento optoelectrónico binocular de tipo gafa para la mejora visual de ambos ojos y método para la mejora visual |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030174284A1 (en) * | 2002-03-12 | 2003-09-18 | Stewart Jeffrey L. | Method and apparatus for measuring contrast sensitivity |
| US20120200595A1 (en) * | 2007-04-02 | 2012-08-09 | Esight Corporation | Apparatus and method for augmenting sight |
| US20140210970A1 (en) * | 2013-01-29 | 2014-07-31 | Xerox Corporation | Central vision impairment compensation |
| US20160104453A1 (en) * | 2014-10-14 | 2016-04-14 | Digital Vision Enhancement Inc | Image transforming vision enhancement device |
| US20170092007A1 (en) * | 2015-09-24 | 2017-03-30 | Supereye, Inc. | Methods and Devices for Providing Enhanced Visual Acuity |
Family Cites Families (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5208872A (en) * | 1990-03-30 | 1993-05-04 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Programmable remapper with single flow architecture |
| US5359675A (en) | 1990-07-26 | 1994-10-25 | Ronald Siwoff | Video spectacles |
| US5841511A (en) | 1992-06-02 | 1998-11-24 | Eyesys Technologies, Inc. | Method of corneal analysis using a checkered placido apparatus |
| US5589897A (en) * | 1995-05-01 | 1996-12-31 | Stephen H. Sinclair | Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters |
| US5737060A (en) | 1996-08-16 | 1998-04-07 | Kasha, Jr.; John R. | Visual field perimetry using virtual reality glasses |
| US5831667A (en) | 1996-09-27 | 1998-11-03 | Enhanced Vision Systems | X-Y viewing table and adapter for low vision enhancement systems |
| GB9722949D0 (en) | 1997-10-30 | 1998-01-07 | Bid Instr Ltd | Ocular testing and related projection apparatus and method |
| US6152565A (en) | 1997-12-31 | 2000-11-28 | Premier Laser Systems, Inc. | Handheld corneal topography system |
| WO2000057772A1 (en) | 1999-03-31 | 2000-10-05 | Virtual-Eye.Com, Inc. | Kinetic visual field apparatus and method |
| JP2007503008A (ja) | 2003-08-15 | 2007-02-15 | イー・ビジョン・エルエルシー | 向上した電気活性レンズシステム |
| JP2005069757A (ja) * | 2003-08-21 | 2005-03-17 | National Institute Of Advanced Industrial & Technology | 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム |
| WO2005072667A1 (ja) * | 2004-01-29 | 2005-08-11 | Konica Minolta Photo Imaging, Inc. | 視覚補助表示装置 |
| JP4537192B2 (ja) | 2004-12-21 | 2010-09-01 | キヤノン株式会社 | 眼科装置 |
| ES2380506T3 (es) | 2005-02-01 | 2012-05-14 | Eyesight & Vision Gmbh | Dispositivo para la medición y la corrección quirúrgica de aberraciones en el ojo humano |
| US20090153796A1 (en) | 2005-09-02 | 2009-06-18 | Arthur Rabner | Multi-functional optometric-ophthalmic system for testing diagnosing, or treating, vision or eyes of a subject, and methodologies thereof |
| US8100530B2 (en) | 2006-01-20 | 2012-01-24 | Clarity Medical Systems, Inc. | Optimizing vision correction procedures |
| JP4721941B2 (ja) * | 2006-03-30 | 2011-07-13 | 北海道公立大学法人 札幌医科大学 | 検査システム、訓練システムおよび視覚情報呈示システム |
| US8454166B2 (en) | 2006-12-04 | 2013-06-04 | Atheer, Inc. | Methods and systems for amblyopia therapy using modified digital content |
| JP4663669B2 (ja) * | 2007-03-29 | 2011-04-06 | 大塚電子株式会社 | 動画像処理装置及び方法 |
| US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
| US8130262B2 (en) * | 2009-01-15 | 2012-03-06 | International Business Machines Corporation | Apparatus and method for enhancing field of vision of the visually impaired |
| CN101601577B (zh) * | 2009-02-26 | 2011-01-19 | 复旦大学附属眼耳鼻喉科医院 | 一种具有眼球跟踪和屈光补偿功能的电子视野计 |
| EP2502410B1 (en) | 2009-11-19 | 2019-05-01 | eSight Corporation | A method for augmenting sight |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| DE102012001835B4 (de) * | 2012-01-31 | 2023-03-02 | Mekra Lang Gmbh & Co. Kg | Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels |
| US20130215147A1 (en) | 2012-02-17 | 2013-08-22 | Esight Corp. | Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System |
| US9516283B2 (en) | 2012-06-13 | 2016-12-06 | Esight Corp. | Apparatus and method for enhancing human visual performance in a head worn video system |
| US9351639B2 (en) * | 2012-03-17 | 2016-05-31 | Visunex Medical Systems Co. Ltd. | Eye imaging apparatus with a wide field of view and related methods |
| US8864310B2 (en) | 2012-05-01 | 2014-10-21 | RightEye, LLC | Systems and methods for evaluating human eye tracking |
| JP6238974B2 (ja) | 2012-06-11 | 2017-11-29 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 導波路リフレクタアレイプロジェクタを用いる複数の深度平面３次元ディスプレイ |
| CN104812342B (zh) | 2012-08-24 | 2018-05-11 | Ic英赛德有限公司 | 视觉帮助投影仪 |
| US9823745B1 (en) * | 2012-08-30 | 2017-11-21 | Atheer, Inc. | Method and apparatus for selectively presenting content |
| JP2013056206A (ja) * | 2012-11-08 | 2013-03-28 | Tomohiro Tsuta | 視野視覚機能マッピング装置 |
| US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
| US20140146394A1 (en) | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
| US9677869B2 (en) * | 2012-12-05 | 2017-06-13 | Perimeter Medical Imaging, Inc. | System and method for generating a wide-field OCT image of a portion of a sample |
| WO2014100891A1 (en) | 2012-12-31 | 2014-07-03 | Esight Corp. | Apparatus and method for fitting head mounted vision augmentation systems |
| US9395543B2 (en) | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
| US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| CA2939928C (en) * | 2014-02-19 | 2021-06-22 | Evergaze, Inc. | Apparatus and method for improving, augmenting or enhancing vision |
| US9971153B2 (en) | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
| US9028067B1 (en) * | 2014-05-28 | 2015-05-12 | Sightex LLC | Relocated virtual retinal image method and system |
| US9706910B1 (en) | 2014-05-29 | 2017-07-18 | Vivid Vision, Inc. | Interactive system for vision assessment and correction |
| MX2017000239A (es) * | 2014-07-07 | 2017-08-25 | Eyebrain Medical Inc | Sistema para medir disparidad de fijacion visual. |
| GB201417208D0 (en) | 2014-09-30 | 2014-11-12 | Ibvision Ltd | Method Software And Apparatus For Testing A Patiants Visual Field |
| WO2016130941A1 (en) * | 2015-02-12 | 2016-08-18 | Google Inc. | Combining a high resolution narrow field display and a mid resolution wide field display |
| US9943223B2 (en) * | 2015-02-13 | 2018-04-17 | University Of Miami | Retinal nerve fiber layer volume analysis for detection and progression analysis of glaucoma |
| NZ773831A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| WO2016149536A1 (en) | 2015-03-17 | 2016-09-22 | Ocutrx Vision Technologies, Llc. | Correction of vision defects using a visual display |
| US20160274365A1 (en) * | 2015-03-17 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality |
| US9952434B2 (en) | 2015-04-22 | 2018-04-24 | The Florida International University Board Of Trustees | Device for assisting visually impaired patients |
| US20180173009A1 (en) * | 2015-05-29 | 2018-06-21 | University Of Rochester | Optical device for off-axis viewing |
| US10127706B2 (en) | 2016-01-12 | 2018-11-13 | Esight Corp. | Language element vision augmentation methods and devices |
| US10568502B2 (en) | 2016-03-23 | 2020-02-25 | The Chinese University Of Hong Kong | Visual disability detection system using virtual reality |
| WO2017181010A1 (en) | 2016-04-15 | 2017-10-19 | Luminopia, Inc. | Methods and head-mounted apparatus for visual care and enhancement |
| WO2018057050A1 (en) | 2016-09-23 | 2018-03-29 | Bao Sheng | Selectably opaque displays |
| US11160688B2 (en) | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
| US20180144554A1 (en) * | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
| US20200073476A1 (en) | 2017-03-15 | 2020-03-05 | Samsung Electronics Co., Ltd. | Systems and methods for determining defects in visual field of a user |
| CA3058669A1 (en) | 2017-04-14 | 2018-10-18 | Magic Leap, Inc. | Multimodal eye tracking |
| US20180314066A1 (en) * | 2017-04-28 | 2018-11-01 | Microsoft Technology Licensing, Llc | Generating dimming masks to enhance contrast between computer-generated images and a real-world view |
| US10531795B1 (en) | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
| US10409071B2 (en) | 2017-09-27 | 2019-09-10 | University Of Miami | Visual enhancement for dynamic vision defects |
| US10389989B2 (en) | 2017-09-27 | 2019-08-20 | University Of Miami | Vision defect determination and enhancement using a prediction model |
| KR102724424B1 (ko) * | 2017-09-27 | 2024-10-31 | 유니버시티 오브 마이애미 | 디지털 치료적 보정 안경 |
-
2018
- 2018-09-27 KR KR1020207011621A patent/KR102724424B1/ko active Active
- 2018-09-27 CN CN201880075827.5A patent/CN111511318B/zh active Active
- 2018-09-27 CA CA3075934A patent/CA3075934A1/en active Pending
- 2018-09-27 WO PCT/US2018/053213 patent/WO2019067779A1/en unknown
- 2018-09-27 JP JP2020513863A patent/JP2021502130A/ja active Pending
- 2018-09-27 EP EP18861136.2A patent/EP3687465B1/en active Active
- 2018-09-27 US US16/144,995 patent/US10386645B2/en active Active
-
2019
- 2019-03-28 US US16/367,751 patent/US10444514B2/en active Active
- 2019-05-31 US US16/428,380 patent/US10481402B1/en active Active
- 2019-09-04 US US16/560,212 patent/US10955678B2/en active Active
-
2023
- 2023-01-18 JP JP2023005907A patent/JP7592112B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030174284A1 (en) * | 2002-03-12 | 2003-09-18 | Stewart Jeffrey L. | Method and apparatus for measuring contrast sensitivity |
| US20120200595A1 (en) * | 2007-04-02 | 2012-08-09 | Esight Corporation | Apparatus and method for augmenting sight |
| US20140210970A1 (en) * | 2013-01-29 | 2014-07-31 | Xerox Corporation | Central vision impairment compensation |
| US20160104453A1 (en) * | 2014-10-14 | 2016-04-14 | Digital Vision Enhancement Inc | Image transforming vision enhancement device |
| US20170092007A1 (en) * | 2015-09-24 | 2017-03-30 | Supereye, Inc. | Methods and Devices for Providing Enhanced Visual Acuity |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3687465A4 (en) | 2021-06-16 |
| US10955678B2 (en) | 2021-03-23 |
| KR20200063173A (ko) | 2020-06-04 |
| US20190227327A1 (en) | 2019-07-25 |
| EP3687465B1 (en) | 2024-05-29 |
| JP2023071644A (ja) | 2023-05-23 |
| CN111511318A (zh) | 2020-08-07 |
| CA3075934A1 (en) | 2019-04-04 |
| BR112020006142A2 (pt) | 2020-11-24 |
| JP7592112B2 (ja) | 2024-11-29 |
| CN111511318B (zh) | 2023-09-15 |
| WO2019067779A1 (en) | 2019-04-04 |
| US20190391398A1 (en) | 2019-12-26 |
| EP3687465C0 (en) | 2024-05-29 |
| US10481402B1 (en) | 2019-11-19 |
| US10444514B2 (en) | 2019-10-15 |
| US10386645B2 (en) | 2019-08-20 |
| US20190094552A1 (en) | 2019-03-28 |
| EP3687465A1 (en) | 2020-08-05 |
| JP2021502130A (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102724424B1 (ko) | 디지털 치료적 보정 안경 | |
| US11039745B2 (en) | Vision defect determination and enhancement using a prediction model | |
| US11701000B2 (en) | Modification profile generation for vision defects related to double vision or dynamic aberrations | |
| US10802288B1 (en) | Visual enhancement for dynamic vision defects | |
| US10531795B1 (en) | Vision defect determination via a dynamic eye-characteristic-based fixation point | |
| US10742944B1 (en) | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations | |
| US20250040800A1 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
| US11659987B2 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
| CA3133317A1 (en) | Vision defect determination and enhancement | |
| BR112020006142B1 (pt) | Óculos corretivos terapêuticos digitais |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20200422 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210915 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230922 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240729 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20241028 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20241028 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |