[go: up one dir, main page]

CN110864673A - 信息显示方法及其显示系统 - Google Patents

信息显示方法及其显示系统 Download PDF

Info

Publication number
CN110864673A
CN110864673A CN201811604249.8A CN201811604249A CN110864673A CN 110864673 A CN110864673 A CN 110864673A CN 201811604249 A CN201811604249 A CN 201811604249A CN 110864673 A CN110864673 A CN 110864673A
Authority
CN
China
Prior art keywords
information
user
image
target
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811604249.8A
Other languages
English (en)
Inventor
徐玮璘
余姿儀
陈恒殷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Original Assignee
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI, Intellectual Property Innovation Corp filed Critical Industrial Technology Research Institute ITRI
Publication of CN110864673A publication Critical patent/CN110864673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种信息显示方法及其显示系统，此系统包括可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置，其中处理装置连接于显示器、第一信息提取装置以及第二信息提取装置。第一信息提取装置用以提取使用者的位置信息。第二信息提取装置用以提取目标物的位置信息。处理装置用以根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息，以及根据融合信息，将目标物的相关信息显示于显示器。

Description

信息显示方法及其显示系统
技术领域
本发明涉及影像处理及显示领域，并特别涉及一种信息显示方法及其显示系统。
背景技术
随着影像处理技术与空间定位技术的发展，透明显示器的应用已逐渐受到重视。此类的技术可让显示器搭配实体物件，再辅以相关信息，并且依照使用者的需求来产生交互式的体验，可使信息以更为直观的方式呈现。然而，此种显示系统中用以对外取像的影像提取装置往往无法架设于显示器的正中央，所拍摄到的实体物件影像易与人眼视觉有所偏差。在显示器上所呈现的目标物相关信息难以与实体物件精准地融合，而造成使用者观看上的不适。
发明内容
本发明公开了一种信息显示方法及其显示系统，其可让使用者的视线与显示器上的显示信息达到良好的匹配，以提升使用者舒适的观看体验。
本发明一范例实施例中，上述显示系统包括可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置，其中处理装置连接于显示器、第一信息提取装置以及第二信息提取装置。第一信息提取装置用以提取使用者的位置信息。第二信息提取装置用以提取目标物的位置信息。处理装置用以根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息，以及根据融合信息，显示目标物的相关信息于显示器。
本发明一范例实施例中，上述信息显示方法适用于具有可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置的显示系统，包括下列步骤。利用第一信息提取装置提取使用者的位置信息。利用所述第二信息提取装置提取目标物的位置信息。根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息。根据融合信息，显示目标物的相关信息于显示器。
本发明一范例实施例中，上述显示系统包括可透光的显示器以及处理装置，其中显示系统连接于第一信息提取装置以及第二信息提取装置。处理装置用以取得第一信息提取装置所提取的使用者的位置信息以及第二信息提取装置所提取的目标物的位置信息，根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息，以及根据融合信息，显示目标物的相关信息于显示器。
附图说明
图1为根据本发明一范例实施例所绘示的显示系统的示意图。
图2是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图3A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图3B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图4A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图4B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图5A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图5B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图6A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图6B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图7A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图7B是根据本发明一范例实施例所绘示的建立视觉转换模型的流程图。
图8A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图8B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
图9A是根据本发明之一实施例所绘示的显示系统的配置示意图。
图9B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
符号说明:
100：显示系统
110：显示器
120：第一信息提取装置
130：第二信息提取装置
140：处理装置
S202～S208、S302A～S312、S402A～S412、S502A～S512、S602A～S612、S702～S710、ML、S802A～S812：步骤
C3～C8：坐标转换
U3～U9：使用者
T3～T9：目标物
T5’：目标物
ImgU3：使用者影像
ImgT3：目标物影像
320A、320B、330A、330B、420A、420B、430A、430B、520A、
520B、530A、530B、620A、620B、630、730A、730B、820A、
820B、830A、830B、930C、930D、920C：影像传感器
920A、920B、930A、930B：红外线传感器
R：人眼视线范围
IS：全域影像
IS’：第一全域影像
IS”：第二全域影像
IU：使用者视野
F：标靶
G：关注点
具体实施方式
为让本发明能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本发明的部份范例实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些范例实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些范例实施例仅为本发明的专利申请范围中的方法以及系统的范例。
图1为根据本发明一范例实施例所绘示的显示系统的示意图。首先图1先介绍显示系统中的所有构件以及配置关系，详细功能将配合后续范例实施例的流程图一并揭露。
请参照图1，本范例实施例中的显示系统100包括显示器110、至少一个第一信息提取装置120、至少一个第二信息提取装置130以及处理装置140，其中处理装置140可以是以无线、有线、或电性连接于显示器110、第一信息提取装置120以及第二信息提取装置130。
显示器110用以显示信息，其包括例如是液晶显示器(Liquidcrystal display，LCD)、场色序(Fieldsequentialcolor)显示器、发光光二极管(Light emittingdiode，LED)显示器、电湿润显示器等穿透式可透光显示器，或者是投影式可透光显示器。使用者可透过显示器110所观看到的内容将会是叠加目标物相关信息的实体场景。
第一信息提取装置120用以提取使用者的位置信息，而第二信息提取装置130用以提取实体场景中的目标物位置信息。第一信息提取装置120可以例如是至少一个影像传感器、至少一个深度传感器、或其组合，也就是可以分别定位出使用者所在位置信息的装置或其组合，皆属于第一信息提取装置120的范畴。第二信息提取装置120则可以例如是多个影像传感器，或者是至少一个影像传感器搭配至少一个深度传感器，也就是可以定位出目标物所在的位置信息以及辨识出目标物影像信息的装置或其组合，皆属于第二信息提取装置130的范畴。本领域具通常知识者应明了，上述的影像传感器可用以提取影像并且包括具有透镜以及感光元件的摄像镜头。上述的深度传感器可用以侦测深度信息，其可以分为主动式深度感测技术以及被动式深度感测技术来实现。主动式深度感测技术可通过主动发出光源、红外线、超音波、雷射等作为信号搭配时差测距技术来计算深度信息。被动式深度感测技术可以通过两个影像传感器以不同视角同时提取其前方的两张影像，以利用两张影像的视差来计算深度信息。
处理装置140用以控制显示系统100的作动，其包括存储器以及处理器。存储器可以例如是任意型式的固定式或可移动式随机存取存储器(random accessmemory，RAM)、只读存储器(read-onlymemory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器可以例如是中央处理单元(centralprocessingunit，CPU)、应用处理器(applicationprocessor，AP)，或是其他可程序化之一般用途或特殊用途的微处理器(microprocessor)、数位信号处理器(digitalsignalprocessor，DSP)、影像信号处理器(imagesignal processor，ISP)、图形处理器(graphicsprocessingunit，GPU)或其他类似装置、集成电路及其组合。
在本范例实施例中，处理装置140可以是内建于显示器110。第一信息提取装置120以及第二信息提取装置130可以是分别设置于显示器110上的相对两侧、显示系统100所属场域的上方相对于显示器110的相对两侧等可以针对使用者以及目标物的位置进行定位，并且透过各自的通讯界面以习知有线或是无线的方式传输信息至处理装置140。在另一范例实施例中，显示系统100可为单一整合系统，其可以实作成头戴式显示装置，本发明不在此设限。以下实施例中将搭配显示系统100的各元件来说明信息显示方法的实施细节。
图2是根据本发明一范例实施例所绘示的信息显示方法的流程图，而图2的方法流程可由图1的显示系统100来实现。在此，使用者可透过显示系统100的显示器110来观看目标物及其相关信息。
请同时参照图1以及图2，首先，显示系统100的处理装置140可利用第一信息提取装置120提取使用者的位置信息(步骤S202)，并且利用第二信息提取装置130提取目标物的位置信息(步骤S204)。如同前述，第一信息提取装置120以及第二信息提取装置130例如是可针对使用者以及目标物的所在位置进行定位的影像传感器、深度传感器及其组合，而具体设置方式将于后续范例实施例中分叙说明。
接着，处理装置140将根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息(步骤S206)。在此，使用者的位置信息以及目标物的位置信息可以是以相对于第一信息提取装置120以及第二信息提取装置130的坐标来表示。处理装置140可针对第一信息提取装置120以及第二信息提取装置130所提取到的位置信息进行校正，以转换至相同的坐标系统来表示。具体来说，使用者的位置信息具有使用者相对于第一信息提取装置120的使用者坐标，目标物的位置信息具有目标物相对于第二信息提取装置130的目标物坐标，而处理装置140可将使用者坐标以及目标物坐标转换至相同的坐标系统，例如是世界坐标系统(worldcoordinate system)，进而取得使用者以及目标物分别在三维空间中的位置。接着，处理装置140可通过使用者以及目标物的坐标转换结果来估算出使用者的人眼视线信息以及目标物所在场景的立体校正信息(以下称为立体场景校正信息)，，以做为产生使用者与目标物之间相对于显示器110的融合信息的依据。举例来说，处理装置140可根据人眼视线信息来计算出使用者于显示器110上的关注点(例如，使用者的凝视范围)，并且根据该目标物影像进行目标物的影像辨识，以产生影像辨识结果。之后，处理装置140可根据关注点、影像辨识结果以及立体场景校正信息来产生融合信息。
具体来说，例如人眼可视范围的水平角度约124°，垂直角度约120°，两眼的综合视角约170°。其中，人眼的感光细胞并非平均分布，中央凹的部份会比其他部份密集。面对正前方例如0°-30°为中心辨识角度，可明确辨识物体，看清物体存在，超过30°之外可为余光。据此，假设人眼与显示器110的距离为M，人眼的中心辨识角度为15°，则其凝视范围A可利用下列公式计算而得：d＝M×tan15°以及A＝π×d2。
接着，处理装置140可根据融合信息，将目标物的相关信息显示于显示器110(步骤S208)。在此，处理装置140是根据融合信息中所指出使用者的人眼视线信息以及目标物所在场景的立体校正信息来设定目标物相关信息的显示位置。此外，处理装置140更可搭配目标物的影像信息来进一步地设定相关信息。在此的相关信息可以是目标物的导览信息、目标物的虚拟互动物件等，本发明不以此为限。而处理装置140根据整合过的融合信息使显示于显示器110上的相关信息可与使用者的视线达到良好的匹配，以提升使用者舒适的观看体验。
为了方便明了，以下实施例将搭配显示系统100的不同配置方式来具体地说明图2流程的细节。
图3A是根据本发明之一实施例所绘示的显示系统的配置示意图，图3B是根据本发明一范例实施例所绘示的信息显示方法的流程图。
请先参照图3A，在本范例实施例中，第一信息提取装置120更可用以判别使用者的视线信息，其可以实作为两个影像传感器320A、320B，针对使用者U3来进行影像提取，而产生两张不同视角的使用者影像ImgU3。第二信息提取装置130是用以判别使用者透过显示器110所观看到的场景信息，其可以实作为两个影像传感器330A、330B，针对包括目标物T3的场景来进行影像提取，而产生两张不同视角的目标物影像ImgT3。处理装置140将利用使用者影像ImgU3以及目标物影像ImgT3来进行图3B的流程。
请同时参照图3A以及图3B，在本范例实施例中，处理装置140在取得使用者影像ImgU3(步骤S302A)以及目标物影像ImgT3(步骤S302B)后，将进行坐标转换(C3)。详细来说，处理装置140可针对使用者影像ImgU3来进行相对于影像传感器320A、320B的相机坐标的旋转与位移校正(步骤S304A)。详细来说，处理装置140可计算影像传感器320A、320B于实际空间中的偏差量并将之对齐，且合并至世界坐标系统。具体来说，处理装置140可以是根据方程式(1)来进行坐标转换：
Figure BDA0001923238660000071
其中
Figure BDA0001923238660000072
为影像坐标，
Figure BDA0001923238660000073
为相机内部参数矩阵，
Figure BDA0001923238660000074
为相机外部参数矩阵，
Figure BDA0001923238660000075
为世界坐标，为影像传感器320A、320B于实际空间中的偏差量。另一方面，处理装置140可针对目标物影像ImgT3来进行相对于影像传感器320A、320B的相机坐标旋转与位移校正(步骤S304B)。类似地，处理装置140将计算影像传感器330A、330B于实际空间中的偏差量并将之对齐，且合并至世界坐标系统。
处理装置140将使用者影像ImgU3所对应的立体空间以及目标物影像ImgT3所对应的立体空间整合至相同的坐标系统后，以分别产生使用者世界坐标以及目标物世界坐标后，可取得人眼视线信息(步骤S306A)以及立体场景校正信息(步骤S306B)。在此，处理装置140可以利用任何眼球追踪算法来估算出人眼视线信息，从而进行使用者U3对于显示器110的观看分析(步骤S308)，以取得使用者对于显示器110上的关注点G。在此可合理地假设目标物T3是位于使用者视线上(即，使用者U3与关注点G的延伸在线)，而处理装置140可根据使用者视线来利用目标物影像ImgT3进行目标物T3的影像辨识(步骤S310)，以取得以使用者U3的视线所观看到的场景内容。接着，处理装置140可搭配立体场景校正信息，来计算目标物T3的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S312)。在本范例实施例中的相关信息为平面信息，而处理装置140可根据关注点G、目标物T3的影像辨识结果以及立体场景校正信息来设定相关信息于显示器110上的显示位置，以做为使用者U3与目标物T3之间的融合信息，并且将相关信息显示在此显示位置上。如此一来，使用者U3可透过显示器110观看到叠加目标物相关信息的实体场景。
附带一提的是，在一范例实施例中，为了加速取得使用者U3的人眼视线信息，第一信息提取装置120可以是定位器以及接收器，其中定位器例如为使用者U3的手持装置或穿戴装置，而接收器可设置于显示器110上。接收器可以是以任何习知主动式或被动式的传输方式接收自定位器所传送使用者U3于世界坐标系统的使用者世界坐标，而处理装置140即可得知使用者的所在位置，进而推估出人眼的所在位置。在一范例实施例中，显示系统100的显示器110更可以是触控显示器，也就是说第一信息提取装置120可以是设置于显示器110上的触控元件，以侦测使用者U3对于显示器110的触控操作，并且可假设使用者于显示器110上的触控位置为使用者对于显示器110上的关注点。此外，在一范例实施例中，为了更精准地计算出使用者与目标物之间的位置信息，可在图3A的架构上更增设用于提取使用者的红外线影像的红外线影像传感器以及/或用于提取目标物的红外线影像的红外线影像传感器。必须说明的是，无论是采用何种传感器来取得使用者或者是目标物的位置信息，处理装置140需将对应的位置信息整合至相同的坐标系统中。
图4A是根据本发明之一实施例所绘示的显示系统的配置示意图，图4B是根据本发明一范例实施例所绘示的信息显示方法的流程图。图4A～图4B的目标物的相关信息为立体信息。
请先参照图4A，在本范例实施例中，第一信息提取装置120可更用以判别使用者的视线信息，其可以实作为两个影像传感器420A、420B，针对使用者U4来进行影像提取，而产生两张使用者影像。第二信息提取装置130是用以判别使用者透过显示器110所观看到的场景信息，其可以实作为两个影像传感器430A、430B，针对包括目标物T4的场景来进行影像提取，而产生两张目标物影像。处理装置140可利用使用者影像、目标物影像来进行图4B的流程。
请同时参照图4A以及图4B，在本范例实施例中，处理装置140在取得使用者影像(步骤S402A)以及目标物影像(步骤S402B)后，将进行坐标转换(C4)。详细来说，处理装置140将针对使用者影像来进行相对于影像传感器420A、420B的相机坐标的旋转与位移校正(步骤S404A)，并且针对目标物影像来进行相对于影像传感器430A、430B的相机坐标旋转与位移校正(步骤S404B)。处理装置140将使用者影像所对应的立体空间以及目标物影像所对应的立体空间整合至相同的坐标系统后，可取得人眼视线信息(步骤S406A)以及立体场景校正信息(步骤S406B)。接着，处理装置140可进行使用者U4对于显示器110的观看分析(步骤S408)，以取得使用者对于显示器110上的关注点G，而处理装置140可根据使用者视线来利用目标物影像ImgT4进行目标物T4的影像辨识(步骤S410)，以取得以使用者U4的视线所观看到的场景内容。上述步骤S402A～S410的细节请参照图3B的类似相关说明，于此不再赘述。
不同于图3B的范例实施例，在此的处理装置140可预先建立相关信息的立体模型(步骤S405)，再搭配立体场景校正信息，来计算目标物T4的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S412)。也就是说，在本范例实施例中的相关信息为立体信息，而处理装置140可根据关注点G、目标物T4的影像辨识结果以及立体场景校正信息所设定的显示器110的显示位置来做为使用者U4与目标物T4之间的融合信息，以做为显示相关信息的依据。如此一来，使用者U4可透过显示器110观看到叠加立体相关信息的实体场景。
图5A是根据本发明之一实施例所绘示的显示系统的配置示意图，图5B是根据本发明一范例实施例所绘示的信息显示方法的流程图。图5A以及图5B的实施例的使用者与目标物处于不同介质，因此人眼视线信息需要根据不同介质的折射率来做更进一步的校正。
请先参照图5A，在本范例实施例中，第一信息提取装置120可更用以判别使用者的视线信息，其可以实作为两个影像传感器520A、520B，针对使用者U5来进行影像提取，而产生两张使用者影像。第二信息提取装置130是用以判别使用者透过显示器110所观看到的场景信息，其可以实作为两个影像传感器530A、530B，针对包括目标物T5的场景来进行影像提取，而产生两张目标物影像。处理装置140可利用使用者影像、目标物影像来进行图5B的流程。在本范例实施例中，使用者U5与目标物T5分别位于折射率为的介质1以及折射率为的介质2中，例如空气以及水，而以及分别为人眼视线相对于法线的入射角以及折射角。处理装置140在进行人眼观看分析时，需要进行人眼视线的校正，以取得目标物T5的真实位置。
请同时参照图5A以及图5B，在本范例实施例中，处理装置140在取得使用者影像(步骤S502A)以及目标物影像(步骤S502B)后，将进行坐标转换(C5)。详细来说，处理装置140可针对使用者影像来进行相对于影像传感器520A、520B的相机坐标的旋转与位移校正(步骤S504A)，并且针对目标物影像来进行相对于影像传感器530A、530B的相机坐标旋转与位移校正(步骤S504B)。处理装置140将使用者影像所对应的立体空间以及目标物影像所对应的立体空间整合至相同的坐标系统后，可取得人眼视线信息(步骤S506A)以及立体场景校正信息(步骤S506B)。上述步骤S502A～S506B的细节请参照图3B的类似相关说明，于此不再赘述。
在本范例实施例中，处理装置140可更进一步地针对人眼视线信息进行校正(步骤S506A’)，以取得校正后的人眼视线信息。详细来说，当处理装置140以方程序(1)取得到人眼视线信息时，基于使用者U5是观看到不同介质中的目标物T5，处理装置140可根据两个介质的折射率来根据司乃耳定律(Snell’sLaw)以及方程式(2)来对人眼视线信息进行校正：
Figure BDA0001923238660000101
其中，
Figure BDA0001923238660000111
为校正后的人眼视线信息，
Figure BDA0001923238660000112
以及
Figure BDA0001923238660000113
为使用者的人眼视线信息，θ为入射角，β为折射角，方程式(2)可用以将光线折射简化为利用两边介质的矢量和折射率计算，而司乃耳定律为。
处理装置140在取得到校正后的人眼视线信息后，可进行使用者U5对于显示器110的观看分析(步骤S508)，以取得使用者对于显示器110上的关注点G，而处理装置140可根据使用者视线来利用目标物影像ImgT5进行目标物T5的影像辨识(步骤S510)，取得以使用者U5的视线所观看到的场景内容。接着，处理装置140可搭配立体场景校正信息，来计算目标物T5的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S512)。上述步骤S508～S512的细节请参照图3B的类似相关说明，于此不再赘述。
图6A是根据本发明之一实施例所绘示的显示系统的配置示意图，图6B是根据本发明一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，目标物的场景立体模型可预先建立并且储存于处理装置140中，以加速整体的信息显示流程。
请先参照图6A，在本范例实施例中，第一信息提取装置120可更用以判别使用者的人眼视线信息，其可以实作为两个影像传感器620A、620B，针对使用者U6来进行影像提取，而产生两张使用者影像。第二信息提取装置130是用以判别使用者透过显示器110所观看到的场景信息，其可以实作为影像传感器630，针对包括目标物T6的场景来进行影像提取，而产生一张目标物影像。在本范例实施例中，目标物T6的场景立体模型已预先建立，需要一张目标物影像用来判别使用者透过显示器110所观看到的场景信息即可。处理装置140可利用使用者影像、目标物影像来进行图6B的流程。
请同时参照图6A以及图6B，在本范例实施例中，处理装置140可取得使用者影像(步骤S602A)，利用使用者影像来计算视线矢量(步骤S604A)。此外，处理装置140取得目标物影像(步骤S602B)以及取得预先所储存的场景空间坐标(即，立体模型，步骤S604B)。接着，开始进行坐标转换(C6)。详细来说，处理装置140可利用方程式(3)来进行视野角度转换(步骤S606)：
Figure BDA0001923238660000121
其中为视线矢量，为使用者影像的人眼位置相对于影像中心点的偏移量，(X′，Y′，Z′)为校正后的视线矢量，a1、b1、c1、d1、a2、b2、c2、d2皆是预先储存于处理装置140的常数，其关联于影像传感器620A、620B以及目标物T6的位置，并且可经由多个训练视线矢量、偏移量以及校正后的视线矢量来估算而出。
处理器140计算出校正后的视线矢量后，可如前述范例实施例，进行使用者U6对于显示器110的观看分析(步骤S608)，而处理装置140可根据目标物影像进行目标物T6的影像辨识(步骤S610)，估算出以使用者U6的视线所观看到的场景内容。处理装置140将计算目标物T6的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S612)。上述步骤S608～S612的细节请参照图3B的类似相关说明，于此不再赘述。
图7A是根据本发明之一实施例所绘示的显示系统的配置示意图，图7B是根据本发明一范例实施例所绘示的建立视觉转换模型的流程图，其可利用机器学习的方式来预先建立视觉转换模型，除了可整合不同人的观看行为差异外，更可加速整体信息显示流程。
请先参照图7A，在本范例实施例中，第一信息提取装置120可更用以判别使用者的视线信息，其可以实作为两个影像传感器720A、720B，针对使用者U7来进行影像提取，以产生使用者影像。第二信息提取装置130是用以判别使用者透过显示器110所观看到的场景信息，其可以实作为两个影像传感器730A、730B，针对包括目标物T7的场景来进行影像提取，以产生目标物影像。
必须说明的是，本范例实施例是为模型训练阶段，处理装置140可利用使用者影像以及目标物影像来产生整个场域包括使用者以及目标物的可能所在位置的全域影像，其可以表示成IS。接着，假设使用者的人眼位置可以表示为Ou(Xu，Yu，-D1)，人眼所视位置为Ol(XS，YS，0)，而视线矢量可以表示为
Figure BDA0001923238660000131
则处理装置140可以预先建立全域影像IS与使用者视野IU间的关系IU＝H(IU∩IS)，使用机器学习输入人眼位置Ou以及视线矢量
Figure BDA0001923238660000132
来训练视觉转换模型，并且储存视觉转换模型。
请同时参照图7A以及图7B，在此模型训练阶段时，处理装置140可取得使用者影像(步骤S702)，以计算人眼位置(步骤S704)，并且计算显示器110上的关注点G(步骤S706)。接着，处理装置140将会标记人眼视线范围R(步骤S708)，并且利用深度神经网络(DNN)、支持矢量机(SVM)等模型来进行机器学习ML，以产生转换模型(步骤S710)。本领域具通常知识者应明了，在进行机器学习时需要大量的训练信息以精确地建立模型，因此处理装置140将会不断地进行步骤S702～步骤S708，也就是采集多个不同的训练人眼位置及其所对应的训练关注点以及训练人眼视线范围，以进行机器学习ML。在建立完转换模型后，在使用阶段时，处理装置140只要是取得到使用者的人眼位置，并且输入至转换模型中，即可快速地得到使用者视野。
图8A是根据本发明之一实施例所绘示的显示系统的配置示意图，图8B是根据本发明一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，可以是通过包括使用者以及目标物的全域影像来建立整个场域的立体信息。
请先参照图8A，在本范例实施例中，第一信息提取装置120可以实作为两个影像传感器820A、820B，第二信息提取装置130可以实作为两个影像传感器830A、830B，其中影像传感器820A、820B、830A以及830B可例如是设置于场域的上方四个角落。处理装置140可根据影像传感器820A、820B、830A以及830B所提取到的影像以例如是拼接的方式来产生整个场域包括使用者U8以及目标物T8的全域影像IS，并且利用全域影像IS来进行图8B的流程。
请同时参照图8A以及图8B，在本范例实施例中，处理装置140在取得全域影像IS(步骤S802)后，可针对全域影像IS进行坐标转换(C8)，以建立立体全域模型(步骤S804)，例如以世界坐标系统来表示。接着，类似于前述的范例实施例，处理装置140建立立体全域模型后，可取得人眼视线信息(步骤S806A)以及立体场景校正信息(步骤S806B)，从而进行使用者U8对于显示器110的观看分析(步骤S808)，而处理装置140可根据使用者视线来利用全域影像IS进行目标物T8的影像辨识(步骤S810)，取得以使用者U8的视线所观看到的场景内容。接着，处理装置140可搭配立体场景校正信息，来计算目标物T8的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S812)。相关说明请参照前述的范例实施例的相关描述，于此不再赘述。
图9A是根据本发明之一实施例所绘示的显示系统的配置示意图，图9B是根据本发明一范例实施例所绘示的信息显示方法的流程图。在本范例实施例中，可以是通过特征点F来做为标靶，以修正以及动态地整合两个坐标系统。
请先参照图9A，在本范例实施例中，第一信息提取装置120可以实作为三个红外线传感器920A、920B、920C，第二信息提取装置130可以实作为两个红外线影像传感器930A、930B以及两个影像传感器930C、930D，其中红外线传感器920A、920B、930A以及930B例如是设置于场域的上方四个角落，而影像传感器920C、930C、930D可以是设置于显示器110上。显示器110上还包括标靶F，可视为特征点来做为坐标转换的依据。处理装置140可根据红外线传感器920A、920B、930A以及930B所提取到的红外线影像以例如是拼接的方式来产生整个场域包括使用者U9以及目标物T9的全域影像IS’(以下称为第一全域影像)，并且利用全域影像IS’来进行图9B的流程。
请同时参照图9A以及图9B，在本范例实施例中，处理装置140在取得第一全域影像IS’(步骤S902)后，可针对第一全域影像IS’进行坐标转换(C9)。处理装置140将根据目标物影像以及使用者影像来建立具有次世界坐标的第二全域影像IS”(步骤S904)，并且以标靶F来修正第一全域影像IS’与次世界坐标的第二全域影像IS”来建立立体全域模型(步骤S905)。接着，类似于前述的范例实施例，处理装置140建立立体全域模型后，可取得人眼视线信息(步骤S906A)以及立体场景校正信息(步骤S906B)，从而进行使用者U9对于显示器110的观看分析(步骤S908)，而处理装置140可根据使用者视线来利用全域影像IS进行目标物T9的影像辨识(步骤S910)，取得以使用者U9的视线所观看到的场景内容。接着，处理装置140可搭配立体场景校正信息，来计算目标物T9的相关信息于显示器110上的呈现方式，据以显示相关信息(步骤S912)。相关说明请参照前述的范例实施例的相关描述，于此不再赘述。
本发明一实施例所提出的信息显示方法及其显示系统，可根据使用者的位置信息以及目标物的位置信息，进行坐标转换，以产生使用者与目标物之间的融合信息，据以将目标物的相关信息显示于显示器。使用者的视线与显示器上的显示信息可达到良好的匹配，以提升使用者舒适的观看体验。
虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书及其均等范围为准。

Claims (20)

1.一种显示系统，其特征在于，包括：
可透光的显示器；
至少一第一信息提取装置，用以提取使用者的位置信息；
至少一第二信息提取装置，用以提取目标物的位置信息；以及
处理装置，连接于该显示器、所述第一信息提取装置以及所述第二信息提取装置，用以：
根据该使用者的该位置信息以及该目标物的该位置信息，进行坐标转换，以产生该使用者与该目标物之间的融合信息；以及
根据该融合信息，显示该目标物的相关信息于该显示器。
2.如权利要求1所述的显示系统，其特征在于：
该使用者的该位置信息具有该使用者相对于所述第一信息提取装置的使用者坐标，该目标物的该位置信息具有该目标物相对于所述第二信息提取装置的目标物坐标；
该处理装置转换该使用者坐标以及该目标物坐标至相同的坐标系统。
3.如权利要求2所述的显示系统，其特征在于：
所述第二信息提取装置包括影像传感器，用以提取该目标物的目标物影像；
该处理装置根据该坐标转换的结果产生该使用者的人眼视线信息以及该目标物所在场景的立体场景校正信息；
该处理装置根据该人眼视线信息计算出该使用者于该显示器上的关注点，并且根据该目标物影像进行该目标物的影像辨识，以产生影像辨识结果；以及
该处理装置根据该关注点、该影像辨识结果以及该立体场景校正信息，产生该融合信息。
4.如权利要求3所述的显示系统，其特征在于：
该相关信息为平面信息；
该融合信息为根据该关注点、该影像辨识结果以及该立体场景校正信息所设定该相关信息于该显示器上的显示位置；以及
该处理装置显示该相关信息于该显示位置。
5.如权利要求3所述的显示系统，其特征在于：
该相关信息为立体信息，
该处理装置更预先建立该相关信息的立体模型，
该融合信息为根据该立体模型、该关注点、该影像辨识结果以及该立体场景校正信息所设定该相关信息于该显示器上的显示位置；以及
该处理装置显示该相关信息于该显示位置。
6.如权利要求3所述的显示系统，其特征在于：
该使用者位于具有第一折射率的第一介质中，该目标物位于具有第二折射率的第二介质中，
该处理装置更根据该第一折射率以及该第二折射率校正该人眼视线信息，以产生校正后的人眼视线信息，以及
该处理装置根据该校正后的人眼视线信息以及该立体场景校正信息，计算该融合信息。
7.如权利要求1所述的显示系统，其特征在于：
所述第一信息提取装置为至少二个影像传感器，用以分别提取该使用者的使用者影像；
所述第二信息提取装置为至少二个影像传感器，以分别提取该目标物的目标物影像；
所述第一信息提取装置以及所述第二信息提取装置设置于该显示器上；
该处理装置转换所述使用者影像的影像坐标至世界坐标系统，以产生使用者世界坐标，据以计算人眼视线信息；
该处理装置转换所述目标物影像的影像坐标至该世界坐标系统，以产生目标物世界坐标，据以计算立体场景校正信息；以及
该处理装置根据该人眼视线信息以及该立体场景校正信息，计算该融合信息。
8.如权利要求1所述的显示系统，其特征在于：
所述第一信息提取装置为定位器以及接收器，其中该接收器设置于该显示器上，该定位器为该使用者的手持装置或穿戴装置，该接收器接收自该定位器所传送该使用者于世界坐标系统的使用者世界坐标；
所述第二信息提取装置为至少二个影像传感器，用以分别提取该目标物的目标物影像；
该处理装置根据该使用者世界坐标，计算人眼视线信息；
该处理装置转换所述目标物影像的影像坐标至该世界坐标系统，以产生目标物世界坐标，据以计算立体场景校正信息；以及
该处理装置根据该人眼视线信息以及该立体场景校正信息，计算该融合信息。
9.如权利要求1所述的显示系统，其特征在于：
所述第一信息提取装置为设置于该显示器上的触控元件，以侦测该使用者对于该显示器的触控操作；
所述第二信息提取装置为至少二个影像传感器，以分别提取该目标物的目标物影像；
该处理装置根据该触控操作的位置取得该使用者于世界坐标系统的使用者世界坐标，据以计算人眼视线信息；
该处理装置转换所述目标物影像的多个影像坐标至该世界坐标系统，以产生多个目标物世界坐标，据以计算立体场景校正信息；以及
该处理装置根据该人眼视线信息以及该立体场景校正信息，计算该融合信息。
10.如权利要求1所述的显示系统，其特征在于：
该处理装置预先储存具有该目标物的场景的空间坐标；
所述第一信息提取装置为至少二个影像传感器，以分别提取该使用者的使用者影像；
所述第二信息提取装置为至少一个影像传感器，以分别提取该目标物的目标物影像；
该处理装置根据所述使用者影像，计算视线矢量；以及
该处理装置根据该视线矢量以及该场景的该空间坐标进行该使用者的视野角度转换，据以产生该融合信息。
11.如权利要求10所述的显示系统，其特征在于：
该处理装置根据各所述使用者影像的人眼位置相对于影像中心点的偏移量，针对该视线矢量进行校正，以产生校正后的视线矢量，进而产生该融合信息。
12.如权利要求10所述的显示系统，其特征在于：
所述第一信息提取装置以及所述第二信息提取装置为多个影像传感器，以提取可拼接成全域影像的多张影像，其中该全域影像包括该目标物的影像以及该使用者的影像；
该处理装置储存以机器学习方法所训练的转换模型；以及
该处理装置输入各所述使用者影像的人眼位置以及视线矢量至该转换模型，以产生该使用者的视野角度转换，据以产生该融合信息。
13.如权利要求12所述的显示系统，其特征在于：
该处理装置更计算该使用者的多个训练人眼位置以及于该显示器上的多个训练关注点，并且标记多个训练人眼视线范围，以机器学习算法训练该转换模型。
14.如权利要求1所述的显示系统，其特征在于：
所述第一信息提取装置以及所述第二信息提取装置为多个影像传感器，以提取可拼接成全域影像的多张影像，其中该全域影像包括该目标物的影像以及该使用者的影像；
该处理装置根据该全域影像进行坐标转换，以建立具有世界坐标系统的立体全域模型；以及
该处理装置根据该立体全域模型计算人眼视线信息以及立体场景校正信息，从而计算该融合信息。
15.如权利要求1所述的显示系统，其特征在于：
所述第一信息提取装置以及所述第二信息提取装置包括位于场域上方的多个红外线传感器，以产生第一全域影像；
所述第一信息提取装置以及所述第二信息提取装置还包括设置于该显示器的多个影像传感器，用以产生使用者影像以及目标物影像；
显示器上还包括标靶；
该处理装置根据该使用者影像以及该目标物影像，产生第二全域影像；
该处理装置根据该标靶、该第一全域影像以及该第二全域影像，建立具有世界坐标系统的立体全域模型；以及
该处理装置根据该立体全域模型计算人眼视线信息以及立体场景校正信息，从而计算该融合信息。
16.一种信息显示方法，其特征在于，适用于具有可透光的显示器、至少一第一信息提取装置、至少一第二信息提取装置以及处理装置的显示系统，该方法包括：
利用所述第一信息提取装置提取使用者的位置信息；
利用所述第二信息提取装置提取目标物的位置信息；
根据该使用者的该位置信息以及该目标物的该位置信息，进行坐标转换，以产生该使用者与该目标物之间的融合信息；以及
根据该融合信息，显示该目标物的相关信息于该显示器。
17.如权利要求16所述的信息显示方法，其特征在于，该使用者的该位置信息具有该使用者相对于所述第一信息提取装置的使用者坐标，该目标物的该位置信息具有该目标物相对于所述第二信息提取装置的目标物坐标，而根据该使用者的该位置信息以及该目标物的该位置信息，进行坐标转换的步骤包括：
转换该使用者坐标以及该目标物坐标至相同的坐标系统。
18.如权利要求17所述的信息显示方法，其特征在于，所述第二信息提取装置包括影像传感器，用以提取该目标物的目标物影像，而产生该使用者与该目标物之间的该融合信息的步骤包括：
根据该坐标转换的结果产生该使用者的人眼视线信息以及该目标物所在场景的立体场景校正信息；
根据该人眼视线信息计算出该显示器上该使用者的关注点，并且根据该目标物影像进行该目标物的影像辨识，以产生影像辨识结果；以及
根据该关注点、该影像辨识结果以及该立体场景校正信息，产生该融合信息。
19.一种显示系统，其特征在于，连接于至少一第一信息提取装置以及至少一第二信息提取装置，包括：
可透光的显示器；
处理装置，用以：
取得所述第一信息提取装置所提取的使用者的位置信息；
取得所述第二信息提取装置所提取的目标物的位置信息；
根据该使用者的该位置信息以及该目标物的该位置信息，进行坐标转换，以产生该使用者与该目标物之间的融合信息；以及
根据该融合信息，显示该目标物的相关信息于该显示器。
20.如权利要求19所述的显示系统，其特征在于，该使用者的该位置信息具有该使用者相对于所述第一信息提取装置的使用者坐标，该目标物的该位置信息具有该目标物相对于所述第二信息提取装置的目标物坐标，而该处理装置转换该使用者坐标以及该目标物坐标至相同的坐标系统。
CN201811604249.8A 2018-08-28 2018-12-26 信息显示方法及其显示系统 Pending CN110864673A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107129992A TWI719343B (zh) 2018-08-28 2018-08-28 資訊顯示方法及其顯示系統
TW107129992 2018-08-28

Publications (1)

Publication Number Publication Date
CN110864673A true CN110864673A (zh) 2020-03-06

Family

ID=69639187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811604249.8A Pending CN110864673A (zh) 2018-08-28 2018-12-26 信息显示方法及其显示系统

Country Status (3)

Country Link
US (1) US11057606B2 (zh)
CN (1) CN110864673A (zh)
TW (1) TWI719343B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518921A (zh) * 2020-11-20 2022-05-20 财团法人工业技术研究院 透明显示系统及其控制方法与控制装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
CN113923437B (zh) * 2020-07-09 2024-03-22 财团法人工业技术研究院 信息显示方法及其处理装置与显示系统
TWI835289B (zh) * 2021-09-13 2024-03-11 仁寶電腦工業股份有限公司 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
US20240361830A1 (en) * 2022-05-27 2024-10-31 Beijing Shiyan Technology Co., Ltd. Gaze Demarcating System, Method, Device and Non-transitory Computer Readable Storage Medium
TWI832657B (zh) * 2023-01-05 2024-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與資訊顯示系統

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104345456A (zh) * 2013-08-02 2015-02-11 精工爱普生株式会社 显示装置、显示系统以及显示装置的控制方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN105759422A (zh) * 2015-01-06 2016-07-13 精工爱普生株式会社 显示系统和显示装置的控制方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法
CN106662930A (zh) * 2014-09-17 2017-05-10 英特尔公司 用于调整所捕获的图像的视角以供显示的技术
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
CN108572450A (zh) * 2017-03-09 2018-09-25 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595137B2 (en) 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
KR20140045801A (ko) 2012-10-09 2014-04-17 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
WO2015072604A1 (ko) 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
KR102153435B1 (ko) * 2013-12-20 2020-09-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2016073060A2 (en) * 2014-09-02 2016-05-12 Flir Systems, Inc. Augmented reality sonar imagery systems and methods
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
KR102399724B1 (ko) 2015-09-24 2022-05-20 삼성전자주식회사 디스플레이 장치, 그를 가지는 도어 및 냉장고
TWI577970B (zh) * 2015-11-19 2017-04-11 Object coordinate fusion correction method and calibration plate device thereof
US9933855B2 (en) 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
US20180089854A1 (en) 2016-09-26 2018-03-29 Korea Electronics Technology Institute 3d transparent display device and operating method thereof
JP2018067115A (ja) * 2016-10-19 2018-04-26 セイコーエプソン株式会社 プログラム、追跡方法、追跡装置
TWI595446B (zh) * 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10469819B2 (en) * 2017-08-17 2019-11-05 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd Augmented reality display method based on a transparent display device and augmented reality display device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN104345456A (zh) * 2013-08-02 2015-02-11 精工爱普生株式会社 显示装置、显示系统以及显示装置的控制方法
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法
CN106662930A (zh) * 2014-09-17 2017-05-10 英特尔公司 用于调整所捕获的图像的视角以供显示的技术
CN105759422A (zh) * 2015-01-06 2016-07-13 精工爱普生株式会社 显示系统和显示装置的控制方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
CN108572450A (zh) * 2017-03-09 2018-09-25 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示系统
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王永信: "《逆向工程及检测技术与应用》", 31 May 2014 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518921A (zh) * 2020-11-20 2022-05-20 财团法人工业技术研究院 透明显示系统及其控制方法与控制装置

Also Published As

Publication number Publication date
US11057606B2 (en) 2021-07-06
TW202009877A (zh) 2020-03-01
US20200077072A1 (en) 2020-03-05
TWI719343B (zh) 2021-02-21

Similar Documents

Publication Publication Date Title
TWI719343B (zh) 資訊顯示方法及其顯示系統
US10846871B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US9804395B2 (en) Range calibration of a binocular optical augmented reality system
CN114730094B (zh) 具有人工现实内容的变焦显示的人工现实系统
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US9035970B2 (en) Constraint based information inference
US9105210B2 (en) Multi-node poster location
CN114761909A (zh) 针对头戴式显示器的内容稳定
CN112805750A (zh) 跨现实系统
US20170277259A1 (en) Eye tracking via transparent near eye lens
EP4092515A1 (en) System and method of enhancing user's immersion in mixed reality mode of display apparatus
WO2015182227A1 (ja) 情報処理装置および情報処理方法
JP2023515669A (ja) マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法
US20180053055A1 (en) Integrating augmented reality content and thermal imagery
JP2018518233A5 (zh)
US20100259598A1 (en) Apparatus for detecting three-dimensional distance
CN110377148A (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN112753037A (zh) 传感器融合眼睛跟踪
US10299982B2 (en) Systems and methods for blind and visually impaired person environment navigation assistance
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
CN118302792A (zh) 单目视觉跟踪系统中的摄像装置固有重新校准
CN117356089A (zh) 视觉跟踪系统中的固有参数估计
Bhowmik Sensification of computing: adding natural sensing and perception capabilities to machines
JP2024523115A (ja) 光学製品のシミュレーション方法
US20230244305A1 (en) Active interactive navigation system and active interactive navigation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination