[go: up one dir, main page]

CN110310373B - 一种增强现实设备的图像处理方法和增强现实设备 - Google Patents

一种增强现实设备的图像处理方法和增强现实设备 Download PDF

Info

Publication number
CN110310373B
CN110310373B CN201910577995.0A CN201910577995A CN110310373B CN 110310373 B CN110310373 B CN 110310373B CN 201910577995 A CN201910577995 A CN 201910577995A CN 110310373 B CN110310373 B CN 110310373B
Authority
CN
China
Prior art keywords
point cloud
human eye
updated
coordinates
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910577995.0A
Other languages
English (en)
Other versions
CN110310373A (zh
Inventor
崔利阳
孙建康
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910577995.0A priority Critical patent/CN110310373B/zh
Publication of CN110310373A publication Critical patent/CN110310373A/zh
Priority to US16/903,400 priority patent/US11307423B2/en
Application granted granted Critical
Publication of CN110310373B publication Critical patent/CN110310373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种增强现实设备的图像处理方法和增强现实设备。增强现实设备(AR)的图像处理方法包括：采集人眼图像，并通过人眼图像获取人眼在初始点云中的注视范围，对比位于注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影；其中，更新点云为获取的更新图像在注视范围内的点云，目标点云为初始点云在注视范围内的点云。本发明实施例解决了现有技术中去除AR设备中残影的方案，由于运算量非常大且耗时较长，增加了AR设备的运算负担的问题。

Description

一种增强现实设备的图像处理方法和增强现实设备
技术领域
本申请涉及但不限于增强现实技术领域，尤指一种增强现实设备的图像处理方法和增强现实设备。
背景技术
增强现实(Augmented Reality，简称为：AR)技术可以在显示屏上把虚拟世界套在现实世界并进行互动。基于AR设备的互动效果和娱乐性，已逐步应用到人们生活娱乐中。
AR设备强调虚拟与现实融合，实现用户与环境的实时交互，当需要在空间中确定位置添加虚拟物体的时候，则需要调用已经建好的空间地图，确定虚拟物体在空间中的位置。因此，AR设备离不开空间定位和环境建图技术，其核心要求是定位和建图算法的小型化和轻量级。现有AR设备通常采用空间定位和环境建图(Simultaneous Localization AndMapping，简称为：SLAM)算法构建环境空间模型，但是该SLAM算法对移动物体会形成虚假的残影。现有改进方案中针对上述残影的去除方式，运算量非常大且耗时较长，增加了AR设备的运算负担。
发明内容
为了解决上述技术问题，本发明实施例提供了一种增强现实设备的图像处理方法和增强现实设备，以解决现有技术中去除AR设备中残影的方案，由于运算量非常大且耗时较长，增加了AR设备的运算负担的问题。
本发明实施例提供一种增强现实设备的图像处理方法，包括：
采集人眼图像，并通过所述人眼图像获取人眼在初始点云中的注视范围；
对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影；其中，所述更新点云为获取的更新图像在所述注视范围内的点云，所述目标点云为所述初始点云在所述注视范围内的点云。
可选地，如上所述的增强现实设备的图像处理方法中，所述通过所述人眼图像获取人眼在初始点云中的注视范围，包括：
通过所述人眼图像计算所述人眼的左、右瞳孔中心点的坐标；
根据已建立的人眼成像模型和所述左、右瞳孔中心点的坐标，计算所述左右瞳孔在虚拟成像面上的交点的坐标；
根据光学模组的左、右出瞳中心点的中心位置和所述交点的坐标，获取所述人眼在所述初始点云中的注视范围。
可选地，如上所述的增强现实设备的图像处理方法中，所述计算所述左右瞳孔在虚拟成像面上的交点坐标，包括：
将所述左、右瞳孔中心点的坐标代入所述人眼成像模型，计算出所述人眼在所述光学模组的左成像面上的左注视点的坐标和右成像面上的右注视点的坐标；
根据左注视线和右注视线在所述虚拟成像面上的交点，得到所述交点的坐标；其中，所述左注视线为通过左出瞳中心点和所述左成像面上的左注视点确定的，所述右注视线为通过右出瞳中心点和所述右成像面上的右注视点确定的。
可选地，如上所述的增强现实设备的图像处理方法中，所述获取人眼在初始点云中的注视范围，包括：
以所述左、右出瞳中心点的中心位置和所述交点的连线为轴线，以角度为顶角做视线圆锥，其中，所述左、右出瞳中心点的中心位置为所述视线圆锥的顶点，所述角度/>的初始值在15度到30度之间，所述视线圆锥为所述注视范围。
可选地，如上所述的增强现实设备的图像处理方法中，还包括：
通过所述光学模组实时采集所述更新图像；
将所述更新图像所形成的点云与所述视线圆锥进行匹配，获取所述点云位于所述视线圆锥内的更新点云；
将所述初始点云与所述视线圆锥进行匹配，获取所述初始点云位于所述视线圆锥内的所述目标点云。
可选地，如上所述的增强现实设备的图像处理方法中，
所述对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影，包括：
计算所述左、右出瞳中心点的中心位置与所述更新点云中每个点的平均距离d2；
计算所述左、右出瞳中心点的中心位置与所述目标点云中每个点的平均距离d3；
根据所述d2和所述d3，确定所述视线圆锥内的目标点云是否包含残影。
可选地，如上所述的增强现实设备的图像处理方法中，所述根据所述d2和所述d3，确定注视范围内的目标点云中是否包含残影，包括：
在所述d2与s的乘积大于所述d3时，确定出所述注视范围内的所述目标点云中包含残影，其中，所述s为小于1的比例系数。
可选地，如上所述的增强现实设备的图像处理方法中，所述方法还包括：建立所述人眼成像模型；
所述建立所述人眼成像模型，包括：
在所述光学模组的虚拟成像面上选取X个注视点，第i个注视点所在虚拟成像面与坐标原点的距离为di，所述i为大于或等于1、且小于或等于X的正整数；
根据所述X个注视点的坐标，以及所述X个注视点在所述光学模组上的左右出瞳中心点，确定所述X个注视点在所述光学模组的左、右成像面上的X组成像坐标；
采集人眼注视所述X个注视点时的人眼图像，并获取人眼注视所述X个注视点的X组左、右瞳孔中心点的坐标；
根据所述X组成像坐标，所述X组左、右瞳孔中心点的坐标和成像标准模型，建立所述人眼成像模型，建立的所述人眼成像模型包括左眼成像模型和右眼成像模型。
可选地，如上所述的增强现实设备的图像处理方法中，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：去除所述初始点云中的残影；
所述去除所述初始点云中的残影，包括：
采用所述更新点云替换所述目标点云。
可选地，如上所述的增强现实设备的图像处理方法中，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：
更新所述视线圆锥，根据更新后的视线圆锥再次对比更新点云和目标点云，以确定所述更新后的视线圆锥内的目标点云是否包含残影。
可选地，如上所述的增强现实设备的图像处理方法中，所述更新所述视线圆锥，包括：
将所述角度设置为初始值的n倍，所述n大于1、且小于或等于4。
本发明实施例还提供一种增强现实设备包括：
光学模组，被配置为采集环境图像和更新图像；
人眼摄像模组，被配置为采集人眼图像；
存储器，被配置为保存可执行指令；
处理器，被配置为在执行所述存储器保存的所述可执行指令时实现如上述任一项所述的增强现实设备的图像处理方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如上述任一项所述的增强现实设备的图像处理方法。
本发明实施例提供的增强现实设备的图像处理方法和增强现实设备，可以通过AR设备内部配置的摄像头采集人眼图像，并通过眼球追踪技术和所采集的人眼图像获取人眼在初始点云中的注视范围，从而对比该注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影，其中，更新点云为更新图像在上述注视范围内的点云，目标点云为初始点云在注视范围内的点云。与现有AR设备中去除残影的方案中将环境地图作为去除残影的目标范围相比，本发明实施例提供的上述AR设备的图像处理方法，将通过采集人眼图像得到的注视范围作为后续去除残影的目标范围，在该注视范围内对环境地图进行优化更新，有针对性的优化环境地图中需要去除残影的区域，可以极大地减轻优化环境地图所需要的计算量，保持环境地图的实时更新性和可用性，并且具有计算量小和计算速度快等优点。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种AR设备的图像处理方法的流程图；
图2为本发明实施例提供的另一种AR设备的图像处理方法的流程图；
图3为本发明实施例提供的AR设备的图像处理方法中一种成像原理的示意图；
图4为本发明实施例提供的AR设备的图像处理方法中一种注视范围的示意图；
图5为本发明实施例提供的又一种AR设备的图像处理方法的流程图；
图6为本发明实施例提供的AR设备的图像处理方法中一种建立人眼成像模型的流程图；
图7为本发明实施例提供的一种AR设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
上述背景技术中已经说明AR设备的应用离不开空间定位和环境建图技术，且对定位和建图算法的核心要求是小型化和轻量级。SLAM算法是现有AR设备中最重要的实现途径，SLAM算法的基本框架采用前端、后端和回环检测三线程，前端通过摄像头采集图像，根据AR设备的视觉来实现定位，并提取出关键图像帧送入后端，后端则根据前端提取的关键帧图像以及其中包含的特征点构建环境地图，并结合回环检测线程进行整体优化。上述SLAM算法在有移动物体的场景中，一个时刻物体在某个位置，而过了几十秒物体又移动到了另外的位置，SLAM算法会将该物体在两个不同位置下的关键帧图像和特征点都保存到环境地图中，但只有最新的图像是真实的，之前的图像则会形成虚假的残像。
针对上述SLAM算法会对移动物体形成残影的问题，现有改进方法是在后端建图线程中，检测哪些特征点发生了变化，然后将其移除，并且当一个关键帧图像中大部分特征点都被移除时，则更新该关键帧图像。这种改进方法因为要实时检测哪些特征点发生了变化，因此需要计算特征匹配，同时还需要对环境地图进行查找与删除，这就需要很大的运算量和耗时，加剧了SLAM算法本身就已经很大的计算量，即增加了AR设备的运算负担，因此难以实现AR设备对运算轻量级的要求。对于移动物体具有残影的优化是SLAM算法中的难点，在AR设备现有计算资源的情况下，很多专用的空间地图优化算法具有较低的经济性和可行性。
本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种AR设备的图像处理方法的流程图。本实施例提供的AR设备的图像处理方法可以由AR设备执行，如图1所示，本发明实施例提供的AR设备的图像处理方法可以包括如下步骤：
S110，采集人眼图像；
S120，通过人眼图像获取人眼在初始点云中的注视范围。
本发明实施例提供的AR设备的图像处理方法，为用于消除AR设备中由于SLAM算法而形成残影的处理方式。AR设备为具有三维(3Dimensions，简称为：3D)成像效果的AR设备，该AR设备可以采用双目光学模组，并基于左右眼视差形成3D图像，其中，双目光学模组可以等效看作透明的成像平面，该平面在坐标系中的位置仅取决于AR设备自身的结构。根据视差原理，佩戴该AR设备的用户的左右眼分别注视双目光学模组的左右两个成像面上的物体时，因为视线交汇，则可等效于将虚拟物体投射距离人眼远处从而形成立体效果，该物体距离人眼的距离是通过控制左右成像面上的视差来进行调节的。
本发明实施例中的AR设备的双目光学模组设置于AR设备的外侧，并与人眼的观看方向同向，用来拍摄外部环境，并通过SLAM算法进行空间定位和环境地图的构建。环境地图对于AR设备与环境进行交互具有重要意义，AR设备可以在环境地图的点云空间内确定所要进行渲染的内容，例如叠加一个虚拟物体，需要用到点云空间中的位置信息，从其中选择锚点集合。SLAM算法本身对于环境地图的构建通常是基于静态空间的，对于有动态物体存在的空间则不能很有效，会使得已经动态移动之物体的残影占据环境地图的点云空间。上述已经说明现有技术中用于消除移动物体残影的方案，难以实现AR设备的轻量级运算要求。需要说明的是，本发明实施例中的初始点云可以为通过SLAM算法构建出的环境地图中的空间点云数据。
本发明实施例提供的AR设备不仅可以通过SLAM算计进行空间定位和环境地图的构建，还可以在AR设备内部配置用于拍摄用户人眼的摄像头，例如为两个红外摄像头，这两个红外摄像头可以安装于AR设备的眼部内侧从而采集佩戴该AR设备的用户的人眼图像，并通过所采集的人眼图像获取人眼在初始点云中的注视范围。本发明实施例中采集人眼图像，并获取人眼在初始点云中的注视范围可以是通过眼球追踪技术实现的，眼球追踪技术的方式通常为：利用红外摄像头获取人眼部的图像信息，然后在拍摄的人眼图像中通过特征检测提取出人眼瞳孔所注视的感兴趣区域(Region Of Interest，简称为：ROI)，从中提取出瞳孔，通过椭圆拟合算法确定出瞳孔的中心点，并根据预先标定的眼球与外界环境地图的关系模型，从而确定出人眼的视线在环境地图中的注视范围。
需要说明的是，本发明实施例中对用于拍摄用户的人眼图像的摄像头的设置位置的要求为：保证人眼注视点的范围总是能够被两个摄像头所采集到的外界环境图片所覆盖。
S130，对比位于注视范围内的更新点云与目标点云，以确定注视范围内的目标点云中是否包含残影；其中，该更新点云为获取的更新图像在注视范围内的点云，该目标点云为初始点云在注视范围内的点云。
本发明实施例中通过采集人眼图像得到的注视范围作为后续去除残影的目标范围。在获取到人眼在初始点云中的注视范围之后，由于人眼瞳孔所注视的ROI为人眼关注度最高的区域，基于眼球追踪技术和该ROI得到的注视范围也是人眼在AR设备的环境地图中注度最高的区域。因此，将人眼在AR设备的环境地图中注度最高的区域(即注视范围)作为去除残影的目标范围，对比更新点云和位于该注视范围内的目标点云，判断该注视范围内的目标点云是否包括残影。其中，初始点云为通过SLAM算法得到的环境地图中的空间点云数据，注视范围为AR设备根据人眼图像获取的注视范围，该注视范围小于初始点云的空间范围，目标点云则为初始点云在注视范围内的点云，即目标点云为初始点云中的一个子集，具体为在注视范围内的初始点云。另外，SLAM算法的前端的定位线程结束后，会有两种情况，一种情况是前端定位线程没有输出用于后端建图线程所需要的关键帧，则不需要进行任何操作，即不会存在残影现象，因此也没有更新图像和更新点云，另一种情况是前端定位线程有新的关键帧(即更新图像)输入到后端建图线程，则将该新的关键帧转化为3D点云C，3D点云位于注视范围内的点云即为更新点云C"。
本发明实施例提供的AR设备的图像处理方法，在眼球追踪算法和SLAM算法并行运行的情况下，设定环境地图中以后空间点云数据(即初始点云)；并且初始点云、3D点云C、注视范围、更新点云C"和目标点云都为3D空间的概念和范围，其中，注视范围为根据人眼图像得到的一个连续区域内的范围，该注视范围的空间小于初始点云的空间范围，更新点云C"和目标点云都是其原始数据(更新点云C"的原始数据为根据更新图像得到的3D点云C，目标点云的原始数据为初始点云)在上述注视范围内的点云数据。因此，对比更新点云与目标点云，即对比注视范围内的旧图像(即目标点云)和更新图像(即更新点云)，若更新点云与目标点云不同，则说明目标点云中包含残影。
与现有AR设备中去除残影的方案中，将所显示的整体图像(即环境地图)作为去除残影的目标范围相比，本发明实施例中采用眼球追踪技术确定人眼的注视范围，在该注视范围内对环境地图进行优化更新，有针对性的优化环境地图中需要去除残影的区域，可以极大地减轻优化环境地图所需要的计算量，保持环境地图的实时更新性和可用性，并且具有计算量小和计算速度快等特点，对于具有小型化和轻量级运算要求的AR设备来说，本发明实施例提供的AR设备的图像处理方法便于实现。
本发明实施例提供的AR设备的图像处理方法，可以通过AR设备内部配置的摄像头采集人眼图像，并通过眼球追踪技术和所采集的人眼图像获取人眼在初始点云中的注视范围，从而对比该注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影，其中，更新点云为更新图像在上述注视范围内的点云，目标点云为初始点云在注视范围内的点云。与现有AR设备中去除残影的方案中将环境地图作为去除残影的目标范围相比，本发明实施例提供的上述AR设备的图像处理方法，将通过采集人眼图像得到的注视范围作为后续去除残影的目标范围，在该注视范围内对环境地图进行优化更新，有针对性的优化环境地图中需要去除残影的区域，可以极大地减轻优化环境地图所需要的计算量，保持环境地图的实时更新性和可用性，并且具有计算量小和计算速度快等优点。
需要说明的是，本发明实施例提供的AR设备的图像处理方法中，算法主要包括眼球追踪算法和SLAM算法，其中，SLAM算法又分为前端定位、后端建图和回环检测三个线程，上述各算法和算法线程的运算速度为：眼球追踪算法>SLAM前端定位>SLAM后端建图>SLAM回环检测。由于SLAM算法的框架十分复杂和庞大，因此，本发明各实施例中仅重点介绍和描述SLAM算法的后端建图线程，对于前端定位和回环检测线程仅在实施例中进行简要的说明和表示。
可选地，图2为本发明实施例提供的另一种AR设备的图像处理方法的流程图。在图1所示实施例的基础上，本发明实施例中，通过人眼图像获取人眼在初始点云中的注视范围的实现方式，即S120的实现方式，可以包括如下步骤：
S121，通过人眼图像计算人眼的左、右瞳孔中心点的坐标；
S122，根据已建立的人眼成像模型和左、右瞳孔中心点的坐标，计算左右瞳孔在虚拟成像面上的交点的坐标；
S123，根据光学模组的左、右出瞳中心点的中心位置和该交点的坐标，获取人眼在初始点云中的注视范围。
如图3所示，为本发明实施例提供的AR设备的图像处理方法中一种成像原理的示意图，图3中示意出了用户的左眼和右眼，左瞳孔中心点Ol1和右瞳孔中心点Or1，光学模组上的左出瞳中心点Ol2和右出瞳中心点Or2，在光学模组的左成像面上的左注视点Pl和右成像面上的右注视点Pr，以及虚拟成像面和左右瞳孔在虚拟成像面上的交点pw。利用AR设备的红外摄像头采集到的人眼图像，通过特征检测提取瞳孔ROI区域(包含瞳孔的区域)，可以跟据瞳孔定位算法提取出瞳孔，并通过椭圆拟合确定左、右瞳孔中心点的坐标，上述左、右瞳孔中心点的坐标为左瞳孔中心点的坐标和右瞳孔中心点的坐标，为两个坐标值。随后，根据上述左右瞳孔中心点的坐标和已建立的人眼成像模型，可以计算出左右瞳孔在虚拟成像面上交点的坐标，计算该交点坐标的实现方式可以包括如下步骤：
步骤1，将左、右瞳孔中心点的坐标代入已建立的人眼成像模型，计算出人眼在光学模组的左成像面上的左注视点Pl的坐标和右成像面上的右注视点Pr的坐标；
步骤2，根据左注视线Ll和右注视线Lr在虚拟成像面上的交点pw，得到交点坐标；其中，左注视线Ll为通过左出瞳中心点Ol2和左成像面上的左注视点Pl确定的，右注视线Lr为通过右出瞳中心点Or2和右成像面上的右注视点Pr确定的。需要说明的是，AR设备在硬件设计时，光学模组的左、右出瞳都是设计好的，因此，本发明各实施例中光学模组的左出瞳中心点Ol2和右出瞳中心点Or2是已知的固定参数。
图3中可以看出，左瞳孔中心点Ol1、左出瞳中心点Ol2和左成像面上的左注视点Pl连成一条直线，即左注视线Ll，右瞳孔中心点Or1、右出瞳中心点Or2和右成像面上的右注视点Pr连成一条直线，即右注视线Lr，上述左注视线Ll和右注视线Lr在虚拟成像面上具有一个交点pw，该交点的坐标函数可以表示为：
pw＝(xw,yw,zw)；
在获得上述交点坐标后，可以继续获取人眼在初始点云中的注视范围，形成该注视范围的实现方式可以包括：
以左、右出瞳中心点的中心位置和交点的连线为轴线，以角度为顶角做视线圆锥，其中，左、右出瞳中心点的中心位置为视线圆锥的顶点，角度/>的初始值在15度到30度之间，该视线圆锥即为注视范围；也就是说，本发明实施例中的注视范围为以左、右出瞳中心点的中心位置和交点的连线为轴线，以角度/>为顶角所做的视线圆锥。
如图4所示，为本发明实施例提供的AR设备的图像处理方法中一种注视范围的示意图。参考图3和图4，由于已知左、右瞳孔的中心坐标，并且已知虚拟成像面上的交点的坐标，另外，光学模组的左、右出瞳的中心点(Ol2和Or2)为AR设备的固定参数，也是已知的，将左出瞳中心点Ol2和右出瞳中心点Or2的连线的中心点定义为的mw，连接上述mw和pw，mw到pw的距离为d1，以mwpw连线为中轴，以角度为顶角做出的视线圆锥即为人眼在初始点云中的注视范围。
需要说明的是，由于人眼的视角通常为120度，当注意力集中时约为25度，因此，可以设定角度的初始值在30度以内，例如在15度到30度之间。
可选地，图5为本发明实施例提供的又一种AR设备的图像处理方法的流程图。在图2所示实施例的基础上，本发明实施例提供的方法，在S130之前还可以包括如下步骤：
S124，通过光学模组实时采集更新图像；
S125，将该更新图像所形成的点云(即上述实施例中的点云C)与视线圆锥进行匹配，获取该点云C位于视线圆锥内的更新点云(即上述实施例中的点云C")；
S126，将初始点云与视线圆锥进行匹配，获取该初始点云位于视线圆锥内的目标点云。
本发明上述实施例中已经说明，SLAM算法的前端的定位线程结束后存在的两种情况，针对前端定位线程有新的关键帧(即更新图像)输入到后端建图线程，则将该新的关键帧转化为3D点云C，对于该点云C中的点qw，连结该点qw与mw，计算mwqw和mwpw之间的夹角β，当该夹角β小于上述视线圆锥的角度时，则可以认为该点qw落入了视线圆锥内，选择点云C中落入视线圆锥的点云为更新点云，记作输入更新点云C"<点云C。同理，在环境地图的空间中检索计算，环境地图中的点云数据为初始点云，选择初始点云中落入视线圆锥的点云为目标点云。
相应地，本发明实施例中，对比位于注视范围内的更新点云与目标点云，以确定该注视范围内的目标点云中是否包含残影的实现方式，即S130的实现方式，可以包括：
S131，计算左、右出瞳中心点的中心位置mw与更新点云中每个点的平均距离d2；
S132，计算左、右出瞳中心点的中心位置mw与目标点云中每个点的平均距离d3；
S133，根据d2和d3，确定视线圆锥内的目标点云是否包含残影。
在本发明实施例中，将上述两组点云(即更新点云C"和目标点云)进行对比，进行残影检测，判断依据为：计算更新点云C"中的每个点与mw的距离{din}，并计算出这些距离的平均值d2，再计算目标点云中的每个点与mw的距离{dt}，并计算出这些距离的平均值d3。由于更新点云C"代表SLAM的前端线程输出的更新图像，目标点云代表环境地图的初始图像，通过对上述平均值d2和d3对比，可以确定出视线圆锥内的目标点云是否包含残影。
在实际应用中，根据d2和d3，确定注视范围内的目标点云中是否包含残影的实现方式，可以包括：
在d2与s的乘积大于d3时(即d3＜d2·s)，确定出注视范围内的目标点云中包含过往时刻移动物体所留下的残影，其中，s为小于1的比例系数。
在本发明实施例中，由于构建的视线圆锥的角度仅考虑用户观看方向固定时的视线范围，即不考虑d3＝d2的情况，d3＝d2的情况下，可以认为用户为原地转圈，则角度/>的取值很大，d3大于d2的情况下，残影在更新图像的后面，相比于d3小于d2情况下(即残影在前，更新图像在后)，对用户观看的影响较小。因此，本发明实施例的一种实施方式中，针对性的去除d3＜d2·s情况下的残影。
可选地，在本发明上述实施例中，若S133确定出视线圆锥内的目标点云中不包含残影时，则结束流程；若S133确定出视线圆锥内的目标点云中包含残影时，则执行如下步骤：
S140，去除初始点云中的残影，去除残影的方式可以为采用更新点云替换目标点云。
在本发明实施例中，将判断为包含移动物体残影的点云(即目标点云)从环境地图(即初始点云)中去除，即去除了环境地图中的残影，并且用更新后的图像(即更新点云)替换去除的目标点云即可。
可选地，在本发明上述实施例中，若S133定出视线圆锥内的目标点云中包含的残影，为了避免环境地图中比目标点云更大范围的点云中还存在残影，本发明实施例提供的方法在S140之后，还可以包括如下步骤：
S150，更新视线圆锥。
在本发明实施例中，当上述S133中确定出视线圆锥内的目标点云包含残影，则去除初始点云中的残影后，还可以增大初始视线圆锥的范围，例如将角度增大为初始值的n倍，n的取值可以为大于1、且小于或等于4之间的离散值。需要说明的是，上述实施例中已经说明人眼的视角通常为120度，角度/>初始值的最大取值通常为30度，因此，n的最大取值可以为4。
在改变角度的取值后，可以根据更新后的视线圆锥再次对比更新点云和目标点云，以确定更新后的视线圆锥内的目标点云是否包含残影，即S150之后可以重复执行上述S125～S126，S131～S133，以及S140，从而可以在更大的视线范围内去除初始点云中的残影。
可选地，上述实施例中已经说明，在拍摄到人眼图像，并通过眼球追踪技术计算出人眼的左、右瞳孔的中心坐标后，可以将该坐标代入到已建立的人眼成像模型中进行后续计算，因此，本发明实施例提供的AR设备的图像处理方法中，还可以包括：建立人眼成像模型的步骤，即对每个佩戴AR设备的用户，需要对其进行人眼模型的标定，如图6所示，为本发明实施例提供的AR设备的图像处理方法中一种建立人眼成像模型的流程图，图6所示流程可以包括如下步骤：
S210，在光学模组的虚拟成像面上选取X个注视点，第i个注视点所在虚拟成像面与坐标原点的距离为di，其中，i为大于或等于1、且小于或等于X的正整数；
S220，根据X个注视点的坐标，以及X个注视点在光学模组上的左、右出瞳中心点，确定X个注视点在该光学模组的左、右成像面上的X组成像坐标；
S230，采集人眼注视X个注视点时的人眼图像，并获取人眼注视这X个注视点的X组左、右瞳孔中心点的坐标；
S240，根据X组成像坐标，X组左、右瞳孔中心点的坐标和成像标准模型，建立人眼成像模型，所建立的人眼成像模型包括左眼成像模型和右眼成像模型。
在本发明实施例提供的AR设备的图像处理方法，用户在初次适应AR设备时可以先对该用户进行人眼成像模型的标定。由于发明实施例的AR设备使用双目光学模组，设定以该双目光学模组的左侧摄像头的光心为原点建立右手坐标系O-x-y-z，z轴指向摄像头的前方。
参考图3所示成像原理，在距离坐标原点任意距离d的虚拟成像面上选取X个注视点，例如可以选取9个注视点，这X个注视点所在的虚拟成像面与距离d可以相同，也可以不同，且设定di为第i个注视点所在虚拟成像面与坐标原点的距离。图3可以看出，光学模组的左出瞳中心点Ol2(或右出瞳中心点Or2、左成像面上的左注视点Pl(或右成像面上的右注视点Pr)与虚拟成像面上的注视点(即交点pw)，这三点是位于同一条直线上的。因此，根据左、右出瞳中心点和上述虚拟成像面上的X个注视点，则可以唯一确定光学模组的左、右成像面上分别有X组左、右注视点与上述虚拟成像面上的X个注视点对应，该光学模组的左、右成像面上的X组左、右注视点的坐标(即为在光学模组上的X组成像坐标)可以表示为：
左成像面上分别有左注视点Pl的坐标：
右成像面上分别有右注视点Pr的坐标：
另外，通过红外摄像头采集到人眼图片，通过特征检测提取瞳孔ROI区域(包含瞳孔的区域)，跟据瞳孔定位算法提取出瞳孔，并通过椭圆拟合确定出左、右瞳孔中心点的坐标为：
左瞳孔中心点Ol1的坐标：(xl,yl)；
右瞳孔中心点Or1的坐标：(xr,yr)；
将上述左瞳孔中心点Ol1的坐标(xl,yl)和左注视点Pl的坐标以及右瞳孔中心点Or1的坐标(xr,yr)和右注视点Pr的坐标/>分别代入下列式(1)中：
上述式(1)为本发明实施例中的成像标准模型，将上述X组成像坐标和X组左、右瞳孔中心点的坐标代入式(1)进行计算后，可以得到左、右眼分别对应的成像模型，即得到如下成像模型：
左眼成像模型：f(xl,yl|ali,bli)；
右眼成像模型：f(xr,yr|ari,bri)。
需要说明的是，上述式(1)中待求解的变量包括：a0到a5，以及b0到b5，因此，针对式(1)的多项式映射模型，至少需要6组成像坐标和6组左、右瞳孔中心点的坐标，也即在S210中需要选取6个注视点；当改变式(1)中变量的数量时，为了求解出变量的具体数值，可以选取合适数量的注视点，例如可以选取9个注视点，注视点数量的选取，以可以通过式(1)(可以改变其中变量的数量)求解出人眼成像模型为原则。
本发明实施例提供的上述人眼成像模型的标定方式中，左、右眼一起标定，即最终得到的人眼成像模型包括左眼成像模型和右眼成像模型，并且利用虚拟成像面中的注视点，计算出光学模组的3D成像面的坐标(即光学模组的左、右成像面上的成像坐标)；另外，上述标定过程对每个用户仅需标定一次即可。
本发明上述实施例提供的AR设备的图像处理方法，该方法为基于眼球追踪算的环境地图交互方法。本发明实施例采用配置于AR设备内部的红外摄像头拍摄用户的人眼图像，实时检测追踪人眼运动和瞳孔位置，根据双目视差原理计算出人眼注视范围在三位空间中的坐标。采用配置于AR设备外部、且与人眼观看方向相同的双目光学模组拍摄外部环境，实现SLAM空间定位和环境建图。眼球追踪算法相对于SLAM算法具有更加轻量级的运算，通过计算人眼视线的注视点，可以更快速地锁定环境地图中用户观看的点云空间(即目标点云)的位置，对人眼注视点周围的点云数据(即目标点云)进行有效地更新。本发明实施例提供的方法可以有效地避免了AR设备中使用即时空间定位与建图(SLAM)技术进行建图时所导致的环境地图固化，无法有效地消除动态运动物体以及其造成的遮挡的缺点，并且在消除移动物体残像对环境地图造成影响的同时，不需要承担复杂的运算处理，实现了轻量级的运算。
基于本发明上述图1到图6所示任一实施例提供的AR设备的图像处理方法，本发明实施例还提供一种AR设备，该AR设备为执行上述图1到图6所示任一实施例提供的图像处理方法的硬件结构。
如图7所示，为本发明实施例提供的一种AR设备的结构示意图。本发明实施例提供的AR设备300可以包括：光学模组310、人眼摄像模组320、存储器330和处理器340。
其中，光学模组310，被配置为采集环境图像和更新图像；
人眼摄像模组320，被配置为采集人眼图像；
该存储器310，被配置为保存可执行指令；
该处理器320，被配置为在执行存储器保存的可执行指令时实现如图1到图6所示任一实施例中的AR设备的图像处理方法。
在本发明实施例中，光学模组310可以为双目光学模组(如图7中的左光学模组310a和右光学模组310b)，该双面光学模组可以设置于AR设备300的外侧，与人眼的观看方向同向，用来拍摄外部环境，并通过SLAM算法进行空间定位和环境地图的构建，还可以在后续应用中更新图像；另外，基于左右眼视差形成3D图像，根据视差原理，佩戴该AR设备的用户的左右眼分别注视双目光学模组的左右两个成像面上的物体时，因为视线交汇，则可等效于将虚拟物体投射距离人眼远处从而形成立体效果，该物体距离人眼的距离是通过控制左右成像面上的视差来进行调节的。人眼摄像模组320可以为两个配置于AR设备300内侧的红外摄像头(如图7中的320a和320b)，其中，左侧红外摄像头310a用于拍摄用户左眼图像，右侧红外摄像头310b用于拍摄用户右眼图像。图7所示AR设备300示意性的表示出了配置于设备外侧的左光学模组310a和右光学模组310b，配置于设备内侧的左侧红外摄像头320a和右侧红外摄像头320b，以及AR设备300内配置的存储器330和处理器340；需要说明的是，图7中仅示意性的表示出光学模组310、人眼摄像模组320、存储器330和处理器340的位置，并不以图7中各模组和器件的位置和大小限定AR设备300中的各模组和器件。本发明实施例中处理器340所执行的各项操作在上述图1到图6所示实施例中已经详细描述，故在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有可执行指令，该可执行指令被处理器执行时可以实现本发明上述图1到图6所示任一实施例提供的AR设备的图像处理方法。本发明实施例提供的计算机可读存储介质的实施方式与本发明上述实施例提供的AR设备的图像处理方法基本相同，在此不做赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种增强现实设备的图像处理方法，其特征在于，包括：
采集人眼图像，并通过所述人眼图像获取人眼在初始点云中的注视范围；所述初始点云为通过SLAM算法得到的环境地图中的空间点云数据；
对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影；其中，所述更新点云为获取的更新图像在所述注视范围内的点云，所述更新图像为所述SLAM算法的前端的定位线程结束后输出的关键帧；所述目标点云为所述初始点云在所述注视范围内的点云；所述通过所述人眼图像获取人眼在初始点云中的注视范围，包括：
通过所述人眼图像计算所述人眼的左、右瞳孔中心点的坐标；
根据已建立的人眼成像模型和所述左、右瞳孔中心点的坐标，计算所述左、右瞳孔在虚拟成像面上的交点的坐标；
以光学模组的所述左、右出瞳中心点的中心位置和所述交点的连线为轴线，以角度为顶角做视线圆锥，其中，所述左、右出瞳中心点的中心位置为所述视线圆锥的顶点，所述视线圆锥为所述注视范围。
2.根据权利要求1所述的增强现实设备的图像处理方法，其特征在于，所述计算所述左、右瞳孔在虚拟成像面上的交点坐标，包括：
将所述左、右瞳孔中心点的坐标代入所述人眼成像模型，计算出所述人眼在所述光学模组的左成像面上的左注视点的坐标和右成像面上的右注视点的坐标；
根据左注视线和右注视线在所述虚拟成像面上的交点，得到所述交点的坐标；其中，所述左注视线为通过左出瞳中心点和所述左成像面上的左注视点确定的，所述右注视线为通过右出瞳中心点和所述右成像面上的右注视点确定的。
3.根据权利要求1所述的增强现实设备的图像处理方法，其特征在于，
所述角度的初始值在15度到30度之间。
4.根据权利要求3所述的增强现实设备的图像处理方法，其特征在于，还包括：
通过所述光学模组实时采集所述更新图像；
将所述更新图像所形成的点云与所述视线圆锥进行匹配，获取所述点云位于所述视线圆锥内的更新点云；
将所述初始点云与所述视线圆锥进行匹配，获取所述初始点云位于所述视线圆锥内的所述目标点云。
5.根据权利要求4所述的增强现实设备的图像处理方法，其特征在于，
所述对比位于所述注视范围内的更新点云与目标点云，以确定所述注视范围内的所述目标点云中是否包含残影，包括：
计算所述左、右出瞳中心点的中心位置与所述更新点云中每个点的平均距离d2；
计算所述左、右出瞳中心点的中心位置与所述目标点云中每个点的平均距离d3；
根据所述d2和所述d3，确定所述视线圆锥内的目标点云是否包含残影。
6.根据权利要求5所述的增强现实设备的图像处理方法，其特征在于，所述根据所述d2和所述d3，确定注视范围内的目标点云中是否包含残影，包括：
在所述d2与s的乘积大于所述d3时，确定出所述注视范围内的所述目标点云中包含残影，其中，所述s为小于1的比例系数。
7.根据权利要求1～6中任一项所述的增强现实设备的图像处理方法，其特征在于，所述方法还包括：建立所述人眼成像模型；
所述建立所述人眼成像模型，包括：
在所述光学模组的虚拟成像面上选取X个注视点，第i个注视点所在虚拟成像面与坐标原点的距离为di，所述i为大于或等于1、且小于或等于X的正整数；
根据所述X个注视点的坐标，以及所述X个注视点在所述光学模组上的左右出瞳中心点，确定所述X个注视点在所述光学模组的左、右成像面上的X组成像坐标；
采集人眼注视所述X个注视点时的人眼图像，并获取人眼注视所述X个注视点的X组左、右瞳孔中心点的坐标；
根据所述X组成像坐标，所述X组左、右瞳孔中心点的坐标和成像标准模型，建立所述人眼成像模型，建立的所述人眼成像模型包括左眼成像模型和右眼成像模型。
8.根据权利要求1～6中任一项所述的增强现实设备的图像处理方法，其特征在于，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：去除所述初始点云中的残影；
所述去除所述初始点云中的残影，包括：
采用所述更新点云替换所述目标点云。
9.根据权利要求1、3～6中任一项所述的增强现实设备的图像处理方法，其特征在于，在确定出所述注视范围内的所述目标点云中包含残影之后，所述方法还包括：
更新所述视线圆锥，根据更新后的视线圆锥再次对比更新点云和目标点云，以确定所述更新后的视线圆锥内的目标点云是否包含残影。
10.根据权利要求8所述的增强现实设备的图像处理方法，其特征在于，所述更新所述视线圆锥，包括：
将所述角度设置为初始值的n倍，所述n大于1、且小于或等于4。
11.一种增强现实设备，其特征在于，包括：
光学模组，被配置为采集环境图像和更新图像；
人眼摄像模组，被配置为采集人眼图像；
存储器，被配置为保存可执行指令；
处理器，被配置为在执行所述存储器保存的所述可执行指令时实现如权利要求1～10中任一项所述的增强现实设备的图像处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如权利要求1～10中任一项所述的增强现实设备的图像处理方法。
CN201910577995.0A 2019-06-28 2019-06-28 一种增强现实设备的图像处理方法和增强现实设备 Active CN110310373B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910577995.0A CN110310373B (zh) 2019-06-28 2019-06-28 一种增强现实设备的图像处理方法和增强现实设备
US16/903,400 US11307423B2 (en) 2019-06-28 2020-06-17 Image processing method for augmented reality device, augmented reality device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910577995.0A CN110310373B (zh) 2019-06-28 2019-06-28 一种增强现实设备的图像处理方法和增强现实设备

Publications (2)

Publication Number Publication Date
CN110310373A CN110310373A (zh) 2019-10-08
CN110310373B true CN110310373B (zh) 2023-12-12

Family

ID=68079305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910577995.0A Active CN110310373B (zh) 2019-06-28 2019-06-28 一种增强现实设备的图像处理方法和增强现实设备

Country Status (2)

Country Link
US (1) US11307423B2 (zh)
CN (1) CN110310373B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
CN112435347A (zh) * 2020-11-23 2021-03-02 济南浪潮高新科技投资发展有限公司 一种增强现实的电子书阅读系统及方法
CN113255600B (zh) * 2021-06-29 2021-10-01 上海影创信息科技有限公司 基于客户端的点云地图更新优化方法、系统、介质及设备
CN114463832B (zh) * 2022-01-28 2024-09-17 山东大学 一种基于点云的交通场景视线追踪方法及系统
CN114529670A (zh) * 2022-02-06 2022-05-24 上海诠视传感技术有限公司 一种基于增强现实技术处理显微镜成像的方法
US12092448B2 (en) * 2022-04-19 2024-09-17 Verizon Patent And Licensing Inc. Depth estimation for augmented reality
CN114549801B (zh) * 2022-04-25 2022-07-19 深圳市同立方科技有限公司 一种ar增强现实给排水工程可视化方法、装置及系统
WO2024226061A1 (en) * 2023-04-28 2024-10-31 Google Llc Selecting location of virtual object based on gaze of first user and gaze of second user
CN119152292B (zh) * 2024-11-15 2025-01-28 杭州平祥数字技术有限公司 一种基于ai图像处理方法和ar眼镜的穿戴式夜视系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4198114A (en) * 1977-01-26 1980-04-15 Createchnic Patent Ag Magnifying optical system
US10102634B1 (en) * 2015-10-15 2018-10-16 Snap Inc. Image segmentation of a video stream

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
CN105243637B (zh) * 2015-09-21 2019-01-25 武汉海达数云技术有限公司 一种基于三维激光点云进行全景影像拼接方法
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
CA3011644A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP2017213191A (ja) * 2016-05-31 2017-12-07 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
CN105911710B (zh) * 2016-06-24 2018-07-17 京东方科技集团股份有限公司 一种显示装置
CN110023814B (zh) * 2016-09-28 2022-01-11 奇跃公司 由可穿戴设备进行面部模型捕获
CN107179086B (zh) * 2017-05-24 2020-04-24 北京数字绿土科技有限公司 一种基于激光雷达的制图方法、装置及系统
WO2018227011A1 (en) * 2017-06-07 2018-12-13 vSports, LLC Mixed-reality sports tracking and simulation
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
US10948983B2 (en) * 2018-03-21 2021-03-16 Samsung Electronics Co., Ltd. System and method for utilizing gaze tracking and focal point tracking
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN109523552B (zh) * 2018-10-24 2021-11-02 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4198114A (en) * 1977-01-26 1980-04-15 Createchnic Patent Ag Magnifying optical system
US10102634B1 (en) * 2015-10-15 2018-10-16 Snap Inc. Image segmentation of a video stream

Also Published As

Publication number Publication date
CN110310373A (zh) 2019-10-08
US11307423B2 (en) 2022-04-19
US20200409161A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
CN110310373B (zh) 一种增强现实设备的图像处理方法和增强现实设备
US20240267481A1 (en) Scene-aware selection of filters and effects for visual digital media content
US10848745B2 (en) Head-mounted display tracking system
US10719939B2 (en) Real-time mobile device capture and generation of AR/VR content
JP2021144227A (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
CN107666606B (zh) 双目全景图像获取方法及装置
JP2019092170A (ja) ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
US20180173303A1 (en) Eye tracking using a light field camera on a head-mounted display
US10863210B2 (en) Client-server communication for live filtering in a camera view
CN107277485B (zh) 基于虚拟现实的图像显示方法和装置
US11415935B2 (en) System and method for holographic communication
US20200342656A1 (en) Efficient rendering of high-density meshes
US11170578B1 (en) Occlusion detection
US12231615B2 (en) Display system with machine learning (ML) based stereoscopic view synthesis over a wide field of view
CN103517060A (zh) 一种终端设备的显示控制方法及装置
CN108600729A (zh) 动态3d模型生成装置及影像生成方法
CN111712859B (zh) 用于生成视图图像的装置和方法
WO2015007878A1 (en) A method for determining a visual effect of an ophthalmic lens
WO2018173207A1 (ja) 情報処理装置
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
CN106954060B (zh) 一种面向智能手机的立体视频生成方法及辅助拍摄装置
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
CN116449962B (zh) 内部场景ar可视化方法、装置以及设备
US20250106376A1 (en) Near eye display system with machine learning (ml) based stereo view synthesis over a wide field of view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant