CN110322569B - 多模态ar处理方法、装置、设备和可读存储介质 - Google Patents
多模态ar处理方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN110322569B CN110322569B CN201910592876.2A CN201910592876A CN110322569B CN 110322569 B CN110322569 B CN 110322569B CN 201910592876 A CN201910592876 A CN 201910592876A CN 110322569 B CN110322569 B CN 110322569B
- Authority
- CN
- China
- Prior art keywords
- map
- processing model
- processing
- model
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 299
- 238000012937 correction Methods 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims description 119
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种多模态AR处理方法、装置、设备和可读存储介质，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
Description
技术领域
本发明涉及信号处理技术，尤其涉及一种多模态AR处理方法、装置、设备和可读存储介质。
背景技术
增强现实(Augmented Reality，简称：AR)是一种将真实场景同虚拟信息融合的技术，它的目的是通过计算机图形、图像处理技术实现实景(显示环境或用户影像)与虚景(计算机生成的虚拟环境或虚拟物体)的合成。随着AR技术的发展和用户需求的增加，已对各种AR应用场景发展出越来越多的AR算法，例如并发建图与定位(simultaneous localizationand mapping，简称：SLAM)、2D跟踪和3D跟踪等。如何在复杂多变的应用环境下实现实时可靠的AR处理，一直是AR技术的目标之一。
现有的AR处理方法，通常在同一个应用程序中集成多种AR功能模块，各AR功能模块之间相互独立运行以而提供不同的AR功能。例如，一个AR应用程序中包括SLAM模块、2D跟踪模块和3D跟踪模块，假如需要对手机拍摄环境中的平面图案跟踪，则仅调用2D跟踪模块；假如需要不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置，则需要调用SLAM模块和2D跟踪模块这两个模块。
然而，不同的AR功能模块均是作为独立的算法被整体进行调用，存在重复、冗余的计算量。可见，现有的AR处理方法的处理效率和灵活性不够高。
发明内容
本发明实施例提供一种多模态AR处理方法、装置、设备和可读存储介质，提高了AR处理的效率和灵活性。
本发明实施例的第一方面，提供一种多模态AR处理方法，包括：
根据用户请求信息，获取视频帧图像和AR任务属性；
根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
本发明实施例的第二方面，提供一种多模态AR处理装置，包括：
获取模块，用于根据用户请求信息，获取视频帧图像和AR任务属性；
组合模块，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
处理模块，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
本发明实施例的第三方面，提供一种终端，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。
本发明提供的一种多模态AR处理方法、装置、设备和可读存储介质，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
附图说明
图1是本发明实施例提供的一种应用场景示意图；
图2是本发明实施例提供的一种多模态AR处理方法流程示意图；
图3是本发明实施例提供的一种多模态AR处理装置结构示意图；
图4是本发明实施例提供的另一种多模态AR处理装置结构示意图；
图5是本发明实施例提供的一种多模态AR处理装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的校正，是A与B的相似度大于或等于预设的阈值。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
在现有的AR处理方法中，通常包含有多种AR处理方法以实现不同的计算需求。例如视觉定位(Visual Positioning System，简称VPS)方法、并发建图与定位(simultaneouslocalization and mapping，简称：SLAM)方法、二维2D跟踪方法、三维3D跟踪方法等。在实际产品中，每个AR处理方法是以单独的AR功能模块实现的，通常在同一个应用程序中集成多种AR功能模块，各AR功能模块之间相互独立运行以而提供不同的AR功能。例如，一个AR应用程序中包括SLAM模块、2D跟踪模块和3D跟踪模块，假如需要对手机拍摄环境中的平面图案跟踪，则仅调用2D跟踪模块。假如不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置，则需要同时调用SLAM模块和2D跟踪模块这两个模块。可见，现有的AR产品把多个独立的算法(例如SLAM、2D跟踪、3D跟踪等)直接封装到一个应用里，然后根据不同的应用需求调起不同的算法。由于各种AR算法通常有各自不同的实现原理和方法，比如SLAM算法有ORB-SLAM、LSD-SLAM等，3D跟踪算法有PWP3D和一些基于边缘的追踪算法等。这些算法实现原理和方法差别很大，只能当做一个个独立的算法模块。
然而，由于各AR功能模块均是作为独立的算法被整体调用，由于模块封装、以及算法原理差异等原因，两个独立的模块无法共享算法内部的一些底层数据，导致进行重复计算产生冗余数据的问题。例如在不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置的应用场景中，需要同时调用SLAM模块和2D跟踪模块，但SLAM模块和2D跟踪模块都会对用户周围局部地图数据进行生成的更新，导致了地图数据的重复计算。而这些重复计算导致了功耗的提高以及计算资源的占用，还可能降低计算速度和处理效率。可见，现有的AR处理方法的处理效率和灵活性不够高。
为了解决现有技术中存在的问题，本发明实施例提供了一种多模态AR处理方法，通过对现有的多个AR算法进行拆解和多种组合，得到多个处理模型组合，这些处理模型组合可以根据各种应用需求而单独调用，且每个处理模型组合中包括了AR功能所需的跟踪算法、校正算法以及地图更新算法，由此实现可适应多种场景下的多模态AR处理，提高了AR处理的处理效率和灵活性。
参见图1，是本发明实施例提供的一种应用场景示意图。在图1所示的应用场景中，用户通过用户终端1中安装的AR应用程序拍摄周围环境的视频，用户终端1根据实时拍摄的视频向服务器2发出携带视频帧图像的用户请求信息。例如，该AR应用程序是用于对特定建筑物进行AR效果叠加的娱乐类应用程序，那么服务器2在接收到视频帧图像后，为其分配对应任务属性的模型组合，对用户拍摄视频中教学大楼进行跟踪，并在教学大楼的上空位置AR叠加显示“XX学校欢迎您”的欢迎条幅。
参见图2，是本发明实施例提供的一种多模态AR处理方法流程示意图，图2所示方法的执行主体可以是软件和/或硬件装置。包括步骤S101至步骤S104，具体如下：
S101，根据用户请求信息，获取视频帧图像和AR任务属性。
例如，用户请求信息本身中可以携带有视频帧图像和AR任务属性，以便服务器直接读取。又例如，用户终端仅能请求固定的AR任务属性(例如功能单一的AR应用程序)，那么服务器获取到视频帧图像时，还获取到该用户终端对应的AR任务属性。
在另一些实施例中，用户请求信息可以包括所述视频帧图像。服务器获取用户请求信息中的视频帧图像，并对所述视频帧图像识别获取待跟踪对象。例如根据预设的多个可进行AR处理的物体信息，在视频帧图像中进行目标检测，若检测到目标对象，则作为待跟踪对象。通常，待跟踪对象可以分为2D物体和3D物体，服务器可以根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。例如，若待跟踪对象为2D物体，例如特定图案，则AR任务属性为2D类AR任务，即进行2D跟踪。假如在视频帧图像中检测不到目标对象，则可以暂时不做跟踪，或者可以仅根据视频帧图像生成并更新周围环境局部地图。
S102，根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型。
例如，服务器预设的处理模型组合有多种，每个处理模型组合都包含有相同的共用跟踪处理模型，以及各自不同的校正处理模型和地图处理模型。而正是由于校正处理模型和地图处理模型的不同，而使得各处理模型组合适用不同的AR处理，即对应不同的AR任务属性。
在一些应用场景中，本实施例中服务器可以向多款AR应用提供服务，只需要根据其任务属性的不同，而选择相应的目标模型组合。当然，服务器也可以向单一的一款AR应用提供服务，则只需要选择固定的目标模型组合即可。
在步骤S102之前，还可以先对多个处理模型组合进行预设。处理模型组合的预设过程，可以理解为是对现有的多种AR算法的拆解和重新组合的过程。例如，考虑到AR处理主要是对2D类物体和/或3D类物体进行跟踪定位，而各种AR算法中的跟踪方法部分是可以通用的，因此预设一共用跟踪处理模型作为各个模型组合中通用的跟踪处理模型。而对于不同的AR应用，其适用的姿态匹配校正方法和地图更新优化方法具有较大差异，因此各服务器预设的各处理模型组合中校正处理模型或者地图处理模型是互不相同的。本实施例中每个模型都可以理解为方法，线程通过访问这些方法和必要的数据而执行模型对应的算法步骤。
例如，服务器根据用户输入，创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型。例如，2D校正方法类型可以是2D校正处理模型的标签信息，同样的，2D地图方法类型也可以是2D地图处理模型的标签信息，都是用于指示模型的算法功能。
例如，服务器根据用户输入，创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型。例如，3D校正方法类型可以是3D校正处理模型的标签信息，同样的，3D地图方法类型也可以是3D地图处理模型的标签信息，都是用于指示模型的算法功能。
例如，服务器根据用户输入，创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型。例如，2D和3D地图方法类型也可以是融合地图处理模型的标签信息，是用于指示模型的算法功能，例如，融合地图处理模型的算法是将2D地图更新算法与3D地图更新算法相互融合后得到的，以实现在进行3D地图更新优化的同时向进行2D跟踪的共用跟踪处理模型同步2D的局部地图。
上述各种校正处理模型和地图处理模型的创建和存储，可以是同时进行的，也可以是以任意顺序先后执行的，本实施例不做限定。
在建立了上述各种模型的基础上，服务器通过对各种模型的选择和组合，获取多个处理模型组合，其中，每个处理模型组合由3个模型组成。第一个模型是预设的共用跟踪处理模型，每个处理模型组合具有相同的共用跟踪处理模型。第二个模型是上述2D校正处理模型和3D校正处理模型之一，即从上述2D校正处理模型和3D校正处理模型选择一个。第三个模型是上述2D地图处理模型、3D地图处理模型和融合地图处理模型之一，同样是在上述2D地图处理模型、3D地图处理模型和融合地图处理模型选择一个。由于每个处理模型组合中包括的组合不同，因此各处理模型组合适用的任务属性也就不同。例如，处理模型组合A包括：共用跟踪处理模型、3D校正处理模型、3D地图处理模型。那么处理模型组合A对应3D校正方法类型和3D地图方法类型，即，可以处理3D跟踪、3D局部地图更新优化等3D类AR任务任务。处理模型组合B包括：共用跟踪处理模型、2D校正处理模型、融合地图处理模型。那么处理模型组合B对应2D校正方法类型、2D和3D地图方法类型，即，可以处理2D跟踪、2D和3D局部地图更新优化等融合类AR任务任务。
上述步骤S102(根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型)的一种可选的实施例可以是：服务器获取用于处理所述AR任务属性的校正方法类型、地图方法类型。例如对融合类AR任务任务，获取到2D校正方法类型、2D和3D地图方法类型。然后，服务器在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。例如将与2D校正方法类型、2D和3D地图方法类型对应的处理模型组合B，作为目标模型组合。
在上述实施例中，任务属性可以有多种，例如可以包括2D类AR任务、3D类AR任务以及融合类AR任务中的至少一种。下面对三种任务属性及其对应的校正处理模型和地图处理模型进行举例。
在一些实施例中，任务属性例如可以包括2D类AR任务。与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型。可以理解为，2D校正处理模型对应的算法是2D跟踪特有的校正算法，比如基于ORB特征的平面匹配算法或者是基于SURF特征的平面匹配算法等。与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。可以理解为，2D地图处理模型对应的算法是2D特有的地图更新优化算法，比如用共用跟踪处理模型获得的位姿、待处理帧图像和平面方程计算新增的地图点的深度。
在另一些实施例中，任务属性例如可以包括3D类AR任务。与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型。可以理解为，3D校正处理模型对应的算法是3D跟踪特有的校正算法，比如基于PWP3D或者基于边缘的匹配算法等。与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。可以理解为，3D地图处理模型对应的算法是3D特有的地图更新优化算法，比如用共用跟踪处理模型获得的位姿、待处理帧图像来渲染3D模型，获取3D模型中每个点的深度，由此增加新的地图点。
在再一些实施例中，任务属性例如可以包括融合类AR任务。与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。例如2D扩展算法中以2D图像进行初始化，并实时对用户在周围环境中进行定位。
通过上述对校正处理模型和地图处理模型的多种组合，结合共用跟踪处理模型，可以灵活地实现各种类型的AR功能的组合，由此适应多种应用需求，降低重复计算。
S103，在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
三线程架构例如是TMC三线程的架构，其中TMC是指三个不同功能的线程。可以理解为，T(Tracking)是指用于对实时序列帧的姿态估计的跟踪线程；M(Mapping)是指用于对局部地图优化更新的地图线程；C(Calibration)是指用于针对全局地图、刚性物体的绝对匹配计算的校正线程。
通过三线程架构执行目标模型组合，可以实现目标模型组合中各模型之间的地层数据共享，从而将跟踪处理模型、校正处理模型和地图处理模型统一起来进行组合调用。
可以理解为，三线程架构包括数据共享的跟踪线程、校正线程和地图线程。其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。例如，跟踪线程用于访问目标模型组合的跟踪处理模型对应的方法，校正线程用于访问目标模型组合的校正处理模型对应的方法，地图线程用于访问目标模型组合的地图处理模型对应的方法。
在三线程架构的基础上，在确定了目标模型组合之后，步骤S103的一种具体实现方式可以为：
服务器首先以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程。
服务器然后以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程。
服务器接着以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程。
服务器继而以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程。
服务器最后以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
本实施例提供一种多模态AR处理方法，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
参见图3，是本发明实施例提供的一种多模态AR处理装置结构示意图，图3所示的多模态AR处理装置30包括：
获取模块31，用于根据用户请求信息，获取视频帧图像和AR任务属性；
组合模块32，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
处理模块33，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。
本实施例提供一种多模态AR处理装置，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。
可选地，组合模块32，用于获取用于处理所述AR任务属性的校正方法类型、地图方法类型；在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。
参见图4，是本发明实施例提供的另一种多模态AR处理装置结构示意图，图4所示的多模态AR处理装置30还包括：预建模块34。
在所述组合模块32根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前，预建模块34，用于创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型；创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型；创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型；获取多个处理模型组合，其中，所述处理模型组合包括：
预设的共用跟踪处理模型，
所述2D校正处理模型和所述3D校正处理模型之一，
以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。
可选地，所述任务属性包括2D类AR任务。
与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型。
与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。
可选地，所述任务属性包括3D类AR任务。
与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型。
与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。
可选地，所述任务属性包括融合类AR任务。
与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。
可选地，所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。
相应地，处理模块33，用于以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程；以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程；以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程；以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程；以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
可选地，所述用户请求信息包括所述视频帧图像。
相应地，获取模块31，用于获取用户请求信息中的视频帧图像；对所述视频帧图像识别获取待跟踪对象；根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。
参见图5，是本发明实施例提供的一种设备的硬件结构示意图，该设备50包括：处理器51、存储器52和计算机程序；其中，
存储器52，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器51，用于执行所述存储器存储的计算机程序，以实现上述多模态AR处理方法中服务器执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。
当所述存储器52是独立于处理器51之外的器件时，所述设备还可以包括：
总线53，用于连接所述存储器52和处理器51。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的多模态AR处理方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的多模态AR处理方法。
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种多模态AR处理方法，其特征在于，包括：
根据用户请求信息，获取视频帧图像和AR任务属性；
根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理；所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型，包括：
获取用于处理所述AR任务属性的校正方法类型、地图方法类型；
在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。
3.根据权利要求2所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前，还包括：
创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型；
创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型；
创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型；
获取多个处理模型组合，其中，所述处理模型组合包括：
预设的共用跟踪处理模型，
所述2D校正处理模型和所述3D校正处理模型之一，
以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。
4.根据权利要求3所述的方法，其特征在于，所述任务属性包括2D类AR任务；
与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型；
与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。
5.根据权利要求3所述的方法，其特征在于，所述任务属性包括3D类AR任务；
与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型；
与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。
6.根据权利要求3所述的方法，其特征在于，所述任务属性包括融合类AR任务；
与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。
7.根据权利要求1至6任一所述的方法，其特征在于，所述在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，包括：
以跟踪线程获取所述视频帧图像，并将所述视频帧图像同步给所述校正线程；
以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像，得到具有尺度信息的绝对位置地图和相机姿态信息，并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程；
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息，对所述视频帧图像进行AR初始定位，获取所述视频帧图像的物体姿态，并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程；
以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态，创建或更新局部地图，并将所述局部地图同步给所述跟踪线程；
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
8.根据权利要求1至6任一所述的方法，其特征在于，所述用户请求信息包括所述视频帧图像；
所述根据用户请求信息，获取视频帧图像和AR任务属性，包括：
获取用户请求信息中的视频帧图像；
对所述视频帧图像识别获取待跟踪对象；
根据所述待跟踪对象的形状特征，确定AR任务属性，其中所述形状特征包括2D物体特征和/或3D物体特征。
9.一种多模态AR处理装置，其特征在于，包括：
获取模块，用于根据用户请求信息，获取视频帧图像和AR任务属性；
组合模块，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；
处理模块，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理；所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。
10.一种设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1至8任一所述多模态AR处理方法。
11.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至8任一所述多模态AR处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910592876.2A CN110322569B (zh) | 2019-07-03 | 2019-07-03 | 多模态ar处理方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910592876.2A CN110322569B (zh) | 2019-07-03 | 2019-07-03 | 多模态ar处理方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322569A CN110322569A (zh) | 2019-10-11 |
| CN110322569B true CN110322569B (zh) | 2023-03-31 |
Family
ID=68122396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910592876.2A Active CN110322569B (zh) | 2019-07-03 | 2019-07-03 | 多模态ar处理方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322569B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050475A (zh) * | 2014-06-19 | 2014-09-17 | 樊晓东 | 基于图像特征匹配的增强现实的系统和方法 |
| CN108227929A (zh) * | 2018-01-15 | 2018-06-29 | 廖卫东 | 基于bim技术的增强现实放样系统及实现方法 |
| CN109168034A (zh) * | 2018-08-28 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 商品信息显示方法、装置、电子设备和可读存储介质 |
| CN109584275A (zh) * | 2018-11-30 | 2019-04-05 | 哈尔滨理工大学 | 一种目标跟踪方法、装置、设备和存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639793A (zh) * | 2009-08-19 | 2010-02-03 | 南京邮电大学 | 一种基于支持向量回归机的网格负载预测方法 |
| KR101457313B1 (ko) * | 2010-06-22 | 2014-11-04 | 노키아 코포레이션 | 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 |
| JP6074170B2 (ja) * | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
| US9898864B2 (en) * | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| CN106325980A (zh) * | 2015-06-30 | 2017-01-11 | 中国石油化工股份有限公司 | 一种多线程并发系统 |
| US10043076B1 (en) * | 2016-08-29 | 2018-08-07 | PerceptIn, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
| WO2018135881A1 (en) * | 2017-01-19 | 2018-07-26 | Samsung Electronics Co., Ltd. | Vision intelligence management for electronic devices |
| CN107885871A (zh) * | 2017-11-24 | 2018-04-06 | 南京华捷艾米软件科技有限公司 | 基于云计算的同步定位与地图构建方法、系统、交互系统 |
| CN109063774B (zh) * | 2018-08-03 | 2021-01-12 | 百度在线网络技术（北京）有限公司 | 图像追踪效果评价方法、装置、设备及可读存储介质 |
| CN109189986B (zh) * | 2018-08-29 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 信息推荐方法、装置、电子设备和可读存储介质 |
| CN109887003B (zh) * | 2019-01-23 | 2021-11-19 | 亮风台（上海）信息科技有限公司 | 一种用于进行三维跟踪初始化的方法与设备 |
-
2019
- 2019-07-03 CN CN201910592876.2A patent/CN110322569B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050475A (zh) * | 2014-06-19 | 2014-09-17 | 樊晓东 | 基于图像特征匹配的增强现实的系统和方法 |
| CN108227929A (zh) * | 2018-01-15 | 2018-06-29 | 廖卫东 | 基于bim技术的增强现实放样系统及实现方法 |
| CN109168034A (zh) * | 2018-08-28 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 商品信息显示方法、装置、电子设备和可读存储介质 |
| CN109584275A (zh) * | 2018-11-30 | 2019-04-05 | 哈尔滨理工大学 | 一种目标跟踪方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322569A (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3698323B1 (en) | Depth from motion for augmented reality for handheld user devices | |
| Luo et al. | Real-time dense monocular SLAM with online adapted depth prediction network | |
| JP7475772B2 (ja) | 画像生成方法、画像生成装置、コンピュータ機器、及びコンピュータプログラム | |
| CN108898676A (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| US10614594B2 (en) | Cross-device supervisory computer vision system | |
| US10885708B2 (en) | Automated costume augmentation using shape estimation | |
| US10733777B2 (en) | Annotation generation for an image network | |
| CN114998406B (zh) | 一种自监督多视图深度估计方法、装置 | |
| Zhao et al. | Real-time visual-inertial localization using semantic segmentation towards dynamic environments | |
| US11770551B2 (en) | Object pose estimation and tracking using machine learning | |
| US11281935B2 (en) | 3D object detection from calibrated 2D images | |
| CN114998433B (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
| CN113379748A (zh) | 一种点云全景分割方法和装置 | |
| CN110322569B (zh) | 多模态ar处理方法、装置、设备和可读存储介质 | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| Hu et al. | 3D map reconstruction using a monocular camera for smart cities | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN115239899B (zh) | 位姿图生成方法、高精地图生成方法和装置 | |
| US20240221210A1 (en) | Method device and storage medium for back-end optimization of simultaneous localization and mapping | |
| KR102358372B1 (ko) | 영상의 스테레오 정합 방법 및 장치 | |
| CN110211239B (zh) | 基于无标记识别的增强现实方法、装置、设备及介质 | |
| CN110363860B (zh) | 3d模型重建方法、装置及电子设备 | |
| WO2021065607A1 (ja) | 情報処理装置および方法、並びにプログラム | |
| Rückert et al. | FragmentFusion: a light-weight SLAM pipeline for dense reconstruction | |
| Ayush et al. | Real time visual SLAM using cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |