CN111325798B - 相机模型纠正方法、装置、ar实现设备及可读存储介质 - Google Patents
相机模型纠正方法、装置、ar实现设备及可读存储介质 Download PDFInfo
- Publication number
- CN111325798B CN111325798B CN201811524847.4A CN201811524847A CN111325798B CN 111325798 B CN111325798 B CN 111325798B CN 201811524847 A CN201811524847 A CN 201811524847A CN 111325798 B CN111325798 B CN 111325798B
- Authority
- CN
- China
- Prior art keywords
- shooting
- correction
- target
- camera model
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims abstract description 85
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 230000003190 augmentative effect Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种相机模型纠正方法、装置、AR实现设备及可读存储介质。所述方法应用于与真实相机连接的AR实现设备，所述AR实现设备存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述方法包括：实时检测真实相机当前的成像倍率数值；根据存储的真实相机的成像倍率与虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；按照目标纠正拍摄参数对虚拟相机模型当前使用的拍摄参数数值进行调整，以使虚拟相机模型与真实相机实时匹配，从而减小虚拟相机模型与真实相机之间的融合偏差，增加AR融合精准度，提高AR效果。
Description
技术领域
本申请涉及AR(Augmented Reality，增强现实)实现技术领域，具体而言，涉及一种相机模型纠正方法、装置、AR实现设备及可读存储介质。
背景技术
随着科学技术的不断发展，AR技术的应用领域愈发广泛，其中视频监控领域便是众多AR技术应用领域的一个重要组成部分。目前，AR效果通常需要对真实相机采集到的图像进行全景特征提取，并将提取出的全景特征完全匹配到虚拟相机模型所构建的虚拟场景中的方式来实现。现有的AR效果实现方式在实施过程中会尽量地将虚拟相机模型标准化，以通过虚拟相机模型的标准化来得到更好的AR效果，但这种AR效果实现方式并未考虑到因真实相机自身的物理区别(例如，镜头拍摄精度不同)而在虚拟相机模型与真实相机之间存在融合偏差，从而导致最终的实时视频上的AR叠加效果存在偏差，具体的AR效果不佳。
发明内容
为了克服现有技术中的上述不足，本申请的目的在于提供一种相机模型纠正方法、装置、AR实现设备及可读存储介质，所述相机模型纠正方法能够根据真实相机当前的物理特征对虚拟相机模型进行纠正，以使所述虚拟相机模型与所述真实相机实时匹配，增加AR融合精准度，提高AR效果。
就方法而言，本申请实施例提供一种相机模型纠正方法，所述方法应用于增强现实AR实现设备，所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述方法包括：
实时检测所述真实相机当前的成像倍率数值；
根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；
按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机对应匹配。
可选地，在本申请实施例中，上述方法还包括：
测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数；
基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
可选地，在本申请实施例中，上述测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数的步骤包括：
在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置；
控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处；
当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置；
根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置；
将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止；
将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
可选地，在本申请实施例中，上述基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线的步骤包括：
将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数；
对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
就装置而言，本申请实施例提供一种相机模型纠正装置，所述装置应用于AR实现设备，所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述装置包括：
倍率检测模块，用于实时检测所述真实相机当前的成像倍率数值；
参数获取模块，用于根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；
参数调整模块，用于按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机对应匹配。
可选地，在本申请实施例中，上述装置还包括：
参数测试模块，用于测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数；
曲线绘制模块，用于基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
可选地，在本申请实施例中，上述参数测试模块具体用于：
在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置；
控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处；
当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置；
根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置；
将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止；
将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
可选地，在本申请实施例中，上述曲线绘制模块具体用于：
将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数；
对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
就设备而言，本申请实施例还提供一种AR实现设备，所述AR实现设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述AR实现设备执行任意一种上述的相机模型纠正方法，其中所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型。
就存储介质而言，本申请实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在AR实现设备执行任意一种上述的相机模型纠正方法。
相对于现有技术而言，本申请实施例提供的相机模型纠正方法、装置、AR实现设备及可读存储介质具有以下有益效果：所述相机模型纠正方法能够根据真实相机当前的物理特征对虚拟相机模型进行纠正，以使所述虚拟相机模型与所述真实相机实时匹配，增加AR融合精准度，提高AR效果。首先，所述方法实时检测所述真实相机当前的成像倍率数值；接着，所述方法根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；最后，所述方法按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机实时匹配，减小所述虚拟相机模型与所述真实相机之间的融合偏差，增加AR融合精准度，从而提高对应的AR效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的AR实现设备的一种方框示意图。
图2为本申请实施例提供的相机模型纠正方法的第一种流程示意图。
图3为本申请实施例提供的相机模型纠正方法的第二种流程示意图。
图4为图3中所示的步骤S210包括的子步骤的流程示意图。
图5为图3中所示的步骤S220包括的子步骤的流程示意图。
图6为本申请实施例提供的相机模型纠正装置的第一种方框示意图。
图7为本申请实施例提供的相机模型纠正装置的第二种方框示意图。
图标：10-AR实现设备；11-存储器；12-处理器；13-通信单元；100-相机模型纠正装置；130-倍率检测模块；140-参数获取模块；150-参数调整模块；110-参数测试模块；120-曲线绘制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，是本申请实施例提供的AR实现设备10的一种方框示意图。在本申请实施例中，所述AR实现设备10通过有线网络或无线网络与用于拍摄图像的真实相机通信连接，所述AR实现设备10中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述AR实现设备10通过所述虚拟相机模型与所述真实相机之间的配合实现AR效果。当所述真实相机发生转动拍摄时，所述虚拟相机模型也会随之进行转动拍摄，且所述虚拟相机模型的转动方向及转动幅度分别与所述真实相机的转动方向及转动幅度相同，即所述虚拟相机模型的拍摄操作与所述真实相机的拍摄操作同步。在本实施例中，所述AR实现设备10可根据真实相机当前表现出的如成像倍率的物理特征，对虚拟相机模型进行纠正，以使所述虚拟相机模型与所述真实相机实时匹配，减小所述虚拟相机模型与所述真实相机之间的融合偏差，增加AR融合精准度，从而提高对应的AR效果。其中，所述AR实现设备10可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。
在本实施例中，所述AR实现设备10包括相机模型纠正装置100、存储器11、处理器12及通信单元13。所述存储器11、处理器12及通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、处理器12及通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中，所述存储器11是非易失性存储器，所述存储器11可用于存储拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述存储器11还可用于存储所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，所述参数纠正曲线用于表示所述虚拟相机模型当前使用的拍摄参数随着所述真实相机的成像倍率的变化而变化的适配规律，以确保所述虚拟相机模型能够基于所述参数纠正曲线与所述真实相机实时匹配，从而减小所述虚拟相机模型与所述真实相机之间的融合偏差，增加AR融合精准度，提高对应的AR效果。其中，所述拍摄参数可以是所述虚拟相机模型的拍摄焦距，也可以是所述虚拟相机模型的拍摄视场角。在本实施例中，所述存储器11还可用于存储程序，所述处理器12在接收到执行指令后，可相应地执行所述程序。
在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中，所述通信单元13用于通过网络建立所述AR实现设备10与其他电子设备之间的通信连接，并通过所述网络收发数据。
在本实施例中，所述相机模型纠正装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述AR实现设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述相机模型纠正装置100所包括的软件功能模块及计算机程序等。所述AR实现设备10通过所述相机模型纠正装置100对虚拟相机模型进行实时纠正，以使所述虚拟相机模型与所述真实相机实时匹配，减小所述虚拟相机模型与所述真实相机之间的融合偏差，增加AR融合精准度，从而提高对应的AR效果。
可以理解的是，图1所示的框图仅为AR实现设备10的一种结构组成示意图，所述AR实现设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，是本申请实施例提供的相机模型纠正方法的第一种流程示意图。在本申请实施例中，所述相机模型纠正方法应用于AR实现设备10，所述AR实现设备10与用于拍摄图像的真实相机连接，所述AR实现设备10中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型。下面对图2所示的相机模型纠正方法的具体流程和步骤进行详细阐述。
步骤S230，实时检测真实相机当前的成像倍率数值。
在本实施例中，所述AR实现设备10可通过实时地向所述真实相机发送用于获取该真实相机当前使用的成像倍率数值的倍率获取请求的方式，实时检测并获取所述真实相机当前的成像倍率数值，以判断所述真实相机的成像倍率数值是否发生改变。
步骤S240，根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数。
在本实施例中，当所述AR实现设备10获取到所述真实相机当前的成像倍率数值后，通过在存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线中，查找与所述真实相机当前的成像倍率数值匹配的纠正拍摄参数的方式，得到与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数。
步骤S250，按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机对应匹配。
在本实施例中，当所述真实相机的成像倍率数值发生改变，且所述AR实现设备10在参数纠正曲线中获取到与变化后的所述真实相机当前的成像倍率数值匹配的纠正拍摄参数时，所述AR实现设备10通过将所述虚拟相机模型当前使用的拍摄参数数值调整为所述目标纠正拍摄参数的数值的方式，实现对所述虚拟相机模型当前使用的拍摄参数的纠正，以使拍摄参数纠正后的所述虚拟相机模型与所述真实相机实时匹配，所述真实相机拍摄到的目标事物在所述真实相机的屏幕坐标系中的位置坐标，与该目标事物在拍摄参数纠正后的所述虚拟相机模型的世界坐标系中的位置坐标之间的融合偏差更小，以减小所述虚拟相机模型与所述真实相机之间的整体融合偏差，增加AR融合精准度，从而在以纠正后的所述拍摄参数及当前的成像倍率数值刷新该AR实现设备10的显示页面后，可对应得到AR效果更好的显示画面。
请参照图3，是本申请实施例提供的相机模型纠正方法的第二种流程示意图。在本申请实施例中，在所述步骤S230之前，所述相机模型纠正方法还可以包括步骤S210及步骤S220。
步骤S210，测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数。
可选地，请参照图4，是图3中所示的步骤S210包括的子步骤的流程示意图。在本实施例中，所述步骤S210可以包括子步骤S211-子步骤S216。
子步骤S211，在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置。
在本实施例中，所述AR实现设备10可通过在所述真实相机的屏幕中心处创建一图像识别区域，以通过所述图像识别区域确定某个目标实物的图像，并相应获取该目标实物的图像特征，及该目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置的位置坐标。所述AR实现设备10在每次按照不同成像倍率数值对所述真实相机当前的成像倍率进行调整后，均会基于所述图像识别区域确定一个当前图像位于所述图像识别区域内的目标实物，并得到该目标实物在当前成像倍率下处于所述真实相机对应的屏幕坐标系中的第一拍摄位置。
子步骤S212，控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处。
在本实施例中，所述目标第一拍摄位置可以是位于所述真实相机的屏幕边缘处，也可以是位于所述真实相机的屏幕左上角，具体的位置信息可根据需求进行不同的配置。
子步骤S213，当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置。
在本实施例中，当所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄时，所述虚拟相机模型当前使用的拍摄参数的作用下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的位置必定会发生变化。而当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置并停止移动时，所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述世界坐标系中的位置也必将停止移动，此时所述目标实物在所述世界坐标系中的位置即为所述第二拍摄位置。
子步骤S214，根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置。
在本实施例中，所述AR实现设备10通过根据所述世界坐标与所述屏幕坐标之间的转换关系，对所述第二拍摄位置进行坐标转换的方式，得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置。其中，若所述屏幕坐标系中的坐标(x1,y1)与所述世界坐标系中的原点坐标(0,0)相互对应，则所述屏幕坐标系中的第一目标坐标(X1，Y1)在转换到所述世界坐标系中时对应的位置坐标为(X1-x1，Y1-y1)，所述世界坐标系中的第二目标坐标(X2，Y2)在转换到所述屏幕坐标系中时对应的位置坐标为(X2+x1，Y2+y1)。在本实施例的一种实施方式中，所述AR实现设备10以所述真实相机在屏幕坐标系中的屏幕中心坐标，与所述虚拟相机模型在世界坐标系中的原点坐标相互对应。
子步骤S215，将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止。
在本实施例中，当所述当前拍摄参数下的所述目标第二拍摄位置处于所述真实相机的屏幕覆盖范围内，且与目标第一拍摄位置不重合时，所述AR实现设备10将调小所述虚拟相机模型当前使用的拍摄视场角或调大所述虚拟相机模型当前使用的拍摄焦距，并基于调整后的拍摄参数重新得到该目标实物当前对应的目标第二拍摄位置，再次进行所述目标第二拍摄位置与所述目标第一拍摄位置之间的位置比较，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止。
当所述当前拍摄参数下的所述目标第二拍摄位置处于所述真实相机的屏幕覆盖范围外，且与目标第一拍摄位置不重合时，所述AR实现设备10将调大所述虚拟相机模型当前使用的拍摄视场角或调小所述虚拟相机模型当前使用的拍摄焦距，并基于调整后的拍摄参数重新得到该目标实物当前对应的目标第二拍摄位置，再次进行所述目标第二拍摄位置与所述目标第一拍摄位置之间的位置比较，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止。
子步骤S216，将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
请再次参照图3，步骤S220，基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
可选地，请参照图5，是图3中所示的步骤S220包括的子步骤的流程示意图。在本实施例中，所述步骤S220可以包括子步骤S221及子步骤S222。
子步骤S221，将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数。
子步骤S222，对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
在本实施例中，所述线性变化曲线是以成像倍率为自变量并以纠正拍摄参数为因变量的线性曲线，所述AR实现设备10在得到排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线后，通过在同一坐标系下对绘制出的多条线性变化曲线进行曲线拼接的方式，得到包括所有的所述线性变化曲线的所述参数纠正曲线。其中，所述AR实现设备10可采用升序的方式实现对测试得到的所有纠正拍摄参数的排序过程，也可采用降序的方式实现对测试得到的所有纠正拍摄参数的排序过程，具体的排序方式可根据需求进行不同的配置。
在本实施例的一种实施方式中，所述曲线调整除了曲线拼接外还包括曲线平滑，当所述AR实现设备10在对多条线性变化曲线进行曲线拼接处理后，会通过对拼接形成的曲线进行曲线平滑处理的方式，得到所述参数纠正曲线。
请参照图6，是本申请实施例提供的相机模型纠正装置100的第一种方框示意图。在本申请实施例中，所述相机模型纠正装置100包括倍率检测模块130、参数获取模块140及参数调整模块150。
所述倍率检测模块130，用于实时检测真实相机当前的成像倍率数值。
在本实施例中，所述倍率检测模块130可以执行图2中的步骤S230，具体的描述可参照上文中对步骤S230的详细描述。
所述参数获取模块140，用于根据存储的所述真实相机的成像倍率与虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数。
在本实施例中，所述参数获取模块140可以执行图2中的步骤S240，具体的描述可参照上文中对步骤S240的详细描述。
所述参数调整模块150，用于按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机对应匹配。
在本实施例中，所述参数调整模块150可以执行图2中的步骤S250，具体的描述可参照上文中对步骤S250的详细描述。
请参照图7，是本申请实施例提供的相机模型纠正装置100的第二种方框示意图。在本申请实施例中，所述相机模型纠正装置100还可以包括参数测试模块110及曲线绘制模块120。
所述参数测试模块110，用于测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数。
在本实施例中，所述参数测试模块110测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数的方式包括：
在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置；
控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处；
当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置；
根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置；
将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止；
将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
其中，所述参数测试模块110可以执行图3中的步骤S210及图4中的子步骤S211-子步骤S216，具体的描述可参照上文中对步骤S210及子步骤S211-子步骤S216的详细描述。
所述曲线绘制模块120，用于基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
在本实施例中，所述曲线绘制模块120基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线的方式包括：
将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数；
对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
其中，所述曲线绘制模块120可以执行图3中的步骤S220及图4中的子步骤S221和子步骤S222，具体的描述可参照上文中对步骤S220、子步骤S221及子步骤S222的详细描述。
本申请实施例还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序运行时控制所述可读存储介质所在AR实现设备10执行上述的奖励发放方法。其中，所述可读存储介质可以是AR实现设备10(比如，个人计算机、服务器等)能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等各种可以存储程序代码的介质。
综上所述，在本申请实施例提供的相机模型纠正方法、装置、AR实现设备及可读存储介质中，所述相机模型纠正方法能够根据真实相机当前的物理特征对虚拟相机模型进行纠正，以使所述虚拟相机模型与所述真实相机实时匹配，增加AR融合精准度，提高AR效果。首先，所述方法实时检测所述真实相机当前的成像倍率数值；接着，所述方法根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；最后，所述方法按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，以使所述虚拟相机模型与所述真实相机实时匹配，减小所述虚拟相机模型与所述真实相机之间的融合偏差，增加AR融合精准度，从而提高对应的AR效果。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种相机模型纠正方法，其特征在于，应用于增强现实AR实现设备，所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述方法包括：
实时检测所述真实相机当前的成像倍率数值；
根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；
按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，使所述虚拟相机模型实际使用的拍摄参数数值与所述真实相机当前的成像倍率数值对应匹配，以减小所述真实相机拍摄到的目标事物在所述真实相机的屏幕坐标系和所述虚拟相机模型的世界坐标系处分别对应的位置坐标之间的融合偏差；
其中，所述方法还包括：
测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数；
基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
2.根据权利要求1所述的方法，其特征在于，所述测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数的步骤包括：
在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置；
控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处；
当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置；
根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置；
将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止；
将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
3.根据权利要求1或2所述的方法，其特征在于，所述基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线的步骤包括：
将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数；
对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
4.一种相机模型纠正装置，其特征在于，应用于AR实现设备，所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型，所述装置包括：
倍率检测模块，用于实时检测所述真实相机当前的成像倍率数值；
参数获取模块，用于根据存储的所述真实相机的成像倍率与所述虚拟相机模型的纠正拍摄参数之间的参数纠正曲线，获取与所述真实相机当前的成像倍率数值匹配的目标纠正拍摄参数；
参数调整模块，用于按照所述目标纠正拍摄参数对所述虚拟相机模型当前使用的拍摄参数数值进行调整，使所述虚拟相机模型实际使用的拍摄参数数值与所述真实相机当前的成像倍率数值对应匹配，以减小所述真实相机拍摄到的目标事物在所述真实相机的屏幕坐标系和所述虚拟相机模型的世界坐标系处分别对应的位置坐标之间的融合偏差；
其中，所述装置还包括：
参数测试模块，用于测试所述虚拟相机模型在所述真实相机的不同成像倍率下所对应的纠正拍摄参数；
曲线绘制模块，用于基于测试得到的纠正拍摄参数绘制形成所述参数纠正曲线。
5.根据权利要求4所述的装置，其特征在于，所述参数测试模块具体用于：
在每次调整所述真实相机的成像倍率后，获取当前成像倍率下的目标实物在所述真实相机对应的屏幕坐标系中对应的第一拍摄位置；
控制所述真实相机与所述虚拟相机模型按照相同的拍摄操作进行转动拍摄，以使所述目标实物在所述屏幕坐标系中对应的第一拍摄位置被移动至目标第一拍摄位置处；
当所述目标实物在所述屏幕坐标系中处于所述目标第一拍摄位置时，获取所述虚拟相机模型当前使用的拍摄参数下的所述目标实物在所述虚拟相机模型对应的世界坐标系中对应的第二拍摄位置；
根据世界坐标与屏幕坐标之间的转换关系得到所述第二拍摄位置在所述屏幕坐标系中对应的目标第二拍摄位置；
将所述目标第一拍摄位置与当前拍摄参数下的所述目标第二拍摄位置进行位置比较，并在位置不重合时对所述虚拟相机模型当前使用的拍摄参数进行调整，直至调整后的拍摄参数下的所述目标第二拍摄位置与所述目标第一拍摄位置重合为止；
将所述目标第二拍摄位置与所述目标第一拍摄位置重合时所使用的拍摄参数，作为与当前成像倍率对应的纠正拍摄参数。
6.根据权利要求4或5所述的装置，其特征在于，所述曲线绘制模块具体用于：
将测试得到的所有纠正拍摄参数按照每个纠正拍摄参数所对应的成像倍率数值进行排序，得到排序后的多组参数纠正数据，其中每组参数纠正数据包括对应的成像倍率数值及纠正拍摄参数；
对排序后的多组参数纠正数据中相邻两组参数纠正数据之间的线性变化曲线进行绘制，并对绘制出的多条线性变化曲线进行曲线调整，以得到所述参数纠正曲线。
7.一种AR实现设备，其特征在于，所述AR实现设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述AR实现设备执行权利要求1-3中任意一项所述的相机模型纠正方法，其中所述AR实现设备与用于拍摄图像的真实相机连接，所述AR实现设备中存储有拍摄操作与所述真实相机的拍摄操作同步的虚拟相机模型。
8.一种可读存储介质，其特征在于，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在AR实现设备执行权利要求1-3中任意一项所述的相机模型纠正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811524847.4A CN111325798B (zh) | 2018-12-13 | 2018-12-13 | 相机模型纠正方法、装置、ar实现设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811524847.4A CN111325798B (zh) | 2018-12-13 | 2018-12-13 | 相机模型纠正方法、装置、ar实现设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325798A CN111325798A (zh) | 2020-06-23 |
| CN111325798B true CN111325798B (zh) | 2023-08-18 |
Family
ID=71172253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811524847.4A Active CN111325798B (zh) | 2018-12-13 | 2018-12-13 | 相机模型纠正方法、装置、ar实现设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325798B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022040983A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 基于cad模型的投影标记和机器视觉的实时注册方法 |
| CN112132909B (zh) * | 2020-09-23 | 2023-12-22 | 字节跳动有限公司 | 参数获取方法及装置、媒体数据处理方法和存储介质 |
| CN114040090A (zh) * | 2021-08-25 | 2022-02-11 | 先壤影视制作(上海)有限公司 | 同步虚实的方法、装置、设备、存储介质、采集件及系统 |
| CN113905145A (zh) * | 2021-10-11 | 2022-01-07 | 浙江博采传媒有限公司 | 一种led环幕虚实相机焦点匹配方法及系统 |
| CN114422696A (zh) * | 2022-01-19 | 2022-04-29 | 浙江博采传媒有限公司 | 一种虚拟拍摄方法、装置及存储介质 |
| CN116320363B (zh) * | 2023-05-25 | 2023-07-28 | 四川中绳矩阵技术发展有限公司 | 一种多角度虚拟现实拍摄方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102157011A (zh) * | 2010-12-10 | 2011-08-17 | 北京大学 | 利用移动拍摄设备进行动态纹理采集及虚实融合的方法 |
| CN108492356A (zh) * | 2017-02-13 | 2018-09-04 | 苏州宝时得电动工具有限公司 | 增强现实系统及其控制方法 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108553889A (zh) * | 2018-03-29 | 2018-09-21 | 广州汉智网络科技有限公司 | 虚拟模型交互方法及装置 |
| CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101528A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
| EP2736247A1 (en) * | 2012-11-26 | 2014-05-28 | Brainstorm Multimedia, S.L. | A method for obtaining a virtual object within a virtual studio from a real object |
| CN105955456B (zh) * | 2016-04-15 | 2018-09-04 | 深圳超多维科技有限公司 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| CN108537889A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
-
2018
- 2018-12-13 CN CN201811524847.4A patent/CN111325798B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102157011A (zh) * | 2010-12-10 | 2011-08-17 | 北京大学 | 利用移动拍摄设备进行动态纹理采集及虚实融合的方法 |
| CN108492356A (zh) * | 2017-02-13 | 2018-09-04 | 苏州宝时得电动工具有限公司 | 增强现实系统及其控制方法 |
| CN108520552A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108553889A (zh) * | 2018-03-29 | 2018-09-21 | 广州汉智网络科技有限公司 | 虚拟模型交互方法及装置 |
| CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325798A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325798B (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
| CN108805917B (zh) | 空间定位的方法、介质、装置和计算设备 | |
| US10129462B2 (en) | Camera augmented reality based activity history tracking | |
| CN108450058B (zh) | 实时自动车载相机校准 | |
| US9727775B2 (en) | Method and system of curved object recognition using image matching for image processing | |
| CN105283905B (zh) | 使用点和线特征的稳健跟踪 | |
| EP2991339A2 (en) | Photographing method and electronic device | |
| US20150103183A1 (en) | Method and apparatus for device orientation tracking using a visual gyroscope | |
| CN109816769A (zh) | 基于深度相机的场景地图生成方法、装置及设备 | |
| WO2019042419A1 (zh) | 图像跟踪点获取方法、设备及存储介质 | |
| EP2843625A1 (en) | Method for synthesizing images and electronic device thereof | |
| CN108564082A (zh) | 图像处理方法、装置、服务器和介质 | |
| CN111179309B (zh) | 一种跟踪方法及设备 | |
| CN113920502A (zh) | 一种云台调整方法、装置、设备及介质 | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| CN110111364A (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| CN110097061A (zh) | 一种图像显示方法及装置 | |
| CN116416701A (zh) | 一种巡检方法、巡检装置、电子设备及存储介质 | |
| US12051180B2 (en) | Method for generating images with high dynamic range during multiple exposures and times of capture, device employing method, and storage medium | |
| CN113902932A (zh) | 特征提取方法、视觉定位方法及装置、介质和电子设备 | |
| CN114119990A (zh) | 用于图像特征点匹配的方法、装置及计算机程序产品 | |
| CN115883969B (zh) | 一种无人机拍摄方法、装置、设备及介质 | |
| CN108780572A (zh) | 图像校正的方法及装置 | |
| CN117745845A (zh) | 一种外参信息确定方法、装置、设备和存储介质 | |
| CN114066731B (zh) | 生成全景图的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |