CN108958483A - 基于交互笔的刚体定位方法、装置、终端设备及存储介质 - Google Patents
基于交互笔的刚体定位方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN108958483A CN108958483A CN201810696389.6A CN201810696389A CN108958483A CN 108958483 A CN108958483 A CN 108958483A CN 201810696389 A CN201810696389 A CN 201810696389A CN 108958483 A CN108958483 A CN 108958483A
- Authority
- CN
- China
- Prior art keywords
- information
- axis
- freedom degree
- posture position
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 231
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004807 localization Effects 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 238000006073 displacement reaction Methods 0.000 claims description 247
- 230000015654 memory Effects 0.000 claims description 16
- 241000208340 Araliaceae Species 0.000 claims description 10
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 10
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 10
- 235000008434 ginseng Nutrition 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 230000003760 hair shine Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 17
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 235000012149 noodles Nutrition 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种基于交互笔的刚体定位方法、装置、终端设备及存储介质。本发明通过在交互笔内设置方向传感器,并辅以设置于立体显示设备上的视觉传感器,在交互过程中,通过利用视觉传感器采集到的交互笔上发光标记点的成像图片中各发光标记点的定位信息,确定在视觉传感器的视角中,交互笔在三维空间中的第一自由度姿态位置信息,并根据确定的第一自由度姿态位置信息,对方向传感器确定的交互笔在三维空间中的第二自由度姿态位置信息(基于方向传感器的视角)进行校准,得到精确度较高的第三自由度姿态位置信息,最后根据第三自由度姿态位置信息来确定交互笔在三维空间中的实际位置,从而有效提升了交互过程中定位的精确度和稳定性。
Description
技术领域
本发明涉及虚拟现实交互技术领域,尤其涉及一种基于交互笔的刚体定位方法、装置、终端设备及存储介质。
背景技术
随着计算机图形学、计算机仿真技术、人机接口技术、多媒体技术以及传感技术的发展,虚拟技术,如虚拟现实的人机交互、混合现实的人机交互成为了研究热点。虚拟技术的发展,大大促进了空间交互场合,如立体投影机、立体遥控器、三维(three dimensional,简称:3D)显示器等交互产品和服务的发展。
以3D显示器为例,目前市面上存在着大量不同尺寸的3D显示器,该类显示器非常适合小组多人同时使用观看立体事物,为了使得3D显示器能够在更多的人群中普及,减小用户购买成本,该类显示器大多没有提供专门的虚拟显示交互设备,如虚拟显示头盔或3D眼镜等,而是提供制备成本较低且可以应用于其他终端设备的交互手柄(大致分为带定位跟踪系统和不带定位跟踪系统)给用户使用。
但是,目前不带定位跟踪系统的交互手柄(相当于常见的空中鼠标,手柄操作仅仅依靠运动传感器),仅能得到旋转自由度,无法得到高精度的位置定位,根本满足不了精准空间交互应用需求。而带定位跟踪系统的交互手柄,由于其设计初衷是为了配合虚拟显示头盔考虑,因而无法适用于空间桌面立体交互,尤其是桌面型近距离交互应用等场合。即现有产品多数都不能在一个空间内同时开启多个系统时,进行同时使用,这无法满足新型实验教室的应用场合。并且现有的产品大多是基于超声波原理实现定位,因而在交互过程中存在着延时高、精度低、稳定性差的问题,无法满足精准交互的要求。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于交互笔的刚体定位方法、装置、终端设备及存储介质,旨在解决现有技术中无法支持桌面类产品多人同时共享,并且交互过程稳定性差、精确度低的技术问题。
为实现上述目的,本发明提供了一种基于交互笔的刚体定位方法,所述方法包括以下步骤:
接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
确定各所述发光标记点在所述成像图片中的坐标;
根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
优选地,所述发光标记点为一个,所述方向传感器为九轴惯性运动传感器,所述九轴惯性运动传感器包括三轴微电机陀螺仪、三轴加速度计和三轴磁力计,所述发光标记点和所述九轴惯性运动传感器均设置于所述交互笔的笔尖区域,且所述发光标记点与所述九轴惯性运动传感器相邻;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息;
根据所述三轴磁力计和所述三轴加速度计,对所述三轴微电机陀螺仪的累计角度误差进行补偿,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
优选地,所述发光标记点为两个,分别为第一发光标记点和第二发光标记点,所述方向传感器为六轴惯性运动传感器,所述六轴惯性运动传感器包括三轴微电机陀螺仪和三轴加速度计,所述第一发光标记点设置于所述交互笔的笔尖区域,所述第二发光标记点设置于所述交互笔的笔尾区域,所述六轴惯性运动传感器设置于所述交互笔的中部区域;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息;
根据所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴的旋转信息,对所述X轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息。
优选地,所述发光标记点为三个,分别为第一发光标记点、第二发光标记点和第三发光标记点,所述方向传感器为三轴惯性运动传感器,所述三轴惯性运动传感包括三轴微电机陀螺仪,所述第一发光标记点、第二发光标记点、第三发光标记点和所述三轴惯性运动传感器均设置于所述交互笔的笔尖区域,且三个发光标记点的连线构成一个非等边三角形;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息;
根据所述三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,确定所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息。
优选地,所述视觉传感器为多目红外摄像头模组;
相应地,所述确定各所述发光标记点在所述成像图片中的坐标,具体包括:
根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标。
优选地,所述根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标,具体包括:
对所述多目红外摄像头模组进行标定,以消除所述多目红外摄像头模组采集的所述成像图片的畸变,并获得所述多目红外摄像头模组中各摄像头的内参和外参;
根据各摄像头的所述内参和所述外参,对所述多目红外摄像头模组进行立体匹配,以得到任意两个摄像头之间的视差数据;
根据所述视差数据和相似三角形原理,确定各所述发光标记点在所述成像图片中的坐标。
优选地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准之前,所述方法还包括:
根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,以使所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,具体包括:
根据调节后的所述第一自由度姿态位置信息,对调节后的所述第二自由度姿态位置信息进行校准。
此外,为实现上述目的,本发明还提供了一种基于交互笔的刚体定位装置,所述装置包括:
第一接收模块,用于接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
第一确定模块,用于确定各所述发光标记点在所述成像图片中的坐标;
第二确定模块,用于根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
第二接收模块,用于接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
校准模块,用于根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
第三确定模块,用于根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
此外,为实现上述目的,本发明还提供了一种终端设备,所述终端设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于交互笔的刚体定位程序,所述基于交互笔的刚体定位程序配置为实现所述基于交互笔的刚体定位方法的步骤。
此外,为实现上述目的,本发明还提供了一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有基于交互笔的刚体定位程序,所述基于交互笔的刚体定位程序被处理器执行时实现所述基于交互笔的刚体定位方法的步骤。
本发明通过在交互笔内设置方向传感器,并辅以设置于立体显示设备上的视觉传感器,在交互过程中,通过利用视觉传感器采集到的交互笔上发光标记点的成像图片中各发光标记点的定位信息,确定在视觉传感器的视角中,交互笔在三维空间中的第一自由度姿态位置信息,并根据确定的第一自由度姿态位置信息,对方向传感器确定的交互笔在三维空间中的第二自由度姿态位置信息(基于方向传感器的视角)进行校准,得到精确度较高的第三自由度姿态位置信息,最后根据第三自由度姿态位置信息来确定交互笔在三维空间中的实际位置,从而有效提升了交互过程中定位的精确度和稳定性。并且,本发明中通过选用尺寸已知、形状固定,且不易发生形变的交互笔作为在虚拟交互场景中使用的交互设备,基于上述定位方式,在方便用户操作的同时,还可以实现同时对多个交互笔的定位需求,从而能够做到支持桌面类产品多人同时共享。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图;
图2为本发明基于交互笔的刚体定位方法第一实施例的流程示意图;
图3为本发明基于交互笔的刚体定位方法第一实施例中双目测距原理实现的示意图;
图4为本发明基于交互笔的刚体定位方法第一实施例中三轴坐标系及X轴、Y轴和Z轴旋转方向的示意图;
图5为本发明基于交互笔的刚体定位方法第二实施例的流程示意图;
图6为本发明基于交互笔的刚体定位装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图,该终端设备可以是个人计算机、平板电脑、智能手机等能够访问网络的设备,此处不再一一列举,也不做具体限制。
如图1所示,该终端设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括可触摸显示屏、语音识别单元等,可选地,用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口、蓝牙接口等)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
因此,如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于交互笔的刚体定位程序。
在图1所示的终端设备中,网络接口1004主要用建立终端设备与视觉传感器、交互笔的通信连接;用户接口1003主要用于接收用户的输入指令;所述终端设备通过处理器1001调用存储器1005中存储的基于交互笔的刚体定位程序,并执行以下操作:
接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
确定各所述发光标记点在所述成像图片中的坐标;
根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
进一步地,所述发光标记点为一个,所述方向传感器为九轴惯性运动传感器,所述九轴惯性运动传感器包括三轴微电机陀螺仪、三轴加速度计和三轴磁力计,所述发光标记点和所述九轴惯性运动传感器均设置于所述交互笔的笔尖区域,且所述发光标记点与所述九轴惯性运动传感器相邻,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息;
根据所述三轴磁力计和所述三轴加速度计,对所述三轴微电机陀螺仪的累计角度误差进行补偿,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
进一步地,所述发光标记点为两个,分别为第一发光标记点和第二发光标记点,所述方向传感器为六轴惯性运动传感器,所述六轴惯性运动传感器包括三轴微电机陀螺仪和三轴加速度计,所述第一发光标记点设置于所述交互笔的笔尖区域,所述第二发光标记点设置于所述交互笔的笔尾区域,所述六轴惯性运动传感器设置于所述交互笔的中部区域,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息;
根据所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴的旋转信息,对所述X轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息。
进一步地,所述发光标记点为三个,分别为第一发光标记点、第二发光标记点和第三发光标记点,所述方向传感器为三轴惯性运动传感器,所述三轴惯性运动传感包括三轴微电机陀螺仪,所述第一发光标记点、第二发光标记点、第三发光标记点和所述三轴惯性运动传感器均设置于所述交互笔的笔尖区域,且三个发光标记点的连线构成一个非等边三角形,所述第一自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
根据所述第一自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息;
根据所述三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,确定所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息。
进一步地,所述视觉传感器为多目红外摄像头模组,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标。
进一步地,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
对所述多目红外摄像头模组进行标定,以消除所述多目红外摄像头模组采集的所述成像图片的畸变,并获得所述多目红外摄像头模组中各摄像头的内参和外参;
根据各摄像头的所述内参和所述外参,对所述多目红外摄像头模组进行立体匹配,以得到任意两个摄像头之间的视差数据;
根据所述视差数据和相似三角形原理,确定各所述发光标记点在所述成像图片中的坐标。
进一步地,处理器1001可以调用存储器1005中存储的基于交互笔的刚体定位程序,还执行以下操作:
根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,以使所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,具体包括:
根据调节后的所述第一自由度姿态位置信息,对调节后的所述第二自由度姿态位置信息进行校准。
本实施通过上述方案,通过在交互笔内设置方向传感器,并辅以设置于立体显示设备上的视觉传感器,在交互过程中,通过利用视觉传感器采集到的交互笔上发光标记点的成像图片中各发光标记点的定位信息,确定在视觉传感器的视角中,交互笔在三维空间中的第一自由度姿态位置信息,并根据确定的第一自由度姿态位置信息,对方向传感器确定的交互笔在三维空间中的第二自由度姿态位置信息(基于方向传感器的视角)进行校准,得到精确度较高的第三自由度姿态位置信息,最后根据第三自由度姿态位置信息来确定交互笔在三维空间中的实际位置,从而有效提升了交互过程中定位的精确度和稳定性。
此外,本发明中通过选用尺寸已知、形状固定,且不易发生形变的交互笔作为在虚拟交互场景中使用的交互设备,基于上述定位方式,在方便用户操作的同时,还可以实现同时对多个交互笔的定位需求,从而能够做到支持桌面类产品多人同时共享。
基于上述硬件结构,提出本发明基于交互笔的刚体定位方法实施例。
参照图2,图2为本发明基于交互笔的刚体定位方法第一实施例的流程示意图。
需要说明的是,在本实施例中,用于执行该基于交互笔的刚体定位方法各步骤的执行主体,具体可以为3D显示设备内的处理器,也可以是部署于远端的服务器(物理服务器或虚拟云服务器),具体的,本领域的技术人员可以根据需要进行设置,此处不做限制。
具体的,在第一实施例中,所述基于交互笔的刚体定位方法包括以下步骤:
S10:接收视觉传感器采集的发光标记点的成像图片。
值得一提的是,本实施例中所说的发光标记点至少为一个,具体可以是设置于尺寸已知、形状固定,且不易发生形变的交互笔上的发光单元,比如现有的电致发光的半导体材料芯片(如LED芯片),或者是直接采用荧光材料在交互笔上涂覆的荧光点,具体的本领域的技术人员可以根据需要选择合适的材料作为发光标记点,此处不再一一列举,也不做限制。
此外,在设置于交互笔上的发光标记点为多个时,各发光标记点需要不重叠的设置于交互笔上。
比如,在发光标记点为两个时,将这两个发光标记点分别设置于交互笔的笔尖区域和笔尾区域。
还比如,在发光标记点为三个时,为了便于检测,并且能够得到更为有效的数据,可以将这三个发光标记点均设置在交互笔的笔尖区域,并使其呈非等边三角形的形状分布。
此外,值得一提的是,本实例中选用的交互笔可以为有线交互笔,即在使用的时候,需要通过USB接口或其他通讯接口,将交互笔与3D显示设备连通。也可以是无线的,即交互笔内置了蓝牙、WI-FI、近场传感设备NFC等无线通信模块,通过上述无线通信模块与3D显示设备中的无线通信模块或者服务器建立通信连接,具体的,本领域的技术人员可以根据需要选择,此处不做限制。
S20:确定各所述发光标记点在所述成像图片中的坐标。
具体的说,为了方便且能够较为精准的确定各所述发光标记点在所述成像图片中的坐标,本实施例中的视觉传感器优选多目红外摄像头模组,即该红外摄像头模组至少包括两个及以上的摄像头单元,具体的个数,本领域的技术人员可以根据需要设置,此处不做限制。
以多目红外摄像头模组,上述步骤S20中确定各所述发光标记点在所述成像图片中的坐标的操作大致是:根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标,为了便于理解,以下进行具体说明:
首先,对所述多目红外摄像头模组进行标定,以消除所述多目红外摄像头模组采集的所述成像图片的畸变,并获得所述多目红外摄像头模组中各摄像头的内参和外参。
然后,根据各摄像头的所述内参和所述外参,对所述多目红外摄像头模组进行立体匹配,以得到任意两个摄像头之间的视差数据。
最后,根据所述视差数据和相似三角形原理,确定各所述发光标记点在所述成像图片中的坐标。
为了便于理解,以下以双目测距为例,即多目红外摄像头模组是由两个摄像单元组成的,结合图3进行具体说明:
如图3所示,P是待测物体上的某一点(即交互笔上的一个发光标记点),OR与OT分别是两个摄像头的光心,点P在两个摄像头感光器上的成像点分别为P’和P”(摄像头的成像平面经过旋转后放在了镜头前方),f为相机焦距,B为两相机中心距,Z为我们想求得的深度信息(即点P的坐标),设点P’到点P”的距离为dis,则:dis=B-(XR-XT);
根据相似三角形原理:
可得:
由于焦距f和摄像头中心距B可通过标定得到,因此,从上述公式可以看出,只要获得了XR-XT(即,视差d)的值即可求得深度信息。
由于多目测距的使用已经较为成熟,关于其具体细节,此处不再赘述。
S30:根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息。
S40:接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息。
具体的说,本实施例中所说的方向传感器,具体是设置于交互笔内的,并且所述方向传感器的类型是根据所述发光标记点的个数来确定的,所述方向传感器在所述交互笔内所处的位置是根据所述发光标记点在所述交互笔上的位置来确定的。
比如,在所述发光标记点为一个时,所述方向传感器选用九轴惯性运动传感器,然后将所述发光标记点和所述九轴惯性运动传感器均设置于所述交互笔的笔尖区域,且所述发光标记点与所述九轴惯性运动传感器相邻。
具体的,本实施例中所说的九轴惯性运动传感器具体包括三轴微电机陀螺仪、三轴加速度计和三轴磁力计。
还比如说,在所述发光标记点为两个时,为了便于说明,以下称为:第一发光标记点和第二发光标记点,所述方向传感器可以选用六轴惯性运动传感器,所述第一发光标记点可以设置于所述交互笔的笔尖区域,所述第二发光标记点可以设置于所述交互笔的笔尾区域,所述六轴惯性运动传感器可以设置于所述交互笔的中部区域。
具体的,本实施例中所说的六轴惯性运动传感器具体包括三轴微电机陀螺仪和三轴加速度计。
还比如说,在所述发光标记点为三个时,为了便于说明,以下称为:第一发光标记点、第二发光标记点和第三发光标记点,所述方向传感器可以选用三轴惯性运动传感器(具体包括三轴微电机陀螺仪),所述第一发光标记点、第二发光标记点、第三发光标记点和所述三轴惯性运动传感器均可以设置于所述交互笔的笔尖区域,且三个发光标记点的连线构成一个非等边三角形。
此外,应当理解的是,在具体实现中,在成本允许的情况下,不论交互笔上设置几个发光标记点,方向传感器都可以选用精确度较高的九轴惯性运动传感器。
此外,还应当理解的是,在具体实现中,如果交互笔上设置的发光标记点大于一个(两个或三个),为了尽可能的降低成本,可以均选用价格略高于三轴惯性运动传感器的六轴惯性运动传感器,从而实现精确度与成本的兼容。
此外,值得一提的是,在具体实现中,为了保证设置于交互笔内的方向传感器提供的第二自由度姿态位置信息尽可能的准确,可以在使用交互笔进行虚拟场景的人机交互操作之前,基于预存的误差模型对方向传感器进行校正。
比如,基于噪声误差模型,对高斯白噪声和内部构造与温度变化引起的随机游走噪声进行校正。
还比如,基于尺度误差模型,对数字信号向物理信号转换过程中产生的尺度误差进行校正。
还比如,基于轴偏差误差模型,对所述方向传感器的X轴、Y轴和Z轴进行校正。
应当理解的是,上述所说的噪声误差模型、尺度误差模型和轴偏差误差模型具体可以通过对大数据平台上存储的各种型号、类型的传感器的实验数据,进行基于神经网络相关模式识别方法的训练获得。
需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成任何限定,在具体实现时,本领域的技术人员可以根据需要进行设置,此处不做限制。
S50:根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息。
通过上述描述可以发现,发光标记点的个数不同,选取的方向传感器也不相同,随着选取的方向传感器的不同,其确定的第二自由度姿态位置信息种包含的具体内容也会有所不同。
此外,值得一提的是,在发光标记点的个数不同时,根据实际传感器采集的成像图片,最终确定的第一自由度姿态位置信息中包含的具体内容也会有所不同。
应当理解的是,在第一自由度姿态位置信息和第二自由度姿态位置信息包含的具体内容不同时,其校准过程也会有所差异,但进行校准操作后得到的第三自由度姿态位置信息均应包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,为了便于理解以下进行具体说明:
比如说,在所述发光标记点为一个,所述方向传感器为由三轴微电机陀螺仪、三轴加速度计和三轴磁力计等主要器件构成的九轴惯性运动传感器时,所述第一自由度姿态位置信息包括的信息具体为:X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,所述第二自由度姿态位置信息包括的信息具体为:X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息。
相应地,上述步骤S50的操作,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息;
根据所述三轴磁力计和所述三轴加速度计,对所述三轴微电机陀螺仪的累计角度误差进行补偿,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
也就是说,九轴惯性运动传感器中的三轴磁力计和三轴加速度计能够直接补偿三轴微电机陀螺仪的累计角度误差,从而使得九轴惯性运动传感器提供的第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息即为校准后。
还比如说,在所述发光标记点为两个,所述方向传感器为由三轴微电机陀螺仪和三轴加速度计等主要器件构成的六轴惯性运动传感器时,所述第一自由度姿态位置信息包括的信息具体为:X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括的信息具体为:X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息。
相应地,上述步骤S50的操作,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息;
根据所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴的旋转信息,对所述X轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息。
即,在已知的五个参数信息都进行校准后,最后一个组成自由度姿态位置信息的参数也会相应校准。
还比如说,在所述发光标记点为三个,所述方向传感器为由三轴微电机陀螺仪作为主要器件构成的三轴惯性运动传感器时,所述第一自由度姿态位置信息包括的信息具体为:X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括的信息具体为:X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
相应地,上述步骤S50的操作,具体包括:
根据所述第一自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息;
根据所述三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,确定所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息。
此外,值得一提的是,上述X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,其位移方向分别可以如图4中X轴、Y轴和Z轴的箭头方向发生位移。
相应地,上述X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,其旋转方向分别可以如图4中绕X轴、Y轴和Z轴旋转的箭头的方向运动。
需要说明的是,图4给出的仅为一种具体的实例,对本发明的技术方案并不构成限定,在具体实现中,本领域的技术人员可以根据需要规定各轴的位移方向和旋转方向,此处不做限制。
S60:根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
需要说明的是,以上仅为具体说明,对本发明的技术方案不构成任何限定,在具体实现中,本领域的技术人员可以根据需要合理的设置,此处不做限制。
通过上述描述不难发现,本实施例中提供的基于交互笔的刚体定位方法,通过在交互笔内设置方向传感器,并辅以设置于立体显示设备上的视觉传感器,在交互过程中,通过利用视觉传感器采集到的交互笔上发光标记点的成像图片中各发光标记点的定位信息,确定在视觉传感器的视角中,交互笔在三维空间中的第一自由度姿态位置信息,并根据确定的第一自由度姿态位置信息,对方向传感器确定的交互笔在三维空间中的第二自由度姿态位置信息(基于方向传感器的视角)进行校准,得到精确度较高的第三自由度姿态位置信息,最后根据第三自由度姿态位置信息来确定交互笔在三维空间中的实际位置,从而有效提升了交互过程中定位的精确度和稳定性。
此外,本发明中通过选用尺寸已知、形状固定,且不易发生形变的交互笔作为在虚拟交互场景中使用的交互设备,基于上述定位方式,在方便用户操作的同时,还可以实现同时对多个交互笔的定位需求,从而能够做到支持桌面类产品多人同时共享。
进一步地,如图5所示,基于第一实施例提出本发明基于交互笔的刚体定位方法的第二实施例,在本实施例中,在根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准之前,可以先根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,详见图5中的步骤S00。
在步骤S00中,根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节。
具体的说,为了保证该精度调节标准的合理性,本实施例中所说的精度调节标准可以是通过对多个相同类型、相同配置的视觉传感器和方向传感器进行多次测试得到的数据进行分析处理,确定的一个可行的精度调节范围,比如要求所述第一自由度姿态位置信息和所述第二自由度姿态位置信息需要达到毫米级的精确度,各自由度姿态位置信息中包括的对应轴的信息的单位、数值格式需要统一等,从而使得根据该精度调节标准,调节后的所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一。
此外,应当理解的是,为了使所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一,上述精度调节标准,可以根据需要达到的人机交互效果确定,此处不做限制。
相应地,在具体实现中,原步骤S50中根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准的操作,应变为S50'中的:根据调节后的所述第一自由度姿态位置信息,对调节后的所述第二自由度姿态位置信息进行校准。
需要说明的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
通过上述描述不难发现,本实施例提供的基于交互笔的刚体定位方法,在据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准之前,通过根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,有效保证了后续根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准操作时,得到的第三自由度姿态位置信息的准确性,进而保证了人机交互过程中,对交互笔操作动作的高精度跟踪,及人机交互效果。
此外,本发明实施例还提出一种基于交互笔的刚体定位装置。如图6所示,该基于交互笔的刚体定位装置包括:第一接收模块6001、第一确定模块6002、第二确定模块6003、第二接收模块6004、校准模块6005及第三确定模块6006。
其中,第一接收模块6001,用于接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上。第一确定模块6002,用于确定各所述发光标记点在所述成像图片中的坐标。第二确定模块6003,用于根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息。第二接收模块6004,用于接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定。校准模块6005,用于根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息。第三确定模块6006,用于根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
通过上述描述不难发现,本实施例中提供的基于交互笔的刚体定位装置,通过在交互笔内设置方向传感器,并辅以设置于立体显示设备上的视觉传感器,在交互过程中,通过利用视觉传感器采集到的交互笔上发光标记点的成像图片中各发光标记点的定位信息,确定在视觉传感器的视角中,交互笔在三维空间中的第一自由度姿态位置信息,并根据确定的第一自由度姿态位置信息,对方向传感器确定的交互笔在三维空间中的第二自由度姿态位置信息(基于方向传感器的视角)进行校准,得到精确度较高的第三自由度姿态位置信息,最后根据第三自由度姿态位置信息来确定交互笔在三维空间中的实际位置,从而有效提升了交互过程中定位的精确度和稳定性。
此外,本发明中通过选用尺寸已知、形状固定,且不易发生形变的交互笔作为在虚拟交互场景中使用的交互设备,基于上述定位方式,在方便用户操作的同时,还可以实现同时对多个交互笔的定位需求,从而能够做到支持桌面类产品多人同时共享。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的基于交互笔的刚体定位方法,此处不再赘述。
此外,本发明实施例还提出一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有基于交互笔的刚体定位程序,所述基于交互笔的刚体定位程序被处理器执行时实现如下操作:
接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
确定各所述发光标记点在所述成像图片中的坐标;
根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
进一步地,所述发光标记点为一个,所述方向传感器为九轴惯性运动传感器,所述九轴惯性运动传感器包括三轴微电机陀螺仪、三轴加速度计和三轴磁力计,所述发光标记点和所述九轴惯性运动传感器均设置于所述交互笔的笔尖区域,且所述发光标记点与所述九轴惯性运动传感器相邻,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息;
根据所述三轴磁力计和所述三轴加速度计,对所述三轴微电机陀螺仪的累计角度误差进行补偿,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
进一步地,所述发光标记点为两个,分别为第一发光标记点和第二发光标记点,所述方向传感器为六轴惯性运动传感器,所述六轴惯性运动传感器包括三轴微电机陀螺仪和三轴加速度计,所述第一发光标记点设置于所述交互笔的笔尖区域,所述第二发光标记点设置于所述交互笔的笔尾区域,所述六轴惯性运动传感器设置于所述交互笔的中部区域,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息;
根据所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴的旋转信息,对所述X轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息。
进一步地,所述发光标记点为三个,分别为第一发光标记点、第二发光标记点和第三发光标记点,所述方向传感器为三轴惯性运动传感器,所述三轴惯性运动传感包括三轴微电机陀螺仪,所述第一发光标记点、第二发光标记点、第三发光标记点和所述三轴惯性运动传感器均设置于所述交互笔的笔尖区域,且三个发光标记点的连线构成一个非等边三角形,所述第一自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
根据所述第一自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息;
根据所述三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,确定所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息。
进一步地,所述视觉传感器为多目红外摄像头模组,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标。
进一步地,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
对所述多目红外摄像头模组进行标定,以消除所述多目红外摄像头模组采集的所述成像图片的畸变,并获得所述多目红外摄像头模组中各摄像头的内参和外参;
根据各摄像头的所述内参和所述外参,对所述多目红外摄像头模组进行立体匹配,以得到任意两个摄像头之间的视差数据;
根据所述视差数据和相似三角形原理,确定各所述发光标记点在所述成像图片中的坐标。
进一步地,所述基于交互笔的刚体定位程序被处理器执行时还实现如下操作:
根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,以使所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,具体包括:
根据调节后的所述第一自由度姿态位置信息,对调节后的所述第二自由度姿态位置信息进行校准。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于交互笔的刚体定位方法,其特征在于,所述方法包括以下步骤:
接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
确定各所述发光标记点在所述成像图片中的坐标;
根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
2.如权利要求1所述的基于交互笔的刚体定位方法,其特征在于,所述发光标记点为一个,所述方向传感器为九轴惯性运动传感器,所述九轴惯性运动传感器包括三轴微电机陀螺仪、三轴加速度计和三轴磁力计,所述发光标记点和所述九轴惯性运动传感器均设置于所述交互笔的笔尖区域,且所述发光标记点与所述九轴惯性运动传感器相邻;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息和Z轴方向的位移信息;
根据所述三轴磁力计和所述三轴加速度计,对所述三轴微电机陀螺仪的累计角度误差进行补偿,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息。
3.如权利要求1所述的基于交互笔的刚体定位方法,其特征在于,所述发光标记点为两个,分别为第一发光标记点和第二发光标记点,所述方向传感器为六轴惯性运动传感器,所述六轴惯性运动传感器包括三轴微电机陀螺仪和三轴加速度计,所述第一发光标记点设置于所述交互笔的笔尖区域,所述第二发光标记点设置于所述交互笔的笔尾区域,所述六轴惯性运动传感器设置于所述交互笔的中部区域;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息和Z轴的旋转信息;
根据所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Y轴的旋转、Z轴方向的位移信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴的旋转信息,对所述X轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息。
4.如权利要求1所述的基于交互笔的刚体定位方法,其特征在于,所述发光标记点为三个,分别为第一发光标记点、第二发光标记点和第三发光标记点,所述方向传感器为三轴惯性运动传感器,所述三轴惯性运动传感包括三轴微电机陀螺仪,所述第一发光标记点、第二发光标记点、第三发光标记点和所述三轴惯性运动传感器均设置于所述交互笔的笔尖区域,且三个发光标记点的连线构成一个非等边三角形;
相应地,所述第一自由度姿态位置信息包括X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息,所述第二自由度姿态位置信息包括X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,所述第三自由度姿态位置信息包括校准后的X轴方向的位移信息、X轴的旋转信息、Y轴方向的位移信息、Y轴的旋转信息、Z轴方向的位移信息和Z轴的旋转信息;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息,具体包括:
根据所述第一自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息,分别对所述第二自由度姿态位置信息中的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息进行校准,得到所述第三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息和Z轴的旋转信息;
根据所述三自由度姿态位置信息中校准后的X轴的旋转信息、Y轴的旋转信息、Z轴的旋转信息和第一自由度姿态位置信息中的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息,确定所述第三自由度姿态位置信息中校准后的X轴方向的位移信息、Y轴方向的位移信息、Z轴方向的位移信息。
5.如权利要求1至4任一项所述的基于交互笔的刚体定位方法,其特征在于,所述视觉传感器为多目红外摄像头模组;
相应地,所述确定各所述发光标记点在所述成像图片中的坐标,具体包括:
根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标。
6.如权利要求5所述的基于交互笔的刚体定位方法,其特征在于,所述根据多目测距原理,对所述多目红外摄像头模组中各摄像头采集到的各所述发光标记点的成像图片进行处理,确定各所述发光标记点在所述成像图片中的坐标,具体包括:
对所述多目红外摄像头模组进行标定,以消除所述多目红外摄像头模组采集的所述成像图片的畸变,并获得所述多目红外摄像头模组中各摄像头的内参和外参;
根据各摄像头的所述内参和所述外参,对所述多目红外摄像头模组进行立体匹配,以得到任意两个摄像头之间的视差数据;
根据所述视差数据和相似三角形原理,确定各所述发光标记点在所述成像图片中的坐标。
7.如权利要求1至4任一项所述的基于交互笔的刚体定位方法,其特征在于,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准之前,所述方法还包括:
根据预设的精度调节标准,分别对所述第一自由度姿态位置信息和所述第二自由度姿态位置信息进行调节,以使所述第一自由度姿态位置信息和所述第二自由度姿态位置信息的精度值统一;
相应地,所述根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,具体包括:
根据调节后的所述第一自由度姿态位置信息,对调节后的所述第二自由度姿态位置信息进行校准。
8.一种基于交互笔的刚体定位装置,其特征在于,所述装置包括:
第一接收模块,用于接收视觉传感器采集的发光标记点的成像图片,所述发光标记点至少为一个,且各所述发光标记点不重叠的设置于交互笔上;
第一确定模块,用于确定各所述发光标记点在所述成像图片中的坐标;
第二确定模块,用于根据各所述发光标记点在所述成像图片中的坐标,确定所述交互笔在三维空间中的第一自由度姿态位置信息;
第二接收模块,用于接收方向传感器采集的所述交互笔在三维空间中的第二自由度姿态位置信息,所述方向传感器设置于所述交互笔内,所述方向传感器的类型根据所述发光标记点的个数确定,所述方向传感器在所述交互笔内所处的位置根据所述发光标记点在所述交互笔上的位置确定;
校准模块,用于根据所述第一自由度姿态位置信息,对所述第二自由度姿态位置信息进行校准,得到所述交互笔在三维空间中的第三自由度姿态位置信息;
第三确定模块,用于根据所述第三自由度姿态位置信息,确定所述交互笔在三维空间中的位置,以实现对所述交互笔在虚拟场景中的实时定位和对虚拟场景中物体的交互。
9.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于交互笔的刚体定位程序,所述基于交互笔的刚体定位程序配置为实现如权利要求1至7任一项所述的基于交互笔的刚体定位方法的步骤。
10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有基于交互笔的刚体定位程序,所述基于交互笔的刚体定位程序被处理器执行时实现如权利要求1至7任一项所述的基于交互笔的刚体定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810696389.6A CN108958483A (zh) | 2018-06-29 | 2018-06-29 | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810696389.6A CN108958483A (zh) | 2018-06-29 | 2018-06-29 | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108958483A true CN108958483A (zh) | 2018-12-07 |
Family
ID=64487968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810696389.6A Withdrawn CN108958483A (zh) | 2018-06-29 | 2018-06-29 | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108958483A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112015269A (zh) * | 2020-08-03 | 2020-12-01 | 深圳市瑞立视多媒体科技有限公司 | 头显设备的显示校正方法、设备及存储介质 |
CN112085848A (zh) * | 2020-08-21 | 2020-12-15 | 深圳市瑞立视多媒体科技有限公司 | 一种刚体标记点优化选择方法、设备及光学动作捕捉系统 |
CN112350458A (zh) * | 2020-10-22 | 2021-02-09 | 华为技术有限公司 | 确定终端位置姿态的方法,装置以及相关设备 |
CN112433628A (zh) * | 2021-01-28 | 2021-03-02 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体位姿确定方法、装置和计算机设备 |
CN112433629A (zh) * | 2021-01-28 | 2021-03-02 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体姿态确定方法、装置和计算机设备 |
CN115937725A (zh) * | 2023-03-13 | 2023-04-07 | 江西科骏实业有限公司 | 空间交互装置的姿态显示方法、装置、设备及其存储介质 |
CN119338914A (zh) * | 2024-12-20 | 2025-01-21 | 上海青瞳视觉科技有限公司 | 一种基于双目视觉的高精度定位毛笔笔尖的方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100328267A1 (en) * | 2009-06-30 | 2010-12-30 | Hon Hai Precision Industry Co., Ltd. | Optical touch device |
CN103389807A (zh) * | 2013-07-16 | 2013-11-13 | 江苏惠通集团有限责任公司 | 空间鼠标的数据处理方法以及鼠标指针的控制方法 |
CN104007846A (zh) * | 2014-05-22 | 2014-08-27 | 深圳市宇恒互动科技开发有限公司 | 一种三维图形的生成方法和电子白板系统 |
CN104834917A (zh) * | 2015-05-20 | 2015-08-12 | 北京诺亦腾科技有限公司 | 一种混合运动捕捉系统及方法 |
CN106774844A (zh) * | 2016-11-23 | 2017-05-31 | 上海创米科技有限公司 | 一种用于虚拟定位的方法及设备 |
CN106774880A (zh) * | 2010-12-22 | 2017-05-31 | Z空间股份有限公司 | 用户控制装置的在空间中的三维跟踪 |
US20170220133A1 (en) * | 2014-07-31 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Accurately positioning instruments |
CN206413625U (zh) * | 2016-12-06 | 2017-08-18 | 北京臻迪科技股份有限公司 | 一种水下机器人 |
CN107102749A (zh) * | 2017-04-23 | 2017-08-29 | 吉林大学 | 一种基于超声波和惯性传感器的三维笔式定位方法 |
CN107289931A (zh) * | 2017-05-23 | 2017-10-24 | 北京小鸟看看科技有限公司 | 一种定位刚体的方法、装置和系统 |
CN107704106A (zh) * | 2017-10-17 | 2018-02-16 | 宁波视睿迪光电有限公司 | 姿态定位方法、装置及电子设备 |
CN108196701A (zh) * | 2018-01-03 | 2018-06-22 | 青岛海信电器股份有限公司 | 确定姿态的方法、装置及vr设备 |
-
2018
- 2018-06-29 CN CN201810696389.6A patent/CN108958483A/zh not_active Withdrawn
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100328267A1 (en) * | 2009-06-30 | 2010-12-30 | Hon Hai Precision Industry Co., Ltd. | Optical touch device |
CN106774880A (zh) * | 2010-12-22 | 2017-05-31 | Z空间股份有限公司 | 用户控制装置的在空间中的三维跟踪 |
CN103389807A (zh) * | 2013-07-16 | 2013-11-13 | 江苏惠通集团有限责任公司 | 空间鼠标的数据处理方法以及鼠标指针的控制方法 |
CN104007846A (zh) * | 2014-05-22 | 2014-08-27 | 深圳市宇恒互动科技开发有限公司 | 一种三维图形的生成方法和电子白板系统 |
US20170220133A1 (en) * | 2014-07-31 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Accurately positioning instruments |
CN104834917A (zh) * | 2015-05-20 | 2015-08-12 | 北京诺亦腾科技有限公司 | 一种混合运动捕捉系统及方法 |
CN106774844A (zh) * | 2016-11-23 | 2017-05-31 | 上海创米科技有限公司 | 一种用于虚拟定位的方法及设备 |
CN206413625U (zh) * | 2016-12-06 | 2017-08-18 | 北京臻迪科技股份有限公司 | 一种水下机器人 |
CN107102749A (zh) * | 2017-04-23 | 2017-08-29 | 吉林大学 | 一种基于超声波和惯性传感器的三维笔式定位方法 |
CN107289931A (zh) * | 2017-05-23 | 2017-10-24 | 北京小鸟看看科技有限公司 | 一种定位刚体的方法、装置和系统 |
CN107704106A (zh) * | 2017-10-17 | 2018-02-16 | 宁波视睿迪光电有限公司 | 姿态定位方法、装置及电子设备 |
CN108196701A (zh) * | 2018-01-03 | 2018-06-22 | 青岛海信电器股份有限公司 | 确定姿态的方法、装置及vr设备 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112015269A (zh) * | 2020-08-03 | 2020-12-01 | 深圳市瑞立视多媒体科技有限公司 | 头显设备的显示校正方法、设备及存储介质 |
CN112085848A (zh) * | 2020-08-21 | 2020-12-15 | 深圳市瑞立视多媒体科技有限公司 | 一种刚体标记点优化选择方法、设备及光学动作捕捉系统 |
CN112085848B (zh) * | 2020-08-21 | 2024-12-31 | 深圳市瑞立视多媒体科技有限公司 | 一种刚体标记点优化选择方法、设备及光学动作捕捉系统 |
CN112350458A (zh) * | 2020-10-22 | 2021-02-09 | 华为技术有限公司 | 确定终端位置姿态的方法,装置以及相关设备 |
CN112350458B (zh) * | 2020-10-22 | 2023-03-10 | 华为技术有限公司 | 确定终端位置姿态的方法,装置以及相关设备 |
CN112433628A (zh) * | 2021-01-28 | 2021-03-02 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体位姿确定方法、装置和计算机设备 |
CN112433629A (zh) * | 2021-01-28 | 2021-03-02 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体姿态确定方法、装置和计算机设备 |
CN112433628B (zh) * | 2021-01-28 | 2021-06-08 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体位姿确定方法、装置和计算机设备 |
CN113268149A (zh) * | 2021-01-28 | 2021-08-17 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体位姿确定方法、装置和计算机设备 |
CN113268149B (zh) * | 2021-01-28 | 2024-04-16 | 深圳市瑞立视多媒体科技有限公司 | 双光球交互笔的刚体位姿确定方法、装置和计算机设备 |
CN115937725A (zh) * | 2023-03-13 | 2023-04-07 | 江西科骏实业有限公司 | 空间交互装置的姿态显示方法、装置、设备及其存储介质 |
CN119338914A (zh) * | 2024-12-20 | 2025-01-21 | 上海青瞳视觉科技有限公司 | 一种基于双目视觉的高精度定位毛笔笔尖的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108958483A (zh) | 基于交互笔的刚体定位方法、装置、终端设备及存储介质 | |
US20210233275A1 (en) | Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium | |
US12315186B2 (en) | Pose determining method and apparatus, electronic device, and storage medium | |
CN100489833C (zh) | 位置姿势测量方法、位置姿势测量装置 | |
CN108537845A (zh) | 位姿确定方法、装置及存储介质 | |
KR20230028532A (ko) | 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성 | |
EP4105766A1 (en) | Image display method and apparatus, and computer device and storage medium | |
CN104279960B (zh) | 用移动设备进行物体尺寸测量的方法 | |
CN106774844A (zh) | 一种用于虚拟定位的方法及设备 | |
CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
CN108961343A (zh) | 虚拟坐标系的构建方法、装置、终端设备及可读存储介质 | |
CN108885487B (zh) | 一种可穿戴式系统的手势控制方法以及可穿戴式系统 | |
CN109118543A (zh) | 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法 | |
KR102478989B1 (ko) | 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치 | |
CN106840112A (zh) | 一种利用自由空间视线凝视点测量的空间几何量测量方法 | |
CN107077739A (zh) | 使用单目相机的三维标记模型构建和实时跟踪 | |
CN110268701A (zh) | 成像设备 | |
CN105387847A (zh) | 非接触式测量方法、测量设备及其测量系统 | |
CN108430032A (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
CN107534202A (zh) | 一种测量天线姿态的方法和装置 | |
CN110152293A (zh) | 操控对象的定位方法及装置、游戏对象的定位方法及装置 | |
CN108151647A (zh) | 一种图像数据处理方法、装置及移动终端 | |
CN107564066A (zh) | 一种虚拟现实眼镜与深度相机的联合标定方法 | |
CN114255284B (zh) | 相机标定系统以及方法 | |
KR101902131B1 (ko) | 시뮬레이션 파노라마 실내영상 제작 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181207 |