CN105931272B - 一种运动对象追踪方法及系统 - Google Patents
一种运动对象追踪方法及系统 Download PDFInfo
- Publication number
- CN105931272B CN105931272B CN201610298381.5A CN201610298381A CN105931272B CN 105931272 B CN105931272 B CN 105931272B CN 201610298381 A CN201610298381 A CN 201610298381A CN 105931272 B CN105931272 B CN 105931272B
- Authority
- CN
- China
- Prior art keywords
- physical markings
- virtual reality
- markings point
- image
- synchronization signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000000386 athletic effect Effects 0.000 claims abstract description 56
- 230000001360 synchronised effect Effects 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims description 96
- 238000011217 control strategy Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013558 reference substance Substances 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种运动对象追踪方法及系统,包括:第一处理器在确定需获取虚拟现实设备的运动姿态时,向虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号;虚拟现实设备的运动姿态是根据N帧图像确定的;虚拟现实设备接收第一处理器发送的第i个同步信号,按预先设定的状态控制策略展现虚拟现实设备上各个物理标记点的状态,1≤i≤N;摄像头接收第一处理器发送的第i个同步信号,根据第i个同步信号,捕获虚拟现实设备的第i帧图像,第i帧图像中包括各个物理标记点的标记点影像。上述方法实现虚拟现实设备展与摄像装置的摄像头的同步,基于摄像装置获取的N帧图像,可以准确快速的确定虚拟现实设备的运动姿态。
Description
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种运动对象追踪方法及系统。
背景技术
虚拟现实头盔,是指一种通过利用头盔显示器将人的对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉的头盔。随着电子技术的不断发展,虚拟现实头盔已经允许用户通过多种先进的传感手段根据自己在虚拟环境中的视点和位置来控制虚拟画面,具体来说,在用户使用虚拟现实头盔的过程中,通过感知用户头部的运动状态,从而为用户呈现出不同的场景。虚拟现实头盔一个重要的体验就是沉浸感,因此,能否准确快速感知到用户头部的运动状态是影响虚拟现实头盔性能的重要指标。
例如,为了能够感知到虚拟现实头盔的运动状态,会在虚拟现实头盔上设置红外灯,然后用摄像头抓取虚拟现实头盔上红外灯的影像,根据红外灯的影像确定虚拟现实头盔的运动状态,但是这种场景中,虚拟现实头盔上红外灯的状态需要不断变化,摄像头拍摄虚拟现实头盔的图像时,虚拟现实头盔上的红外灯的每次状态变化很难与摄像头拍摄的每一帧图像同步,这导致根据摄像头拍摄的图像确定出的虚拟现实头盔的运动姿态不准确,如果采用不准确的运动姿态控制虚拟现实头盔上显示器上虚拟画面的显示,会导致用户看到的虚拟画面不连续或者出现延迟现象,影响佩戴虚拟现实头盔的用户的沉浸感。
综上,目前亟需一种能够准确快速地感知虚拟现实头盔运动姿态的方法。
发明内容
本发明实施例提供一种运动对象追踪方法及系统,用以实现准确快速地感知虚拟现实头盔运动状态。
本发明实施例提供一种运动对象追踪方法,包括:
第一处理器在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
所述虚拟现实设备接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像头接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像。
进一步地,根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
第二处理器获取所述虚拟现实设备产生的旋转量,所述虚拟现实设备产生的旋转量是根据所述虚拟现实设备的传感器采集的数据确定的;
所述第二处理器获取所述虚拟现实设备产生的平移量,所述虚拟现实设备产生的平移量是根据所述摄像头捕获的所述N帧图像确定的;
所述第二处理器根据所述虚拟现实设备产生的旋转量和所述虚拟现实设备产生的平移量,确定所述虚拟现实设备的运动姿态。虚拟现实设备的运动姿态表征运动对象在N个时刻产生的整体空间平移量,包括水平平移量和旋转平移量。
进一步地,所述预先设定的状态控制策略包括:
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码,二进制编码的数位N根据物理标记点的数量确定;每个物理标记点在所述第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
进一步地,根据所述N帧图像,确定所述虚拟现实设备的平移量,包括:
第三处理器获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个标记点影像的位置信息;所述各个标记点影像的位置信息是指所述各个标记点影像在预设的图像坐标系中的位置信息;
所述第三处理器根据所述N帧图像,确定所述各个物理标记点与所述各个标记点影像之间的对应关系;
所述第三处理器根据所述各个物理标记点的实际位置信息,所述各个标记点影像的位置信息,以及所述各个物理标记点与所述各个标记点影像之间的对应关系,确定所述虚拟现实设备产生的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
本发明实施例中,虚拟现实设备的各物理标记点根据设定的状态控制策略来展现各物理标记点在不同时刻的状态,从而使得第一至第N帧图像中的各个物理标记点的标记点影像也具有不同的状态信息,进而根据各个标记点影像在各个时刻显示的状态信息与各物理标记点根据设定的状态控制策略在不同时刻展现的状态,更准确快速地得到标记点影像与物理标记点的对应关系,并基于标记点影像的位置信息和物理标记点的位置信息,确定出虚拟现实设备的运动姿态信息,相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法,本发明实施例能够有效确定出虚拟现实设备的平移量,从而更准确快速地感知虚拟现实设备的运动姿态,实时性较高,能够显著改善用户的实际体验。
进一步地,所述第三处理器根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系,包括:
根据所述N帧图像中所述各个标记点影像的显示信息和所述预先设定的状态控制策略,确定所述各个标记点影像对应的二进制编码;
根据所述各个标记点影像对应的二进制编码,确定所述各个标记点影像的编号;
根据所述各个标记点影像之间的位置关系,确定所述各个标记点影像的编号之间的位置关系;
若所述各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
进一步地,若所述各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系不一致,所述方法还包括:
所述第三处理器通知所述第一处理器向所述虚拟现实设备和所述摄像头继续发送第N+1至第2N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的第N+1至第2N帧图像;
所述第三处理器依次按照所述第二至第N+1帧、所述第三至第N+2帧,…,所述第N至第2N-1帧的次序构成多组N帧图像,并根据所述多组N帧图像的先后次序,依次返回根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致。
进一步地,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路用于接收所述至少第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路用于接收所述至少第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;所述方法还包括:
所述头盔设备在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
进一步地,所述第一处理器和所述第三处理器集成在所述摄像装置内,所述第二处理器集成在所述头盔设备内;则所述根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
所述头盔设备通过所述摄像装置与所述头盔设备之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述头盔设备通过所述手柄设备与所述头盔设备的之间的通讯电路,获取所述手柄设备产生的旋转量;
所述头盔设备根据所述头盔设备和所述手柄设备产生的平移量、所述头盔设备和所述手柄设备产生的旋转量,确定所述运动对象产生的姿态信息;
所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
进一步地,所述第三处理器集成在所述摄像装置的主控制器内;所述第一处理器和所述第二处理器集成在第一服务器内;所述根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
所述第一服务器通过所述摄像装置与所述第一服务器之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述第一服务器通过所述手柄设备与所述第一服务器之间的通讯电路,获取所述手柄设备产生的旋转量;
所述第一服务器通过所述头盔设备与所述第一服务器之间的通讯电路,获取所述头盔设备产生的旋转量;
所述第一服务器根据所述头盔设备产生的平移量和旋转量,以及所述手柄设备产生的平移量和旋转量,确定所述运动对象产生的姿态信息;将所述姿态信息发送给所述头盔设备,以使所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
本发明实施例提供一种运动对象追踪系统,包括:
摄像装置,用于在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和所述摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
虚拟现实设备,用于接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像装置的摄像头,用于接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像。
进一步地,所述预先设定的状态控制策略包括:
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码,二进制编码的数位N根据物理标记点的数量确定;每个物理标记点在所述第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
进一步地,所述摄像装置还用于:
获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个标记点影像的位置信息;所述各个标记点影像的位置信息是指所述各个标记点影像在预设的图像坐标系中的位置信息;
根据所述N帧图像,确定所述各个物理标记点与所述各个标记点影像之间的对应关系;
根据所述各个物理标记点的实际位置信息,所述各个标记点影像的位置信息,以及所述各个物理标记点与所述各个标记点影像之间的对应关系,确定所述虚拟现实设备产生的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
进一步地,所述摄像装置具体用于:
根据所述N帧图像中所述各个标记点影像的显示信息和所述预先设定的状态控制策略,确定所述各个标记点影像对应的二进制编码;
根据所述各个标记点影像对应的二进制编码,确定所述各个标记点影像的编号;
根据所述各个标记点影像之间的位置关系,确定所述各个标记点影像的编号之间的位置关系;
若所述各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
进一步地,所述摄像装置还用于:
若所述各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系不一致,所述摄像装置向所述虚拟现实设备和所述摄像头继续发送第N+1至第2N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的第N+1至第2N帧图像;
所述摄像装置依次按照所述第二至第N+1帧、所述第三至第N+2帧,…,所述第N至第2N-1帧的次序构成多组N帧图像,并根据所述多组N帧图像的先后次序,依次返回根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致。
进一步地,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路,用于接收所述第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路,用于接收所述第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;
所述头盔设备,还用于在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备,还用于在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
进一步地,所述头盔设备具体用于:
所述头盔设备通过所述摄像装置与所述头盔设备之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述头盔设备通过所述手柄设备与所述头盔设备的之间的通讯电路,获取所述手柄设备产生的旋转量;
所述头盔设备根据所述头盔设备和所述手柄设备产生的平移量、所述头盔设备和所述手柄设备产生的旋转量,确定所述运动对象产生的姿态信息;
所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
本发明实施例提供一种运动对象追踪系统,包括:
第一服务器,用于在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和所述摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
虚拟现实设备,用于接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像装置的摄像头,用于接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像。
进一步地,所述摄像装置还用于:
获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个标记点影像的位置信息;所述各个标记点影像的位置信息是指所述各个标记点影像在预设的图像坐标系中的位置信息;
根据所述N帧图像,确定所述各个物理标记点与所述各个标记点影像之间的对应关系;
根据所述各个物理标记点的实际位置信息,所述各个标记点影像的位置信息,以及所述各个物理标记点与所述各个标记点影像之间的对应关系,确定所述虚拟现实设备的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
进一步地,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路,用于接收所述第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路,用于接收所述第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;
所述头盔设备,还用于在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备,还用于在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
进一步地,所述第一服务器具体用于:
所述第一服务器通过所述摄像装置与所述第一服务器之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述第一服务器通过所述手柄设备与所述第一服务器之间的通讯电路,获取所述手柄设备产生的旋转量;
所述第一服务器通过所述头盔设备与所述第一服务器之间的通讯电路,获取所述头盔设备产生的旋转量;
所述第一服务器根据所述头盔设备产生的平移量和旋转量,以及所述手柄设备产生的平移量和旋转量,确定所述运动对象产生的姿态信息;将所述姿态信息发送给所述头盔设备,以使所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
本发明上述实施例中,为了实现虚拟现实设备和摄像装置摄像头的同步,在需要获取虚拟现实设备的运动姿态时,分别向所述虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备上各个物理标记点的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备的图像,捕获的图像中包括所述各个物理标记点在捕获时刻的标记点影像,这样,实现了虚拟现实设备上各个物理标记点展现的状态,与摄像头捕获的图像中各个物理标记点的标记点影像之间的同步关系,而虚拟现实设备的运动姿态是根据所述摄像头捕获的所述虚拟现实设备的N帧图像确定的,预先设定的状态控制策略中包括每个物理标记点在各个时刻的预设状态,这样根据虚拟现实设备上的各个物理标记点在N帧图像中的标记点影像信息,就可以准确、快速的确定出虚拟现实设备的运动姿态,进而解决了现有技术中存在的不能准确且快速的确定虚拟现实设备的运动姿态的技术问题。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的一种运动对象追踪方法流程的示意图;
图2为本发明实施例提供的一种运动对象追踪方法流程的示意图;
图3为本发明实施例提供的一种第三处理器根据N帧图像,确定虚拟现实设备的平移量的方法流程的示意图;
图4为本发明实施例提供的一种第三处理器根据N帧图像,确定各个物理标记点与各个物理标记点的标记点影像之间的对应关系的方法流程的示意图;
图5为本发明实施例提供的第一种优选的系统架构的结构示意图;
图6为本发明实施例提供的第一种系统架构中的运动对象追踪方法流程的示意图;
图7为本发明实施例提供的第二种优选的系统架构的结构示意图;
图8为本发明实施例提供的第二种系统架构中的运动对象追踪方法的流程示意图;
图9至图10为本发明实施例提供的一种运动对象追踪系统的结构示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案以及有效果更加清楚明白,以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种运动对象追踪方法的具体方法流程包括控制指令的交互流程和数据的交互流程,例如,发送同步信号的控制指令,发送虚拟现实设备产生的平移量数据或旋转量的指令等。因本发明实施例可以适用于多种系统架构,每种系统架构中执行各个控制指令、数据指令的交互流程的控制设备稍有不同,为了展现本发明实施例的整体方法流程,本发明实施例用第一处理器,第二处理器和第三处理器来代表执行不同控制功能的模块。
本发明实施例中的第一处理器主要用于向虚拟现实设备和摄像装置的摄像头发送同步信号;第三处理器主要用于根据摄像装置的摄像头获取的N帧图像,确定虚拟现实设备产生的平移量;第二处理器主要用于获取虚拟现实设备产生的旋转量,和第三处理器确定的虚拟现实设备产生的平移量,并根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态。
下面结合第一处理器,第二处理器,第三处理器以及系统架构中包括的虚拟现实设备和摄像装置来说明本发明实施例提供的运动对象追踪方法的具体流程:
如图1所示的,本发明实施例提供一种运动对象追踪方法的具体流程包括:
步骤101,第一处理器在确定需获取虚拟现实设备的运动姿态时,向虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,以获取摄像头捕获的虚拟现实设备的N帧图像;虚拟现实设备的运动姿态是根据N帧图像确定的;
步骤102,虚拟现实设备接收第一处理器发送的第i个同步信号,根据第i个同步信号,按预先设定的状态控制策略展现虚拟现实设备上各个物理标记点的状态;其中,1≤i≤N;
步骤103,摄像装置的摄像头接收第一处理器发送的第i个同步信号,根据第i个同步信号,捕获虚拟现实设备的第i帧图像,第i帧图像中包括各个物理标记点的标记点影像。
进一步地,如图2所示,基于上述步骤101至步骤103,上述方法还包括:
步骤104,第三处理器获取摄像头捕获的N帧图像;
步骤105,,第三处理器根据摄像装置的摄像头获取的N帧图像,确定虚拟现实设备的平移量;
步骤106,第二处理器获取虚拟现实设备产生的旋转量,虚拟现实设备产生的旋转量是根据虚拟现实设备的传感器采集的数据确定的;
步骤107,第二处理器获取第三处理器得到的虚拟现实设备产生的平移量,虚拟现实设备产生的平移量是第三处理器根据摄像头捕获的N帧图像确定的;
步骤108,第二处理器根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态。
其中,虚拟现实设备的运动姿态表征运动对象在N个时刻产生的整体空间平移量,包括水平平移量和旋转平移量。第二处理器根据设定的算法来融合虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,得到虚拟现实设备在N个时刻的运动姿态,N个时刻是指虚拟现实设备在接收到第一至第N个同步信号的各个时刻。具体的融合算法不是本发明实施例的重点,此处省去对其的具体解释。本发明对融合算法不做具体限定,融合算法能够实现根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态的功能。
下面对于上述实施例中的预先设定的状态控制策略进行说明。
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码,二进制编码的数位N根据物理标记点的数量确定;每个物理标记点在第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
值得说明的是,为了便于计算虚拟现实设备上各个物理标记点与N帧图像中虚拟现实备上各个标记点影像之间的对应关系,虚拟现实设备上的各个物理标记点是按照预先设置的布设规则在虚拟现实设备上进行布设的红外灯,例如虚拟现实设备为虚拟头盔设备,虚拟头盔设备各个侧面上的红外灯均按照凸多边形阵列的方式进行布设。预先设置的布设规则中,以摄像装置为参考物,预设各个物理标记点在虚拟现实设备上的位置。
值得说明的是,上述步骤中的虚拟现实设备至少包括头盔设备,还可同时包括与头盔设备配套的手柄设备,在同一系统构架中,头盔设备和手柄设备均可以设置为多个,同一系统构架中,摄像装置可以设置为一个,也可以设置为多个,本发明实施例对头盔设备、手柄设备和摄像装置的数目不做限定,在优选的实施例中,一个系统构架下可以包括子系统,一个子系统内包括一个摄像装置和制售一个头盔设备。
值得说明的是,步骤101中,N的值代表二进制编码的数位,二进制编码的数位根据所有虚拟现实设备上物理标记点的总数确定,例如,某个系统构架下包括一个头盔设备,两个手柄设备,一个头盔设备上设置有40个红外灯,手柄设备1上设备有28个红外灯,手柄设备1上设备有28个红外灯,共有96个红外灯。为了保证每个红外灯具有唯一的编号,每个红外灯的编号对应唯一的二进制编码,将二进制编码的数位N至少确定为7(27=128,数位N为7最多能够为128个物理标记点提供唯一的二进制编码),即每一个编号的二进制编码由7bit组成,每个bit位的值要么为0,要么为1,且这96个红外灯的编号为1至96。对于每个编号对应的二进制编码,7个数位可以由低位向高位依次编序,例如,编号为1的红外灯的二进制编码为0000001,则第1位的数值为1,其他数位的值为0;编号为2的红外灯的二进制编码为0000010,第2位的数值为1,其他数位的值为0;编号为3的红外灯的二进制编码为0000011。第1位和第2位的数值为1,其他数位的值为0,依次类推。
在此示例中,正常情况下头盔设备、手柄设备均接收到第1至第7个同步信号,每个物理标记点在第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,可以理解为:在接收到第1个同步信号时,编号为1的红外灯的状态由二进制编码0000001的第1位的数值标记,因第1位的数值为1,编号为1的红外灯展现第二状态,然后在接收到第2至第7个同步信号时,因第2至第7位的数值均为0,则编号为1的红外灯展现第一状态。再例如,在接收到第1个同步信号时,编号为2的红外灯的状态由二进制编码0000010的第1位的数值标记,因第1位的数值为0,编号为1的红外灯展现第一状态,在接收到第2个同步信号时,编号为2的红外灯的状态由二进制编码0000010的第2位的数值标记,因第2位的数值为1,编号为2的红外灯展现第二状态;然后在接收到第3至第7个同步信号时,因第3至第7位的数值均为0,则编号为2的红外灯均展现第一状态。再例如,在接收到第1个同步信号时,编号为3的红外灯的状态由二进制编码0000011的第1位的数值标记,因第1位的数值为1,编号为3的红外灯展现第二状态;在接收到第2个同步信号时,编号为3的红外灯的状态由二进制编码0000011的第2位的数值标记,因第2位的数值为1,编号为3的红外灯展现第二状态;在接收到第3至第7个同步信号时,因第3至第7位的数值均为0,则编号为3的红外灯均展现第一状态。依次类推。
值得说明的是,预先设定的状态控制策略中,第i个数位的数值为0,物理标记点展现第一状态;第i个数位的数值为1,物理标记点展现第二状态。其中,第一状态可以为指示灯半亮,第二状态可以为指示灯全亮,第一状态和第二状态也可以是指示红外灯不同亮度的其他状态,本发明对此不作具体限定。
进一步地,步骤104中,第三处理器根据N帧图像,确定虚拟现实设备的平移量,具体包括如下步骤,如图3所示:
步骤301,第三处理器获取摄像头捕获的N帧图像,根据N帧图像确定各个标记点影像的位置信息;各个标记点影像的位置信息是指各个标记点影像在预设的图像坐标系中的位置信息;
步骤302,第三处理器根据N帧图像,确定各个物理标记点与各个标记点影像之间的对应关系;
步骤303,第三处理器根据各个物理标记点的实际位置信息,各个标记点影像的位置信息,以及各个物理标记点与各个标记点影像之间的对应关系,确定虚拟现实设备产生的平移量;其中,各个物理标记点的实际位置信息是各个物理标记点在预设的世界坐标系中的位置信息。步骤303中,具体是根据PnP算法确定虚拟现实设备产生的平移量,虚拟现实设备产生的平移量是以摄像装置的位置为参考而确定出的在N个时刻(N个时刻是指接收到第一至第N个同步信号的各个时刻)的运动轨迹的平移量。
本发明实施例中,虚拟现实设备的各物理标记点根据设定的状态控制策略来展现各物理标记点在不同时刻的状态,从而使得第一至第N帧图像中的各个物理标记点的标记点影像也具有不同的状态信息,进而根据各个标记点影像在各个时刻显示的状态信息与各物理标记点根据设定的状态控制策略在不同时刻展现的状态,更准确快速地得到标记点影像与物理标记点的对应关系,并基于标记点影像的位置信息和物理标记点的位置信息,确定出虚拟现实设备的运动姿态信息,相对于现有技术中采用陀螺仪等传感器获取旋转姿态的方法,本发明实施例能够有效确定出虚拟现实设备的平移量,从而更准确快速地感知虚拟现实设备的运动姿态,实时性较高,能够显著改善用户的实际体验。
进一步地,步骤302中,第三处理器根据N帧图像,确定各个物理标记点与各个物理标记点的标记点影像之间的对应关系,如图4所示,包括:
步骤401,第三处理器根据N帧图像中各个标记点影像的显示信息和预先设定的状态控制策略,确定各个标记点影像对应的二进制编码;
步骤402,第三处理器根据各个标记点影像对应的二进制编码,确定各个标记点影像的编号;
步骤403,第三处理器根据各个标记点影像之间的位置关系,确定各个标记点影像的编号之间的位置关系;
步骤404,判断各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系是否一致;
步骤405,若各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致,则第三处理器根据编号信息,确定任一标记点影像对应的物理标记点。
正常情况下,第三处理器根据第1至第N帧图像,可以准确的确定出任一标记点影像对应的物理标记点,但一种特殊情况下也会存在各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致的问题。比如,正常情况下一个系统中的虚拟现实设备包括7个红外灯,虚拟现实设备均接收到第1至第3个同步信号,虚拟现实设备的每个红外灯的编号用3个数位的二进制编码表示,假如编号为3的红外灯的二进制编码为011,在接收到第1个同步信号时,编号为3的红外灯展现全亮的状态,在接收到第2个同步信号时,编号为3的红外灯也展现全亮的状态,在接收到第3个同步信号时,编号为3的红外灯均展现半亮的状态。假如摄像头启动后,因内部小故障,使得摄像头在接收到第1个同步信号时,拍摄的第1帧图像中显示虚拟现实设备接收到第2个同步信号并展现的状态(全部红外灯按照第2位的数值进行状态展现),摄像头在接收到第2个同步信号时,拍摄的第2帧图像中显示虚拟现实设备接收到第3个同步信号并展现的状态(全部红外灯按照第3位的数值进行状态展现),当摄像头在接收到第3个同步信号时,拍摄的第3帧图像,但此时虚拟现实设备可能不再接收同步信号,红外灯全灭,也可能虚拟现实设备继续接收下一组(第4至第6个同步信号)的第1个同步信号。假设虚拟现实设备继续接收下一组的3个同步信号,摄像头拍摄的第3帧图像中显示虚拟现实设备接收到下一组的第1个同步信号并展现的状态(全部红外灯按照第1位的数值进行状态展现)。此时,第三处理器会根据这3帧图像中7个标记点影像的显示信息,确定出3帧图像中按照预设排布方式排布的预设位置的7个标记点影像的编号依次为4(100),1(001),5(101),2(010),6(110),3(011),7(111),但是实际上满足预设位置关系的7个物理标记点的编号依次为1,2,3,4,5,6,7,即各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致。
如果出现各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致的情况,继续按照步骤301至步骤303确定出的虚拟现实设备的平移量会存在误差。
进一步地,为了解决各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致的问题,如图4所示,上述方法还包括:
步骤406,第三处理器通知第一处理器向虚拟现实设备和摄像头继续发送第N+1至第2N个同步信号,以获取摄像头捕获的虚拟现实设备的第N+1至第2N帧图像;
步骤407,第三处理器依次按照第二至第N+1帧、第三至第N+2帧,…,第N至第2N-1帧的次序构成多组N帧图像,并根据多组N帧图像的先后次序,依次返回步骤401至步骤407,直至一组N帧图像中各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致。
下面结合上述示例对上述步骤406和步骤407的方法流程进行说明。假如编号1至7对应的二进制编码的各个第1位的数值集合为N1,编号1至7对应的二进制编码的各个第2位的数值集合为N2,编号1至7对应的二进制编码的各个第3位的数值集合为N3,正常情况下,虚拟现实设备在分别接收到第1至第3个同步信号时所展现的状态依次为(N1,N2,N3),假如摄像头分别接收到第1至第3个同步信号时拍摄的图像中所显示的虚拟现实设备展现的状态为(N2,N3,N1),则按照上述步骤406和步骤407,摄像头继续接收第4个同步信号,并在接收到第4个同步信号时拍摄第4帧图像,同时,虚拟现实设备继续接收第4个同步信号,展现N1状态;第三处理器将摄像头拍摄的第2至第4帧图像重新组合为一组3帧图像,重新组合的3帧图像中显示的虚拟现实设备展现的状态为(N3,N1,N2),此时,重新组合的3帧图像中各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系依旧不一致。那么摄像头继续接收第5个同步信号,并在接收到第5个同步信号时拍摄第5帧图像;同时,虚拟现实设备继续接收第5个同步信号,展现N2状态;第三处理器将摄像头拍摄的第3至第5帧图像重新组合为一组3帧图像,重新组合的3帧图像中显示的虚拟现实设备展现的状态为(N1,N2,N3),即重新组合的3帧图像中各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致。
按照上述方法流程可以纠正上述方法流程中出现的摄像头在接收到第i个同步信号的对应时刻拍摄的图像中各个标记点影像所展现的状态与虚拟现实设备在接收到第i个同步信号的对应时刻各个物理标记点实际展现的状态不一致的问题,确保各个物理标记点与各个标记点影像的对应关系中,各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致,进而准确的确定出虚拟现实设备产生的平移量。
上述方法流程具有以下有益效果:为了实现虚拟现实设备和摄像装置摄像头的同步,在需要获取虚拟现实设备的运动姿态时,分别向虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备上各个物理标记点的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备的图像,捕获的图像中包括各个物理标记点在捕获时刻的标记点影像,这样,实现了虚拟现实设备上各个物理标记点展现的状态,与摄像头捕获的图像中各个物理标记点的标记点影像之间的同步关系,而虚拟现实设备的运动姿态是根据摄像头捕获的虚拟现实设备的N帧图像确定的,预先设定的状态控制策略中包括每个物理标记点在各个时刻的预设状态,这样根据虚拟现实设备上的各个物理标记点在N帧图像中的标记点影像信息,就可以准确、快速的确定出虚拟现实设备的运动姿态。
基于上述方法流程,本发明实施例提供的运动对象追踪方法适用于多种系统构架,每种系统构架中都至少包括头盔设备和摄像装置,为了清楚的说明本发明实施例的优选方案,下面以两种优选的系统构架为例,对本发明实施例提供的优选方案进行说明。
第一种优选系统构架中,如图5所示,虚拟现实设备包括一个头盔设备501、一个手柄设备502和一个摄像装置503,且第一处理器和第三处理器集成在摄像装置503内,第二处理器集成在头盔设备501内。
摄像装置503包括主控制器51、摄像头52,通讯电路53,摄像头52包括红外图像传感器54、图像信号处理器55。主控制器51可以为FPGA、CPLD等可编程器件或者CPU微处理器等;红外图像传感器54可以是CMOS图像传感器,在此不做限制;图像信号处理器55实现对红外图像传感器54采集到等图像信号进行处理;通讯电路53主要是实现系统通讯功能,实现方式可以是有线(如USB)或者是无线(如蓝牙)等方式,优选的为有线方式。其中,摄像头52的拍摄帧率为60FPS。特别地,为扩充头盔设备501或者手柄设备502的个数,在保证有效追踪精度等前提下,可以采用更高拍摄帧率的摄像头,比如120FPS。
头盔设备501包括主控制器41、第一控制电路42、通讯电路43、第一MEMS传感器44和显示器45,头盔设备501上设置m个红外灯,红外灯的个数m在本发明实施例中不做具体限制,如40个,在保证有效追踪精度等前提下,每个被追踪的头盔设备501的红外灯个数可以适当调整。主控制器41也可以为FPGA、CPLD等可编程器件或者CPU微处理器等;第一控制电路42为红外灯控制电路,主要实现对头盔设备501上的红外灯的控制;通讯电路43主要是实现系统通讯功能,实现方式可以是有线(如USB)或者是无线(如蓝牙)等方式;第一MEMS传感器44用于采集头盔设备501的旋转姿态信息;显示器45,用于显示虚拟画面。
手柄设备502包括:主控制器31、第二控制电路32、通讯电路33和第二MEMS传感器34,手柄设备502上设置p个红外灯,红外灯的个数p在本发明实施例中不做具体限制,如28个,在保证有效追踪精度等前提下,每个被追踪的手柄设备502的红外灯个数可以适当调整。主控制器31也可以为FPGA、CPLD等可编程器件或者CPU微处理器等;第二控制电路32为红外灯控制电路,主要实现对手柄设备502上的红外灯的控制;通讯电路33主要是实现系统通讯功能,实现方式可以是有线(如USB)或者是无线(如蓝牙)等方式;第二MEMS传感器34用于采集手柄设备502的旋转姿态信息。
头盔设备501、手柄设备502和摄像装置503之间通过通讯电路建立连接。
摄像装置503用于向虚拟现实设备和摄像装置503的摄像头发送同步信号,根据摄像装置503的摄像头获取的N帧图像,确定虚拟现实设备产生的平移量。
头盔设备501用于获取虚拟现实设备产生的旋转量,和虚拟现实设备产生的平移量,并根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态。
在这种系统架构下,由摄像装置503确定头盔设备501和手柄设备502的平移量,可以避免拍摄的N帧图像数据的在系统中传输,由头盔设备501根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态,从而降低了系统服务器的处理负担,进而可以保证追踪运动对象姿态信息的速率。
第一种系统架构中的运动对象追踪方法的流程,如图6所示,包括:
步骤601,摄像装置503在确定需获取虚拟现实设备的运动姿态时,向头盔设备501、手柄设备502和摄像装置503的摄像头52发送第1至第N个同步信号;
其中,第1至第N个同步信号为时钟同步脉冲信号。
步骤602,头盔设备501接收摄像装置503发送的第1至第N个同步信号,头盔设备501的第一控制电路42根据接收到的同步信号,按预先设定的状态控制策略控制m个红外灯在各个时刻的发光状态,全亮或半亮;
其中,预先设定的状态控制策略的具体内容参见上述实施例,此处不再累述。各个时刻是指在接收到第1至第N个同步信号的时刻。
步骤603,手柄设备502接收摄像装置503发送的第1至第N个同步信号,手柄设备502的第二控制电路32根据接收到的同步信号,按预先设定的状态控制策略,控制p个红外灯在各个时刻的发光状态;
其中,预先设定的状态控制策略的具体内容参见上述实施例,此处不再累述。各个时刻是指在接收到第1至第N个同步信号的时刻。
步骤604,摄像头52接收摄像装置503发送的第1至第N个同步信号,红外图像传感器54根据接收到的同步信号,捕获包括头盔设备501和手柄设备502的第1至第N帧图像,第1至第N帧图像中包括头盔设备501和手柄设备502的各个红外灯在各个时刻的的标记点影像;
上述步骤602至步骤604没有先后顺序,应当理解为同时发生。
步骤605,摄像装置503的图像信号处理器55根据红外图像传感器54获取的N帧图像,确定头盔设备501和手柄设备502的平移量;
具体的,图像信号处理器55根据红外图像传感器54获取的N帧图像,确定头盔设备501和手柄设备502的的平移量的具体步骤参见上述实施例中的步骤301至步骤303,以及步骤401至步骤405的具体内容,此处不再累述。
步骤606,在头盔设备501的第一控制电路42接收第1至第N个同步信号之后,头盔设备501的主控制器41根据第一MEMS传感器44采集到的头盔设备501的旋转姿态信息,确定头盔设备501产生的旋转量;
步骤607,在手柄设备502的第二控制电路32接收第1至第N个同步信号之后,手柄设备502的主控制器31根据第二MEMS传感器34采集到的手柄设备502的旋转姿态信息,确定手柄设备502产生的旋转量;
步骤608,头盔设备501通过摄像装置503与头盔设备501之间的通讯电路,获取头盔设备501和手柄设备502产生的平移量;具体的,摄像装置503通过与头盔设备501之间的通讯电路将头盔设备501和手柄设备502的平移量发送给头盔设备501。
步骤609,头盔设备501通过手柄设备502与头盔设备501的之间的通讯电路,获取手柄设备502产生的旋转量;
具体的,手柄设备502通过与头盔设备501的之间的通讯电路,将手柄设备502在产生的旋转量发送给头盔设备501;
步骤610,头盔设备501根据头盔设备501和手柄设备502产生的平移量、头盔设备501和手柄设备502产生的旋转量,确定运动对象产生的姿态信息;
步骤611,头盔设备501根据姿态信息,控制头盔设备501的显示器45的显示。
其中,头盔设备根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;手柄设备根据第二MEMS传感器采集到的手柄设备旋转姿态信息,确定手柄设备产生的旋转量;均是基于现有技术中的成熟算法得到的,如PNP算法,此处不做详述。
上述实施例中,第一种优选的系统架构下,在需要获取虚拟现实设备的运动姿态时,摄像装置的主控制器分别向虚拟现实设备(包括头盔设备和手柄设备)和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备(包括头盔设备和手柄设备)接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备(包括头盔设备和手柄设备)的图像,捕获的图像中包括各个红外灯在捕获时刻的标记点影像,这样,实现了虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯展现的状态,与摄像头捕获的图像中各个红外灯的标记点影像之间的同步关系。预先设定的状态控制策略中包括每个红外灯在各个时刻的预设状态,这样摄像装置的主控制器就可以根据虚拟现实设备(包括头盔设备和手柄设备)上的各个红外灯在N帧图像中的标记点影像信息,准确、快速的确定虚拟现实设备的平移量;基于所述头盔设备和所述手柄设备产生的平移量和旋转量,头盔设备就可以准确、快速的确定所述运动对象产生的姿态信息。
基于上述方法流程,本发明实施例还提供第二种优选的系统架构,如图7所示,第二种系统构架中,虚拟现实设备包括一个头盔设备71、一个手柄设备72和一个摄像装置73,还包括一个PC上的第一服务器74,且第三处理器集成在摄像装置的主控制器内,第一处理器和第二处理器集成在第一服务器74内的主控制器内;其中,第一服务器74,包括主控制器741和通讯电路742。第一服务器74与头盔设备71、手柄设备72和摄像装置73通过通讯电路连接。
摄像装置73包括主控制器731、摄像头732,通讯电路733,摄像头732包括红外图像传感器734、图像信号处理器735。主控制器731可以为单片机,通过有线(如USB)或者无线(如蓝牙)连接到第一服务器74;像信号处理器735实现对红外图像传感器734采集到等图像信号进行处理;通讯电路733主要是实现系统通讯功能优选的实现方式为有线连接。其中,摄像头732的拍摄帧率为60FPS。特别地,为扩充头盔设备或者手柄设备的个数,在保证有效追踪精度等前提下,可以采用更高拍摄帧率的摄像头,比如120FPS。
头盔设备71包括主控制器711、第一控制电路712、通讯电路713、第一MEMS传感器714和显示器715,头盔设备71上设置m个红外灯,红外灯的个数m在本发明实施例中不做具体限制,如40个,在保证有效追踪精度等前提下,每个被追踪的头盔设备71的红外灯个数可以适当调整。主控制器711可以为单片机,通过有线(如USB)或者无线(如蓝牙)连接到第一服务器74;第一控制电路712为红外灯控制电路,主要实现对头盔设备71上的红外灯的控制;通讯电路713主要是实现系统通讯功能,优选的实现方式为有线连接;第一MEMS传感器714用于采集头盔设备71的旋转姿态信息;显示器715,用于显示虚拟画面。
手柄设备72包括:主控制器721、第二控制电路722、通讯电路723和第二MEMS传感器724,手柄设备72上设置p个红外灯,红外灯的个数p在本发明实施例中不做具体限制,如28个,在保证有效追踪精度等前提下,每个被追踪的手柄设备72的红外灯个数可以适当调整。。主控制器721也可以为FPGA、CPLD等可编程器件或者CPU微处理器等;第二控制电路722为红外灯控制电路,主要实现对手柄设备72上的红外灯的控制;通讯电路723主要是实现系统通讯功能,优选的实现方式为有线连接;第二MEMS传感器724用于采集手柄设备72的旋转姿态信息。
第一服务器74,包括主控制器741,通讯电路742,用于向虚拟现实设备和摄像装置73的摄像头发送同步信号;
摄像装置73,用于根据摄像装置73的摄像头获取的N帧图像,确定虚拟现实设备产生的平移量。
第一服务器74,用于获取虚拟现实设备产生的旋转量,和虚拟现实设备产生的平移量,并根据虚拟现实设备产生的旋转量和虚拟现实设备产生的平移量,确定虚拟现实设备的运动姿态。
在这种系统架构下,由摄像装置确定头盔设备和手柄设备的平移量,可以避免拍摄的N帧图像数据的在系统中传输,降低了系统服务器的处理负担,进而可以保证追踪运动对象姿态信息的速率。
本发明实施例中,第二种系统架构中的运动对象追踪方法的流程,如图8所示,包括:
步骤801,第一服务器74在确定需获取头盔设备71、手柄设备72的运动姿态时,向头盔设备71、手柄设备72和摄像装置73发送第1至第N个同步信号;
其中,第1至第N个同步信号为时钟同步脉冲信号。
步骤802,头盔设备71接收第一服务器74发送的第1至第N个同步信号,第一控制电路712根据接收到的同步信号,按预先设定的状态控制策略控制m个红外灯在各个时刻的状态;
其中,预先设定的状态控制策略的具体内容参见上述实施例,此处不再累述。
步骤803,手柄设备72接收第一服务器74发送的第1至第N个同步信号,第二控制电路722根据接收到的同步信号,按预先设定的状态控制策略,控制p个红外灯在各个时刻的状态;
其中,预先设定的状态控制策略的具体内容参见上述实施例,此处不再累述。各个时刻是指在接收到第1至第N个同步信号的时刻。
步骤804,摄像装置73接收第一服务器74发送的第1至第N个同步信号,红外图像传感器734根据接收到的同步信号,捕获包括头盔设备71和手柄设备72的第1至第N帧图像,第1至第N帧图像中包括头盔设备71和手柄设备72的各个红外灯在各个时刻的的标记点影像;
上述步骤802至步骤804没有先后顺序,应当理解为同时发生。
步骤805,摄像装置73的图像信号处理器735根据红外图像传感器734获取的N帧图像,确定虚拟现实设备的平移量;
具体的,图像信号处理器735根据红外图像传感器734获取的N帧图像,确定头盔设备71和手柄设备72的的平移量的具体步骤参见上述实施例中的步骤301至步骤303,以及步骤401至步骤404的具体内容,此处不再累述。
步骤806,在头盔设备71接收第1至第N个同步信号之后,头盔设备71的主控制器711根据第一MEMS传感器714采集到的头盔设备71的旋转姿态信息,确定头盔设备71产生的旋转量;
步骤807,在手柄设备72接收第1至第N个同步信号之后,手柄设备72根据第二MEMS传感器724采集到的手柄设备72旋转姿态信息,确定手柄设备72产生的旋转量;
步骤808,第一服务器74通过摄像装置73与第一服务器74之间的通讯电路,获取头盔设备71和手柄设备72产生的平移量;具体的,摄像装置73通过与第一服务器74之间的通讯电路将头盔设备71和手柄设备72的平移量发送给第一服务器74;
步骤809,第一服务器74通过头盔设备71与第一服务器74之间的通讯电路,获取头盔设备71产生的旋转量;具体的,头盔设备71通过与第一服务器74之间的通讯电路,将头盔设备71产生的旋转量发送给第一服务器74;
步骤810,第一服务器74通过手柄设备72与第一服务器74之间的通讯电路,获取手柄设备72产生的旋转量;具体的,手柄设备72通过与第一服务器74之间的通讯电路,将手柄设备72产生的旋转量发送给第一服务器74;
步骤811,第一服务器74根据头盔设备71产生的平移量和旋转量,以及手柄设备72产生的平移量和旋转量,确定运动对象产生的姿态信息;
步骤812,第一服务器74将姿态信息发送给头盔设备71;
步骤813,头盔设备71根据姿态信息,控制头盔设备71的显示器715的显示。
其中,头盔设备根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;手柄设备根据第二MEMS传感器采集到的手柄设备旋转姿态信息,确定手柄设备产生的旋转量;均是基于现有技术中的成熟算法得到的,此处不做详述。
上述实施例中,第二种优选的系统架构下,在需要获取虚拟现实设备的运动姿态时,第一服务器分别向虚拟现实设备(包括头盔设备和手柄设备)和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备(包括头盔设备和手柄设备)接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备(包括头盔设备和手柄设备)的图像,捕获的图像中包括各个红外灯在捕获时刻的标记点影像,这样,实现了虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯展现的状态,与摄像头捕获的图像中各个红外灯的标记点影像之间的同步关系。预先设定的状态控制策略中包括每个红外灯在各个时刻的预设状态,这样摄像装置的主控制器就可以根据虚拟现实设备(包括头盔设备和手柄设备)上的各个红外灯在N帧图像中的标记点影像信息,准确、快速的确定虚拟现实设备的平移量;基于所述头盔设备和所述手柄设备产生的平移量和旋转量,第一服务器就可以准确、快速的确定所述运动对象产生的姿态信息。
基于上述方法流程,本发明实施例还提供一种运动对象追踪系统,这些运动对象追踪系统的具体内容可以参照上述方法实施,在此不再赘述。
如图9所示的本发明实施例提供一种运动对象追踪系统,包括:
摄像装置901,用于在确定需获取虚拟现实设备902的运动姿态时,向虚拟现实设备902和摄像装置901的摄像头发送至少第1至第N个同步信号,以获取摄像头捕获的虚拟现实设备902的N帧图像;虚拟现实设备902的运动姿态是根据N帧图像确定的;
虚拟现实设备902,用于接收第一处理器发送的第i个同步信号,根据第i个同步信号,按预先设定的状态控制策略展现虚拟现实设备902上各个物理标记点的状态,1≤i≤N;
摄像装置901的摄像头,用于接收第一处理器发送的第i个同步信号,根据第i个同步信号,捕获虚拟现实设备902的第i帧图像,第i帧图像中包括各个物理标记点的标记点影像。
进一步地,预先设定的状态控制策略包括:
所有虚拟现实设备902的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码,二进制编码的数位N根据物理标记点的数量确定;每个物理标记点在第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
进一步地,摄像装置901还用于:
获取摄像头捕获的N帧图像,根据N帧图像确定各个标记点影像的位置信息;各个标记点影像的位置信息是指各个标记点影像在预设的图像坐标系中的位置信息;
根据N帧图像,确定各个物理标记点与各个标记点影像之间的对应关系;
根据各个物理标记点的实际位置信息,各个标记点影像的位置信息,以及各个物理标记点与各个标记点影像之间的对应关系,确定虚拟现实设备902产生的平移量;各个物理标记点的实际位置信息是各个物理标记点在预设的世界坐标系中的位置信息。
进一步地,摄像装置901具体用于:
根据N帧图像中各个标记点影像的显示信息和预先设定的状态控制策略,确定各个标记点影像对应的二进制编码;
根据各个标记点影像对应的二进制编码,确定各个标记点影像的编号;
根据各个标记点影像之间的位置关系,确定各个标记点影像的编号之间的位置关系;
若各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
进一步地,摄像装置901还用于:
若各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致,摄像装置901向虚拟现实设备902和摄像装置901的摄像头继续发送第N+1至第2N个同步信号,以获取摄像头捕获的虚拟现实设备902的第N+1至第2N帧图像;
摄像装置901依次按照第二至第N+1帧、第三至第N+2帧,…,第N至第2N-1帧的次序构成多组N帧图像,并根据多组N帧图像的先后次序,依次返回根据N帧图像,确定各个物理标记点与各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致。
进一步地,虚拟现实设备902包括运动对象佩戴的至少一个头盔设备和至少一个与头盔设备配套的手柄设备;头盔设备上设置m个物理标记点,手柄设备上设置p个物理标记点;
头盔设备上包括第一控制电路,手柄设备上包括第二控制电路;
第一控制电路,用于接收第1至第N个同步信号,根据接收到的同步信号,控制m个物理标记点在各个时刻的状态;
第二控制电路,用于接收第1至第N个同步信号,根据接收到的同步信号,控制p个物理标记点在各个时刻的状态;
头盔设备上还包括第一MEMS传感器;手柄设备上还包括第二MEMS传感器;
头盔设备,还用于在第一控制电路接收至少第1至第N个同步信号之后,根据第一MEMS传感器采集到的头盔设备的旋转姿态信息,确定头盔设备产生的旋转量;
手柄设备,还用于在第二控制电路接收至少第1至第N个同步信号之后,根据第二MEMS传感器采集到的手柄设备旋转姿态信息,确定手柄设备产生的旋转量。
进一步地,头盔设备具体用于:
头盔设备通过摄像装置901与头盔设备之间的通讯电路,获取头盔设备和手柄设备产生的平移量;
头盔设备通过手柄设备与头盔设备的之间的通讯电路,获取手柄设备产生的旋转量;
头盔设备根据头盔设备和手柄设备产生的平移量、头盔设备和手柄设备产生的旋转量,确定运动对象产生的姿态信息;
头盔设备根据姿态信息,控制头盔设备的显示器的显示。
上述实施例中,在需要获取虚拟现实设备的运动姿态时,摄像装置分别向虚拟现实设备(包括头盔设备和手柄设备)和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备(包括头盔设备和手柄设备)接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备(包括头盔设备和手柄设备)的图像,捕获的图像中包括各个红外灯在捕获时刻的标记点影像,这样,实现了虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯展现的状态,与摄像头捕获的图像中各个红外灯的标记点影像之间的同步关系。预先设定的状态控制策略中包括每个红外灯在各个时刻的预设状态,这样后续摄像装置就可以根据虚拟现实设备(包括头盔设备和手柄设备)上的各个红外灯在N帧图像中的标记点影像信息,准确、快速的确定虚拟现实设备的平移量;基于所述头盔设备和所述手柄设备产生的平移量和旋转量,虚拟现实设备中的头盔设备就可以准确、快速的确定所述运动对象产生的姿态信息。
如图10所示,本发明实施例提供一种运动对象追踪系统,包括:
第一服务器100,用于在确定需获取虚拟现实设备200的运动姿态时,向虚拟现实设备200和摄像装置300的摄像头发送至少第1至第N个同步信号,以获取摄像头捕获的虚拟现实设备200的N帧图像;虚拟现实设备200的运动姿态是根据N帧图像确定的;
虚拟现实设备200,用于接收第一处理器发送的第i个同步信号,根据第i个同步信号,按预先设定的状态控制策略展现虚拟现实设备200上各个物理标记点的状态,1≤i≤N;
摄像装置300的摄像头,用于接收第一处理器发送的第i个同步信号,根据第i个同步信号,捕获虚拟现实设备200的第i帧图像,第i帧图像中包括各个物理标记点的标记点影像。
进一步地,预先设定的状态控制策略包括:
所有虚拟现实设备200的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码,二进制编码的数位N根据物理标记点的数量确定;每个物理标记点在第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
进一步地,摄像装置300还用于:
获取摄像头捕获的N帧图像,根据N帧图像确定各个标记点影像的位置信息;各个标记点影像的位置信息是指各个标记点影像在预设的图像坐标系中的位置信息;
根据N帧图像,确定各个物理标记点与各个标记点影像之间的对应关系;
根据各个物理标记点的实际位置信息,各个标记点影像的位置信息,以及各个物理标记点与各个标记点影像之间的对应关系,确定虚拟现实设备200产生的平移量;各个物理标记点的实际位置信息是各个物理标记点在预设的世界坐标系中的位置信息。
进一步地,摄像装置300具体用于:
根据N帧图像中各个标记点影像的显示信息和预先设定的状态控制策略,确定各个标记点影像对应的二进制编码;
根据各个标记点影像对应的二进制编码,确定各个标记点影像的编号;
根据各个标记点影像之间的位置关系,确定各个标记点影像的编号之间的位置关系;
若各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
进一步地,摄像装置300还用于:
若各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系不一致,摄像装置300向虚拟现实设备200和摄像头继续发送第N+1至第2N个同步信号,以获取摄像头捕获的虚拟现实设备200的第N+1至第2N帧图像;
摄像装置300依次按照第二至第N+1帧、第三至第N+2帧,…,第N至第2N-1帧的次序构成多组N帧图像,并根据多组N帧图像的先后次序,依次返回根据N帧图像,确定各个物理标记点与各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个标记点影像的编号之间的位置关系与各个物理标记点的编号之间的位置关系一致。
进一步地,虚拟现实设备200包括运动对象佩戴的至少一个头盔设备和至少一个与头盔设备配套的手柄设备;头盔设备上设置m个物理标记点,手柄设备上设置p个物理标记点;
头盔设备上包括第一控制电路,手柄设备上包括第二控制电路;
第一控制电路,用于接收第1至第N个同步信号,根据接收到的同步信号,控制m个物理标记点在各个时刻的状态;
第二控制电路,用于接收第1至第N个同步信号,根据接收到的同步信号,控制p个物理标记点在各个时刻的状态;
头盔设备上还包括第一MEMS传感器;手柄设备上还包括第二MEMS传感器;
头盔设备,还用于在第一控制电路接收至少第1至第N个同步信号之后,根据第一MEMS传感器采集到的头盔设备的旋转姿态信息,确定头盔设备产生的旋转量;
手柄设备,还用于在第二控制电路接收至少第1至第N个同步信号之后,根据第二MEMS传感器采集到的手柄设备旋转姿态信息,确定手柄设备产生的旋转量。
进一步地,第一服务器100具体用于:
第一服务器100通过摄像装置300与第一服务器100之间的通讯电路,获取头盔设备和手柄设备产生的平移量;
第一服务器100通过手柄设备与第一服务器100之间的通讯电路,获取手柄设备产生的旋转量;
第一服务器100通过头盔设备与第一服务器100之间的通讯电路,获取头盔设备产生的旋转量;
第一服务器100根据头盔设备产生的平移量和旋转量,以及手柄设备产生的平移量和旋转量,确定运动对象产生的姿态信息;将姿态信息发送给头盔设备,以使头盔设备根据姿态信息,控制头盔设备的显示器的显示。
上述实施例中,第二种优选的系统架构下,在需要获取虚拟现实设备的运动姿态时,第一服务器分别向虚拟现实设备(包括头盔设备和手柄设备)和摄像装置的摄像头发送至少第1至第N个同步信号,摄像装置和虚拟现实设备(包括头盔设备和手柄设备)接收同步信号的时刻同步,使得虚拟现实设备每接收一个同步信号,按预先设定的状态控制策略展现虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯的状态,摄像装置的摄像头每接收一个同步信号捕获一帧虚拟现实设备(包括头盔设备和手柄设备)的图像,捕获的图像中包括各个红外灯在捕获时刻的标记点影像,这样,实现了虚拟现实设备(包括头盔设备和手柄设备)上各个红外灯展现的状态,与摄像头捕获的图像中各个红外灯的标记点影像之间的同步关系。预先设定的状态控制策略中包括每个红外灯在各个时刻的预设状态,这样摄像装置就可以根据虚拟现实设备(包括头盔设备和手柄设备)上的各个红外灯在N帧图像中的标记点影像信息,准确、快速的确定虚拟现实设备的平移量;基于所述头盔设备和所述手柄设备产生的平移量和旋转量,第一服务器就可以准确、快速的确定所述运动对象产生的姿态信息。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种运动对象追踪方法,其特征在于,包括:
第一处理器在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
所述虚拟现实设备接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像头接收所述第一处理器发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像;
其中,所述预先设定的状态控制策略包括:
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码;每个物理标记点在所述第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
2.如权利要求1所述的方法,其特征在于,根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
第二处理器获取所述虚拟现实设备产生的旋转量,所述虚拟现实设备产生的旋转量是根据所述虚拟现实设备的传感器采集的数据确定的;
所述第二处理器获取所述虚拟现实设备产生的平移量,所述虚拟现实设备产生的平移量是根据所述摄像头捕获的所述N帧图像确定的;
所述第二处理器根据所述虚拟现实设备产生的旋转量和所述虚拟现实设备产生的平移量,确定所述虚拟现实设备的运动姿态。
3.如权利要求2所述的方法,其特征在于,根据所述N帧图像,确定所述虚拟现实设备的平移量,包括:
第三处理器获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个物理标记点影像的位置信息;所述各个物理标记点影像的位置信息是指所述各个物理标记点影像在预设的图像坐标系中的位置信息;
所述第三处理器根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点影像之间的对应关系;
所述第三处理器根据所述各个物理标记点的实际位置信息,所述各个物理标记点影像的位置信息,以及所述各个物理标记点与所述各个物理标记点影像之间的对应关系,确定所述虚拟现实设备产生的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
4.如权利要求3所述的方法,其特征在于,所述第三处理器根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系,包括:
根据所述N帧图像中所述各个物理标记点影像的显示信息和所述预先设定的状态控制策略,确定所述各个物理标记点影像对应的二进制编码;
根据所述各个物理标记点影像对应的二进制编码,确定所述各个物理标记点影像的编号;
根据所述各个物理标记点影像之间的位置关系,确定所述各个物理标记点影像的编号之间的位置关系;
若所述各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
5.如权利要求4所述的方法,其特征在于,若所述各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系不一致,所述方法还包括:
所述第三处理器通知所述第一处理器向所述虚拟现实设备和所述摄像头继续发送第N+1至第2N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的第N+1至第2N帧图像;
所述第三处理器依次按照所述第二至第N+1帧、所述第三至第N+2帧,…,所述第N至第2N-1帧的次序构成多组N帧图像,并根据所述多组N帧图像的先后次序,依次返回根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致。
6.如权利要求5所述的方法,其特征在于,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路用于接收所述至少第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路用于接收所述至少第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;所述方法还包括:
所述头盔设备在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
7.如权利要求6所述的方法,其特征在于,所述第一处理器和所述第三处理器集成在所述摄像装置内,所述第二处理器集成在所述头盔设备内;则所述根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
所述头盔设备通过所述摄像装置与所述头盔设备之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述头盔设备通过所述手柄设备与所述头盔设备的之间的通讯电路,获取所述手柄设备产生的旋转量;
所述头盔设备根据所述头盔设备和所述手柄设备产生的平移量、所述头盔设备和所述手柄设备产生的旋转量,确定所述运动对象产生的姿态信息;
所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
8.如权利要求6所述的方法,其特征在于,所述第三处理器集成在所述摄像装置的主控制器内;所述第一处理器和所述第二处理器集成在第一服务器内;所述根据所述N帧图像确定所述虚拟现实设备的运动姿态,包括:
所述第一服务器通过所述摄像装置与所述第一服务器之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述第一服务器通过所述手柄设备与所述第一服务器之间的通讯电路,获取所述手柄设备产生的旋转量;
所述第一服务器通过所述头盔设备与所述第一服务器之间的通讯电路,获取所述头盔设备产生的旋转量;
所述第一服务器根据所述头盔设备产生的平移量和旋转量,以及所述手柄设备产生的平移量和旋转量,确定所述运动对象产生的姿态信息;将所述姿态信息发送给所述头盔设备,以使所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
9.一种运动对象追踪系统,其特征在于,包括:
摄像装置,用于在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和所述摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
虚拟现实设备,用于接收所述摄像装置发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像装置的摄像头,用于接收所述摄像装置发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像;
其中,所述预先设定的状态控制策略包括:
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码;每个物理标记点在所述第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
10.如权利要求9所述的系统,其特征在于,所述摄像装置还用于:
获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个物理标记点影像的位置信息;所述各个物理标记点影像的位置信息是指所述各个物理标记点影像在预设的图像坐标系中的位置信息;
根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点影像之间的对应关系;
根据所述各个物理标记点的实际位置信息,所述各个物理标记点影像的位置信息,以及所述各个物理标记点与所述各个物理标记点影像之间的对应关系,确定所述虚拟现实设备产生的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
11.如权利要求10所述的系统,其特征在于,所述摄像装置具体用于:
根据所述N帧图像中所述各个物理标记点影像的显示信息和所述预先设定的状态控制策略,确定所述各个物理标记点影像对应的二进制编码;
根据所述各个物理标记点影像对应的二进制编码,确定所述各个物理标记点影像的编号;
根据所述各个物理标记点影像之间的位置关系,确定所述各个物理标记点影像的编号之间的位置关系;
若所述各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致,则根据编号信息,确定任一标记点影像对应的物理标记点。
12.如权利要求11所述的系统,其特征在于,所述摄像装置还用于:
若所述各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系不一致,所述摄像装置向所述虚拟现实设备和所述摄像头继续发送第N+1至第2N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的第N+1至第2N帧图像;
所述摄像装置依次按照所述第二至第N+1帧、所述第三至第N+2帧,…,所述第N至第2N-1帧的次序构成多组N帧图像,并根据所述多组N帧图像的先后次序,依次返回根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点的标记点影像之间的对应关系的步骤,直至一组N帧图像中各个物理标记点影像的编号之间的位置关系与所述各个物理标记点的编号之间的位置关系一致。
13.如权利要求9至12中任一项所述的系统,其特征在于,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路,用于接收所述第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路,用于接收所述第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;
所述头盔设备,还用于在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备,还用于在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
14.如权利要求13所述的系统,其特征在于,所述头盔设备具体用于:
所述头盔设备通过所述摄像装置与所述头盔设备之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述头盔设备通过所述手柄设备与所述头盔设备的之间的通讯电路,获取所述手柄设备产生的旋转量;
所述头盔设备根据所述头盔设备和所述手柄设备产生的平移量、所述头盔设备和所述手柄设备产生的旋转量,确定所述运动对象产生的姿态信息;
所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
15.一种运动对象追踪系统,其特征在于,包括:
第一服务器,用于在确定需获取虚拟现实设备的运动姿态时,向所述虚拟现实设备和摄像装置的摄像头发送至少第1至第N个同步信号,以获取所述摄像头捕获的所述虚拟现实设备的N帧图像;所述虚拟现实设备的运动姿态是根据所述N帧图像确定的;
虚拟现实设备,用于接收所述第一服务器器发送的第i个同步信号,根据所述第i个同步信号,按预先设定的状态控制策略展现所述虚拟现实设备上各个物理标记点的状态,1≤i≤N;
所述摄像装置的摄像头,用于接收所述第一服务器发送的第i个同步信号,根据所述第i个同步信号,捕获所述虚拟现实设备的第i帧图像,所述第i帧图像中包括所述各个物理标记点的标记点影像,其中,所述预先设定的状态控制策略包括:
所有虚拟现实设备的各个物理标记点具有唯一的编号,每个物理标记点的编号对应唯一的二进制编码;每个物理标记点在所述第i个同步信号对应时刻的状态,由该物理标记点对应二进制编码的第i个数位的数值标记,第i个数位的数值为0,物理标记点展现第一状态,第i个数位的数值为1,物理标记点展现第二状态。
16.如权利要求15所述的系统,其特征在于,所述摄像装置还用于:
获取所述摄像头捕获的所述N帧图像,根据所述N帧图像确定所述各个物理标记点影像的位置信息;所述各个物理标记点影像的位置信息是指所述各个物理标记点影像在预设的图像坐标系中的位置信息;
根据所述N帧图像,确定所述各个物理标记点与所述各个物理标记点影像之间的对应关系;
根据所述各个物理标记点的实际位置信息,所述各个物理标记点影像的位置信息,以及所述各个物理标记点与所述各个物理标记点影像之间的对应关系,确定所述虚拟现实设备的平移量;所述各个物理标记点的实际位置信息是所述各个物理标记点在预设的世界坐标系中的位置信息。
17.如权利要求15或16所述的系统,其特征在于,所述虚拟现实设备包括所述运动对象佩戴的至少一个头盔设备和至少一个与所述头盔设备配套的手柄设备;所述头盔设备上设置m个物理标记点,所述手柄设备上设置p个物理标记点;
所述头盔设备上包括第一控制电路,所述手柄设备上包括第二控制电路;
所述第一控制电路,用于接收所述第1至第N个同步信号,根据接收到的所述同步信号,控制所述m个物理标记点在各个时刻的状态;
所述第二控制电路,用于接收所述第1至第N个同步信号,根据接收到的同步信号,控制所述p个物理标记点在各个时刻的状态;
所述头盔设备上还包括第一MEMS传感器;所述手柄设备上还包括第二MEMS传感器;
所述头盔设备,还用于在所述第一控制电路接收至少所述第1至第N个同步信号之后,根据所述第一MEMS传感器采集到的所述头盔设备的旋转姿态信息,确定所述头盔设备产生的旋转量;
所述手柄设备,还用于在所述第二控制电路接收至少所述第1至第N个同步信号之后,根据所述第二MEMS传感器采集到的所述手柄设备旋转姿态信息,确定所述手柄设备产生的旋转量。
18.如权利要求17所述的系统,其特征在于,所述第一服务器具体用于:
所述第一服务器通过所述摄像装置与所述第一服务器之间的通讯电路,获取所述头盔设备和所述手柄设备产生的平移量;
所述第一服务器通过所述手柄设备与所述第一服务器之间的通讯电路,获取所述手柄设备产生的旋转量;
所述第一服务器通过所述头盔设备与所述第一服务器之间的通讯电路,获取所述头盔设备产生的旋转量;
所述第一服务器根据所述头盔设备产生的平移量和旋转量,以及所述手柄设备产生的平移量和旋转量,确定所述运动对象产生的姿态信息;将所述姿态信息发送给所述头盔设备,以使所述头盔设备根据所述姿态信息,控制所述头盔设备的显示器的显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610298381.5A CN105931272B (zh) | 2016-05-06 | 2016-05-06 | 一种运动对象追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610298381.5A CN105931272B (zh) | 2016-05-06 | 2016-05-06 | 一种运动对象追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105931272A CN105931272A (zh) | 2016-09-07 |
CN105931272B true CN105931272B (zh) | 2019-04-05 |
Family
ID=56835238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610298381.5A Active CN105931272B (zh) | 2016-05-06 | 2016-05-06 | 一种运动对象追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105931272B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106028001B (zh) * | 2016-07-20 | 2019-01-04 | 上海乐相科技有限公司 | 一种光学定位方法及装置 |
CN106651948A (zh) * | 2016-09-30 | 2017-05-10 | 乐视控股(北京)有限公司 | 一种定位方法及手柄 |
CN106445084A (zh) * | 2016-09-30 | 2017-02-22 | 乐视控股(北京)有限公司 | 定位方法及采集设备 |
CN106445159A (zh) * | 2016-09-30 | 2017-02-22 | 乐视控股(北京)有限公司 | 虚拟现实系统及定位方法 |
CN106774992A (zh) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | 虚拟现实空间定位特征点识别方法 |
CN106681510B (zh) * | 2016-12-30 | 2020-06-05 | 光速视觉(北京)科技有限公司 | 位姿识别装置、虚拟现实显示装置以及虚拟现实系统 |
CN107316319B (zh) * | 2017-05-27 | 2020-07-10 | 北京小鸟看看科技有限公司 | 一种刚体追踪的方法、装置和系统 |
CN109218252A (zh) * | 2017-06-29 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 一种虚拟现实的显示方法、装置及其设备 |
CN107564064B (zh) * | 2017-09-12 | 2020-11-03 | 深圳市欢创科技有限公司 | 一种定位点、其编码方法、定位方法及其系统 |
CN110825333B (zh) * | 2018-08-14 | 2021-12-21 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
WO2020020102A1 (zh) | 2018-07-23 | 2020-01-30 | 广东虚拟现实科技有限公司 | 生成虚拟内容的方法、终端设备及存储介质 |
CN110347262A (zh) * | 2019-07-16 | 2019-10-18 | 异起(上海)智能科技有限公司 | 一种虚拟现实中的移动装置和方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339654A (zh) * | 2007-07-04 | 2009-01-07 | 北京威亚视讯科技有限公司 | 一种基于标志点的增强现实三维注册方法和系统 |
CN104225915A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐美国公司 | 用于减少与头戴式系统相关联的跃点的系统和方法 |
CN104321720A (zh) * | 2012-01-09 | 2015-01-28 | 爱普生挪威研究发展公司 | 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法 |
CN104699247A (zh) * | 2015-03-18 | 2015-06-10 | 北京七鑫易维信息技术有限公司 | 一种基于机器视觉的虚拟现实交互系统及方法 |
CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
CN105242400A (zh) * | 2015-07-10 | 2016-01-13 | 上海鹰为智能科技有限公司 | 虚拟现实眼镜 |
CN105359063A (zh) * | 2013-06-09 | 2016-02-24 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
CN105392538A (zh) * | 2013-06-07 | 2016-03-09 | 索尼电脑娱乐公司 | 响应于头戴式显示器中的用户动作的图像渲染 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5784818B2 (ja) * | 2011-03-29 | 2015-09-24 | クアルコム,インコーポレイテッド | 拡張現実システムにおける実世界表面への仮想画像のアンカリング |
US9514571B2 (en) * | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
-
2016
- 2016-05-06 CN CN201610298381.5A patent/CN105931272B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339654A (zh) * | 2007-07-04 | 2009-01-07 | 北京威亚视讯科技有限公司 | 一种基于标志点的增强现实三维注册方法和系统 |
CN104321720A (zh) * | 2012-01-09 | 2015-01-28 | 爱普生挪威研究发展公司 | 用于同步、识别及跟踪视觉交互式系统的低干扰系统和方法 |
CN104225915A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐美国公司 | 用于减少与头戴式系统相关联的跃点的系统和方法 |
CN105392538A (zh) * | 2013-06-07 | 2016-03-09 | 索尼电脑娱乐公司 | 响应于头戴式显示器中的用户动作的图像渲染 |
CN105359063A (zh) * | 2013-06-09 | 2016-02-24 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
CN104699247A (zh) * | 2015-03-18 | 2015-06-10 | 北京七鑫易维信息技术有限公司 | 一种基于机器视觉的虚拟现实交互系统及方法 |
CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
CN105242400A (zh) * | 2015-07-10 | 2016-01-13 | 上海鹰为智能科技有限公司 | 虚拟现实眼镜 |
Also Published As
Publication number | Publication date |
---|---|
CN105931272A (zh) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105931272B (zh) | 一种运动对象追踪方法及系统 | |
CN107820593B (zh) | 一种虚拟现实交互方法、装置及系统 | |
CN109218619A (zh) | 图像获取方法、装置和系统 | |
CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和系统 | |
CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
CN104932698B (zh) | 一种手持交互设备装置及其投影交互方法 | |
CN107438804B (zh) | 一种用于控制无人机的穿戴式设备及无人机系统 | |
CN102169366B (zh) | 三维立体空间中的多目标跟踪方法 | |
US20160180593A1 (en) | Wearable device-based augmented reality method and system | |
CN108292489A (zh) | 信息处理装置和图像生成方法 | |
CN106200944A (zh) | 一种对象的控制方法、控制装置和控制系统 | |
CN106303448B (zh) | 航拍图像处理方法、无人机、头戴显示设备及系统 | |
CN107454947A (zh) | 无人机控制方法、头戴式显示眼镜及系统 | |
CN106774868B (zh) | 一种无线演示装置 | |
CN105955288A (zh) | 飞行器定位及控制方法及系统 | |
CN107483836B (zh) | 一种拍摄方法及移动终端 | |
CN108151738B (zh) | 带姿态解算的可编码主动光标识球 | |
CN104094595A (zh) | 在立体视觉系统中供处理影像的方法及其装置 | |
CN108474657A (zh) | 一种环境信息采集方法、地面站及飞行器 | |
CN105686833A (zh) | 基于无线体域网的可穿戴式多节点三维运动监测系统 | |
CN106327583A (zh) | 一种实现全景摄像的虚拟现实设备及其实现方法 | |
CN108564613A (zh) | 一种深度数据获取方法及移动终端 | |
CN107332977A (zh) | 增强现实的方法及增强现实设备 | |
CN107767394A (zh) | 一种运动目标的定位和姿态估计方法、装置及系统 | |
CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |