[go: up one dir, main page]

CN104121892B - 一种获取光枪射击的目标位置的方法、装置及系统 - Google Patents

一种获取光枪射击的目标位置的方法、装置及系统 Download PDF

Info

Publication number
CN104121892B
CN104121892B CN201410325348.8A CN201410325348A CN104121892B CN 104121892 B CN104121892 B CN 104121892B CN 201410325348 A CN201410325348 A CN 201410325348A CN 104121892 B CN104121892 B CN 104121892B
Authority
CN
China
Prior art keywords
binocular camera
coordinate system
light source
camera
light gun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410325348.8A
Other languages
English (en)
Other versions
CN104121892A (zh
Inventor
李乐
周琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huanchuang Technology Co ltd
Original Assignee
SHENZHEN TVPALY TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN TVPALY TECHNOLOGY Co Ltd filed Critical SHENZHEN TVPALY TECHNOLOGY Co Ltd
Priority to CN201410325348.8A priority Critical patent/CN104121892B/zh
Publication of CN104121892A publication Critical patent/CN104121892A/zh
Application granted granted Critical
Publication of CN104121892B publication Critical patent/CN104121892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用于电子设备领域,提供了一种获取光枪射击的目标位置的方法,该方法包括:实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。与现有技术相比,本发明可以获取确定的光枪、双目摄像头以及目标屏幕之间的位置关系,使得光枪的第二光源在目标屏幕中的位置信息更加准确。

Description

一种获取光枪射击的目标位置的方法、装置及系统
技术领域
本发明属于电子设备领域,尤其涉及一种获取光枪射击的目标位置的方法、装置及系统。
背景技术
光枪作为重要的体感射击游戏道具,由于其通过光线仿真子弹的射击,可以使得射击类游戏可以从按键控制中解放,利用光线的直线传播仿真枪类的射击,提供更为生动的射击效果。
为了准确的获取光枪射击在屏幕上的目标位置,需要对光枪进行有效的定位。现有的一般作法为通过光学感知与运动传感器结合的方式,通过安装在目标屏幕端的可见光摄像头以及设置于手持终端上的可见光灯球,通过摄像头获取发光球的大小判定手持终端的空间位置,同时,在控制器配备加速度以及陀螺仪等传感器,用于获取手持终端的运动角度,从而获取手持终端对应的控制指令。
但是,由于手持终端、摄像头、目标屏幕的空间关系不准确,使得手持终端发送控制指令,如手持终端为光枪发射控制指令时,目标屏幕所获取的目标位置的精确度不高。
发明内容
本发明实施例的目的在于提供一种获取光枪射击的目标位置的方法、装置及系统,以解决现有技术中由于手持终端、摄像头、目标屏幕的空间关系不准确,使得手持终端发送控制指令时,目标屏幕所获取的目标位置的精确度不高的问题。
本发明实施例是这样实现的,一种获取光枪射击的目标位置的方法,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述方法包括:
实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;
根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
本发明实施例的另一方面还提供一种获取光枪射击的目标位置的装置,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述装置包括:
实时位置获取单元,用于实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;
姿态关系矩阵计算单元,用于根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
位置确定单元,用于根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
本发明实施例的另一方面还提供了一种获取光枪射击的目标位置的系统,所述系统包括光枪、双目摄像机、控制器,所述光枪上设置有第一光源和第二光源,所述双目摄像机可设置在用于光枪射击的目标屏幕,所述控制器分别与目标屏幕、光枪、双目摄像机相连,所述控制器用于实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
在本发明实施例中,通过光枪上设置的第一光源在设置于目标屏幕上的双目摄像机中生成的图像中的位置,可以确定所述光枪与所述双目摄像机的空间位置关系的第一姿态关系矩阵,并且由所述第一姿态关系矩阵和预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系之间的第二姿态关系矩阵,从而确定所述光枪的第二光源在所述目标屏幕中的位置。本发明所述方案与现有技术相比,可以由确定的光枪、双目摄像头以及目标屏幕之间的位置关系,使得光枪的第二光源在目标屏幕中的位置信息更加准确。
附图说明
图1是本发明实施例提供的获取光枪射击的目标位置的方法的实现流程图;
图2是本发明实施例提供的获取光枪射击的目标位置的系统的结构示意图;
图3是本发明实施例提供的标定生成第二姿态关系矩阵的实现流程图;
图4为本发明实施例提供的获取光枪射击的目标位置的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例可应用于各种使用光线作为控制终端的互动设备,包括如游戏机中的射击类游戏机等,所述光枪可以理解为各种通过光信号进行控制的手持终端,由于在游戏类设备中,多以光枪形式出现,故在本申请中统称为光枪。通过光枪在目标屏幕中对应的射击位置,使得相应的控制指令作用于屏幕的该位置处,本发明通过提高光枪的目标位置与响应坐标的准确度,进一步提高用户的使用体验。
图1示出了本发明实施例提供的获取光枪射击的目标位置的方法的实现流程,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述方法详述如下:
在步骤S101中,实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置。
具体的,所述光枪上设置的第一光源和第二光源,分别用于标定和射击所用。所述第一光源可以为红外光源,也可以为可见光源。当所述第一光源为红外光源时,用于接收所述红外光源的双目摄像机对应为红外摄像机,当所述第一光源为可见光源时,所述双目摄像机可以为普通的摄像机即可。
所述第一光源,可以为三个红外光源或可见光源,也可以为三个以上的多个红外光源或可见光源,多个第一光源用于定位时,可进一步提高定位的准确度,一般可选用四个红外光源。
所述第二光源用于射击,即用于由光枪向所述目标屏幕发射光信号,可以为镭射光源,这是由于激光器发射的激光,只朝一个方向射出,光束的发散度极小,大约只有0.001弧度,接近平行,而且激光由于是定向发光,大量光子集中在一个很小的空间范围内射出,能量密度极高,因此相应的亮度也很高。相对于普通光源聚光的方式,可以更好的适应射击的要求。
所述目标屏幕,可以为普通的电视机或者游戏机屏幕,当然也可以为其它液晶显示器屏幕。所述屏幕上可以预先设定多个标定点,可以用于标定当前光枪的姿态位置,优选的实施方式为在目标屏幕的四个角落位置设备四个标定点,以及在屏幕的正中设置标定点,这样可以更好的实现标定的效果。
所述双目摄像机,其原理是模拟人类视觉处理景物的方式,利用两台位置相对固定的摄像机同时对同一景物(对光枪的第一光源)从不同角度成像,通过计算其中对应点的视差来获取景物的空间场景的三维信息。
所述双目摄像机生成的图像,为两张二维的图像,并且在每张二维图像中,包括所述光枪的第一光源在图像中的位置。
其中,所述第一光源在二维图像中的位置,先通过同步曝光过程对环境进行过滤,具体的,第一光源点亮时通过红外信号发送给识别器,识别器进行一次曝光,当第一光源熄灭时,识别器进行第二次曝光,通过两帧图像相减可以得到帧差图像,这样保证帧差图像上只有第一光源存在,而环境光则在相减过程中被滤除,可以通过图像识别检测,获得所述第一光源在图像中的位置。
在步骤S102中,根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵。
由于第一光源在双目摄像机中生成了两张图像,而且由于双目摄像机的位置并不相同,一般平行设置的两个摄像头所得到的两张图像中,第一光源的位置也会有视差,从而根据平行设置的双目摄像机之间的距离、第一光源在所述双目摄像机中图像的位置的距离差,可以得到光枪的空间姿态信息。
具体可选的,可以根据如下公式计算得到光枪的坐标系与双目摄像头的坐标系之间的第一姿态关系矩阵:
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
其中,p0、p1为所述第一光源在所述双目摄像机生成的图像中的位置,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;在双目识别器出厂时K0,K1,M0和M1已经确定。所述Mt为所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵,所述Pw为所述光枪上的第一光源在所述光枪的坐标系上的三维坐标。
如图2所示,作为定位器的光枪上设置有红外LED光源作为第一光源,定位器光枪的坐标系为Ow,作为感知器的双目红外摄像头的坐标系为Oc,目标屏幕的坐标系为Os,作为光枪第二光源的镭射光源发射射线的参数矩阵为L,光枪打在目标屏幕的2D位置为(pixX,pixY)。
上述求解Mt的过程为实时的过程,也就是说,光枪在使用过程中,空间的位置角度是不断变化的,因此需要实时的记录其空间的位置关系的变化,可以根据预定的更新周期,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵Mt
在步骤S103中,根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
具体的,所述根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置步骤中,具体根据以下公式计算所述光枪的第二光源在所述目标屏幕中的位置:
L c = M t * L * M t T
c=M*Lc*MT*P
pixX=c(1)/c(4)
pixY=c(2)/c(4)
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Pw为所述光枪上的第一光源在所述光枪的坐标系的三维坐标,所述L为光枪射线参数矩阵,所述Mt为所述光枪的坐标系与所述双目摄像机的坐标系的第一姿态关系矩阵,所述M为所述双目摄像头的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵;所述为Mt的转置矩阵,所述MT为M的转置矩阵,所述P为目标屏幕的平面参数向量,所述c(1)、c(2)、c(4)分别为向量c中的第1个值、第2个值和第4个值,(pixX,pixy)即为目标屏幕的坐标位置。
本发明实施例中通过实时的获取所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵,并结合预先获取的所述双目摄像头的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵,从而能够有效的获取所述光枪射击在目标屏幕的任意位置的坐标,提高瞄准射击的精确度。
由于所述双目摄像头的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵为描述双目摄像头与目标屏幕的位置关系,在设置好所述双目摄像机后,一般可将双目摄像机设置目标屏幕的上方、下方、左侧或右侧,在设定后位置一般不会发生变化,因此,可以通过预先标定一次即可,其标定过程如图3所示,包括以下步骤:
在步骤S301中,通过光枪的第二光源对准目标屏幕的多个标定点的坐标(pixX,pixY)进行射击,并在每次射击时,通过所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系的第一姿态关系矩阵Mt
在步骤S302中,根据所计算的第一姿态关系矩阵Mt以及多个标定点的坐标,由公式
L c = M t * L * M t T
c=M*Lc*MT*P
pixX=c(1)/c(4)
pixY=c(2)/c(4)
计算得到所述双目摄像头的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵M;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Pw为所述光枪上的第一光源在所述光枪的坐标系的三维坐标,所述L为光枪射线参数矩阵,所述为Mt的转置矩阵,所述MT为M的转置矩阵,所述P为目标屏幕的平面参数向量,所述c(1)、c(2)、c(4)分别为向量c中的第1个值、第2个值和第4个值。
在求解所述第二姿态关系矩阵时,需要在图2所示的电视屏幕上的标定点进行标定,如图所示的四个标定点的坐标位置为已知,即公式中的pixX,pixY为已知,通过多个标定点的标点,由计算公式迭代计算得到所述第二姿态关系矩阵,在经过一次标定后,即可在后续的计算过程中用标定的第二姿态关系矩阵。
如图4所示为本发明实施例提供的获取光枪射击的目标位置的装置的结构示意图,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述装置包括:
实时位置获取单元401,用于实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;
姿态关系矩阵计算单元402,用于根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
位置确定单元403,用于根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
优选的,所述姿态关系矩阵计算单元402具体用于:
根据所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Mt为所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵,所述Pw为所述光枪上的第一光源在所述光枪的坐标系上的三维坐标。
更进一步的,所述装置还包括:
第一姿态关系矩阵计算单元,用于通过光枪的第二光源对准目标屏幕的多个标定点的坐标(pixX,pixY)进行射击,并在每次射击时,通过所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系的第一姿态关系矩阵Mt
第二姿态关系矩阵计算单元,用于根据所计算的第一姿态关系矩阵Mt以及多个标定点的坐标,由公式
L c = M t * L * M t T
c=M*Lc*MT*P
pixX=c(1)/c(4)
pixY=c(2)/c(4)
计算得到所述双目摄像头的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵M;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Pw为所述光枪上的第一光源在所述光枪的坐标系的三维坐标,所述L为光枪射线参数矩阵,所述为Mt的转置矩阵,所述MT为M的转置矩阵,所述P为目标屏幕的平面参数向量,所述c(1)、c(2)、c(4)分别为向量c中的第1个值、第2个值和第4个值。
优选的,所述实时位置获取单元包括:
第一曝光子单元,用于在第一光源点亮时通过红外信号发送给双目摄像头时,双目摄像头进行一次曝光,得到第一帧图像;
第二曝光子单元,用于当第一光源熄灭时,双目摄像头进行第二次曝光,得到第二帧图像;
识别检测子单元,用于将第一帧图像和第二帧图像相减得到帧差图像,通过对帧差图像识别检测,获得所述第一光源在图像中的位置。
优选的,所述第一光源为红外光源或者可见光源,所述第二光源为镭射光源。
图4所示的获取光枪射击的目标位置的装置与图1和图3所示的获取光枪射击的目标位置的方法对应,在此不作重复赘述。
如图2所示,本发明实施例所述的获取光枪射击的目标位置的系统的结构示意图,所述系统包括光枪、双目摄像机、控制器,所述光枪上设置有第一光源和第二光源,所述双目摄像机可设置在用于光枪射击的目标屏幕,所述控制器分别与目标屏幕、光枪、双目摄像机相连,所述控制器用于实时获取的所述光枪的第一光源在所述双目摄像机生成的图像中的位置;根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
优选的,所述控制器具体用于在第一光源点亮时通过红外信号发送给双目摄像头时,双目摄像头进行一次曝光,得到第一帧图像;当第一光源熄灭时,双目摄像头进行第二次曝光,得到第二帧图像;将第一帧图像和第二帧图像相减得到帧差图像,通过对帧差图像识别检测,获得所述第一光源在图像中的位置。
本发明实施例所述获取光枪射击的目标位置的系统与图1和图3所述的获取光枪射击的目标位置的方法对应。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种获取光枪射击的目标位置的方法,其特征在于,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述方法包括:
实时获取所述光枪的第一光源在所述双目摄像机生成的图像中的位置;
根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵步骤包括:
根据所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Mt为所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵,所述Pw为所述光枪上的第一光源在所述光枪的坐标系上的三维坐标。
3.根据权利要求1所述方法,其特征在于,在所述根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置步骤之前,所述方法还包括:
通过光枪的第二光源对准目标屏幕的多个标定点的坐标(pixX,pixY)进行射击,并在每次射击时,通过所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系的第一姿态关系矩阵Mt
根据所计算的第一姿态关系矩阵Mt以及多个标定点的坐标,由公式
c=M*Lc*MT*P
pixX=c(1)/c(4)
pixY=c(2)/c(4)
计算得到所述双目摄像机的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵M;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Pw为所述光枪上的第一光源在所述光枪的坐标系的三维坐标,所述L为光枪射线参数矩阵,所述为Mt的转置矩阵,所述MT为M的转置矩阵,所述P为目标屏幕的平面参数向量,所述c(1)、c(2)、c(4)分别为向量c中的第1个值、第2个值和第4个值。
4.根据权利要求1所述方法,其特征在于,所述实时获取所述光枪的第一光源在所述双目摄像机生成的图像中的位置步骤包括:
在第一光源点亮时通过红外信号发送给双目摄像头时,双目摄像头进行一次曝光,得到第一帧图像;
当第一光源熄灭时,双目摄像头进行第二次曝光,得到第二帧图像;
将第一帧图像和第二帧图像相减得到帧差图像,通过对帧差图像识别检测,获得所述第一光源在图像中的位置。
5.一种获取光枪射击的目标位置的装置,其特征在于,所述光枪上设置有第一光源和第二光源,在目标屏幕上设置有双目摄像机,所述装置包括:
实时位置获取单元,用于实时获取所述光枪的第一光源在所述双目摄像机生成的图像中的位置;
姿态关系矩阵计算单元,用于根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
位置确定单元,用于根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
6.根据权利要求5所述装置,其特征在于,所述姿态关系矩阵计算单元具体用于:
根据所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Mt为所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵,所述Pw为所述光枪上的第一光源在所述光枪的坐标系上的三维坐标。
7.根据权利要求5所述装置,其特征在于,所述装置还包括:
第一姿态关系矩阵计算单元,用于通过光枪的第二光源对准目标屏幕的多个标定点的坐标(pixX,pixY)进行射击,并在每次射击时,通过所述第一光源在所述双目摄像机生成的图像中的位置p0、p1,以及公式
p0=Mc0*Mt*Pw
p1=Mc1*Mt*Pw
计算得到所述光枪的坐标系与所述双目摄像机的坐标系的第一姿态关系矩阵Mt
第二姿态关系矩阵计算单元,用于根据所计算的第一姿态关系矩阵Mt以及多个标定点的坐标,由公式
c=M*Lc*MT*P
pixX=c(1)/c(4)
pixY=c(2)/c(4)
计算得到所述双目摄像机的坐标系与目标屏幕的坐标系之间的第二姿态关系矩阵M;
其中,所述Mc0=K0*M0、Mc1=K1*M1,其中K0为双目摄像机中的相机0的内部参数矩阵,M0为相机0相对于双目摄像机的坐标系的姿态关系矩阵,K1为双目摄像机中的相机1的内部参数矩阵,M1为相机1相对于双目摄像机的坐标系的姿态关系矩阵;所述Pw为所述光枪上的第一光源在所述光枪的坐标系的三维坐标,所述L为光枪射线参数矩阵,所述为Mt的转置矩阵,所述MT为M的转置矩阵,所述P为目标屏幕的平面参数向量,所述c(1)、c(2)、c(4)分别为向量c中的第1个值、第2个值和第4个值。
8.根据权利要求5所述装置,其特征在于,所述实时位置获取单元包括:
第一曝光子单元,用于在第一光源点亮时通过红外信号发送给双目摄像头时,双目摄像头进行一次曝光,得到第一帧图像;
第二曝光子单元,用于当第一光源熄灭时,双目摄像头进行第二次曝光,得到第二帧图像;
识别检测子单元,用于将第一帧图像和第二帧图像相减得到帧差图像,通过对帧差图像识别检测,获得所述第一光源在图像中的位置。
9.一种获取光枪射击的目标位置的系统,其特征在于,所述系统包括光枪、双目摄像机、控制器,所述光枪上设置有第一光源和第二光源,所述双目摄像机设置在用于光枪射击的目标屏幕,所述控制器分别与目标屏幕、光枪、双目摄像机相连,所述控制器用于实时获取所述光枪的第一光源在所述双目摄像机生成的图像中的位置;根据所述第一光源在所述双目摄像机生成的图像中的位置,计算所述光枪的坐标系与所述双目摄像机的坐标系之间的第一姿态关系矩阵;根据所计算的第一姿态关系矩阵以及预先标定的所述双目摄像机的坐标系与所述目标屏幕的坐标系的第二姿态关系矩阵,确定所述光枪的第二光源在所述目标屏幕中的位置。
10.根据权利要求9所述系统,其特征在于,所述控制器具体用于在第一光源点亮时通过红外信号发送给双目摄像头时,双目摄像头进行一次曝光,得到第一帧图像;当第一光源熄灭时,双目摄像头进行第二次曝光,得到第二帧图像;将第一帧图像和第二帧图像相减得到帧差图像,通过对帧差图像识别检测,获得所述第一光源在图像中的位置。
CN201410325348.8A 2014-07-09 2014-07-09 一种获取光枪射击的目标位置的方法、装置及系统 Active CN104121892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410325348.8A CN104121892B (zh) 2014-07-09 2014-07-09 一种获取光枪射击的目标位置的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410325348.8A CN104121892B (zh) 2014-07-09 2014-07-09 一种获取光枪射击的目标位置的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN104121892A CN104121892A (zh) 2014-10-29
CN104121892B true CN104121892B (zh) 2017-01-25

Family

ID=51767405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410325348.8A Active CN104121892B (zh) 2014-07-09 2014-07-09 一种获取光枪射击的目标位置的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN104121892B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104436643B (zh) * 2014-11-17 2017-05-31 深圳市欢创科技有限公司 在显示屏上输出光枪瞄准准心的方法、装置及系统
CN105844199A (zh) * 2016-03-30 2016-08-10 乐视控股(北京)有限公司 游戏枪在显示屏幕上瞄准位置的确定方法及装置
CN109173252A (zh) * 2018-09-19 2019-01-11 深圳华侨城文化旅游科技股份有限公司 一种屏幕射击游戏定位方法、存储介质及装置
CN111698467B (zh) * 2020-05-08 2022-05-06 北京中广上洋科技股份有限公司 基于多摄像机的智能跟踪方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201241396A (en) * 2011-04-06 2012-10-16 Wei-Kai Liou Leaser guide interactive electronic whiteboard technology apply to military firing training and the first person shooting (F.P.S) game system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0739956B2 (ja) * 1988-10-20 1995-05-01 沖電気工業株式会社 カメラによる物標位置の検出方法
JP4179162B2 (ja) * 2003-12-26 2008-11-12 株式会社セガ 情報処理装置、ゲーム装置、画像生成方法、ゲーム画像生成方法
CN1326096C (zh) * 2005-06-16 2007-07-11 上海交通大学 基于模型的人肢体三维运动参数估计方法
KR20070102942A (ko) * 2006-04-17 2007-10-22 이문기 가상 카메라를 이용한 조준 장치
CN101158883B (zh) * 2007-10-09 2010-07-28 深圳泰山网络技术有限公司 一种基于计算机视觉的虚拟体育系统及其实现方法
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201241396A (en) * 2011-04-06 2012-10-16 Wei-Kai Liou Leaser guide interactive electronic whiteboard technology apply to military firing training and the first person shooting (F.P.S) game system

Also Published As

Publication number Publication date
CN104121892A (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
JP7026214B2 (ja) ヘッドマウントディスプレイ追跡システム
CN105264436B (zh) 用于控制与图像捕捉有关的设备的系统和方法
KR102010396B1 (ko) 영상 처리 장치 및 방법
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
US10504243B2 (en) Calibration system for a head-mounted display tracking system
US20140267427A1 (en) Projector, method of controlling projector, and program thereof
CN110771145A (zh) 事件摄像机
KR20180061274A (ko) 가상 현실 화상을 조정하기 위한 방법 및 장치
CN104121892B (zh) 一种获取光枪射击的目标位置的方法、装置及系统
CN105320271A (zh) 利用直接几何建模的头戴式显示器校准
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
WO2016108720A1 (ru) Способ и устройство для отображения трехмерных объектов
CN105993167A (zh) 图像生成系统、图像生成方法及信息存储介质
WO2022141294A1 (zh) 仿真测试方法、系统、仿真器、存储介质及程序产品
CN110458104B (zh) 人眼视线检测系统的人眼视线方向确定方法和系统
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN104216126A (zh) 一种变焦3d显示技术
JP2007071403A (ja) 射撃模擬装置
CN105991972B (zh) 航拍系统
CN108981719A (zh) 一种超高速飞行模型位姿变化测量装置及方法
CN104190078B (zh) 一种光枪射击的目标识别方法、装置及系统
TWI436270B (zh) 虛擬望遠方法及其裝置
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
WO2017163649A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000, Floor 1801, Block C, Minzhi Stock Commercial Center, North Station Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Huanchuang Technology Co.,Ltd.

Address before: 3A, Maikelong Building, No. 6 Gaoxin South Sixth Road, Nanshan District, Shenzhen, Guangdong Province, 518000

Patentee before: SHENZHEN CAMSENSE TECHNOLOGIES Co.,Ltd.