CN206741431U - 桌面型空间立体交互系统 - Google Patents
桌面型空间立体交互系统 Download PDFInfo
- Publication number
- CN206741431U CN206741431U CN201720511977.9U CN201720511977U CN206741431U CN 206741431 U CN206741431 U CN 206741431U CN 201720511977 U CN201720511977 U CN 201720511977U CN 206741431 U CN206741431 U CN 206741431U
- Authority
- CN
- China
- Prior art keywords
- interactive
- dimensional
- infrared
- spatial
- interactive system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 217
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 40
- 230000001133 acceleration Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 230000010287 polarization Effects 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 239000007787 solid Substances 0.000 claims 1
- 239000011521 glass Substances 0.000 description 28
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本实用新型公开了一种桌面型空间立体交互系统,交互系统包括:立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与视觉观察点对应的虚拟立体内容;红外坐标组件,用于获取第一空间坐标数据、第二空间坐标数据并传输到立体交互设备;助视装置,用于从立体交互设备中获取虚拟立体内容;交互操控装置,用于输出操作指令到立体交互设备;实施本实用新型提出的一种桌面型空间立体交互系统,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题,降低了立体交互设备的处理负担。
Description
技术领域
本实用新型涉及多空间立体交互技术领域,特别涉及一种能够快速处理操控装置空间数据的桌面型空间立体交互系统。
背景技术
2D视频显示时,连续显示不分左右眼视角的视频图像帧,图像帧之间的时间很短,因此,人眼看到的是场景连续的视频,而立体图像或视频的获取过程则复杂得多,拍摄时需要两台并列的摄像机,专用的立体摄像机包括两个成像镜头,相当于人的两个眼睛,因此得到有视差的两组图像,这两组图像经过专门的设备或软件被合成为一组图像,现在标准的合成各式是左右格式,即左眼像宽度压缩1/2,放在画面的左边,右眼像宽度压缩1/2,放在画面的右边。用专用的立体设备显示时,左右眼像都被移到屏幕的中间,并在宽度上放大一倍,恢复到原始图像的比例,在不借助助视设备例如偏振眼镜、快门式主动眼镜的情况下,人眼看到屏幕上的图像会有重影,因为每次拍摄的图像都会有视角不同的两个,这是左右视角的图像在屏幕上叠加的结果。在实际运用中获取较佳的立体效果不仅需要助视设备,还要获取观看人员的头部空间坐标信息以确定其视觉观察点信息,如果要操控立体图像,还需要操控装置,操控装置对立体图像在空间中进行抓取、拖拽移动及缩放操作,需要精确跟踪操控装置的空间位置信息。
现有的交互系统中,通过红外定位单元确定交互操控装置的空间位置,进而与立体交互设备进行交互,但是由于交互操控装置操作复杂,在实际交互过程中会出现交互操控装置信号漂移的问题,导致用户在交互过程中不能及时准确选中立体内容,用户体验差。
实用新型内容
针对现有的空间立体交互系统中的交互操控装置操作复杂,在实际交互过程中会出现交互操控装置信号漂移的问题,导致用户在交互过程中不能准确选中立体内容,用户体验差的问题,提出一种桌面型空间立体交互系统,通过在交互操控装置设置九轴运动传感器,检测其在操作过程中X、Y、Z三维的加速 度、角速度及地磁方向的原始数据,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题;在交互操控装置设置MCU,对加速度、角速度及地磁方向的原始数据进行处理,获得交互操控装置的欧拉角参数和四元数,立体交互设备只需将欧拉角参数和四元数与空间坐标数据进行融合就可以获取精确姿态位置,降低了立体交互设备的处理负担。
提供一种桌面型空间立体交互系统,用于实现操作人员与立体交互设备进行交互,所述空间交互系统包括:
立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与所述视觉观察点对应的虚拟立体内容;
红外坐标组件,用于获取第一空间坐标数据、第二空间坐标数据并传输到所述立体交互设备;
助视装置,用于从所述立体交互设备中获取虚拟立体内容;
交互操控装置,用于输出操作指令到所述立体交互设备;
其中,所述交互操控装置包括用于获取检测空间姿态原始数据的九轴运动传感器及用于将所述空间姿态原始数据处理成欧拉角参数和四元数的MCU,所述九轴运动传感器与所述MCU连接。
结合第一方面,第一种可能的实现方式中所述红外坐标组件包括设于所述立体交互设备上的红外发射单元、光学捕捉单元、设于所述助视装置上的第一光学识别点以及设于所述交互操控装置上的第二光学识别点。
结合第一方面的第一种可能的实现方式,第二种可能的实现方式中所述红外发射单元包括至少1个用于发射红外光的红外发射装置,所述光学捕捉单元包括至少2个用于采集目标图像的红外捕捉相机;所述红外发射装置与红外捕捉相机嵌入安装在所述立体交互设备上。
结合第一方面,第三种可能的实现方式中所述九轴运动传感器包括加速度传感器单元、陀螺仪单元及地磁传感器单元。
结合第一方面,第四种可能的实现方式中所述第一、二光学识别点为主动式红外发射器件或被动式光学反射点。
结合第一方面的第四种可能的实现方式,第五种可能的实现方式中所述第一光学识别点为被动式光学反射点,所述光学反射点的数量至少为2个;所述第二光学识别点为主动式红外发射器件,所述红外发射器件设置在所述交互操 控装置的顶端位置。
结合第一方面,第六种可能的实现方式中所述交互操控装置设置有用于操作所述立体交互设备显示的虚拟立体内容的可编程功能按键。
结合第一方面,第七种可能的实现方式中所述助视装置为偏光式立体眼镜或快门式立体眼镜。
结合第一方面,第八种可能的实现方式中所述红外捕捉相机镜头的视角至少为70度。
结合第一方面,第九种可能的实现方式中所述立体交互设备的红外坐标组件的捕获距离为0~3m。
实施本实用新型所述的一种桌面型空间立体交互系统,通过在交互操控装置设置九轴运动传感器,检测其在操作过程中X、Y、Z三维的加速度、角速度及地磁方向的原始数据,大大提高了交互操控装置的精确性,杜绝了交互操控装置操作过程中的信号漂移问题;在交互操控装置设置MCU,对加速度、角速度及地磁方向的原始数据进行处理,获得交互操控装置的欧拉角参数和四元数,立体交互设备只需将欧拉角参数和四元数与空间坐标数据进行融合就可以获取精确姿态位置,降低了立体交互设备的处理负担。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一种桌面型空间立体交互系统逻辑连接示意图;
图2是本实用新型中一种桌面型空间立体交互系统中的交互操控装置包含的组件的逻辑组成示意图;
图3是本实用新型中一种桌面型空间立体交互系统中的交互操控装置包含组件的逻辑组成及信号流向示意图;
图4是本实用新型中一种桌面型空间立体交互系统中的助视装置状态自测电路示意图;
附图中各数字所指代的部位名称为:30——立体交互设备、31——红外坐 标组件、32——交互操控装置、33——助视装置、311——红外发射单元、312——红外捕捉单元、313——第一光学识别单元、314——第二光学识别单元、321——MCU、322——九轴运动传感器、3221——加速度传感器单元、3222——陀螺仪单元、3223——地磁传感器单元、331——状态自测电路、3311——加速度传感器检测电路、3312——角速度检测电路、3313——距离传感器检测电路。
具体实施方式
下面将结合实用新型中的附图,对本实用新型中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型的一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例,都属于本实用新型保护的范围。
1、本技术方案中的系统
请参考图1,图1是一种桌面型空间立体交互系统逻辑连接示意图,本技术方案旨在提供一种能够高精度追踪交互操控装置32的桌面型空间立体交互系统,解决现有技术中的信号漂移问题;空间交互系统包括立体交互设备30、红外坐标组件31、交互操控装置32及助视装置33,红外坐标组件31跟踪助视装置33及交互操控装置32,并将其空间坐标数据传输到立体交互设备30,助视装置33的空间坐标数据与操作人员的视觉观察点一致,这里的视觉观察点指的是人眼相对于立体交互设备30显示屏幕的空间位置关系,立体交互设备30确定视觉观察点的目的在于显示对应的立体图像帧,以便获得最佳的立体效果,实现操作人员视觉观察点与立体交互设备30交互。交互操控装置32上设有多个可编程功能按键,用于完成操作人员与立体交互设备30的主要交互任务,由于交互操控装置32操作复杂,需要确定其精确空间姿态,本技术方案桌面型空间立体交互系统中的交互操控装置32采用九轴运动传感器322,无死角检测空间姿态变化,并对检测到的空间姿态原始数据进行预处理,得出欧拉角参数和四元数传输到立体交互设备30,只需要根据空间数据融合算法,将空间坐标数据与欧拉角参数和四元数进行融合处理即可获取交互操控装置32的精确空间姿态位置,大大降低立体交互设备30的处理负担;操作人员根据需要通过可编程功能按键操作立体交互设备30虚拟场景中的立体对象,实现人机交互。
2、系统实施例
提供一种桌面型空间立体交互系统,用于实现操作人员与立体交互设备30进行交互,空间交互系统包括:
立体交互设备30,用于通过红外坐标组件31跟踪操作人员的视觉观察点,获取交互操控装置32的操作指令并显示与视觉观察点对应的虚拟立体内容。
请参考图3,图3是本实用新型中一种桌面型空间立体交互系统中的交互操控装置包含组件的逻辑组成及信号流向示意图;
进一步地,红外坐标组件31,用于获取第一、二空间坐标数据并传输到立体交互设备30,上述第一、二空间坐标数据分别为助视装置33及交互操控装置32的空间坐标数据。
进一步地,红外坐标组件31包括设于立体交互设备30上的红外发射单元311、光学捕捉单元、设于助视装置33上的第一光学识别点313以及设于交互操控装置32上的第二光学识别点314。红外发射单元311包括至少1个用于发射红外光的红外发射装置,光学捕捉单元312包括至少2个用于采集目标图像的红外捕捉相机;上述红外发射装置与红外捕捉相机嵌入安装在立体交互设备上。
具体地,立体交互设备30,支持快门式立体技术,当立体图像或视频输入到立体交互设备30后,立体交互设备30的刷新率至少120Hz的图像便以帧序列的格式实现左右帧交替产生,快门式眼镜接收立体交互设备30的同步信号,以同样的频率打开或关闭左右液晶镜片,刷新同步实现左右眼观看对应的图像,并且保持与2D视像相同的帧数,操作人员的两只眼睛看到快速切换的不同画面,并且在大脑中产生错觉,便观看到立体影像。本技术方案中的立体交互设备30,内置光学处理单元,还可以配合偏光式立体眼镜使用,通过改变立体交互设备30中液晶显示屏幕的液晶分子的排列分解原始图像,把原始图像分为垂直向偏振光和水平向偏振光两组画面,然后立体眼镜左右分别采用不同偏振方向的偏光镜片,这样人的左右眼就能接收两组画面,再经过大脑合成立体影像。
红外坐标组件31中的红外发射单元311包括至少1个用于发射红外光的红外发射装置,红外发射装置用于发射红外光到助视装置33或交互操控装置32的光学反射点,嵌入安装至立体交互设备30,用于使红外坐标组件31中的红外捕捉相机采集图像,并确定其空间坐标。因此红外发射装置的角度与数量对于红外捕捉相机的采集图像效果有影响,作为一种优选实施方案,红外发射单元 311优选为四台红外发射装置,安装的位置优选为两两设置在立体交互设备30的左右两侧,以保证发射的红外光线能有效覆盖整个立体设备的液晶显示屏幕,四台红外发射装置也可以两两嵌入式安装上述显示屏幕的上下两侧或任意一侧。四台红外发射装置用于发射红外光,经过光学识别点反射后,红外捕捉单元312获取设有光学识别点的助视装置33或交互操控装置32的空间图像,立体交互设备30获取空间图像后,根据空间图像坐标算法,获取上述助视装置33或交互操控装置32的空间坐标。但是在对红外捕捉相机的捕捉距离范围要求不高的情况下,一个红外发射装置也能实现对助视装置和交互操控装置的追踪,这里对红外发射装置安装的位置及数量不做限制。
光学捕捉单元312包括至少2个用于采集目标图像的红外捕捉相机,才能有效获取目标的空间坐标数据,同时采集空间目标的具有视差特性的空间图像,根据红外捕捉相机的位置及投影原理获取空间目标的空间坐标;作为一种优选实施方式,红外捕捉单元312优选为四台红外捕捉相机,嵌入安装至立体交互设备上,相邻的两个相机相互补偿,也可以为两台或4台以上,增加红外捕捉相机的仰角度数可以扩大捕捉距离范围,但是采集的图像畸变较大,获取的目标空间坐标的误差也较大,本技术方案中的红外捕捉相机仰角度数至少为70度,优选范围为70度-130度,在优选度数范围内能够使红外捕捉相机在捕获距离为0~3m内获取几乎不畸变的空间图像,在捕捉距离较大的情况下能获取较为准确的目标空间坐标。
本技术方案中的红外捕捉相机,刷新率大于60Hz,能大幅度提高红外捕捉相机捕捉目标轨迹的平滑性,提高其跟踪精度,使助视装置33获取的图像的立体效果更佳。
安装前,根据显示屏幕的尺寸对四台红外发射装置发射的红外光进行测试,以确定四台红外发射装置及四台红外捕捉相机与显示屏幕的夹角度数。四台红外发射装置同侧相邻近的两台可以相互补偿,确定无死角覆盖整个液晶显示屏幕,同理,四台红外捕捉相机同侧相邻近的两台可以相互补偿,保证能有效抓取红外光发射范围内的助视装置33或交互操控装置32图像。
第一光学识别点313设置助视装置33上,第二光学识别点314设置交互操控装置32上,第一、二光学识别点可以为主动式的红外发射器件,也可以为被动式的光学反射点,作为优选实施方式,第一光学识别点313优选为光学反射 点,第二光学识别点314为红外发射器件,光学反射点上设有红外光反射物质,被动式光学识别点设置在偏光眼镜上时,可以避免主动快门眼镜的红外发射器件电路成本增加的问题。
第二光学识别点314设置在交互操控装置32内部的电路板上,采用主动式的红外发射器件可以避免被动式的红外反射点带来的手持不便以及磨损问题。本技术方案中的红外发射器件数量优选为两个:分别设置在交互操控装置32的内部电路板的两顶端位置,这样即使其中有一个红外发射器件被遮挡也能保证交互操控装置32能够被立体交互设备30有效追踪到,需要说明的是,红外发射器件的数量可以为多个,这里不做限制,具体的红外发射器件数量应根据实际需要来确定。
助视装置33佩戴在头部,通过红外反射点反射红外光、红外捕捉相机抓拍图像,确定操作人员头部坐标,红外反射点的数量至少为2个,红外反射点的位置可以设置在上述助视装置33的任意位置,优选地:
红外反射点为3个时,其中有一个红外反射点设置助视装置33的鼻托位置,另外两个相对于鼻托对称,分别设置在在左镜片的左上角位置、右镜片右上角位置,以便能完整跟踪头部动态坐标;
红外反射点为4个时,其中有一个红外反射点设置助视装置33的鼻托位置,剩下三个中的两个相对于鼻托对称,分别设置在在左镜片的左上角位置、右镜片右上角位置,最后一个设置在左镜片的左下角位置、右镜片右下角位置;
红外反射点为5个时,其中有一个红外反射点设置助视装置33的鼻托位置,剩余的4个分别设置左上角位置、左下角位置、右镜片右上角位置、右下角位置,5个红外反射点确定了偏光眼镜的框架,保证了操作人员头部跟踪的精确性。
在不考虑成本因素的情况下,红外发射点的数量还可以更多。
立体交互系统还包括:
助视装置33,用于从立体交互设备30中获取虚拟立体内容。
助视装置33可以为设有特定数量红外反射点的偏光式立体眼镜,本技术方案中的立体交互设备30,内置光学处理单元,通过改变立体交互设备30中液晶显示屏幕的液晶分子的排列分解原始图像,把原始图像分为垂直向偏振光和水平向偏振光两组画面,然后偏光式立体眼镜左右分别采用不同偏振方向的偏光镜片,这样人的左右眼就能接收两组画面,再经过大脑合成立体影像。
助视装置33也可以为设置了特定数量红外反射点的主动快门式眼镜,当立体图像或视频输入到立体交互设备30后,立体交互设备30的刷新率至少120Hz的图像便以帧序列的格式实现左右帧交替产生,快门式眼镜接收立体交互设备30的同步信号,以同样的频率打开或关闭左右液晶镜片,刷新同步实现左右眼观看对应的图像,并且保持与2D视像相同的帧数,操作人员的两只眼睛看到快速切换的不同画面,并且在大脑中产生错觉,便观看到立体影像。
请参考图4,图4是本实用新型中一种桌面型空间立体交互系统中的助视装置状态自测电路示意图。
本技术方案中的快门式眼镜具有状态自测功能,以便能及时关闭电源,减少电耗;具体地,状态自测电路331可以为加速度传感器检测电路3311,加速度传感器检测电路3311检测主动快门式眼镜状态,加速度传感器检测电路3311可以为两轴或三轴,状态发生改变时或检测到距离参数小于一定的阈值时,在设定的时间内,对蓝牙主控芯片的工作模式进行控制,例如,检测到主动快门式眼镜的状态由静止转为运动时,唤醒蓝牙主控芯片的时间为2s,到2s时,使主动快门式眼镜的蓝牙主控芯片进入工作状态,用户开始使用;当检测到主动快门式眼镜的状态由运动转为静止时,时间设置3s,到3s时,使主动快门式眼镜的蓝牙主控芯片,用户停止使用。通过检测主动快门式眼镜的状态,实现了对蓝牙主控芯片工作模式的自动控制,减少了电能的浪费,提高了有效续航时间及用户体验,提高了用户体验;
为了实现对电源的自动控制,减少电能的浪费,提高有效续航时间,状态自测电路也可以为角速度检测电路3312,用于检测主动快门式眼镜的运动角度变化,通过对主动快门式眼镜的角度变化进行检测来实现对蓝牙主控芯片工作模式的控制,这里不再赘述。
状态自测电路也可以为角速度检测电路3312距离传感器检测电路3313,距离传感器检测电路3313用于检测主动快门式眼镜到面部的距离,当检测到面部的距离小于一阈值时,对主动快门式眼镜蓝牙主控芯片进行开关操作,例如,当检测到主动快门式眼镜到用户面部的距离小于20mm时间超过2s时,使主动快门式眼镜的蓝牙主控芯片进入工作状态,当检测到主动快门式眼镜到用户面部的距离大于40mm时间超过3s时,使主动快门式眼镜的蓝牙主控芯片进入睡眠状态。
当然,也可以在主动快门式眼镜同时设置加速度传感器检测电路3311、角速度检测电路3312以及距离传感器检测电路3313进行组合来实现对主动快门式眼镜蓝牙主控芯片工作模式的自动控制,以达到提高有效续航时间以及用户体验的目的,因此,任何采用加速度传感器检测电路3311、角速度检测电路3312以及距离传感器检测电路3313检测主动快门式眼镜运动状态或距离参数,或者三者的组合来实现对其蓝牙主控芯片工作模式的自动控制的技术方案都属于本实用新型的保护范围。
为了降低电路板功耗,作为一种优选实施方式,本技术方案中的主动快门式的蓝牙主控芯片采用BCM系列芯片,BCM系列芯片,是美国博通公司生产的蓝牙主控芯片,具有增强型数据传输能力,支持蓝牙通信技术,功耗低,有利于增加主动快门式眼镜的有效续航时间。
请参考图2,图2是本实用新型中一种桌面型空间立体交互系统中的交互操控装置包含的组件的逻辑组成示意图;
本技术方案中的立体交互系统还包括:
交互操控装置32,用于输出操作指令到立体交互设备30。
进一步地,交互操控装置32包括用于获取检测空间姿态原始数据的九轴运动传感器322及用于将空间姿态原始数据处理成欧拉角参数和四元数的MCU321,九轴运动传感器322与MCU321连接。
交互操控装置32中MCU321的处理能力强、体积小、造价低廉,非常适用于本实施例中的交互操控装置32,在体积要求放宽的情况下,处理单元也可以采用DSP、FPGA等有数据处理能力的处理芯片。
进一步地,运动传感器为九轴运动传感器322,立体交互设备30通过红外捕捉相机拍摄图像,只能确定交互操控装置32的空间坐标位置,并不能追踪交互操控装置32相对于立体交互设备30屏幕的完整运动姿态。九轴运动传感器322是三种传感器的组合:三轴加速度传感器单元3221、三轴陀螺仪单元3222和三轴地磁传感器单元3223,三个部分相互配合、作用。利用加速传感器单元和陀螺仪单元3222,基本可以描述设备的完整运动状态。但是随着长时间运动,也会产生累计偏差,不能准确描述运动姿态,比如操控画面发生倾斜。地磁传感器单元3223利用测量地球磁场,通过绝对指向功能进行修正补偿,可以有效解决累计偏差,从而修正交互操控装置32的运动方向、姿态角度、运动力度和 速度等。通过采用九轴运动传感器322提高对交互操控装置32动态姿态位置追踪的精度,避免了交互操控装置32在立体交互设备30上光标的“漂移”问题的出现。
进一步地,九轴运动传感器322检测到的姿态原始数据包括三个自由度的加速度、角速度以及方向,九轴运动传感器322由加速度传感器单元3221、陀螺仪单元3222以及地磁传感器单元3223构成,九轴运动传感器322输出的绝对方向来自于地球的重力场和地球的磁场,九轴运动传感器322的静态终精度取决于对磁场的测量精度和对重力的测量精度,而动态性能取决于陀螺仪单元3222。消费级九轴运动传感器322中的加速度传感器单元3221和陀螺仪单元3222干扰噪声很大,以平面陀螺为例用ADI的陀螺仪单元3222进行积分一分钟会漂移2度左右,这种前提下如果没有磁场和重力场来校正三轴陀螺的话,那么基本上3分钟以后物体的实际姿态和测量输出姿态就完全变样了,所以,低价陀螺仪单元3222和加速度传感器单元3221的架构下必须运用场向量来进行修正。本技术方案中的九轴运动传感器322利用三维的陀螺仪单元3222来快速跟踪交互操控装置32的三维姿态,它以陀螺仪单元3222单元为核心,同时也测量加速度和地磁场的方向为系统提供可靠的参考。具体测量载体三个方向的的绝对角速率、加速度以及磁场强度,得到交互操控装置32的四元数、姿态数据等。需要实时的集成算法为系统提供准确,可靠,及时以及稳定的姿态输出。
本技术方案中的九轴运动传感器的刷新率大于60Hz,保证立体交互设备30获取的交互操控装置空间姿态轨迹的平滑性,使操作光标信号连续性更强,并及时响应操作指令。
进一步地,交互操控装置32外壳为普通笔状外形,交互操控装置32设置有多个功能按键,用于操作立体交互设备30显示的虚拟立体内容。笔状壳体的外形及尺寸以用户能够刚好握住为宜。
交互操控装置32采用HID传输协议的USB数据线,与立体交互设备30连接,笔状壳体上设有与USB接口配合使用的缺口,相比于传统的HDMI数据线,USB数据线通用性更强,相比于无线连接方式,其数据传输具有更可靠的优点。
交互操控装置32上还设有多个功能按键,在进入立体内容显示前,相当于普通鼠标的功能,在立体交互设备30的显示屏幕上移动,选中要显示的立体内 容资源,例如点击进入,或者,显示立体内容;进入立体内容后,按键单元还可以弹出菜单快捷键、抓取、拖动立体内容向各个方向移动。
本技术方案中的空间姿态数据处理过程为:红外坐标组件31分别获取助视装置33和交互操控装置32的空间位置图像传输到立体交互设备30,立体交互设备30根据空间位置算法获取第一、二空间坐标数据;互操控装置通过九轴传感器获取空间姿态原始数据并传输到MCU321进行处理,MCU321根据空间数据融合算法将原始数据处理成交互操控装置32空间姿态的欧拉角参数和四元数传输到立体交互设备30。立体交互设备30根据第二空间坐标数据及欧拉角参数和四元数确定交互操控装置32的空间位置姿态。第一、二空间坐标数据分别为助视装置33、交互操控装置32的空间坐标数据。具体的交互方法为:操作人员移动交互操控装置32的光标到立体交互设备30显示的虚拟立体内容的特定位置,立体交互设备30获取交互操控装置32的操作指令。立体交互设备30根据操作指令运行特定的虚拟立体显示功能。立体交互设备30通过红外坐标组件31获取操作人员视觉观察点,并将与视觉观察点匹配的立体显示内容通过助视装置33传输到操作人员眼中。
图1所示的桌面型空间立体交互系统的空间数据处理方法如下:
步骤101、采集第一、二空间位置图像,结合空间位置算法获取第一、二空间坐标数据。
第一、二空间位置图像分别为助视装置33和交互操控装置32的空间位置图像,第一、二空间坐标数据分别指的是助视装置33和交互操控装置32通过红外坐标组件31确定的空间坐标数据。
红外坐标组件31分别获取助视装置33和交互操控装置32的空间位置图像传输到立体交互设备30,立体交互设备30根据空间位置算法获取第一、二空间坐标数据。
红外坐标组件31中的红外发射单元311,作为一种优选实施方案,红外发射单元311优选为四台红外发射装置,也可以为两台,四台红外发射装置用于发射红外光,经过光学识别点反射后,红外捕捉单元312获取设有光学识别点的助视装置33或交互操控装置32的空间图像,立体交互设备30获取空间图像后,根据空间图像坐标算法,获取上述助视装置33或交互操控装置32的空间坐标。作为一种优选实施方式,红外捕捉单元312优选为四台红外捕捉相机。
步骤102、获取所述交互操控装置32的空间姿态原始数据,将所述空间姿态原始数据处理成空间姿态欧拉角参数和四元数;
交互操控装置32通过九轴运动传感器322检测交互操控装置32的运动姿态,获取空间姿态原始数据并传输到MCU321进行处理,MCU321将原始数据处理成交互操控装置32空间姿态的欧拉角参数和四元数传输到立体交互设备30。
立体交互设备30通过红外相机拍摄图像,只能确定交互操控装置32的空间坐标位置,并不能追踪交互操控装置32相对于立体交互设备30屏幕的完整运动姿态。九轴运动传感器322是三种传感器的组合:三轴加速度传感器单元3221、三轴陀螺仪单元3222和三轴地磁传感器单元3223,三个部分相互配合、作用。利用加速传感器单元和陀螺仪单元3222,基本可以描述设备的完整运动状态。但是随着长时间运动,也会产生累计偏差,不能准确描述运动姿态,比如操控画面发生倾斜。地磁传感器单元3223利用测量地球磁场,通过绝对指向功能进行修正补偿,可以有效解决累计偏差,从而修正交互操控装置32的运动方向、姿态角度、运动力度和速度等。通过采用九轴运动传感器322提高对交互操控装置32动态姿态位置追踪的精度,避免了交互操控装置32在立体交互设备30上光标的“漂移”问题的出现。
步骤103、根据所述第二空间坐标数据、欧拉角参数及四元数,利用空间数据融合算法确定所述交互操控装置32的空间位置姿态;
立体交互设备30根据第二空间坐标数据及欧拉角参数和四元数确定交互操控装置32的空间位置姿态。
立体交互设备30需要将交互操控装置32的空间坐标数据和姿态原始数据(欧拉角参数和四元数)进行融合得到最终的姿态,并生成对应的空间操作光标。
桌面型空间立体交互系统的交互方法包括:
步骤201,确定佩戴所述助视装置33操作人员的视觉观察点,获取所述交互操控装置32的功能按键操作指令,这里的视觉观察点为所述助视装置33相对于虚拟立体内容的空间坐标点。
图像帧的立体性是具有视差特性的左右图像帧在人的大脑中合成的结果,实际上是一种错觉,因此视觉观察点对于立体交互设备30显示的虚拟立体内容 的立体效果具有十分重要的影响,在操作的过程中,操作人员的视觉观察点无意识地不停地变化,或出于某种观察的目的变换视觉观察点进行观察,红外坐标组件31跟踪操作人员的头部运动空间坐标,进而确定其视觉观察点,目的是为了使立体交互设备30显示的虚拟立体内容具有更好的立体效果,实现操作人员与立体交互设备30的交互性。
步骤202,根据所述操作指令,显示与所述视觉观察点匹配的虚拟立体内容。
交互操控装置32设有三种不同类型的可编程功能按键,用于对立体交互设备30显示的虚拟立体内容进行操作,进入虚拟立体内容前,交互操控装置32相当于普通鼠标的功能;在立体交互设备30的显示屏幕上移动,选中要显示的立体内容资源,例如点击进入,或者,显示虚拟立体内容;进入虚拟立体内容后,按键单元还可以弹出菜单快捷键、抓取、拖动虚拟立体内容向各个方向移动。
立体交互设备30根据操作指令运行特定的虚拟立体显示功能。步骤203,立体交互设备30通过红外坐标组件31获取操作人员视觉观察点,并将与视觉观察点匹配的立体显示内容通过助视装置33传输到操作人员眼中。
需要说明的是在确定交互操控装置32的空间姿态时,九轴运动传感器检测的空间姿态数据对红外坐标组件31检测的空间坐标数据进行修正,有效提高了交互操控装置32的空间位置的追踪精度。
本技术方案旨在提供一种能够高精度追踪交互操控装置32的桌面型空间立体交互系统,解决现有技术中的信号漂移问题;空间交互系统包括立体交互设备30、红外坐标组件31、交互操控装置32及助视装置33,红外坐标组件31跟踪助视装置33及交互操控装置32,并将其空间坐标数据传输到立体交互设备30,助视装置33的空间坐标数据与操作人员的视觉观察点一致,这里的视觉观察点指的是人眼相对于立体交互设备30显示屏幕的空间位置关系,立体交互设备30确定视觉观察点的目的在于显示对应的立体图像帧,以便获得最佳的立体效果,实现操作人员视觉观察点与立体交互设备30交互。交互操控装置32上设有多个可编程功能按键,操作复杂,用于完成操作人员与立体交互设备30的主要交互任务,需要确定精确空间姿态,本技术方案桌面型空间立体交互系统中的交互操控装置32采用九轴传感器,无死角检测空间姿态变化,并对检测到的空间姿态原始数据进行预处理,得出欧拉角参数和四元数传输到立体交互设 备30,只需要根据空间数据融合算法,将空间坐标数据与欧拉角参数和四元数进行融合处理即可获取交互操控装置32的精确空间姿态位置,大大降低立体交互设备30的处理负担;操作人员根据需要通过功能按键操作立体交互设备30虚拟场景中的立体对象,实现人机交互。
以上仅为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。
Claims (10)
1.一种桌面型空间立体交互系统,其特征在于,用于实现操作人员与立体交互设备进行交互,所述空间交互系统包括:
立体交互设备,用于通过红外坐标组件跟踪操作人员的视觉观察点,获取交互操控装置的操作指令并显示与所述视觉观察点对应的虚拟立体内容;
红外坐标组件,用于获取第一、二空间坐标数据并传输到所述立体交互设备;
助视装置,用于从所述立体交互设备中获取虚拟立体内容;
交互操控装置,用于输出操作指令到所述立体交互设备;
其中,所述视觉观察点为所述助视装置相对于虚拟立体内容的空间坐标点;所述交互操控装置包括用于获取检测空间姿态原始数据的九轴运动传感器及用于将所述空间姿态原始数据处理成欧拉角参数和四元数的MCU,所述九轴运动传感器与所述MCU连接。
2.根据权利要求1所述的一种桌面型空间立体交互系统,其特征在于,所述红外坐标组件包括设于所述立体交互设备上的红外发射单元、光学捕捉单元、设于所述助视装置上的第一光学识别点以及设于所述交互操控装置上的第二光学识别点。
3.根据权利要求2所述的一种桌面型空间立体交互系统,其特征在于,所述红外发射单元包括至少1个用于发射红外光的红外发射装置,所述光学捕捉单元包括至少2个用于采集目标图像的红外捕捉相机;所述红外发射装置与红外捕捉相机嵌入安装在所述立体交互设备上。
4.根据权利要求1所述的一种桌面型空间立体交互系统,其特征在于,所述九轴运动传感器包括加速度传感器单元、陀螺仪单元及地磁传感器单元。
5.根据权利要求2所述的一种桌面型空间立体交互系统,其特征在于,所述第一、二光学识别点为主动式红外发射器件或被动式光学反射点。
6.根据权利要求2或5所述的一种桌面型空间立体交互系统,其特征在于,所述第一光学识别点为被动式光学反射点,所述光学反射点的数量至少为2个;所述第二光学识别点为主动式红外发射器件,所述红外发射器件设置在所述交互操控装置的顶端位置。
7.根据权利要求1所述的一种桌面型空间立体交互系统,其特征在于,所述交互操控装置设置有用于操作所述立体交互设备显示的虚拟立体内容的可编程功能按键。
8.根据权利要求1所述的一种桌面型空间立体交互系统,其特征在于,所述助视装置为偏光式立体眼镜或快门式立体眼镜。
9.根据权利要求3所述的一种桌面型空间立体交互系统,其特征在于,所述红外捕捉相机镜头的视角至少为70度。
10.根据权利要求1所述的一种桌面型空间立体交互系统,其特征在于,所述立体交互设备的红外坐标组件的捕获距离为0~3m。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720511977.9U CN206741431U (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互系统 |
PCT/CN2017/095272 WO2018205426A1 (zh) | 2017-05-09 | 2017-07-31 | 桌面型空间立体交互系统 |
US16/610,908 US20200159339A1 (en) | 2017-05-09 | 2017-07-31 | Desktop spatial stereoscopic interaction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720511977.9U CN206741431U (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206741431U true CN206741431U (zh) | 2017-12-12 |
Family
ID=60564545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201720511977.9U Active CN206741431U (zh) | 2017-05-09 | 2017-05-09 | 桌面型空间立体交互系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200159339A1 (zh) |
CN (1) | CN206741431U (zh) |
WO (1) | WO2018205426A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018205426A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳未来立体教育科技有限公司 | 桌面型空间立体交互系统 |
CN110930547A (zh) * | 2019-02-28 | 2020-03-27 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、系统、车、电子设备和存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11769396B2 (en) * | 2021-02-05 | 2023-09-26 | Honeywell International Inc. | Initiating and monitoring self-test for an alarm system using a mobile device |
CN114638734A (zh) * | 2021-10-09 | 2022-06-17 | 深圳市瑞立视多媒体科技有限公司 | 一种桌面3d教育系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811641A (zh) * | 2015-04-24 | 2015-07-29 | 段然 | 一种带有云台的头戴式摄录系统及其控制方法 |
CN106200985A (zh) * | 2016-08-10 | 2016-12-07 | 北京天远景润科技有限公司 | 桌面型个人沉浸虚拟现实交互设备 |
CN206741431U (zh) * | 2017-05-09 | 2017-12-12 | 深圳未来立体教育科技有限公司 | 桌面型空间立体交互系统 |
-
2017
- 2017-05-09 CN CN201720511977.9U patent/CN206741431U/zh active Active
- 2017-07-31 US US16/610,908 patent/US20200159339A1/en not_active Abandoned
- 2017-07-31 WO PCT/CN2017/095272 patent/WO2018205426A1/zh active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018205426A1 (zh) * | 2017-05-09 | 2018-11-15 | 深圳未来立体教育科技有限公司 | 桌面型空间立体交互系统 |
CN110930547A (zh) * | 2019-02-28 | 2020-03-27 | 上海商汤临港智能科技有限公司 | 车门解锁方法及装置、系统、车、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200159339A1 (en) | 2020-05-21 |
WO2018205426A1 (zh) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11287905B2 (en) | Trackability enhancement of a passive stylus | |
EP3469458B1 (en) | Six dof mixed reality input by fusing inertial handheld controller with hand tracking | |
CN109313500B (zh) | 纤细形状因子的无源光学和惯性跟踪 | |
CN105159450B (zh) | 一种便携式可交互桌面级虚拟现实系统 | |
US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
EP2979127B1 (en) | Display method and system | |
TW202127105A (zh) | 關於頭戴式顯示器的內容穩定 | |
CN104995583A (zh) | 用于混合现实环境的直接交互系统 | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
CN206741431U (zh) | 桌面型空间立体交互系统 | |
CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
US10321126B2 (en) | User input device camera | |
CN103176605A (zh) | 一种手势识别控制装置及控制方法 | |
CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
CN102508548A (zh) | 一种电子信息设备的操作方法及系统 | |
CN116866541A (zh) | 一种虚实结合的实时视频交互系统及方法 | |
US20220230357A1 (en) | Data processing | |
JP6467039B2 (ja) | 情報処理装置 | |
US11405531B2 (en) | Data processing | |
CN106970713A (zh) | 桌面型空间立体交互系统及方法 | |
EP4364396A1 (en) | Augmented reality eyewear with x-ray effect | |
CN206892844U (zh) | 一种三维成像的led显示屏 | |
CN114998553A (zh) | 一种交互式观影方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |