[go: up one dir, main page]

CN109933208A - 一种基于虚拟现实的操作行为识别方法及系统 - Google Patents

一种基于虚拟现实的操作行为识别方法及系统 Download PDF

Info

Publication number
CN109933208A
CN109933208A CN201910288156.7A CN201910288156A CN109933208A CN 109933208 A CN109933208 A CN 109933208A CN 201910288156 A CN201910288156 A CN 201910288156A CN 109933208 A CN109933208 A CN 109933208A
Authority
CN
China
Prior art keywords
image
virtual
driver
virtual reality
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910288156.7A
Other languages
English (en)
Inventor
李宁
龚远红
刘康
王辉
向羽
石先蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Vehicle Technology Center of Hubei Aerospace Technology Research Institute
Original Assignee
Special Vehicle Technology Center of Hubei Aerospace Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Vehicle Technology Center of Hubei Aerospace Technology Research Institute filed Critical Special Vehicle Technology Center of Hubei Aerospace Technology Research Institute
Priority to CN201910288156.7A priority Critical patent/CN109933208A/zh
Publication of CN109933208A publication Critical patent/CN109933208A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及虚拟现实技术领域,尤其涉及一种基于虚拟现实的操作行为识别方法及特种车辆虚拟现实驾驶模拟系统,该系统包括:虚拟现实头戴设备、双手位置捕捉装置,虚拟现实头戴设备包括处理器和图像显示模块;双手位置捕捉装置用于采集驾驶员的双手位置图像;处理器用于将驾驶员的双手位置图像与图像显示模块呈现的虚拟图像融合;基于融合后一帧以上的图像,获得驾驶员的手势行为;处理器基于驾驶员的手势行为对应于虚拟图像中的目标触控点,获得驾驶员的操作行为,并基于驾驶员的操作行为,通过图像显示模块呈现与驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图,不仅真实模拟驾驶场景效果,更提高了模拟驾驶训练的安全性。

Description

一种基于虚拟现实的操作行为识别方法及系统
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于虚拟现实的操作行为识别方法及特种车辆虚拟现实驾驶模拟系统。
背景技术
现有的特种车辆和工程车辆受整车功能和结构的限制,普遍存在外形宽大、驾驶视野受限的缺点,对驾驶人员的操作技能要求较高,驾驶难度和操作强度较大。特别是在车辆通过陡坡、狭窄道路、壕沟、垂直障碍等特殊地形时,由于驾驶员视野有限,无法准确观察道路通行条件以及车轮与道路的相对位置,存在较大的安全隐患。
因此,如何提高这些车辆的模拟训练过程中的安全性是目前亟待解决的技术问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于虚拟现实的操作行为识别方法及特种车辆虚拟现实驾驶模拟系统。
第一方面,本发明实施例提供一种基于虚拟现实的操作行为识别方法,应用于虚拟现实头戴设备中,包括:
接收到用户的双手位置图像;
将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合;
基于融合后一帧以上的图像,获得所述用户的手势行为,以及所述用户的手势行为对应于所述虚拟图像中的目标触控点;
基于所述用户的手势行为和所述目标触控点,获得所述用户的操作行为。
进一步地,所述将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合,具体包括:
将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像重叠,所述用户的双手位置图像位于所述虚拟图像的上方。
第二方面,本发明还提供了一种特种车辆虚拟现实驾驶模拟系统,包括:虚拟现实头戴设备、双手位置捕捉装置,所述虚拟现实头戴设备包括处理器和图像显示模块;
所述双手位置捕捉装置用于采集驾驶员的双手位置图像;
所述处理器用于将所述驾驶员的双手位置图像与所述图像显示模块呈现的虚拟图像融合;基于所述融合后一帧以上的图像,获得所述驾驶员的手势行为,以及所述用户的手势行为对应于所述虚拟图像中的目标触控点;所述处理器基于所述驾驶员的手势行为和所述目标触控点,获得所述驾驶员的操作行为,并基于所述驾驶员的操作行为,通过所述图像显示模块呈现与所述驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图。
进一步地,还包括:转向盘;所述处理器用于获取所述转向盘的转向信号,基于所述转向信号通过所述图像显示模块呈现所述虚拟特种车辆在虚拟道路上的转向驾驶效果图。
进一步地,所述处理器还用于在获取所述转向盘的转向信号之后,控制所述转向盘执行反方向的作用力。
进一步地,还包括:踏板装置,所述处理器用于获取所述踏板装置的踩踏信号,基于所述踩踏信号通过所述图像显示模块呈现所述虚拟特种车辆在所述虚拟道路上的加速或者减速的驾驶效果图。
进一步地,所述踏板装置具体包括加速踏板和制动踏板。
进一步地,所述虚拟现实头戴设备还包括方位感应传感器,所述方位感应传感器用于采集驾驶员的头部运动信息,所述处理器用于基于所述头部运动信息,通过图像显示模块呈现与所述头部运动信息对应的驾驶场景效果图。
第三方面,本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述的一种基于虚拟现实的操作行为识别方法的步骤。
进一步地,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的一种基于虚拟现实的操作行为识别方法的步骤。
本发明实施例中的一个或多个技术方案,至少具有如下技术效果或优点:
本发明提供了一种特种车辆虚拟现实驾驶模拟系统,具体包括虚拟现实头戴设备、双手位置捕捉装置,该虚拟现实头戴设备包括处理器和图像显示模块,该双手位置捕捉装置用于采集驾驶员的双手位置图像、处理器用于将驾驶员的双手位置图像与图像显示模块呈现的虚拟图像融合,基于该融合后一帧以上的图像,获得驾驶员的手势行为,以及用户的手势行为对应于虚拟图像中的目标触控点,处理器基于该驾驶员的手势行为和所述目标触控点,获得该驾驶员的操作行为,并基于该驾驶员的操作行为,通过该图像显示模块呈现与驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图,通过采用虚拟现实的头戴设备来虚拟现实中的开车场景图,在双手位置捕捉装置采集在训练人员通过手势操作对虚拟的开车场景图中的虚拟操作按键进行触控时,该虚拟现实的头戴设备能够呈现与对应的虚拟操作按键对应的驾驶效果图,进而模拟实际的特种车辆的驾驶场景,避免由于驾驶人员在驾驶特种车辆的驾驶视野有限,无法准确观察到通行道路通行条件以及车轮与道路的相对位置,造成驾驶过程中的安全隐患,进而通过虚拟现实的方式,模拟特种车辆的驾驶场景,并且在该虚拟场景中,驾驶员通过实际的操作行为可以与该虚拟场景中的图标形成交互,不仅真实模拟驾驶场景效果,更提高了模拟驾驶训练的安全性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考图形表示相同的部件。在附图中:
图1示出了本发明实施例中基于虚拟现实的操作行为识别方法的步骤流程示意图;
图2示出了本发明实施例中特种车辆虚拟现实驾驶模拟系统的结构示意图;
图3示出了本发明实施例中操作转向盘时实现控制转向的原理示意图;
图4示出了本发明实施例中操作转向盘和后组转向控制按钮共同实现转向控制的示意图;
图5示出了本发明实施例中操作加速踏板时实现加速控制的原理示意图;
图6示出了本发明实施例中操作制动踏板时实现减速停车控制的原理示意图;
图7示出了本发明实施例中另一种特种车辆虚拟现实驾驶模拟系统的结构示意图;
图8示出了本发明实施例中一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
本发明实施例一提供了一种基于虚拟现实的操作行为识别方法,应用于虚拟现实头戴设备中,包括:S101,接收到用户的双手位置图像;S102,将用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合;S103,基于融合后一帧以上的图像,获得用户的手势行为,以及所述用户的手势行为对应于虚拟图像中的目标触控点;S104,基于用户的手势行为和目标触控点,获得用户的操作行为。
该虚拟现实头戴设备具体可以是头盔,也可以是眼镜等等,具有可投影呈现可见虚拟图像的设备。
该虚拟现实头戴设备可呈现虚拟现实的场景,该虚拟现实的场景具体可以是天上的,地上的、水里的等等,可以有很多种场景渲染,比如,可以是在云朵上看到下雨的场景,可以是在地上看到模拟的球赛的场景,也可以是在水里潜水的场景等等。
本发明实施例中,首先在S101中,该虚拟现实头戴设备能够接收到用户的双手位置图像,具体可以是根据图像采集装置采集到用户的双手位置图像,该图像采集装置可以是摄像头,或者是激光发射器等等,在该图像采集装置采集到用户的双手位置图像之后,执行S102,将用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合,具体地,将用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像重叠,该用户的双手位置图像位于虚拟图像的上方。该虚拟现实头戴设备本身可呈现虚拟图像,即虚拟场景图。在该步骤中将用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合,获得的融合图像就是由用户的双手以及虚拟图像的一幅图。
在S102之后,还包括:基于用户的双手在该虚拟图像上移动过程中,在不同的目标触控点会对应展示不同的提示显示。该提示信息具体为语音提示信息和/或文字提示信息。
比如,在融合了用户的双手位置图像和虚拟键盘的图像中,当用户的双手移动至虚拟图像上的操作键盘所在位置时,在用户的手指指向于其中的一个按键时,在该按键旁会显示该按键的名称、功能及使用说明,当然,这些文字描述同样可以通过语音进行展示。再比如,在融合用户的双手位置图像和虚拟射击靶的图像中,当用户的双手移动至虚拟图像上的射击靶时,用户的手指指向在移动过程中会瞄准虚拟射击靶的靶心,在瞄准靶心时,会显示已瞄准靶心的提示信息,或者通过语音进行提示。
接着,执行S103,基于融合后一帧以上的图像,获得用户的手势行为,以及用户的手势行为对应于虚拟图像中的目标触控点。
由于获得的用户的双手位置图像中用户的双手是随意运动的,那么在该融合后的图像中,用户的双手相对于静态的虚拟图像具有相对位置关系,在获得用户的手势行为时,由于用户手势行为是一个动态的图像,因此可以根据将用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合之后的一帧以上的图像来获得,即连续的多帧图像,能够反应用户的手势行为。该用户的手势行为对应于虚拟图像中的目标触控点,具体指该手势行为所对应的位置处的图标,该图标即为目标触控点。
最后,执行S104,基于用户的手势行为和目标触控点,获得用户的操作行为。
比如,用户的手势行为是在虚拟图像中的触控按钮处进行进行点击的手势,获得该用户的操作行为是点击该触控按钮;用户的手势行为瞄准虚拟图像中的射击靶的靶心,获得用户的操作行为是向该射击靶瞄准射击,等等。
实施例二
基于相同的发明创造,本发明实施例提供了一种特种车辆虚拟现实驾驶模拟系统,如图2所示,包括:虚拟现实头戴设备201、双手位置捕捉装置202,该虚拟现实头戴设备201包括处理器2011和图像显示模块2012。
该双手位置捕捉装置202用于采集驾驶员的双手位置图像;该处理器2011用于将驾驶员的双手位置图像与该图像显示模块2012呈现的虚拟图像融合,基于融合后一帧以上的图像,获得驾驶员的手势行为,以及用户的手势行为对应于虚拟图像中的目标触控点,该处理器基于该驾驶员的手势行为和目标触控点,获得驾驶员的操作行为,并基于该驾驶员的操作行为,通过该图像显示模块2012呈现与该驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图。
比如,在驾驶员驾驶过程中,需要开启车灯、开启雨刷等功能按键时,可通过该图像显示模块202来呈现这些虚拟按键,通过处理器2011对该驾驶员的双手位置图像与该虚拟按键的图像融合后,获得驾驶员的手势行为,以及驾驶员的手势行为对应于虚拟图像中的目标触控点,比如驾驶员的手指点击了车灯按键,从而确定驾驶员是需要开启车灯,此时,通过图像显示模块2012呈现与开车灯对应的虚拟特种车辆的驾驶效果图,即对应将该虚拟特种车辆前端车灯可照射到的区域的亮度进行调整。
当然,对于特种车辆来说,需要的功能按键也会更多,比如,对于工程车,当工程车卸载原料时,通过图像显示模块202显示卸货按钮,当根据驾驶员的手势行为确定是点击了该卸货按钮之后,确认该驾驶员需要卸货,此时,通过图像显示模块2012呈现该工程车卸货的场景驾驶效果图。
进而将通过双手位置捕捉装置202采集到的驾驶员双手位置图像与图像显示模块2012显示的虚拟图像实现交互,进而呈现通过交互之后的虚拟场景,通过虚拟现实的方式,真实呈现驾驶特种车辆的驾驶效果图,进而真实模拟驾驶效果,提高了模拟培训驾驶特种车辆的安全性。
特种车辆是指外廓尺寸、重量等方面超过设计车辆限界的及具有特殊用途的车辆,经过特制或专门改装,配有固定的装置设备,其主要功能不是用于载人或运货的机动车辆。
由于特种车辆的结构比较复杂,驾驶视野也受到局限,驾驶难度比较高,而且,这些车辆内部的操作按键较多,驾驶人员在初次尝试驾驶时,由于不适应这种车辆的运动特性以及驾驶要领,很难适应这种复杂的车辆,因此,驾驶安全性得不到有效保障。
因此,本发明所提供的模拟驾驶系统是一套虚拟驾驶的系统,能够使驾驶员真实体验驾驶过程中的车辆的运动特性和驾驶要领,为驾驶员提供贴近实际的特种车辆虚拟行驶环境,便于驾驶员在真实驾驶特种车辆之前,提前体验驾驶效果,同时保障了驾驶的安全性,为真实驾驶做准备。
在本发明提供的一种特种车辆虚拟现实驾驶模拟系统中,虚拟现实头戴设备202和双手位置捕捉装置201结合,提供了驾驶员与虚拟现实图像中的目标图像交互的场景,提高了模拟驾驶的效率。
在具体的实施方式中,该双手位置捕捉装置设置在虚拟现实头戴设备正对驾驶员双手的部位,用于采集驾驶员的双手位置图像,在该虚拟现实头戴设备具体为头盔时,该双手位置捕捉装置位于该头盔的前端;在该虚拟现实头戴设备具体为眼镜时,该双手位置捕捉装置位于该眼镜的两个镜片之间的镜架上。
在一种优选的实施方式中,该系统还包括转向盘203,该转向盘203用于实现车辆的转向,处理器2021用于获取该转向盘203的转向信号,基于该转向信号通过图像显示模块2022呈现该虚拟特种车辆在虚拟道路上的转向驾驶效果图。
在实际操作中,如图3所示,驾驶员操作转向盘203时,Ⅰ、Ⅱ桥车轮转向,转向角度δ与转向盘203的转向角度成正比,特种车辆转弯中心O在Ⅲ桥与Ⅳ桥之间,转向角度δ增大,转弯半径PO减小,实现第一种转向方式。如图4所示,在特种车辆上在驾驶员操作转向盘的同时又开启后组转向控制按钮(即通过双手位置捕捉装置捕捉到驾驶员的手指有点击该后组转向控制按钮)时,该后组转向控制按钮用于控制Ⅳ桥车轮的转向,即此时驾驶员操作转向盘203时,Ⅰ、Ⅱ、Ⅳ桥车轮转向,其中,Ⅰ、Ⅱ桥车轮是由转向盘203控制实现的转向,Ⅳ桥车轮是由该后组转向控制按钮控制的,此时的转向角δ与转向盘203角度成正比,特种车辆转弯中心O1在Ⅲ桥轮心连接延长线上,在转向角δ增大时,转弯半径P1O1减小,该转弯半径P1O1相对于转弯半径PO更小。
具体转弯的场景中,驾驶员通过操作该转向盘203的转向操作,实现该虚拟特种车辆在虚拟道路上的转向驾驶。由于特种车辆的转向行为是参照道路或者道路上的树木等参照物的相对运动体现,因此,通过展现虚拟的特种车辆与虚拟的道路的相对位置变化的图像,比如,向左转时,道路右边的景物倒退比较快,左边的景物倒退比较慢,从而呈现虚拟特种车辆在虚拟道路上的转向驾驶效果图。
该虚拟道路具体可以是不同场景的道路,比如,平坦的公路、泥泞的小路、弯曲的山路等等,根据不同场景的道路,进而模拟出特种车辆在对应场景的道路上的驾驶效果,比如,在平坦的公路上,特种车辆行驶平缓,周围的景物以预设速度向后倒退;在泥泞的小路上,特种车辆行驶颠簸,周围的景物向后倒退的速度也时快时慢。
该处理器2021还用于在获取转向盘的转向信号之后,控制该转向盘执行反方向的作用力。
具体地,当驾驶员在通过操作转向盘203实现虚拟特种车辆在虚拟道路上的转向驾驶效果之后,该转向盘203执行反方向的作用力,即当驾驶员操作转向盘203顺时针转向之后,该转向盘203会执行逆时针方向的作用力,从而恢复转向盘203的力矩,真实模拟转向盘203的力感。
在一种优选的实施方式中,该系统还包括:踏板装置204,处理器用于获取该踏板装置的踩踏信号,基于该踩踏信号通过图像显示模块呈现该虚拟特种车辆在虚拟道路上的加速或者减速的驾驶效果图。
具体地,该踏板装置204包括加速踏板和制动踏板。如图5所示,该特种车辆是多桥汽车,当驾驶员踩踏加速踏板时,各桥车轮驱动力F增大,该特种车辆向前加速行驶,驱动力F的数值与加速踏板角度变化值成正比;如图6所示,当驾驶员踩踏制动踏板时,各桥车轮制动力矩M增大,特种车辆减速行驶,制动力矩M的数值与制动踏板角度变化成正比。进而通过模拟实际的加速和减速过程,对特种车辆在虚拟道路上的加速和减速的驾驶效果图进行展示。
比如,根据驾驶员踩踏加速踏板时,该加速踏板的形变角度的变化,通过该图像显示模块2022显示该特种车辆在虚拟道路上的加速驾驶效果图,具体可通过虚拟道路两侧的景物后退的加速度的变化实现。同理,根据驾驶员踩踏制动踏板时,该制动踏板的形变角度的变化,通过该图像显示模块2022显示该特种车辆在虚拟道路上的减速驾驶效果图,具体可通过虚拟道路两侧的景物后退的加速度的变化实现。
如图7所示,将实体的转向盘203与踏板装置204结合虚拟现实的头戴设备201和双手位置捕捉装置202,使得该虚拟现实驾驶模拟系统能够更加接近真实的实训体验。
在一种优选的实施方式中,该虚拟现实头戴设备202还包括方位感应传感器,该方位感应传感器用于采集驾驶员的头部运动信息,处理器2021用于基于该头部运动信息,通过图像显示模块呈现与该头部运动信息对应的驾驶场景效果图。
比如,当该方位感应传感器检测到驾驶员的头部向左倾斜时,由于虚拟现实头戴设备202与驾驶员的头部相对不变,因而图像显示模块2022所显示的图像也同时向左倾斜,但是为了使得模拟出驾驶员真实的驾驶视野图,需将该图像显示模块2022所显示的图像做调整,具体是调整为向右倾斜。具体如图7所示:A1为调整后的图像。
本发明实施例中的一个或多个技术方案,至少具有如下技术效果或优点:
本发明提供了一种特种车辆虚拟现实驾驶模拟系统,具体包括虚拟现实头戴设备、双手位置捕捉装置,该虚拟现实头戴设备包括处理器和图像显示模块,该双手位置捕捉装置用于采集驾驶员的双手位置图像、处理器用于将驾驶员的双手位置图像与图像显示模块呈现的虚拟图像融合,基于该融合后一帧以上的图像,获得驾驶员的手势行为,处理器基于该驾驶员的手势行为对应于虚拟图像中的目标触控点,获得该驾驶员的操作行为,并基于该驾驶员的操作行为,通过该图像显示模块呈现与驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图,通过采用虚拟现实的头戴设备来虚拟现实中的开车场景图,在双手位置捕捉装置采集在训练人员通过手势操作对虚拟的开车场景图中的虚拟操作按键进行触控时,该虚拟现实的头戴设备能够呈现与对应的虚拟操作按键对应的驾驶效果图,进而模拟实际的特种车辆的驾驶场景,避免由于驾驶人员在驾驶特种车辆的驾驶视野有限,无法准确观察到通行道路通行条件以及车轮与道路的相对位置,造成驾驶过程中的安全隐患,进而通过虚拟现实的方式,模拟特种车辆的驾驶场景,并且在该虚拟场景中,驾驶员通过实际的操作行为可以与该虚拟场景中的图标形成交互,不仅真实模拟驾驶场景效果,更提高了模拟驾驶训练的安全性。
实施例三
基于相同的发明构思,本发明第三实施例提供一种计算机设备,如图8所示,包括存储器804、处理器802及存储在存储器804上并可在处理器802上运行的计算机程序,所述处理器802执行所述程序时实现上述基于虚拟现实的操作行为识别方法的步骤。
其中,在图4中,总线架构(用总线800来代表),总线800可以包括任意数量的互联的总线和桥,总线800将包括由处理器802代表的一个或多个处理器和存储器804代表的存储器的各种电路链接在一起。总线800还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口806在总线800和接收器801和发送器803之间提供接口。接收器801和发送器803可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器802负责管理总线800和通常的处理,而存储器804可以被用于存储处理器802在执行操作时所使用的数据。
实施例四
基于相同的发明构思,本发明第四实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述基于虚拟现实的操作行为识别方法的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于虚拟现实的操作行为识别方法,应用于虚拟现实头戴设备中,其特征在于,包括:
接收到用户的双手位置图像;
将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合;
基于融合后一帧以上的图像,获得所述用户的手势行为,以及所述用户的手势行为对应于所述虚拟图像中的目标触控点;
基于所述用户的手势行为和所述目标触控点,获得所述用户的操作行为。
2.如权利要求1所述的方法,其特征在于,所述将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像融合,具体包括:
将所述用户的双手位置图像与虚拟现实头戴设备呈现的虚拟图像重叠,所述用户的双手位置图像位于所述虚拟图像的上方。
3.一种特种车辆虚拟现实驾驶模拟系统,其特征在于,包括:虚拟现实头戴设备、双手位置捕捉装置,所述虚拟现实头戴设备包括处理器和图像显示模块;
所述双手位置捕捉装置用于采集驾驶员的双手位置图像;
所述处理器用于将所述驾驶员的双手位置图像与所述图像显示模块呈现的虚拟图像融合;基于所述融合后一帧以上的图像,获得所述驾驶员的手势行为,以及所述用户的手势行为对应于所述虚拟图像中的目标触控点;所述处理器基于所述驾驶员的手势行为和所述目标触控点,获得所述驾驶员的操作行为,并基于所述驾驶员的操作行为,通过所述图像显示模块呈现与所述驾驶员的操作行为对应的虚拟特种车辆的驾驶效果图。
4.如权利要求3所述的系统,其特征在于,还包括:转向盘;所述处理器用于获取所述转向盘的转向信号,基于所述转向信号通过所述图像显示模块呈现所述虚拟特种车辆在虚拟道路上的转向驾驶效果图。
5.如权利要求4所述的系统,其特征在于,所述处理器还用于在获取所述转向盘的转向信号之后,控制所述转向盘执行反方向的作用力。
6.如权利要求3所述的系统,其特征在于,还包括:踏板装置,所述处理器用于获取所述踏板装置的踩踏信号,基于所述踩踏信号通过所述图像显示模块呈现所述虚拟特种车辆在所述虚拟道路上的加速或者减速的驾驶效果图。
7.如权利要求6所述的系统,其特征在于,所述踏板装置具体包括加速踏板和制动踏板。
8.如权利要求3所述的系统,其特征在于,所述虚拟现实头戴设备还包括方位感应传感器,所述方位感应传感器用于采集驾驶员的头部运动信息,所述处理器用于基于所述头部运动信息,通过图像显示模块呈现与所述头部运动信息对应的驾驶场景效果图。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-2中任一权利要求所述的方法步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-2中任一权利要求所述的方法步骤。
CN201910288156.7A 2019-04-11 2019-04-11 一种基于虚拟现实的操作行为识别方法及系统 Pending CN109933208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910288156.7A CN109933208A (zh) 2019-04-11 2019-04-11 一种基于虚拟现实的操作行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288156.7A CN109933208A (zh) 2019-04-11 2019-04-11 一种基于虚拟现实的操作行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN109933208A true CN109933208A (zh) 2019-06-25

Family

ID=66989768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288156.7A Pending CN109933208A (zh) 2019-04-11 2019-04-11 一种基于虚拟现实的操作行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN109933208A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN112289125A (zh) * 2020-11-16 2021-01-29 株洲壹星科技股份有限公司 一种车辆mr模拟驾驶实训方法及实训装置
CN112572665A (zh) * 2020-12-03 2021-03-30 敖立鸿 一种低风阻平躺式自行车
CN113902664A (zh) * 2021-10-19 2022-01-07 中国第一汽车股份有限公司 用于虚拟驾驶的模拟器视景生成方法、系统、设备及介质
CN115909851A (zh) * 2022-12-01 2023-04-04 江西科骏实业有限公司 一种轨道交通车辆沉浸式驾驶模拟系统及其应用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
CN109144269A (zh) * 2018-09-05 2019-01-04 戴姆勒股份公司 一种虚拟驾驶方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
CN109144269A (zh) * 2018-09-05 2019-01-04 戴姆勒股份公司 一种虚拟驾驶方法和系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111045425B (zh) * 2019-12-05 2023-04-28 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN112289125A (zh) * 2020-11-16 2021-01-29 株洲壹星科技股份有限公司 一种车辆mr模拟驾驶实训方法及实训装置
CN112572665A (zh) * 2020-12-03 2021-03-30 敖立鸿 一种低风阻平躺式自行车
CN113902664A (zh) * 2021-10-19 2022-01-07 中国第一汽车股份有限公司 用于虚拟驾驶的模拟器视景生成方法、系统、设备及介质
CN115909851A (zh) * 2022-12-01 2023-04-04 江西科骏实业有限公司 一种轨道交通车辆沉浸式驾驶模拟系统及其应用方法
CN115909851B (zh) * 2022-12-01 2024-06-11 江西科骏实业有限公司 一种轨道交通车辆沉浸式驾驶模拟系统及其应用方法

Similar Documents

Publication Publication Date Title
CN109933208A (zh) 一种基于虚拟现实的操作行为识别方法及系统
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
CN100589148C (zh) 面向训练的汽车驾驶模拟机实现方法
CN110869901B (zh) 车辆用的用户界面装置和车辆
CN113440849B (zh) 车辆控制方法、装置、计算机设备及存储介质
CN107221222A (zh) 一种面向工效评定的多模式驾驶模拟系统及其评定方法
CN103129466A (zh) 在全挡风玻璃平视显示器上的驾驶操纵辅助
CN113079352B (zh) 增强现实平视显示器倒车显示方法及系统
CN114022565A (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CN111795832A (zh) 一种智能驾驶车辆测试方法、装置及设备
CN112487549B (zh) 自动驾驶转向失效后驾驶人反应行为测试系统及测试方法
CN113867315B (zh) 一种虚实结合的高保真交通流智能车测试平台及测试方法
US11604908B2 (en) Hardware in loop testing and generation of latency profiles for use in simulation
CN108995590A (zh) 一种人车互动方法、系统及装置
CN115626173A (zh) 一种车辆状态展示方法、装置、存储介质和车辆
CN117707329A (zh) 用于使用载具的增强-虚拟现实驾驶仿真器的系统和方法
CN207059896U (zh) 用于车辆安全倒车的ar投影系统
CN110930811A (zh) 一种适用于无人驾驶决策学习和训练的系统
CN207059958U (zh) 用于车辆安全行驶的ar投影系统
CN111798717B (zh) 一种支持vr驾驶培训的电动车控制系统和方法
CN114155765A (zh) 一种基于人工智能的虚拟现实汽车驾驶交互方法
CN113805495A (zh) 远程自动驾驶仿真控制方法、装置、系统及电子设备
US11847869B1 (en) Multimodal perception simulation
CN117496790A (zh) 虚拟消防车辆训练系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190625