CN104731343A - 一种基于移动终端的虚拟现实人机交互儿童教育体验系统 - Google Patents

Abstract

本发明涉及一种基于移动终端的虚拟现实人机交互儿童教育体验系统，包括移动设备终端、大屏显示设备、体感交互设备以及后台服务器，所述移动设备终端上设有图形识别数据识别模块以及数据交互客户端，所述图形识别数据识别模块、数据交互客户端分别通过网络连接后台服务器，所述后台服务器与体感交互设备相连，所述体感交互设备、数据交互客户端分别连接大屏显示设备；本发明同现有技术相比，能够以动态的声音、图像、互动的方式呈现，让青少年更加形象地立体地对科学知识有更透彻的了解，增强了孩子的动手能力。

Description

一种基于移动终端的虚拟现实人机交互儿童教育体验系统

[技术领域]

本发明涉及大自然儿童教育体验技术领域，具体地说是一种基于移动终端的虚拟现实人机交互儿童教育体验系统。

[背景技术]

近年来，青少年科普教育被摆在了素质教育的重要位置，教育部门和学校都希望通过对青少年的科技教育，不仅让他们懂得科学知识，同时教会他们掌握科学思想、运用科学方法去处理学习、生活、工作中的问题，提升青少年的综合素质。而国内的科普教育发展的比较慢，整体的科普教育还停留在教科书和一些功能简单的科技馆。主要是一些文字，图像，视频的现实，播放与展示；在生动，有趣上已经有了很大的提升，但是一直没有很好的解决青少年参与的互动性，方便性，从而导致说教式、展示式的科普教育效果不是很好，不能很好的达到素质教育的要求。

[发明内容]

本发明的目的就是要解决上述的不足而提供一种基于移动终端的虚拟现实人机交互儿童教育体验系统，能够以动态的声音、图像、互动的方式呈现，让青少年更加形象地立体地对科学知识有更透彻的了解，增强了孩子的动手能力。

为实现上述目的设计一种基于移动终端的虚拟现实人机交互儿童教育体验系统，包括移动设备终端、大屏显示设备、体感交互设备以及后台服务器，所述移动设备终端上设有图形识别数据识别模块以及数据交互客户端，所述图形识别数据识别模块、数据交互客户端分别通过网络连接后台服务器，所述后台服务器与体感交互设备相连，所述体感交互设备、数据交互客户端分别连接大屏显示设备。

所述图形识别数据识别模块用于对准所要识别的图像或数据，数据交互客户端程序根据识别的图像或数据发送启动命令给后台服务器，后台服务器根据接收到的信息，发送指令，启动相应的客户端程序，调用对应的三维虚拟场景，等待体验者操作。

所述大屏显示设备包括电视和投影仪，移动设备终端通过html传输或无线同屏技术，将移动设备的内容推送到大屏幕显示设备上，实现将移动设备渲染的画面同步到大屏显示设备。

所述体感交互设备部署在系统前端，用于捕捉体验者的动作，所述后台服务器用于接受前端体感交互设备捕捉到的动作命令，所述移动设备相应命令操作并同步显示在大屏显示设备上。

所述体感交互设备通过捕捉体验者动作和行为，使用传感器探测力度和深度，使用麦克风采集声音，体感交互设备的摄像头采用连续光，对镜头前面的空间进行编码，经过感应器读取编码的光线，运算解码之后形成深度图像，再利用镭射光线照射到人体和物体上形成的散斑，利用空间任何散斑的不同图案，将空间划分和编号，从而识别人体的移动和动作，使得体验者通过身体的动作与系统实现人机交互，后台服务器获得每一个操作指令并反馈到三维场景中，实现体验者与大屏显示设备中的三维场景进行互动。

所述后台服务器用于处理数据交互客户端、体感交互设备的采集数据，分析体感交互设备采集的身体的运动，通过程序记录，分析人体的位置和动作，实现人机交互，后台服务器部署在独立的计算机系统中，连接体感交互设备，接受体感交互设备的体感指令，并通过网络与图形识别数据识别模块、数据交互客户端进行通信。

所述后台服务器通过蓝牙、WIFI、移动数据连接社交分享平台，所述社交分享平台包括微博、空间、朋友圈社交平台，通过调用社交分享平台的开放接口，将体验过程中的信息发布到社交分享平台。

还包括三维引擎模块，所述三维引擎模块用于完成三维虚拟现实的场景搭建、物体建模、动作制作，同时支持Android和ios平台，并结合图形绘画软件和三维影视动画制作软件完成原画、建模、渲染、动作、特效的制作，搭建虚拟的现实场景。

本发明是一款将枯燥的单向的文字、图像展示、视频播放学习教育模式，以一种动态的声音、图像、互动的方式呈现，让青少年更加形象地、立体地对科学知识有更透彻的了解，增强了孩子的动手能力，从小培养他们研究科学的兴趣；高教育体验系统主要使用数字三维图形技术、体感交互、移动通信技术，具有如下优点：

(1)人体互动，体验效果好：使用过程中主要使用人体肢体和动作参与互动，符合儿童喜好运动的个性特点；

(2)画面生动真实，富有立体感：使用三维虚拟数字技术，图形形象生动，富有立体感；使用数字图形技术，可以根据需要对场景、物体、任务、动物、植物进行真实、可爱、想象、科幻的各种表现手法，也可以方便的增加阳光、光影、雾气、水波、下雪等各种效果从而使画面展现效果多样、丰富生动；

(3)使用简单：该教育体验系统客户端都部署在移动手机，携带方便，只要部署一套体感和后台服务器，每个人携带的手机都可以成为终端，随时启动产品，体验活动的乐趣；

(4)产品更新方便：该教育体验系统本质是一款移动软件产品，可以通过更新程序的方式完善，增加内容，增强效果，只需要更新软件即可。

[附图说明]

图1是本发明的原理框图。

[具体实施方式]

下面结合附图对本发明作以下进一步说明：

如附图1所示，本发明包括：移动设备终端、大屏显示设备、体感交互设备以及后台服务器，移动设备终端上设有图形识别数据识别模块以及数据交互客户端，图形识别数据识别模块、数据交互客户端分别通过网络连接后台服务器，后台服务器与体感交互设备相连，体感交互设备、数据交互客户端分别连接大屏显示设备。

其中，图形识别数据识别模块用于对准所要识别的图像或数据，数据交互客户端程序根据识别的图像或数据发送启动命令给后台服务器，后台服务器根据接收到的信息，发送指令，启动相应的客户端程序，调用对应的三维虚拟场景，等待体验者操作。大屏显示设备包括电视和投影仪，移动设备终端通过html传输或无线同屏技术，将移动设备的内容推送到大屏幕显示设备上，实现将移动设备渲染的画面同步到大屏显示设备。体感交互设备部署在系统前端，用于捕捉体验者的动作，后台服务器用于接受前端体感交互设备捕捉到的动作命令，移动设备相应命令操作并同步显示在大屏显示设备上。该体感交互设备通过捕捉体验者动作和行为，使用传感器探测力度和深度，使用麦克风采集声音，体感交互设备的摄像头采用连续光，对镜头前面的空间进行编码，经过感应器读取编码的光线，运算解码之后形成深度图像，再利用镭射光线照射到人体和物体上形成的散斑，利用空间任何散斑的不同图案，将空间划分和编号，从而识别人体的移动和动作，使得体验者通过身体的动作与系统实现人机交互，后台服务器获得每一个操作指令并反馈到三维场景中，实现体验者与大屏显示设备中的三维场景进行互动。

后台服务器用于处理数据交互客户端、体感交互设备的采集数据，分析体感交互设备采集的身体的运动，通过程序记录，分析人体的位置和动作，实现人机交互，后台服务器部署在独立的计算机系统中，连接体感交互设备，接受体感交互设备的体感指令，并通过网络与图形识别数据识别模块、数据交互客户端进行通信。后台服务器通过蓝牙、WIFI、移动数据连接社交分享平台，社交分享平台包括微博、空间、朋友圈社交平台，通过调用社交分享平台的开放接口，将体验过程中的信息发布到社交分享平台。该教育体验系统还包括三维引擎模块，三维引擎模块用于完成三维虚拟现实的场景搭建、物体建模、动作制作，同时支持Android和ios平台，并结合图形绘画软件和三维影视动画制作软件完成原画、建模、渲染、动作、特效的制作，搭建虚拟的现实场景。

本发明所述的教育体验系统先进的图像识别技术、虚拟现实技术、三维动画技术、室内定位技术等技术为基础，结合移动手机、体感交互设备，计算机网络、大屏显示技术，电子技术，以投影、触摸、鼠标、摇杆、红外感应、4D、虚拟现实、增强现实等各种现代化高科技设备和互动手段，提供操作简单，体验真实，有趣快乐的体验过程。将此虚拟现实交互体验和科普内容、教育学习内容结合在一起，从而在一定程度上提升了科普、教育学习的效果和乐趣。

青少年儿童参与到科普教育、学习的过程，展示的内容，方式，角度，步骤都由他们自己指定，并可以将成功，知识，点评通过社交平台与同学、朋友、家人分享，互动。该教育体验系统总结架构采用c/架构。C/S(Client/Server)网络开发技术是上世纪九十年代发展起来的一种较为先进的网络开发技术，这种模式将应用一分为二，服务器负责数据管理，客户机完成与用户的交互任务，应用此技术开发出来的系统，可分布式的运行于系统中的各服务器或客户机中。客户端程序部署在移动手机，主要利用移动手机摄像头扫描图像和手机操作系统渲染三维场景；后台服务器程序采用visual c++开发，处理智能手机客户端，kinect体感设备的采集数据。分析kinect采集的身体的运动，通过程序记录，分析人体在室内环境的位置和人体动作，实现人机交互；通过判断青少年的双手移动，实现光标移动，视野旋转，放大，缩小，拍照分享等指令，完成后台程序逻辑处理和判断。

本发明主要包含如下的一些功能模块：

(1)手机图像识别模块：儿童、家长在翻阅植物图书，在书中发现自己感兴趣的故事与图片，可以用手机开启指定图像识别的应用，对准所要识别的图片，系统会自动识别，识别客户端程序会自动根据识别的图像发送启动命令给服务端后台，服务器端后台会根据收到的信息，发送指令，启动相应的客户端程序，调用对应的三维虚拟场景，等待用户的操作。

(2)客户、同步大屏模块：欢乐大自然-儿童VR教育体验产品客户端模块主要完成三维场景的绘制，渲染，与服务器进行信息交互，为产品主体功能，运行在IOS和Android移动平台。该教育体验系统主要运行在移动智能手持设备，由于手持设备的屏幕不适应交互操作，需要将移动智能手持设备画面同步显示与大屏设备上。主要使用html传输和无线同屏技术。无线同屏技术主要使用Miracas、DLNA协议，将手机和平板电脑设备的内容推送到电视、投影仪等大屏幕显示设备上；html传输主要使用手机固有的html接口，使用html连接线，将将手机内容推送到电视、投影仪等大屏幕显示设备上；从而实现将手机渲染的画面同步到大屏设备。

(3)体感互动模块：教育体验系统体感互动交互模块主要由Kinect设备和后台服务器完成。Kinect部署在前端，捕捉人体的动作，后台服务器接受前端捕捉动作命令，手机等移动智能手持设备相应命令操作并同步显示在大屏设备，展示。Kinect通过一秒捕捉30次人体的动作和行为，使用其他传感器负责探测力度和深度、四个麦克风负责采集声音，从而将你所处的房间形成一个3D影像。Kinetc摄像头采用连续光，对镜头前面1.至4M附近的空间进行编码，经过感应器读取编码的光线，运算解码之后形成深度图像，在利用镭射光线照射到人体和物体上形成的散斑，利用空间任何散斑的不同图案，将空间划分和编号，从而识别人体的移动和动作。用户可以通过身体的动作，不需要任何的鼠标和键盘以及其他设备，就可以与计算机系统实现人机交互，后台程序获得每一个操作指令并反馈到三维场景中，从而达到互动的效果，通过Kinect让孩子可以与大显示器中的三维场景进行互动。

(4)服务端模块：教育体验系统服务端模块采用visual c++开发，处理智能手机客户端，kinect体感设备的采集数据。分析kinect采集的身体的运动，通过程序记录，分析人体在室内环境的位置和人体动作，实现人机交互；后台服务端部署在独立的计算机系统中，连接kinect设备，接受kinect体感指令；通过网络，采用tcp/ip协议与图形手机图像识别模块、客户端模块保持通信。

(5)社交分享：该教育体验系统社交分享主要是调用微博、空间、朋友圈等社交平台的开放接口，将体验过程中的任务、评分、成果、图片等信息发布到社交分享平台，从而实现与朋友，同学、家长共享体验乐趣与学习成果。与社交平台通信主要通过蓝牙，WIFI、移动数据等。

(6)三维引擎：教育体验系统三维引擎完成三维虚拟现实的场景搭建，物体建模，动作制作，同时支持Android和ios平台。结合phoshop、3dmax、maya等成熟的图形绘画软件和三维影视动画制作等软件，完成原画、建模、渲染、动作，特效的制作，搭建虚拟的现实场景。在三维虚拟场景中，为了保证后面的三维背景，物品可以正常显示，摄像机是斜30度视角，需要给摄像机留出一个不被遮挡的区域。

本发明所述的欢乐大自然儿童VR教育体验系统可以部署在学校、社区、科普馆。按照总体架构部署好网络、后台服务器、kinect提高设备、大屏显示设备，启动客户端，启动虚拟大自然客户端，同步显示到大屏设备。

(1)左右浏览场景：右手手掌左右移动，场景跟随手掌移动左右移动；

(2)上下浏览场景：右手手掌上下移动，场景跟随手掌移动上下移动；

(3)选取物体：右手手掌移动到鲜花、树桩上面,出现选择确定计时,计时完成自动选择物体；

(4)缩放场景：放大物体，拉近摄像机：双手从胸口向左右两边伸展；

缩小物体，拉远摄像机：双手从左右两边向胸口汇聚。

(5)拍照分享：双手拇指和食指分别成八字，垂直于胸口，悬停2秒；动作识别为拍照，自动拍照，出现分享界面；分享到微博

例如：在三维数字场景中，通过以上基本体感动作，模拟进入了一个生机勃勃的森林；有茂密树木，碧绿的草丛，活泼可爱的小兔子，辛勤工作的小蜜蜂，漂亮的蝴蝶，美丽的鲜花，流水的小溪。通过他的动作，可以再森林中穿梭，游玩，与小动物嬉戏，观察蜜蜂的工作，了解到大自然的秘密。

本发明并不受上述实施方式的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于移动终端的虚拟现实人机交互儿童教育体验系统，其特征在于：包括移动设备终端、大屏显示设备、体感交互设备以及后台服务器，所述移动设备终端上设有图形识别数据识别模块以及数据交互客户端，所述图形识别数据识别模块、数据交互客户端分别通过网络连接后台服务器，所述后台服务器与体感交互设备相连，所述体感交互设备、数据交互客户端分别连接大屏显示设备。

2.如权利要求1所述的儿童教育体验系统，其特征在于：所述图形识别数据识别模块用于对准所要识别的图像或数据，数据交互客户端程序根据识别的图像或数据发送启动命令给后台服务器，后台服务器根据接收到的信息，发送指令，启动相应的客户端程序，调用对应的三维虚拟场景，等待体验者操作。

3.如权利要求1所述的儿童教育体验系统，其特征在于：所述大屏显示设备包括电视和投影仪，移动设备终端通过html传输或无线同屏技术，将移动设备的内容推送到大屏幕显示设备上，实现将移动设备渲染的画面同步到大屏显示设备。

4.如权利要求1所述的儿童教育体验系统，其特征在于：所述体感交互设备部署在系统前端，用于捕捉体验者的动作，所述后台服务器用于接受前端体感交互设备捕捉到的动作命令，所述移动设备相应命令操作并同步显示在大屏显示设备上。

5.如权利要求4所述的儿童教育体验系统，其特征在于：所述体感交互设备通过捕捉体验者动作和行为，使用传感器探测力度和深度，使用麦克风采集声音，体感交互设备的摄像头采用连续光，对镜头前面的空间进行编码，经过感应器读取编码的光线，运算解码之后形成深度图像，再利用镭射光线照射到人体和物体上形成的散斑，利用空间任何散斑的不同图案，将空间划分和编号，从而识别人体的移动和动作，使得体验者通过身体的动作与系统实现人机交互，后台服务器获得每一个操作指令并反馈到三维场景中，实现体验者与大屏显示设备中的三维场景进行互动。

6.如权利要求1所述的儿童教育体验系统，其特征在于：所述后台服务器用于处理数据交互客户端、体感交互设备的采集数据，分析体感交互设备采集的身体的运动，通过程序记录，分析人体的位置和动作，实现人机交互，后台服务器部署在独立的计算机系统中，连接体感交互设备，接受体感交互设备的体感指令，并通过网络与图形识别数据识别模块、数据交互客户端进行通信。

7.如权利要求1所述的儿童教育体验系统，其特征在于：所述后台服务器通过蓝牙、WIFI、移动数据连接社交分享平台，所述社交分享平台包括微博、空间、朋友圈社交平台，通过调用社交分享平台的开放接口，将体验过程中的信息发布到社交分享平台。

8.如权利要求1所述的儿童教育体验系统，其特征在于：还包括三维引擎模块，所述三维引擎模块用于完成三维虚拟现实的场景搭建、物体建模、动作制作，同时支持Android和ios平台，并结合图形绘画软件和三维影视动画制作软件完成原画、建模、渲染、动作、特效的制作，搭建虚拟的现实场景。