现实增强信息处理方法、装置及系统
技术领域
本发明涉及通信技术领域,尤其涉及一种现实增强信息处理方法、装置及系统。
背景技术
我们周围的世界非常丰富,待了解对象上有许多数字信息,可用不同的方法来访问该对象的信息,例如:查询对象的名称或通过搜索引擎查询该对象的描述信息。随着移动设备的普及,目前有的移动设备上有种功能来访问对象信息,该功能为现实增强(Augmented Reality,简称AR)功能。AR是利用虚拟信息对真实场景进行现实增强的技术。AR基于摄像头等采集器件采集到的真实物理环境,通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上,从而实现用户身处的显示物理环境的注释、说明,或者增强、强调现实环境的某些效果。
现有技术中,该功能通常基于用户的移动设备进行现实信息的获取和AR功能的实现过程,用户需要频繁的取出移动设备,进而连续扫描周围的环境,从而确定所检测的对象是否能够进行AR处理。从而造成无效频繁的操作,降低了AR处理的使用效率。
发明内容
本发明要解决的技术问题是为了克服现有技术的现实增强方法不会自动通知用户周围真实对象是否可现实增强的缺陷,提供一种现实增强信息处理方法、装置及系统。
本发明是通过下述技术方案来解决上述技术问题:
一种现实增强信息处理方法,其特点在于,所述方法应用于智能穿戴设备,所述方法包括如下步骤:
所述智能穿戴设备获取图像;
所述智能穿戴设备将所述图像发送给移动终端;
所述智能穿戴设备接收所述移动终端发送的所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息;
所述智能穿戴设备输出所述图像的现实增强信息。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述现实增强结果指示信息为能够进行现实增强时,则所述智能穿戴设备输出所述图像的现实增强信息具体包括:所述智能穿戴设备输出所述能够进行现实增强的指示信息;或者,
当所述现实增强结果指示信息为能够进行参数输出时,则所述智能穿戴设备输出所述图像的现实增强信息具体包括:所述智能穿戴设备输出所述能够进行现实增强的指示信息;或者,
当所述现实增强结果指示信息为无法进行现实增强且无法进行参数输出时,则所述智能穿戴设备输出所述图像的现实增强信息具体包括:所述智能穿戴设备输出增强失败指示信息。
较佳地,在所述智能穿戴设备获取图像之后,还包括:
所述智能穿戴设备根据所述图像获取所述图像的特征信息;
所述智能穿戴设备将所述图像发送给移动终端,包括:
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
所述智能穿戴设备根据所述图像并通过SURF方法和FAST方法获取所述图像的特征信息。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
当所述图像为所述至少一副图片时,所述智能穿戴设备根据所述至少一副图片获取所述至少一副图片的特征信息;
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端,包括:
所述智能穿戴设备将所述至少一副图片的特征信息发送给所述移动终端。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
当所述图像为所述视频数据时,所述智能穿戴设备根据所述视频数据获取所述视频数据的特征信息;
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端,包括:
所述智能穿戴设备将所述视频数据的特征信息发送给所述移动终端。
较佳地,所述智能穿戴设备输出所述图像的现实增强信息,包括:
所述智能穿戴设备通过显示屏显示所述图像的现实增强信息;和/或,
所述智能穿戴设备通过话筒播放所述图像的现实增强信息;和/或,
所述智能穿戴设备通过振动器输出所述图像的现实增强信息。
较佳地,所述智能穿戴设备获取图像之前,还包括如下任意一种步骤:
所述智能穿戴设备接收用户发送的第一图像获取操作指示;或者,
所述智能穿戴设备接收所述移动终端发送的第二图像获取操作指示。
本发明的另一技术方案为:一种现实增强信息处理方法,其特点在于,所述方法应用于移动终端,所述方法包括如下步骤:
所述移动终端接收智能穿戴设备发送的所述图像;
所述移动终端根据所述图像判断是否能够进行现实增强处理;
所述移动终端根据判断结果生成所述图像的现实增强响应信息;
所述移动终端向所述智能穿戴设备发送所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息。
较佳地,所述移动终端根据所述图像判断是否能够进行现实增强处理,则还包括:
所述移动终端对所述图像进行现实增强显示。
较佳地,所述移动终端根据所述图像判断是否能够进行现实增强处理,包括:
所述移动终端根据所述图像在虚拟信息数据库中查找是否存在与所述图像对应的虚拟信息;
若存在所述图像对应的虚拟信息,则所述移动终端确定能够进行现实增强处理;
若不存在所述图像对应的虚拟信息,则所述移动终端根据所述图像在参数数据库中查找是否存在与所述图像对应的参数;
若存在所述图像对应的参数,则所述移动终端确定能够进行参数输出;
若不存在所述图像对应的参数,则所述移动终端确定无法进行现实增强且无法进行参数输出。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述移动终端确定能够进行现实增强处理,则所述现实增强结果指示信息为能够进行现实增强;
当所述移动终端确定能够进行参数输出,则所述现实增强结果指示信息为能够进行现实增强;
当所述移动终端确定无法进行现实增强且无法进行参数输出,则所述现实增强结果指示信息为无法进行现实增强且无法进行参数输出。
较佳地,所述移动终端根据所述图像在虚拟信息数据库中查找是否存在与所述图像对应的虚拟信息,包括:
所述移动终端基于视觉查找技术和自然特征跟踪算法并根据所述图像在虚拟信息数据库中查找是否存在与所述图像对应的虚拟信息。
较佳地,所述移动终端根据所述图像在参数数据库中查找是否存在与所述图像对应的参数,包括:
所述移动终端基于视觉查找技术和自然特征跟踪算法并根据所述图像在参数数据库中查找是否存在与所述图像对应的参数。
较佳地,所述移动终端接收智能穿戴设备发送的所述图像,包括:
所述移动终端接收所述智能穿戴设备发送的所述图像的特征信息。
所述移动终端根据所述图像判断是否能够进行现实增强处理,包括:
所述移动终端根据所述图像的特征信息判断是否能够进行现实增强处理。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,当所述图像为所述至少一副图片时,所述图像的特征信息为所述至少一副图片的特征信息;
当所述图像为所述视频数据时,所述图像的特征信息为所述视频数据的特征信息。
较佳地,所述移动终端对所述图像进行现实增强显示,包括:
当所述图像为所述至少一副图片时,则所述移动终端对所述至少一副图片进行现实增强显示;
当所述图像为所述视频数据时,则所述移动终端对所述视频数据进行现实增强显示。
较佳地,在所述移动终端接收智能穿戴设备发送的所述图像之前,还包括:
所述移动终端接收用户发送的现实增强操作指示;
所述移动终端根据所述现实增强操作指示,向所述智能穿戴设备发送图像获取操作指示。
本发明的又一技术方案为:一种现实增强信息处理方法,其特点在于,所述方法应用于现实增强系统,所述现实增强系统,包括智能穿戴设备和移动终端,所述方法包括如下步骤:
所述智能穿戴设备获取图像;
所述移动终端根据所述图像判断是否能够进行现实增强处理;
所述移动终端根据判断结果生成所述图像的现实增强响应信息;
所述移动终端向所述智能穿戴设备发送所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息;
所述智能穿戴设备输出所述图像的现实增强信息。
较佳地,所述移动终端根据所述图像判断是否能够进行现实增强处理,则还包括:
所述移动终端对所述图像进行现实增强显示。
较佳地,在所述智能穿戴设备获取图像之后,还包括:
所述智能穿戴设备根据所述图像获取所述图像的特征信息;
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端;
所述移动终端接收所述图像的特征信息。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
所述智能穿戴设备根据所述图像并通过SURF方法和FAST方法获取所述图像的特征信息。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
当所述图像为所述至少一副图片时,所述智能穿戴设备根据所述至少一副图片获取所述至少一副图片的特征信息;
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端,包括:
所述智能穿戴设备将所述至少一副图片的特征信息发送给所述移动终端。
较佳地,所述智能穿戴设备根据所述图像获取所述图像的特征信息,包括:
当所述图像为所述视频数据时,所述智能穿戴设备根据所述视频数据获取所述视频数据的特征信息;
所述智能穿戴设备将所述图像的特征信息发送给所述移动终端,包括:
所述智能穿戴设备将所述视频数据的特征信息发送给所述移动终端。
较佳地,所述移动终端根据所述图像的特征信息判断是否能够进行现实增强处理,包括:
所述移动终端根据所述图像的特征信息在虚拟信息数据库中查找是否存在所述图像对应的虚拟信息;
若存在所述图像对应的虚拟信息,则所述移动终端确定能够进行现实增强处理;
若不存在所述图像对应的虚拟信息,则所述移动终端根据所述图像的特征信息在参数数据库中查找是否存在于所述图像对应的参数;
若存在所述图像对应的参数,则所述移动终端确定能够进行参数输出;
若不存在所述图像对应的参数,则所述移动终端确定无法进行现实增强且无法进行参数输出。
较佳地,所述移动终端根据所述图像的特征信息在虚拟信息数据库中查找是否存在与所述图像对应的虚拟信息,包括:
所述移动终端基于视觉查找技术和自然特征跟踪算法在虚拟信息数据库中查找是否存在与所述图像对应的虚拟信息。
较佳地,所述移动终端根据所述图像的特征信息在参数数据库中查找是否存在与所述图像对应的参数,包括:
所述移动终端基于视觉查找技术和自然特征跟踪算法在参数数据库中查找是否存在与所述图像对应的参数。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述移动终端确定能够进行现实增强处理,则所述现实增强结果指示信息为能够进行现实增强;
当所述移动终端确定能够进行参数输出,则所述现实增强结果指示信息为能够进行现实增强;
当所述移动终端确定无法进行现实增强且无法进行参数输出,则所述现实增强结果指示信息为无法进行现实增强。
较佳地,所述智能穿戴设备输出所述图像的现实增强信息,包括:
所述智能穿戴设备通过显示屏显示所述图像的现实增强信息;和/或,
所述智能穿戴设备通过话筒播放所述图像的现实增强信息;和/或,
所述智能穿戴设备通过振动器输出所述图像的现实增强信息。
较佳地,所述智能穿戴设备输出所述图像的现实增强信息后,还包括如下任意一种步骤:
所述移动终端接收用户发送的现实增强操作指示;
所述移动终端根据所述现实增强操作指示,对所述图像进行现实增强显示。
较佳地,所述移动终端对所述图像进行现实增强显示,包括:
当所述图像为所述至少一副图片时,则所述移动终端对所述至少一副图片进行现实增强显示;
当所述图像为所述视频数据时,则所述移动终端对所述视频数据进行现实增强显示。
本发明还包括一种现实增强的智能穿戴设备,其特点在于,所述智能穿戴设备包括:
获取模块,用于获取图像;
发送模块,用于将所述图像发送给移动终端;
接收模块,用于接收所述移动终端发送的所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息;
输出模块,用于输出所述图像的现实增强信息。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述现实增强结果指示信息为能够进行现实增强时,所述输出模块用于输出所述能够进行现实增强的指示信息;或者,
当所述现实增强结果指示信息为能够进行参数输出时,所述输出模块用于输出所述能够进行现实增强的指示信息;或者,
当所述现实增强结果指示信息为无法进行现实增强且无法进行参数输出时,所述输出模块用于输出增强失败指示信息。
较佳地,在所述智能穿戴设备还包括:特征信息获取模块,用于根据所述图像获取所述图像的特征信息;
所述发送模块还用于将所述图像的特征信息发送给所述移动终端。
较佳地,所述特征信息获取模块根据所述图像并通过SURF方法和FAST方法获取所述图像的特征信息。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,当所述图像为所述至少一副图片时,所述特征信息获取模块用于根据所述至少一副图片获取所述至少一副图片的特征信息;
所述发送模块用于将所述至少一副图片的特征信息发送给所述移动终端。
较佳地,当所述图像为所述视频数据时,所述特征信息获取模块用于根据所述视频数据获取所述视频数据的特征信息;
所述发送模块用于将所述视频数据的特征信息发送给所述移动终端。
较佳地,所述输出模块为显示屏,所述显示屏用于显示所述图像的现实增强信息;和/或,
所述输出模块为话筒,所述话筒用于播放所述图像的现实增强信息;和/或,
所述输出模块为振动器,所述振动器用于输出所述图像的现实增强信息。
较佳地,在所述获取模块获取图像之前,所述接收模块还用于接收用户发送的第一图像获取操作指示;或者,
所述接收模块还用于接收所述移动终端发送的第二图像获取操作指示。
本发明还包括一种现实增强的移动终端,其特点在于,所述移动终端包括:
接收模块,用于接收智能穿戴设备发送的图像;
判断模块,用于根据所述图像判断是否能够进行现实增强处理;
现实增强响应信息生成模块,用于根据判断结果生成所述图像的现实增强响应信息;
发送模块,用于向所述智能穿戴设备发送所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息。
较佳地,所述移动终端还包括显示模块,用于根据所述判断模块的判断结果对所述图像进行现实增强显示。
较佳地,其特征在于,所述判断模块还包括查找模块,用于根据所述图像在虚拟信息数据库中查找是与所述图像对应的虚拟信息;
若存在所述图像对应的虚拟信息,所述判断模块确定能够进行现实增强处理;
若不存在所述图像对应的虚拟信息,所述查找模块还用于根据所述图像在参数数据库中查找与所述图像对应的参数;
若存在所述图像对应的参数,所述判断模块确定能够进行参数输出;
若不存在所述图像对应的参数,所述判断模块确定无法进行现实增强且无法进行参数输出。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述判断模块确定能够进行现实增强处理,所述现实增强结果指示信息为能够进行现实增强;
当所述判断模块确定能够进行参数输出,所述现实增强结果指示信息为能够进行现实增强;
当所述判断模块确定无法进行现实增强且无法进行参数输出,所述现实增强结果指示信息为无法进行现实增强且无法进行参数输出。
较佳地,所述查找模块基于视觉查找技术和自然特征跟踪算法并根据所述图像在虚拟信息数据库中查找与所述图像对应的虚拟信息。
较佳地,所述查找模块基于视觉查找技术和自然特征跟踪算法并根据所述图像在参数数据库中查找与所述图像对应的参数。
较佳地,所述接收模块还用于接收所述智能穿戴设备发送的所述图像的特征信息;
所述判断模块还用于根据所述图像的特征信息判断是否能够进行现实增强处理。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,当所述图像为所述至少一副图片时,所述图像的特征信息为所述至少一副图片的特征信息;
当所述图像为所述视频数据时,所述图像的特征信息为所述视频数据的特征信息。
较佳地,当所述图像为所述至少一副图片时,所述显示模块用于对所述至少一副图片进行现实增强显示;
当所述图像为所述视频数据时,所述显示模块用于对所述视频数据进行现实增强显示。
较佳地,在所述接收模块接收所述智能穿戴设备发送的所述图像之前,所述接收模块还用于接收用户发送的现实增强操作指示;
所述发送模块还用于根据所述现实增强操作指示向所述智能穿戴设备发送图像获取操作指示。
本发明还包括一种现实增强系统,其特点在于,所述现实增强系统包括智能穿戴设备和移动终端;
所述智能穿戴设备包括:获取模块,用于获取图像;
所述移动终端包括:判断模块、现实增强响应信息生成模块、第一发送模块;
所述判断模块用于根据所述图像判断是否能够进行现实增强处理;所述现实增强响应信息生成模块用于根据判断结果生成所述图像的现实增强响应信息;所述第一发送模块用于向所述智能穿戴设备发送所述图像的现实增强响应消息,所述图像的现实增强响应消息包含所述图像的现实增强信息;
所述智能穿戴设备还包括:输出模块,用于输出所述现实增强信息。
较佳地,所述移动终端还包括显示模块,用于根据所述判断模块的判断结果对所述图像进行现实增强显示。
较佳地,所述智能穿戴设备还包括:特征信息获取模块、第二发送模块;
所述特征信息获取模块用于根据所述图像获取所述图像的特征信息;所述第二发送模块用于将所述图像的特征信息发送给所述移动终端;
所述移动终端还包括接收模块,用于接收所述图像的特征信息。
较佳地,所述特征信息获取模块根据所述图像并通过SURF方法和FAST方法获取所述图像的特征信息。
较佳地,所述图像包括:至少一副图片或视频数据。
较佳地,当所述图像为所述至少一副图片时,所述特征信息获取模块根据所述至少一副图片获取所述至少一副图片的特征信息;
所述第二发送模块用于将所述至少一副图片的特征信息发送给所述移动终端。
较佳地,当所述图像为所述视频数据时,所述特征信息获取模块根据所述视频数据获取所述视频数据的特征信息;
所述第二发送模块用于将所述视频数据的特征信息发送给所述移动终端。
较佳地,所述判断模块还包括查找模块,用于根据所述图像的特征信息在虚拟信息数据库中查找与所述图像对应的虚拟信息;
若存在所述图像对应的虚拟信息,则所述判断模块确定能够进行现实增强处理;
若不存在所述图像对应的虚拟信息,则所述查找模块还用于根据所述图像的特征信息在参数数据库中查找与所述图像对应的参数;
若存在所述图像对应的参数,则所述判断模块确定能够进行参数输出;
若不存在所述图像对应的参数,则所述判断模块确定无法进行现实增强且无法进行参数输出。
较佳地,所述查找模块基于视觉查找技术和自然特征跟踪算法在虚拟信息数据库中查找与所述图像对应的虚拟信息。
较佳地,所述查找模块基于视觉查找技术和自然特征跟踪算法在参数数据库中查找与所述图像对应的参数。
较佳地,所述图像的现实增强信息包含:现实增强结果指示信息;
当所述判断模块确定能够进行现实增强处理,则所述现实增强结果指示信息为能够进行现实增强;
当所述判断模块确定能够进行参数输出,则所述现实增强结果指示信息为能够进行现实增强;
当所述判断模块确定无法进行现实增强且无法进行参数输出,则所述现实增强结果指示信息为无法进行现实增强。
较佳地,所述输出模块为显示屏,所述显示屏用于显示所述图像的现实增强信息;和/或,
所述输出模块为话筒,所述话筒用于播放所述图像的现实增强信息;和/或,
所述输出模块为振动器,所述振动器用于输出所述图像的现实增强信息。
较佳地,当所述输出模块输出所述图像的现实增强信息后,
所述接收模块,还用于接收用户发送的现实增强操作指示;
所述显示模块,用于对所述图像进行现实增强显示。
较佳地,当所述图像为所述至少一副图片时,则所述显示模块对所述至少一副图片进行现实增强显示;
当所述图像为所述视频数据时,则显示模块对所述视频数据进行现实增强显示。
本发明的积极进步效果在于:本发明中用户可以通过智能穿戴设备对所感兴趣的对象获取图像并将图像自发地发送给移动终端,移动终端根据接收的图像判断是否能够现实增强处理,并将判断结果自发地反馈给智能穿戴式设备,用户根据智能穿戴设备输出的判断结果,可自行决定是否对图像进行现实增强显示。在这个过程中,通过智能穿戴设备与移动终端的交互,用户不需要频繁取出移动终端,就可以确定检测的图像是否能够进行AR处理。本发明的方法、装置及系统,减少了用户无效频繁的操作,提高了AR处理的使用效率,大大提高了用户操作的友好体验。
附图说明
图1为本发明实施例1的信息处理方法的流程图。
图2为本发明实施例2的信息处理方法的流程图。
图3为本发明实施例3的信息处理方法的流程图。
图4为本发明实施例5的信息处理方法的流程图。
图5为本发明实施例6的信息处理方法的流程图。
图6为本发明实施例8的信息处理方法的流程图。
图7为本发明实施例9的信息处理方法的流程图。
图8为本发明实施例10的信息处理方法的流程图。
图9为本发明实施例12的现实增强系统的结构示意图。
图10为本发明实施例13的现实增强系统的结构示意图。
图11为本发明实施例13的现实增强系统的智能手表和手机内的结构示意图。
图12为本发明实施例14的智能穿戴设备的结构示意图。
图13为本发明实施例15的智能穿戴设备的结构示意图。
图14为本发明实施例16的移动终端的结构示意图。
图15为本发明实施例17的移动终端的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
图1示出了一种现实增强信息处理方法,该方法应用于现实增强系统,所述现实增强系统,包括智能穿戴设备和移动终端,所述方法包括如下步骤:
步骤S100,智能穿戴设备获取图像;
步骤S101,智能穿戴设备将获取的图像发送给移动终端;
步骤S102,移动终端根据图像判断是否能够进行现实增强处理;
步骤S103,移动终端根据判断结果生成图像的现实增强响应信息;
步骤S104,移动终端向所述智能穿戴设备发送图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息;
步骤S105,智能穿戴设备输出图像的现实增强信息。
这里所说的智能穿戴设备可以为具有拍摄功能的手表、手环或眼镜等,移动终端为具有信息处理功能的手机或平板。且智能穿戴设备与移动终端的信息传输可以通过无线、蓝牙、zigbee(一种短距离、低功耗的无线通信技术)、WPAN(一种采用无线连接的个人局域网)等方式实现。
本实施例中的图像也即用户感兴趣的真实环境中的对象,用户可以通过智能穿戴设备对所感兴趣的对象获取图像并将图像自发地发送给移动终端,移动终端根据接收的图像判断是否能够现实增强处理,并将判断结果自发地反馈给智能穿戴式设备,用户根据智能穿戴设备输出的判断结果,可自行决定是否对图像进行现实增强显示。在这个过程中,通过智能穿戴设备与移动终端的交互,用户不需要频繁取出移动终端,就可以确定检测的图像是否能够进行AR处理。可见,本实施例减少了用户无效频繁的操作,提高了AR处理的使用效率。
实施例2
实施例2与实施例1基本相同,如图2所示,不同之处在于现实增强信息处理方法还包括:步骤S106,移动终端对图像进行现实增强显示。当用户通过步骤S105得知图像可现实增强处理时,用户可以拿出移动终端对图像进行现实增强显示,以得知自己感兴趣的对象的一些相关的信息,比如用户感兴趣的是一株植物,通过现实增强处理,用户可以得知这株植物的品种、年龄、生长环境等等相关信息。
优选的,智能穿戴设备输出现实增强信息可以通过多种实现方式,下面给出几种可能的实现方式作为示例加以说明:步骤S105中,智能穿戴设备可以通过显示屏显示图像的现实增强信息,可以通过话筒播放图像的现实增强信息,可以通过振动器输出图像的现实增强信息,还可以通过上述三种方式的组合方式,当然也可以是其他可以实现的方式告知用户图像是否可以进行现实增强显示。
进一步的,根据智能穿戴设备的处理能力,所述图像的现实增强信息可以为现实增强结果指示信息或现实增强结果数据;其中,当智能穿戴设备不具备直接显示现实增强效果的能力时,可以用于输出与现实增强相关的现实增强结果指示信息,例如,当移动终端能够进行现实增强处理时,通过智能穿戴设备显示简单的现实增强结果指示信息如,“现实增强成功”或“现实增强失败”等;当智能穿戴设备具备直接显示现实增强效果的能力时,智能穿戴设备可以直接显示现实增强结果数据;例如,智能穿戴设备通过获取图像,并在该图像的基础上进行现实增强处理,并将处理结果通过智能穿戴设备的显示设备予以显示。其中,具体的现实增强处理可以由移动终端来实现,智能穿戴设备仅作为图像的获取设备以及现实增强最终显示设备即可;或者,该现实增强处理也可以通过智能穿戴设备自身实现。需要说明的是,为了实现上述功能,对智能穿戴设备的硬件需要进行特定设计和改进,本实施例对于其具体实现方式不予限定。
其中,当智能穿戴设备不具备直接显示现实增强效果时,所述图像的现实增强信息为现实增强结果指示信息,可选的,该步骤S105中图像的现实增强信息包含现实增强结果指示信息和跟踪配置信息。现实增强结果指示信息即为图形是否可以进行现实增强显示的判断结果,分为两种,即能够进行现实增强和不能进行现实增强。跟踪配置信息包括移动终端所处真实环境的经纬度信息、位置信息或参数信息,跟踪配置信息可以通过移动终端内的全球定位系统获得。跟踪配置信息可以告知用户身处的现实环境地理位置,用户可以根据自行需求选择显示和不显示。
另外,步骤S106是否能够实现要依据步骤S103的判断结果。
根据移动终端在虚拟信息数据库中是否能够查找到与图像对应的虚拟信息,步骤S103的判断结果分为三种:
1、若存在与图像对应的虚拟信息,则移动终端确定对该图像能够进行现实增强处理,且现实增强结果指示信息为能够进行现实增强。
2、若不存在与图像对应的虚拟信息,则移动终端根据图像在参数数据库中查找是否存在与图像对应的参数,若存在与图像对应的参数,则移动终端确定能够进行参数输出;现实增强指示结果为能够进行现实增强。
3、若不存在与图像对应的参数,则移动终端确定该图像无法进行现实增强且无法进行参数输出。现实增强指示结果为无法进行现实增强。
其中,虚拟信息可以为立体图像、三维信息、动态图形等信息,图像对应的参数可以是数据信息,简单的图形信息等。
进一步的,移动终端需要维护一个虚拟信息数据库和参数数据库;其中,虚拟信息数据库用于存储图像的相关信息和对应的虚拟信息;参数数据库用于存储图像的相关信息和对应的参数;对于这两种数据库,其中的对应关系可以为一对一、一对多或多对多。
可选的,对于虚拟信息数据库和参数数据库,可以利用现有手机中已具有的数据库,也可以增加新的数据库;两个数据库可以为一个数据库的不同逻辑分区;或者,也可以是完全独立的两个数据库;本实施例不予限定。
进一步的,图像的虚拟信息查找方法及图像的参数信息查找方法,可以为基于视觉查找技术和自然特征跟踪算法,但不限于此方法。视觉查找技术(CVS,ContinuousVisual Search)将图像识别和跟踪方面的优势与当今云计算的强大性能相结合,可以实现海量图片的检索和跟踪。自然特征跟踪算法需要对图像进行自然特征提取并在数据库中匹配与上述自然特征相同的另一张图像,另一张图像可以作为初始图像的虚拟信息。
需要说明的是,若智能穿戴设备可以直接显示现实增强信息,则步骤S103也可以由该智能穿戴设备执行。
实施例3
实施例3与实施例2基本相同,如图3所示,不同之处在于步骤S100之后,还包括:步骤S1011,智能穿戴设备根据图像获取图像的特征信息。
具体的,这里所说的图像可以为至少一幅图片或视频数据。在智能穿戴设备获得图像后,并不需要直接将图像完整的发送给移动终端;对于移动终端来说,仅仅通过图像的一些特征信息既可以判断是否能够进行现实增强处理。
获取方法可以基于SURF方法和FAST方法,但不限于该方法。利用FAST算法提取特征具有速度快的优点但鲁棒性较差,而SURF算法的高鲁棒性弥补了FAST算法的不稳定性,本方案中,将图像通过FAST算法计算出可能的特征角点,对提取出的特征角点带入SURF算法进行计算,这样可以提取出角点的特征尺度信息。这样做的好处是只在特征角点上进行复杂的卷积计算,减小了在大量非特征点的计算量,从而极大加快了检测与匹配过程的速度,特别适合用于响应和资源有限的移动终端上进行图像处理。
步骤S1012,智能穿戴设备将图像的特征信息发送给移动终端。
步骤S1013,移动终端接收图像的特征信息。
步骤S102移动终端可以根据接收的图像的特征信息判断是否能够进行现实增强显示。移动终端信息处理一般是基于数字语言,智能穿戴设备将图像的特征信息发送给移动终端,免去了移动终端将图像转化为数字信息,提高了移动终端的信息处理效率,提高了移动终端的判断速度。并且降低了智能穿戴设备与移动终端之间的数据负载。
当图像为至少一副图片时,步骤S1011中智能穿戴设备根据至少一副图片获取其特征信息,同时,步骤S1012中智能穿戴设备将该特征信息发送给移动终端。
具体的,若图像为一副图片,则可以通过提取该图片中的特征信息,如人脸图像中的特征数据等,并将这些特征信息发送给移动终端。
当图像为视频数据时,步骤S1011中智能穿戴设备根据视频数据获取其特征信息,同时,步骤S1012中智能穿戴设备将该特征信息发送给移动终端。
具体的,若图像为一段视频数据,可以通过提取其中的某些帧,如关键帧等;将一个帧或某几个帧数据发送给移动终端。
智能穿戴设备与移动终端之间的发送、接收信息可以通过无线、蓝牙、zigbee、WPAN等进行信息传输。
实施例4
在智能穿戴设备与移动终端针对是否能够进行现实增强的判断之后,基于判断的结果,移动终端可以与用户进行进一步的交互操作,具体的,本实施例4提供一种可行的实现方式:步骤S105之后,还包括如下任意一种步骤:
移动终端接收用户发送的现实增强操作指示;
移动终端根据现实增强操作指示,对图像进行现实增强显示。
如果用户通过智能穿戴设备得知图像能进行现实增强,则可以拿出移动终端并找出该图像,也可以通过移动终端另行获得图像,并对移动终端发送操作指示,则移动终端实现对上述图像的现实增强显示。
具体的,用户发送的现实增强操作指示可以但不限定为如下任意一种或组合:用户通过在移动终端的触摸屏上以滑动和/或点击操作特定的区域,从而构成的现实增强操作指示;或者,用户也可以通过麦克输入语音控制信息,移动终端识别语音控制信息,并基于该语音控制信息执行对应的图像进行现实增强显示。
其中,移动终端对图像进行现实增强显示,包括:
当图像为所述至少一副图片时,则移动终端对至少一副图片进行现实增强显示;当图像为视频数据时,则移动终端对视频数据进行现实增强显示。
以智能穿戴设备为智能手表,移动终端为手机为例,当智能手表拍到一张NBA图片,将该图片发送给手机,手机判断该图片是否可进行现实增强。并将判断结果反馈给智能手表,如果结果为能够现实增强,则用户可以拿出手机,找到该NBA图片并通过交互界面向手机发送现实增强操作指示。手机对该NBA图片进行现实增强显示,例如,将于NBA图片对应的球赛信息、球星信息叠加到该NBA图片上;也可以触发播放与该NBA图片对应的视频;并在该视频上叠加显示相关信息。
实施例5
在上述实施例的描述之后,下面通过具体实施例对上述现实增强系统中的智能穿戴设备进行说明。
如图4所示,本实施例的方法包括如下步骤:
步骤S201,智能穿戴设备获取图像;
步骤S202,智能穿戴设备将图像发送给移动终端;
步骤S203,智能穿戴设备接收移动终端发送的图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息;
步骤S204,智能穿戴设备输出图像的现实增强信息。
本实施例提供的现实增强信息处理方法,用户可以通过智能穿戴设备对所感兴趣的对象获取图像并将图像并发送给移动终端,之后智能穿戴设备接收移动终端发送的图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息;最终智能穿戴设备输出图像的现实增强信息。在这个过程中,通过智能穿戴设备与移动终端的交互,用户不需要频繁取出移动终端,就可以确定检测的图像是否能够进行AR处理。可见,本实施例减少了用户无效频繁的操作,提高了AR处理的使用效率。
进一步的,步骤S203中的图像的现实增强信息可以包含:现实增强结果指示信息或显示增强结果数据。对于二者的应用场景,上文已进行了详细说明,此处不再赘述。
具体的,当现实增强结果指示信息为能够进行现实增强时,则步骤S204中智能穿戴设备输出能够进行现实增强的指示信息;当现实增强结果指示信息为能够进行参数输出时,则步骤S204智能穿戴设备输出能够进行现实增强的指示信息;当现实增强结果指示信息为无法进行现实增强且无法进行参数输出时,则步骤S204智能穿戴设备输出增强失败的指示信息。
步骤S204智能穿戴设备输出图像的现实增强信息,可以通过显示屏显示图像的现实增强信息,可以通过话筒播放图像的现实增强信息,可以通过振动器输出图像的现实增强信息,还可以通过上述三种方式的组合方式,当然也可以是其他可以实现的方式。
智能穿戴设备发送图像及接收现实增强信息可以通过无线、蓝牙、zigbee、WPAN等自发进行,无需用户手动操作,减少了用户无效频繁的操作。
实施例6
实施例6与实施例5基本相同,如图5所示,不同之处在于,步骤S201智能穿戴设备获取图像之后,还包括步骤S2011智能穿戴设备根据图像获取图像的特征信息。步骤S202智能穿戴设备将图像发送给移动终端,包括步骤S2021智能穿戴设备将图像的特征信息发送给移动终端。
智能穿戴设备获取图像的特征信息并将该特征信息发送给移动终端,免去了移动终端将图像转化为数字信息,提高了移动终端的运行效率。并且降低了智能穿戴设备与移动终端之间的数据负载。
其中,步骤S2011可以但不限于通过SURF方法和FAST方法获取图像的特征信息。
另外,图像可以为至少一副图片或视频数据。
当图像为至少一副图片时,步骤S2011智能穿戴设备获取至少一副图片的特征信息,步骤S2021智能穿戴设备将至少一副图片的特征信息发送给移动终端。
当图像为视频数据时,步骤S2011智能穿戴设备获取视频数据的特征信息,步骤S2021智能穿戴设备将视频数据的特征信息发送给移动终端。
实施例7
对于获取图像的触发机制,其实现方式是多种多样的,下面本实施例提供几种可能的实现方式对获取图像的触发机制进行说明:在步骤S201之前,还包括如下任意一种步骤:
方式一:智能穿戴设备接收用户发送的第一图像获取操作指示;
方式二:智能穿戴设备接收移动终端发送的第二图像获取操作指示。
具体的,方式一与方式二主要的区别在于由哪一个设备作为接收用户操作指示的主体,本实施例中,该主体即可以为智能穿戴设备也可以为移动终端;当主体为智能穿戴设备,则采用方式一,即用户通过智能穿戴设备的按键、触摸屏或麦克等输入设备向该智能穿戴设备输入第一图像获取操作指示;当主体为移动终端,则采用方式二,即用户通过移动终端的按键、触摸屏或麦克等输入设备向该移动终端输入现实增强操作指示,并由该移动终端根据该现实增强操作指示,向智能穿戴设备发送第二图像获取操作指示。
进一步的,如果用户对现实环境中的对象感兴趣,想对该对象进行现实增强,则可以直接对智能穿戴设备发送获取图像的操作指示,通俗地讲就是利用智能穿戴设备对感兴趣的对象拍照或摄影。也可以通过移动终端,即用户拿出移动终端对智能穿戴设备发送获取图像的操作指示,智能穿戴设备根据该操作指示获取图像。
实施例8
在上述实施例的描述之后,下面通过具体实施例对上述现实增强系统中的移动终端进行说明。如图6所示,本实施例的方法包括如下步骤:
步骤S301,移动终端接收智能穿戴设备发送的图像;
步骤S302,移动终端根据图像判断是否能够进行现实增强处理;
步骤S303,移动终端根据判断结果生成图像的现实增强响应信息;
步骤S304,移动终端向智能穿戴设备发送图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息。
本实施例提供的现实增强信息处理方法,用户在通过智能穿戴设备对所感兴趣的对象获取图像并将图像并发送给移动终端后,移动终端根据图像判断是否能够进行现实增强处理;移动终端根据判断结果生成图像的现实增强响应信息;最终移动终端向智能穿戴设备发送图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息。在这个过程中,通过智能穿戴设备与移动终端的交互,用户不需要频繁取出移动终端,就可以确定检测的图像是否能够进行AR处理。可见,本实施例减少了用户无效频繁的操作,提高了AR处理的使用效率。
可选的,步骤S304中的图像的现实增强信息包含:现实增强结果指示信息或现实增强结果数据。对于二者的应用场景,上文已进行了详细说明,此处不再赘述。
当步骤S302判断图像能够进行现实增强处理,则现实增强结果指示信息为能够进行现实增强;当步骤S302判断图像能够进行参数输出,则现实增强结果指示信息为能够进行参数输出;当步骤S302判断图像无法进行现实增强且无法进行参数输出,则现实增强结果指示信息为无法进行现实增强且无法进行参数输出。
实施例9
实施例9与实施例8基本相同,如图7所示,不同之处在于,步骤S304之后还包括:步骤S305移动终端对图像进行现实增强显示。
用户根据移动终端向智能穿戴设备发送现实增强信息,可得知图像能否进行现实增强显示,若能,则用户可以拿出移动终端,并对图像进行现实增强显示。
具体的,当步骤S302判断图像能够进行现实增强处理,移动终端对图像进行现实增强处理,并将处理后的结果通过移动终端的显示屏进行显示;或者,移动终端将处理后的结果发送给智能穿戴设备,由智能穿戴设备进行显示;或者,移动终端告知智能穿戴设备能够进行现实增强,进而由智能穿戴设备对该图像进行现实增强,并将结果通过智能穿戴设备的显示屏进行显示。
实施例10
进一步的,对于步骤S302中“移动终端根据图像判断是否能够进行现实增强处理”其可以具有多种实现方式,下面通过具体实施例,对步骤302进行说明,如图8所示,步骤S302包括步骤S3021移动终端根据图像在虚拟信息数据库中查找是否存在与图像对应的虚拟信息和参数。步骤S302根据是否存在图像的虚拟信息和参数判断图像是否能够进行现实增强处理。
若存在与图像对应的虚拟信息,则移动终端确定能够进行现实增强处理;若不存在所述图像对应的虚拟信息,则移动终端根据图像在参数数据库中查找是否存在与图像对应的参数;若存在所述图像对应的参数,则所述移动终端确定能够进行参数输出;若不存在所述图像对应的参数,则移动终端确定无法进行现实增强且无法进行参数输出。
其中,图像的虚拟信息查找以及图像的参数查找可以基于视觉查找技术和自然特征跟踪算法,但不限于该方法。
若是存在图像的特征信息,步骤S301还包括移动终端接收智能穿戴设备发送的图像的特征信息;步骤S302包括移动终端根据图像的特征信息判断是否能够进行现实增强处理。
其中图像可以包括:至少一副图片或视频数据。
当所述图像为至少一副图片时,步骤S301接收智能穿戴设备发送的至少一副图片的特征信息;步骤S302根据至少一副图片的特征信息判断是否能够进行现实增强处理。
当图像为视频数据时,步骤S301接收智能穿戴设备发送的视频数据的特征信息;步骤S302根据视频数据的特征信息判断是否能够进行现实增强处理。
通过图像的特征信息判断能否进行现实增强处理,提高了判断效率及正确率。
需要说明的是,对于图片或视频的处理方式,上述实施例中已经进行了详细说明,此处不再赘述。
实施例11
对于获取图像的触发机制,其实现方式是多种多样的,下面本实施例提供一种可能的实现方式对获取图像的触发机制进行说明:步骤S301之前,还包括:
移动终端接收用户发送的现实增强操作指示;
移动终端根据现实增强操作指示,向智能穿戴设备发送图像获取操作指示。
需要说明的是,该获取操作指示即为上文所述的第二图像获取操作指示。
如果用户想对现实环境中的对象进行现实增强显示,则可以拿出移动终端发送现实增强操作指示,相应地移动终端根据该指示向智能穿戴设备发送图像获取操作指示,从而智能穿戴设备获取用户感兴趣的图像。
实施例12
上述实施例描述了一种现实增强信息处理方法,该方法由现实增强信息处理系统执行,该系统可以包括智能穿戴设备和移动终端,即上文方法中涉及智能穿戴设备和移动终端;进一步的,为了实现数据的交互,可能还会涉及到接入网设备(例如,热点设备、基站、小基站、中继设备等)、核心网设备(例如,网关设备、服务器等);鉴于此,下属实施例对于本方案可能涉及到的设备不逐一描述,仅以一个智能穿戴设备和一个移动终端作为示例进行说明,对于其他相关的设备,本实施例不予限定。
进一步的,图9示出了一种现实增强系统,包括智能穿戴设备1和移动终端2。其中智能穿戴设备1包括获取模块11、输出模块12;移动终端2包括判断模块21、现实增强响应信息生成模块22、第一发送模块23。
具体的,图9中所示的智能穿戴设备1可执行上文各个方法实施例中智能穿戴设备作为执行主体执行的方法步骤,实现对应的技术效果;移动终端2可执行上文各个方法实施例中移动终端作为执行主体执行的方法步骤,实现对应的技术效果。
获取模块22用于获取图像;判断模块21用于根据图像判断是否能够进行现实增强处理;现实增强响应信息生成模块22用于根据判断结果生成所述图像的现实增强响应信息;第一发送模块23用于向智能穿戴设备1发送图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息;输出模块12,用于输出图像的现实增强信息。
本实施例中,通过智能穿戴设备1和移动终端2的交互,用户很容易就可以知道自己获取的图像是否可以进行现实增强,无需频繁取出移动终端2,提高了AR处理的使用效率,大大提高了用户操作的友好体验。
实施例13
实施例13与实施例12基本相同,在图9的基础上,图10提供了另一种现实增强系统的实现形式,如图10所示,移动终端还包括显示模块24、接收模块25,移动终端中的判断模块21包括查找模块211,智能穿戴设备1还包括特征信息获取模块13、第二发送模块14。特征信息获取模块13用于根据图像获取图像的特征信息。第二发送模块14用于将图像的特征信息发送给移动终端2。接收模块25用于接收所述图像的特征信息,还用于接收用户发送的现实增强操作指示。查找模块211用于根据在相应数据库中查找与图像对应的虚拟信息和参数。显示模块24用于根据判断模块的判断结果对图像进行现实增强显示。
智能穿戴设备1获取的图像包括至少一副图片或视频数据。当图像为至少一副图片时,特征信息获取模块13根据至少一副图片获取至少一副图片的特征信息,第二发送模块14将至少一副图片的特征信息发送给移动终端2的接收模块25,接收模块25接收至少一副图片的特征信息。当图像为视频数据时,特征信息获取模块13根据视频数据获取视频数据的特征信息,第二发送模块14用于将视频数据的特征信息发送给移动终端2的接收模块25,接收模块25接收视频数据的特征信息。其中特征信息获取模块13通过SURF方法和FAST方法获取图像的特征信息。
移动终端3的查找模块211根据接收模块25提供的特征信息在虚拟信息数据库中查找与图像对应的虚拟信息;若存在与图像对应的虚拟信息,则判断模块21确定能够进行现实增强处理;若不存在与图像对应的虚拟信息,则查找模块211根据图像的特征信息在参数数据库中查找与图像对应的参数;若存在与图像对应的参数,则判断模块21确定能够进行参数输出;若不存在与图像对应的参数,则判断模块21确定无法进行现实增强且无法进行参数输出。其中,查找模块211基于视觉查找技术和自然特征跟踪算法在虚拟信息数据库中查找与所述图像对应的虚拟信息和参数。现实增强响应信息生成模块22根据判断结果生成图像的现实增强响应信息,第一发送模块23向智能穿戴设备1发送该图像的现实增强响应信息,图像的现实增强响应消息包含图像的现实增强信息。
其中图像的现实增强信息包含:现实增强结果指示信息;当判断模块21确定能够进行现实增强处理,则现实增强结果指示信息为能够进行现实增强;当判断模块21确定能够进行参数输出,则现实增强结果指示信息为能够进行现实增强;当判断模块确定21无法进行现实增强且无法进行参数输出,则现实增强结果指示信息为无法进行现实增强。
智能穿戴设备1通过输出模块12输出现实增强结果指示信息。输出模块12可以为显示屏,通过显示屏显示图像的现实增强信息;输出模块12可以为话筒,通过话筒播放图像的现实增强信息;输出模块12可以为振动器,通过振动器输出所述图像的现实增强信息。当然,输出模块12也可以是其他可以实现的方式,不限于上述三种。
用户可以根据判断结果,自行决定是否要对图像进行现实增强。如果用户需要对图像进行现实增强,则可拿出移动终端2,通过显示模块24对图像进行现实增强显示。如果智能穿戴设备1本身具有现实增强功能,则用户可以直接在智能穿戴设备1上对图像进行现实增强显示。
需要说明的是,智能穿戴设备1与移动终端2之间可以采用任何可实现的通讯方式进行数据的传输,例如无线、蓝牙、zigbee、WPAN等。
智能穿戴设备1可以为具有拍摄功能的智能手表、手环及眼镜等智能穿戴设备。移动终端2可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等终端设备。
以智能穿戴设备1为智能手表,移动终端2为手机为例。图11示出了另一种现实增强系统的示意图,该系统中智能手表的采用了一种通用结构;手机采用了一种通用结构。
具体的,智能手表可包括照相机模组15、处理器16、收发器17、通讯接口18、显示屏19和存储器20。本实施例中的获取模块11可具有包括摄像头在内的照相机模组15,以进行拍照或摄像;第二发送模块14可具有收发器17和通讯接口18的功能,以实现数据的传输;输出模块12可具有显示屏19的功能;特征信息获取模块13可通过处理器16实现特征信息获取的功能。处理器16是智能手表的控制中心,利用各种接口和线路连接智能手表的各个部分,通过运行或执行存储在存储器20内的软件程序和/或模块,以及调用存储在存储器20内的数据,执行智能手表的各种功能和处理数据,从而对智能手表进行整体监控。在实施例中,在智能手表的收发器17和通讯接口18接收到用户的拍摄指令后,由处理器16控制照相机模组15内的照相机的启动,从而执行图像的拍摄。在智能手表进行拍摄后,处理器16执行获取图像的特征信息的操作并控制收发器17和通讯接口18将获取的图像的特征信息发送给手机。
手机可包括控制器26、收发器27、通讯接口28、显示屏29和存储器30。本实施例中的接收模块27和第一发送模块24可具有收发器27和通讯接口28的功能;显示模块24可具有显示屏29的功能;判断模块21可通过控制器26实现判断功能,查找模块211可通过控制器26实现判断功能查找功能,现实增强响应信息生成模块22可通过控制器26实现响应信息生产的功能。控制器26是手机的控制中心,利用各种接口和线路连接手机的各个部分,通过运行或执行存储在存储器30内的软件程序和/或模块,以及调用存储在存储器30内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。在实施例中,在手机的收发器27和通讯接口28接收到智能手表发送的图像的特征信息,由控制器26判断图像是否可进行现实增强,并生成现实增强响应信息,同时控制器26控制收发器27和通讯接口28将该生成现实增强响应信息,发送给智能手表。其中现实增强响应信息可包括现实增强结果指示信息、虚拟信息、参数等。
智能手表接收到现实增强响应信息,现实增强结果指示信息可通过语音、振动器或显示屏19的方式提醒用户,以用户自行设置为准。若图像可进行增强现实,且智能手表具有对图像进行现实增强显示的功能,则用户可直接在智能手表上找出获取的图像并对图像进行现实增强显示。
如果智能手表不具备现实增强现实的功能,则用户可以拿出手机,从手机中找到获取的图像并对图像进行现实增强显示。
本领域技术人员可以理解,图11中示出的智能手表和手机只做实现方式的举例,并不构成对手机和智能手表的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
实施例14
下面对于上文提供的现实增强系统中的智能穿戴设备进行具体说明,该智能穿戴设备能够执行上文现实增强方法中智能穿戴设备作为执行主体的各个步骤,并实现相应的技术效果,图12示出了一种现实增强的智能穿戴设备3,包括获取模块31、发送模块32、接收模块33、输出模块34。获取模块31用于获取图像;发送模块32用于将图像发送给移动终端;接收模块33用于接收移动终端发送的图像的现实增强响应消息,图像的现实增强响应消息包含图像的现实增强信息;输出模块34用于输出图像的现实增强信息。
本实施例中,智能穿戴设备3可自发将用户获取的图像发送给移动终端,并接收移动终端的判断结果,用户可通过智能穿戴设备3的输出模块34确定获取的图像是否可以进行现实增强,从而用户无需频繁取出移动终端,提高了AR处理的使用效率,大大提高了用户操作的友好体验。
实施例15
实施例15与实施例14基本相同,如图13所示,不同之处在于,智能穿戴设备3还包括特征信息获取模块35,用于根据图像获取图像的特征信息。发送模块32可以将图像的特征信息发送给移动终端。
本实施例中,特征信息获取模块35根据图像并通过SURF方法和FAST方法获取图像的特征信息。SURF方法和FAST方法是现有技术,利用FAST算法提取特征速度快的优点提高了系统的实时性,同时SURF算法的高鲁棒性也弥补了FAST算法的不稳定性,提高了系统的准确度。通过FAST和SURF算法将离线与在线有效结合,可以提高增强现实系统的鲁棒性和实时性。
获取模块31获取的图像包括至少一副图片或视频数据。当图像为至少一副图片时,特征信息获取模块35根据至少一副图片获取至少一副图片的特征信息,且发送模块将至少一副图片的特征信息发送给移动终端。当图像为视频数据时,特征信息获取模块35根据视频数据获取视频数据的特征信息,且发送模块将视频数据的特征信息发送给移动终端。
智能穿戴设备3的接收模块33可接收移动终端的现实增强信息。其中,图像的现实增强信息包含现实增强结果指示信息。当现实增强结果指示信息为能够进行现实增强时,输出模块34输出能够进行现实增强的指示信息;当现实增强结果指示信息为能够进行参数输出时,输出模块34输出能够进行现实增强的指示信息;当现实增强结果指示信息为无法进行现实增强且无法进行参数输出时,输出模块34输出增强失败指示信息。
输出模块34可以为显示屏,通过显示屏显示图像的现实增强信息;输出模块34可以为话筒,通过话筒播放图像的现实增强信息;输出模块34也可以为振动器,通过振动器输出图像的现实增强信息。当然,输出模块34也可以是可以实现的其他形式,并不限于上述三种。
本实施例中,在获取模块31获取图像之前,接收模块33还可以接收用户发送的第一图像获取操作指示或者接收移动终端发送的第二图像获取操作指示。即用户若对真实环境中的对象感兴趣,则可直接触发智能穿戴设备3上的获取模块31获取图像;用户也可以拿出移动终端,通过移动终端发送获取图像的操作指示至智能穿戴设备3,以触发智能穿戴设备3根据指示获取图像。
实施例16
下面对于上文提供的现实增强系统中的移动终端进行具体说明,该移动终端能够执行上文现实增强方法中移动终端作为执行主体的各个步骤,并实现相应的技术效果,图14示出了一种现实增强的移动终端4,所述移动终端4包括接收模块41、判断模块42、现实增强响应信息生成模块43、发送模块44。接收模块41用于接收智能穿戴设备发送的图像;判断模块42用于根据图像判断是否能够进行现实增强处理;现实增强响应信息生成模块43用于根据判断结果生成图像的现实增强响应信息;发送模块44用于向智能穿戴设备发送图像的现实增强响应消息。
移动终端4根据接收到的图像判断该图像是否可进行现实增强显示,现实增强响应信息生成模块43根据判断结果生成现实增强响应信息。图像的现实增强响应消息包含所述图像的现实增强信息。图像的现实增强信息包含:现实增强结果指示信息;当判断模块42确定能够进行现实增强处理,现实增强结果指示信息为能够进行现实增强;当判断模块42确定能够进行参数输出,现实增强结果指示信息为能够进行现实增强;当判断模块42确定无法进行现实增强且无法进行参数输出,现实增强结果指示信息为无法进行现实增强且无法进行参数输出。
移动终端4将现实增强响应信息自发的发送给智能穿戴设备。通过该移动终端4自发的接收、判断以及发送判断结果,用户无需频繁取出移动终端4,通过智能穿戴设备就可知图像是否可进行现实增强显示。
实施例17
实施例17与实施例16基本相同,如图15所示,不同之处在于,移动终端4还包括显示模块45,判断模块42包括查找模块421。显示模块45用于根据判断模块42的判断结果对图像进行现实增强显示。
移动终端4的接收模块41可接收智能穿戴设备发送的图像及其的特征信息,特征信息可以为至少一副图片或视频数据。当图像为至少一副图片时,图像的特征信息为至少一副图片的特征信息;当图像为视频数据时,图像的特征信息为视频数据的特征信息。
判断模块42可根据图像的特征信息判断是否能够进行现实增强处理。其中查找模块421根据图像的特性信息并基于视觉查找技术和自然特征跟踪算法在虚拟信息数据库中查找与所述图像对应的虚拟信息;若存在与图像对应的虚拟信息,判断模块42确定能够进行现实增强处理;若不存在与图像对应的虚拟信息,查找模块421根据图像的特征信息并基于视觉查找技术和自然特征跟踪算法在参数数据库中查找与图像对应的参数;若存在与图像对应的参数,判断模块42确定能够进行参数输出;若不存在与图像对应的参数,判断模块42确定无法进行现实增强且无法进行参数输出。其中,视觉查找技术和自然特征跟踪算法均为现有技术,将2种技术结合进行自然特征提取有利于提高准确率和效率。
本实施例中,在接收模块41接收智能穿戴设备发送的图像之前,接收模块41还可以接收用户发送的现实增强操作指示;发送模块44可以根据现实增强操作指示向智能穿戴设备发送图像获取操作指示。即用户若想对现实环境中的对象进行现实增强,则可通过移动终端4发送获取图像的操作指示至智能穿戴设备,移动终端4根据智能穿戴设备发送的图像的特征信息判断该图像可进行现实增强现实,则用户可以发送现实增强操作指示,移动终端4根据获得的指示对相应的图像进行现实增强显示。
需要说明的是,上文中提供了多个实施例,这些实施例之间可以进行组合,组合后的实施例能够实现上文中描述的技术效果;或者,不同的实施例之间也可以是并列的技术方案,为了实现相同或类似的技术效果,彼此能够进行替换;或者,这些实施例可以在不同的触发条件下实现。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。