CN116700478A - 基于增强现实的文本内容增强交互系统 - Google Patents

Abstract

本发明公开了基于增强现实的文本内容增强交互系统，属于内容交互技术领域，包括用户笔记本资产管理模块、笔记本封面内容模块、笔记本寄语模块、星贴贴模块、用户模块和后台管理模块；所述用户笔记本资产管理模块用于笔记本激活、修改昵称及查询激活记录；所述笔记本封面内容模块用于AR识别笔记本封面、呈现AR三维内容与动画以及多封面识别的AR交互；所述笔记本寄语模块通过笔记本序列号进行绑定，用户和关联笔记本的其他用户进行寄语发送，通过笔记本的扉页识别图进行触发来上传、编辑、浏览他人的寄语内容；所述星贴贴模块用于生成笔记本贴纸，通过扫描VuMark得到该帖纸序列号。

Description

基于增强现实的文本内容增强交互系统

技术领域

本发明属于内容交互技术领域，具体是基于增强现实的文本内容增强交互系统。

背景技术

增强现实(augmented reality，简称AR)技术，是一种将文本、图像、视频、音频等各种虚拟数字化信息通过可视化的方式叠加在真实世界中的技术，使得用户可以在现实世界中观察到原本不存在的信息，提高信息承载量以及传输效率，拓宽了用户的输入方式使得用户可以和更多信息互动。

随着AR技术的不断发展，高质量的AR开发框架出现，使得AR技术与应用进入了高速发展期。Vuforia是一款用于针对计算平台终端增强现实应用的软件开发工具包，是一款目前应用十分广泛的AR开发SDK。Vuforia提供的功能种类十分广泛、全面，主要包括图像目标识别、多目标识别、圆柱物识别、目标物体识别、模型物体识别、区域识别以及特有的Vumark码，同时Vuforia也能够兼容目前主流的PC，Android以及IOS平台，高精度多场景的识别技术与良好的兼容性使得Vuforia成为了众多AR应用开发者的首选。

目前国内外有不少企业涉足文创领域，不过多数是采用大量装置对于主题乐园进行布置，针对文创领域常见的笔记本、手账贴纸等场景并未进行深入研究，因此，本发明采用AR技术大大减少了生产实体物的供应链成本，通过软件方案来给文创周边带来更高的附加值以及用户体验。同时用户笔记也存在一定的私密性需求，配合本发明可以给用户带来更高的私密性。

发明内容

为了解决上述方案存在的问题，本发明提供了基于增强现实的文本内容增强交互系统。

本发明的目的可以通过以下技术方案实现：

基于增强现实的文本内容增强交互系统，包括用户笔记本资产管理模块、笔记本封面内容模块、笔记本寄语模块、星贴贴模块、用户模块和后台管理模块；

所述用户笔记本资产管理模块用于笔记本激活、修改昵称及查询激活记录；

所述笔记本封面内容模块用于AR识别笔记本封面、呈现AR三维内容与动画以及多封面识别的AR交互；

所述笔记本寄语模块通过笔记本序列号进行绑定，用户和关联笔记本的其他用户进行寄语发送，通过笔记本的扉页识别图进行触发来上传、编辑、浏览他人的寄语内容；

所述星贴贴模块用于生成笔记本贴纸，通过扫描VuMark得到该帖纸序列号。

进一步地，笔记本寄语模块具有AR识别封底、填写寄语内容、查看寄语内容、同步寄语内容和查看历史寄语记录的功能。

进一步地，AR识别封底的过程包括：

向用户获取摄像头权限，扫描位于封底的相应识别图，根据用户绑定的笔记本id向服务器请求对应的扉页寄语修改记录进行展示。

进一步地，查看寄语内容的过程包括：

用户扫描到扉页识别图之后，通过AR效果将最近一次上传的寄语内容覆盖在识别图上进行展示。

进一步地，星贴贴模块具有扫描贴纸、激活贴纸、编辑贴纸内容和审核贴纸内容功能。

进一步地，激活贴纸的过程包括：

摄像头获取到贴纸内容时解析贴纸的序列号，查询贴纸是否被用户进行绑定，如果没有用户绑定，则绑定至目前扫描的用户id上，如果已被绑定，则展示上传的内容。

进一步地，审核贴纸内容的过程包括：

用户对于该id的星贴贴编辑完后选择上传到服务器端，审核是否存在敏感内容，如果存在敏感内容，提示用户上传无效，请重新上传；如果不存在敏感内容，则成功上传能够正常浏览内容。

进一步地，进行敏感内容审核的方法包括：

确定待选平台，通过预设的模拟数据对各待选平台进行模拟，获得对应的模拟结果，将获得的模拟结果和对应的待选平台信息整合为平台分析数据，根据获得的平台分析数据确定对应的推荐平台，由管理人员确定对应的内容审核平台；

当需要进行敏感内容审核时，服务器调用内容审核平台审核内容是否存在敏感内容。

进一步地，根据获得的平台分析数据确定对应的推荐平台的方法包括：

对获得的平台分析数据进行分析，获得对应的平台值、精确值和实施值，将获得的平台值、精确值和实施值分别标记为PT、JC和CS，根据优先级公式PV＝b1×PT+b2×JC-b3×CS计算对应的优先值PV，其中，b1、b2、b3均为比例系数，取值范围为0＜b1≤1，0＜b2≤1，0＜b3≤1；将优先值大于阈值X1的待选平台标记为推荐平台。

进一步地，根据用户的敏感内容审核记录，生成对应的敏感分，基于用户对应的敏感分对用户对应上传的内容进行敏感内容审核。

与现有技术相比，本发明的有益效果是：

使用户可以通过手机、平板电脑等移动终端对于笔记本特定内容进行识别，并且提供3D模型、视频、图片以及音频的多种增强展示功能，来帮助用户高效获取笔记本中的信息以及通过加密的方式去保护自己的隐私；AR技术结合文创内容展示，借助计算机技术带来的交互式体验，使得我们的文创产品笔记本展示过程中集合了文字、图片、音频、3D模型内容于一体，使得原本纸质平面上的内容能够转化为可视化的动态三维内容，增加文创内容的互动性与趣味性，让虚拟物体和现实环境共存，将复杂的空间化关系和抽象概念得到可视化，体验原有笔记本不能承载的信息量，用户可以和这些内容进行交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明原理框图；

图2为本发明星贴贴模块流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图2所示，基于增强现实的文本内容增强交互系统，包括：

用户笔记本资产管理模块，用于笔记本激活、修改昵称及查询激活记录；

笔记本封面内容模块，用于AR识别笔记本封面、呈现AR三维内容与动画以及多封面识别的AR交互；

笔记本寄语模块，通过笔记本序列号进行绑定，用户能够和关联笔记本的其他用户进行寄语发送，通过笔记本的扉页识别图进行触发来上传、编辑、浏览他人的寄语内容；

星贴贴模块，利用Vuforia的VuMark方案生成笔记本贴纸，通过Unity端获取摄像头权限后扫描VuMark得到该帖纸序列号，用户可以上传/编辑自定义的文字、图片、音频、视频或者模型内容至服务器端，或者浏览他人上传在该贴纸上的内容；

用户模块，用于用户创建、登录、登出以及修改个人信息；

后台管理模块，用于管理用户账户、用户笔记本、用户星贴贴、笔记本发行、星贴贴发行。

用户笔记本资产管理模块具体包括：

激活笔记本：用户在获得笔记本实物后，可获得一个激活二维码，用于与其电子账户绑定；

修改笔记本昵称：用户在应用内绑定激活对应的笔记本后，为了便于用户辨识管理，可以为该笔记本创建一个昵称，并且随时可以更改；

查询激活记录：用户可查看本账户过往已经激活笔记本的历史记录。

笔记本封面内容模块具体包括：

AR识别笔记本封面：打开笔记本AR扫描模块，使用Vuforia的Image Targets(图像目标)，等待识别数据加载和相机自动对焦完成后，即可识别特定的笔记本封面；

呈现AR三维内容与动画：在笔记本封面识别成功后，该产品专属的AR三维内容会加载并在用户终端以类似吸附于笔记本封面之上的效果呈现，实现AR虚实结合交融的特点；

多封面识别的AR交互：用户可在一个画面中识别多个笔记本封面，若多本笔记本靠近，用户终端会呈现多本笔记本拼合后产生的交互动画与特效。

笔记本寄语模块具体包括：

AR识别封底：软件系统向用户获取摄像头权限后，扫描到位于封底的相应识别图后，根据用户绑定的笔记本id向服务器请求对应的扉页寄语修改记录进行展示；

填写寄语内容：用户调用系统键盘后输入自定义的文字内容，选择上传更新之后将原有的内容迭代，并将记录保存在服务器后台供查看历史寄语功能调用；

查看寄语内容：用户扫描到扉页识别图之后，通过AR效果将最近一次上传的寄语内容覆盖在识别图上进行展示；

同步寄语内容：在用户编辑完寄语内容选择上传之后，通过笔记本id关联关系同步到相关笔记本上，该笔记本用户在查看寄语内容时会看到来自其他用户的内容；

查看历史寄语记录：摄像头检测到封底的识别图之后，向服务器端请求绑定笔记本之间的寄语记录并且向前端发送进行展示。

星贴贴模块具体包括：

扫描贴纸：用户在Unity里加载Vuforia Vumark资源，请求摄像头权限之后打开摄像头等待扫描识别内容；

激活贴纸：摄像头获取到贴纸内容时解析该贴纸的序列号，查询该贴纸是否被用户进行绑定，如果没有用户绑定则绑定至目前扫描的用户id上，如果已被绑定则展示上传的内容；

编辑贴纸内容：当用户扫描到绑定至当前用户的星贴贴时，用户可以编辑上传原有的内容，通过cube交互来选择内容类型，随后进入对应内容的编辑页面进行编辑上传；

审核贴纸内容：用户对于该id的星贴贴编辑完后选择上传到服务器端，服务器调用内容审核平台api审核内容是否存在敏感内容，如果存在敏感内容会提示用户上传无效，请重新上传，如果不存在敏感内容则成功上传能够正常浏览内容。

在一个实施例中，对于敏感内容审核，直接通过人工的方式选择一个现有的内容审核平台进行敏感内容的审核，如使用阿里云内容审核平台api审核内容是否存在敏感内容。

在另一个实施例中，对于敏感内容审核，通过进行智能筛选，推荐合适的内容审核平台供管理人员选择，具体过程如下：

根据在使用过程中可能出现的敏感内容模拟设置对应的模拟数据，即在本领域内模拟设置对应的数据用于进行验证选择；获取当前市面上具有的可选的内容审核平台，标记为待选平台，从各待选平台的可信度、模拟数据验证结果、成本三个角度进行评估，获得对应的平台值、精确值和实施值，平台值主要针对平台本身进行设置的，根据其维护、实力等进行评估，考虑其后续的平台维护、算法升级、服务等角度进行的，精确值是根据模拟数据的敏感内容识别精度进行评估的，实施值是根据成本进行转化而来，通过模拟数据对各待选平台进行模拟评估，获得对应的模拟结果，将获得的模拟结果和待选平台数据整合为平台分析数据，基于CNN网络或DNN网络建立对应的平台分析模型，通过人工的方式建立对应的训练集进行训练，通过训练成功后的平台分析模型对平台分析数据进行分析，获得对应的平台值、精确值和实施值，将获得的平台值、精确值和实施值分别标记为PT、JC和CS，根据优先级公式PV＝b1×PT+b2×JC-b3×CS计算对应的优先值，其中，b1、b2、b3均为比例系数，取值范围为0＜b1≤1，0＜b2≤1，0＜b3≤1；将优先值大于阈值X1的待选平台标记为推荐平台，将推荐平台信息发送给对应的管理人员，由管理人员决定对应使用的内容审核平台。

在一个实施例中，不同用户是具有差异的，对于其上传的内容的审核力度可以进行分级对待，即根据用户的历史数据敏感性审核结果，为每个用户生成一个敏感分，基于用户的敏感分可以采用不同的审核力度进行审核，具体敏感分的分析方法包括：

实时统计用户的敏感数据审核记录，基于CNN网络或DNN网络建立对应的敏感分分析模型，通过人工的方式建立对应的训练集进行训练，通过训练成功后的敏感分分析模型对用户的审核记录进行分析，获得对应的敏感分。

使用户可以通过手机、平板电脑等移动终端对于笔记本特定内容进行识别，并且提供3D模型、视频、图片以及音频的多种增强展示功能，来帮助用户高效获取笔记本中的信息以及通过加密的方式去保护自己的隐私；AR技术结合文创内容展示，借助计算机技术带来的交互式体验，使得我们的文创产品笔记本展示过程中集合了文字、图片、音频、3D模型内容于一体，使得原本纸质平面上的内容能够转化为可视化的动态三维内容，增加文创内容的互动性与趣味性，让虚拟物体和现实环境共存，将复杂的空间化关系和抽象概念得到可视化，体验原有笔记本不能承载的信息量，用户可以和这些内容进行交互。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (10)

1.基于增强现实的文本内容增强交互系统，其特征在于，包括用户笔记本资产管理模块、笔记本封面内容模块、笔记本寄语模块、星贴贴模块、用户模块和后台管理模块；

所述用户笔记本资产管理模块用于笔记本激活、修改昵称及查询激活记录；

所述笔记本封面内容模块用于AR识别笔记本封面、呈现AR三维内容与动画以及多封面识别的AR交互；

所述笔记本寄语模块通过笔记本序列号进行绑定，用户和关联笔记本的其他用户进行寄语发送，通过笔记本的扉页识别图进行触发来上传、编辑、浏览他人的寄语内容；

所述星贴贴模块用于生成笔记本贴纸，通过扫描VuMark得到该帖纸序列号。

2.根据权利要求1所述的基于增强现实的文本内容增强交互系统，其特征在于，笔记本寄语模块具有AR识别封底、填写寄语内容、查看寄语内容、同步寄语内容和查看历史寄语记录的功能。

3.根据权利要求2所述的基于增强现实的文本内容增强交互系统，其特征在于，AR识别封底的过程包括：

向用户获取摄像头权限，扫描位于封底的相应识别图，根据用户绑定的笔记本id向服务器请求对应的扉页寄语修改记录进行展示。

4.根据权利要求2所述的基于增强现实的文本内容增强交互系统，其特征在于，查看寄语内容的过程包括：

用户扫描到扉页识别图之后，通过AR效果将最近一次上传的寄语内容覆盖在识别图上进行展示。

5.根据权利要求1所述的基于增强现实的文本内容增强交互系统，其特征在于，星贴贴模块具有扫描贴纸、激活贴纸、编辑贴纸内容和审核贴纸内容功能。

6.根据权利要求5所述的基于增强现实的文本内容增强交互系统，其特征在于，激活贴纸的过程包括：

摄像头获取到贴纸内容时解析贴纸的序列号，查询贴纸是否被用户进行绑定，如果没有用户绑定，则绑定至目前扫描的用户id上，如果已被绑定，则展示上传的内容。

7.根据权利要求5所述的基于增强现实的文本内容增强交互系统，其特征在于，审核贴纸内容的过程包括：

用户对于该id的星贴贴编辑完后选择上传到服务器端，审核是否存在敏感内容，如果存在敏感内容，提示用户上传无效，请重新上传；如果不存在敏感内容，则成功上传能够正常浏览内容。

8.根据权利要求7所述的基于增强现实的文本内容增强交互系统，其特征在于，进行敏感内容审核的方法包括：

确定待选平台，通过预设的模拟数据对各待选平台进行模拟，获得对应的模拟结果，将获得的模拟结果和对应的待选平台信息整合为平台分析数据，根据获得的平台分析数据确定对应的推荐平台，由管理人员确定对应的内容审核平台；

当需要进行敏感内容审核时，服务器调用内容审核平台审核内容是否存在敏感内容。

9.根据权利要求8所述的基于增强现实的文本内容增强交互系统，其特征在于，根据获得的平台分析数据确定对应的推荐平台的方法包括：

对获得的平台分析数据进行分析，获得对应的平台值、精确值和实施值，将获得的平台值、精确值和实施值分别标记为PT、JC和CS，根据优先级公式PV＝b1×PT+b2×JC-b3×CS计算对应的优先值PV，其中，b1、b2、b3均为比例系数，取值范围为0＜b1≤1，0＜b2≤1，0＜b3≤1；将优先值大于阈值X1的待选平台标记为推荐平台。

10.根据权利要求8所述的基于增强现实的文本内容增强交互系统，其特征在于，根据用户的敏感内容审核记录，生成对应的敏感分，基于用户对应的敏感分对用户对应上传的内容进行敏感内容审核。