CN111797075A - 数据回收方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种数据回收方法、装置、存储介质及电子设备，其中，电子设备可以首先获取需要进行数据回收的异常数据集合，该异常数据集合包括对应目标用户的多个异常数据。然后，电子设备确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，该第一数据集合包括对应相似用户的多个数据，根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估。最后，电子设备根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据，由此提升了异常数据的利用价值，为后续的数据分析任务提供更多可用的数据。

Description

数据回收方法、装置、存储介质及电子设备

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据回收方法、装置、存储介质及电子设备。

背景技术

目前，如何对海量的数据进行数据分析已经成为电子设备不得不面对的考验，而对数据进行数据分析的首要工作就是剔除异常数据，然而，相关技术在对异常数据进行处理时，往往是基于固定的规则来剔除异常数据，被剔除的异常数据中仍然存在着部分可用的正常数据。

发明内容

本申请实施例提供了一种数据回收方法装置、存储介质及电子设备，能够提升异常数据的利用价值。

第一方面，本申请实施例提供了一种数据回收方法，应用于电子设备，该数据回收方法包括：

获取需要进行数据回收的异常数据集合，所述异常数据集合包括对应目标用户的多个异常数据；

确定对应所述目标用户的相似用户，并获取对应所述相似用户的第一数据集合，所述第一数据集合包括对应所述相似用户的多个数据；

根据所述第一数据集合中的数据对所述异常数据集合中各异常数据的异常等级进行量化评估；

根据所述异常数据集合中各异常数据的异常等级，从所述异常数据集合中回收正常数据。

第二方面，本申请实施例提供了一种数据回收装置，应用于电子设备，该数据回收装置包括：

第一获取模块，用于获取需要进行数据回收的异常数据集合，所述异常数据集合包括对应目标用户的多个异常数据；

第二获取模块，用于确定对应所述目标用户的相似用户，并获取对应所述相似用户的第一数据集合，所述第一数据集合包括对应所述相似用户的多个数据；

等级评估模块，用于根据所述第一数据集合中的数据对所述异常数据集合中各异常数据的异常等级进行量化评估；

数据回收模块，用于根据所述异常数据集合中各异常数据的异常等级，从所述异常数据集合中回收正常数据。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请实施例提供的数据回收方法中的步骤。

第四方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请实施例提供的数据回收方法中的步骤。

本申请实施例中，电子设备可以首先获取需要进行数据回收的异常数据集合，该异常数据集合包括对应目标用户的多个异常数据。然后，电子设备确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，该第一数据集合包括对应相似用户的多个数据，根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估。最后，电子设备根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据，由此提升了异常数据的利用价值，为后续的数据分析任务提供更多可用的数据。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的全景感知架构的结构示意图。

图2是本申请实施例提供的数据回收方法的一流程示意图。

图3是本申请实施例提供的数据回收方法的另一流程示意图。

图4是本申请实施例提供的数据回收方法的应用场景示意图。

图5是本申请实施例提供的数据回收装置的一结构示意图。

图6是本申请实施例提供的电子设备的一结构示意图。

图7是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

随着传感器的小型化、智能化，如手机、平板电脑等电子设备集成了越来越多的传感器，比如光线传感器、距离传感器、位置传感器、加速度传感器以及重力传感器，等等。电子设备能够通过其配置的传感器以更小的功耗采集到更多的数据。同时，电子设备在运行过程中还会采集到自身运行状态相关的数据以及用户状态相关的数据，等等。笼统的说，电子设备能够获取到外部环境相关的数据(比如温度、光照、地点、声音、天气等)、用户状态相关的数据(比如姿势、速度、使用习惯、个人基本信息等)以及电子设备状态相关的数据(比如耗电量、资源使用状况、网络状况等)。本申请实施例中，将电子设备能够获取到的这些数据记为全景数据。

本申请实施例中，为了能够对电子设备获取到的这些全景数据进行处理，向用户提供智能服务，提出了一种全景感知架构。请参照图1，图1为本申请实施例提供的全景感知架构的结构示意图，应用于电子设备，其包括由下至上的信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。

作为全景感知架构的最底层，信息感知层用于获取能够描述用户的各类型情景的原始数据，即全景数据。其中，信息感知层由多个用于数据采集的传感器组成，包括但不限于图示的用于检测电子设备与外部物体之间的距离的距离传感器、用于检测电子设备所处环境的磁场信息的磁场传感器、用于检测电子设备所处环境的光线信息的光线传感器、用于检测电子设备的加速度数据的加速度传感器、用于采集用户的指纹信息的指纹传感器、用于感应磁场信息的霍尔传感器、用于检测电子设备当前所处的地理位置的位置传感器、用于检测电子设备在各个方向上的角速度的陀螺仪、用于检测电子设备的运动数据惯性传感器、用于感应电子设备的姿态信息的姿态感应器、用于检测电子设备所处环境的气压的气压计以及用于检测用户的心率信息的心率传感器等。

作为全景感知架构的次底层，数据处理层用于对信息感知层获取到的原始数据进行处理，消除原始数据存在的噪声、不一致等问题。其中，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。

作为全景感知架构的中间层，特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取所述数据中包括的特征。其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。

过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。

作为全景感知架构的次高层，情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。

作为全景感知架构的最高层，智能服务层用于根据情景建模层所构建的模型提供智能化服务。比如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行系统智能优化服务，还可以为用户提供个性化智能服务等。

此外，全景感知架构中还包括算法库，算法库中包括但不限于图示的马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络以及循环神经网络等算法。

基于本申请实施例提供的全景感知架构，本申请实施例提供一种数据回收方法，该数据回收方法的执行主体可以是本申请实施例提供的数据回收装置，或者集成了该数据回收装置的电子设备，其中该数据回收装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

基于本申请实施例所提供的数据回收方法，信息感知层将采集的全景数据提供给数据处理层；数据处理层对来自于信息感知层的全景数据进行处理，过滤出其中的异常数据，构建需要进行数据回收的异常数据集合，利用本申请实施例提供的数据回收方法对前述异常数据集合进行数据回收，扩充正常数据，并将扩充后的正常数据提供给特征抽取层；特征抽取层对来自于数据处理层的正常数据进行特征抽取，得到能够表征前述正常数据的特征，将抽取到的特征提供给情景建模层；情景建模层基于来自于特征抽取层的特征进行建模，利用建模得到的模型来表征电子设备的状态或者用户状态或者环境状态等；最后，智能服务层根据情景建模层所构建的模型提供对应的智能化服务，比如基础应用服务、系统优化服务、个性化服务等。

请参照图2，图2为本申请实施例提供的数据回收方法的流程示意图，该数据回收方法实现于全景感知架构的数据处理层，如图2所示，本申请实施例提供的数据回收方法的流程可以如下：

在101中，获取需要进行数据回收的异常数据集合，异常数据集合包括对应目标用户的多个异常数据。

本申请实施例中，电子设备可以从本地获取需要进行数据回收的异常数据集合，也可以从其它电子设备处获取需要进行数据回收的异常数据集合，还可以从网络获取需要进行数据回收的异常数据集合，等等。其中，异常数据集合包括对应目标用户的多个异常数据。比如，电子设备在从本地获取需要进行数据回收的异常数据集合时，目标用户可以为电子设备的机主。又比如，电子设备在从其它电子设备处获取需要进行数据回收的异常数据集合时，目标用户可以为其它电子设备的机主，等等。

示例性的，存在一其它电子设备(比如手机)，该其它电子设备获取到其外部环境相关的数据(比如温度、光照、地点、声音、天气等)、机主状态相关的数据(比如姿势、速度、使用习惯等)以及自身运行状态相关的数据(比如耗电量、资源使用状况、网络状况等)，即全景数据，并按照预设的异常数据识别策略识别出其中的异常数据，由这些识别出的异常数据构成一异常数据集合。然后，该其它电子设备生成数据回收请求，并将该异常数据集合以及生成的数据回收请求发送至电子设备。相应的，电子设备在接收到该其它电子设备所发送的数据回收请求以及异常数据集合之后，将该来自其它电子设备的异常数据集合作为需要进行数据回收的异常数据集合。

在102中，确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，第一数据集合包括对应相似用户的多个数据。

应当说明的是，从单个用户的角度来看，对应于目标用户的某些数据是异常数据，但是如果联合其他用户的数据来看，这些“异常数据”可能不是异常数据，甚至是非常有价值的数据。因此，在本申请实施例中，电子设备在获取到需要进行数据回收的异常数据集合之后，进一步根据其他用户来对获取到的异常数据集合进行数据回收。

首先，电子设备确定对应目标用户的相似用户，其中，相似用户可以是与目标用户在一个或多个特征维度相似的其他用户。比如，电子设备可以确定与目标用户使用电子设备的使用行为特征相似的其他用户，作为对应目标用户的相似用户。应当说明的是，对于如何确定对应目标用户的相似用户，可由本领域普通技术人员根据实际需要在电子设备进行配置，而确定的相似用户的个数可以为一个，也可以为多个。

在确定对应目标用户的相似用户之后，电子设备进一步获取对应相似用户的第一数据集合，其中，第一数据集合包括对应相似用户的多个数据，即对应该相似用户的全景数据。可以理解的是，对于任一相似用户，其对应的第一数据集合中既包括对其“无价值的异常数据”，又包括对其“有价值的正常数据”。

比如，假设确定的对应目标用户的相似用户分别为用户A、用户B以及用户C，则电子设备获取到的第一数据集合中将包括对应用户A的全景数据、对应用户B的全景数据以及对应用户C的全景数据。

在103中，根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估。

本申请实施例中，电子设备在获取到对应相似用户的第一数据集合之后，进一步根据第一数据集合对异常数据集合中各异常数据的异常等级进行量化评估，得到第一数据集合中各异常数据的异常等级。其中，异常等级的高低从目标用户和相似用户的统一角度反映了异常数据的异常程度，一异常数据的异常等级越高，其可用的价值就越低。

在104中，根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据。

本申请实施例中，电子设备在完成对异常数据集合中各异常数据的异常等级的量化评估之后，进一步根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据。比如，电子设备可以直接将异常数据集合中异常等级最低一级的异常数据作为正常数据回收。

由上可知，在本申请实施例中，电子设备可以首先获取需要进行数据回收的异常数据集合，该异常数据集合包括对应目标用户的多个异常数据。然后，电子设备确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，该第一数据集合包括对应相似用户的多个数据，根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估。最后，电子设备根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据，由此提升了异常数据的利用价值，为后续的数据分析任务提供更多可用的数据。

在一实施例中，“获取需要进行数据回收的异常数据集合”，包括：

(1)获取对应目标用户的第二数据集合，第二数据集合包括对应目标用户的多个数据；

(2)按照预设的异常数据识别策略识别第二数据集合中的异常数据，得到需要进行数据回收的异常数据集合。

本申请实施例中，电子设备在获取需要进行数据回收的异常数据集合时，可以从本地进行获取。其中，电子设备首先获取从本地获取到对应目标用户(比如，电子设备的机主)的第二数据集合，该第二数据集合包括对应目标用户的多个数据，即对应该目标用户的全景数据。可以理解的是，对于该目标用户，其对应的第二数据集合中既包括对其“无价值的异常数据”，又包括对其“有价值的正常数据”。

在获取到对应目标用户的第二数据集合之后，电子设备进一步按照预设的异常数据识别策略识别该第二数据集合中的异常数据，得到一异常数据集合，作为需要进行数据回收的异常数据集合。此外，第二数据集合中除去识别到的异常数据之外的其它数据记为正常数据，这些正常数据构成对应目标用户的正常数据集合。

应当说明的是，本申请实施例中对于异常数据识别策略的具体设置不做限定，可由本领域普通技术人员根据实际需要进行设置。

在一实施例中，“按照预设的异常数据识别策略识别第二数据集合中的异常数据”，包括：

(1)获取第二数据集合中数据的第一均值；

(2)获取第二数据集合中各数据与第一均值的偏离程度；

(3)将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。

本申请实施例提供一种可选的异常数据识别策略，其中，电子设备首先获取第二数据集合中数据的均值，记为第一均值。应当说明的是，电子设备在获取第二数据集合中数据的第一均值时，分别获取第二数据集合中各类型数据的第一均值，比如，第二数据集合包括温度类数据和光照类数据，则电子设备获取第二数据集合中温度类数据的第一均值，以及获取第二数据集合中光照类数据的第一均值。

然后，电子设备进一步获取第二数据集合中各数据与第一均值的偏离程度。应当说明的是，电子设备在获取第二数据集合中各数据与第一均值的偏离程度时，对于第二数据集合中的任一类型数据，电子设备分别获取该类型数据中各数据与该类型数据对应的第一均值的偏离程度。其中，偏离程度可以根据第二数据集合中的数据与对应的第一均值的差值进行描述。

最后，电子设备将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。其中，对于预设偏离程度的取值可由本领域普通技术人员根据实际需要进行设置，本申请实施例对此不做限制。

示例性的，电子设备采用第二数据集合中数据与第一均值的差值的绝对值作为其偏离程度，并将预设偏离程度设置为第一均值的n倍，比如，第二数据集合中共有3类数据，分别为A类数据、B类数据和C类数据，若获取到A类数据、B类数据和C类数据的第一均值分别为i、j、k，则A类数据的预设偏离程度将被设置为n*i，B类数据的预设偏离程度将被设置为n*j，C类数据的预设偏离程度将被设置为n*k。

在一实施例中，“根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估”，包括：

(1)获取第一数据集合中数据的第二均值；

(2)获取异常数据集合中各异常数据与第二均值的偏离程度；

(3)根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。

本申请实施例中，电子设备在根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估时，首先获取第一数据集合中数据的均值，记为第二均值。应当说明的是，电子设备在获取第一数据集合中数据的第二均值时，分别获取第一数据集合中各类型数据的第二均值，比如，第一数据集合包括温度类数据和光照类数据，则电子设备获取第一数据集合中温度类数据的第二均值，以及获取第数据集合中光照类数据的第二均值。

然后，电子设备进一步获取第一数据集合中各数据与第二均值的偏离程度。应当说明的是，电子设备在获取第一数据集合中各数据与第二均值的偏离程度时，对于第一数据集合中的任一类型数据，电子设备分别获取该类型数据中各数据与该类型数据对应的第二均值的偏离程度。其中，偏离程度可以根据第一数据集合中的数据与对应的第二均值的差值进行描述。

最后，电子设备根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。其中，对于偏离程度和异常等级的对应关系可由本领域普通技术人员根据实际需要进行设置，本申请实施例对此不做限制。

示例性的，电子设备采用第一数据集合中数据与第二均值的差值的绝对值作为其偏离程度，并设置四个异常等级，以一类数据为例，将该类数据的第二均值记为m，则偏离程度和异常等级的对应关系可以描述为：

若异常数据的偏离程度位于[0，0.5m)，则将该异常数据的异常等级标记为1；

若异常数据的偏离程度位于[0.5m，m)，则将该异常数据的异常等级标记为2；

若异常数据的偏离程度位于[m，2m)，则将该异常数据的异常等级标记为3；

若异常数据的偏离程度位于[2m，+∞)，则将该异常数据的异常等级标记为4。

在一实施例中，“根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据”，包括：

根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。

本申请实施例中，电子设备在从异常数据集合中回收正常数据时，根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。其中，对于异常数据集合中不同数据类型的异常数据，分类型进行回收。

比如，假设共评估有4个异常等级，分别为异常等级1、异常等级2、异常等级3以及异常等级4，在从异常数据集合中回收正常数据时，以对异常数据集合中以数据类型的异常数据的回收为例。其中，电子设备首先将该数据类型的异常数据中异常等级为1的异常数据作为该数据类型的正常数据回收，然后判断该数据类型的正常数据的数量是否达到对应的预设数量；若未达到，则将该数据类型的异常数据中异常等级为2的异常数据作为该数据类型的正常数据回收，若达到，则停止。以此类推，在将异常等级为2的异常数据回收之后，若该数据类型的正常数据的数量仍未达到对应的预设数量，则可以将该数据类型的异常数据中异常等级为3的异常数据作为该数据类型的的正常数据回收。

在一实施例中，“确定对应目标用户的相似用户”，包括：

(1)获取对应目标用户的特征向量；

(2)基于对应目标用户的特征向量，通过预设聚类算法进行用户聚类，将与目标用户分类相同的其他用户确定为对应目标用户的相似用户。

本申请实施例中，电子设备在确定对应目标用户的相似用户时，首先获取到对应目标用户的特征向量，其中，对于获取何种维度的特征向量，可由本领域普通技术人员根据实际需要预先配置，本申请实施例对此不做具体限制。

在一可选的实施方式中，获取对应目标用户的特征向量，包括：

(1)获取目标用户的身份信息，并对目标用户的身份信息进行向量化处理，得到第一向量；

(2)获取目标用户的社交信息，并对目标用户的社交信息进行向量化处理，得到第二向量；

(3)根据第一向量以及第二向量生成对应目标用户的特征向量。

其中，可以从身份维度和身份维度来对目标用户进行描述，这样，电子设备在获取对应目标用户的特征向量时，可以获取目标用户的身份信息，并对目标用户的身份信息进行向量化处理，得到第一向量，其中，目标用户的身份信息包括但不限于目标用户的性别、年龄、学历等。此外，电子设备还获取目标用户的社交信息，并对目标用户的社交信息进行向量化处理，得到第二向量，其中，目标用户的社交信息包括但不限于好友关系、同事关系、兴趣爱好关系等。

在获取到身份维度的第一向量，以及获取到的社交维度的第二向量之后，电子设备进一步将第一向量和第二向量进行合并，以生成对应目标用户的特征向量，该特征向量从身份维度和社交维度对目标用户进行描述。

应当说明的是，对于如何对目标用户的身份信息/社交信息进行向量化处理，可由本领域普通技术人员根据实际需要预先在电子设备进行配置，比如，可以配置电子设备采用预先训练的自编码器对目标用户的身份信息/社交信息进行向量化处理。

在另一可选的实施方式中，“获取对应目标用户的特征向量”，包括：

(1)获取目标用户对电子设备的历史使用行为信息；

(2)对历史使用行为信息进行向量化处理，得到对应目标用户的特征向量。

其中，可以从目标用户对电子设备的使用行为维度来对目标用户进行描述，这样，电子设备在获取对应目标用户的特征向量时，可以获取目标用户对电子设备的历史使用行为信息，并对获取到的历史使用行为信息进行向量化处理，得到对应目标用户的特征向量，其中，历史使用行为信息包括但不限于描述目标用户在何时使用电子设备的信息、描述目标用户在何地使用电子设备的信息、描述目标用户如何使用电子设备的信息等。

应当说明的是，对于如何对前述历史使用行为信息进行向量化处理，可由本领域普通技术人员根据实际需要预先在电子设备进行配置，比如，可以配置电子设备采用预先训练的自编码器对前述历史使用行为信息进行向量化处理。

本申请实施例中，电子设备在获取到对应目标用户的特征向量之后，进一步根据该目标用户的特征向量，确定对应目标用户的相似用户。

其中，电子设备可以基于对应目标用户的特征向量，通过预设聚类算法进行用户聚类，将与目标用户分类相同的其他用户确定为对应目标用户的相似用户。应当说明的是，对于采用何种聚类算法进行用户聚类，可由本领域普通技术人员根据实际需要预先在电子设备进行配置，本申请实施例对此不做具体限制，比如，本申请实施例中，电子设备可以采用K-Means聚类算法来进行用户聚类。

在其它实施例中，电子设备还可以计算目标用户的特征向量与其他用户的特征向量的余弦相似度，将余弦相似度达到预设余弦相似度的其他用户作为对应目标用户的相似用户。

请结合参照图3和图4，图3为本申请实施例提供的数据回收方法的另一种流程示意图，图4为该数据回收方法的应用场景示意图，该数据回收方法可以应用于电子设备，该数据回收方法的流程可以包括：

在201中，电子设备获取对应目标用户的第二数据集合，第二数据集合包括对应目标用户的多个数据。

本申请实施例中，电子设备首先从本地获取到对应目标用户(比如，电子设备的机主)的第二数据集合，该第二数据集合包括对应目标用户的多个数据，即对应该目标用户的全景数据。可以理解的是，对于该目标用户，其对应的第二数据集合中既包括对其“无价值的异常数据”，又包括对其“有价值的正常数据”。

在202中，电子设备获取第二数据集合中数据的第一均值，以及获取第二数据集合中各数据与第一均值的偏离程度，并将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据，得到需要进行数据回收的异常数据集合。

其中，电子设备首先获取第二数据集合中数据的均值，记为第一均值。应当说明的是，电子设备在获取第二数据集合中数据的第一均值时，分别获取第二数据集合中各类型数据的第一均值，比如，第二数据集合包括温度类数据和光照类数据，则电子设备获取第二数据集合中温度类数据的第一均值，以及获取第二数据集合中光照类数据的第一均值。

然后，电子设备进一步获取第二数据集合中各数据与第一均值的偏离程度。应当说明的是，电子设备在获取第二数据集合中各数据与第一均值的偏离程度时，对于第二数据集合中的任一类型数据，电子设备分别获取该类型数据中各数据与该类型数据对应的第一均值的偏离程度。其中，偏离程度可以根据第二数据集合中的数据与对应的第一均值的差值进行描述。

最后，电子设备将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。其中，对于预设偏离程度的取值可由本领域普通技术人员根据实际需要进行设置，本申请实施例对此不做限制。

示例性的，电子设备采用第二数据集合中数据与第一均值的差值的绝对值作为其偏离程度，并将预设偏离程度设置为第一均值的n倍，比如，第二数据集合中共有3类数据，分别为A类数据、B类数据和C类数据，若获取到A类数据、B类数据和C类数据的第一均值分别为i、j、k，则A类数据的预设偏离程度将被设置为n*i，B类数据的预设偏离程度将被设置为n*j，C类数据的预设偏离程度将被设置为n*k。

在203中，电子设备确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，第一数据集合包括对应相似用户的多个数据。

应当说明的是，从单个用户的角度来看，对应于目标用户的某些数据是异常数据，但是如果联合其他用户的数据来看，这些“异常数据”可能不是异常数据，甚至是非常有价值的数据。因此，在本申请实施例中，电子设备在获取到需要进行数据回收的异常数据集合之后，进一步根据其他用户来对获取到的异常数据集合进行数据回收。

首先，电子设备确定对应目标用户的相似用户，其中，相似用户可以是与目标用户在一个或多个特征维度相似的其他用户。比如，电子设备可以确定与目标用户使用电子设备的使用行为特征相似的其他用户，作为对应目标用户的相似用户。应当说明的是，对于如何确定对应目标用户的相似用户，可由本领域普通技术人员根据实际需要在电子设备进行配置，而确定的相似用户的个数可以为一个，也可以为多个。

在确定对应目标用户的相似用户之后，电子设备进一步获取对应相似用户的第一数据集合，其中，第一数据集合包括对应相似用户的多个数据，即对应该相似用户的全景数据。可以理解的是，对于任一相似用户，其对应的第一数据集合中既包括对其“无价值的异常数据”，又包括对其“有价值的正常数据”。

比如，假设确定的对应目标用户的相似用户分别为用户A、用户B以及用户C，则电子设备获取到的第一数据集合中将包括对应用户A的全景数据、对应用户B的全景数据以及对应用户C的全景数据。

在204中，电子设备获取第一数据集合中数据的第二均值，以及获取异常数据集合中各异常数据与第二均值的偏离程度，并根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。

本申请实施例中，电子设备在根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估时，首先获取第一数据集合中数据的均值，记为第二均值。应当说明的是，电子设备在获取第一数据集合中数据的第二均值时，分别获取第一数据集合中各类型数据的第二均值，比如，第一数据集合包括温度类数据和光照类数据，则电子设备获取第一数据集合中温度类数据的第二均值，以及获取第数据集合中光照类数据的第二均值。

然后，电子设备进一步获取第一数据集合中各数据与第二均值的偏离程度。应当说明的是，电子设备在获取第一数据集合中各数据与第二均值的偏离程度时，对于第一数据集合中的任一类型数据，电子设备分别获取该类型数据中各数据与该类型数据对应的第二均值的偏离程度。其中，偏离程度可以根据第一数据集合中的数据与对应的第二均值的差值进行描述。

最后，电子设备根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。其中，对于偏离程度和异常等级的对应关系可由本领域普通技术人员根据实际需要进行设置，本申请实施例对此不做限制。

示例性的，电子设备采用第一数据集合中数据与第二均值的差值的绝对值作为其偏离程度，并设置四个异常等级，以一类数据为例，将该类数据的第二均值记为m，则偏离程度和异常等级的对应关系可以描述为：

若异常数据的偏离程度位于[0，0.5m)，则将该异常数据的异常等级标记为1；

若异常数据的偏离程度位于[0.5m，m)，则将该异常数据的异常等级标记为2；

若异常数据的偏离程度位于[m，2m)，则将该异常数据的异常等级标记为3；

若异常数据的偏离程度位于[2m，+∞)，则将该异常数据的异常等级标记为4。

在205中，电子设备根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。

本申请实施例中，电子设备在从异常数据集合中回收正常数据时，根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。其中，对于异常数据集合中不同数据类型的异常数据，分类型进行回收。

比如，假设共评估有4个异常等级，分别为异常等级1、异常等级2、异常等级3以及异常等级4，在从异常数据集合中回收正常数据时，以对异常数据集合中以数据类型的异常数据的回收为例。其中，电子设备首先将该数据类型的异常数据中异常等级为1的异常数据作为该数据类型的正常数据回收，然后判断该数据类型的正常数据的数量是否达到对应的预设数量；若未达到，则将该数据类型的异常数据中异常等级为2的异常数据作为该数据类型的正常数据回收，若达到，则停止。以此类推，在将异常等级为2的异常数据回收之后，若该数据类型的正常数据的数量仍未达到对应的预设数量，则可以将该数据类型的异常数据中异常等级为3的异常数据作为该数据类型的的正常数据回收。

本申请实施例还提供一种数据回收装置。请参照图5，图5为本申请实施例提供的数据回收装置的结构示意图。其中该数据回收装置应用于电子设备，该数据回收装置包括第一获取模块301、第二获取模块302、等级评估模块303以及数据回收模块304，如下：

第一获取模块301，用于获取需要进行数据回收的异常数据集合，异常数据集合包括对应目标用户的多个异常数据；

第二获取模块302，用于确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，第一数据集合包括对应相似用户的多个数据；

等级评估模块303，用于根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估；

数据回收模块304，用于根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据。

在一实施例中，在获取需要进行数据回收的异常数据集合时，第一获取模块301可以用于：

获取对应目标用户的第二数据集合，第二数据集合包括对应目标用户的多个数据；

按照预设的异常数据识别策略识别第二数据集合中的异常数据，得到需要进行数据回收的异常数据集合。

在一实施例中，在按照预设的异常数据识别策略识别第二数据集合中的异常数据时，第一获取模块301可以用于：

获取第二数据集合中数据的第一均值；

获取第二数据集合中各数据与第一均值的偏离程度；

将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。

在一实施例中，在根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估时，等级评估模块303可以用于：

获取第一数据集合中数据的第二均值；

获取异常数据集合中各异常数据与第二均值的偏离程度；

根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。

在一实施例中，在根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据时，数据回收模块304可以用于：

根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。

在一实施例中，在确定对应目标用户的相似用户时，第二获取模块302可以用于：

获取对应目标用户的特征向量；

基于对应目标用户的特征向量，通过预设聚类算法进行用户聚类，将与目标用户分类相同的其他用户确定为对应目标用户的相似用户。

在一实施例中，在获取对应目标用户的特征向量时，第二获取模块302可以用于：

获取目标用户对电子设备的历史使用行为信息；

对历史使用行为信息进行向量化处理，得到对应目标用户的特征向量。

在一实施例中，在获取对应目标用户的特征向量时，第二获取模块302可以用于：

获取目标用户的身份信息，并对目标用户的身份信息进行向量化处理，得到第一向量；

获取目标用户的社交信息，并对目标用户的社交信息进行向量化处理，得到第二向量；

根据第一向量以及第二向量生成对应目标用户的特征向量。

应当说明的是，本申请实施例提供的数据回收装置与上文实施例中的数据回收方法属于同一构思，在数据回收装置上可以运行数据回收方法实施例中提供的任一方法，其具体实现过程详见数据回收方法实施例，此处不再赘述。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执行时，使得计算机执行如本实施例提供的数据回收方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)或者随机存取器(Random Access Memory，RAM)等。

本申请实施例还提供一种电子设备，包括存储器，处理器，处理器通过调用存储器中存储的计算机程序，执行本实施例提供的数据回收方法中的步骤。

在一实施例中，还提供一种电子设备。请参照图6，电子设备包括处理器401以及存储器402。其中，处理器401与存储器402电性连接。

处理器401是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能并处理数据。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

在本申请实施例中，电子设备中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取需要进行数据回收的异常数据集合，异常数据集合包括对应目标用户的多个异常数据；

确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，第一数据集合包括对应相似用户的多个数据；

根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估；

根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据。

请参照图7，图7为本申请实施例提供的电子设备的另一结构示意图，与图6所示电子设备的区别在于，电子设备还包括输入单元403和输出单元404等组件。

其中，输入单元403可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元404可用于显示由用户输入的信息或提供给用户的信息，如屏幕。

在本申请实施例中，电子设备中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401运行存储在存储器402中的计算机程序，从而实现各种功能，如下：

获取需要进行数据回收的异常数据集合，异常数据集合包括对应目标用户的多个异常数据；

确定对应目标用户的相似用户，并获取对应相似用户的第一数据集合，第一数据集合包括对应相似用户的多个数据；

根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估；

根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据。

在一实施例中，在获取需要进行数据回收的异常数据集合时，处理器401可以执行：

获取对应目标用户的第二数据集合，第二数据集合包括对应目标用户的多个数据；

按照预设的异常数据识别策略识别第二数据集合中的异常数据，得到需要进行数据回收的异常数据集合。

在一实施例中，在按照预设的异常数据识别策略识别第二数据集合中的异常数据时，处理器401可以执行：

获取第二数据集合中数据的第一均值；

获取第二数据集合中各数据与第一均值的偏离程度；

将第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。

在一实施例中，在根据第一数据集合中的数据对异常数据集合中各异常数据的异常等级进行量化评估时，处理器401可以执行：

获取第一数据集合中数据的第二均值；

获取异常数据集合中各异常数据与第二均值的偏离程度；

根据异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定异常数据集合中各异常数据的异常等级。

在一实施例中，在根据异常数据集合中各异常数据的异常等级，从异常数据集合中回收正常数据时，处理器401可以执行：

根据异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从异常数据集合中回收正常数据。

在一实施例中，在确定对应目标用户的相似用户时，处理器401可以执行：

获取对应目标用户的特征向量；

基于对应目标用户的特征向量，通过预设聚类算法进行用户聚类，将与目标用户分类相同的其他用户确定为对应目标用户的相似用户。

在一实施例中，在获取对应目标用户的特征向量时，处理器401可以执行：

获取目标用户对电子设备的历史使用行为信息；

对历史使用行为信息进行向量化处理，得到对应目标用户的特征向量。

在一实施例中，在获取对应目标用户的特征向量时，处理器401可以执行：

获取目标用户的身份信息，并对目标用户的身份信息进行向量化处理，得到第一向量；

获取目标用户的社交信息，并对目标用户的社交信息进行向量化处理，得到第二向量；

根据第一向量以及第二向量生成对应目标用户的特征向量。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的数据回收方法属于同一构思，在电子设备上可以运行数据回收方法实施例中提供的任一方法，其具体实现过程详见数据回收方法实施例，此处不再赘述。

应当说明的是，对本申请实施例的数据回收方法而言，本领域普通技术人员可以理解实现本申请实施例的数据回收方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如数据回收方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的数据回收装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种数据回收方法、模型训练方法、装置、存储介质及设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据回收方法，应用于电子设备，其特征在于，包括：

获取需要进行数据回收的异常数据集合，所述异常数据集合包括对应目标用户的多个异常数据；

确定对应所述目标用户的相似用户，并获取对应所述相似用户的第一数据集合，所述第一数据集合包括对应所述相似用户的多个数据；

根据所述第一数据集合中的数据对所述异常数据集合中各异常数据的异常等级进行量化评估；

根据所述异常数据集合中各异常数据的异常等级，从所述异常数据集合中回收正常数据。

2.根据权利要求1所述的数据回收方法，其特征在于，所述获取需要进行数据回收的异常数据集合，包括：

获取对应所述目标用户的第二数据集合，所述第二数据集合包括对应所述目标用户的多个数据；

按照预设的异常数据识别策略识别所述第二数据集合中的异常数据，得到所述异常数据集合。

3.根据权利要求2所述的数据回收方法，其特征在于，所述按照预设的异常数据识别策略识别所述第二数据集合中的异常数据，包括：

获取所述第二数据集合中数据的第一均值；

获取所述第二数据集合中各数据与所述第一均值的偏离程度；

将所述第二数据集合中偏离程度达到预设偏离程度的数据确定为异常数据。

4.根据权利要求1所述的数据回收方法，其特征在于，所述根据所述第一数据集合中的数据对所述异常数据集合中各异常数据的异常等级进行量化评估，包括：

获取所述第一数据集合中数据的第二均值；

获取所述异常数据集合中各异常数据与所述第二均值的偏离程度；

根据所述异常数据集合中各异常数据的偏离程度以及预设的偏离程度和异常等级的对应关系，确定所述异常数据集合中各异常数据的异常等级。

5.根据权利要求1-4任一项所述的数据回收方法，其特征在于，所述根据所述异常数据集合中各异常数据的异常等级，从所述异常数据集合中回收正常数据，包括：

根据所述异常数据集合中各异常数据的异常等级，按照异常等级由低至高的顺序从所述异常数据集合中回收正常数据。

6.根据权利要求1-4任一项所述的数据回收方法，其特征在于，所述确定对应所述目标用户的相似用户，包括：

获取对应所述目标用户的特征向量；

基于所述特征向量，通过预设聚类算法进行用户聚类，将与所述目标用户分类相同的其他用户确定为对应所述目标用户的相似用户。

7.根据权利要求6所述的数据回收方法，其特征在于，所述获取对应所述目标用户的特征向量，包括：

获取所述目标用户对所述电子设备的历史使用行为信息；

对所述历史使用行为信息进行向量化处理，得到所述特征向量。

8.一种数据回收装置，应用于电子设备，其特征在于，包括：

第一获取模块，用于获取需要进行数据回收的异常数据集合，所述异常数据集合包括对应目标用户的多个异常数据；

第二获取模块，用于确定对应所述目标用户的相似用户，并获取对应所述相似用户的第一数据集合，所述第一数据集合包括对应所述相似用户的多个数据；

等级评估模块，用于根据所述第一数据集合中的数据对所述异常数据集合中各异常数据的异常等级进行量化评估；

数据回收模块，用于根据所述异常数据集合中各异常数据的异常等级，从所述异常数据集合中回收正常数据。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的数据回收方法。

10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的数据回收方法。

Images