CN111104827A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及可读存储介质，属于图像处理技术领域。该方法包括：获取待处理的用户图像；检测用户图像中用户的人体关键点的关键点信息；根据人体关键点的关键点信息，确定用户图像中用户的肢体动作；根据肢体动作所对应的特效，对用户图像进行相应的特效处理。通过本公开的方案，能够基于用户图像中用户的肢体动作，对用户图像进行相应的特效处理，从而使得所添加的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对图像进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

Description

图像处理方法、装置、电子设备及可读存储介质

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着人们生活水平的提高，终端应用程序已经成为人们生活不可或缺的一部分。为了满足人们的使用需求，应用程序的功能也在不断强大，应用的交互式功能也已经成为应用程序的常用功能之一。

目前，用户已经能够随时随地通过应用程序进行图像拍摄或发布。为使图像的显示效果更加丰富、更加与众不同，用户可以通过对图像增加特效。现有技术中，特效的增加，通常是基于选择预先设定好的特效对图像增进行相应处理，该方式中，用户不能够很好的参与到特效的添加过程中，用户的体验较差，不能够很好的满足用户的实际应用需求。

发明内容

本公开的目的旨在至少能能够解决上述的技术缺陷之一。本公开所采用的技术方案如下：

第一方面，本公开提供了一种图像处理方法，该方法包括：

获取待处理的用户图像；

检测用户图像中用户的人体关键点的关键点信息；

根据人体关键点的关键点信息，确定用户图像中用户的肢体动作；

根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

在第一方面的一种可选实施方式中，根据肢体动作所对应的特效，对用户图像进行相应的特效处理之前，还包括：

根据预配置的动作与特效的对应关系，确定肢体动作所对应的特效。

在第一方面的一种可选实施方式中，检测用户图像中用户的人体关键点的关键点信息，包括：

确定用户图像中所包括的用户的人体部位；

根据人体部位，检测用户图像中人体部位对应的人体关键点的关键点信息。

在第一方面的一种可选实施方式中，该方法还包括：

将用户的其它人体关键点的关键点信息设置为预配置的第一默认值，其它人体关键点为人体部位所对应的人体关键点之外的人体关键点。

在第一方面的一种可选实施方式中，若存在未检测到的人体关键点的关键点信息，该方法还包括：

将未检测到的人体关键点的关键点信息设置为预配置的第二默认值；

或者，

根据检测到的人体关键点的关键点信息，确定未检测到的人体关键点的关键点信息。

在第一方面的一种可选实施方式中，人体关键点的关键点信息包括关键点的位置，或者，包括关键点的位置和关键点的可见性。

在第一方面的一种可选实施方式中，根据人体关键点的关键点信息，确定用户图像中用户的肢体动作，包括：

将人体关键点的关键点信息输入到预配置的动作识别模型，基于动作识别模型的输出，得到用户的肢体动作。

在第一方面的一种可选实施方式中，将人体关键点的关键点信息输入到预配置的动作识别模型之前，还包括：

根据预配置的数据处理方式，对人体关键点的关键点信息进行相应的预处理。。

在第一方面的一种可选实施方式中，用户图像为实时录制的用户视频中的当前视频帧图像，或者为本地存储的用户图像。

在第一方面的一种可选实施方式中，若用户图像为实时录制的用户视频中的当前视频帧图像，根据肢体动作所对应的特效，对用户图像进行相应的特效处理，包括：

确定用户视频中的指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，其中，指定视频帧图像为当前视频帧图像之前和/或之后的、且帧数等于设定值的连续的视频帧图像；

若指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，与当前视频帧图像中用户的肢体动作相同，则根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

在第一方面的一种可选实施方式中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

第二方面，本公开提供了一种图像处理装置，该装置包括：

待处理图像获取模块，用于获取待处理的用户图像，用户图像中包括用户；

关键点检测模块，用于检测用户图像中用户的人体关键点的关键点信息；

用户动作识别模块，用于根据人体关键点的关键点信息，确定用户图像中用户的肢体动作；

特效处理模块，用于根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

在第二方面的一种可选实施方式中，特效处理模块还用于：

根据预配置的动作与特效的对应关系，确定肢体动作所对应的特效。

在第二方面的一种可选实施方式中，关键点检测模块具体用于：

确定用户图像中所包括的用户的人体部位；

根据人体部位，检测用户图像中人体部位对应的人体关键点的关键点信息。

在第二方面的一种可选实施方式中，关键点检测模块还用于：

将用户的其它人体关键点的关键点信息设置为预配置的第一默认值，其它人体关键点为人体部位所对应的人体关键点之外的人体关键点。

在第二方面的一种可选实施方式中，关键点检测模块还用于：

在存在未检测到的人体关键点的关键点信息时，将未检测到的人体关键点的关键点信息设置为预配置的第二默认值，或者，根据检测到的人体关键点的关键点信息，确定未检测到的人体关键点的关键点信息。

在第二方面的一种可选实施方式中，人体关键点的关键点信息包括关键点的位置，或者，包括关键点的位置和关键点的可见性。

在第二方面的一种可选实施方式中，用户动作识别模块具体用于：

将人体关键点的关键点信息输入到预配置的动作识别模型，基于动作识别模型的输出，得到用户的肢体动作。

在第二方面的一种可选实施方式中，用户动作识别模块还用于：

在将人体关键点的关键点信息输入到预配置的动作识别模型之前，根据预配置的数据预处理方式，对人体关键点的关键点信息进行相应的预处理。

在第二方面的一种可选实施方式中，用户图像为实时录制的用户视频中的当前视频帧图像，或者为本地存储的用户图像。

在第二方面的一种可选实施方式中，特效处理模块具体用于：

在用户图像为实时录制的用户视频中的当前视频帧图像时，确定用户视频中的指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，其中，指定视频帧图像为当前视频帧图像之前和/或之后的、且帧数等于设定值的连续的视频帧图像；

若指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，与当前视频帧图像中用户的肢体动作相同，则根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

在第二方面的一种可选实施方式中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

第三方面，本公开提供了一种电子设备，包括存储器和处理器；

存储器中存储有计算机程序指令；

处理器，用于读取计算机程序指令，以执行本公开第一方面或第一方面的任一可选实施方式中所示的视频生成方法。

第四方面，本公开提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当计算机程序指令被处理器执行时，处理器实现本公开第一方面或第一方面任一可选实施方式中所示的视频生成方法。

本公开提供的技术方案带来的有益效果是：本公开提供的图像处理方法、装置、电子设备及可读存储介质，能够基于用户图像中用户的肢体动作，对用户图像进行相应的特效处理，从而使得所添加的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对图像进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。

图1示出了本公开实施例中提供的一种图像处理方法的流程示意图；

图2示出了本公开实施例中提供的一种图像处理装置的结构示意图；

图3示出了本公开实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其它元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

图1示出了本公开一实施例中提供的一种图像处理方法的流程示意图，如图1所示，该方法具体可以由终端设备或服务器执行，该方法主要可以包括以下步骤：

步骤S110：获取待处理的用户图像；

本公开的实施例中，用户图像中包括用户，是指包括用户的部分或全部身体(肢体)部位的图像。可以理解的是，身体部位主要可以包括头部、颈部、躯干、四肢等部位。

步骤S120：检测用户图像中用户的人体关键点的关键点信息；

步骤S130：根据人体关键点的关键点信息，确定用户图像中用户的肢体动作；

其中，肢体动作可以是指用户的身体部位中任一身体部位的动作，如用户的头部动作、手部动作、腿部动作或躯干的动作等等。

步骤S140：根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

本公开提供的图像处理方法，能够基于用户图像中用户的肢体动作，对用户图像进行相应的特效处理，从而使得所添加的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对图像进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

本公开的实施例中，根据肢体动作所对应的特效，对用户图像进行相应的特效处理之前，还包括：

根据预配置的动作与特效的对应关系，确定肢体动作所对应的特效。

在实际应用中，可以根据实际应用需求，预配置不同的肢体动作与对应的特效的对应关系，在检测到用户图像中用户的某一具体肢体动作时，可以根据该对应关系，确定出该具体肢体动作所对应的特效，从而基于该特效对用户图像进行相应的处理。

可以理解的是，不同的肢体动作与对应的特效的对应关系的细化程度是可以配置的，也就是说，动作的细化粒度是可以根据需要配置的。例如，一种可选方式中，动作与特效的对应关系可以包括多个指定头部动作与某一特效的对应关系，多个上肢动作与某一特效的对应关系等；在另一种可选的方式中，动作与特效的对应关系还可以进一步细化，例如，动作与特效的对应关系可以包括，一个指定头部动作与一个特效的对应关系，另一个指定头部动作与另一个特效的对应关系等。

需要说明的是，在实际应用中，如果根据预配置的动作与特效的对应关系，未能够确定出用户的人肢动作所对应的特效，则可以根据预配置的处理规则，对用户图像进行相应处理，其中，处理规则可以根据需要进行配置。例如，在一可选方式中，处理规则可以是不对用户图像进行处理，也可以向用户提供相应的提示信息，如在用户界面显示“未检测到符合条件的动作”等提示信息，以使用户能够根据提示信息进行相应的操作或动作。

本公开的可选实施例中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

在实际应用中，具体需要检测哪些人体特征点，可以根据应用需要和应用场景，通过上述关键点配置参数进行配置。例如，在一可选方案中，需要检测的人体关键点可以包括上述19个关键点，也可以是上述人体关键点中的某些关键点。可以理解的是，所配置的需要检测的人体关键点至少可以确定出用户的至少一个身体部位的肢体动作。

其中，上述指定关键点的配置参数用于指示具体需要检测的人体关键点，关键点数量用于指示需要检测的关键点的数量。可以理解的是，关键点的数量不大于用于指定关键点的配置参数所对应的关键点的个数，也就是说，关键点数量不大于指定的需要检测的所有关键点的数量。例如，指定关键点的配置参数所指示的需要检测的人体关键点包括左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点和左腰关键点，共13个关键点，则关键点数量的配置参数所指示的关键点数量不大于13，在关键点数量的配置参数所指示的关键点数量小于13时，可以随机检测13个关键点中对应数量的关键点，也可以根据其它预设的配置信息，检测指定的13个关键点中对应的关键点。

本公开的可选实施例中，检测用户图像中用户的人体关键点的关键点信息，包括：

确定用户图像中所包括的用户的人体部位；

根据人体部位，检测用户图像中人体部位对应的人体关键点的关键点信息。

在实际应用中，为了提高图像处理的效率，减少图像处理对终端设备的资源消耗，在进行人体关键点的关键点信息的检测之前，可以确定用户图像中所包括的用户的人体部位，从而在检测人体关键点的关键点信息时，可以只对图像中所包括的人体部位的人体关键点进行检测。例如，如果用户图像中只包括用户的身体的局部，例如上半身部位，则在检测时，可以只检测上半身部位所对应的人体关键点。其中，上半身部分的具体限定可以根据需要设置，也就是说，上半身所对应的人体部位的范围可以根据需要设置。

本公开的可选实施例中，该图像处理方法还可以包括：

将用户的其它人体关键点的关键点信息设置为预配置的第一默认值，其它人体关键点为人体部位所对应的人体关键点之外的人体关键点。

在实际应用中，在上述只需要检测用户图像中包括的用户的人体部位对应的人体关键点的关键点信息的方案中，可以基于这些检测出的人体关键点的关键点信息，确定用户图像中的用户肢体动作，也可以将用户图像中包括的用户的人体部位对应的人体关键点之外的人体关键点的关键点信息设置为默认值，基于检测出的人体关键点和设定为默认值的人体关键点，确定用户图像中用户的肢体动作。

例如，用户图像中包括的用户的人体部位为用户的上半身部位，如果需要加检测的人体关键点除上半身部位对应的关键点(如左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点等等)之外的其它关键点(如左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点等)，则可以在确定用户的肢体动作时，不采用这些其它关键点，或者将这些其它关键点的关键点信息设置为默认值。

本公开的可选实施例中，若存在未检测到的人体关键点的关键点信息，该图像处理方法还包括：

将未检测到的人体关键点的关键点信息设置为预配置的第二默认值；

或者，

根据检测到的人体关键点的关键点信息，确定未检测到的人体关键点的关键点信息。

由于不同的人体关键点之间具体一定的对应关系，不同人体关键点的之间的相对位置或距离通常是在一定范围内的，例如，耳部关键点(左耳关键点或右耳关键点)与鼻子关键点之间相对位置关系一般是相对固定的，因此，可以预配置两者之间的相对位置关系，在检测到耳部关键点和鼻子关键点中的其中一个关键点的关键点信息时，则可以根据两者间的相对位置关系，确定出另一个关键点的关键点信息。因此，可以根据某些已检测到的人体关键点的关键点信息以及预配置的不同关键点之间的关联关系，确定某些未能够检测到的人体关键点的关键点信息。

在实际应用中，如果某个或某些需要检测人体关键点的关键点信息未检测到，则可以将这些未检测到的人体关键点的关键点信息设置为默认值，或者是根据已经检测到的人体关键点的关键点信息确定这些未检测到的人体关键点的信息。例如，在进行用户的肢体动作识别时，配置需要10个特定(预配置)的人体关键点的关键点信息，如果在用户图像中只检测出8个特定的人体关键点的关键点信息，则可以将另外2个特定的人体关键点的关键点信息设置为默认值，或者，根据检测到的8个特定的人体关键点的关键点信息中的一个或多个人体关键点的关键点信息，计算得到另外2个特定的人体关键点的关键点信息。

可以理解的是，上述第一默认值和第二默认值可以相同，也可以不同。

本公开的可选实施例中，人体关键点的关键点信息包括关键点的位置，或者，包括关键点的位置和关键点的可见性。

其中，关键点的位置即为关键点在用户图像中的坐标，关键点的可见性即为关键点是否能够在用户图像中检测到，若能够检测到，则可见性为可若不能够检测到，则可见性为不可见。在实际应用中，所需要检测的关键点信息可以根据需要配置为只需要检测关键点的位置，还是检测关键点的位置和可见性。

可以理解的是，在关键点信息包括关键点的位置和关键点的可见性时，在上述将人体关键点的关键点信息设置为第一默认值或第二默认值时，可以只是将关键点的位置设置为默认值，也可以是将关键点的位置和关键点的可见性设置为默认值。例如，对于未检测到的人体关键点，其位置信息可以设置为默认值，如位置坐标为(0,0)，可见性为不可见或不可见所对应的标识，当然，可见性也可以设置为默认值，如可见性可以设置为0。

需要说明的是，在实际应用中，在检测人体关键点的位置即在用户图像中的坐标时，坐标原点的具体位置可以根据实际需要配置。

本公开的可选实施例中，根据人体关键点的关键点信息，确定用户图像中用户的肢体动作，包括：

将人体关键点的关键点信息输入到预配置的动作识别模型，基于动作识别模型的输出，得到用户的肢体动作。

其中，动作识别模型为基于大量的训练数据(包括大量的人体关键点的关键点信息和对应的肢体动作信息)，通过训练得到的、用于基于人体关键点的关键点信息进行用户的肢体动作的识别模型，即用户肢体动作的分类模型，其输入为人体关键点的关键点信息，输出为肢体动作的标识信息。

在实际应用中，动作识别模型可以根据需要配置，在一可选方案中，该动作识别模型可以为卷积神经网络，也可以为深度学习网络或其它分类模型。

本公开的可选实施例中，将人体关键点的关键点信息输入到预配置的动作识别模型之前，还可以包括：

根据预配置的数据预处理方式，对人体关键点的关键点信息进行相应的预处理。

其中，上述数据预处理方式可以以下中的至少一项：

根据动作识别模型所对应的输入数据格式，对人体关键点的关键点信息进行相应的格式转换；

将人体关键点的关键点信息进行平滑处理。

其中，根据动作识别模型所对应的输入数据格式，对人体关键点的关键点信息进行相应的格式转换，可以包括以下中的一项或多项：

a.根据预配置的关键点顺序，将人体关键点的关键点信息进行排序；

b.根据指定的原点位置和指定的归一化尺寸，对获取到所有关键点信息中的关键点位置进行归一化处理。

在实际应用中，由于不同的动作识别模型所对应的输入数据的格式可能不同，因此，在实际应用中，若检测到的人体关键点的关键点信息的格式与动作识别模型所能够识别的数据格式不同时，需要将人体关键点的关键点信息转换为动作识别模型所能够识别的数据格式，将转换后的关键点信息输入至动作识别模型，根据动作识别模型的输出，得到用户的肢体动作。

对于上述方式a，在实际应用中，在基于训练数据训练得到动作识别模型时，在将训练数据中的每组人体关键点的关键点信息输入至模型中时，可以是根据上述关键点顺序依次输入至模型中。相对应的，在通过训练得到的动作识别模型对待处理的用户图像中的人体关键点的关键点信息进行识别，得到用户的肢体动作时，可以先根据该关键点顺序，对人体关键点的关键点信息进行排序，再将排序后的人体关键点的关键点信息输入至该模型时，以提高肢体动作的识别准确度。例如，在一示例中，在进行动作识别模型的训练时，是基于用户图像中用户的左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点和右手腕关键点等关键点的关键点信息进行训练的，在训练时，每一帧用户图像中的关键点的关键点信息输入的顺序为左肩关键点的关键点信息、右肩关键点的关键点信息、左手肘关键点的关键点信息、右手肘关键点的关键点信息、左手腕关键点的关键点信息和右手腕关键点的关键点信息，则在进行用户的肢体工作识别时，可以将检测到的关键点的关键点信息按照上述输入顺序进行排序。

对于上述方式b，为了实现数据的空间归一化处理。在实际应用中，可以采用线性归一化的处理方式，例如，可以通过刚体变换的方式，基于预先确定的原点和归一化尺寸，对关键点信息进行空间归一化处理。作为一个示例，如可以指定图像中用户的鼻子关键点为原点，鼻子关键点与耳部关键点的距离作为归一化尺寸，具体可以将鼻子关键点与耳部关键点的距离归一化为1，则其他人体关键点的位置可以根据人体关键点的位置与原点之间的距离，以及上述归一化尺寸，得到人体关键点的位置所对应的归一化数据，如鼻子关键点与耳部关键点的距离为10厘米，某一人体关键点与鼻子关键点的距离为20厘米，则该关键点对应的归一化数据为2。

对于数据的平滑处理，即上述将人体关键点的关键点信息进行平滑处理的方式，在实际应用中，对于关键点信息进行平滑处理的具体方式，可以根据实际需要配置。

本公开的可选实施例中，用户图像为实时录制的用户视频中的当前视频帧图像，或者为本地存储的用户图像。

也就是说，用户图像可以是实时拍摄的包括用户部位的图像，也可以是终端设备本地存储的用户图像。其中，本地存储的用户图像可以是一张用户图像，或者，是本地存储的用户视频中的一帧视频帧图像。

本公开的可选实施例中，若用户图像为实时录制的用户视频中的当前视频帧图像，根据肢体动作所对应的特效，对用户图像进行相应的特效处理，包括：

确定用户视频中的指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，其中，指定视频帧图像为当前视频帧图像之前和/或之后的、且帧数等于设定值的连续的视频帧图像；

若指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，与当前视频帧图像中用户的肢体动作相同，则根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

本公开的实施例中，在用户图像为实时录制的用户视频中的当前视频帧图像时，由于较短的设定时间内，可以获取到多帧的用户图像，多帧连续的用户图像中用户肢体动作发生变化的概率一般较小，因此，为了提高用户肢体动作识别的准确性，确定出当前视频帧图像中用户肢体动作后，在根据该肢体动作对应的特效对用户图像进行相应的处理之前，可以再进一步确定出该图像之前和/或之后的若干帧视频帧图像中的每一帧视频帧图像中用户的肢体动作是否与当前视频帧图像中的肢体动作相同，在相同时，对当前视频帧图像进行相应的特效处理，在不相同时，可以根据预配置的处理方式进行相应的处理，其中，处理方式可以根据需要配置，如可以不对用户图像进行特效处理，也可以根据预配置的特效进行处理等。也就是说，可以基于与当前视频帧图像连续的多帧图像中的用户的肢体动作对用户图像进行特效处理。

其中，在实际应用中，指定视频帧图像的帧数即上述设定值可以根据需要配置。指定视频帧图像具体是当前视频帧图像之前的图像，还是当前视频帧之后的图像，抑或是当前视频图像之前的图像和当前视频帧图像之后的图像，也可以根据需要配置。

可选的，在实际应用中，在对当前视频帧图像进行相应的特效处理时，还可以对上述指定视频帧图像也进行相应的特效处理。

其中，作为一个示例，指定视频帧图像的设定值为5，指定视频帧图像为当前视频帧之后的图像，在确定当前视频帧图像的中用户的肢体动作为动作A时，如果该当前视频帧图像之后的连续5帧图像中的每一帧视频帧图像中的用户的肢体动作均为动作A，则根据动作A所对应的特效，其中，还可以对当前视频帧图像和该图像之后的5帧图像均进行相应的特效处理。

基于与图1中所示的方法相同的原理，本公开实施例中还提供了一种图像处理装置，如图2所示，该图像处理装置200可以包括待处理图像获取模块210、关键点检测模块220、用户动作识别模块230和特效处理模块240。其中：

待处理图像获取模块210，用于获取待处理的用户图像；

关键点检测模块220，用于检测用户图像中用户的人体关键点的关键点信息；

用户动作识别模块230，用于根据人体关键点的关键点信息，确定用户图像中用户的肢体动作；

特效处理模块240，用于根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

本公开提供的图像处理装置，能够基于用户图像中用户的肢体动作，对用户图像进行相应的特效处理，从而使得所添加的特效能够基于用户的肢体动作的改变而发生变化，使用户能够根据其动作的变化感受到特效的变化，从而提高了对图像进行特效处理的趣味性，提升了用户的体验，更好的满足了用户的需求。

可以理解的是，本公开实施例中的图像处理装置200的上述各模块具有实现上述图1中所示的图像处理方法中相应步骤的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，该硬件或软件包括一个或多个与上述功能相对应的模块。上述各模块可以单独实现，也可以多个模块集成实现。对于图像处理装置的各模块的功能描述具体可以参见前文中对图1所示的图像处理方法中的对应描述，在此不再赘述。

本公开的可选实施例中，特效处理模块240还可以用于：

根据预配置的动作与特效的对应关系，确定肢体动作所对应的特效。

本公开的可选实施例中，关键点检测模块220可以具体用于：

确定用户图像中所包括的用户的人体部位；

根据人体部位，检测用户图像中人体部位对应的人体关键点的关键点信息。

本公开的可选实施例中，关键点检测模块230还可以用于：

将用户的其它人体关键点的关键点信息设置为预配置的第一默认值，其它人体关键点为人体部位所对应的人体关键点之外的人体关键点。

本公开的可选实施例中，关键点检测模块230还可以用于：

在存在未检测到的人体关键点的关键点信息时，将未检测到的人体关键点的关键点信息设置为预配置的第二默认值，或者，根据检测到的人体关键点的关键点信息，确定未检测到的人体关键点的关键点信息。

本公开的可选实施例中，人体关键点的关键点信息包括关键点的位置，或者，包括关键点的位置和关键点的可见性。

本公开的可选实施例中，用户动作识别模块230可以具体用于：

将人体关键点的关键点信息输入到预配置的动作识别模型，基于动作识别模型的输出，得到用户的肢体动作。

本公开的可选实施例中，用户动作识别模块230还可以用于：

在将人体关键点的关键点信息输入到预配置的动作识别模型之前，根据预配置的数据预处理方式，对人体关键点的关键点信息进行相应的预处理。

本公开的可选实施例中，用户图像为实时录制的用户视频中的当前视频帧图像，或者为本地存储的用户图像。

本公开的可选实施例中，特效处理模块240可以具体用于：

在用户图像为实时录制的用户视频中的当前视频帧图像时，确定用户视频中的指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，其中，指定视频帧图像为当前视频帧图像之前和/或之后的、且帧数等于设定值的连续的视频帧图像；

若指定视频帧图像中的每一帧视频帧图像中用户的肢体动作，与当前视频帧图像中用户的肢体动作相同，则根据肢体动作所对应的特效，对用户图像进行相应的特效处理。

本公开的可选实施例中，人体关键点为根据关键点配置参数确定的以下关键点中的关键点：

左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左腰关键点、左腰关键点、左髋关键点、右髋关键点、左膝关键点、右膝关键点、左脚踝关键点、右脚踝关键点；

其中，关键点配置参数包括用于指定关键点的配置参数，和/或，关键点数量的配置参数。

可以理解的是，本公开各实施例中的装置中的各模块所执行的动作是与本公开各实施例中的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应的方法中的描述，在此不再赘述。

基于与本公开实施例的图像处理方法相同的原理，本公开实施例中还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序指令，处理器用于读取计算机程序指令，以执行上述本公开任一实施例中所示的方法。

基于与本公开实施例的图像处理方法相同的原理，本公开实施例中还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当计算机程序指令被处理器执行时，处理器实现本公开任一实施例中所示的方法。

本公开实施例还提供了一种电子设备，如图3所示，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图3所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其它的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

获取待处理的用户图像；

检测所述用户图像中所述用户的人体关键点的关键点信息；

根据所述人体关键点的关键点信息，确定所述用户图像中所述用户的肢体动作；

根据所述肢体动作所对应的特效，对所述用户图像进行相应的特效处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述肢体动作所对应的特效，对所述用户图像进行相应的特效处理之前，还包括：

根据预配置的动作与特效的对应关系，确定所述肢体动作所对应的特效。

3.根据权利要求1或2所述的方法，其特征在于，所述检测所述用户图像中所述用户的人体关键点的关键点信息，包括：

确定所述用户图像中所包括的所述用户的人体部位；

根据所述人体部位，检测所述用户图像中所述人体部位对应的人体关键点的关键点信息。

4.根据权利要求3所述的方法，其特征在于，还包括：

将所述用户的其它人体关键点的关键点信息设置为预配置的第一默认值，所述其它人体关键点为所述人体部位所对应的人体关键点之外的人体关键点。

5.根据权利要求1或2所述的方法，其特征在于，若存在未检测到的所述人体关键点的关键点信息，所述方法还包括：

将未检测到的所述人体关键点的关键点信息设置为预配置的第二默认值；

或者，

根据检测到的所述人体关键点的关键点信息，确定未检测到的所述人体关键点的关键点信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述人体关键点的关键点信息包括关键点的位置，或者，包括关键点的位置和关键点的可见性。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述人体关键点的关键点信息，确定所述用户图像中所述用户的肢体动作，包括：

将所述人体关键点的关键点信息输入到预配置的动作识别模型，基于所述动作识别模型的输出，得到所述用户的肢体动作。

8.根据权利要求7所述的方法，其特征在于，所述将所述人体关键点的关键点信息输入到预配置的动作识别模型之前，还包括：

根据预配置的数据预处理方式，对所述人体关键点的关键点信息进行相应的预处理。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述用户图像为实时录制的用户视频中的当前视频帧图像，或者为本地存储的用户图像。

10.根据权利要求9所述的方法，其特征在于，若所述用户图像为实时录制的用户视频中的当前视频帧图像，所述根据所述肢体动作所对应的特效，对所述用户图像进行相应的特效处理，包括：

确定所述用户视频的指定视频帧图像中的每一帧视频帧图像中所述用户的肢体动作，其中，所述指定视频帧图像为所述当前视频帧图像之前和/或之后的、且帧数等于设定值的连续的视频帧图像；

若所述指定视频帧图像中的每一帧视频帧图像中所述用户的肢体动作，与所述当前视频帧图像中所述用户的肢体动作相同，则根据所述肢体动作所对应的特效，对所述用户图像进行相应的特效处理。

11.一种图像处理装置，其特征在于，包括：

待处理图像获取模块，用于获取待处理的用户图像；

关键点检测模块，用于检测所述用户图像中所述用户的人体关键点的关键点信息；

用户动作识别模块，用于根据所述人体关键点的关键点信息，确定所述用户图像中所述用户的肢体动作；

特效处理模块，用于根据所述肢体动作所对应的特效，对所述用户图像进行相应的特效处理。

12.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器中存储有计算机程序指令；

所述处理器，用于读取所述计算机程序指令，以执行权利要求1至10中任一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序指令，当所述计算机程序指令被处理器执行时，所述处理器实现权利要求1至10任一项所述的图像处理方法。

Images