CN109558842A - 一种调整图像显示方向的方法、装置、设备和介质 - Google Patents

Abstract

本申请公开了一种调整图像显示方向的方法和装置，该方法包括：获得待显示图像和至少部分人脸图像；利用第一检测模型检测待显示图像，获得待显示图像的图像内容正方向；利用第二检测模型检测至少部分人脸图像，获得至少部分人脸图像的人脸正方向；根据人脸正方向调整待显示图像，使图像内容正方向与人脸正方向一致显示给用户。可见，考虑待显示图像的图像内容正方向，通过至少部分人脸图像判定用户人脸正方向后，基于深度学习得到的第一检测模型检测待显示图像的图像内容正方向，基于图像内容正方向和用户人脸正方向调整待显示图像的显示方向，提高待显示图像的显示正确性，利于用户观看和理解待显示图像。

Description

一种调整图像显示方向的方法、装置、设备和介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种调整图像显示方向的方法、装置、设备和介质。

背景技术

随着智能科技的快速发展，对于智能用户终端设备显示图像而言，通常会考虑到设备方向与用户人脸方向是否一致的问题。

传统地，在智能用户终端设备显示图像时，会基于获取的有关用户人脸的图像，判断该用户人脸方向与设备方向是否一致，若不一致，则需要调整显示图像在智能用户终端设备中的显示方向。

但是，发明人经过研究发现，上述调整显示图像方向的方法是直接调整显示图像在智能用户终端设备中的显示方向，并没有考虑显示图像中图像内容的正方向，极有可能使得最终显示给用户的显示图像的图像内容正方向与用户人脸方向不一致，并不利于用户观看和理解该显示图像，造成一定的观看和理解难度，最终导致用户体验感较差。

发明内容

本申请所要解决的技术问题是，提供一种调整图像显示方向的方法、装置、设备和介质，考虑待显示图像的图像内容正方向问题，使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

第一方面，本申请实施例提供了一种调整图像显示方向的方法，该方法包括：

获得待显示图像和至少部分人脸图像；

根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；

根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；

根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

可选的，所述第一检测模型为图像内容正方向检测模型。

可选的，所述图像内容正方向检测模型是基于第一图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第一图像训练集包括多个显示图像和对应的图像内容正方向。

可选的，所述第二检测模型为人脸正方向检测模型或人脸关键点检测模型。

可选的，所述人脸正方向检测模型是基于第二图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第二图像训练集包括多个至少部分人脸图像和对应的人脸正方向；所述人脸关键点检测模型是基于第三图像训练集采用2阶stacked-hourglass网络和L2损失函数学习训练得到的，所述第三图像训练集包括多个至少部分人脸图像和对应的人脸关键点坐标。

可选的，所述人脸关键点坐标包括左右眼眼角坐标和鼻尖坐标。

可选的，当所述第二检测模型为所述人脸正方向检测模型时，所述根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向，具体为：

根据所述至少部分人脸图像和所述人脸正方向检测模型，确定所述至少部分人脸图像的人脸正方向。

可选的，当所述第二检测模型为所述人脸关键点坐标检测模型时，所述根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向，包括：

根据所述至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标；

根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，确定所述至少部分人脸图像的人脸正方向。

可选的，所述根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向，包括：

根据所述目标左右眼眼角坐标，获得目标左右眼眼角中点坐标；

根据所述目标左右眼眼角中点坐标、所述目标鼻尖坐标和所述人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

可选的，所述根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向，包括：

根据所述图像内容正方向和所述人脸正方向，获得旋转角度；

根据所述旋转角度旋转所述待显示图像。

第二方面，本申请实施例提供了一种调整图像显示方向的装置，该装置包括：

第一获得单元，用于获得待显示图像和至少部分人脸图像；

第二获得单元，用于根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；

第三获得单元，用于根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；

调整单元，用于根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

第三方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述调整图像显示方向的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述调整图像显示方向的方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，获得待显示图像和至少部分人脸图像；然后，利用第一检测模型检测所述待显示图像，获得所述待显示图像的图像内容正方向；并利用第二检测模型检测所述至少部分人脸图像，获得所述至少部分人脸图像的人脸正方向；最后，根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。由此可见，考虑了待显示图像的图像内容正方向问题，在通过至少部分人脸图像判定用户人脸正方向后，基于深度学习得到的第一检测模型检测待显示图像的图像内容正方向，基于图像内容正方向和用户人脸正方向调整待显示图像的显示方向，从而使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种调整图像显示方向的方法的流程示意图；

图3为本申请实施例提供的图像内容正方向角度θ₁示意图；

图4为本申请实施例提供的人脸正方向角度θ₂示意图；

图5为本申请实施例提供的人脸正方向角度θ₂大于图像内容正方向角度θ₁示意图；

图6为本申请实施例提供的人脸正方向角度θ₂小于图像内容正方向角度θ₁示意图；

图7为本申请实施例提供的一种获得人脸正方向的方法的流程示意图；

图8为本申请实施例提供的一种调整图像显示方向的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现阶段，当使用智能用户终端设备显示图像时，处理器通过判定用户人脸方向与设备方向是否一致，调整显示图像在智能用户终端设备中的显示方向。但是，发明人经过研究发现，上述调整显示图像方向的方法是直接调整显示图像在智能用户终端设备中的显示方向，并没有考虑显示图像中图像内容的正方向，极有可能使得最终显示给用户的显示图像的图像内容正方向与用户人脸方向不一致，并不利于用户观看和理解该显示图像，造成一定的观看和理解难度，最终导致用户体验感较差。

为了解决这一问题，在本申请实施例中，首先，获得待显示图像和至少部分人脸图像；然后，利用第一检测模型检测所述待显示图像，获得所述待显示图像的图像内容正方向；并利用第二检测模型检测所述至少部分人脸图像，获得所述至少部分人脸图像的人脸正方向；最后，根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。由此可见，考虑了待显示图像的图像内容正方向问题，在通过至少部分人脸图像判定用户人脸正方向后，基于深度学习得到的第一检测模型检测待显示图像的图像内容正方向，基于图像内容正方向和用户人脸正方向调整待显示图像的显示方向，从而使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中。该场景包括智能用户终端设备101、处理器102和摄像头103，其中，处理器102和摄像头103装载在智能用户终端设备101。摄像头103拍摄至少部分人脸图像发送给处理器102；处理器102获得智能用户终端设备101的待显示图像和摄像头103发送的至少部分人脸图像；处理器102根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；处理器102根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；处理器102根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向，使得所述图像内容正方向与所述人脸正方向一致显示在智能用户终端设备101屏幕上。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由服务器101执行，但是这些动作也可以由客户端102执行，或者还可以部分由客户端102执行、部分由服务器101执行。本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中调整图像显示方向的方法和装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种调整图像显示方向的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：获得待显示图像和至少部分人脸图像。

可以理解的是，为了实现智能用户终端设备显示的图像正方向与用户人脸正方向一致，首先需要获得智能用户终端设备需要显示的图像(即，待显示图像)和观看该图像的至少部分人脸图像，其中，部分人脸图像至少包括与人脸正方向相关的局部人脸特征，例如，眉毛、眼睛、鼻子或嘴巴等等局部人脸特征。

步骤202：根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向。

可以理解的是，为了解决现有技术中没有考虑到显示图像中图像内容的正方向，使得最终显示给用户的显示图像的图像内容正方向与用户人脸方向不一致，不利于用户观看和理解显示图像的问题，在步骤202获得待显示图像和至少部分人脸图像后，需要明确待显示图像的图像内容正方向和至少部分人脸图像的人脸正方向。在本事实例的一些实施方式中，可以先获得待显示图像的图像内容正方向。

需要说明的是，对于待显示图像而言，可以基于对之前大量显示图像的图像内容正方向深度学习训练得到的图像内容正方向检测模型作为第一检测模型，对待显示图像进行检测，从而获得待显示图像的图像内容正方向。因此，在本实施例的一些实施方式中，所述第一检测模型为图像内容正方向检测模型。

需要说明的是，图像内容正方向检测模型的学习训练为：首先，获得多个显示图像并确定每个显示图像的图像内容正方向，图像内容正方向是指图像内容的真实正方向相对于垂直向上方向的角度，取值范围为0到360度，将多个显示图像A_i和对应的图像内容正方向Aalpha_i(表示显示图像A_i的图像内容正方向角度)作为图像训练集；然后，采用densnet网络和L2损失函数进行深度学习训练以得到图像内容正方向检测模型，本实施例中，该模型的输入为待显示图像，输出为对应的图像内容正方向。因此，在本实施例的一些实施方式中，所述图像内容正方向检测模型是基于第一图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第一图像训练集包括多个显示图像和对应的图像内容正方向。其中，对应的L2损失函数具体为：

loss＝‖y_pred-y_truth‖；

该公式中‖*‖表示2-范数，y_pred表示图像内容正方向检测模型对输入的显示图像的预测图像内容正方向输出，y_truth表示上述显示图像对应的真实图像内容正方向。

步骤203：根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向。

可以理解的是，在步骤203获得确待显示图像的图像内容正方向后，还需要获得至少部分人脸图像的人脸正方向。当然，本实施例并不限制步骤202和步骤203的执行顺序，既可以先执行步骤202，再执行步骤203；也可以先执行步骤203，再执行步骤202；还可以同时执行步骤202和步骤203。

需要说明的是，对于至少部分人脸图像而言，可以基于对之前大量至少部分人脸图像的人脸正方向深度学习训练得到的人脸正方向检测模型作为第二检测模型，对至少部分人脸图像进行检测，从而获得至少部分人脸图像的人脸正方向；也可以由于人脸具有的器官关键点与人脸正方向相关的特性，基于对之前大量至少部分人脸图像的人脸正方向深度学习训练得到的人脸关键点检测模型作为第二检测模型，对至少部分人脸图像进行检测，从而获得至少部分人脸图像的人脸关键点，再基于人脸关键点确定人脸正方向。因此，在本实施例的一些实施方式中，所述第二检测模型为人脸正方向检测模型或人脸关键点检测模型。

其中，同理于图像内容正方向检测模型，人脸正方向检测模型的学习训练为：首先，获得多个至少部分人脸图像并确定每个至少部分人脸图像的人脸正方向，人脸正方向是指人脸的真实正方向相对于垂直向上方向的角度，取值范围为0到360度，将多个至少部分人脸图像B_i和对应的人脸正方向Balpha_i(表示至少部分人脸图像B_i的人脸正方向角度)作为图像训练集；然后，同样采用densnet网络和L2损失函数进行深度学习训练以得到人脸正方向检测模型，本实施例中，该模型的输入为至少部分人脸图像，输出为对应的人脸正方向。需要注意的是，对应的L2损失函数具体为：

loss＝‖y_pred-y_truth‖；

该公式中‖*‖表示2-范数，y_pred表示人脸正方向检测模型对输入的至少部分人脸图像的预测人脸正方向输出，y_truth表示上述至少部分人脸图像对应的真实人脸正方向。

其中，人脸关键点检测模型的学习训练为：首先，获得多个至少部分人脸图像并确定每个至少部分人脸图像的人脸关键点的坐标，其中，与人脸正方向相关度较高的人脸关键点为左右眼角和鼻尖，当然，人脸关键点也可以为左右瞳孔、左右唇角等关键点。将多个至少部分人脸图像C_i和对应的人脸关键点坐标Y_i(x_i1，y_i1，x_i2，y_i2，x_i3，y_i3，x_i4，y_i4，x_i5，y_i5)(表示至少部分人脸图像C_i的左右眼角各两个眼角坐标和鼻尖坐标)作为图像训练集。然后，改为采用2阶stacked-hourglass网络和L2损失函数学习进行深度学习训练以得到人脸关键点检测模型，本实施例中，该模型的输入为至少部分人脸图像，输出为对应的人脸关键点坐标。需要注意的是，对应的L2损失函数具体为：

loss＝‖y_pred-y_truth‖；

该公式中‖*‖表示2-范数，y_pred表示人脸关键点检测模型对输入的至少部分人脸图像的预测人脸关键点坐标输出，y_truth表示上述至少部分人脸图像对应的真实人脸关键点坐标。综上所述，在本实施例的一些实施方式中，所述人脸正方向检测模型是基于第二图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第二图像训练集包括多个至少部分人脸图像和对应的人脸正方向；所述人脸关键点检测模型是基于第三图像训练集采用2阶stacked-hourglass网络和L2损失函数学习训练得到的，所述第三图像训练集包括多个至少部分人脸图像和对应的人脸关键点坐标，所述人脸关键点坐标包括左右眼眼角坐标和鼻尖坐标。

需要说明的是，基于上述对第二检测模型的说明，第二检测模型既可以是人脸正方向检测模型，也可以是人脸关键点检测模型。当第二检测模型是人脸正方向检测模型时，将至少部分人脸图像输入该人脸正方向检测模型，可以直接输出至少部分人脸图像的人脸正方向；当第二检测模型是人脸关键点检测模型时，将至少部分人脸图像输入该人脸关键点检测模型，只能输出至少部分人脸图像的人脸关键点坐标，即，左右眼眼角坐标和鼻尖坐标，此时，还需要基于左右眼眼角坐标和鼻尖坐标利用人脸正方向计算公式得到至少部分人脸图像的人脸正方向，具体方式参见下一个实施例。因此，在本实施例的一些实施方式中，当所述第二检测模型为所述人脸正方向检测模型时，所述步骤203例如具体可以为：根据所述至少部分人脸图像和所述人脸正方向检测模型，直接获得所述至少部分人脸图像的人脸正方向。当所述第二检测模型为所述人脸关键点坐标检测模型时，所述步骤203例如可以包括以下步骤：

步骤A：根据所述至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标；

步骤B：根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

步骤204：根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

可以理解的是，在步骤202获得待显示图像的图像内容正方向以及步骤203获得至少部分人脸图像的人脸正方向后，为了使得最终显示给用户的待显示图像的图像内容正方向与用户人脸方向一致，利于用户观看和理解待显示图像，则根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向，以便所述图像内容正方向与所述人脸正方向一致，，即，执行步骤204。

需要说明的是，由于图像内容正方向是指图像内容的真实正方向相对于垂直向上方向的角度，人脸正方向是指人脸的真实正方向相对于垂直向上方向的角度，为了使得图像内容正方向与人脸正方向一致显示，可以旋转待显示图像以便图像内容正方向与人脸正方向重合。具体地，基于上述图像内容正方向和人脸正方向所表示的两个角度可以得到两个角度之间的差值，将该差值作为旋转角度旋转待显示图像。因此，在本实施例的一些实施方式中，所述步骤204例如可以包括以下步骤：

步骤C：根据所述图像内容正方向和所述人脸正方向，获得旋转角度；

步骤D：根据所述旋转角度旋转所述待显示图像。

在实际应用中，步骤202获得的待显示图像的图像内容正方向为如图3所示的图像内容正方向角度θ₁，步骤203获得的至少部分人脸图像的人脸正方向为如图4所示的人脸正方向角度θ₂，则根据图像内容正方向角度θ₁和人脸正方向角度θ₁调整待显示图像的显示方向。具体是根据图像内容正方向角度θ₁和人脸正方向角度θ₂，待显示图像旋转角度为θ，获得θ的公式如下：

θ＝θ₂-θ₁；

其中，式中，若θ大于0，即，如图5所示的人脸正方向角度θ₂大于图像内容正方向角度θ₁，则需要顺时针旋转待显示图像θ|角度；若θ小于0，即，如图6所示的人脸正方向角度θ₂大小于图像内容正方向角度θ₁，则需要逆时针旋转待显示图像θ|角度。当然，若θ等于0，则无需旋转待显示图像；

通过本实施例提供的各种实施方式，首先，获得待显示图像和至少部分人脸图像；然后，利用第一检测模型检测所述待显示图像，获得所述待显示图像的图像内容正方向；并利用第二检测模型检测所述至少部分人脸图像，获得所述至少部分人脸图像的人脸正方向；最后，根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。由此可见，考虑了待显示图像的图像内容正方向问题，在通过至少部分人脸图像判定用户人脸正方向后，基于深度学习得到的第一检测模型检测待显示图像的图像内容正方向，基于图像内容正方向和用户人脸正方向调整待显示图像的显示方向，从而使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

参见图7，示出了本申请实施例中一种获得人脸正方向的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤701：根据至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标。

基于上述实施例中的说明可知，将至少部分人脸图像输入人脸关键点检测模型，可以输出获得包括目标左右眼眼角坐标和目标鼻尖坐标的人脸关键点坐标，例如，目标左右眼眼角坐标分别为(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)，目标鼻尖坐标为(x5，y5)。

步骤702：根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

需要说明的是，基于人脸左右眼眼角和鼻尖对于人脸正方向的相关性可知，至少部分人脸图像中鼻尖到左右眼眼角中点的矢量与至少部分人脸图像X轴(0度方向矢量)的夹角可以表示人脸正方向角度，即为至少部分人脸图像的人脸正方向。则为了获得至少部分人脸图像的人脸正方向，在步骤701获得目标左右眼眼角坐标和目标鼻尖坐标之后，首先需要先基于目标左右眼眼角坐标获得左右眼眼角中点坐标，然后，基于右眼眼角中点坐标和目标鼻尖坐标利用上述获得人脸正方向的原理所得的人脸正方向计算公式，最终计算得到至少部分人脸图像的人脸正方向角度作为人脸正方向。因此，在本实施例的一些实施方式中，所述步骤702例如可以包括以下步骤：

步骤C：根据所述目标左右眼眼角坐标，获得目标左右眼眼角中点坐标。

其中，基于目标左右眼眼角坐标(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)，计算目标左右眼眼角中点坐标(xc，yc)的公式具体如下：

步骤D：根据所述目标左右眼眼角中点坐标、所述目标鼻尖坐标和所述人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

在实际应用中，鼻尖到左右眼眼角中点的矢量(人脸正方向矢量)与至少部分人脸图像X轴(0度方向矢量v₂(0，1))的夹角可以表示人脸正方向，首先，基于目标左右眼眼角中点坐标(xc，yc)和目标鼻尖坐标为(x5，y5)，计算人脸正方向矢量v₁(x，y)的公式具体如下：

然后，基于人脸正方向矢量v₁(x，y)和0度方向矢量v₂(0，1)，计算人脸正方向角度θ₂的公式具体如下：

通过本实施例提供的各种实施方式，首先，根据至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标；然后，根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。由此可见，考虑了至少部分人脸图像中左右眼眼角和鼻尖等人脸关键点对人脸正方向的相关性，先基于深度学习得到的人脸关键点检测模型检测至少部分人脸图像的人脸关键点坐标，再基于人脸关键点利用人脸正方向计算公式得到较为准确的至少部分人脸图像的人脸正方向，以便上述实施例基于该人脸正方向调整待显示图像，从而使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

示例性设备

参见图8，示出了本申请实施例中一种调整图像显示方向的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一获得单元801，用于获得待显示图像和至少部分人脸图像；

第二获得单元802，用于根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；

第三获得单元803，用于根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；

调整单元804，用于根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

可选的，所述第一检测模型为图像内容正方向检测模型。

可选的，所述图像内容正方向检测模型是基于第一图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第一图像训练集包括多个显示图像和对应的图像内容正方向。

可选的，所述第二检测模型为人脸正方向检测模型或人脸关键点检测模型。

可选的，所述人脸正方向检测模型是基于第二图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第二图像训练集包括多个至少部分人脸图像和对应的人脸正方向；所述人脸关键点检测模型是基于第三图像训练集采用2阶stacked-hourglass网络和L2损失函数学习训练得到的，所述第三图像训练集包括多个至少部分人脸图像和对应的人脸关键点坐标。

可选的，所述人脸关键点坐标包括左右眼眼角坐标和鼻尖坐标。

可选的，当所述第二检测模型为所述人脸正方向检测模型时，所述第三获得单元803具体用于：

根据所述至少部分人脸图像和所述人脸正方向检测模型，直接获得所述至少部分人脸图像的人脸正方向。

可选的，当所述第二检测模型为所述人脸关键点坐标检测模型时，所述第三获得单元803包括第一获得子单元和第二获得子单元；

所述第一获得子单元，用于根据所述至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标；

所述第二获得子单元，用于根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

可选的，所述第二获得子单元包括第一获得模块和第二获得模块；

所述第一获得模块，用于根据所述目标左右眼眼角坐标，获得目标左右眼眼角中点坐标；

所述第二获得模块，用于根据所述目标左右眼眼角中点坐标、所述目标鼻尖坐标和所述人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

可选的，所述调整单元804包括第三获得子单元和旋转子单元；

所述第三获得子单元，用于根据所述图像内容正方向和所述人脸正方向，获得旋转角度；

所述旋转子单元，用于根据所述旋转角度旋转所述待显示图像。

通过本实施例提供的各种实施方式，调整图像显示方向的装置包括第一获得单元、第二获得单元、第三获得单元和调整单元。其中，第一获得单元获得待显示图像和至少部分人脸图像；第二获得单元根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；第三获得单元根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；调整单元根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。由此可见，考虑了待显示图像的图像内容正方向问题，在通过至少部分人脸图像判定用户人脸正方向后，基于深度学习得到的第一检测模型检测待显示图像的图像内容正方向，基于图像内容正方向和用户人脸正方向调整待显示图像的显示方向，从而使得待显示图像的图像内容正方向与用户人脸正方向一致，提高待显示图像的显示正确性，利于用户观看和理解该待显示图像，提升用户体验感。

另本申请实施例还提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述实施例所述调整图像显示方向的方法。

此外，本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述实施例所述调整图像显示方向的方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (13)

1.一种调整图像显示方向的方法，其特征在于，包括：

获得待显示图像和至少部分人脸图像；

根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；

根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；

根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

2.根据权利要求1所述的方法，其特征在于，所述第一检测模型为图像内容正方向检测模型。

3.根据权利要求2所述的方法，其特征在于，所述图像内容正方向检测模型是基于第一图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第一图像训练集包括多个显示图像和对应的图像内容正方向。

4.根据权利要求1所述的方法，其特征在于，所述第二检测模型为人脸正方向检测模型或人脸关键点检测模型。

5.根据权利要求4所述的方法，其特征在于，所述人脸正方向检测模型是基于第二图像训练集采用densnet网络和L2损失函数学习训练得到的，所述第二图像训练集包括多个至少部分人脸图像和对应的人脸正方向；所述人脸关键点检测模型是基于第三图像训练集采用2阶stacked-hourglass网络和L2损失函数学习训练得到的，所述第三图像训练集包括多个至少部分人脸图像和对应的人脸关键点坐标。

6.根据权利要求5所述的方法，其特征在于，所述人脸关键点坐标包括左右眼眼角坐标和鼻尖坐标。

7.根据权利要求4所述的方法，其特征在于，当所述第二检测模型为所述人脸正方向检测模型时，所述根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向，具体为：

根据所述至少部分人脸图像和所述人脸正方向检测模型，确定所述至少部分人脸图像的人脸正方向。

8.根据权利要求6所述的方法，其特征在于，当所述第二检测模型为所述人脸关键点坐标检测模型时，所述根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向，包括：

根据所述至少部分人脸图像和人脸关键点检测模型，获得所述至少部分人脸图像的目标人脸关键点坐标，所述目标人脸关键点坐标包括目标左右眼眼角坐标和目标鼻尖坐标；

根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，确定所述至少部分人脸图像的人脸正方向。

9.根据权利要求8所述的方法，其特征在于，所述根据所述目标左右眼眼角坐标、所述目标鼻尖坐标和人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向，包括：

根据所述目标左右眼眼角坐标，获得目标左右眼眼角中点坐标；

根据所述目标左右眼眼角中点坐标、所述目标鼻尖坐标和所述人脸正方向计算公式，获得所述至少部分人脸图像的人脸正方向。

10.根据权利要求1所述的方法，其特征在于，所述根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向，包括：

根据所述图像内容正方向和所述人脸正方向，获得旋转角度；

根据所述旋转角度旋转所述待显示图像。

11.一种调整图像显示方向的装置，其特征在于，包括：

第一获得单元，用于获得待显示图像和至少部分人脸图像；

第二获得单元，用于根据所述待显示图像和第一检测模型，获得所述待显示图像的图像内容正方向；

第三获得单元，用于根据所述至少部分人脸图像和第二检测模型，获得所述至少部分人脸图像的人脸正方向；

调整单元，用于根据所述图像内容正方向和所述人脸正方向调整所述待显示图像的显示方向。

12.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-10任一项所述调整图像显示方向的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-10任一项所述调整图像显示方向的方法。