CN106228293A - 教学评估方法及系统 - Google Patents

Abstract

本发明提供一种教学评估方法及系统，该方法包括：获取录制用户人脸的视频；确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。通过视频获取包含用户人脸表情的人脸图像，分析人脸表情中是否出现闭眼、点头、和打哈欠的动作，统计闭眼、点头、和打哈欠的动作出现频率，从而根据听课者的状态客观公正的评估教学效果；不仅方便教师根据评估效果提高备课效率，同时，无论线上或线下教学通过该评估系统教师可准确了解听课者的状态，及时做出相应调整，更有利提升教学效果。

Description

教学评估方法及系统

技术领域

本发明涉及评估技术领域，特别是涉及一种基于人脸识别面部动作的教学评估方法及系统。

背景技术

随着互联网技术的发展，远程教育(在线教育)也逐渐走入日程生活，成为人们学习知识的一种手段。远程教育突破了地域的限制，使得课程容量很大，经常是一个教师对应很多学生，因此如何评估教学质量就是一个很大的问题。

传统意义上的教学评估通常是针对课堂的氛围、教学内容等方面来考量，再或者是通过学生对老师课程打分来评判教学质量的好坏。然而，很多时候学生都会隐藏其真实的想法，不完全配合，从而使得评估工作变得繁琐且评估效果不佳，无法快速而准确的反映出老师的教学水平以及学生的实际接收效果。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种教学评估方法及系统，用于解决现有技术中教学评估中评估速度慢且评估效果不准确的问题。

为实现上述目的及其他相关目的，本发明提供一种教学评估方法，包括：

获取录制用户人脸的视频；

确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

本发明的另一目的在于提供一种教学评估系统，包括：

采集模块，用于获取录制用户人脸的视频；

关键点位置提取模块，用于确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

检测模块，用于根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

评估模块，用于根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

如上所述，本发明的教学评估方法及系统，具有以下有益效果：

鉴于传统方法投入人力大且评估效果不佳，本发明不需要学生的打分，通过采集用户(听课者)的视频，获取听课者的人脸表情状态，分析人脸表情中是否出现闭眼、点头、和打哈欠的动作，统计闭眼、点头、和打哈欠的动作出现频率，从而根据听课者的状态客观公正的评估教学效果；不仅方便教师根据评估效果提高备课效率，同时，无论线上或线下教学通过该评估系统教师可准确了解听课者的状态，及时做出相应地调整，更有利提升教学效果。

附图说明

图1显示为本发明提供的一种教学评估方法的流程图；

图2显示为本发明提供的步骤S2的详细流程图；

图3显示为本发明提供的人脸关键点特征位置分布图；

图4显示为本发明提供的步骤S3的详细流程图；

图5显示为本发明提供的一种教学评估系统的结构框图；

图6显示为本发明提供的教学评估系统中关键点位置提取模块的结构框图；

图7显示为本发明提供的教学评估系统中检测模块的结构框图；

图8显示为本发明提供的教学评估系统的完整结构框图。

元件标号说明：

1 采集模块

2 关键点位置提取模块

3 检测模块

4 评估模块

11 采集单元

21 标定单元

22 第一提取单元

23 第二提取单元

24 采集单元

31 闭眼检测单元

32 哈欠检测单元

33 点头检测单元

34 统计单元

41 评估单元

S1～S4 步骤1至步骤4

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施列1

请参阅图1，为本发明提供的一种教学评估方法的流程图，包括：

步骤S1，获取录制用户人脸的视频；

其中，采用摄像头或录像机录制包含用户人脸的视频，

步骤S2，确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

其中，通过视频获取用户人脸图像；

步骤S3，根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

其中，人脸关键点位置的变化状态即用户眼睛、嘴和头部上下旋转角度等局部关键点的变化情况，在本申请中用户闭眼的动作并非正常的眨眼，而是打瞌睡或犯困呈现的闭眼状态，点头的动作包含低头和抬头，也是打瞌睡或犯困呈现的动作，打哈欠为正常的本能反应，也为打瞌睡或犯困呈现的动作。

步骤S4，根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

其中，检测用户闭眼、打哈欠和点头的次数是否在预设时间内超过预设阈值范围，根据闭眼、打哈欠和点头的次数在预设阈值范围的区间评估教学质量，即统计出该预设时间内闭眼、打哈欠和点头的次数以及出现的频率，从而确定听课者的学习状态，反映出教师的教学质量，达到教学评估的目的。

在本实施例中，无需人工协助，可对在线教育或课堂教育的教学质量及时做出评估，客观公正的反映出教师的教学质量，便于提高教学的质量。

实施例2

如图2所示，为本发明提供的步骤S2的详细流程图，具体如下：

步骤S201，采用人脸检测器提取视频中用户人脸图像，标定人脸图像中各个关键点初始位置；

其中，人脸检测器既可采用基于HAAR特征的检测器，也可采用基于深度学习的模型训练后得到用户的人脸图像。

步骤S202，提取各个关键点初始位置的SURF特征，将对应的SURF特征拼接为一个全局特征；

其中，提取SURF的特征对人脸图像的尺度和旋转特性具有较好的适应性，便于预处理，同时，其具有运算简单、效率高等优点；将SURF特征这些局部特征描述子拼接融合为一个全局特征。

步骤S203，以所述全局特征为基础，采用随机森林算法得到各个关键点的平移量；

采用随机森林算法随机采集对应的全局特征，使用同一分类器进行分类，在得到各个关键点的平移量时，无需考虑过度拟合的现象，提升了计算效率。

步骤S204，迭代计算各个关键点的平移量得到人脸图像的人脸关键点位置。

通过步骤S201～S204得到图3所示的人脸关键点位置分布图，图中采用68点关键点进行定位，可完整的展示出人脸关键点位置。

在本实施例中，采用上述算法对用户的人脸进行识别，迅速而准确的获取人脸关键点位置，便于精准定位出人脸的嘴唇、眼睑和头部特征的位置，提高了人脸关键点定位效率。

实施例3

如图4所示，为本发明提供的步骤S3的详细流程图，包括：

步骤S301，计算人脸关键点位置中每个眼睛上、下眼睑之间的关键点距离，当所述上、下眼睑之间的关键点距离均低于第一阈值且其持续时间高于第二阈值时，则判定用户处于闭眼状态；

具体地，通过人脸关键点位置可清楚定位出眼睛上、下眼睑之间的关键点，而当用户闭眼时，上、下眼睑之间的关键点的距离会接近重合，假设上、下眼睑之间的关键点坐标分别为(x₁,y₁)与(x₂,y₂)，其对应的关键点距离为：

$d=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

式(1)中d为人脸图像中两个关键点之间的距离。

如图3所示，图中左眼和右眼对应其各自的上、下眼睑之间的关键点距离为：

$\begin{array}{cc}{d}_{lefteye}=\frac{d_{38,42}+d_{39,41}}{2}---\left(2\right)& d_{rightteye}=\frac{d_{44,48}+d_{45,47}}{2}---\left(3\right)\end{array}$

式(2)中d_lefteye为左眼上、下眼睑之间的关键点距离，d_38,42为人脸关键点38与42之间的距离，d_39,41分别为人脸关键点39与41之间的距离；式(3)中d_rightteye为左眼上、下眼睑之间的关键点距离，d_44,48为人脸关键点44与48之间的距离，d_45,47分别为人脸关键点45与47之间的距离。

当左眼和右眼对应关键点距离均低于第一阈值且其持续时间高于第二阈值时，则判定用户处于闭眼状态，其中，第一阈值的设定可接近于零，第二阈值对应的时间至少为3秒，才能准确确定用户是疲劳或注意力不集中。

如果两眼的上、下眼睑之间的关键点距离只是低于第一阈值时但其持续时间低于第二阈值时，则判定用户处于眨眼的动作，而非闭眼状态。

步骤S302，计算人脸关键点位置中上、下嘴唇之间的关键点距离，当所述上、下嘴唇之间的关键点距离高于第三阈值且其持续时间高于第四阈值时，则判定用户处于打哈欠状态；

具体地，如式(1)所示，计算人脸关键点上、下嘴唇之间的关键点距离，如图3中所示，

$d_{lip}=\frac{d_{51,59}+d_{52,58}+d_{53,57}}{3}---\left(4\right)$

式(4)中d_lip为上、下嘴唇之间的关键点距离，d_51,59为人脸关键点51与59之间的距离，d_52,58为人脸关键点52与58之间的距离，d_53,57为人脸关键点53与57之间的距离，其中，第三阈值至少为10像素，第四阈值对应的时间至少为3秒，且第三阈值或第四阈值可根据用户习惯进行重新设定。

只有当计算人脸关键点位置中上、下嘴唇之间的关键点距离高于10像素且其持续时间高于3秒时，则判定用户处于打哈欠状态。

步骤S303，根据标准3D人脸的旋转角度和对应的映射矩阵计算用户的头部旋转角度，在预设时间内当所述头部旋转角度的变化值达到阈值角度时，则判定用户处于点头状态；

具体地，根据人脸关键点位置定位人脸形状，得到当前人脸基于标准3d人脸的旋转角度a，而根据人脸关键点位置定位当前用户的人脸形状，得到从标准人脸变化到当前人脸的映射矩阵r*，其中，映射矩阵r*对应的公式如下：

$r^{*}=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]---\left(5\right)$

其中，R矩阵中的每一行表示摄像机坐标系中每个坐标轴方向的单位向量在世界坐标系中的坐标，相应的该矩阵每一列就表示世界坐标系中每个坐标轴方向的单位向量在摄像机坐标系中的坐标；头部旋转角度通过上述参数对应公式θ_z＝a tan(R₂₁,R₁₁)即可得到，而本申请中头部旋转角度特指人脸对应的上下方向的角度，如果对应X/Y/Z的真实坐标轴，即特指Z轴方向的角度；在本申请中用户的头部对应的一个初始角度，而用户的头部角度会实时更新，点头状态包括抬头与低头，其中具体判断方式为：在预设时间内检测头部角度的变化值是否达到阈值角度时，当检测到头部角度的减小值达到阈值角度时，即表示头部处于低头状态，当检测到头部角度的增加值达到阈值角度时，即表示头部处于抬头状态，而抬头与低头都为注意力不集中或瞌睡的征兆。

该阈值角度优选为15度，或者15度以上；而预设时间可为1、2、3秒不等的时间，其中，头部角度的变化值(增大值或减小值)各自对应的阈值角度可设为大小不同值。

步骤S304，统计用户闭眼、打哈欠和点头的次数。

在本实施例中，步骤S301、S302与S303执行无特定顺序，根据用户闭眼、打哈欠和点头的动作统计其对应的次数。

在本实施例中，通过统计用户闭眼、打哈欠和点头的次数，检测用户闭眼、打哈欠和点头的次数是否在预设时间内超过预设阈值范围，根据闭眼、打哈欠和点头的次数在预设阈值范围的区间评估教学质量，其中，预设时间可为一节课或多节课等时间，预设阈值范围可根据需求自动设定，例如：可将注意力按高中低三个等级程度进行划分，如闭眼动作没有出现，则注意力集中度为高；如闭眼动作出现1～3次，则注意力集中度为中，如闭眼动作大于三次，则注意力集中度为中；如打哈欠动作出现0～2次，则注意力集中度高；如打哈欠动作出现3～5次，则注意力集中度低；如打哈欠动作出现大于五次，则注意力集中度低；如低头动作出现0～2次，则注意力集中度高；如低头动作出现3～5次，则注意力集中度低；如低头动作出现大于五次，则注意力集中度低。

如果检测到用户处于闭眼、打哈欠和点头的动作出现的频率次数各不同，而分别对应不同等级程度的注意力情况时，则取最低等级的注意力，根据分析用户当时听课的状态注意情况，按用户(听课者)的注意力情况评估教师的教学质量，从而达到教学评估的目的。

实施例4

请参阅图5，为本发明提供一种教学评估系统，包括：

采集模块1，用于获取录制用户人脸的视频；

关键点位置提取模块2，用于确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

检测模块3，用于根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

评估模块4，用于根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

本系统多运用于网络的在线教育，如果运用于课堂时，每个用户需配置一个单独对应的系统。

实施例5

请参阅图6，为本发明提供的教学评估系统中关键点位置提取模块的结构框图，具体包括：

标定单元21，用于采用人脸检测器提取视频中用户人脸图像，标定人脸图像中各个关键点初始位置；

第一提取单元22，用于提取各个关键点初始位置的SURF特征，将对应的SURF特征拼接为一个全局特征；

第二提取单元23，用于以所述全局特征为基础，采用随机森林算法得到各个关键点的平移量；

计算单元24，用于迭代计算各个关键点的平移量得到人脸图像的人脸关键点位置。

实施例6

请参阅图7，为本发明提供的教学评估系统中检测模块的结构框图，包括：

闭眼检测单元31，用于计算人脸关键点位置中每个眼睛上、下眼睑之间的关键点距离，当所述上、下眼睑之间的关键点距离均低于第一阈值且其持续时间高于第二阈值时，则判定用户处于闭眼状态；

哈欠检测单元32，用于计算人脸关键点位置中上、下嘴唇之间的关键点距离，当所述上、下嘴唇之间的关键点距离高于第三阈值且其持续时间高于第四阈值时，则判定用户处于打哈欠状态；

点头检测单元33，用于根据标准3D人脸的旋转角度和对应的映射矩阵计算用户的头部旋转角度，在预设时间内当所述头部旋转角度的变化值达到阈值角度时，则判定用户处于点头状态；

统计单元34，用于统计用户闭眼、打哈欠和点头的次数。

请参阅图8，为本发明提供的教学评估系统的完整结构框图，具体如下：

采集模块1包含采集单元11，其用于采用摄像头或录像机录制包含用户人脸的视频。

评估模块4包含评估单元41，其用于检测用户闭眼、打哈欠和点头的次数是否在预设时间内超过预设阈值范围，根据闭眼、打哈欠和点头的次数在预设阈值范围的区间评估教学质量。

所述教学评估系统与教学评估方法对应的原理和流程相同，在此不一一赘述。

综上所述，本发明鉴于传统方法投入人力大且评估效果不佳，本发明不需要学生的打分，通过采集用户(听课者)的视频，获取听课者的人脸表情状态，分析人脸表情中是否出现闭眼、点头、和打哈欠的动作，统计闭眼、点头、和打哈欠的动作出现频率，从而根据听课者的状态客观公正的评估教学效果；不仅方便教师根据评估效果提高备课效率，同时，无论线上或线下教学通过该评估系统教师可准确了解听课者的状态，及时做出相应地调整，更有利提升教学效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种教学评估方法，其特征在于，包括：

获取录制用户人脸的视频；

确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

2.根据权利要求1所述的教学评估方法，其特征在于，所述获取录制用户人脸表情的视频的步骤包括：采用摄像头或录像机录制包含用户人脸的视频。

3.根据权利要求1所述的教学评估方法，其特征在于，所述确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置的步骤，包括：

采用人脸检测器提取视频中用户人脸图像，标定人脸图像中各个关键点初始位置；

提取各个关键点初始位置的SURF特征，将对应的SURF特征拼接为一个全局特征；

以所述全局特征为基础，采用随机森林算法得到各个关键点的平移量；

迭代计算各个关键点的平移量得到人脸图像的人脸关键点位置。

4.根据权利要求1所述的教学评估方法，其特征在于，所述根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数的步骤，包括：

计算人脸关键点位置中每个眼睛上、下眼睑之间的关键点距离，当所述上、下眼睑之间的关键点距离均低于第一阈值且其持续时间高于第二阈值时，则判定用户处于闭眼状态；

计算人脸关键点位置中上、下嘴唇之间的关键点距离，当所述上、下嘴唇之间的关键点距离高于第三阈值且其持续时间高于第四阈值时，则判定用户处于打哈欠状态；

根据标准3D人脸的旋转角度和对应的映射矩阵计算用户的头部旋转角度，在预设时间内当所述头部旋转角度的变化值达到阈值角度时，则判定用户处于点头状态；

统计用户闭眼、打哈欠和点头的次数。

5.根据权利要求1所述的教学评估方法，其特征在于，所述根据用户闭眼、打哈欠和点头的次数评估课程的教学质量的步骤，包括：

检测用户闭眼、打哈欠和点头的次数是否在预设时间内超过预设阈值范围，根据闭眼、打哈欠和点头的次数在预设阈值范围的区间评估教学质量。

6.一种教学评估系统，其特征在于，包括：

采集模块，用于获取录制用户人脸的视频；

关键点位置提取模块，用于确定所述视频中用户的人脸位置，提取所述人脸位置的人脸关键点位置；

检测模块，用于根据所述人脸关键点位置的变化状态判断用户是否闭眼、打哈欠和点头，并分别计算用户闭眼、打哈欠和点头的次数；

评估模块，用于根据用户闭眼、打哈欠和点头的次数评估课程的教学质量。

7.根据权利要求6所述的教学评估系统，其特征在于，所述采集模块包括采集单元，其用于采用摄像头或录像机录制包含用户人脸的视频。

8.根据权利要求6所述的教学评估系统，其特征在于，所述关键点位置提取模块包括：

标定单元，用于采用人脸检测器提取视频中用户人脸图像，标定人脸图像中各个关键点初始位置；

第一提取单元，用于提取各个关键点初始位置的SURF特征，将对应的SURF特征拼接为一个全局特征；

第二提取单元，用于以所述全局特征为基础，采用随机森林算法得到各个关键点的平移量；

计算单元，用于迭代计算各个关键点的平移量得到人脸图像的人脸关键点位置。

9.根据权利要求6所述的教学评估系统，其特征在于，所述检测模块包括：

闭眼检测单元，用于计算人脸关键点位置中每个眼睛上、下眼睑之间的关键点距离，当所述上、下眼睑之间的关键点距离均低于第一阈值且其持续时间高于第二阈值时，则判定用户处于闭眼状态；

哈欠检测单元，用于计算人脸关键点位置中上、下嘴唇之间的关键点距离，当所述上、下嘴唇之间的关键点距离高于第三阈值且其持续时间高于第四阈值时，则判定用户处于打哈欠状态；

点头检测单元，用于根据标准3D人脸的旋转角度和对应的映射矩阵计算用户的头部旋转角度，在预设时间内当所述头部旋转角度的变化值达到阈值角度时，则判定用户处于点头状态；

统计单元，用于统计用户闭眼、打哈欠和点头的次数。

10.根据权利要求6所述的教学评估系统，其特征在于，所述评估模块包括评估单元，其用于检测用户闭眼、打哈欠和点头的次数是否在预设时间内超过预设阈值范围，根据闭眼、打哈欠和点头的次数在预设阈值范围的区间评估教学质量。