CN102841676A - 网页浏览控制系统及方法 - Google Patents

Abstract

本发明提供一种网页浏览控制系统，应用于电子装置。该系统设置电子装置存储的标准唇语视频影像与网页操作指令之间的关联。当电子装置显示网页供用户浏览时，摄像装置撷取用户的视频影像。该系统识别各帧影像中的唇部轮廓，并根据每帧影像中的唇部轮廓组成用户的唇动视频影像。之后，该系统提取各段标准唇语视频影像及唇动视频影像中唇部轮廓变化的特征矩阵，根据特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像，并执行与该标准唇语视频影像相关联的网页操作指令对网页进行相应控制。本发明还提供一种网页浏览控制方法。

Description

网页浏览控制系统及方法

技术领域

本发明涉及一种网页浏览控制系统及方法。

背景技术

目前，用户在利用电子装置，例如手机，计算机等，浏览网页的过程中，一般是通过键盘或触控屏幕操作网页，例如上下拉动网页，翻页，关闭网页等操作。由于键盘或触控屏幕灵敏度的限制，常常会出现执行简单的网页操作却费时又费力的情况，或是频繁操作导致键盘磨损或触控屏幕出现划痕。

发明内容

鉴于以上内容，有必要提出一种网页浏览控制系统及方法，可以摆脱在利用电子装置浏览网页的过程中操作网页时对键盘或触控屏幕的依赖。

一种网页浏览控制方法，该方法包括：(A)设置电子装置的存储器存储的标准唇语视频影像与网页操作指令之间的关联；(B)在电子装置的显示器上显示网页供用户浏览，利用摄像装置撷取用户的视频影像，并将该视频影像存储于所述存储器；(C)识别该视频影像的各帧影像中的人脸区域；(D)识别各帧影像中人脸区域中的唇部区域及唇部轮廓；(E)将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像；(F)提取存储器存储的各段标准唇语视频影像唇部轮廓变化的特征矩阵，及提取唇动视频影像中唇部轮廓变化的特征矩阵，并根据所述特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像；及(G)从存储器中获取与该标准唇语视频影像相关联的网页操作指令，执行该网页操作指令对网页进行相应控制。

一种网页浏览控制系统，应用于电子装置。该电子装置的存储器存储有标准唇形视频影像数据及网页操作指令集。该系统包括：关联设置模块、人脸识别模块、唇部轮廓识别模块、唇形变化追踪模块、唇语匹配模块及指令执行模块。关联设置模块设置电子装置的存储器存储的标准唇语视频影像与网页操作指令之间的关联。电子装置的显示器上显示网页供用户浏览时，摄像装置撷取用户的视频影像，并将该视频影像存储于所述存储器。人脸识别模块识别该视频影像的各帧影像中的人脸区域。唇部轮廓识别模块识别各帧影像中人脸区域中的唇部区域及唇部轮廓。唇形变化追踪模块将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像。唇语匹配模块提取存储器存储的各段标准唇语视频影像唇部轮廓变化的特征矩阵，及提取唇动视频影像中唇部轮廓变化的特征矩阵，并根据所述特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像。指令执行模块从存储器中获取与该标准唇语视频影像相关联的网页操作指令，执行该网页操作指令对网页进行相应控制。

相较于现有技术，本发明所提供之网页浏览控制系统及方法利用唇语控制网页操作，用户不需要键盘或触控屏幕操作网页，既方便用户浏览网页，又可以避免因频繁操作导致键盘磨损或触控屏幕出现划痕的问题。

附图说明

图1是本发明网页浏览控制系统较佳实施方式的功能模块图。

图2是本发明网页浏览控制方法较佳实施方式的流程图。

图3是确定影像中唇部位置的示意图。

主要元件符号说明

电子装置	100
		网页浏览控制系统	10
摄像装置	20
		存储器	30
标准唇语视频数据	31

网页操作指令集	32
		处理器	40
显示器	50
		关联设置模块	11
人脸识别模块	12
		唇部轮廓识别模块	13
唇形变化追踪模块	14
		唇语匹配模块	15
指令执行模块	16

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

参阅图1所示，是本发明网页浏览控制系统10较佳实施方式的功能模块图。该网页浏览控制系统10应用于电子装置100。该电子装置100可以为手机，计算机或其它可以显示及浏览网页的装置。在本实施方式中，该电子装置100还包括摄像装置20，存储器30，处理器40及显示器50。在其它实施方式中，所述摄像装置20也可以独立于电子装置100。

存储器30存储标准唇语视频数据31及网页操作指令集32。唇语，是靠说话时嘴唇的动作来传递讯息。标准唇语视频数据31包括多段标准唇语视频影像。每一段标准视频影像记录了表达相应讯息的唇形变化过程。例如，标准唇语“往上一行”的视频影像记录了用户在表达语言“往上一行”的唇形变化过程。网页操作指令集32包括一系列网页操作指令，例如将电子装置100显示的当前网页内容“向上移动一行”的指令、“向下移动一行”的指令、“往前一页”的指令、“往后一页”的指令、“关闭当前网页”的指令等等。

网页浏览控制系统10设置存储器30存储的各段标准唇语视频影像与网页操作指令之间的关联。例如设置标准唇语“往上一行”的视频影像与“向上移动一行”的指令相关联。存储器30还存储设置的关联信息。

摄像装置20撷取浏览网页的用户的视频影像。显示器50显示该视频影像。网页浏览控制系统10分析该视频影像得到用户的唇形变化过程，结合拍摄该视频影像中各帧影像的时间讯息组成该用户的唇动视频影像，在标准唇语视频数据31中查找与该唇动视频影像相匹配的标准唇语视频影像，并执行与该标准唇语视频影像相关联的网页操作指令，以实现通过唇语控制网页操作。

参阅图1所示，网页浏览控制系统10包括关联设置模块11、人脸识别模块12、唇部轮廓识别模块13、唇形变化追踪模块14、唇语匹配模块15及指令执行模块16。本发明所称的模块可以为由多个电子元器件构成的硬件芯片，也可以为由一系列计算指令组成的计算机程序段。本实施例所述的模块是一种能够被处理器40所执行并且能够完成固定功能的计算机程序段，其存储在存储器30中。

关联设置模块11用于设置标准唇语视频影像与网页操作指令之间的关联。例如，关联设置模块11设置标准唇语“往上一行”的视频影像与“向上移动一行”的指令相关联，设置标准唇语“关闭网页”的视频影像与“关闭当前网页”的指令相关联，等等。

人脸识别模块12用于识别摄像装置20撷取的所述视频影像的各帧影像中的人脸区域。例如，若该视频影像由10帧影像组成，则人脸识别模块12识别该10帧影像中的人脸区域。本发明识别人脸区域采用的是人脸侦测技术，其实作方式为先搜集大量各式不同的人脸影像数据，从而建立完善的人脸样本，以此人脸样本作为判断视频影像是否包含人脸影像的比较依据。

唇部轮廓识别模块13用于识别各帧影像中人脸区域中的唇部区域及唇部轮廓。参阅图3所示，可以确定每帧影像中人脸区域的下1/3区域为唇部区域，唇部轮廓识别模块13对唇部区域进行影像增强(如对比度增强)以提取唇部区域的特征点，例如左右唇角、上唇顶点和下唇顶点的坐标，组成该帧影像中的唇部轮廓。

唇形变化追踪模块14用于将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像。例如，将上述10帧影像中的唇部轮廓结合该10帧影像的时间先后顺序组成用户的唇动视频影像。

唇语匹配模块15用于提取存储器30存储的各段标准唇语视频影像唇部轮廓变化的特征矩阵，及提取唇动视频影像中唇部轮廓变化的特征矩阵。该特征矩阵是基于各帧影像中唇部轮廓的特征点，例如左右唇角、上唇顶点和下唇顶点的坐标变化构建而成。

唇语匹配模块15还用于根据特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像。例如，某一段标准唇语视频影像，例如标准唇语“往上一行”的视频影像的唇部轮廓变化的特征矩阵与该唇动视频影像中唇部轮廓变化的特征矩阵相似度达到预设比例(例如80％)，则唇语匹配模块15判断该标准唇语视频影像与该唇动视频影像相匹配。

指令执行模块16用于从存储器30中获取与该标准唇语视频影像相关联的网页操作指令，执行该网页操作指令对网页进行相应控制。例如，指令执行模块16获取并执行与标准唇语“往上一行”的视频影像相关联的网页操作指令“向上移动一行”，将电子装置100显示的当前网页内容向上移动一行。

参阅图2所示，是本发明网页浏览控制方法较佳实施方式的流程图。

步骤S201，关联设置模块11设置标准唇语视频影像与网页操作指令之间的关联。例如，关联设置模块11设置标准唇语“往上一行”的视频影像与“向上移动一行”的指令相关联，设置标准唇语“关闭网页”的视频影像与“关闭当前网页”的指令相关联，等等。

步骤S202，电子装置100在显示器50上显示网页供用户浏览，摄像装置20撷取用户的视频影像，并将该视频影像存储于存储器30。

步骤S203，人脸识别模块12识别该视频影像的各帧影像中的人脸区域。例如，若该视频影像由10帧影像组成，则人脸识别模块12识别该10帧影像中的人脸区域。

步骤S204，唇部轮廓识别模块13识别各帧影像中人脸区域中的唇部区域及唇部轮廓。参阅图3所示，可以确定每帧影像中人脸区域的下1/3区域为唇部区域，对唇部区域进行影像增强(如对比度增强)以提取唇部区域的特征点，例如左右唇角、上唇顶点和下唇顶点的坐标，组成该帧影像中的唇部轮廓。唇形变化追踪模块14将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像。例如，将上述10帧影像中的唇部轮廓结合该10帧影像的时间先后顺序组成用户的唇动视频影像。

步骤S205，唇语匹配模块15提取存储器30存储的各段标准唇语视频影像中唇部轮廓变化的特征矩阵，并提取该唇动视频影像中唇部轮廓变化的特征矩阵。该特征矩阵是基于各帧影像中唇部轮廓的特征点，例如左右唇角、上唇顶点和下唇顶点的坐标变化构建而成。

步骤S206，唇语匹配模块15根据所述特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像。例如，唇语匹配模块15将该唇动视频影像中唇部轮廓变化的特征矩阵与各段标准唇语视频影像中唇部轮廓变化的特征矩阵一一进行比较。

步骤S207，唇语匹配模块15判断是否查找到与该唇动视频影像相匹配的标准唇语视频影像。例如，唇语匹配模块15判断是否查找到某段标准唇语视频影像，该标准唇语视频影像中唇部轮廓变化的特征矩阵与该唇动视频影像中唇部轮廓变化的特征矩阵的相似度达到预设比例(例如80％)。若未查找到与该唇动视频影像相匹配的标准唇语视频影像，则流程结束；若查找到与该唇动视频影像相匹配的标准唇语视频影像，例如标准唇语“往上一行”的视频影像中唇部轮廓变化的特征矩阵与该唇动视频影像中唇部轮廓变化的特征矩阵相似度达到80％，则执行步骤S208。

步骤S208，指令执行模块16从存储器30中获取与该标准唇语视频影像相关联的网页操作指令。例如，指令执行模块16获取并执行与标准唇语“往上一行”的视频影像相关联的网页操作指令“向上移动一行”。

步骤S209，指令执行模块16执行该网页操作指令对网页进行相应控制。例如，指令执行模块16执行“向上移动一行”的操作指令，将电子装置100显示的当前网页内容向上移动一行。

Claims (8)

1.一种网页浏览控制方法，其特征在于，该方法包括：

关联设置步骤：设置电子装置的存储器存储的标准唇语视频影像与网页操作指令之间的关联；

视频影像撷取步骤：在电子装置的显示器上显示网页供用户浏览，利用摄像装置撷取用户的视频影像，并将该视频影像存储于所述存储器；

人脸识别步骤：识别该视频影像的各帧影像中的人脸区域；

唇部轮廓识别步骤：识别各帧影像中人脸区域中的唇部区域及唇部轮廓；

唇形变化追踪步骤：将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像；

唇语匹配步骤：提取各段标准唇语视频影像唇部轮廓变化的特征矩阵，及提取唇动视频影像中唇部轮廓变化的特征矩阵，并根据所述特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像；及

指令执行步骤：从存储器中获取与该标准唇语视频影像相关联的网页操作指令，执行该网页操作指令对网页进行相应控制。

2.如权利要求1所述的网页浏览控制方法，其特征在于，每帧影像中人脸区域的下1/3区域为唇部区域。

3.如权利要求1所述的网页浏览控制方法，其特征在于，所述唇部轮廓识别步骤包括：对每帧影像中的唇部区域进行影像增强后，提取唇部区域的特征点的坐标组成该帧影像中的唇部轮廓。

4.如权利要求3所述的网页浏览控制方法，其特征在于，所述唇动视频影像中唇部轮廓变化的特征矩阵是基于该唇动视频影像的各帧影像中唇部轮廓的特征点的坐标变化构建而成。

5.一种网页浏览控制系统，其特征在于，该系统包括：

关联设置模块，用于设置电子装置的存储器存储的标准唇语视频影像与网页操作指令之间的关联；

视频影像撷取模块，用于当电子装置的显示器上显示网页供用户浏览时，利用摄像装置撷取用户的视频影像，并将该视频影像存储于所述存储器；

人脸识别模块，用于识别该视频影像的各帧影像中的人脸区域；

唇部轮廓识别模块，用于识别各帧影像中人脸区域中的唇部区域及唇部轮廓；

唇形变化追踪模块，用于将每帧影像中的唇部轮廓结合每帧影像对应的时间信息组成用户的唇动视频影像；

唇语匹配模块，用于提取各段标准唇语视频影像唇部轮廓变化的特征矩阵，及提取唇动视频影像中唇部轮廓变化的特征矩阵，并根据所述特征矩阵查找与该唇动视频影像相匹配的标准唇语视频影像；及

指令执行模块，用于从存储器中获取与该标准唇语视频影像相关联的网页操作指令，执行该网页操作指令对网页进行相应控制。

6.如权利要求5所述的网页浏览控制系统，其特征在于，每帧影像中人脸区域的下1/3区域为唇部区域。

7.如权利要求5所述的网页浏览控制系统，其特征在于，所述唇部轮廓识别模块是对每帧影像中的唇部区域进行影像增强后，提取唇部区域的特征点的坐标组成该帧影像中的唇部轮廓。

8.如权利要求5所述的网页浏览控制系统，其特征在于，所述唇动视频影像中唇部轮廓变化的特征矩阵是基于该唇动视频影像的各帧影像中唇部轮廓的特征点的坐标变化构建而成。

Images