CN108628448B - 亮屏方法、装置、移动终端及存储介质 - Google Patents
亮屏方法、装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN108628448B CN108628448B CN201810327835.6A CN201810327835A CN108628448B CN 108628448 B CN108628448 B CN 108628448B CN 201810327835 A CN201810327835 A CN 201810327835A CN 108628448 B CN108628448 B CN 108628448B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- face
- light image
- imaging
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims abstract description 87
- 210000001747 pupil Anatomy 0.000 claims abstract description 86
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 12
- 238000005282 brightening Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提出一种亮屏方法、装置、移动终端及存储介质，其中，方法包括：当移动终端的运动轨迹状态的变化过程满足预设的解锁条件时，则控制开启结构光图像传感器进行成像；获取所述结构光图像传感器成像得到的深度图；根据所述深度图，构建人脸深度模型；从所述人脸深度模型识别瞳孔的位置；如果所述瞳孔的位置在人眼中的指定区域内，则控制所述移动终端亮屏。通过本方法，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
Description
技术领域
本申请涉及移动终端技术领域，尤其涉及一种亮屏方法、装置、移动终端及存储介质。
背景技术
随着电子技术的发展，人脸解锁逐渐应用于移动终端中。移动终端应用的人脸解锁技术，通常是在用户抬起移动终端时，移动终端对人脸进行检测，当检测到人脸时，移动终端自动亮屏解锁。
现有移动终端的人脸解锁技术在检测到人脸时自动亮屏解锁，未考虑用户当前是否有需要使用移动终端的意图，在无意图的情况，可能拍到了人脸，此时就存在误解锁的情况。
申请内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请实施例提供了一种亮屏方法、装置、移动终端及存储介质，通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
本申请第一方面实施例提出了一种亮屏方法，包括：
当检测移动终端的运动状态的变化过程满足预设的解锁条件时，则控制开启结构光图像传感器进行成像；
获取所述结构光图像传感器成像得到的深度图；
根据所述深度图，构建人脸深度模型；
从所述人脸深度模型识别瞳孔的位置；
如果所述瞳孔的位置在人眼中的指定区域内，则控制所述移动终端亮屏。
本申请实施例的亮屏方法，当移动终端的运动状态的变化过程满足预设的解锁条件时控制开启结构光图像传感器进行成像，获取结构光图像传感器成像得到的深度图，根据深度图构建人脸深度模型，从人脸深度模型识别瞳孔的位置，并在瞳孔的位置在人眼中的指定区域内时，控制移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
本申请第二方面实施例提出了一种亮屏装置，包括：
第一控制模块，用于当移动终端的运动状态的变化过程满足预设的解锁条件时，则控制开启结构光图像传感器进行成像；
获取模块，用于获取所述结构光图像传感器成像得到的深度图；
构建模块，用于根据所述深度图，构建人脸深度模型；
识别模块，用于从所述人脸深度模型识别瞳孔的位置；
第二控制模块，用于如果所述瞳孔的位置在人眼中的指定区域内，则控制所述移动终端亮屏。
本申请实施例的亮屏装置，当移动终端的运动状态的变化过程满足预设的解锁条件时控制开启结构光图像传感器进行成像，获取结构光图像传感器成像得到的深度图，根据深度图构建人脸深度模型，从人脸深度模型识别瞳孔的位置，并在瞳孔的位置在人眼中的指定区域内时，控制移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
本申请第三方面实施例提出了一种移动终端，包括：成像传感器、存储器、微控制单元MCU、处理器及存储在所述存储器上并可在所述处理器的可信执行环境下运行的可信应用程序；
所述MCU，为所述可信执行环境的专用硬件，与所述成像传感器和所述处理器连接，用于控制所述成像传感器进行成像，并将成像数据发送至所述处理器；
所述处理器执行所述可信应用程序时，实现如第一方面实施例所述的亮屏方法。
本申请实施例的移动终端，通过设置成像传感器、存储器、微处理芯片MCU、处理器及存储在存储器上并可在处理器的可信执行环境下运行的可信应用程序，由MCU控制成像传感器进行成像，并将成像数据发送至处理器，处理器通过执行可信应用程序，实现如第一方面实施例所述的亮屏方法，以使移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的亮屏方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的亮屏方法的流程示意图；
图2为本申请实施例二所提供的亮屏方法的流程示意图；
图3为本申请实施例三所提供的亮屏方法的流程示意图；
图4为本申请一实施例的移动终端的结构示意图；
图5为本申请实施例一所提供的亮屏装置的结构示意图；
图6为本申请实施例二所提供的亮屏装置的结构示意图；
图7为本申请实施例三所提供的亮屏装置的结构示意图；以及
图8为本申请实施例所提供的移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的亮屏方法、装置、移动终端及存储介质。
现有移动终端的人脸解锁技术中，当移动终端检测到用户抬起该移动终端时，移动终端进行人脸识别，如果检测的人脸，则自动亮屏解锁。然而，这种解锁方式存在误解锁的情况。比如，当用户拿起移动终端将其从一个位置移动至另一个位置时，如果这一过程中出现了极短暂的人脸面对移动终端的屏幕的情形，此时移动终端检测到人脸并自动亮屏解锁，而由于用户只是移动该移动终端的位置，并不需要使用该移动终端，移动终端亮屏解锁并非用户所希望的，即为误操作，影响用户体验。
针对上述问题，本申请实施例提出了一种亮屏方法，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
图1为本申请实施例一所提供的亮屏方法的流程示意图，该方法可以由移动终端执行。
如图1所示，该亮屏方法包括以下步骤：
步骤101，当移动终端的运动状态的变化过程满足预设的解锁条件时，则控制开启结构光图像传感器进行成像。
本实施例中，可以在移动终端中安装陀螺仪、重力传感器等，来检测移动终端的运动状态。当移动终端的运动状态的变化过程满足预设的解锁条件时，控制开启结构光图像传感器进行成像。其中，预设的解锁条件可以存储在移动终端的本地存储器中。
示例一，解锁条件可以是移动终端处于运动状态的时长达到预设阈值。本示例中，当移动终端中安装的陀螺仪、重力传感器等检测到移动终端开始运动时，控制移动终端中的计时器开始计时，以获取移动终端处于运动状态的时长，并将移动终端处于运动状态的时长与预设阈值进行比较，当达到预设阈值时，控制开启结构光图像传感器进行成像。
示例二，解锁条件可以是移动终端由运动状态到停止状态的过程中识别到人脸。本示例中，当移动终端中安装的陀螺仪、重力传感器等检测到移动终端开始运动时，移动终端控制前置摄像头开启，以检测前置摄像头视角范围内出现的人脸，并在移动终端停止运动时，关闭前置摄像头。移动终端对这一过程中前置摄像头采集的图像进行识别，当识别到人脸时，控制开启结构光图像传感器进行成像。
示例三，解锁条件为移动终端处于运动状态过程中的运动轨迹为触发亮屏的目标轨迹。本示例中，为了根据移动终端的运动轨迹判断是否需要控制移动终端亮屏，可以预先在移动终端中存储用于触发亮屏的目标轨迹。一般而言，用户手持移动终端并使用该移动终端时，该移动终端与地面的之间呈一定夹角，夹角的大小一般为30°～70°，从而，本示例中，可以将移动终端停止运动后的当前状态与地面之间的夹角处于30°～70°范围内时的运动轨迹作为触发亮屏的目标轨迹，并存储于移动终端中。
以利用陀螺仪获取移动终端的运动轨迹为例，当用户拿起移动终端时，在移动终端被抬起的过程中，陀螺仪检测到移动终端的角运动，并根据移动终端运动停止时，移动终端的角运动情况，形成移动终端的运动轨迹。
当检测到移动终端的运动轨迹后，可以对移动终端的运动轨迹进行分析，从中提取出移动终端停止运动后与地面之间的夹角大小，并将提取的夹角的大小与移动终端中存储的目标轨迹的夹角大小进行比较，若提取的夹角的大于处于目标轨迹的夹角范围内，则判定移动终端的运动轨迹为触发亮屏的目标轨迹，进而控制开启结构光图像传感器进行成像。
结构光图像传感器用于向成像对象投射结构光，其中，已知空间方向光束的投影集合称为结构光(structured light)。本实施例中，结构光的类型可以是光栅型、光点型、斑纹型(包括圆形斑纹和十字斑纹)、非均匀的散斑图案等中的任意一种。
步骤102，获取结构光图像传感器成像得到的深度图。
当结构光图像传感器发射的结构光到达人脸之后，由于人脸上各个面部器官会对结构光造成阻碍结构光会在人脸处发生反射，此时，可以通过移动终端中设置的摄像头对结构光在人脸上的反射光进行采集，通过采集到的反射光可以得到人脸的深度图。
步骤103，根据深度图，构建人脸深度模型。
具体的，人脸的深度图中可能包括人脸和背景，首先对深度图进行去噪处理及平滑处理，来获取人脸所在区域的图像，进而通过前后景分割等处理，将人脸与背景图分割。
在将人脸从深度图中提取出来后，即可从人脸的深度图中提取特征点数据，进而根据提取的特征点数据，将这些特征点连接成网络。比如根据各个点在空间上的距离关系，将相同平面的点，或者距离在阈值范围内的点连接成三角形网络，进而将这些网络进行拼接，可以构建出人脸深度模型。
步骤104，从人脸深度模型识别瞳孔的位置。
当用户准备开启移动终端时，用户的眼睛一般是看向移动终端的屏幕的，此时用户的眼睛处于睁开状态，根据人脸的深度图所构建的人脸深度模型中，眼睛也应当是睁开状态，从而能够从人脸深度模型中确定人眼的位置，进而识别出瞳孔的位置。
步骤105，如果瞳孔的位置在人眼中的指定区域内，则控制移动终端亮屏。
当用户的眼睛注视着移动终端的屏幕时，瞳孔位于人眼的正中间，从而，本实施例中，可以根据识别出的瞳孔的位置来判断用户是否在注视着屏幕，并在用户注视屏幕时控制移动终端亮屏。
作为一种示例，可以将以人眼的中间点为圆点、4mm为半径的圆形区域作为指定区域。当从人脸深度模型中识别出瞳孔的位置之后，可以进一步判断瞳孔的位置是否在指定区域内。如果识别出的瞳孔的位置处于人眼的指定区域内，则认为用户在注视着屏幕，控制移动终端亮屏。
本实施例的亮屏方法，当移动终端的运动状态的变化过程满足预设的解锁条件时控制开启结构光图像传感器进行成像，获取结构光图像传感器成像得到的深度图，根据深度图构建人脸深度模型，从人脸深度模型识别瞳孔的位置，并在瞳孔的位置在人眼中的指定区域内时，控制移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
为了更加清楚地说明前述实施例中从人脸深度模型识别瞳孔的位置的具体实现过程，本申请实施例提出了另一种亮屏方法，图2为本申请实施例二所提供的亮屏方法的流程示意图。
如图2所示，在如图1所示实施例的基础上，步骤105可以包括以下步骤：
步骤201，根据人眼的形状，从人脸深度模型中识别人眼。
人脸中的各个面部器官的形状各不相同，人眼的形状大多为椭圆形，且分布于人脸的上半部分，从而，本实施例中，可以根据人眼的形状，从构建的人脸深度模型中识别出人眼。
步骤202，根据瞳孔的形状，在人眼中识别瞳孔。
瞳孔为边缘整齐的圆形，且直径较小，在自然光环境下，瞳孔的直径约为2.5mm～5mm之间。
本实施例中，从人脸深度模型中识别出人眼之后，可以进一步根据瞳孔的大小、形状等特点，在人眼中识别出瞳孔。
步骤203，确定瞳孔的第一中心位置，将第一中心位置作为瞳孔的位置。
本实施例中，可以将人眼中直径较小的圆形确定为瞳孔，并确定瞳孔的第一中心位置，将第一中心位置作为瞳孔所在的位置。其中，第一中心位置可以用坐标表示。
进一步地，在本申请实施例一种可能的实现方式中，如图2所示，在步骤203之后，还可以包括以下步骤：
步骤204，提取人眼中的指定区域的第二中心位置。
本实施例中，在识别出的人眼中，可以将人眼的中间区域作为指定区域，比如，可以以人眼的正中间位置为圆点、以3mm为半径画圆将所形成的圆形区域作为指定区域，并确定指定区域的第二中心位置。其中，第二中心位置可以用坐标表示。
步骤205，获取第一中心位置相对第二中心位置的第一偏移量。
确定了指定区域的第二中心位置和瞳孔的第一中心位置之后，可以比较第一中心位置和第二中心位置，以获取第一中心位置相对第二中心位置的第一偏移量。其中，第一偏移量可以用不同坐标轴的坐标的差值表示。
步骤206，如果第一偏移量在设定的第一偏移量范围内，则确定瞳孔的位置在人眼中的指定区域内。
其中，第一偏移量范围可以预先设定并存储在移动终端中，第一偏移量范围比如可以为-2mm～+2mm。其中，“-”表示相对于第二中心位置向左/下偏移；“+”表示相对于第二中心位置向右/上偏移。
本实施例中，将获取的第一偏移量与预设的第一偏移量范围进行比较，若第一偏移量在预设的第一偏移量范围内，则确定瞳孔的位置在人眼的指定区域内，从而能够确定用户当前在注视着屏幕，可以控制移动终端亮屏。
在本申请实施例一种可能的实现方式中，还可以在预设时长内构件多个人脸深度模型，并从人脸深度模型中识别瞳孔的位置，当识别出的每个瞳孔的位置均在人眼的指定区域内时，可确定用户注视移动终端的屏幕的时长超过预设时长，当用户注视屏幕的时长超过预设时长时，控制移动终端亮屏，能够提高控制移动终端亮屏的条件，进一步降低误解锁的概率。
本实施例的亮屏方法，通过根据人眼的形状从人脸识别模型中识别人眼，根据瞳孔的形状识别出瞳孔，进而确定瞳孔的第一中心位置，并作为瞳孔的位置，能够准确识别出瞳孔，为准确执行亮屏操作奠定基础。通过提取人眼中指定区域的第二中心位置，获取第一中心位置相对第二中心位置的第一偏移量，当第一偏移量在设定的第一偏移量范围内时，确定瞳孔的位置在人眼中的指定区域内，能够实现根据瞳孔的位置判断人眼是否在注视着屏幕，进而判断是否控制移动终端亮屏，能够有效避免误解锁操作。
为了进一步提高人脸识别的准确度，在本申请实施例一种可能的实现方式中，可以利用可见光图像传感器成像得到可见光图像，以根据可见光图像确定用户是否意图开启移动终端。从而，本申请实施例提出了另一种亮屏方法，图3为本申请实施例三所提供的亮屏方法的流程示意图。
如图3所示，在如图1所示实施例的基础上，在步骤104之前，还可以包括以下步骤：
步骤301，在控制开启结构光图像传感器进行成像的同时，控制开启可见光图像传感器进行成像。
步骤302，获取可见光图像传感器成像得到的可见光图像。
本实施例中，当检测的移动终端的运动轨迹为触发亮屏的目标轨迹时，控制结构光图像传感器和可见光图像传感器开启，利用结构光图像传感器成像得到人脸的深度图，并利用可见光图像传感器成像得到可见光图像。
步骤303，对可见光图像进行人脸识别，确定人脸在可见光图像中的位置。
利用可见光图像传感器成像得到可见光图像之后，可以采用相关的人脸识别技术，对可见光图像进行人脸识别，并在从可见光图像中识别到人脸后，进一步确定人脸在可见光图像中的位置。
步骤304，如果人脸在可见光图像的指定区域内，则触发构建人脸深度模型。
具体地，可以确定人脸的第三中心位置，并提取可见光图像的指定区域的第四中心位置，进而获取第三中心位置相对第四中心位置的第二偏移量，如果第二偏移量在设定的第二偏移量范围内，则确定人脸在可见光图像的指定区域。其中，第二偏移量范围可以预先设定并存储在移动终端中。
一般而言，当用户使用移动终端时，用户的脸部正对移动终端的屏幕，此时拍摄的人脸图像中，人脸通常在图像的中间位置上下，从而，本实施例中，可以将可见光图像的中间位置上下作为指定区域。比如，可以将距离可见光图像顶端1/4处开始，至距离可见光图像底端1/4处结束的中间区域作为指定区域，指定区域的面积占可见光图像面积的一半。
本实施例中，确定人脸在可见光图像中的位置之后，可以进一步确定人脸的第三中心位置，并提取可见光图像的指定区域的第四中心位置，其中，第三中心位置可以是人脸在可见光图像中的位置的坐标表示，第四中心位置为指定区域在可见光图像中的坐标表示。进而，将第三中心位置和第四中心位置进行比较，并获取第三中心位置相对第四中心位置的第二偏移量，当第二偏移量在第二偏移量范围内时，确定人脸在可见光图像的指定区域内，则触发构建人脸深度模型。
本实施例的亮屏方法，通过在根据深度图构建人脸深度模型之前，先开启可见光图像传感器进行成像，获取可见光图像，对可见光图像进行人脸识别并确定人脸在可见光图像中的为准，当人脸在可见光图像的指定区域内时，触发构建人脸深度模型，能够避免无需控制移动终端亮屏时构建人脸深度模型带来的能耗，从而降低移动终端的能耗，提高电池续航能力。
在本申请实施例一种可能的实现方式中，在控制开启结构光图像传感器进行成像之前，还可以先控制开启红外传感器进行成像，获取红外传感器成像得到的红外图像，并从红外图像中提取人脸轮廓。进而，将提取的人脸轮廓与移动终端中预先存储的机主的人脸轮廓进行比较，当人脸轮廓与预存的人脸轮廓匹配时，则确定当前成像对象为机主，以在成像对象为机主时，再控制开启结构光图像传感器进行成像。通过对红外图像进行人脸识别以判断成像对象，当成像对象为机主时才启动结构光图像传感器进行成像，能够节约移动终端的运行空间和功耗。通过结合红外传感器、可见光图像传感器和结构光图像传感器进行人脸识别和活体检测，能够进一步提高识别率。
前述实施例的亮屏方法，可以由可信应用程序执行，其中，可信应用程序运行于可信执行环境中，通过可信执行环境的专用硬件与可信应用程序进行通信。作为一种可能的结构形式，移动终端中可以安装有激光摄像头、镭射灯、微控制单元(MicrocontrollerUnit，MCU)等，具体地，参见图4，图4为本申请一实施例的移动终端的结构示意图。如图4所示，移动终端可以包括：激光摄像头、泛光灯、可见光摄像头、镭射灯、MCU以及处理芯片。其中，专用硬件比如可以为MCU。通过由运行于可信执行环境中的可信应用程序执行本申请实施例的亮屏方法，能够保证移动终端的安全性。
本实施例中，MCU包括脉冲宽度调制(Pulse Width Modulation，PWM)、深度引擎、总线接口以及随机存取存储器(Random Access Memory，RAM)；处理芯片上运行有普通执行环境(Rich Execution Environment，REE)和可信执行环境(Trusted ExecutionEnvironment，TEE)，REE和TEE之间相互隔离。
如图4所示的移动终端中，PWM用于调制泛光灯生成红外光，和/或调制镭射灯发出结构光，并将发出的红外光和/或结构光投射至成像对象上。激光摄像头用于采集结构光图像，并将采集的结构光图像发送至深度引擎。深度引擎根据结构光图像计算获得成像对象对应的景深数据，并将景深数据通过总线接口发送至可信应用程序。总线接口包括：移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、I2C(Inter－IntegratedCircuit)同步串行总线接口和串行外设接口(Serial Peripheral Interface，SPI)，总线接口与可信执行环境下运行的可信应用程序进行信息交互。可信应用程序(图4中未示出)运行于可信执行环境TEE中，用于根据景深数据进行亮屏等操作。
为了实现上述实施例，本申请还提出一种亮屏装置。
图5为本申请实施例一所提供的亮屏装置的结构示意图。
如图5所示，该亮屏装置50包括：第一控制模块510、获取模块520、构建模块530、识别模块540，以及第二控制模块550。其中，
第一控制模块510，用于当移动终端的运动状态的变化过程满足预设的解锁条件时，则控制开启结构光图像传感器进行成像。
获取模块520，用于获取结构光图像传感器成像得到的深度图。
构建模块530，用于根据深度图，构建人脸深度模型。
识别模块540，用于从人脸深度模型识别瞳孔的位置。
第二控制模块550，用于当瞳孔的位置在人眼中的指定区域内时，控制移动终端亮屏。
进一步地，在本申请实施例一种可能的实现方式中，如图6所示，在如图5所示实施例的基础上，识别模块540包括：
识别单元541，用于根据人眼的形状，从人脸深度模型中识别人眼；以及，根据瞳孔的形状，在人眼中识别瞳孔。
确定单元542，用于确定瞳孔的第一中心位置，将第一中心位置作为瞳孔的位置。
进一步地，在本申请实施例一种可能的实现方式中，确定单元542还用于：在将第一中心位置作为瞳孔的位置之后，提取人眼中的指定区域的第二中心位置，获取第一中心位置相对第二中心位置的第一偏移量，并在第一偏移量在设定的第一偏移量范围内时，确定瞳孔的位置在人眼中的指定区域内。
通过根据人眼的形状从人脸识别模型中识别人眼，根据瞳孔的形状识别出瞳孔，进而确定瞳孔的第一中心位置，并作为瞳孔的位置，能够准确识别出瞳孔，为准确执行亮屏操作奠定基础。通过提取人眼中指定区域的第二中心位置，获取第一中心位置相对第二中心位置的第一偏移量，当第一偏移量在设定的第一偏移量范围内时，确定瞳孔的位置在人眼中的指定区域内，能够实现根据瞳孔的位置判断人眼是否在注视着屏幕，进而判断是否控制移动终端亮屏，能够有效避免误解锁操作。
进一步地，在本申请实施例一种可能的实现方式中，如图7所示，在如图5所示实施例的基础上，该亮屏装置50还可以包括：
人脸识别模块560，用于在控制开启结构光图像传感器进行成像的同时，控制开启可见光图像传感器进行成像；获取可见光图像传感器成像得到的可见光图像，对可见光图像进行人脸识别，确定人脸在可见光图像中的位置；当人脸在可见光图像的指定区域内时，触发构建人脸深度模型。
具体地，人脸识别模块560用于确定人脸的第三中心位置，并提取可见光图像的指定区域的第四中心位置，获取第三中心位置相对第四中心位置的第二偏移量，当第二偏移量在设定的第二偏移量范围内时，确定人脸在可见光图像的指定区域，进而触发构建模块530根据深度图，构建人脸深度模型。
通过在根据深度图构建人脸深度模型之前，先开启可见光图像传感器进行成像，获取可见光图像，对可见光图像进行人脸识别并确定人脸在可见光图像中的为准，当人脸在可见光图像的指定区域内时，触发构建人脸深度模型，能够避免无需控制移动终端亮屏时构建人脸深度模型带来的能耗，从而降低移动终端的能耗，提高电池续航能力。
在本申请实施例一种可能的实现方式中，该亮屏装置50还可以在第一控制模块510控制开启结构光图像传感器进行成像之前，先控制开启红外传感器进行成像，获取红外传感器成像得到的红外图像；从红外图像中提取人脸轮廓；当人脸轮廓与预存的人脸轮廓匹配时，则确定当前成像对象为机主。进而，再由第一控制模块510控制开启结构光图像传感器进行成像。
通过对红外图像进行人脸识别以判断成像对象，当成像对象为机主时才启动结构光图像传感器进行成像，能够节约移动终端的运行空间和功耗。通过结合红外传感器、可见光图像传感器和结构光图像传感器进行人脸识别和活体检测，能够进一步提高识别率。
需要说明的是，前述对亮屏方法实施例的解释说明也适用于该实施例的亮屏装置，其实现原理类似，此处不再赘述。
本实施例的亮屏装置，当移动终端的运动状态的变化过程满足预设的解锁条件时控制开启结构光图像传感器进行成像，获取结构光图像传感器成像得到的深度图，根据深度图构建人脸深度模型，从人脸深度模型识别瞳孔的位置，并在瞳孔的位置在人眼中的指定区域内时，控制移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
为了实现上述实施例，本申请还提出一种移动终端。
图8为本申请实施例所提供的移动终端的结构示意图。
如图8所示，该移动终端80包括：成像传感器810、存储器820、微控制单元MCU830、处理器840及存储在存储器820上并可在处理器840的可信执行环境下运行的可信应用程序850。其中，
MCU830为可信执行环境的专用硬件，与成像传感器810和处理器840连接，用于控制成像传感器810进行成像，并将成像数据发送至处理器840。
成像传感器810可以包括：激光摄像头、泛光灯、可见光摄像头和镭射灯。MCU830可以包括：脉冲宽度调制PWM、深度引擎、总线接口以及随机存取存储器RAM。其中，PWM用于调制泛光灯生成红外光，和/或调制镭射灯发出结构光，并将发出的红外光和/或结构光投射至成像对象上。激光摄像头用于采集结构光图像，并将采集的结构光图像发送至深度引擎。深度引擎根据结构光图像计算获得成像对象对应的景深数据，并将景深数据通过总线接口发送至处理器840。
处理器840执行可信应用程序850时，实现如前述实施例所述的亮屏方法。
本实施例的移动终端，通过设置成像传感器、存储器、微处理芯片MCU、处理器及存储在存储器上并可在处理器的可信执行环境下运行的可信应用程序，由MCU控制成像传感器进行成像，并将成像数据发送至处理器，处理器通过执行可信应用程序，实现如第一方面实施例所述的亮屏方法，以使移动终端亮屏。通过识别构建的人脸深度模型中瞳孔的位置，当瞳孔的位置在人眼中的指定区域内时，才控制移动终端亮屏，能够在人眼注视移动终端的屏幕时才控制移动终端进行亮屏解锁，有效避免移动终端误解锁的情况发生，提升用户体验。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述实施例所述的亮屏方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种亮屏方法，其特征在于，包括以下步骤：
当移动终端的运动状态的变化过程满足预设的解锁条件时，控制开启红外传感器进行成像；
获取所述红外传感器成像得到的红外图像；
从所述红外图像中提取人脸轮廓；
当所述人脸轮廓与预存的人脸轮廓匹配时，则确定当前成像对象为机主，控制开启结构光图像传感器进行成像；
获取所述结构光图像传感器成像得到的深度图；
在控制开启所述结构光图像传感器进行成像的同时，控制开启可见光图像传感器进行成像；
获取所述可见光图像传感器成像得到的可见光图像；
对所述可见光图像进行人脸识别，确定人脸在所述可见光图像中的位置；
如果所述人脸在所述可见光图像的指定区域内，则触发构建人脸深度模型；
根据所述深度图，构建所述人脸深度模型；
从所述人脸深度模型识别瞳孔的位置；
如果所述瞳孔的位置在人眼中的指定区域内，则控制所述移动终端亮屏，其中，所述人眼中的指定区域为以人眼的中心点为圆心、以预设长度为半径的圆形区域，用于判断用户是否注视屏幕。
2.根据权利要求1所述的方法，其特征在于，所述从所述人脸深度模型识别瞳孔的位置，包括：
根据人眼的形状，从所述人脸深度模型中识别所述人眼；
根据瞳孔的形状，在所述人眼中识别所述瞳孔；
确定所述瞳孔的第一中心位置，将所述第一中心位置作为所述瞳孔的位置。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一中心位置作为所述瞳孔的位置之后，还包括：
提取所述人眼中的指定区域的第二中心位置；
获取所述第一中心位置相对所述第二中心位置的第一偏移量；
如果所述第一偏移量在设定的第一偏移量范围内，则确定所述瞳孔的位置在人眼中的指定区域内。
4.根据权利要求1所述的方法，其特征在于，所述如果所述人脸在可见光图像的指定区域内，则触发构建所述人脸深度模型，包括：
确定人脸的第三中心位置；
提取所述可见光图像的指定区域的第四中心位置；
获取第三中心位置相对所述第四中心位置的第二偏移量；
如果所述第二偏移量在设定的第二偏移量范围内，则确定人脸在可见光图像的指定区域。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法由可信应用程序执行，所述可信应用程序运行于可信执行环境中。
6.根据权利要求5所述的方法，其特征在于，通过可信执行环境的专用硬件与所述可信应用程序进行通信。
7.一种亮屏装置，其特征在于，包括：
第一控制模块，用于当移动终端的运动状态的变化过程满足预设的解锁条件时，控制开启红外传感器进行成像，获取所述红外传感器成像得到的红外图像，从所述红外图像中提取人脸轮廓，当所述人脸轮廓与预存的人脸轮廓匹配时，则确定当前成像对象为机主，控制开启结构光图像传感器进行成像；
获取模块，用于获取所述结构光图像传感器成像得到的深度图；
人脸识别模块，用于在控制开启所述结构光图像传感器进行成像的同时，控制开启可见光图像传感器进行成像，获取所述可见光图像传感器成像得到的可见光图像，对所述可见光图像进行人脸识别，确定人脸在所述可见光图像中的位置，当所述人脸在所述可见光图像的指定区域内时，触发构建人脸深度模型；
构建模块，用于根据所述深度图，构建所述人脸深度模型；
识别模块，用于从所述人脸深度模型识别瞳孔的位置；
第二控制模块，用于如果所述瞳孔的位置在人眼中的指定区域内，则控制所述移动终端亮屏，其中，所述人眼中的指定区域为以人眼的中心点为圆心、以预设长度为半径的圆形区域，用于判断用户是否注视屏幕。
8.一种移动终端，其特征在于，包括：成像传感器、存储器、微控制单元MCU、处理器及存储在所述存储器上并可在所述处理器的可信执行环境下运行的可信应用程序；
所述MCU，为所述可信执行环境的专用硬件，与所述成像传感器和所述处理器连接，用于控制所述成像传感器进行成像，并将成像数据发送至所述处理器；
所述处理器执行所述可信应用程序时，实现如权利要求1-6中任一项所述的亮屏方法。
9.根据权利要求8所述的移动终端，其特征在于，所述MCU与所述处理器之间通过加密方式进行通信。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的亮屏方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810327835.6A CN108628448B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
| CN201911025279.8A CN110580102B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
| PCT/CN2019/075383 WO2019196558A1 (zh) | 2018-04-12 | 2019-02-18 | 亮屏方法、装置、移动终端及存储介质 |
| US16/477,439 US11537696B2 (en) | 2018-04-12 | 2019-02-18 | Method and apparatus for turning on screen, mobile terminal and storage medium |
| EP19734656.2A EP3579086B1 (en) | 2018-04-12 | 2019-02-18 | Screen light method, device, mobile terminal, and storage medium |
| TW108112613A TWI701606B (zh) | 2018-04-12 | 2019-04-11 | 亮屏方法、移動終端及儲存媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810327835.6A CN108628448B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911025279.8A Division CN110580102B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108628448A CN108628448A (zh) | 2018-10-09 |
| CN108628448B true CN108628448B (zh) | 2019-12-06 |
Family
ID=63705301
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810327835.6A Active CN108628448B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
| CN201911025279.8A Expired - Fee Related CN110580102B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911025279.8A Expired - Fee Related CN110580102B (zh) | 2018-04-12 | 2018-04-12 | 亮屏方法、装置、移动终端及存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11537696B2 (zh) |
| EP (1) | EP3579086B1 (zh) |
| CN (2) | CN108628448B (zh) |
| TW (1) | TWI701606B (zh) |
| WO (1) | WO2019196558A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628448B (zh) | 2018-04-12 | 2019-12-06 | Oppo广东移动通信有限公司 | 亮屏方法、装置、移动终端及存储介质 |
| US11527107B1 (en) * | 2018-06-29 | 2022-12-13 | Apple Inc. | On the fly enrollment for facial recognition |
| CN109739344B (zh) * | 2018-11-20 | 2021-12-14 | 平安科技（深圳）有限公司 | 基于眼球运动轨迹的解锁方法、装置、设备和存储介质 |
| CN109670287A (zh) * | 2018-12-21 | 2019-04-23 | 努比亚技术有限公司 | 智能终端解锁方法、智能终端及计算机可读存储介质 |
| CN110443021A (zh) * | 2019-08-12 | 2019-11-12 | 珠海格力电器股份有限公司 | 基于解锁按键进行人脸解锁的方法、存储介质及移动终端 |
| CN110597426A (zh) * | 2019-08-30 | 2019-12-20 | 捷开通讯(深圳)有限公司 | 亮屏处理方法、装置、存储介质及终端 |
| CN110929241B (zh) * | 2019-11-12 | 2023-05-16 | 北京字节跳动网络技术有限公司 | 一种小程序的快速启动方法、装置、介质和电子设备 |
| CN114445903A (zh) * | 2020-11-02 | 2022-05-06 | 北京七鑫易维信息技术有限公司 | 熄屏解锁方法及装置 |
| CN115146254B (zh) * | 2021-03-30 | 2024-11-12 | Oppo广东移动通信有限公司 | 解锁方法、装置、可穿戴设备及存储介质 |
| CN113190119A (zh) * | 2021-05-06 | 2021-07-30 | Tcl通讯（宁波）有限公司 | 一种移动终端屏幕点亮控制方法、装置、移动终端及存储介质 |
| CN113885708A (zh) * | 2021-10-22 | 2022-01-04 | Oppo广东移动通信有限公司 | 电子设备的屏幕控制方法、装置、电子设备以及存储介质 |
| US12001261B2 (en) * | 2022-06-27 | 2024-06-04 | Qualcomm Incorporated | Power optimization for smartwatch |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8272053B2 (en) * | 2003-12-18 | 2012-09-18 | Honeywell International Inc. | Physical security management system |
| JP4922288B2 (ja) * | 2005-03-24 | 2012-04-25 | プリバリス，インコーポレイテッド | スマートカード機能を備えた生体認証デバイス |
| US20070061590A1 (en) * | 2005-09-13 | 2007-03-15 | Boye Dag E | Secure biometric authentication system |
| US20080018451A1 (en) * | 2006-07-11 | 2008-01-24 | Jason Benfielt Slibeck | Passenger screening system and method |
| JP4996904B2 (ja) * | 2006-10-04 | 2012-08-08 | 株式会社日立製作所 | 生体認証システム、登録端末、認証端末、及び認証サーバ |
| US20080162943A1 (en) * | 2006-12-28 | 2008-07-03 | Ali Valiuddin Y | Biometric security system and method |
| EP2168282A1 (en) * | 2007-07-12 | 2010-03-31 | Innovation Investments, LLC | Identity authentication and secured access systems, components, and methods |
| CN101339607B (zh) * | 2008-08-15 | 2012-08-01 | 北京中星微电子有限公司 | 人脸识别方法及系统、人脸识别模型训练方法及系统 |
| JP5245971B2 (ja) * | 2009-03-26 | 2013-07-24 | 富士通株式会社 | 生体情報処理装置および方法 |
| CN103038750A (zh) * | 2010-03-31 | 2013-04-10 | 安全第一公司 | 对移动中数据进行保护的系统和方法 |
| CN101893934A (zh) * | 2010-06-25 | 2010-11-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种智能调整屏幕显示的方法和装置 |
| JP5669549B2 (ja) | 2010-12-10 | 2015-02-12 | オリンパスイメージング株式会社 | 撮像装置 |
| US8381969B1 (en) * | 2011-04-28 | 2013-02-26 | Amazon Technologies, Inc. | Method and system for using machine-readable codes to perform a transaction |
| US20120331557A1 (en) * | 2011-06-21 | 2012-12-27 | Keith Anthony Washington | Global identity protector E-commerce payment code certified processing system |
| US9202105B1 (en) * | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
| US20130342672A1 (en) | 2012-06-25 | 2013-12-26 | Amazon Technologies, Inc. | Using gaze determination with device input |
| US11017211B1 (en) * | 2012-09-07 | 2021-05-25 | Stone Lock Global, Inc. | Methods and apparatus for biometric verification |
| US9549323B2 (en) * | 2012-12-03 | 2017-01-17 | Samsung Electronics Co., Ltd. | Method and mobile terminal for controlling screen lock |
| US9166961B1 (en) * | 2012-12-11 | 2015-10-20 | Amazon Technologies, Inc. | Social networking behavior-based identity system |
| CN103064520B (zh) | 2013-01-31 | 2016-03-09 | 东莞宇龙通信科技有限公司 | 移动终端及其控制页面滚动的方法 |
| CN104133548A (zh) | 2013-05-03 | 2014-11-05 | 中国移动通信集团公司 | 确定视点区域及控制屏幕亮度的方法及装置 |
| US9369870B2 (en) * | 2013-06-13 | 2016-06-14 | Google Technology Holdings LLC | Method and apparatus for electronic device access |
| TW201506676A (zh) * | 2013-08-09 | 2015-02-16 | Acer Inc | 螢幕解鎖方法及裝置 |
| CN103902043B (zh) * | 2014-04-02 | 2018-08-31 | 努比亚技术有限公司 | 智能终端及其提醒方法 |
| CN103971408B (zh) * | 2014-05-21 | 2017-05-03 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
| CN105224065A (zh) | 2014-05-29 | 2016-01-06 | 北京三星通信技术研究有限公司 | 一种视线估计设备和方法 |
| CN104238948B (zh) * | 2014-09-29 | 2018-01-16 | 广东欧珀移动通信有限公司 | 一种智能手表点亮屏幕的方法及智能手表 |
| US9767358B2 (en) * | 2014-10-22 | 2017-09-19 | Veridium Ip Limited | Systems and methods for performing iris identification and verification using mobile devices |
| CN104376599A (zh) * | 2014-12-11 | 2015-02-25 | 苏州丽多网络科技有限公司 | 一种简便的三维头部模型生成系统 |
| CN104749945A (zh) * | 2015-04-13 | 2015-07-01 | 深圳市欧珀通信软件有限公司 | 点亮屏幕的方法、装置及智能手表 |
| CN104809384B (zh) * | 2015-04-30 | 2018-04-06 | 惠州Tcl移动通信有限公司 | 基于眼纹识别的摄像头快速启动的方法、系统及移动终端 |
| US9754555B2 (en) * | 2015-08-06 | 2017-09-05 | Mediatek Inc. | Method for adjusting display of electronic device and electronic device capable of adjusting display |
| US11380008B2 (en) * | 2016-05-06 | 2022-07-05 | Innovega Inc. | Gaze tracking system with contact lens fiducial |
| US10579860B2 (en) * | 2016-06-06 | 2020-03-03 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| US10491598B2 (en) * | 2016-06-30 | 2019-11-26 | Amazon Technologies, Inc. | Multi-factor authentication to access services |
| CN106250851B (zh) | 2016-08-01 | 2020-03-17 | 徐鹤菲 | 一种身份认证方法、设备及移动终端 |
| US20180081430A1 (en) * | 2016-09-17 | 2018-03-22 | Sean William Konz | Hybrid computer interface system |
| CN106774796A (zh) | 2016-11-30 | 2017-05-31 | 深圳市金立通信设备有限公司 | 一种屏幕点亮方法及终端 |
| CN206431724U (zh) * | 2017-01-25 | 2017-08-22 | 辛明江 | 一种基于人脸识别技术的门禁系统 |
| CN107368725B (zh) * | 2017-06-16 | 2020-04-10 | Oppo广东移动通信有限公司 | 虹膜识别方法、电子装置和计算机可读存储介质 |
| CN107504621A (zh) * | 2017-07-07 | 2017-12-22 | 珠海格力电器股份有限公司 | 空调线控器及其控制方法和控制装置 |
| CN107621867A (zh) * | 2017-08-09 | 2018-01-23 | 广东欧珀移动通信有限公司 | 熄屏控制方法、装置和终端设备 |
| CN107577930B (zh) * | 2017-08-22 | 2020-02-07 | 广东小天才科技有限公司 | 一种触屏终端的解锁检测方法及触屏终端 |
| CN107832669B (zh) * | 2017-10-11 | 2021-09-14 | Oppo广东移动通信有限公司 | 人脸检测方法及相关产品 |
| CN107748869B (zh) * | 2017-10-26 | 2021-01-22 | 奥比中光科技集团股份有限公司 | 3d人脸身份认证方法与装置 |
| CN107885352A (zh) * | 2017-11-28 | 2018-04-06 | 珠海市魅族科技有限公司 | 一种终端屏幕亮屏控制方法、装置和介质 |
| CN108628448B (zh) * | 2018-04-12 | 2019-12-06 | Oppo广东移动通信有限公司 | 亮屏方法、装置、移动终端及存储介质 |
| US11113510B1 (en) * | 2018-06-03 | 2021-09-07 | Apple Inc. | Virtual templates for facial recognition |
-
2018
- 2018-04-12 CN CN201810327835.6A patent/CN108628448B/zh active Active
- 2018-04-12 CN CN201911025279.8A patent/CN110580102B/zh not_active Expired - Fee Related
-
2019
- 2019-02-18 EP EP19734656.2A patent/EP3579086B1/en not_active Not-in-force
- 2019-02-18 US US16/477,439 patent/US11537696B2/en active Active
- 2019-02-18 WO PCT/CN2019/075383 patent/WO2019196558A1/zh unknown
- 2019-04-11 TW TW108112613A patent/TWI701606B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110580102A (zh) | 2019-12-17 |
| CN108628448A (zh) | 2018-10-09 |
| WO2019196558A1 (zh) | 2019-10-17 |
| EP3579086A1 (en) | 2019-12-11 |
| US11537696B2 (en) | 2022-12-27 |
| EP3579086B1 (en) | 2021-11-03 |
| US20200380100A1 (en) | 2020-12-03 |
| EP3579086A4 (en) | 2020-01-01 |
| TW201944288A (zh) | 2019-11-16 |
| TWI701606B (zh) | 2020-08-11 |
| CN110580102B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108628448B (zh) | 亮屏方法、装置、移动终端及存储介质 | |
| US10762640B2 (en) | Systems and methods for user detection, identification, and localization within a defined space | |
| CN110659543B (zh) | 基于手势识别的车辆控制方法、系统及车辆 | |
| US11524578B2 (en) | Control method and control device for vehicle display device | |
| CN108985225A (zh) | 焦点跟随方法、装置、电子设备及存储介质 | |
| TWI714989B (zh) | 智慧型裝置的持續喚醒方法、裝置、智慧型裝置和儲存媒體 | |
| TW201941099A (zh) | 智慧型裝置的交互目標確定方法和裝置 | |
| CN104822042B (zh) | 一种基于摄像头的行人安全检测方法及装置 | |
| EP3576016A1 (en) | Face recognition method and apparatus, and mobile terminal and storage medium | |
| CN106573588A (zh) | 驾驶辅助装置、驾驶辅助方法和程序 | |
| US20120020098A1 (en) | Searchlight control apparatus and method | |
| JP5626039B2 (ja) | 視線検出装置及び視線検出方法 | |
| CN105433983A (zh) | 一种超声诊断设备及切换超声探头工作状态的方法 | |
| CN108616688A (zh) | 图像处理方法、装置及移动终端、存储介质 | |
| CN108733417A (zh) | 智能设备的工作模式选择方法和装置 | |
| KR20200134160A (ko) | 얼굴 생체 검출 방법과 장치, 전자 기기, 컴퓨터 판독 가능 매체 | |
| JP5601179B2 (ja) | 視線検出装置及び視線検出方法 | |
| CN108924340A (zh) | 验证方法、验证装置及计算机可读存储介质 | |
| CN110910877B (zh) | 家电设备的控制方法、装置和家电设备 | |
| JP3627468B2 (ja) | 動作検出装置 | |
| CN112752003A (zh) | 一种补光方法、装置、补光设备和监控设备 | |
| CN116446756A (zh) | 一种后背门控制方法、装置、设备和车辆 | |
| CN112764515A (zh) | 一种生物特征识别装置及电子设备 | |
| JP2011205619A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及び、電子機器 | |
| US20140062864A1 (en) | Method and apparatus for extracting three-dimensional distance information from recognition target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1261751 Country of ref document: HK |