[go: up one dir, main page]

CN113544692B - 用于面部认证的摄像头同步和图像标记 - Google Patents

用于面部认证的摄像头同步和图像标记 Download PDF

Info

Publication number
CN113544692B
CN113544692B CN201980093725.0A CN201980093725A CN113544692B CN 113544692 B CN113544692 B CN 113544692B CN 201980093725 A CN201980093725 A CN 201980093725A CN 113544692 B CN113544692 B CN 113544692B
Authority
CN
China
Prior art keywords
frame
image
camera
flood
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980093725.0A
Other languages
English (en)
Other versions
CN113544692A (zh
Inventor
贺志军
陈文宇
张博任
韩旭
阿达尔什·普拉卡什·穆尔蒂·寇德莱
杰·闵·普尔斯
高路
戈帕尔·帕鲁普迪
克莱顿·梅里尔·金伯尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113544692A publication Critical patent/CN113544692A/zh
Application granted granted Critical
Publication of CN113544692B publication Critical patent/CN113544692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开描述了用于同步摄像头和标记图像以进行面部认证的系统和技术。用户设备(102)通过向多摄像头系统(104)的控制接口(118)发送捕获命令来发起面部认证会话。作为响应，第一摄像头(106‑1)向第二摄像头(106‑2)输出指示每帧开始的同步信号。第一摄像头(106‑1)捕获初始帧的泛光图像，而第二摄像头(106‑2)捕获后续帧的点图像。对泛光图像标记泛光标识符，而对点图像标记点标识符。用户设备(102)确定第一帧或第二帧是否是丢帧，并且响应于确定出第一帧或第二帧都不是丢帧，面部认证系统(108)输出带有标记的泛光图像和点图像的图像流。面部识别模型(112)基于该图像流认证用户。

Description

用于面部认证的摄像头同步和图像标记
背景技术
一些用户设备(例如，移动电话)利用多摄像头系统(诸如双红外摄像头)来认证用户的面部。双红外摄像头针对每个连续的面部认证帧对在捕获“泛光图像”和“点图像”之间交替。泛光照明器照明用户的面部，同时红外摄像头中的一个捕获泛光图像。在下一帧中，点投影仪输出点激光图案，而另一红外摄像头捕获用户面部的“点图像”。双红外摄像头标记每个图像的元数据以指示每个图像是泛光图像还是点图像。通过遵循图像捕获过程的交替节奏来一致地施加标记。面部识别模型接收标记的泛光图像和点图像的图像流作为输入，并认证用户，例如以解锁用户设备。
该模型基于元数据标记来区分点图像和泛光图像。由于丢帧，准确地标记图像可能特别困难。当至少一个摄像头未能捕获帧的图像或在不正确的时间捕获帧的图像时，发生丢帧。丢帧可能破坏图像捕获过程的交替性质，这会中断标记并导致图像被错误地标记。元数据标记中的错误或不一致会降低面部识别模型的响应性、可靠性和准确性。不准确的标记甚至可能导致面部识别模型失败，例如，通过在错误识别的点图像上执行旨在用于泛光图像的操作。不可预测的模型降低了用户对面部认证的满意度，并削弱了用户设备的安全性。
发明内容
本公开描述了用于同步摄像头和标记图像以进行面部认证的系统和技术。用户设备(例如，移动电话)通过向多摄像头系统的控制接口发送捕获命令来发起面部认证会话。作为响应，主摄像头向辅摄像头输出指示主摄像头的每个帧的开始的同步信号。主摄像头捕获初始帧的泛光图像，并且辅摄像头捕获后续帧的点图像，或反之亦然(点然后泛光)；辅摄像头还可以捕获初始帧的泛光图像，并且主摄像头还可以捕获后续帧的点图像。将“泛光标识符”标记到泛光图像，并且将“点标识符”标记到点图像。用户设备(例如，基于图像的相应时间戳)确定在初始帧和后续帧期间，是否在正确的时间捕获泛光图像和点图像。如果不是，则用户设备将图像与丢帧相关联。响应于确定在丢帧期间既没有捕获泛光图像也没有捕获点图像，处理器输出具有标记的泛光图像和点图像的图像流。相反，如果初始帧或后续帧中的任一者是丢帧，则在丢帧期间捕获的图像被从图像流中丢弃或以其它方式防止到达面部识别模型。面部识别模型基于不包括与丢帧相关联的图像的图像流来认证用户。以这种方式改变图像流防止了模型认证期间的一些下游错误。
因此，该系统和技术使得能够为面部识别模型准确地标记图像，该面部识别模型依赖于标记来区分泛光图像和点图像。由于丢帧，准确的标记会特别困难。每个帧计数顺序地应用标记。如果帧被丢弃，则在丢帧期间捕获的图像可能示出与其标记不对应的点图案或泛光图案。面部识别模型依赖于标记来正确地处理图像。如果图像被标记为点图像或泛光图像但示出相反的点图案或泛光图案，则面部识别模型将在具有点图案的图像上执行泛光操作或在具有泛光图案的图像上执行点操作时发生故障。与之相反，该系统和技术丢弃在丢帧期间捕获的图像，以保留图像流的交替性质并确保其准确性。更准确的图像流促进更有效的计算。面部识别模型避免在错误标记的点图像上执行旨在用于泛光图像的操作。因此，用户设备避免浪费可以在用户设备内的其它地方应用的资源和计算能力。更准确的图像流还确保模型是可靠的并且不容易出错。由模型进行的认证是准确的，因为面部识别模型接收正确标记的图像。一致执行的模型提高了用户对面部认证的满意度，并增强了用户设备的安全性。
在一些方面中，描述了一种用于同步摄像头和标记图像以利用面部识别模型进行面部认证的方法。该方法包括：通过向用户设备的多摄像头系统的控制接口发送捕获命令，由用户设备的处理器发起面部认证会话；并且响应于发起面部认证会话，从多摄像头系统的第一摄像头向多摄像头系统的第二摄像头输出通过第一摄像头的每一帧的开始启动第二摄像头的每一帧的同步信号。该方法进一步包括由第一摄像头驱动多摄像头系统的泛光照明器以捕获用户的第一帧的泛光图像，并且利用泛光标识符自动地标记第一帧的泛光图像的元数据；在捕获第一帧的泛光图像后，由第二摄像头驱动点投影仪以捕获用户的第二帧的点图像，并且利用点标识符，自动地标记第二帧的点图像的元数据。可替代地，第一摄像头可以驱动点投影仪并且第二摄像头可以驱动泛光照明器。该方法进一步包括确定第一帧或第二帧是否为丢帧。该方法通过如下方式继续：响应于确定第一帧或第二帧都不是丢帧，向用户设备的面部识别模型输出包括第一帧的标记泛光图像和第二帧的标记点图像的图像流；并且通过向面部识别模型输入图像流，对用户进行认证。
本文还描述了具有用于执行上面概述的方法和本文阐述的其它方法的指令的计算机可读介质，以及用于执行这些方法的系统和装置。
提供本发明内容以介绍用于同步摄像头和标记图像以进行面部认证的简化概念，这将在下面的详细描述和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
参考下图，在本文中描述了用于面部认证的摄像头同步和图像标记的一个或多个方面的细节。在整个附图中使用相同的编号来引用相同的特征和组件：
图1图示了可以实现用于面部认证的摄像头同步和图像标记的技术的示例性环境。
图2图示了图1中阐述的用户设备的示例。
图3图示了图2中阐述的认证系统和摄像头系统的进一步细节。
图4图示了由图3中阐述的摄像头系统捕获的帧序列的示例。
图5-1和图5-2图示了用于面部认证的摄像头同步和图像标记的示例性方法。
具体实施方式
本公开描述了用于面部认证的同步摄像头和标记图像帧的技术和系统。用户设备(例如，移动电话)的面部认证系统包括多摄像头系统。多摄像头系统主要被描述为双红外摄像头系统，但是本文描述的技术和系统也适用于其它类型的多摄像头系统，包括非红外摄像头和具有多于两个摄像头的多摄像头系统。当朝向用户的面部投射交替的泛光-点图案时，双红外摄像头系统捕获面部的图像帧，每个图像帧示出由交替的泛光-点图案照明的面部。
出现在所捕获的图像帧中的交替的泛光-点图案是面部识别模型(例如，经训练以认证用户的面部的机器学习模型)的参考。模型基于从多摄像头系统输出的图像流来认证用户的面部。出现在图像流中的变化使得能够由面部识别模型进行推断，以生成用户面部的三维图。面部识别模型将三维图与参考键(例如，授权用户的预定面部图)进行比较，并且如果模型确定用户面部的图与参考键充分对应，则用户设备认证用户。
该模型基于捕获后不久应用的元数据标记来区分图像流中的图像。利用一种类型的元数据标记来标记泛光图像，而用不同类型的元数据标记来标记点图像。依赖于帧计数的奇偶校验来在下一帧处使用泛光图像标记或使用点图像标记之间进行切换，根据图像捕获过程的交替节奏来应用标记，而与关于在为该帧分配的曝光时间内或外何时实际捕获图像无关。由于丢帧和引入漂移的其它正时问题，准确地标记图像可能特别困难，导致同步的摄像头在帧的曝光窗口之外捕获图片。如果不正确地标记图像流中的图像的元数据，则面部识别模型将不正确地处理该对图像。被错误地标记为点图像的泛光图像导致模型故障，因为泛光图像不包括在其它点图像中可见的必要点图案。
当用户设备负担过重时，多摄像头系统可能丢帧。例如，如果用户设备的处理单元负责执行与面部认证和图像标记无关的其它操作，则处理单元可能没有资源来支持利用多摄像头系统驱动图像流，特别是以满足面部识别模型的捕获速率驱动图像流。本文描述的技术和系统使得用户设备在发生丢帧的情况下依然能够一致地且准确地标记图像以促进准确的面部识别。
作为一个实施例，移动电话通过向多摄像头系统的控制接口发送捕获命令来发起面部认证会话。例如，多摄像头系统是前置摄像头系统，当用户注视触摸屏时，该前置摄像头系统具有垂直于触摸屏并朝向用户投射的视场。多摄像头系统包括双红外摄像头，并且可选地包括光学和其它附加类型的摄像头。
多摄像头系统的控制接口使不同摄像头的初始化和供电同步。不需要处理单元向系统中的每个摄像头发出单独的初始化和上电命令，控制接口接收单个初始化或上电命令并自动地并行地将该命令传播到多摄像头系统中的每个摄像头。控制接口实现多摄像头系统的摄像头的同时初始化和供电，这有助于由多摄像头系统随后执行的捕获和标记的同步。
为了进一步同步多摄像头系统，该系统被构造成具有主摄像头，该主摄像头硬件同步一个或多个辅摄像头。例如，主垂直同步(VSYNC)输出被硬布线到每个辅摄像头的VSYNC输入。响应于在控制接口处接收到命令，主摄像头将同步信号输出到辅摄像头的VSYNC输入。同步信号使得每个辅摄像头将每个帧的开始与主摄像头同步。同步信号在每个帧的开始对准每对摄像头。摄像头可能需要若干帧来同步。可以通过比较利用两个摄像头捕获的主图像和辅图像的时间戳来检测到该两个摄像头之间的第一同步帧。
主摄像头捕获初始帧的泛光图像，并且辅摄像头捕获后续帧的点图像。“泛光标识符”被标记到泛光图像，并且“点标识符”被标记到点图像。
处理单元(例如，基于图像的相应时间戳)确定在初始帧和后续帧期间，是否在泛光图像和点图像的相应正确时间捕获泛光图像和点图像。如果用户设备确定在帧的特定时间窗口期间未捕获到图像，则处理单元将该图像与丢帧相关联。响应于确定在丢帧期间既没有捕获泛光图像也没有捕获点图像，处理单元将具有标记的泛光图像和点图像的图像流输入到面部识别模型。相反，如果处理单元确定初始帧或后续帧是丢帧，则处理单元在移除了标记的泛光图像和点图像的情况下将图像流输入到面部识别模型中。在丢帧期间捕获的图像被从图像流中丢弃或以其它方式阻止到达面部识别模型。在一些情况下，泛光图像或点图像用先前使用的(例如，与先前连续的两个帧相关联的)泛光图像和点图像替换。替换图像而不是从图像流完全省略图像通过向模型提供稳定的图像流从而有助于维持模型预期的较高的捕获速率。面部识别模型基于不包括与丢帧相关联的图像的图像流来认证用户。以这种方式改变图像流防止了在模型认证期间的一些下游错误。
用户设备可以比为面部识别模型标记图像的其它用户设备更准确地标记图像，所述面部识别模型取决于标记来区分图像类型。丢弃在丢帧期间捕获的图像以保留图像流的交替性质并确保其准确性。用户设备避免浪费可以在其它地方应用的资源和计算能力。由模型进行的认证是准确的，因为面部识别模型接收正确标记的图像。一致执行的模型增加了用户对面部认证的满意度，并增强了用户设备的安全性。
图1图示了其中可以实现用于面部认证的摄像头同步和图像标记的技术的示例性环境100。环境100包括用户114，该用户114持有用于对该用户114进行面部认证的用户设备102。例如，对用户114进行面部认证使用户设备脱离显示用户界面116-1的受限访问状态，并且准许用户进入完全访问状态。在完全访问状态下，用户设备显示用户界面116-2而不是用户界面116-1。用户设备102包括多摄像头系统104和面部认证系统108。多摄像头系统104包括使用硬件链路110耦合的摄像头106-1和摄像头106-2。面部认证系统108包括面部识别模型112用户设备102(有时也被称为计算设备)可以是具有用于面部认证的多摄像头系统的任何类型的移动或非移动计算设备。作为移动计算设备，用户设备102可以是移动电话、膝上型计算机、可穿戴设备(例如，手表、眼镜、耳机、服装)、平板设备、汽车/车辆设备、便携式游戏设备、电子阅读器设备、或远程控制设备、或具有摄像头的其它移动计算设备。作为非移动计算设备，用户设备102可以是冰箱、门铃、恒温器、安全系统或控制板、台式计算机、电视设备、显示设备、娱乐机顶设备、流媒体设备、桌面助理设备、非便携式游戏设备、商业会议设备、或具有用于面部认证的多摄像头系统的其它非移动计算设备。
面部认证系统108表示用户设备的硬件、软件和固件组件的集合，它们协调以使用多摄像头系统104执行面部认证。认证系统108的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(ICs)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或它们的任何组合。
例如，面部认证系统108包括面部识别模型112。神经网络或另一类型的机器学习模型是面部识别模型112的示例。使用机器学习来训练面部识别模型112，以从模型112从多摄像头系统104接收的图像流(例如，交替的泛光-点图像流)推断一组嵌入，并且作为响应，输出指示该组嵌入是否充分对应于预定参考键的指示(例如，概率、分数)。例如，在训练期间，面部认证系统引导多摄像头系统104捕获从不同角度，在不同环境光下等拍摄的用户114的各种图像，并且将这些图像输入到面部识别模型112中作为训练数据。面部识别模型112执行推断以生成参考键，诸如用户面部的三维表示，面部识别模型112将该参考键与在面部认证会话期间捕获的泛光图像和点图像进行比较。
多摄像头系统104是图1中的双红外摄像头系统，意指两个摄像头106-1和106-2中的每一个都是红外摄像头。在其它示例中，多摄像头系统104可以包括替代或附加类型的摄像头，并且本文描述的用于同步和标记用于面部认证的摄像头的技术和系统同样地适用于那些其它示例。多摄像头系统104将摄像头106-1视为“主摄像头”，以及将摄像头106-2视为“辅摄像头”。多摄像头系统104向面部认证系统108输出泛光图像和点图像的交替流，面部认证系统108将图像的交替流输入到面部识别模型112中。多摄像头系统104包括硬件链路110，该硬件链路110将辅摄像头106-2的同步输入耦合到主摄像头106-1的同步输出。硬件链路110携带从主摄像头106-1发送到辅摄像头106-2的同步信号，以在每个帧的开始时，使辅摄像头106-2与主摄像头106-1同步。以这种方式，硬件链路110通过引导摄像头106-1和106-2以维持从一个帧到下一个帧的同步来帮助防止漂移和丢帧。
为了促进摄像头106-1和106-2之间的同步，面部认证系统108建立了到多摄像头系统104的公共控制接口118。公共控制接口118将命令从面部认证系统108同时转发到主摄像头106-1和辅摄像头106-2。这使得面部认证系统108能够在大致相同的时间利用摄像头106-1和106-2执行操作(例如，初始化、停止、开始、重置、供电)。这减少了会以其它方式引入到泛光图像和点图像的捕获中的延迟。每个摄像头106-1和106-2被指配控制接口118上的唯一地址。面部认证系统108可以发送指定面部认证系统108旨在控制的摄像头106-1和106-2的地址的单个捕获命令。控制接口118将捕获命令(例如，并行地)自动地转发到命令中指定的每个唯一地址，因此摄像头106-1和106-2中的每一个在大致相同的时间从面部认证系统108接收到捕获命令。
作为用于建立控制接口118的一个示例，面部认证系统108首先对主摄像头106-1上电，并且将内部地址改变为控制接口118中的唯一地址。然后，面部认证系统108对辅摄像头106-2上电，并将内部地址改变为控制接口118中的不同的唯一地址。控制接口118内的地址上的公共流被用来命令摄像头106-1和106-2开始捕获图像。
交替流中的每个图像包括由面部认证系统108标记为指示泛光图像或点图像的元数据。标记图像使得面部识别模型112能够辨别以上两种类型的图像。面部认证系统108可以维护面部认证会话的帧计数。利用图像流的交替性质，与帧计数相关联的奇偶校验(例如，指示帧是奇数顺序编号的帧还是偶数顺序编号的帧的位或标志)指示图像是应当被标识为泛光图像还是点图像。
对于每对帧，面部认证系统108确定在泛光图像和点图像的各自的帧期间、是否在它们各自的正确时间捕获到该泛光图像和点图像。例如，因为硬件且软件地同步摄像头106-1和106-2，所以摄像头106-1和106-2具有相同的时间参考帧。因此，在捕获期间应用于图像的元数据的时间戳信息在摄像头106-1和106-2之间是可比较的。如果用户设备102确定在与泛光图像和点图像的相应的帧相关联的预期时间窗口期间未捕获到上述图像中的一个或两者，则面部认证系统108将该泛光图像和点图像两者与丢帧相关联。
在图像流到达面部识别模型112之前，面部认证系统108提高了标记图像流中的图像的准确性。因为标记中的不准确性的一个来源是丢帧，丢帧破坏了其它下游功能(例如，标记功能、面部识别模型112)所取决于的图像流的交替性质。当用户设备102负担过重时，多摄像头系统104可能丢帧。例如，多摄像头系统104可能没有足够的资源来以满足面部识别模型112的捕捉速率驱动图像流。每个帧计数顺序地应用标记。如果帧被丢弃，则在丢帧期间捕获的图像可以示出与其标记不相对应的点图案或泛光图案。面部识别模型112依赖于标记来正确地处理图像。如果图像被标记为点图像或泛光图像但示出相反的点图案或泛光图案，则面部识别模型112将会在具有点图案的图像上执行泛光操作或在具有泛光图案的图像上执行点操作，从而故障。相反，本文描述的技术和系统使得用户设备在发生丢帧的情况下依然能够一致地且准确地标记图像以促进准确的面部识别。
响应于确定在丢帧期间既没有捕获泛光图像也没有捕获点图像，面部认证系统108将图像流直接输入到面部识别模型112中。相反，如果在丢帧期间捕获到泛光图像或点图像中的任一个，则面部认证系统108改变图像流104以去除泛光图像和点图像对。丢弃在丢帧期间捕获的图像以保留图像流的交替性质并确保其准确性。在一些情况下，面部认证系统用先前使用的(例如，与先前连续的两个帧相关联的)泛光图像和点图像替换丢弃的泛光图像或点图像。替换图像而不是从图像流中完全省略图像，通过在没有空帧的情况下向面部识别模型112提供稳定的图像流，从而有助于实现面部识别模型112所预期的捕获速率。这样，面部认证系统108确保面部识别模型112基于不包括与丢帧相关联的图像的图像流来认证用户114。以这种方式改变图像流防止了面部识别模型112认证期间的一些下游错误。因此，面部识别模型112更可靠且更具响应性。
用户设备102比仅顺序地标记图像而不考虑丢帧的其它用户设备更准确地标记用于面部识别模型的图像。用户设备102避免浪费资源和计算能力。由面部识别模型112进行的认证始终是准确的，因为面部识别模型112始终接收正确标记的图像。定期执行的模型112增加了用户对面部认证系统108的满意度，并且加强了用户设备102的安全性。
图2图示了在图1中阐述的用户设备102的示例200。图2将用户设备102示为各种示例性设备，包括智能电话102-1、平板电脑102-2、膝上型电脑102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统或控制器102-7、智能扬声器系统102-8和电器102-9。用户设备102还可以包括其它设备，诸如电视、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统、门铃、冰箱以及具有多个摄像头和面部认证系统的其它设备。
用户设备102包括一个或多个计算机处理器202和一个或多个计算机可读介质204。该一个或多个计算机可读介质204包括面部识别模型112和操作系统206。用户设备102进一步包括多摄像头系统104，该多摄像头系统包括摄像头106-1和106-2以及附加摄像头106-3。用户设备102进一步包括面部认证系统108、一个或多个传感器210、一个或多个通信和输入/输出(I/O)设备212以及用户接口设备214，其可以操作为输入设备和/或输出设备。
处理器202和包括存储器介质和存储介质的计算机可读介质204是用户设备102的主处理复合体。面部识别模型112、操作系统206和其它应用(未示出)可以被实现为计算机可读介质204上的计算机可读指令，该计算机可读指令可以由计算机处理器202执行以提供本文描述的功能，诸如面部识别模型112的一些或全部功能(在计算机可读介质204内示出，但这不是必需的)。
所述一个或多个处理器202可以包括以下各项的任意组合：一个或多个控制器、微控制器、处理器、微处理器、硬件处理器、硬件处理单元、数字信号处理器、图形处理器、图形处理单元等。处理器202可以是集成处理器和存储器子系统(例如，被实现为“片上系统”)，其处理计算机可执行指令以控制用户设备102的操作。
计算机可读介质204被配置为可执行指令(例如，固件、恢复固件、软件、应用、模块、程序、功能等等)和数据(例如，用户数据、操作数据等)的永久和非永久存储以支持可执行指令的执行。计算机可读介质204的示例包括易失性存储器和非易失性存储器、固定和可移动介质设备、以及维护可执行指令和支持数据的任何合适的存储器设备或电子数据存储装置。计算机可读介质204可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存和各种存储器设备配置中的其它类型的存储存储器的各种实现。计算机可读介质204排除传播信号。计算机可读介质204可以是固态驱动器(SSD)或硬盘驱动器(HDD)。
所述一个或多个传感器210通常获得指示用户设备102或用户设备102的周围环境的操作条件(虚拟或物理)的上下文信息。用户设备102至少部分地基于由传感器210生成的传感器数据来监测操作条件。传感器208的示例包括移动传感器、温度传感器、位置传感器、接近传感器、光传感器、红外传感器、湿度传感器、压力传感器等。
通信和I/O设备212提供到用户设备102和其它设备和外围设备的连接。通信和I/O装置212包括数据网络接口，该数据网络接口在设备与其它数据网络(例如，网状网络、外部网络等)、设备或远程计算系统(例如，服务器)之间提供连接和/或通信链路。通信和I/O设备212将用户设备102耦合到各种不同类型的组件、外围设备或附件设备。通信和I/O设备212的数据输入端口接收数据，包括图像数据、用户输入、通信数据、音频数据、视频数据等。通信和I/O设备212使得能够在用户设备102与其它设备、计算系统和网络之间实现设备数据的有线或无线通信。通信和I/O设备212的收发器实现蜂窝电话通信和其它类型的网络数据通信。
在图2所示的示例中，操作系统206与面部识别模型112分开。在其它示例中，操作系统206包括面部识别模型112。操作系统206通常控制用户设备102(包括用户接口设备214和诸如通信和I/O设备212的其它外围设备)的功能。应用在由操作系统206提供的执行环境内执行。操作系统206可以调度任务并控制用户设备102的其它常用功能。用户接口设备106管理对在操作系统206处执行的操作系统206以及其它应用和服务的输入和输出。
操作系统206可以驱动处于各种操作状态中或外的用户设备102。例如，在受限访问状态下，操作系统206阻止对用户114可用的各种功能或服务的访问。在认证状态下，操作系统206打开对用户114先前不可用的功能或服务的访问。当面部认证系统108认证用户114时，操作系统206从受限访问状态(例如，锁定状态)转换到认证状态(例如，解锁状态)。以其它方式，当用户接口设备检测到密码或口令、语音命令、指纹或手势时，操作系统206准许对用户设备102的访问。
用户接口设备214充当输出和输入组件，用于获得用户输入并提供用户界面。作为输出组件，用户接口设备214可以是显示器、扬声器或音频系统、触觉反馈系统或用于向用户114输出信息的另一系统。当被配置为输入组件时，用户接口设备214可以包括触摸屏、摄像头、麦克风、物理按钮或开关、雷达输入系统或用于从用户114接收输入的另一系统。用户接口设备214的其它示例包括鼠标、键盘、指纹传感器、光学、红外、压敏、存在敏感或基于雷达的手势检测系统。用户接口设备214通常包括可操作地耦合到显示器(或集成在显示器内)的存在敏感输入组件。
当被配置为存在敏感屏幕时，当显示用户界面116-1时，用户接口设备214检测用户114何时在存在敏感特征的位置处或附近提供二维或三维手势。响应于这些手势，用户接口设备214可以向用户设备102的其它组件输出信息以指示手势的相对位置(例如，X、Y、Z坐标)，并且使得其它组件能够解释手势。用户接口设备214可以基于由输出组件或输入组件生成的信息来输出数据，其中例如操作系统206可以用该输出组件或输入组件来控制面部认证系统108。
除了摄像头106-1和106-2之外，多摄像头系统104还包括摄像头106-3。面部认证系统108可以将多于两个辅摄像头与主摄像头同步，以实现其它类型的基于摄像头的面部识别。例如，面部识别模型112可以接收第三类型的图像(例如，光学图像)并且需要具有泛光图像、点图像和光学图像的交替图案的图像流。摄像头106-1可以驱动摄像头106-3的同步输入，类似于摄像头106-1如何驱动摄像头106-2的同步输入以跨三个摄像头同步曝光帧时间。面部认证系统108可以识别丢帧，并且从输出到面部识别模型112的图像流中省略图像三元组(例如，三个连续帧)。
图3图示了图2中阐述的认证系统和摄像头系统的进一步细节300。图3中所示的进一步细节300包括控制接口118的分解图。
认证系统108包括处理单元312、认证模块314和面部识别模型112。认证模块314从操作系统206接收命令以发起面部认证会话，并且利用面部认证系统108是否可以认证用户114的指示来对命令进行响应。置信度或分数可以伴随用户114是否被认证的指示。
控制接口118包括用于每个摄像头106-1、106-2和106-3(以及未示出的多摄像头系统104的任何其它摄像头)的唯一地址空间310-1、310-2和310-3。处理单元312(例如，类似于处理器202)具有唯一地址空间310-0，以代表认证模块314向摄像头106-1至106-3发送和接收命令。控制接口118可以是内部集成电路(I2C)或另一类似接口，其使得能够同时将命令从诸如处理单元312的公共处理器一次发送到多个摄像头。内部集成电路用于将低速外围设备(例如，红外摄像头)短距离连接到快速处理器。处理单元312可以向控制接口118输出大约同时传播到地址310-1和310-2的命令，因此软件同步摄像头106-1和106-2。摄像头106-1和106-2由链路110硬件同步，该链路可以可选地连接到摄像头106-3的同步输入。
摄像头106-1驱动泛光照明器的泛光驱动器302以在面部认证会话的初始帧期间捕获泛光图像。当摄像头106-2驱动点驱动器304以捕获点图像时，点投影仪的点驱动器304在面部认证会话的后续帧期间输出点图案。摄像头106-3操作闪光灯驱动器306以驱动闪光灯并捕获光学图像。
图4图示了由图3中阐述的多摄像头系统104捕获的帧序列400的示例。帧序列400被划分为四个相等的帧402-1至402-4。通过垂直同步信号110，根据帧来同步摄像头106-1和106-2。
在帧402-1期间，泛光驱动器302接收输入404-1，使得泛光投影仪照明，同时摄像头106-1和106-2分别捕获图像406-1和406-2。图像406-1是主泛光图像，而图像406-2是辅泛光图像。在一些示例中，丢弃辅图像，但是在其它情况下，面部识别模型针对每个帧402-1至402-4使用主图像406-1和辅图像406-2两者来认证用户114。在帧402-2期间，摄像头106-2控制点驱动器304以利用点投影仪投射激光点图案，同时摄像头106-1和106-2分别捕获图像406-3和406-4。图像406-3是主点图像，而图像406-4是辅点图像。
该过程在帧402-3和402-4中重复，但是如下文将清楚的，帧402-3包括丢帧。泛光驱动器302命令泛光照明器接通，同时在帧403-3及402-4期间捕获主泛光图像406-5和辅泛光图像406-6。在帧402-4中，当点驱动器304控制点投影仪接通时，捕获主点图像406-7和辅点图像406-8。
在将图像406-1和406-2的元数据输入到面部识别模型112之前，认证模块324用泛光标识符标记图像406-1和406-2的元数据，并用点标识符标记图像406-3和406-4的元数据。可以基于由认证模块324维护的帧计数来导出为每个图像标记选择的标识符。例如，偶数帧用于捕获主泛光图像和辅泛光图像，而奇数帧用于捕获主点图像和辅点图像。
认证模块324用泛光标识符标记图像406-5和406-6的元数据，并且用点标识符标记图像406-7和406-8的元数据。但是，在将图像406-5至406-8输入到图像流中并且输入到面部识别模型112中之前，认证模块314确定帧402-3是丢帧。举例来说，泛光图像406-5的时间戳数据可以不同于泛光图像406-6的时间戳数据，这可以指示在帧402-3期间，在不正确时间捕获任一图像406-5。如果时间戳在帧402-3的时间窗口之外，则例如认证模块314将帧402-3视为丢帧。
为了保持输入到面部识别模型112的图像流的标记的交替性质，认证模块314省略图像406-5和406-6以及图像406-7和406-8，因为图像406-7和406-8来自配对的下一帧。每个丢帧被扩展以包括前一或后续帧。因此，如果在丢帧期间捕获到泛光图像，则认证模块314将捕获到相应点图像的帧视为丢帧。
图5-1和5-2图示了用于面部认证的摄像头同步和图像标记的示例性方法。方法500-1和500-2可以包括比图5-1和图5-2中所示的步骤更多或更少的步骤，并且可以以不同的顺序执行。在下文中，在用户设备102的上下文中描述方法500-1和500-2。
在502处，用户设备102发起面部认证会话。例如，用户114在持有用户设备102的同时查看用户界面116-1以解锁用户设备并获得对用户界面116-2的访问。操作系统206可以唤醒面部认证系统108。在504处，面部认证系统108将捕获命令发送到多摄像头系统104的控制接口118。在506处，控制接口118将捕获命令转发到与主摄像头106-1相关联的唯一地址310-1。在与506大致相同的时间，在508处，控制接口118将捕获命令转发到与辅摄像头106-2相关联的唯一地址310-2。主摄像头106-1和辅摄像头106-2上电。
在510处，主摄像头106-1通过链路110输出垂直同步信号以指示第一帧的开始，并且在512处，辅摄像头106-2接收垂直同步信号并与由主摄像头106-1指示的第一帧的开始同步。垂直同步信号使辅摄像头106-2与面部认证会话的每个帧的开始同步。在一些示例中，主摄像头106-1和辅摄像头106-2之间的链路将辅摄像头106-2的同步输入耦合到主摄像头106-1的同步输出。
在514处，主摄像头106-1驱动多摄像头系统104的泛光照明器来捕获用户114的第一帧的主泛光图像。在516处，在驱动泛光照明器以捕获第一帧的主泛光图像时并且响应于接收到同步信号，辅摄像头106-2捕获第一帧的辅泛光图像。
在518处，面部认证系统108在已经完成第一帧之后递增用于面部认证会话维护的帧计数。在522处，面部认证系统108自动标记主泛光图像和辅泛光图像。例如，面部认证系统108确定帧计数的奇偶校验值，并且基于奇偶校验值为零以指示偶数帧，面部认证系统108选择泛光标识符而不是点标识符来标记第一帧中的图像。
在524处，主摄像头106-1通过链路110输出垂直同步信号以指示后续帧的开始，以及在526处，辅摄像头106-2接收垂直同步信号并与由主摄像头106-1发起的后续帧的开始同步。
在528处，辅摄像头106-2驱动多摄像头系统104的点投影仪，同时为后续帧捕获用户114的辅点图像。在530处，在驱动点投影仪以捕获用于后续帧的辅点图像的同时，主摄像头106-1(可选地)捕获后续帧的主点图像。
在532处，面部认证系统108递增帧计数。在534处，面部认证系统108自动标记主点图像和辅点图像。例如，面部认证系统108确定帧计数的奇偶校验值，并且基于奇偶校验值为一以指示奇数帧，面部认证系统108选择点标识符而不是泛光标识符来标记第二帧中的图像。
在536处，为了确保到面部识别模型112的准确输入流，面部认证系统108确定第一帧或后续帧是否是丢帧。例如，基于时间戳信息、从摄像头106-1或106-2返回的错误消息或其它信息，面部认证系统108确定在上述两个帧中捕获到的主图像或辅图像中的任何一个是否是在不正确的时间捕获的。
在540处，响应于确定第一帧和后续帧都不是丢帧，面部认证系统108向面部识别模型112输出图像流，该图像流包括在第一帧和后续帧中，由摄像头106-1和106-2捕获的泛光图像和点图像，例如，至少用于第一帧的主标记泛光图像和用于后续帧的辅标记点图像。在一些情况下，图像流还包括辅标记泛光图像和主标记点图像。
在542处，图像识别模型112通过基于它们各自的元数据标记，不同地处理泛光图像和点图像来处理图像流。在544处，面部识别模型112认证用户，例如，输出图像流是否与参考键匹配的指示。在538处，在540的替代方案中，响应于在面部认证会话期间检测到丢帧，面部认证系统108从图像流中省略在上述两个连续帧中捕获的所有图像。
以下是所描述的用于同步摄像头和标记图像以进行面部认证的系统和技术的附加示例。
示例1.一种用于同步摄像头和标记图像以利用面部识别模型进行面部认证的方法，所述方法包括：通过向多摄像头系统的控制接口发送捕获命令，由用户设备的面部认证系统发起面部认证会话；响应于发起所述面部认证会话，从所述多摄像头系统的第一摄像头向所述多摄像头系统的第二摄像头输出垂直同步信号，所述垂直同步信号使所述第二摄像头与所述面部认证会话的每一帧的开始同步；由所述多摄像头系统的第一摄像头驱动所述多摄像头系统的泛光照明器以捕获用户的第一帧的泛光图像，并且利用泛光标识符自动地标记所述第一帧的所述泛光图像的元数据；在捕获所述第一帧的所述泛光图像后，由所述多摄像头系统的所述第二摄像头驱动点投影仪以捕获所述用户的第二帧的点图像，并且利用点标识符自动地标记所述第二帧的所述点图像的元数据；判断所述第一帧或所述第二帧是否为丢帧；响应于确定出所述第一帧或所述第二帧都不是丢帧，向所述用户设备的所述面部识别模型输出包括所述第一帧的标记泛光图像和所述第二帧的标记点图像的图像流；以及通过所述面部识别模型并基于所述图像流，对所述用户进行认证。
示例2.根据示例1所述的方法，进一步包括：由所述第一摄像头驱动所述泛光照明器以捕获第三帧的泛光图像，所述第三帧在所述第二帧之后；在捕获所述第三帧的所述泛光图像后，由所述第二摄像头驱动所述点投影仪以捕获第四帧的点图像；检测在捕获所述第三帧的所述泛光图像期间的丢帧或在捕获所述第四帧的所述点图像期间的丢帧；以及响应于检测到在捕获所述第三帧的所述泛光图像期间的丢帧或在捕获所述第四帧的所述点图像期间的丢帧，从所述图像流中省略所述第三帧的所述泛光图像和所述第四图像的所述点图像。
示例3.根据示例1或2所述的方法，其中，向所述控制接口发送捕获命令包括：将所述捕获命令转发给所述控制接口中的与所述第一摄像头相关联的唯一地址；以及将所述捕获命令转发给所述控制接口中的与所述第二摄像头相关联的唯一地址。
示例4.根据示例1-3中的任何项所述的方法，其中，输出所述同步信号包括通过所述第一摄像头和所述第二摄像头之间的链路，将所述同步信号从所述第一摄像头输出到所述第二摄像头，其中，所述链路将所述第二摄像头的同步输入耦合到所述第一摄像头的同步输出。
示例5.根据示例1-4中的任何项所述的方法，其中，所述泛光图像是所述第一帧的第一泛光图像，所述方法进一步包括：在驱动所述泛光照明器以捕获所述第一帧的所述第一泛光图像的同时，并且响应于接收到所述同步信号，利用所述第二摄像头捕获所述第一帧的第二泛光图像；利用所述泛光标识符自动地标记所述第一帧的所述第二泛光图像的元数据；以及与所述图像流一起输出所述第一帧的所述第二泛光图像以认证用户。
示例6.根据示例1-4中的任何项所述的方法，其中，所述点图像是所述第二帧的第二点图像，所述方法进一步包括：在驱动所述点投影仪以捕获所述第二帧的所述第二点图像的同时，并且响应于接收到所述同步信号，利用所述第一摄像头捕获所述第二帧的第一点图像；利用所述点标识符自动地标记所述第二帧的所述第一点图像的元数据；以及与所述图像流一起输出所述第二帧的所述第一点图像以认证用户。
示例7.根据示例1-4中的任何项所述的方法，其中，自动地标记所述第一帧的所述泛光图像的元数据和自动地标记所述第二帧的所述点图像的元数据包括：维护所述面部认证会话的帧计数；在所述第一帧期间，确定所述帧计数的第一奇偶校验值；基于所述第一奇偶校验值，选择泛光标识符而不是点标识符；在所述第二帧期间，确定所述帧计数的第二奇偶校验值；以及基于所述第二奇偶校验值，选择点标识符而不是泛光标识符。
示例8.根据示例1-4或7中的任何项所述的方法，其中，所述面部识别模型包括被训练以基于所述图像流来认证所述用户的机器学习模型。
示例9.根据示例8所述的方法，其中，基于所述图像流认证所述用户包括由所述机器学习模型基于对所述第一帧的所述泛光图像做标记的元数据，来确定所述第一帧的所述泛光图像是泛光图像而不是点图像。
示例10.根据示例1-9中的任一项所述的方法，其中，所述第一摄像头是主摄像头，而所述第二摄像头是辅摄像头。
示例11.一种用户设备，包括：面部认证系统，所述面部认证系统包括处理单元和存储器；多摄像头系统，所述多摄像头系统包括第一摄像头和第二摄像头，所述多摄像头系统被配置为输出泛光图像和点图像的交替流，所述交替流中的每个图像包括被标记为泛光图像或点图像中的任一者的元数据；公共控制接口，所述公共控制接口将命令从所述处理单元同时转发到所述第一摄像头和所述第二摄像头，所述第一摄像头和所述第二摄像头中的每一个都包括所述公共控制接口中的唯一地址；以及链路，所述链路将所述第二摄像头的同步输入耦合到所述第一摄像头的同步输出以将同步信号从所述第一摄像头发送到所述第二摄像头以与所述第一摄像头的每个对应帧的开始启动用于所述第二摄像头的每个帧，所述面部认证系统的所述存储器包括指令，所述指令当由所述处理单元执行时，使所述处理单元：执行面部识别模型，所述面部识别模型接收从所述多摄像头系统输出的所述交替流，并且基于所述交替流中的每个图像的元数据，确定所述交替流中的每个图像是泛光图像还是点图像；以及使用所述面部识别模型，基于所述交替流对用户进行认证。
示例12.根据示例11所述的用户设备，其中，所述指令在被执行时，进一步使所述处理单元检测丢帧，并且其中，所述多摄像头系统被配置为通过从所述交替流中省略在丢帧期间捕获的每个图像来丢弃在所述丢帧期间，由所述多摄像头系统捕获的每个图像。
示例13.根据示例11或12所述的用户设备，其中，所述指令在被执行时，进一步使所述处理单元通过下述操作，利用所述面部识别模型发起面部认证会话：将所述控制接口上的第一唯一地址指配给所述第一摄像头；将所述控制接口上的第二唯一地址指配给所述第二摄像头；以及向所述控制接口发送单个捕获命令，其中，将所述单个捕获命令自动地转发到所述第一摄像头的所述第一唯一地址和所述第二摄像头的所述第二唯一地址中的每一个。
示例14.根据示例11-13中的任何项所述的用户设备，其中，所述多摄像头系统为双红外摄像头系统，并且所述第一摄像头与所述第二摄像头为同种类型的红外摄像头。
示例15.一种包括指令的计算机可读存储介质，所述指令在被执行时，配置用户设备的至少一个处理器以执行根据示例1-10中的任一项所述的方法。
虽然在前面的描述中描述并在附图中示出了本公开的各种实施例，但是应当清楚地理解，本公开不限于此，而是可以在所附权利要求的范围内以各种方式实施。从前面的描述中，显而易见的是，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以进行各种改变。

Claims (14)

1.一种用于同步摄像头和标记图像以利用面部识别模型进行面部认证的方法，所述方法包括：
通过向多摄像头系统的控制接口发送捕获命令，由用户设备的面部认证系统发起面部认证会话；
响应于发起所述面部认证会话，从所述多摄像头系统的第一摄像头向所述多摄像头系统的第二摄像头输出垂直同步信号，所述垂直同步信号使所述第二摄像头与所述面部认证会话的每一帧的开始同步；
由所述多摄像头系统的所述第一摄像头驱动所述多摄像头系统的泛光照明器以捕获用于第一帧的用户的泛光图像，并且利用泛光标识符自动地标记用于所述第一帧的所述泛光图像的元数据；
在捕获用于所述第一帧的所述泛光图像后，由所述多摄像头系统的所述第二摄像头驱动点投影仪以捕获用于第二帧的所述用户的点图像，并且利用点标识符自动地标记用于所述第二帧的所述点图像的元数据；
确定所述第一帧或所述第二帧是否为丢帧；
响应于确定所述第一帧或所述第二帧都不是丢帧，向所述用户设备的所述面部识别模型输出包括所标记的用于所述第一帧的泛光图像和所标记的用于所述第二帧的点图像的图像流；以及
通过所述面部识别模型并基于所述图像流对所述用户进行认证。
2.根据权利要求1所述的方法，进一步包括：
由所述第一摄像头驱动所述泛光照明器以捕获用于第三帧的泛光图像，所述第三帧在所述第二帧之后；
在捕获用于所述第三帧的所述泛光图像后，由所述第二摄像头驱动所述点投影仪以捕获用于第四帧的点图像；
检测在捕获用于所述第三帧的所述泛光图像期间的丢帧或在捕获用于所述第四帧的所述点图像期间的丢帧；以及
响应于检测到在捕获用于所述第三帧的所述泛光图像期间的丢帧或在捕获用于所述第四帧的所述点图像期间的丢帧，从所述图像流中省略用于所述第三帧的所述泛光图像和用于所述第四帧的所述点图像。
3.根据权利要求1所述的方法，其中，向所述控制接口发送所述捕获命令包括：
将所述捕获命令转发给所述控制接口中的与所述第一摄像头相关联的唯一地址；以及
将所述捕获命令转发给所述控制接口中的与所述第二摄像头相关联的唯一地址。
4.根据权利要求1所述的方法，其中，输出所述同步信号包括通过所述第一摄像头和所述第二摄像头之间的链路，将所述同步信号从所述第一摄像头输出到所述第二摄像头，其中，所述链路将所述第二摄像头的同步输入耦合到所述第一摄像头的同步输出。
5.根据权利要求1所述的方法，其中，所述泛光图像是用于所述第一帧的第一泛光图像，所述方法进一步包括：
在驱动所述泛光照明器以捕获用于所述第一帧的所述第一泛光图像的同时，并且响应于接收到所述同步信号，利用所述第二摄像头捕获用于所述第一帧的第二泛光图像；
利用所述泛光标识符自动地标记用于所述第一帧的所述第二泛光图像的元数据；以及
与所述图像流一起输出用于所述第一帧的所述第二泛光图像以认证所述用户。
6.根据权利要求1所述的方法，其中，所述点图像是用于所述第二帧的第二点图像，所述方法进一步包括：
在驱动所述点投影仪以捕获用于所述第二帧的所述第二点图像的同时，并且响应于接收到所述同步信号，利用所述第一摄像头捕获用于所述第二帧的第一点图像；
利用所述点标识符自动地标记用于所述第二帧的所述第一点图像的元数据；以及
与所述图像流一起输出用于所述第二帧的所述第一点图像以认证所述用户。
7.根据权利要求1所述的方法，其中，自动地标记用于所述第一帧的所述泛光图像的元数据和自动地标记用于所述第二帧的所述点图像的元数据包括：
维护所述面部认证会话的帧计数；
在所述第一帧期间，确定所述帧计数的第一奇偶校验值；
基于所述第一奇偶校验值，选择泛光标识符而不是点标识符；
在所述第二帧期间，确定所述帧计数的第二奇偶校验值；以及
基于所述第二奇偶校验值，选择点标识符而不是泛光标识符。
8.根据权利要求1所述的方法，其中，所述面部识别模型包括被训练以基于所述图像流来认证所述用户的机器学习模型。
9.根据权利要求8所述的方法，其中，基于所述图像流认证所述用户包括由所述机器学习模型基于对用于所述第一帧的所述泛光图像做标记的元数据来确定用于所述第一帧的所述泛光图像是泛光图像而不是点图像。
10.根据权利要求1-9中的任何一项所述的方法，其中，所述第一摄像头是主摄像头，并且所述第二摄像头是辅摄像头。
11.一种用户设备，包括：
面部认证系统，所述面部认证系统包括处理单元和存储器；
多摄像头系统，所述多摄像头系统包括第一摄像头和第二摄像头，所述多摄像头系统被配置为输出泛光图像和点图像的交替流，所述交替流中的每个图像包括被标记为泛光图像或点图像中的任一者的元数据；
公共控制接口，所述公共控制接口将命令从所述处理单元同时转发到所述第一摄像头和所述第二摄像头，所述第一摄像头和所述第二摄像头中的每一个都包括所述公共控制接口中的唯一地址；以及
链路，所述链路将所述第二摄像头的同步输入耦合到所述第一摄像头的同步输出以将同步信号从所述第一摄像头发送到所述第二摄像头以利用所述第一摄像头的每个对应帧的开始启动所述第二摄像头的每个帧，
所述面部认证系统的所述存储器包括指令，所述指令在由所述处理单元执行时使所述处理单元：
执行面部识别模型，所述面部识别模型接收从所述多摄像头系统输出的所述交替流，并且基于所述交替流中的每个图像的元数据，确定所述交替流中的每个图像是泛光图像还是点图像；以及
使用所述面部识别模型，基于所述交替流对所述用户进行认证，
其中，所述指令在被执行时进一步使所述处理单元检测丢帧，并且
其中，所述多摄像头系统被配置为通过从所述交替流中省略在所述丢帧期间捕获的一个或多个图像来从交替流输出丢弃所述一个或多个图像，所述一个或多个图像是在所述丢帧期间由所述多摄像头系统捕获的。
12.根据权利要求11所述的用户设备，其中，所述指令在被执行时进一步使所述处理单元通过下述操作利用所述面部识别模型发起面部认证会话：
将所述控制接口上的第一唯一地址指配给所述第一摄像头；
将所述控制接口上的第二唯一地址指配给所述第二摄像头；以及
向所述控制接口发送单个捕获命令，其中，所述单个捕获命令被自动地转发到所述第一摄像头的所述第一唯一地址和所述第二摄像头的所述第二唯一地址中的每一个。
13.根据权利要求11或12所述的用户设备，其中，所述多摄像头系统为双红外摄像头系统，并且所述第一摄像头与所述第二摄像头为同种类型的红外摄像头。
14.一种包括指令的计算机可读存储介质，所述指令在被执行时配置用户设备的至少一个处理器以执行根据权利要求1-10中的任一项所述的方法。
CN201980093725.0A 2019-10-10 2019-10-10 用于面部认证的摄像头同步和图像标记 Active CN113544692B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/055669 WO2021071497A1 (en) 2019-10-10 2019-10-10 Camera synchronization and image tagging for face authentication

Publications (2)

Publication Number Publication Date
CN113544692A CN113544692A (zh) 2021-10-22
CN113544692B true CN113544692B (zh) 2024-09-06

Family

ID=68393075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093725.0A Active CN113544692B (zh) 2019-10-10 2019-10-10 用于面部认证的摄像头同步和图像标记

Country Status (4)

Country Link
US (1) US12046072B2 (zh)
CN (1) CN113544692B (zh)
DE (1) DE112019007808T5 (zh)
WO (1) WO2021071497A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
EP3909212B1 (en) 2019-09-09 2024-11-06 Google LLC Face authentication embedding migration and drift-compensation
US11687635B2 (en) 2019-09-25 2023-06-27 Google PLLC Automatic exposure and gain control for face authentication
EP3827409B1 (en) 2019-10-04 2023-01-04 Google LLC Autocalibration for multiple cameras using near-infrared illuminators
US12046072B2 (en) 2019-10-10 2024-07-23 Google Llc Camera synchronization and image tagging for face authentication
US12003862B2 (en) * 2022-06-21 2024-06-04 Snap Inc. Camera timestamp validation
WO2025014594A1 (en) * 2023-07-10 2025-01-16 Qualcomm Incorporated Managing devices for virtual telepresence
WO2025036967A1 (en) * 2023-08-16 2025-02-20 Trinamix Gmbh Method for improved biometric authentication
WO2025045661A1 (en) * 2023-08-29 2025-03-06 Trinamix Gmbh Secure authentication
US20250111022A1 (en) * 2023-09-28 2025-04-03 Apple Inc. Systems and methods for transmission and consumption of image data

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003009216A1 (en) 2001-07-17 2003-01-30 Yesvideo, Inc. Automatic selection of a visual image based on quality
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100456619B1 (ko) 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
US7038820B1 (en) 2002-04-03 2006-05-02 Eastman Kodak Company Automatic exposure control for an image sensor
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
WO2005096213A1 (en) 2004-03-05 2005-10-13 Thomson Licensing Face recognition system and method
JP4572583B2 (ja) 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7542628B2 (en) 2005-04-11 2009-06-02 Sarnoff Corporation Method and apparatus for providing strobed image capture
JP2007043248A (ja) 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
US7548270B2 (en) 2005-09-08 2009-06-16 Delphi Technologies, Inc. Method of exposure control for an imaging system
US8107762B2 (en) 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
JP5386793B2 (ja) 2006-12-11 2014-01-15 株式会社リコー 撮像装置および撮像装置の露出制御方法
JP4539729B2 (ja) 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
CN101782928A (zh) 2009-01-20 2010-07-21 联想(北京)有限公司 数据采集处理装置和方法
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
CN102422322B (zh) 2009-05-11 2015-01-21 杜比实验室特许公司 用于在目标环境下在装置处再现来自源环境的图像的色貌的方法和设备
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8599238B2 (en) 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
US8238671B1 (en) 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
JP5625371B2 (ja) 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
AU2010201740B2 (en) 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
US11935281B2 (en) * 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US20120050570A1 (en) 2010-08-26 2012-03-01 Jasinski David W Audio processing based on scene type
EP2574216B1 (en) 2010-09-28 2015-11-25 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for recovering a digital image from a sequence of observed digital images
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR20120071192A (ko) 2010-12-22 2012-07-02 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8854491B2 (en) * 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11914674B2 (en) * 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9246543B2 (en) 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US9349066B2 (en) 2012-01-06 2016-05-24 Qualcomm Incorporated Object tracking and processing
JP2013152643A (ja) 2012-01-25 2013-08-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
EP2680615B1 (en) 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
KR101937708B1 (ko) 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
US9286509B1 (en) 2012-10-19 2016-03-15 Google Inc. Image optimization during facial recognition
US8964062B1 (en) 2012-12-18 2015-02-24 Amazon Technologies, Inc. Integrated light sensor for dynamic exposure adjustment
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US9106821B1 (en) 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
US11352812B2 (en) * 2013-03-15 2022-06-07 August Home, Inc. Door lock system coupled to an image capture device
US9721086B2 (en) 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
CN109040552B (zh) 2013-06-13 2021-06-22 核心光电有限公司 双孔径变焦数字摄影机
US8982238B2 (en) 2013-07-02 2015-03-17 Omnivision Technologies, Inc. Multi-target automatic exposure and gain control based on pixel intensity distribution
US9363438B2 (en) 2013-07-23 2016-06-07 Michael BEN ISRAEL Digital image processing
CN103702015B (zh) 2013-12-20 2017-04-12 华南理工大学 一种近红外条件下人脸图像采集系统的曝光控制方法
CN105992987B (zh) 2014-01-31 2021-02-05 惠普发展公司，有限责任合伙企业 包括在显示器中的相机
US9570019B2 (en) 2014-03-20 2017-02-14 Dell Products, Lp System and method for coordinating image capture in a camera hidden behind a display device
US9507420B2 (en) 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9619633B1 (en) 2014-06-18 2017-04-11 United Services Automobile Association (Usaa) Systems and methods for upgrading authentication systems
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US9491452B2 (en) 2014-09-05 2016-11-08 Intel Corporation Camera calibration
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
US9805445B2 (en) 2014-10-27 2017-10-31 Adobe Systems Incorporated Image zooming
US10115185B2 (en) 2014-12-05 2018-10-30 At&T Intellectual Property I, L.P. Dynamic image recognition model updates
EP3234908A4 (en) 2014-12-19 2018-05-23 Nokia Technologies OY Method, apparatus and computer program product for blur estimation
US9432193B1 (en) 2015-02-05 2016-08-30 Sensory, Incorporated Face-based authentication with situational adaptivity
US20160283789A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Power-saving illumination for iris authentication
WO2016168415A1 (en) 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US9563643B2 (en) 2015-06-25 2017-02-07 Intel Corporation Automatic metatagging in images
US10586102B2 (en) 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
US10453270B2 (en) 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
CN108780477B (zh) 2016-03-01 2022-10-21 谷歌有限责任公司 用于免手操交易的面部简档修改
CN109076148B (zh) 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
US9774798B1 (en) 2016-06-29 2017-09-26 Essential Products, Inc. Apparatus and method for a wide field of view image sensor
US9609197B1 (en) * 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
CN106446873B (zh) 2016-11-03 2021-01-26 北京旷视科技有限公司 人脸检测方法及装置
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
CN108229278B (zh) 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN110246569A (zh) * 2017-04-23 2019-09-17 奥康科技有限公司 可穿戴装置和从先前会话检索并显示关键词的方法及介质
JP2018185749A (ja) 2017-04-27 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法
US10762335B2 (en) 2017-05-16 2020-09-01 Apple Inc. Attention detection
US20220391484A1 (en) * 2017-06-02 2022-12-08 TensorMark, Inc. Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof
US11755706B2 (en) * 2018-06-04 2023-09-12 Tensormark, Inc Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof
US11082566B2 (en) 2017-06-20 2021-08-03 Omnivision Technologies, Inc. Multiple camera calibration chart
US10957297B2 (en) 2017-07-25 2021-03-23 Louis Yoelin Self-produced music apparatus and method
CN107302663B (zh) 2017-07-31 2020-07-14 珠海大横琴科技发展有限公司 一种图像亮度调整方法、终端及计算机可读存储介质
US10929515B2 (en) 2017-08-01 2021-02-23 Apple Inc. Biometric authentication techniques
KR102362651B1 (ko) 2017-08-01 2022-02-14 애플 인크. 얼굴 인식에 사용되는 템플릿들을 업데이트하기 위한 프로세스
US10210381B1 (en) * 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
CN115333754A (zh) 2017-08-01 2022-11-11 苹果公司 用于生物特征认证的装置、方法和存储介质
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN107734129A (zh) 2017-09-27 2018-02-23 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN107818305B (zh) 2017-10-31 2020-09-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US10440276B2 (en) 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
US10803347B2 (en) 2017-12-01 2020-10-13 The University Of Chicago Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture
CN108307004A (zh) 2017-12-26 2018-07-20 姜洪明 全屏幕手机及其人脸识别验证方法
US20190208115A1 (en) 2017-12-28 2019-07-04 Facebook, Inc. Identifying User Intent for Auto Selfies
EP3714422A4 (en) * 2018-01-02 2021-01-20 Xirgo Technologies, LLC IMPROVED CAMERA CARPASSING
US10979814B2 (en) 2018-01-17 2021-04-13 Beijing Xiaoniao Tingling Technology Co., LTD Adaptive audio control device and method based on scenario identification
US10593055B2 (en) 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
CN109145653B (zh) 2018-08-01 2021-06-25 Oppo广东移动通信有限公司 数据处理方法和装置、电子设备、计算机可读存储介质
CN108965721B (zh) 2018-08-22 2020-12-22 Oppo广东移动通信有限公司 摄像头模组的控制方法和装置、电子设备
US10665250B2 (en) 2018-09-28 2020-05-26 Apple Inc. Real-time feedback during audio recording, and related devices and systems
CN113472976B (zh) 2018-10-16 2022-11-25 华为技术有限公司 微距成像的方法及终端
CN109697419A (zh) 2018-12-17 2019-04-30 北京中科虹霸科技有限公司 一种双摄虹膜采集设备与双摄同步图像传输方法
CN113423541B (zh) * 2018-12-21 2024-03-22 Lg电子株式会社 机器人的控制方法
CN109587303B (zh) 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
US20200349376A1 (en) * 2019-05-01 2020-11-05 Qualcomm Incorporated Privacy augmentation using counter recognition
CN110312056B (zh) 2019-06-10 2021-09-14 青岛小鸟看看科技有限公司 一种同步曝光方法和图像采集设备
US11257226B1 (en) * 2019-07-17 2022-02-22 Amazon Technologies, Inc. Low-overhead motion classification
EP4004811A4 (en) * 2019-07-26 2023-07-12 Patnotate LLC CONTENT ANALYSIS TECHNOLOGIES
EP3909212B1 (en) 2019-09-09 2024-11-06 Google LLC Face authentication embedding migration and drift-compensation
US11687635B2 (en) 2019-09-25 2023-06-27 Google PLLC Automatic exposure and gain control for face authentication
EP3827409B1 (en) 2019-10-04 2023-01-04 Google LLC Autocalibration for multiple cameras using near-infrared illuminators
US12046072B2 (en) 2019-10-10 2024-07-23 Google Llc Camera synchronization and image tagging for face authentication
CN111738230B (zh) 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备

Also Published As

Publication number Publication date
CN113544692A (zh) 2021-10-22
WO2021071497A1 (en) 2021-04-15
DE112019007808T5 (de) 2022-08-04
US20220172511A1 (en) 2022-06-02
US12046072B2 (en) 2024-07-23

Similar Documents

Publication Publication Date Title
CN113544692B (zh) 用于面部认证的摄像头同步和图像标记
US12061789B2 (en) Image sharing method and electronic device
CN107786794B (zh) 向应用提供由图像传感器获取的图像的电子装置和方法
JP6437708B2 (ja) インタラクティブホワイトボードおよび制御方法
AU2015337278B2 (en) Device and method for secure connection
RU2669063C2 (ru) Способ и устройство получения изображений
US9762316B2 (en) Lightweight pairing and connection transfer protocol via gesture-driven shared secrets
EP2963528B1 (en) Projector device, interactive system, and interactive control method
US20140340344A1 (en) Display processor and display processing method
CN110335386B (zh) 一种身份验证方法、装置、终端以及存储介质
EP3452913A1 (en) Method for determining role of electronic device and electronic device thereof
US20160269390A1 (en) Display apparatus and control method for display apparatus
EP4163771B1 (en) Screen locking method and apparatus
CN108958518A (zh) 触控系统及其控制方法
EP3008977A1 (en) Identification device, method, and computer program product
US10353657B2 (en) Projector and control method
WO2019042473A1 (zh) 操作触摸显示屏的方法及装置、终端设备和存储介质
WO2017065477A1 (en) Method for recording execution screen and electronic device for processing the same
WO2021118273A1 (en) Electronic device and method for processing writing input
WO2018074824A1 (en) Electronic device comprising electromagnetic interference sensor
WO2018016924A1 (ko) 전자 장치 및 전자 장치의 터치 입력 감지 방법
US20210173667A1 (en) Electronic Device Configuration Tool and Corresponding Methods
TWI661694B (zh) 調整消息記錄的方法及電子裝置
CN113282186B (zh) 将hid触摸屏自适应成键盘鼠标的方法
JP6191376B2 (ja) サーバ設置位置管理システム、サーバ設置位置管理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant