[go: up one dir, main page]

CN117615440B - 模式切换方法及相关装置 - Google Patents

模式切换方法及相关装置 Download PDF

Info

Publication number
CN117615440B
CN117615440B CN202410096056.5A CN202410096056A CN117615440B CN 117615440 B CN117615440 B CN 117615440B CN 202410096056 A CN202410096056 A CN 202410096056A CN 117615440 B CN117615440 B CN 117615440B
Authority
CN
China
Prior art keywords
mode
electronic device
image
ambient illuminance
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410096056.5A
Other languages
English (en)
Other versions
CN117615440A (zh
Inventor
文琢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202410096056.5A priority Critical patent/CN117615440B/zh
Publication of CN117615440A publication Critical patent/CN117615440A/zh
Application granted granted Critical
Publication of CN117615440B publication Critical patent/CN117615440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. Transmission Power Control [TPC] or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0251Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种模式切换方法及相关装置,涉及终端技术领域,有利于节约电子设备功耗。该方法包括:在第一环境照度下电子设备在第一模式下采集至少两帧第一图像;在至少两帧第一图像的差异大于第一阈值的情况下电子设备从第一模式切换为第二模式,第一模式用于检测图像间的差异,第二模式用于识别图像中的对象;电子设备在第二模式采集第二图像;在电子设备完成对第二图像中的对象识别的情况下电子设备从第二模式切换为第一模式;在第二环境照度下电子设备在第一模式下采集至少两帧第三图像;在至少两帧第三图像的差异大于第二阈值的情况下电子设备从第一模式切换为第二模式,第二环境照度与第一环境照度不同,第二阈值与第一阈值不同。

Description

模式切换方法及相关装置
技术领域
本申请涉及终端技术领域,尤其涉及一种模式切换方法及相关装置。
背景技术
随着技术的发展,电子设备的功能越来越多,一些实现中,电子设备可以通过电源常开(always on,AO)相机对周围环境图像进行采集,以实现唤醒电子设备、解锁电子设备等功能。
但是目前,以唤醒电子设备为例,电子设备有时会出现频繁被误唤醒的情况,电子设备功耗较大,有时会出现难以被正常唤醒的情况,用户体验不佳。
发明内容
本申请实施例提供一种模式切换方法及相关装置,有利于避免高亮度场景下电子设备被频繁误唤醒、低亮度场景下又难以唤醒电子设备的情况,有利于节约电子设备功耗,提升用户体验。
第一方面,本申请实施例提出一种模式切换方法,应用于电子设备,所述方法包括:在第一环境照度下,所述电子设备在第一模式下采集至少两帧第一图像;在所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式,其中,所述第一模式用于检测图像间的差异,所述第二模式用于识别图像中的对象;所述电子设备在所述第二模式采集第二图像;在所述电子设备完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式;在第二环境照度下,所述电子设备在所述第一模式下采集至少两帧第三图像;在所述至少两帧第三图像的差异大于第二阈值的情况下,所述电子设备从所述第一模式切换为所述第二模式,所述第二环境照度与所述第一环境照度不同,所述第二阈值与所述第一阈值不同。
在一种可能的实现方式中,第一模式可以是电子设备中图像传感器的运动检测(motion detect,MD)模式,在MD模式下,处于第一环境照度的图像传感器可以持续不断的采集至少两帧第一图像,并对所采集的历史图像进行差异检测,在至少两帧第一图像的差异大于第一阈值的情况下,图像传感器从MD模式切换为视频传输标准(video graphicsarray,VGA)模式。应理解,MD模式与VGA模式的区别在于,在MD模式下,图像传感器采集图像但不输出,所采集的图像在图像传感器内进行差异检测,而在VGA模式下,图像传感器采集第二图像,并输出第二图像给处理器,由处理器对所采集的第二图像中的对象进行识别。第二模式可以理解为包含图像传感器采集、输出第二图像给处理器,处理器对第二图像中对象进行识别的模式。在处理器完成对第二图像中的对象识别的情况下,图像传感器从VGA模式回到MD模式。
在一种可能的实现方式中,在MD模式下进行差异检测时的至少两帧图像之间的差异可以通过图像的灰度值来表征,而不同的环境照度下所采集的同一物体的灰度值可能不是一个数量级,使得在不同环境照度下难以通过同一差异阈值来评判图像的差异检出门限。
本申请实施例中,电子设备在不同的环境照度下可以基于不同的差异阈值实现从第一模式到第二模式的切换,由于不同的环境照度下,电子设备在第一模式中所检测到的图像间差异可能不是同一个数量级,通过不同的环境照度对应不同的差异阈值可以使得任一环境照度下的差异阈值更为合理,与现有技术中不论何种环境照度均仅设定一个固定差异阈值来实现第一模式到第二模式的切换相比,本申请实施例提供的方法,有利于提升电子设备从第一模式切换到第二模式的准确度,有利于节约电子设备功耗。以在电子设备灭屏场景下,通过第一模式和第二模式的运行唤醒电子设备为例,本申请实施例提供的方法,可以使得高亮度场景和低亮度场景下的差异阈值均与其环境照度相匹配,这样,有利于避免高亮度场景下电子设备被频繁误唤醒、低亮度场景下又难以唤醒电子设备的情况,有利于提升用户体验。
结合第一方面在第一方面的某些实现方式中,在所述电子设备采集至少两帧第一图像之前,所述方法还包括:基于第一映射表,确定与所述第一环境照度对应的所述第一阈值,所述第一映射表用于指示环境照度与差异阈值的映射关系。
本申请实施例中,第一阈值是基于第一环境照度和第一映射表中所指示的环境照度与差异阈值的映射关系所确定的,一方面,基于第一映射表确定差异阈值相较于实时获取差异阈值的方式更为快捷,另一方面,与现有技术中不论何种环境照度均仅设定一个固定差异阈值相比,基于当前环境照度确定差异阈值的方式,有利于使得差异阈值的设定更为合理,进一步地,有利于维护电子设备性能。
结合第一方面在第一方面的某些实现方式中,在所述电子设备采集至少两帧第三图像之前,所述方法还包括:在所述第二环境照度超出第一范围的情况下,基于第一映射表,确定与所述第二环境照度对应的第二阈值,所述第一环境照度属于第一范围。
在一种可能的实现方式中,第一映射表中的一个环境照度区间对应一个差异阈值。第一范围可以是指第一环境照度在第一映射表中所属的环境照度区间。
本申请实施例中,在第二环境照度也处于第一范围的情况下,可以认为第二环境照度与第一环境照度的差异跨度对差异阈值的影响在电子设备功能实现的误差允许范围内,可以不对第一阈值进行更新,即在第二环境照度下电子设备仍以第一阈值作为差异阈值,这样,电子设备可以不必频繁更新差异阈值,有利于维护电子设备的稳定性;在第二环境照度超出第一范围的情况下,可以认为第二环境照度与第一环境照度的差异跨度对差异阈值的影响已超出电子设备的误差允许范围,此种情况下基于第一映射表,确定与第二环境照度对应的第二阈值,第二阈值与第一阈值不同,与第二环境照度更匹配,在第二环境照度下电子设备基于第二阈值所进行图像差异检测更为准确,有利于提升电子设备性能。
结合第一方面在第一方面的某些实现方式中,所述方法还包括:在第一触发频率不等于预设触发频率的情况下,基于第二映射表,确定与所述第一触发频率对应的第三阈值,将所述第一阈值更新为所述第三阈值,所述第二映射表用于指示触发频率与所述差异阈值的映射关系;其中,所述第一触发频率与所述电子设备在所述第一环境照度下从所述第二模式切换至所述第一模式的第一次数正相关,和/或,与所述电子设备在所述第一环境照度下处于所述第一模式的第一时长正相关。
本申请实施例中,通过第一触发频率与预设触发频率的比较,在第一触发频率与预设触发频率存在不同的情况下,基于第二映射表对差异阈值进行更新,以实现第一环境照度下的差异阈值的进一步调整,有利于使得电子设备的差异阈值更合理,有利于在节约电子设备功耗的同时,提升其手势识别、人脸识别等功能的效率,提高用户体验。
在一种可能的实现方式中,在所述第一触发频率大于预设触发频率的情况下,所述第三阈值大于所述第一阈值;在所述第一触发频率小于预设触发频率的情况下,所述第三阈值小于所述第一阈值。
应理解,预设触发频率可以反映预设时长内预设触发频率的合理值,可以是服务端基于用户所上报的、任意环境照度下的图像传感器处于MD模式的时长和图像传感器从MD模式进入VGA模式后又回到MD模式的次数等信息确定后下发至电子设备的,服务端可以是设备生厂商服务平台等,本申请对此不作具体限定。
本申请实施例中,通过第一触发频率与预设触发频率的比较,可以确定当前的差异阈值需要调整的更高还是更低,有利于快速确定差异阈值的调整策略,提高电子设备运行效率。
在一种可能的实现方式中,所述第一触发频率用于反映所述电子设备从所述第二模式切换至所述第一模式的频繁程度,所述第一触发频率与所述第一次数和所述第一时长的关系满足:所述第一触发频率为所述第一时长与第一次数的乘积。
本申请实施例中,在电子设备运行过程中,第一时长和第一次数容易被统计,通过第一时长与第一次数的乘积来计算第一触发频率,有利于降低差异阈值调整过程的难度,有利于提升电子设备的运行效率。
结合第一方面在第一方面的某些实现方式中,所述电子设备包括图像传感器和处理器,所述电子设备在第一模式下采集至少两帧第一图像,包括:所述图像传感器在第一模式下采集所述至少两帧第一图像;所述在所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式,包括:所述图像传感器在检测出所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式;所述电子设备在所述第二模式采集第二图像,包括:所述图像传感器在所述第二模式下采集所述第二图像,并传输至所述处理器;所述在所述电子设备完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式,包括:在所述处理器完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式。
结合第一方面在第一方面的某些实现方式中,所述电子设备还包括环境光传感器,所述方法还包括:所述环境光传感器采集环境光信息,确定所述第一环境照度;所述图像传感器从所述环境光传感器获取所述第一环境照度。
本申请实施例中,图像传感器可以从环境光传感器获取第一环境照度,有利于节约图像传感器算力。
结合第一方面在第一方面的某些实现方式中,所述方法还包括:所述图像传感器采集第四图像,获取所述第四图像的灰度值;所述图像传感器基于所述第四图像的灰度值在第三映射表中确定第一环境照度,所述第三映射表用于指示灰度值与环境照度之间的映射关系。
应理解,灰度值可以表示明暗程度,第三映射表可以是通过大量测试、基于灰度值与环境照度的对应关系确定的,该第三映射表可以是存储于图像传感器、电子设备中其他存储空间或云端服务器等,本申请对此做限定。
本申请实施例中,图像传感器无需与其他模块进行交互即可确定第一环境照度,有利于节约电子设备中各部件之间的通信功耗。
第二方面,本申请实施例提供一种模式切换装置,该模式切换装置可以是电子设备,也可以是电子设备内的芯片或者芯片系统。当该模式切换装置是电子设备时,该处理单元可以是处理器。该模式切换装置还可以包括存储单元,该存储单元可以是存储器。该存储单元用于存储指令,该处理单元执行该存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种模式切换方法。当该模式切换装置是电子设备内的芯片或者芯片系统时,该处理单元可以是处理器。该处理单元执行存储单元所存储的指令,以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种模式切换方法。该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该电子设备内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
第三方面,本申请实施例提供一种电子设备,包括一个或多个处理器和存储器,存储器用于存储代码指令,一个或多个处理器用于运行代码指令,以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令在计算机上运行时,使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第五方面,本申请实施例提供一种包括计算机程序的计算机程序产品,当计算机程序在计算机上运行时,使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
第六方面,本申请提供一种芯片或者芯片系统,该芯片或者芯片系统包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中,芯片中的通信接口可以为输入/输出接口、管脚或电路等。
在一种可能的实现中,本申请中上述描述的芯片或者芯片系统还包括至少一个存储器,该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元,例如,寄存器、缓存等,也可以是该芯片的存储单元(例如,只读存储器、随机存取存储器等)。
应当理解的是,本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例提供的电子设备在运动检测模式下的流程示意图;
图2为本申请实施例提供的一种场景示意图;
图3为本申请实施例提供的另一种场景示意图;
图4为本申请实施例提供的电子设备的硬件结构示意图;
图5为本申请实施例提供的电子设备的软件架构示意图;
图6为本申请实施例提供的一种模式切换方法的示意性流程图;
图7为本申请实施例提供的一种实验场景示意图;
图8为本申请实施例提供的另一种实验场景示意图;
图9为本申请实施例提供的另一种模式切换方法的示意性流程图;
图10为本申请实施例提供的又一种模式切换方法的示意性流程图;
图11为本申请实施例提供的一种芯片结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,以下,对本申请实施例中所涉及的部分术语和技术进行简单介绍:
1、电源常开(always on,AO)技术:是通过让移动设备和IoT等的电子设备识别周围环境的变化及其内容,基于获取的信息,实现自主用户接口的传感技术。
2、AO相机:支持AO功能的相机,或者也可以称为支持AO功能的图像传感器、图像传感器等,本申请对具有AO功能的设备名称不作具体限定。AO相机具有低功耗的特点,AO相机可处于常开状态。例如,电子设备在处于休眠状态时,不具备AO功能的普通相机不工作,但AO相机仍然可以拍摄图像并将图像进行简单处理。因此,电子设备可基于AO相机实现隔空手势操控、灭屏人脸检测和一翻即扫等业务。
3、其他术语
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a--c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
4、电子设备
本申请实施例的电子设备可以包括能够通过手势识别、面容识别等方式被唤醒的手持式设备、车载设备等。例如,一些电子设备为:手机(mobile phone)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备,虚拟现实(virtual reality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiationprotocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字助理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备,5G网络中的终端设备或者未来演进的公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等,本申请实施例对此并不限定。
作为示例而非限定,在本申请实施例中,该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
此外,在本申请实施例中,电子设备还可以是物联网(internet of things,IoT)系统中的终端设备,IoT是未来信息技术发展的重要组成部分,其主要技术特点是将物品通过通信技术与网络连接,从而实现人机互连,物物互连的智能化网络。
本申请实施例中的电子设备也可以称为:终端设备、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
在本申请实施例中,电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。该硬件层包括中央处理器(centralprocessing unit,CPU)、内存管理单元(memory management unit,MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。
作为一种可能的场景,电子设备处于灭屏状态时,具有AO功能的图像传感器(camera sensor)运行在低功耗模式,该低功耗模式例如可以是运动检测(motion detect,MD)模式。图1示例性地示出了MD模式下camera sensor的工作过程。如图1所示,在MD模式下,camera sensor可以连续不断地采集n帧图像,并对所采集到的历史帧中的至少两帧图像(例如图1中所示出的图像帧1和图像帧2)的灰度值差异进行比较,以判断视野内是否存在动作,其判断规则例如可以是:在检测到图像帧的灰度值差异大于预设的差异阈值的情况下,认为视野内存在动作,输出1作为触发信号,在检测到图像帧的灰度值差异小于差异阈值的情况下,则认为视野内不存在动作,输出0。在检测到图像帧的灰度值差异大于差异阈值的情况下,camera sensor输出触发信号,随后camera sensor进入视频传输标准(video graphics array,VGA)模式,在VGA模式下,图像传感器可以采集、输出图像给片上系统(system on chip,SOC)用于实现面容识别、手势识别等功能。
在一种可能的实现方式中,在MD模式下,camera sensor连续不断的采集图像帧并在camera sensor内进行处理,并不输出所采集的图像帧,但在检测到存在图像帧的灰度值差异大于差异阈值时,camera sensor输出触发信号给SOC,并在接收到来自SOC的信息,例如是对camera sensor所输出的图像的分辨率的设置后,输出与该信息对应的更高分辨率的图像给SOC。
可选地,camera sensor在MD模式下所采集的图像帧的分辨率可以很小,例如可以是16*12,以节约电子设备功耗,本申请对camera sensor在MD模式下所采集的图像帧的分辨率不作具体限定。
可选地,camera sensor对所采集的图像帧的比较方式可以是将当前图像帧与前序最近的图像帧进行比较,也可以是将当前图像帧与前序的任一个或多个图像帧进行比较,本申请对MD模式下的差异比较方式不作具体限定。
在一种可能的实现方式中,camera sensor对所采集的图像帧的比较可以是将当前采集的图像帧与前序已获得的图像帧中对应像素点的灰度值进行比较。应理解,环境亮度对camera sensor所采集的图像的灰度值有显著的影响,环境亮度可以用环境照度来表征。举例来说,针对同一场景中的同一动作变化,在环境照度为1勒克斯(lux)时,预设时间段内获得的两帧图像帧的平均灰度值可以是从10变化为8,其差异值为2,变化幅度为20%;但在环境照度为100lux的场景下,预设时间段内获得的两帧图像帧的平均灰度值可能从200变化为180,其差异值为20,变化幅度为10%。可以看出,在不同的环境照度下,同一场景中的同一动作变化,camera sensor所采集到的图像帧所表现的灰度值变化的绝对数据有明显的不同,但在一些实现中,针对该差异比较所采用的差异阈值为一个固定值,这就可能会存在该差异阈值不能兼顾不同环境照度的场景的情况。例如在上述示例中,若差异阈值为10,则在环境照度为1lux时,预设时间段内获得的两帧图像帧的平均灰度值的差异很难达到该差异阈值,但在环境照度为100lux的场景下,却非常容易达到该差异阈值。以电子设备灭屏场景下唤醒电子设备为例,在camera sensor针对MD模式下图像帧的差异比较只设有一个固定的差异阈值的情况下,就有可能出现如图2所示出的低亮度场景下,用户多次做出动作也难以唤醒电子设备的情况,以及,如图3所示出的高亮度场景下,用户未做动作却误唤醒电子设备的情况,严重影响用户体验。
有鉴于此,本申请提出一种模式切换方法及相关装置,可以根据实时的环境照度确定与该环境照度相匹配的差异阈值,使得触发图像传感器输出信号的阈值可以根据不同的环境照度自行调整,有利于减少电子设备在高亮度场景下误唤醒的情况,节约电子被功耗,也有利于减少在低亮度场景下电子设备难以被唤醒的情况,提升电子设备性能,提高用户体验。
为了便于理解本申请实施例,下面对本申请实施例提供的电子设备的硬件结构进行介绍。
图4示出了电子设备400的结构示意图。
电子设备400可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口(图4中未示出)等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备400的具体限定。在本申请另一些实施例中,电子设备400可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
本申请实施例中,处理器110可以包括片上系统(system on chip,SOC),可以用于处理camera sensor所输出的图像,例如可以对图像中的动作进行识别,以实现唤醒电子设备、灭屏手势解锁、隔空手势操控、灭屏人脸检测和一翻即扫等业务。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。在一些实施例中,电子设备400可以包括1个或N个摄像头193,N为大于1的正整数。
本申请实施例中,摄像头193可以包括具有AO功能的camera sensor,能够在电子设备处于休眠状态时低功耗运行,可以连续不断的拍摄图像,并针对所拍摄的图像进行差异比较,并在差异值大于阈值的情况下输出触发信号、切换至VGA模式输出图像给处理器,以使电子设备能实现灭屏唤醒电子设备、灭屏手势解锁、隔空手势操控、灭屏人脸检测和一翻即扫等业务。
环境光传感器180L用于感知环境光亮度。本申请实施例中,环境光传感器可以用于获取环境光信息,确定环境照度,并将所获取到的环境照度传输至摄像头193。
电子设备400的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备400的软件结构。
图5是本申请实施例的电子设备400的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用层(applications)、应用程序框架层(application framework)、硬件抽象层(hardwareabstract layer,HAL)、内核层(kernel)其中,内核层可能称为驱动层。此外电子设备还包括硬件层。
应用程序层可以包括一系列应用程序包。如图5所示,应用程序包可以包括相机、系统界面等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图5所示,应用程序框架层可以包括相机访问接口等。一些实现中,在用户通过电子设备的显示界面点击相机应用控件的情况下,应用程序层的相机应用可以通过应用程序框架层的相机访问接口向硬件抽象层下发启动、拍照等事件。
硬件抽象层可以包括相机硬件抽象和算法库,其中,算法库可以包括手势识别算法模块和人脸识别算法模块等。其中,相机硬件抽象可以为上层的相机应用提供一个统一的查询硬件设备的接口,或也可以为上层应用提供数据存储服务;手势识别算法模块可以对来自图像传感器的图像进行手势识别,输出手势识别结果;人脸识别算法模块可以对来自图像传感器的图像进行人脸识别,并输出人脸识别结果。
可选地,本申请实施例中,算法库和/或硬件抽象层中还可以包括其他算法模块,手势识别算法模块和人脸识别算法模块可以是同一模块也可以是不同的模块,本申请对此不作具体限定。
内核层是硬件和软件之间的层。内核层中可以包括下述一种或多种:图像传感器驱动、图像处理器驱动以及显示驱动等。其中,图像传感器驱动用于驱动摄像头的图像传感器采集图像,图像处理器驱动用于驱动图形处理器处理图像,显示驱动用于驱动显示屏显示应用界面或系统界面等。
硬件层中可以包括传感器,例如可以是图像传感器(也可以理解为是摄像头)、环境光传感器、显示屏、图像处理器(graphics processing unit,GPU)等硬件。
应理解,在一些实施例中,可以将实现相同功能的层称为其他名称,或者将能够实现多个层的功能的层作为一层,或者将能够实现多个层的功能的层划分为多层。本申请实施例对此不做限制。
下面,结合图5所示出的软件架构中的模块,从各模块交互的角度对本申请实施例提出的模式切换方法进行详细描述。
图6示例性的示出了本申请实施例提供的一种模式切换方法600的示意性流程图。该方法600可以由电子设备执行,该电子设备的硬件结构可以如图4所示出的那样,该电子设备的软件架构可以如图5所示出的那样,但本申请对此不作限定。
该方法600包括如下步骤:
电子设备启动后图像传感器即处于always on工作状态,在用户未启用相机应用的情况下,图像传感器工作在MD模式,本申请实施例中,在图像传感器进入MD模式之前,可以先确定用于检测图像差异、触发信号输出的差异阈值,例如可以执行如下步骤S601~S602。
S601、图像传感器获取第一环境照度。
本申请实施例中,图像传感器获取第一环境照度的方式可以包括如下两种:
方式一:从环境光传感器获取。具体可以是,环境光传感器获取环境光信息(ambient light sense,ALS),该环境光信息可以是通过环境照度表征,图像传感器从环境光传感器获取第一环境照度。
方式二:图像传感器采集至少一帧图像,获取图像的灰度值,图像传感器可以基于图像的灰度值从第三映射表中查找到与该图像的灰度值对应的第一环境照度。应理解,灰度值可以表示明暗程度,第三映射表可以是通过大量测试、基于灰度值与环境照度的对应关系确定的,该第三映射表可以是存储于图像传感器、电子设备中其他存储空间或云端服务器等,本申请对此做限定。
S602、图像传感器基于第一映射表确定与第一环境照度对应的第一阈值。
应理解,第一阈值是基于第一环境照度所确定的、用于检测图像差异的阈值,第一映射表用于表示环境照度与差异阈值的映射关系,本申请实施例中,第一映射表可以通过实验得到。示例性地,第一映射表可以通过如下实验得到:
第一步:设定实验条件。本申请实施例的实验条件例如可以是:目标对象和图像传感器的距离为第一距离、目标对象处于预设环境中、图像传感器在MD模式下的帧率为预设帧率。可选地,目标对象可以是运动人物、第一距离可以是80cm,预设环境为可以是以白色幕布为背景的环境,预设帧率可以是10fps,但本申请对此不作具体限定。
第二步:在设定的实验条件、设定的环境照度下,目标对象做出任意动作,以供图像传感器检测。示例性地,环境照度可以阶梯型设置,例如设置环境照度为1lux、2lux、3lux……,图7和图8分别示例性的示出了目标对象的动作示意。如图7所示,在设定的环境照度中,目标对象702做出的动作可以是从图7中的a所示出的手臂下垂的形态切换至如图7中的b所示出的一只手臂抬起的形态,图7中701可以理解为是图像传感器的视野范围,在实验中701可以是白色的幕布。图8中所示出了目标对象702从图像传感器的视野范围701外步入图像传感器的视野范围701中的动作。应理解,图7中所示出的动作可以是旨在检测手臂或手部动作,图8中所示出的动作旨在检测身体动作,本申请实施例中的实验动作还可以是其他目标对象的任意动作,本申请对此不作具体限定。
在一种可能的实现方式中,上述实验中,任意环境照度下能够使得图像传感器发出触发信号的差异阈值可以是:目标对象做出预设次数的动作的情况下,图像传感器可以发出预设次数触发信号时对应的差异阈值中最高的差异阈值,以最大程度的抑制噪声或其他干扰所导致的误触发。示例性地,在1lux的环境照度下,目标对象做出如图7所示出的10次动作,图像传感器可以检测到10次图像差异,并发出10次触发信号“1”,这10次触发所对应的差异阈值中最高的差异阈值为1,那么,第一映射表中,1lux的环境照度下对应的差异阈值可以是1。可选地,差异阈值可以是通过图像的灰度值差异的得到的,本申请对此不作限定。表一示例性的示出了以如图7所示的动作进行实验时的实验条件和实验结果。
表一
可选地,第一映射表中可以包括上述实验结果,但本申请此不作具体限定。
S603、图像传感器采集至少两帧第一图像,通过预设的差异比较算法检测该至少两帧第一图像。
应理解,至少两帧第一图像可以是图像传感器在MD模式下采集的,预设的差异比较算法是图像传感器用于检测图像间差异的算法,图像传感器可以是针对当前采集的图像帧与历史图像帧中采集时间最接近当前图像帧的图像帧做比较,也可以是对当前采集的图像帧与历史图像帧中的任意一帧或多帧图像作比较,图像传感器比较的可以是至少两帧图像中某一像素点的灰度值差异,也可以是至少两帧图像中整幅图像的整体灰度值差异,本申请对此均不作具体限定。
还应理解,图像传感器在MD模式下持续地采集图像并检测图像间差异,不论图像间差异是否达到差异阈值,图像传感器均可以持续的获取环境照度并基于第一映射表对差异阈值进行动态调整(其方法可以例如下文所描述的S615~S617),以及获取触发频率并基于第二映射表对差异阈值进行动态调整(其方法可以例如下文所描述的方法900),本申请对此不作限定。
在一种可能的实现方式中,图像传感器在检测出至少两帧第一图像的差异大于第一阈值的情况下,向SOC发送触发信号,具体地,图像传感器可以执行S604。
S604、图像传感器向算法库发送触发信号(trigger),对应地,算法库接收该触发信号。
应理解,算法库运行在SOC上的硬件抽象层中,算法库中可以包括手势识别算法模块和/或人脸识别算法模块,算法库在接收到该trigger后,执行S605。
可选地,图像传感器在检测出至少两帧第一图像的差异大于第一阈值的情况下,输出的触发信号可以是一个比特信号,例如可以是1,在检测出至少两帧第一图像的差异小于或等于第一阈值的情况下,输出的信号可以是0,但本申请对此不作限定,任意可以表达上述含义的信号均在本申请的保护范围之内。
应理解,图像传感器输出0表示图像传感器未检测到图像间的差异,图像传感器仍处于MD模式。
S605、算法库向图像传感器发送第一信息,对应地,图像传感器接收该第一信息。
作为一种可能的场景,电子设备处于灭屏状态,在上述S604中算法库接收该触发信号后,可以进一步触发电子设备中的电源管理模块(图5中未示出),以开启显示屏电源,点亮显示屏,这一过程也可以理解为唤醒电子设备的过程。可选地,在点亮显示屏之后,算法库可以执行S605以及之后的步骤,以实现隔空手势解锁电子设备、人脸识别解锁等功能。
作为另一种可能的场景,电子设备处于亮屏状态且已解锁,在上述S604中算法库接收该触发信号后,可以执行S605,以通过手势识别功能实现隔空手势翻页、隔空手势录制视频、隔空手势启动/快进/后退/暂停/切换/关闭视频或音乐播放、隔空手势截屏、隔空手势开/关应用等功能。
在一种可能的实现方式中,第一信息可以是配置信息(setting),该配置信息可以为针对手势识别和/或人脸识别功能所需要的图像的分辨率、曝光参数等信息,图像传感器在接收到该配置信息后执行S606。
S606、图像传感器基于配置信息采集第二图像。
S607、图像传感器向算法库传输第二图像,对应地,算法库接收该第二图像。
S608、算法库基于预设算法对第二图像进行识别。
在一种可能的实现方式中,算法库可以基于预设算法识别第二图像中是否包含预设对象,在识别出第二图像中包含预设对象的情况下,执行S609。在识别出第二图像中的对象不包含预设对象的情况下,执行S614。
可以理解的是,预设对象可以是指手势识别功能中设定的预设手势,也可以是指用户录入的用于解锁手机的人脸,本申请对此不作限定。
S609、算法库确定第一画面,第一画面为第二图像中的对象为预设对象是对应的画面。
应理解,在灭屏解锁手机的场景下,第一画面可以是系统桌面,也可以是用户上一次锁屏时的画面;在人脸识别支付场景,第一画面可以是支付应用所对应的交易成功或失败的画面等等,本申请对第一画面的具体内容不作限定。
还应理解,第一画面可以是算法库独立确定的,也可以是算法库通过与其他模块的交互确定的,本申请对第一画面的确定方式不作具体限定。
S610、算法库向显示驱动输出第一画面,对应地,显示驱动接收该第一画面。
S611、显示驱动向显示屏传输该第一画面。
S612、显示屏显示第一画面。
在一种可能的实现方式中,显示屏显示第一画面后,执行S613。
S613、显示屏通过显示驱动向算法库发送第二信息,对应地,算法库接收第二信息。
可选地,第二信息可以用于指示显示成功或失败,本申请对此不作限定。
S614、算法库向图像传感器发送第三信息,对应地,图像传感器接收该第三信息。
在一种可能的实现方式中,第三信息可以表示算法库基于第二图像进行的识别已完成(done),可以用于指示图像传感器从VGA模式进入MD模式,图像传感器后续执行S615。
S615、图像传感器获取第二环境照度。
应理解,图像传感器获取第二环境照度的方式可以与上述S601中获取第一环境照度的方式类似,此处不再赘述。
在一种可能的实现方式中,图像传感器比较第一环境照度与第二环境照度,在确定第二环境照度与第一环境照度不同的情况下,执行S616。
S616、判断第二环境照度是否在第一环境照度所属的环境照度区间内。若是,则返回执行S615;若否,则执行S617。
可选地,第一映射表中环境照度与差异阈值的映射关系有如下两种呈现方式,但本申请对此不作具体限定。
第一种呈现方式:一个环境照度对应一个差异阈值,例如,1lux对应的差异阈值是1,2lux对应的差异阈值是2,3lux对应的差异阈值是3等等。
第二种呈现方式:一个环境照度区间对应一个差异阈值,例如,1~1.99lux对应的差异阈值是1,2~2.99lux对应的差异阈值是2,3~3.99lux对应的差异阈值是3等等。
示例性地,在第一映射表的上述两种呈现方式下,若第一环境照度为1.25,第二环境照度为1.75,那么均可以认为第二环境照度在第一环境照度所属的环境照度区间内,当前的差异阈值无需更新,如此,有利于维护电子设备的稳定性;若第一环境照度为1.25,第二环境照度为2.75,那么可以认为第二环境照度不在第一环境照度所属的环境照度区间内,此时,在第二种呈现方式下,第二阈值可以取值为2,在第一种呈现方式下,第二阈值可以取值为2或3,在此种呈现方式下,可以进一步设定第二阈值向上取值还是向下取值,在设定第二阈值向下取值时第二阈值可以取值为2,在设定第二阈值向上取值时第二阈值可以取值为3,但本申请对此不作限定。
S617、图像传感器基于第一映射表确定与第二环境照度对应的第二阈值,将第一阈值更新为第二阈值。
应理解,在第一阈值更新为第二阈值后,图像传感器可以继续获取当前时刻的环境照度并采集图像、检测图像差异,后续的执行步骤与上述S602~S617类似,不再赘述。
本申请实施提供中,图像传感器可以通过所获取的环境照度更新差异阈值,使得图像传感器在不同环境照度下发送触发信号所对应的差异阈值可以不是一个固定值,基于环境照度所确定的差异阈值相对于预设的固定差异阈值来说,差异阈值的设定更为合理,图像传感器对于图像差异的检测所输出的触发信息更为准确,这样,在电子设备灭屏场景中,有利于避免高亮度场景下由于预设的固定差异阈值太低,不匹配当前环境照度而导致的电子设备被误唤醒、导致电子设备功耗增加的情况,也有利于避免在亮度场景下预设的固定差异阈值过高不匹配当前环境照度而导致的电子设备难以被唤醒的情况,在手势识别、人脸识别等场景中,也有利于提升识别准确性和效率,有利于用户体验。
进一步地,在确定某一环境照度对应的差异阈值后,还可以基于第二映射表对该差异阈值作进一步地调整。
图9示例性的示出了基于第二映射表的阈值调整方法900的示意性流程图,该方法900可以是由上述电子设备400执行,但本申请对此不作限定。本申请实施例中,以电子设备中的图像传感器执行方法900为例进行说明。
该方法900包括如下步骤:
在一种可能的实现方式中,上述方法600中图像传感器通过执行S601~S602确定第一阈值后,基于第一阈值进行MD检测,进一步地,图像传感器可以执行S901。
S901、图像传感器确定第一触发频率,第一触发频率用于反映预设时长内图像传感器从VGA模式切换至MD模式的频繁程度,第一触发频率与图像传感器在第一环境照度下从VGA模式切换至MD模式的第一次数正相关,和/或,与图像传感器在第一环境照度下处于MD模式的第一时长正相关。
在一种可能的实现方式中,图像传感器可以在环境照度为第一环境照度、差异阈值为第一阈值下运行的过程中,记录预设时长内图像传感器处于MD模式的第一时长,以及图像传感器从MD模式进入VGA模式后又回到MD模式的第一次数。
在一种可能的实现方式中,第一触发频率可以是第一时长与第一次数的乘积,应理解,第一触发频率可以是无量纲物理量,即在对第一时长和第一次数作乘积时可以不考虑其单位。
应理解,预设时长可以是指图像传感器可以在环境照度为第一环境照度、差异阈值为第一阈值下运行的任意历史时间段,可选地,预设时长可以定为10秒或其他任意数值,本申请对此不作具体限定。但应理解的是,图像传感器可以在环境照度为第一环境照度、差异阈值为第一阈值下每运行一个预设时长即可以确定该预设时长内的触发频率。
S902、判断第一触发频率与预设触发频率是否相等,若不相等,则执行S903,若相等,则返回执行S901。
应理解,预设触发频率可以反映预设时长内预设触发频率的合理值,可以是服务端基于用户所上报的、任意环境照度下的图像传感器处于MD模式的时长和图像传感器从MD模式进入VGA模式后又回到MD模式的次数等信息确定后下发至电子设备的,本申请对此不作具体限定。
S903、基于第二映射表,确定与第一触发频率对应的第三阈值,将第一阈值更新为第三阈值,第二映射表用于指示差异阈值和触发频率之间的映射关系。
示例性地,第二映射表可以基于如下方式得到:
第一步:服务端建立可以指示差异阈值和触发频率的初始映射表,并将该初始映射表推送至用户的电子设备。应理解,初始映射表中差异阈值和触发频率的值和对应关系可以是开发人员的经验数据,可以是服务端生成的随机数据和随机对应关系,本申请对此不作限定。
第二步:电子设备向服务端上报图像传感器在MD模式和VGA模式下的工作日志信息。可选地,该工作日志信息可以包括某一环境照度下、预设时长内图像传感器处于MD模式的时长,图像传感器从MD模式进入VGA模式后又回到MD模式的次数,以及图像传感器的使用功耗,用户反馈的手势识别和/或人脸识别的准确度等用户体验信息。可以理解的是,该工作日志信息时在用户允许的情况下收集的,在手机该信息前电子设备中存在明显提示供用户选择是否同意收集该信息。
第三步:服务端对多个用户的电子设备所上报的工作日志信息进行分析,基于分析结果将初始映射表更新为第二映射表。应理解,对多个用户的电子设备所上报的工作日志信息进行分析的目的是找出触发频率与差异阈值之间的对应关系,可选地,分析方法包括但不限于是神经网络算法、人工智能算法等,本申请对此分析方法不作具体限定。
第四步:电子设备接收来自服务端的第二映射表。应理解,电子设备可以通过与服务端的交互每隔一段时间更新一次映射表,即第二映射表不是一成不变的,而是可以被更新的。
可选地,服务端可以是指电子设备厂商所维护的云端服务器,该云端服务器可以实现电子设备系统的整体升级和/或系统功能的部分升级等,但本申请对此不作具体限定。
在一种可能的实现方式中,在第一触发频率大于预设触发频率的情况下,第三阈值大于第一阈值,即提高了第一环境照度下的差异阈值。可以理解,第一触发频率大于预设触发频率,则意味着基于第一映射表所得到的第一环境照度下的第一阈值使得电子设备的触发频率过高,这样可能会出现例如用户甩动电子设备等正常动作导致的图像传感器频繁从MD模式切换至VGA模式后,输出图像给SOC但SOC识别结果为NO又切回MD模式的情况,故而,此时将第一阈值更新为大于第一阈值的第三阈值,可以降低图像传感器从MD模式切换至VGA模式的可能性,减小图像传感器输出图像给SOC的次数,节约电子设备功耗。
在另一种可能的实现方式中,在第一触发频率小于预设触发频率的情况下,第三阈值小于第一阈值,即降低了第一环境照度下的差异阈值。第一触发频率小于预设触发阈值可以理解为,基于第一映射表所确定的第一环境照度下的第一阈值使得电子设备的触发频率过低,即图像传感器对视野范围内的小幅度动作应当检出却应为差异阈值设定过高不能检出,故而将第一阈值更新为低于第一阈值的第三阈值,可以提高图像传感器在MD模式下对所采集到的图像差异的灵敏度,有利于提升电子设备性能。
本申请实施例中,通过第一触发频率与预设触发频率的比较,在第一触发频率与预设触发频率存在不同的情况下,基于第二映射表对差异阈值进行更新,以实现第一环境照度下的差异阈值的进一步调整,有利于使得电子设备的差异阈值更合理,有利于在节约电子设备功耗的同时,提升其手势识别、人脸识别等功能的效率,提高用户体验。
下面通过具体的实施例对本申请实施例的模式切换方法进行详细说明。下面的实施例可以相互结合或独立实施,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图10为本申请实施例提供的模式切换方法1000的示意性流程图。该方法1000可以由电子设备执行,该电子设备的硬件结构可以如图4所示,软件结构可以由图5所示,但本申请对此不作具体限定。
该方法1000包括如下步骤:
S1001、在第一环境照度下,电子设备在第一模式下采集至少两帧第一图像。
S1002、在至少两帧第一图像的差异大于第一阈值的情况下,电子设备从第一模式切换为第二模式,其中,第一模式用于检测图像间的差异,第二模式用于识别图像中的对象。
S1003、电子设备在第二模式采集第二图像。
S1004、在电子设备完成对第二图像中的对象识别的情况下,电子设备从第二模式切换为第一模式。
S1005、在第二环境照度下,电子设备在第一模式下采集至少两帧第三图像。
S1006、在至少两帧第三图像的差异大于第二阈值的情况下,电子设备从第一模式切换为第二模式,第二环境照度与第一环境照度不同,第二阈值与第一阈值不同。
本申请实施例中,电子设备在不同的环境照度下可以基于不同的差异阈值实现从第一模式到第二模式的切换,由于不同的环境照度下,电子设备在第一模式中所检测到的图像间差异可能不是同一个数量级,通过不同的环境照度对应不同的差异阈值可以使得任一环境照度下的差异阈值更为合理,与现有技术中不论何种环境照度均仅设定一个固定差异阈值来实现第一模式到第二模式的切换相比,本申请实施例提供的方法,有利于提升电子设备从第一模式切换到第二模式的准确度,有利于节约电子设备功耗。以在电子设备灭屏场景下,通过第一模式和第二模式的运行唤醒电子设备为例,本申请实施例提供的方法,可以使得高亮度场景和低亮度场景下的差异阈值均与其环境照度相匹配,这样,有利于避免高亮度场景下电子设备被频繁误唤醒、低亮度场景下又难以唤醒电子设备的情况,有利于提升用户体验。
作为一个可选的实施例,电子设备包括图像传感器和处理器,电子设备在第一模式下采集至少两帧第一图像,包括:图像传感器在第一模式下采集至少两帧第一图像;在至少两帧第一图像的差异大于第一阈值的情况下,电子设备从第一模式切换为第二模式,包括:图像传感器在检测出至少两帧第一图像的差异大于第一阈值的情况下,电子设备从第一模式切换为第二模式;电子设备在第二模式采集第二图像,包括:图像传感器在第二模式下采集第二图像,并传输至处理器;在电子设备完成对第二图像中的对象识别的情况下,电子设备从第二模式切换为第一模式,包括:在处理器完成对第二图像中的对象识别的情况下,电子设备从第二模式切换为第一模式。
应理解,第一模式可以是电子设备中图像传感器always on的MD模式,在MD模式下,处于第一环境照度的图像传感器可以持续不断的采集至少两帧第一图像,并对所采集的历史图像进行差异检测,在至少两帧第一图像的差异大于第一阈值的情况下,图像传感器从MD模式切换为VGA模式。应理解,MD模式与VGA模式的区别在于,在MD模式下,图像传感器采集图像但不输出,所采集的图像在图像传感器内进行差异检测,而在VGA模式下,图像传感器采集第二图像,并输出第二图像给处理器,由处理器对所采集的第二图像中的对象进行识别。第二模式可以理解为包含图像传感器采集、输出第二图像给处理器,处理器对第二图像中对象进行识别的模式。在处理器完成对第二图像中的对象识别的情况下,图像传感器从VGA模式切换回MD模式。
作为一个可选的实施例,电子设备获取第一环境照度的方式可以是通过电子设备中设置的环境光传感器获取,也可以是基于图像传感器所采集的第四图像的灰度值与第三映射表获取,其具体方式与上文方法600中S601处的描述类似,此处不再赘述。
作为一个可选的实施例,在电子设备采集至少两帧第一图像之前,方法还包括:基于第一映射表,确定与第一环境照度对应的第一阈值,第一映射表用于指示环境照度与差异阈值的映射关系。
在一种可能的实现方式中,第一映射表的确定方式可以与上文方法600中S602处的描述类似,此处不再赘述。可以理解的是,第一映射表中任意环境照度对应的差异阈值是与该环境照度下图像差异的数据量级相匹配的。
本申请实施例中,第一阈值是基于第一环境照度和第一映射表中所指示的环境照度与差异阈值的映射关系所确定的,与现有技术中不论何种环境照度均仅设定一个固定差异阈值相比,基于当前环境照度确定差异阈值的方式,有利于使得差异阈值的设定更为合理,进一步地,有利于维护电子设备性能。
作为一个可选的实施例,在电子设备采集至少两帧第三图像之前,方法还包括:在第二环境照度超出第一范围的情况下,基于第一映射表,确定与第二环境照度对应的第二阈值,第一环境照度属于第一范围。
在一种可能的实现方式中,第一映射表中的一个环境照度区间对应一个差异阈值。第一范围可以是指第一环境照度在第一映射表中所属的环境照度区间。
本申请实施例中,在第二环境照度也处于第一范围的情况下,可以认为第二环境照度与第一环境照度的差异跨度对差异阈值的影响在电子设备功能实现的误差允许范围内,可以不对第一阈值进行更新,即在第二环境照度下电子设备仍以第一阈值作为差异阈值,这样,电子设备可以不必频繁更新差异阈值,有利于维护电子设备的稳定性;在第二环境照度超出第一范围的情况下,可以认为第二环境照度与第一环境照度的差异跨度对差异阈值的影响已超出电子设备的误差允许范围,此种情况下基于第一映射表,确定与第二环境照度对应的第二阈值,第二阈值与第一阈值不同,与第二环境照度更匹配,在第二环境照度下电子设备基于第二阈值所进行图像差异检测更为准确,有利于提升电子设备性能。
作为一个可选的实施例,方法还包括:在第一触发频率不等于预设触发频率的情况下,基于第二映射表,确定与第一触发频率对应的第三阈值,将第一阈值更新为第三阈值,第二映射表用于指示触发频率与差异阈值的映射关系;其中,第一触发频率与电子设备在第一环境照度下从第二模式切换至第一模式的第一次数正相关,和/或,与电子设备在第一环境照度下处于第一模式的第一时长正相关。
在一种可能的实现方式中,在第一触发频率大于预设触发频率的情况下,第三阈值大于第一阈值;在第一触发频率小于预设触发频率的情况下,第三阈值小于第一阈值。
在一种可能的实现方式中,第一触发频率用于反映电子设备从第二模式切换至第一模式的频繁程度,第一触发频率与第一次数和第一时长的关系满足:第一触发频率为第一时长与第一次数的乘积。
应理解,预设触发频率可以反映预设时长内预设触发频率的合理值,可以是服务端基于用户所上报的、任意环境照度下的图像传感器处于MD模式的时长和图像传感器从MD模式进入VGA模式后又回到MD模式的次数等信息确定后下发至电子设备的,本申请对此不作具体限定。
可选地,第二映射表的确定方式可以与上文方法900中S903处描述的类似,此处不再赘述。
本申请实施例中,通过第一触发频率与预设触发频率的比较,在第一触发频率与预设触发频率存在不同的情况下,基于第二映射表对差异阈值进行更新,以实现第一环境照度下的差异阈值的进一步调整,有利于使得电子设备的差异阈值更合理,有利于在节约电子设备功耗的同时,提升其手势识别、人脸识别等功能的效率,提高用户体验。
需要说明的是,本申请实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
值得注意的是,本申请实施例所涉及的模块名称均可以定义为其他的名称,能够实现各模块的作用即可,不对模块的名称做具体限制。
应理解,为了实现上述实施例所描述的功能,电子设备可以包含执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的方法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对实现该方法的装置进行功能模块的划分,例如可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图11为本申请实施例提供的一种芯片的结构示意图。芯片1100包括一个或两个以上(包括两个)处理器1101、通信线路1102、通信接口1103和存储器1104。
在一些实施方式中,存储器1104存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
上述本申请实施例描述的方法可以应用于处理器1101中,或者由处理器1101实现。处理器1101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1101可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1101可以实现或者执行本申请实施例中的公开的各处理相关的方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1104,处理器1101读取存储器1104中的信息,结合其硬件完成上述方法的步骤。
处理器1101、存储器1104以及通信接口1103之间可以通过通信线路1102进行通信。
在上述实施例中,存储器存储的供处理器执行的指令可以采用计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
在本申请的实施例中,上述芯片1100也可以是芯片系统,例如:片上系统(systemon chip,SOC),本申请对此不做限定。
本申请实施例还提供一种芯片系统,该芯片系统应用于电子设备,芯片系统包括一个或多个处理器,一个或多个处理器用于调用计算机指令以使得电子设备执行本申请实施例的方法。
本申请实施例提供一种电子设备,包括:包括:一个或多个处理器和存储器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行本申请实施例的方法。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,可以使得电子设备执行上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括RAM,ROM,只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(Digital Subscriber Line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(Digital Versatile Disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在电子设备上被运行时,使得电子设备执行上述方法。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (12)

1.一种模式切换方法,其特征在于,应用于电子设备,所述方法包括:
在第一环境照度下,所述电子设备在第一模式下采集至少两帧第一图像;
在所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式,其中,所述第一模式用于检测图像间的差异,所述第二模式用于识别图像中的对象;
所述电子设备在所述第二模式采集第二图像;
在所述电子设备完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式;
在第二环境照度下,所述电子设备在所述第一模式下采集至少两帧第三图像;
在所述至少两帧第三图像的差异大于第二阈值的情况下,所述电子设备从所述第一模式切换为所述第二模式,所述第二环境照度与所述第一环境照度不同,所述第二阈值与所述第一阈值不同;
所述方法还包括:
在第一触发频率不等于预设触发频率的情况下,基于第二映射表,确定与所述第一触发频率对应的第三阈值,将所述第一阈值更新为所述第三阈值,所述第二映射表用于指示触发频率与差异阈值的映射关系;
其中,所述第一触发频率与所述电子设备在所述第一环境照度下从所述第二模式切换至所述第一模式的第一次数正相关,和/或,与所述电子设备在所述第一环境照度下处于所述第一模式的第一时长正相关。
2.根据权利要求1所述的方法,其特征在于,在所述电子设备采集至少两帧第一图像之前,所述方法还包括:
基于第一映射表,确定与所述第一环境照度对应的所述第一阈值,所述第一映射表用于指示环境照度与差异阈值的映射关系。
3.根据权利要求2所述的方法,其特征在于,在所述电子设备采集至少两帧第三图像之前,所述方法还包括:
在所述第二环境照度超出第一范围的情况下,基于第一映射表,确定与所述第二环境照度对应的第二阈值,所述第一环境照度属于第一范围。
4.根据权利要求1所述的方法,其特征在于,在所述第一触发频率大于预设触发频率的情况下,所述第三阈值大于所述第一阈值;
在所述第一触发频率小于预设触发频率的情况下,所述第三阈值小于所述第一阈值。
5.根据权利要求1所述的方法,其特征在于,所述第一触发频率用于反映所述电子设备从所述第二模式切换至所述第一模式的频繁程度,所述第一触发频率与所述第一次数和所述第一时长的关系满足:所述第一触发频率为所述第一时长与第一次数的乘积。
6.根据权利要求1所述的方法,其特征在于,所述电子设备包括图像传感器和处理器,所述电子设备在第一模式下采集至少两帧第一图像,包括:
所述图像传感器在第一模式下采集所述至少两帧第一图像;
所述在所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式,包括:
所述图像传感器在检测出所述至少两帧第一图像的差异大于第一阈值的情况下,所述电子设备从所述第一模式切换为第二模式;
所述电子设备在所述第二模式采集第二图像,包括:
所述图像传感器在所述第二模式下采集所述第二图像,并传输至所述处理器;
所述在所述电子设备完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式,包括:
在所述处理器完成对所述第二图像中的对象识别的情况下,所述电子设备从所述第二模式切换为所述第一模式。
7.根据权利要求6所述的方法,其特征在于,所述电子设备还包括环境光传感器,所述方法还包括:
所述环境光传感器采集环境光信息,确定所述第一环境照度;
所述图像传感器从所述环境光传感器获取所述第一环境照度。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
所述图像传感器采集第四图像,获取所述第四图像的灰度值;
所述图像传感器基于所述第四图像的灰度值在第三映射表中确定第一环境照度,所述第三映射表用于指示灰度值与环境照度之间的映射关系。
9.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的方法。
10.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。
CN202410096056.5A 2024-01-24 2024-01-24 模式切换方法及相关装置 Active CN117615440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410096056.5A CN117615440B (zh) 2024-01-24 2024-01-24 模式切换方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410096056.5A CN117615440B (zh) 2024-01-24 2024-01-24 模式切换方法及相关装置

Publications (2)

Publication Number Publication Date
CN117615440A CN117615440A (zh) 2024-02-27
CN117615440B true CN117615440B (zh) 2024-05-24

Family

ID=89952086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410096056.5A Active CN117615440B (zh) 2024-01-24 2024-01-24 模式切换方法及相关装置

Country Status (1)

Country Link
CN (1) CN117615440B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052726A (zh) * 2020-07-28 2020-12-08 北京极豪科技有限公司 图像处理方法及装置
CN114758268A (zh) * 2022-03-17 2022-07-15 深圳市优必选科技股份有限公司 手势识别方法、装置及智能设备
CN115525140A (zh) * 2021-06-25 2022-12-27 北京小米移动软件有限公司 手势识别方法、手势识别装置及存储介质
CN116301363A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 隔空手势识别方法、电子设备及存储介质
CN116363722A (zh) * 2021-12-28 2023-06-30 Oppo广东移动通信有限公司 目标识别方法、装置及存储介质
CN117130469A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 一种隔空手势识别方法、电子设备及芯片系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532892B (zh) * 2019-09-19 2022-04-12 华为技术有限公司 图像处理方法及电子装置
US12205316B2 (en) * 2021-04-29 2025-01-21 Microsoft Technology Licensing, Llc Ambient illuminance sensor system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052726A (zh) * 2020-07-28 2020-12-08 北京极豪科技有限公司 图像处理方法及装置
CN115525140A (zh) * 2021-06-25 2022-12-27 北京小米移动软件有限公司 手势识别方法、手势识别装置及存储介质
CN116363722A (zh) * 2021-12-28 2023-06-30 Oppo广东移动通信有限公司 目标识别方法、装置及存储介质
CN114758268A (zh) * 2022-03-17 2022-07-15 深圳市优必选科技股份有限公司 手势识别方法、装置及智能设备
CN116301363A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 隔空手势识别方法、电子设备及存储介质
CN117130469A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 一种隔空手势识别方法、电子设备及芯片系统

Also Published As

Publication number Publication date
CN117615440A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
WO2018121428A1 (zh) 一种活体检测方法、装置及存储介质
CN113325941B (zh) 屏下指纹显示方法及电子设备
CN113591517B (zh) 一种活体检测方法及相关设备
CN108399349B (zh) 图像识别方法及装置
CN116564304A (zh) 语音交互方法及装置
US20210258796A1 (en) Service Processing Method and Device
CN111400605A (zh) 基于眼球追踪的推荐方法及装置
CN111209904A (zh) 一种业务处理的方法以及相关装置
CN114553814B (zh) 处理推送消息的方法和装置
CN111524528B (zh) 防录音检测的语音唤醒方法及装置
CN115880213A (zh) 显示异常检测方法、装置及系统
CN113723144A (zh) 一种人脸注视解锁方法及电子设备
CN113887264A (zh) 扫码方法、系统及相关装置
CN113971271A (zh) 一种指纹解锁的方法、装置、终端以及存储介质
EP4576018A1 (en) Image processing method and apparatus
CN113536834B (zh) 眼袋检测方法以及装置
CN117615440B (zh) 模式切换方法及相关装置
CN115437601B (zh) 图像排序方法、电子设备、程序产品及介质
CN115623318B (zh) 对焦方法及相关装置
CN112016071A (zh) 基于验证者状态和环境的解锁方法、设备及可读存储介质
CN114943976B (zh) 模型生成的方法、装置、电子设备和存储介质
CN116092158A (zh) 人脸识别方法、装置、设备以及存储介质
CN116048681B (zh) 图标显示方法、电子设备和计算机可读存储介质
CN114510192B (zh) 图像处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Terminal Co.,Ltd.

Country or region after: China

Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong

Patentee before: Honor Device Co.,Ltd.

Country or region before: China