[go: up one dir, main page]

CN110068815A - 用于人类行为建模和功率控制的系统和方法及存储介质 - Google Patents

用于人类行为建模和功率控制的系统和方法及存储介质 Download PDF

Info

Publication number
CN110068815A
CN110068815A CN201910023527.9A CN201910023527A CN110068815A CN 110068815 A CN110068815 A CN 110068815A CN 201910023527 A CN201910023527 A CN 201910023527A CN 110068815 A CN110068815 A CN 110068815A
Authority
CN
China
Prior art keywords
doppler
frame
macro
micro
life
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910023527.9A
Other languages
English (en)
Inventor
阿维克·珊特拉
阿素托史·巴赫提
托马斯·芬克
赖因哈德-沃尔夫冈·荣迈尔
萨韦尔奥·特罗塔
拉希韦恩德兰·沃格阿拉潘·乌拉加纳唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN110068815A publication Critical patent/CN110068815A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/505Systems of measurement based on relative movement of target using Doppler effect for determining closest range to a target or corresponding time, e.g. miss-distance indicator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10Providing two-dimensional and co-ordinated display of distance and direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • G01S7/2883Coherent receivers using FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • G01S7/2923Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G01S7/2927Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods by deriving and controlling a threshold value

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

公开了一种用于人类行为建模和功率控制的方法和系统以及存储介质。该方法包括:基于由毫米波雷达传感器接收的雷达数据识别毫米波雷达传感器的视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理而确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;对微多普勒帧执行微多普勒处理,并基于微多普勒处理而确定微多普勒帧中是否存在微多普勒信号;以及响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。

Description

用于人类行为建模和功率控制的系统和方法及存储介质
技术领域
本公开内容一般涉及用于使用毫米波雷达传感器进行人类行为建模和功率控制的的系统和方法。
背景技术
由于诸如硅锗(SiGe)和精细几何形状互补金属氧化物半导体(CMOS)工艺的低成本半导体技术的快速发展,在毫米波频率范围中的应用在过去几年中获得了显著的关注。高速双极和金属氧化物半导体(MOS)晶体管的可用性导致对用于60GHz、77GHz和80GHz以及超过100GHz的毫米波应用的集成电路的需求不断增长。这样的应用包括例如机动车辆雷达系统和多吉比特通信系统。
在一些雷达系统中,通过发射调频信号,接收调频信号的反射,以及基于调频信号的发射和接收之间的时间延迟和/或频率差确定距离,来确定雷达与目标之间的距离。因此,一些雷达系统包括发射RF信号的发射天线、接收RF的接收天线、以及用于产生发射信号和接收RF信号的相关RF电路。在一些情况下,可以使用多个天线来使用相控阵技术来实现定向波束。具有多个芯片组的MIMO配置也可用于执行相干和非相干信号处理。
可以对由雷达系统接收的RF信号进行处理以确定各种参数,其示例包括确定一个区域内的人或无生命对象的存在或数量,并对该区域内的人或无生命对象的行为进行分类。可能需要对由雷达系统接收的RF信号进行处理的有效方法。
发明内容
根据一个实施方式的方法包括:基于毫米波雷达传感器接收的雷达数据识别毫米波雷达传感器的视场内的一组目标;在宏多普勒(macro-Doppler)帧内(across)捕获对应于该组目标的雷达数据;对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒(micro-Doppler)帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;对微多普勒帧执行微多普勒处理,并基于微多普勒处理确定微多普勒帧中是否存在微多普勒信号;以及响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐(range bin)中的至少一个距离筐。
根据一个实施方式的系统包括处理系统,该处理系统被配置为耦合到毫米波雷达传感器。处理系统被配置为指示毫米波雷达传感器在毫米波雷达传感器的视场内发射一系列啁啾;基于由毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;在第一频率范围内对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;在与第一频率范围正交的第二频率范围内对微多普勒帧执行微多普勒处理,并基于微多普勒处理确定微多普勒帧中是否存在微多普勒信号;以及响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
存储在非暂态计算机可读存储介质上的根据一个实施方式的可执行程序包括指示毫米波雷达传感器在毫米波雷达传感器的视场内发射一系列啁啾的指令;基于由毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;在微多普勒帧内执行微多普勒处理,并根据微多普勒处理确定微多普勒帧中是否存在微多普勒信号;响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
附图说明
为了更完整地理解本发明及其优点,现在参考以下结合附图的描述,其中:
图1A示出了根据一个实施方式的基于雷达的检测系统;图1B示出了展示根据一个实施方式的基于雷达的检测系统如何对对象进行分类的示例的表;
图2A示出了根据一个实施方式的毫米波雷达传感器的框图;并且图2B和图2C示出了根据一个实施方式的毫米波雷达传感器电路的平面图;
图3示出了根据一个实施方式的用于检测一个区域内的人数的方法的框图;
图4更详细地示出了根据一个实施方式的、可以在图3所示方法的粗略目标选择步骤期间执行的各个步骤;
图5A示出了根据一个实施方式的、说明多个宏多普勒帧中的每个的持续时间和构造的定时图;
图5B示出了根据一个实施方式的说明单个微多普勒帧的持续时间和构造的定时图;
图5C示出了根据一个实施方式的、说明单个生命多普勒帧的持续时间和构造的定时图;
图5D总结了根据一个实施方式的宏多普勒帧、微多普勒帧和生命多普勒帧的相对帧结构;
图6示出了根据一个实施方式的、沿着图3所示方法的生命多普勒处理路径的滤波步骤、信号处理和检测步骤以及距离筐激活步骤的实现;
图7A至图7B示出了根据各种实施方式的、沿着图3中所示方法的宏多普勒和微多普勒处理路径的滤波步骤、信号处理和检测步骤以及距离筐激活步骤的实现;
图8示出了根据一个实施方式的距离保持方案;
图9A至图9D示出了根据一个实施方式的、在各种功率模式期间的宏多普勒帧、微多普勒帧和生命多普勒帧的相对帧结构;
图10示出了根据一个实施方式的逐步增加的睡眠时间,其被执行以确定是否需要从低功率模式唤醒;
图11示出了可用于实现根据一个实施方式的基于雷达的检测系统的一部分的处理系统的框图;
图12示出了根据依次执行宏多普勒、微多普勒和生命多普勒处理的实施方式的、用于检测一个区域内的人数的方法的框图。
除非另外指出,否则不同附图中的相应的附图号码和符号通常指代相应的部分。附图被绘制成清楚地说明各实施方式的相关方面,并且不一定按比例绘制。
具体实施方式
下面详细讨论各个实施方式的制备和使用。然而,应该理解,本文中描述的各个实施方式可以适用于各种各样的指定背景。所讨论的特定实施方式仅示出实现和使用各个实施方式的特定方式,并且不应以有限的范围来解释。
将关于指定背景下——即,用于使用毫米波雷达传感器进行检测、人行为建模以及功率控制的系统和方法——的优选实施方式来描述本发明。本发明还可以应用于其他检测一个或更多个对象的存在的基于RF的系统和应用。在本发明的实施方式中,提供了检测宏多普勒、微多普勒和生命多普勒签名的简化方法。毫米波雷达用于通过在不同帧下对多个多普勒场景进行分隔来瞄准它们,并且在一帧内使用单个毫米波雷达传感器(例如,代替传统方法中的多个传感器)。
图1A示出了根据一个实施方式的基于雷达的检测系统100的框图。如图1A所示,基于雷达的检测系统100包括毫米波雷达传感器102、以及控制毫米波雷达传感器102的工作的处理器104。处理器104对由毫米波雷达传感器102生成的数据执行各种雷达信号处理操作。在工作期间,毫米波雷达传感器102发射由存在于区域110内的各个对象112、114以及116-1至116-11反射的毫米波RF信号。区域110表示毫米波雷达传感器102的视场内的任何有限区域,并且可以表示例如会议室、办公室、机动车辆、商店、公共区域、私人区域或其中毫米波雷达传感器102可以检测到对象的存在的任何其他物理区域。
被对象112、114和116-1至116-11反射的毫米波RF信号被毫米波雷达传感器102接收。所接收的RF信号例如通过包括在毫米波雷达传感器102中或耦接在毫米波雷达传感器102与处理器104之间的模拟-数字转换器被转换成数字表示。所接收的RF信号的数字表示可以由处理器104出于以下目的中的至少一个来处理:(1)确定区域110内人116-1至116-11的存在(例如,出于对区域110内的装置进行自适应功率控制的目的);(2)确定区域110内的人116-1至116-11的数量(例如,出于计算区域110内的人或对区域110内的装置进行自适应功率控制的目的);(3)对区域110内的人116-1至116-11的行为进行分类(例如,出于对区域110内的装置进行自适应功率控制的目的)。该处理的结果产生各种数据(在图1A中由信号DATA表示),其可以指示区域110内的人116-1至116-11的存在,区域110内的人116-1至116-11的数量,和/或区域110内的人116-1至116-11的行为的分类。在图1A的实施方式中,区域110内的对象112、114和116-1至116-11表示为家具112、风扇114、以及从事各种活动的各种人116-1至116-11。应当理解,在本发明的各种实施方式中,可以通过根据实施方式的基于雷达的检测系统来检测其他对象类型。例如,根据实施方式的基于雷达的检测系统可用于检测区域110内的动物、机器人、机器和其他对象的存在并计算其数量。
使用对由毫米波雷达传感器102接收的RF信号的宏多普勒分析、微多普勒分析和/或生命多普勒分析来对对象112、114和116-1至116-11进行检测和分类。在一些实施方式中,可以对所接收的RF信号的数字表示执行对所接收的RF信号的这样的宏多普勒、微多普勒和生命多普勒分析。通常,宏多普勒分析可用于确定每个对象112、114和116-1至116-11的总幅度或大幅度运动(例如,人的大的身体移动);微多普勒分析可用于确定每个对象112、114和116-1至116-11的小幅度运动(例如,人的小的身体移动);并且生命多普勒分析可用于检测每个对象112、114和116-1至116-11的生命体征(例如,人的心脏或呼吸信号)。
在使用调频连续波(FMCW)雷达传感器的实施方式中,可以通过对由毫米波雷达传感器102产生的基带雷达信号进行距离快速傅里叶变换(FFT)来找到区域110内的每个对象112、114和116-1至116-11的位置,并且可以例如通过采用另外的FFT以使用本领域已知的多普勒分析技术确定每个对象的速度来确定各种对象的运动。在毫米波雷达传感器102包括接收天线阵列的实施方式中,还可以使用另外的FFT来确定每个对象112、114和116-1至116-11相对于毫米波雷达的方位角。在图1A所示的示例中并且关于宏多普勒技术,家具112可以被识别为静态对象,风扇114被识别为移动对象,静态的人116-2被识别为静止对象,移动的人116-1被识别为移动对象。关于微多普勒和生命多普勒技术,分析小的检测运动以确定这些运动是否指示人的小的身体移动或心率和呼吸。在微多普勒和生命多普勒步骤期间,毫米波雷达传感器102进行一系列雷达测量,其更具体地指向每个对象112、114和116-1至116-11。例如,在毫米波雷达传感器102包括发射天线阵列的实施方式中,通过使用相阵列雷达技术使由毫米波雷达传感器102产生的雷达波束转向来执行这些定向测量。基于在微多普勒和生命多普勒步骤期间进行的这些更定向的雷达测量,处理器104确定每个对象112、114和116-1至116-11是否经历与人体生命体征例如心率和呼吸一致的小的运动。
图1B示出了展示根据实施方式的基于毫米波的雷达系统100可以如何对图1A所示的对象112、114、116和120进行分类的表。如图所示,家具112不表现出大规模移动、小规模移动或类似人体的生命体征。因此,家具112可以被分类为不动的无生命对象。另一方面,风扇114被识别为移动对象,但是没有表现出由毫米波雷达传感器102测量的类似人体的生命体征。因此,风扇114可以被分类为移动的无生命对象。跑步的人116-1被识别为表现出大的身体移动并且具有生命体征,而静止的人116-2不被识别为移动对象而是表现出类似人体的生命体征。因此,跑步的人116-1和静止的人116-2二者被分类为人(例如,基于使用生命多普勒分析对类似人体的生命体征的检测)。下面参考图3讨论由处理器104执行的宏多普勒、微多普勒和生命多普勒分析的细节。
图2A示出了毫米波雷达传感器系统200的框图,该毫米波雷达传感器系统200可用于在各种公开的实施方式中实现毫米波雷达传感器电路。毫米波雷达传感器系统200包括毫米波雷达传感器电路202和处理电路204。根据实施方式的毫米波雷达传感器电路可以例如使用二维毫米波相阵列雷达来实现,二维毫米波相阵列测量对象112、114和116-1至116-11的位置和相对速度(简单起见,图2A中仅示出了人116-1和116-2)。毫米波相阵列雷达发射和接收20GHz至122GHz范围内的信号。或者,也可以使用该范围之外的频率。在一些实施方式中,毫米波雷达传感器电路202作为具有多个发射和接收信道的调频连续波(FMCW)雷达传感器工作。或者,可以使用其他类型的雷达系统例如脉冲雷达、波的蒙特卡洛预测(MCFW)和非线性调频(NLFM)雷达,以实现毫米波雷达传感器电路202。
毫米波雷达传感器电路202发射和接收无线电信号,以检测三维空间中的对象112、114和116-1至116-11的存在和运动。例如,毫米波雷达传感器电路202发射入射的RF信号201并接收来自对象112、114和116-1至116-11中的一个或更多个的作为入射RF信号的反射的RF信号203。接收的反射RF信号203由毫米波雷达传感器电路202下变频以确定拍频信号。这些拍频信号可用于确定诸如三维空间中的对象112、114和116-1至116-11的位置、速度、角度等信息。
在各种实施方式中,毫米波雷达传感器电路202被配置成经由发射天线212向对象112、114和116-1至116-11发射入射的RF信号201,并经由接收天线214从对象112、114和116-1至116-11接收反射的RF信号203。毫米波雷达传感器电路202包括耦接至发射天线212的发射器前端电路208和耦接至接收天线214的接收器前端电路210。
在工作期间,发射器前端电路208可以根据工作的阶段使用波束成形同时或单独地向对象112、114和116-1至116-11发射RF信号。虽然在图2A中描绘了两个发射器前端电路208,但应当理解,毫米波雷达传感器电路202可以包括多于两个发射器前端电路208。因此,在各种实施方式中,发射器的数量可以扩展到n×m。每个发射器前端电路208包括配置成产生入射的RF信号的电路。这样的电路可以包括例如RF振荡器、上变频混频器、RF放大器、可变增益放大器、滤波器、变压器、功率分配器和其他类型的电路。
接收器前端电路210接收并处理来自对象112、114和116-1至116-11的反射的RF信号。如图2A所示,接收器前端电路210被配置成耦接至可以被配置为例如2×2天线阵列的四个接收天线214。在替选实施方式中,接收器前端电路210可以被配置成耦接至多于或少于四个天线,其中根据特定实施方式及其规范,所得到的天线阵列具有各种n×m维度。接收器前端电路210可以包括例如RF振荡器、上变频混频器、RF放大器、可变增益放大器、滤波器、变压器、功率组合器和其他类型的电路。
雷达电路206提供要发射至发射器前端电路208的信号,从接收器前端电路210接收信号,并且可以配置成控制毫米波雷达传感器电路202的工作。在一些实施方式中,雷达电路206包括但不限于频率合成电路、上变频和下变频电路、可变增益放大器、模数转换器、数模转换器、基带信号的数字信号处理电路、偏置发生电路和电压调节器。
雷达电路206可以从处理电路204接收基带雷达信号,并基于所接收的基带信号控制RF振荡器的频率。在一些实施方式中,该接收的基带信号可以表示要发射的FMCW频率芯片。雷达电路206可以通过将与接收的基带信号成比例的信号施加至锁相环的频率控制输入端来调整RF振荡器的频率。或者,可以使用一个或更多个混频器对从处理电路204接收的基带信号进行上变频。雷达电路206可以经由数字总线(例如,USB总线)发射和数字化基带信号,经由模拟信号路径发射和接收模拟信号,和/或向处理电路204发射模拟和数字信号的组合和/或接收来自处理电路204的模拟和数字信号的组合。
处理电路204获取由雷达电路206提供的基带信号,并格式化所获取的基带信号以发射至根据实施方式的信号处理单元。例如,这些获取的基带信号可以表示拍频。在一些实施方式中,处理电路204包括用于将数据传输至基于雷达的检测系统内的其他部件的总线接口(未示出)。可选地,处理电路204还可以执行根据实施方式的检测系统所使用的信号处理步骤,例如FFT、短时傅立叶变换(STFT)、宏多普勒分析、微多普勒分析、生命多普勒分析、对象分类、机器学习等。除了处理所获取的基带信号之外,处理电路204还可以控制毫米波雷达传感器电路202的各方面,例如控制毫米波雷达传感器电路202产生的传输。
可以以各种方式划分毫米波雷达传感器系统200的各种部件。例如,毫米波雷达传感器电路202可以在一个或更多个RF集成电路(RFIC)上被实现,天线212和214可以设置在电路板上,并且处理电路204可以使用设置在一个或更多个集成电路/半导体基板上的处理器、微处理器、数字信号处理器和/或定制逻辑电路来被实现。处理电路204可以包括如下处理器:该处理器执行存储在非暂态计算机可读存储介质例如存储器中的可执行程序中的指令,以执行处理电路204的功能。然而,在一些实施方式中,处理电路204的全部或部分功能可以包含在其上设置毫米波雷达传感器电路202的同一集成电路/半导体基板上。
在一些实施方式中,毫米波雷达传感器电路202的一些或所有部分可以在包括发射天线212、接收天线214、发射器前端电路208、接收器前端电路210和/或雷达电路206的封装中被实现。在一些实施方式中,毫米波雷达传感器电路202可以实现为设置在电路板上的一个或更多个集成电路,并且发射天线212和接收天线214可以在与集成电路相邻的电路板上被实现。在一些实施方式中,发射器前端电路208、接收器前端电路210和雷达电路206被形成在同一雷达前端集成电路(IC)管芯上。发射天线212和接收天线214可以是雷达前端IC管芯的一部分,或者可以被实现为设置在雷达前端IC管芯上方或设置成与雷达前端IC管芯相邻的单独天线。雷达前端IC管芯还可以包括导电层,例如再分布层(RDL),用于布线和/或用于实现毫米波雷达传感器电路202的各种无源或有源装置。在一个实施方式中,可以使用雷达前端IC管芯的RDL来实现发射天线212和接收天线214。
图2B示出了可用于实现毫米波雷达传感器电路202的毫米波雷达传感器电路220的平面图。如所示,毫米波雷达传感器电路220被实现为RFIC 224,RFIC 224耦接至被实现为设置在基板222上或基板222内的贴片天线的发射天线212和接收天线214。在一些实施方式中,基板222可以使用其上设置有毫米波雷达传感器电路202的电路板来被实现,并且在该电路板上使用电路板的导电层实现发射天线212和接收天线214。或者,基板222表示其上设置有一个或更多个RDL并且在其上使用一个或更多个RDL上的导电层来实现发射天线212和接收天线214的晶圆基板。
图2C示出了毫米波雷达传感器电路232的平面图,毫米波雷达传感器电路232包括耦接至设置在基板236上的RFIC 234的发射天线阵列212和接收天线阵列214。在各种实施方式中,发射天线212可以形成m个天线的阵列,并且接收天线214可以形成n个天线的阵列。m个发射天线212中的每个耦接至RFIC 234上的相应引脚,并耦接至RFIC 234内的相应发射电路;n个接收天线214中的每个耦接至RFIC 234上的相应引脚,并且耦接至RFIC 234内的相应接收电路。在各种实施方式中,发射天线阵列212和接收天线阵列214可以被实现为均匀阵列或任何维度的线性阵列。应当理解,图2B和图2C的实现方式仅是可以实现根据实施方式的毫米波雷达传感器电路的许多方式中的两个示例。
图3示出了根据实施方式的用于检测区域110内的人数的方法300的框图。方法300可以用于以下目的中的至少一个:(1)确定区域110内的人116-1至116-11的存在(例如,出于区域110内的设备的自适应功率控制的目的);(2)确定区域110内的人116-1至116-11的数量(例如,出于计算区域110内的人数或对区域110内的设备进行自适应功率控制的目的);以及(3)对区域110内的人116-1至116-11的行为进行分类(例如,出于对区域110内的设备进行自适应功率控制的目的)。方法300可以对数字雷达数据执行,该数字雷达数据可以由包括在毫米波雷达传感器102中或耦接至毫米波雷达传感器102的模数转换器产生。
在步骤302中,执行粗略目标选择,其中使用毫米波雷达传感器例如图1A、图2A、图2B和图2C中分别示出的毫米波雷达传感器102、202、220和232识别第一组目标。在利用FMCW雷达的各种实施方式中,对基带雷达系统进行FFT并且在各种距离门(range gate)内识别对象。在一些实施方式中,例如那些使用多个接收天线的实施方式,执行附加的FFT以跨方位角和距离来解析检测到的对象。在粗略目标选择步骤302期间,可以由毫米波雷达传感器发射和接收多个啁啾。
图4更详细地示出了根据实施方式的可在图3中所示的粗略目标选择步骤302期间执行的各种步骤。粗略目标选择步骤302开始于由毫米波雷达传感器接收雷达数据(在步骤402中)。为了获得雷达数据,一系列啁啾被发射并随后由毫米波雷达传感器例如分别如图1A、图2A、图2B和图2C所示的毫米波雷达传感器102、202、220和232接收。可以包括基带拍频的这些雷达测量结果被数字化并存储为雷达数据402。
在步骤404中,执行信号调节和距离预处理。在步骤404期间,对雷达数据402进行滤波,移除DC分量,并清除IF数据。在一些实施方式中,通过滤波来清除IF数据以去除Tx-Rx自干扰并且可选地对干扰有色噪声进行预滤波。在一些实施方式中,滤波包括移除具有与其他相邻距离门测量结果显著不同的值的数据异常值。在一个特定示例中,在每个距离门处利用滑动窗口来应用Hampel滤波器以去除这些异常值。或者,可以使用本领域已知的用于距离预处理的其他滤波。
在步骤406中,对由步骤404产生的滤波雷达数据进行距离FFT(range FFT)。在一个实施方式中,可以沿着由第一次扫描产生的数据的每个波形计算具有啁啾的长度(例如,256个样本)的加窗FFT,或者可以针对与步骤401期间执行的第一次扫描的一部分相对应的数据计算具有啁啾的长度(例如,256个样本)的加窗FFT。距离FFT的每个点表示毫米波传感器与检测到的对象之间的距离,并且对应于距离门。在一些实施方式中,对由接收天线阵列中的每个接收天线产生的雷达数据执行距离FFT。
在步骤408中,在虚拟阵列中重新排列由距离FFT步骤406产生的数据。这里,使用本领域已知的方法将多个接收器数据拼接在一起以改善角分辨率。在步骤410中,使用本领域中已知的更高阶波束形成和超分辨率技术对在步骤408中产生的虚拟阵列数据执行方位角FFT。在各种实施方式中,距离FFT提供关于检测到的对象相对于毫米波雷达传感器的位置的角位置的指示。在替选实施方式中,除了FFT之外,还可以使用其他变换类型例如离散傅立叶变换(DFT)或诸如z变换的其他变换类型用于步骤406和410的距离和方位角FFT。
在步骤412中,实施距离门选择策略以确定哪些距离门表示检测到的对象。在一些实施方式中,选择其均值大于其视场中所有其他距离门的均值的距离门作为潜在目标距离门。在各种实施方式中,距离门选择策略还确定检测到的目标相对于毫米波雷达传感器的角度或方位角以及检测到的目标到毫米波雷达传感器的范围或距离。一旦确定哪些距离门表示检测到的对象,就产生粗略目标列表(例如,在步骤414中),其包括每个检测到的对象的范围和方位角。随后将对应于粗略目标列表的雷达数据提供给宏多普勒、微多普勒和生命多普勒处理方法(例如,如下面关于图3、图6、图7A至图7B所述),用于检测、计数和分类。
返回参考图3,在粗略目标选择步骤302之后,实现并行处理路径304、306和308。处理路径304示出了宏多普勒处理路径;处理路径306示出了微多普勒处理路径;处理路径308示出了生命多普勒处理路径。注意,可以通过宏多普勒处理来检测的大幅度移动——例如步行(例如通过对象116-8)、上台阶(例如通过对象116-3)和下台阶(例如通过对象116-5)——是短时的(即,突发),因此,短的慢时间窗口或帧大小足以检测或分类这种移动。另一方面,可以通过微多普勒处理或生命多普勒处理检测(但不能通过宏多普勒处理检测)的小幅度移动——例如在呼吸、看电视、吃饭、烹饪或者在计算机上工作时进行的轻微身体移动——与大幅度移动相比具有较小的突发性,因此,可能需要更长的慢窗口或帧大小来检测或分类这样的移动。此外,与小幅度移动相比,大幅度移动通常具有更高的速度,因此,宏多普勒处理需要紧密间隔的时间样本用于估计,而微多普勒和生命多普勒处理需要更大的窗口或帧大小来估计微小的多普勒运动。另外,宏多普勒、微多普勒和生命多普勒移动的检测需要不同的阈值、中心频率和带宽。如图3所示,通过并行化宏多普勒处理,微多普勒处理和生命多普勒处理,可以克服宏多普勒、微多普勒和生命多普勒处理的不同(有时是竞争)要求。虽然处理路径304、306和308在图3的示例中被示出为并行执行,但是注意,本公开考虑了其中依次执行这些处理路径304、306和308的其他实施方式(例如,图12中所示的示例)。
宏多普勒处理路径304包括步骤310,其中在每个宏多普勒帧内捕获数据。随后在步骤316中使用本领域已知的宏多普勒滤波技术对来自每个宏多普勒帧的数据进行宏多普勒滤波。在一些实施方式中,在步骤316处,可以在慢时间内对距离筐进行FFT以确定每个检测到的对象的速度。或者,每个对象的速度可以通过其他波形技术确定,包括但不限于三角形啁啾和交错脉冲重复时间(PRT)。注意,作为FFT方法的替代,宏多普勒滤波步骤316可以由一组滤波器执行(例如,下面参考图7A描述)。在这样的实施方式中,宏多普勒滤波步骤316可以包括使用具有2kHz至32kHz之间的截止频率的多个带通滤波器。随后在步骤322中对经滤波的宏多普勒数据进行处理并使其经受检测算法。在步骤322中执行的检测算法确定人是否存在于区域110中。基于宏多普勒检测算法的结果,激活相应的距离筐(在步骤328中)。
微多普勒处理路径306包括步骤312,其中在每个微多普勒帧内捕获数据。随后在步骤318中使用本领域已知的微多普勒滤波技术对来自每个微多普勒帧的数据进行微多普勒滤波。在一些实施方式中,在步骤318处,可以在慢时间内对距离筐进行FFT以确定每个检测到的对象的速度。或者,每个对象的速度可以通过其他波形技术确定,包括但不限于三角形啁啾和交错脉冲重复时间(PRT)。注意,作为FFT方法的替代,微多普勒滤波步骤318可以由一组滤波器执行(例如,下面参考图7A描述)。在这样的实施方式中,微多普勒滤波步骤318可以包括使用具有10Hz至2kHz之间的截止频率的多个带通滤波器。另外,由宏多普勒滤波步骤316和微多普勒滤波步骤318滤波的频谱是正交的(即,非交叠的)。随后对经滤波的微多普勒数据进行处理并使其在步骤324中经受检测算法。在步骤324中执行的检测算法确定人是否存在于区域110中。基于微多普勒检测算法的结果,激活相应的距离筐(在步骤328中)。
生命多普勒处理路径308包括步骤314,其中在每个生命多普勒帧内捕获数据。随后在步骤320中使用下面参考图6讨论的生命多普勒滤波技术对来自每个生命多普勒帧的数据进行生命多普勒滤波。注意,由微多普勒滤波步骤318和生命多普勒滤波步骤320滤波的频谱是正交的(即,非交叠的)。随后对经滤波的生命多普勒数据进行处理并使其在步骤326中经受检测算法。在步骤326中执行的检测算法确定人是否存在于区域110中。基于生命多普勒检测算法的结果,激活相应的距离筐(在步骤328中)。
如上所述,短的慢时间窗口或帧大小可足以用于测量或检测大幅度移动,而可能需要更长的慢时间窗口或帧大小来测量或检测小幅度移动。因此,宏多普勒帧、微多普勒帧和生命多普勒帧结构在持续时间和构造方面不同。图5A至图5D示出了宏多普勒帧、微多普勒帧和生命多普勒帧的相对持续时间和构造的示例。
图5A示出了说明根据实施方式的多个宏多普勒帧500中的每个的持续时间和构造的定时图。在图5A的示例中,示出了512个宏多普勒帧(在图5A中标记为“帧1”、“帧2”等,直到“帧512”)。每个宏多普勒帧500包括发射啁啾502随后是无发射持续时间504的连续序列。在图5A的示例中,发射啁啾502的连续序列包括16个连续啁啾,每个啁啾具有32微秒的时段。因此,每个宏多普勒帧的发射啁啾502的连续序列的持续时间为512微秒。无发射持续时间504持续约448微秒,从而使每个宏多普勒帧500具有大约960微秒的持续时间。基于这些持续时间,宏多普勒处理路径302能够以1.953kHz频率分辨率检测31.25kHz的最大多普勒频率。注意,这些持续时间仅仅是示例性的,并且在其他实施方式中可以是不同的。
图5B示出了说明根据实施方式的单个微多普勒帧501的持续时间和构造的定时图。单个微多普勒帧501(在图5B中标记为“微多普勒帧1”)在时间上与多个宏多普勒帧500并置,以示出多个宏多普勒帧500和单个微多普勒帧501的相对持续时间和构造。如本实施方式所示,一般来说,微多普勒帧有利地具有大于或等于多个宏多普勒帧的持续时间的持续时间,例如2个或者更多个宏多普勒帧的持续时间。在一些实施方式中,微多普勒帧的持续时间可以等于多个宏多普勒帧的持续时间。在其他实施方式中,微多普勒帧的持续时间可能不等于该持续时间。如图5B所示,单个微多普勒帧501的初始啁啾506-1在时间上与初始宏多普勒帧500的发射啁啾502的连续序列的初始啁啾对齐,而单个微多普勒帧501的下一个啁啾506-2在时间上与初始宏多普勒帧500的发射啁啾502的连续序列的第十五啁啾对齐。单个微多普勒帧501的后续啁啾506-3在时间上与第二宏多普勒帧500的发射啁啾502的连续序列的初始啁啾对齐,等等。微多普勒帧边界被定义为16个连续的微多普勒啁啾,每个微多普勒啁啾的持续时间为32微秒,连续的微多普勒啁啾间隔480微秒。基于这些持续时间,微多普勒处理路径304能够以130.18Hz的频率分辨率检测2.083kHz的最大多普勒频率。注意,这些持续时间仅仅是示例性的,并且在其他实施方式中可以是不同的。
图5C示出了说明根据实施方式的单个生命多普勒帧503的持续时间和构造的定时图。单个生命多普勒帧503(在图5C中标记为“生命多普勒帧1”)在时间上与多个宏多普勒帧500并置,以示出多个宏多普勒帧500和单个生命多普勒帧503的相对持续时间和构造。如图5C所示,单个生命多普勒帧503的初始啁啾508-1在时间上与初始宏多普勒帧500的发射啁啾502的连续序列的初始啁啾对齐,而单个生命多普勒帧503的下一个啁啾508-2在时间上与第二十宏多普勒帧500的发射啁啾502的连续序列的初始啁啾对齐。单个生命多普勒帧503的随后的啁啾508-3在时间上与第四十个宏多普勒帧500的发射啁啾502的连续序列的初始啁啾对齐,等等。生命多普勒帧边界被定义为512个连续的生命多普勒啁啾,每个生命多普勒啁啾的持续时间为32微秒,并且连续的生命多普勒啁啾间隔19.2毫秒。基于这些持续时间,生命多普勒处理路径306能够以0.1017Hz的频率分辨率检测52.083Hz的最大多普勒频率。注意,这些持续时间仅仅是示例性的,并且在其他实施方式中可以是不同的。
图5D总结了根据实施方式的宏多普勒帧500、微多普勒帧501和生命多普勒帧503的相对帧结构。如图5D所示,第一生命多普勒啁啾从宏多普勒帧500的第一物理帧PF1中提取(或时间上与其对齐)。类似地,第二生命多普勒啁啾从宏多普勒帧500的第513物理帧PF513中提取(或时间上与其对齐),等等。此外,第一微多普勒啁啾从宏多普勒帧500的第一物理帧PF1中提取(或时间与其对齐)。类似地,第二微多普勒啁啾从宏多普勒帧500的第15物理帧PF15中提取(或时间上与其对齐),而第三微多普勒啁啾从宏多普勒帧500的第17物理帧PF15中提取(或时间上与其对齐),等等。单个微多普勒帧被定义为16个连续的微多普勒啁啾,单个宏多普勒帧被定义为来自物理帧本身的16个连续宏多普勒啁啾,并且单个生命多普勒帧被定义为512个连续的生命多普勒啁啾。注意,这些持续时间仅仅是示例性的,并且在其他实施方式中可以是不同的。
如上面参考图3所讨论的,生命多普勒处理路径308包括步骤320中的生命多普勒滤波,步骤326中的信号处理和检测,以及步骤328中的距离筐激活。图6示出了根据实施方式的沿着生命多普勒处理路径308的滤波步骤320、信号处理和检测步骤326以及距离筐激活步骤328的实现。在图6的示例中,采用两个固定的,校准的低带宽滤波器来从所选择的距离门提取心跳信号和呼吸信号。与诸如椅子、电视等静态无生命目标相关联的雷达数据在通过这些滤波器之后不产生生命信号,而与人类目标相关联的雷达数据在通过这些根据实施方式的滤波器之后产生生命信号。因此,这些滤波器的输出可用于确定与检测到的目标相关联的雷达数据是否与人相对应。
在呼吸生命多普勒滤波分析602期间,在步骤604、606、608、610、612和614中从每个生命多普勒帧中的数据中提取对应于呼吸的运动。在步骤604中,执行呼吸周期生命多普勒滤波。例如,来自特定/识别的目标距离门的慢时间雷达信号被馈送到带通滤波器以确定呼吸速率。例如,可以使用以0.8Hz为中心,带宽为0.6Hz的带通滤波器。带通滤波器可以通过无限脉冲响应(IIR)或有限脉冲响应(FIR)滤波器来实现。或者,可以使用其他中心频率和带宽。
在步骤606中,使用例如Savitzky-Golay滤波器对生命多普勒滤波步骤604的输出进行滤波以平滑数据。在步骤608中,例如通过执行平滑滤波步骤606的输出的自相关来估计呼吸周期,以确定经滤波的生命多普勒结果的周期性。将该自相关的结果与表示标称呼吸速率的参考信号609进行比较。在一些实施方式中,参考是参考呼吸信号。或者,可以使用其他参考。在步骤610中将估计的呼吸周期与阈值或多个阈值进行比较。如果估计的呼吸周期不在与正常人呼吸相对应的预定范围内,例如,在每分钟大约12次呼吸和大约35次呼吸之间,则确定目标不是人,并且不激活相应的距离筐(步骤328)。如果确定的呼吸在预定范围内,则使用目标距离信息613和本领域已知的移动平均算法,在步骤612中将得到的估计与最近的过去测量一起平均。
根据距离信息,将所有相应的距离筐馈送到呼吸速率滤波器中以分析其是否具有呼吸速率信号。在各种实施方式中,移动平均表示在大约一秒和两秒之间的经滤波呼吸测量。或者,可以在其他时间段上执行移动平均。基于步骤612产生的移动平均的结果,在步骤614中执行精细呼吸周期。在精细呼吸速率估计周期中,累积更多慢时间数据以获得更精细的呼吸速率估计。或者,可以使用FFT方法确定呼吸速率。例如,对经慢时间滤波的呼吸数据执行加窗(Hanning或Kaiser窗口)之后的FFT。如果存在较大呼吸频率分量并且精细检测阶段选择最大频率分量作为估计呼吸速率,则粗略检测阶段应用阈值。如果粗略阈值检测不具有超过期望阈值的呼吸频率分量,则可以跳过精细检测估计阶段。在一些实施方式中,期望阈值被设置为噪声基底的至少十倍。
在心率生命多普勒滤波分析616期间,在步骤618、620、622、624、626和628中以与呼吸周期生命多普勒滤波分析602相似的方式从每个生命多普勒帧雷达数据中提取对应于心率的运动。在步骤618,执行心率生命多普勒滤波。例如,来自特定/识别的目标距离门的慢时间雷达信号被馈送到带通滤波器以确定心率。例如,可以使用以2Hz为中心,带宽为3Hz的带通滤波器。带通滤波器可以通过无限脉冲响应(IIR)或有限脉冲响应(FIR)滤波器来实现。或者,可以使用其他中心频率和带宽。
在步骤620中,使用例如低通滤波器对生命多普勒滤波步骤618的输出进行滤波以平滑数据。在步骤622中,例如通过在步骤620中执行平滑滤波器的输出的自相关来确定经滤波的生命多普勒结果的周期性,以估计心率的估计。将该自相关的结果与表示心率的参考信号623进行比较。在一些实施方式中,该参考是标准FDA批准的60跳/分钟的呼吸信号。在步骤624中将估计的心率与阈值或多个阈值进行比较。如果估计的呼吸周期不在与正常心率相对应的预定范围内,例如,在每分钟约50次心跳至每分钟约200次心跳之间,则确定目标不是人,并且不激活相应的距离筐(步骤328)。如果确定的心率在预定范围内,则使用目标距离信息627和本领域已知的移动平均算法,在步骤626中将得到的估计与最近的过去测量一起平均。
根据距离信息,将所有相应的距离筐馈送到心率滤波器中以分析它们是否具有心率信号。在各种实施方式中,移动平均表示在大约一秒和两秒之间的经滤波心率测量。或者,可以在其他时间段上执行移动平均。基于步骤626产生的移动平均的结果,在步骤628中执行精细心率检测。在心率估计周期中,累积更多慢时间数据以获得更精细的心率估计。或者,可以使用FFT方法确定心率。例如,对经慢时间滤波的心率数据执行加窗(Hanning或Kaiser窗口)之后的FFT。如果存在较大的心率频率分量并且精细检测阶段选择最大频率分量作为估计的心率,则粗略检测阶段应用阈值。如果粗略阈值检测不具有超过期望阈值的心率频率分量,则可以跳过精细检测估计阶段。在一些实施方式中,期望阈值被设置为噪声基底的至少十倍。
如果呼吸周期生命多普勒滤波分析602和心率生命多普勒滤波分析616二者确定相应的估计呼吸周期和心率测量在预定范围内,则在步骤328中激活相应的距离筐。或者,如果确定呼吸周期和心率中的至少一个在人类的范围内,则激活相应的距离筐。
如上面参考图3所讨论的,宏多普勒处理路径304包括步骤316中的宏多普勒滤波,步骤322中的信号处理和检测,以及步骤328中的距离筐激活。类似地,微多普勒处理路径306包括步骤318中的微多普勒滤波,步骤324中的信号处理和检测,以及步骤328中的距离筐激活。图7A示出了根据使用一组滤波器(例如,代替FFT方法)的实施方式的沿着宏多普勒和微多普勒处理路径304和306的滤波步骤316和318、信号处理和检测步骤322和324、以及距离筐激活步骤328的实现方式。如图7A所示,宏多普勒滤波步骤316可以使用宏多普勒滤波器组来实施,该宏多普勒滤波器组包括P个带通滤波器阵列,其将在每个宏多普勒帧内的数据分成多个分量,其中每个分量携带馈送到滤波器组中的原始信号的单个频率子带。以类似的方式,微多普勒滤波步骤318可以使用微多普勒滤波器组来实现,该微多普勒滤波器组包括Q带通滤波器阵列,其将在每个微多普勒帧内的数据分成多个分量,其中每个分量携带馈送到滤波器组中的原始信号的单个频率子带。通常,P和Q可以是8和64范围内的整数。作为示例,P可以等于16并且Q可以等于32。
可以使用宏多普勒阈值检测器702来实现宏多普勒信号处理和检测步骤322。在实施方式中,宏多普勒阈值检测器702使用本领域已知的方法确定宏多普勒滤波器组的P个带通滤波器中的每个的输出信号的能量。然后将P个带通滤波器中的每个的相应输出信号的能量与其对应的阈值η1进行比较,该阈值η1可以是宏多普勒滤波器组的相应带通滤波器的噪声底的至少十倍。如果特定带通滤波器的输出信号的能量大于或等于其对应的阈值η1,则激活相应的距离筐(在步骤328中),这指示已检测到有效的人类目标。这一系列步骤可以用数学表达为:
其中N是宏多普勒滤波器组的P个带通滤波器中的每个的输出信号的样本数。
在另一实施方式中,宏多普勒阈值检测器702使用本领域已知的方法确定宏多普勒滤波器组的P个带通滤波器的所有输出信号的集合能量(例如,总能量)。然后将宏多普勒滤波器组的输出信号的集合能量与阈值σ1进行比较,阈值σ1可以是宏多普勒滤波器组的带通滤波器的噪声底之和的至少十倍。如果P个带通滤波器的输出信号的集合能量大于或等于阈值σ1,则激活相应的距离筐(在步骤328中),这指示已检测到有效的人类目标。这一系列步骤可以用数学表达为:
其中N是宏多普勒滤波器组的P个带通滤波器中的每个的输出信号的样本数,并且阈值σ1可以表示为:
可以使用微多普勒阈值检测器704来实现微多普勒信号处理和检测步骤324。在实施方式中,微多普勒阈值检测器704使用本领域已知的方法确定Q个带通滤波器中的每个的输出信号的能量。然后将Q个带通滤波器中的每个的相应输出信号的能量和与其对应的阈值η2进行比较,该阈值η2可以是微多普勒滤波器组的相应带通滤波器的噪声底的至少十倍。如果特定带通滤波器的输出信号的能量大于或等于其对应的阈值η2,则激活相应的距离筐(在步骤328中),这指示已检测到有效的人类目标。这一系列步骤可以用数学表达为:
其中N是微多普勒滤波器组的Q个带通滤波器中的每个的输出信号的样本数。
在另一实施方式中,微多普勒阈值检测器704使用本领域已知的方法确定微多普勒滤波器组的Q个带通滤波器的所有输出信号的集合能量(例如,总能量)。然后将微多普勒滤波器组的输出信号的集合能量与阈值σ2进行比较,阈值σ2可以是微多普勒滤波器组的带通滤波器的噪声底之和的至少十倍。如果Q带通滤波器的输出信号的集合能量大于或等于阈值σ2,则激活相应的距离筐(在步骤328中),这指示已检测到有效的人类目标。这一系列步骤可以用数学表达为:
其中N是微多普勒滤波器组的Q个带通滤波器中的每个的输出信号的样本数,并且阈值σ2可以表示为:
图7B示出了根据使用FFT方法(例如,代替一组滤波器)的另一实施方式的、沿着宏多普勒和微多普勒处理路径304和306的滤波步骤316和318、信号处理和检测步骤322和324以及距离筐激活步骤328的实现。在宏多普勒处理路径304的滤波和信号处理和检测步骤316和322中,根据本领域已知的方法确定宏多普勒慢时间数据的均值,并且随后(在步骤706中)将该均值从宏多普勒慢时间数据中减去。从宏多普勒慢时间数据中减去均值消除了每个宏多普勒帧的数据中的静态目标的信号。然后,根据本领域已知的方法(例如,通过以慢时间进行FFT),在步骤708中生成来自步骤706的宏多普勒数据的距离多普勒映射(range-Doppler map)。注意,与滤波器组方法(其是时域方法并且不需要均值减法)相比,步骤706和708中描绘的处理是频域方法,需要均值减法,并且与滤波器组方法相比计算上成本更低。在步骤710中,将距离多普勒映射与第一参考点扩展函数进行卷积。在一些实施方式中,第一参考点扩展函数可以是二维高斯滤波器。然后将卷积结果的大小与宏多普勒阈值进行比较(例如,如在图7A的步骤702中),并且确定至少等于宏多普勒阈值的距离筐(在步骤712中)并且随后激活这些距离筐(在步骤328中)。通常,步骤710中的卷积可以表示为其中p(m,n)是第一参考点扩展函数,x(m,n)是来自步骤708的距离多普勒映射,M和N分别是距离筐的数量和多普勒频率范围的数量。卷积结果的大小与宏多普勒阈值的比较可以表示为|z(u,v)|≥η1。
在微多普勒处理路径306的滤波和信号处理和检测步骤318和324中,根据本领域已知的方法确定微多普勒慢时间数据的平均值,并随后从微多普勒慢时间数据中减去该均值(在步骤714中)。从微多普勒慢时间数据中减去均值消除了每个微多普勒帧的数据中的静态目标的信号。然后根据本领域已知的方法(例如,通过以慢时间进行FFT),在步骤716中生成来自步骤714的微多普勒数据的距离多普勒映射。注意,与滤波器组方法(其是时域方法并且不需要均值减法)相比,步骤714和716中描绘的处理是频域方法,需要均值减法,并且与滤波器组相比计算上成本更低。在步骤718中,将距离多普勒映射与第二参考点扩展函数进行卷积。在一些实施方式中,第二参考点扩展函数可以是二维高斯滤波器和/或可以与步骤710中使用的第一参考点扩展函数相同。然后将卷积结果的大小与微多普勒阈值进行比较(例如,如图7A的步骤704中所示),确定至少等于微多普勒阈值的距离筐(在步骤720中),并且随后激活这些距离筐(在步骤328中)。通常,步骤718中的卷积可以表示为其中q(m,n)是第二参考点扩展函数,w(m,n)是来自步骤716的距离多普勒映射,并且M和N分别是距离筐的数量和多普勒频率范围的数量。卷积结果的大小与微多普勒阈值的比较可以表示为|y(u,v)|≥η2。
返回参考图3,不同的处理路径304、306、308在它们各自的帧的末端独立地或者在生命多普勒帧的末端共同地更新激活距离筐。如果处理路径304、306、308在它们各自的帧边界的末端更新激活距离筐,则针对每个处理路径304、306、308分配的生命周期计数是不同的。例如,由宏多普勒处理路径304激活的距离筐的生命周期计数大于由微多普勒处理路径306激活的距离筐的生命周期计数。作为示例,由宏多普勒处理路径304激活的距离筐的生命周期计数可以是大约10,000,而由微多普勒处理路径306激活的距离筐的生命周期计数可以是大约500。此外,由微多普勒处理路径306激活的距离筐的生命周期计数大于由生命多普勒处理路径308激活的距离筐的生命周期计数。由生命多普勒处理路径308激活的距离筐的生命周期计数可以是大约10。针对每个处理路径304、306、308分配不同的生命周期计数确保陈旧数据几乎同时到期,而与其更新帧或周期无关。另一方面,如果不同的处理路径304、306、308在共同的生命多普勒帧的末端一起共同地更新激活距离筐,则将相同的生命周期计数分配给激活距离筐,而不管更新源自哪个处理路径。
在一些实施方式中,每个帧更新递减每个激活距离筐的生命周期计数。一旦生命周期计数达到零,则将从激活列表中删除相应的距离筐。注意,每当处理路径更新已经在激活列表中的距离筐时,相应的生命周期计数被重置为默认值。通过沿着距离筐执行距离聚类操作(在步骤330中),然后计算聚类距离筐的数量,在生命多普勒帧结束时完成人数计数。在其独立帧结束时,宏多普勒处理路径304、微多普勒处理路径306和生命多普勒处理路径308分别更新距离筐,其中目标人类被检测为激活距离筐以及生命周期计数。因此,系统存储包括激活距离筐编号和其对应的生命周期计数的元组,其可以用于步骤334中的距离保持方案中。注意,步骤330中的距离聚类操作在相应的距离筐激活之后、并且如果适用在距离保持之后被执行,并且被执行以防止单个对象被计为多个对象。在也使用方位信息的实施方式中,系统存储包括激活距离筐编号、角度及其对应的生命周期计数的元组,其也可以用于步骤334中的距离保持方案中。
在距离保持方案中,来自最近元组的激活距离筐编号与当前元组的激活距离筐编号组合,并且更新当前元组的生命周期计数。在还使用方位角信息的实施方式中,距离保持方案将来自最近元组的激活距离筐编号与当前元组的激活距离筐编号组合,并且还将来自最近元组的角度与当前元祖的角度组合,进一步更新当前元组的生命周期计数。图8中示出了根据实施方式的距离保持方案。如图8所示,宏多普勒处理路径304包括距离筐800,其中筐4被激活(例如,基于上述处理和检测步骤)。微多普勒处理路径306包括距离筐802,其中筐7被激活,并且生命多普勒处理路径308包括距离筐804,其中筐3和4被激活。组合距离筐800,802和804以产生当前范围活动列表,其中筐3、4和7被指示为激活的并且其中每个被分配默认生命周期计数(例如,图8的示例中为5000)。在图8的示例中,最近的元组指示筐2和4为激活的,筐4的生命周期计数为2750,筐4的生命周期计数为231。在距离保留方案中,来自最近的元组的激活距离筐编号与当前元组的激活距离筐编号结合,并且更新当前元组的生命周期计数。因此,由于筐2不在当前距离激活列表中,因此利用筐2更新距离激活列表,并且筐2的生命周期计数随后递减1。另一方面,因为筐4已经在当前距离激活列表中,因此更新的距离激活列表中的筐4的生命周期计数保持不受干扰。在步骤330中执行距离聚类操作以产生仅将筐3和7指示为激活的结果。然后将人数设置为距离聚类步骤330的激活距离聚类的数量,即,人数被确定为2。
在图3所示的方法300中,注意到在检测到宏观多普勒移动、微多普勒移动或生命多普勒移动时不直接增加人数。而是,利用生命周期计数(例如5000)激活相应的距离筐,并且当没有检测到高于相应多普勒阈值的信号时,该生命周期计数在每帧递减。除了由宏多普勒处理路径304和微多普勒处理路径306激活的距离筐之外,距离筐也由生命多普勒处理路径308激活。基于距离保持方案,有可能即使在最近的距离激活列表中存在宏多普勒或微多普勒信号,在当前距离激活列表中也不存在宏多普勒或微多普勒信号来激活距离筐。这种情况可能归因于目标人变得静止。在这种情况下,人数统计被保持并且不递减直到生命周期计数到期(即,达到零)。由于人存在于区域110中,因此生命多普勒处理路径308可以在激活生命周期到期之前激活距离筐,因此不会发生对区域110中的人的错误计算。上述情景也可归因于目标人走出该区域。在这种情况下,激活距离筐在生命周期计数达到零之后到期。由于目标人不在区域110中,因此生命多普勒处理路径308不激活任何距离筐,因此允许激活距离筐到期,之后人数递减。再次注意,在创建激活距离列表之后执行聚类。
将进入宏多普勒处理路径的处理分到单独的帧边界也有助于系统100执行自适应功率控制。图9A示出了当宏多普勒处理路径304激活距离筐时宏多普勒帧500、微多普勒帧501和生命多普勒帧503的相对帧结构。当宏多普勒处理路径304激活距离筐时,宏多普勒帧和微多普勒帧二者是激活的。物理传感器帧与宏多普勒帧边界对齐。宏多普勒处理路径304、微多普勒处理路径306和生命多普勒处理路径308是激活的,并且分析来自其的信号以检测人类活动并且将与人类活动相关联的行为分类(例如,通过使用机器学习算法,例如但不限于随机森林算法、自适应增强(AdaBoost)算法和/或神经网络算法)。在这种情况下,启用宏多普勒处理路径304、微多普勒处理路径306和生命多普勒处理路径308的所有滤波器。此外,上面参考图8讨论的距离保持方案被激活以横越时间拼接人类行为,因此毫米波雷达传感器102以全功率运行。
图9B示出了当宏多普勒处理路径304不激活距离筐而是微多普勒处理路径306激活距离筐时,宏多普勒帧500、微多普勒帧501和生命多普勒帧503的相对帧结构。当不存在宏多普勒活动但存在微多普勒活动时,物理传感器帧与微多普勒帧边界对齐。在这种场景下,仅启用微多普勒处理路径306和生命多普勒处理路径308的滤波器。微多普勒处理路径306和生命多普勒处理路径308是激活的,并且分析来自其的信号以检测人类活动并且将与人类活动相关联的行为分类(例如,通过使用机器学习算法,例如但不限于随机森林算法、自适应增强(AdaBoost)算法和/或神经网络算法)。此外,记录或存储检测到的生命体征。此外,上面参考图8讨论的距离保持方案被激活以横越时间拼接人类行为(例如,不活动),因此,与图9A相关联的情景相比,毫米波雷达传感器102以更低的功率运行。应注意,当宏多普勒处理路径304未激活距离筐但微多普勒处理路径306激活距离筐时,一旦微多普勒的最大检测频率超过其上限的80%,物理帧就例如在与图9A相关的场景中被切换到宏多普勒模式。
图9C示出了当宏多普勒处理路径304和微多普勒处理路径306不激活距离筐但是生命多普勒处理路径308激活距离筐时,宏多普勒帧500、微多普勒帧501和生命多普勒帧503的相对帧结构。当不存在宏观多普勒活动和微多普勒活动但存在生命多普勒活动时,物理传感器帧与生命多普勒帧边界对齐。在这种场景下,仅启用生命多普勒处理路径308的滤波器。生命多普勒处理路径308是激活的,并且分析来自其的信号以检测人类活动并且将与人类活动相关联的行为分类(例如,通过使用机器学习算法,例如但不限于随机森林算法、自适应增强(AdaBoost)算法和/或神经网络算法)。此外,记录或存储检测到的生命体征。此外,上面参考图8讨论的距离保持方案被激活以横越时间拼接人类行为(例如,不活动),因此,与图9B相关联的情景相比,毫米波雷达传感器102以更低的功率运行。应注意,在一些实施方式中,在每15至30个生命多普勒帧之间运行微多普勒帧以探测区域110中的活动。如果通过微多普勒处理路径306观察到活动,则激活高功率模式(例如,与图9A或9B相关联)。
图9D示出了当宏多普勒处理路径304、微多普勒处理路径306和生命多普勒处理路径308不激活距离筐时,宏多普勒帧500、微多普勒帧501和生命多普勒帧503的相对帧结构。当不存在宏多普勒活动、微多普勒活动和生命多普勒活动时,不存在物理传感器帧。在这种场景下,宏多普勒处理路径304、微多普勒处理路径306或生命多普勒处理路径308的滤波器都不被启用。在这种情况下,毫米波雷达传感器102处于深度睡眠模式,与图9A至图9C相关的情况相比,该模式具有最低的功耗。深度睡眠模式可以指示区域110中不存在人。然而,应注意,在一些实施方式中,在每80和120个生命多普勒帧之间运行宏多普勒帧以探测区域110中的活动。如果通过宏多普勒处理路径304观察到活动,则激活高功率模式(例如,与图9A相关联)。
如上面参考图9D所讨论的,可以在每80和120个生命多普勒帧之间运行宏多普勒帧以探测区域110中的活动。然而,在其他实施方式中,宏多普勒帧可以是以逐渐增加的睡眠时间运行以确定是否有必要唤醒。图10示出了执行逐渐增加的睡眠时间以确定是否需要唤醒的实施方式。如图10所示,第一宏多普勒探测帧PF1与第二宏多普勒探测帧PF2之间的持续时间T1小于第二宏多普勒探测帧PF2与第三宏多普勒探测帧PF3之间的持续时间T2。在一些实施方式中,T1可以为约40秒至60秒之间(例如约50秒),而T2可以为3分钟至6分钟之间(例如约5分钟)。类似地,第二宏多普勒探测帧PF2与第三宏多普勒探测帧PF3之间的持续时间T2小于第三宏多普勒探测帧PF3与第四宏多普勒探测帧PF4(图10中未示出)之间的持续时间T3(图10中未示出)。可以增加连续宏多普勒探测帧之间的持续时间直到最大阈值(例如,大约15分钟)。
总结图9A至9D和图10,一旦宏多普勒激活距离筐到期,但微多普勒距离筐仍然激活,则启用图9B中描述的功率模式以通过使物理传感器的帧边界是微多普勒帧的边界来节省功率。类似地,如果不存在宏多普勒激活距离筐并且不存在微多普勒激活距离筐,但存在生命多普勒距离筐,则启用图9C中描述的功率模式以通过使物理传感器的帧边界是生命多普勒帧的边界来节省功率。此外,如果没有宏多普勒激活距离筐,没有微多普勒激活距离筐,并且不存在生命多普勒距离筐,则系统100逐步进入图9D所示的深度睡眠模式,在一些实施方式中具有周期性探测宏多普勒帧在图9B和图9C中描述的功率模式中,执行周期性宏多普勒探测(例如,每30秒至1分钟)以检查是否存在任何宏多普勒移动。如果检测到这种宏多普勒移动,则传感器100切换到全功率模式(例如,如图9A的场景)。
现在参考图11,根据本发明的实施方式提供了处理系统1100的框图。处理系统1100描绘了通用平台以及可用于实现根据实施方式的占用检测系统的各部分和/或与根据实施方式的占用检测系统接口的外部计算机或处理装置的一般部件和功能。处理系统1100可以包括例如中央处理单元(CPU)1102、存储器1104和连接至总线1108的大容量存储装置1106,总线1108被配置成执行上述过程。如果期望或需要,处理系统1100还可以包括视频适配器1110,以提供至本地显示器1112和输入-输出(I/O)适配器1114的连接,以为一个或更多个输入/输出装置1116例如鼠标、键盘、打印机、磁带驱动器、CD驱动器等提供输入/输出接口。
处理系统1100还包括网络接口1118,其可以使用被配置成耦接至用于与网络1120通信的有线链路例如以太网线缆、USB接口等和/或无线/蜂窝链路的网络适配器来实现。网络接口1118还可以包括用于无线通信的合适的接收器和发射器。应注意,处理系统1100可以包括其他部件。例如,处理系统1100可以包括电源、线缆、主板、可移动存储介质、壳体等。尽管未示出,但这些其他部件被认为是处理系统1100的一部分。
图12示出了根据顺次执行宏多普勒、微多普勒和生命多普勒处理的实施方式的、用于检测区域内的人的数量或用于控制功率的方法1200的框图。如图12所示,在粗略目标选择(步骤302)之后,执行宏多普勒处理304(例如,根据前述示例)。在步骤1202中,确定是否检测到宏多普勒信号。响应于确定存在宏多普勒信号,方法1200不执行微多普勒处理和生命多普勒处理。相反,方法1200进行到前述示例中描述的步骤328、330、332和334。换句话说,方法1200依赖于宏多普勒信号而不是微多普勒信号或生命多普勒信号来计算人数或控制功率。另一方面,响应于确定不存在宏多普勒信号,方法1200进行到微多普勒处理306。在步骤1204中,确定是否检测到微多普勒信号。响应于确定存在微多普勒信号,方法1200不执行生命多普勒处理,而是进行到前述示例中描述的步骤328、330、332和334,从而依赖于微多普勒信号,而不是宏多普勒或生命多普勒信号来计算人数或控制功率。另一方面,响应于确定不存在微多普勒信号,方法1200进行到生命多普勒处理308。在步骤1206中,确定是否检测到生命多普勒信号。响应于确定存在生命多普勒信号,方法1200进行到前述示例中描述的步骤328、330、332和334,从而依赖于生命多普勒信号而不是宏多普勒信号或微多普勒信号来计算人数或控制功率。另一方面,响应于确定不存在微多普勒信号,方法1200忽略给定距离门(在步骤1208中)。
根据一个实施方式的方法包括:基于毫米波雷达传感器接收的雷达数据识别毫米波雷达传感器的视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;对宏多普勒帧进行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;对微多普勒帧执行微多普勒处理,并基于微多普勒处理确定微多普勒帧中是否存在微多普勒信号;响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
根据一个实施方式的系统包括处理系统,该处理系统被配置成耦接至毫米波雷达传感器。该处理系统被配置成指示毫米波雷达传感器在毫米波雷达传感器的视场内发射一系列啁啾;基于毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;在第一频率范围内对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;在与第一频率范围正交的第二频率范围内对微多普勒帧执行微多普勒处理,并基于微多普勒处理确定微多普勒帧中是否存在微多普勒信号;响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
根据一个实施方式的存储在非暂态计算机可读存储介质上的可执行程序包括如下指令:指示毫米波雷达传感器在毫米波雷达传感器的视场内发射一系列啁啾;基于毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别视场内的一组目标;在宏多普勒帧内捕获对应于该组目标的雷达数据;对宏多普勒帧执行宏多普勒处理,并基于宏多普勒处理确定宏多普勒帧中是否存在宏多普勒信号;在微多普勒帧内捕获对应于该组目标的雷达数据,其中微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;对微多普勒帧执行微多普勒处理,并基于微多普勒处理确定微多普勒帧中是否存在微多普勒信号;以及响应于确定存在宏多普勒信号或微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
所属领域的技术人员将进一步了解,结合本文中所公开的实施方式而描述的各种说明性逻辑块、模块、电路和算法可实施为电子硬件,存储在存储器中或另一计算机可读介质中并由处理器或其他处理设备执行的指令,或两者的组合。作为示例,这里描述的设备和处理系统可以用在任何电路、硬件部件、集成电路(IC)或IC芯片中。这里公开的存储器可以是任何类型和大小的存储器,并且可以被配置成存储期望的任何类型的信息。为了清楚地说明这种可互换性,上面已经在功能方面对各种说明性的部件、块、模块、电路和步骤进行了总体描述。如何实现这样的功能取决于特定应用、设计选择和/或强加于整个系统的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能,但是这种实现决策不应被解释为导致脱离本发明的范围。
结合本文中所公开的实施方式而描述的各种说明性逻辑块、模块和电路可用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、分立硬件部件或其被设计用于执行本文所述的功能的任何组合来实施或执行。处理器可以是微处理器,但是在替代实施方式中,处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合,例如DSP和微处理器、多个微处理器、一个或更多个微处理器结合DSP内核的组合,或任何其他这样的配置。
这里公开的实施方式可以体现为硬件和存储在硬件中的指令,并且可以驻留在例如随机存取存储器(RAM)、闪存、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可移动磁盘、CD-ROM或本领域已知的任何其他形式的计算机可读介质中。示例性存储介质耦接至处理器,使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代实施方式中,存储介质可以是处理器的组成部分。处理器和存储介质可以驻留在ASIC中。
尽管已经参考说明性实施方式描述了本发明,但是该描述并不旨在以限制意义来解释。参考说明书,本领域技术人员将清楚说明性实施方式的各种修改和组合以及本发明的其他实施方式。因此,旨在所附权利要求涵盖任何这样的修改或实施方式。

Claims (31)

1.一种用于处理信号的方法,包括:
基于由毫米波雷达传感器接收的雷达数据识别所述毫米波雷达传感器的视场内的一组目标;
在宏多普勒帧内捕获对应于所述一组目标的雷达数据;
对所述宏多普勒帧执行宏多普勒处理,并基于所述宏多普勒处理而确定所述宏多普勒帧中是否存在宏多普勒信号;
在微多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;
对所述微多普勒帧执行微多普勒处理,并基于所述微多普勒处理而确定所述微多普勒帧中是否存在微多普勒信号;以及
响应于确定存在所述宏多普勒信号或所述微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
2.根据权利要求1所述的方法,其中,对所述微多普勒帧执行微多普勒处理并确定所述微多普勒信号是否存在,与对所述宏多普勒帧执行宏多普勒处理并确定所述宏多普勒信号是否存在并行发生。
3.根据权利要求2所述的方法,其中,激活所述多个距离筐中的至少一个距离筐包括:响应于确定存在所述宏多普勒信号而激活所述多个距离筐中的第一距离筐,以及响应于确定存在所述微多普勒信号而激活所述多个距离筐中的第二距离筐。
4.根据权利要求1所述的方法,其中,在对所述宏多普勒帧执行宏多普勒处理并确定是否存在所述宏多普勒信号之后、以及响应于确定不存在所述宏多普勒信号,对所述微多普勒帧执行微多普勒处理并且确定是否存在所述微多普勒信号。
5.根据权利要求4所述的方法,其中,激活所述多个距离筐中的至少一个距离筐包括:响应于确定存在所述微多普勒信号而激活所述至少一个距离筐。
6.根据权利要求1所述的方法,还包括:
在生命多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述生命多普勒帧的持续时间等于第二多个宏多普勒帧,其中,所述第二多个宏多普勒帧中的宏多普勒帧数量大于所述第一多个宏多普勒帧中的宏多普勒帧数量;以及
对所述生命多普勒帧执行生命多普勒处理,并基于所述生命多普勒处理而确定所述生命多普勒帧中是否存在生命多普勒信号。
7.根据权利要求6所述的方法,其中,对所述生命多普勒帧执行生命多普勒处理并且确定是否存在所述生命多普勒信号,与对所述宏多普勒帧执行宏多普勒处理并且确定是否存在所述宏多普勒信号、以及与对所述微多普勒帧执行微多普勒处理并确定是否存在所述微多普勒信号并行地发生。
8.根据权利要求6所述的方法,其中,在对所述宏多普勒帧执行宏多普勒处理并且确定是否存在所述宏多普勒信号之后,在对所述微多普勒帧执行微多普勒处理并确定是否存在所述微多普勒信号之后,以及响应于确定不存在所述宏多普勒信号和所述微多普勒信号,对所述生命多普勒帧执行生命多普勒处理并且确定是否存在所述生命多普勒信号。
9.根据权利要求6所述的方法,其中,对所述生命多普勒帧执行生命多普勒处理并确定是否存在所述生命多普勒信号包括:
对所述生命多普勒帧执行第一滤波,以产生第一经滤波的生命多普勒帧;
基于所述第一经滤波的生命多普勒帧而确定当前呼吸周期;
确定所述当前呼吸周期是否在第一预定范围内;以及
响应于确定所述当前呼吸周期在所述第一预定范围内,确定存在所述生命多普勒信号。
10.根据权利要求6所述的方法,其中,对所述生命多普勒帧执行生命多普勒处理并确定是否存在所述生命多普勒信号包括:
对所述生命多普勒帧执行第二滤波,以产生第二经滤波的生命多普勒帧;
基于所述第二经滤波的生命多普勒帧而确定当前心率;
确定所述当前心率是否在第二预定范围内;以及
响应于确定所述当前心率在所述第二预定范围内,确定存在所述生命多普勒信号。
11.根据权利要求6所述的方法,还包括:
响应于确定存在所述宏多普勒信号和所述微多普勒信号,以第一功率模式操作所述毫米波雷达传感器;
响应于确定不存在所述宏多普勒信号而存在所述微多普勒信号,以第二功率模式操作所述毫米波雷达传感器,其中,与所述第一功率模式相比,所述第二功率模式使得所述毫米波雷达传感器消耗更少的功率;
响应于确定不存在所述宏多普勒信号和所述微多普勒信号而存在所述生命多普勒信号,以第三功率模式操作所述毫米波雷达传感器,其中,与所述第二功率模式相比,所述第三功率模式使得所述毫米波雷达传感器消耗更少的功率;以及
响应于确定不存在所述宏多普勒信号、所述微多普勒信号和所述生命多普勒信号,以第四功率模式操作所述毫米波雷达传感器,其中,与所述第三功率模式相比,所述第四功率模式使得所述毫米波雷达传感器消耗更少的功率。
12.根据权利要求6所述的方法,其中,所述生命多普勒处理被配置成以0.1Hz的频率分辨率检测52Hz的最大多普勒频率。
13.根据权利要求1所述的方法,其中,对所述宏多普勒帧执行宏多普勒处理并确定是否存在所述宏多普勒信号包括:
使用第一多个滤波器对所述宏多普勒帧执行宏多普勒滤波;
确定所述第一多个滤波器的输出信号的能量;
将所述第一多个滤波器的所述输出信号的能量与第一噪声阈值进行比较;以及
响应于所述第一多个滤波器的所述输出信号的能量大于所述第一噪声阈值,确定存在所述宏多普勒信号。
14.根据权利要求13所述的方法,其中,对所述微多普勒帧执行微多普勒处理并确定是否存在所述微多普勒信号包括:
使用第二多个滤波器对所述微多普勒帧执行微多普勒滤波;
确定所述第二多个滤波器的输出信号的能量;
将所述第二多个滤波器的所述输出信号的能量与第二噪声阈值进行比较;以及
响应于所述第二多个滤波器的所述输出信号的能量大于所述第二噪声阈值,确定存在所述微多普勒信号。
15.根据权利要求14所述的方法,其中,所述第一多个滤波器的通带与所述第二多个滤波器的通带正交。
16.根据权利要求1所述的方法,其中,对所述宏多普勒帧执行宏多普勒处理并确定是否存在所述宏多普勒信号包括:
从所述宏多普勒帧减去所述宏多普勒帧的均值,以生成均值补偿的宏多普勒帧;
生成所述均值补偿的宏多普勒帧的距离宏多普勒映射;
将所述距离宏多普勒映射与第三噪声阈值进行比较;以及
响应于所述距离宏多普勒映射的至少一个点大于所述第三噪声阈值,确定存在所述宏多普勒信号。
17.根据权利要求16所述的方法,其中,对所述微多普勒帧执行微多普勒处理并确定是否存在所述微多普勒信号包括:
从所述微多普勒帧减去所述微多普勒帧的均值,以生成均值补偿的微多普勒帧;
生成所述均值补偿的微多普勒帧的距离微多普勒映射;
将所述距离微多普勒映射与第四噪声阈值进行比较;以及
响应于所述距离微多普勒映射的至少一点大于所述第四噪声阈值,确定存在所述微多普勒信号。
18.根据权利要求6所述的方法,还包括:
响应于所述至少一个距离筐的激活,将相应的生命周期计数分配给所述至少一个距离筐;以及
响应于在随后的宏多普勒帧、随后的微多普勒帧或随后的生命多普勒帧中没有所述至少一个距离筐的激活,在所述随后的宏多普勒帧、所述随后的微多普勒帧或所述随后的生命多普勒帧中使所述相应的生命周期计数递减。
19.根据权利要求1所述的方法,还包括:
将相邻的激活距离筐聚类成单个激活距离簇;以及
基于存在于所述多个距离筐中的单个激活距离簇的数量来确定所述毫米波雷达传感器的视场中的人数。
20.根据权利要求1所述的方法,其中,所述宏多普勒处理被配置成以1.95kHz的频率分辨率检测31kHz的最大多普勒频率。
21.根据权利要求1所述的方法,其中,所述微多普勒处理被配置成以130Hz的频率分辨率检测2kHz的最大多普勒频率。
22.一种用于处理信号的系统,包括:
处理系统,其被配置成耦接至毫米波雷达传感器,其中,所述处理系统被配置成:
指示所述毫米波雷达传感器在所述毫米波雷达传感器的视场内发射一系列啁啾;
基于由所述毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别所述视场内的一组目标;
在宏多普勒帧内捕获对应于所述一组目标的雷达数据;
在第一频率范围内对所述宏多普勒帧执行宏多普勒处理,并基于所述宏多普勒处理而确定所述宏多普勒帧中是否存在宏多普勒信号;
在微多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;
在与所述第一频率范围正交的第二频率范围内对所述微多普勒帧执行微多普勒处理,并基于所述微多普勒处理而确定所述微多普勒帧中是否存在微多普勒信号;以及
响应于确定存在所述宏多普勒信号或所述微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
23.根据权利要求22所述的系统,其中,所述处理系统还被配置成:
在生命多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述生命多普勒帧的持续时间等于第二多个宏多普勒帧,其中,所述第二多个宏多普勒帧中的宏多普勒帧数量大于所述第一多个宏多普勒帧中的宏多普勒帧数量;以及
在与所述第二频率范围正交的第三频率范围内,对所述生命多普勒帧执行生命多普勒处理,并基于所述生命多普勒处理而确定所述生命多普勒帧中是否存在生命多普勒信号。
24.根据权利要求23所述的系统,其中,所述生命多普勒信号包括心率或呼吸率,其中,所述宏多普勒信号指示第一身体运动,并且其中,所述微多普勒信号指示具有比第一身体运动的幅度小的第二身体运动。
25.根据权利要求23所述的系统,其中,所述处理系统还被配置成:
响应于确定存在所述宏多普勒信号和所述微多普勒信号,以第一功率模式操作所述毫米波雷达传感器;
响应于确定不存在所述宏多普勒信号而存在所述微多普勒信号,以第二功率模式操作所述毫米波雷达传感器,其中,与所述第一功率模式相比,所述第二功率模式使得所述毫米波雷达传感器消耗更少的功率;
响应于确定不存在所述宏多普勒信号和所述微多普勒信号而存在所述生命多普勒信号,以第三功率模式操作所述毫米波雷达传感器,其中,与所述第二功率模式相比,所述第三功率模式使得所述毫米波雷达传感器消耗更少的功率;以及
响应于确定不存在所述宏多普勒信号、所述微多普勒信号和所述生命多普勒信号,以第四功率模式操作所述毫米波雷达传感器,其中,与所述第三功率模式相比,所述第四功率模式使得所述毫米波雷达传感器消耗更少的功率。
26.根据权利要求22所述的系统,其中,所述处理系统还被配置成:
将相邻的激活距离筐聚类成单个激活距离簇;以及
基于存在于所述多个距离筐中的单个激活距离簇的数量,确定所述毫米波雷达传感器的视场中的人数。
27.根据权利要求23所述的系统,其中,所述处理系统还被配置成:
响应于所述至少一个距离筐的激活,将相应的生命周期计数分配给所述至少一个距离筐;以及
响应于在随后的宏多普勒帧、随后的微多普勒帧或随后的生命多普勒帧中没有所述至少一个距离筐的激活,在所述随后的宏多普勒帧、所述随后的微多普勒帧或所述随后的生命多普勒帧中使所述相应的生命周期计数递减。
28.一种其上存储有可执行程序的非暂态计算机可读存储介质,所述可执行程序包括用于以下的指令:
指示毫米波雷达传感器在所述毫米波雷达传感器的视场内发射一系列啁啾;
基于由所述毫米波雷达传感器接收的响应于一系列啁啾的发射的雷达数据,识别所述视场内的一组目标;
在宏多普勒帧内捕获对应于所述一组目标的雷达数据;
对所述宏多普勒帧执行宏多普勒处理,并基于所述宏多普勒处理而确定所述宏多普勒帧中是否存在宏多普勒信号;
在微多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述微多普勒帧的持续时间大于或等于第一多个宏多普勒帧的持续时间;
对所述微多普勒帧执行微多普勒处理,并基于所述微多普勒处理而确定所述微多普勒帧中是否存在微多普勒信号;以及
响应于确定存在所述宏多普勒信号或所述微多普勒信号中的至少一个,激活多个距离筐中的至少一个距离筐。
29.根据权利要求28所述的非暂态计算机可读存储介质,其中,所述可执行程序还被配置成:
在生命多普勒帧内捕获对应于所述一组目标的雷达数据,其中,所述生命多普勒帧的持续时间等于第二多个宏多普勒帧,其中,所述第二多个宏多普勒帧中的宏多普勒帧数量大于所述第一多个宏多普勒帧中的宏多普勒帧数量;以及
对所述生命多普勒帧执行生命多普勒处理,并基于所述生命多普勒处理而确定所述生命多普勒帧中是否存在生命多普勒信号。
30.根据权利要求29所述的非暂态计算机可读存储介质,其中,所述可执行程序还被配置成:
响应于所述至少一个距离筐的激活,将相应的生命周期计数分配给所述至少一个距离筐;以及
响应于在随后的宏多普勒帧、随后的微多普勒帧或随后的生命多普勒帧中没有所述至少一个距离筐的激活,在所述随后的宏多普勒帧、所述随后的微多普勒帧或所述随后的生命多普勒帧中使所述相应的生命周期计数递减。
31.根据权利要求28所述的非暂态计算机可读存储介质,其中,所述可执行程序还被配置成:
将相邻的激活距离筐聚类成单个激活距离簇;以及
基于存在于所述多个距离筐中的单个激活距离簇的数量,确定所述毫米波雷达传感器的视场中的人数。
CN201910023527.9A 2018-01-22 2019-01-10 用于人类行为建模和功率控制的系统和方法及存储介质 Pending CN110068815A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/876,769 US10795012B2 (en) 2018-01-22 2018-01-22 System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US15/876,769 2018-01-22

Publications (1)

Publication Number Publication Date
CN110068815A true CN110068815A (zh) 2019-07-30

Family

ID=65019406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910023527.9A Pending CN110068815A (zh) 2018-01-22 2019-01-10 用于人类行为建模和功率控制的系统和方法及存储介质

Country Status (3)

Country Link
US (1) US10795012B2 (zh)
EP (1) EP3514569B1 (zh)
CN (1) CN110068815A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931121A (zh) * 2020-09-21 2020-11-13 南昌大学 一种基于大规模天线阵的分布式定位和测速方法
CN112180366A (zh) * 2020-09-29 2021-01-05 奇瑞汽车股份有限公司 用于检测车辆超载的系统和方法
CN112505676A (zh) * 2019-09-05 2021-03-16 通用汽车环球科技运作有限责任公司 使用雷达探测目标
CN113109808A (zh) * 2021-04-01 2021-07-13 深圳迈睿智能科技有限公司 基于存在探测的多普勒信号处理方法和装置
CN113188568A (zh) * 2020-01-13 2021-07-30 小马智行 利用针对运载工具的角分辨多普勒信息的有源传感器的实时动态校准
CN114642417A (zh) * 2020-12-17 2022-06-21 南京理工大学 基于走动状态的雷达呼吸信号检测方法及系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12250007B2 (en) 2015-08-19 2025-03-11 Texas Instruments Incorporated Method and system for compression of radar signals
WO2020101759A2 (en) * 2018-07-13 2020-05-22 Carrier Corporation System and method for detecting presence of multiple people using an fmcw radar
US20200073480A1 (en) * 2018-08-31 2020-03-05 Qualcomm Incorporated GESTURE CLASSIFICATION AND CONTROL USING mm WAVE RADAR
US11165462B2 (en) * 2018-11-07 2021-11-02 Samsung Electronics Co., Ltd. Motion assisted leakage removal for radar applications
US11555915B2 (en) * 2019-03-01 2023-01-17 Samsung Electronics Co., Ltd. Determining relevant signals using multi-dimensional radar signals
CN112305543A (zh) * 2019-07-15 2021-02-02 华为技术有限公司 一种检测方法、信号发送方法及装置
US11747443B2 (en) * 2019-08-05 2023-09-05 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
US20210231775A1 (en) * 2020-01-27 2021-07-29 Plato Systems, Inc. System and method for smart device control using radar
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
CN112180338B (zh) * 2020-06-10 2022-03-01 四川九洲电器集团有限责任公司 全息数字阵列雷达目标数量估计方法和系统
US11662449B2 (en) 2020-06-22 2023-05-30 Honeywell International Inc. Methods and systems for improving target detection performance of an indoor radar sensor
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
EP3951430A1 (en) * 2020-08-07 2022-02-09 Carrier Corporation Lower power consumption radar
CN112068100A (zh) * 2020-09-04 2020-12-11 南京矽典微系统有限公司 二维多普勒fft峰值捕获方法、动目标感知方法及应用
US11899095B2 (en) * 2020-09-17 2024-02-13 Texas Instruments Incorporated Doppler processing in frequency-modulated continuous wave radar systems using dither
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
CN112859187B (zh) * 2021-01-06 2022-11-08 路晟(上海)科技有限公司 被探测物的姿态识别方法和装置、设备及系统
CN112731332B (zh) * 2021-01-13 2024-06-18 路晟悠拜(重庆)科技有限公司 基于毫米波的静态目标存在识别方法及系统
US12265149B2 (en) * 2021-01-27 2025-04-01 Texas Instruments Incorporated System and method for the compression of echolocation data
US12189021B2 (en) * 2021-02-18 2025-01-07 Infineon Technologies Ag Radar-based target tracker
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
US11762350B2 (en) 2021-03-22 2023-09-19 Honeywell International Inc. Methods and systems for detecting occupancy of a space
CN113267773B (zh) * 2021-04-14 2023-02-21 北京航空航天大学 一种基于毫米波雷达的室内人员准确检测和精确定位方法
EP4105687A1 (en) * 2021-06-18 2022-12-21 Infineon Technologies AG People counting based on radar measurement
US20220413116A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Multi-frame radar processing for robust body part detection for mobile devices
CN113777599B (zh) * 2021-09-13 2023-06-16 电子科技大学 一种基于fda-mimo雷达的速度解模糊方法
US12038187B2 (en) 2021-09-28 2024-07-16 Honeywell International Inc. Multi-sensor platform for a building
EP4286884A1 (en) * 2022-06-03 2023-12-06 Infineon Technologies AG People counting based on radar measurement and data processing in a neural network
US12261448B2 (en) 2022-06-07 2025-03-25 Honeywell International Inc. Low power sensor with energy harvesting
US12254670B2 (en) 2022-07-29 2025-03-18 Infineon Technologies Ag Radar-based activity classification
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法
JP2024108463A (ja) * 2023-01-31 2024-08-13 オムロン株式会社 生体情報処理システム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144954A (en) * 1989-07-06 1992-09-08 Kabushiki Kaisha Toshiba Ultrasonic diagnosing apparatus
WO2006029951A1 (fr) * 2004-09-06 2006-03-23 Thales Procede de gestion de forme d ' onde utilisant une cartographie doppler par segmentation statistique
DE102005030295A1 (de) * 2005-06-24 2006-12-28 Siemens Ag Fahrzeuggeschwindigkeitssensor
TW200727616A (en) * 2006-01-12 2007-07-16 Mitsubishi Electric Corp Intrusion detecting system, intrusion detecting method and defectiveness detecting method
WO2008001092A2 (en) * 2006-06-28 2008-01-03 Cambridge Consultants Limited Radar for through wall detection
CN101470202A (zh) * 2007-12-26 2009-07-01 清华大学 一种脉冲多普勒雷达系统及其信号处理方法
CN102680967A (zh) * 2011-03-17 2012-09-19 索尼公司 对象检测系统和方法
CN102907179A (zh) * 2010-06-03 2013-01-30 皇家飞利浦电子股份有限公司 用于配置存在检测传感器的配置单元和方法
EP2574957A1 (fr) * 2011-09-30 2013-04-03 Thales Procédé d'estimation de la fréquence doppler non ambigue d'une cible mobile, notamment marine, et radar mettant en oeuvre le procédé
US20140313071A1 (en) * 2013-04-17 2014-10-23 John W. McCorkle System and method for nonlinear radar
US20150241555A1 (en) * 2014-02-25 2015-08-27 University Of Florida Research Foundation, Inc. Method and apparatus for doppler radar signal recovery of target displacement
CN106405511A (zh) * 2015-06-26 2017-02-15 德尔福技术有限公司 用于自动车辆的雷达信号处理
TW201740133A (zh) * 2016-05-10 2017-11-16 雷森公司 用於雷射雷達振動計之光學相位圖(phasograms)

Family Cites Families (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4241347A (en) 1978-06-28 1980-12-23 International Telephone And Telegraph Corporation PRC/FM CW Radar system
GB2247799A (en) 1990-09-04 1992-03-11 Gec Ferranti Defence Syst Radar based navigation aid
US6147572A (en) 1998-07-15 2000-11-14 Lucent Technologies, Inc. Filter including a microstrip antenna and a frequency selective surface
JP3393204B2 (ja) 1999-10-06 2003-04-07 株式会社ホンダエレシス マルチビームレーダ装置
WO2001094975A1 (en) 2000-06-06 2001-12-13 Altratek Inc. System and method for detection and tracking of targets
DE10037099A1 (de) 2000-07-28 2002-02-07 Wienand Hans Theo Personenzählvorrichtung
JP3680029B2 (ja) 2001-08-08 2005-08-10 三菱重工業株式会社 金属薄膜の気相成長方法およびその気相成長装置
US7176506B2 (en) 2001-08-28 2007-02-13 Tessera, Inc. High frequency chip packages with connecting elements
US7948769B2 (en) 2007-09-27 2011-05-24 Hemisphere Gps Llc Tightly-coupled PCB GNSS circuit and manufacturing method
KR100477647B1 (ko) 2002-06-01 2005-03-23 삼성전자주식회사 영상의 움직임 보정 장치 및 방법
US6963259B2 (en) 2002-06-27 2005-11-08 Harris Corporation High efficiency resonant line
JP3833606B2 (ja) 2002-12-19 2006-10-18 三菱電機株式会社 車載レーダ装置
US7119745B2 (en) 2004-06-30 2006-10-10 International Business Machines Corporation Apparatus and method for constructing and packaging printed antenna devices
WO2006017265A2 (en) 2004-07-12 2006-02-16 Signal-Labs, Inc. System and method for detection and tracking of targets
US7057564B2 (en) 2004-08-31 2006-06-06 Freescale Semiconductor, Inc. Multilayer cavity slot antenna
US7615856B2 (en) 2004-09-01 2009-11-10 Sanyo Electric Co., Ltd. Integrated antenna type circuit apparatus
US7692684B2 (en) 2004-09-27 2010-04-06 Point Grey Research Inc. People counting systems and methods
JP2006234513A (ja) 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
US8066642B1 (en) 2005-05-03 2011-11-29 Sonosite, Inc. Systems and methods for ultrasound beam forming data control
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
US8228382B2 (en) 2005-11-05 2012-07-24 Ram Pattikonda System and method for counting people
EP1791277A1 (de) 2005-11-28 2007-05-30 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung von Sendepfaden eines Antennensystems
US20070210959A1 (en) 2006-03-07 2007-09-13 Massachusetts Institute Of Technology Multi-beam tile array module for phased array systems
WO2008094172A2 (en) 2006-06-01 2008-08-07 University Of Florida Research Foundation, Inc. Radar microsensor for detection, tracking, and classification
US7873326B2 (en) 2006-07-11 2011-01-18 Mojix, Inc. RFID beam forming system
DE102006032539A1 (de) 2006-07-13 2008-01-17 Robert Bosch Gmbh FMCW-Radarsensor
US7889147B2 (en) 2007-02-23 2011-02-15 Northrop Grumman Systems Corporation Modular active phased array
US7525474B2 (en) 2007-03-30 2009-04-28 Honeywell International Inc. Integrated distance measuring equipment and transponder system and method
US7675465B2 (en) 2007-05-22 2010-03-09 Sibeam, Inc. Surface mountable integrated circuit packaging scheme
US8237259B2 (en) 2007-06-13 2012-08-07 Infineon Technologies Ag Embedded chip package
JP4415040B2 (ja) 2007-09-18 2010-02-17 三菱電機株式会社 レーダ装置
US7880677B2 (en) 2007-12-12 2011-02-01 Broadcom Corporation Method and system for a phased array antenna embedded in an integrated circuit package
US8134425B2 (en) 2007-12-13 2012-03-13 Broadcom Corporation Method and system for filters embedded in an integrated circuit package
JP4861303B2 (ja) 2007-12-27 2012-01-25 株式会社日立製作所 レーダセンサ
KR20110042194A (ko) 2008-07-24 2011-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 3-차원(3­d) 영상 캡처링
DE102008054570A1 (de) 2008-12-12 2010-06-17 Robert Bosch Gmbh FMCW-Radarsensor für Kraftfahrzeuge
EP2396887A4 (en) 2009-02-13 2012-08-29 Freescale Semiconductor Inc INTEGRATED CIRCUIT COMPRISING A FREQUENCY GENERATION CIRCUITRY FOR CONTROLLING A FREQUENCY SOURCE
US20100207805A1 (en) 2009-02-19 2010-08-19 Agd Systems Limited Obtaining an indication of a number of moving objects passing speed detection apparatus
WO2010115418A2 (de) 2009-04-06 2010-10-14 Conti Temic Microelectronic Gmbh Radarsystem mit anordnungen und verfahren zur entkopplung von sende- und empfangssignalen sowie unterdrückung von störeinstrahlungen
CN201438747U (zh) 2009-05-18 2010-04-14 幻音科技(深圳)有限公司 耳塞式耳机
CN101585361A (zh) 2009-05-25 2009-11-25 郭文艺 汽车防碰撞防车道偏离控制装置
WO2010147515A1 (en) 2009-06-17 2010-12-23 Telefonaktiebolage Lm Eriksson (Publ) A method for antenna calibration in a wideband communication system
EP2452258B1 (en) 2009-07-07 2019-01-23 Elliptic Laboratories AS Control using movements
EP2542912A4 (en) 2010-03-05 2014-06-25 Univ Windsor RADAR SYSTEM AND METHOD FOR THE PRODUCTION THEREOF
EP2571418A4 (en) * 2010-05-20 2013-10-30 Lifeflow Technologies Inc SYSTEM, METHODS AND DEVICES FOR MONITORING AND MONITORING PATIENTS
US8725085B2 (en) 2010-06-03 2014-05-13 Broadcom Corporation RF front-end module
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
JP5549560B2 (ja) 2010-11-26 2014-07-16 富士通株式会社 Fm−cwレーダ装置、ペアリング方法
US8988299B2 (en) 2011-02-17 2015-03-24 International Business Machines Corporation Integrated antenna for RFIC package applications
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
DE102011075725A1 (de) 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum Erkennen von Gesten
US8860532B2 (en) 2011-05-20 2014-10-14 University Of Central Florida Research Foundation, Inc. Integrated cavity filter/antenna system
US9183686B2 (en) 2011-07-12 2015-11-10 Tyco Fire & Security Gmbh Method and system for people counting using passive infrared detectors
TW201325344A (zh) 2011-10-20 2013-06-16 Waveconnex Inc 低輪廓的無線連接器
WO2013082806A1 (en) 2011-12-09 2013-06-13 Nokia Corporation Method and apparatus for identifying a gesture based upon fusion of multiple sensor signals
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
CN102788969B (zh) 2012-07-04 2015-01-28 中国人民解放军海军航空工程学院 基于短时分数阶傅里叶变换的海面微动目标检测和特征提取方法
US9678573B2 (en) 2012-07-30 2017-06-13 Microsoft Technology Licensing, Llc Interaction with devices based on user state
US20140070994A1 (en) 2012-09-13 2014-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. 3d short range detection with phased array radar
US9196951B2 (en) 2012-11-26 2015-11-24 International Business Machines Corporation Millimeter-wave radio frequency integrated circuit packages with integrated antennas
CN102967854B (zh) 2012-12-07 2014-08-13 中国人民解放军海军航空工程学院 Frft域海杂波中目标的多重分形检测方法
JP6052304B2 (ja) 2012-12-26 2016-12-27 日立化成株式会社 エキスパンド方法、半導体装置の製造方法、及び半導体装置
US8836596B2 (en) 2013-01-15 2014-09-16 Cubic Corporation Filter antenna
US9413079B2 (en) 2013-03-13 2016-08-09 Intel Corporation Single-package phased array module with interleaved sub-arrays
KR101480348B1 (ko) 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US9459339B2 (en) 2013-06-13 2016-10-04 Texas Instruments Incorporated Kalman filter for indoor positioning
CN103529444A (zh) 2013-09-27 2014-01-22 安徽师范大学 一种车载毫米波雷达动目标识别器及识别方法
US9900687B2 (en) 2013-10-07 2018-02-20 Gn Netcom A/S Earphone device with optical sensor
US9753131B2 (en) 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US9759807B2 (en) 2013-10-25 2017-09-12 Texas Instruments Incorporated Techniques for angle resolution in radar
US9773742B2 (en) 2013-12-18 2017-09-26 Intel Corporation Embedded millimeter-wave phased array module
US20150181840A1 (en) 2013-12-31 2015-07-02 i4c Innovations Inc. Ultra-Wideband Radar System for Animals
JP2015141109A (ja) 2014-01-29 2015-08-03 富士通テン株式会社 レーダ装置、及び、信号処理方法
US9704769B2 (en) 2014-02-27 2017-07-11 STATS ChipPAC Pte. Ltd. Semiconductor device and method of forming encapsulated wafer level chip scale package (EWLCSP)
CN203950036U (zh) 2014-03-12 2014-11-19 肖令军 一种基于毫米波雷达测距的有人无人直升机避撞系统
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
WO2015167260A1 (en) 2014-04-30 2015-11-05 Lg Innotek Co., Ltd. Touch device, wearable device having the same and touch recognition method
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9666553B2 (en) 2014-06-16 2017-05-30 Texas Instruments Incorporated Millimeter wave integrated circuit with ball grid array package including transmit and receive channels
US20170131395A1 (en) 2014-06-25 2017-05-11 University Of Washington Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device
US10627480B2 (en) 2014-07-17 2020-04-21 Texas Instruments Incorporated Distributed radar signal processing in a radar system
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10094920B2 (en) 2014-08-27 2018-10-09 Texas Instruments Incorporated Range resolution in FMCW radars
US9784828B2 (en) 2014-08-27 2017-10-10 Texas Insturments Incorporated FMCW doppler processing algorithm for achieving CW performance
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10539669B2 (en) 2014-10-08 2020-01-21 Texas Instruments Incorporated Three dimensional (3D) tracking of objects in a radar system
US10634778B2 (en) 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
US20160118353A1 (en) 2014-10-22 2016-04-28 Infineon Techologies Ag Systems and Methods Using an RF Circuit on Isolating Material
US9733340B2 (en) 2014-11-21 2017-08-15 Texas Instruments Incorporated Techniques for high arrival angle resolution using multiple nano-radars
US9829566B2 (en) 2014-11-25 2017-11-28 Texas Instruments Incorporated Controlling radar transmission to enable interference mitigation
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US9921295B2 (en) 2014-12-30 2018-03-20 Texas Instruments Incorporated Multiple chirp generation in a radar system
US9696359B2 (en) 2014-12-31 2017-07-04 Texas Instruments Incorporated Dynamic measurement of frequency synthesizer noise spurs or phase noise
US10622694B2 (en) 2015-02-12 2020-04-14 Texas Instruments Incorporated Dielectric waveguide radar signal distribution
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10481696B2 (en) 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US20180071473A1 (en) 2015-03-16 2018-03-15 Mario Agostino FERRARIO Device for tracheal intubation
US10067221B2 (en) 2015-04-06 2018-09-04 Texas Instruments Incorporated Interference detection in a frequency modulated continuous wave (FMCW) radar system
US9835714B2 (en) 2015-04-09 2017-12-05 Texas Instruments Incorporated Circuit and method for impedance detection in millimeter wave systems
JP6940414B2 (ja) 2015-04-20 2021-09-29 レスメッド センサー テクノロジーズ リミテッド 特性信号から人間の検出及び識別
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US9853365B2 (en) 2015-05-05 2017-12-26 Texas Instruments Incorporated Dynamic programming of chirps in a frequency modulated continuous wave (FMCW) radar system
US10613208B2 (en) 2015-05-15 2020-04-07 Texas Instruments Incorporated Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar
US20160349845A1 (en) 2015-05-28 2016-12-01 Google Inc. Gesture Detection Haptics and Virtual Tools
US9806040B2 (en) 2015-07-29 2017-10-31 STATS ChipPAC Pte. Ltd. Antenna in embedded wafer-level ball-grid array package
US10048354B2 (en) 2015-08-13 2018-08-14 Texas Instruments Incorporated Chirp frequency non-linearity mitigation in radar systems
US12250007B2 (en) 2015-08-19 2025-03-11 Texas Instruments Incorporated Method and system for compression of radar signals
US10555256B2 (en) 2015-09-08 2020-02-04 Texas Instruments Incorporated Re-sampling with reduced power consumption and complexity
US10078131B2 (en) 2015-09-15 2018-09-18 Texas Instruments Incorporated Method and apparatus for FMCW radar processing
US9886095B2 (en) 2015-09-24 2018-02-06 Stmicroelectronics Sa Device and method for recognizing hand gestures using time-of-flight sensing
US10061015B2 (en) 2015-09-30 2018-08-28 Texas Instruments Incorporated Multi-chip transceiver testing in a radar system
US10234542B2 (en) 2015-09-30 2019-03-19 Texas Instruments Incorporated Measurement of transceiver performance parameters in a radar system
US10718852B2 (en) 2015-10-23 2020-07-21 Texas Instruments Incorporated RF/mm-wave peak detector with high-dynamic range calibration
US9759808B2 (en) 2015-11-12 2017-09-12 Texas Instruments Incorporated Buffer sample size control for variable chirp radar
KR102427185B1 (ko) 2015-12-09 2022-08-01 삼성전자 주식회사 스위치 운용 방법 및 이를 지원하는 전자 장치
US10746851B2 (en) 2015-12-18 2020-08-18 Texas Instruments Incorporated Circuits and methods for determining chirp signal linearity and phase noise of a FMCW radar
US10599518B2 (en) 2015-12-31 2020-03-24 Texas Instruments Incorporated Protecting data memory in a signal processing system
US10530053B2 (en) 2016-01-13 2020-01-07 Infineon Technologies Ag System and method for measuring a plurality of RF signal paths
US9965043B2 (en) 2016-01-27 2018-05-08 Wipro Limited Method and system for recommending one or more gestures to users interacting with computing device
US9599702B1 (en) * 2016-04-25 2017-03-21 Uhnder, Inc. On-demand multi-scan micro doppler for vehicle
US10514770B2 (en) 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US9935065B1 (en) 2016-12-21 2018-04-03 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144954A (en) * 1989-07-06 1992-09-08 Kabushiki Kaisha Toshiba Ultrasonic diagnosing apparatus
WO2006029951A1 (fr) * 2004-09-06 2006-03-23 Thales Procede de gestion de forme d ' onde utilisant une cartographie doppler par segmentation statistique
DE102005030295A1 (de) * 2005-06-24 2006-12-28 Siemens Ag Fahrzeuggeschwindigkeitssensor
TW200727616A (en) * 2006-01-12 2007-07-16 Mitsubishi Electric Corp Intrusion detecting system, intrusion detecting method and defectiveness detecting method
WO2008001092A2 (en) * 2006-06-28 2008-01-03 Cambridge Consultants Limited Radar for through wall detection
CN101470202A (zh) * 2007-12-26 2009-07-01 清华大学 一种脉冲多普勒雷达系统及其信号处理方法
CN102907179A (zh) * 2010-06-03 2013-01-30 皇家飞利浦电子股份有限公司 用于配置存在检测传感器的配置单元和方法
CN102680967A (zh) * 2011-03-17 2012-09-19 索尼公司 对象检测系统和方法
EP2574957A1 (fr) * 2011-09-30 2013-04-03 Thales Procédé d'estimation de la fréquence doppler non ambigue d'une cible mobile, notamment marine, et radar mettant en oeuvre le procédé
US20140313071A1 (en) * 2013-04-17 2014-10-23 John W. McCorkle System and method for nonlinear radar
US20150241555A1 (en) * 2014-02-25 2015-08-27 University Of Florida Research Foundation, Inc. Method and apparatus for doppler radar signal recovery of target displacement
CN106405511A (zh) * 2015-06-26 2017-02-15 德尔福技术有限公司 用于自动车辆的雷达信号处理
TW201740133A (zh) * 2016-05-10 2017-11-16 雷森公司 用於雷射雷達振動計之光學相位圖(phasograms)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505676A (zh) * 2019-09-05 2021-03-16 通用汽车环球科技运作有限责任公司 使用雷达探测目标
CN113188568A (zh) * 2020-01-13 2021-07-30 小马智行 利用针对运载工具的角分辨多普勒信息的有源传感器的实时动态校准
CN111931121A (zh) * 2020-09-21 2020-11-13 南昌大学 一种基于大规模天线阵的分布式定位和测速方法
CN112180366A (zh) * 2020-09-29 2021-01-05 奇瑞汽车股份有限公司 用于检测车辆超载的系统和方法
CN114642417A (zh) * 2020-12-17 2022-06-21 南京理工大学 基于走动状态的雷达呼吸信号检测方法及系统
CN114642417B (zh) * 2020-12-17 2025-01-10 南京理工大学 基于走动状态的雷达呼吸信号检测方法及系统
CN113109808A (zh) * 2021-04-01 2021-07-13 深圳迈睿智能科技有限公司 基于存在探测的多普勒信号处理方法和装置
CN113109808B (zh) * 2021-04-01 2023-12-29 深圳迈睿智能科技有限公司 基于存在探测的多普勒信号处理方法和装置

Also Published As

Publication number Publication date
US20190227156A1 (en) 2019-07-25
EP3514569A1 (en) 2019-07-24
US10795012B2 (en) 2020-10-06
EP3514569B1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
CN110068815A (zh) 用于人类行为建模和功率控制的系统和方法及存储介质
CN109557535B (zh) 用于使用毫米波雷达传感器的占用检测的系统和方法
EP4131064B1 (en) Gesture recognition method and related apparatus
Skaria et al. Deep-learning methods for hand-gesture recognition using ultra-wideband radar
US11573311B2 (en) Smart-device-based radar system performing angular estimation using machine learning
US11435443B2 (en) Integration of tracking with classifier in mmwave radar
Alizadeh et al. Low-cost low-power in-vehicle occupant detection with mm-wave FMCW radar
CN111142102B (zh) 一种呼吸数据计算方法以及相关设备
US9991908B2 (en) Blind source separation of signals having low signal-to-noise ratio
CN113281739A (zh) 使用卡尔曼滤波器的雷达生命信号追踪
US20240027600A1 (en) Smart-Device-Based Radar System Performing Angular Position Estimation
Stadelmayer et al. Data-driven radar processing using a parametric convolutional neural network for human activity classification
CN114966666A (zh) 基于雷达的目标跟踪器
CN118053197A (zh) 用于手势检测的装置和计算机实现的方法、雷达系统和电子设备
JP7620353B2 (ja) Dnn基盤の人の顔分類
JP2025028261A (ja) 電子機器、電子機器の制御方法、及びプログラム
US20240245317A1 (en) Electronic device, method for controlling electronic device, and program
Nguyen et al. Improving human activity classification based on micro-doppler signatures separation of fmcw radar
Diraco et al. A fall detector based on ultra-wideband radar sensing
Savvidou et al. Passive Radar Sensing for Human Activity Recognition: A Survey
EP4350382A1 (en) Detection system, sensor system, detection method, and program
US20240230841A9 (en) Frequency modulated continuous wave radar system with object classifier
CN119856075A (zh) 电子设备、电子设备的控制方法及程序
WO2024058226A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
CN119856074A (zh) 电子设备、电子设备的控制方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20241206