[go: up one dir, main page]

CN118938172B - 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备 - Google Patents

转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备 Download PDF

Info

Publication number
CN118938172B
CN118938172B CN202411426148.1A CN202411426148A CN118938172B CN 118938172 B CN118938172 B CN 118938172B CN 202411426148 A CN202411426148 A CN 202411426148A CN 118938172 B CN118938172 B CN 118938172B
Authority
CN
China
Prior art keywords
rotating mirror
rotating
auxiliary pattern
detection position
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411426148.1A
Other languages
English (en)
Other versions
CN118938172A (zh
Inventor
赵浸坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fushi Technology Co Ltd
Original Assignee
Shenzhen Fushi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fushi Technology Co Ltd filed Critical Shenzhen Fushi Technology Co Ltd
Priority to CN202411426148.1A priority Critical patent/CN118938172B/zh
Publication of CN118938172A publication Critical patent/CN118938172A/zh
Application granted granted Critical
Publication of CN118938172B publication Critical patent/CN118938172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供一种转镜激光雷达,包括收发模组,用于发射和接收光束;转镜,用于偏转光束的收发方向以实现对视场范围的扫描检测;辅助图案,用于指示转镜的转动角度;摄像模组,用于采集辅助图案的检测图像;抖动补偿模块,包括检测位置确定单元、补偿量计算单元及补偿执行单元,检测位置确定单元用于确定收发模组当前的预设检测位置,补偿量计算单元用于根据当前获取的检测图像相较于辅助图案模板的位置偏移量计算出与转镜的抖动情况对应的检测位置补偿量,补偿执行单元用于根据检测位置补偿量对与转镜当前转动角度对应的预设检测位置进行补偿,以获得当前检测到的距离信息实际对应的检测位置。本申请还提供一种抖动补偿模块、方法、及电子设备。

Description

转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备
技术领域
本申请涉及激光雷达领域,尤其涉及一种转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备。
背景技术
激光雷达,是以发射光束探测目标的位置、速度等特征量的雷达系统。转镜激光雷达是激光雷达的其中一种类型。转镜激光雷达主要是通过转镜的旋转来偏转光束,以实现对整个视场范围的扫描感测。然而,在检测过程中,转镜可能会因来自外部环境的加速度而发生抖动,使得光束偏离原先设计的光路,从而导致检测到的点云数据与原先设定的位置信息出现偏差。
发明内容
有鉴于此,本申请提供一种转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备,可以对因转镜抖动引起的点云数据存在的误差进行补偿,从而提高转镜激光雷达探测的精确性。
第一方面,本申请提供一种转镜激光雷达,所述转镜激光雷达包括收发模组、转镜、设置于所述转镜上的辅助图案、摄像模组、以及抖动补偿模块;其中,收发模组,用于发射和接收光束,以检测对应的距离信息;转镜,用于偏转所述光束的收发方向以实现对视场范围的扫描检测;辅助图案,用于指示所述转镜的转动角度;摄像模组,用于在所述转镜旋转过程中采集所述辅助图案的检测图像;抖动补偿模块,包括检测位置确定单元、补偿量计算单元及补偿执行单元;所述检测位置确定单元用于根据所述检测图像上辅助图案所指示的转镜转动角度以确定与当前检测到的距离信息对应的预设检测位置;所述补偿量计算单元用于根据当前获取的检测图像相较于转镜未抖动时获取的辅助图案模板的位置偏移量计算出与转镜的抖动情况对应的检测位置补偿量,所述补偿执行单元用于根据检测位置补偿量对与转镜当前转动角度对应的预设检测位置进行补偿,以获得当前检测到的距离信息实际对应的检测位置。
第二方面,本申请提供一种电子设备,所述电子设备包括主体、以及设置于所述主体的转镜激光雷达。
第三方面,本申请提供一种抖动补偿模块,所述抖动补偿模块为转镜激光雷达中的抖动补偿模块。
第四方面,本申请提供一种抖动补偿方法,包括:采集辅助图案的检测图像得到实时检测图像,所述辅助图案设置于所述转镜激光雷达的转镜上,所述辅助图案用于指示所述转镜的转动角度;根据所述实时检测图像上辅助图案所指示的转镜转动角度以确定与当前检测到的距离信息对应的预设检测位置;根据所述当前获取的实时检测图像相较于转镜未抖动时获取的辅助图案模板的位置偏移量,计算出与转镜的抖动情况对应的检测位置补偿量;根据所述检测位置补偿量对与转镜当前转动角度对应设定的检测位置进行补偿,以获得当前检测到的距离信息实际对应的检测位置。
本申请通过在摄像头及转镜上的辅助图案,可以对转镜进行抖动检测和对转镜激光雷达的检测信息进行动态抖动补偿,降低雷达系统对转镜抖动的要求,实现了高质量的点云输出。
附图说明
图1为本申请实施例提供的电子设备的示意图。
图2为本申请实施例提供的转镜激光雷达的结构示意图。
图3为本申请实施例提供的收发模组的结构示意图。
图4为本申请第一实施例提供的转镜的结构示意图。
图5为本申请第一实施例提供的辅助图案全局图像示意图。
图6为本申请实施例提供的转镜发生抖动的示意图。
图7为本申请第一实施例提供转镜发生抖动的检测图像示意图。
图8为本申请实施例提供的抖动补偿模块的结构示意图。
图9为本申请实施例提供的确定转镜旋转角的示意图。
图10为本申请第二实施例提供的转镜的结构示意图。
图11为本申请第三实施例提供的转镜的结构示意图。
图12为本申请第四实施例提供的转镜的结构示意图。
图13本申请第四实施例提供的辅助图案示意图。
图14本申请第四实施例提供的另一种辅助图案示意图。
图15为本申请实施例提供的抖动补偿方法的流程图。
图16为本申请实施例提供的距离信息用球坐标表示的示意图。
图中标号示意如下:
电子设备-1;转镜激光雷达-10;主体-20;存储介质-30;处理器-40;转镜-11;收发模组-12;摄像模组-13;辅助图案-14;抖动补偿模块-15;发射器-120;接收器-122;处理模块-124;转镜本体-110;旋转轴-112;轴承-114;电机-116;顶部-1101;底部-1102;侧面-1103;旋转孔-1104;旋转轴顶端-1120;旋转轴底端-1122;轴承孔-1140;指向标识-140;偏移标识块-141;辅助图案模板-1400a;检测图像-1400b;检测位置确定单元-150;补偿计算单元-151;补偿执行单元-152;辅助箭头-160;检测箭头-190。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,如下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
请参看图1,本申请提供一种电子设备1,电子设备1可以为但不限于手机、汽车、机器人、门禁/监控系统、智能门锁、无人车、无人机等。电子设备1包括主体20以及设置于主体20的转镜激光雷达10。电子设备1根据转镜激光雷达10获得的三维信息以实现相应的功能。
电子设备1还可以包括存储介质30,存储介质30可以为电子设备1和/或转镜激光雷达10在运行过程中的数据存储需求提供支持。存储介质30可以为一个或者多个。在一些实施例中,存储介质30设置在转镜激光雷达10内部的存储介质30。在一些实施例中,存储介质30仅设置在电子设备1的内部即可,不仅限于设置于转镜激光雷达10内部。
电子设备1还可以包括处理器40,可以为电子设备1和/或转镜激光雷达10在运行过程中的数据处理需求提供支持。处理器40可以为一个或者多个。在一些实施例中,处理器40可设置在电子设备1的内部。在一些实施例中,处理器40设置于电子设备1的内部即可,不仅限于设置于转镜激光雷达10内部。
转镜激光雷达10为用于感测障碍物的装置或者用于探测目标物体距离的装置等。转镜激光雷达10可通过快速重复地发射光束来扫描周围环境,以获得反映周围环境三维信息的点云数据。转镜激光雷达10还可通过软件算法对点云数据进行处理获取点云图。更具体地,转镜激光雷达10可以对视场空间内的目标物体进行三维信息的检测,视场空间可定义为转镜激光雷达10能够有效地进行三维信息检测的立体空间范围,也可以称之为转镜激光雷达10的视场角或视场范围。
三维信息例如为但不限于目标物体的接近信息、目标物体表面的深度信息、目标物体的距离信息及目标物体的空间坐标信息中的一种或多种。其中,所述三维信息例如可以用于3D建模、身份识别、自动驾驶、机器视觉、监控、无人机控制、增强现实(AugmentedReality, AR)/虚拟现实(Virtual Reality, VR)、即时定位和地图构建(SimultaneousLocalization and Mapping, SLAM)、物体接近判断等领域,本申请对此不作限定。
以扫地机器人为例,在扫地机器人中设置转镜激光雷达10,转镜激光雷达10可通过快速重复地发射光束来扫描周围环境,以获得反映周围环境三维信息的点云数据。具体的,转镜激光雷达10向周围环境发射光束,并接收光束被周围环境中的各个对象反射回来的回波光束,通过计算光束的发射时间与回波光束被接收感测的时间之间的时间延迟(即飞行时间),来确定各个对象的距离/深度信息。同时,转镜激光雷达10还可以确定光束向视场范围发射的角度信息,将各对象的距离/深度信息与获得该信息所对应的光束的发射角度相结合,生成包括所扫描的周围环境中各个对象的三维地图,利用该三维地图引导扫地机器人的移动。
可选地,在一些实施例中,转镜激光雷达10例如可以为基于直接飞行时间(directTime of Flight, dToF)原理进行三维信息感测的dToF测量装置。所述dToF测量装置可以在视场空间内发射光束并接收经视场空间内目标物体反射回来的光束,反射回来的所述光束的发射时刻与接收时刻之间的时间差被称为光束的飞行时间t,通过计算所述光束在飞行时间t内经过距离的一半可以获得目标物体的三维信息,其中,c为光速。
在另外一些实施例中,转镜激光雷达10也可以为间接飞行时间(indirect Timeof Flight, iToF)测量原理进行三维信息感测的iToF测量装置。所述iToF测量装置通过比较光束发射时与被反射回来接收时的相位差来获得目标物体的三维信息。
在本申请下面的实施例中,主要以转镜激光雷达10为dToF测距装置为例进行说明。
请参看图2,图2示出了第一实施例的转镜激光雷达10的结构。转镜激光雷达10包括转镜11、收发模组12、摄像模组13、辅助图案14、以及抖动补偿模块15。在本实施例中,辅助图案14设置于转镜11。摄像模组13设置于转镜11的上方,且视场角覆盖至少一部分辅助图案14。收发模组12用于发射和接收光束,以检测与发射和接收方向对应的预设检测位置处的距离信息。转镜11用于偏转光束的收发方向以实现对视场范围的扫描检测以获得视场范围的检测信息,检测信息包括距离信息以及与该距离信息对应的预设检测位置。辅助图案14用于指示转镜11的转动角度。其中,转镜激光雷达10利用摄像模组13采集辅助图案14,抖动补偿模块15根据采集的辅助图案14确定出转镜11是否抖动,并当转镜11抖动时计算出转镜11因抖动而产生的检测位置偏移量,进而对当前检测到的距离信息所对应的预设检测位置进行补偿,从而达到抖动补偿的目的。视场角是摄像模组13以镜头为顶点,通过镜头能拍摄到的最大视场范围的两条边缘构成的夹角,也就是说,摄像模组13在水平和垂直方向上能够捕获的场景范围。
下面将具体描述转镜激光雷达10各部件各自的组成及工作原理,以及各个部件之间的协同工作,从而详细描述转镜激光雷达10具体如何实现抖动补偿。
请参看图3,收发模组12用于向视场范围发射光束并接收来自视场范围返回的光束。在一些实施例中,光束例如可以为依序发射的多个激光脉冲。可选地,光束还可以为可见光、红外光或近红外光,波长范围例如为390纳米(nm)-780 nm、700 nm-1400 nm、800 nm-1000 nm、900 nm-1600 nm等。下面以光束为依序发射的多个激光脉冲举例说明。具体地,收发模组12包括发射器120、接收器122、以及处理模块124。
发射器120被配置为按照预设的时间序列发射激光脉冲(光束),并被配置为向视场空间发射光束以对视场空间内的目标物体进行三维信息检测。其中,部分光束会被目标物体反射回来而形成光束回波。
接收器122被配置为感测来自视场范围的光子并输出相应的光感应信号。应理解的是,接收器122所感测的光信号可以包括被视场范围内的目标物体反射回来光子(光束回波)以及视场范围内环境光的光子。
处理模块124被配置为分析处理光感应信号以获得光束回波被接收器122感测到的时刻,例如:基于时间相关单光子计数(Time-Correlated Single Photon Counting,TCSPC)技术处理和分析所述光感应信号以通过构建的光子计数直方图来获得光束回波被感测到的时刻。在此基础上,处理模块124还被配置为根据光束的发射时刻与反射回来被感测时刻之间的时间差异来获得所述目标物体的距离信息。在本实施例中,视场范围的检测信息为三维信息,包括距离信息和与距离信息对应的检测位置信息。下面以检测信息用球坐标表示为例进行说明,如图16所示,距离信息为球坐标中的径向距离r。距离信息对应的预设检测位置用球坐标中的方位角α和极角θ表示。径向距离r为从原点到检测点的直线距离。方位角α为在XY平面上,从X轴到检测点与原点连线在XY平面上的投影的夹角;极角θ为从Z轴到检测点与原点连线的夹角。可以理解地,转镜11的抖动包括平移和旋转。当转镜11平移时,光束的方向并没有发生改变,仅是出现了平移,而且转镜激光雷达10的设计规范中,转镜11的平移空间是127 um(5丝),相当于在目标物端会平移<127 um,即便转镜11抖动而引起转镜11在水平方向出现了偏移,误差也可以忽略不计;当转镜11转动时,由于受外部加速度等因素影响会引起转镜11整个旋转,将会带来光路的偏转,实际的检测位置会明显偏离预设检测位置。也就是说,在本实施例中的抖动补偿主要是对转镜11静态偏转引起的检测信息误差进行补偿。在球坐标表示检测信息的上述实施例中,抖动补偿是对转镜11的抖动引起在竖直方向上的检测位置偏移量(即极角θ)进行补偿。
可选地,在其他一些实施例中,处理模块124也可以基于间接飞行时间(indirectTime of Flight, iToF)测量原理进行三维信息感测,通过比较光束发射时与被反射回来接收时的相位差来获得目标物体的三维信息。
可选地,在其他一些实施例中,处理模块124也可以基于调频连续波(FrequencyModulated Continuous Wave,FMCW)测量原理进行三维信息感测,通过把返回光和发射光做干涉,并利用混频探测技术测量发送和接收的频率差异,再通过频率差换算出目标物体的三维信息。
处理模块124可以设置在转镜激光雷达10上。应理解的是,在其他一些实施例中,处理模块124的全部或一部分功能单元也可以设置在转镜激光雷达10外但位于电子设备1上。
进一步地,收发模组12的具体工作过程如下:光束发射至视场范围并随转镜11转动而将光束按照预设扫描方式分时向视场范围内位于不同方位的视场分区发射。由此,收发模组12可以经转镜11对每个视场分区分别按照对应的预设时间序列发射多个光束脉冲,并分析感测到的光信号的时间分布以对应获得该视场分区的检测信息,此过程可视为一次视场分区检测时段,而依次对多个视场分区逐个扫描后视为对整个视场范围完成一帧数据检测,可对应获得整个视场范围全部视场分区的距离信息,从而构建整个视场范围一帧的检测数据。可以理解地,每一帧数据包括不同方位上各个位置的距离信息,方位是根据转镜11转动的角度确定。因此,收发模组12检测到的距离信息对应的位置可以根据转镜11转动的角度和预设的扫描方式确定,下称为收发模组12的预设检测位置。
如图3所示,在一些实施例中,收发模组12为共轴收发,即,发射光束和接收光束的光路重合。可以理解的是,在其它一些实施例中,收发模组12为旁轴收发,即,发射光路和接收光路为相互平行的两个光路,不发生重合。
请结合参看图4,转镜11包括转镜本体110、旋转轴112、轴承114、以及电机116。电机116与旋转轴112连接,旋转轴112通过轴承114刚性连接于转镜本体110的中心。电机116用于驱动旋转轴112转动和平移,以带动转镜11转动和平移。
在本实施例中,转镜本体110为多面体,转镜本体110包括顶部1101、底部1102、位于顶部1101和底部1102之间的侧面1103、以及贯穿顶部1101和底部1102的旋转孔1104。收发模组12发射的光束经侧面1103反射至视场范围。
旋转轴112贯穿转镜本体110的顶部1101和底部1102并与转镜本体110刚性连接。旋转轴112为圆柱体,包括相对设置的旋转轴顶端1120和旋转轴底端1122。旋转轴112的旋转轴顶端1120与转镜本体110的顶部1101位于同一侧,旋转轴底端1122与转镜本体110的底部1102位于同一侧。旋转轴112可以是电机116的输出轴,也可以是与电机116的输出轴连接并且独立于电机116输出轴存在。电机116通过旋转轴112带动转镜本体110绕旋转轴112转动。
顶部1101的中间位置、以及底部1102中间位置分别设有轴承114。轴承114为中间设有轴承孔1140,轴承孔1140的孔径大于旋转轴112的直径。旋转轴112穿过旋转孔1104且两端外露出顶部1101和底部1102,且两端通过轴承孔1140而与顶部1101和底部1102的轴承114相固定,从而使旋转轴112与转镜本体110刚性连接,且旋转轴112的两端都分别穿出轴承114使旋转轴顶端1120和旋转轴底端1122外露。旋转轴112与轴承114之间存在空隙,所以在转镜11发生抖动时旋转轴112在空隙内平移或旋转。
请参看图5,图5显示了第一实施例提供的辅助图案14。辅助图案14可以通过绘制、印刷等方式设置于转镜11,辅助图案14用于指示转镜11的转动角度。其中,辅助图案14与转镜11相对静止。在一些实施例中,辅助图案14设有指向标识140和多个偏移标识块141。指向标识140的指向用于指示转镜11的转动角度。各偏移标识块141用于提供计算位置偏移量的参考点。根据指向标识140的当前指向可以确定出转镜11的当前转动角度。指向标识140例如为尖端向外的箭头状。偏移标识块141用于提供计算位置偏移量的参考点。多个偏移标识块141围绕指向标识140设置,与指向标识140结合,共同确定转镜11的转动角度。偏移标识块141呈具有四个尖端的弧形块。可以理解地,在一些可行的实施例中,辅助图案14也可以仅设置指向标识140而省略掉偏移标识块141。
如图2所示,在本实施例中,辅助图案14设置在旋转轴112的旋转轴顶端1120的表面。
摄像模组13设置在旋转轴顶端1120的上方以获取辅助图案14随旋转轴112转动的检测图像1400b。在本实施例中,摄像模组13的视场角全部覆盖辅助图案14,也就是说,指向标识140和多个偏移标识块141可以被摄像模组13采集作为检测图像1400b(如图5所示)。
请参看图6和图7,图6示意出转镜11在未抖动和抖动时的关系图。摄像模组13在转镜激光雷达10初始化时,采集转镜11未抖动的辅助图案14图像作为辅助图案模板1400a。当转镜激光雷达10工作时,摄像模组13开始工作,用于采集辅助图案14的图像而获取到检测图像1400b。在本实施例中,在转镜激光雷达10工作时摄像模组13就处于工作状态。摄像模组13采用高速摄像头,能够精确的对转镜11进行监控和补偿。摄像头设置于辅助图案14的上方,方便摄像头识别和监控转镜11偏转的角度位置。摄像模组13包括摄像头、照相机等。
图7示意出辅助图案模板1400a和当前获取的检测图像1400b之间的关系图,也就是说,摄像模组13分别采集未抖动和抖动的辅助图案14得到的辅助图案模板1400a和检测图像1400b之间的关系图。
下文以转镜11转动过程中发生静态偏移的抖动为例说明:如何利用摄像头和辅助图案14计算出转镜11在竖直方向上的位置偏移量,从而利用转镜11在竖直方向上的位置偏移量进行抖动补偿。
当转镜11转动时未发生抖动,此时,转镜11的位置并未出现偏移,因此,摄像模组13当前获取的检测图像1400b和辅助图案模板1400a是重合的。
当转镜11转动时发生抖动,转镜11在竖直方向上的指向会发生偏转,偏移角度为θ,即图中112a和112b中间的夹角。可以理解地,经过侧面1103反射的光线E也同样产生偏转角度θ。也就是说,收发模组12当前检测到的距离信息所对应的预设检测位置也会出现同样的位置偏移量,从而导致收发模组12实际检测到的距离信息所对应的检测位置出现误差,因此,需要对该预设检测位置进行抖动补偿。相应地,摄像模组13当前获取的检测图像1400b相对于辅助图案模板1400a存相应的位置偏移量,也就是检测图像1400b与辅助图案模板1400a位置不是重合的,从而可以利用检测图像1400b与辅助图案模板1400a之间的位置关系对相应的预设检测位置进行抖动补偿。下面将详细描述如何利用检测图像1400b与辅助图案模板1400a位置关系实现相应的检测位置的抖动补偿。
请结合参看图8,抖动补偿模块15分别与摄像模组13和收发模组12通信连接,用于从摄像模组13获得当前获取的检测图像1400b和辅助图案模板1400a对与转镜11当前转动角度对应预设的检测位置进行补偿。具体地,抖动补偿模块15包括检测位置确定单元150、补偿计算单元151、以及补偿执行单元152。
请结合参看图9,检测位置确定单元150用于根据检测图像1400b所指示的转镜11转动角度以确定当前检测到的距离信息对应的预设检测位置。在本实施例中,检测位置确定单元150预先设置了指向标识140在不同方位上检测图像1400b和转镜11转动角度之间的对应关系。检测位置确定单元150根据检测图像1400b上辅助图案14的指向标识140即可确认出转镜11转动角度,进而通过转镜11转动角度即可确认出检测到的距离信息及对应的预设检测位置。
请再次参看图7,补偿计算单元151用于根据当前获取的检测图像1400b和辅助图案模板1400a之间的位置偏移量,并计算出与转镜11的抖动情况对应的检测位置补偿量。在本实施例中,补偿量计算单元151根据预设公式计算出位置偏移量。预设公式为:,其中,表示位置偏移量,D表示旋转轴112的长度,θ表示旋转轴112在竖直方向上的偏移角度。其中,可以通过计算指向标识140和偏移标识块141各自分别在检测图像1400b和辅助图案模板1400a对应的多对参考点之间的位置差异得到,更具体地,将多对参考点之间的差异进行取平均得到位置偏移量。在本实施例中,指向标识140的一对参考点可以取于指向标识140的尖端在检测图像1400b和辅助图案模板1400a所形成的两个点。每一偏移标识块141的各对参考点可以取于各个尖点在检测图像1400b和辅助图案模板1400a所形成的两个点。转镜激光雷达10处于静态偏转,即,转镜11在一次测距周期内发射光束和接收光束偏移的角度相同,也就是说,转镜11的位置偏移量与检测位置补偿量相等,即补偿量为θ=0.36°。
补偿执行单元152用于根据检测位置补偿量对与转镜11当前转动角度对应的预设检测位置进行补偿,以获得检测到的距离信息实际对应的检测位置。具体地,补偿执行单元152根据检测位置补偿量对检测位置的空间坐标进行补偿。更具体地,当检测图像1400b为转镜11在竖直方向的正向发生偏移时的图像,经过补偿后,实际对应的检测位置的极角为预设检测位置的极角和补偿量θ之和。可以理解地,当转镜11在竖直方向的负向发生偏移时,经过补偿后,实际对应的检测位置的极角为预设检测位置的极角和补偿量θ之差。
由于检测位置包括用于表示距离信息在视场范围中所在位置的角度信息。检测位置补偿量用于对所述角度信息进行补偿。本实施例中,用球坐标表示距离信息在视场范围中所在的位置,对应的角度信息包括方位角和极角,检测位置补偿量用于对距离信息在视场范围中所在位置的极角的角度进行补偿。检测位置补偿量为0.72°,再根据检测图像1400b相对于辅助图案模板1400a的偏移方向相应的对极角的角度补偿0.72°,从而得到当前检测到的距离信息实际对应的检测位置。上述检测位置在球坐标中描述,仅仅只是示例在此不做限定。
请参看图10,图10为第二实施例提供的转镜11a的示意图,第二实施例提供的转镜11a与第一实施例提供的转镜11不同之处在于:所述辅助图案14设置在转镜本体110的顶部1101表面,辅助图案14的中心与顶部1101表面的中心重合。此外,摄像模组13设置转镜本体110的顶部1101表面的上方,用于获取辅助图案14上至少一部分角度标识的图像作为检测图像1400b。
请参看图11,图11为第三实施例提供的转镜11b的示意图。第三实施例提供的转镜11b与第二实施例提供的转镜11a不同之处在于:辅助图案14的中心偏离顶部1101表面的中心。
请参看图12和图13,图12为第四实施例提供的转镜11c的示意图。图13为转镜11c的辅助图案14放大图。转镜11c与第二实施例提供的转镜11a不同之处在于:辅助图案14的图案不同,具体地,本实施例中的指向标识140用角度标识代替。角度标识沿顶部1101表面的周缘依次设置。另外,摄像模组13设置转镜本体110的顶部1101表面的上方。在本实施例中,角度标识为角度刻度,摄像模组13拍摄整个或一部分的角度刻度都可以据此得知转镜11c当前的转动角度,也可以通过比较角度刻度的偏移量而计算出检测位置补偿量。可以理解地,在本实施例中,补偿计算单元151计算补偿量时,仅是获取到的检测图像1400b不同,更具体地说是指向标识140不同,并不改变补偿计算单元151计算方式,因此,在此不再赘述。本实施例中采用角度标识可降低对于摄像模组13的视场角要求,有利于减少硬件成本,而且通过角度标识可获得更精确的转镜11c的转动角度信息。
请参看图14,在一些可行的实施例中,角度标识还可以是角度编码。
可以理解地,上述各实施例中的辅助图案14仅是示例,各实施例中的辅助图案14可以互换或者辅助图案14中元素可以任意组合;另外,辅助图案14可以使用更多的不同图案,也就是说,辅助图案14在此并不进行限定。另外,转镜激光雷达10中,抖动补偿模块15可以单独作为一个模组,也可以集成于收发模组12、摄像模组13、或者是电子设备1中任意模组。
上述各实施例中,可以对通过转镜11进行抖动检测和对转镜激光雷达10的检测信息进行动态抖动补偿,降低雷达系统对转镜11抖动的要求,实现了高质量的点云输出。
请参看图15,图15为本申请第一实施例提供的应用于上述转镜激光雷达10的抖动补偿方法。转镜激光雷达10的具体结构在上述已经描述,在此不再赘述。抖动补偿方法包括步骤S200-步骤S400。
步骤S200,根据实时检测图像1400b上辅助图案14所指示的转镜11转动角度以确定与当前检测到的距离信息对应的预设检测位置。具体地,预先设置了指向标识140在不同方位上检测图像1400b和转镜11转动角度之间的对应关系。检测位置确定单元150根据当前获取的检测图像1400b上辅助图案14的指向标识140即可确认出转镜11转动角度,进而通过转镜11转动角度即可确认出检测到的距离信息及对应的预设检测位置。
步骤S300,根据当前获取的实时检测图像1400b相较于转镜11未抖动时获取的辅助图案模板1400a的位置偏移量,计算出与转镜的抖动情况对应的检测位置补偿量。在本实施例中,补偿量计算单元151根据预设公式计算出检测位置补偿量。预设公式为:,其中,表示位置偏移量,D表示旋转轴112的长度,θ表示旋转轴112在竖直方向上的偏移角度。其中,可以通过计算指向标识140和偏移标识块141各自分别在检测图像1400b和辅助图案模板1400a对应的多对参考点之间的位置差异得到,更具体地,将多对参考点之间的差异进行取平均得到位置偏移量。在本实施例中,指向标识140的一对参考点可以取于指向标识140的尖端在检测图像1400b和辅助图案模板1400a所形成的两个点。每一偏移标识块141的各对参考点可以取于各个尖点在检测图像1400b和辅助图案模板1400a所形成的两个点。也就是说,检测位置补偿量为旋转轴112在竖直方向上的偏移角度。例如,当前的辅助箭头160的顶部与检测箭头190的顶部之间距离为127um,实时的检测箭头190的顶部指向辅助箭头160顶部的方向为逆时针方向,即,实时检测图像1400b相对于辅助图案模板1400a的位置偏移量为127um。旋转轴112的长度D为40mm,则偏转角度=0.36°。转镜激光雷达10处于静态偏转,即,转镜11在一次测距周期内发射光束和接收光束偏移的角度相同,也就是说,转镜11的位置偏移量与检测位置补偿量相等,即补偿量为θ=0.36°。
步骤S400,根据补偿量对当前测算的检测位置进行补偿以获得收发模组12当前实际的检测位置。具体地,步骤S400根据补偿量对检测位置中的竖直方向的角度进行补偿。更具体地,当检测图像1400b为转镜11在竖直方向的正向发生偏移时的图像,经过补偿后,实际对应的检测位置的极角为预设检测位置的极角和补偿量θ之和。可以理解地,当转镜11在竖直方向的负向发生偏移时,经过补偿后,实际对应的检测位置的极角为预设检测位置的极角和补偿量θ之差。由于检测位置包括用于表示距离信息在视场范围中所在位置的角度信息。检测位置补偿量用于对所述角度信息进行补偿。本实施例中,用球坐标表示距离信息在视场范围中所在的位置,对应的角度信息包括方位角和极角,检测位置补偿量用于对距离信息在视场范围中所在位置的极角的角度进行补偿。检测位置补偿量为0.72°,再根据检测图像1400b相对于辅助图案模板1400a的偏移方向相对应的极角的角度补偿0.72°,从而得到当前检测到的距离信息实际对应的检测位置。上述检测位置在球坐标中描述,仅仅只是示例在此不做限定。通过后端的抖动检测和动态补偿,降低雷达系统对转镜11抖动的要求,实现了高质量的点云输出。上述检测位置在球坐标中描述,仅仅只是示例在此不做限定。
上述抖动补偿方法,可以对转镜11进行抖动检测和对转镜激光雷达10的检测信息进行动态抖动补偿,降低雷达系统对转镜11抖动的要求,实现了高质量的点云输出。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质30中,或者从一个计算机可读存储介质30向另一计算机可读存储介质30传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质30可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人物可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质30中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质30中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质30包括:U盘、流动硬盘、只读存储介质(ROM,Read-OnlyMemory)、随机存取存储介质(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
显然,本领域的技术人物可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上仅为本申请的优选实施例,并非因此限制本申请的保护范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的保护范围内。

Claims (15)

1.一种转镜激光雷达,其特征在于,包括:
收发模组,用于发射和接收光束,以检测对应的距离信息;
转镜,用于偏转所述光束的收发方向以实现对视场范围的扫描检测;
辅助图案,设置于所述转镜上;所述辅助图案用于指示所述转镜的转动角度;
摄像模组,用于在所述转镜旋转过程中采集所述辅助图案的检测图像;
抖动补偿模块,包括检测位置确定单元、补偿量计算单元及补偿执行单元;所述检测位置确定单元用于根据所述检测图像上辅助图案所指示的转镜转动角度以确定与当前检测到的距离信息对应的预设检测位置;所述补偿量计算单元用于根据当前获取的检测图像相较于转镜未抖动时获取的辅助图案模板的位置偏移量计算出与转镜的抖动情况对应的检测位置补偿量,所述补偿执行单元用于根据检测位置补偿量对与转镜当前转动角度对应的预设检测位置进行补偿,以获得当前检测到的距离信息实际对应的检测位置;
其中,所述检测位置包括用于表示距离信息在视场范围中所在位置的角度信息,所述检测位置补偿量用于对所述角度信息进行补偿。
2.如权利要求1所述的转镜激光雷达,其特征在于,用球坐标表示所述距离信息在视场范围中所在的位置,对应的角度信息包括方位角和极角,所述检测位置补偿量用于对所述距离信息在视场范围中所在位置的极角的角度进行补偿。
3.如权利要求1-2任一项所述的转镜激光雷达,其特征在于,所述转镜包括转镜本体及与所述转镜本体刚性连接的旋转轴;所述转镜激光雷达通过驱动所述旋转轴带动所述转镜转动,所述检测位置补偿量与所述旋转轴因抖动产生的偏移角度相关。
4.如权利要求3所述的转镜激光雷达,其特征在于,所述补偿量计算单元根据预设公式计算出所述检测位置补偿量,所述预设公式为:,其中,表示位置偏移量,D表示旋转轴的长度,θ表示旋转轴的偏移角度。
5.如权利要求1所述的转镜激光雷达,其特征在于,所述辅助图案设有指向标识,所述指向标识的指向用于指示所述转镜的转动角度,所述检测位置确定单元根据指向标识的指向确定转镜的转动角度。
6.如权利要求5所述的转镜激光雷达,其特征在于,所述转镜包括转镜本体及旋转轴,所述转镜本体包括顶部、底部、以及位于所述顶部和所述底部之间的侧面,收发模组发射的光束经侧面反射至视场范围,所述旋转轴贯穿顶部与底部并与转镜本体刚性连接,所述旋转轴包括相对设置的顶端和底端,旋转轴的顶端与转镜本体的顶部位于同一侧,所述旋转轴的底端与转镜本体的底部位于同一侧,所述辅助图案设置于所述旋转轴顶端的表面上,所述摄像模组设置在旋转轴顶端的上方以获取所述辅助图案随旋转轴转动的检测图像。
7.如权利要求5所述的转镜激光雷达,其特征在于,所述转镜包括转镜本体及旋转轴,所述转镜本体包括顶部、底部、以及位于所述顶部和所述底部之间的侧面,旋转轴贯穿转镜本体的顶部和底部以带动转镜本体转动,收发模组发射的光束经侧面反射至视场范围,所述辅助图案设置在转镜本体的顶部表面上,所述辅助图案的中心与转镜本体的顶部表面的中心重合,所述旋转轴穿过指向标识,所述摄像模组设置在转镜本体的上方以获取辅助附图随转镜本体转动的整体图像作为检测图像。
8.如权利要求5所述的转镜激光雷达,其特征在于,所述转镜包括转镜本体及旋转轴,所述转镜本体包括顶部、底部、以及位于所述顶部和所述底部之间的侧面,旋转轴贯穿转镜本体的顶部和底部以带动转镜本体转动,收发模组发射的光束经侧面反射至视场范围,所述辅助图案设置在转镜本体的顶部表面上,所述辅助图案的中心偏离转镜本体的顶部表面的中心,所述摄像模组设置在转镜本体的上方以获取辅助图案随转镜本体转动的整体图像作为检测图像。
9.如权利要求5所述的转镜激光雷达,其特征在于,所述辅助图案还包括多个偏移标识块,多个偏移标识块围绕所述指向标识设置,用于提供计算所述位置偏移量的参考点。
10.如权利要求1所述的转镜激光雷达,其特征在于,所述转镜包括转镜本体及旋转轴,所述转镜本体包括顶部、底部、以及位于所述顶部和所述底部之间的侧面,旋转轴贯穿转镜本体的顶部和底部以带动转镜本体转动,收发模组发射的光束经侧面反射至视场范围,所述辅助图案设置在转镜本体的顶部表面,所述辅助图案的中心与顶部表面的中心重合,辅助图案包括沿顶部表面的周缘依次设置的角度标识,所述角度标识用于指示所述转镜的转动角度;所述摄像模组设置转镜本体的顶部表面的上方,用于获取辅助图案上至少一部分角度标识的图像作为所述检测图像。
11.如权利要求10所述的转镜激光雷达,其特征在于,所述角度标识为角度刻度或者角度编码。
12.一种电子设备,其特征在于,所述电子设备包括主体、以及设置于所述主体的如权利要求1-11任一项所述的转镜激光雷达。
13.一种抖动补偿模块,其特征在于,所述抖动补偿模块为如权利要求1-11中任意一项所述的转镜激光雷达中的抖动补偿模块。
14.一种应用于如权利要求13所述的抖动补偿模块的抖动补偿方法,其特征在于,转镜激光雷达通过转镜偏转收发模组发射和接收的光束,以扫描检测视场范围的距离信息,所述抖动补偿方法包括如下步骤:
采集辅助图案的检测图像得到实时检测图像,所述辅助图案设置于所述转镜激光雷达的转镜上,所述辅助图案用于指示所述转镜的转动角度;根据所述实时检测图像上辅助图案所指示的转镜转动角度以确定与当前检测到的距离信息对应的预设检测位置;
根据当前获取的实时检测图像相较于转镜未抖动时获取的辅助图案模板的位置偏移量,计算出与转镜的抖动情况对应的检测位置补偿量;
根据所述检测位置补偿量对与所述转镜当前转动角度对应的预设检测位置进行补偿,以获得当前检测到的距离信息实际对应的检测位置。
15.如权利要求14所述的抖动补偿方法,其特征在于,补偿量计算单元根据预设公式计算出所述检测位置补偿量,所述预设公式为:,其中,表示位置偏移量,D表示旋转轴的长度,表示旋转轴的偏移角度。
CN202411426148.1A 2024-10-14 2024-10-14 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备 Active CN118938172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411426148.1A CN118938172B (zh) 2024-10-14 2024-10-14 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411426148.1A CN118938172B (zh) 2024-10-14 2024-10-14 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备

Publications (2)

Publication Number Publication Date
CN118938172A CN118938172A (zh) 2024-11-12
CN118938172B true CN118938172B (zh) 2025-01-28

Family

ID=93352121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411426148.1A Active CN118938172B (zh) 2024-10-14 2024-10-14 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备

Country Status (1)

Country Link
CN (1) CN118938172B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116413693A (zh) * 2021-12-30 2023-07-11 上海禾赛科技有限公司 激光雷达的探测方法以及激光雷达
CN117890930A (zh) * 2024-03-14 2024-04-16 深圳阜时科技有限公司 一种转镜激光雷达、转动角度检测方法及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116413693A (zh) * 2021-12-30 2023-07-11 上海禾赛科技有限公司 激光雷达的探测方法以及激光雷达
CN117890930A (zh) * 2024-03-14 2024-04-16 深圳阜时科技有限公司 一种转镜激光雷达、转动角度检测方法及电子设备

Also Published As

Publication number Publication date
CN118938172A (zh) 2024-11-12

Similar Documents

Publication Publication Date Title
US10665012B2 (en) Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
CN109975773B (zh) 毫米波雷达标定方法、装置、设备和存储介质
CN107991662B (zh) 一种3d激光和2d成像同步扫描装置及其扫描方法
US9188430B2 (en) Compensation of a structured light scanner that is tracked in six degrees-of-freedom
CN106772338B (zh) 无人机定位装置、方法及系统
CN110873883B (zh) 融合激光雷达和imu的定位方法、介质、终端和装置
CN105452806B (zh) 具有目标寻找功能的激光跟踪仪
US9989353B2 (en) Registering of a scene disintegrating into clusters with position tracking
KR101862717B1 (ko) 레이더 전시기의 좌표 변환 장치 및 방법
CN105068082A (zh) 一种激光雷达扫描探测方法及装置
CN111856496A (zh) 一种管道探测方法及管道探测装置
US11073610B2 (en) Portable imager
CN112146848A (zh) 一种确定摄像头的畸变参数的方法及装置
US20170227642A1 (en) Stereo range with lidar correction
Zhi et al. Multical: Spatiotemporal calibration for multiple IMUs, cameras and LiDARs
CN118938172B (zh) 转镜激光雷达、抖动补偿模块、抖动补偿方法及电子设备
EP3706073A1 (en) System and method for measuring three-dimensional coordinates
CN113835072B (zh) 一种毫米波雷达校准方法、装置及电子设备
WO2022256976A1 (zh) 稠密点云真值数据的构建方法、系统和电子设备
WO2023083164A1 (zh) 目标追踪方法、信号融合方法、装置、终端和存储介质
CN117724114B (zh) 一种基于激光测距仪的三维激光扫描装置及其方法
US10907960B1 (en) Calibration system for combined depth and texture sensor
US20170350968A1 (en) Single pulse lidar correction to stereo imaging
JP2017223608A (ja) 測量装置
WO2022160879A1 (zh) 一种转换参数的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant