CN113557715A - 多功能三维扫描器 - Google Patents
多功能三维扫描器 Download PDFInfo
- Publication number
- CN113557715A CN113557715A CN201980093944.9A CN201980093944A CN113557715A CN 113557715 A CN113557715 A CN 113557715A CN 201980093944 A CN201980093944 A CN 201980093944A CN 113557715 A CN113557715 A CN 113557715A
- Authority
- CN
- China
- Prior art keywords
- optical
- electromechanical device
- light
- opto
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
- Electrostatic, Electromagnetic, Magneto- Strictive, And Variable-Resistance Transducers (AREA)
Abstract
一种光机电装置,包括具有第一端和第二端的衬底。微机电系统(micro‑electro mechanical system,MEMS)镜设置在所述衬底的所述第一端上。多二极管激光器阵列设置在所述衬底的所述第二端上。光检测器设置在所述MEMS镜和所述激光器阵列之间。所述MEMS镜用于将从所述多二极管激光器阵列投影的光反射离开所述装置,并将返回光反射到所述光检测器上。本发明提供了一个独立的光机电封装,通过光束扫描投影方法支持多种功能。
Description
技术领域
本发明各方面大体上涉及扫描设备,更具体地,涉及具有多个扫描功能的单个光学设备。
背景技术
有许多不同的面向消费者的光学扫描应用和设备,包括但不限于:微微投影仪,其提供面向消费者、使用风景光束投影的应用;飞行时间(Time of Flight,ToF)设备,其测量出射光和入射光之间的时间以检测距离;光谱仪,其测量物体反射光的波长;眼睛跟踪相机,其检测眼睛在增强现实(augmented reality,AR)和虚拟现实(virtual reality,VR)应用中的运动。每个系统都是一个单独的、独立的单元,执行一种功能。
然而,这类应用需要离散、非集成的系统。由于尺寸和成本问题,将这类图像投影和图像扫描系统集成到移动设备是一个挑战。
因此,希望能够提供一种解决至少一些上述问题的系统。
发明内容
所公开实施例的目的是提供一种能够在移动通信设备中使用单个光学引擎实现多种功能的装置和方法。通过独立权利要求的主题来实现上述目标。在从属权利要求中可以找到其它有利修改。
根据第一方面,通过一种光机电装置获得上述以及其它目的和优点。在一个实施例中,所述光机电装置包括具有第一端和第二端的衬底。微机电系统(micro-electromechanical system,MEMS)镜设置在所述衬底的所述第一端上。多二极管激光器阵列设置在所述衬底的所述第二端上。光检测器设置在所述MEMS镜和所述激光器阵列之间。所述MEMS镜用于反射从所述多二极管激光器阵列投影的光,并将返回光反射到所述光检测器上。本文使用的术语“返回光”通常是指从物体或风景反射的光。本发明实施例的各方面提供了一个独立的光机电封装,通过光束扫描投影方法支持多种功能。
根据所述第一方面,在所述装置的一种可能的实现方式中,光导盖设置在所述衬底顶部和所述MEMS镜和所述多二极管激光器阵列上方。本发明实施例的各方面提供了一种共享的光机电结构,形成单元尺寸紧凑、成本效益高的技术设计和高的消费者利益。
在所述装置的一种可能的实现方式中,光学棱镜设置在所述光导盖的顶部的开口中。所述光学棱镜用于将光传递到所述MEMS镜和传递来自所述MEMS镜的光。本发明实施例的各方面提供了一种共享的光机电结构。
在所述装置的一种可能的实现方式中,光学麦克风设置在所述光导盖的顶部的开口中。所述光学麦克风与所述光学棱镜和所述光检测器对准。本发明实施例的各方面提供了一种可用作麦克风的基于扫描的光学引擎。
在所述装置的一种可能的实现方式中,所述光学麦克风包括薄膜单元。本发明实施例的各方面提供了一种可以用作麦克风的基于扫描的光学引擎。所述薄膜由于外部声压而振动,并通过光学测量检测。
在所述装置的一种可能的实现方式中,所述光学棱镜的框架壳体用于支撑所述光学麦克风。所公开实施例的各方面提供了一种可以用作麦克风的基于扫描的光学引擎。反射光可以转换为表示清晰、真实源声音的音频信号。
在所述装置的一种可能的实现方式中,所述MEMS镜包括基于双轴MEMS的倾斜镜。所公开实施例的各方面提供了一种紧凑的光机电单元,具有多种功能,每个功能利用双轴MEMS镜将某些事物投影到风景上或从风景中检测到某些事物。这款集成单元具有成本、大小、可制造性和技术优势,能够带来新体验,并且能够吸引更多消费者。
在所述装置的一种可能的实现方式中,所述MEMS镜用于将来自所述多二极管激光器的激光反射到风景表面上以生成图像。所公开实施例的各方面提供了一个独立的光机电封装,通过光束扫描投影方法支持多种功能。
在所述装置的一种可能的实现方式中,所述MEMS镜用于将返回光(例如返回的红外光)反射到光检测器上。所公开实施例的各方面提供了使用红外激光器确定共享光机电结构中的飞行时间。
在所述装置的一种可能的实现方式中,所述多二极管激光器阵列包括红色激光器、绿色激光器、蓝色激光器、紫外线激光器和红外激光器中的一个或多个。所公开实施例的共享光机电结构可以提供光谱仪功能。
在所述装置的一种可能的实现方式中,来自所述多二极管激光器的激光束用于从所述光学麦克风反射到所述光检测器,并转换为音频信号。所述共享光机电结构中的反射光可以转换为音频信号。
在所述装置的一种可能的实现方式中,所述装置设置在智能眼镜穿戴装置上,用于跟踪眼睛的运动。所公开实施例的共享光机电结构具有紧凑的大小,能够与智能眼镜等设备一起使用。
在所述装置的一种可能的实现方式中,所述装置设置在移动通信设备中。所公开实施例的共享光机电结构具有紧凑的大小,能够与智能移动电话等设备一起使用。
示例性实施例的这些和其它方面、实现方式和优点将从结合附图考虑的本文描述的实施例中变得显而易见。但应理解,此类描述和附图仅用于说明的目的,而不能作为对本发明的限制;对本发明的任何限制,应参考所附权利要求书。本发明的附加方面和优点将在随后的说明书阐述,并且,部分方面和优点在说明书中显而易见,或者可以通过实施本发明而了解。此外,本发明的方面和优点可以通过所附权利要求书中特别指出的手段或结合方式实现和获得。
附图简要说明
在本发明的以下详述部分中,将参考附图中所示出的示例实施例来更详细地解释本发明,其中:
图1示出了结合所公开实施例的各方面的示例性装置的透视图。
图2示出了结合所公开实施例的各方面的示例性装置的组装视图。
图3示出了结合所公开实施例的各方面的示例性装置的截面图。
图4示出了结合所公开实施例的各方面的示例性装置的截面图,示出了激光投影。
图5示出了结合所公开实施例的各方面的示例性装置的截面图,示出了红外光束的投影和反射。
图6示出了使用结合所公开实施例的各方面的装置通过软件进行的自动梯形校正。
图7示出了结合所公开实施例的各方面的用于视网膜投影的示例性装置的截面图。
图8示出了结合所公开实施例的各方面的示例性装置的智能眼镜实现方式。
图9示出了结合所公开实施例的各方面的用作光谱仪的示例性装置的截面图。
图10示出了结合所公开实施例的各方面的用作光麦克风的示例性装置的截面图。
具体实施方式
参考图1,图1为本发明实施例的各方面的示例性装置100的透视图。本发明实施例的各方面涉及一种装置或设备100,其在具有单个光学引擎的单个光机电封装中使用光束扫描投影方法提供多种功能。这种紧凑单元利用激光器阵列128中的一组激光器、光检测器126和微机电系统(micro-electro mechanical system,MEMS)镜120来产生多种功能。反射光或返回光束和(单元)内反射都可以用光学反射器130分离,并用光检测器126阵列分析不同波长。MEMS镜120能够以宽的光学倾斜投影角度覆盖风景。
如图2所示,装置100的组件设置在具有第一端和第二端的衬底102上。微机电系统(micro-electro mechanical system,MEMS)镜120设置在衬底102的第一端上。在一个实施例中,反射镜120是设置在壳体122中的双轴倾斜MEMS镜。多二极管激光器阵列128设置在衬底的第二端上。在一个实施例中,激光器阵列128可以包括一组窄边框发射激光器,例如使用光纤组合器耦合在一起的可见红光、绿光、蓝光、UV和IR激光器。光检测器126设置在MEMS镜120和激光器阵列128之间。光检测器126,本文也称为光传感器或光传感器阵列,可以是配备有适当滤波器和微透镜的小型互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)图像传感器。
在一个实施例中,硬件元件106,例如一个或多个处理器和驱动器,也可以设置在衬底102上。在图2的一个示例中,硬件元件设置在衬底102的一端上。在替代实施例中,硬件元件106可以设置在衬底102的任何适当位置上。互连构件104还可用于将装置104与其它适当的电气和电子组件连接起来。其它适当的电气和电子组件可以包括例如其它处理器和驱动器电路以及电力。在图2的示例中,互连构件104是具有连接器的电缆。
还参考图3,在一个实施例中,装置100可以包括塑料光导110。塑料光导110可用于覆盖和保护设置在衬底102上的组件。在图2的示例中,塑料光导110可以包括开口116。开口116用于容纳光学棱镜112。薄膜构件形式的光学麦克风114设置在光学棱镜112的膜悬挂框架或框架壳体117中。
如图3所示,装置100包括光学反射构件或元件130。光学反射器元件130可以是光导110的一部分,也可以是单独的构件。如图3所示,光学反射器元件130包括第一反射部分132、第二反射部分134和第三反射部分136。反射部分132至136进行配置并适当地倾斜以将从激光器阵列128投影的光反射到MEMS镜120的表面上。例如,由激光器阵列128产生的激光用于由第一反射部分132向第二反射部分134反射,然后反射到第三反射部分136。光从第三反射部分136反射到MEMS镜120的表面上。图4也示出了这个示例。
装置100用于提供多种功能。其中一些功能包括但不限于图像投影和增强现实(augmented reality,AR)视网膜(眼睛)投影、光谱仪功能、飞行时间功能和光学麦克风功能。下面描述装置100实现这些功能的不同工作模式。
图4示出了图像投影和AR视网膜投影。在该示例中,由激光器阵列128生成的激光402包括红色、绿色和蓝色。红色、绿色和蓝色激光从激光器阵列128沿着光路404并通过MEMS镜120投影到风景表面上以生成图像。
在该示例中,MEMS镜120沿着两个轴从俯仰和偏航两个角度(例如光栅扫描或基于Lissajous图案)执行高频扫描运动。在一个实施例中,激光器阵列128的红外(infrared,IR)激光器可以被激活以作为飞行时间功能使用,这样可以确定投影距离以及平面形状扫描。
图5示出了飞行时间操作的一个示例。投影的红外光束502作为返回或反射的红外光束504沿着反向路径穿过光学棱镜112反射回MEMS镜120。返回或反射的红外光束504也可以被称为返回光。在该示例中,反射器元件130的第四反射部分138将来自MEMS镜120的返回红外光束504引导到光检测器126上。飞行时间功能配置为在图像投影期间运行。当飞行时间功能用于支持快速自动对焦(autofocus,AF)的正常相机特征时,则装置100可以用于仅在飞行时间模式下操作。
参考图6,飞行时间测量能够适当地对准观看者将图像602投影到倾斜/不粗糙表面上。示例6A示出了图像602的正常投影。在示例6B中,图像602的投影被扭曲。示例6C示出了对示例602的图像602校正后的投影。在一个实施例中,梯形校正可以应用于校正扭曲的投影。校正可通过软件自动进行。因此,结合无焦点的激光投影,图像602始终是清晰和不扭曲的。
图7和图8为使用装置100进行增强现实视网膜投影的示意图。在这个示例中,激光器集合702包括红绿蓝光(red,green and blue,RGB)激光器。激光器集合702将图像穿过眼睛710后方的瞳孔和晶状体投影到视网膜712上。半镜透镜706或分束器通常用作一个构件和增强现实系统。在一个实施例中,半镜透镜706包括图8所示的增强现实眼镜800的透镜。
在MEMS镜120的移动过程中,使用例如光栅/lissajous图案,使用投影702RGB激光器在人视网膜712上形成图像。同时,IR发射器将图案投影到眼睛710上并接收返回的反射光。返回光束704被反射到MEMS镜120上。根据眼睛的运动,利用MEMS镜120的扫描角度来改变半镜706上的反射点,从而可以改变眼盒714的位置。
在图9的示例中,除红绿蓝激光器之外,投影激光器集合902还包括紫外线(ultraviolet laser,UV)激光器。投影激光器集合902中使用紫外线激光器使得装置100能够提供光谱仪功能。在这个示例中,投影激光器集合902被投影到风景上的物体904上。基于吸收和反射波长,虚线表示的返回光束906通过MEMS镜120反射到待测量的光传感器阵列126上。光传感器阵列126用于分析反射光束906的波长。在一个实施例中,MEMS镜120用于对选定区域执行粗扫描或精细扫描。
图10为使用装置100进行光学麦克风感测的示意图。在这个示例中,膜悬挂框架117包括薄膜构件或光学麦克风114。薄膜构件114可以包括聚合物或半导体(MEMS)制造的金属膜或硅膜。通过激活适当的激光二极管,光束140到达膜114。反射光束142被反射回到光传感器阵列126上。声波150击中膜114导致膜114振动。这种振动将改变光反射的特性。反射光142通过光路发送回光传感器阵列126上。反射光142可以转换为表示清晰真实源声音的音频信号。
所公开实施例的各方面涉及具有多种功能的紧凑型光机电设备。所述设备通过扫描出射光和分析入射光的技术特性来执行光束转向操作。入射光数据也用于光束转向操作。多种功能利用倾斜的双接入MEMS镜,将物体投影到风景上或从风景中检测出物体。独立的光机电设备能够在风景上产生其它投影。所述设备还能够从风景接收关于物体距离和形状的反馈信息,以便通过扫描创建三维数字表示和飞行时间功能。三维风景表示可用于增强移动通信设备上正常相机的操作,更快地进行自动对焦、对焦和物体跟踪。三维风景表示还可以用于使用梯形调整等对不稳定的服务上的图像投影进行光学校正。
所述设备能够在光谱操作中分析风景上物体的材料性质。所述设备还能够检测声压的变化,从而提供麦克风功能。当连接到智能眼镜时,所述单元能够跟踪眼睛的运动,以调整图像投影位置并提供电眼盒调整。所述单元能够在人眼视网膜上生成图像,并提供不同类型的混合现实功能。
因此,尽管文中已示出、描述和指出应用于本发明的示例性实施例的本发明的基本新颖特征,但应理解,本领域技术人员可以在不脱离本发明的精神和范围的情况下,对所示出的设备和方法的形式和细节以及设置操作进行各种省略、取代和改变。进一步,明确地希望以大体相同的方式执行大体相同的功能以实现相同结果的那些元件的所有组合均在本发明的范围内。此外,应认识到,结合所公开的本发明的任何形式或实施例进行展示和/或描述的结构和/或元件可作为设计选择的通用项而并入所公开或描述或建议的任何其它形式或实施例中。因此,其意图仅如所附权利要求的范围所表明的那样加以限制。
Claims (13)
1.一种光机电装置(100),其特征在于,包括:
具有第一端和第二端的衬底(102);
设置在所述衬底(102)的所述第一端上的微机电系统(micro-electro mechanicalsystem,MEMS)镜(120);
设置在所述衬底(102)的所述第二端的多二极管激光器阵列(128);
设置在所述MEMS镜(120)和所述激光器阵列(128)之间的光检测器(126),其中,所述MEMS镜(120)用于将从所述多二极管激光器阵列(128)投影的光反射离开所述装置,并将返回光反射到所述光检测器(126)上。
2.根据权利要求1所述的光机电装置(100),其特征在于,还包括光导盖(110),设置在所述衬底(102)顶部和所述MEMS镜(120)和所述多二极管激光器阵列(128)上方。
3.根据权利要求1或2所述的光机电装置(100),其特征在于,还包括光学棱镜(112),设置在所述光导盖(110)的顶部并用于将光传递到所述MEMS镜(120)和传递来自所述MEMS镜(120)的光。
4.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,还包括光学麦克风(114),设置在所述光导盖(110)的顶部,其中,所述光学麦克风(114)与所述光学棱镜(112)和所述光检测器(126)对准。
5.根据权利要求4所述的光机电装置(100),其特征在于,所述光学麦克风(112)包括薄膜单元。
6.根据权利要求4或5所述的光机电装置(100),其特征在于,还包括所述光学棱镜(112)的框架壳体(117),其中,所述框架壳体(117)用于支撑所述光学麦克风(114)。
7.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述MEMS镜(120)包括基于双轴MEMS的倾斜镜。
8.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述MEMS镜(120)用于将从所述多二极管激光器(128)投影的激光反射到风景表面上以生成图像。
9.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述MEMS镜(120)用于将接收到的红外光束反射到所述光检测器(126)上。
10.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述多二极管激光器阵列(128)包括红色激光器、绿色激光器、蓝色激光器、紫外线激光器和红外激光器中的一个或多个。
11.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,来自所述多二极管激光器(128)的激光束用于从所述光学麦克风(114)反射到所述光检测器(126),并转换成音频信号。
12.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述装置(100)用于设置在智能眼镜穿戴设备上,用于追踪眼睛的运动。
13.根据上述权利要求中任一项所述的光机电装置(100),其特征在于,所述装置(100)用于设置在移动通信设备中。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2019/056206 WO2020182301A1 (en) | 2019-03-13 | 2019-03-13 | Multiple function three dimensional scanner |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113557715A true CN113557715A (zh) | 2021-10-26 |
CN113557715B CN113557715B (zh) | 2022-12-06 |
Family
ID=65802072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093944.9A Active CN113557715B (zh) | 2019-03-13 | 2019-03-13 | 多功能三维扫描器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113557715B (zh) |
WO (1) | WO2020182301A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031094A1 (en) * | 2007-09-04 | 2009-03-12 | Philips Intellectual Property & Standards Gmbh | Laser scanning projection device with eye detection unit |
JP2014170149A (ja) * | 2013-03-05 | 2014-09-18 | Funai Electric Co Ltd | プロジェクタ |
US20170285343A1 (en) * | 2015-07-13 | 2017-10-05 | Mikhail Belenkii | Head worn display with foveal and retinal display |
CN107430194A (zh) * | 2015-01-30 | 2017-12-01 | 阿德科尔公司 | 光学三维扫描仪及其使用方法 |
-
2019
- 2019-03-13 WO PCT/EP2019/056206 patent/WO2020182301A1/en active Application Filing
- 2019-03-13 CN CN201980093944.9A patent/CN113557715B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031094A1 (en) * | 2007-09-04 | 2009-03-12 | Philips Intellectual Property & Standards Gmbh | Laser scanning projection device with eye detection unit |
JP2014170149A (ja) * | 2013-03-05 | 2014-09-18 | Funai Electric Co Ltd | プロジェクタ |
CN107430194A (zh) * | 2015-01-30 | 2017-12-01 | 阿德科尔公司 | 光学三维扫描仪及其使用方法 |
US20170285343A1 (en) * | 2015-07-13 | 2017-10-05 | Mikhail Belenkii | Head worn display with foveal and retinal display |
Also Published As
Publication number | Publication date |
---|---|
CN113557715B (zh) | 2022-12-06 |
WO2020182301A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7387797B2 (ja) | ファイバ走査プロジェクタのための方法およびシステム | |
JP2020013132A (ja) | ニアアイディスプレイ用装置 | |
KR102461253B1 (ko) | 시선 추적기를 구비하는 투사형 디스플레이 장치 | |
KR20190126880A (ko) | 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템 | |
KR101976463B1 (ko) | 3차원 영상 생성 장치 및 방법 | |
US11614624B2 (en) | Display apparatus | |
US12066619B2 (en) | Optical device with a light ray deflector | |
US10133165B2 (en) | Optical device | |
CN106353885B (zh) | 图像显示装置 | |
JP2012247529A (ja) | 光源装置および光軸調整方法 | |
US11892634B2 (en) | Multi-plane projection with laser beam scanning in augmented reality displays | |
CN110832380B (zh) | 用于校准数据眼镜的投影装置的方法以及用于执行方法的数据眼镜的投影装置 | |
WO2018179858A1 (ja) | レーザモジュール及びレーザ投射装置 | |
CN113557715B (zh) | 多功能三维扫描器 | |
EP4328651A1 (en) | Light projector module | |
CN115087907A (zh) | 显示装置 | |
JP7505312B2 (ja) | 光投射装置、物体検出装置、及び移動体 | |
CN115280762A (zh) | 显示装置 | |
KR20150024971A (ko) | 피코 프로젝터 | |
KR20150013984A (ko) | 피코 프로젝터 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |