[go: up one dir, main page]

CN111382845B - 一种基于自注意力机制的模板重建方法 - Google Patents

一种基于自注意力机制的模板重建方法 Download PDF

Info

Publication number
CN111382845B
CN111382845B CN202010171371.1A CN202010171371A CN111382845B CN 111382845 B CN111382845 B CN 111382845B CN 202010171371 A CN202010171371 A CN 202010171371A CN 111382845 B CN111382845 B CN 111382845B
Authority
CN
China
Prior art keywords
image
layer
level
sampling
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010171371.1A
Other languages
English (en)
Other versions
CN111382845A (zh
Inventor
贾可
郭昕
袁超
何尚杰
刘海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202010171371.1A priority Critical patent/CN111382845B/zh
Publication of CN111382845A publication Critical patent/CN111382845A/zh
Application granted granted Critical
Publication of CN111382845B publication Critical patent/CN111382845B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于自注意力机制的模板重建方法,首先对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取,然后分别对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差,最后将下采样图像逐层级上采样,同时融合各层级的残差信息生成各层级对应的上采样图像,最终生成的一个上采样图像即为重建的模板图像。

Description

一种基于自注意力机制的模板重建方法
技术领域
本发明属于机器视觉检测领域,具体地说,涉及一种基于自注意力机制的模板重建方法。
背景技术
基于模板比对的缺陷检测方法因其速度快、精度高等优点,因而在机器视觉检测领域中被广泛应用。而在基于模板比对的缺陷检测过程中,为了在提高检出率的同时降低误检率,往往需要进行模板重建的预处理操作,从而消除待检测对象的个体化差异。一般来说,模板重建可以分为刚性变换的方法和非刚性变换的方法两种,而非刚性变换的方法因其更广泛的适用场景,近年来受到越来越多的重视。
非刚性变换的模板重建方法,以其重建原理的不同,又可分为基于图像配准的方法和基于特征重建的方法两种,本发明属于基于特征重建的非刚性模板重建方法。在此技术领域内,传统的方法有基于核主成分分析(KPCA)的方法等,而随着近年来深度学习技术的推广应用,基于深度学习的方法也开始大行其道,其中以基于深度自编码(AutoEncoder)的图像修复技术在模板重建中的应用为主要代表。
在以深度自编码为核心技术的模板重建方法中,利用卷积神经网络(CNN)构建出用于图像下采样的编码网络(encoder)和用于特征上采样的解码网络(decoder)两个部分,输入图像先经过编码网络提取出低维的特征,再经过解码网络完成从特征到图像的重建过程,其中约束重建图像与输入图像在内容上大致相同,且被消除了如位移、色差、缺陷等个体化差异,进而利用重建图像与输入图像进行比对,从而检出输入图像中可能包含的缺陷内容。
而上述的现有技术有着如下的缺点:
1、在深度自编码网络中,经过编码网络提取出的低维特征一般不能包含有利于重建的所有细节特征,所以重建图像往往会呈现不同程度的模糊,因此导致检测误报的发生。虽然近年来提出了诸如生成式对抗网络(GAN)等方式来缓解模糊的问题,但其原理基于的是来自其他训练图像的统计信息,而非待重建图像本身,因此并不能完全解决误报问题。
2、对于解码网络而言,通常采用转置卷积(transposed-conv/deconv)的操作进行特征上采样,由于转置卷积是一病态问题,因此在最终重建结果上常会产生棋盘格伪影,进而影响到检测结果。虽然如亚像素卷积(subpixel conv)等方法被提出用于缓解这一现象,但也仍不能根除其影响。
3、由于卷积神经网络本身的可解释性较差,因此比较难于从对重建效果的观察反馈到深度自编码网络的设计,对于低维特征维度、卷积核个数等超参数的选择通常基于经验设置,难以在效果和效率上取得最优的平衡,也阻碍了重建方法在不同场景问题之间的迁移。
发明内容
本发明针对上述现有技术的缺陷,提出了一种基于自注意力机制的模板重建方法,通过自注意力机制进行查表映射,根据从图像中提取的特征计算得到残差,并通过残差实现模板图像的重建。本发明降低了检测误报的问题、避免了棋盘格伪影现象的发生、使得对重建结果的观察更加直观可控。
本发明具体实现内容如下:
一种基于自注意力机制的模板重建方法,首先对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取,然后分别对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差,最后将下采样图像逐层级上采样,同时融合各层级的残差信息生成各层级对应的上采样图像,最终生成的一个上采样图像即为重建的模板图像。
为了更好地实现本发明,进一步地,所述“对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差”的具体步骤为:
步骤S1.定义所述输入图像的各层级特征为具有c维度的三维张量,则各层级特征中每一空间位置均为长度为c的向量;
步骤S2.定义一个尺寸为c*n的二维张量查询表,将各层级特征的任意一个空间位置与尺寸为c*n的二维张量查询表叉乘得到长度为n的向量;
步骤S3.对步骤S2.中得到的长度为n的向量进行softmax归一化处理,得到另一个长度为n的向量,所得到的另一个长度为n的向量中包含的n个元素均大于或等于0,且所述n个元素之和等于1;所述n个元素即为注意力权重;
步骤S4.对于n个具有相同空间尺寸的码本数据,利用步骤S3.中所得的注意力权重进行加权求和,得到码本数据对应层级的残差;所述残差中包括从下一级的上采样图像在经过上采样后所缺失的高频细节信息。
为了更好地实现本发明,进一步地,所述二维张量查询表和码本数据均作为网络参数在网络训练中自动习得。
为了更好地实现本发明,进一步地,所述“对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取”具体是指:对输入图像进行h次图像下采样计算,得到h层下采样图像;然后对输入图像、除第h层以外的下采样图像进行特征提取;从输入图像中提取出的特征A即为输入图像所对应层级的特征;而除第h层以外的下采样图像所对应层级的特征为:从本层级的下采样图像中提取的特征与上一层级的特征的融合。
为了更好地实现本发明,进一步地,所述下采样计算包括最近邻插值、双线性插值或双三次插值计算。
为了更好地实现本发明,进一步地,所述重建的模板图像具体生成方法为:从第h层的下采样图像开始进行逐层级向上进行上采样计算;h层的下采样图像经过上采样计算后,再与第h-1层的残差逐像素的加和即可生成第h-1层的上采样图像;同理,从第h-1层往上的每一层级的上采样图像经过上采样计算后再逐像素地与上一层级的残差加和都可生成上一层级的上采样图像,在经过h次上采样计算和残差加和后的上采样图像即为重建的模板图像,且与输入图像的层级对应。
与现有技术相比具有以下优点及有益效果:
1、在利用特征计算残差的过程中,本发明采用注意力机制结合码本的方式完成计算,避免了求解转置卷积这一病态问题,从而规避了棋盘格伪影现象的发生;
2、码本中包含的高频信息易于可视化,码本数量n的物理意义非常清晰易于调节,而查询表维度c显著正相关于n,因此网络结构即超参数设置更加可控,便于通过对重建结果的观察进行直观调节;并且一般来说,c、n等维度超参一般在较小的取值时,如小于64时即可达成较好的重建效果,对比于传统的重建模型动辄数百的维度取值,网络参数和计算量都得到了显著的降低,模型计算迅速,易于在计算能力受限的低成本硬件上部署;
3、采用逐级上采样的方式进行模板重建,并且在重建过程中采用残差修正的方式,即利用了图像经过缩小再放大后的低频信息,所以模型仅需估计残差,也就是高频的细节信息,而非传统的用模型直接估计图像,需要同时估计高频和低频信息,因此问题得到了简化,从而使得模型效果更好,重建模板的清晰度更高,进而降低了检测误报的概率。
附图说明
图1为本发明流程示意图;
图2为基于本发明的模板重建系统模块图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,应当理解,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,因此不应被看作是对保护范围的限定。基于本发明中的实施例,本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种基于自注意力机制的模板重建方法,首先对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取,然后分别对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差,最后将下采样图像逐层级上采样,同时融合各层级的残差信息生成各层级对应的上采样图像,最终生成的一个上采样图像即为重建的模板图像。
实施例2:
本发明在上述实施例1的基础上,如图1所示,以一个经过四次下采样的网络为例,模板重建网络整体呈现U型结构:其中在左翼从输入图像开始,逐级下采样,而在右翼则从最小的下采样图像开始,逐级上采样;在左翼下采样过程中,方向向下细箭头表示简单的图像下采样计算,例如最近邻计算、双线性计算、双三次插值计算等;而在右翼上采样过程中,方向向上的细箭头表示图像上采样计算;如图1所示,输入图像经过第一次下采样计算生成1/2下采样图像,而1/2下采样图像经过第二次下采样生成1/4下采样图像,1/4下采样图像经过第三次下采样生成1/8下采样图像,最后1/8下采样图像经过第四次下采样生成1/16下采样图像;
除此以外,从输入图像到1/8下采样图像的每一层级都要进行特征提取,如图1所示,输入图像提取出的特征为特征A,从输入图像往下的每一个层级的特征为本层级下采样图像中提取出的特征和上一层级特征的融合,例如1/2下采样图像所在层级的特征B为特征A与1/2下采样图像中提取的特征的融合;
并且,在得到1/16下采样图像和各层级特征后,需要通过自注意力机制计算出各层级特征对应的残差,并将1/16下采样图像进行四次上采样结合各层级残差最终生成重建的模板图像;具体生成重建的模板图像操作为:将1/16下采样图像进行上采样计算,同时逐像素地与1/8下采样图像对应层级的残差D加和,生成1/8上采样图像;将1/8上采样图像进行上采样计算,同时逐像素地与1/4下采样图像对应层级的残差C加和,生成1/4上采样图像;同理再经过两次操作即可生成重建图像;
上述通过自注意力机制计算出各层级的残差的具体操作为:
1、定义各级特征均是具有某一典型维度c如8或16等的三维张量,即特征中的每一空间位置均是长度为c的向量;
2、设有一尺寸为c*n的二维张量查询表,则每一空间位置的特征与该二维张量查询表叉乘,可得到一个长度为n的向量,此操作在网络中可通过一个1x1尺寸的卷积操作高效实现;
3、对步骤2中求得的长度n的向量进行softmax归一化处理,得到另一长度为n的向量,且其中n个元素之和为1且均大于等于0,将其称为注意力权重;
4、对n个具有相同空间尺寸的码本数据,利用步骤3中求得的n维注意力权重进行加权求和,则得到用于该级重建的残差;残差中主要包含了从下一级重建图像在经过上采样计算后,所缺失的高频细节信息。
本实施例的其他部分与上述实施例1相同,故不再赘述。
实施例3:
本实施例提供一种基于自注意力机制的模板重建及检测装置,基于上述方法,如图2所示,本装置包括相互连接的训练模块和检测模块;所述训练模块包括依次连接的训练数据集、重建模型模块;所述检测模块包括依次连接的传感器、输入图像模块、差分检测模块;所述检测模块还包括与输入图像模块、查封检测模块连接的重建模板模块;所述训练模块、检测模块通过重建模型模块、重建模板模块连接;
所述训练模块为装置外部服务器,用于通过一系列训练集学习得到重建模型。检测模块为本装置主要部分,图中细箭头所示为简单数据传递与计算,空心粗箭头所示为利用卷积神经网络进行的计算;检测模块的主要工作流程如下:
1、利用传感器如相机、摄像头等对待检测对象进行图像采集,得到输入图像;
2、利用以上输入图像,以及通过训练模块得到的重建模型,得到重建模型的主要原理和流程如实施例1、2所述,故不再赘述,将得到的重建模型经过卷积神经网络的推理计算得到重建图像即模板;
3、将输入图像与重建模板两者进行差分并取绝对值,再经过适当的后处理如高低阈值过滤、连通域分析等,最终得到检测结果并完成输出。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。

Claims (4)

1.一种基于自注意力机制的模板重建方法,其特征在于,首先对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取,然后分别对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差,最后将下采样图像逐层级上采样,同时融合各层级的残差信息生成各层级对应的上采样图像,最终生成的一个上采样图像即为重建的模板图像;
所述“对各层级的特征采用自注意力机制进行查表映射得到各层级对应的残差”的具体步骤为:
步骤S1.定义所述输入图像的各层级特征为具有c维度的三维张量,则各层级特征中每一空间位置均为长度为c的向量;
步骤S2.定义一个尺寸为c*n的二维张量查询表,将各层级特征的任意一个空间位置与尺寸为c*n的二维张量查询表叉乘得到长度为n的向量;
步骤S3.对步骤S2.中得到的长度为n的向量进行softmax归一化处理,得到另一个长度为n的向量,所得到的另一个长度为n的向量中包含的n个元素均大于或等于0,且所述n个元素之和等于1;所述n个元素即为注意力权重;
步骤S4.对于n个具有相同空间尺寸的码本数据,利用步骤S3.中所得的注意力权重进行加权求和,得到码本数据对应层级的残差;所述残差中包括从下一级的上采样图像在经过上采样后所缺失的高频细节信息;
所述“对输入图像进行逐层级下采样得到下采样图像,并对下采样图像进行特征提取”具体是指:对输入图像进行h次图像下采样计算,得到h层下采样图像;然后对输入图像、除第h层以外的下采样图像进行特征提取;从输入图像中提取出的特征A即为输入图像所对应层级的特征;而除第h层以外的下采样图像所对应层级的特征为:从本层级的下采样图像中提取的特征与上一层级的特征的融合。
2.如权利要求1所述的一种基于自注意力机制的模板重建方法,其特征在于,所述二维张量查询表和码本数据均作为网络参数在网络训练中自动习得。
3.如权利要求1所述的一种基于自注意力机制的模板重建方法,其特征在于,所述下采样计算包括最近邻插值、双线性插值或双三次插值计算。
4.如权利要求1所述的一种基于自注意力机制的模板重建方法,其特征在于,所述重建的模板图像具体生成方法为:从第h层的下采样图像开始进行逐层级向上进行上采样计算;h层的下采样图像经过上采样计算后,再与第h-1层的残差逐像素的加和即可生成第h-1层的上采样图像;同理,从第h-1层往上的每一层级的上采样图像经过上采样计算后再逐像素地与上一层级的残差加和都可生成上一层级的上采样图像,在经过h次上采样计算和残差加和后的上采样图像即为重建的模板图像,且与输入图像的层级对应。
CN202010171371.1A 2020-03-12 2020-03-12 一种基于自注意力机制的模板重建方法 Expired - Fee Related CN111382845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010171371.1A CN111382845B (zh) 2020-03-12 2020-03-12 一种基于自注意力机制的模板重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010171371.1A CN111382845B (zh) 2020-03-12 2020-03-12 一种基于自注意力机制的模板重建方法

Publications (2)

Publication Number Publication Date
CN111382845A CN111382845A (zh) 2020-07-07
CN111382845B true CN111382845B (zh) 2022-09-02

Family

ID=71219046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010171371.1A Expired - Fee Related CN111382845B (zh) 2020-03-12 2020-03-12 一种基于自注意力机制的模板重建方法

Country Status (1)

Country Link
CN (1) CN111382845B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861071B (zh) * 2021-02-05 2022-09-02 哈尔滨工程大学 一种基于深度自编码的高铁牵引系统异常检测方法
CN117785053B (zh) * 2023-12-28 2024-11-29 深圳明琪紫芯科技有限公司 智能多级采样系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016014354A1 (en) * 2014-07-25 2016-01-28 Siemens Aktiengesellschaft Iterative analysis-based non-convex prior for enhanced sparse recovery
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110223234A (zh) * 2019-06-12 2019-09-10 杨勇 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016014354A1 (en) * 2014-07-25 2016-01-28 Siemens Aktiengesellschaft Iterative analysis-based non-convex prior for enhanced sparse recovery
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110223234A (zh) * 2019-06-12 2019-09-10 杨勇 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110659727A (zh) * 2019-09-24 2020-01-07 中国科学技术大学 一种基于草图的图像生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Fast Surface Defect Detection Method Based on Background Reconstruction;Chengkan Lv等;《International Journal of Precision Engineering and Manufacturing》;20191109;363–375 *
基于稀疏表示的图像超分辨率重建研究;李欣;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20170515(第05期);I138-11 *
自注意力与域适应对抗模板重建方法;贾可等;《现代信息科技》;20200925;第4卷(第18期);1-6 *

Also Published As

Publication number Publication date
CN111382845A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN113139907B (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN110136063A (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111667424A (zh) 一种基于无监督的真实图像去噪方法
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN112686119A (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN115841420A (zh) 一种基于深度学习的偏振图像超分辨率重建方法
CN115393186A (zh) 一种人脸图像超分辨率重建方法、系统、设备及介质
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN111382845B (zh) 一种基于自注意力机制的模板重建方法
CN109767389B (zh) 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN103971354A (zh) 低分辨率红外图像重建高分辨率红外图像的方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220902