CN101951510B - 一种基于多尺度DoG滤波器的高动态范围压缩方法 - Google Patents
一种基于多尺度DoG滤波器的高动态范围压缩方法 Download PDFInfo
- Publication number
- CN101951510B CN101951510B CN 201010239546 CN201010239546A CN101951510B CN 101951510 B CN101951510 B CN 101951510B CN 201010239546 CN201010239546 CN 201010239546 CN 201010239546 A CN201010239546 A CN 201010239546A CN 101951510 B CN101951510 B CN 101951510B
- Authority
- CN
- China
- Prior art keywords
- dynamic range
- pixel
- high dynamic
- image
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及基于多尺度DoG滤波器的高动态范围压缩方法,用于压缩图像的动态范围使之适应显示在低动态范围的显示器和纸张上,同时保留高动态范围图像中场景的纹理细节和颜色,其步骤是:先从高动态范围图像中读取RGB值,利用多尺度的DoG滤波器计算观察各像素的适应性亮度,接着在各适应性亮度进行色度适应调整,在根据保持视锥细胞相对感应的映射关系获得各像素在显示下的视锥响应值,最终获得显示在显示设备或纸张上的图像。本发明可以有效的压缩图像的动态范围,在低动态范围的显示设备或纸张上能正确再现高动态范围图像原有场景。
Description
技术领域
本发明属于数字图像处理中再现技术领域,具体涉及一种基于多尺度DoG滤波器的高动态范围压缩方法。
背景技术
高动态范围图像通常是指图像的最大亮度和最小亮度的比值超过1000∶1的图像,并且可以直接记录人眼可见范围内的场景(其场景的亮度范围为10-6cd/m2到108cd/m2)。现有的普通低动态范围图像不能直接记录场景的亮度,而是记录场景的阶调关系,其动态范一般在100∶1左右。因此,与普通图像比,高动态范围图像色彩空间广大,层次丰富,能记录更逼真的光影效果。基于高动态范围图像的这些优点,影视、动画、远程医疗、军事等行业期望高动态范围图像能代替现有低动态范围图像,得以广泛应用。然而,高动态范围在这些行业的应用中,都会面临一个共同的问题,即在有限的显示设备上正确再现高动态范围图像的场景。
现有普遍使用的显示设备的动态范围非常有限,一般不会超过500∶1。如,CRT显示器的最大显示亮度通常在80cd/m2左右,其实际的动态在100∶1左右;印刷品所能呈现动态范围更低,上限仅为30∶1左右。在这些显示设备上显示高动态范围图像,势必要压缩图像的动态范围,以满足显示器的显示要求。动态范围的压缩会影响其原场景中纹理细节和颜色的正确再现,因此,研究怎样压缩图像的动态范围,使其图像的场景能正确地显示在低动态显示设备上称为高动态范围图像应用的关键问题。
为了解决这个问题,一些学者提出了阶调映射(tone-mapping)的方法实现动态范围的压缩。根据映射方式的不同,又可分全局阶调映射和局部阶调映射。全局阶调映射的方式是根据一个映射曲线,调整各个像素的值,使其都在可显示范围内。人眼可以适应的动态范围要大于显示设备,全局阶调设备的方法不可避免的会造成大量可见细节的丢失。局部阶调映射的方法是根据各像素和其邻域像素的关系映射各个像素。与全局阶调方法相比,局部阶调影射的方法,可是在显示设备上更好的再现图像中的细节,但是容易产生光源、噪声和虚假轮廓等问题。如Ashikhmin的(A Tone Mapping Algorithm for High Contrast Images)保持局部对比度的方法,其缺陷在于很难得到各像素在其邻域范围的正确对比度,可能导致光晕和虚假轮廓的出现。局部阶调映射方法中,基于分层的方法可以去除光晕等问题的产生,但并不能确保纹理细节的可见。如亮度非常高的高动态范围图像分成亮度层和纹理细节层后,压缩亮度层与显示器显示亮度范围内,整体亮度降低,在视觉上会影响纹理细节层的可见性。
在有限动态范围的显示设备上显示高动态范围图像,颜色再现在某些行业(如影视动画等)中非常重要。而现有的绝大多数的方法(如上讨论)都不太关注此问题。现在存在一些压缩方法结合现有的颜色模型(如CIECAM02和iCAM06)和阶调映射,改善了颜色再现的问题。但,这些模型还不能反映图像像素间颜色相互影响的关系,应用在高动态范围压缩上需要进一步完善。
发明内容
本发明的目的在于克服现有高动态范围图像压缩技术存在的上述不足,提供一种基于人眼局部相对视觉感知的高动态范围图像压缩的方法,使其高动态范围图像能正确显示在低动态范围的显示设备上。
本发明提供的技术方案是一种基于多尺度DoG滤波器的高动态范围压缩方法,包括以下步骤:
步骤1,从高动态范围图像各像素的sRGB空间值转换到XYZ空间值,图像XYZ空间中各像素(x,y)的值记为X(x,y),Y(x,y),Z(x,y);
步骤2,利用M矩阵从XYZ空间值转换到人眼视锥细胞响应空间RGB值IR(x,y),IG(x,y),IB(x,y),转换公式如下,
步骤3,利用色度适应模型根据各像素周围的亮度情况调整复制前后光源光谱分布不同导致的颜色偏差,所述色度适应性模型如下,
IRa(x,y)=IR(x,y)·(D(x,y)·(IRwr/IRw)+1-D(x,y))
IGa(x,y)=IG(x,y)·(D(x,y)·(IGwr/IGw)+1-D(x,y))
IBa(x,y)=IB(x,y)·(D(x,y)·(IBwr/IBw)+1-D(x,y))
其中,D(x,y)为高动态范围图像各像素时在各像素适应性亮度Lw(x,y)下视锥细胞的适应程度,IRwr,IGwr,IBwr为高动态范围图像复制后显示环境的光源的视觉细胞响应值,IRw,IGw,IBw为高动态范围图像的光源的视觉细胞响应值;所述各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算;
步骤4,建立高动态范围图像压缩显示前后的各像素在其适应性亮度下视锥细胞相对响应值的映射关系,具体如下:
Rd_r(x,y)=Rr(x,y)
其中,Rr(x,y)和Rd_r(x,y)分别为高动态范围图像各像素复制前后的视锥细胞的相对响应值;
步骤5,计算显示设备上图像各像素视锥细胞响应值IdR(x,y),IdG(x,y),IdB(x,y);
步骤6,根据以下公式进行偏色调整:
Gd_avg=(IdG_avg+IdG_avg+IdB_avg)/3
I′di(x,y)=(Gd_avg/Idi_avg)□Idi(x,y),i=R,G,B
其中,I和J分别为图像的宽和高;
步骤7,利用步骤2所述M矩阵的逆矩阵将各像素视锥细胞响应值转换到XYZ空间,再利用sRGB转换矩阵的逆矩阵换到用于显示的RGB值。
而且,在步骤4中,计算高动态范围图像复制前后的各视觉响应通道的相对感知,方式如下:
(1)复制前高动态范围图像各像素的视锥细胞的相对感应计算如下:
其中,
n(x,y)为指数,计算如下:
a,b和分别为0.75,1.2和0.075,Lw_max和Lw_min分别为各像素适应性亮度Lw(x,y)的最大值和最小值;
k(x,y)为各像素适应性亮度Lw(x,y)的适应性因子,计算如下:
k(x,y)=c·Lw(x,y)/Fl(x,y)
Fl(x,y)=0.2T4(x,y)Lw(x,y)+0.1(1-T4(x,y))(Lw(x,y))1/3
T(x,y)=1/(Lw(x,y)+1)
c为常数20;
BR(x,y),BG(x,y),BB(x,y)表示视锥细胞在各适应性亮度Lw(x,y)下的漂白程度,计算如下:
BR(x,y)=107/(107+Lw(x,y)(IRw/(IRw+IGw+IBw)))
BG(x,y)=107/(107+Lw(x,y)(IGw/(IRw+IGw+IBw)))
BB(x,y)=107/(107+Lw(x,y)(IBw/(IRw+IGw+IBw)))
(2)复制后图像各像素的相对感知为:
其中,IdR_w,IdG_w,IdB_w计算如下:
IdR_w=Ld_w(IRwr/(IRwr+IGwr+IBwr))
IdG_w=Ld_w(IGwr/(IRwr+IGwr+IBwr))
IdB_w=Ld_w(IBwr/(IRwr+IGwr+IBwr))
Ld_w为显示图像的适应性亮度,本发明设显示设备的最大显示亮度。
而且,所述各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算,在纸张上显示的环境中,各像素适应性亮度为:
Lw(x,y)=F(i,j)*L(x,y)
在显示器显示的环境中,各像素适应性亮度为:
Lw(x,y)=F(i,j)*L(x,y)+Lrefl
其中,Lrefl表示显示器屏幕表面的反射亮度,*表示卷积操作,DoG滤波器F(i,j)计算如下:
C=Cr_i,i=1,2,3,4
其中,Ci=C1+30(i-1),i=2,3,4,C1∈[3,5],C∈[3,11]。
而且,显示器屏幕表面的反射亮度Lrefl计算如下:
其中,Eamb为显示器所在环境中光源的光照度,单位为勒克斯,k表示显示器屏幕的反射系数。
而且,所述各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算,实现方式如下,
D(x,y)==F(0.08log10(Lw(x,y)+0.76)
其中,F为环境因子,Lw(x,y)>10cd/m2时,F=1.0;而Lw≤10cd/m2时,F=0.8。
本发明采用上述方法,可以高效的将高动态范围的图像压缩复制在现有的低动态范围的显示设备或纸张上,保持高动态范围图像中场景原有的纹理细节和颜色感知,且方法容易实现,满足一定的实效性的要求,也可用于游戏,及虚拟现实中
附图说明
图1是本发明所述的高动态范围压缩方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
图1给出本发明基于人眼局部相对视觉感知的高动态范围压缩复制方法的流程图,主要包含以下步骤:
实施例事先确定显示设备和显示环境,如在室内CRT显示器上显示,那么室内的光照度Eamb为200lux,CRT最大显示亮度为80cd/m2,屏幕反射系数k为4%,计算显示器屏幕表面的反射亮度Lrefl,如果是显示在纸张上,则不需要此步骤。
步骤1,从高动态范围图像各像素的sRGB空间值转换到XYZ空间值,图像XYZ空间中各像素(x,y)的值记为X(x,y),Y(x,y),Z(x,y)。
实施例根据输入的高动态范围图像的各个通道RGB(单位为cd/m2),转换成XYZ值(单位cd/m2),设图像各像素的Y(x,y)值为其亮度值L(x,y)。
步骤2,利用M矩阵从XYZ空间值转换到人眼视锥细胞响应空间RGB值IR(x,y),IG(x,y),IB(x,y),转换公式如下,
步骤3,利用色度适应模型根据各像素周围的亮度情况调整复制前后光源光谱分布不同导致的颜色偏差,所述色度适应性模型如下,
IRa(x,y)=IR(x,y)·(D(x,y)·(IRwr/IRw)+1-D(x,y))
IGa(x,y)=IG(x,y)·(D(x,y)·(IGwr/IGw)+1-D(x,y))
IBa(x,y)=IB(x,y)·(D(x,y)·(IBwr/IBw)+1-D(x,y))
其中,D(x,y)为高动态范围图像各像素时在各像素适应性亮度Lw(x,y)下视锥细胞的适应程度,简称为亮度局部适应性因子;IRwr,IGwr,IBwr为高动态范围图像复制后显示环境的光源的视觉细胞响应值,IRw,IGw,IBw为高动态范围图像的光源的视觉细胞响应值;所述各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算。
具体实施时,所采用的低动态显示设备可能为纸张或显示器,为便于具体实施参考起见,本发明提供了进一步技术方案:
高动态范围图像各像素时在各亮度适应性亮度Lw(x,y)下视锥细胞的适应程度D(x,y)计算如下:
D(x,y)==F(0.08log10(Lw(x,y)+0.76)
其中,F为环境因子,Lw(x,y)>10cd/m2时,F=1.0;而Lw≤10cd/m2时,F=0.8。
各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算,实现方式如下,在纸张上显示的环境中,各像素适应性亮度为:
Lw(x,y)=F(i,j)*L(x,y)
在显示器显示的环境中,各像素适应性亮度为:
Lw(x,y)=F(i,j)*L(x,y)+Lrefl
其中,Lrefl表示显示器屏幕表面的反射亮度,*表示卷积操作,DoG滤波器F(i,j)计算如下:
C=Cr_i,i=1,2,3,4
其中,Ci=C1+30(i-1),i=2,3,4,C1∈[3,5],C∈[3,11]。
显示器屏幕表面的反射亮度Lrefl则可以计算如下:
其中,Eamb为显示器所在环境中光源的光照度,单位为勒克斯,k表示显示器屏幕的反射系数。
步骤4,建立高动态范围图像压缩显示前后的各像素在其适应性亮度下视锥细胞相对响应值的映射关系,具体如下:
Rd_r(x,y)=Rr(x,y)
其中,Rr(x,y)和Rd_r(x,y)分别为高动态范围图像各像素复制前后的视锥细胞的相对响应值。
由于存在R、G、B三个通道,为便于具体实施参考起见,本发明提供了进一步技术方案:计算高动态范围图像复制前后的各视觉响应通道的相对感知,方式如下。
(1)复制前高动态范围图像各像素的视锥细胞的相对感应计算如下:
其中,
n(x,y)为指数,计算如下:
a,b和分别为0.75,1.2和0.075,Lw_mac和Lw_min分别为各像素适应性亮度Lw(x,y)的最大值和最小值;
k(x,y)为各像素适应性亮度Lw(x,y)的适应性因子,计算如下:
k(x,y)=c·Lw(x,y)/Fl(x,y)
Fl(x,y)=0.2T4(x,y)Lw(x,y)+0.1(1-T4(x,y))(Lw(x,y))1/3
T(x,y)=1/(Lw(x,y)+1)
c为常数20;
BR(x,y),BG(x,y),BB(x,y)表示视锥细胞在各适应性亮度Lw(x,y)下的漂白程度,计算如下:
BR(x,y)=107/(107+Lw(x,y)(IRw/(IRw+IGw+IBw)))
BG(x,y)=107/(107+Lw(x,y)(IGw/(IRw+IGw+IBw)))
BB(x,y)=107/(107+Lw(x,y)(IBw/(IRw+IGw+IBw)))
(2)复制后图像各像素的相对感知为:
其中,IdR_w,IdG_w,IdB_w计算如下:
IdR_w=Ld_w(IRwr/(IRwr+IGwr+IBwr))
IdG_w=Ld_w(IGwr/(IRwr+IGwr+IBwr))
IdB_w=Ld_w(IBwr/(IRwr+IGwr+IBwr))
Ld_w为显示图像的适应性亮度,本发明设显示设备的最大显示亮度。
步骤5,计算显示设备上图像各像素视锥细胞响应值IdR(x,y),IdG(x,y),IdB(x,y)。
实施例利用各象素适应性亮度值Lw(x,y)和调整后的视锥细胞响应值,计算高动态范围图像各象素各通道的视锥细胞相对响应值。由于本发明是根据保持压缩复制前后视锥细胞相对视觉响应值不变,因此再利用低动态范围图像局部相对响应值,计算低动态范围图像各象素绝对视锥细胞的响应值IdR(x,y),IdG(x,y),IdB(x,y)。
步骤6,根据以下公式进行偏色调整:
Gd_avg=(IdG_avg+IdG_avg+IdB_avg)/3
I′di(x,y)=(Gd_avg/Idi_avg)□Idi(x,y),i=R,G,B
其中,I和J分别为图像的宽和高。
步骤7,利用步骤2所述M矩阵的逆矩阵将各像素视锥细胞响应值转换到XYZ空间,再利用sRGB转换矩阵的逆矩阵换到用于显示的RGB值。该步骤的具体转换实现采用现有技术,本发明不予赘述。只需将视锥细胞响应值转换为XYZ值,再转换成sRGB值,即可用于显示设备显示,或转换为CMYK值显示在纸张上。从而实现输出用于显示或印刷的低动态范围图像。
Claims (1)
1.一种基于多尺度DoG滤波器的高动态范围的压缩方法,其特征在于,包括以下步骤:步骤1,从高动态范围图像各像素的sRGB空间值转换到XYZ空间值,图像XYZ空间中各像素(x,y)的值记为X(x,y),Y(x,y),Z(x,y);
步骤2,利用M矩阵从XYZ空间值转换到人眼视锥细胞响应空间RGB值IR(x,y),IG(x,y),IB(x,y),转换公式如下,
步骤3,利用色度适应性模型根据各像素周围的亮度情况调整复制前后光源光谱分布不同导致的颜色偏差,所述色度适应性模型如下,
IRa(x,y)=IR(x,y)·(D(x,y)·(IRwr/IRw)+1-D(x,y))
IGa(x,y)=IG(x,y)·(D(x,y)·(IGwr/IGw)+1-D(x,y))
IBa(x,y)=IB(x,y)·(D(x,y)·(IBwr/IBw)+1-D(x,y))
其中,D(x,y)为高动态范围图像各像素在其适应性亮度Lw(x,y)下视锥细胞的适应程度,IRwr,IGwr,IBwr为高动态范围图像复制后显示环境的光源的视觉细胞响应值,IRw,IGw,IBw为高动态范围图像的光源的视觉细胞响应值;所述各像素适应性亮度Lw(x,y)利用多尺度的DoG滤波器计算;
步骤4,建立高动态范围图像压缩显示前后的各像素在其适应性亮度下视锥细胞相对响应值的映射关系,具体如下:
Rd_r(x,y)=Rr(x,y)
其中,Rr(x,y)和Rd_r(x,y)分别为高动态范围图像各像素复制前后的视锥细胞的相对响应值;
步骤5,计算显示设备上图像各像素视锥细胞响应值IdR(x,y),IdG(x,y),IdB(x,y);
步骤6,根据以下公式进行偏色调整:
Gd_avg=(IdG_avg+IdR_avg+IdB_avg)/3
I′di(x,y)=(Gd_avg/Idi_avg)Idi(x,y),i=R,G,B
其中,I和J分别为图像的宽和高;Idi(x,y),i=R,G,B表示步骤5所得显示设备上图像各像素视锥细胞响应值IdR(x,y),IdG(x,y),IdB(x,y),Idi_avg为根据Idi(x,y)求取平均值,Gd_avg为根据Idi_avg求取的平均值,I′di(x,y)为偏色调整结果;
步骤7,利用步骤2所述M矩阵的逆矩阵将各像素视锥细胞响应值转换到XYZ空间,再利用sRGB转换矩阵的逆矩阵转换到用于显示的RGB值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010239546 CN101951510B (zh) | 2010-07-26 | 2010-07-26 | 一种基于多尺度DoG滤波器的高动态范围压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010239546 CN101951510B (zh) | 2010-07-26 | 2010-07-26 | 一种基于多尺度DoG滤波器的高动态范围压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101951510A CN101951510A (zh) | 2011-01-19 |
CN101951510B true CN101951510B (zh) | 2012-07-11 |
Family
ID=43454849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010239546 Expired - Fee Related CN101951510B (zh) | 2010-07-26 | 2010-07-26 | 一种基于多尺度DoG滤波器的高动态范围压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101951510B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102135841B1 (ko) * | 2011-05-10 | 2020-07-22 | 코닌클리케 필립스 엔.브이. | 높은 다이내믹 레인지 이미지 신호의 생성 및 처리 |
EP2748792B1 (en) | 2012-08-08 | 2016-12-21 | Dolby Laboratories Licensing Corporation | Image processing for hdr images |
CN106127823B (zh) * | 2016-06-24 | 2019-03-26 | 电子科技大学 | 一种彩色图像动态范围压缩方法 |
CN109360180A (zh) * | 2018-10-23 | 2019-02-19 | 凌云光技术集团有限责任公司 | 一种获取多帧宽动态图像的方法及装置 |
CN114697677B (zh) * | 2022-03-31 | 2025-01-24 | 展讯通信(上海)有限公司 | 数据压缩方法及装置、计算机可读存储介质、终端 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1459761A (zh) * | 2002-05-24 | 2003-12-03 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
CN101505421A (zh) * | 2007-12-21 | 2009-08-12 | 索尼株式会社 | 具有细节保留和噪声约束的高动态范围压缩方法 |
-
2010
- 2010-07-26 CN CN 201010239546 patent/CN101951510B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1459761A (zh) * | 2002-05-24 | 2003-12-03 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
CN101505421A (zh) * | 2007-12-21 | 2009-08-12 | 索尼株式会社 | 具有细节保留和噪声约束的高动态范围压缩方法 |
Non-Patent Citations (1)
Title |
---|
万晓霞等.基于颜色视觉的高动态范围图像压缩算法.《中国印刷与包装研究》.2009,(第1期),第53-58页. * |
Also Published As
Publication number | Publication date |
---|---|
CN101951510A (zh) | 2011-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101908330B (zh) | 一种低动态范围显示设备再现高动态范围图像的方法 | |
CN102722868B (zh) | 一种高动态范围图像色调映射方法 | |
CN102473295B (zh) | 基于区的色调映射 | |
CN101860761B (zh) | 投影显示图像颜色失真校正方法 | |
CN109274985B (zh) | 视频转码方法、装置、计算机设备和存储介质 | |
Artusi et al. | High dynamic range imaging technology [lecture notes] | |
CN101794565B (zh) | 一种图像显示方法、装置及系统 | |
CN103400342A (zh) | 基于混合色阶映射及压缩系数的高动态范围图像重构方法 | |
CN101916555B (zh) | 一种高动态范围图像的显示再现方法 | |
US8587606B2 (en) | Apparatus and method for processing image, and apparatus for displaying image | |
CN101720045B (zh) | 激光显示色域扩展中色调与亮度转换的方法 | |
CN101951510B (zh) | 一种基于多尺度DoG滤波器的高动态范围压缩方法 | |
CN102436640A (zh) | 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 | |
JP2002504274A (ja) | 出力装置でカラーをレンダリングするための外観を利用した技法 | |
CN113132696B (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
CN114866809B (zh) | 视频转换方法、装置、设备、存储介质及程序产品 | |
WO2020007166A1 (zh) | 一种视频信号处理方法及装置 | |
CN105825479B (zh) | 一种环境光下的图像增强方法 | |
WO2017203942A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR101303874B1 (ko) | 색역 매핑 장치 및 방법 | |
CN101908207B (zh) | 一种基于亮度分层的快速三边滤波器色调映射方法 | |
CN107592517B (zh) | 一种肤色处理的方法及装置 | |
CN111105359A (zh) | 一种高动态范围图像的色调映射方法 | |
CN101917631A (zh) | 一种在日常照明环境下的投影显示颜色再现方法 | |
WO2023241339A1 (zh) | 色偏校正方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120711 Termination date: 20160726 |
|
CF01 | Termination of patent right due to non-payment of annual fee |