CN116528053A - 图像的曝光方法、装置及电子设备 - Google Patents
图像的曝光方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116528053A CN116528053A CN202310502314.0A CN202310502314A CN116528053A CN 116528053 A CN116528053 A CN 116528053A CN 202310502314 A CN202310502314 A CN 202310502314A CN 116528053 A CN116528053 A CN 116528053A
- Authority
- CN
- China
- Prior art keywords
- image
- light intensity
- exposure time
- ambient light
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 230000016776 visual perception Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像的曝光方法、装置及电子设备,属于通信技术领域。上述方法包括:获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
Description
技术领域
本申请属于通信技术领域,具体涉及一种图像的曝光方法、装置及电子设备。
背景技术
现有技术中,相机在拍摄第一帧图像数据时,会按照一个固定的曝光时间去获取图像,然后根据第一帧图像的灰度值去调整下一帧图像的曝光时间,这样经过多轮的调整后即可得到一个适当的曝光时间值。然而仅根据图像的灰度值判断曝光时间的曝光方法,得到的曝光图像的视觉感知质量较差。
发明内容
本申请实施例的目的是提供一种图像的曝光方法、装置及电子设备,能够解决现有技术的图像曝光方法得到的曝光图像的视觉感知质量较差的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种图像的曝光方法,包括:
获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;
根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
第二方面,本申请实施例提供了一种图像的曝光装置,包括:
第一处理模块,用于获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
第二处理模块,用于在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;
第一确定模块,用于根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,通过获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,将所述第一环境光强分别与第一环境光强阈值、第二环境光强阈值进行大小比较,若所述第一环境光强大于或等于所述第一环境光强阈值、且小于或等于所述第二环境光强阈值,则通过对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者,并根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,由此,通过第一环境光强衡量下一帧图像是应当增加还是较少曝光时间,增加视觉感知质量,再基于第一纹理图像和第一超像素图像中的至少一者微调下一帧图像的曝光时间值,进一步增加视觉感知质量。
附图说明
图1是本申请实施例提供的图像的曝光方法的流程示意图之一;
图2是本申请实施例提供的图像的曝光方法的流程示意图之二;
图3是本申请实施例提供的一种图像的曝光装置的结构示意图;
图4是本申请实施例提供的一种电子设备的结构框图;
图5是本申请实施例提供的另一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像的曝光方法进行详细地说明。
如图1所示,本申请实施例提供了一种图像的曝光方法,该方法可以应用于电子设备,如图2所示,电子设备中的摄像模组可以包括:曝光判断模块21以及质量感知模块22。上述图像的曝光方法具体可以包括如下步骤:
步骤101,获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数。
具体的,曝光判断模块21获取拍摄图像中的第N帧曝光图像,并计算该第N帧曝光图像的环境光强,得到第一环境光强。该第一环境光强用以判断下一帧图像(即第N+1帧图像)是应该增加还是减少曝光时间。
步骤102,在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者。
具体的,曝光判断模块21将所述第一环境光强与第一环境光强阈值进行大小比较,并且将所述第一环境光强与第二环境光强阈值进行大小比较,换句话说,由于第二环境光强阈值大于第一环境光强阈值,判断第一环境光强是否处于第一环境光强范围内,该第一环境光强范围表示第一环境光强阈值与第二环境光强阈值之间的范围。
如果所述第一环境光强大于或等于所述第一环境光强阈值、且小于或等于所述第二环境光强阈值,则表示第一环境光强处于第一环境光强范围内;如果所述第一环境光强小于所述第一环境光强阈值,则表示第一环境光强处于第一环境光强范围之外;如果所述第一环境光强大于所述第二环境光强阈值,则表示第一环境光强处于第一环境光强范围之外。
如果所述第一环境光强大于或等于所述第一环境光强阈值、且小于或等于所述第二环境光强阈值,表示第一环境光强处于第一环境光强范围内,曝光判断模块21通过第一环境光强衡量第N+1帧图像应当增加还是较少曝光时间,曝光判断模块21的作用是维持图像曝光时间在一个曝光时间区间内,为进一步确定第N+1帧图像的曝光时间,需要通过质量感知模块22对所述第N帧曝光图像进行图像分解,得到用于表征曝光图像的感知质量的第一纹理图像和第一超像素图像中的至少一者。
进一步的,如图2所示,质量感知模块22包括:纹理细节感知单元221和色彩丰富度感知单元222。其中,纹理细节感知单元221包括:结构纹理分解子单元2211和高频能量计算子单元2212。所述色彩丰富度感知单元222包括:超像素分解子单元2221和色彩统计比较子单元2222。
其中,结构纹理分解子单元2211通过图像纹理分解方法对所述第N帧曝光图像进行图像分解,得到第一纹理图像,该第一纹理图像为关于第N帧曝光图像的纹理值的像素矩阵。超像素分解子单元2221通过超像素分解方法对所述第N帧曝光图像进行图像分解,得到第一超像素图像,超像素分解分解方法能够根据第N帧曝光图像的局部亮度和颜色信息将感知相近的像素区域划分为一个超像素点,该第一超像素图像为关于第N帧曝光图像的超像素值的像素矩阵。
步骤103,根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
具体的,质量感知模块22根据第一纹理图像和第一超像素图像中的至少一者,能够进一步微调第N+1帧图像的曝光时间值,进一步增加视觉感知质量。
本申请上述实施例中,通过获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,将所述第一环境光强分别与第一环境光强阈值、第二环境光强阈值进行大小比较,若所述第一环境光强大于或等于所述第一环境光强阈值、且小于或等于所述第二环境光强阈值,则通过对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者,并根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,由此,通过第一环境光强衡量下一帧图像是应当增加还是较少曝光时间,增加视觉感知质量,再基于第一纹理图像和第一超像素图像中的至少一者微调下一帧图像的曝光时间值,进一步增加视觉感知质量。
作为一可选的实施例,所述步骤101计算所述第N帧曝光图像的第一环境光强,包括:
通过图像本征分解方法对所述第N帧曝光图像进行图像分解,得到所述第N帧曝光图像的反射图像和亮度图像;
分别计算所述反射图像的反射均值以及所述亮度图像的亮度均值;
根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强,所述第一曝光时间为所述第N帧曝光图像的曝光时间。
具体的,曝光判断模块21包括:本征分解单元211和光强量化单元212。本征分解单元211通过图像本征分解方法对所述第N帧曝光图像进行图像分解,得到关于第N帧曝光图像的反射图像和亮度图像,该反射图像为关于第N帧曝光图像的反射值的像素矩阵,亮度图像为关于第N帧曝光图像的亮度值的像素矩阵。
光强量化单元212计算反射图像中反射值的均值,即得到反射均值;同理,计算亮度图像中亮度值的均值,即得到亮度均值。通过上述反射均值、亮度均值以及第N帧曝光图像的第一曝光时间,计算第N帧曝光图像的第一环境光强,通过第一环境光强判断第N+1帧图像是应该增加还是减少曝光时间,增加视觉感知质量。
作为一可选的实施例,上述根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强的步骤,具体包括:
将所述反射均值和所述第一曝光时间相乘,得到第一乘积;
计算所述亮度均值与所述第一乘积的比值,得到所述第一环境光强。
具体的,通过以下公式计算第一环境光强:
H=Inl/(Inr*T)
其中,T表示第一曝光时间;
H表示第一环境光强;
Inl表示亮度均值;
Inr表示反射均值。
作为一可选的实施例,所述步骤101计算所述第N帧曝光图像的第一环境光强之后,所述方法还包括:
在所述第一环境光强小于所述第一环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第二曝光时间后的时间;
在所述第一环境光强大于所述第二环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第二曝光时间后的时间。
具体的,如果所述第一环境光强小于所述第一环境光强阈值,则表示第一环境光强处于第一环境光强范围之外,光强量化单元212将第一曝光时间增加第二曝光时间得到的时间即为目标曝光时间。如果所述第一环境光强大于所述第二环境光强阈值,则表示第一环境光强处于第一环境光强范围之外,光强量化单元212将第一曝光时间减少第二曝光时间得到的时间即为目标曝光时间,由此通过第一环境光强判断第N+1帧图像的目标曝光时间是应该在第一曝光时间的基础上增加还是减少,以增加视觉感知质量。
进一步的,所述第二曝光时间是基于所述第一曝光时间确定的,优选的,所述第二曝光时间可以为所述第一曝光时间的五分之一时间,也可以根据需要设置为其他时间,在此不做具体限定。
作为一可选的实施例,所述步骤103根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,具体包括:
获取所述第一纹理图像的第一频率均值;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一超像素图像的第一色彩丰富度;
在所述第一色彩丰富度小于或等于第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一纹理图像的第一频率均值,并获取所述第一超像素图像的第一色彩丰富度;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值且所述第一色彩丰富度小于或等于所述第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间。
具体的,高频能量计算子单元2212获取所述第一纹理图像的第一频率均值和第N-1帧曝光图像的第二频率均值,并将所述第一频率均值与第N-1帧曝光图像的第二频率均值进行大小比较;色彩统计比较子单元2222获取所述第一超像素图像的第一色彩丰富度以及第N-1帧曝光图像的第二色彩丰富度,并将所述第一色彩丰富度与所述第N-1帧曝光图像的第二色彩丰富度进行大小比较。如果所述第一频率均值小于或等于所述第二频率均值,则认为N-1帧曝光图像达到了最佳的曝光时间,停止对目标曝光时间的调整,将第N-1帧曝光图像的第三曝光时间作为第N+1帧图像的目标曝光时间。如果所述第一色彩丰富度小于或等于所述第二色彩丰富度,则认为N-1帧曝光图像达到了最佳的曝光时间,停止对目标曝光时间的调整,将第N-1帧曝光图像的第三曝光时间作为第N+1帧图像的目标曝光时间。如果所述第一频率均值小于或等于第二频率均值且所述第一色彩丰富度小于或等于第二色彩丰富度,则认为N-1帧曝光图像达到了最佳的曝光时间,停止对目标曝光时间的调整,将第N-1帧曝光图像的第三曝光时间作为第N+1帧图像的目标曝光时间。
作为一可选的实施例,上述获取所述第一纹理图像的第一频率均值的步骤,具体包括:
对所述第一纹理图像进行离散余弦变换,得到频率图像;
获取所述频率图像中的高频能量区域中的频率值,并计算所述高频能量区域中的频率值的平均值,得到第一频率均值。
具体的,高频能量计算子单元2212对所述第一纹理图像进行离散余弦变换处理,得到频率图像;获取该频率图像中属于高频能量区域中的频率值,计算该高频能量区域职工的频率值的平均值,即得到第一频率均值。
例如:频率图像的分辨率为P*Q,其中:P为图像宽度,Q为图像高度。对于频率图像而言,其左上部分表征了图像的低频能量区域,右下部分表征了图像的高频能量区域。如:可以将频率图像的右下四分之一区域定义为高频能量区域,即宽度坐标索引为[1/2P,P],高度坐标索引为[1/2Q,Q]的区域,计算该区域的频率均值,记为第一频率均值。
作为一可选的实施例,上述获取所述第一超像素图像的第一色彩丰富度的步骤,具体包括:
获取所述第一超像素图像中的M个超像素点,M为大于1的整数;
计算所述M个超像素点中每一个超像素点的色彩均值;
将M个所述色彩均值投影到色域图中,得到M个所述色彩均值在所述色域图中的最大色域面积;
根据所述M以及所述最大色域面积,计算所述第一色彩丰富度。
具体的,色彩统计比较子单元2222获取第一超像素图像中的超像素点的数量,记为M,每一个超像素点表征一种人眼可感知的颜色。计算每一个超像素点的色彩均值,由此得到M个色彩均值。将该M个色彩均值投影到色域图中,计算M个色彩均值在色域图中包围的最大色域面积。然后计算M除以最大色域面积的值,即为第一色彩丰富度。
具体可以通过以下公式计算第一色彩丰富度:
Rn=M/Sn
其中,Rn标识第一色彩丰富度;
M表示第一超像素图像中的超像素点的数量;
Sn表示最大色域面积。
作为一可选的实施例,所述步骤104根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,还包括:
在所述第一频率均值大于所述第二频率均值、所述第一色彩丰富度大于所述第二色彩丰富度中的至少一者的情况下,将所述第一环境光强与第三环境光强阈值进行比较;
在所述第一环境光强大于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第四曝光时间后的时间;
在所述第一环境光强小于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第四曝光时间后的时间。
具体的,如果所述第一频率均值大于所述第二频率均值,则表示为未达到最佳曝光时间,仍需继续调整第N+1帧图像的曝光时间。如果所述第一色彩丰富度大于所述第二色彩丰富度,则表示为未达到最佳曝光时间,仍需继续调整第N+1帧图像的曝光时间。如果所述第一频率均值大于所述第二频率均值且所述第一色彩丰富度大于所述第二色彩丰富度,则表示为未达到最佳曝光时间,仍需继续调整第N+1帧图像的曝光时间。
将所述第一环境光强与第三环境光强阈值进行比较,如果所述第一环境光强大于所述第三环境光强阈值,则将第一曝光时间增加第四曝光时间后的时间作为目标曝光时间。如果第一环境光强小于所述第三环境光强阈值,则将第一曝光时间减少第四曝光时间后的时间作为目标曝光时间。
进一步的,所述第三环境光强阈值是基于所述第一环境光强阈值和所述第二环境光强阈值确定的,优选的,所述第三环境光强阈值为所述第一环境光强阈值和所述第二环境光强阈值之和的一半,也可以根据需要设置为其他数值,在此不做具体限定。
进一步的,所述第四曝光时间是基于所述第一曝光时间确定的,优选的,所述第四曝光时间可以为所述第一曝光时间的五分之一时间,也可以根据需要设置为其他时间,在此不做具体限定。
综上所述,本申请上述实施例,通过曝光判断模块对第N帧曝光图像进行图像分解,得到反射图像和亮度图像,然后结合反射图像以及亮度图像计算第一环境光强,以判断第N+1帧图像的曝光时间是应该增加还是减少。并且,通过质量感知模块对第N帧曝光图像进行纹理分解获取图像纹理细节图像(即第一纹理图像),随后对第一纹理图像进行离散余弦变换获取能量分布量化细节信息;并对第N帧曝光图像进行超像素分解以获取色彩种类和色域面积量化图像(即第一超像素图像)的色彩丰富度,基于图像纹理细节以及色彩丰富度微调第N+1帧图像的曝光时间,以确定能够提高视觉感知质量的目标曝光时间。
本申请实施例提供的图像的曝光方法,执行主体可以为图像的曝光装置。本申请实施例中以图像的曝光装置执行图像的曝光方法为例,说明本申请实施例提供的图像的曝光装置。
如图3所示,本申请实施例还提供了一种图像的曝光装置300,包括:
第一处理模块301,用于获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
第二处理模块302,用于在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;
第一确定模块304,用于根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
可选的,所述第一处理模块301,具体用于:
通过图像本征分解方法对所述第N帧曝光图像进行图像分解,得到所述第N帧曝光图像的反射图像和亮度图像;
分别计算所述反射图像的反射均值以及所述亮度图像的亮度均值;
根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强,所述第一曝光时间为所述第N帧曝光图像的曝光时间。
可选的,所述第一处理模块301在根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强时,具体用于:
将所述反射均值和所述第一曝光时间相乘,得到第一乘积;
计算所述亮度均值与所述第一乘积的比值,得到所述第一环境光强。
可选的,所述装置还包括:
第二确定模块,用于在所述第一环境光强小于所述第一环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第二曝光时间后的时间;
第三确定模块,用于在所述第一环境光强大于所述第二环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第二曝光时间后的时间。
可选的,所述第一确定模块303,具体用于:
获取所述第一纹理图像的第一频率均值;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一超像素图像的第一色彩丰富度;
在所述第一色彩丰富度小于或等于第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一纹理图像的第一频率均值,并获取所述第一超像素图像的第一色彩丰富度;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值且所述第一色彩丰富度小于或等于所述第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间。
可选的,所述第一确定模块303在获取所述第一纹理图像的第一频率均值时,具体用于:
对所述第一纹理图像进行离散余弦变换,得到频率图像;
获取所述频率图像中的高频能量区域中的频率值,并计算所述高频能量区域中的频率值的平均值,得到第一频率均值。
可选的,所述第一确定模块303在获取所述第一超像素图像的第一色彩丰富度时,具体用于:
获取所述第一超像素图像中的M个超像素点,M为大于1的整数;
计算所述M个超像素点中每一个超像素点的色彩均值;
将M个所述色彩均值投影到色域图中,得到M个所述色彩均值在所述色域图中的最大色域面积;
根据所述M以及所述最大色域面积,计算所述第一色彩丰富度。
可选的,所述第一确定模块303,还用于:
在满足所述第一频率均值大于所述第二频率均值、所述第一色彩丰富度大于所述第二色彩丰富度中的至少一者的情况下,将所述第一环境光强与第三环境光强阈值进行比较;
在所述第一环境光强大于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第四曝光时间后的时间;
在所述第一环境光强小于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第四曝光时间后的时间。
综上所述,本申请上述实施例,通过对第N帧曝光图像进行图像分解,得到反射图像和亮度图像,然后结合反射图像以及亮度图像计算第一环境光强,以判断第N+1帧图像的曝光时间是应该增加还是减少。并且,通过对第N帧曝光图像进行纹理分解获取图像纹理细节图像(即第一纹理图像),随后对第一纹理图像进行离散余弦变换获取能量分布量化细节信息;并对第N帧曝光图像进行超像素分解以获取色彩种类和色域面积量化图像(即第一超像素图像)的色彩丰富度,基于图像纹理细节以及色彩丰富度微调第N+1帧图像的曝光时间,以确定能够提高视觉感知质量的目标曝光时间。
本申请实施例中的图像的曝光装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像的曝光装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像的曝光装置能够实现图1至图2的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图4所示,本申请实施例还提供一种电子设备400,包括处理器401和存储器402,存储器402上存储有可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述图像的曝光方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1010,用于获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
本申请上述实施例中,通过获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,将所述第一环境光强分别与第一环境光强阈值、第二环境光强阈值进行大小比较,若所述第一环境光强大于或等于所述第一环境光强阈值、且小于或等于所述第二环境光强阈值,则通过对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者,并根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,由此,通过第一环境光强衡量下一帧图像是应当增加还是较少曝光时间,增加视觉感知质量,再基于第一纹理图像和第一超像素图像中的至少一者微调下一帧图像的曝光时间值,进一步增加视觉感知质量。
可选的,所述处理器1010在计算所述第N帧曝光图像的第一环境光强时,具体用于:
通过图像本征分解方法对所述第N帧曝光图像进行图像分解,得到所述第N帧曝光图像的反射图像和亮度图像;
分别计算所述反射图像的反射均值以及所述亮度图像的亮度均值;
根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强,所述第一曝光时间为所述第N帧曝光图像的曝光时间。
可选的,所述处理器1010在根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强时,具体用于:
将所述反射均值和所述第一曝光时间相乘,得到第一乘积;
计算所述亮度均值与所述第一乘积的比值,得到所述第一环境光强。
可选的,所述处理器1010在计算所述第N帧曝光图像的第一环境光强之后,还用于:
在所述第一环境光强小于所述第一环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第二曝光时间后的时间;
在所述第一环境光强大于所述第二环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第二曝光时间后的时间。
可选的,所述处理器1010在根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间时,具体用于:
获取所述第一纹理图像的第一频率均值;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一超像素图像的第一色彩丰富度;
在所述第一色彩丰富度小于或等于第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一纹理图像的第一频率均值,并获取所述第一超像素图像的第一色彩丰富度;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值且所述第一色彩丰富度小于或等于所述第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间。
可选的,所述处理器1010在获取所述第一纹理图像的第一频率均值时,具体用于:
对所述第一纹理图像进行离散余弦变换,得到频率图像;
获取所述频率图像中的高频能量区域中的频率值,并计算所述高频能量区域中的频率值的平均值,得到第一频率均值。
可选的,所述处理器1010在获取所述第一超像素图像的第一色彩丰富度时,具体用于:
获取所述第一超像素图像中的M个超像素点,M为大于1的整数;
计算所述M个超像素点中每一个超像素点的色彩均值;
将M个所述色彩均值投影到色域图中,得到M个所述色彩均值在所述色域图中的最大色域面积;
根据所述M以及所述最大色域面积,计算所述第一色彩丰富度。
可选的,所述处理器1010在根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间时,具体还用于:
在所述第一频率均值大于所述第二频率均值、和/或所述第一色彩丰富度大于所述第二色彩丰富度的情况下,将所述第一环境光强与第三环境光强阈值进行比较;
在所述第一环境光强大于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第四曝光时间后的时间;
在所述第一环境光强小于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第四曝光时间后的时间。
综上所述,本申请上述实施例,通过对第N帧曝光图像进行图像分解,得到反射图像和亮度图像,然后结合反射图像以及亮度图像计算第一环境光强,以判断第N+1帧图像的曝光时间是应该增加还是减少。并且,通过对第N帧曝光图像进行纹理分解获取图像纹理细节图像(即第一纹理图像),随后对第一纹理图像进行离散余弦变换获取能量分布量化细节信息;并对第N帧曝光图像进行超像素分解以获取色彩种类和色域面积量化图像(即第一超像素图像)的色彩丰富度,基于图像纹理细节以及色彩丰富度微调第N+1帧图像的曝光时间,以确定能够提高视觉感知质量的目标曝光时间。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像的曝光方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像的曝光方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像的曝光方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种图像的曝光方法,其特征在于,包括:
获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;
根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
2.根据权利要求1所述的方法,其特征在于,所述计算所述第N帧曝光图像的第一环境光强,包括:
通过图像本征分解方法对所述第N帧曝光图像进行图像分解,得到所述第N帧曝光图像的反射图像和亮度图像;
分别计算所述反射图像的反射均值以及所述亮度图像的亮度均值;
根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强,所述第一曝光时间为所述第N帧曝光图像的曝光时间。
3.根据权利要求2所述的方法,其特征在于,所述根据所述反射均值、所述亮度均值以及第一曝光时间,计算所述第N帧曝光图像的第一环境光强,包括:
将所述反射均值和所述第一曝光时间相乘,得到第一乘积;
计算所述亮度均值与所述第一乘积的比值,得到所述第一环境光强。
4.根据权利要求2所述的方法,其特征在于,所述计算所述第N帧曝光图像的第一环境光强之后,所述方法还包括:
在所述第一环境光强小于所述第一环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第二曝光时间后的时间;
在所述第一环境光强大于所述第二环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第二曝光时间后的时间。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,包括:
获取所述第一纹理图像的第一频率均值;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一超像素图像的第一色彩丰富度;
在所述第一色彩丰富度小于或等于第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间;
或者,
获取所述第一纹理图像的第一频率均值,并获取所述第一超像素图像的第一色彩丰富度;
在所述第一频率均值小于或等于第N-1帧曝光图像的第二频率均值且所述第一色彩丰富度小于或等于所述第N-1帧曝光图像的第二色彩丰富度的情况下,确定所述目标曝光时间为所述第N-1帧曝光图像的第三曝光时间。
6.根据权利要求5所述的方法,其特征在于,所述获取所述第一纹理图像的第一频率均值,包括:
对所述第一纹理图像进行离散余弦变换,得到频率图像;
获取所述频率图像中的高频能量区域中的频率值,并计算所述高频能量区域中的频率值的平均值,得到第一频率均值。
7.根据权利要求6所述的方法,其特征在于,所述获取所述第一超像素图像的第一色彩丰富度,包括:
获取所述第一超像素图像中的M个超像素点,M为大于1的整数;
计算所述M个超像素点中每一个超像素点的色彩均值;
将M个所述色彩均值投影到色域图中,得到M个所述色彩均值在所述色域图中的最大色域面积;
根据所述M以及所述最大色域面积,计算所述第一色彩丰富度。
8.根据权利要求5所述的方法,其特征在于,所述根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间,还包括:
在满足所述第一频率均值大于所述第二频率均值、所述第一色彩丰富度大于所述第二色彩丰富度中的至少一者的情况下,将所述第一环境光强与第三环境光强阈值进行比较;
在所述第一环境光强大于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间增加第四曝光时间后的时间;
在所述第一环境光强小于所述第三环境光强阈值的情况下,确定所述目标曝光时间为所述第一曝光时间减少所述第四曝光时间后的时间。
9.一种图像的曝光装置,其特征在于,包括:
第一处理模块,用于获取第N帧曝光图像,并计算所述第N帧曝光图像的第一环境光强,N为大于1的整数;
第二处理模块,用于在所述第一环境光强大于或等于第一环境光强阈值、且小于或等于第二环境光强阈值的情况下,对所述第N帧曝光图像进行图像分解,得到第一纹理图像和第一超像素图像中的至少一者;
第一确定模块,用于根据所述第一纹理图像和所述第一超像素图像中的至少一者,确定待曝光的第N+1帧图像的目标曝光时间。
10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的图像的曝光方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502314.0A CN116528053A (zh) | 2023-05-05 | 2023-05-05 | 图像的曝光方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502314.0A CN116528053A (zh) | 2023-05-05 | 2023-05-05 | 图像的曝光方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116528053A true CN116528053A (zh) | 2023-08-01 |
Family
ID=87399068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310502314.0A Pending CN116528053A (zh) | 2023-05-05 | 2023-05-05 | 图像的曝光方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116528053A (zh) |
-
2023
- 2023-05-05 CN CN202310502314.0A patent/CN116528053A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
CN114242023A (zh) | 显示屏亮度调节方法、显示屏亮度调节装置和电子设备 | |
CN114745767A (zh) | 电子设备的功耗控制方法、装置、电子设备和存储介质 | |
CN112367486A (zh) | 视频处理方法及装置 | |
CN112367465B (zh) | 图像输出方法、装置及电子设备 | |
WO2024251062A1 (zh) | 增益图的生成方法、装置、电子设备及介质 | |
CN116528053A (zh) | 图像的曝光方法、装置及电子设备 | |
CN113572974B (zh) | 图像处理方法、装置及电子设备 | |
CN112529766B (zh) | 图像的处理方法、装置及电子设备 | |
CN115797160A (zh) | 图像的生成方法及其装置 | |
CN113709370B (zh) | 图像生成方法、装置、电子设备及可读存储介质 | |
CN115514860A (zh) | 动态帧率补偿方法、图像处理电路和电子设备 | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN114125302A (zh) | 图像调整方法及装置 | |
CN115861110A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN114049473A (zh) | 图像处理方法及装置 | |
US20160292825A1 (en) | System and method to refine image data | |
CN112446848A (zh) | 图像处理方法、装置及电子设备 | |
CN114529474B (zh) | 图像处理方法和处理装置、电子设备和可读存储介质 | |
CN120355619A (zh) | 图像处理方法、装置、电子设备及计算机程序产品 | |
CN116320729A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
CN116033144A (zh) | 视频质量评估方法、装置、电子设备及可读存储介质 | |
CN117333594A (zh) | 图像处理方法、装置、设备及介质 | |
CN107948549B (zh) | 一种图像噪点调整方法和装置 | |
CN117097855A (zh) | 视频播放方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |