[go: up one dir, main page]

CN105190431A - 优化已知光源的检测 - Google Patents

优化已知光源的检测 Download PDF

Info

Publication number
CN105190431A
CN105190431A CN201480008611.9A CN201480008611A CN105190431A CN 105190431 A CN105190431 A CN 105190431A CN 201480008611 A CN201480008611 A CN 201480008611A CN 105190431 A CN105190431 A CN 105190431A
Authority
CN
China
Prior art keywords
camera
light source
centerdot
cameras
sunlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480008611.9A
Other languages
English (en)
Other versions
CN105190431B (zh
Inventor
欧内斯特·格林贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opgal Optronics Indudtries Ltd
Original Assignee
Opgal Optronics Indudtries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opgal Optronics Indudtries Ltd filed Critical Opgal Optronics Indudtries Ltd
Publication of CN105190431A publication Critical patent/CN105190431A/zh
Application granted granted Critical
Publication of CN105190431B publication Critical patent/CN105190431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/20Responsive to malfunctions or to light source life; for protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)

Abstract

本文提供了优化已知光源检测的方法。该方法可以包括:放置具有不同频谱带的多个摄像头以获得相对于包含所述光源的视野至少部分相同的视场;由所述摄像头在不同频谱带捕获所述光源的图像;针对每个像素和所有摄像头,估计采集的阳光和采集的光源的相对比例值;针对每个像素,通过对每个像素最小化整体辐射相对于所估计的相对比例值的均方误差估计,获得阳光和光源的最佳比例值。

Description

优化已知光源的检测
技术领域
本发明涉及图像处理领域,并且更具体地,涉及光源检测。
发明背景
检测光源可能是一个关键的图像处理问题,正如例如检测跑道灯而不管强烈的太阳辐射的情况。
美国专利公开号2012007979公开了一种用于检测机场光发射器的装置,该装置具有光检测摄像头和处理器,每个光检测摄像头检测电磁频谱内的至少一个单独波段的电磁辐射,每个光检测摄像头产生多个相应的频谱图像,处理器与光检测摄像头耦合,由此从频谱图像产生机场光发射器的多频谱图像。多频谱图像包括多维频谱值集合,其中处理器还通过识别对应于多维频谱值集合的特定频谱特征来确定对应于机场光发射器的不同光发射特性的多维频谱值集合的组合,其中,处理器根据对应于所确定的组合的多维频谱值集合中的那些频谱值产生增强图像。US2012007979需要维护机场光发射器和光发射器的特定频谱特征这两者的数据库,以完成识别。此外,该装置必须在实施识别过程之前执行其相对于机场的位置的登记过程。
发明内容
本发明的一个方面提供了优化对已知光源(如跑道灯)的检测的方法,包括:(i)放置多个具有不同频谱带的摄像头以获得相对于包含光源的视野至少部分相同的视场;(ii)由摄像头在不同频谱带捕获光源图像;(iii)针对每个像素和本过程中涉及的所有摄像头,估计所采集的阳光和所采集的光源的相对比例(fraction)值;及(iv)针对每个像素,通过对每个像素最小化整体辐射相对于所估计的相对比例值的均方误差估计,获得阳光和光源的最佳比例值。
在实施例中,所捕获的图像可以是视频信号的一部分,该视频信号的大小可以设置成使得本过程中涉及的所有不同摄像头的所有像素的瞬时视场将具有相同值。此外,本过程中涉及的所有摄像头的所捕获的图像(例如作为视频信号的一部分)可以被归一化,使得电压信号与光采集功率的转换率对所有摄像头都是相等的。校准和归一化可以顾及每个摄像头的曝光时间。
本发明的这些、附加的和/或其他的方面和/或优点:在下面的详细描述中进行了阐述;可能从详细描述可推理;和/或通过本发明的实践可学习。
附图说明
为更好地理解本发明的实施例,以及示出该实施方式可以如何被付诸实施,现在将纯粹以举例的方式参考附图,整个附图中类似的标号表示相应的元件或部分。
在附图中:
图1是根据本发明的一些实施例的、用于检测已知光源的系统的高级示意性框图;
图2A和2B分别是根据本发明的一些实施例的、阳光和来自光源的光的相对于摄像头带宽的频谱示意图;
图3是根据本发明的一些实施例的、示出优化对已知光源的检测的方法的示意性高级流程图;
图4A描述了根据本发明的一些实施例的所使用的摄像头输出上的视频信号的概率密度函数;以及
图4B描述了根据本发明的一些实施例的采集到的阳光比例“a”的估计的概率密度函数。
具体实施方式
现在详细地具体参考附图,要强调的是所示的细节是通过举例的方式以及仅仅出于对本发明优选实施例进行说明性讨论的目的,并且是为了提供本发明的原理和概念方面的被认为是最有用和容易理解的描述而提出。在这一点上,没有试图比对基本理解本发明而言必要的详细程度更加详细地说明本发明的结构细节,结合附图作出的描述使本领域技术人员明白,本发明的几种形式可以如何在实践中被实施。
在详细地解释本发明的至少一个实施例之前,应当理解的是,本发明在其应用上并不限于如下描述中阐述的或附图中所示的构造细节和部件布置。本发明适用于其它实施例或正在以各种方式被实践或执行的其它实施例。此外,要理解,这里采用的措辞和术语是为了描述的目的,而不应被视为限制。
图1是根据本发明的一些实施例的用于已知光源90的检测的系统100的高级示意性框图。在图示的例子中,光源90是着陆区91的跑道灯。光源90可以是白炽灯,或者可以通过其他装置例如LED来产生光。相对于诸如从周围反射的阳光、月光等环境光或其它人工或自然光源检测光源90。
系统100包括多个具有不同频谱带的、定位成获得相对于包含光源90的视野至少部分相同的视场115的摄像头110。在视场仅部分重叠的情况下,这种重叠被用于分析。
摄像头110被设置以在不同的频谱带捕获光源90的图像。摄像头110的图像可以相对于增益和量子效率进行归一化,并针对几何效应校正。该图像可以进一步相对于不同摄像头110的像素大小进行归一化。所捕获的图像可以被调整大小以在所有摄像头110上产生每个相应像素的相等的瞬时视场。所捕获的图像可以被归一化以产生所有摄像头110的相等的传感器输出电压对光能量输入的转换率。在实施例中,所捕获的图像可以是可被校准和归一化以顾及到每个摄像头的曝光时间的视频信号的一部分。
在实施例中,一些摄像头光学器件可以是通用的,如一些摄像头110可以具有一组光学器件和若干检测器。例如,摄像头110可以具有共同的频谱反射/透射光学元件,其将光分离到不同的检测器。可以通过具有多个共享光学器件的检测器来实现多个摄像头110。例如,如果视野正缓慢变化,单个摄像头110可以用于获取几个频谱带,通过使用例如具有带通滤波器的旋转轮或诸如法布里—珀罗干涉仪的干涉装置来获取。摄像头110可以包括一个或多个视频摄像头。术语“摄像头”的使用因此不限于整个装置,而是涉及所测量的频谱范围。
系统100还包括处理器120,该处理器120配置成如下面所说明的针对每个像素和所有摄像头110,通过对每个像素最小化整体辐射相对于所估计的相对比例值的均方误差估计,估计所采集的诸如阳光85(例如从地面反射的)的环境光和来自人工人造光源90的采集光95的相对比例值。
处理器120还被配置成针对每一个像素,基于最小化获得诸如阳光85的环境光和来自人造光源90的光95的最佳比例值(称为最小均方误差),并且通过应用所获得的最佳比例值来检测光源90。处理器120可以识别以衰减或忽略具有最低信噪比的摄像头110以获得最佳比例值。具有最低信噪比的摄像头对结果的影响最大,因为它是计算链中最薄弱的环节。它具有所提供的值的最高误差,且因此可能被衰减或忽略以改善估计。在这种情况下,整个计算过程使用新数据反复进行。
处理器120可以进一步被布置成使用最佳值来增强任何一个摄像头的成像。处理器120可以进一步被布置成在不同的光谱范围内使用最佳值来增强摄像头在不同的频谱范围内的成像。
在实施例中,处理器120还可以被布置为使用最佳值以增强图像融合,例如由摄像头110捕获的图像的图像融合,和/或这些图像中的一些与附加图像或数据的图像融合。
在以下非限制性例子中,系统100和方法200(图3)被示出用于具有互斥的频谱范围的四个摄像头110。
图2A和2B分别是根据本发明的一些实施例的、阳光85和来自光源90的光95相对于摄像头110的带宽的频谱示意图。在该非限制性例子中,第一摄像头110在可见频谱带内,而三个摄像头110则在不同的近红外(NIP)频谱带中。频谱带分别表示为:lam_1..lam_2、lam_3..lam_4、lam_5..lam_6、lam_7..lam_8。
图3是根据本发明一些实施例的、示出优化对已知光源的检测的方法200的示意性高级流程图。
方法200包括以下阶段:放置几个具有不同频谱带的摄像头以获得最大共同视场(阶段210);由摄像头在不同频谱带捕获跑道光的图像(阶段220);使用先前对每个摄像头和每个光源估计或测量的相对比例值(阶段225)或可选地针对每个像素和所有摄像头估计所采集的阳光和所采集的跑道灯的相对比例值(阶段230);针对每个像素,最小化整体辐射相对于所估计的比例值的均方误差估计(阶段240);以及针对每个像素,基于最小化获得阳光和跑道灯的最佳比例值(阶段250)。
方法200还可以包括对从不同摄像头捕获的图像(例如,作为视频信号的一部分)调整大小,以在所有摄像头上产生每个相应像素的相等的瞬时视场(阶段212)。
方法200还可以包括归一化所捕获的图像(例如作为视频信号的一部分),以产生所有摄像头的相等的传感器输出电压对光能量输入的转换率(阶段214)。
方法200还可以包括识别以及衰减或忽略具有最低信噪比的摄像头以获得最佳比例值(阶段255)。如果执行阶段255,整个计算过程使用新数据反复进行。
在实施例中,方法200包括使用最佳值以增强摄像头的成像(阶段260),或增强摄像头在不同频谱范围内的成像(阶段262)。
在实施例中,方法200包括使用最佳值以增强图像的图像融合(阶段264)。
在实施例中,方法200包括使用最佳值以单独使用基于视频的信息检测作为光源的跑道灯(阶段270)。
在实施例中,方法200包括使用最佳值以通过组合基于视频的信息和附加的地理信息来检测作为光源的跑道灯(阶段275)。
阶段225,可选地,可以针对非限制性的例子通过下面解释的步骤实现230、240、250和255。以下符号用于指定与摄像头和待被检测的光源相关的参数。这些参数可以通过计算方法进行估计或在执行方法200之前进行测量。参数K_suni表示由第i个摄像头在其频谱范围内采集到的阳光的比例与所有摄像头采集到的阳光的所有比例之和的比率。参数K_bulbi表示由第i个摄像头在其频谱范围内采集到的来自人工光源的光的比例与所有摄像头采集到的来自人工光源的光的所有比例之和的比率。光源90在下文中涉及如跑道灯,这并不限制本发明的一般性。
假定由摄像头110的每个像素采集的阳光是采集的反射光85和由跑道灯90发出的光95的线性组合,处理器120被配置为针对每个像素,最佳地估计两个数a和b,这两个数描述从反射的阳光85采集到的比例值和从跑道灯90采集到的比例值。下文呈现的分析只针对一个单一像素,且必须针对全部数目的像素重复进行估计。分析主要是对白炽光源90进行。对于LED光源90或一般具有有限频谱的光源,摄像头110之一可以具有超出光源90的频谱范围的频谱范围,并且其图像可以被用于直接获得阳光85。
首先,每个频谱波段上的反射的阳光85(短—阳光,sun_sig)的比例和光源90(短—灯泡,bulb_sig)的比例被表示为每个频带中的各自源的综合辐射与来自所有摄像头110的、每个频带中的各自源的综合辐射的和之间的比率。
假定为没有任何大气且背景反射率等于一(1.0)的理想条件,则存在下述关系:
K _ sun 1 = ∫ l a m _ 1 l a m _ 2 S U N _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 S U N _ s i g ( l a m ) · d l a m ∫ l a m _ 3 l a m _ 4 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 S u n _ s i g ( l a m ) · d l a m
K _ sun 2 = ∫ l a m _ l a m _ 4 S U N _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 S u n _ s i g ( l a m ) · d l a m
K _ sun 3 = ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 S U N _ sin ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 S u n _ sin ( l a m ) · d l a m
K _ sun 4 = ∫ l a m _ 7 l a m _ 8 S U N _ sin ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 S u n _ s i g ( l a m ) · d l a m
S U N _ s i g = ∫ l a m _ 1 l a m _ 2 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 S U N _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 S U N _ s i g ( l a m ) · d l a m
其中:
K_sun1表示通过在频谱带lam_1..lam_2打开的第一摄像头110采集的SUN信号85的比例,
K_sun2表示通过在频谱带lam_3..lam_4打开的摄像头110采集的SUN信号85的比例,
K_sun3表示通过在频谱带lam_5..lam_6打开的摄像头110采集的SUN信号85的比例,
K_sun4表示通过在频谱带lam_7..lam_8打开的摄像头110采集的SUN信号85的比例,以及
SUN_sig表示由四个摄像头110在理想条件下采集到的总SUN信号85。
以类似的方式:
K _ bulb 1 = ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 b i l b _ s i g ( l a m ) · d l a m
K _ bulb 2 = ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 b u l b _ s i g ( l a m ) · d l a m
K _ bulb 3 = ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 b u l b _ s i g ( l a m ) · d l a m
K _ bulb 4 = ∫ l a m _ 7 l a m _ 8 b u l b _ s i g ( l a m ) · d l a m ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 b u l b _ s i g ( l a m ) · d l a m
b u l b _ s i g = ∫ l a m _ 1 l a m _ 2 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 3 l a m _ 4 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 5 l a m _ 6 b u l b _ s i g ( l a m ) · d l a m + ∫ l a m _ 7 l a m _ 8 b u l b _ s i g ( l a m ) · d l a m
其中:
K_bulb1表示通过在频谱带lam_1..lam_2打开的第一摄像头110采集的跑道光信号90的比例,
K_bulb2表示通过在频谱带lam_3..lam_4打开的摄像头采集的跑道光信号90的比例,
K_bulb3表示通过在频谱带lam_5..lam_6打开的摄像头采集的跑道光信号90的比例,
K_bulb4表示通过在频谱带lam_7..lam_8打开的摄像头采集的跑道光信号90的比例,以及
bulb_sig表示由四个摄像头110在理想条件下采集的总跑道光信号90。
由于SUN_sig和bulb_sig表示由四个摄像头110分别从由SUN信号85和白炽灯跑道灯90发出的光采集的总信号,必需在该过程可以用于跑道灯检测(阶段225和可选地230)之前测量或估计下面的值:
K_suni1≤i≤4
K_bulbi1≤i≤4
由摄像头110采集的总信号表示为S1..S4并且它们的和由S表示。明显地: S = Σ i = 1 4 S i
S1表示由在频谱带lam_1..lam_2采集光的第一摄像头110采集的光,
S2表示由在频谱带lam_3..lam_4采集光的摄像头110采集的光,
S3表示由在频谱带lam_5..lam_6采集光的摄像头110采集的光,
S4表示由在频谱带lam_7..lam_8采集光的摄像头110采集的光,以及
最后,对于反射的阳光85和光源90的比例值被分别定义为“a”和“b”,使得a+b=1。
误差被定义为所有摄像头110上估计的信号矢量和实际的信号矢量之间的距离,其中,每个摄像头110的估计的信号被定义为信号的阳光比例的“a”倍加上信号的光源比例的“b”倍,使用上面给出的表达式,即:
(a·K_sun1·S+b·K_bulb1·S-S1)2+(a·K_sun2·S+b·K_bulb2·S-S2)2+...
+(a·K_sun3·S+b·K_bulb3·S-S3)2+(a·K_sun4·S+b·K_bulb4-S4)2=误差2
然后通过最小化定义的误差(阶段240)来获得最佳比例值(阶段250),即通过使用正交原理,直接从使用上述给出的表达式的方程获得最佳解:
a + b = 1 a · S · Σ i = 1 4 K _ sun i · K _ bulb i + b · S · Σ i = 1 4 K _ bulb i 2 = Σ i = 1 4 S i · K _ sun i
这组方程描述了具有对于值a和b的最小误差的解。有效解的条件是:
Σ i = 1 4 K _ bulb i 2 ≠ Σ i = 1 4 K _ sun i · K _ bulb i
而如果以下公式成立,则解不存在:
Σ i = 1 4 K _ bulb i 2 = Σ i = 1 4 K _ sun i · K _ bulb i
a = S · Σ i = 1 4 K _ bulb i 2 - Σ i = 1 4 S i · K _ sun i S ( Σ i = 1 4 K _ bulb i 2 - Σ i = 1 4 K _ sun i · K _ bulb i )
b = Σ i = 1 4 S i · K _ sun i - S · Σ i = 1 4 K _ sun i · K _ bulb i S ( Σ i = 1 4 K _ bulb i 2 - Σ i = 1 4 K _ sun i · K _ bulb i )
在一个非限制性示例中,以下是lam_i的值(单位:μm),摄像头110的频谱范围的边界为(也可参见图2A和2B):lam_1=0.4μm,lam_2=0.7μm,lam_3=1.0μm,lam_4=1.3μm,lam_5=1.5μm,lam_6=1.8μm,lam_7=2.1μm,lam_8=2.4μm。此外,假定摄像头110基于光子计数检测器。
使用图2A和2B给出的这些值和阳光和光源的频谱,以下是摄像头110的k_sun和k_bulb的典型值:k_sun1=0.472,k_sun2=0.299,k_sun3=0.153,k_sun4=0.076;k_bulb1=0.114,k_bulb2=0.382,k_bulb3=0.307,k_bulb4=0.197。
使用了以下基本定理。假设独立随机变量S1、S2和它们各自的概率密度函数fS1(x)、fS2(x),变换d=g(S1,S2)定义的变量“d”的概率密度函数等于:
f d ( x , y ) = f S 1 ( x 1 ) | g , ( x 1 ) | · f S 2 ( y 1 ) | g , ( y 1 ) |
如果x1y1
d=g(x1,y1)和
g , ( x ) = d g ( x ) d x
g , ( y ) = d g ( y ) d y 的所有实根
从关于fd的数学表达式明显可见,具有最低信噪比(SNR)值的摄像头支配估计值“a”。进一步假设所有摄像头110具有相同的概率密度函数(PDF)。
本段落估计摄像头信噪比对“a”比例估计的影响。常规成像摄像头有50分贝的信噪比(或316的SNR)。假设光子计数检测器对于输入检测光的概率密度函数由泊松分布来描述。然而,对于大约316的信噪比,高斯分布和泊松分布之间的差别是微不足道的,因此,为方便起见,我们将使用高斯分布。根据上面介绍的多个频谱解a=F(S1,S2,S3,S4),以及
d a dS 1 = Σ i = 1 4 S i · K _ sun i - S · K _ sun 1 S 2 · ( Σ i = 1 4 K _ bulb i 2 - Σ i = 1 4 K _ sun i · K _ bulb i )
为了计算噪声对“a”估计的影响,以下假设:(ⅰ)所使用的摄像头110中的每一个的输出信号为0到2伏之间且平均值为1伏特,以及(ii)摄像头110的每一个的输出信号的概率密度函数是标准差为0.00316伏(SNR=50分贝)的高斯概率密度函数。
使用上文给出的数值,有可能近似如下的值:
| g i , ( x ) | = | d a dS i | = | - 0.895 |
假定S的概率密度函数由下式给出:
f S ( S ) = 1 ( 2 · π · σ 2 ) 0.5 · exp ( - ( S - 1 ) 2 2 · σ 2 )
变量a的概率密度函数由下式给出:
f a ( x ) = [ 1 0.895 · ( 2 · π · σ 2 ) 0.5 · exp ( - ( x - 0.5 ) 2 2 · σ 2 ) ] 4 ∫ 0 1 [ 1 0.895 · ( 2 · π · σ 2 ) 0.5 · exp ( - ( x - 0.5 ) 2 2 · σ 2 ) ] 4 d x ,
其中“a”限于零到一之间,0≤a≤1。
图4A描述了根据本发明的一些实施例的、使用的摄像头110输出的视频信号的概率密度函数。图4B描述了根据本发明的一些实施例的、采集到的阳光比例“a”的估计的概率密度函数。变量“a”的标准差由下式估计:
STD a = [ ∫ 0 1 ( x - 0.5 ) 2 · f a ( x ) · d x ] 0.5 = 1.187 · 10 - 3
以及“a”平均信噪比是:
SNR a = 20 · l o g ( 0.5 1.187 · 10 - 3 ) = 52.5 d b
有利地是,系统100和方法200包括无需使用任何数据库的对从诸如跑道灯的光源90采集的光比例和从阳光采集的光比例进行的直接估计。
需要的不同频谱带的数量至少两个,并且可以任意地增大。然而,实际的需求限制了所使用的不同摄像头的数量。
具有最低信噪比的摄像头110支配估计的比例“a”的概率密度函数,这是由于这样的事实,即所估计的比例“a”的概率密度函数包含所使用的摄像头110的所有概率密度函数的乘积。因此,具有最低信噪比的摄像头可以是衰减的或从计算中删除。
可以以非常不同的方式使用所估计的信息:根据由每一个摄像头采集的跑道灯的数量,可以使用所估计的信息以便增强在为比例估计而采集的频谱带中的一个频谱带中或者在像MWIR的不同频谱带中的像素或融合的图像的对比度。
跑道灯比例值的图片可以与描述同样视野的任何其它图像融合。
可以使用跑道灯比例值的图片,以便通过仅使用基于视频的信息和/或跑道灯结构几何形状自动检测跑道灯,或者该图片可以与由惯性导航系统、GPS信息等提供的附加信息一起使用。
本发明的优点可以相对于诸如上面引用的现有技术US2012007979的缺点来进行说明。在US2012007979中,每一个机场中的特定光发射器的特定频谱特征必须加以存储并与所测量的频谱特征进行比较,此外,各种大气条件的频谱特性必须加以存储并过滤出来以实现检测。因此,发射器的频谱特征和各种大气条件的频谱特性必须预先测量,保持在数据库并且实时获取以用于检测。特别是,US2012007979的检测过程不能在以前未被测量的机场中执行。此外,大气条件并不是影响图像的频谱参数的唯一环境条件。例如,围绕发射器的植被和地表的量或周围地面的反射率对于发射器具有高重要性,并且可以在相似的大气条件下发生急剧变化。最后,US2012007979需要摄像头具有相对于发射器的确切空间位置以在检测之前进行测量,该检测即称为“登记”的过程。登记对于执行US2012007979的过程来说是强制性的。
有利地是,系统100和方法200消除了现有技术的必须维护机场光发射器的配置和特定频谱特征的数据库以便完成光发射器的识别的局限性。系统100和方法200操作在任何反射条件下而不管其来源(例如,大气或地面)。此外,没有注册过程是必需的,因为该方法独立于关于特定光源和它们的空间配置的现有数据执行。系统100和方法200仅仅需要图2A和2B所示的阳光和白炽灯泡的一般特性,并且不需要关于特定光源和环境条件的具体数据。
在上述的描述中,实施例是本发明的例子或实现。“一个实施例”、“实施例”或“一些实施例”的各种出现不一定都指代相同的实施例。
虽然本发明的各种特征可以在单个实施例的上下文中进行描述,这些特征也可以单独地或以任何合适的组合方式提供。相反,虽然本发明可以出于清晰性在本文中在不同实施例的上下文中描述,本发明也可以在单个实施例中实现。
本发明的实施例可以包括来自上述公开的不同实施例的特征,并且实施例可以结合来自上述公开的其它实施例的元件。本发明在具体的实施例的上下文中的元件的公开不应被理解为限制它们单独在具体实施例中使用。
此外,应理解的是,本发明可以以各种方式执行或实施,并且本发明可以在并非上面描述所概述的实施例的实施例中实现。
本发明并不限于这些图或相应的描述。例如,流程不需要经过每个示出的框或状态来进行,也不需要完全按照说明和描述的顺序进行。
除非另有规定,否则本文使用的技术和科学术语的含义将被本发明所属的技术的技术人员普遍理解。
虽然本发明已经根据有限数量的实施例进行了描述,这些不应该被解释为对本发明的范围的限制,而是作为一些优选实施例的范例。其它可能的变化、修改和应用也在本发明的范围之内。

Claims (24)

1.一种优化已知光源的检测的方法,包括:
放置具有不同频谱带的多个摄像头,以获得相对于包含所述光源的视野至少部分相同的视场;
由所述摄像头在不同频谱带捕获所述光源的图像;
针对每个像素和所有摄像头,估计采集的阳光和采集的光源的相对比例值;
针对每个像素,通过对每个像素最小化整体辐射相对于所估计的相对比例值的均方误差估计,获得阳光和所述光源的最佳比例值。
2.根据权利要求1所述的方法,其中,所述阳光是反射的阳光。
3.根据权利要求1所述的方法,其中,所述摄像头的放置被执行以最大化所述摄像头的公共视场。
4.根据权利要求1所述的方法,还包括:对所捕获的图像调整大小以在所有摄像头上产生每个相应像素的相等的瞬时视场。
5.根据权利要求1所述的方法,还包括:归一化所捕获的图像以产生所有摄像头的相等的传感器输出电压与光能量输入的转换率。
6.根据权利要求1所述的方法,还包括:识别和衰减具有最低信噪比的摄像头以获得所述最佳比例值。
7.根据权利要求1所述的方法,还包括使用所获得的最佳比例值以增强以下项中的至少一个:所述摄像头中的任意一个的成像和在不同频谱范围内的摄像头的成像。
8.根据权利要求1所述的方法,还包括:使用所获得的最佳比例值以增强所捕获的图像的融合。
9.根据权利要求1所述的方法,还包括:使用所获得的最佳比例值以单独使用基于视频的信息检测作为所述光源的跑道灯。
10.根据权利要求1所述的方法,还包括:使用所获得的最佳比例值以通过组合基于视频的信息和附加的地理信息来检测作为所述光源的跑道灯。
11.一种用于已知光源的检测的系统,包括:
多个摄像头,所述多个摄像头具有不同频谱带,定位成具有相对于包含所述光源的视野至少部分相同的视场,所述摄像头配置成在不同频谱带捕获所述光源的图像;以及
处理器,所述处理器被布置成:针对每个像素和所有摄像头,估计采集的阳光和采集的光源的相对比例值;以及针对每个像素,通过对每个像素最小化整体辐射相对于所估计的相对比例值的均方误差估计,获得阳光和所述光源的最佳比例值,
其中,所述处理器还被布置成通过施加所获得的最佳比例值来检测所述光源。
12.根据权利要求11所述的系统,其中,所述阳光是反射的阳光。
13.根据权利要求11所述的系统,其中,所述摄像头被放置成最大化所述摄像头的公共视场。
14.根据权利要求11所述的系统,其中,所述处理器还被布置成对所捕获的图像调整大小,从而在所有摄像头上产生每个相应像素的相等的瞬时视场。
15.根据权利要求11所述的系统,其中,所述处理器还被布置成归一化所捕获的图像以产生所有摄像头的相等的传感器输出电压与光能量输入的转换率。
16.根据权利要求11所述的系统,其中,所述处理器还被布置成使用所获得的最佳比例值,以增强以下项中的至少一个:所述摄像头中的任意一个的成像和在不同频谱范围内的摄像头的成像。
17.根据权利要求11所述的系统,其中,所述处理器还被布置成使用所获得的最佳比例值以增强所捕获的图像的融合。
18.根据权利要求11所述的系统,其中,所述摄像头中的至少两个共享光学元件和检测器中的至少一个。
19.根据权利要求11所述的系统,其中,所述摄像头包括在可视范围内的一个摄像头和在红外范围内的至少一个摄像头。
20.根据权利要求11所述的系统,其中,所述光源是白炽灯。
21.根据权利要求11所述的系统,其中,所述光源是LED且所述摄像头包括在所述LED的频谱范围之外的至少一个摄像头。
22.根据权利要求11所述的系统,其中,所述光源是跑道灯且所述处理器还被配置为单独使用基于视频的信息来检测所述跑道灯。
23.根据权利要求11所述的系统,其中,所述光源是跑道灯且所述处理器还被配置成通过组合基于视频的信息和附加的地理信息来检测所述跑道灯。
24.根据权利要求11所述的系统,其中,所述多个摄像头由具有共享的光学器件的多个检测器实现。
CN201480008611.9A 2013-01-13 2014-01-13 优化已知光源的检测 Active CN105190431B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL224200 2013-01-13
IL224200A IL224200A (en) 2013-01-13 2013-01-13 Optimization of known light sources is known
PCT/IL2014/050031 WO2014108905A1 (en) 2013-01-13 2014-01-13 Optimizing detection of known light sources

Publications (2)

Publication Number Publication Date
CN105190431A true CN105190431A (zh) 2015-12-23
CN105190431B CN105190431B (zh) 2018-09-28

Family

ID=51166602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480008611.9A Active CN105190431B (zh) 2013-01-13 2014-01-13 优化已知光源的检测

Country Status (5)

Country Link
US (1) US10021353B2 (zh)
EP (1) EP2943839A4 (zh)
CN (1) CN105190431B (zh)
IL (1) IL224200A (zh)
WO (1) WO2014108905A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171755B2 (en) * 2014-09-17 2019-01-01 Elbit Systems Of America, Llc Systems and methods for detecting light sources
EP3444579B1 (en) * 2016-04-14 2021-11-10 National University Corporation Hokkaido University Spectral camera control device, spectral camera control program, spectral camera control system, aircraft equipped with said system, and spectral image capturing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700082A (zh) * 2004-04-28 2005-11-23 佳能株式会社 摄影装置及其控制方法
US20060238714A1 (en) * 2005-04-25 2006-10-26 Fox Stephen H Method and apparatus for minimizing ambient illumination effects in a vision system
CN102273194A (zh) * 2008-11-14 2011-12-07 Ati技术无限责任公司 用于使用滚动快门的成像传感器的闪烁检测电路

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US6556237B1 (en) 1998-02-24 2003-04-29 Eastman Kodak Company Field of view correction for an image handling device using a non-integral electronic camera
WO2001030011A1 (en) 1999-10-21 2001-04-26 Koninklijke Philips Electronics N.V. An adaptive digital beamforming receiver to improve signal reception
US7133477B2 (en) 2002-01-02 2006-11-07 Intel Corporation Robust low complexity multi-antenna adaptive minimum mean square error equalizer
US7217951B2 (en) 2003-09-23 2007-05-15 Stc@Unm Detector with tunable spectral response
JP4445997B2 (ja) 2004-02-25 2010-04-07 株式会社エヌ・ティ・ティ・ドコモ マルチ入力マルチ出力フィルタを用いたシーケンス推定のための装置及び方法
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
US8598798B2 (en) * 2008-03-28 2013-12-03 Core Wireless Licensing S.A.R.L Camera flash with reconfigurable emission spectrum
WO2009128065A1 (en) * 2008-04-16 2009-10-22 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US8860653B2 (en) * 2010-09-01 2014-10-14 Apple Inc. Ambient light sensing technique
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9513490B2 (en) * 2011-01-10 2016-12-06 Eastman Kodak Company Three channel delivery of stereo images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700082A (zh) * 2004-04-28 2005-11-23 佳能株式会社 摄影装置及其控制方法
US20060238714A1 (en) * 2005-04-25 2006-10-26 Fox Stephen H Method and apparatus for minimizing ambient illumination effects in a vision system
CN102273194A (zh) * 2008-11-14 2011-12-07 Ati技术无限责任公司 用于使用滚动快门的成像传感器的闪烁检测电路

Also Published As

Publication number Publication date
EP2943839A4 (en) 2016-10-19
US20150358588A1 (en) 2015-12-10
CN105190431B (zh) 2018-09-28
US10021353B2 (en) 2018-07-10
IL224200A (en) 2017-05-29
WO2014108905A1 (en) 2014-07-17
EP2943839A1 (en) 2015-11-18

Similar Documents

Publication Publication Date Title
Qiao et al. UAV-based chlorophyll content estimation by evaluating vegetation index responses under different crop coverages
CN109581372B (zh) 一种生态环境遥感监测方法
CN103164695B (zh) 一种基于多源图像信息融合的果实识别方法
CN109991583A (zh) 一种抗干扰的距离测量方法及深度相机
Silwal et al. A robust illumination-invariant camera system for agricultural applications
CN103729848A (zh) 基于光谱显著性的高光谱遥感图像小目标检测方法
Zhang et al. Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images
CN102842063A (zh) 确定红外图像中的对象的数量
CN113033279A (zh) 一种基于多源遥感影像的作物精细分类方法及其系统
CN108885277B (zh) 信息处理设备和信息处理方法
CN109872295B (zh) 基于光谱视频数据的典型目标材质属性提取方法和装置
CN104809691A (zh) 一种基于滑动窗口混合像元分解的图像融合方法
CN104463881B (zh) 一种基于光谱反射率邻域差异图和邻域概率融合的多光谱遥感影像变化检测方法
CN105913361A (zh) 一种洪涝灾害评估系统和方法
CN106841116A (zh) 人工绿色目标的检测方法和装置
CN103136733B (zh) 基于多尺度图像分割和颜色传递的遥感图像彩色增强方法
CN103366373A (zh) 基于模糊相容图的多时相遥感影像变化检测方法
CN118196151B (zh) 一种基于气象敏感性分析的光谱反演参数预测方法及装置
CN105190431A (zh) 优化已知光源的检测
US20210333400A1 (en) Method and apparatus for generating image using lidar
CN103268476B (zh) 一种遥感图像目标监测方法
CN102609963B (zh) 高光谱图像的模拟方法
CN108416297A (zh) 一种基于叶绿素荧光的植被信息快速识别方法
Gao et al. From appearance to inherence: A hyperspectral image dataset and benchmark of material classiffcation for surveillance
CN118135394A (zh) 一种基于遥感数据的耕地识别统计方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant