[go: up one dir, main page]

CN113272639B - 一种提取待测物质的光谱信息的方法 - Google Patents

一种提取待测物质的光谱信息的方法 Download PDF

Info

Publication number
CN113272639B
CN113272639B CN202080007936.0A CN202080007936A CN113272639B CN 113272639 B CN113272639 B CN 113272639B CN 202080007936 A CN202080007936 A CN 202080007936A CN 113272639 B CN113272639 B CN 113272639B
Authority
CN
China
Prior art keywords
spectrum
spectral
reflection area
substance
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080007936.0A
Other languages
English (en)
Other versions
CN113272639A (zh
Inventor
刘敏
任哲
郁幸超
黄锦标
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haippi Nanooptical Technology Co ltd
Original Assignee
Shenzhen Haippi Nanooptical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haippi Nanooptical Technology Co ltd filed Critical Shenzhen Haippi Nanooptical Technology Co ltd
Publication of CN113272639A publication Critical patent/CN113272639A/zh
Application granted granted Critical
Publication of CN113272639B publication Critical patent/CN113272639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/555—Measuring total reflection power, i.e. scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/556—Measuring separately scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/557—Detecting specular reflective parts on sample
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请公开了一种提取待测物质的光谱信息的方法，从获得的高光谱图像中选择出待测物体所占据的像素区域A(x,y)；从像素区域A(x,y)中提取镜面反射区域Aq和漫反射区域Ar，并分别求取镜面反射区域Aq的代表性光谱Iq(ω)和漫反射区域Ar的代表性光谱Ir(ω)；通过对比镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素与漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，分离光源信息和物质光谱信息，得到第一光谱不变量C(ω)。本方法无需额外的光源光谱信息，提高了分析效率。由于无需采集参比光谱，使相关产品的硬件更为简单紧凑。并且避免了光源光谱变化、采集设备基线漂移等多方面的误差，可以提高分析准确率。

Description

一种提取待测物质的光谱信息的方法
技术领域
本发明涉及高光谱分析领域，特别是一种提取待测物质的光谱信息的方法。
背景技术
高光谱成像技术可以同时获得图像信息和光谱信息，结合机器视觉技术来对物体进行判别的同时，还可以进行依赖于光谱的光谱分析，是具有很大潜力的新技术。高光谱成像技术的光谱分析能力来源于高光谱可以采集不同波长下物质所发出的光谱信息，而这些光谱信息直接反映了物体的理化成分等信息。结合图像的识别、选区等信息，高光谱成像技术可以实现目标检测-成分判断-结果输出的完全自动化。
光谱分析可以快速、无损地获取物质的成分信息，为流程控制、品质检测等提供高效廉价的解决方案，是工业自动化、物联网等系统的重要基石。物质的组成成分会对光产生吸收、反射和散射，从而改变反射或透射的光的光谱形状。物质不同的组分，对光的作用也不尽相同，也就导致了组成成分不同的物质，其光谱形状也不相同。光谱分析就是通过分析物质的光谱形状，来反向推演物质的物理性质及化学组成。
高光谱的光谱分析依赖于准确的物质光谱信息，但采集得到的原始光谱或光谱图像是同时包含物质光谱(物质反射率)、拍摄场景几何信息以及光源光谱(光源照度谱)三种信息的。而分析只需要其中的物质光谱部分，因此需要消除其他部分的影响。当前公认的解决方案是向提取待测物质的光谱信息的算法中额外提供光源光谱信息，并通过数学演算将光源光谱及场景集合信息的影响消除。
在高光谱应用中，常见的获取光源光谱的方式包括两种：记忆设备的光源的光谱，或是使用参比光路。前者是指在数据分析中，直接导入在出厂前测定的光源的光谱信息。由于光源的光谱会随着使用环境、使用时间等变化，因此此种方法的准确度较低。后者则是加装额外的机械结构，实时测定光源的光谱。但是这种方法需要设备在设计时加入额外的光机电结构，使设备复杂且难以维护。而无论哪种方式，都使数据分析的流程变得复杂，使分析效率下降。
目前，现有技术中尚缺乏一种基于高光谱的光谱分析方法，可以同时兼顾简单的硬件设计、简单的提取待测物质的光谱信息的流程和高准确度的测量。常见的高光谱分析方法主要包括样品光谱采集、参比光谱采集和提取待测物质的光谱信息的分析三个部分，在提取物质光谱信息时，都需要预先知道拍摄环境的光源光谱信息，因此不可避免地导致数据分析流程复杂，拍摄设备光机电结构复杂，或者分析准确度降低。
有鉴于此，设计出一种能够有效简便提取物体的物质光谱信息的方法是至关重要的。
发明内容
针对上述高光谱分析方法提取物质光谱信息数据分析流程复杂、拍摄设备光机电结构复杂、分析准确度低等问题。本申请的实施例提供了一种提取待测物质的光谱信息的方法以解决上述存在的问题。
在本申请的第一方面，提供了一种提取待测物质的光谱信息的方法，包括以下步骤：
S1：从获得的高光谱图像中选择出待测物体所占据的像素区域A(x,y)；
S2：从所述像素区域A(x,y)中提取所述镜面反射区域Aq和所述漫反射区域Ar，并分别求取镜面反射区域Aq的代表性光谱Iq(ω)和漫反射区域Ar的代表性光谱Ir(ω)；
S3：通过对比镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素与漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，分离光源信息和物质光谱信息，得到第一光谱不变量C(ω)。
通过该方法获得的第一光谱不变量可消除光源光谱的影响。
在一些实施例中，该方法还包括以下步骤：S4：对第一光谱不变量C(ω)进行线性变换处理，得到第二光谱不变量R(ω)，第二光谱不变量R(ω)用于光谱分析。第一光谱不变量消除了光源的影响，省去了额外的光源光谱信息，从而第一光谱不变量经过归一化得到的第二光谱不变量可进一步去除光源光谱、拍摄环境等因素的影响。
在一些实施例中，步骤S1中通过第一选区方法对待测物体进行识别并选择出所述像素区域A(x,y)，第一选区方法包括人工标注、机器视觉、光谱角映射或深度学习算法。这些方法能够高效将高光谱图像中的待测物体与背景区分开，对待测物体进行识别，并获得待测物体在高光谱图像中的像素数据。
在一些实施例中，步骤S2包括：
S21：通过第二选区方法从所述像素区域A(x,y)中提取所述镜面反射区域Aq和所述漫反射区域Ar；
S22：根据镜面反射区域Aq获取代表性光谱Iq(ω)，根据漫反射区域Ar获取代表性光谱Ir(ω)。
这两个不同区域的代表性光谱可以代表这两个区域大部分像素的光谱。
在一些实施例中，第二选区方法包括主成分分析、K均值、矩阵正交投影或基于几何形状的选区。通过第二选区方法可以获取镜面反射区域和漫反射区域，便于后续分别计算出这两个区域的光谱数据。
在一些实施例中，镜面反射区域Aq的代表性光谱Iq(ω)和漫反射区域Ar的代表性光谱Ir(ω)的求取方法包括平均光谱、亮度加权平均光谱或灰度世界算法。通过这些方法可以分别求取出代表镜面反射区域和漫反射区域的大部分像素的光谱数据。
在一些实施例中，根据镜面反射区域Aq和漫反射区域Ar分别求取镜面反射区域Aq和漫反射区域Ar中所有像素的平均光谱作为代表性光谱Iq(ω)和代表性光谱Ir(ω)：
其中，Nq和Nr分别表示镜面反射区域Aq和漫反射区域Ar内的像素数量，i(xa,ya,ω)表示在(xa,ya)位置的像素的光谱。通过计算两个区域中所有像素的平均光谱就可以获得代表这两个区域的代表性光谱。
在一些实施例中，步骤S3中第一光谱不变量C(ω)的求取方法包括有限元分解、光谱角分离或相除。
在一些实施例中，通过将镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素分别除以漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，得到第一光谱不变量C(ω)：C(ω)＝Iq(ω)/Ir(ω)。
在一些实施例中，步骤S4包括：
S41：对第一光谱不变量C(ω)进行标准正态变换得到第二光谱不变量R(ω)：
其中，<C(ω)>ω代表C(ω)在波长维度上的平均值；
S42：将第二光谱不变量R(ω)作为输入，输入到化学计量学模型进行物质光谱分析。
通过标准正态变换将第一光谱不变量修正归一化得到第二光谱不变量，进一步消除拍摄环境等因素的影响。
在一些实施例中，化学计量学模型包括偏最小二乘分析、人工神经网络或支持向量机。通过这些方法可以进行光谱分析，对物质的成分进行预测。
在一些实施例中，高光谱图像在拍摄时在各个波段下保持待测物体所占据的像素区域A(x,y)不变，且待测物体在高光谱图像中占据一定的比例。
在此要求下拍摄得到的高光谱照片可以通过本方法用同一张高光谱照片进行分析，避免了光源光谱变化、采集设备基线漂移等方面造成的误差。
在本申请的第二方面，本申请的实施例中提出了一种光谱相机，包括镜头、分光器、成像装置及数据存储和处理装置，从光源发出的光线在待测物体表面反射回来，经过镜头和分光器到达成像装置，并通过数据存储和处理装置转换成不同波长下的电信号以及数字信号，数字信号即光谱图像数据，光谱图像数据包括光源光谱信息和待测物体表面物质的光谱信息，通过第一方面提到的提取待测物质的光谱信息的方法来处理光谱图像数据以获得待测物体的物质特性。
本申请实施例提供的一种提取待测物质的光谱信息的方法，通过从待测物体所在的像素区域中提取镜面反射区域和漫反射区域区，并且分别计算出这两个区域的代表性光谱，从而计算出与光源无关的第一光谱不变量以及与光源光谱、拍摄环境等无关的第二光谱不变量。因为无需额外的光源光谱信息，故可以省去参比光谱采集部分，简化了流程，降低了数据采集时间，提高了分析效率。同时，由于无需采集参比光谱，因此在进行相应硬件设计时，也就可以省去此部分的光机电装置，使相关产品的硬件更为简单紧凑。本方法通过同一张高光谱相片完成，避免了光源光谱变化、采集设备基线漂移等多方面的误差，可以提高分析准确率。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1为本申请的实施例中的提取待测物质的光谱信息的方法的流程图；
图2为本申请的实施例中的光谱图像的示意图；
图3为本申请的实施例中的提取待测物质的光谱信息的方法的步骤S2的流程图；
图4为本申请的实施例中的提取待测物质的光谱信息的方法的步骤S4的流程图；
图5为本申请的实施例中的光谱相机的示意性框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，本发明的实施例提供了一种提取待测物质的光谱信息的方法，包括以下步骤：
S1：从获得的高光谱图像中选择出待测物体所占据的像素区域A(x,y)；
S2：从所述像素区域A(x,y)中提取所述镜面反射区域Aq和所述漫反射区域Ar，并分别求取镜面反射区域Aq的代表性光谱Iq(ω)和漫反射区域Ar的代表性光谱Ir(ω)；
S3：通过对比镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素与漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，分离光源信息和物质光谱信息，得到第一光谱不变量C(ω)。
镜面反射区域Aq的代表性光谱Iq(ω)包含有物质的光谱信息和镜面反射回来的光源信息，而漫反射区域Ar的代表性光谱Ir(ω)只包含有物质的光谱信息。
此时得到的第一光谱不变量C(ω)利用镜面反射和漫反射区域所含漫反射成分相同但镜面反射成分(即光源成分)不同的特点，成功消除掉了光源光谱的影响，只要拍摄的距离及光源位置等不发生变化，C(ω)就不变。在一些工程化场景中，可以直接使用C(ω)作为后续光谱分析的基础，有效消除光源信息依赖。
在下文中以苹果检测作为示例来描述本申请的一个实施例，在该实施例中以高光谱成像技术对苹果的甜度、酸度、硬度等进行快速预测。
首先第一步需要进行数据采集，获得待测苹果的高光谱数据，第二步是获取物质光谱信息，即从高光谱数据中提取苹果的物质光谱信息，第三步是对获取的物质光谱进行分析，获得苹果的甜度、酸度及硬度等信息，最后将这些信息呈现给测试者。其中本申请的实施例中所用到的方法主要应用在第二步。
在具体的实施例中，步骤S1中通过第一选区方法对待测物体进行识别并选择出所述像素区域A(x,y)，第一选区方法包括人工标注、机器视觉、光谱角映射或深度学习算法。在其他可选的实施例中，还可以用其他方法对待测物体进行识别，其中获得高光谱图像，记为I(x,y,ω)，其中，x，y和ω分别为表示高光谱图像的宽、高和波长；并通过第一选区方法对待测物体进行识别，并选出像素区域A(x,y)。
首先获得的高光谱图像需要满足两个的要求，如图3所示，在具体的实施例中，高光谱图像应满足以下两个条件：1、在拍摄时在各个波段下保持待测物体所占据的像素区域A(x,y)不变；2、待测物体在高光谱图像中占据一定的比例。其中，条件1具体可以采取以下两种方式实现，其一是在拍摄时，将待测物体和相机保持不变，不发生任何变化，则拍摄下来的每一个不同波长的图像中每个像素所对应空间位置是不变的；其二是可以通过光流等图像配准方法将每张图像中的像素点进行重新对准，这是在相机或被拍摄物体在拍摄中不能保持静止的情况下可以采用的方式。而条件2则需要在拍摄时使待测物体距离相机镜头的距离不要远即可。
在数学上，以一个三维矩阵I(x,y,ω)，其中，x，y和ω分别为表示高光谱图像的宽、高和波长，矩阵中每一个元素i(xa,ya,ωb)代表在画幅(xa,ya)位置的像素在拍摄波长ωb时得到的光强。因此称各不同波长下的光强数据所组成的向量为光谱，如i(xa,ya,ω)表示在(xa,ya)的像素的光谱。
在获取的高光谱图像上通过第一选区方法选出待测物体所占据的像素区域A(x,y)，在优选的实施例中，第一选区方法包括人工标注、机器视觉、光谱角映射或深度学习。还可以选择其他可行的图像识别技术，图像识别技术在目前已经非常成熟，因此可以非常方便准确地从高光谱图像中识别出待测物体，这也是目前高光谱成像分析技术中较为成熟的一部分。在本申请的实施例中，通过深度学习进行物体识别，识别出图2中待测的苹果，并找到其所占据的像素区域A(x,y)。
在具体的实施例中，如图3所示，步骤S2包括：
S21：通过第二选区方法从像素区域A(x,y)提取出镜面反射区域Aq和漫反射区域Ar；
S22：根据镜面反射区域Aq获取代表性光谱Iq(ω)，根据漫反射区域Ar获取代表性光谱Ir(ω)。
其中第二选区方法可以包括主成分分析、K均值、矩阵正交投影或基于几何形状的选区。在优选的实施例中，通过K均值聚类方法，设定聚类中心为2个，根据光谱形状，将A(x,y)内的像素聚成两类。由于苹果表面呈球形，且平均反射率较低，因此镜面反射区域的平均亮度比较高，故标记平均亮度高的一类为镜面反射区域Aq，平均亮度低的一类则标记为漫反射区域Ar。
从Aq和Ar中提取代表性光谱Iq(ω)和Ir(ω)的方法可以包括平均光谱、亮度加权平均光谱、灰世界算法等。在优选的实施例中，使用求取平均光谱的方法，根据镜面反射区域Aq和漫反射区域Ar分别求取镜面反射区域Aq和漫反射区域Ar中所有像素的平均光谱作为代表性光谱Iq(ω)和代表性光谱Ir(ω)：
其中，Nq和Nr分别表示镜面反射区域Aq和漫反射区域Ar内的像素数量，i(xa,ya,ω)表示在(xa,ya)位置的像素的光谱。
最后将镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素分别除以漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，得到第一光谱不变量C(ω)。
在具体的实施例中，步骤S3中第一光谱不变量C(ω)的求取方法包括有限元分解、光谱角分离或相除。在其他可选的实施例中，也可以采用其他合适的求取方法。
在优选的实例中，通过将镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素分别除以漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，得到第一光谱不变量C(ω)：C(ω)＝Iq(ω)/Ir(ω)。
在具体的实施例中，还包括以下步骤：
S4：对第一光谱不变量C(ω)进行线性变换处理，得到第二光谱不变量R(ω)，第二光谱不变量R(ω)用于光谱分析。
在优选的实施例中，如图4所示，步骤S4包括：
S41：对第一光谱不变量C(ω)进行标准正态变换，得到第二光谱不变量R(ω)：
其中，<C(ω)>ω代表C(ω)在波长维度上的平均值；
S42：将第二光谱不变量R(ω)作为输入，输入到化学计量学模型进行物质光谱分析。
在此步骤中，化学计量学模型包括偏最小二乘、人工神经网络或支持向量机。因此可以采用已经训练好的偏最小二乘(PLS)、人工神经网络(ANN)或支持向量机(SVM)等化学计量学模型对苹果的成分含量进行预测，并反馈给测量者，此部分的具体步骤并非本发明所关注的重点，故不做赘述。通过以上的方法可以简化高光谱分析流程，简化硬件结构，使相关产品的硬件更为简单紧凑，可通过同一张高光谱图像完成，避免光源光谱变化，避免光源光谱变化、采集设备基线漂移等多方面的误差，因此可以提高成分分析等的准确率。
本申请的实施例中还提出了一种光谱相机，如图5所示，包括镜头1、分光器2、成像装置3及数据存储和处理装置4，从光源发出的光线在待测物体表面(包括浅层内部)反射回来，经过镜头1和分光器2到达成像装置3，并通过数据存储和处理装置4转换成不同波长下的电信号以及数字信号，数字信号即光谱图像数据，光谱图像数据包括光源光谱信息和待测物体表面物质的光谱信息，通过上述提到的提取待测物质的光谱信息的方法来处理光谱图像数据以获得待测物体的物质特性。本申请的提取待测物质的光谱信息的方法的独特之处在于不需要单独记录光源的光谱信息，只通过待测物体的光谱图像数据就可以得到关于该待测物体表面物质光谱信息，即光谱不变量。由于该光谱不变量反映了待测物体表面(包括浅层内部)的光谱信息，即可以用来计算待测物体表面(包括浅层内部)的物质特性。以本申请中的苹果为例，光谱不变量可以用来计算该苹果的甜度、酸度、硬度等等。
本申请实施例公开了一种提取待测物质的光谱信息的方法，通过从待测物体所在的像素区域中提取镜面反射区域和漫反射区域区，并且分别计算出这两个区域的代表性光谱，从而计算出与光源无关的第一光谱不变量以及与光源光谱、拍摄环境等无关的第二光谱不变量。因为无需额外的光源光谱信息，故可以省去参比光谱采集部分，简化了分析流程，降低了数据采集时间，提高了分析效率。同时，由于无需采集参比光谱，因此在进行相应硬件设计时，也就可以省去此部分的光机电装置，使相关产品的硬件更为简单紧凑。本方法通过同一张高光谱相片完成，避免了光源光谱变化、采集设备基线漂移等多方面的误差，可以提高分析准确率。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种提取待测物质的光谱信息的方法，其特征在于，包括以下步骤：
S1：从获得的高光谱图像中选择出待测物体所占据的像素区域A(x,y)；
S2：从所述像素区域A(x,y)分别提取镜面反射区域Aq和漫反射区域Ar，并分别求取所述镜面反射区域Aq的代表性光谱Iq(ω)和所述漫反射区域Ar的代表性光谱Ir(ω)；
S3：通过对比所述镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素与所述漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，分离光源信息和物质光谱信息，得到第一光谱不变量C(ω)，其中，x，y和ω分别为表示所述高光谱图像的宽、高和波长。
2.根据权利要求1所述的提取待测物质的光谱信息的方法，其特征在于，还包括以下步骤：
S4：对所述第一光谱不变量C(ω)进行线性变换处理，得到第二光谱不变量R(ω)，所述第二光谱不变量R(ω)用于光谱分析。
3.根据权利要求1所述的提取待测物质的光谱信息的方法，其特征在于，所述步骤S1中通过第一选区方法对所述待测物体进行识别并选择出所述像素区域A(x,y)，所述第一选区方法包括人工标注、机器视觉、光谱角映射或深度学习算法。
4.根据权利要求1所述的提取待测物质的光谱信息的方法，其特征在于，所述步骤S2包括：
S21：通过第二选区方法从所述像素区域A(x,y)中提取所述镜面反射区域Aq和所述漫反射区域Ar；
S22：根据所述镜面反射区域Aq获取代表性光谱Iq(ω)，根据所述漫反射区域Ar获取代表性光谱Ir(ω)。
5.根据权利要求4所述的提取待测物质的光谱信息的方法，其特征在于，所述第二选区方法包括主成分分析、K均值、矩阵正交投影或基于几何形状的选区。
6.根据权利要求4所述的提取待测物质的光谱信息的方法，其特征在于，所述镜面反射区域Aq的代表性光谱Iq(ω)和所述漫反射区域Ar的代表性光谱Ir(ω)的求取方法包括平均光谱、亮度加权平均光谱或灰度世界算法。
7.根据权利要求6所述的提取待测物质的光谱信息的方法，其特征在于，根据所述镜面反射区域Aq和所述漫反射区域Ar分别求取所述镜面反射区域Aq和所述漫反射区域Ar中所有像素的平均光谱作为代表性光谱Iq(ω)和代表性光谱Ir(ω)：
其中，Nq和Nr分别表示所述镜面反射区域Aq和所述漫反射区域Ar内的像素数量，i(xa,ya,ω)表示在(xa,ya)位置的像素的光谱。
8.根据权利要求1所述的提取待测物质的光谱信息的方法，其特征在于，所述步骤S3中所述第一光谱不变量C(ω)的求取方法包括有限元分解、光谱角分离或相除。
9.根据权利要求8所述的提取待测物质的光谱信息的方法，其特征在于，通过将所述镜面反射区域Aq的代表性光谱Iq(ω)中的每一个元素分别除以所述漫反射区域Ar的代表性光谱Ir(ω)中的每一个元素，得到第一光谱不变量C(ω)：
10.根据权利要求2所述的提取待测物质的光谱信息的方法，其特征在于，所述步骤S4包括：
S41：对所述第一光谱不变量C(ω)进行标准正态变换得到所述第二光谱不变量R(ω)：
其中，<C(ω)>ω代表C(ω)在波长维度上的平均值；
S42：将所述第二光谱不变量R(ω)作为输入，输入到化学计量学模型进行物质光谱分析。
11.根据权利要求10所述的提取待测物质的光谱信息的方法，其特征在于，所述化学计量学模型包括偏最小二乘分析、人工神经网络或支持向量机。
12.根据权利要求1-11中任一项所述的提取待测物质的光谱信息的方法，其特征在于，所述高光谱图像在拍摄时在各个波段下保持所述待测物体所占据的像素区域A(x,y)不变，且所述待测物体在所述高光谱图像中占据一定的比例。
13.一种光谱相机，其特征在于，包括镜头、分光器、成像装置及数据存储和处理装置，从光源发出的光线在待测物体表面反射回来，经过所述镜头和所述分光器到达所述成像装置，并通过所述数据存储和处理装置转换成不同波长下的电信号以及数字信号，所述数字信号即光谱图像数据，所述光谱图像数据包括光源光谱信息和所述待测物体表面物质的光谱信息，通过权利要求1-12中任一项所述的提取待测物质的光谱信息的方法来处理所述光谱图像数据以获得所述待测物体的物质特性。
CN202080007936.0A 2020-03-30 2020-03-30 一种提取待测物质的光谱信息的方法 Active CN113272639B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/081962 WO2021195817A1 (zh) 2020-03-30 2020-03-30 一种提取待测物质的光谱信息的方法

Publications (2)

Publication Number Publication Date
CN113272639A CN113272639A (zh) 2021-08-17
CN113272639B true CN113272639B (zh) 2023-10-27

Family

ID=77229245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007936.0A Active CN113272639B (zh) 2020-03-30 2020-03-30 一种提取待测物质的光谱信息的方法

Country Status (6)

Country Link
US (1) US12106543B2 (zh)
EP (1) EP3940370B1 (zh)
JP (1) JP7533966B2 (zh)
KR (1) KR102727706B1 (zh)
CN (1) CN113272639B (zh)
WO (1) WO2021195817A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887543B (zh) * 2021-12-07 2022-03-18 深圳市海谱纳米光学科技有限公司 一种基于高光谱特征的箱包鉴伪方法与光谱采集装置
CN117784721B (zh) * 2023-11-14 2024-05-28 东莞德芳油墨科技有限公司 一种生产水性环保油墨智能控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919612A (en) * 2007-08-21 2009-05-01 Camtek Ltd Method and system for low cost inspection
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
CN106841118A (zh) * 2017-01-24 2017-06-13 清华大学 光谱测量系统及测量方法
CN109444082A (zh) * 2018-12-21 2019-03-08 天津九光科技发展有限责任公司 漫反射光谱测量装置及测量方法
CN109724945A (zh) * 2017-10-30 2019-05-07 富士施乐株式会社 显示装置、扫描器、显示系统以及计算机可读介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4756148B2 (ja) 2001-09-06 2011-08-24 独立行政法人情報通信研究機構 光沢・色再現システム、光沢・色再現プログラム
CN1984756B (zh) * 2004-07-13 2011-12-07 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP4917959B2 (ja) 2007-05-09 2012-04-18 日本電信電話株式会社 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
CN102597744B (zh) 2009-09-03 2016-09-07 澳大利亚国家Ict有限公司 照明谱恢复
US8553975B2 (en) * 2009-09-21 2013-10-08 Boston Scientific Scimed, Inc. Method and apparatus for wide-band imaging based on narrow-band image data
US8611674B1 (en) * 2010-01-18 2013-12-17 Disney Enterprises, Inc. System and method for invariant-based normal estimation
US9373052B2 (en) * 2010-04-21 2016-06-21 National Ict Australia Limited Shape and photometric invariants recovery from polarisation images
EP3013045B1 (en) 2013-06-19 2021-07-07 Nec Corporation Illumination estimation device, illumination estimation method, and illumination estimation program
WO2017217261A1 (ja) 2016-06-15 2017-12-21 シャープ株式会社 分光測定装置
WO2020025684A1 (en) 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information
JP7334458B2 (ja) * 2019-04-24 2023-08-29 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919612A (en) * 2007-08-21 2009-05-01 Camtek Ltd Method and system for low cost inspection
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
CN106841118A (zh) * 2017-01-24 2017-06-13 清华大学 光谱测量系统及测量方法
CN109724945A (zh) * 2017-10-30 2019-05-07 富士施乐株式会社 显示装置、扫描器、显示系统以及计算机可读介质
CN109444082A (zh) * 2018-12-21 2019-03-08 天津九光科技发展有限责任公司 漫反射光谱测量装置及测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An optimisation approach to the recovery of reflection parameters from a single hyperspectral image;Sejuti Rahman等;Computer Vision and Image Understanding;1672–1688 *
Spectral Invariance Hypothesis Study of Polarized Reflectance With the Ground-Based Multiangle SpectroPolarimetric Imager;Christine L. Bradley等;IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING;8191-8207 *

Also Published As

Publication number Publication date
EP3940370B1 (en) 2024-11-13
US12106543B2 (en) 2024-10-01
EP3940370A4 (en) 2022-11-30
KR102727706B1 (ko) 2024-11-06
EP3940370C0 (en) 2024-11-13
US20220207856A1 (en) 2022-06-30
EP3940370A1 (en) 2022-01-19
JP7533966B2 (ja) 2024-08-14
CN113272639A (zh) 2021-08-17
KR20220066168A (ko) 2022-05-23
WO2021195817A1 (zh) 2021-10-07
JP2022539281A (ja) 2022-09-08

Similar Documents

Publication Publication Date Title
CN106537125B (zh) 具有多种模式的虚拟检验系统
JP7131617B2 (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
US20080266430A1 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
CN110487737B (zh) 用于智能手机光谱检测的图像信息提取与计算方法及系统
Zhang et al. Computer vision estimation of the volume and weight of apples by using 3D reconstruction and noncontact measuring methods
WO2018223267A1 (en) Method and system for hyperspectral light field imaging
CN113272639B (zh) 一种提取待测物质的光谱信息的方法
US20230078133A1 (en) Advanced spectroscopy using a camera of a personal device
US11049249B2 (en) Method, apparatus and system for cell detection
Liang et al. 3D plant modelling via hyperspectral imaging
CN111492198B (zh) 物体形状测量装置和方法以及程序
CN111344103A (zh) 基于高光谱光学传感器的涂层区域定位方法和装置、及除胶系统
JP2019190927A (ja) 解析システム、撮像装置、および、プログラム
CN116977341B (zh) 一种尺寸测量方法及相关装置
Chen et al. Hyperspectral neural radiance fields
US20120242858A1 (en) Device and method for compensating for relief in hyperspectral images
CN112964719B (zh) 一种基于高光谱的食品果糖检测方法及装置
CN114152621A (zh) 一种处理方法及处理装置、处理系统
Thomas et al. Standard representation space for spectral imaging
CN114485942B (zh) 一种高光谱配准方法及其成像系统
JP2020134228A (ja) 自動サンプル検出機能を有する顕微分光装置
CN114846318B (zh) 表面分析方法及表面分析装置
Meng et al. Automatic surface roughness recognition system under different manufacturing processes based on deep learning
CN119780119A (zh) 基于多光谱成像的电子元器件外观缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant