[go: up one dir, main page]

CN108827909A - 基于可见近红外光谱与多目标融合的土壤快速分类方法 - Google Patents

基于可见近红外光谱与多目标融合的土壤快速分类方法 Download PDF

Info

Publication number
CN108827909A
CN108827909A CN201810581522.3A CN201810581522A CN108827909A CN 108827909 A CN108827909 A CN 108827909A CN 201810581522 A CN201810581522 A CN 201810581522A CN 108827909 A CN108827909 A CN 108827909A
Authority
CN
China
Prior art keywords
soil
profile
support vector
vector machine
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810581522.3A
Other languages
English (en)
Other versions
CN108827909B (zh
Inventor
史舟
陈颂超
贾晓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810581522.3A priority Critical patent/CN108827909B/zh
Publication of CN108827909A publication Critical patent/CN108827909A/zh
Application granted granted Critical
Publication of CN108827909B publication Critical patent/CN108827909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于可见近红外光谱与多目标融合的土壤快速分类方法。首先利用可见近红外光谱仪快速获取土壤剖面不同发生层风干研磨土样的光谱数据，进行平滑去噪后，并将数据集划分为建模集和独立验证集。其次对土壤剖面的土壤系统分类结果及建模集中土壤剖面光谱之间的相关性建立基于径向基核函数的二分类支持向量机模型。然后通过二分类支持向量机模型预测独立验证集，从二分类支持向量机模型中提取每个发生层中所有土壤类型二分类组合的得票数，并加总同一剖面中所有发生层的得票数。最终加总得票最高的土壤类型即为土壤剖面的预测土壤类型。本发明能够快速准确地预测剖面的土壤类型，为大尺度高精度土壤测绘、土地资源调查提供了新思路。

Description

基于可见近红外光谱与多目标融合的土壤快速分类方法
技术领域
本发明涉及一种土壤快速分类方法，尤其是涉及一种可见近红外光谱与多目标融合的土壤分类方法。
技术背景
准确了解土壤资源空间分布对于土壤可持续发展和管理具有十分重要的意义。对于农场主和决策者而言，土壤类型分布的科学认知有助于包括土壤资源的精准管理(比如耕作计划制定和水渠设计)。传统的土壤调查主要包括了实地勘测，实验室分析，专家知识以及后续的分类和制图等环节，因此常常费时费力。随着精准农业的持续发展，精细化的土壤类型图在土壤资源决策中的需求日益提升，传统的土壤调查已经无法满足这一要求，因此我们需要寻求一种更高效经济的技术来解决这个问题。
新近发展的近地传感技术如可见近红外光谱技术在自动化制图方面存在着巨大的潜力。目前国际上一致认为可见近红外光谱技术能够以较低的经济成本对土壤属性进行快速、精准和无损的测量(Stenberg等，2010.Stenberg,B.,Viscarra Rossel,R.A.,Mouazen,A.M.&Wetterlind,J.Visible and near infrared spectroscopy in soilscience.Advances in Agronomy，2010，107：163—215.)。此外，可见近红外光谱技术还具有同时估测多种土壤物理化学属性的优点。
土壤属性能够被土壤可见近红外光谱的机理在于土壤组成部分在其响应波段会有特征吸收峰，目前可见近红外光谱技术已经被广泛用于包括土壤有机碳、颜色，质地和pH等多种土壤属性的预测。
如何融合土壤剖面的光谱信息进行土壤分类具有很大的挑战性。目前的研究往往通过某一深度的土壤(如0-20cm)光谱来建立土壤类型的分类模型，这个方法从机理上存在着缺陷，因为土壤分类系统是基于土壤剖面中多个深度的土壤理化属性来判别土壤类型的。为了弥补上述不足，Viscarra Rossel和Webster(2011)(Viscarra Rossel,R.A.,&Webster,R.2011.Discrimination of Australian soil horizons and classes fromtheir visible–near infrared spectra.European Journal of Soil Science,62:637—647.)通过平均表层土壤发生层和底层土壤发生层的光谱数据成功将土壤光谱技术用于澳洲土壤类型的分类。Vasques等(2014)(Vasques,G.M.,Demattê,J.A.M.,Rossel,R.A.V.,Ramírez-López,L.,&Terra,F.S.2014.Soil classification using visible/near-infrared diffuse reflectance spectra from multiple depths.Geoderma,223:73—78.)则将三个固定土壤深度(0-20cm，40-60cm和80-100cm)的光谱进行拼接组合成一个新的光谱，然后通过分类模型较好地预测了巴西的土壤类型。上述两个研究的不足在于：1)平均土壤表层和底层的光谱数据会削弱土壤光谱的特征，忽略了不同层次的光谱分类信息，从而导致分类精度降低；2)合并固定土壤深度光谱的方法忽视了土壤分类系统中所用的诊断层来自于土壤发生层这个重要前提，从而降低了土壤分类的科学性。因此将土壤发生层结合可见近红外光谱技术是快速准确土壤分类的一个新方向。
目前土壤发生层结合可见近红外光谱技术中存在的一个难题是如何处理不同土壤剖面中土壤发生层数目不统一的现象。在中国土壤系统分类中，大部分土壤剖面往往含有A，B和C三个发生层，但是有些土壤类型比如淋溶土和雏形土仅有A和B层，而新成土仅有A和C层。因此，亟待开发一种新的算法用来融合不同数目土壤发生层可见近红外光谱信息从而进行土壤的快速准确分类。
支持向量机是基于结构风险最优化的机器学习算法，可用于分类和回归分析，并能够避免过度拟合。支持向量机由最初的二分类发展而来。
发明内容
本发明的目的在于提供一种基于可见近红外光谱与多目标融合的土壤快速分类方法，本发明采用的技术方案的步骤如下：
基于可见近红外光谱与多目标融合的土壤快速分类方法，其包括以下步骤：
步骤(1)：采集不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集；
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨过筛，然后使用可见近红外光谱仪和接触式探头(High Intensity Contact Probe,Analytical SpectralDevices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱；
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段，并对保留下来的光谱数据进行平滑去噪处理；
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据；
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型；
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型的决策值，然后根据决策值确定该两种类型的投票结果，对所有n种土壤类型共得到个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型；
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度；当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类预测。
作为优选，步骤(2)中，可见近红外光谱仪选择ASD FieldSpec 3可见近红外光谱仪，其光谱波长范围为350-2500nm，光谱间隔为1nm。
作为优选，步骤(2)中，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
作为优选，步骤(3)中，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。
作为优选，通过二阶21窗口的Savitzky–Golay方法对光谱进行平滑去噪，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
作为优选，步骤(4)中，对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集。
作为优选，步骤(5)中，所述的二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，是超平面的法向量，是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过来控制从原点沿着法向量到超平面的偏移量；表示在的条件下响应变量yi的输出值；
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保位于间隔超平面正确一侧的关系。
作为优选，步骤(5)中，二分类支持向量机模型中采用的核函数为径向基函数。
作为优选，步骤(5)中，二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好。
作为优选，步骤(6)中，若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
与背景技术相比，本发明具有的有益效果是：本发明提出的可见近红外光谱结合多目标融合支持向量机能够快速准确地预测土壤剖面的土壤类型，不仅减少了传统土壤分类对专家知识的依赖，同时大大降低了传统土壤分类中大量实验室理化分析的测试费用，为大尺度高精度土壤测绘，土地资源调查提供了新思路。
附图说明
图1是本实施方式的土壤剖面分布图。
图2是本实施方式的土壤典型剖面的实际采样图，研磨干样图和土壤可近近红外光谱图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的基于可见近红外光谱与多目标融合的土壤快速分类方法，包括以下步骤：
步骤(1)：采集待分类预测的区域内不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集。土壤剖面数据集中的土壤剖面可尽量多，以覆盖所有土壤类型。
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨并过2mm孔筛，然后使用ASD FieldSpec 3可见近红外光谱仪(光谱波长范围为350-2500nm，光谱间隔为1nm)和接触式探头(High Intensity Contact Probe,Analytical Spectral Devices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱，平均时将同一光谱波长下不同光谱中的光谱值进行算数平均。另外，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段。预处理时，可以对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。然后对保留下来的光谱数据通过二阶21窗口的Savitzky–Golay方法进行平滑去噪处理，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据。需要注意的是，本步骤中对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集，不能将同一土壤剖面中的不同土壤发生层样本划分至不同集。
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型。
二分类支持向量机模型的主要原理是通过损失函数优化支持向量从而得到最佳的分类效果。本发明中二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，是超平面的法向量，是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过来控制从原点沿着法向量到超平面的偏移量；表示在的条件下响应变量yi的输出值；如果则该损失函数的值为0，表明位于间隔超平面正确分类的一侧；对于间隔超平面分类错误的数据则其损失函数的值与距间隔超平面的距离成正比。
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保位于间隔超平面正确一侧的关系。
该二分类支持向量机模型中采用的核函数为径向基函数。
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型A、B的决策值，将A定义为第一类别，B定义为第二类别，若决策值为正A得一票，否则B得一票。根据决策值确定该两种类型的投票结果后，对所有n种土壤类型共得到个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型。若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值(二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好)，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度。当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类预测。预测时，也采用与步骤(2)和(3)相同的方法，采集每个土壤剖面各个发生层的样本的初始光谱，然后进行相同的预处理后输入二分类支持向量机模型，得到其预测土壤类型。
下面结合附图和实施例对本发明作进一步说明。
实施例：
本实施例中，选取浙江省典型土壤剖面的可见近红外光谱进行建模，最终得到土壤类型快速分类模型。
本发明的基于可见近红外光谱与多目标融合的土壤快速分类方法，包括以下步骤：
步骤(1)：根据专家知识采集浙江省各地131个土壤剖面各个发生层的样本，依据中国土壤系统分类，土壤专家通过剖面诊断及实验室理化分析得到每个土壤剖面的土壤类型，形成土壤剖面数据集。土壤剖面的空间分布如图1。
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨并过2mm孔筛，然后使用ASD FieldSpec 3可见近红外光谱仪和高强度接触式探头(High Intensity ContactProbe,Analytical Spectral Devices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，ASD FieldSpec 3可见近红外光谱仪光谱波长范围350-2500nm，光谱间隔为1nm。每个发生层样本测量10组光谱，然后经过算术平均得到该样本的初始光谱，平均时将同一光谱波长下不同光谱中的光谱值进行算数平均。另外，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。以两个典型土壤剖面为例，土壤剖面的采样图、研磨干样图和可见近红外光谱图如图2所示，每个剖面分为A、B、C三个发生层。
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，以去除初始光谱中噪音超标的波段。本实施例在预处理时，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段，以降低光谱两端的仪器噪音。然后对保留下来的光谱数据通过二阶21窗口的Savitzky–Golay方法进行平滑去噪处理，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，即将同一类土壤类型的剖面划分至同一分区。分区完成后，对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集，保证每个土壤类型都有建模样本和验证样本。建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据。需要注意的是，本步骤中对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集，不能将同一土壤剖面中的不同土壤发生层样本划分至不同集。本实施例中，土壤剖面样本的2/3进入建模集，其余1/3进入独立验证集。最终建模集和验证集分别包含89和42个土壤剖面。
步骤(5)土壤分类模型的建立：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型。
二分类支持向量机模型的主要原理是通过损失函数优化支持向量从而得到最佳的分类效果。本发明中二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，是超平面的法向量，是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过来控制从原点沿着法向量到超平面的偏移量；表示在的条件下响应变量yi的输出值；如果则该损失函数的值为0，表明位于间隔超平面正确分类的一侧；对于间隔超平面分类错误的数据则其损失函数的值与距间隔超平面的距离成正比。
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保位于间隔超平面正确一侧的关系。
该二分类支持向量机模型中采用的核函数为径向基函数。
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型(n为土壤剖面数据集中的土壤类型总数)中的任意两种类型(记为A、B)进行一次投票，通过二分类支持向量机模型分别得到两种类型A、B的决策值，将A定义为第一类别，B定义为第二类别，若决策值为正A得一票，否则B得一票。根据决策值确定该两种类型的投票结果后，对所有n种土壤类型共得到个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型。若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值(二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好)，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
步骤(7)独立验证集预测精度评价：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度。
本实施例通过分类准确度来评价独立验证集的预测精度评价的结果如表1所示，且由表1可知，独立验证集的总体分类精度为69％，具有较好的分类效果。
表1独立验证集土壤类型预测精度
该模块预测精度满足要求，可用于土壤类预测。预测时，也采用与步骤(2)和(3)相同的方法，采集每个土壤剖面各个发生层的样本的初始光谱，然后进行相同的预处理后输入二分类支持向量机模型，得到其预测土壤类型。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，包括以下步骤：
步骤(1)：采集不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集；
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨过筛，然后使用可见近红外光谱仪和接触式探头测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱；
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段，并对保留下来的光谱数据进行平滑去噪处理；
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据；
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型；
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型的决策值，然后根据决策值确定该两种类型的投票结果，对所有n种土壤类型共得到投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型；
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度；当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类预测。
2.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(2)中，可见近红外光谱仪选择ASD FieldSpec 3可见近红外光谱仪，其光谱波长范围为350-2500nm，光谱间隔为1nm。
3.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(2)中，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
4.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(3)中，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。
5.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，通过二阶21窗口的Savitzky–Golay方法对光谱进行平滑去噪，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
6.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(4)中，对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集。
7.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(5)中，所述的二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，是超平面的法向量，是第i个z维的实向量，b是一个介于-1和1之间的变量，通过来控制从原点沿着法量向到超平面的偏移量；表示在的条件下响应变量yi的输出值；
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保位于间隔超平面正确一侧的关系。
8.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(5)中，二分类支持向量机模型中采用的核函数为径向基函数。
9.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(5)中，二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好。
10.根据权利要求1所述的基于可见近红外光谱与多目标融合支持向量机的土壤快速分类方法，其特征在于，步骤(6)中，若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
CN201810581522.3A 2018-06-07 2018-06-07 基于可见近红外光谱与多目标融合的土壤快速分类方法 Active CN108827909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810581522.3A CN108827909B (zh) 2018-06-07 2018-06-07 基于可见近红外光谱与多目标融合的土壤快速分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810581522.3A CN108827909B (zh) 2018-06-07 2018-06-07 基于可见近红外光谱与多目标融合的土壤快速分类方法

Publications (2)

Publication Number Publication Date
CN108827909A true CN108827909A (zh) 2018-11-16
CN108827909B CN108827909B (zh) 2020-01-24

Family

ID=64144718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810581522.3A Active CN108827909B (zh) 2018-06-07 2018-06-07 基于可见近红外光谱与多目标融合的土壤快速分类方法

Country Status (1)

Country Link
CN (1) CN108827909B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669023A (zh) * 2018-12-05 2019-04-23 浙江大学 一种基于多传感器融合的土壤属性预测方法
CN113436153A (zh) * 2021-06-11 2021-09-24 中国科学院南京土壤研究所 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法
CN114324216A (zh) * 2022-01-06 2022-04-12 中国科学院南京土壤研究所 一种基于土层组合特征的土壤数值分类方法
CN118225710A (zh) * 2024-05-23 2024-06-21 中兵勘察设计研究院有限公司 基于光谱传感器的土层名称推定系统、方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006038511A (ja) * 2004-07-23 2006-02-09 Tokyo Univ Of Agriculture & Technology 土壌分析方法及び土壌分析装置
CN102680474A (zh) * 2012-05-25 2012-09-19 浙江大学 利用全景环带摄影法快速预判土壤类型的装置和方法
CN103234922A (zh) * 2013-03-29 2013-08-07 浙江大学 一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法
CN103996047A (zh) * 2014-03-04 2014-08-20 西安电子科技大学 基于压缩谱聚类集成的高光谱图像分类方法
CN105550707A (zh) * 2015-12-11 2016-05-04 中国烟草总公司广东省公司 一种烟田遥感数据的分类提取方法
CN106442400A (zh) * 2016-10-31 2017-02-22 湖北省农业科学院果树茶叶研究所 一种近红外光谱快速判定不同土壤类型茶鲜叶的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006038511A (ja) * 2004-07-23 2006-02-09 Tokyo Univ Of Agriculture & Technology 土壌分析方法及び土壌分析装置
CN102680474A (zh) * 2012-05-25 2012-09-19 浙江大学 利用全景环带摄影法快速预判土壤类型的装置和方法
CN103234922A (zh) * 2013-03-29 2013-08-07 浙江大学 一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法
CN103996047A (zh) * 2014-03-04 2014-08-20 西安电子科技大学 基于压缩谱聚类集成的高光谱图像分类方法
CN105550707A (zh) * 2015-12-11 2016-05-04 中国烟草总公司广东省公司 一种烟田遥感数据的分类提取方法
CN106442400A (zh) * 2016-10-31 2017-02-22 湖北省农业科学院果树茶叶研究所 一种近红外光谱快速判定不同土壤类型茶鲜叶的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEX O. AWITI 等: ""Soil condition classification using infrared spectroscopy：A proposition for assessment of soil condition along a tropical forest-cropland chronosequence"", 《GEODERMA》 *
喻武 等: ""Vis-NIR光谱快速估测土壤可侵蚀性因子可行性分析"", 《光谱学与光谱分析》 *
胡晓艳 等: ""基于支持向量机和近红外光谱特性的土壤质地分类"", 《山西农业科学2》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669023A (zh) * 2018-12-05 2019-04-23 浙江大学 一种基于多传感器融合的土壤属性预测方法
CN113436153A (zh) * 2021-06-11 2021-09-24 中国科学院南京土壤研究所 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法
CN113436153B (zh) * 2021-06-11 2023-07-14 中国科学院南京土壤研究所 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法
CN114324216A (zh) * 2022-01-06 2022-04-12 中国科学院南京土壤研究所 一种基于土层组合特征的土壤数值分类方法
CN118225710A (zh) * 2024-05-23 2024-06-21 中兵勘察设计研究院有限公司 基于光谱传感器的土层名称推定系统、方法和设备

Also Published As

Publication number Publication date
CN108827909B (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Nawar et al. Optimal sample selection for measurement of soil organic carbon using on-line vis-NIR spectroscopy
Bao et al. Vis-SWIR spectral prediction model for soil organic matter with different grouping strategies
Demattê et al. Soil analytical quality control by traditional and spectroscopy techniques: Constructing the future of a hybrid laboratory for low environmental impact
Hong et al. Rapid identification of soil organic matter level via visible and near-infrared spectroscopy: Effects of two-dimensional correlation coefficient and extreme learning machine
CN106124449B (zh) 一种基于深度学习技术的土壤近红外光谱分析预测方法
Shi et al. Development of a national VNIR soil-spectral library for soil classification and prediction of organic matter concentrations
Jin et al. Comparison of different satellite bands and vegetation indices for estimation of soil organic matter based on simulated spectral configuration
Waruru et al. Rapid estimation of soil engineering properties using diffuse reflectance near infrared spectroscopy
CN108827909B (zh) 基于可见近红外光谱与多目标融合的土壤快速分类方法
CN103234922A (zh) 一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法
CN104062256B (zh) 一种基于近红外光谱的软测量方法
CN109669023A (zh) 一种基于多传感器融合的土壤属性预测方法
CN103293118A (zh) 一种基于近红外光谱分析技术的潲水油鉴别方法
Chen et al. Rapid determination of soil classes in soil profiles using vis–NIR spectroscopy and multiple objectives mixed support vector classification
Wang et al. Prediction of soil organic matter using VNIR spectral parameters extracted from shape characteristics
CN110779875B (zh) 一种基于高光谱技术检测冬小麦麦穗水分含量的方法
CN105372631B (zh) 基于遗传‑偏最小二乘算法的极化雷达反演方法及其应用
CN114184599A (zh) 单细胞拉曼光谱采集数目估计方法、数据处理方法及装置
CN107132190A (zh) 一种土壤有机质光谱反演模型校正样本集构建方法
CN117312968A (zh) 一种盐碱农田土壤有机质含量的预测方法
CN112750507B (zh) 基于混合机器学习模型的同时检测水中硝酸盐和亚硝酸盐含量的方法
CN114282446A (zh) 一种基于不同偏好光谱模型的拟合预测方法
Wang et al. The minimum level for soil allocation using topsoil reflectance spectra: Genus or species?
CN109142251B (zh) 随机森林辅助人工神经网络的libs定量分析方法
Dorantes et al. Calibration set optimization and library transfer for soil carbon estimation using soil spectroscopy—A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant