CN114740189A

CN114740189A - 一种尿液试纸手机图像检测分析的方法

Info

Publication number: CN114740189A
Application number: CN202210360996.1A
Authority: CN
Inventors: 肖忠林; 齐志豪; 邓祎明; 陈洪波; 刘德民; 陈树超
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2022-04-07
Filing date: 2022-04-07
Publication date: 2022-07-12

Abstract

本发明公开了一种尿液试纸手机图像检测分析的方法，该方法先在标准光源箱下采集多种光源下的尿液试纸JPEG图像，以D65光源下的试纸图像为标准图像，其余光源环境下的试纸图像向标准光源下试纸图像对应区域试纸块的RGB色彩表现收敛即训练获取补偿模型，模型特征参数充分考虑试纸色彩特征和手机相机特性特征，特征在预处理时经过最大值、最小值和方差分析保证建立颜色校正模型的精度，建立训练TabNet模型，融合LightGBM、ElasticNet Regression、Support Vector Regression多个回归模型优化颜色校正效果，实现加强版补偿模型。通过补偿模型对试纸图像的颜色校正，减少环境光影响尿液试纸图像的颜色表现带来的误差，还原试纸图像最真实的颜色，提高颜色识别度，提高试纸检测分析的准确度，且该模型小，识别速度快。

Description

一种尿液试纸手机图像检测分析的方法

技术领域

本发明涉及医学图像处理技术领域，具体是一种尿液试纸手机图像检测分析的方法。

背景技术

随着计算机技术的不断发展，便携式医疗也在快速发展着，使得越来越多的医疗数据可以使用计算机处理判断，使疾病诊断更加方便。随着生活条件的改善，高糖、高蛋白的饮食方式使得肾脏类疾病、糖尿病已成了我们生活中的常见疾病，这类疾病几乎每天都要进行尿检，医疗资源昂贵，尿液试纸检测的常规方法是使用人工比色卡或尿液试纸分析仪，使用人工比色卡进行尿液成分判断时，不同的人对同张检验试纸的判断存在主观上的不同，并且无法解决同时患有眼部疾病的患者的需求。至于尿液试纸分析仪，对于个体用户成本过高，普通家庭难以承担；而且对于病情较轻患者没有必须购买的理由，这些方法给人民群众带来了很多困扰。一般来说，尿液分析仪是用微电脑控制，用球面积分仪接受双波长反射光的方式测定试带上的颜色变化进行半定量测定。我们为尿检提供移动式医疗，首要注意的点是环境光源对颜色的拍摄成像影响很大，是影响尿液试纸检测精度的主要因素，假如能基于医学影像组学的科学方法结合光谱学原理降低环境光对试纸拍摄成像造成的误差制作一个高精度手机尿液试纸检测系统，让人能够在家实现准确的尿液试纸检测，一定会给人们带来新的医疗体验。

发明内容

本发明的目的是克服常规技术的不足，提供一种尿液试纸手机图像检测分析方法，该方法由手机拍摄获的检测尿液的试纸图像，利用光谱学原理结合人工智能技术搭建的颜色校正模型检测分析尿液试纸图像，充分考虑了手机相机硬件参数以及光照等干扰因素，在一定程度上降低了对拍摄环境的要求，提高了检测的准确度。本发明构建模型小，运行速度快，能够快速给出检测结果。

实现本发明目的的技术方案是：

一种尿液试纸手机图像检测分析的方法，包括如下步骤：

1）建立尿液试纸图像数据集：在D65、D50、F、TL83、TL84光源下使用自主研制的手机试纸拍摄APP采集五组尿液试纸图像，APP自动提取试纸条，同时保留每张图像拍摄时刻对应的手机相机感光度ISO、曝光度、焦距及环境光亮度，将试纸上测试色块RGB值、标准块RGB值、相机感光度ISO、曝光度、焦距以及环境光亮度等参数整合为训练样本，并作为步骤2）的数据范围；

2）试纸图像参数预处理：提取色块RGB值、相机拍照时刻的对应的曝光度、感光度、焦距、环境光亮度作为特征整合成CSV文件进行数据分析，特征描述后得到的最终数据作为步骤3）的训练和测试数据；

3）建立颜色校正回归模型：构建实现颜色补偿的颜色校正模型，使用训练集和测试集进行模型训练，获得训练好的模型；

4）待测试纸检测：在手机APP上拍摄获得待测试纸图像，上传至训练好的模型中，经过模型对试纸进行颜色校正处理后与模型中存储的比色卡进行颜色比对，得到试纸各色块的颜色与比色卡的误差大小后输出结果，完成一次检测。

步骤1）中，APP拍摄获取的试纸尿液试纸图像，像素大小为394*2661，每张图像配有一份txt文件保留拍照时刻对应相机的感光度、曝光度、焦距、环境光亮度四维特征，沿试纸中心等间隔取每个色块中心5*5像素大小的样本图像块，计算像素平均值获得试纸RGB值特征。

步骤2）中，所述的试纸图像参数预处理，具体是在步骤1）后进行统计学分析、数据科学分析；首先提取样本同维度特征进行大小排序，计算值域范围、平均值，求取方差观察数据的稳定性，环境光影响和相机过度曝光会导致部分偏白色块RGB值上升至最大值255，同一试纸样本中超过三块试纸块的RGB值达到255的视为无效样本剔除。

步骤3）中，所述的建立颜色校正回归模型：是构建TabNet回归模型，将步骤2）获得训练和测试数据作为训练集和测试集对模型进行训练，最终得到对色素值进行补偿的回归模型，保留颜色矫正结果相对于标准条件下试纸颜色误差较小的模型进行步骤4）的模型线性融合；其中TabNet模型的建立过程为：

3-1）经过预处理后获得的每个样本数据共有十一个特征，十一个特征分别为：环境光模式、手机光传感器所测环境光亮度、焦距、感光度、曝光度、标准色块RGB值、测试色块RGB值，其中RGB分开处理为三维特征；

3-2）将数据进行BN（Batch Normalization，BN）处理后输入到TabNet模型的特征计算层中，用于计算需要选取的特征，获得特征计算结果；

3-3）将特征计算结果再通过Attentive Transformer层综合计算出需要删掉的特征之后，再次重复进行特征计算，为TabNet每层神经元对数据进行的操作，经过多层计算进入全连接层，最终得到目标像素的补偿值输出；

在模型训练过程中，采用均方根误差（Root Mean Square Error，RMSE）作为损失函数，使用Adam函数作为反向传播优化器；

TabNet模型深度学习回归网络经训练后，回归出所有试纸需要补偿的色素值，经过补偿后，所有试纸的色素值将无限逼近标准灯光下的色素值，经过补偿后的试纸与标准比色卡比对后即获得准确的尿液检验结果；

其中TabNet模型优化，是建立TabNet模型后，对TabNet模型融合LightGBM、ElasticNet Regression、Support Vector Regression三个学习器，训练所得的所有模型采用线性融合方式进行加权融合，使用TabNet、LightGBM、、ElasticNet Regression、Support Vector Regression四个学习器进行加权方式来获得一个新的预测值，权重值和为1，其中加权融合公式如下：

为权重；每个学习器都指定了一个权重

，

根据各个模型补偿结果的优劣投票得到权重，最后经过融合便得到最终的补偿模型。

本发明提供的一种尿液试纸手机图像检测分析的方法，该方法模型规模小，识别速度快，准确度高，对于经常需要做尿液分析的患者有着重要意义，能为相关疾病的诊疗提供便捷式医疗服务。

附图说明

图1为一种尿液试纸手机图像检测分析的方法的技术线路图；

图2为补偿模型建立过程示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。

实施例：

如图1所示，一种尿液试纸手机图像检测分析方法，具体包括如下步骤。

1）用户使用APP拍摄尿液试纸并将试纸图像传输到运行颜色校正模型的服务器端，颜色校正模型会还原试纸真实的色彩（以D65为标准），服务器端模型中的标准比色卡与上传的试纸图像进行比色，分析出试纸检验结果，服务器经过运算后将结果返回到用户端。

2）利用基于Python的OpenCV轮廓检测方法，在尿液试纸条图片中标定紫色参考色块的中心点和试纸条上边框的中心点，顺中心等距提取试纸色块中心5×5像素的图像块，取得图像块后以像素点求和取得测试块RGB值、标准块RGB值，同时从相机参数文件中提取与感光度、曝光度、焦距、及环境光亮度，作为补偿模型的数据集。在对按照上述方法得到的数据集进行抽样分析后，发现各色块的取值位置都位于色块中心，对数据集进行最大值、最小值与方差分析后，各组数据都在合理误差范围之内，说明该批数据可以用于后续的模型建立。

具体是指从像素大小为394*2661的JPEG试纸图像，14个色块中心各采取5*5像素的图像块，对图像块像素求和去平均值得到RGB值以及对应时刻的相机状态参数（感光度、曝光度、环境光、焦距）作为回归网络模型的特征输入。

3）建立人工智能回归算法模型用于数据补偿，如图2所示，将步骤2）所描述的最终数据作为回归模型的特征输入，经过训练后得到尿液试纸数据补偿模型。

编写应用程序提供给用户，用户需要进行试纸分析时可直接使用APP拍摄试纸上传到服务器端，所有数据处理以及分析的过程都是实在服务器端完成，保证性能不同的手机都可以拥有同样高速且准确的分析速度。试纸数据发送带服务器端后会先进行数据补偿，获得的最终结果会发送到用户端显示结果。

本发明的创新之处在于，可以减小因不同环境光拍摄试纸所成像的色彩表现不同带来的巨大误差。D65光源是标准光源中最常用的人工日光，我们选取D65光源作为试纸分析过程中的标准光源，因为实际情况不可能要求用户只在某一种的环境下去拍摄试纸，所以需要对用户所拍摄的不同环境光下的试纸数据进行颜色补偿，使得不在标准光源下所拍摄照片的颜色表现逼近标准光源下所拍摄的试纸颜色表现。训练获得颜色补偿模型后，用户可在任意环境光下所拍摄的照片都可以得到准确的检测结果，极大降低了使用手机拍摄的尿液试纸图像进行尿液分析时对环境光的要求，提高了检测分析尿液试纸图像的准确度。

Claims

1.一种尿液试纸手机图像检测分析的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种尿液试纸手机图像检测分析的方法，其特征在于，步骤1）中，APP拍摄获取的试纸尿液试纸图像，像素大小为394*2661，每张图像配有一份txt文件保留拍照时刻对应相机的感光度、曝光度、焦距、环境光亮度四维特征，沿试纸中心等间隔取每个色块中心5*5像素大小的样本图像块，计算像素平均值获得试纸RGB值特征。

3.根据权利要求1所述的一种尿液试纸手机图像检测分析的方法，其特征在于，步骤2）中，所述的试纸图像参数预处理，具体是在步骤1）后进行统计学分析、数据科学分析；首先提取样本同维度特征进行大小排序，计算值域范围、平均值，求取方差观察数据的稳定性，环境光影响和相机过度曝光会导致部分偏白色块RGB值上升至最大值255，同一试纸样本中超过三块试纸块的RGB值达到255的视为无效样本剔除。

4.根据权利要求1所述的一种尿液试纸手机图像检测分析的方法，其特征在于，步骤3）中，所述的建立颜色校正回归模型：是构建TabNet回归模型，将步骤2）获得训练和测试数据作为训练集和测试集对模型进行训练，最终得到对色素值进行补偿的回归模型，保留颜色矫正结果相对于标准条件下试纸颜色误差较小的模型进行步骤4）的模型线性融合；其中TabNet模型的建立过程为：

3-1）经过预处理后获得的每个样本数据共有十一个特征，十一个特征分别为：环境光模式、手机光传感器所测环境光亮度、焦距、感光度、曝光度、标准色块RGB值、测试色块RGB值；

3-2）将数据进行BN处理后输入到TabNet模型的特征计算层中，用于计算需要选取的特征，获得特征计算结果；

在模型训练过程中，采用均方根误差RMSE作为损失函数，使用Adam函数作为反向传播优化器；

其中TabNet模型优化，是建立TabNet模型后，对TabNet模型融合LightGBM、ElasticNetRegression、Support Vector Regression三个学习器，训练所得的所有模型采用线性融合方式进行加权融合，使用TabNet、LightGBM、、ElasticNet Regression、Support VectorRegression四个学习器进行加权方式来获得一个新的预测值，权重值和为1，其中加权融合公式如下：

为权重。