CN113032957B - 一种基于数字孪生技术的类复眼光电系统的构建方法 - Google Patents
一种基于数字孪生技术的类复眼光电系统的构建方法 Download PDFInfo
- Publication number
- CN113032957B CN113032957B CN202110196442.8A CN202110196442A CN113032957B CN 113032957 B CN113032957 B CN 113032957B CN 202110196442 A CN202110196442 A CN 202110196442A CN 113032957 B CN113032957 B CN 113032957B
- Authority
- CN
- China
- Prior art keywords
- compound eye
- detection
- photoelectric
- digital twin
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 150000001875 compounds Chemical class 0.000 title claims abstract description 58
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000010276 construction Methods 0.000 title claims abstract description 8
- 230000005693 optoelectronics Effects 0.000 title claims 2
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000013138 pruning Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000005622 photoelectricity Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 5
- 238000011897 real-time detection Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001507 arthropod compound eye Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明属于类复眼光电技术领域；现有的类复眼光电探测系统结构上模仿昆虫复眼，但对移动目标的观测能力远不及昆虫复眼，成像易受干扰，无法实时对关键移动目标进行检测、跟踪与预警，本发明提供一种基于数字孪生技术类复眼光电系统的构建方法，从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，采用数字孪生技术对类复眼光电探测系统及探测目标进行建模，降低了硬件条件及环境的限制，利用数字孪生模型进行设计及优化，大幅提升类复眼系统对移动目标的快速探测能力。
Description
技术领域
本发明涉及基于数字孪生技术的类复眼光电系统，更具体的说，涉及一种基于数字孪生技术的类复眼光电系统的构建方法。
背景技术
昆虫复眼具有大视场、高分辨率和对快速移动目标的实时探测能力，基于仿生学原理，科学家已经制造出的多台类复眼光电探测系统，并实用于天文及空间目标探测任务中；虽然现有类复眼光电探测系统结构上模仿了昆虫复眼，但是其对移动目标的观测能力却远不及昆虫复眼，其主要问题及原因可总结如下：一是当前的类复眼系统内，每个单眼独立工作，没有发挥合作优势，降低了对关键目标的发现能力；二是受加工误差及外部干扰影响，类复眼系统内每个单眼成像质量具有一定差异，导致其整体分辨率受限于成像质量最差的单眼；三是根据观测分辨率及视场覆盖要求，每个单眼配备的相机往往有百万量级的像元数目，每次观测可同时获取成千上万个目标的图像，使其无法实时对关键移动目标进行检测、跟踪与预警。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于数字孪生技术的类复眼光电系统的构建方法，该发明实现对关键移动目标进行实时检测、跟踪与预警，为天文及空间科学基础研究提供一种新的数据获取手段。
为实现上述目的，本发明提供了如下技术方案：
一种基于数字孪生技术类复眼光电系统的构建方法，所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，根据类复眼光电探测系统子结构实验系统获取实测图像，提取不同视场内的点扩散函数PSF，通过实测图像拟合物理模型参数，初步优化类复眼光电探测系统物理结构；
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和直连式数据处理框架，实现类复眼光电系统对实时移动目标的探测。
进一步，直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分。
进一步，数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立物理模型，物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程。
进一步，类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%。
进一步，步骤3中，训练优化类复眼光电探测系统的步骤如下：
步骤3.1 在数字孪生模型的基础上，建立1000组包含不同数目、速度及光变特征的移动目标检测场景；
步骤3.2 以移动目标检测位置精度为损失函数，在数字孪生模型内训练神经网络权重，每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；
步骤3.3 重复步骤3.2，经过50次上述训练后，损失函数的值达到最小，此时即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
综上所述，发明具有以下有益效果：
本发明采用数字孪生技术对类复眼光电探测系统及探测目标进行建模，降低了硬件条件及环境对研究的限制，为进一步研究类复眼系统成像原理提供了关键技术；利用数字孪生模型对类复眼系统物理结构与数据处理方法同时进行设计及优化，从根本上改变类复眼系统的结构设计方法和数据处理模式，大幅提升类复眼系统对移动目标的快速探测能力。
具体实施方式
下面对本发明作进一步详细说明。
本发明公开了一种基于数字孪生技术类复眼光电系统的构建方法，所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分，图像预处理部分从光电系统的点扩散函数PSF出发，利用无监督学习技术实现图像质量评价、畸变矫正和基于点扩散函数PSF的模板实时探测功能；信息归总及目标检测部分利用神经网络把多个单眼获取的目标探测矩阵与最终目标探测结果即天球坐标系上的移动目标的位置连接，经过图像预处理后，光电探测图像投影在天球坐标系上形成目标探测矩阵，最终探测结果触发神经网络，并在目标探测矩阵中显现。
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立的物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程；同时，根据类复眼光电探测系统子结构实验系统的实测图像，提取不同视场内的点扩散函数PSF，通过实测图像，拟合物理模型参数，初步优化类复眼光电探测系统物理结构；类复眼光电探测系统子结构实验系统是小型的实物类复眼实验系统，用来进行实际的数据获取，包括四组相机和成像器件，相机的视场范围160°~180°，口径为10~20mm；成像器件的读出帧率20FPS以上，2K×2K像元以上，灰度级大于8位，类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%，将重叠视场内不同位置的图像在直连式数据处理框架中进行图像质量评价、畸变矫正处理及基于PSF的目标实时探测，重叠视场内不同位置的图像能够模拟不同位置参数下的类复眼光电探测系统获取的图像，保证在实验中对不同位置参数下的类复眼光电探测系统进行测试，并对直连式数据处理框架进行测试。
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和数据处理框架，实现类复眼光电系统对实时移动目标的探测，在数字孪生模型的基础上，建立1000组包含不同数量、速度和光边特征的移动目标检测场景，预设的1000组不同的目标检测场景针对现有实际的探测目标和环境确定，以移动目标检测位置精度为损失函数，利用损失函数训练神经网络权重，移动目标检测位置精度与损失函数的值呈正相关关系，据此调整神经网络的权重；每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对权重微小和/或不重要的神经元进行剪枝，同时针对剪裁后的神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；在预设的1000组移动目标检测场景的范围内，每进行迭代一次，神经网络以及权重优化一次，损失函数的值更小，经过50次上述训练后，损失函数的值达到最小，也就是移动目标检测精度最高，可认为是类复眼光电探测系统的最终的物理模型和相应的直连式处理框架，即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述构建方法从单眼获取原始探测信号，利用数字孪生模型训练优化类复眼探测系统和直连式数据处理框架，提升类复眼光电系统对实时移动目标的快速探测能力，具体包括以下步骤：
步骤1. 基于深度神经网络建立直连式数据处理框架，直连式数据处理框架从若干单眼获取原始探测信号；
步骤2. 利用光电系统模拟技术和数字孪生技术，建立直连式数据处理框架的数字孪生模型，根据类复眼光电探测系统子结构实验系统获取实测图像，提取不同视场内的点扩散函数PSF，通过实测图像拟合物理模型参数，初步优化类复眼光电探测系统物理结构；
步骤3. 利用步骤2中所获得的数字孪生模型，训练优化类复眼探测系统的物理结构和直连式数据处理框架，实现类复眼光电系统对实时移动目标的探测；
训练优化类复眼光电探测系统的步骤如下：
步骤3.1 在数字孪生模型的基础上，建立1000组包含不同数目、速度及光变特征的移动目标检测场景；
步骤3.2 以移动目标检测位置精度为损失函数，在数字孪生模型内训练神经网络权重，每20组移动目标检测场景训练结束后，根据神经网络的权重进行一次神经网络剪枝，并根据剪枝结果，合并或裁剪目标检测神经元，对类复眼光电探测系统内的单眼视场的大小及分辨率进行调整，调整后继续在数字孪生模型内训练神经网络权重；
步骤3.3 重复步骤3.2，经过50次上述训练后，损失函数的值达到最小，此时即获得类复眼光电探测系统的物理模型和直连式数据处理框架。
2.根据权利要求1所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述直连式数据处理框架包括图像预处理部分、信息归总及目标检测部分。
3.根据权利要求1或2所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述数字孪生模型包括探测目标、类复眼探测系统和直连式数据处理框架，利用光电系统蒙特卡洛模拟方法建立物理模型，物理模型完成全天相机光机电结构、观测目标及环境、观测目标光学传输过程。
4.根据权利要求1所述的基于数字孪生技术类复眼光电系统的构建方法，其特征在于：所述类复眼光电探测系统子结构实验系统内各个单眼的视场重叠大于60%。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110196442.8A CN113032957B (zh) | 2021-02-22 | 2021-02-22 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110196442.8A CN113032957B (zh) | 2021-02-22 | 2021-02-22 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032957A CN113032957A (zh) | 2021-06-25 |
| CN113032957B true CN113032957B (zh) | 2022-03-29 |
Family
ID=76461437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110196442.8A Active CN113032957B (zh) | 2021-02-22 | 2021-02-22 | 一种基于数字孪生技术的类复眼光电系统的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032957B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4673264A (en) * | 1983-02-25 | 1987-06-16 | Tokyo Kogaku Kikai Kabushiki Kaisha | Ophthalmic instrument having focus detecting mark projecting means |
| CN205176308U (zh) * | 2015-12-03 | 2016-04-20 | 成都九登科技有限公司 | 一种孪生聚光器 |
| CN108898620A (zh) * | 2018-06-14 | 2018-11-27 | 厦门大学 | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 |
-
2021
- 2021-02-22 CN CN202110196442.8A patent/CN113032957B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4673264A (en) * | 1983-02-25 | 1987-06-16 | Tokyo Kogaku Kikai Kabushiki Kaisha | Ophthalmic instrument having focus detecting mark projecting means |
| CN205176308U (zh) * | 2015-12-03 | 2016-04-20 | 成都九登科技有限公司 | 一种孪生聚光器 |
| CN108898620A (zh) * | 2018-06-14 | 2018-11-27 | 厦门大学 | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| Detection and Classification of Astronomical Targets with Deep Neural Networks in Wide-field Small Aperture Telescopes;Peng Jia 等;《The Astronomical Journal》;20200416;1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032957A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146794B (zh) | 一种光场图像旋转误差校正方法 | |
| CN107862293B (zh) | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 | |
| CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
| CN103796001B (zh) | 一种同步获取深度及色彩信息的方法及装置 | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| WO2017107524A1 (zh) | 虚拟现实头盔的成像畸变测试方法及装置 | |
| CN110458060A (zh) | 一种基于对抗学习的车辆图像优化方法及系统 | |
| CN108305233B (zh) | 一种针对微透镜阵列误差的光场图像校正方法 | |
| CN104537616A (zh) | 鱼眼图像畸变的校正方法 | |
| CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN117635898A (zh) | 面向作物动态表型提取的近景图像拼接方法 | |
| Chen et al. | An unsupervised low-light image enhancement method for improving V-SLAM localization in uneven low-light construction sites | |
| CN114881874B (zh) | 基于自适应光学望远镜成像过程的高分辨力图像生成方法 | |
| CN112767267A (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN106888344A (zh) | 摄像模组及其像面倾斜的获取方法和调整方法 | |
| CN113032957B (zh) | 一种基于数字孪生技术的类复眼光电系统的构建方法 | |
| CN113191959B (zh) | 一种基于退化标定的数字成像系统极限像质提升方法 | |
| CN111161399B (zh) | 基于二维影像生成三维模型的数据处理方法及组件 | |
| CN104065853A (zh) | 一种红外相机串扰消除方法 | |
| CN103400381B (zh) | 一种基于光学成像的水下目标跟踪方法 | |
| CN117451190A (zh) | 一种深度学习的散焦散射波前传感方法 | |
| CN113989164B (zh) | 一种水下彩色图像复原方法、系统及存储介质 | |
| CN206524916U (zh) | 一种自适应检测和调整双摄光轴的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |