CN118640878B - 一种基于航空测绘技术的地形测绘方法 - Google Patents
一种基于航空测绘技术的地形测绘方法 Download PDFInfo
- Publication number
- CN118640878B CN118640878B CN202411124456.9A CN202411124456A CN118640878B CN 118640878 B CN118640878 B CN 118640878B CN 202411124456 A CN202411124456 A CN 202411124456A CN 118640878 B CN118640878 B CN 118640878B
- Authority
- CN
- China
- Prior art keywords
- ground control
- control point
- image
- aerial
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000013507 mapping Methods 0.000 title claims abstract description 42
- 238000012876 topography Methods 0.000 title claims abstract 5
- 238000005516 engineering process Methods 0.000 title abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000001629 suppression Effects 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 3
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于航空测绘技术的地形测绘方法,涉及航空测绘领域,包括:获取测区的航空影像数据集;在测区内设置N个地面控制点GCP,利用GPS‑RTK方法测量每个地面控制点GCP的三维坐标;利用预训练的YOLOv5目标检测模型,通过目标检测和定位每张航空影像上的GCP;获取GCP在对应航空影像的像素坐标;根据GCP在所有航空影像上的像素坐标,构建多特征融合的控制点识别模型;通过区域网平差和光束法平差,解算每张航空影像的空间位置和姿态角;通过多视影像密集匹配算法,生成测区的数字表面模型DSM;通过地形表面重建算法和正射纠正方法,生成测区的数字高程模型DEM和正射影像图。针对现有技术中航空测绘中地面控制点匹配精度低,本申请提高了匹配精度。
Description
技术领域
本申请涉及航空测绘领域,特别涉及一种基于航空测绘技术的地形测绘方法。
背景技术
随着现代测绘技术的发展,航空摄影测量已成为获取地形空间信息的重要手段。航空摄影测量通过无人机或航空飞行器搭载航摄仪器对地面进行成像,获取高分辨率的航空影像数据,并利用摄影测量原理和计算机视觉技术,实现测区的三维建模和地形测绘。与传统的地面测量方式相比,航空摄影测量具有作业效率高、成本低、数据获取周期短等优势,在地形图制作、工程建设、国土资源调查、灾害监测等领域得到了广泛应用。
然而,在航空摄影测量的实际应用中,仍然存在一些亟须解决的技术难题。其中,地面控制点的识别和匹配是影响航空测绘精度和效率的关键环节。地面控制点是在测区内布设的一组高精度控制点,通过全球定位系统(GPS)或其他大地测量方法获取其准确的三维坐标。在航空三角测量和影像空间定位过程中,地面控制点起到控制基准和纠正影像畸变的作用,其精确识别和可靠匹配直接影响到最终测绘成果的精度。
目前,地面控制点的识别和匹配主要采用人工辅助的半自动化方式。即在航空影像上手动标注控制点的大致位置,然后利用特征匹配算法在局部范围内进行精确匹配。这种方式虽然可以实现控制点的识别和匹配,但特征匹配算法对控制点的外观变化敏感,容易受到角度、光照等因素的影响,导致匹配失败或误匹配。
发明内容
针对现有技术中存在的航空测绘中地面控制点的识别和匹配精度低的问题,本申请提供了一种基于航空测绘技术的地形测绘方法,通过控制点提取与匹配,影像空间定位和三维重建等,提高了航空测绘中控制点的匹配精度。
本申请的目的通过以下技术方案实现。
本申请提供一种基于航空测绘技术的地形测绘方法,包括:利用无人机对测区进行倾斜摄影,获取测区的航空影像数据集;对获取的航空影像数据集进行预处理;预处理包含畸变矫正和色彩平衡;在测区内设置N个地面控制点GCP,利用GPS-RTK方法测量每个地面控制点GCP的三维坐标,建立测区的地面控制网;将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,通过目标检测和定位每张航空影像上的地面控制点GCP;对航空影像上检测到地面控制点GCP的区域,进行边缘检测和角点定位,获取地面控制点GCP在对应航空影像的像素坐标;根据获取的每个地面控制点GCP在所有航空影像上的像素坐标,提取地面控制点的多尺度特征,构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系;其中,多尺度特征包含颜色、形状和纹理;以获取的每个地面控制点GCP的三维坐标、每个地面控制点在航空影像上的像素坐标,以及每个地面控制点在航空影像间的匹配关系,作为观测值,通过区域网平差和光束法平差,解算每张航空影像的空间位置和姿态角;S8,利用解算的每张航空影像的空间位置和姿态角,通过多视影像密集匹配算法,对预处理后的航空影像数据集进行匹配,生成测区的三维点云数据,并通过点云滤波和网格化处理,生成测区的数字表面模型DSM;对生成的数字表面模型DSM,通过地形表面重建算法和正射纠正方法,剔除非地面点,生成测区的数字高程模型DEM和正射影像图,作为地形测绘结果输出。
其中,倾斜摄影:一种航空摄影方式,通过在航空飞行器上搭载多个倾斜角度的相机,从不同角度对地面进行成像,获取测区的倾斜影像数据。倾斜摄影可以更全面地捕捉地物的侧面信息,有利于三维建模和纹理映射。航空影像:利用航空飞行器搭载的航空相机,对地面进行垂直或倾斜拍摄所获取的影像数据。航空影像是测绘领域的重要数据源,广泛应用于地图制作、地物识别、三维重建等。地面控制点GCP:在测区内布设的一组高精度控制点,其三维坐标通过GPS等测量手段获取。地面控制点作为影像与地面之间的纽带,在航空摄影测量中用于提供基准控制,实现影像的空间定位。
PS-RTK方法:全球定位系统实时动态差分技术,通过基准站和流动站的配合,实现厘米级的实时定位。在航空测绘中,GPS-RTK常用于快速获取地面控制点的三维坐标。预训练的YOLOv5目标检测模型:YOLO(You Only Look Once)是一种基于深度学习的实时目标检测算法,可以在图像中快速检测和定位多个目标。预训练的YOLOv5模型是在大规模数据集上训练得到的通用目标检测模型,可用于航空影像中地面控制点的自动识别。航空影像的像素坐标:地面控制点在航空影像上对应的像素位置坐标,通常表示为(x,y)形式。控制点的像素坐标是影像空间定位和三维重建的重要观测量。区域网平差:一种摄影测量平差方法,通过建立像点坐标、控制点坐标和外方位元素之间的共线方程,同时平差多张影像,解算影像的姿态和位置参数,实现影像图像的拼接和定位。光束法平差:一种基于共线方程的严密平差方法,综合利用像点坐标、控制点坐标等观测值,通过迭代求解的方式,同时解算像片的外方位元素和物方点坐标,实现影像的高精度空间定位。多视影像密集匹配算法:利用多视角影像的重叠关系,通过立体匹配技术,自动识别和匹配影像间的同名点,生成密集的三维点云数据。常见的密集匹配算法包括SIFT、SURF、SGM等。地形表面重建算法:从散乱的三维点云数据中提取地面点,并重建出连续的地形表面。常见的地形表面重建算法包括TIN、ANUDEM、克里金插值等。正射纠正方法:消除航空影像由于传感器倾斜和地形起伏造成的几何畸变,生成正射影像图。正射纠正需要利用数字高程模型DEM和影像的外方位元素,通过几何变换和灰度重采样实现。
其中,在倾斜摄影测量中,同一个地面控制点会出现在多张不同角度、不同位置的航空影像上。为了进行影像空间定位和三维重建,需要将每个控制点在不同影像上的坐标进行匹配,建立控制点在影像间的对应关系。构建的多特征融合控制点识别模型,就是为了实现这一目标。仅仅依靠控制点的几何坐标信息,可能难以在不同影像上准确识别和匹配控制点,因为影像间的视角、尺度、光照等差异会导致控制点的外观发生变化。而融合控制点的多尺度特征(如颜色、形状、纹理等),可以提供更多的判别信息,提高控制点识别和匹配的准确性和鲁棒性。
其中,通过亚像素级边缘提取和角点定位算法,精确提取检测到的控制点区域的中心坐标。这一步获取的是控制点在影像上的高精度量测坐标,可以看作是控制点在单张影像上的“最终坐标”。实现控制点在所有航空影像上的自动识别和精确匹配。这里的“所有航空影像”是指测区的倾斜摄影影像集,每个控制点可能出现在多张不同角度的影像上。构建的多特征融合识别模型,是用于在不同影像间匹配同一控制点,建立控制点在影像间的对应关系。已经获取了控制点在每张影像上的高精度坐标,不需要重新计算坐标,只需要建立这些坐标在不同影像间的对应关系。具体的,通过GPS-RTK等技术获取的控制点在测区坐标系下的高精度三维坐标,反映了控制点在地面上的真实位置。通过多特征融合的识别模型,建立了同一控制点在不同影像上的对应关系。这一信息将不同影像上的控制点量测坐标关联起来,为联合平差提供了基础。控制点在影像坐标系下的高精度坐标,反映了控制点在每张影像上的精确位置。区域网平差和光束法平差的目的就是建立影像坐标系与测区坐标系之间的转换关系,求解出每张影像的外方位元素参数(包括影像的空间位置和姿态角元素)。这一过程需要以上三个要素作为观测值,构建平差方程组,通过迭代计算得到最优的参数估计值。
进一步的,建立测区的地面控制网,包括:根据测区面积和地形,确定地面控制点GCP的设置数量N和分布位置;其中,表示第i个地面控制点的初始空间位置;在每个初始空间位置处设置地面控制点标识,并采用GPS-RTK接收机进行静态测量,记录第i个地面控制点的测量三维坐标;将所有地面控制点的测量三维坐标作为观测值;构建观测方程,利用已知控制点数据作为约束条件,采用最小二乘平差方法对观测方程进行平差解算,得到各地面控制点的三维坐标;其中,平差解算通过迭代计算调整观测值的权重因子,直至平差结果收敛于最优值。以平差解算得到的高精度地面控制点三维坐标为基准,按照预设的空间拓扑规则将地面控制点连接成网,构建覆盖整个测区的高精度三维控制网;控制网的高精度体现在相邻控制点之间的相对位置精度优于预设阈值ΔP,且整个控制网与全球坐标系的绝对定位精度优于预设阈值ΔA;通过该控制网,可以实现航空影像的高精度空间定位和后续三维模型的高精度生成。
进一步的,将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,进行目标检测和定位每张航空影像上的地面控制点GCP,包括:将预处理后的航空影像数据集划分为训练集和验证集,并对训练集中的每张航空影像进行标注,得到地面控制点的像素级标注数据;利用标注的训练集数据,通过迁移学习方法在预训练的YOLOv5目标检测模型的基础上进行微调,得到适用于地面控制点检测的优化模型;模型训练过程通过设置学习率、批量大小、迭代次数等超参数进行优化,并利用验证集数据对模型性能进行评估和选择;将预处理后的每张待处理航空影像作为输入,利用目标检测模型,通过前向推理过程得到每张影像上地面控制点的检测结果,检测结果包含地面控制点的像素坐标和置信度;其中,i表示检测到的第i个地面控制点;在推理过程中,设置图像金字塔和滑动窗口策略。
优选地,根据预设的置信度阈值,对检测结果进行筛选和合并,剔除置信度低于的检测结果,并对重叠度高于预设阈值的检测框进行合并,得到每张航空影像上地面控制点的最终检测结果,记为;其中,M表示最终检测到的地面控制点数量;在合并检测框时,采用以下策略提高检测结果的准确性和唯一性:引入自适应非极大值抑制(Adaptive NMS)算法,根据检测框的置信度和重叠度动态调整合并策略;具体地,通过设置置信度阈值和重叠度阈值,对检测框进行自适应过滤和合并,置信度高于且重叠度低于的检测框被保留,其余检测框被剔除;在Adaptive NMS算法的基础上,引入加权投票机制,对合并后的检测框进行进一步优化;具体地,对于每个保留的检测框,根据其置信度和面积大小计算权重系数,然后对所有重叠度高于的检测框进行加权平均,得到合并后检测框的最终位置和置信度;在加权投票的过程中,充分考虑检测框之间的空间相对位置关系,引入空间约束条件,对不满足空间约束的合并结果进行剔除或惩罚。
具体地,根据地面控制点的先验分布特征,设置最小间距阈值和最大间距阈值,对合并后的检测框两两计算欧氏距离,剔除距离小于或大于的检测框对;对于剩余的检测框,根据其置信度和空间分布特征,采用基于图的优化方法进行全局调整和优化;具体地,将检测框视为图的节点,将检测框之间的空间关系视为图的边,构建检测框关系图,然后通过最大团算法或最小割算法对图进行优化,得到最终的地面控制点检测结果。
进一步的,在推理过程中,设置图像金字塔和滑动窗口策略,包括:构建多尺度影像金字塔,通过设置不同的缩放因子对输入的航空影像进行下采样和上采样,生成多个不同分辨率的影像尺度,并在每个尺度上进行目标检测;在每个尺度的航空影像上,根据地面控制点的先验大小,设置滑动窗口的尺寸为,其中,w和h分别为窗口的宽度和高度;设置滑动窗口的水平和垂直滑动步长为和,其中,,;以和为步长,在影像上从左到右、从上到下滑动窗口,获得一系列重叠的候选区域;将每个候选区域输入到目标检测模型中,通过前向推理计算候选区域包含地面控制点的置信度和位置坐标,得到对应尺度影像上的滑动窗口初步检测结果;
进一步的,在推理过程中,设置图像金字塔和滑动窗口策略,还包括:在推理过程中,设置图像金字塔和滑动窗口策略,还包括:在滑动窗口检测的同时,对目标检测模型引入基于区域建议网络RPN的候选区域生成机制;利用预设的地面控制点先验特征,通过RPN网络生成一系列矩形候选框,每个候选框用表示,其中,为候选框的中心坐标,w和h分别为候选框的宽度和高度;RPN网络通过卷积神经网络提取输入特征,通过两个并行的全连接层分别预测候选框包含地面控制点的概率和候选框位置坐标的修正量;获取概率高于阈值的候选框,并用位置坐标的修正量调整获取的候选框的位置和大小,得到对应尺度影像上的RPN初步检测框;分别计算滑动窗口候选区域和RPN候选框与预设的地面控制点先验特征的相似度,得到对应的注意力权重和;对于第i个滑动窗口候选区域,将置信度乘以对应的,得到加权置信度;对于第i个RPN候选框,将概率乘以对应的,得到加权概率值;设置置信度阈值,将所有尺度影像上的滑动窗口加权置信度和RPN加权概率值中小于的候选区域或候选框剔除,得到最终的候选区域;将最终的候选区域,根据对应的尺度和位置信息,映射回步骤S2的原始分辨率航空影像上,得到对应影像上地面控制点的像素坐标和对应的最终置信度。
具体的,滑动窗口候选区域是通过图像金字塔和滑动窗口策略在多个尺度上生成的一系列矩形区域,覆盖了整个影像区域。RPN候选框是通过区域建议网络(RPN)生成的一系列矩形候选框,主要集中在可能包含地面控制点的区域。两种候选区域生成方式相互补充:滑动窗口策略能够全面覆盖影像,而RPN机制能够有针对性地生成高质量候选区域。对于滑动窗口候选区域,计算其与地面控制点先验特征的相似度,得到注意力权重,然后将原始置信度乘以,得到加权置信度。对于RPN候选框,计算其与地面控制点先验特征的相似度,得到注意力权重,然后将原始概率乘以,得到加权概率值。通过引入注意力权重,充分利用先验特征对候选区域和候选框进行加权,突出与先验特征相似度高的候选区域。将所有尺度影像上的滑动窗口加权置信度和RPN加权概率值与置信度阈值ct进行比较。剔除加权置信度或加权概率值小于ct的候选区域或候选框。最终剩下的候选区域包括两部分:滑动窗口候选区域中加权置信度大于等于ct的区域;RPN候选框中加权概率值大于等于ct的区域。这两部分候选区域相互补充,共同构成了最终筛选出的高置信度候选区域。将筛选出的最终候选区域根据对应的尺度和位置信息,映射回原始分辨率的航空影像上。得到每个候选区域在原始影像上的像素坐标和对应的最终置信度。这些候选区域将作为后续精确定位和提取地面控制点的重要依据。通过结合滑动窗口策略和RPN机制,生成了全面覆盖和针对性强的候选区域。然后利用先验特征对候选区域进行加权,并通过置信度阈值筛选出高质量的候选区域。最终剩下的候选区域包括滑动窗口候选区域和RPN候选框两部分,它们将在后续步骤中用于精确定位和提取地面控制点。这种多策略融合和先验知识引导的候选区域生成方法,可以有效提高地面控制点检测的精度和效率。
进一步的,构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系,包括:根据获取的每个地面控制点GCP在航空影像上的像素坐标,以像素坐标为中心,在航空影像上获取包含对应控制点区域的图像块;对获取的每个地面控制点图像块,提取多尺度特征,构建地面控制点的特征描述符;将不同航空影像获取的同一地面控制点的多尺度特征描述符作为输入,其中,m为观测到相应控制点的航空影像数量;采用深度学习的方法训练多特征融合的控制点识别模型,获取地面控制点在不同航空影像间的匹配关系;
进一步的,对获取的每个地面控制点图像块,提取多尺度特征,包括:在HSV颜色空间内,计算图像块的颜色直方图,提取反映地面控制点颜色分布的特征向量;对图像块进行Canny边缘检测和轮廓提取,计算轮廓的几何矩,提取反映地面控制点形状的特征向量;利用Gabor小波变换对图像块进行多尺度和多方向的纹理分析,提取反映地面控制点纹理的特征向量;将颜色、形状和纹理特征向量、和组合成该地面控制点的多尺度特征描述符。
进一步的,采用深度学习的方法训练多特征融合的控制点识别模型,获取地面控制点在不同航空影像间的匹配关系,包括:构建孪生卷积神经网络和三元组损失函数,以成对的地面控制点多尺度特征作为输入,通过双路权重共享的卷积分支提取语义特征,语义特征包含图像块的边缘轮廓结构特征和多尺度空间结构特征;具体的,以成对的地面控制点多尺度特征作为输入,通过双路权重共享的卷积分支提取反映地面控制点局部和全局外观的高层语义特征,包括:表示利用卷积神经网络中的边缘探测层提取控制点图像块的边缘轮廓结构特征;表示利用卷积神经网络中的角点检测层提取控制点图像块的高曲率角点特征;表示网络中的空间金字塔池化层提取控制点图像块的多尺度空间结构特征;表示利用卷积神经网络中的上下文关联层提取控制点图像块的周围环境语义信息特征;采用特征融合层对、、和进行自适应加权融合,得到融合后的地面控制点高层语义特征向量;在孪生卷积神经网络的末端设置相似度度量层,通过计算特征向量之间的欧氏距离来度量两个地面控制点的相似性。
在孪生卷积神经网络的末端设置相似度度量层,通过计算特征向量之间的欧氏距离来度量两个地面控制点的相似性;根据标注的地面控制点匹配关系,从多视角航空影像获取的地面控制点特征描述符中选取匹配的控制点作为正样本对;从不同地面控制点的特征描述符中随机选取不匹配的控制点对作为负样本对;组合正样本对和负样本对,构成训练三元组;通过三元组损失函数约束,使得正样本对的特征距离小于负样本对的特征距离,以增强控制点匹配的区分性;利用小批量梯度下降算法和反向传播算法,迭代优化三元组损失函数,更新孪生卷积神经网络的权重参数,学习控制点特征的判别表示;利用训练后的控制点识别模型获取地面控制点在不同航空影像间的匹配关系。
进一步的,利用训练后的控制点识别模型获取地面控制点在不同航空影像间的匹配关系,包括:从多视角航空影像中检测并提取候选地面控制点,获取其图像坐标和多尺度特征描述符,其中i为控制点编号;从多视角航空影像中检测并提取候选地面控制点,获取其图像坐标和多尺度特征描述符,其中i为控制点编号;将每对特征描述符输入训练后的孪生卷积神经网络,经过以下步骤获取它们的相似度得分:通过双路权重共享的卷积分支提取的高层语义特征和;在相似度度量层中计算特征向量和之间的欧氏距离;对地面控制点的相似度矩阵进行逐行逐列的极大值抑制处理;对所有控制点对的相似度得分进行排列组合,构建N×N的地面控制点相似度矩阵S,其中N为地面控制点总数,;对矩阵S按行和列分别进行极大值抑制处理,获取每个控制点的最优匹配候选;设定相似度阈值λ,将满足且在行列中均为极大值的控制点对(i,j)确定为匹配;输出每个地面控制点i在不同视角航空影像中的同名点索引,获得多视角匹配关系。优选的,利用随机采样一致性算法(RANSAC)对初始的同名点匹配进行几何一致性验证,剔除误匹配点对,获取最终的地面控制点匹配关系。
优选地,利用训练好的孪生网络模型,计算地面控制点的多视角相似度矩阵;从相似度矩阵中随机采样初始的控制点匹配,利用RANSAC估计图像间的全局单应变换矩阵;根据单应变换矩阵计算匹配的地面控制点的重投影误差,剔除误差大于设定阈值的离群匹配;迭代更新单应变换矩阵,直至匹配的内点数达到最大,获得全局一致的地面控制点同名像点匹配关系.
进一步的,三元组损失函数表达式如下:
其中,表示三元组损失函数,用于度量正负样本对之间的相对距离关系;θ表示孪生卷积神经网络的权重参数;表示训练三元组中的基准地面控制点特征描述符;表示正样本对中距离最大的K个样本;表示负样本对中距离最小的K个样本;表示融合注意力机制的孪生卷积神经网络映射函数,用于提取地面控制点的高层语义特征;表示孪生网络输出的特征向量之间的欧氏距离度量函数;表示尺度自适应权重系数,根据特征尺度s的重要性自适应调整,,α为控制尺度权重分布的超参数;m表示大于0的常数裕度项,用于控制正负样本对之间的距离间隔;γ表示平衡参数,控制极线约束损失项的权重;表示极线约束距离度量函数,用于衡量匹配点对在对极几何下的一致性误差;表示卷积特征提取函数,对输入的地面控制点特征描述符进行卷积操作,提取多尺度卷积特征图;表示注意力权重函数,对卷积特征图生成区域显著性权重,突出语义显著区域;表示逐元素乘法运算符,用于将注意力权重图与卷积特征图进行逐像素加权,得到融合后的注意力增强特征。
其中,通过引入尺度自适应权重系数,根据特征尺度的重要性对不同尺度的特征距离进行自适应加权,增强了模型对尺度变化的适应能力和鲁棒性。采用难例挖掘策略,聚焦训练正样本对中距离最大和负样本对中距离最小的难例样本,加大了对难分样本的学习力度,加速了模型的收敛速度和泛化性能提升。融合极线几何约束损失项,引导模型学习满足对极几何一致性的匹配关系,提高了匹配结果的外极几何约束准确性,减少了误匹配。在孪生网络中嵌入注意力机制,自适应调整卷积特征图中不同区域的权重,突出了语义显著区域的表达,抑制了背景噪声的干扰,增强了特征表示的判别力。
相比于现有技术,本申请的优点在于:
采用预训练的YOLOv5目标检测模型,结合图像金字塔和滑动窗口策略,可以在不同尺度和位置高效检测出航空影像中的地面控制点。同时,引入基于区域建议网络RPN的候选区域生成机制,通过先验特征约束候选框的位置和大小,进一步提升了控制点定位的精确性。
提出了一种多特征融合的地面控制点描述符,综合考虑控制点区域的颜色、形状和纹理等多尺度视觉信息,形成独特的特征表示。在此基础上,设计孪生卷积神经网络,通过度量学习框架和三元组损失函数,学习到判别性强、视角不变的控制点特征嵌入,大幅提升了控制点在不同视角航空影像间的匹配精度。同时引入极线几何约束,进一步保证了匹配的鲁棒性和一致性。
利用布设的高精度地面控制网,获取每个控制点的精确三维坐标。结合控制点在航空影像上的像素坐标和跨视匹配关系,通过区域网平差和光束法平差,高精度解算出每张航空影像的空间位置和姿态角参数。综合利用像空间后方交会和前方交会,实现从二维影像到三维物方坐标的精确映射,为后续密集匹配和三维重建奠定了基础。
在获取准确的影像外方位元素后,采用多视影像密集匹配技术,自动生成测区的高分辨率三维点云。通过点云滤波去噪和网格化处理,得到描述地表形态的数字表面模型DSM。在此基础上,利用地形表面重建算法,智能剔除树木、建筑等非地面点,提取地面真实高程,最终得到反映地形起伏的高精度数字高程模型DEM。
以重建得到的高精度DEM为基础,对原始航空影像进行正射纠正,消除由航摄倾斜和地形起伏引起的几何变形,生成正射影像图。正射影像图与DEM相结合,不仅保留了影像的纹理和光谱信息,还具备了精确的空间位置信息。
附图说明
本申请将以示例性实施例的方式进一步描述,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请一些实施例所示的一种基于航空测绘技术的地形测绘方法的示例性流程图;
图2是根据本申请一些实施例所示的构建测区的三维控制网的示例性流程图;
图3是根据本申请一些实施例所示的获取影像上地面控制点的像素坐标和最终置信度的示例性流程图;
图4是根据本申请一些实施例所示的获取训练后的控制点识别模型的示例性流程图;
图5是根据本申请一些实施例所示的获取GCP在不同航空影像间的匹配关系的示例性流程图。
具体实施方式
下面结合附图对本申请实施例提供的方法和系统进行详细说明。
图1是根据本申请一些实施例所示的一种基于航空测绘技术的地形测绘方法的示例性流程图,一种基于航空测绘技术的地形测绘方法,包括:利用无人机对测区进行倾斜摄影,获取测区的航空影像数据集;对获取的航空影像数据集进行预处理;预处理包含畸变矫正和色彩平衡;在测区内设置N个地面控制点GCP,利用GPS-RTK方法测量每个地面控制点GCP的三维坐标,建立测区的地面控制网;将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,通过目标检测和定位每张航空影像上的地面控制点GCP;对航空影像上检测到地面控制点GCP的区域,进行边缘检测和角点定位,获取地面控制点GCP在对应航空影像的像素坐标;根据获取的每个地面控制点GCP在所有航空影像上的像素坐标,提取地面控制点的多尺度特征,构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系;其中,多尺度特征包含颜色、形状和纹理;以获取的每个地面控制点GCP的三维坐标、每个地面控制点在航空影像上的像素坐标,以及每个地面控制点在航空影像间的匹配关系,作为观测值,通过区域网平差和光束法平差,解算每张航空影像的空间位置和姿态角;利用解算的每张航空影像的空间位置和姿态角,通过多视影像密集匹配算法,对预处理后的航空影像数据集进行匹配,生成测区的三维点云数据,并通过点云滤波和网格化处理,生成测区的数字表面模型DSM;对生成的数字表面模型DSM,通过地形表面重建算法和正射纠正方法,剔除非地面点,生成测区的数字高程模型DEM和正射影像图,作为地形测绘结果输出。
具体的,利用无人机对测区进行倾斜摄影,获取测区的航空影像数据集;选用搭载五个传感器的无人机作为航摄平台,五个传感器包括一个垂直视角传感器和四个倾斜视角传感器,倾斜视角传感器的倾斜角度可设置为45°,与垂直视角传感器呈十字布置,实现五个视角的同时曝光;根据测区面积大小、地形起伏情况和摄影比例尺要求,合理设计航摄参数,包括航高、航速、航向重叠度和旁向重叠度等;航高可设置为200m—500m,航向重叠度和旁向重叠度分别设置为80%和70%,以保证影像的完整覆盖和立体测量精度;利用无人机地面控制站规划航线,编写任务飞行脚本,控制无人机按照预定航线自主飞行和曝光,获取测区的五视角多角度航空影像数据集;要求无人机飞行平稳,避免剧烈的姿态变化,以保证影像质量;影像获取完成后,将五个视角的影像数据存储并转换为通用的数字影像格式,如TIFF、JPG等,构建五视角航空影像数据集,为后续处理做准备。
对获取的航空影像数据集进行预处理;预处理包含畸变矫正和色彩平衡;畸变矫正:利用无人机飞行平台记录的IMU姿态数据和GNSS导航数据,根据影像曝光时间与姿态、导航数据进行同步,获取每张影像的外方位元素;结合相机内参数(如焦距、主点坐标、镜头畸变系数等),利用共线方程或直接线性变换(DLT)等算法,对五视角航空影像进行几何畸变矫正,消除因镜头畸变和姿态变化引起的影像几何变形;色彩平衡:由于五个视角的影像在曝光时间、光照条件等方面存在差异,导致视角间色彩不一致;为消除色彩差异,需要对畸变矫正后的五视角影像进行色彩平衡处理;常用的色彩平衡方法包括直方图匹配法、灰度值转换法、统计学方法等;直方图匹配法通过调整影像直方图,使不同视角影像的色彩分布趋于一致;灰度值转换法通过建立视角间灰度值的线性或非线性映射关系,将不同视角影像的灰度值转换到同一尺度;统计学方法通过计算影像局部区域的均值、方差等统计特征,进行自适应的局部色彩调整;色彩平衡处理后,五视角影像的整体色调趋于统一,视角间色彩差异得到有效抑制,为后续影像匹配和三维重建提供一致的纹理基础。
图2是根据本申请一些实施例所示的构建测区的三维控制网的示例性流程图,在测区内设置N个地面控制点GCP,利用GPS-RTK方法测量每个地面控制点GCP的三维坐标,建立测区的地面控制网;根据测区面积和地形,确定地面控制点GCP的设置数量N和分布位置;其中,表示第i个地面控制点的初始空间位置:测区面积越大,地形起伏越复杂,所需的控制点数量N越多;一般情况下,平坦开阔地区每平方公里设置4到5个控制点,山地丘陵区每平方公里设置6到8个控制点;同时,为保证航空三角测量的精度,控制点数量N不应少于航摄影像数量的1/6;地面控制点的分布位置应尽量均匀,避免出现大面积控制点空白区;同时,要充分考虑地形特征、地物遮挡等因素,选择视野开阔、地物特征明显的区域布设控制点,如交叉路口、建筑物角点、永久性地标等;通过综合分析测区面积、地形特征和影像分布,确定控制点总数N,并在满足分布均匀性和可靠性要求的基础上,确定每个控制点的初始空间位置;控制点分布图应与航摄影像分布图相互对应,保证每个控制点都能在多张影像上成像。
在每个初始空间位置Pi处设置地面控制点标识,并采用GPS-RTK接收机进行静态测量,记录第i个地面控制点的测量三维坐标:地面控制点标识可采用人工布设的标志物或明显的地物特征点,如涂刷油漆的十字标志、压印钢钉的标志物等;标志物应具有足够大的尺寸,一般不小于0.6m,以便在航摄影像上清晰识别;利用GPS-RTK接收机对每个地面控制点进行静态测量,接收机天线应置于控制点标志物正上方,测量时间不少于10min,采样间隔设置为1s;GPS-RTK接收机通过基准站和移动站的差分定位原理,可实现厘米级的定位精度;对每个控制点进行多次独立测量,每次测量应重新安置天线,以降低测量误差;多次测量结果取平均值作为该控制点的最终测量坐标,同时记录各次测量的精度指标,用于后续平差计算。
将所有地面控制点的测量三维坐标作为观测值,构建观测方程,利用已知控制点数据作为约束条件,采用最小二乘平差方法对观测方程进行平差解算,得到各地面控制点的三维坐标;其中,平差解算通过迭代计算调整观测值的权重因子,直至平差结果收敛于最优值:观测方程的构建需要考虑GPS-RTK测量坐标、像点坐标、相机内外参数之间的函数关系,引入合适的误差模型,如Gauss-Markov模型,形成误差方程;平差计算过程需设置适当的迭代次数和收敛阈值,迭代初始值可选择各控制点测量坐标的算术平均值;权重因子的计算可基于测量坐标的精度指标,精度越高的测量值权重越大;平差结果不仅考虑了各控制点测量坐标的精度,而且考虑了它们之间的几何约束关系,相比原始测量坐标更加符合整体最优条件,精度更高。
平差解算得到的高精度地面控制点三维坐标为基准,按照预设的空间拓扑规则将地面控制点连接成网,构建覆盖整个测区的高精度三维控制网;控制网的高精度体现在相邻控制点之间的相对位置精度优于预设阈值ΔP,且整个控制网与全球坐标系的绝对定位精度优于预设阈值ΔA;通过该控制网,可以实现航空影像的高精度空间定位和后续三维模型的高精度生成:常用的控制网空间拓扑规则包括三角网(TIN)、Delaunay三角剖分(DT)等,这些规则能够形成规则的网状结构,保证控制网的完整覆盖;相邻控制点之间的相对位置精度是指两点坐标之差与它们实际空间距离之比,该比值应小于某一阈值ΔP,如1/10000;整体绝对定位精度是指控制网坐标与全球大地坐标之间的偏差,应小于某一阈值ΔA,如0.2m;高精度三维控制网的建立,使得后续每一张航摄影像都能通过控制点解算出高精度的外方位元素,进而实现影像的精准定位;同时,控制网也为后续三维模型的几何精度提供了保障,模型上任意一点的三维坐标都能通过控制点间的内插得到厘米级精度。
图3是根据本申请一些实施例所示的获取影像上地面控制点的像素坐标和最终置信度的示例性流程图,将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,通过目标检测和定位每张航空影像上的地面控制点GCP;将预处理后的航空影像数据集划分为训练集和验证集,并对训练集中的每张航空影像进行标注,得到地面控制点的像素级标注数据:航空影像数据集划分为训练集和验证集的比例可设置为8:2或9:1,即80%—90%的影像用于模型训练,10%—20%的影像用于模型验证; 对训练集影像进行人工标注,在每张影像上框选出所有地面控制点的位置,并赋予相应的类别标签(如“GCP”),得到以PASCALVOC或COCO格式存储的标注文件;标注过程中,尽量选择视野清晰、背景干扰少的控制点区域,标注框应紧贴目标边缘,同时要保证控制点完整位于标注框内部;每个控制点至少在3张影像上被标注,以提高标注的鲁棒性。
利用标注的训练集数据,通过迁移学习方法在预训练的YOLOv5目标检测模型的基础上进行微调,得到适用于地面控制点检测的优化模型;模型训练过程通过设置学习率、批量大小、迭代次数等超参数进行优化,并利用验证集数据对模型性能进行评估和选择:选择在通用数据集(如COCO、Image Net等)上预训练的YOLOv5模型作为基础模型,该模型具有较好的特征提取和目标检测能力;利用标注的训练集数据,通过迁移学习方法对YOLOv5模型进行微调;将模型的输出层替换为适配地面控制点类别数的全连接层,并随机初始化该层权重;其余网络层的参数载入预训练模型的权重,并设置较小的学习率进行微调;模型训练时,学习率设置为0.01,批量大小设置为16,迭代次数设置为100;采用SGD优化器,并使用动量项和权重衰减策略;每隔10次迭代,在验证集上评估模型性能,并保存当前最优模型权重;模型性能评估指标采用mAP(mean Average Precision),即在不同IoU(Intersectionover Union)阈值下,各类别AP值的平均;选择在验证集上mAP值最高的模型作为最终的地面控制点检测模型。
将预处理后的每张待处理航空影像作为输入,利用训练好的目标检测模型,通过前向推理过程得到每张影像上地面控制点的检测结果,检测结果包含地面控制点的像素坐标和置信度;其中,i表示检测到的第i个地面控制点;在推理过程中设置图像金字塔和滑动窗口策略:设置图像金字塔的缩放因子为0.8,即每次将输入影像缩小为原来的0.8倍,生成一个包含多尺度影像的图像金字塔;根据地面控制点的先验大小,设置滑动窗口的初始大小为64*64,滑动步长为32;在每个尺度影像上,从左上角开始滑动窗口,逐行逐列获取候选区域,直至窗口右下角到达影像边缘;将滑动窗口候选区域输入检测模型,得到该尺度上的初步检测结果;利用训练集中地面控制点的先验特征,如颜色直方图、梯度方向直方图、LBP纹理特征等,构建RPN网络;在每个尺度影像上,通过RPN网络生成一系列矩形候选框;将RPN候选框输入检测模型,得到该尺度上的另一组初步检测结果;分别计算滑动窗口候选区域和RPN候选框与先验特征的相似度,可采用余弦相似度、卡方相似度等度量方式;将相似度作为注意力权重,对初步检测结果的置信度进行加权,突出显著性区域,抑制背景干扰;设置置信度阈值为0.5,对所有尺度上的滑动窗口结果和RPN结果进行阈值过滤和非极大值抑制,最终得到每张影像上检测到的地面控制点像素坐标及其置信度。
对航空影像上检测到地面控制点GCP的区域,进行边缘检测和角点定位,获取地面控制点GCP在对应航空影像的像素坐标;对步骤S4中检测到的每个地面控制点区域,以该区域的像素坐标为中心,扩展一定的边缘宽度w,得到扩展后的地面控制点矩形区域;边缘宽度w的大小根据控制点先验特征确定,一般取控制点尺寸的1/4至1/3;对扩展后的地面控制点区域,采用Canny算子进行边缘检测;Canny边缘检测算子通过高斯滤波、梯度计算、非极大值抑制、双阈值处理等步骤,提取出控制点区域内的显著边缘像素;Canny算子的参数如高斯核大小、梯度阈值等,可根据控制点的实际特征进行设置和优化;在提取的边缘像素中,进一步检测角点特征;常用的角点检测方法有Harris角点检测、FAST角点检测等;以Harris角点检测为例,通过计算像素点邻域内梯度的协方差矩阵,判断像素点处邻域内梯度变化的程度,进而确定该点是否为角点;角点响应值大于设定阈值的像素被认为是角点;阈值的选取需平衡角点检出率和误检率;根据地面控制点的先验模板,在检测出的角点中进行模板匹配,找出与控制点特征最为吻合的一组角点;模板匹配可采用归一化互相关(NCC)等相似性度量方法;匹配过程中,需要考虑控制点的尺度、旋转等变化,可通过多尺度、多角度的模板匹配来提高匹配的鲁棒性;对于匹配得到的一组角点,取其几何中心作为该地面控制点的精确坐标,即:,,其中,表示第j个匹配角点的坐标,n为匹配角点的总数;为进一步提高控制点定位精度,结合图像局部特征,如梯度方向、灰度质心等,对控制点坐标进行亚像素级别的精细修正;修正量的计算可利用图像局部区域的梯度信息,通过最小二乘法等数学优化方法求解;对定位精度满足要求的地面控制点,以作为该控制点在当前航空影像上的像素坐标,并将其编号与3获得的控制点三维坐标相对应。
图4是根据本申请一些实施例所示的获取训练后的控制点识别模型的示例性流程图,根据获取的每个地面控制点GCP在所有航空影像上的像素坐标,提取地面控制点的多尺度特征,构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系;根据步骤S5获取的每个地面控制点GCP在航空影像上的像素坐标,以像素坐标为中心,在航空影像上获取包含对应控制点区域的图像块。图像块的大小根据地面控制点的实际尺寸和分辨率来确定,一般取控制点实际尺寸的1.5~2倍。对获取的每个地面控制点图像块,提取多尺度特征,构建地面控制点的特征描述符:在HSV颜色空间内,计算图像块的颜色直方图,提取反映地面控制点颜色分布的特征向量。HSV空间能更好地表达图像的颜色信息,通过统计H、S、V三个通道的直方图,得到表征颜色分布的特征向量。对图像块进行Canny边缘检测和轮廓提取,计算轮廓的几何矩,提取反映地面控制点形状的特征向量。几何矩如面积矩、中心矩、方向矩等,可以表征控制点区域的几何形态特征。利用Gabor小波变换对图像块进行多尺度和多方向的纹理分析,提取反映地面控制点纹理的特征向量。Gabor小波能够在频率域和空间域同时获得良好的分辨率,通过选取不同尺度和方向的Gabor核函数,可提取不同频率和方向的纹理特征。将颜色、形状和纹理特征向量、和组合成该地面控制点的多尺度特征描述符,作为控制点识别模型的输入特征。将不同航空影像获取的同一地面控制点的多尺度特征描述符作为输入,采用深度学习方法训练多特征融合的控制点识别模型,获取地面控制点在不同航空影像间的匹配关系。
具体采用孪生卷积神经网络(Siamese CNN)结构和三元组损失函数,训练步骤如下:构建孪生卷积神经网络和三元组损失函数,以成对的地面控制点多尺度特征作为输入,通过双路权重共享的卷积分支提取语义特征。语义特征包含图像块的边缘轮廓结构特征和多尺度空间结构特征::利用CNN中的边缘探测层提取控制点图像块的边缘轮廓结构特征;:利用CNN中的角点检测层提取控制点图像块的高曲率角点特征;:利用CNN中的空间金字塔池化层提取控制点图像块的多尺度空间结构特征;:利用CNN中的上下文关联层提取控制点图像块的周围环境语义信息特征。采用特征融合层对、、和进行自适应加权融合,得到融合后的地面控制点高层语义特征向量。在孪生CNN的末端设置相似度度量层,通过计算特征向量之间的欧氏距离来度量两个地面控制点的相似性。根据标注的地面控制点匹配关系,从多视角航空影像获取的地面控制点特征描述符中选取匹配的控制点作为正样本对;从不同地面控制点的特征描述符中随机选取不匹配的控制点对作为负样本对;组合正负样本对构成训练三元组。通过三元组损失函数约束,使得正样本对的特征距离小于负样本对的特征距离,以增强控制点匹配的区分性。三元组损失函数表达式为:,利用小批量梯度下降算法和反向传播算法,迭代优化三元组损失函数,更新孪生CNN网络权重,学习控制点特征的判别表示。
图5是根据本申请一些实施例所示的获取GCP在不同航空影像间的匹配关系的示例性流程图,利用训练后的控制点识别模型获取地面控制点在不同航空影像间的匹配关系,具体实施步骤如下:从多视角航空影像中检测并提取候选地面控制点,获取其图像坐标和多尺度特征描述符。首先,对每一帧航空影像进行控制点检测。可采用Harris角点、SIFT特征点、SURF特征点等经典特征点检测算法,或者利用卷积神经网络实现端到端的控制点检测。检测得到第k帧影像上的候选控制点集合,其中,表示第i个控制点在第k帧影像的像素坐标,为第k帧影像的候选控制点数量。然后,对每个候选控制点提取多尺度特征描述符。以为中心,在上截取不同尺度(如16×16,32×32,64×64)的图像块,对每个尺度的图像块分别计算HSV颜色直方图特征、Canny边缘几何特征、Gabor小波纹理特征,将不同尺度的特征向量拼接得到该控制点的多尺度特征描述符。
将每对特征描述符输入训练后的孪生CNN,获取相似度得分。对任意两帧影像和的候选控制点,枚举所有可能的特征描述符对,将其输入训练后的孪生CNN。孪生CNN包含两个结构相同、权重共享的卷积分支,分别对进行特征变换:,;,;;;其中,conv(*)为卷积特征提取函数,att(*)为注意力权重函数,⊙表示逐元素乘法。卷积分支用于提取控制点的边缘、角点、空间金字塔、上下文等高层语义特征,注意力机制用于增强语义显著区域的表示。
在孪生CNN的相似度度量层,计算与的欧氏距离作为相似度得分:,重复以上过程,计算所有控制点特征对的相似度得分。构建地面控制点相似度矩阵S。对所有成对的候选控制点(p_i^a,p_j^b),将其相似度得分按和的索引排列,形成一个N×N的相似度矩阵S,其中N为所有候选控制点的总数。矩阵元素S(i,j)表示第i个控制点与第j个控制点的相似度得分。
对相似度矩阵S进行极大值抑制处理。为了从众多候选匹配中选出最优配对,需要对相似度矩阵S逐行逐列进行极大值抑制。具体地,对矩阵S的每一行i,寻找相似度得分最大的列索引,,对矩阵S的每一列j,寻找相似度得分最大的行索引:,如果且,则(i,j)为潜在的最优匹配控制点对。设定相似度阈值λ,确定最终匹配点对。在极大值抑制后,进一步筛选满足以下条件的控制点对(i,j)作为匹配:S(i,j)>λ,其中,λ为经验设定的相似度阈值,可根据数据集特点和匹配精度要求进行调节。输出多视角控制点匹配索引。对每个地面控制点i,输出其在不同视角影像中的同名点索引,建立起控制点在多视角间的对应关系。地面控制点i的同名点索引可表示为:,其中,表示控制点i在第k帧影像中的匹配点索引,m为观测到该控制点的航空影像数量(m≤K)。
利用RANSAC算法验证匹配一致性,剔除误匹配点对。为了进一步提高匹配精度,可利用RANSAC算法对初始匹配点对进行几何一致性验证。RANSAC通过反复迭代“-验证”过程,逐步筛选出满足对极几何约束的一致性匹配点对,剔除错误匹配。具体步骤如下:从匹配点对集合中随机选取8对点,计算它们所确定的基础矩阵F;根据基础矩阵F,计算每对匹配点的对极几何误差,统计误差小于阈值t的内点数量;重复若干次,选取内点数量最多的基础矩阵F作为最佳估计;利用所有内点重新估计最佳基础矩阵F,并根据F筛选出最终的一致性匹配点对。RANSAC可有效去除误匹配,提高控制点匹配的精度和可靠性。经过以上步骤,即可利用训练后的孪生CNN获取地面控制点在不同航空影像间的匹配关系,建立起控制点在多视角间的同名点对应索引,用于后续的航空三角测量和空中三角加密等处理。
结合孪生CNN匹配、区域网平差和光束法平差等关键技术,获取航空影像的空间位置和姿态角的具体实施方式如下:输入每个地面控制点的三维坐标;每个地面控制点在航空影像上的像素坐标;每个地面控制点GCP_i在不同航空影像间的同名点索引。构建区域网平差模型。以控制点的三维坐标和像点坐标为观测值,建立区域网平差模型。平差模型包括像点坐标观测方程、控制点坐标观测方程和系统误差改正模型等。像点坐标观测方程描述了像点坐标与相机位置姿态和控制点坐标间的函数关系:
;
其中,为主点坐标,f为相机焦距,为第k张影像的相机位置坐标,为影像的旋转矩阵元素,表征相机姿态角。控制点坐标观测方程描述了控制点GCP_i的三维坐标与其真实坐标间的关系:,,,此外,引入系统误差改正模型,如相机畸变差、大气折射差等,提高区域网平差精度。
联合多视角匹配点对和控制点GCP,构建光束法平差模型。在区域网平差的基础上,利用孪生CNN获取的地面控制点匹配关系,引入更多同名像点作为约束,实现多视影像的联合平差。设第i个控制点在影像和的匹配像点坐标分别为和,满足如下对极约束:,其中,和分别为匹配点和的齐次坐标,为影像到的基础矩阵。基础矩阵F可表示为:,其中,和为影像和的内参数矩阵,和为影像的旋转矩阵,为平移向量的反对称矩阵。将匹配点对和基础矩阵的约束引入光束法平差模型,与区域网平差模型联合求解,可获得更多影像的连接点,提高平差精度和鲁棒性。
利用光束法平差解算每张航空影像的外方位元素。在构建的光束法平差模型中,以控制点GCP的三维坐标、像点坐标以及匹配点对作为观测值,同时求解每张航空影像的外方位元素,包括相机位置和姿态角。平差求解的目标函数为观测值的误差平方和,包括控制点坐标残差平方和、像点坐标残差平方和和匹配点对极线距离残差平方和:,其中,、、为控制点坐标残差,、为像点坐标残差,d为匹配点在对极线上的距离。利用最小二乘方法或鲁棒估计方法(如L1范数)求解上述目标函数,可得到每张航空影像的外方位元素,确定影像的空间位置和姿态角。同时,平差还可优化控制点坐标和像点坐标,提高精度。输出:每张航空影像的相机位置坐标;每张航空影像的相机姿态角。
结合多视影像密集匹配、点云滤波和网格化等关键技术,利用已解算的航空影像空间位置和姿态角生成测区DSM的具体实施方式如下:输入:预处理后的航空影像数据集;每张航空影像的相机位置坐标和姿态角。对航空影像数据集进行多视影像密集匹配。利用多视立体视觉技术,通过特征点匹配、融合区域生长、全局优化等步骤,实现航空影像的密集匹配,获取影像间的密集同名点。首先,在每张影像上提取SIFT、SURF等稳定的特征点,利用特征描述子在不同视角影像间进行特征匹配,获得一组粗略的同名点。然后,以初始同名点为种子点,在其邻域内通过区域相关性约束(如归一化互相关NCC、互信息MI)进行融合区域生长,扩散出更多的同名点。最后,引入全局优化模型(如图割、置信传播),在全影像范围内优化每个像素的视差/深度值,获得稠密、一致的同名点匹配结果。
记航空影像上的一个同名点为,其在上的匹配点为,多视影像密集匹配的结果可表示为:,其中,N为匹配点的总数,K为航空影像的数量。每个匹配像点可获得其坐标、视差和置信度等属性信息。
利用多视影像匹配结果和影像外方位元素,生成三维点云。根据密集匹配得到的同名点坐标和影像的空间位置姿态,通过多视前方交会(Multi-View ForwardIntersection)方法,计算每个匹配点的三维坐标,生成测区的点云数据。对于匹配点对,由投影方程可得:,;
联立上述两组方程,并结合已知的影像位置、和姿态角、,即可解算出匹配点的三维坐标。
将所有匹配点的三维坐标集合记为:;P即为测区的原始三维点云数据,每个点对应着影像上的一个同名点匹配对。对生成的点云数据进行滤波去噪。由于特征匹配、多视前方交会等环节存在误差,点云数据中难免包含一些离群点和噪声。为了提高点云质量,需要对其进行滤波去噪处理。常用的点云滤波算法包括统计滤波器、半径滤波器、体素滤波器等。其中,统计滤波根据点云局部邻域的分布特性剔除离群点;半径滤波通过设置搜索半径和点数阈值去除稀疏点;体素滤波将点云划分为三维网格,每个网格保留一个代表点,实现下采样。通过点云滤波去噪,可有效消除错误匹配产生的野点,提高点云的精度和稳定性。
对滤波后的点云进行网格化,生成DSM。为方便后续的地物分类、三维重建等应用,需要将离散的点云数据转化为规则的网格表面模型DSM。常见的点云网格化方法有三角网格化和栅格化。三角网格化通过Delaunay三角剖分算法,生成点云的不规则三角网TIN表面;栅格化将点云投影至水平网格,计算每个网格的高程值,生成规则的DSM栅格。
网格化后,点云P转化为连续的表面模型S:S(x,y)=Interpolate(P);其中,S(x,y)表示DSM在平面位置(x,y)处的高程值,Interpolate(*)为插值函数,常用的有最邻近插值、反距离加权插值、克里金插值等。DSM的平面分辨率、高程精度可根据实际需求设置。分辨率越高,DSM越精细,但数据量也越大。输出:测区的三维点云数据;测区的数字表面模型DSM:S(x,y)。
结合地形表面重建和正射纠正等关键技术,利用DSM生成测区DEM和正射影像图的具体实施方式如下:输入测区的数字表面模型DSM:S(x,y)。利用地形表面重建算法,从DSM中剔除非地面点,生成DEM。DSM描述了地面和地物表面的高程信息,而DEM仅反映了地面本身的起伏变化。为了从DSM中提取DEM,需要剔除树木、建筑等非地面点,重建真实的地形表面。常用的地形表面重建算法包括形态学滤波、渐进TIN密度化(ATIN)、基于斜率的滤波等。其中,形态学滤波通过开运算和闭运算来平滑DSM,剔除高于地面的非地面点;ATIN算法从种子点出发,不断密化TIN网络,同时滤除高程突变点;基于斜率的滤波根据局部点云的斜率变化特征区分地面和非地面点。以基于斜率的滤波为例,DSM上一点p的高程为,其局部邻域内的点集为,每个邻域点的高程为。定义p点的局部斜率为:,其中,为p和在平面上的距离。若p点的局部斜率大于预设阈值τ,则判定p为非地面点,从DSM中剔除;否则认为p是地面点,保留在DEM中。对DSM的每个网格点执行上述斜率滤波,最终得到滤除非地面点、仅包含地形表面的DEM。记滤波后的DEM为:,其中,SlopeFilter(*)为斜率滤波函数。
根据DEM和影像外方位元素,对DSM进行正射纠正,生成正射影像图。正射影像图是在统一比例尺下,消除了影像的倾斜和地形起伏引起的几何变形,实现了影像向地图的转换。首先,以DEM上每个网格点为投影中心,计算其在原始影像上的投影像点坐标和投影残差:,,
其中,j为影像索引,为影像j的投影中心坐标。为DEM网格点在影像j上的投影残差。
然后,对每个DEM网格选择投影残差最小的一张影像作为最优影像,并从该影像上采样得到正射纹理信息:,,其中,为网格点的最优影像索引,为其在最优影像上的投影坐标。O为生成的正射影像。通过最小残差准则选择最优影像,可保证正射影像的几何精度和纹理质量。对DEM的每个网格点执行上述正射纠正,最终得到覆盖整个测区的无缝正射影像图。输出:测区的数字高程模型DEM:D(x,y);测区的正射影像图O。
综上,利用地形表面重建算法从DSM中剔除非地面点,提取地面本身的高程信息,生成测区的DEM。然后,以DEM为基础,通过正射纠正方法消除原始影像的几何变形,获得正射影像图。DEM和正射影像图相结合,既反映了测区的地形起伏特征,又包含了丰富的地物纹理信息,是测绘成果的重要组成部分,可广泛应用于地形分析、三维可视化、地理国情普查等领域。该方法实现了航空影像到地形图、影像图的自动化转换,大幅提高了测绘效率和精度。
Claims (7)
1.一种基于航空测绘技术的地形测绘方法,包括:
利用无人机对测区进行倾斜摄影,获取测区的航空影像数据集;
对获取的航空影像数据集进行预处理;预处理包含畸变矫正和色彩平衡;
在测区内设置N个地面控制点GCP,利用GPS-RTK方法测量每个地面控制点GCP的三维坐标,建立测区的地面控制网;
将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,通过目标检测和定位每张航空影像上的地面控制点GCP;
对航空影像上检测到地面控制点GCP的区域,进行边缘检测和角点定位,获取地面控制点GCP在对应航空影像的像素坐标;
根据获取的每个地面控制点GCP在所有航空影像上的像素坐标,提取地面控制点的多尺度特征,构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系;其中,多尺度特征包含颜色、形状和纹理;
以获取的每个地面控制点GCP的三维坐标、每个地面控制点在航空影像上的像素坐标,以及每个地面控制点在航空影像间的匹配关系,作为观测值,通过区域网平差和光束法平差,解算每张航空影像的空间位置和姿态角;
利用解算的每张航空影像的空间位置和姿态角,通过多视影像密集匹配算法,对预处理后的航空影像数据集进行匹配,生成测区的三维点云数据,并通过点云滤波和网格化处理,生成测区的数字表面模型DSM;
对生成的数字表面模型DSM,通过地形表面重建算法和正射纠正方法,剔除非地面点,生成测区的数字高程模型DEM和正射影像图,作为地形测绘结果输出;
将预处理后的航空影像数据集作为输入,利用预训练的YOLOv5目标检测模型,进行目标检测和定位每张航空影像上的地面控制点GCP,包括:
将预处理后的航空影像数据集划分为训练集和验证集,并对训练集中的每张航空影像进行标注,得到地面控制点的像素级标注数据;
利用标注的训练集数据,通过迁移学习方法对预训练的YOLOv5目标检测模型进行调整,得到用于检测地面控制点的目标检测模型;
将预处理后的每张待处理航空影像作为输入,利用目标检测模型,通过前向推理过程得到每张影像上地面控制点的检测结果,检测结果包含地面控制点的像素坐标(ui,vi)和置信度ci;其中,i表示检测到的第i个地面控制点;在推理过程中,设置图像金字塔和滑动窗口策略;
在推理过程中,设置图像金字塔和滑动窗口策略,包括:
构建多尺度影像金字塔,通过设置不同的缩放因子对输入的航空影像进行下采样和上采样,生成多个不同分辨率的影像尺度,并在每个尺度上进行目标检测;
在每个尺度的航空影像上,根据地面控制点的先验大小,设置滑动窗口的尺寸为w×h,其中,w和h分别为窗口的宽度和高度;
设置滑动窗口的水平和垂直滑动步长为sw和sh,其中,
以sw和sh为步长,在影像上从左到右、从上到下滑动窗口,获得一系列重叠的候选区域;
将每个候选区域输入到步骤S42的目标检测模型中,通过前向推理计算候选区域包含地面控制点的置信度ci和位置坐标(ui,vi),得到对应尺度影像上的滑动窗口初步检测结果;
在推理过程中,设置图像金字塔和滑动窗口策略,还包括:
在滑动窗口检测的同时,对步骤S42的目标检测模型引入基于区域建议网络RPN的候选区域生成机制;
利用预设的地面控制点先验特征,通过RPN网络生成一系列矩形候选框,每个候选框用(x,y,w,h)表示,其中,(x,y)为候选框的中心坐标,w和h分别为候选框的宽度和高度;
RPN网络通过卷积神经网络提取输入特征,通过两个并行的全连接层分别预测候选框包含地面控制点的概率pi和候选框位置坐标的修正量(Δx,Δy,Δw,Δh);
获取概率pi高于阈值的候选框,并用位置坐标的修正量(Δx,Δy,Δw,Δh)调整获取的候选框的位置和大小,得到对应尺度影像上的RPN初步检测框;
分别计算滑动窗口候选区域和RPN候选框与预设的地面控制点先验特征的相似度,得到对应的注意力权重wsi和wri;
对于第i个滑动窗口候选区域,将置信度ci乘以对应的wsi,得到加权置信度csi';
对于第i个RPN候选框,将概率pi乘以对应的wri,得到加权概率值pri';
设置置信度阈值ct,将所有尺度影像上的滑动窗口加权置信度{csi'}和RPN加权概率值{pri'}中小于ct的候选区域或候选框剔除,得到最终的候选区域;
将最终的候选区域,根据对应的尺度和位置信息,映射回步骤S2的原始分辨率航空影像上,得到对应影像上地面控制点的像素坐标{(ui,vi)}和对应的最终置信度{ci}。
2.根据权利要求1所述的基于航空测绘技术的地形测绘方法,其特征在于:
建立测区的地面控制网,包括:
根据测区面积和地形,确定地面控制点GCP的设置数量N和分布位置{Pi|i=1,2,......,N};其中,Pi表示第i个地面控制点的初始空间位置;
在每个初始空间位置Pi处设置地面控制点标识,并采用GPS-RTK接收机进行静态测量,记录第i个地面控制点的测量三维坐标(Xi,Yi,Zi);
将所有地面控制点的测量三维坐标{(Xi,Yi,Zi)|i=1,2,......,N}作为观测值,构建观测方程,利用已知控制点数据作为约束条件,采用最小二乘平差方法对观测方程进行平差解算,得到各地面控制点的三维坐标(Xi',Yi',Zi');其中,平差解算通过迭代计算调整观测值的权重因子,直至平差结果收敛于最优值;
S34,以平差解算得到的各地面控制点的三维坐标{(Xi',Yi',Zi')|i=1,2,......,N}为基准,按照预设的空间拓扑规则将地面控制点连接成网,构建测区的三维控制网。
3.根据权利要求1或2所述的基于航空测绘技术的地形测绘方法,其特征在于:
构建多特征融合的控制点识别模型,用于确定每个地面控制点在不同航空影像间的匹配关系,包括:
根据获取的每个地面控制点GCP在航空影像上的像素坐标(ui,vi),以像素坐标为中心,在航空影像上获取包含对应控制点区域的图像块;
对获取的每个地面控制点图像块,提取多尺度特征,构建地面控制点的特征描述符;
将不同航空影像获取的同一地面控制点的多尺度特征描述符{Fi|i=1,2,......,m}作为输入,其中,m为观测到相应控制点的航空影像数量;采用深度学习的方法训练多特征融合的控制点识别模型,获取地面控制点在不同航空影像间的匹配关系。
4.根据权利要求3所述的基于航空测绘技术的地形测绘方法,其特征在于:
对获取的每个地面控制点图像块,提取多尺度特征,包括:
在HSV颜色空间内,计算图像块的颜色直方图,提取反映地面控制点颜色分布的特征向量Fcolor;
对图像块进行Canny边缘检测和轮廓提取,计算轮廓的几何矩,提取反映地面控制点形状的特征向量Fshape;
利用Gabor小波变换对图像块进行多尺度和多方向的纹理分析,提取反映地面控制点纹理的特征向量Ftexture;
将颜色、形状和纹理特征向量Fcolor、Fshape和Ftexture组合成该地面控制点的多尺度特征描述符Fi。
5.根据权利要求3所述的基于航空测绘技术的地形测绘方法,其特征在于:
采用深度学习的方法训练多特征融合的控制点识别模型,获取地面控制点在不同航空影像间的匹配关系,包括:
构建孪生卷积神经网络和三元组损失函数,以成对的地面控制点多尺度特征(Fi,Fj)作为输入,通过双路权重共享的卷积分支提取语义特征,语义特征包含图像块的边缘轮廓结构特征和多尺度空间结构特征;
在孪生卷积神经网络的末端设置相似度度量层,通过计算特征向量之间的欧氏距离来度量两个地面控制点的相似性;
根据标注的地面控制点匹配关系,从多视角航空影像获取的地面控制点特征描述符中选取匹配的控制点作为正样本对(Fa,Fp);
从不同地面控制点的特征描述符中随机选取不匹配的控制点对作为负样本对(Fa,Fn);
组合正样本对(Fa,Fp)和负样本对(Fa,Fn),构成训练三元组{(Fa,Fp,Fn)};
通过三元组损失函数约束,使得正样本对(Fa,Fp)的特征距离小于负样本对(Fa,Fn)的特征距离,以增强控制点匹配的区分性;
利用小批量梯度下降算法和反向传播算法,迭代优化三元组损失函数,更新孪生卷积神经网络的权重参数,学习控制点特征的判别表示;
利用训练后的控制点识别模型获取地面控制点在不同航空影像间的匹配关系。
6.根据权利要求5所述的基于航空测绘技术的地形测绘方法,其特征在于:
利用训练后的控制点识别模型获取地面控制点在不同航空影像间的匹配关系,包括:
从不同航空影像中提取每个地面控制点的多尺度特征描述符;
对任意两个地面控制点的多尺度特征描述符进行两两组合,构成特征描述符对(Fi,Fj);
将每对特征描述符(Fi,Fj)作为输入,利用训练后的控制点识别模型,在相似度度量层计算(Fi,Fj)的特征向量fused_feat_i和fused_feat_j之间的欧氏距离dij,作为这两个地面控制点的相似度得分;
对所有控制点对(Fi,Fj)的相似度得分fused_feat_j dij进行排列组合,构建N×N的地面控制点相似度矩阵S,其中,N为地面控制点总数,S(i,j)=dij;
对地面控制点的相似度矩阵进行逐行逐列的极大值抑制处理;
设定相似度阈值,将相似度得分大于阈值且为行列极大值的控制点对,确定为匹配;
获取每个地面控制点在不同航空影像之间的多视角同名点匹配关系,作为地面控制点在不同航空影像间的匹配关。
7.根据权利要求5所述的基于航空测绘技术的地形测绘方法,其特征在于:
三元组损失函数表达式如下:
其中,L(θ)表示三元组损失函数,用于度量正负样本对之间的相对距离关系;θ表示孪生卷积神经网络的权重参数;Fa表示训练三元组{(Fa,Fp,Fn)}中的基准地面控制点特征描述符;Phard表示正样本对(Fa,Fp)中距离最大的K个样本;Nhard表示负样本对(Fa,Fn)中距离最小的K个样本;f(*;θ)表示融合注意力机制的孪生卷积神经网络映射函数,用于提取地面控制点的高层语义特征;d(*,*)表示孪生网络输出的特征向量之间的欧氏距离度量函数;λs表示尺度自适应权重系数,根据特征尺度s的重要性自适应调整,α为控制尺度权重分布的超参数;m表示大于0的常数裕度项,用于控制正负样本对之间的距离间隔;γ表示平衡参数,控制极线约束损失项的权重;depi(*,*)表示极线约束距离度量函数,用于衡量匹配点对在对极几何下的一致性误差;conv(*)表示卷积特征提取函数,对输入的地面控制点特征描述符进行卷积操作,提取多尺度卷积特征图;att(*)表示注意力权重函数,对卷积特征图生成区域显著性权重,突出语义显著区域;表示逐元素乘法运算符,用于将注意力权重图与卷积特征图进行逐像素加权,得到融合后的注意力增强特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411124456.9A CN118640878B (zh) | 2024-08-16 | 2024-08-16 | 一种基于航空测绘技术的地形测绘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411124456.9A CN118640878B (zh) | 2024-08-16 | 2024-08-16 | 一种基于航空测绘技术的地形测绘方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118640878A CN118640878A (zh) | 2024-09-13 |
CN118640878B true CN118640878B (zh) | 2024-10-22 |
Family
ID=92663368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411124456.9A Active CN118640878B (zh) | 2024-08-16 | 2024-08-16 | 一种基于航空测绘技术的地形测绘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118640878B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN119226911B (zh) * | 2024-12-05 | 2025-04-29 | 南昌航空大学 | 一种基于cors大数据的测绘地理信息质量监管方法及系统 |
CN119863585A (zh) * | 2024-12-26 | 2025-04-22 | 威海晶合数字矿山技术有限公司 | 一种目标gcp的自动标记方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102159134B1 (ko) * | 2019-09-27 | 2020-09-23 | 네이버시스템(주) | 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치 |
CN117274499A (zh) * | 2023-10-17 | 2023-12-22 | 山东泰山普惠建工有限公司 | 一种基于无人机倾斜摄影的钢结构加工及安装方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452123B2 (en) * | 2008-01-18 | 2013-05-28 | California Institute Of Technology | Distortion calibration for optical sensors |
CN101604018B (zh) * | 2009-07-24 | 2011-09-21 | 中国测绘科学研究院 | 高分辨率遥感影像数据处理方法及其系统 |
RU2513900C1 (ru) * | 2012-12-06 | 2014-04-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации | Способ и устройство определения координат объектов |
CN103822615B (zh) * | 2014-02-25 | 2016-01-20 | 北京航空航天大学 | 一种多控制点自动提取与聚合的无人机地面目标实时定位方法 |
CN104123730B (zh) * | 2014-07-31 | 2016-09-14 | 武汉大学 | 基于道路特征的遥感影像与激光点云配准方法及系统 |
CN104637370B (zh) * | 2014-12-23 | 2015-11-25 | 河南城建学院 | 一种摄影测量与遥感综合教学的方法及系统 |
CN106327573B (zh) * | 2016-08-25 | 2019-03-12 | 成都慧途科技有限公司 | 一种针对城市建筑的实景三维建模方法 |
CN109727278B (zh) * | 2018-12-31 | 2020-12-18 | 中煤航测遥感集团有限公司 | 一种机载LiDAR点云数据与航空影像的自动配准方法 |
CN110648398B (zh) * | 2019-08-07 | 2020-09-11 | 武汉九州位讯科技有限公司 | 基于无人机航摄数据的正射影像实时生成方法及系统 |
CN110866531A (zh) * | 2019-10-15 | 2020-03-06 | 深圳新视达视讯工程有限公司 | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 |
CN112819804B (zh) * | 2021-02-23 | 2024-07-12 | 西北工业大学 | 一种基于改进YOLOv5卷积神经网络的绝缘子缺陷检测方法 |
CN113063375B (zh) * | 2021-03-16 | 2022-04-08 | 成都理工大学 | 一种直线型耕作田埂的无人机遥感提取方法 |
EP4365841A4 (en) * | 2021-08-09 | 2025-07-16 | Bigo Tech Pte Ltd | OBJECT POSE DETECTION METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIUM |
CN113936230B (zh) * | 2021-11-02 | 2024-08-20 | 石家庄铁道大学 | 基于无人机的隔离开关引上线安全距离检测方法 |
KR102682309B1 (ko) * | 2021-12-30 | 2024-07-05 | 국립부경대학교 산학협력단 | 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법 |
CN114332051A (zh) * | 2021-12-31 | 2022-04-12 | 广州中科智巡科技有限公司 | 一种基于图像推理的输配电线路设备资产普查方法 |
CN114979956A (zh) * | 2022-04-11 | 2022-08-30 | 齐鲁空天信息研究院 | 一种无人机航拍地面目标定位方法及系统 |
CN114972767A (zh) * | 2022-06-05 | 2022-08-30 | 李晓赫 | 一种基于高空无人机视频的车辆轨迹和航向角提取方法 |
CN115079229B (zh) * | 2022-06-15 | 2025-02-07 | 中国电子科技集团公司第二十八研究所 | 一种基于单目相机的无人机对地目标定位方法 |
CN115015911B (zh) * | 2022-08-03 | 2022-10-25 | 深圳安德空间技术有限公司 | 一种基于雷达图像的导航地图制作和使用方法及系统 |
CN115562348A (zh) * | 2022-11-03 | 2023-01-03 | 国网福建省电力有限公司漳州供电公司 | 基于变电站的无人机图像技术方法 |
CN115995056A (zh) * | 2023-03-22 | 2023-04-21 | 南京航空航天大学 | 一种基于深度学习的桥梁病害自动识别方法 |
CN116958713B (zh) * | 2023-09-20 | 2023-12-15 | 中航西安飞机工业集团股份有限公司 | 一种航空零部件表面紧固件快速识别与统计方法及系统 |
-
2024
- 2024-08-16 CN CN202411124456.9A patent/CN118640878B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102159134B1 (ko) * | 2019-09-27 | 2020-09-23 | 네이버시스템(주) | 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치 |
CN117274499A (zh) * | 2023-10-17 | 2023-12-22 | 山东泰山普惠建工有限公司 | 一种基于无人机倾斜摄影的钢结构加工及安装方法 |
Also Published As
Publication number | Publication date |
---|---|
CN118640878A (zh) | 2024-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN118314300B (zh) | 工程测量精准定位与三维建模方法及系统 | |
CN118857243B (zh) | 一种基于倾斜摄影三维测图的空天地一体化测图方法 | |
CN118640878B (zh) | 一种基于航空测绘技术的地形测绘方法 | |
CN103337052B (zh) | 面向宽幅遥感影像的自动几何纠正方法 | |
CN106373088B (zh) | 大倾斜低重叠率航空图像的快速拼接方法 | |
CN111047695B (zh) | 一种城市群高度空间信息及等高线的提取方法 | |
CN103426165A (zh) | 一种地面激光点云与无人机影像重建点云的精配准方法 | |
Ma | Building model reconstruction from LiDAR data and aerial photographs | |
Hu et al. | Research on a single-tree point cloud segmentation method based on UAV tilt photography and deep learning algorithm | |
US11861855B2 (en) | System and method for aerial to ground registration | |
CN119904592B (zh) | 基于多源遥感数据的新闻场景三维重建与可视化方法 | |
CN115019208B (zh) | 一种面向动态交通场景的路面三维重建方法和系统 | |
CN118657906B (zh) | 基于卫星位置编码的空域网格生成方法及系统 | |
CN115512247A (zh) | 基于图像多参数提取的区域建筑损伤等级评定方法 | |
Jiang et al. | Learned local features for structure from motion of uav images: A comparative evaluation | |
CN116758234A (zh) | 一种基于多点云数据融合的山地地形建模方法 | |
CN118691776A (zh) | 一种基于多源数据融合的三维实景建模与动态更新方法 | |
CN115597592B (zh) | 一种应用于无人机巡检的综合定位方法 | |
Bittner et al. | Long-short skip connections in deep neural networks for dsm refinement | |
CN114663298B (zh) | 基于半监督深度学习的视差图修补方法及系统 | |
Zhang et al. | High-precision photogrammetric 3d modeling technology based on multi-source data fusion and deep learning-enhanced feature learning using internet of things big data | |
CN119090716A (zh) | 一种海上遥感测绘方法、测绘系统 | |
Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
CN118967095A (zh) | 一种高速公路灾害监测预警方法 | |
CN114972358B (zh) | 一种基于人工智能的城市测绘激光点云偏移检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |