[go: up one dir, main page]

CN118799236B - 成像数据校准方法、电子设备、存储介质及程序产品 - Google Patents

成像数据校准方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN118799236B
CN118799236B CN202411283072.1A CN202411283072A CN118799236B CN 118799236 B CN118799236 B CN 118799236B CN 202411283072 A CN202411283072 A CN 202411283072A CN 118799236 B CN118799236 B CN 118799236B
Authority
CN
China
Prior art keywords
projection
feature
dimensional
space
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411283072.1A
Other languages
English (en)
Other versions
CN118799236A (zh
Inventor
姚玉成
马骏骑
汪令行
彭玟滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Yofo Medical Technology Co ltd
Original Assignee
Hefei Yofo Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Yofo Medical Technology Co ltd filed Critical Hefei Yofo Medical Technology Co ltd
Priority to CN202411283072.1A priority Critical patent/CN118799236B/zh
Publication of CN118799236A publication Critical patent/CN118799236A/zh
Application granted granted Critical
Publication of CN118799236B publication Critical patent/CN118799236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种成像数据校准方法、电子设备、存储介质及程序产品,该方法包含处理器与存储器,计算机程序在处理器执行下协同进行图像校正。校正过程为:将预设校准模体置于CT成像系统视野中心并扫描,生成二维投影图像数据;处理图像数据并提取与模体相关的投影特征点或区域;通过特征数据对投影图像局部逐帧跟踪获取轨迹数据;基于此进行射影几何匹配实现射影空间重建;把射影空间重建结果转换至欧式空间;利用光束法平差优化欧式空间重建结果以获得投影内参和外参矩阵。此方法无需管理模体几何数据库,降低管理成本,避免因工程师选择模体失误导致校准错误,从流程与风险防控上带来积极影响。

Description

成像数据校准方法、电子设备、存储介质及程序产品
技术领域
本发明涉及图像处理领域,具体是一种成像数据校准方法、电子设备、存储介质及程序产品。
背景技术
锥束CT(Cone Beam CT,CBCT)在医学影像领域具有重要应用,其成像质量的好坏直接影响到后续的诊断和治疗效果。为了保证成像的准确性,几何校准技术在CBCT系统中具有至关重要的作用。CT几何校准的目的是精确测量射源、探测器以及旋转机架组件之间的相对几何位姿关系。这一几何关系将作为滤波反投影(Filtered Back Projection,FBP)重建算法的输入参数,影响图像的最终质量。
在CT成像系统中,射源与探测器的几何关系可以用小孔成像相机模型等效表示,其中射源相当于焦点,探测器相当于像平面。射源与探测器之间的内在几何关系可以通过一个3x3矩阵(内参矩阵)来表征,而在CT扫描过程中,射源与探测器围绕扫描对象中心轴进行旋转,其外在的几何位置变化可以通过一个3x4矩阵(外参矩阵)来描述。
传统的CT几何校准方法主要有以下几种:
1.直接人工测量方法:通过人工测量的方式获取几何参数。此方法尽管可以在设备安装和调试时使用,但其缺点显而易见,即测量过程耗时费力,且难以保证高精度,容易受人为误差的影响。
2.已知模体测量方法:使用具有已知几何参数的校准模体进行校准。这种方法通过预先测定模体的几何参数,利用校准模体的几何特征与CT系统的投影特征数据进行三维到二维的匹配关系(3D-2D匹配),从而实现校准。常用的模体形状为圆筒形。然而,该方法存在一定局限性,模体几何参数的准确性需要通过其他方式测量,并且特征的匹配一般依赖于特定的编码技术。
目前,随着CT技术的不断发展,针对几何校准的研究正逐步朝着高精度、自动化和智能化方向发展,如何更高效、更精准地完成CT系统的几何校准成为了亟需解决的问题。
发明内容
本发明的目的在于提供一种成像数据校准方法、电子设备、存储介质及程序产品,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种成像数据校准方法,其特征在于,包括:处理器和存储器,所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,所述计算机程序与所述处理器协同执行图像校正过程,所述图像校正过程包括以下步骤:
扫描校准模体:将预设的校准模体放置于CT成像系统的视野中心,启动CT设备进行扫描,生成二维CT投影图像数据;
图像处理与特征提取:对扫描获得的投影图像数据进行处理,提取与模体表面形状、边缘或表面结构相关的投影特征点或特征区域;
局部帧跟踪:利用提取的投影特征数据,对投影图像的局部区域进行逐帧跟踪,获得各帧的投影特征轨迹数据,反映模体在不同投影角度下的投影变化;
射影空间重建:基于提取的投影特征轨迹数据,进行多帧投影特征的射影几何匹配,形成三维射影空间重建模型;
欧式空间转换:将射影空间中的重建结果转换为欧式空间,得到与三维欧式坐标系一致的点云或几何结构;
重建结果优化:利用光束法平差技术对上述欧式空间中的重建结果进行全局优化,获得投影内参和外参矩阵。
作为本发明进一步的方案:所述的校准模体为固定间隔镶嵌有钢珠的圆筒模体。
作为本发明进一步的方案:所述投影特征的投影轨迹的特征匹配方法,包括以下步骤:
将每个投影特征在前后帧上的位置串联起来,形成投影特征在探测器上的轨迹;
针对任一特征,基于该特征在当前帧和下一帧的投影位置变动较小且前后帧的位移变化一致,判断当前帧和下一帧中同一特征的投影。
作为本发明进一步的方案:基于已确定的所述投影特征的投影轨迹,跨多帧进行特征匹配,找出两帧之间的特征匹配对。
作为本发明进一步的方案:所述的射影空间重建过程包括以下步骤:
通过运动跟踪获取局部多帧图像之间的特征匹配关系;
利用特征点匹配和极几何约束,计算帧间的基础矩阵;
根据基础矩阵恢复投影物体的相对深度;
将投影特征的二维坐标齐次化,再与其相对深度相乘,获得对应的三维坐标;
对获得的三维坐标进行排列成矩阵,并在行和列上反复执行归一化操作;
通过奇异值分解计算,得到一系列3×4投影矩阵和四维空间点的坐标。
作为本发明进一步的方案:所述的欧式空间转换包括以下步骤:
通过射影空间重建得到一系列处于四维射影空间中的投影矩阵;
基于射影空间中的绝对二次曲线在任何投影视角下具有的不变性,构造一个二次型,并通过非线性最小二乘法优化目标函数,以求解内参矩阵;
根据求解得到的内参矩阵,进行从射影空间到欧式空间的变换,其中,通过内参矩阵与投影矩阵的反向计算,获取外参矩阵,再结合外参矩阵将射影空间中的三维特征点转换为欧式空间中的三维特征点。
作为本发明进一步的方案:所述的重建结果优化过程包括以下步骤:
采用光束法平差的方法对内参矩阵、外参矩阵及三维特征点进行整体约束优化;
通过最小化投影误差的优化目标函数,实现对投影特征点位置与三维特征点投影坐标之间误差的最小化,其中投影误差优化目标函数为:将实际投影特征点位置与通过内参矩阵、外参矩阵和三维特征点计算得到的投影点位置之间的差异最小化;
对外参矩阵进行分解,得到旋转矩阵和平移向量,其中平移向量代表射源位置,施加共轴圆周运动约束,确保每一个外参矩阵的平移向量位于同一圆周上;
通过最小化射源位置到旋转中心的距离差异,进一步优化平移向量的约束条件,减少射源位置与旋转中心距离的偏差。
一种电子设备,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令。
一种可读存储介质,所述可读存储介质中存储有计算机程序。
一种计算机程序产品,所述计算机程序产品包括计算机程序。
与现有技术相比,本发明的有益效果是:
在传统的一些方法中,往往需要预先对模体本身的几何数据进行测量。然而,这种测量过程本身就可能引入误差。比如,测量工具的精度限制、测量人员操作的不稳定性等因素,都可能导致测量得到的模体几何数据不准确。而且,模体在使用过程中还可能因为各种环境因素或者自身材料特性而发生变形,这种变形后的几何数据如果没有被及时更新,就会对后续的 CT 几何校准产生负面影响。而本方法无需预先测量模体几何数据,就直接避免了这些因为模体本身几何误差(无论是测量阶段产生的还是后续变形导致的)而传导至CT 几何校准过程中所产生的误差,从而提高了 CT 校准的准确性和可靠性。
传统做法中涉及三维到二维的特征匹配,这是一个相对复杂且难度较大的过程。它需要在不同维度的空间数据中去寻找特征的对应关系,由于维度的跨越,数据的结构和特征的表现形式都有较大的变化,这使得匹配过程容易出现错误和不准确的情况。
而本方法替换为局部帧二维到二维的特征匹配,也就是专注于图像特征匹配。在二维图像层面上,特征的识别和匹配技术已经发展得相当成熟。例如,现有的图像特征提取算法可以高效地提取出图像中的边缘、角点、纹理等特征信息,而且针对这些二维特征的匹配算法也有很多经过实践检验的高效方法。这些算法在处理图像数据时具有很强的鲁棒性,即对图像中的噪声、光照变化、部分遮挡等干扰因素具有较强的抵抗能力,能够在复杂的图像环境中稳定地实现特征匹配,从而保证了整个流程的准确性和稳定性。
当需要管理模体本身几何数据库时,这需要投入大量的人力和物力资源。一方面,需要建立完善的数据存储系统来保存不同模体的几何数据,包括数据的录入、整理、更新等操作都需要专门的人员负责。另一方面,随着模体数量的增加和使用过程中的变化,数据库的维护成本会不断上升。而且,如果工程师在选择模体进行校准时出现错误,例如选择了与实际设备不匹配的模体或者使用了有缺陷的模体几何数据,就会导致校准错误,进而影响整个 CT 系统的性能。
本方法不需要管理这样的模体本身几何数据库,这就直接降低了管理成本。不再需要担心数据库维护的相关问题,同时也避免了因工程师在众多模体数据中选择失误而导致的校准错误风险,从流程简化和风险防控两个方面都带来了积极的影响。
附图说明
图1为成像数据校准方法M10的流程示意图。
图2为模体扫描投影图。
图3为成像数据校准方法中射影空间重建S104的流程示意图。
图4为成像数据校准方法中欧式空间转换S105的流程示意图。
图5为成像数据校准方法中重建结果优化S106的流程示意图。
图6本发明的一个实施方式的配置有成像数据校准系统的电子设备1000的结构示意框图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分。
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明的技术方案。
除非另有说明,否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本发明的技术构思的一些方式的各种细节的示例性特征。因此,除非另有说明,否则在不脱离本发明的技术构思的情况下,各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
本文使用的术语是为了描述具体实施例的目的,而不是限制性的。如这里所使用的,除非上下文另外清楚地指出,否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外,当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时,说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组,但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是,如这里使用的,术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语,如此,它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
图1示出了本发明一些实施方式的成像数据校准方法M10的整体流程示意图。图1的详细描述是为了更加清楚地理解本发明的技术方案,不应当被认为是本发明保护范围的限定。在本发明的技术思想的实现过程中,可以省略某个或某些步骤,也可以采用其他的替代方式。
S101扫描校准模体:首先将预设的校准模体放置在CT成像系统的视野中心处,并启动CT设备对校准模体进行扫描,生成二维CT投影图像数据;
S102图像处理与特征提取:对扫描获得的投影图像数据进行处理,提取模体的投影特征数据,所述投影特征包括与模体表面形状、边缘或表面结构相对应的特征点或特征区域;
S103局部帧跟踪:利用提取的投影特征数据,针对投影图像的局部区域进行逐帧跟踪,获得各帧投影特征的轨迹数据,所述轨迹数据反映模体在不同投影角度下的投影变化;
S104射影空间重建:基于所述投影特征的轨迹数据,进行局部帧之间的特征匹配,形成多帧投影特征之间的射影几何关系,依据射影几何关系进行射影空间的三维重建,得到模体的初步重建结果;
S105欧式空间转换:将射影空间中的重建结果转换至欧式空间,将射影空间中的点云数据或几何结构映射至三维欧式坐标系中;
S106重建结果优化:利用光束法平差技术对上述欧式空间中的重建结果进行全局优化,获得内参数和外参数投影矩。
在进行CT扫描校准模体操作前,需要确保校准模体是经过预设且符合相关标准的。将其准确地放置在CT成像系统的视野中心位置至关重要,这一步的精准度会直接影响后续图像数据的质量和准确性。当校准模体放置妥当后,启动CT设备开始扫描过程。在扫描过程中,CT设备通过X射线的发射与接收,根据人体组织或物体对X射线的不同吸收程度,对校准模体进行断层扫描。每一次扫描会从不同角度获取模体的信息,这些信息经过设备内部的处理与转换,最终生成二维的CT投影图像数据。这些二维图像数据包含了模体在不同角度下的投影信息,如不同区域的灰度值等信息反映了模体内部结构在该投影角度下的特征。
在模体设计方面,存在着多种不同的设计思路与方法。从理论层面而言,本方案具备高度的兼容性,它能够适应各式各样的模体设计方式。其中关键的一点在于,无论采用何种设计,都必须确保能够相对容易地对模体的投影特征进行识别与提取。
在我们当前的方案中,所选用的模体是一个具有特定结构的圆筒。这个圆筒的设计在其表面按照固定的间隔镶嵌了钢珠。这些钢珠均匀分布在圆筒上,形成了一种独特的结构模式。
之所以选择这种镶嵌钢珠的圆筒作为模体,是因为钢珠在投影过程中能够呈现出非常明显且易于识别的特征。具体来说,由于钢珠本身是圆球形状,当光线照射到模体上进行投影时,这些钢珠在投影图像上所呈现出的投影特征依然是圆球形状。这种圆球形状的投影特征在后续的图像处理与特征提取过程中具有显著的优势,它能够较为简单、快速地被识别出来。
从视觉上来看,如图2所示(假设此处有相应的模体图片展示),可以清晰地看到圆筒上规则排列的钢珠。这些钢珠在不同的光照和投影角度下,其投影特征的稳定性和可识别性都非常高,为整个成像系统的后续操作,如扫描、特征提取、图像重建等流程奠定了良好的基础。无论是在二维投影图像的分析还是在三维重建过程中,这些圆球形状的投影特征都能够作为可靠的标记点,帮助我们更准确地还原模体的结构和形状信息
对扫描得到的二维投影图像数据进行处理是一个复杂但关键的步骤。首先,需要对图像进行预处理,例如去除噪声、增强对比度等操作,以提高图像质量和清晰度。在提取模体的投影特征数据时,对于模体表面形状相关的特征,需要分析图像中灰度值的变化模式来确定形状的边界和轮廓特征点。如果是边缘特征,可能会运用边缘检测算法,如Sobel算子、Canny算子等,这些算法通过计算图像像素点在不同方向上的灰度变化梯度来检测边缘位置,从而确定特征点或特征区域。对于表面结构特征,可能需要根据特定的纹理特征提取算法,识别出具有特定纹理模式的区域作为特征区域。例如,对于具有周期性结构的模体表面,可以通过分析周期性的灰度变化来提取特征。
利用提取的投影特征数据进行局部帧跟踪时,我们专注于投影图像的局部区域。在每一帧图像中,根据之前提取的特征点或特征区域,建立一个局部的坐标系统。随着投影角度的逐渐变化,逐帧地观察这些特征在局部区域内的位置变化。通过对每一个特征点或特征区域在不同帧之间的位置移动进行记录,可以获得它们在不同投影角度下的轨迹数据。例如,如果一个特征点在第一帧位于坐标(x1,y1),在第二帧移动到(x2,y2),以此类推,这些连续的坐标点就构成了该特征点的轨迹。这些轨迹数据能够清晰地反映出模体在不同投影角度下的投影变化情况,比如某个局部结构是如何随着角度变化而变形或移动的。
在基于投影特征的轨迹数据进行射影空间重建时,首先要进行局部帧之间的特征匹配。这意味着要在不同帧的投影特征之间找到对应的关系,例如在某一帧中的一个特定形状的特征区域与另一帧中相似形状的区域进行匹配。通过这种匹配,可以确定多帧投影特征之间的射影几何关系。这种几何关系描述了在投影变换下,特征点和特征区域之间是如何相互关联的。依据这些射影几何关系,可以进行射影空间的三维重建。在这个过程中,利用数学模型和算法,将二维投影图像中的特征信息转化为三维空间中的结构信息。例如,通过多个视角下的特征匹配和几何计算,可以推测出模体在三维射影空间中的大致形状和结构,从而得到模体的初步重建结果。
图3示出了本发明一些实施方式的成像数据校准方法中射影空间重建S104。步骤S104具体可以包括以下步骤S1041-步骤S1045。
S1041通过运动跟踪获取局部多帧图像之间的特征匹配关系:在整个射影空间重建的过程中,运动跟踪起到了关键的基础性作用。通过对物体运动的跟踪,我们能够将注意力集中在局部的多帧图像上,进而去探索它们之间的特征匹配关系。例如,我们可以特意选取特定的帧,像[0,10,20]帧这样具有一定时间间隔的帧序列。在这些帧之间,去仔细分析每个钢珠球投影特征的位置和形态变化。从第一帧开始,对每个钢珠球的投影特征进行标记,然后在第十帧和第二十帧中去寻找与之对应的特征。这个过程需要对图像中的每一个细节进行仔细比对,可能会涉及到对特征的形状、大小、灰度值等多方面因素的考量。通过这样的方式,我们能够在局部多帧之间建立起较为准确的特征匹配关系。
S1042利用特征点匹配和极几何约束,计算帧间的基础矩阵:当完成了特征点匹配之后,接下来就需要利用这些匹配信息以及对级几何约束来计算帧间的基础矩阵。在这个过程中,可以借助opencv库函数findFundamentalMat来完成计算。这个函数内部包含了复杂的算法,它基于特征点匹配对的几何关系进行运算。具体来说,它会分析不同帧中对应特征点之间的位置关系,通过数学模型将这些二维平面上的位置信息转化为能够描述两帧之间几何变换的基础矩阵。这个基础矩阵包含了两帧图像之间旋转、平移以及缩放等多种几何变换信息的综合体现。
S1043根据基础矩阵恢复投影物体的相对深度:有了基础矩阵F之后,我们就可以进一步恢复钢珠球投影的相对深度。通过下列公式进行计算:
其中,eji是表示第j帧到第i帧的极点,是一个二维向量,通过对基础矩阵进行奇异值分解获得,是最小的左奇异向量。奇异值分解可以通过numpy库中的svd函数获得。这一步骤是将二维图像信息向三维空间信息转化的关键环节。基础矩阵F为我们提供了一个桥梁,通过它可以挖掘出隐藏在图像平面背后的深度信息。具体的计算过程涉及到对基础矩阵和图像特征点坐标的复杂数学运算,通过这些运算能够推导出每个钢珠球投影在三维空间中的相对深度位置。这种相对深度信息并不是绝对的物理深度,但它为后续构建三维坐标提供了重要的依据。
S1044将投影特征的二维坐标齐次化,再与其相对深度相乘,获得对应的三维坐标,对获得的三维坐标进行排列成矩阵,并在行和列上反复执行归一化操作:首先,对投影特征的二维坐标进行齐次化处理。齐次化的过程是将二维坐标转化为一种可以方便地与深度信息相结合的形式。然后,将齐次化后的二维坐标与之前计算得到的相对深度相乘,这样就可以得到一系列的三维坐标。这些三维坐标构成了一个新的矩阵W。在矩阵W中,每个元素是一个3*1的小矩阵,整个矩阵W呈现为3m*n的规模。接下来,进行反复多次的归一化操作。归一化分为在行方向和列方向上分别进行。在行方向上,每一行都除以该行向量的模,这样可以使得每一行向量的长度都变为1,从而在一定程度上消除了不同行之间由于向量长度差异而带来的影响。在列方向上,同样地将每一列除以该列向量的模。通过反复多次执行这样的归一化操作,可以使矩阵W中的数据更加稳定和规范。
S1045通过奇异值分解计算,得到一系列3×4投影矩阵和四维空间点的坐标:在奇异值分解的过程中,能够获得一系列3x4的投影矩阵P和4维空间点X。这些投影矩阵和空间点是基于射影空间的表示。在射影空间中,虽然我们得到了这些三维的表示,但它与我们熟悉的可度量的欧式空间不同。射影空间中的点和几何关系不具备欧式空间中那种直观的距离、角度等度量属性,它更多地是从几何变换和投影关系的角度来描述物体的空间结构。
将射影空间中的重建结果转换至欧式空间是一个重要的坐标转换过程。在射影空间中,点和几何结构的表示方式与欧式空间有所不同。欧式空间是我们通常所熟悉的三维直角坐标系,具有明确的距离、角度等几何度量概念。在转换过程中,需要根据特定的数学变换公式,将射影空间中的点云数据或几何结构映射到三维欧式坐标系中。这个过程涉及到复杂的坐标变换和几何校正,以确保在转换后的欧式空间中,重建的模体结构符合我们对实际三维物体的几何认知。例如,对于射影空间中的一个点的坐标(xp,yp,zp),通过一系列的矩阵运算和参数调整,将其转换为欧式空间中的坐标(xe,ye,ze),使得在欧式空间中能够更直观地进行后续的分析和处理。
图4示出了本发明一些实施方式的成像数据校准方法中欧式空间转换S105。步骤S105具体可以包括以下步骤S1051-步骤S1053。
S1051通过射影空间重建得到一系列处于四维射影空间中的投影矩阵;在从射影空间过渡到三维欧式空间的过程中,绝对二次曲线的不变性是一个关键的性质。在射影几何中,绝对二次曲线在任何投影视角下都保持不变。根据这一特性,可以构造一种特定的二次型。这种二次型的构造需要深入理解射影空间和绝对二次曲线的数学本质。它涉及到对射影空间中的几何元素进行数学表达式的构建,通过复杂的数学推导和运算来确定二次型的具体形式,使其能够准确地反映绝对二次曲线的性质。
S1052基于射影空间中的绝对二次曲线在任何投影视角下具有的不变性,构造一个二次型,并通过非线性最小二乘法优化目标函数,以求解内参矩阵;接下来使用非线性最小二乘方法来优化一个目标函数。这个目标函数的构建与前面构造的二次型以及射影空间中的几何关系密切相关。在优化过程中,非线性最小二乘算法会尝试找到一组参数值,使得目标函数的值最小化。这是一个迭代的过程,在每一次迭代中,算法会根据当前的参数值计算目标函数的值,并根据一定的规则调整参数值,以逐步逼近最优解。这个过程需要对目标函数的数学性质有深入的理解,同时需要选择合适的优化算法和初始参数值,以确保优化过程能够快速、稳定地收敛到最优解,通过非线性最小二乘优化目标函数的过程,我们可以求解得到内参矩阵。内参矩阵包含了相机内部的一些参数信息,例如焦距、主点坐标等。这些参数反映了相机成像的内部几何特性。求解内参矩阵的过程涉及到对优化结果的提取和分析,从优化算法得到的最终参数值中筛选出与内参矩阵相关的部分,并将其整理成正确的矩阵形式。
S1053根据求解得到的内参矩阵,进行从射影空间到欧式空间的变换,其中,通过内参矩阵与投影矩阵的反向计算,获取外参矩阵,再结合外参矩阵将射影空间中的三维特征点转换为欧式空间中的三维特征点,得到内参矩阵后,就可以确定从射影空间到欧式空间的变换矩阵。这个变换矩阵是连接射影空间和欧式空间的关键桥梁,它的构建需要综合考虑内参矩阵以及射影空间和欧式空间之间的几何变换关系。然后,通过特定的公式来求解外参矩阵和三维特征点。外参矩阵描述了相机在三维空间中的位置和姿态信息,它与内参矩阵一起构成了相机成像模型的完整参数。求解外参矩阵和三维特征点的过程需要对相机成像模型以及相关的数学公式有深入的理解,并且要保证计算过程的准确性和稳定性,以得到正确的欧式空间中的外参矩阵和三维特征点。
图5示出了本发明一些实施方式的成像数据校准方法中重建结果优化S106。步骤S106具体可以包括以下步骤S1061-步骤S1064。
S1061采用光束法平差的方法对内参矩阵、外参矩阵及三维特征点进行整体约束优化;
S1062通过最小化投影误差的优化目标函数,实现对投影特征点位置与三维特征点投影坐标之间误差的最小化,其中投影误差优化目标函数为:将实际投影特征点位置与通过内参矩阵、外参矩阵和三维特征点计算得到的投影点位置之间的差异最小化,最小化投影误差的优化目标函数是整个优化过程的核心。在实际操作中,投影特征点位置是通过实际图像测量得到的,而通过内参矩阵、外参矩阵和三维特征点计算得到的投影点位置则是基于数学模型的预测值。这个目标函数的本质就是要让这两者之间的差异尽可能地小。
内参矩阵包含了相机内部的成像参数信息,例如焦距、主点坐标等,它反映了相机自身的成像特性。外参矩阵则描述了相机在三维空间中的位置和姿态,它与相机的外部环境以及拍摄场景相关。三维特征点则是场景中物体的几何特征在三维空间中的表示。当我们通过这些参数进行计算时,实际上是在模拟相机的成像过程,从三维空间中的点投影到二维图像平面上。而实际测量得到的投影特征点位置与这个模拟计算得到的投影点位置之间往往存在差异,这个差异就是我们要最小化的投影误差。
对于一个特定的三维特征点,其在三维空间中的坐标已知,通过当前的内参矩阵和外参矩阵进行投影计算,可以得到一个在图像平面上的预测投影点位置。而同时,我们在实际图像中也测量得到了该特征点的实际投影位置。通过比较这两个位置之间的差异,并对所有的特征点进行求和,就构成了投影误差优化目标函数。
S1063对外参矩阵进行分解,得到旋转矩阵和平移向量,其中平移向量代表射源位置,施加共轴圆周运动约束,确保每一个外参矩阵的平移向量位于同一圆周上,对外参矩阵进行分解是为了更好地理解和控制相机的外部姿态。外参矩阵可以分解为旋转矩阵和平移向量。其中,平移向量具有明确的物理意义,它代表了射源(相机)的位置。在某些特定的场景中,例如相机围绕一个固定点进行圆周运动拍摄时,就可以施加共轴圆周运动约束,这个约束的目的是确保每一个外参矩阵的平移向量都位于同一圆周上。从几何意义上来说,这意味着相机在运动过程中,其射源位置始终保持在一个以某个中心为圆心的圆周上。这对于一些特定的摄影测量和计算机视觉应用是非常重要的,因为它可以反映出拍摄场景的几何结构和相机运动的规律性。
S1064通过最小化射源位置到旋转中心的距离差异,进一步优化平移向量的约束条件,减少射源位置与旋转中心距离的偏差。通过最小化射源位置到旋转中心的距离差异,可以有效地优化平移向量的约束条件。对于每一个外参矩阵的平移向量,我们计算它到旋转中心的距离。然后,通过比较这些距离与所有距离的平均值mean之间的差异,并将这些差异求和构成新的优化目标函数\min-mean。通过最小化这个目标函数,就可以使得所有的射源位置尽可能地靠近一个理想的圆周,从而减少射源位置与旋转中心距离的偏差,实现共轴圆周运动的约束。
利用光束法平差技术对欧式空间中的重建结果进行全局优化是为了提高重建结果的准确性和精度。光束法平差是一种基于最小二乘法原理的优化算法,它考虑了光线在成像过程中的传播路径以及相机参数等因素。在这个过程中,将重建结果中的各个点和几何结构视为由光线投影形成的,通过调整内参数(如相机焦距、主点坐标等)和外参数(如相机的位置和姿态)投影矩,使得所有投影光线与实际观测到的图像特征之间的误差最小化。例如,对于一组特征点的投影,根据当前的相机参数和几何模型计算出理论投影位置,与实际观测到的位置进行比较,根据误差计算出参数的调整量,通过多次迭代优化,逐渐减小误差,从而获得更精确的内参数和外参数投影矩,使重建结果更加接近真实的模体结构。
本发明具体实施方式中的成像数据校准方法的执行主体,可以是手机、平板电脑、服务器等电子设备。
因此,基于上述任一个实施方式,本发明还提供了一种电子设备,该电子设备可以执行本发明上文描述的任一个实施方式的成像数据校准方法,在该电子设备上可以配置上文描述的任一个实施方式的成像数据校准方法。
图6是本发明的一个实施方式的配置有成像数据校准方法的电子设备1000的结构示意框图。电子设备1000的硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
总线1100可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
其中,处理器1200可以为中央处理器(Central Processing Unit,CPU)。处理器1200还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器1300可以作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的计算机程序的程序指令。处理器1200通过运行存储在存储器1300中的非暂态软件程序、指令以及模块,从而实现成像数据校准方法。
存储器1300可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器1200所创建的数据,例如桥梁的结构数据、模型数据、样本数据、刚度评价结果等。此外,存储器1300可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器1300可选包括相对于处理器1200远程设置的存储器,这些远程存储器可以通过网络连接至处理器1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明还提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序被处理器执行时用于实现上述的方法。“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)等。
本发明还提供了一种计算机程序产品,本发明的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。加载和执行所述计算机程序或指令时,全部或部分地执行本发明的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。
计算机程序或指令可以存储在可读存储介质中,或者从一个可读存储介质向另一个可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。可读存储介质可以是能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘;还可以是半导体介质,例如,固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质,或可包括易失性和非易失性两种类型的存储介质。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中,参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、或者特点包含于本发明的至少一个实施例/方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且,描述的具体特征、结构、或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本发明,而并非是对本发明的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本发明的范围内。

Claims (9)

1.一种成像数据校准方法,其特征在于,包括:
扫描校准模体:将预设的校准模体放置于CT成像系统的视野中心,启动CT设备进行扫描,生成二维CT投影图像数据;
图像处理与特征提取:对扫描获得的投影图像数据进行处理,提取与模体表面形状、边缘或表面结构相关的投影特征点或特征区域;
局部帧跟踪:利用提取的投影特征数据,对投影图像的局部区域进行逐帧跟踪,获得各帧的投影特征轨迹数据,反映模体在不同投影角度下的投影变化;
射影空间重建:基于提取的投影特征轨迹数据,进行多帧投影特征的射影几何匹配,形成三维射影空间重建模型;
欧式空间转换:将射影空间中的重建结果转换为欧式空间,得到与三维欧式坐标系一致的点云或几何结构;
重建结果优化:利用光束法平差技术对上述欧式空间中的重建结果进行全局优化,获得投影内参和外参矩阵。
2.根据权利要求1所述的成像数据校准方法,其特征在于,所述的校准模体为固定间隔镶嵌有钢珠的圆筒模体。
3.根据权利要求1所述的成像数据校准方法,其特征在于,所述投影特征的投影轨迹的特征匹配方法,包括以下步骤:
将每个投影特征在前后帧上的位置串联起来,形成投影特征在探测器上的轨迹;
针对任一特征,基于该特征在当前帧和下一帧的投影位置变动较小且前后帧的位移变化一致,判断当前帧和下一帧中同一特征的投影。
4.根据权利要求1所述的成像数据校准方法,其特征在于,所述的射影空间重建过程包括以下步骤:
通过运动跟踪获取局部多帧图像之间的特征匹配关系;
利用特征点匹配和极几何约束,计算帧间的基础矩阵;
根据基础矩阵恢复投影物体的相对深度;
将投影特征的二维坐标齐次化,再与其相对深度相乘,获得对应的三维坐标;
对获得的三维坐标进行排列成矩阵,并在行和列上反复执行归一化操作;
通过奇异值分解计算,得到一系列3×4投影矩阵和四维空间点的坐标。
5.根据权利要求1所述的成像数据校准方法,其特征在于,所述的欧式空间转换包括以下步骤:
通过射影空间重建得到一系列处于四维射影空间中的投影矩阵;
基于射影空间中的绝对二次曲线在任何投影视角下具有的不变性,构造一个二次型,并通过非线性最小二乘法优化目标函数,以求解内参矩阵;
根据求解得到的内参矩阵,进行从射影空间到欧式空间的变换,其中,通过内参矩阵与投影矩阵的反向计算,获取外参矩阵,再结合外参矩阵将射影空间中的三维特征点转换为欧式空间中的三维特征点。
6.根据权利要求1所述的成像数据校准方法,其特征在于,所述的重建结果优化过程包括以下步骤:
采用光束法平差的方法对内参矩阵、外参矩阵及三维特征点进行整体约束优化;
通过最小化投影误差的优化目标函数,实现对投影特征点位置与三维特征点投影坐标之间误差的最小化,其中投影误差优化目标函数为:将实际投影特征点位置与通过内参矩阵、外参矩阵和三维特征点计算得到的投影点位置之间的差异最小化;
对外参矩阵进行分解,得到旋转矩阵和平移向量,其中平移向量代表射源位置,施加共轴圆周运动约束,确保每一个外参矩阵的平移向量位于同一圆周上;
通过最小化射源位置到旋转中心的距离差异,进一步优化平移向量的约束条件,减少射源位置与旋转中心距离的偏差。
7.一种电子设备,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行权利要求1至6中任一项所述的成像数据校准方法。
8.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现如权利要求1至6中任一项所述的成像数据校准方法。
9.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至6中任一项所述的成像数据校准方法。
CN202411283072.1A 2024-09-13 2024-09-13 成像数据校准方法、电子设备、存储介质及程序产品 Active CN118799236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411283072.1A CN118799236B (zh) 2024-09-13 2024-09-13 成像数据校准方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411283072.1A CN118799236B (zh) 2024-09-13 2024-09-13 成像数据校准方法、电子设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN118799236A CN118799236A (zh) 2024-10-18
CN118799236B true CN118799236B (zh) 2025-01-28

Family

ID=93020280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411283072.1A Active CN118799236B (zh) 2024-09-13 2024-09-13 成像数据校准方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN118799236B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147684A (zh) * 2007-11-15 2008-03-26 上海交通大学 多源马鞍线轨迹锥形束ct近似重建方法
CN103502770A (zh) * 2011-04-29 2014-01-08 光视有限公司 使用光学相干断层扫描进行实时跟踪的改进成像

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015202917B3 (de) * 2015-02-18 2016-03-24 Siemens Aktiengesellschaft Verfahren zur Rekonstruktion eines dreidimensionalen Bilddatensatzes aus zweidimensionalen Projektionsbildern und Röntgeneinrichtung
US10205929B1 (en) * 2015-07-08 2019-02-12 Vuu Technologies LLC Methods and systems for creating real-time three-dimensional (3D) objects from two-dimensional (2D) images
AU2017251725A1 (en) * 2017-10-24 2019-05-09 Canon Kabushiki Kaisha Calibration of projection systems
CN118014911A (zh) * 2024-03-14 2024-05-10 常州博恩中鼎医疗科技有限公司 校正体模、基于偏置探测器的cbct几何校正方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147684A (zh) * 2007-11-15 2008-03-26 上海交通大学 多源马鞍线轨迹锥形束ct近似重建方法
CN103502770A (zh) * 2011-04-29 2014-01-08 光视有限公司 使用光学相干断层扫描进行实时跟踪的改进成像

Also Published As

Publication number Publication date
CN118799236A (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
CN109118545B (zh) 基于旋转轴和双目摄像头的三维成像系统标定方法及系统
WO2021129791A1 (zh) 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN111640145B (zh) 图像配准方法及其相关的模型训练方法、设备、装置
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN107194974B (zh) 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法
CN111145227B (zh) 一种地下隧道空间多视点云的可迭代整体配准方法
CN106408609A (zh) 一种基于双目视觉的并联机构末端运动位姿检测方法
US9858690B2 (en) Computed tomography (CT) image reconstruction method
CN115187612B (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
WO2022179385A1 (zh) 一种三维重建方法、装置、系统以及存储介质
WO2023082306A1 (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质
CN117058197A (zh) 用于神经调控的空间注册方法及装置
CN115423789B (zh) 一种提取cbct图像中定位用金属球位置的方法及装置
CN119445005B (zh) 一种基于视觉的点云图像融合方法
CN117994329A (zh) 一种基于立体视觉点云的目标定位方法及系统
CN110415341B (zh) 一种三维人脸模型的生成方法、装置、电子设备及介质
CN114159085B (zh) 一种pet图像衰减校正方法、装置、电子设备及存储介质
CN118799236B (zh) 成像数据校准方法、电子设备、存储介质及程序产品
CN119648950A (zh) 换流站的数字孪生模型构建方法、装置和计算机设备
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN119006542A (zh) 点云数据处理方法、装置、计算机设备及存储介质
CN112862869A (zh) 图像扫描处理方法、成像扫描设备、电子设备及可读介质
CN117388865A (zh) 一种激光雷达的外参数设置方法及装置
Będkowski et al. Towards terrestrial 3D data registration improved by parallel programming and evaluated with geodetic precision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant