CN201522266U

CN201522266U - 一种计算机双目视觉义齿扫描装置

Info

Publication number: CN201522266U
Application number: CN2009202479975U
Authority: CN
Inventors: 赵吉宾; 刘伟军; 于彦凤; 夏仁波
Original assignee: Shenyang Institute of Automation of CAS
Current assignee: Shenyang Institute of Automation of CAS
Priority date: 2009-11-11
Filing date: 2009-11-11
Publication date: 2010-07-07
Anticipated expiration: 2019-11-11

Abstract

本实用新型涉及一种计算机双目视觉的义齿扫描装置，线结构光视觉采集部分、旋转测量台及其控制部分以及箱体，其中：线结构光视觉采集部分包括2台高分辨率数字CCD摄像机，一个线结构光线激光器，2台高分辨率数字CCD摄像机位于旋转测量台及其控制部分中心侧上方，以线结构光线激光器为中心对称分布；旋转测量台及其控制部分包括旋转测量台及其驱动机构和第1、2附件，第1、2附件设于旋转测量台上，第1附件为一放置并夹持义齿牙模的平台，第2附件上设置有标志点，旋转测量台通过驱动机构旋转；上述结构安装于箱体中。本实用新型机械结构和控制方法不需要变速控制，并且对电机的主轴转动没有精度要求，便于操作，扫描精度高。

Description

一种计算机双目视觉义齿扫描装置

技术领域

本实用新型涉及测量、测试技术领域的义齿扫描技术，具体的说是一种计算机双目视觉的义齿扫描装置。

背景技术

计算机视觉技术的发展为非接触式三维测量技术在逆向工程、工业检测和质量控制等方面的应用提供了有力的技术支撑，同时，在这些领域日益广泛的应用也促进了视觉三维测量技术的发展。如结构光测量仪，采用线激光或光谱式激光的三角测量法。计算机视觉测量技术以其方便、快捷和测量精确等特点在义齿扫描设备中获得了广泛的应用。目前，采用非接触式计算机视觉三维测量技术的义齿扫描设备主要采用两种方法，一种是在测量义齿时，向义齿的表面投射面光栅，由一个CCD相机拍摄图像，提取义齿表面的三维点采样数据，在测量过程中义齿及相机都没有移动，这种方法需要复杂的光栅投射装置。另一种方法是，向义齿表面投射线结构光，然后由一个CCD相机拍摄图像，提取光条在义齿表面的三维采样点，随着放置义齿的底座的不断旋转，就获得了义齿整个表面的三维点采样点数据，每旋转一定的角度CCD相机拍摄一张图像，通过计算机精确控制的旋转角度将所有数据融合在一起，这种方法要求有精确控制的旋转机构，结构复杂，造价昂贵，维护费用也高。

实用新型内容

针对当前义齿扫描设备结构复杂、价格昂贵的不足，本实用新型要解决的技术问题是提供一种采用简单的机械结构和控制方法便可以实现高精度测量的计算机双目视觉义齿扫描装置及其三维重建方法。

为解决上述技术问题，本实用新型采用的技术方案是：

本实用新型计算机双目视觉义齿扫描装置包括：线结构光视觉采集部分、旋转测量台及其控制部分以及箱体，其中：

线结构光视觉采集部分包括2台高分辨率数字CCD摄像机，一个线结构光线激光器，2台高分辨率数字CCD摄像机位于旋转测量台及其控制部分中心侧上方，以线结构光线激光器为中心对称分布；

旋转测量台及其控制部分包括旋转测量台及其驱动机构和第1、2附件，第1、2附件设于旋转测量台上，第1附件为一用于放置并夹持义齿牙模的平台，第2附件通过紧固件安装于旋转测量台上，第2附件上设置有标志点，旋转测量台通过驱动机构旋转；上述结构安装于箱体中；上述CCD摄像机及镜头的数据输出端、线激光器的控制端以及旋转测量台及其控制部分的控制端与外部控制计算机相连。

本实用新型还具有照明部分，安装于箱体内顶部，其控制端与外部控制计算机相连；所述驱动机构为交流变频调速电机；所述箱体内分为2层，上层容纳线结构光视觉采集部分，下层容纳旋转测量台及其控制部分，第1、2附件及旋转测量台与其控制部分通过隔板隔离，箱体正面设有门；门上对应第1、2附件及旋转测量台空间的位置为封闭玻璃。

本实用新型计算机双目视觉义齿扫描装置采用的三维重建方法包括以下步骤：

将义齿通过第2附件夹持放置在旋转测量台上的CCD摄像机的有效拍摄范围内；

线结构光线激光器向义齿投射激光，在义齿表面形成一条曲线光条；

启动驱动机构带动旋转测量台连续旋转；

两个CCD摄像机摄取图像，通过图像接口卡将图像数据传输至外部控制计算机进行处理，得到整个义齿表面的三维点数据。

外部控制计算机对图像进行处理包括以下步骤

对已接收到的旋转测量台旋转一周的所有图像提取标志点中心和光条中心线；

利用双目立体视觉方法计算每帧图像标志点的中心点和光条的中心线三维坐标，获得该光条在义齿表面的三维数据点集；

利用标志点中心点三维坐标的特征矢量获得标志点之间的对应关系，根据上述对应关系计算各帧图像形成的坐标系之间的变换矩阵，通过变换矩阵将各个坐标系下的光条在义齿表面的三维数据融合在一个坐标系下，得到义齿完整表面的三维采样数据。

所述光条中心线提取包括：

对摄取的所有图像采用中值滤波器消除图像中的孤立噪声点；

利用大津阈值法求出整幅图像二值化的阈值，对图像进行二值化处理；

对二值化的图像进行细化处理，利用改进的OPTA细化算法，构建5～8个消除模板和4～6个保留模板，对光条进行细化；

细化得到的光条的骨架进行剪枝处理，得到粗略的线结构光条骨架；

以细化得到的光条骨架为中心线，沿骨架上每个点的法线方向在光条上取n个点，组成一个像素点集；

利用该像素点集的坐标和灰度值拟合二次曲线方程；依次遍历骨架上的其他点，求出整个光条的亚像素中心点。

所述计算每帧图像标志点中心和光条中心线的三维坐标(X_W，Y_W，Z_W)通过以下公式实现：

\{\begin{matrix} (u_{1} m_{31}^{1} - m_{11}^{1}) X_{W} + (u_{1} m_{32}^{1} - m_{12}^{1}) Y_{W} + (u_{1} m_{33}^{1} - m_{13}^{1}) Z_{W} = m_{14}^{1} - u_{1} m_{34}^{1} \\ (v_{1} m_{31}^{1} - m_{21}^{1}) X_{W} + (v_{1} m_{32}^{1} - m_{22}^{1}) Y_{W} + (v_{1} m_{33}^{1} - m_{23}^{1}) Z_{W} = Z_{W} = m_{24}^{1} - v_{1} m_{34}^{1} \end{matrix} - - - (3)

\{\begin{matrix} (u_{1} m_{31}^{2} - m_{11}^{2}) X_{W} + (u_{1} m_{32}^{2} - m_{12}^{2}) Y_{W} + (u_{1} m_{33}^{2} - m_{13}^{2}) Z_{W} = m_{14}^{2} - u_{1} m_{34}^{2} \\ (v_{1} m_{31}^{2} - m_{21}^{2}) X_{W} + (v_{1} m_{32}^{2} - m_{22}^{2}) Y_{W} + (v_{1} m_{33}^{2} - m_{23}^{2}) Z_{W} {= m}_{24}^{2} - v_{1} m_{34}^{2} \end{matrix} - - - (4)

其中(u₁，v₁)和(u₂，v₂)分别为p₁和p₂点在各自图像中的坐标；m_ij ^k(k＝1，2；i≤3，j≤4)分别为相机的3×4的投影矩阵M_k的第i行第j列元素；M_k可由摄像机的标定得出。

所述利用标志点中心三维坐标的特征矢量获得标志点之间的对应关系包括：

利用标志点中心的三维坐标计算在每个坐标系下每个标志点中心与其他标志点中心的矢量，并计算每个标志点的矢量积形成的特征矢量；

比较各个坐标系下每个标志点的特征矢量，得到各个坐标系之间的标志点的对应关系。

本实用新型的有益效果是：

1.本实用新型机械结构和控制方法简单，旋转测量台仅由一台小功率的变频调速电机直接带动，仅仅需要对电机实行启动和停止的控制，不需要变速控制，并且对电机的主轴转动没有精度要求。

2.本实用新型使用简单、便于操作，只需将被测义齿放入扫描仪中，点击启动测量，在小于1分钟的时间内即可完成一颗义齿的测量。

3.本实用新型对义齿的扫描精度高，三维点的位置精度可达到0.02mm。

附图说明

图1为本实用新型结构主视图；

图2为图1的俯视图；

图3为本实用新型中第1、2附件结构示意图；

图4为本实用新型控制原理示意图；

图5为本实用新型旋转测量台的电气控制原理图；

图6为本实用新型采用的控制方法流程图；

图7A、7B为本实用新型采用的方法中不同坐标系之间的数据融合示意图(一)、(二)；

图8为本实用新型采用的方法中光条中心提取示意图；

图9为本实用新型采用的方法中双目立体视觉原理示意图。

具体实施方式

本实用新型是一种集光、机、电技术一体化的测量装置，如图1～4所示，该装置包括：

线结构光视觉采集部分1、旋转测量台及其控制部分2以及箱体3，其中：线结构光视觉采集部分1包括两台高分辨率数字CCD摄像机11，一个线结构光激光器12，两台高分辨率数字CCD摄像机11位于旋转测量台及其控制部分2中心侧上方，以线结构光激光器12为中心对称分布；

旋转测量台及其控制部分2包括旋转测量台21及其驱动机构和第1、2附件22、23，第1、2附件22、23设于旋转测量台21上，第1附件22为一用于放置并夹持义齿牙模的平台，第2附件23通过紧固件安装于旋转测量台21上，第2附件23上设置有标志点，旋转测量台21通过驱动机构旋转；上述结构安装于箱体3中；上述高分辨率数字CCD摄像机11的数据输出端、线激光器12的控制端以及旋转测量台及其控制部分2的控制端与外部控制计算机相连。

本实用新型还具有照明部分，安装于箱体内顶部，其控制端与外部控制计算机相连。

所述驱动机构为交流变频调速电机。

所述箱体3为一封闭空间，通过两侧板、顶板、背板及底板封闭，屏蔽外界杂光的干扰；内分为2层，上层容纳线结构光视觉采集部分1，下层容纳旋转测量台及其控制部分2，第1、2附件22、23及旋转测量台及其控制部分2通过隔板隔离，箱体3正面设有门，该门上对应第1、2附件22、23及旋转测量台21空间的位置为封闭茶色玻璃，用于观察及测量作业。

为了使高分辨率数字CCD摄像机11能清晰摄取标志点的图像保持箱体3内的光源稳定以及便于观察，在箱体3的顶部安装了一台5W的节能灯。

所述高分辨率数字CCD摄像机11采用加拿大Prosilica EC1350，配置低畸变CCD相机镜头(日本kowa LM12JCM)；线结构光激光器12采用低功率聚焦功能良好的美国SNF701。两台高分辨率数字CCD摄像机11呈一定的角度(60°-90°)摆放，并与线结构光激光器12对称设置，并保证可以采集同一区域的图像。高分辨率数字CCD摄像机11内部CCD的尺寸越大图象就越清晰，图像质量就越好，但其价格也越高，因此综合考虑本实施例选用了CCD尺寸为1/2”、图像分辨率为1360×1024；镜头选用2/3”，f＝12mm的标准镜头；线结构光激光器12选用SNF激光器，设计物距250mm时，其激光条线宽仅为0.07mm，功率为10mw。高分辨率数字CCD摄像机11镜头光轴与线结构光激光器12中心轴夹角为30度，高分辨率数字CCD摄像机11距旋转测量台21中心处240mm，线结构光激光器12距旋转测量台21中心处240mm处，高分辨率数字CCD摄像机11镜头与线结构光激光器12镜头距离为125mm。

旋转测量台21一个圆盘式测量台，其驱动机构为交流变频调速电机及其控制部分；旋转测量台21用于测量时直接放置被测的义齿，旋转测量台21底端的旋转轴与交流变频调速电机输出轴固连，在交流变频调速电机驱动下绕旋转测量台21旋转轴旋转；交流变频调速电机的速度设定为义齿外形360度扫描的速度，其角速度为0.2～0.5rad/s。交流变频调速电机的启动和停止由外部控制计算机的控制程序控制，与高分辨率数字CCD摄像机11拍摄的启动和停止相匹配。通过串口RS232连接外部控制计算机的控制程序和交流变频调速电机控制器开关量信号，在控制程序中添加串口控制程序，指定串口某一通道(如采用DB9-7)在控制程序启动按钮按下时产生高电平，在停止按钮按下时产生低电平。由于RS232串口所产生的电平不是标准的TTL电平，因此需要借助专用驱动芯片或电路进行信号转换，本实施例采用如图5所示的转换电路，当DB9-7为高电平时，三极管导通，继电器线圈SSR得电，接通交流变频调速电机的控制回路。

(1)将义齿通过第2附件23夹持放置在旋转测量台21上的CCD摄像机11的有效拍摄范围内；

第2附件23上设置有3个以上标志点(本实施例采用4个)，标志点之间的距离不能相等，标志点采用直径为10mm的白色圆点；

(2)线结构光线激光器12)向义齿投射激光，在义齿表面形成一条曲线光条；

(3)启动驱动机构带动旋转测量台21连续旋转；

(4)两个CCD摄像机11摄取图像，通过图像接口卡将图像数据传输至外部控制计算机进行处理。

如图6所示，外部控制计算机进行处理过程如下：

(41)对已接收到的旋转测量台21旋转一周的所有图像提取标志点中心和光条中心线；

如图8所示，光条中心线提取首先采用中值滤波器消除孤立的噪声点；然后利用大津阈值法求出整幅图像二值化的阈值，对图像进行二值化处理；再对二值化的图像进行细化处理，利用改进的OPTA细化算法，构建5～8个(本实施例选8个)消除模板和4～6个(本实施例选6个)保留模板，对光条进行细化；细化得到的光条的骨架进行剪枝处理，得到粗略的线结构光条骨架；最后以细化得到的光条骨架为中心线，沿骨架上每个点的法线方向在光条上取n个点，组成一个像素点集；利用该像素点集的坐标和灰度值拟合二次曲线方程；依次遍历骨架上的其他点，求出整个光条的亚像素中心点。

(42)利用双目立体视觉方法计算每帧图像标志点的中心点和光条的中心线三维坐标，获得该光条在义齿表面的三维数据；

两个CCD摄像机11都是经过标定的，也就是说两个CCD摄像机11的内参数都是已知的。基于双CCD的三维计算属于立体视觉下的三维重建，它不需要对线结构光激光器12进行标定，但需知道空间任一点P在两个CCD摄像机11上的图像点p₁和p₂，如图9所示，必须预先检测出两个图像点p₁和p₂是空间同一点P的两个对应点，即需要对光点进行匹配，然后根据如下公式设标定摄像机的投影矩阵分别为M₁和M₂：

{Z^{1}}_{i} [\begin{matrix} {u^{1}}_{i} \\ {v^{1}}_{i} \\ 1 \end{matrix}] = [\begin{matrix} {m^{1}}_{11} & {m^{1}}_{12} & {m^{1}}_{13} & {m^{1}}_{14} \\ {m^{1}}_{21} & {m^{1}}_{22} & {m^{1}}_{23} & {m^{1}}_{24} \\ {m^{1}}_{31} & {m^{1}}_{32} & {m^{1}}_{33} & 1 \end{matrix}] [\begin{matrix} X_{W} \\ Y_{W_{i}} \\ Z_{W_{i}} \\ 1 \end{matrix}] - - - (1)

{Z^{2}}_{i} [\begin{matrix} {u^{2}}_{i} \\ {v^{2}}_{i} \\ 1 \end{matrix}] = [\begin{matrix} {m^{2}}_{11} & {m^{2}}_{12} & {m^{2}}_{13} & {m^{2}}_{14} \\ {m^{2}}_{21} & {m^{2}}_{22} & {m^{2}}_{23} & {m^{2}}_{24} \\ {m^{2}}_{31} & {m^{2}}_{32} & {m^{2}}_{33} & 1 \end{matrix}] [\begin{matrix} X_{w_{i}} \\ Y_{W_{i}} \\ Z_{W_{i}} \\ 1 \end{matrix}] - - - (2)

得到关于三维点(X_w，Y_w，Z_w)的四个线性方程：

\{\begin{matrix} (u_{1} m_{31}^{1} - m_{11}^{1}) X_{W} + (u_{1} m_{32}^{1} - m_{12}^{1}) Y_{W} + (u_{1} m_{33}^{1} - m_{13}^{1}) Z_{W} = m_{14}^{1} - u_{1} m_{34}^{1} \\ (v_{1} m_{31}^{1} - m_{21}^{1}) X_{W} + (v_{1} m_{32}^{1} - m_{22}^{1}) Y_{W} + (v_{1} m_{33}^{1} - m_{23}^{1}) Z_{W} = m_{24}^{1} - V_{1} m_{34}^{1} \end{matrix} - - - (3)

\{\begin{matrix} (u_{1} m_{31}^{2} - m_{11}^{2}) X_{W} + (u_{1} m_{32}^{2} - m_{12}^{2}) Y_{W} + (u_{1} m_{33}^{2} - m_{13}^{2}) Z_{W} = m_{14}^{2} - u_{1} m_{34}^{2} \\ (v_{1} m_{31}^{2} - m_{21}^{2}) X_{W} + (v_{1} m_{32}^{2} - m_{22}^{2}) Y_{W} + (v_{1} m_{33}^{2} - m_{23}^{2}) Z_{W} = m_{24}^{2} - v_{1} m_{34}^{2} \end{matrix} - - - (4)

其中(u₁，v₁)和(u₂，v₂)分别为p₁和p₂点在各自图像中的坐标；m_ij ^k(k＝1，2)分别为Mk的第i行第j列元素；式(3)和式(4)各代表直线O₁p₁和直线O₂p₂，而空间点P是这两条直线的交点。求解4个方程可用最小二乘法求出三维点(X_W，Y_W，Z_W)；

(43)利用标志点中心点三维坐标的特征矢量获得标志点之间的对应关系，根据上述对应关系计算各帧图像形成的坐标系之间的变换矩阵，通过变换矩阵将各个坐标系下的光条在义齿表面的三维数据融合在一个坐标系下，得到义齿完整表面的三维采样数据。

CCD摄像机11每拍摄一次得到一幅图像，计算得到义齿表面的一条由光点组成的采样曲线，要得到义齿完整表面的采样点，必须使旋转测量台21旋转360°，进行连续扫描，但每帧图像计算得到的激光条在义齿表面的三维点坐标的坐标系都不相同，因此必须利用在每幅图像中设置的标志点进行数据融合。

首先精确定位每帧图像上标志点中心图像坐标，然后计算每个标志点中心的三维坐标并计算每个标志点的特征矢量，完成每个旋转位置同第一幅图像标志点的对应匹配；计算变换矩阵，把每个位置计算的光条三维坐标转化到第一幅图像计算的坐标系下，就完成了所有位置拍摄图像的数据融合。

所述利用标志点中心三维坐标的特征矢量获得标志点之间的对应关系就是利用标志点中心的三维坐标计算在每个坐标系下每个标志点中心与其他标志点中心的矢量，并计算每个标志点的矢量积形成的特征矢量；比较各个坐标系下每个标志点的特征矢量，得到各个坐标系之间的标志点的对应关系。

如图7A、7B所示，位置1的4个标志点V₁、V₂、V₃与V₄，旋转测量台21旋转之后所有标志点变为位置2的标志点P₁、P₂、P₃和P₄；每个标志点与其它三个点可形成三个矢量，例如V₁点有三个矢量为V₁V₂、V₁V₃和V₁V₄，P₁点有三个矢量为P₁P₂、P₁P₃和P₁P₄，分别计算V₁点的三个矢量积和P₁点的三个矢量积，如果这两个矢量积是相等的，则V₁和P₁是对应点。同样可知V₂和P₂、V₃和P₃、V₄和P4也是对应点，通过这些对应点就可以计算出从位置1到位置2的变换矩阵，这个变换矩阵同样适用于提取的光条三维点，这样所有旋转位置的光条三维点就融合为一个义齿完整表面三维点集数据。

综上所述，本实用新型利用结构光双目视觉原理，采用线结构光激光器12与2个CCD摄像机11结合构成的传感器，形成结构光成像几何模型，通过传感器在旋转测量台旋转过程中对义齿连续扫描成像，运用视觉图像处理技术，计算出每幅图像中光条中心线的三维点坐标，然后利用标志点将所有图像的三维点坐标融合在一个坐标系下，就获得了整个义齿的采样点集数据。

Claims

1.一种计算机双目视觉义齿扫描装置，其特征在于包括：线结构光视觉采集部分(1)、旋转测量台及其控制部分(2)以及箱体(3)，其中：

线结构光视觉采集部分(1)包括2台高分辨率数字CCD摄像机(11)，一个线结构光线激光器(12)，2台高分辨率数字CCD摄像机(11)位于旋转测量台及其控制部分(2)中心侧上方，以线结构光线激光器(12)为中心对称分布；

旋转测量台及其控制部分(2)包括旋转测量台(21)及其驱动机构和第1、2附件(22、23)，第1、2附件(22、23)设于旋转测量台(21)上，第1附件(22)为一放置并夹持义齿牙模的平台，第2附件(23)上设置有标志点，旋转测量台(21)通过驱动机构旋转；上述结构安装于箱体(3)中；上述CCD摄像机及镜头(11)的数据输出端、线激光器(12)的控制端以及旋转测量台及其控制部分(2)的控制端与外部控制计算机相连。

2.按权利要求1所述的计算机双目视觉义齿扫描装置，其特征在于：还具有照明部分，安装于箱体内顶部，其控制端与外部控制计算机相连。

3.按权利要求1所述的计算机双目视觉义齿扫描装置，其特征在于：所述驱动机构为交流变频调速电机。

4.按权利要求1所述的计算机双目视觉义齿扫描装置，其特征在于：所述箱体(3)内分为2层，上层容纳线结构光视觉采集部分(1)，下层容纳旋转测量台及其控制部分(2)，第1、2附件(22、23)及旋转测量台(21)与其控制部分(2)通过隔板隔离，箱体(3)正面设有门。

5.按权利要求4所述的计算机双目视觉义齿扫描装置，其特征在于：所述门上对应第1、2附件(22、23)及旋转测量台(21)空间的位置为封闭玻璃。