RU2835117C1 - Method of measuring spatial coordinates of points of object with high longitudinal rigidity - Google Patents
Method of measuring spatial coordinates of points of object with high longitudinal rigidity Download PDFInfo
- Publication number
- RU2835117C1 RU2835117C1 RU2024107071A RU2024107071A RU2835117C1 RU 2835117 C1 RU2835117 C1 RU 2835117C1 RU 2024107071 A RU2024107071 A RU 2024107071A RU 2024107071 A RU2024107071 A RU 2024107071A RU 2835117 C1 RU2835117 C1 RU 2835117C1
- Authority
- RU
- Russia
- Prior art keywords
- dimensional coordinates
- coordinates
- benchmarks
- reference points
- predicted
- Prior art date
Links
Abstract
Description
Изобретение относится к области оптических измерений трехмерных координат объектов в пространстве, в частности к фото- и видеограмметрии, и может применяться в научных исследованиях, в машиностроении и в других областях для измерений координат точек поверхности объектов.The invention relates to the field of optical measurements of three-dimensional coordinates of objects in space, in particular to photo- and videogrammetry, and can be used in scientific research, in mechanical engineering and in other fields for measuring the coordinates of points on the surface of objects.
Из уровня техники известен способ оптических измерений геометрических параметров объекта в пространстве с помощью одной камеры и системы реперных точек, то есть меток, хорошо различимых на поверхности объекта (патент RU 2551396, МПК G01B 11/16 (2006.01), опубл. 20.05.2015), в котором на поверхности объекта в заданных точках наносят реперы, определяют параметры рабочей характеристики, измеряют на изображении двумерные координаты образов реперов, на основании заранее известных геометрических параметров объекта в пространстве на его поверхности выделяют обособленные зоны, для которых формируют собственную математическую параметрическую модель, одну из обособленных зон выделяют так, чтобы можно было считать точки ее поверхности взаимно неподвижными и, принимая ее за базовую, определяют для указанной зоны параметры взаимного расположения реперов в собственной системе координат и собственные параметры внешнего ориентирования, при этом при обработке из измеренных двумерных координат, параметров рабочей характеристики, собственных параметров внешнего ориентирования базовой зоны и математической параметрической модели методами многомерной численной минимизации находят искомые геометрические параметры модели.A method for optical measurements of the geometric parameters of an object in space using a single camera and a system of reference points, i.e. marks clearly visible on the surface of the object, is known from the prior art (patent RU 2551396, IPC G01B 11/16 (2006.01), published on 20.05.2015), in which reference points are applied to the surface of the object at specified points, the parameters of the operating characteristic are determined, the two-dimensional coordinates of the reference point images are measured in the image, isolated zones are identified on the surface of the object based on the previously known geometric parameters of the object in space, for which an intrinsic mathematical parametric model is formed, one of the isolated zones is identified so that the points of its surface can be considered as mutually fixed and, taking it as the base zone, the parameters of the mutual arrangement of the reference points in the intrinsic coordinate system and the intrinsic parameters of the external orientation are determined for the specified zone, wherein when processing from the measured two-dimensional coordinates, the parameters of the operating characteristic, the intrinsic parameters of the external orientation of the base zone and the mathematical parametric model using multidimensional The desired geometric parameters of the model are found by numerical minimization.
Недостаток способа заключается в том, что он предполагает разделение объекта на части с известными геометрическими параметрами.The disadvantage of this method is that it involves dividing the object into parts with known geometric parameters.
В качестве прототипа как наиболее близкий по совокупности признаков выбран способ измерений координат точек объекта в пространстве (патент RU 2749654, МПК G01B 11/16 (2006.01), опубл. 16.06.2021). Способ прототипа заключается в том, что на поверхности объекта размещают реперы, на участках ожидаемой минимальной деформации выделяют группу базовых реперов и определяют их начальные трехмерные координаты, находят параметры рабочей характеристики, при нагружении деформируемого объекта фиксируют изображение, на котором определяют двухмерные координаты образов всех реперов, с помощью найденных параметров рабочей характеристики находят искомые трехмерные координаты всех реперов. При этом реперы размещают в соответствии с заданными исходными геометрическими связями между ними, последовательно определяют прогнозируемые значения трехмерных координат реперов, используя при этом заданные геометрические связи и исходные трехмерные координаты базовых реперов и/или найденные трехмерные координаты реперов, следующих за базовыми реперами. Затем определяют прогнозируемые значения трехмерных координат каждого репера, производят уточнение трехмерных координат, для чего варьируют прогнозируемые координаты в пределах заданных геометрических связей, с использованием параметров рабочей характеристики в обращенной форме для каждой вариации координат вычисляют текущие значения двухмерных координат реперов, сопоставляют их с двухмерными координатами образов реперов на изображении и принимают за результирующие координаты текущего репера вариацию трехмерных координат, отвечающую максимуму критерия совпадения. Заявленным в способе прототипа техническим результатом является сокращение времени и объема вычислений при обработке изображений.The method for measuring the coordinates of object points in space was chosen as a prototype as the closest in terms of a set of features (patent RU 2749654, IPC G01B 11/16 (2006.01), published on 16.06.2021). The prototype method consists in placing benchmarks on the surface of the object, selecting a group of base benchmarks in areas of expected minimum deformation and determining their initial three-dimensional coordinates, finding the parameters of the operating characteristic, recording an image when loading the deformable object, on which the two-dimensional coordinates of the images of all benchmarks are determined, and finding the desired three-dimensional coordinates of all benchmarks using the found parameters of the operating characteristic. In this case, the benchmarks are placed in accordance with the specified initial geometric relationships between them, the predicted values of the three-dimensional coordinates of the benchmarks are sequentially determined, using the specified geometric relationships and the initial three-dimensional coordinates of the base benchmarks and/or the found three-dimensional coordinates of the benchmarks following the base benchmarks. Then, the predicted values of the three-dimensional coordinates of each benchmark are determined, the three-dimensional coordinates are refined, for which the predicted coordinates are varied within the specified geometric relationships, using the parameters of the operating characteristic in inverted form for each variation of the coordinates, the current values of the two-dimensional coordinates of the benchmarks are calculated, they are compared with the two-dimensional coordinates of the benchmark images in the image, and the variation of the three-dimensional coordinates that meets the maximum of the coincidence criterion is taken as the resulting coordinates of the current benchmark. The technical result declared in the prototype method is a reduction in the time and volume of calculations when processing images.
Из описания способа прототипа следует, что процедура уточнения прогнозируемых трехмерных координат с центром в прогнозируемой точке выполняется следующим образом:From the description of the prototype method it follows that the procedure for refining the predicted three-dimensional coordinates with the center at the predicted point is performed as follows:
- выделяют пространственный элемент объема (в описании прототипа - куб со сторонами 3 мм × 3 мм × 3 мм);- a spatial element of volume is identified (in the prototype description - a cube with sides of 3 mm × 3 mm × 3 mm);
- куб разбивают на малые элементы (в описании прототипа - на подобные ему, т.е. кубы с меньшим размером ребра - 0,1 мм × 0,1 мм × 0,1 мм);- the cube is divided into small elements (in the description of the prototype - into similar ones, i.e. cubes with a smaller edge size - 0.1 mm × 0.1 mm × 0.1 mm);
- геометрическому центру (X, Y, Z) каждого малого элемента с помощью рабочей характеристики видеограмметрической системы в обращенной форме ставят в соответствие двумерные координаты (u, v) на изображении, при этом рабочей характеристики видеограмметрической системы в обращенной форме представляет собой уравнения проекции для математической модели проективной камеры (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.) без дисторсии при выборе системы координат камеры в качестве опорной;- the geometric center (X, Y, Z) of each small element is assigned two-dimensional coordinates (u, v) in the image using the operating characteristic of the videogrammetric system in inverted form, while the operating characteristic of the videogrammetric system in inverted form is the projection equation for the mathematical model of a projective camera (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.) without distortion when choosing the camera coordinate system as a reference;
- из множества проанализированных таким образом наборов (X, Y, Z, u, v) выбирают те значения трехмерных координат, которые минимизируют в пространстве двумерных координат (u, v) евклидово расстояние от центра образа соответственного репера на изображении; указанные значения и принимают за результирующие координаты текущего репера;- from the set of sets (X, Y, Z, u, v) analyzed in this way, those values of three-dimensional coordinates are selected that minimize in the space of two-dimensional coordinates (u, v) the Euclidean distance from the center of the image of the corresponding reference frame on the image; the specified values are taken as the resulting coordinates of the current reference frame;
- аналогичные действия производят для каждого репера ряда и всех рядов, то есть для нахождения пространственных координат репера в ряду с номером i используют координаты реперов этого ряда с номерами (i-1) и (i-2).- similar actions are performed for each reference frame of the row and all rows, that is, to find the spatial coordinates of the reference frame in the row with number i, the coordinates of the reference frames of this row with numbers (i-1) and (i-2) are used.
Таким образом, процедура уточнения при разбиении пространственного элемента объема на n долей вдоль каждой пространственной координаты приводит к необходимости повторять вычисления для уравнений проективной геометрии n3 раз: так, для примера, приведенного в способе прототипа с n=3 мм / 0,1 мм=30, потребуется N=n3=303=27000 циклических вычислений.Thus, the refinement procedure when dividing a spatial volume element into n parts along each spatial coordinate leads to the need to repeat the calculations for the equations of projective geometry n 3 times: thus, for the example given in the prototype method with n = 3 mm / 0.1 mm = 30, N = n 3 = 30 3 = 27000 cyclic calculations will be required.
В описании прототипа дополнительно отмечается, что для анализируемого объекта, жесткому вдоль оси, перпендикулярной плоскости ху изображения, деформациями вдоль данной оси можно пренебречь, что позволяет искать координаты репера не в пространстве, а в плоскости, что уменьшает время на обработку изображений. Действительно, для рассмотренного в описании прототипа примера объем циклических вычислений в таком случае уменьшится c N=n3 до N=n2=302=900.The prototype description additionally notes that for the analyzed object, rigid along the axis perpendicular to the xy plane of the image, deformations along this axis can be neglected, which allows searching for the coordinates of the reference point not in space, but in the plane, which reduces the time for image processing. Indeed, for the example considered in the prototype description, the volume of cyclic calculations in this case will decrease from N= n3 to N= n2 = 302 =900.
По этой причине к недостатку способа прототипа следует отнести большой объем вычислений на реализацию процедуры уточнения прогнозируемых трехмерных координат.For this reason, the disadvantage of the prototype method is the large volume of calculations required to implement the procedure for refining the predicted three-dimensional coordinates.
Техническая проблема, решаемая заявляемым изобретением, заключается в избыточном объеме вычислений для реализации процедуры уточнения прогнозируемых трехмерных координат.The technical problem solved by the claimed invention is the excessive amount of calculations required to implement the procedure for refining the predicted three-dimensional coordinates.
Технический результат изобретения заключается в разработке однократно выполняемой в каждом цикле измерения пространственных координат процедуры уточнения прогнозируемых трехмерных координат точки, не содержащей перебора всех ее возможных положений внутри пространственного элемента объема.The technical result of the invention consists in developing a procedure for refining the predicted three-dimensional coordinates of a point, which is performed once in each cycle of measuring spatial coordinates and does not contain an enumeration of all its possible positions within a spatial element of the volume.
Технический результат достигается тем, что для уточнения трехмерных пространственных координат реперных точек применяются уравнения математической модели проективной камеры (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.). При этом принимаются следующие ограничения на решение поставленной задачи:The technical result is achieved by using the equations of the mathematical model of a projective camera (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.) to refine the three-dimensional spatial coordinates of reference points. The following restrictions are adopted for solving the problem:
1) объект с реперами имеет высокую жесткость вдоль своей продольной оси, т.е. не подвержен растяжению и/или сжатию при деформациях;1) an object with benchmarks has high rigidity along its longitudinal axis, i.e. it is not subject to stretching and/or compression during deformations;
2) для регистрирующей реперы камеры с помощью одного из известных подходов предварительно выполнена процедура фотограмметрической калибровки, т.е. априори известна ее матрицы внутренних параметров K и коэффициенты, характеризующие дисторсию оптической системы камеры;2) for the camera recording the benchmarks, a photogrammetric calibration procedure has been previously performed using one of the known approaches, i.e. its matrix of internal parameters K and the coefficients characterizing the distortion of the camera’s optical system are known a priori;
3) для пиксельных координат реперов после регистрации выполнена процедура компенсации дисторсии, например, согласно модели Брауна-Конради (Brown D.C. Close-range camera calibration // Photogrammetric Engineering. 1971. Vol. 37, No 8. P. 855-866);3) for the pixel coordinates of the reference points after registration, a distortion compensation procedure was performed, for example, according to the Brown-Conradi model (Brown D.C. Close-range camera calibration // Photogrammetric Engineering. 1971. Vol. 37, No. 8. P. 855-866);
4) в качестве базовой принята система координат камеры: ось X направлена вправо, ось Y - вниз, ось Z - вперед.4) the camera coordinate system is adopted as the base: the X axis is directed to the right, the Y axis is down, and the Z axis is forward.
Принятие перечисленных ограничений позволяет отказаться от процедуры перебора при уточнении пространственных координат репера на анализируемом деформируемом объекте 1 и выполнить поиск непосредственно на линии 2 с направляющим вектором v. При этом линия 2 соединяет оптический центр камеры С (см. фиг. 1) с центром проекции репера на плоскости изображения (u, v):Acceptance of the listed restrictions allows us to abandon the enumeration procedure when refining the spatial coordinates of the reference point on the analyzed deformable object 1 and to perform the search directly on line 2 with the direction vector v. In this case, line 2 connects the optical center of camera C (see Fig. 1) with the center of the reference point projection on the image plane (u, v):
Вектор, соответствующий прогнозируемому положению отметки от репера, вычисленному на основании параметров математической модели проективной камеры и прогнозируемых пространственных координат репера в системе координат камеры Мпрог=[Хпрог, Yпрог, Zпрог], равенThe vector corresponding to the predicted position of the mark from the benchmark, calculated on the basis of the parameters of the mathematical model of the projective camera and the predicted spatial coordinates of the benchmark in the camera coordinate system M prog = [X prog , Y prog , Z prog ], is equal to
где wпрог Z - последний (третий) элемент вектора wпрог.where w prog Z is the last (third) element of the vector w prog .
Угол между векторами vпрог и v:Angle between vectors v prog and v:
где «×» - символ векторного умножения векторов, ||⋅|| - два-норма вектора, det(⋅) - операция вычисления определителя матрицы, sign[⋅] - функция знака.where "×" is the symbol of vector multiplication of vectors, ||⋅|| is the two-norm of a vector, det(⋅) is the operation of calculating the determinant of a matrix, sign[⋅] is the sign function.
Принимая гипотезу о том, что величина деформации жесткого объекта много меньше Zпрог, получим, что δϕ≈0 и, следовательно, справедливо (см. фиг. 1) равенствоAccepting the hypothesis that the magnitude of the deformation of a rigid object is much less than Z prog , we obtain that δϕ≈0 and, consequently, the equality is valid (see Fig. 1)
поэтому уточненное положение пространственных координат репераtherefore the refined position of the spatial coordinates of the reference point
Таким образом, для уточнения пространственных координат каждой реперной точки необходимо:Thus, to clarify the spatial coordinates of each reference point, it is necessary:
- оценить двумерные координаты центра отметки репера в плоскости изображения регистрирующей камеры (u, v);- estimate the two-dimensional coordinates of the center of the reference mark in the image plane of the recording camera (u, v);
- вычислить направляющий вектор v на центр репера в системе координат регистрирующей камеры по (1);- calculate the direction vector v to the center of the reference frame in the coordinate system of the recording camera according to (1);
- оценить пиксельные координаты для прогнозируемой отметки от реперной точки и соответствующий ей направляющий вектор vпрог по (2);- estimate the pixel coordinates for the predicted mark from the reference point and the corresponding direction vector v prog according to (2);
- вычислить, используя векторное произведение векторов, угол δϕ между векторами vпрог и v с учетом его знака по (3);- calculate, using the vector product of vectors, the angle δϕ between the vectors v prog and v taking into account its sign according to (3);
- сформировать вектор поправки пространственных координат ΔМ по (4),- form a correction vector of spatial coordinates ΔМ according to (4),
- выполнить коррекцию прогнозируемых пространственных координат реперной отметки по (5).- perform correction of the predicted spatial coordinates of the reference mark according to (5).
Если же, как в способе прототипа, задача измерений пространственных координат точек объекта реализуется не в системе координат камеры, а в иной рабочей системе координат, то перед применением формулы (2) требуется предварительно выполнить пересчет пространственных координат репера Мраб из рабочей системы координат в систему координат камеры через матрицу трансформации:If, as in the prototype method, the task of measuring the spatial coordinates of the object points is implemented not in the camera coordinate system, but in another working coordinate system, then before applying formula (2), it is necessary to first recalculate the spatial coordinates of the reference frame M rab from the working coordinate system to the camera coordinate system through the transformation matrix:
Мпрог=[R|t]⋅[Мпрог_раб Т|1]Т,M prog =[R|t]⋅[M prog_rab T |1] T ,
а скорректированным положением репера в рабочей системе координат считать значениеand the adjusted position of the reference point in the working coordinate system is considered to be the value
Мраб=[R|t]-1⋅[МТ|1]Т,Mrab=[R|t] -1 ⋅[M T |1] T ,
где «А | В» - обозначение операции аугментации, т.е. пристыковки массива В к массиву А справа, a R и t - соответственно матрица поворота и вектор параллельного переноса для перехода из рабочей системы координат в систему координат камеры.where "A | B" is the designation of the augmentation operation, i.e. joining array B to array A on the right, and R and t are, respectively, the rotation matrix and the parallel translation vector for the transition from the working coordinate system to the camera coordinate system.
Claims (1)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2835117C1 true RU2835117C1 (en) | 2025-02-24 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008256A1 (en) * | 2003-07-08 | 2005-01-13 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| CN1696606A (en) * | 2004-05-14 | 2005-11-16 | 佳能株式会社 | Information processing method and apparatus for finding position and orientation of targeted object |
| RU2596064C2 (en) * | 2009-08-17 | 2016-08-27 | Еуропиан Аэронотик Дефенс Энд Спэйс Компани Идс Франс | Strain gauge and system for determining spatial position of such sensors |
| US9816809B2 (en) * | 2012-07-04 | 2017-11-14 | Creaform Inc. | 3-D scanning and positioning system |
| RU2737766C2 (en) * | 2016-10-10 | 2020-12-02 | Зе Боинг Компани | Aircraft control system |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008256A1 (en) * | 2003-07-08 | 2005-01-13 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| CN1696606A (en) * | 2004-05-14 | 2005-11-16 | 佳能株式会社 | Information processing method and apparatus for finding position and orientation of targeted object |
| RU2596064C2 (en) * | 2009-08-17 | 2016-08-27 | Еуропиан Аэронотик Дефенс Энд Спэйс Компани Идс Франс | Strain gauge and system for determining spatial position of such sensors |
| US9816809B2 (en) * | 2012-07-04 | 2017-11-14 | Creaform Inc. | 3-D scanning and positioning system |
| RU2737766C2 (en) * | 2016-10-10 | 2020-12-02 | Зе Боинг Компани | Aircraft control system |
Non-Patent Citations (1)
| Title |
|---|
| Кудинов И.А., Павлов О.В., Холопов И.С. Реализация алгоритма определения пространственных координат и угловой ориентации объекта по реперным точкам, использующего информацию от одной камеры // Компьютерная оптика. - 2015. Т. 39. N. 3. С. 413-419. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106408609B (en) | A kind of parallel institution end movement position and posture detection method based on binocular vision | |
| Salvi et al. | A comparative review of camera calibrating methods with accuracy evaluation | |
| Schreier et al. | Advances in light microscope stereo vision | |
| US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| US5850469A (en) | Real time tracking of camera pose | |
| US6728582B1 (en) | System and method for determining the position of an object in three dimensions using a machine vision system with two cameras | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| EP2926543B1 (en) | A method of calibrating a camera and a system therefor | |
| JP4234059B2 (en) | Camera calibration method and camera calibration apparatus | |
| WO2008153721A1 (en) | System and method for locating a three-dimensional object using machine vison | |
| CN112802124A (en) | Calibration method and device for multiple stereo cameras, electronic equipment and storage medium | |
| WO2018201677A1 (en) | Bundle adjustment-based calibration method and device for telecentric lens-containing three-dimensional imaging system | |
| CN113091608B (en) | A Fast Implementation Method of Digital Speckle Correlation Based on Grid Extraction of Seed Points | |
| CN105066962A (en) | Multiresolution large visual field angle high precision photogrammetry apparatus | |
| Zhong et al. | Stereo-rectification and homography-transform-based stereo matching methods for stereo digital image correlation | |
| JP4055998B2 (en) | Distance detection device, distance detection method, and distance detection program | |
| Yu et al. | A calibration method based on virtual large planar target for cameras with large FOV | |
| Jokinen | Self-calibration of a light striping system by matching multiple 3-d profile maps | |
| KR20200023211A (en) | A method for rectifying a sequence of stereo images and a system thereof | |
| CN112229323A (en) | Six degrees of freedom measurement method of checkerboard cooperation target based on monocular vision of mobile phone and its application | |
| RU2835117C1 (en) | Method of measuring spatial coordinates of points of object with high longitudinal rigidity | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| WO2023040095A1 (en) | Camera calibration method and apparatus, electronic device, and storage medium | |
| Kusakunniran et al. | A direct method to self-calibrate a surveillance camera by observing a walking pedestrian | |
| CN110686593A (en) | Method for measuring relative position relation of image sensors in spliced focal plane |