RU2762201C1

RU2762201C1 - Method for calibration of the camera installed behind the windscreen on the car

Info

Publication number: RU2762201C1
Application number: RU2021103617A
Authority: RU
Inventors: Андрей Владимирович Ковалев; Александр Борисович Савинецкий; Владимир Евгеньевич Евсигнеев; Саркис Манукович Казарян; Андрейс Рудзитис; Илия Дмитриевич Родионов
Original assignee: Общество с ограниченной ответственностью "Научно-производственное предприятие "ИТЭЛМА" (ООО "НПП "ИТЭЛМА")
Priority date: 2021-02-12
Filing date: 2021-02-12
Publication date: 2021-12-16

Abstract

FIELD: traffic safety.

SUBSTANCE: invention relates to methods for ensuring the safety of driving a car by increasing the accuracy of the driver’s warning systems about changing lanes and about a dangerous approach to the car in front. The method for dynamic external calibration of the camera on the car, installed behind the windscreen of the car and directed forward in the direction of movement, is that a sequence of frames is recorded during the movement of the car during calibration, a matrix M is formed, information about the intersection points in the so-called vanishing point is accumulated in the matrix cells, the obtained trajectories are periodically checked for length and straightness, short and strongly deviating from the straight line are not taken into consideration, the remaining trajectories are approximated by straight lines, and the points of their pairwise intersection are summed up in the corresponding cells of the matrix M, knowing the pixel coordinates of the averaged vanishing point, the camera installation angles are determined, such as the pitch angle and yaw angle.

EFFECT: improved calibration accuracy is achieved while driving.

1 cl, 2 dwg

Description

Изобретение относится к калибровке камеры, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения. Такая камера используется в системах помощи водителю для выдачи предупреждений при смене полосы движения, при опасном сближении с впереди идущим автомобилем, а также для управления переключением ближнего и дальнего света фар. Для правильной оценки расстояния до объектов и их положения на дороге системам помощи водителю необходимо знать внешние параметры калибровки камеры, такие как углы ее установки относительно продольной оси автомобиля.The invention relates to the calibration of a camera installed behind the windshield of a car and directed forward in the direction of travel. Such a camera is used in driver assistance systems to issue warnings when changing lanes, in case of a dangerous approach to the vehicle in front, as well as to control the switching of low and high beam headlights. To correctly assess the distance to objects and their position on the road, driver assistance systems need to know the external calibration parameters of the camera, such as the angles of its installation relative to the longitudinal axis of the vehicle.

Известные способы определения внешних параметров камеры основаны на использовании калибровочных стендов (1. Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - T. 22. - № 11. - C. 1330-1334). Основным недостатком данных способов является требование трудоемкой процедуры установки стенда перед автомобилем и предварительной точной внутренней калибровки камеры.Known methods for determining the external parameters of the camera are based on the use of calibration stands (1. Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - T. 22. - No. 11. - C. 1330-1334). The main disadvantage of these methods is the requirement of a laborious procedure for installing the stand in front of the car and preliminary accurate internal calibration of the camera.

Переустановка камеры на лобовое стекло автомобиля вносит некоторые погрешности, ухудшающие точность ее калибровки.Reinstalling the camera on the windshield of the car introduces some errors that deteriorate the accuracy of its calibration.

Задачей описываемого изобретения является проведение внешней калибровки уже установленной камеры за лобовым стеклом в режиме реального времени при прямолинейном движении автомобиля, что позволяет улучшить надежность и точность калибровки во время движения.The objective of the described invention is to perform external calibration of an already installed camera behind the windshield in real time when the vehicle is moving in a straight line, which makes it possible to improve the reliability and accuracy of the calibration while driving.

Описываемый способ позволяет провести внешнюю калибровку камеры в режиме реального времени при прямолинейном движении автомобиля. Процесс калибровки не требует использования дополнительных стендов или мишеней. Калибровка должна проводиться в светлое время суток в условиях хорошей видимости при отсутствии тумана и осадков в виде дождя и снега.The described method makes it possible to perform external camera calibration in real time when the vehicle is moving in a straight line. The calibration process does not require the use of additional stands or targets. Calibration should be carried out during daylight hours with good visibility in the absence of fog and precipitation in the form of rain and snow.

Для реализации задачи в способе динамической внешней калибровки камеры на автомобиле, установленной за лобовым стеклом автомобиля и направленной вперед по ходу движения, регистрируют последовательность кадров, получаемых камерой во время движения автомобиля в процессе калибровки, формируют матрицу М, с ячейками, в которых накапливают информацию о точках пересечений траекторий особых точек в так называемой точке схода, полученные траектории периодически проверяют на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимают к рассмотрению, оставшиеся траектории аппроксимируют прямыми, и точки их попарного пересечения суммируют в соответствующих ячейках матрицы М, зная пиксельные координаты усредненной точки схода определяют углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw).To implement the task in the method of dynamic external calibration of a camera on a car, installed behind the windshield of a car and directed forward in the direction of travel, a sequence of frames received by the camera while the car is moving during the calibration process is recorded, a matrix M is formed, with cells in which information about points of intersection of trajectories of singular points at the so-called vanishing point, the resulting trajectories are periodically checked for length and straightness, short and strongly deviating from a straight line are not taken into consideration, the remaining trajectories are approximated by straight lines, and the points of their pairwise intersection are summed up in the corresponding cells of the matrix M, knowing the pixel The coordinates of the averaged vanishing point determine the angles of the camera, such as the pitch and yaw.

где V_x, V_y – пиксельные координаты точки схода,where V _x , V _y - pixel coordinates of the vanishing point,

С_х, С_у – оптический центр камеры,С _х , С _у - optical center of the camera,

ƒ_x, ƒ_y – фокусное расстояние камеры в пикселях, при этом угол крена (roll) устанавливают равным нулю, что соблюдается при установке камеры.ƒ _x , ƒ _y - focal length of the camera in pixels, while the roll angle (roll) is set equal to zero, which is observed when installing the camera.

Изобретение поясняется чертежом, где на фиг. 1 представлено изображение одного кадра, который обрабатывается в вычислительном блоке.The invention is illustrated by a drawing, where FIG. 1 shows an image of one frame, which is processed in the computing unit.

На фиг. 2 представлено изображение выделенной области дорожного полотна при виде сверху.FIG. 2 is a top view of the highlighted area of the roadway.

Далее описывается перечень действий в режиме калибровки. На поступающих кадрах алгоритм трекинга отслеживает особые точки. Это могут быть точки, расположенные как на дорожном полотне, так и на стационарных объектах, рядом с дорогой. В качестве особых точек выбираются так называемые угловые точки (2. Shi J. et al., Good features to track // 1994 Proceedings of IEEE conference on computer vision and pattern recognition. - IEEE, 1994. - C. 593-600), в которых градиент интенсивности имеет значительный перепад в двух направлениях. Трекинг особых точек осуществляется с помощью метода оптического потока Лукаса-Канаде (3. Bouguet J.Y. et al., Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm // Intel corporation. - 2001. - T. 5. - № 1-10. - C. 4).The following describes a checklist for calibration mode. On the incoming frames, the tracking algorithm tracks the special points. These can be points located both on the roadway and on stationary objects next to the road. The so-called corner points are selected as special points (2. Shi J. et al., Good features to track // 1994 Proceedings of IEEE conference on computer vision and pattern recognition. - IEEE, 1994. - pp. 593-600), in which the intensity gradient has a significant difference in two directions. Special points are tracked using the Lucas-Kanade optical flow method (3. Bouguet JY et al., Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm // Intel corporation. - 2001. - T. 5. - No. 1 -10. - C. 4).

При идеальном прямолинейном движении автомобиля траектории этих точек на кадре представляют из себя пересекающиеся прямые, которые соответствуют параллельным траекториям этих точек в системе координат автомобиля. На кадре эти прямые пересекаются в так называемой точке схода, зная пиксельные координаты усредненной точки схода, можно определить по формулам (1) и (2) углы установки камеры, такие как угол тангажа (pitch) и угол рыскания (yaw). Угол крена (roll) предполагается равным нулю, что, как правило, соблюдается при установке камеры. Следует отметить, что незначительные отклонения угла крена от нуля практически не влияют на функционирование различных модулей системы помощи водителю.With an ideal straight-line movement of the car, the trajectories of these points on the frame are intersecting straight lines that correspond to the parallel trajectories of these points in the car's coordinate system. On the frame, these straight lines intersect at the so-called vanishing point, knowing the pixel coordinates of the averaged vanishing point, it is possible to determine the camera setup angles, such as the pitch and yaw angle, using formulas (1) and (2). The roll angle (roll) is assumed to be zero, which is usually observed when installing the camera. It should be noted that slight deviations of the roll angle from zero practically do not affect the functioning of various modules of the driver assistance system.

В реальных условиях автомобиль движется не прямолинейно и подвержен небольшим раскачиваниям, что приводит к тому, что траектории особых точек не являются прямыми, пересекающимися в точке схода. Для оценки положения точки схода формируется матрица М, с размерами равными размеру кадра, в ячейках накапливается информация о точках пересечений. Полученные траектории периодически проверяются на длину и прямолинейность, короткие и сильно отклоняющиеся от прямой не принимаются к рассмотрению. Оставшиеся траектории 1 (фиг. 1) аппроксимируются прямыми, и точки их попарного пересечения суммируются в соответствующих ячейках матрицы М.In real conditions, the car does not move in a straight line and is subject to slight swaying, which leads to the fact that the trajectories of the singular points are not straight lines, intersecting at the vanishing point. To assess the position of the vanishing point, a matrix M is formed, with dimensions equal to the size of the frame, information about the intersection points is accumulated in the cells. The resulting trajectories are periodically checked for length and straightness, short and strongly deviating from a straight line are not accepted for consideration. The remaining trajectories 1 (Fig. 1) are approximated by straight lines, and the points of their pairwise intersection are summed up in the corresponding cells of the matrix M.

Периодически максимальный элемент в матрице М сравнивается с экспериментально найденным порогом, и при превышении данного порога процесс калибровки завершается. Процесс может быть завершен принудительно по истечении заданного времени, которое не превышает одной минуты. Координаты максимального значения матрицы М считаются найденной оценкой точки схода V_x, V_y. По найденным координатам точки схода 2 (фиг. 1) углы установки камеры определяются по формулам (1) и (2)Periodically, the maximum element in the M matrix is compared with the experimentally found threshold, and when this threshold is exceeded, the calibration process ends. The process can be terminated forcibly after a specified time, which does not exceed one minute. The coordinates of the maximum value of the matrix M are considered to be the found estimate of the vanishing point V _x , V _y . According to the found coordinates of the vanishing point 2 (Fig. 1), the camera installation angles are determined by the formulas (1) and (2)

Полученные углы установки камеры используются для получения вида сверху (фиг. 2), с целью преобразования области дорожного полотна в виде трапеции 3 (фиг. 1). После преобразования получают полосы дорожной разметки 4, направленные параллельно вдоль линии движения автомобиля (см. фиг. 2), что свидетельствует о верно выполненной калибровке.The obtained angles of installation of the camera are used to obtain a top view (Fig. 2), in order to transform the area of the roadway in the form of a trapezoid 3 (Fig. 1). After the conversion, road markings 4 are obtained, directed parallel along the line of movement of the vehicle (see Fig. 2), which indicates a correct calibration.

Таким образом описываемый способ позволяет провести внешнюю калибровку камеры в режиме реального времени при прямолинейном движении автомобиля.Thus, the described method makes it possible to perform external camera calibration in real time when the vehicle is moving in a straight line.

Claims

A method for dynamic external calibration of a camera on a car, installed behind the windshield of a car and directed forward in the direction of travel, consisting in the fact that the angles of the camera installation relative to the longitudinal axis of the car are determined, characterized in that a sequence of frames received by the camera is recorded while the car is moving in the process calibrations, form a matrix M from them, in the cells of which they accumulate information about the intersection points of the trajectories of singular points at the so-called vanishing point, the resulting trajectories are periodically checked for length and straightness, short and strongly deviating from a straight line are not taken into consideration, the remaining trajectories are approximated by straight lines, and the points of their pairwise intersection are summed up in the corresponding cells of the matrix M, knowing the pixel coordinates of the averaged vanishing point, the camera installation angles are determined, such as the pitch angle (pitch) and the yaw angle (yaw),

where V _x , V _y - pixel coordinates of the vanishing point,

С _х , С _у - optical center of the camera,

ƒ _x , ƒ _y - focal length of the camera in pixels, while the roll angle (roll) is taken to be zero, which is observed when installing the camera.