RU2534827C2 - Способ видеонаблюдения открытого пространства с контролем пожарной опасности - Google Patents

Abstract

Изобретение относится к области видеонаблюдения, преимущественно открытых пространств, с контролем пожарной опасности и может быть использовано для слежения за лесными массивами в регионах со слабо развитой инфраструктурой. Технический результат заключается в повышении вероятности распознавания признаков пожара на открытой местности за счет ранней диагностики пожара по дымовым следам и потокам воздуха. Согласно способу производят видеомониторинг охраняемой площади, выделяют на получаемом изображении подвижные области, сравнивают эти области с образцовыми изображениями из библиотеки образов и принимают решение о возгорании на основании сходства полученного и имеющегося изображений, при этом выделение на изображении движущихся объектов производится путем разбиения всего изображения на прямоугольные блоки, смещение блоков со временем диагностируют по смещению центра блока, отдельные движущиеся блоки объединяют путем пространственной кластеризации, временную кластеризацию движущихся блоков производят по критерию пересечения траекторий отдельных блоков между собой, причем форму движущегося объекта восстанавливают путем отсечения коротких краев, соединения лежащих рядом краевых точек и сглаживания полученных границ, при этом внутреннюю область объекта восстанавливают по полученной границе, а классификацию выделенного подвижного объекта производят по нормальной составляющей оптического потока. 2 з.п. ф-лы, 1 ил.

Description

Изобретение относится к области видеонаблюдения, преимущественно открытых пространств, с контролем пожарной опасности и может быть использовано для слежения за лесными массивами в регионах со слабо развитой инфраструктурой.

Известен способ обнаружения события для системы видеонаблюдения, содержащий обучающую фазу, в которой получают обучающие изображения контролируемой зоны в разные моменты времени в отсутствие любых подлежащих обнаружению событий, и рабочую фазу обнаружения, в которой получают текущие изображения упомянутой зоны, при этом обнаруживают событие путем сравнения текущего изображения с изображением, соответствующим линейной комбинации множества эталонных изображений, аппроксимирующих соответствующие обучающие изображения или совпадающие с ними, по заявке №2009106852/08, опубл. 10.09.2010 г.

Известный способ эффективен для ситуаций, в которых заведомо обеспечивается отсутствие подлежащих наблюдению событий, что при контроле больших открытых пространств трудно гарантировать.

Известен способ видеонаблюдения, позволяющий контролировать помещения и территорию, осуществлять видеозапись тревожных событий и непрерывную запись видеоинформации, согласно патенту РФ №2381533, опубл. 10.02.2010 г.

Способ имеет недостаточно высокую информативность при работе в режиме реального времени.

Известен способ видеонаблюдения, включающий этапы получения видеосигнала контролируемой зоны по меньшей мере одной видеокамерой, его передачи и его анализа по меньшей мере в одном вычислительном устройстве с памятью, в котором согласно изобретению полученный видеокамерой сигнал анализируют при помощи вычислительного устройства с использованием информации с описаниями тревожных ситуаций, заранее записанной в виде базы данных в памяти вычислительного устройства, по результатам анализа получают данные о цели, формируют управляющий сигнал, передают его на подвижную видеокамеру, приспособленную для наведения на цель в соответствии с управляющим сигналом, с помощью подвижной видеокамеры получают изображение цели, пригодное для дальнейшего анализа, и передают его для хранения в базу данных.

Предпочтительно в способе согласно изобретению по результатам анализа дополнительно формируют сигнал тревоги и передают его оператору. Анализ осуществляют с возможностью вычислять вектор скорости, текущую координату нахождения цели, и дополнительно формируют и передают на подвижную видеокамеру соответствующий управляющий сигнал для обеспечения наведения подвижной видеокамеры на цель. Управляющий сигнал передают на подвижную видеокамеру по последовательному каналу связи. Анализ сигнала от видеокамеры осуществляю с учетом параметров цели, выбранных из группы, включающей яркость, размер, длительность нахождения в контролируемой зоне, скорость и направление перемещения. (Патент РФ №2268497, опубл. 20.01.2006 г., принятый за прототип изобретения).

Известен способ видеонаблюдения и контроля пожарной опасности, согласно которому производят видеомониторинг охраняемой площади, выделяют на получаемом изображении подвижные области, сравнивают эти области с образцовыми изображениями из библиотеки образов и принимают решение о возгорании на основании сходства полученного и имеющегося изображений.

Техническая задача, которую решает заявляемое изобретение, состоит в повышении вероятности распознавания признаков пожара на открытой местности за счет ранней диагностики пожара по дымовым следам и потокам воздуха.

Задача решена тем, что в способе видеонаблюдения открытого пространства с контролем пожарной опасности, согласно которому производят видеомониторинг охраняемой площади, выделяют на получаемом изображении подвижные области, сравнивают эти области с образцовыми изображениями из библиотеки образов и принимают решение о возгорании на основании сходства полученного и имеющегося изображений,

Согласно изобретению выделение на изображении движущихся объектов производится путем разбиения всего изображения на квадратные блоки, смещение блоков со временем диагностируют по смещению центра блока, отдельные движущиеся блоки объединяют путем пространственной кластеризации, временную кластеризацию движущихся блоков производят по критерию пересечения траекторий отдельных блоков между собой, причем форму движущегося объекта восстанавливают путем отсечения коротких краев, соединения лежащих рядом краевых точек и сглаживания полученных границ, при этом внутреннюю область объекта восстанавливают по полученной границе, а классификацию выделенного подвижного объекта производят по нормальной составляющей оптического потока. Кроме того, библиотеку образов формируют с выделением категорий «транспортные средства», «люди», «животные», «колышущиеся ветви деревьев», «задымление», «тепловой след», «открытый огонь».

$$$$

Кроме того, в каждой из категорий библиотеки образов формируют подкатегории «траектория», «скорость», «направление движения» и привязывают полученные образы к характеристическим особенностям охраняемой площади.

Изобретение поясняется фиг.1, на которой представлена блок-схема реализации предложенного способа.

Пример реализации способа.

1. Выделение на изображении движущихся блоков

Все изображение (позиция 1 на фиг.1) разбивается на блоки B_i размером n×n пикселей. Значение n зависит от размера объектов и разрешения изображения и выбирается из диапазона от 1 до 100. Предположим, что центр блока B_i находится в точке (x,y) в момент времени t и в точке (x+Δx, y+Δy) в момент времени t+1. Тогда величины соответствия блоков и их смещения для двух последовательных моментов времени выражаются следующим образом:

$$D\left(B_i\right)=\frac{1}{n^2}{{\displaystyle \sum _{\left(i,j\right)\in B_i}\left|I_{t+1}\left(x,y\right)-I_t\left(x+\Delta x+i,y+\Delta y+j\right)\right|}}^2,\left(1\right)$$

$$\Delta \left(B_i\right)=\sqrt{{\left(\Delta x\right)}^2+{\left(\Delta y\right)}^2}.\left(2\right)$$

Для устранения ошибок второго рода (ложные движущиеся блоки), возникающих вследствие шума, необходимо, чтобы величина D превышала пороговое значение δ_α, которое может быть определено с помощью теста значимости. Для пикселя (x,y), где не происходит никакого движения, величина d(x,y)=I_t(x,y)-I_t+1(x,y) представляет собой шум камеры. Он, как известно, может быть описан гауссовским распределением с нулевым средним и дисперсией, равной удвоенной дисперсии шума камеры. Уровень значимости можно рассматривать как вероятность обнаружения блока в качестве движущегося блока, хотя в действительности он является неподвижным (ошибка второго рода). Если выбрать размер блоков n=16 и положить δ_α=1, то это будет соответствовать вероятности, равной 0.9 (позиция 2 на фиг.1).

2. Пространственная кластеризация движущихся блоков

На этом этапе с помощью методов кластеризации объединяются отдельные схожие движущиеся блоки, для которых величина D превышает пороговое значение δ_α, в движущиеся области. Будем считать два блока соседними, если у них есть общая сторона (или ее часть) или вершина, т.е. они связаны отношением 8-смежности. В качестве характерных признаков блоков можно использовать связность C(B_i,B_j), нормированную разность соответствия блоков D(B_i,B_j) и нормированное смещение блоков Δ(B_i,B_j):

$$C\left(B_i,B_j\right)=\{\begin{array}{cc}\mathrm{1,}& B_i,B_j-соседние\\ \infty ,& иначе\end{array},\left(3\right)$$

$$D\left(B_i,B_j\right)=\frac{\left|D(B_i)-D(B_j)\right|}{\left|D(B_i)+D(B_j)\right|},\left(4\right)$$

$$\Delta \left(B_i,B_j\right)=\frac{\left|\Delta (B_i)-\Delta (B_j)\right|}{\left|\Delta (B_i)+\Delta (B_j)\right|}.\left(5\right)$$

Расстояние между движущимися блоками будем определять как

$$D_c\left(B_i,B_j\right)=C\left(B_i,B_j\right)\cdot \lfloor \theta \cdot D\left(B_i,B_j\right)+\left(1-\theta \right)\cdot \Delta \left(B_i,B_j\right)\rfloor$$

где параметр θ равен 0.3. Блоки B_i и B_j объединяются в одну область, если это значение меньше порога δ_c, равного 0.5 (позиция 3 на фиг.1).

3. Временная кластеризация движущихся блоков

Проблемой при сегментации газообразных объектов типа дыма является возможная их разрывность - в различные моменты времени изначально единый объект может состоять из нескольких отдельных областей. Для того чтобы идентифицировать их как один и тот же движущийся объект, будем сопровождать движущиеся области от кадра к кадру. Тогда, хотя области, составляющие один объект, могут не касаться друг друга в каком-либо кадре, траектории таких объектов будут пересекаться (позиция 4 на фиг.1). Таким образом, отдельные объекты могут быть объединены во временной области.

4. Определение формы объектов

Полученные на предыдущем этапе кластеры состоят из нескольких блоков. Для установления точной формы объектов используется процедура выделения краевых точек, например, по методу Канни. Полученные краевые точки для газообразных объектов (дыма) обычно бывают не связаны друг с другом. Для построения замкнутой границы из таких краев необходимо применить операции морфологии: удалить очень короткие края, так как они в основном представляют собой влияние шума, затем воспользоваться операцией дилатации, чтобы соединить лежащие рядом краевые точки, после чего сгладить полученные границы для придания им более естественного вида.

Пусть X - это бинарное изображение обнаруженных краевых точек. Значение пикселя, равное 1, означает, что этот пиксель является краевой точкой. Комбинация морфологических операций для построения границы объекта из разрозненных краевых точек выглядит следующим образом:

$$\left(\left(X\varnothing V_c\right)\oplus V_d\right)\otimes V_b,\left(6\right)$$

где ⊕ - операция дилатации,

$$\left(X\varnothing V_c\right)=\left\{x:\left|(X\backslash V_c)\cap V_c\right|>3\right\},$$

$$X\otimes V_b=\left\{x:\left|X\cap V_b\right|\ge 3\right\}$$

,

$$V_c=\left(\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right)$$

, $$V_d=\left(\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right)$$

, $$V_b=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 1& 0& 1\end{array}\right)$$

.

Следующий шаг заключается в восстановлении внутренней области объекта по полученной границе. Если области слабой интенсивности являются очень длинными, то даже с помощью морфологических операций невозможно восстановить границу. Это означает, что обнаруженная граница будет незамкнутой и может не полностью включать в себя внутреннюю область объекта. Поэтому необходимо различать области, не охватываемые полученной границей, и самостоятельные отдельные области. Для этого следует отыскать пересечения с границей в горизонтальном и вертикальном направлениях. Только если горизонтальная и вертикальная линии, проходящие через данный пиксель, пересекают одну и ту же границу, будем считать такой пиксель принадлежащим внутренней области объекта (позиция 5 на фиг.1).

5. Классификация выделенных объектов

Классификация выделенных объектов для определения дыма и огня проводится с помощью динамических текстур. Одним из основных методов классификации с помощью динамических текстур является использование оптического потока, вычисление которого представляет собой довольно ресурсоемкую проблему. Мы будем определять не полный оптический поток, а только его нормальную составляющую. Этого вполне достаточно для целей распознавания типа объекта и в то же самое время позволит избежать большого объема вычислений. Нормальный поток, т.е. поток в направлении градиента интенсивности ∇I(x,y), записывается следующим образом:

$${\overrightarrow{\upsilon }}_N(x,y)=-\frac{dI/dt}{\left|\left|\nabla I\right|\right|}\overrightarrow{n},\left(7\right)$$

где $$\overrightarrow{n}$$

- единичный вектор в направлении ∇I(x,y). Нормальный поток содержит в себе как временную, так и пространственную информацию о динамических текстурах: временная информация связана с движением краевых точек, а пространственная - с их градиентами.

В качестве характерных признаков для классификации объектов помимо нормального потока будем использовать также максимальное значение направленной регулярности текстур R(i), что позволит добиться аффинной инвариантности полученных результатов. Данный подход основывается на том факте, что регулярные (периодические) текстуры воспринимаются таковыми в широком диапазоне углов зрения. Поэтому определенная адекватным образом степень регулярности рассматриваемых объектов может служить в качестве инвариантного, физически обоснованного характерного признака. Будем использовать полярные координаты на сетке α_i=Δα·i, d_j=Δd·j.

Определим максимальное значение направленной регулярности R(i) как $$M_R=\underset{{\alpha }_i}{\max }R\left({\alpha }_i\right)$$

. Величина M_R лежит в пределах 0≤M_R≤1, где M_R=0 соответствует текстурам случайного вида, a M_R=1 отвечает текстурам с хорошо выраженной регулярностью; она вычисляется для набора перекрывающихся окон, полностью содержащих область объекта, полученную на предыдущем этапе, и выбирается максимальное значение $$P=\underset{W}{\max }{M}_R\left(W\right)$$

. Здесь через W обозначены окна, размер которых определяется таким образом, чтобы включать в себя как минимум два периода функции контрастности. Так как описанная процедура повторяется для нескольких последовательных кадров, то таким образом мы получаем временную зависимость P(t).

В качестве характерных признаков текстур будем использовать следующие усредненные по всем кадрам видеопоследовательности величины:

- Средние значения $$div{\overrightarrow{\upsilon }}_N\left(x,y\right)$$

и $$rot{\overrightarrow{\upsilon }}_N\left(x,y\right)$$

.

- Отношение среднего значения нормального потока и его стандартного отклонения.

- Степень однородности ориентации нормального потока $$\varphi =\frac{\left|\left|{\displaystyle \sum {}_{\left(x,y\right)\in \Omega }{\overrightarrow{\upsilon }}_N\left(x,y\right)}\right|\right|}{{\displaystyle \sum {}_{\left(x,y\right)\in \Omega }\left|\left|{\overrightarrow{\upsilon }}_N\left(x,y\right)\right|\right|}}$$

,

где Ω - множество пикселей, для которых значение нормального потока отлично от нуля.

- Среднее значение P(t).

- Дисперсия P(t).

Все указанные величины являются инвариантными к перемещению и вращению. Принадлежность рассматриваемого объекта к классу объектов, соответствующих дыму на изображении, может быть определена с помощью какого-либо метода классификации, например метода опорных векторов или нейросетей (позиция 6 на фиг.1).

Claims (3)

1. Способ видеонаблюдения открытого пространства с контролем пожарной опасности, согласно которому производят видеомониторинг охраняемой площади, выделяют на получаемом изображении подвижные области, сравнивают эти области с образцовыми изображениями из библиотеки образов и принимают решение о возгорании на основании сходства полученного и имеющегося изображений, отличающийся тем, что выделение на изображении движущихся объектов производится путем разбиения всего изображения на прямоугольные блоки, смещение блоков со временем диагностируют по смещению центра блока, отдельные движущиеся блоки объединяют путем пространственной кластеризации, временную кластеризацию движущихся блоков производят по критерию пересечения траекторий отдельных блоков между собой, причем форму движущегося объекта восстанавливают путем отсечения коротких краев, соединения лежащих рядом краевых точек и сглаживания полученных границ, при этом внутреннюю область объекта восстанавливают по полученной границе, а классификацию выделенного подвижного объекта производят по нормальной составляющей оптического потока.

2. Способ по п.1, отличающийся тем, что библиотеку образов формируют с выделением категорий «транспортные средства», «люди», «животные», «колышущиеся ветви деревьев», «задымление», «тепловой след», «открытый огонь».

3. Способ по пп.1 и 2, отличающийся тем, что в каждой из категорий библиотеки образов формируют подкатегории «траектория», «скорость», «направление движения» и привязывают полученные образы к характеристическим особенностям охраняемой площади.

Images