RU2489752C2 - Способ сегментации изображений - Google Patents
Способ сегментации изображений Download PDFInfo
- Publication number
- RU2489752C2 RU2489752C2 RU2011134204/07A RU2011134204A RU2489752C2 RU 2489752 C2 RU2489752 C2 RU 2489752C2 RU 2011134204/07 A RU2011134204/07 A RU 2011134204/07A RU 2011134204 A RU2011134204 A RU 2011134204A RU 2489752 C2 RU2489752 C2 RU 2489752C2
- Authority
- RU
- Russia
- Prior art keywords
- segmentation
- image
- price
- value
- regions
- Prior art date
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 19
- 239000000126 substance Substances 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 238000002924 energy minimization method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к области получения фото- и видеоизображений, в частности, с помощью мобильных устройств со встроенными фото- и видеокамерами и может быть использовано, например, для улучшения качества результирующего изображения, полученного из нескольких исходных снимков. Техническим результатом является оптимальная сегментация изображения, при которой достигается глобальный минимум суммы ценовых функций швов и данных изображения (основанных на цвете, яркости, и др. параметрах); близость полученной сегментации к абсолютно-оптимальной при отсутствии необходимости в дополнительных ресурсах памяти мобильного устройства, устойчивости к шумам в изображении и быстродействии. Результат достигается тем, что сегментацию осуществляют в один этап, от более грубой к более детализированной, а поиск производят на N-количестве уровней детализации исходного изображения, на каждом уровне детализации изображение разделяют на области, для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных. 2 з.п. ф-лы, 8 ил.
Description
Изобретение относится к области получения фото- и видеоизображений, в частности, с помощью мобильных устройств со встроенными фото- и видеокамерами и может быть использовано, например, для улучшения качества результирующего изображения, полученного из нескольких исходных снимков.
Так как экспозиция исходных кадров (снимков), как правило, происходит в разные моменты времени, то возникают несоответствия в изображении сцены между различными снимками, выражающиеся в различном расположении нестационарных (движущихся) объектов, изменении условий освещения сцены (например, в результате изменений в облачности), что влияет на качество результирующего изображения и выражается в:
- двоении контуров движущихся объектов, а, в некоторых случаях, и в удвоении числа движущихся объектов на изображении;
- появлении полупрозрачности у движущихся объектов;
- выраженной неравномерности яркости или цветового баланса различных областей изображения.
В настоящее время одним из направлений повышения качества снимков при помощи мобильных устройств является съемка нескольких кадров в короткий промежуток времени с последующим их объединением - сшивкой нескольких изображений в одно результирующее (получение панорамного снимка, снимка с повышенным динамическим диапазоном, понижение уровня шума, и т.д.). При этом сшивка должна производиться таким образом, чтобы шов проходил по траектории наименьших различий в соседних исходных изображениях и обходил движущиеся объекты. Распространенным способом определения оптимальной траектории шва являются различные способы сегментации изображений [Александр Вежневец, Ольга Баринова. Методы сегментации изображений: автоматическая сегментация. Компьютерная графика и мультимедиа. Выпуск №4(4)/2006. http://cgm.computergraphics.ru/content/view/147].
Сегментация и сшивка изображений наиболее востребована в следующих случаях получения одного изображения из нескольких исходных. Это:
- создание панорамного снимка из нескольких кадров, каждый из которых изображает лишь часть панорамы;
- создание снимка с высоким динамическим диапазоном из нескольких исходных снимков с низким динамическим диапазоном.
Известны различные способы улучшения качества изображений с применением их сегментации.
Способ кластеризации [Bishop, С.М. Neural Networks for Pattern Recognition. Oxford, England: Oxford University Press, 1995], при котором задают отображение точек изображения в некоторое пространство признаков и вводят метрику (меру близости) на этом пространстве признаков.
Недостатком этого способа является то, что пространственное расположение точек либо не учитывается совсем, либо учитывается косвенно (например, используя координаты точки как один из признаков). Поэтому обычно после кластеризации точек изображения проводят процедуру выделения связных компонент. Кроме того, методы кластеризации плохо работают на зашумленных изображениях: часто теряют отдельные точки регионов, образуется много мелких регионов, и. т.п.
Способ выращивания регионов [A. Tremeau and n. Borel, "A Region growing and erging Algorithm to color segmentation," Pattern Recognition, 1997]; [Y. Kanai, "Image Segmentation Using Intensity and Color Information," SPIE-Visual Communications and Image Processing'98]; [B. Cramariuc, М. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997]; [Y. Deng, B. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999], при котором учитывают пространственное расположение точек напрямую. Вначале, по некоторому правилу, выбирают центры регионов, к которым поэтапно присоединяют соседние точки, удовлетворяющие некоторому критерию. Процесс выращивания регионов останавливается, когда ни одна точка изображения не может быть присоединена ни к одному региону. Применяются разные критерии, на основании которых точка присоединяется или не присоединяется к региону: близость точки к центру региона; близость к соседней точке, присоединенной к региону на предыдущем шаге; близость по некоторой статистике региона; стоимость кратчайшего пути от точки до центра региона, и т.п. В основном процедура выращивания региона используется для получения отдельных регионов, однако, применяя эту процедуру последовательно или одновременно для нескольких регионов, можно получить разбиение всего изображения.
Недостатком этого способа является неприменимость к задачам сшивки изображений, он применим лишь в случаях одного исходного изображения и требует значительных ресурсов памяти мобильных устройств, кроме того, недостаточно высока скорость обработки данных.
Способы дробления-слияния [A. Tremeau and n. Borel, "A Region growing and Merging Algorithm to color segmentation," Pattern Recognition, 1997];[В. Cramariuc, M. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997]; [H. Digabel and C. Lantujoul, "Iterative Algorithms," Proc. of the 2nd European Symp. on Quantitative Analysis of Microstructures in Material Science, Biology and / Medicine, 1977]; [M. Celenk, "Hierarchical Color Clustering for Segmentation of Textured Images," Proc. of the 29th Southeastern Symposium on system Theory, 1997]; [S. Ji and H.W. Park, "Image Segmentation of Color Image Based on Region Coherency," Proc. of ICIP'98];[L. Shafarenko, M. Petrov, and J. Kittler, "Automatic Watershed segmentation of Randomly Textured Color Images," IEEE Trans. on Image Processing, 1997]; [M. Barni, S. Rossi, and A. Mecocci, "A Fuzzy Expert System for Low Level Image Segmentation," EUSIPCO-96], состоящие из двух основных этапов: дробления и слияния. Дробление начинается с некоторого разбиения изображения, не обязательно на однородные области. Процесс дробления областей происходит до тех пор, пока не будет получено разбиение изображения (пересегментация), удовлетворяющее свойству однородности сегментов. Затем происходит объединение схожих соседних сегментов до тех пор, пока не будет получено разбиение изображения на однородные области максимального размера.
Недостатком этих способов является низкая скорость обработки данных, необходимость увеличения ресурсов памяти, применимость только в случае одного исходного изображения.
Способ моделирования Марковским полем [G. R. Cross and А. К. Jain, "Markov Random Field Texture Models," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1983]; [S. German and D. German, "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984]; [R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother «A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol.30, no.6, June 2008], который основан на предположении, что цвет каждой точки изображения зависит от цветов некоторого множества соседних точек. Предложено обобщение модели изображения, также возможно обобщение на текстурную сегментацию [Y. Deng, В. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999].
Недостатком этого способа является сложность в реализации.
Способы, основанные на операторах выделения краев [М. Jacob, M. Unser, "Design of Steerable Filters for Feature Detection Using Canny-Like Criteria," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, no.8, pp.1007-1019]; [Edge Detection Using steerable Filters and CN1M, Atilla Ozmen and Emir Tufan Akman, 2002], при которых задача сегментации формулируется как поиск границ регионов и хорошо решается для полутоновых изображений. Полутоновое изображение рассматривается как функция двух переменных, и предполагается, что границы регионов соответствуют максимумам градиента этой функции. Для их поиска применяется аппарат дифференциальной геометрии. Для повышения устойчивости к шуму, перед применением фильтрации, изображение обычно размывают. Благодаря коммутативности оператора Лапласа и Гауссова фильтра, можно одновременно осуществлять размытие и поиск границ.
Недостатком такого способа является неустойчивость к шуму. Кроме того, поскольку понятие границы свое для каждой задачи, то и каждый раз при применении способов поиска границ требуется дополнительно выбирать способ доработки результатов фильтрации.
Оптимизационные способы [Y. Deng, В.S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999], при которых задачу разбиения изображения на однородные области сводят к задаче оптимизации. Для этого задачу сегментации формулируют как задачу поиска разбиения изображения, обладающего определенными свойствами, затем вводится функционал, который отражает степень соответствия полученной сегментации предъявляемым требованиям. Например, вводится функционал качества сегментации, использующий распределение цветов на изображении.
Недостатки - трудоемкость способа, высокие требования к ресурсам мобильных устройств.
Общими недостатками всех этих способов являются:
- неприменимость полученной сегментации к задачам сшивки ввиду того, что способы могут работать лишь на одном исходном изображении (способы выращивания регионов, дробления-слияния, выделения краев);
- неприемлемые для мобильных устройств требования к ресурсам системы - объему памяти и скорости работы вычислительного блока (способы кластеризации, выращивания регионов, дробления-слияния, моделирования Марковским полем, способ теории графов, оптимизационные подходы),
- плохая работа назашумленных изображениях (способы кластеризации, выделения краев),
- отсутствие учета пространственного расположения точек (кластеризация).
Наиболее близким к заявляемому решению является способ минимизации с помощью нарезки графа [US Patent 6,744,923. «System and method for fast approximate energy minimization via graph cuts»]; [R.Szeliski, R.Zabih, D.Scharstein, O.Veksler, V.Kolmogorov, A.Agarwala, M.Tappen, C.Rother « A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol. 30, no.6, June 2008]. Изображение представляется в виде взвешенного графа, с вершинами в точках изображения. Вес ребра графа отражает сходство точек (например, расстояние между точками по некоторой метрике). Разбиение изображения моделируется разрезами графа. В способах теории графов вводится функционал «стоимости» разреза, отражающий качество полученной сегментации. Так, задача разбиения изображения на однородные области сводится к оптимизационной задаче поиска разреза минимальной стоимости на графе. Такой подход позволяет, помимо однородности цвета и текстуры сегментов, управлять также формой сегментов, их размером, сложностью границ и т.п. Для поиска разреза минимальной стоимости применяются различные методы: жадные алгоритмы (на каждом шаге выбирается такое ребро, чтобы суммарная стоимость разреза была минимальной), способы динамического программирования (гарантируется, что, выбирая на каждом шаге оптимальное ребро, получат в итоге оптимальный путь), и т.п.
Недостатком данного способа является большое количество вычислений, требуемых для получения решения, что снижает быстродействие, а также необходимость выделения большого объема дополнительной памяти для поиска оптимального разреза.
Перед автором стояла задача разработки такого способа сегментации изображений, который отвечал бы следующим требованиям:
- быстродействие;
- оптимальная сегментация изображения, т.е. такая, при которой достигается глобальный минимум суммы ценовой функции швов и ценовой функции данных изображения (основанных на цвете, яркости, и др. параметрах); близость полученной сегментации к абсолютно-оптимальному разбиению, аналогичную лучшим известным способам;
- отсутствие необходимости в дополнительных ресурсах памяти мобильного устройства;
- устойчивость к шумам в изображении.
Сущность заявляемого технического решения заключается в том, что в известном способе сегментации изображений путем поиска минимума ценовых функций, поиск производят на N-количестве уровней детализации изображения, от более грубой к более детализированной, при этом на каждом уровне детализации изображение разделяют на области; для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, затем подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных. В тех случаях, когда необходимо исключить влияние швов на результат сегментации (например, при необходимости получения одинаковой сегментации вне зависимости от ориентации изображения), поиск минимума на каждой итерации производят путем обработки областей изображения, не имеющих общих границ, а выбор областей для обработки изменяют при каждой последующей итерации. Чтобы исключить остановку (застревание) поиска глобального минимума в одном из локальных минимумов, созданных высокой стоимостью шва вокруг какой-либо локальной области вследствие шумов в изображении, несколько исходных итераций на каждом уровне детализации проводят с уменьшением вклада функции швов в сумму ценовых функций. Это дает возможность швам перескакивать (протекать) сквозь пики стоимости.
На фиг.1 приведен пример исходного изображения, цветовое пространство которого будет оптимально сегментировано на 12 цветов.
На фиг.2 приведен пример исходной сегментации для самой грубой детализации, исходя из ценовой функции данных. Ценовая функция швов принята равной нулю.
На фиг.3 изображено состояние сегментации после первой итерации. Прямоугольники с закругленными вершинами - обработанные на данной итерации. Горизонтальной штриховкой отмечены квадраты с измененной на данной итерации сегментацией, вертикальной штриховкой - квадраты, где сегментация была сохранена.
На фиг.4 изображено состояние сегментации после второй итерации.
На фиг.5 показаны окончательные результаты сегментирования на каждом из уровней детализации. В нижнем правом углу изображено найденное результирующее решение сегментации.
На фиг.6 представлены графики схождения различных способов [R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother "A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors" IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 30, no. 6, June 2008] к глобальному минимуму на задаче сшивки панорамы. Вертикальная ось - отклонение от глобального минимума (в %), горизонтальная ось - логарифмическая ось времени (в секундах). На графиках (фиг.6; фиг.7; фиг.8):
- способ моделирования Марковским полем ′Iterated Conditional Modes′; | |
- варианты способа нарезки графа ′Loopy Belief Propagation′; | |
- аналогичный способу ′Loopy Belief Propagation′ способ ′Tree-Reweighted Message Passing′; | |
- предсказание нижней границы глобального минимума; | |
- различные варианты исполнения способа нарезки графа [2] (прототип); | |
- предлагаемый способ (окружностью отмечено полное время обработки и достигнутое отклонение от глобального минимума). |
На фиг.7 и фиг.8 представлены укрупненные варианты графика, изображенного на фиг.6 с увеличенным масштабом отклонения от глобального минимума.
Заявляемый способ осуществляют следующим образом: исходное изображение подвергают N-количеству операций детализации (произвольной разбивке на области, близкие, например, по размерам). На каждом уровне детализации производят n-количество итераций до тех пор, пока остаются изменения в сегментации областей, приводящие к уменьшению общего значения функций данных и швов, т.е. для определения близости конкретной сегментации к оптимальной. Либо до тех пор, пока не достигнуто максимально допустимое количество итераций для данной детализации, которое ограничено общим временем обработки на мобильном устройстве. При этом используют две ценовые функции:
- Ценовая функция данных, которая указывает, насколько оптимальным является определение конкретного пикселя изображения в один из сегментов. Например, абсолютная величина разности между числовым значением цвета пикселя и цвета сегмента.
- Ценовая функция шва - указывает, насколько оптимальным является прохождение границы сегментов в данном месте.
На каждом из уровней детализации швы могут проходить лишь вдоль границ областей. Форма областей остается неизменной для каждого из уровней детализации. Так как корректирующие итерации, следующие за первичной, допускают перескок (перетекание) через локальные минимумы ценовых функций, а результирующая сегментация находится вблизи глобального минимума, то такое ограничение на прохождение швов является допустимым.
В качестве первичной используется сегментация, полученная путем разбиения изображения, исходя лишь из значения ценовой функции данных, без учета цены швов. При такой сегментации каждой области пикселей изображения присваивается значение сегмента, дающее минимальную цену для всех пикселей данной области. Итерации с первичной (грубой) детализацией производятся на обобщенных значениях областей пикселей. При каждой последующей итерации находится более оптимальная, по сравнению с предыдущей, сегментация.
При каждой итерации над каждой из областей пикселей производят следующие действия:
- подсчитывают локальное значение ценовой функции, включая цену данных и цену швов, окружающих данную область;
- ценовую функцию рассчитывают для всех возможных значений сегментации для данной области;
- в случае, если первоначальный выбор сегментации для данной области не оптимален
(значение функции выше, чем для какой-либо другой сегментации) - значение для данной области заменяют на оптимальное (с минимальным значением ценовых функций).
Области обрабатывают последовательно, при этом значение сегментации в конкретной области влияет на цену шва, проходящего по границе данной области, что приводит к зависимости результирующей сегментации от порядка обработки областей. В тех случаях, когда необходимо исключить влияние швов на результат сегментации (например, при необходимости получения одинаковой сегментации вне зависимости от ориентации изображения), поиск минимума на каждом проходе итерации производят путем обработки областей изображения, не имеющих общих границ, а выбор областей для обработки изменяют при каждой последующей итерации.
Чтобы исключить остановку (застревание) поиска глобального минимума в одном из локальных минимумов, созданных высокой стоимостью шва вокруг какой-либо локальной области, вследствие шумов в изображении, несколько исходных итераций на каждом уровне детализации проводят с уменьшением вклада функции швов в сумму ценовых функций. Это дает возможность швам перескакивать (протекать) сквозь пики стоимости. Последующие итерации производят с обычным уровнем вклада функции швов.
На фиг.1 - фиг.5 проиллюстрирован конкретный пример реализации заявляемого способа, когда исходное изображение разбивают на квадраты, при этом швы могут проходить лишь вдоль границ квадратов. Пояснения приведены для сегментации цветового пространства одного исходного изображения. При сегментации нескольких изображений изменятся лишь ценовые функции данных и швов, т.к. вместо использования в качестве параметров функций цветовых значений пикселей изображения будут использованы другие, отражающие меру близости разных изображений (например, разница яркостей).
При каждой итерации над каждым из квадратов производят следующие действия:
- подсчитывают локальное значение ценовой функции, включая цену данных и цену швов, окружающих данный квадрат;
- ценовую функцию рассчитывают для всех возможных значений сегментации для данного квадрата;
- в случае, если первоначальный выбор сегментации для данного квадрата не оптимален (значение функции выше, чем для какой-либо другой сегментации) - значение для данного квадрата заменяют на оптимальное (с минимальным значением ценовых функций).
Четные и нечетные итерации производят в шахматном порядке. При этом результат обработки на отдельной итерации не зависит от направления прохождения по изображению. Таким образом, на каждый шов (находящийся на стороне квадрата) влияет лишь один квадрат, и никакой другой соседний из данной итерации.
С целью исключения нерационально длинных границ сегментов, в качестве ценовой функции шва для конкретного пикселя используют абсолютную разность числовых значений цвета соседних пикселей плюс некоторая положительная константа. Константа в данном случае повышает значение ценовой функции шва при увеличении его общей длины.
С целью исключения остановки (застревания) поиска глобального минимума в одном из локальных минимумов, первые три итерации на каждом уровне детализации производят с уменьшением цены шовной функции и коэффициентами 0.6; 0.75; 0.9 соответственно.
Скорость обработки может быть дополнительно увеличена за счет сохранения текущего приближения к оптимальной сегментации и сегментации, обусловленной лишь ценовой функцией данных на каждой итерации. Размер этих данных равен удвоенному числу пикселей изображения. Дополнительная память необходима лишь для хранения исходных данных, необходимых для вычисления ценовых функций данных и швов, либо, при необходимости, предвычисленных значений данных функций, т.к. они остаются неизменными для каждого пикселя в течение всего времени обработки.
Заявляемый способ обладает следующими преимуществами по сравнению с существующими в настоящее время аналогами:
1. Быстродействие. Общее время обработки на распространенных в данное время мобильных устройствах (выпуска 2011 г.) - в пределах одной секунды.
2. Качество сегментации (близость к абсолютно-оптимальной сегментации) аналогично лучшим известным способам.
3. Весьма низкие требования к ресурсам памяти при реализации способа.
4. Способ устойчив к шумам в изображении, т.к. отсутствует остановка (застревание) в локальных минимумах.
СПИСОК ЛИТЕРАТУРЫ
[1] Александр Вежневец, Ольга Баринова. Методы сегментации изображений: автоматическая сегментация. Компьютерная графика и мультимедиа. Выпуск №4(4)/2006. http://cgm.computergraphics.ru/content/view/147
[2] US Patent 6,744,923. «System and method for fast approximate energy minimization via graph cuts».
[3] Bishop, С.М. Neural Networks for Pattern Recognition. Oxford, England: Oxford University Press, 1995
[4] A. Tremeau and n. Borel, "A Region growing and Merging Algorithm to color segmentation," Pattern Recognition, 1997
[5] Y. Kanai, "Image Segmentation Using Intensity and Color Information," SPIE-Visual Communications and Image Processing'98
[6] В. Cramariuc, М. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997
[7] Y. Deng, B. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999
[8] H. Digabel and C. Lantujoul, "Iterative Algorithms," Proc. of the 2nd European Symp. on Quantitative Analysis ofMicrostructures in Material Science, Biology and Medicine, 1977
[9] М. Celenk, "Hierarchical Color Clustering for Segmentation of Textured Images," Proc. of the 29th Southeastern Symposium on system Theory, 1997
[10] S. Ji and H. W. Park, "Image Segmentation of Color Image Based on Region Coherency," Proc. of ICIP′98
[11] L. Shafarenko, М. Petrov, and J. Kittler, "Automatic Watershed segmentation of Randomly Textured Color Images," IEEE Trans. on Image Processing, 1997
[12] М. Barni, S. Rossi, and A. Mecocci, "A Fuzzy Expert System for Low Level Image Segmentation," EUSIPCO-96
[13] G. R. Cross and A. K. Jain, "Markov Random Field Texture Models," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1983
[14] S. German and D. German, "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984
[15] М. Jacob, М. Unser, "Design of Steerable Filters for Feature Detection Using Canny-Like Criteria," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 8, pp.1007-1019
[16] Edge Detection Using steerable Filters and CNN, Atilla Ozmen and Emir Tufan Akman, 2002
[17] Normalized Cuts and Image Segmentation -J. Shi, J. Malik(1997) University of California at Berkeley
[18] Image Segmentation by Nested Cuts (2000) - Olga Veksler, NEC Research Institute
[19] R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother «A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol.30, no.6, June 2008.
Claims (3)
1. Способ сегментации изображений путем поиска минимума ценовых функций, отличающийся тем, что сегментацию осуществляют в один этап, от более грубой к более детализированной, а поиск производят на N-количестве уровней детализации исходного изображения, на каждом уровне детализации изображение разделяют на области, для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных.
2. Способ по п.1, отличающийся тем, что поиск минимума при каждой итерации производят путем обработки областей изображения, не имеющих общих границ, при этом выбор областей для обработки изменяют при каждой итерации.
3. Способ по п.1, отличающийся тем, что вклад ценовой функции швов в общую сумму ценовых функций швов и данных уменьшают на подмножестве итераций.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011134204/07A RU2489752C2 (ru) | 2011-08-15 | 2011-08-15 | Способ сегментации изображений |
JP2014525964A JP5973572B2 (ja) | 2011-08-15 | 2012-06-19 | 映像セグメンテーション方法 |
CN201280039682.6A CN103733207B (zh) | 2011-08-15 | 2012-06-19 | 图像分割方法 |
DE112012003377.9T DE112012003377T5 (de) | 2011-08-15 | 2012-06-19 | Bildsegmentierungsverfahren |
US14/238,871 US9076216B2 (en) | 2011-08-15 | 2012-06-19 | Method of image segmentation |
PCT/RU2012/000478 WO2013025123A1 (ru) | 2011-08-15 | 2012-06-19 | Способ сегментации изображений |
KR1020147006768A KR101807352B1 (ko) | 2011-08-15 | 2012-06-19 | 이미지 분할 방법 |
IN1819DEN2014 IN2014DN01819A (ru) | 2011-08-15 | 2014-03-10 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011134204/07A RU2489752C2 (ru) | 2011-08-15 | 2011-08-15 | Способ сегментации изображений |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011134204A RU2011134204A (ru) | 2013-02-20 |
RU2489752C2 true RU2489752C2 (ru) | 2013-08-10 |
Family
ID=47715296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011134204/07A RU2489752C2 (ru) | 2011-08-15 | 2011-08-15 | Способ сегментации изображений |
Country Status (8)
Country | Link |
---|---|
US (1) | US9076216B2 (ru) |
JP (1) | JP5973572B2 (ru) |
KR (1) | KR101807352B1 (ru) |
CN (1) | CN103733207B (ru) |
DE (1) | DE112012003377T5 (ru) |
IN (1) | IN2014DN01819A (ru) |
RU (1) | RU2489752C2 (ru) |
WO (1) | WO2013025123A1 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2550534C1 (ru) * | 2014-07-15 | 2015-05-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рыбинский государственный авиационный технический университет имени П.А. Соловьева" | Способ автоматического определения толщины слоя с нечеткими границами по изображению |
RU2829572C1 (ru) * | 2023-10-24 | 2024-10-31 | ООО "Квантрон Групп" | Способ обнаружения и выделения фрагментов изображений |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2489752C2 (ru) * | 2011-08-15 | 2013-08-10 | Дмитрий Валерьевич Шмунк | Способ сегментации изображений |
US9021052B2 (en) * | 2012-09-28 | 2015-04-28 | Interactive Memories, Inc. | Method for caching data on client device to optimize server data persistence in building of an image-based project |
US9633444B2 (en) | 2014-05-05 | 2017-04-25 | Xiaomi Inc. | Method and device for image segmentation |
CN103996189B (zh) * | 2014-05-05 | 2017-10-03 | 小米科技有限责任公司 | 图像分割方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2004121993A (ru) * | 2001-12-18 | 2006-01-20 | Бурбэй Лимитед (Gb) | Сегментация изображений с использщованием метода водораздела |
US7349922B2 (en) * | 2001-11-14 | 2008-03-25 | Yeda Research And Development Co. Ltd. | Method and apparatus for data clustering including segmentation and boundary detection |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5787194A (en) * | 1994-11-08 | 1998-07-28 | International Business Machines Corporation | System and method for image processing using segmentation of images and classification and merging of image segments using a cost function |
US6078688A (en) * | 1996-08-23 | 2000-06-20 | Nec Research Institute, Inc. | Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region |
US6058210A (en) * | 1997-09-15 | 2000-05-02 | Xerox Corporation | Using encoding cost data for segmentation of compressed image sequences |
US6744923B1 (en) | 1999-08-30 | 2004-06-01 | Cornell Research Foundation, Inc. | System and method for fast approximate energy minimization via graph cuts |
KR100378351B1 (ko) * | 2000-11-13 | 2003-03-29 | 삼성전자주식회사 | 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치 |
JP2004258750A (ja) * | 2003-02-24 | 2004-09-16 | Fuji Photo Film Co Ltd | 画像の特徴ベクトルのクラスタリング方法および装置 |
US8428354B2 (en) | 2009-06-23 | 2013-04-23 | Los Alamos National Security, Llc | Image segmentation by hierarchial agglomeration of polygons using ecological statistics |
US8345974B2 (en) * | 2009-07-14 | 2013-01-01 | Hewlett-Packard Development Company, L.P. | Hierarchical recursive image segmentation |
CN102103744A (zh) * | 2011-01-28 | 2011-06-22 | 武汉大学 | 基于最小生成树与统计学习理论的图像分割方法 |
RU2489752C2 (ru) * | 2011-08-15 | 2013-08-10 | Дмитрий Валерьевич Шмунк | Способ сегментации изображений |
EP2637139A1 (en) * | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
US8792013B2 (en) * | 2012-04-23 | 2014-07-29 | Qualcomm Technologies, Inc. | Method for determining the extent of a foreground object in an image |
-
2011
- 2011-08-15 RU RU2011134204/07A patent/RU2489752C2/ru active
-
2012
- 2012-06-19 JP JP2014525964A patent/JP5973572B2/ja active Active
- 2012-06-19 WO PCT/RU2012/000478 patent/WO2013025123A1/ru active Application Filing
- 2012-06-19 KR KR1020147006768A patent/KR101807352B1/ko active Active
- 2012-06-19 DE DE112012003377.9T patent/DE112012003377T5/de not_active Withdrawn
- 2012-06-19 US US14/238,871 patent/US9076216B2/en active Active
- 2012-06-19 CN CN201280039682.6A patent/CN103733207B/zh active Active
-
2014
- 2014-03-10 IN IN1819DEN2014 patent/IN2014DN01819A/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7349922B2 (en) * | 2001-11-14 | 2008-03-25 | Yeda Research And Development Co. Ltd. | Method and apparatus for data clustering including segmentation and boundary detection |
RU2004121993A (ru) * | 2001-12-18 | 2006-01-20 | Бурбэй Лимитед (Gb) | Сегментация изображений с использщованием метода водораздела |
Non-Patent Citations (1)
Title |
---|
Чочиа П.А. Пирамидальный алгоритм сегментации изображений. Информационные процессы. Т.10, №1, 2010, сс.23-37. * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2550534C1 (ru) * | 2014-07-15 | 2015-05-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рыбинский государственный авиационный технический университет имени П.А. Соловьева" | Способ автоматического определения толщины слоя с нечеткими границами по изображению |
RU2829572C1 (ru) * | 2023-10-24 | 2024-10-31 | ООО "Квантрон Групп" | Способ обнаружения и выделения фрагментов изображений |
Also Published As
Publication number | Publication date |
---|---|
IN2014DN01819A (ru) | 2015-05-15 |
RU2011134204A (ru) | 2013-02-20 |
CN103733207B (zh) | 2017-08-11 |
US20140254935A1 (en) | 2014-09-11 |
US9076216B2 (en) | 2015-07-07 |
DE112012003377T5 (de) | 2014-04-30 |
WO2013025123A1 (ru) | 2013-02-21 |
KR20140071367A (ko) | 2014-06-11 |
JP5973572B2 (ja) | 2016-08-23 |
JP2014527671A (ja) | 2014-10-16 |
KR101807352B1 (ko) | 2017-12-08 |
CN103733207A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeng et al. | Towards high-resolution salient object detection | |
Yang et al. | Where is my mirror? | |
Mishra et al. | Active segmentation with fixation | |
Wang et al. | Occlusion-aware depth estimation using light-field cameras | |
Yi et al. | Image segmentation: A survey of graph-cut methods | |
Gracias et al. | Fast image blending using watersheds and graph cuts | |
Peng | Parameter selection for graph cut based image segmentation | |
RU2489752C2 (ru) | Способ сегментации изображений | |
US20100322525A1 (en) | Image Labeling Using Multi-Scale Processing | |
CN104657936A (zh) | 用于调整深度值的方法、电子装置和介质 | |
CN110046623B (zh) | 一种图像特征点提取方法和相机 | |
Nawaz et al. | Object detection and segmentation by composition of fast fuzzy C-mean clustering based maps | |
Qu et al. | Stripnet: Towards topology consistent strip structure segmentation | |
Yamashita et al. | Boundary-aware image inpainting with multiple auxiliary cues | |
US11080861B2 (en) | Scene segmentation using model subtraction | |
CN113343987B (zh) | 文本检测处理方法、装置、电子设备及存储介质 | |
CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
JP2002525988A (ja) | 意味的映像オブジェクト分割のためのシステムおよび方法 | |
CN107403465B (zh) | 基于结构先验与深度学习的城市场景分段平面重建方法 | |
Nagahashi et al. | Image segmentation using iterated graph cuts based on multi-scale smoothing | |
Reichenbach et al. | Comparison of lane detection algorithms for adas using embedded hardware architectures | |
Manousis et al. | Enabling high-resolution pose estimation in real time using active perception | |
Kalboussi et al. | A spatiotemporal model for video saliency detection | |
Casas et al. | Mutual feedback scheme for face detection and tracking aimed at density estimation in demonstrations | |
Vaudrey et al. | Space-time multi-resolution banded graph-cut for fast segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PC41 | Official registration of the transfer of exclusive right |
Effective date: 20151019 |