Content Based Image Retrieval (cbir)

Digital Image Databases and documentation provide lot of research areas. Significant among them is, The Content Based Image Retrieval (CBIR) research area for manipulating large amount of image databases and archives. The development in the field of medical imaging system has lead industries to conceptualize a complete automated system for the medical procedures, diagnosis, treatment and prediction. There is a continuous research in the area of CBIR systems typically for medical images, which provides a successive algorithm development for achieving generalized methodologies, which could be widely used. The achievement of such system mainly depends upon the strength, accuracy and speed of the retrieval systems. Content based image retrieval (CBIR) system is valuable in medical systems as it provides retrieval of the images from the large dataset based on similarities. The aim of this paper is to discuss the various techniques, the assumptions and its scope suggested by various researchers and setup a further roadmap of the research in the field of CBIR system for medical image.

Deep learning and image processing are two areas of great interest to academics and industry professionals alike. The areas of application of these two disciplines range widely, encompassing fields such as medicine, robotics, and security and surveillance. The aim of this book, 'Deep Learning for Image Processing Applications', is to offer concepts from these two areas in the same platform, and the book brings together the shared ideas of professionals from academia and research about problems and solutions relating to the multifaceted aspects of the two disciplines. The first chapter provides an introduction to deep learning, and serves as the basis for much of what follows in the subsequent chapters, which cover subjects including: the application of deep neural networks for image classification; hand gesture recognition in robotics; deep learning techniques for image retrieval; disease detection using deep learning techniques; and the comparative analysis of deep data and big data. The book will be of interest to all those whose work involves the use of deep learning and image processing techniques

Существует широкий круг задач, где требуется анализ, аудио-визуальных моделей реальности. В частности, для многих военных и гражданских приложений, необходимо наличие поиска нечетких дубликатов видео. Для мирного применения, — это группировка подсказок в выдаче поисковиков, поиск неправомерных публикаций видеофайлов, сокращение объема хранимой и передаваемой информации. Для военного применения можно тоже перечислить несколько вариантов.

Image retrieval is still an active research topic in the computer vision field. There are existing several techniques to retrieve visual data from large databases. Bag-of-Visual Word (BoVW) is a visual feature descriptor that can be used successfully in Content-based Image Retrieval (CBIR) applications. In this paper, we present an image retrieval system that uses local feature descriptors and BoVW model to retrieve efficiently and accurately similar images from standard databases. The proposed system uses SIFT and SURF techniques as local descriptors to produce image signatures that are invariant to rotation and scale. As well as, it uses K-Means as a clustering algorithm to build visual vocabulary for the features descriptors that obtained of local descriptors techniques. To efficiently retrieve much more images relevant to the query,
SVM algorithm is used. The performance of the proposed system is evaluated by calculating both precision and recall. The
experimental results reveal that this system performs well on two different standard datasets.

The paper focuses on an approach to a near-duplicate videos search. The search is based on the comparison of scene relative lengths in the space L2. The comparison is made with Gale-Church hypothesis. The concept "shot descriptor" was introduced. To speed up the performance of this method, semantic hashing was suggested, i.e. a generalization of locally sensitive hashing. 

В работе рассмотрен подход для поиска нечетких дубликатов видео. Поиск основан на сравнении относительных длин сцен в пространстве L2. Сравнение проводится с учетом гипотезы Гейла-Черча. Вводится понятие «дескриптора сцены». Для ускорения работы метода предложено использовать семантическое хеширование, обобщение локально чувствительного хеширования.

Medical field is very much depended on image processing nowadays. Brain tumor is very dangerous and harmful type of cancer. But diagnosis and treatment of brain tumour cost is very high and it lasts for longer period. The number of neuro patients is increasing, which in turn increases burden on small group of radiologists. So we need more efficient Tumour diagnosis system that help the Radiologists. In this project, a new CBIR method is introduced to detect tumour in tumorous image. Every CBIR system has feature extraction and classification. Here feature is extracted using Discrete Wavelet Transform and images are classified using Support Vector Machine .So when we give a Brain MRI image, the image is classified as normal or tumorous image. If the image is tumorous, then change detection method that searches for the most dissimilar region (axis-parallel bounding boxes) between the left and the right halves of a brain in an axial view MR slice. This change detection process uses a novel score function based on Bhattacharya coefficient computed with gray level intensity histograms.

Because of the numerous application of Content-based image retrieval (CBIR) system in various areas, it has always remained a topic of keen interest by the researchers. Fetching of the most similar image from the complete repository by comparing it to the input image in the minimum span of time is the main task of the CBIR. The purpose of the CBIR can vary from different types of requirements like a diagnosis of the illness by the physician, crime investigation, product recommendation by the e-commerce companies, etc. In the present work, CBIR is used for finding the similar patients having Breast cancer. Gray-Level Co-Occurrence Matrix along with histogram and correlation coefficient is used for creating CBIR system. Comparing the images of the area of interest of a present patient with the complete series of the image of a past patient can help in early diagnosis of the disease. CBIR is so much effective that even when the symptoms are not shown by the body the disease can be diag...

The Content Based Medical Image Retrieval (CBMIR) system is an imaginative innovation to retrieve images from various types of medical images. The CBMIR is one of the applications of the Content Based Image retrieval (CBIR). To shrink the semantic gap in the domain of medical image for the precise diagnoses of the disease from historical cases is the major challenge in the CBMIR system. The semantic gap reduction is mainly depending on the feature representation of the images. The MultiChannel Convolution Neural Network (MC-CNN) model is utilized to get multiple features from the training images. The fusion of these features is being used for the training of the network. The trained model is used for the retrieval of the medical images and its relevant treatment, for the provided testing image of the patient. It helps the doctor to give proper treatment to the patient based on the past success ratio of that particular treatment. The average precision rate is the measurement parameter which is utilized to compare the proposed model with various transfer learning models. The proposed model is evaluated for three different medical datasets and it shows noteworthy improvement over various transfer learning models.

The paper focuses on an overview of the different existing methods in content-based video retrieval. During the last decade there was a~rapid growth of video posted on the Internet. This imposes urgent demands on video retrieval. Video has a complex structure and can express the same idea in different ways. This makes the task of searching for video more complicated. Video titles and text descriptions cannot give the hole information about objects and events in the video. This creates a need for content-based video retrieval. There is a semantic gap between low-level video features, that can be extracted, and the users' perception. Complex content-based video retrieval can be regarded as the bridge between traditional retrieval and semantic-based video retrieval.

Keywords: frames; near-duplicates video; scenes; shots; video annotation; video classification; video mining; video reranking; video retrieval.

В статье предлагается обзор различных существующих методов ассоциативного поиска по видео. В течение прошлого десятилетия наблюдался стремительный рост количества видео размещаемых в Интернете, что создало острую необходимость в появлении поиска по видео. Видео имеет сложную структуру. Одна и та же информация может быть выражена различными способами. Это серьёзно усложняет задачу видео-поиска. Заголовки и описания видео не могут дать полного представления о самом видео, что влечет за собой необходимость использования ассоциативного поиска по видео. Существует семантический разрыв между низкоуровневыми характеристиками видео и восприятием пользователей. Комплексный ассоциативный видео-поиск может рассматриваться как связующее звено между обычным поиском и смысловым поиском по видео.

Ключевые слова: анализ видео; аннотирование видео; видео-поиск; кадры; классификация видео; нечеткие дубликаты видео; ранжирование видео; сцены; съёмки.

The term “Near-duplicate” is an object that is fully or partly similar to another object. There are natural and artificial near-duplicates. Natural near-duplicates are similar objects within the similar environment, while artificial near-duplicates are objects, which comes from one original object. Now lets, turn to the main aims of the the near duplicate retrieval. Firstly, the near duplicate retrieval may be helpful for the optical navigation of cruise missiles or pilotless planes. Secondly, it is helpful for grouping snippets of the search engines. Moreover, it is necessary for the video classification and copyright management. This is the most important part for the online cinema. Nowadays there are several ways to find near duplicates. First one is based on global video features. Another is based on local and global features of particular frames. Then, youtube.com uses the audio based approach while, Licenzero uses the visual words. Also the combinations of different methods are applied. We propose an algorithm of the near duplicate video retrieval based on the shot detection. A shot is a sequence of the frames, which are considerably different form the frames of another sequence. Imagine our task as the following: There are a lot of the initial videos. Somebody gives us some new video, and we should say if it is a copy of one or more of the initial videos. We compute scene descriptors for every shot of every initial video and for every shot of the given video. Then we compare these descriptors to each other.If several descriptors of the given video are coincide with descriptors of the initial videos, it means these parts of videos are duplicates. Else, the given video is unique. As a result of this work we have the approach for the near-duplicate video retrieval. Firstly, It includes length ratios and relative lengths. Secondly, we use the scene aliment. The same method is used in the computer linguistics for the sentences aliment in the bilingual corpora. It is called Gale-Church algorithm. Thirdly, we propose scene descriptors. Several experiments have been conducted.

World dynamic situation are full of random changes which include multiple factors like audio, video and image. So cause of concurrent incident and simultaneously device performance requirement become typical for information retrieval. That make segmentation approach a method of combining feature transformation with clustering algorithm which is proposed for adequate retrieval of image, that could take input approach equally as similar platform and after function performance of analyses and processing that methodology make image, audio, video information separate and retrieve them as much clear as possible then give a best clear resultant as per certainty.

Information retrieval systems are getting more attention in the era of multimedia technologies such as an image, video, audio and text files. The large numbers of images are challenges in computer systems field to store, manage data effectively and efficiently. The shape retrieval feature of different objects in the image also remains a difficult problem due to distinct angle view of different objects in a scene only; few studies have reported solution to the problem of finding relative locations of ROIs. In this paper, we proposed three methods such as1. Geolocation-based image retrieval (GLBIR), 2.Unsupervised feature technique Principal component analysis (PCA) and 3.multiple region-based image retrieval. The first proposed (GLBIR) method identifies geo location an image using visual attention based mechanism and its color layout descriptors. These features are extracted from geo-location of query image from Flickr database. Our proposed model does not fully semantic understanding of image content, uses visual metrics for example; the proximity ,color contrast, size and nearness to image’s boundaries to locate viewer’s attention. We analyzed results and compared with state of art CBIR Systems and GLBIR Technique. Our second method to refine images exploiting and fusing by unsupervised feature technique using principal component analysis (PCA). The visually similar images clustering together with analyses image retrieval process and remove outliers initially retrieved image set by PCA. To evaluation our proposed approach, we used thousands of images downloaded from Flickr and CIFAR-10 databases using Flickr public API. Finally, we determinately proposed a system for image retrieval based on region. It provides a user interface for availing to designate the watershed ROI within an input image. During the retrieval of images, regions’ feature vectors having codes of region homogeneous to a region of input image are utilized for comparison. Standard datasets are used for evaluation of proposed approach. The experiment demonstrates and effectiveness of the proposed method to achieve higher annotation performance increases accuracy and reduces image retrieval time. We evaluated our proposed approach on images dataset from Flickr and CIFAR-10.

Даны два видео файла или потока. Нужно выяснить являются ли они дубликатами друг друга. Здесь, под словом дубликат понимается не формализуемое условие: «На этих файлах изображено одно и то же?».  Возможна, и другая постановка этой задачи. Дан набор видео, для нового добавляемого в этот набор видео нужно определить,  есть ли дубликат этого нового видео в наборе или нет. Понятие «нечеткий дубликат» является устоявшимся термином в задачах информационного поиска и обычно употребляется применительно к документам и изображениям. Нечеткость в данном случае интерпретируется как неполное или частичное совпадение документов или изображений.

Digital Image Databases and documentation provide lot of research areas. Significant among them is, The Content Based Image Retrieval (CBIR) research area for manipulating large amount of image databases and archives. The development in the field of medical imaging system has lead industries to conceptualize a complete automated system for the medical procedures, diagnosis, treatment and prediction. There is a continuousresearch in the area of CBIR systems typically for medical images, which provides a successive algorithm development for achieving generalized methodologies, which could be widely used. The achievement of such system mainly depends upon the strength, accuracy and speed of the retrieval systems. Content based image retrieval (CBIR) system is valuable in medical systems as it provides retrieval of the images from the large dataset based on similarities. The aim of this paper is to discuss the various techniques, the assumptions and its scope suggested by various researchers and setup a further roadmap of the research in the field of CBIR system for medical image.

In this research, we have proposed semantic based image retrieval system to retrieve set of relevant images for the given query image from the Web. We have used global color space model and Dense SIFT feature extraction technique to generate visual dictionary using proposed quantization algorithm. The images are transformed into set of features. These features are used as inputs in our proposed Quantization algorithm for generating the code word to form visual dictionary. These codewords are used to represent images semantically to form visual labels using Bag-of-Features (BoF). The Histogram intersection method is used to measure the distance between input image and the set of images in the image database to retrieve similar images. The experimental results are evaluated over a collection of 1000 generic Web images to demonstrate the effectiveness of the proposed system.

Because of the numerous application of Content-based image retrieval (CBIR) system in various areas, it has always remained a topic of keen interest by the researchers. Fetching of the most similar image from the complete repository by comparing it to the input image in the minimum span of time is the main task of the CBIR. The purpose of the CBIR can vary from different types of requirements like a diagnosis of the illness by the physician, crime investigation, product recommendation by the e-commerce companies, etc. In the present work, CBIR is used for finding the similar patients having Breast cancer. Gray-Level Co-Occurrence Matrix along with histogram and correlation coefficient is used for creating CBIR system. Comparing the images of the area of interest of a present patient with the complete series of the image of a past patient can help in early diagnosis of the disease. CBIR is so much effective that even when the symptoms are not shown by the body the disease can be diagnosed from the sample images.

Никитин И. К. Элементы ассоциативного поиска по видео [Текст] / И. К. Никитин // Новое слово в науке: перспективы развития : материалы междунар. науч.–практ. конф. (Чебоксары, 10 сент. 2014 г.) / редкол.: О. Н. Широков [и др.]. – Чебоксары: ЦНС «Интерактив плюс», 2014. – С. 223–230. – ISBN 978-5-906626-37-0.

За последние несколько лет объем носителей мультимедийной информации вырос в несколько раз. В сложившейся ситуации необходим простой и гибкий поиск неструктурированным мультимедийных данных. В статье предлагается обзор  существующих методов ассоциативного поиска по видео.

XI All-Russian Conference “Neurocomputers and their application”, Мoscow: MSUPE, 19.03.2013.

Понятие «нечеткий дубликат» означает неполное или частичное совпадение текущего документа (изображения) с другим документом подобного класса.

Дубликаты бывают естественные и искусственные. Естественные дубликаты — схожие объекты, при схожих условиях. Искусственные нечеткие дубликаты — полученные на основе одного и того же оригинала.

Поиск нечетких дубликатов может быть полезен для оптической навигации беспилотных аппаратов, для определения характера ландшафта местности, составления каталогов видео, группировки сниппетов поисковых систем, фильтрация видео рекламы, и поиска пиратского видео.

Нечеткие дубликаты тесно связаны с проблемами классификации видео и поиска по видео. Но эти задачи являются самостоятельными.

На данный момент нечеткие дубликаты пытаются искать, сравнивая глобальные особенности видео, глобальные и локальные особенности кадров и множеств кадров. Сравнивают звуковой ряд (так, например делюат в ютубе). Ищут и сравнивают визуальные слова, характерные последовательности (лицензЕро). Используется комбинация методов.

Мы предлагаем алгоритм поиска нечетких дубликатов на основе сцен. Есть множество исходных файлов, для видео сцен этих файлов вычислены дескрипторы сцен. Получаем новое видео. Требуется установить является ли новое видео дубликатом существующих. Вычисляем дескрипторы сцен этого видео . Дескриптор каждой сцены нового видео сравниваем с каждым дескриптором кадой сцены каждого исходного видео.

Если на нектором временном промежутке дескрипторы совпали, считаем, считаем, что временной промежуток является дубликатом одной из частей исходного видео. Если не несовпали ни на одном — считаем видео уникальным.

Что такое сцена?

Существует три различных понятия. Кадр, Фотографический кадр — статическая картинка. Сцена, монтажный кадр — множество кадров связанных единством места и времени. Съемка, кинематографических кадр, множество кадров связанных единством съемки. 1 сцена может включать несколько съемок. Съемку часто называют <<сценой>>. Далее мы будем рассматривать съемку, но называть ее будем <<сценой>>.

Введем формальное определение. Сцена-съемка, набор кадров определенной временной области кадры которой значительно отличаются от кадров соседних опластей. Аналогичным образом можно ввести понятие звуковой сцены, правда возникает отдельная проблема выделения звуковых-кадров.

Выделение сцен происходит на основе трех базовых подходов. Это сравнение гистограм соседних кадров. Сравнение спектров кадров и сравнение векторов оптического потока. На слайде приведены первые кадры сцен рекламы на МТС, выделенные c помощью ffmpeg. ffmpeg использует сравнение гистограмм кадров.

Если исходную рекламу сжать разными кодеками, мы получим нечеткие дубликаты этого видео. Выделяя сцены в каждом видео, увидим, что точки перемены сцен для этих двух файлов не совпадают.

Если взять более продолжительное видео, и выделить сцены при более высокой чувствительности, то можно заметить, что для разных кодеков сцены определяются совсем не однородно. Более того, некоторые сцены могут не распознаться.

Для решения этой проблемы мы предлагаем использовать относительные длины сцен. Для каждой сцены вычисляем отношение длины сцены к длинам остальных сцен. Для первых четрех сцен рекламы МТС получаем следующую матрицу. В практических задачах удобнее вычислять отношения длин, для трех предыдущих сцен. Это удобно и вслучае, если все видео целиком нам недоступно.

Если относительная длина сцены одного видео отличается от длины соответствующей сцены другого видео не более чем в два раза, то можно предположить, что сцены выражают одно и то же явление. В этом случае то длину меньшей сцены можно сложить с длиной следующей сцены этого же видео, и рассматривать объединенную сцену как одну. Подобные метод называют алгоритмом Гейла-Черча. Используется в математической лингвистике для выравнивания праллельных корпусов тесктов на разных языках.


Если относительные длины двух сцен совпали, не факт что сцены действительно одинаковы. Требуется сравнивать внутренние свойства сцен. Можно взять начальные и конечные кадры.

Сравнивать можно попиксельно, на основе детектора краев. В данном случчае удобно использовать глобальные дескриптор GIST, и мешок слов.

GIST представляем из себя простой но не очень точный способ глобального описания изображения. Применим для широкого круга задач.

Мешок слов, обычно более точен, при достаточном размере словаря. Необходимо, чтобы был набор изображений, на которых можно обучиться. Хорош, если работа ведется только в рамках конкретной предметной области. Но работает медленне и потенциально бесконечен по памяти.

Т.о. получили дескриптор сцены. Он состит из вектора отношений длины сцены к длинам других сцен; Его удобно сразу хранить, с объединениями соседних сцен учитывая гиппотезу Гейла Черча; И характеристики начального и конечного кадров. В зависимоти от задачи мешок слов или GIST.

Вернемся к предложеннуму алгоритмы. Мы сравнивали дескрипторы на прямую в пространстве L2. Но это не эффективно, для больших дескрипторов.

Можно предложить использование цифровых семантических подписей. Введем бинарные подписи. Подписи должны быть близки для близких дескипторах в L2.

Самое простое, что можно предложить: Линейно чувствительные хеши. Пространство дескрипторов, делим гиперплоскостью на 2 подпространства. Назначаем дескрипторам этих подпространств подпись 0 или 1. Получили бит подписи. С увеличением числа бить ассимптотически приближаем метрику L2. Для задач подобного рода лучше себя показали обучаемые хеши. К ним относятся бустинг и ограниченная машина Больцмана. В качесвтве бустинга исользуется модификация AdaBoost. Цель — получить такие подписи, расстояние между дескрипторами вычисляется, будет вычисляться как расстояние Хемминга.

Ограниченная машина Больцмана: Вероятностная рекурентная нейронная сеть. Вероятностная версия сети Хопфилда. Или нейросетевая версия Скрытой Модели Маркова. Применяется модификация, без связей внутри слоев. Мощность словем понижается от размера входного вектора до размера требуемого кода.


В результате проделанной работы: был разработан подход поиска нечетких дубликатов видео на основе сцен. Его основные моменты: относительные длины, выравнивания сцен на основе лингвистичского алгоритма Гейла-Черча, дескрипторы сцен; Проведен ряд экспериментов, которые показали удобства подхода.

Далее нам требуется разработать собственный инструмент для поиск перемены, сейчас используется ffmpeg. лучше проработать схемы с использованием Больцмана Провести эксперименты на реальном множестве исxодных данных.

Content based image retrieval (CBIR) systems retrieve images based on their primitive features such as color, texture, shape etc. The semantic gap is defined as the inconsistency between the image retrieval based on these low level image features and high level human semantics. In this paper, the comparative analysis of various color model transformations is presented with the help of our proposed methods based on three color descriptors i.e. color histogram, color moments and color coherence vectors to determine the applicability of these models and descriptors for the reduction of semantic gap. Support vector machines are used to classify images into different semantic classes. The results are inferred with the help of performance parameters like precision, recall, and mean average precision. Experimental results suggest that the proposed approach gives a good evaluation of the applicability of color models as well as color descriptors for optimization of semantic gap in CBIR.

The Content Based Medical Image Retrieval (CBMIR) system is an imaginative innovation to retrieve images from various types of medical images. The CBMIR is one of the applications of the Content Based Image retrieval (CBIR). To shrink the semantic gap in the domain of medical image for the precise diagnoses of the disease from historical cases is the major challenge in the CBMIR system. The semantic gap reduction is mainly depending on the feature representation of the images. The Multi- Channel Convolution Neural Network (MC-CNN) model is utilized to get multiple features from the training images. The fusion of these features is being used for the training of the network. The trained model is used for the retrieval of the medical images and its relevant treatment, for the provided testing image of the patient. It helps the doctor to give proper treatment to the patient based on the past success ratio of that particular treatment. The average precision rate is the measurement parameter which is utilized to compare the proposed model with various transfer learning models. The proposed model is evaluated for three dif erent medical datasets and it shows noteworthy improvement over various transfer learning models

This paper presents optimized interactive content-based image retrieval framework based on AdaBoost learning method. As we know relevance feedback (RF) is online process, so we have optimized the learning process by considering the most positive image selection on each feedback iteration. To learn the system we have used AdaBoost. The main significances of our system are to address the small training sample and to
reduce retrieval time. Experiments are conducted on 1000 semantic colour images from Corel database to demonstrate the effectiveness of the proposed framework. These experiments employed large image database and combined RCWFs and DT-CWT texture descriptors to represent content of the images.

В приведенном обзоре рассмотрены некоторые методы поиска нечетких дубликатов видео, их преимущества и недостатки. На основе структурного представления видео построена комбинация методов и предложен дескриптор съёмки.

Методы поиска нечетких дубликатов реализуют следующие шаги.
1. Видео делят на отрезки.
2. Из каждого отрезка выделяют ключевые кадры.
3. Для представления ключевых кадров извлекают последовательности в которых содержатся характеристики кадров. Характеристики ключевых кадров используются для представления всего видео.
4. Подобие между видео как подобие вычисляют наборов характеристик ключевых кадров.
Различают методы, использующие глобальные характеристики (ГХ) и методы, использующие локальные характеристики (ЛХ). ЛХ‑методы сводят задачу поиска похожих видео к задаче поиска дубликатов изображений.
В работе рассмотрены ЛХ‑методы:
отслеживание траекторий особых точек кадра, сравнение особых точек ключевых кадров, сравнение визуальных «видео‑слов» по частотным словарям ГХ‑методы моделируют пространственную, цветовую и временную информацию кадров и сцен видео. Сходство между видео из запроса и видео из базы определяется как соответствие подписей (сигнатур) видео. Глобальные характеристики полезны, для поиска «почти одинаковых» видео и могут выявить незначительные правки в пространственно‑временной области. В работе рассмотрено несколько способов формирования подписей для ГХ‑методов:
локально‑чувствительное хеширование; использование порядковой меры; представление видео как последовательности геномов (ДНК‑представление);
фиксация точке перемены съёмок (сцен);
построение дерева перемены съёмок.
На данный момент наиболее перспективными кажутся ГХ‑методы. Они позволяют без особых вычислительных затрат приближенно решить задачу. Однако, для уточнения могут потребоваться ЛХ‑методы.
В конце работы предложена комбинация методов на основе структурного представления видео. Введено понятие дескриптора съёмки. Он состоит:
из вектора отношений длин съёмок к длинам других съёмок — глобальные характеристики и описания свойств начального и конечного кадров — локальные характеристики.

The paper focuses on an overview of the different existing methods in near duplicate video retrieval. The advantages and disadvantages of the methods are discussed. At the end we suggest an original combination of methods based on structural video representation and propose a novel shot descriptor.

Near duplicate video retrieval techniques implement the following steps.
1. Video is divided into segments.
2. Keyframes are extracted from each segment.
3. Features are extracted from keyframes. Keyframe features represent the whole video.
4. The similarity between the videos is calculated as a similarity between keyframe features.
There are methods using global features and the local ones. Local methods reduce the problem of finding similar videos to the problem of finding image duplicates. The paper discusses the local methods:
tracing the trajectories of the points of interest in the frame; comparison of the points of interest in keyframes; bag of visual keywords.
Global methods simulate the spatial, temporal and color information of frames and scenes. The similarity between the video query and the videos from database is defined as the similarity of video signatures. Global features are useful for retrieve „almost identical“ videos and can identify minor changes in the space‑time domain. In this paper we consider several ways to built global signatures:
locally sensitive hashing; ordinal measure; video DNA‑representation; shot change positions; the shot change tree.
At the end the combination of methods within a novel shot descriptor is 0 proposed. The descriptor consists of:
a vector of the relations of shot lengths to lengths of other shots (relative shot lengths) as a global feature; features of initial and final frames as local ones.

Content Based Image Retrieval (CBIR) techniques are becoming an essential requirement in the multimedia systems with the widespread use of internet, declining cost of storage devices and the exponential growth of un-annotated digital image information available in recent years.  Therefore multi query systems have been used rather than a single query in order to bridge the semantic gaps and in order to understand user’s requirements. Moreover, query replacement algorithm has been used in the previous works in which user provides multiple images to the query image set referred as representative images. Feature vectors are extracted for each image in the representative image set and every image in the database. The centroid, Crep of the representative images is obtained by computing the mean of their feature vectors. Then every image in the representative image set is replaced with the same candidate image in the dataset one by one and new centroids are calculated for every replacement .The distance between each of the centroids resulting from the replacement and the representative image centroid Crep is calculated using Euclidean distance. The cumulative sum of these distances determines the similarity of the candidate image with the representative image set and is used for ranking the images. The smaller the distance, the similar will be the image with the representative image set. But it has some research gaps like it takes a lot of time to extract feature of each and every image from the database and compare our image with the database images and complexity as well as cost increases. So in our proposed work, the KNN algorithm is applied for classification of images in the database image set using the query images and the candidate images are reduced to images returned after classification mechanism which leads to decrease the execution time and reduce the number of iterations. Hence due to hybrid model of multi query and KNN, the effectiveness of image retrieval in CBIR system increases. The language used in this work is C /C++ with Open CV libraries and IDE is Visual studio 2015. The experimental results show that our method is more effective to improve the performance of the retrieval of images.

Abstract. An approach for extracting higher-level visual features for art painting classification based on MPEG-7 descriptors is presented in this paper. The MPEG-7 descriptors give a good presentation of different types of visual features, but are complex structures. This prevents their direct use into standard classification algorithms and thus requires specific processing. Our approach consists of the following steps: (1) the images are tiled into non-overlapping rectangles to capture more detailed information; (2) the tiles of the images are clustered for each MPEG-7 descriptor; (3) vector quantization is used to assign a unique value to each tile, which corresponds to the number of the cluster where the tile belongs to, in order to reduce the dimensionality of the data. Finally, the significance of the attributes and the importance of the underlying MPEG-7 descriptors for class prediction in this domain are analyzed.

В работе рассмотрен подход для поиска нечетких дубликатов видео. Поиск основан на сравнении относительных длин сцен в пространстве L2. Сравнение проводится с учетом гипотезы Гейла-Черча. Вводится понятие «дескриптора сцены». Для ускорения работы метода предложено использовать семантическое хеширование, обобщение локально чувствительного хеширования.

Существует широкий круг задач, где требуется анализ, аудио-визуальных моделей реальности. В частности, для многих военных и гражданских приложений, необходимо наличие поиска нечетких дубликатов видео. Для мирного применения, — это группировка подсказок в выдаче поисковиков, поиск неправомерных публикаций видеофайлов, сокращение объема хранимой и передаваемой информации. Для военного применения можно тоже перечислить несколько вариантов.