RU2750422C1

RU2750422C1 - Method for selection and demonstration of contextual information associated with video stream

Info

Publication number: RU2750422C1
Application number: RU2020128576A
Authority: RU
Inventors: Андрей Владимирович Корхов; Михаил Александрович Бебишев
Original assignee: Сарафан Технолоджи Инк
Priority date: 2020-08-27
Filing date: 2020-08-27
Publication date: 2021-06-28

Abstract

FIELD: computing technology.

SUBSTANCE: method for selection and demonstration of contextual information associated with a television video stream includes receiving data of the video stream containing the video intended for translation on the screen of the user, analyzing the data, performing a search request for contextual information, receiving a search result in form of images, text, hyperlinks, advertising materials, selecting search results in accordance with the data of the user profile, demonstrating the selected information on the screen of the user, wherein the analysis of the video stream data begins with video-analytical extraction of graphic objects from the video stream, executed using neural networks, wherein the features of each object are identified, the time of presence of the object on the screen is monitored, a search request for contextual information for the object is performed while said object is present on the screen for more than 5 seconds, the received search results are analyzed and divided by data type into two groups, the search results for each object are demonstrated alternately at a predetermined step from the first and second groups.

EFFECT: provided is effective demonstration of a larger amount of contextual information of advertising nature while maintaining the attention of the user.

1 cl, 1 dwg

Description

Изобретение относится к компьютерной и телевизионной технике, а именно к способам воспроизведения видеоинформации, и может быть использовано для интерактивной демонстрации контекстной информации при воспроизведении видеопотока.The invention relates to computer and television technology, and in particular to methods of reproducing video information, and can be used for interactive demonstration of contextual information when reproducing a video stream.

Известны способы выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, которые обеспечивают подбор и демонстрацию пользователю рекламной информации. Одна из задач таких способов - обеспечить техническую возможность привлечения и сохранения внимания пользователя при просмотре контекстной информации.Known methods for selecting and displaying contextual information associated with a television video stream, which ensure the selection and display of advertising information to the user. One of the tasks of such methods is to provide the technical ability to attract and retain the user's attention when viewing contextual information.

Известен аналог - способ интерактивной демонстрации контекстной информации при воспроизведении видеопотока - RU2699999, 23.10.2019, включающий управляющее воздействие пользователя на любую точку кадра видеопотока и интерактивное взаимодействие пользователя с контекстной информацией, заключающийся в том, что создают файл, содержащий данные о тайминге - времени начала и окончания возможной демонстрации контекстной информации, координатах области кадра, к которому относится контекстная информация, необходимости приостановки при наличии технической возможности воспроизведения видеопотока на время демонстрации контекстной информации, а также данные о местоположении контекстной информации, при этом используют средство воспроизведения видеопотока, оснащенное функцией считывания информации из упомянутого файла и функцией соотнесения контекстной информации с любой областью кадра, осуществляемого на основании данных о координатах области кадра и тайминге кадров, причем по управляющему воздействию пользователя на выбранную точку кадра с помощью средства воспроизведения видеопотока осуществляют демонстрацию контекстной информации, содержащейся непосредственно в видеопотоке либо в отдельном файле, который доставляют пользователю одновременно с видеофайлом или в любое другое время или передают по интерактивным каналам связи.There is a known analogue - a method for interactively demonstrating contextual information when playing a video stream - RU2699999, 10/23/2019, which includes the user's control action on any point of the video stream frame and the user's interactive interaction with contextual information, which consists in creating a file containing timing data - the start time and the end of the possible demonstration of contextual information, the coordinates of the frame area to which the contextual information belongs, the need to pause, if it is technically possible, to play the video stream during the demonstration of the contextual information, as well as data on the location of the contextual information, while using the video stream playback facility equipped with the information reading function from the said file and the function of correlating contextual information with any area of the frame, carried out on the basis of data on the coordinates of the frame area and the timing of frames, moreover, according to the control action The contextual information contained directly in the video stream or in a separate file, which is delivered to the user simultaneously with the video file or at any other time, or transmitted via interactive communication channels, is shown to the user at a selected point in the frame using the video stream playback facility.

Недостатком аналога является то, что его функциональность ограничивается выводом информации на экран, но не включает процесс выбора информации, а это является ключевым моментом при реализации цели, заключающейся в привлечении и сохранении внимания пользователя при просмотре контекстной информации. Для привлечения внимания пользователя и создания положительного опыта важно максимальное соответствие информации транслируемому видеопотоку.The disadvantage of the analogue is that its functionality is limited to displaying information on the screen, but does not include the process of selecting information, and this is a key point in achieving the goal of attracting and retaining the user's attention when viewing contextual information. To attract the user's attention and create a positive experience, it is important to maximize the correspondence of the information to the broadcast video stream.

Известен более близкий к предлагаемому изобретению аналог - способ выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком - US20080189736, 7.08.2008, принятый в качестве прототипа, включающий прием данных из сервера в виде телевизионного видеопотока, анализ данных, выделение ключевых слов по каждому распознанному элементу, присвоение каждому ключевому слову оценки, расставление приоритетов ключевых слов по оценкам, поисковой запрос в интернет и базу данных с рекламными материалами по топовым ключевым словам, получение поискового результата в виде рекламных материалов, изображений, текста, гиперссылок, фильтрация поисковых результатов по данным профиля пользователя, вывод отобранной информации на экран пользователя.Known closer to the proposed invention analogue - a method of selecting and displaying contextual information associated with a television video stream - US20080189736, 7.08.2008, adopted as a prototype, including receiving data from the server in the form of a television video stream, data analysis, highlighting keywords for each recognized an element, assigning a rating to each keyword, prioritizing keywords by ratings, searching the Internet and a database with advertising materials for top keywords, obtaining a search result in the form of advertising materials, images, text, hyperlinks, filtering search results by profile data user, displaying the selected information on the user's screen.

Первым недостатком прототипа является низкая эффективность анализа данных из видеопотока, так как согласно способу по каждому распознанному элементу необходимо выделение ключевых слов.The first disadvantage of the prototype is the low efficiency of data analysis from the video stream, since according to the method, for each recognized element, it is necessary to extract keywords.

Невозможно с высокой степенью точности сделать словесное описание сложного объекта, например, лица, пригодное для поиска с необходимым уровнем качества. Поэтому качество выбора контекстной информации в прототипе является невысоким. Вторым недостатком прототипа является малая ориентированность предоставляемой контекстной информации на интересы пользователя. Так как в принимаемом видеопотоке содержится большое количество второстепенной информации, то вся демонстрируемая пользователю контекстная является разнообразной и малый её процент ориентирован на интересы пользователя. Таким образом, в способе отсутствует техническая возможность выбора наиболее релевантной для интересов пользователя информации. Третьим недостатком прототипа является отсутствие технической функции дозирования подачи рекламной информации.It is impossible with a high degree of accuracy to make a verbal description of a complex object, for example, a person, suitable for search with the required level of quality. Therefore, the quality of the selection of contextual information in the prototype is low. The second drawback of the prototype is the low orientation of the provided contextual information to the interests of the user. Since the received video stream contains a large amount of secondary information, all contextual information displayed to the user is diverse and a small percentage of it is focused on the interests of the user. Thus, the method lacks the technical ability to select the information most relevant to the interests of the user. The third disadvantage of the prototype is the lack of a technical function for dispensing advertising information.

Качество выбора и демонстрации контекстной информации напрямую связано с созданием положительного опыта у пользователя и, следовательно, с бизнес показателями компании, предоставляющей услуги выбора и демонстрации пользователям контекстной информации, в том числе рекламной. Перечисленные три недостатка прототипа характеризуют низкое качество способа выбора и демонстрации контекстной информации. Технический результат изобретения направлен на повышение качества выбора и демонстрации контекстной информации в аспекте устранения перечисленных недостатков прототипа, а именно, на исключение необходимости выделения ключевых слов для проведения анализа видеопотока, на обеспечение выбора наиболее релевантной для интересов пользователя информации, на обеспечение функции дозирования подачи рекламной информации. Как результат, обеспечить эффективную демонстрацию большего количества контекстной информации рекламного характера с сохранением внимания пользователя.The quality of the selection and presentation of contextual information is directly related to the creation of a positive experience for the user and, consequently, to the business performance of the company that provides services of selection and demonstration of contextual information to users, including advertising. The three listed disadvantages of the prototype characterize the low quality of the method for selecting and displaying contextual information. The technical result of the invention is aimed at improving the quality of selection and demonstration of contextual information in the aspect of eliminating the listed disadvantages of the prototype, namely, at eliminating the need to highlight keywords for analyzing the video stream, at ensuring the selection of the information most relevant to the interests of the user, at providing the function of dosing the supply of advertising information ... As a result, to provide an effective demonstration of a larger amount of contextual information of an advertising nature while maintaining the user's attention.

Технический результат достигается в способе выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, включающем прием данных в виде телевизионного видеопотока, содержащего видео, предназначенное для трансляции на экран, анализ данных, осуществление поискового запроса контекстной информации, получение поискового результата в виде изображений, текста, гиперссылок, рекламных материалов, выбор поисковых результатов в соответствии с данными профиля пользователя, демонстрацию выбранной информации на экран пользователя, анализ данных видеопотока начинают с видеоаналитического извлечения из видеопотока графических объектов, которое осуществляют с применением нейросетей, при этом выделяют признаки объекта, осуществляют контроль времени нахождения объекта на экране, осуществляют поисковой запрос контекстной информации для объекта при его нахождении на экране более 5 секунд, полученные поисковые результаты анализируют и разделяют по типу данных на две группы, первая - информационные и развлекательные, вторая - рекламные, выявляют степень совпадения признаков объекта с интересами пользователя, известными из данных о его профиле, для объектов, имеющих большую степень совпадения, выбирают для демонстрации больше поисковых результатов из второй группы, полученные поисковые результаты анализируют и ранжируют по степени соответствия наиболее популярным поисковым запросам, для демонстрации выбирают результаты более соответствующие популярным поисковым запросам, поисковые результаты для каждого объекта демонстрируют чередованием с заданным шагом из первой и второй групп, шаг определяют по степени совпадения признаков объекта с интересами пользователя, осуществляют наполнение базы данных профиля пользователя информацией о его предпочтениях при каждом выборе контекстной информации.The technical result is achieved in a method for selecting and displaying contextual information associated with a television video stream, including receiving data in the form of a television video stream containing video intended for broadcasting to a screen, analyzing data, performing a search query for contextual information, obtaining a search result in the form of images, text , hyperlinks, advertising materials, the choice of search results in accordance with the data of the user profile, the demonstration of the selected information on the user's screen, the analysis of the data of the video stream begins with the video-analytical extraction of graphic objects from the video stream, which is carried out using neural networks, while the features of the object are distinguished, time control is carried out finding an object on the screen, carry out a search query for contextual information for the object when it is on the screen for more than 5 seconds, the obtained search results are analyzed and divided by data type into two groups, the first is informational and entertaining, the second - advertising, reveal the degree of coincidence of the features of the object with the interests of the user, known from the data on his profile, for objects with a greater degree of coincidence, more search results from the second group are selected for demonstration, the obtained search results are analyzed and ranked according to the degree matching the most popular search queries, for demonstration, the results are selected that are more consistent with popular search queries, the search results for each object are shown alternating with a given step from the first and second groups, the step is determined by the degree of coincidence of the object's features with the user's interests, filling the user profile database with information about his preferences for each choice of contextual information.

На фиг. 1 представлена блок-схема, иллюстрирующая этапы осуществления способа выбора и демонстрации контекстной информации, связанной с видеопотоком.FIG. 1 is a flowchart illustrating the steps of a method for selecting and displaying contextual information associated with a video stream.

Рассмотрим пример конкретной реализации способа выбора и демонстрации контекстной информации. Изобретение не ограничивается приведенной реализацией. Прием данных телевизионного видеопотока осуществляют через технологию кабельного телевидения Smart TV от провайдера данного сервиса. Видеопоток содержит видеоданные, а именно художественный фильм, предназначенный для трансляции на экран пользователя. На этапе 1, как указано на фиг.1, принимают видеопоток в виде видео-файла. Анализ видеопотока в соответствии с данным способом осуществляют с опережением трансляции его на экран пользователя, так как требуется время для подготовки контекстной информации. Средства обработки информации содержат приложение и базу данных, размещенное на удаленном сервере. Может применяться несколько удаленных серверов для увеличения производительности. Видеоаналитическое извлечение из видеопотока графических объектов осуществляют следующим образом. Осуществляют разбивку видеопотока на кадры. На этапе 2 отбирают кадры, подходящие для анализа, то есть содержащие графическую информацию. На этапе 3 осуществляют детекцию объектов в кадре. Объектами являются, например, лица, одежда, мебель. Для детекции объектов в кадре и выделения признаков объектов применяют нейронную сеть с архитектурой Mask R-CNN. На этапе 4 осуществляют идентификацию и сравнение одних и тех же объектов в последующих друг за другом кадрах для определения конкретного объекта в нескольких кадрах. На основе количества кадров, в которых идентифицирован один и тот же объект, рассчитывают время нахождения объекта в кадре. На этапе 5 анализируют выделенные признаки и осуществляют разделение объектов на классы для удобства дальнейшей обработки информации. На этапе 6 для каждого обнаруженного объекта вычисляют векторное представление с помощью нейросети обученной на триплетах. Вычисляют вектор, используя признаки объектов в кадре и текстовых описаний.Consider an example of a specific implementation of the method for selecting and demonstrating contextual information. The invention is not limited to the illustrated implementation. The reception of the TV video stream data is carried out through the Smart TV cable television technology from the provider of this service. The video stream contains video data, namely a feature film, intended for broadcasting to the user's screen. In step 1, as indicated in FIG. 1, a video stream is received in the form of a video file. The analysis of the video stream in accordance with this method is carried out ahead of its broadcast on the user's screen, since it takes time to prepare contextual information. Information processing facilities contain an application and a database located on a remote server. Multiple remote servers can be used to increase performance. Video-analytical extraction of graphic objects from the video stream is carried out as follows. The video stream is split into frames. At stage 2, frames are selected that are suitable for analysis, that is, they contain graphic information. At stage 3, objects in the frame are detected. Objects are, for example, faces, clothes, furniture. A neural network with the Mask R-CNN architecture is used to detect objects in the frame and highlight the features of objects. At stage 4, the identification and comparison of the same objects in successive frames is carried out to determine a specific object in several frames. Based on the number of frames in which the same object is identified, the time that the object is in the frame is calculated. At stage 5, the selected features are analyzed and the objects are divided into classes for the convenience of further information processing. At step 6, for each detected object, a vector representation is calculated using a neural network trained on triplets. The vector is calculated using the features of the objects in the frame and text descriptions.

Такой графический анализ видеофильма намного превосходит словесный анализ, осуществляемый в прототипе, повышается качество анализа, что способствует достижению технического результата.Such a graphic analysis of a video film is much superior to the verbal analysis carried out in the prototype, the quality of the analysis is increased, which contributes to the achievement of a technical result.

При нахождении объекта на экране менее 5 секунд для него не осуществляют поисковой запрос. Этот временной промежуток был определен экспериментально и подтвержден на исследуемых пользователях и на различном контенте - художественных и документальных фильмах. Находящиеся на экране менее 5 секунд объекты не привлекают внимание и не являются важными в контексте просматриваемого фильма. И технически пользователь не успевает инициировать вывод контекстной информации в виде поисковых результатов по данному объекту. Введением данного условия совместно с предыдущим признаком обеспечивается техническая возможность выбора наиболее релевантной для интересов пользователя информации, что способствует достижению технического результата.When an object is on the screen for less than 5 seconds, no search query is performed for it. This time period was determined experimentally and confirmed on the studied users and on various content - feature films and documentaries. Objects on the screen for less than 5 seconds do not attract attention and are not important in the context of the movie being watched. And technically, the user does not have time to initiate the output of contextual information in the form of search results for this object. The introduction of this condition together with the previous feature provides the technical ability to select the information most relevant to the interests of the user, which contributes to the achievement of the technical result.

Параллельно обработке графической информации, на этапе 8, как показано на фиг.1, принимают текстовое описание, полученное от видео-хостинга или от провайдера сервиса. На этапе 9 выделяют признаки текстовых описаний.In parallel with the processing of the graphic information, at step 8, as shown in FIG. 1, a textual description obtained from the video hosting or from a service provider is received. At stage 9, the features of the text descriptions are distinguished.

Параллельно с предыдущими двумя процессами, как показано на фиг.1, на этапе 10 Принимают данные пользователя, основанные на истории просмотров, переходов и другой доступной информации, собранной ранее и полученной от видео-хостинга и от провайдера сервиса.In parallel with the previous two processes, as shown in Fig. 1, at step 10, User data is received based on browsing history, referrals and other available information previously collected and received from the video hosting and from the service provider.

На этапе 11 выделяют признаки пользователей с применением методов коллаборативной фильтрации.At stage 11, user characteristics are extracted using collaborative filtering methods.

На этапе 7 осуществляют поисковой запрос контекстной информации на основе полученной комбинации векторов и получают поисковой результат в виде изображений, текста, гиперссылок, рекламных материалов. Полученные поисковые результаты анализируют и разделяют по типу данных на две группы, первая - информационные и развлекательные, вторая - рекламные. Далее выявляют степень совпадения признаков объекта с интересами пользователя, известными из данных о его профиле. Профиль пополняют для возможности выбора наиболее релевантной для интересов пользователя информации, что способствует достижению технического результата. Для объектов, имеющих большую степень совпадения, выбирают для демонстрации больше поисковых результатов из второй группы. Так как информация соответствует интересам пользователя, то высока вероятность просмотра пользователем данной информации, несмотря на её рекламный характер.At step 7, a search query for contextual information is carried out based on the obtained combination of vectors and a search result is obtained in the form of images, text, hyperlinks, advertising materials. The received search results are analyzed and divided by data type into two groups, the first is informational and entertaining, the second is advertising. Next, the degree of coincidence of the features of the object with the interests of the user, known from the data on his profile, is revealed. The profile is replenished in order to be able to select the information most relevant to the interests of the user, which contributes to the achievement of a technical result. For objects with a greater degree of coincidence, more search results from the second group are selected for display. Since the information corresponds to the interests of the user, it is highly likely that the user will view this information, despite its advertising nature.

Полученные поисковые результаты анализируют и ранжируют по степени соответствия наиболее популярным поисковым запросам и профилю пользователя. Для демонстрации выбирают наиболее соответствующие популярным поисковым запросам результаты. При этом анализируют поисковые запросы пользователей сети Интернет с помощью коллаборативной фильтрации и выявляют тренды - наиболее популярную информацию, которая пользуется повышенным интересом у той аудитории, в которую входит конкретный пользователь. На этапе 12 осуществляют демонстрацию результатов поиска выдачей в специальном элементе графического интерфейса экрана - виджите. Поисковые результаты для каждого объекта демонстрируют чередованием из первой и второй групп с определенным шагом. Этим обеспечивается дозирование подачи рекламной информации. При получении и идентификации пользователем только рекламной информации велика вероятность того, что он не будет более просматривать контекстную информацию и в дальнейшем не обратиться к данному сервису. Поэтому обеспечивается встраивание рекламной информации в промежутки между информационной и развлекательной, что способствует достижению технического результата. Шаг может быть, например, равным двум. Это означает, что сначала дают два рекламных источника информации из второй группы, затем один информационно- развлекательный из первой. Шаг может быть сложным, например, 2-1-2-1-1-2-1-2-1-1. Ранжирование информации по степени совпадения интересам пользователя осуществляют опытным путем на основе анализа реакции большого количества пользователей на выбираемую стратегию демонстрации контекстной информации.The resulting search results are analyzed and ranked according to the degree of correspondence to the most popular search queries and user profile. For demonstration, the most relevant results for popular search queries are selected. At the same time, they analyze the search queries of Internet users using collaborative filtering and identify trends - the most popular information that is of increased interest among the audience of a particular user. At step 12, the search results are demonstrated by the issuance in a special element of the graphical interface of the screen - widget. Search results for each object are shown by alternating from the first and second groups with a certain step. This ensures the dosage of the presentation of advertising information. When the user receives and identifies only advertising information, it is highly likely that he will no longer view contextual information and in the future will not turn to this service. Therefore, it is ensured that the advertising information is embedded in the intervals between information and entertainment, which contributes to the achievement of a technical result. The step can be, for example, equal to two. This means that first two advertising sources of information from the second group are given, then one infotainment source from the first. The step can be difficult, for example 2-1-2-1-1-2-1-2-1-1. The ranking of information according to the degree of coincidence with the interests of the user is carried out empirically based on the analysis of the reaction of a large number of users to the selected strategy of demonstrating contextual information.

Демонстрация контекстной информации и рекламных объявлений может обеспечиваться несколькими способами. В одном из вариантов объект, для которого предоставляется контекстная информация, на экране подсвечивают. Пользователь манипулирует координатно-позиционирующим устройством в составе пульта управления телевизора, наводит курсор на участок кадра с данным объектом. В ответ на это выводится окно со списком поисковых результатов, в котором чередуются информационные с развлекательными и рекламные типы данных в соответствии с рассматриваемым способом. Воспроизведение видео при этом приостанавливается. Например, пользователь указывает на героя фильма. Первым поисковым результатом в списке выводят рекламу рубашки, в котором находится герой фильма, вторым в списке выводят информацию об актере, следующим в списке выводят рекламу модели автомобиля, на котором перемещается герой фильма, после этого описание истории автомобильной марки и так далее.Displaying contextual information and advertisements can be provided in several ways. In one embodiment, an object for which contextual information is provided is highlighted on the screen. The user manipulates the coordinate positioning device as part of the TV control panel, hovers the cursor over a section of the frame with this object. In response to this, a window with a list of search results is displayed, in which informational, entertainment and advertising data types alternate in accordance with the considered method. This pauses video playback. For example, a user points to a movie hero. The first search result in the list displays an advertisement for the shirt in which the hero of the film is located, the second in the list displays information about the actor, the next in the list displays an advertisement for the model of the car on which the hero of the film moves, after that a description of the history of the automobile brand, and so on.

В другом возможном варианте демонстрации информацию выводят по всем найденным в кадре объектам при приостановке воспроизведения видео. Например, пользователя заинтересовало платье на актрисе. При постановке видео на паузу, выводят похожие платья с активными гиперссылками из внутренней базы товаров рекламодателя. Пользователь манипулирует координатно-позиционирующим устройством и переходит по гиперссылке на страницу товара.In another possible embodiment of the demonstration, information is displayed on all objects found in the frame when the video playback is paused. For example, a user is interested in a dress on an actress. When the video is paused, similar dresses with active hyperlinks are displayed from the advertiser's internal product database. The user manipulates the coordinate positioning device and follows the hyperlink to the product page.

В другом возможном варианте вывода информации видеопоток не приостанавливают, вся контекстная информация или рекламные объявления выводят на экран в виде всплывающих объявлений по мере возникновения подходящих для распознавания объектов, при этом не перекрывая всю область экрана. Пользователь при выводе интересующей его информации с помощью координатно-позиционирующего устройства наводит курсором на объявление для развернутого ознакомления.In another possible version of the information output, the video stream is not suspended, all contextual information or advertisements are displayed in the form of pop-up ads as soon as suitable objects for recognition arise, while not covering the entire screen area. The user, when displaying information of interest to him with the help of a coordinate positioning device, hovers the cursor over the ad for expanded acquaintance.

В другом возможном варианте видео принудительно останавливают на время показа рекламного объявления, которое соответствуют контексту видеопотока. При этом выводят потенциально максимально интересные пользователю объявления. При этом вывод информации может быть ограничен по периодичности, например, через каждые 15 минут воспроизведения.In another possible embodiment, the video is forcibly stopped for the duration of the display of the advertisement, which corresponds to the context of the video stream. At the same time, ads that are potentially most interesting to the user are displayed. In this case, the information output can be limited in frequency, for example, every 15 minutes of playback.

Заявленная совокупность существенных признаков способа находится в прямой следственной связи с достигаемым результатом. Сравнение заявленного технического решения с прототипом позволило установить соответствие его критерию «новизна», т.к. оно не известно из уровня техники. Предложенный способ является промышленно применимым и соответствует критерию «изобретательский уровень», так как он явным образом не следует из уровня техники. На основании вышесказанного предложенное техническое решение соответствует установленным условиям патентоспособности изобретения.The stated set of essential features of the method is in direct investigative connection with the achieved result. Comparison of the claimed technical solution with the prototype made it possible to establish compliance with the criterion "novelty", since it is not known from the prior art. The proposed method is industrially applicable and meets the criterion of "inventive step", since it does not explicitly follow from the state of the art. Based on the foregoing, the proposed technical solution meets the established conditions of patentability of the invention.

Claims

A method for selecting and displaying contextual information associated with a television video stream, including receiving data from a video stream containing a video intended for broadcast to a user's screen, analyzing data, performing a search query for contextual information, obtaining a search result in the form of images, text, hyperlinks, advertising materials, selection of search results in accordance with the data of the user profile, demonstration of the selected information on the user's screen, characterized in that the analysis of the data of the video stream begins with video-analytical extraction of graphic objects from the video stream, which is carried out using neural networks, while the features of each object are distinguished, and the residence time is monitored object on the screen, carry out a search request for contextual information for the object when it is on the screen for more than 5 seconds, the obtained search results are analyzed and divided by data type into two groups, the first is informational and entertaining, the second - advertising, reveal the degree of coincidence of the object's features with the interests of the user, known from the data on his profile, for objects with a greater degree of coincidence, more search results from the second group are selected for demonstration, the obtained search results are analyzed and ranked according to the degree of correspondence the most popular search queries, for demonstration, the results are selected that are more consistent with popular search queries, the search results for each object are shown alternating with a given step from the first and second groups, the step is determined by the degree of coincidence of the object's features with the user's interests, filling the user profile database with information about his preferences for each choice of contextual information.