JP5306550B2 - Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method - Google Patents
Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method Download PDFInfo
- Publication number
- JP5306550B2 JP5306550B2 JP2013012212A JP2013012212A JP5306550B2 JP 5306550 B2 JP5306550 B2 JP 5306550B2 JP 2013012212 A JP2013012212 A JP 2013012212A JP 2013012212 A JP2013012212 A JP 2013012212A JP 5306550 B2 JP5306550 B2 JP 5306550B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- feature
- scene
- feature scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明の実施形態は映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法に関する。 Embodiments described herein relate generally to a video analysis information transmitting apparatus, a video analysis information distribution system and distribution method, a video viewing system, and a video viewing method.
放送番組の映像信号を記録媒体に記録する記録再生装置において、前記映像信号を編集する編集処理する機能として種々の機能が従来から存在する。例えば、前記映像信号にチャプタマークを付してチャプタを得るチャプタ生成機能、コマーシャル期間をスキップして再生するスキップ機能がある。 In a recording / reproducing apparatus for recording a video signal of a broadcast program on a recording medium, various functions have conventionally existed as functions for editing the video signal. For example, there is a chapter generation function for obtaining chapters by attaching chapter marks to the video signal, and a skip function for reproducing while skipping a commercial period.
上記したチャプタを生成して記録再生装置を有効に利用したいという要望は多いのであるが、実際には、編集機能が利用される割合は少ない。これは、従来の各種編集処理機能は、いずれもユーザが記録再生装置とモニタ画面(例えばテレビジョン受信機の表示器)を目視し、リモートコントローラなどを操作して実施される処理であり、ユーザにとってわずらわしいところに起因している。 Although there are many requests that the above-described chapters be generated and the recording / playback apparatus be used effectively, in reality, the ratio of using the editing function is small. This is a process performed by the user by visually observing the recording / playback apparatus and the monitor screen (for example, a display of a television receiver) and operating a remote controller or the like. This is because it is annoying for us.
また、ユーザが編集する代わりに映像信号から特定の出演者の顔画像を自動認識して検出し、検出したシーンにチャプタを生成する技術も開発されている。この顔認識や音声認識などを用いた特徴点の検出は完成されたものではなく、日々進化している。このため、顔認識や音声認識を行うためのアプリケーションを、一般に市販される記録再生装置やテレビジョン受信装置に組み込むと、新バージョンに変更する場合に困難になる。 In addition, a technique has been developed in which a face image of a specific performer is automatically recognized and detected from a video signal instead of being edited by a user, and a chapter is generated in the detected scene. The detection of feature points using face recognition, voice recognition, etc. is not completed and is evolving day by day. For this reason, if an application for performing face recognition or voice recognition is incorporated in a commercially available recording / playback apparatus or television receiving apparatus, it becomes difficult to change to a new version.
そこで本実施形態の目的とするところは、番組の特徴的なシーンなどの時刻を示す所謂特徴場面情報を自動的に作成して配信可能とし、ユーザが前記特徴場面情報を容易に利用できるようにした映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法を提供するところにある。 Therefore, the object of this embodiment is to automatically create and distribute so-called feature scene information indicating the time of a characteristic scene of a program so that the user can easily use the feature scene information. A video analysis information transmitting apparatus, a video analysis information distribution system and distribution method, a video viewing system and a video viewing method are provided.
実施形態によれば、放送番組の信号を受信する受信部と、前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出する映像解析部と、前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成する特徴場面検出部と、前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、複数のユーザの装置がアクセス可能なサーバへ送信する特徴場面情報送信部とを有する。 According to an embodiment, a receiver for receiving a signal of a broadcast program, by analyzing the different algorithms plurality of the movies image signal of the broadcast program, a plurality of scenes having the predetermined characteristics in each of said algorithms A plurality of video analysis units for detecting feature amount information for a list; time information for identifying a feature scene of the video signal from the feature amount information; and program information for identifying the broadcast program. A feature scene detection unit for generating video feature scene information for a scene list of the video signal, and when the video feature scene information of the video signal is generated, the video feature scene information can be accessed by a plurality of user devices. and a characteristic scene information transmitting section that sends to a server.
以下、実施の形態について図面を参照して説明する。本実施形態は、映像信号を受信し、受信した映像信号を解析することにより、あらかじめ定められた特徴を持つ場面を検出し、前記映像信号を識別する情報とともに、検出された特徴場面の出現時刻および又はコメントを、特定のサーバにアップロードすることができる。この装置は専用の装置であり、特徴場面の出現時刻をリアルタイムで検出してシーンリストとしてサーバにアップロードすることも可能である。 Hereinafter, embodiments will be described with reference to the drawings. This embodiment detects a scene having a predetermined feature by receiving a video signal and analyzing the received video signal, and information for identifying the video signal and the appearance time of the detected feature scene And / or comments can be uploaded to a particular server. This device is a dedicated device that can detect the appearance time of a feature scene in real time and upload it to a server as a scene list.
図1は、一実施形態が適用されたシステム全体を示す。10a,10bは特徴場面検出装置である。特徴場面検出装置10a,10bは、例えばパーソナルコンピュータなどで構成され、放送局から送信された放送番組を受信し、受信した放送番組の特徴的な場面を検出する。
FIG. 1 shows an entire system to which an embodiment is applied.
特徴的な場面とは、例えば、以下のような場面を指す。 The characteristic scene refers to the following scene, for example.
・ニュース番組のニュースごとの先頭
・特定の人物が出演した場面
・スポーツの得点の場面
・音楽番組での歌唱の場面
・バラエティなどの盛りあがった場面
特徴場面検出装置10a,10bは、それぞれが例えば放送番組を受信する放送チャンネル毎に用意されたり、複数放送局に応じて用意されたり、複数地域毎に用意されているために、複数が設置される。特徴場面検出装置10a,10bは、それぞれ特徴場面記憶・配信装置20とインターネットないしイントラネットで接続され、検出した特徴的な場面の参照用情報をアップロードする。なお「参照用情報」の呼び名は、これに限らず、特徴場面情報、編集用情報、抽出情報、タグ情報、リスト情報、シーン情報など各種の呼び名が可能であるが、この明細書では以後、代表して特徴場面情報と記述している。
・ The head of each news program news ・ Scene where a specific person appeared ・ Sports scoring scene ・ Singing scene on a music program ・ Variety of scenes, etc. A plurality of broadcast channels are prepared for each broadcast channel for receiving a program, prepared for a plurality of broadcast stations, or prepared for a plurality of regions. The characteristic
特徴場面記憶・配信装置20は、パーソナルコンピュータによりサーバとして構成され、特徴場面検出装置10から送られてきた特徴場面情報を記憶する。一方では、特徴場面記憶・配信装置20は、例えば映像再生制御装置30aから、所望の番組が指定されるとともに特徴場面情報の要求があると、当該指定番組に対応する特徴場面情報を映像再生制御装置30aに送信する。
The feature scene storage /
映像再生制御装置30aを説明したが、図では映像再生制御装置として、映像再生制御装置30b、30cを示している。映像再生制御装置30b、30cは、録画再生装置40b、40cに対応する。
Although the video
映像再生制御装置30aは、スマートフォンや、タブレットパーソナルコンピュータやパーソナルコンピュータそのもので構成され、家庭内に設置される。映像再生制御装置30aは、携帯電話機能を備えてもよい。この装置は、特徴場面記憶・配信装置20に対して番組を指定し当該番組の特徴場面情報を要求し、前記特徴場面記憶・配信装置20から要求に応じて送られてきた当該番組の特徴場面情報を取得し、次に、取得した当該番組の特徴場面情報をユーザに提示することができる。また、映像再生制御装置30aは、録画再生装置40aと有線ないし無線LANにて接続され、提示した特徴場面の1つに対してユーザが再生指示を行った場合、録画再生装置40aに該当場面からの再生を指示することができる。
The video
録画再生装置40aは、各家庭に設置され、放送番組の録画および再生機能を持つ。HDDレコーダや録画機能つきテレビジョン装置、或いはパーソナルコンピュータなどで構成されるが、さらに、映像再生制御装置30aの機能を取り込むことも可能である。
The recording / reproducing
上記の説明では映像再生制御装置30a、録画再生装置40aの系統を代表して説明した。図ではさらに映像再生制御装置として、映像再生制御装置30b、30cを示し、録画再生装置として、録画再生装置40b、40cを示している。映像再生制御装置30b、30cは、それぞれ録画再生装置40b、40cに対応し、それぞれの系統は、映像再生制御装置30a、録画再生装置40aの系統と同様な機能を有する。
In the above description, the video
上記した本システムは、録画再生装置40aで録画した放送番組を楽しむ際に、携帯端末として可能な映像再生制御装置30aにより番組内に含まれる特徴的な場面を一覧表示することができる。これは、映像再生制御装置30aは、所望の番組の特徴場面情報を特徴場面検出装置10a,10bに要求して容易に取得できるからである。そして、ユーザは、映像再生制御装置30aを操作し、特徴的な場面を一覧表示の中から所望の場面を指定すると、録画再生装置40aは、指定した番組の指定された場面からの映像を再生することができる。
In the above-described system, when enjoying a broadcast program recorded by the recording / reproducing
携帯端末としての、映像再生制御装置30aはその表示部がタッチ式操作画面として利用されるものであり、ユーザは、特徴場面記憶・配信装置20へのアクセス操作、及び録画再生装置40aに対する指令操作は容易に行うことができる。
The display unit of the video
図2には上記した特徴場面検出装置10a、特徴場面記憶・配信装置20、映像再生制御装置30a及び録画再生装置40aの内部のブロックを代表して示している。
FIG. 2 representatively shows the internal blocks of the above-described feature
特徴場面検出装置10aは、映像受信部11、映像解析部12、映像特徴場面検出部13、特徴場面情報送信部14、映像特徴量記憶部15、制御部16を有する。制御部16は、映像受信部11、映像解析部12、映像特徴場面検出部13、特徴場面情報送信部14、映像特徴量記憶部15を統括して制御している。
The feature
映像受信部11は、チューナ、デコーダなどを有し放送番組信号を受信し、映像信号及び音声信号のデコード処理を行う。映像受信部11は、放送番組の映像信号及び音声信号を映像解析部12に送る。
The video receiving unit 11 includes a tuner, a decoder, and the like, receives a broadcast program signal, and decodes the video signal and the audio signal. The video receiver 11 sends the video signal and audio signal of the broadcast program to the
映像解析部12は、映像信号の中からフレーム或いはフィールド画像を取り出し、特徴量情報を取り出す。また音声信号からも特徴量情報を取り出す。
The
特徴量情報を取り出すアルゴリズムとしては、取り出す特徴量の検出する特徴場面によって異なる。たとえば、特定の人物が出演した場面を検出するために顔を認識する場合は、まず、静止画像から、例えば文献1(「顔検出に適した共起に基づくJoint Harr-like特徴」,電子情報通信学会論文誌(D),vol. J89-D-II,no. 8,pp. 1791-1801,2006)に記載された方法により顔の位置を検出することができる。そして検出された顔の位置を含む領域に含まれる顔画像から顔の特徴を表す特徴量情報を抽出する。例えば、文献2(湯浅真由美, 武口智行, 小坂谷達夫, 山口修, 「静止画顔認証のための自動顔特徴点検出」, 電子情報通信学会研究報告, PRMU2006-222, pp. 5-10, Feb. 2007.)に記載されている手法を用いることができる。 The algorithm for extracting feature amount information differs depending on the feature scene detected by the extracted feature amount. For example, when recognizing a face in order to detect a scene in which a specific person has appeared, first, from a still image, for example, Reference 1 (“Joint Harr-like feature based on co-occurrence suitable for face detection”, electronic information The position of the face can be detected by the method described in IEICE Transactions (D), vol. J89-D-II, no. 8, pp. 1791-1801, 2006). Then, feature amount information representing the feature of the face is extracted from the face image included in the area including the detected face position. For example, reference 2 (Mayumi Yuasa, Tomoyuki Takeguchi, Tatsuo Kosakaya, Osamu Yamaguchi, “Automatic face feature point detection for still image face authentication”, IEICE Technical Report, PRMU2006-222, pp. 5-10 , Feb. 2007.) can be used.
抽出された特徴量情報は、静止画に該当するタイムコード(相対時刻;例えばプログラムの先頭を0とし、この先頭からの当該静止画までの相対時刻)とともに、映像特徴量記憶部15に格納される。
The extracted feature quantity information is stored in the video feature
映像特徴場面検出部13では、映像特徴量記憶部15に記憶された特徴量情報を利用して映像の特徴的な映像特徴場面を決定する。例えば、前述した特定の人物(例えば特定の俳優)の検出の例では、映像特徴量記憶部15に記憶されている各相対時刻の特徴量情報を順次取り出し、あらかじめ定められた顔の顔特徴量情報を用いて行う。例えば、文献3(前田賢一、渡辺貞一:「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌(D),vol.J68−D,No.3,pp345−352(1985))に記載されている相互部分空間法を用いてもよい。特定人物が見つかった場合その場面を特徴場面情報とするが、番組では一定時間出演者が登場し続ける場合があるので、特定人物が連続して検出された場合は先頭の場面のみ特徴場面情報とし、その後の場面は棄却するようにしている。特徴量情報となる出演者の顔データは、例えばパラメータとしてデータベース化されていてもよい。また新規なパラメータが、外部から追加登録、或いは削除されるようにしてもよい。
The video feature
映像特徴量記憶部15に記憶された特徴量情報すべてに対して特徴場面検出処理が終了した場合、特徴場面情報送信部14で、特徴場面情報を特徴場面記憶・配信装置20に送信することができる。
When the feature scene detection process is completed for all feature quantity information stored in the video feature
上記の説明では、映像受信部11、映像解析部12、映像特徴場面検出部13、特徴場面情報送信部14、映像特徴量記憶部15、及び制御部16により、1つの番組に対する特徴量情報の抽出、特徴場面情報の検出を行っている如く説明したが、実際には、複数の番組に対する特徴量情報の抽出、特徴場面情報の検出が行われる。そのために、特徴場面検出装置10a内には、映像受信部、映像解析部、映像特徴場面検出部、特徴場面情報送信部、映像特徴量記憶部及び制御部の複数系統が設けられても良い。複数の系統により、例えば、複数チャンネルを受信しながら複数の番組の特徴量情報の抽出、特徴場面情報の検出が可能となる。
In the above description, the feature amount information for one program is obtained by the image receiving unit 11, the
図3には特徴場面検出装置10aから特徴場面記憶・配信装置20へ送信される特徴場面情報のフォーマットの一例を示している。特徴場面情報には、以下のような情報が含まれている。
FIG. 3 shows an example of the format of the feature scene information transmitted from the feature
・送信する特徴場面の名称(LISTNAME)、図の例では
リスト名 <LISTNAME>--の出演場面</LISTNAME>
・対象となる番組情報(PROGRAM)、図の例では、
タイトルとして <TITLE>今日のスポーツ</TITLE>
チャンネルとして <CHANNEL>東京123</CHANNEL>
開始時刻として <STARTTIME>2011/10/11 20:00:00</STARTTIME>
終了時刻として <ENDTIME>2011/10/11 20:58:00</ENDTIME>
・複数の場面情報<SCENE>、図の例では、
番組開始時刻からの相対時刻の場面として
< SCENE TIME="00:23:45">***1</SCENE>
< SCENE TIME="00:34:13">***2</SCENE>
が示されている。
・ Characteristic scene name to be sent (LISTNAME), in the example in the figure, the list name <LISTNAME>-Appearance scene </ LISTNAME>
・ Target program information (PROGRAM),
<TITLE>Today's sport </ TITLE> as a title
<CHANNEL> Tokyo 123 </ CHANNEL> as a channel
<STARTTIME> 2011/10/11 20:00:00 </ STARTTIME>
End time <ENDTIME> 2011/10/11 20:58:00 </ ENDTIME>
・ Multiple scene information <SCENE>
As a scene of relative time from the program start time
<SCENE TIME = "00:23:45"> *** 1 </ SCENE>
<SCENE TIME = "00:34:13"> *** 2 </ SCENE>
It is shown.
次に、特徴場面記憶・配信装置20の構成を説明する。特徴場面記憶・配信装置20は、特徴場面情報受信部22、特徴場面情報記憶部23、特徴場面情報検索部21、制御部24を含む。制御部24は、特徴場面情報受信部22、特徴場面情報記憶部23、特徴場面情報検索部21を統括的に制御する。
Next, the configuration of the feature scene storage /
特徴場面情報受信部22は、特徴場面検出装置10aから送られてきた特徴場面情報を受信し、特徴場面情報記憶部23に格納する。特徴場面情報記憶部23は、リレーショナルデータベースで構成され、特徴場面情報を図4に示すフォーマットで記憶する。
The feature scene
図4に示すフォーマットは3つのテーブルからなり、テーブル401は番組情報を表し、番組ごとにユニークに付与される「番組ID」、放送された「チャンネル」、番組の「タイトル」、番組の放送の「開始時刻」「終了時刻」からなる。 The format shown in FIG. 4 includes three tables. A table 401 represents program information. A “program ID” uniquely assigned to each program, a broadcast “channel”, a “title” of the program, and a broadcast of the program are shown. It consists of “start time” and “end time”.
テーブル402は、1つの番組に対する特定の特徴場面のリストを表し、対応する番組を示す「番組ID」、テーブル402のレコードにユニークに付与される「リストID」、特徴場面の種類を説明する「リスト名」からなる。 A table 402 represents a list of specific feature scenes for one program, and describes a “program ID” indicating a corresponding program, a “list ID” uniquely given to a record in the table 402, and a type of feature scene “ "List name".
テーブル403は、個々の特徴場面を表し、属する特徴場面のリストを示す「リストID」、特徴場面の番組開始からの時刻を示す「時刻」、その特徴場面の説明を表す「シーン名」からなる。 The table 403 represents individual feature scenes, and includes “list ID” indicating a list of feature scenes to which the scene belongs, “time” indicating time from the start of the program of the feature scene, and “scene name” indicating description of the feature scene. .
特徴場面情報検索部21は、映像再生制御装置30aからの指示で、番組情報をキーにして、情報検索場面記憶部23から該当する特徴場面情報を検索し、映像再生制御装置30aに返送する。具体的には、特徴場面情報検索部21は、映像再生制御装置30aから番組情報として、例えばチャンネル名、放送開始時刻、タイトルを受け取り、この番組情報に一致するレコードをテーブル401から検索、該当するレコードの「番組ID」を持つテーブル402上のレコードを取り出し、さらに、一致したレコードの「リストID」を持つテーブル403のレコードを取り出す。テーブル402の該当レコードの「リスト名」と対応するテーブル403のレコードから図3のフォーマットの情報を構成し、映像再生制御装置30aに返送する。テーブル402のレコード1つにつきこのフォーマットが生成されるため、複数レコードがマッチするときは、同フォーマットを繰り返し使用する。
The feature scene
次に、映像再生制御装置30aの構成について説明する。映像再生制御装置30aは、特徴場面取得部31、特徴場面情報表示部32、特徴場面情報一時記憶部33、制御部34、及び操作部35を有する。
Next, the configuration of the video
特徴場面取得部31は、ユーザからの指示に従って映像再生部40aより再生中の番組の番組情報を取得することができる。また特徴場面取得部31は、取得した番組情報をキーとして特徴場面記憶・配信装置20に送信する。これにより、特徴場面記憶・配信装置20は、先に説明したように、キーに該当する特徴場面情報を検索し、映像再生制御装置30aに返送する。特徴場面取得部31は、特徴場面記憶・配信装置20から送られてきた特徴場面情報を、先の番組情報と共に特徴場面情報一時記憶部33に格納する。特徴場面情報表示部32は、特徴場面情報一時記憶部33に記憶された特徴場面情報を提示し、特徴場面をユーザに選択できるようにする。
The feature
図5は、特徴場面情報表示部32が画面上に特徴場面のシーンリストを表示した一例を示している。画面の領域501には再生中の番組情報が表示される。また領域502にその番組に付けられたシーンリスト(特徴場面情報)の一覧が表示される。
FIG. 5 shows an example in which the feature scene
図5の例では、領域501に、チャンネル名、放送日時、番組のタイトル名が基本的に表示される。この場合、さらにシーンリストの提供者が表示されてもよい。例えば、特徴場面検出装置10aにおいて、特徴場面を検出するソフトウエアの作成者或いはソフトウエアに対して検出条件を設定する人や会社が提供者として表示される。
In the example of FIG. 5, the channel name, broadcast date and time, and program title name are basically displayed in the
ここで、領域502のシーンリスト(特徴場面情報)としては、図の例ではリスト1−リスト4が表示されている。これは領域501に表示されたタイトルに対して、少なくとも4種類のシーンリストが用意されていることを意味する。
Here, as the scene list (characteristic scene information) in the
次に、そのうちの1つのリスト(図の例ではシーンリスト1)が選択されると、領域503にそのリストに含まれるシーン(特徴場面)が表示される。図の例では、少なくともシーン1−シーン6が設定されていることを示している。
Next, when one of the lists (
次に、シーンが選択されたとすると、映像再生制御装置30aは、その選択したシーンの時刻から当該番組が再生されるように、録画再生装置40に再生指示を行う。録画再生装置40は、例えばハードディスクドライブを接続されたテレビジョン受信装置、あるいはハードディスクドライブ及び光ディスクドライブを一体化して有する専用の録再装置、或いはパーソナルコンピュータなどである。映像再生制御装置30aは、録画再生装置40に対して再生指示を行う場合、無線(電波、赤外線など)、或いは有線、他の屋内ネットワークなどのいずれかを介して行う。録画再生装置40は、映像再生制御装置30aからの再生指示情報に基づいて、記録している番組の再生を実施する。この場合、録画再生装置40は、指定されたシーンの再生開始位置を指定されたシーンの相対時刻の位置から再生を開始する。
Next, assuming that a scene is selected, the video
なお再生方法は、上記説明した方法に限定されるものではない。例えば、シーン1−6の先頭画面をサムネールとして録画再生装置40のモニタ(表示部)に表示してもよい。あるいは、シーン1−6の情報が1画面だけでなく、数秒(例えば10乃至15秒)程度の再生区間情報として利用され、シーン1−6がダイジェスト版の如く録画再生装置40のモニタ(表示部)に表示されるようにしても良い。 Note that the reproduction method is not limited to the method described above. For example, the top screen of the scene 1-6 may be displayed on the monitor (display unit) of the recording / playback apparatus 40 as a thumbnail. Alternatively, the information of the scene 1-6 is used not only as one screen but also as playback section information of about several seconds (for example, 10 to 15 seconds), and the scene 1-6 is displayed on the monitor (display unit) of the recording / playback apparatus 40 like a digest version. ) May be displayed.
図6は、特徴場面検出装置10aの処理の流れを説明する図である。ステップ601では、映像解析部12内の各特徴量抽出モジュール(映像用、音声用のモジュール)の初期化を行う。次に外部からのタイマーの指示により、映像受信部11にて番組開始時に受信処理を開始する(ステップ602)。外部からの受信開始処理については、予約録画として広く用いられているので、ここでは詳しく述べていない。受信処理が開始されると、映像の場合は、フレームごとに静止画像を、音声の場合は一定量(たとえば100ms単位)で、データが発生する。
FIG. 6 is a diagram for explaining the flow of processing of the feature
ステップ604において、取得されたデータが画像ならば、ステップ605で映像解析部12内の特徴量抽出モジュールで、取得された静止画像から特徴量情報を抽出し、ステップ606でその特徴量情報を映像特徴量記憶部15に書き込む。また、取得されたデータが音声ならば、映像解析部12内の音声処理モジュールで特徴量情報を取り出し(ステップ607)、その特徴量情報を映像特徴量記憶部15に書き込む(608)。
In
番組が終了した場合は、外部からのタイマーの指示でステップ609に移り、特徴場面検出部13は、映像特徴量記憶部15から必要な特徴量情報を順次読だし、特徴場面かどうか判断する(ステップ610)。ステップ611にて、読みだす特徴量情報がなくなった場合は、判定された特徴場面を図3のフォーマットに整形し、特徴場面記憶・配信装置20に送信する。
When the program ends, the process proceeds to step 609 in response to an external timer instruction, and the feature
なお、ステップ605、607における特徴量抽出処理と、ステップ610の特徴場面判断処理は、必ずしも1対1ではない。例えば、男性の登場シーンと、女性の登場シーンという2つの特徴場面の抽出処理を考えると、特徴量抽出処理としては、文献2の顔特徴量を用いるが、男性の登場シーンの特徴場面判断処理と女性の登場シーンの特徴場面判断処理は、同じ特徴量を用いることができる。また、歌唱シーンのように、音声から音楽を判定し、テロップから曲名を判定する場合は、音声と映像の2つの特徴量処理モジュールの結果に対して、1つの特徴場面判断処理が動作する。
Note that the feature amount extraction processing in
なお図6のフローチャートでは、S603において番組が終了した場合に特徴量取得を行って特徴場面判断を行っているが、処理はこのフローに限るものではない。例えば、S606及びS608において音声と画像の特徴量が書き込まれた場合に直ちに、S609及びS610の処理を実行して特徴場面を判断してもよい。また、図6のフローチャートでは、ステップ611にて読みだす特徴量情報がなくなった場合に特徴場面情報を送信するとしているが、特徴場面検出装置10aは、特徴場面が検出されると当該特徴画面についての特徴画面情報を直ちに特徴場面記憶・配信装置20に送信してもよい。
In the flowchart of FIG. 6, when the program ends in S603, the feature amount is acquired and the feature scene is determined, but the process is not limited to this flow. For example, when voice and image feature quantities are written in S606 and S608, the process of S609 and S610 may be executed immediately to determine the feature scene. In the flowchart of FIG. 6, the feature scene information is transmitted when there is no feature amount information to be read in
即ち特徴場面検出装置10aは、受信している映像信号についての特徴量を検出し、特徴量が検出されると当該特徴量に基づいて特徴場面を検出し、特徴場面が検出されると当該特徴場面についての情報を随時生成して特徴場面記憶・配信装置20に送信することにより、受信中の映像信号の特徴場面情報をほぼリアルタイムでアップロードしてもよい。
That is, the feature
本実施例では、放送波を受信して特徴場面検出処理を行っているが、映像の入力はこれにとらわれない。たとえば、インターネット経由でビデオオンデマンドの映像でもよい。この場合、番組情報は、放送とは異なり、「タイトル」とビデオオンデマンド(VOD)サーバでつけられた映像を識別できる「映像ID」を用いることも可能である。 In the present embodiment, broadcast scenes are received and feature scene detection processing is performed, but video input is not limited to this. For example, video on demand video may be used via the Internet. In this case, unlike the broadcast, the program information can use a “title” and a “video ID” that can identify a video attached by a video on demand (VOD) server.
特徴場面検出装置10aの検出処理は、内容によって変えてもよい。例えば、対象となる番組のジャンルがスポーツの場合は盛り上がりシーン検出を、音楽番組の場合は、歌唱シーン検出を動作させることができる。番組のジャンル情報は、デジタル放送波に含まれるSI情報に付与された情報を用いればよい。
The detection process of the feature
また、特徴場面記憶・配信装置20は、記憶する特徴場面情報は、本実施例の特徴場面検出装置10a,10bのみからの情報となっているが、レコーダなどでユーザが付与したチャプタ情報を同様なフォーマットで送信し、同様に記憶し、このチャプタ情報が端末で利用されるときは、ユーザ或いは管理者の手によるものか区別して表示できるようにすることも可能である。
The feature scene storage /
本開示のシステムでは、特徴場面検出装置10aが独立して外部に存在しており、また、パーソナルコンピュータなど計算能力の高い機器で構成することが可能である。このため、画像パターンの認識などを利用した映像解析のように大量のリソースが必要な特徴場面の検出も容易である。また、特徴場面検出装置の性能改善も容易で、該特徴場面検出装置を改善するだけですべての録画装置での使い勝手が向上する。また高速処理が可能であることから、特徴場面情報を放送番組の受信時に作成し、ほぼリアルタイムで、再生制御装置に提供することができる。このためにユーザは、録画再生装置に放送番組が録画された後、直ぐに特徴場面検出情報を利用可能である。
In the system of the present disclosure, the feature
特徴場面検出装置10a,10bは、上記した実施形態に限定されるものではなく、幅ひろく活用できるように工夫されている。
The feature
図7は、特徴場面検出装置10aをさらに詳しく示している。特徴場面情報送信部14は、送受信部(モデム)を含み、サーバからの情報を受け付けることも可能である。さらに、インターフェース17、出力部18を有し、キーボード711、表示器712を接続することも可能である。また、メモリ713、光ディスクドライブ714を接続可能であり、記憶媒体から新しいアプリケーション、或いはバージョンアップされたアプリケーションを取り込むことが可能である。
FIG. 7 shows the feature
制御部16は、各種の機能を実現するための制御部を含む。例えばアプリケーション管理部721、表示制御部722、アプリケーションの設定条件(パラメータ)編集制御部723、配信先情報管理部735、特徴場面情報の分類部736、入力情報受付部740、データベース管理部741などである。
The
アプリケーション管理部721は、映像解析、特徴量検出、特徴場面検出のためのアプリケーション、及びその他の各種の機能(アップロード、表示制御など、)を実行するための各種の各種アプリケーションを管理する。アプリケーション格納部は、専用の記憶媒体が設けられてもよいし、先の映像特徴量記憶部15の記憶媒体の一部の領域が利用されてもよい。
The
表示制御部722は、例えばメニュー表示、アプリケーションをインストールする際の案内表示、外部から入力を与える際のモニタ表示などの制御を行う。
The
アプリケーションの設定条件(パラメータ)編集制御部723は、例えば番組内の特定の人物の顔画像を検索するアプリケーションに対して、検出回数を制限したり、検出インターバルを修正したり、特定の人物が複数設定されていた場合に、その人数を調整したりする場合に利用される。特定のアプリケーションが採用され、起動する範囲を、つまり、ニュース番組、或いはドラマ、或いは歌謡番組などのジャンル別で動作するように限定することも可能である。例えば、人物画像検出用のアプリケーションであれば、ニュース番組に限定して動作させてシーンリストを作成する、あるいは歌謡番組に限定して動作させてシーンリストを作成するなどの対策が可能である。さらにまた、アプリケーションの設定条件(パラメータ)編集制御部723は、受信チャンネルの変更、処理する放送番組の制限情報を与えることも可能である。
The application setting condition (parameter)
配信先情報管理部735は、例えば特定のサーバ及び又は特定の映像再生制御装置に向けてサービスを行う場合に利用される。したがって、配信先情報管理部735には、配信先のアドレス(サーバ及び又は映像再生制御装置)と、このアドレスに送信すべき特徴場面情報とを関連つけた情報が格納されている。このことは、逆に、特徴場面情報を送信するサーバ及び又は映像再生制御装置を制限可能とするものである。
The distribution destination
例えば、特徴場面検出装置10aは放送番組Aを受信可能であるが、サーバASを利用する遠隔の映像再生制御装置が制御する録画再生装置は、放送番組Aを受信できない場合がある。このような場合は、放送番組Aに関する特徴場面情報を送信しても無駄である。したがって、このような場合は、サーバAS若しくはサーバASを利用する遠隔の映像再生制御装置のアドレスが送信先として消去されている。また、この機能は、特別な契約を行ったサーバ及び若しくは映像再生制御装置に対して、契約に基づく特徴場面情報を配信する場合に利用することもできる。この場合、特別な契約を行ったサーバ及び又は映像再生制御装置のみが、契約に基づく特徴場面情報を受け取れるように、前記契約に基づく特徴場面情報が暗号化されて送信されることが好ましい。この暗号化された契約に基づく特徴場面情報は、契約しているサーバ及び又は映像再生制御装置が有する暗号解読キーにより、復号されることができる。
For example, the feature
特徴場面情報の分類部736は、特徴場面情報を例えばジャンル毎に分類して管理している。ジャンルとしては、スポーツ、ニュース、ドラマ、歌謡番組、バラエティー、映画など各種がある。分類を行う場合には、番組情報から取得することも可能であるし、キーボード711を介して、この特徴場面検出装置10aの管理者が分類コードを各特徴場面情報に与えることも可能である。この場合は、図3、図4に示したフォーマットにジャンルの項目が追加される。
The feature scene
入力情報受付部740は、特徴場面情報送受信部14のモデムを介して入力した情報の検出、メモリ713、光ディスクドライブ714、キーボード711などから入力した情報を検出し、全体動作を管理するCPU(中央演算処理装置:図示せず)に通知する。
The input
データベース管理部741は、例えば特徴場面で人物の顔を検出するために顔画像の比較用サンプルを複数格納することができる。またこれらの比較用サンプルは、編集アプリケーションにより、新たなサンプルが追加されたり、古いサンプルが削除されたりすることも可能である。
For example, the
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
10a,10b・・・特徴場面検出装置、20・・・特徴場面記憶・配信装置、30a,30b、30c・・・映像再生制御装置、40a、40b、40c・・・録画再生装置。 10a, 10b ... feature scene detection device, 20 ... feature scene storage / distribution device, 30a, 30b, 30c ... video playback control device, 40a, 40b, 40c ... recording / playback device.
Claims (8)
前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出する映像解析部と、
前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成する特徴場面検出部と、
前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、複数のユーザの装置がアクセス可能なサーバへ送信する特徴場面情報送信部と
を有する映像解析情報送信装置。 A receiving unit for receiving a broadcast program signal;
By analyzing the different algorithms plurality of the movies image signal of the broadcast program, a video analysis unit for detecting a feature quantity information for a plurality of scenes list with predetermined characteristics in each of said algorithms,
A feature scene for generating video feature scene information for the plurality of scene lists including time information for identifying a feature scene of the video signal and program information for identifying the broadcast program from the feature amount information. A detection unit;
When the image feature scene information of the video signal is generated, the image feature scene information, video analysis information transmitting apparatus and a characteristic scene information transmitting unit device of the plurality of users to send to a server accessible .
前記映像解析情報送信装置が、
放送番組の信号を受信する受信部と、
前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出する映像解析部と、
前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成する特徴場面検出部と、
前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、前記サーバへ送信する特徴場面情報送信部を有し、
前記サーバが、
前記映像特徴場面情報を記憶する特徴場面情報記憶部と、
前記映像再生制御装置の要求に基づいて、前記複数のシーンリストのための映像特徴場面情報を前記映像再生制御装置へ返信する特徴場面情報検索部と、
を有する映像解析情報配信システム。 A server that can be accessed by a plurality of users' video playback control devices, and a video analysis information transmission device connected to the server;
The video analysis information transmitting device is
A receiving unit for receiving a broadcast program signal;
By analyzing the different algorithms plurality of the movies image signal of the broadcast program, a video analysis unit for detecting a feature quantity information for a plurality of scenes list with predetermined characteristics in each of said algorithms,
A feature scene for generating video feature scene information for the plurality of scene lists including time information for identifying a feature scene of the video signal and program information for identifying the broadcast program from the feature amount information. A detection unit;
When the image feature scene information of the video signal is generated, the image feature scene information, characterized scene information transmitting section that sends to the server,
The server is
A feature scene information storage unit for storing the video feature scene information;
A feature scene information search unit that returns video feature scene information for the plurality of scene lists to the video playback control device based on a request of the video playback control device;
A video analysis information distribution system.
The video analysis information distribution system according to claim 3, wherein the video reproduction control device is a mobile terminal and is connected to the server via a network.
前記特徴場面検出装置が、
放送番組の信号を受信し、
前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出し、
前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成し、
前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、前記サーバへ送信し、
前記サーバが、
前記映像特徴場面情報を記憶し、
前記映像再生制御装置の要求に基づいて、前記複数のシーンリストのための映像特徴場面情報を前記映像再生制御装置へ返信する、
映像解析情報配信方法。 A server that can be accessed by a plurality of users' video playback control devices, and a video analysis information distribution method using a feature scene detection device connected to the server,
The feature scene detection device is
Receive broadcast program signals,
By analyzing the different algorithms plurality of the movies image signal of the broadcast program, and detecting the feature quantity information for a plurality of scenes list with predetermined characteristics in each of said algorithms,
Generating, from the feature amount information, video feature scene information for the plurality of scene lists, including time information for identifying a feature scene of the video signal and program information for identifying the broadcast program ;
When the image feature scene information of the video signal is generated, the image feature scene information, sends to the server,
The server is
Storing the video feature scene information;
Based on the request of the video playback control device , video feature scene information for the plurality of scene lists is returned to the video playback control device.
Video analysis information distribution method.
前記特徴場面検出装置が、
放送番組の信号を受信する受信部と、
前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出する映像解析部と、
前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成する特徴場面検出部と、
前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、前記サーバへ送信する特徴場面情報送信部と、を有し、
前記サーバが、
前記映像特徴場面情報を記憶する特徴場面情報記憶部を有し、
前記映像再生制御装置が、
前記番組情報を指示することにより前記サーバから前記番組情報に対応する前記特徴場面情報を取得する特徴場面取得部と、
前記特徴場面情報のリストを表示する表示部を有する
映像視聴システム。 A video viewing system by a video playback control device, a server accessible by the video playback device, and a feature scene detection device connected to the server,
The feature scene detection device is
A receiving unit for receiving a broadcast program signal;
By analyzing the different algorithms plurality of the movies image signal of the broadcast program, a video analysis unit for detecting a feature quantity information for a plurality of scenes list with predetermined characteristics in each of said algorithms,
A feature scene for generating video feature scene information for the plurality of scene lists including time information for identifying a feature scene of the video signal and program information for identifying the broadcast program from the feature amount information. A detection unit;
Wherein when the image feature scene information of the video signal is generated, the image feature scene information has a feature scene information transmitting section that sends to the server,
The server is
A feature scene information storage unit for storing the video feature scene information;
The video reproduction control device is
A feature scene acquisition unit that acquires the feature scene information corresponding to the program information from the server by instructing the program information ;
A video viewing system comprising a display unit for displaying a list of the characteristic scene information.
前記特徴場面検出装置が、
放送番組の信号を受信し、
前記放送番組の映像信号を複数の異なるアルゴリズムにより解析することにより、それぞれの前記アルゴリズムで予め定められた特徴を持つ複数のシーンリストのための特徴量情報を検出し、
前記特徴量情報から、前記映像信号の特徴場面を特定する時間情報と、前記放送番組を識別するための番組情報とを含む、前記複数のシーンリストのための映像特徴場面情報を生成し、
前記映像信号の前記映像特徴場面情報が生成された場合に、前記映像特徴場面情報を、前記サーバへ送信し、
前記サーバが、
前記映像特徴場面情報を記憶し、
前記映像再生制御装置が、
前記番組情報を指示することにより前記サーバから前記番組情報に対応する前記特徴場面情報を取得し、
前記特徴場面情報のリストを表示する
映像視聴方法。 A video playback method by a video playback control device, a server accessible by the video playback device, and a feature scene detection device connected to the server,
The feature scene detection device is
Receive broadcast program signals,
By analyzing the different algorithms plurality of the movies image signal of the broadcast program, and detecting the feature quantity information for a plurality of scenes list with predetermined characteristics in each of said algorithms,
Generating, from the feature amount information, video feature scene information for the plurality of scene lists, including time information for identifying a feature scene of the video signal and program information for identifying the broadcast program ;
When the image feature scene information of the video signal is generated, the image feature scene information, sends to the server,
The server is
Storing the video feature scene information;
The video reproduction control device is
Obtaining the feature scene information corresponding to the program information from the server by instructing the program information ;
A video viewing method for displaying a list of the feature scene information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013012212A JP5306550B2 (en) | 2013-01-25 | 2013-01-25 | Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013012212A JP5306550B2 (en) | 2013-01-25 | 2013-01-25 | Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011237616A Division JP5198643B1 (en) | 2011-10-28 | 2011-10-28 | Video analysis information upload apparatus, video viewing system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013098997A JP2013098997A (en) | 2013-05-20 |
JP5306550B2 true JP5306550B2 (en) | 2013-10-02 |
Family
ID=48620415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013012212A Expired - Fee Related JP5306550B2 (en) | 2013-01-25 | 2013-01-25 | Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5306550B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015115873A (en) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | Electronic apparatus, scene list processing method and information recording medium |
CN111277892B (en) * | 2020-01-20 | 2022-03-22 | 北京百度网讯科技有限公司 | Method, apparatus, server and medium for selecting video clip |
JP6880293B1 (en) * | 2020-08-28 | 2021-06-02 | Kddi株式会社 | User terminal, video display method and program |
CN114302220B (en) * | 2021-01-14 | 2023-04-14 | 海信视像科技股份有限公司 | Display device, external device and play mode control method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009194598A (en) * | 2008-02-14 | 2009-08-27 | Sony Corp | Information processor and method, program, and recording medium |
-
2013
- 2013-01-25 JP JP2013012212A patent/JP5306550B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013098997A (en) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9788066B2 (en) | Information processing apparatus, information processing method, computer program, and information sharing system | |
US8185477B2 (en) | Systems and methods for providing a license for media content over a network | |
JP4482829B2 (en) | Preference extraction device, preference extraction method, and preference extraction program | |
KR100865042B1 (en) | Systems and methods for generating multimedia description data of video programs, video display systems, and computer readable recording media | |
JP2007082088A (en) | Contents and meta data recording and reproducing device and contents processing device and program | |
JP5306550B2 (en) | Video analysis information transmitting apparatus, video analysis information distribution system and distribution method, video viewing system and video viewing method | |
JPWO2006025284A1 (en) | Stream playback device | |
US20100169942A1 (en) | Systems, methods, and apparatus for tagging segments of media content | |
JP3821362B2 (en) | Index information generating apparatus, recording / reproducing apparatus, and index information generating method | |
JP2015052897A (en) | Electronic apparatus, control method of electronic apparatus, and computer program | |
JP5198643B1 (en) | Video analysis information upload apparatus, video viewing system and method | |
JP2004173120A (en) | Moving image storage device and moving image distribution system | |
JP2006350925A (en) | Program retrieval support system | |
JP5209129B1 (en) | Information processing apparatus, broadcast receiving apparatus, and information processing method | |
US20100169347A1 (en) | Systems and methods for communicating segments of media content | |
JP6266271B2 (en) | Electronic device, electronic device control method, and computer program | |
JP2007052626A (en) | Metadata input device and content processor | |
JP2002262225A (en) | Contents mediating device and method for processing contents mediation | |
TWI497959B (en) | Scene extraction and playback system, method and its recording media | |
JP5703321B2 (en) | Information processing apparatus and information processing method | |
JP4725554B2 (en) | Program recording / reproducing system and program recording / reproducing method | |
JP5266981B2 (en) | Electronic device, information processing method and program | |
JP4881459B2 (en) | Recording and playback apparatus and method | |
JP2007156893A (en) | Information processing device, meta data management server, information processing system, and meta data management method | |
JP5452400B2 (en) | Content reproducing apparatus and combination method description data providing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130215 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130625 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5306550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |