JP2013174965A - 電子機器、電子機器の制御システム、及びサーバ - Google Patents

Abstract

【課題】 より高い利便性を有する電子機器、電子機器の制御システム、及びサーバを提供する。
【解決手段】 一実施形態に係る電子機器は、ストリームを受信する受信手段と、前記ストリームを記憶媒体に記憶する記憶手段と、前記ストリームを解析し、比較用データを抽出する解析手段と、特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶しているデータベースから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、を具備する電子機器。
【選択図】 図１

Description

本発明の実施形態は、電子機器、電子機器の制御システム、及びサーバに関する。

従来、映画、テレビ番組、またはゲームなどのコンテンツを録画及び再生することができる例えばコンテンツ再生装置などの電子機器が一般的に普及している。

特開２００５−５０３１５号公報

映像または音声を用いてサーバなどからオブジェクト情報などを取得する場合、その処理は、ユーザによる操作に応じて開始される。この為、操作入力からオブジェクト情報が取得されるまでに時間がかかるという課題がある。

本発明の目的は、より高い利便性を有する電子機器、電子機器の制御システム、及びサーバを提供することである。

一実施形態に係る電子機器は、ストリームを受信する受信手段と、前記ストリームを記憶媒体に記憶する記憶手段と、前記ストリームを解析し、比較用データを抽出する解析手段と、特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶しているデータベースから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、を具備する電子機器。

図１は、一実施形態に係る電子機器について説明する為の図である。 図２は、一実施形態に係る電子機器について説明する為の図である。 図３は、一実施形態に係る電子機器について説明する為の図である。 図４は、一実施形態に係る電子機器について説明する為の図である。 図５は、一実施形態に係る電子機器について説明する為の図である。 図６は、一実施形態に係る電子機器について説明する為の図である。

以下、図を参照しながら、一実施形態に係る電子機器、電子機器の制御システム、及びサーバについて詳細に説明する。

図１は、複数の電子機器により構成されるシステム１の例を示す。システム１は、例えば、コンテンツ記録再生装置１００、及びサーバ２００などを有する。

コンテンツ記録再生装置１００は、例えば、放送信号、または記憶媒体に記憶されているコンテンツなどを録画及び再生することができる放送受信装置などの電子機器である。なお、以下、コンテンツ記録再生装置１００は、放送受信装置１００であるとして説明する。

放送受信装置１００は、チューナ１１１、復調部１１２、信号処理部１１３、音声処理部１２１、映像処理部１３１、表示処理部１３３、制御部１５０、記憶装置１５５、操作入力部１６１、受光部１６２、通信部１７１、及びディスクドライブ１７２を備える。また、放送受信装置１００は、さらにスピーカ１２２及びディスプレイ１３４を備えていてもよい。

チューナ１１１は、ディジタル放送信号用のチューナである。チューナ１１１は、例えばアンテナ１０１により受信されたディジタル放送信号を受け取ることができる。アンテナ１０１は、例えば、地上ディジタル放送信号、ＢＳ（ｂｒｏａｄｃａｓｔｉｎｇ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号、及び／または、１１０度ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号を受信することができる。

チューナ１１１は、上記したディジタル放送信号により供給される番組などのコンテンツのデータを受け取ることができる。チューナ１１１は、ディジタル放送信号のチューニング（選局）を行う。チューナ１１１は、チューニングしたディジタル放送信号を復調部１１２に送信する。

復調部１１２は、受信したディジタル放送信号を復調する。これにより、復調部１１２は、ディジタル放送信号からトランスポートストリーム（ＴＳ）などのコンテンツデータを取得する。復調部１１２は、取得したコンテンツデータを信号処理部１１３に入力する。即ち、チューナ１１１、及び復調部１１２は、コンテンツデータを受信する受信手段として機能する。

信号処理部１１３は、コンテンツデータの分離（多重分離）などの信号処理を行う。即ち、信号処理部１１３は、コンテンツデータをディジタル映像信号（映像）、ディジタル音声信号（音声）、及びその他のデータ信号に分離する。信号処理部１１３は、音声処理部１２１に音声信号を供給する。また、信号処理部１１３は、映像処理部１３１に映像信号を供給する。さらに、信号処理部１１３は、制御部１５０にデータ信号を供給する。

また、信号処理部１１３は、音声信号及び映像信号を制御部１５０に供給する構成であってもよい。また、信号処理部１１３は、制御部１５０の制御に基づいて、上記のコンテンツデータを録画可能な状態のデータ（録画ストリーム）に変換することができる。信号処理部１１３は、制御部１５０の制御に基づいて、録画ストリームを記憶装置１５５、ディスクドライブ１７２、または他のモジュールに供給することができる。

音声処理部１２１は、信号処理部１１３から受信したディジタル音声信号を、スピーカ１２２により再生可能なフォーマットの信号（オーディオ信号）に変換する。例えば、音声処理部１２１は、ディジタル音声信号をディジタル／アナログ変換によりオーディオ信号に変換する。音声処理部１２１は、オーディオ信号を出力する。音声処理部１２２の出力端子にスピーカ１２２が接続されている場合、音声処理部１２２は、オーディオ信号をスピーカ１２２に供給する。スピーカ１２２は、供給されたオーディオ信号に基づいて音声を再生する。

映像処理部１３１は、信号処理部１１３から受信したディジタル映像信号を、ディスプレイ１３４で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部１３１は、信号処理部１１３から受信したディジタル映像信号を、ディスプレイ１３４で再生可能なフォーマットの映像信号にデコード（再生）する。映像処理部１３１は、映像信号を表示処理部１３３に出力する。

表示処理部１３３は、例えば、制御部１５０からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部１３３は、画質調整を施した映像信号を出力する。表示処理部１３３の出力端子にディスプレイ１３４が接続されている場合、表示処理部１３３は、画質調整を施した映像信号をディスプレイ１３４に供給する。ディスプレイ１３４は、供給された映像信号に基づいて映像を表示する。

ディスプレイ１３４は、例えば、マトリクス状に配列された複数の画素を備える液晶表示パネルと、この液晶パネルを照明するバックライトとを備える液晶表示装置などを備える。

なお、上記したように、放送受信装置１００は、スピーカ１２２及びディスプレイ１３４を備える構成であってもよい。代わりに、映像信号を出力する出力端子を備える構成であってもよい。また、放送受信装置１００は、スピーカ１２２の代わりに、オーディオ信号を出力する出力端子を備える構成であってもよい。また、放送受信装置１００は、ディジタル映像信号とディジタル音声信号とを出力する出力端子を備える構成であってもよい。

制御部１５０は、放送受信装置１００の各部の動作を制御する制御手段として機能する。制御部１５０は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、及びＥＥＰＲＯＭ１５４などを備えている。制御部１５０は、操作入力部１６１から供給される操作信号に基づいて、種々の処理を行う。

ＣＰＵ１５１は、種々の演算処理を実行する演算素子などを備える。ＣＰＵ１５１は、ＲＯＭ１５２、またはＥＥＰＲＯＭ１５４などに記憶されているプログラムを実行することにより種々の機能を実現する。

ＲＯＭ１５２は、放送受信装置１００を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。ＣＰＵ１５１は、操作入力部１６１から供給される操作信号に基づいて、ＲＯＭ１５２に記憶されているプログラムを起動する。これにより、制御部１５０は、各部の動作を制御する。

ＲＡＭ１５３は、ＣＰＵ１５１のワークメモリとして機能する。即ち、ＲＡＭ１５３は、ＣＰＵ１５１の演算結果、ＣＰＵ１５１により読み込まれたデータなどを記憶する。

ＥＥＰＲＯＭ１５４は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。

また、制御部１５０は、信号処理部１１３から供給されたデータ信号に基づいて、コンテンツに関する情報（メタデータ）を生成する。制御部１５０は、生成したメタデータを記憶装置１５５に供給する。これにより、制御部１５０は、メタデータと録画ストリームとを対応付けて記憶するように記憶装置１５５を制御することができる。

メタデータは、コンテンツに関する情報である。メタデータは、コンテンツの概要を示す情報である。また、コンテンツが放送信号により供給される番組である場合、メタデータは、コンテンツの放送日時を示す情報をさらに有する。メタデータは、例えば、コンテンツの「放送日時」、「チャンネル」、「番組（コンテンツ）名」、「ジャンル」、「作者」、及び他の「詳細情報」などの情報のうちの１つまたは複数を有する。

さらに、制御部１５０は、信号処理部１１３から供給された音声信号及び映像信号に基づいて解析処理を行い、オブジェクト情報を生成する。制御部１５０は、生成したオブジェクト情報をメタデータに付加する。

記憶装置１５５は、コンテンツを記憶する記憶媒体を有する。例えば、記憶装置１５５は、信号処理部１１３から供給された録画ストリームを記憶することができる。またさらに、記憶装置１５５は、この録画ストリームに種々の付加的な情報（メタデータ）を対応付けて記憶することができる。

操作入力部１６１は、例えば、ユーザによる操作入力に応じて操作信号を生成する操作キー、またはタッチパッドなどを備える。また、操作入力部１６１は、キーボード、マウス、または操作信号を生成する事ができる他の入力装置などから操作信号を受け取る構成であってもよい。操作入力部１６１は、操作信号を制御部１５０に供給する。

なお、タッチパッドは、静電容量式センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、放送受信装置１００がディスプレイ１３４を備える場合、操作入力部１６１は、ディスプレイ１３４と一体に形成されるタッチパネルなどを備える構成であってもよい。

受光部１６２は、例えば、リモートコントローラ１６３からの操作信号を受信するセンサなどを備える。受光部１６２は、受信した信号を制御部１５０に供給する。制御部１５０は、受光部１６２から供給された信号を受信し、受信した信号を増幅させてＡ／Ｄ変換を行うことにより、リモコン１６３から送信された元の操作信号を復号する。

リモートコントローラ１６３は、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラ１６３は、生成した操作信号を赤外線通信により受光部１６２に送信する。なお、受光部１６２及びリモートコントローラ１６３は、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。

通信部１７１は、インターネット、イントラネット、またはホームネットワークなどのネットワーク上の他の機器と通信を行なう為のインターフェースである。例えば、通信部１７１は、ＬＡＮコネクタ、または無線ＬＡＮにより通信を行なうモジュールを有する。例えば、放送受信装置１００は、通信部１７１によりネットワーク上の機器に記録されているコンテンツを取得し、再生することができる。また、放送受信装置１００は、コンテンツデータを通信部１７１により接続される機器に出力することが出来る。

ディスクドライブ１７２は、例えば、コンパクトディスク（ＣＤ）、ディジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）、または動画のコンテンツを記録可能な他の光ディスクＭを装着可能なドライブを有する。ディスクドライブ１７２は、装着された光ディスクＭからコンテンツを読み出し、読み出したコンテンツを制御部１５０に供給する。また、
放送信号を受信してコンテンツを取得する場合、制御部１５０は、放送信号からメタデータを取得することが出来る。例えば、制御部１５０は、コンテンツに多重化されるデータ信号からメタデータを取得する。また、例えば、制御部１５０は、メタデータを格納するパケットからメタデータを取得する。

メタデータを格納するパケットは、放送信号として放送受信装置１００に供給される。メタデータを格納するパケットは、例えば、Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ（ＥＰＧ）情報を表示する為のパケットがある。放送受信装置１００は、このＥＰＧ情報に基づいて予約録画を行うことができる。この場合、メタデータは、番組の検索に用いられる。

制御部１５０は、ユーザにより録画の操作が入力される場合、「放送日時」、「チャンネル」、「番組名」、「ジャンル」、及び「詳細情報」などをメタデータとして録画ストリームとともに記憶装置１５５に記憶する。

また、光ディスクＭなどの記憶媒体は、コンテンツと併せてメタデータを記憶している場合がある。このような場合、制御部１５０は、記憶媒体からコンテンツとメタデータとを取得することができる。

また、放送受信装置１００は、通信部１７１によりネットワーク上のサーバ２００と通信することができる。

サーバ２００は、通信部、記憶部、及び制御部を有する。通信部はネットワーク上の他の機器と通信を行なう。記憶部は、複数のオブジェクト情報を記憶する。制御部は、記憶部からのオブジェクト情報の読み出し、及び通信部による通信を制御する。

サーバ２００の記憶部は、オブジェクト情報と、特徴データとを対応付けて記憶する。即ち、サーバ２００の記憶部は、データベースとして機能する。オブジェクト情報は、例えば、人物、動物、または物などのオブジェクトの固有性を示す情報である。オブジェクト情報は、例えば、オブジェクトの名称、分類タグ、詳細情報、及び関連情報などの情報を含む。

例えばオブジェクトが人物である場合、詳細情報は、この人物のプロフィールなどの情報を含む。また、例えばオブジェクトが動物である場合、詳細情報は、この動物の種類などに関する情報を含む。また、例えばオブジェクトが物である場合、詳細情報は、この物の名称、メーカー、及び用途などに関する情報を含む。

関連情報は、オブジェクトに関するニュース及びニュースサイトへのリンクなどを有する。例えば、オブジェクトが製品などの物である場合、関連情報は、このオブジェクトの製品を購入することができるサイトへのリンクなどを含む。

また、オブジェクト情報に対応付けられる特徴データは、上記のオブジェクトの声、固有音、または画像などに関する情報を含む。例えばオブジェクトが人物である場合、特徴データは、この人物の声から抽出した特徴データ、及びこの人物の顔画像などから抽出した特徴データを含む。また、例えばオブジェクトが動物である場合、特徴データは、この動物の鳴き声などから抽出した特徴データ、及びこの動物の画像などから抽出した特徴データを含む。また、例えばオブジェクトが物である場合、特徴データは、この物の例えばエンジン音などの固有音などから抽出した特徴データ、及びこの物の画像などから抽出した特徴データを含む。

図２は、放送受信装置１００の動作の例を示す。
放送受信装置１００の信号処理部１１３は、コンテンツ（ストリーム）を受信する（ステップＳ１１）。信号処理部１１３は、受信したストリームに対して多重分離処理を施す（ステップＳ１２）。これにより、信号処理部は１１３は、ストリームを音声信号、映像信号、及びデータ信号に分離する。また、コンテンツを録画する場合、信号処理部１１３は、制御部１５０の制御に基づいてコンテンツのストリームを録画ストリームに変換し、記憶装置１５５に供給する。

制御部１５０は、音声信号、及び映像信号を受信する（ステップＳ１３）。また、制御部１５０は、データ信号を受信する。制御部１５０は、受信したデータ信号に基づいてメタデータを生成する。

さらに、制御部１５０は、受信した音声信号および映像信号を解析する（ステップＳ１４）。制御部１５０は、音声信号および映像信号を解析することにより、比較用データを生成する。

さらに、制御部１５０は、サーバ２００内に比較用データと一致する特徴データが存在するか否か判断する（ステップＳ１５）。制御部１５０は、サーバ２００内に比較用データと一致する特徴データが存在する場合、比較用データと一致する特徴データに対応付けられているオブジェクト情報をサーバ２００から取得する。（ステップＳ１６）。制御部１５０は、取得したオブジェクト情報をメタデータに付加し、記憶装置１５５に記憶する。

このような処理により、放送受信装置１００は、コンテンツの録画時にサーバからオブジェクト情報を取得し、録画したコンテンツにオブジェクト情報を対応付けて記憶することができる。

図３は、放送受信装置１００及びサーバ２００を有するシステム１の具体的な動作の例を示す。
制御部１５０は、解析部１５６を備える。制御部１５０は、ＲＯＭ１５２、またはＥＥＰＲＯＭ１５４に記憶されているプログラム及びアプリケーションなどを実行することにより、解析部１５６を構築することができる。

まず、信号処理部１１３は、上記したように、コンテンツのストリームを受信した場合、ストリームを音声信号、映像信号、及びデータ信号に分離する。また、信号処理部１１３は、制御部１５０の制御に基づいてコンテンツのストリームを録画ストリームに変換し、記憶装置１５５に供給する。

制御部１５０の解析部１５６は、信号処理部１１３から供給された音声信号及び映像信号を解析し、解析結果に基づいてサーバ２００からオブジェクト情報を取得する。制御部１５０は、生成したオブジェクト情報をメタデータとして録画ストリームに付加して記憶装置１５５に記憶する。

まず、音声解析による方法について説明する。
解析部１５６は、音声信号を解析することにより、この音声信号に含まれている特徴を抽出する。例えば、音声信号が声である場合、解析部１５６は、音声から周波数毎の信号の波形などを特徴として抽出する。解析部１５６は、抽出した特徴を用いて比較用データを生成する。比較用データは、抽出された特徴がそのまま用いられるものであってもよいし、抽出された特徴が低容量化されたものであってもよい。

例えば、解析部１５６は、音声信号を構成する最小単位（例えばＰＥＳ：Packetized Elementary Stream）毎に音声信号の波形を解析し、比較用データを抽出する。

制御部１５０は、サーバ２００に対して特徴データを要求する。サーバ２００は、特徴データの要求を受信した場合、記憶部に記憶されている複数のオブジェクト情報に対応付けられている特徴データを放送受信装置１００に送信する。

制御部１５０は、サーバ２００から特徴データを受信した場合、解析部により生成された比較用データと、受信した複数の特徴データとを比較する。制御部１５０は、比較用データと特徴データとが一致するか否か判断する。

制御部１５０は、比較用データと一致した特徴データを索引として、サーバに対してオブジェクト情報を要求する。即ち、制御部１５０は、比較用データと一致した特徴データをサーバ２００に対して送信する。サーバ２００は、オブジェクト情報の要求を受信した場合、受信した特徴データに対応付けられているオブジェクト情報を記憶部から読み出す。サーバ２００は、読み出したオブジェクト情報を放送受信装置１００に送信する。

制御部１５０は、サーバ２００から受信したオブジェクト情報をメタデータに付加し、録画ストリームとともに記憶装置１５５に記憶する。

また、解析部１５６は、音声信号が声である場合、音声からテキストデータ（文字情報）を抽出する構成であってもよい。この場合、制御部１５０は、このテキストデータをオブジェクト情報に付加することができる。

さらに、制御部１５０は、テキストデータからキーワードを抽出し、サーバ２００から取得する特徴データを絞り込むことができる。この場合、制御部１５０は、抽出したキーワードを特徴データ要求に付加し、サーバ２００に送信する。サーバ２００は、受信したキーワードとオブジェクト情報の内容とに基づいて特徴データを絞り込む。サーバ２００は、絞り込んだ特徴データを制御部１５０に送信する。これにより、比較用データと比較する特徴データの量を減らすことができる。

次に、映像解析による方法について説明する。
解析部１５６は、映像信号を解析することにより、この映像信号に含まれているオブジェクトを抽出する。解析部１５６は、例えば、人物、動物、または物などのオブジェクトを画面から抽出する。さらに、解析部１５６は、抽出したオブジェクトの画像を用いて比較用データを生成する。この場合の比較用データは、オブジェクトの画像がそのまま用いられるものであってもよいし、オブジェクトの画像が低容量化されたものであってもよい。

例えば、解析部１５６は、映像信号を構成する最小単位（例えばフレーム）毎に映像信号を解析し、比較用データを抽出する。

制御部１５０は、サーバ２００に対して特徴データを要求する。サーバ２００は、特徴データの要求を受信した場合、記憶部に記憶されている複数のオブジェクト情報に対応付けられている特徴データを放送受信装置１００に送信する。

制御部１５０は、サーバ２００から特徴データを受信した場合、解析部により生成された比較用データと、受信した複数の特徴データとを比較する。制御部１５０は、比較用データと特徴データとが一致するか否か判断する。

制御部１５０は、比較用データと一致した特徴データを索引として、サーバに対してオブジェクト情報を要求する。即ち、制御部１５０は、比較用データと一致した特徴データをサーバ２００に対して送信する。サーバ２００は、オブジェクト情報の要求を受信した場合、受信した特徴データに対応付けられているオブジェクト情報を記憶部から読み出す。サーバ２００は、読み出したオブジェクト情報を放送受信装置１００に送信する。

制御部１５０は、サーバ２００から受信したオブジェクト情報をメタデータに付加し、録画ストリームとともに記憶装置１５５に記憶する。

また、解析部１５６は、オブジェクトが抽出された領域を示す情報（位置情報）を解析する構成であってもよい。また、解析部１５６は、映像信号の複数フレームを比較することにより、オブジェクトが映りこんでいた時間を示す情報（時間情報）を解析する構成であってもよい。制御部１５０は、位置情報、及び時間情報をオブジェクト情報に付加することができる。

次に、音声解析と映像解析とを併用する方法について説明する。
制御部１５０は、上記の音声解析による方法によって取得されたオブジェクト情報を用いて映像解析による処理を簡易化することができる。即ち、制御部１５０は、音声解析によりサーバ２００から取得したオブジェクト情報を用いて比較対象を絞り込む。

例えば、制御部１５０は、上記の音声解析による処理によりサーバ２００からオブジェクト情報を取得する。制御部１５０は、取得したオブジェクト情報から、名称、または分類タグなどを絞り込み用情報として抽出する。

制御部１５０は、サーバ２００に対して特徴データを要求する場合、絞り込み用情報を要求に付加する。サーバ２００は、受信した絞り込み用情報と、記憶している複数のオブジェクト情報の内容とに基づいて特徴データを絞り込む。サーバ２００は、絞り込んだ特徴データを制御部１５０に送信する。制御部１５０は、映像から抽出した比較用データと、受信した特徴データとを比較する。これにより、映像から抽出した比較用データと比較する特徴データの量を減らすことができる。

なお、制御部１５０は、上記したようなキーワードにより映像比較用の特徴データを絞り込む構成であってもよい。この場合、制御部１５０は、特徴データの要求に対してキーワードを付加する。サーバ２００は、受信したキーワードと、記憶している複数のオブジェクト情報の内容とに基づいて特徴データを絞り込む。サーバ２００は、絞り込んだ特徴データを制御部１５０に送信する。制御部１５０は、映像から抽出した比較用データと、受信した特徴データとを比較する。

なお、音声解析と映像解析とを併用する場合、サーバ２００は、音声から抽出された特徴データ（第１の特徴データ）と、映像から抽出された特徴データ（第２の特徴データ）との両方を予めオブジェクト情報毎に記憶している必要がある。

なお、上記の例では本システムは、放送受信装置１００が特徴データと比較用データとの比較を行う構成として説明したが、この構成に限定されない。サーバ２００が特徴データと比較用データとの比較を行う構成であってもよい。

図４は、放送受信装置１００及びサーバ２００を有するシステム１の他の例を示す。
この場合、制御部１５０は、音声解析または映像解析によって得られた比較用データをサーバ２００に送信する。

サーバ２００は、受信した比較用データと、記憶部により記憶されている複数のオブジェクト情報に対応付けられている特徴データとを比較する。これにより、サーバ２００は、比較用データと特徴データとが一致するか否か判断する。

サーバ２００は、比較用データと一致した特徴データに対応付けられているオブジェクト情報を記憶部から読み出す。サーバ２００は、読み出したオブジェクト情報を放送受信装置１００に送信する。

制御部１５０は、サーバ２００から受信したオブジェクト情報をメタデータに付加し、録画ストリームとともに記憶装置１５５に記憶する。

図５は、メタデータの利用方法の一例を示す。
上記したように、制御部１５０は、記憶装置１５５に記憶されているコンテンツを再生し、映像処理部１３１により映像を生成させることができる。さらに、制御部１５０は、オンスクリーンディスプレイ（ＯＳＤ）の機能などにより、録画されたコンテンツ（録画ストリーム）に対応付けられているオブジェクト情報を映像に重畳することができる。

例えば、記憶装置１５５に録画されたコンテンツを再生する場合、放送受信装置１００の制御部１５０は、メタデータのオブジェクト情報の位置情報を用いて、映像中のオブジェクトが映っている領域を特定する。さらに、制御部１５０は、特定した領域の近傍にオブジェクト情報（例えば名称、及び詳細情報など）を表示することができる。また、制御部１５０は、特定した領域の近傍に、上記したような音声解析により抽出されたテキストデータを吹き出しとして表示することもできる。

図６は、メタデータの利用方法の一例を示す。放送受信装置１００の制御部１５０は、録画されているコンテンツに対応付けられて記憶されているメタデータを用いることにより、特定のオブジェクトを含むコンテンツを検索することができる。即ち、制御部１５０は、記憶装置１５５に記憶されている録画ストリームに対応付けられているオブジェクト情報を対象として録画ストリームを検索することができる。

また、制御部１５０は、例えば目的のオブジェクト（人や物）がコンテンツ内に含まれているか否かを調べることができる。さらに、制御部１５０は、オブジェクト情報の時間情報を利用することにより、目的のオブジェクトが映っている時間のみを再生することもできる。

上記したように、放送受信装置１００は、録画ストリームを記憶しつつ、音声解析及び映像解析を行う。これにより、放送受信装置１００は、比較用データを逐次抽出することができる。放送受信装置１００は、比較用データを用いてサーバ２００からオブジェクト情報を取得することができる。これにより、放送受信装置１００は、録画ストリームと、オブジェクト情報を含むメタデータとを対応付けて記憶することができる。

この場合、検索を行う毎にデータベースを参照する必要がない。これにより、放送受信装置１００は、高速な検索処理を実現することができる。

また、放送受信装置１００は、音声解析と、映像解析と、を併用することにより、映像から抽出された比較用データと特徴データとの比較処理を簡素化することができる。

またさらに、放送受信装置１００は、人物の音声からテキストデータを抽出し、抽出したテキストデータをオブジェクト情報としてメタデータに付加することができる。さらに、放送受信装置１００は、抽出したテキストデータを用いて比較する為の特徴データを絞り込むことができる。これにより、放送受信装置１００は、さらに処理速度を向上させることができる。

この結果、より高い利便性を有する電子機器、電子機器の制御システム、及びサーバを提供することができる。

なお、上記した実施形態では、放送受信装置１００は、録画ストリーム及びメタデータを記憶装置１５５に記憶すると説明したが、この構成に限定されない。放送受信装置１００は、記憶装置１５５ではなく、光ディスクＭ、ネットワーク上の他の機器、ＵＳＢなどにより接続される機器、メモリーカード、または放送受信装置１００に接続される他の記憶媒体などに録画ストリーム及びメタデータを記憶する構成であってもよい。

また、上記した実施形態では、サーバ２００は、放送受信装置１００とネットワークを介して接続されていると説明したが、この構成に限定されない。サーバ２００は、放送受信装置１００のローカルエリア内に設けられていてもよい。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００…放送受信装置、１１３…信号処理部、１２１…音声処理部、１２２…スピーカ、１３１…映像処理部、１３３…表示処理部、１３４…ディスプレイ、１５０…制御部、１５１…ＣＰＵ、１５２…ＲＯＭ、１５３…ＲＡＭ、１５４…ＥＥＰＲＯＭ、１５５…記憶装置、１５６…解析部、１６１…操作入力部、１６２…受光部、１６３…リモートコントローラ、１７１…通信部、１７２…ディスクドライブ、２００…サーバ。

一実施形態に係る電子機器は、ストリームを受信する受信手段と、前記ストリームから、比較用データを抽出する抽出手段と、データベースから、前記比較用データと対応する特徴データに関連付けられている、オブジェクトの固有性を示すオブジェクト情報を取得する取得手段と、前記取得手段により取得されたオブジェクト情報と、前記ストリームと、を対応付けて記憶媒体に記憶する記憶手段と、を具備する。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ストリームを受信する受信手段と、
前記ストリームを記憶媒体に記憶する記憶手段と、
前記ストリームを解析し、比較用データを抽出する解析手段と、
特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶しているデータベースから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、
を具備する電子機器。
［Ｃ２］
前記解析手段は、前記ストリームの音声信号を解析して前記比較用データを抽出する音声解析手段を具備し、
前記取得手段は、前記音声解析手段により抽出された前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記データベースから取得する、
Ｃ１に記載の電子機器。
［Ｃ３］
前記解析手段は、前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段を具備し、
前記取得手段は、前記映像解析手段により抽出された前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記データベースから取得する、
Ｃ１に記載の電子機器。
［Ｃ４］
前記解析手段は、
前記ストリームの音声信号を解析して前記比較用データを抽出する音声解析手段と、
前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段と、
を具備し、
前記取得手段は、前記音声解析手段により抽出された前記比較用データに基づいて取得された前記オブジェクト情報を用いて前記データベースにより記憶されている前記特徴データを絞り込み、絞り込まれた前記特徴データから前記映像解析手段により抽出された前記比較用データと一致する前記特徴データを特定し、特定された前記特徴データに対応付けられている前記オブジェクト情報を取得する、
Ｃ１に記載の電子機器。
［Ｃ５］
前記解析手段は、
前記ストリームの音声信号を解析して文字情報を抽出する文字抽出手段と、
前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段と、 を具備し、
前記取得手段は、前記文字情報を用いて前記データベースにより記憶されている前記特徴データを絞り込み、絞り込まれた前記特徴データから前記映像解析手段により抽出された前記比較用データと一致する前記特徴データを特定し、特定された前記特徴データに対応付けられている前記オブジェクト情報を取得する、
Ｃ１に記載の電子機器。
［Ｃ６］
前記記憶媒体に記憶された前記ストリームを再生し映像を生成する映像生成手段をさらに具備し、
前記映像生成手段は、前記ストリームに対応付けられている前記オブジェクト情報を前記映像に表示する、
Ｃ１に記載の電子機器。
［Ｃ７］
前記解析手段は、
前記ストリームの映像信号を解析してオブジェクトを抽出し、前記オブジェクトの前記比較用データ、前記オブジェクトが抽出された領域を示す位置情報、及び前記オブジェクトが抽出された時間を示す時間情報を抽出する映像解析手段と、
を具備し、
前記制御手段は、前記取得手段により取得された前記オブジェクト情報に前記位置情報、及び前記時間情報を付加し、
前記映像生成手段は、前記位置情報及び前記時間情報に基づいて、前記オブジェクト情報を前記映像に表示する、
Ｃ６に記載の電子機器。
［Ｃ８］
前記映像生成手段により生成された映像を表示する表示手段をさらに具備するＣ６に記載の電子機器。
［Ｃ９］
前記記憶媒体に記憶されている前記ストリームに対応付けられている前記オブジェクト情報を対象として前記ストリームを検索する検索手段をさらに具備するＣ１に記載の電子機器。
［Ｃ１０］
電子機器とサーバとを具備する電子機器の制御システムであって、
前記サーバは、特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶する記憶手段を具備し、
前記電子機器は、
ストリームを受信する受信手段と、
前記ストリームを記憶媒体に記憶する記憶手段と、
前記ストリームを解析し、比較用データを抽出する解析手段と、
前記サーバから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、
を具備する電子機器の制御システム。
［Ｃ１１］
特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶する記憶手段と、
外部機器から比較用データを受信する受信手段と、
前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記記憶手段から取得する取得手段と、
前記取得手段により取得された前記オブジェクト情報を前記外部機器に送信する送信手段と、
を具備するサーバ。

Claims (11)

1. ストリームを受信する受信手段と、
   前記ストリームを記憶媒体に記憶する記憶手段と、
   前記ストリームを解析し、比較用データを抽出する解析手段と、
   特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶しているデータベースから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、
   前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、
   を具備する電子機器。
2. 前記解析手段は、前記ストリームの音声信号を解析して前記比較用データを抽出する音声解析手段を具備し、
   前記取得手段は、前記音声解析手段により抽出された前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記データベースから取得する、
   請求項１に記載の電子機器。
3. 前記解析手段は、前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段を具備し、
   前記取得手段は、前記映像解析手段により抽出された前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記データベースから取得する、
   請求項１に記載の電子機器。
4. 前記解析手段は、
   前記ストリームの音声信号を解析して前記比較用データを抽出する音声解析手段と、
   前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段と、
   を具備し、
   前記取得手段は、前記音声解析手段により抽出された前記比較用データに基づいて取得された前記オブジェクト情報を用いて前記データベースにより記憶されている前記特徴データを絞り込み、絞り込まれた前記特徴データから前記映像解析手段により抽出された前記比較用データと一致する前記特徴データを特定し、特定された前記特徴データに対応付けられている前記オブジェクト情報を取得する、
   請求項１に記載の電子機器。
5. 前記解析手段は、
   前記ストリームの音声信号を解析して文字情報を抽出する文字抽出手段と、
   前記ストリームの映像信号を解析して前記比較用データを抽出する映像解析手段と、
   を具備し、
   前記取得手段は、前記文字情報を用いて前記データベースにより記憶されている前記特徴データを絞り込み、絞り込まれた前記特徴データから前記映像解析手段により抽出された前記比較用データと一致する前記特徴データを特定し、特定された前記特徴データに対応付けられている前記オブジェクト情報を取得する、
   請求項１に記載の電子機器。
6. 前記記憶媒体に記憶された前記ストリームを再生し映像を生成する映像生成手段をさらに具備し、
   前記映像生成手段は、前記ストリームに対応付けられている前記オブジェクト情報を前記映像に表示する、
   請求項１に記載の電子機器。
7. 前記解析手段は、
   前記ストリームの映像信号を解析してオブジェクトを抽出し、前記オブジェクトの前記比較用データ、前記オブジェクトが抽出された領域を示す位置情報、及び前記オブジェクトが抽出された時間を示す時間情報を抽出する映像解析手段と、
   を具備し、
   前記制御手段は、前記取得手段により取得された前記オブジェクト情報に前記位置情報、及び前記時間情報を付加し、
   前記映像生成手段は、前記位置情報及び前記時間情報に基づいて、前記オブジェクト情報を前記映像に表示する、
   請求項６に記載の電子機器。
8. 前記映像生成手段により生成された映像を表示する表示手段をさらに具備する請求項６に記載の電子機器。
9. 前記記憶媒体に記憶されている前記ストリームに対応付けられている前記オブジェクト情報を対象として前記ストリームを検索する検索手段をさらに具備する請求項１に記載の電子機器。
10. 電子機器とサーバとを具備する電子機器の制御システムであって、
    前記サーバは、特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶する記憶手段を具備し、
    前記電子機器は、
    ストリームを受信する受信手段と、
    前記ストリームを記憶媒体に記憶する記憶手段と、
    前記ストリームを解析し、比較用データを抽出する解析手段と、
    前記サーバから、前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を取得する取得手段と、
    前記取得手段により取得された前記オブジェクト情報を前記ストリームに対応付けて記憶するように前記記憶手段を制御する制御手段と、
    を具備する電子機器の制御システム。
11. 特徴データとオブジェクトの固有性を示すオブジェクト情報とを対応付けて記憶する記憶手段と、
    外部機器から比較用データを受信する受信手段と、
    前記比較用データと一致する前記特徴データに対応付けられている前記オブジェクト情報を前記記憶手段から取得する取得手段と、
    前記取得手段により取得された前記オブジェクト情報を前記外部機器に送信する送信手段と、
    を具備するサーバ。

Images