以下、図面を参照して、本発明の実施形態について説明する。
図1は、本実施形態に係る映像処理装置が接続されるネットワークシステムについて説明するための図である。図1に示すように、映像処理装置50は、ネットワーク40を介して例えば映像蓄積・配信サーバ10、映像送信装置20と接続されている。
映像蓄積・配信サーバ10は、例えばハードディスクドライブ(HDD)のようなストレージ(図示せず)を有し、当該ストレージに各種映像データを蓄積する。また、映像蓄積・配信サーバ10は、例えば当該映像蓄積・配信サーバ10が有するストレージに蓄積されている映像データを、ネットワーク40を介して映像処理装置50に配信する。
映像送信装置20は、例えばカメラ21及び映像圧縮装置22を有する。カメラ21は、各種映像を撮影する機能を有する。映像圧縮装置22は、例えばMPEG(Moving Picture Experts Group)2のような映像圧縮方式により、カメラ21によって撮影された映像(データ)を圧縮処理する。映像送信装置20は、カメラ21により撮影され、映像圧縮装置22圧縮処理された映像データを、ネットワーク40を介して映像処理装置50に送信する。
映像処理装置50は、例えば映像蓄積・配信サーバ10によって配信された映像データまたは映像送信装置20によって送信された映像データを、ネットワーク40を介して受信する。また、映像処理装置50は、ネットワーク40を介してテレビ映像を受信する。なお、本実施形態においては、例えばカメラ21で撮影されたような一般映像データ及びテレビ映像を含めて映像データと称する。また、映像データには、例えば映像に付随する字幕データ、画像データまたは音声データが含まれる。映像処理装置50は、受信された映像データを蓄積し、当該蓄積された映像データの検索・再生(表示)処理を実行する。
図2は、図1に示す映像処理装置50の機能構成を示すブロック図である。映像処理装置50は、受信部51、映像解析部52、参照情報格納部53、重要度ランクテーブル54、センサ55、蓄積条件テーブル56、映像蓄積処理部57、映像ストレージ58、検索部59、テレビ60及びPC(パーソナルコンピュータ)61を含む。
受信部51は、上記したようにネットワーク40を介して映像処理装置50に送信される映像データを受信する。
映像解析部52は、受信部51によって受信された映像データを解析する。このとき、映像解析部52は、参照情報格納部53に格納されている映像データを解析する際に用いられる参照情報(辞書データ)に基づいて解析処理を実行する。この参照情報には、例えば映像データに含まれる人や場所に関する情報が含まれる。また、参照情報には、例えばテレビ番組(映像)の情報を含む電子番組表(EPG:Electric Program Guide)が含まれる。
映像解析部52は、字幕解析部521、画像解析部522及び音声解析部523を含む。字幕解析部521は、参照情報格納部53を参照して、映像データに含まれる字幕データを解析する。画像解析部522は、参照情報格納部53を参照して、映像データに含まれる画像データを解析する。音声解析部523は、参照情報格納部53を参照して、映像データに含まれる音声データを解析する。
重要度ランクテーブル54には、映像データの重要度毎に対応付けて、当該重要度と判定されるための判定条件が予め設定されている。映像データの重要度は、例えばユーザにとっての当該映像データを重要とする度合いである。なお、重要度は、例えばユーザにとっての映像データに対する関心の度合い、つまり関心度であっても構わない。
なお、映像処理装置50には、ユーザによって指定された重要度及び判定条件を重要度ランクテーブル54に設定する設定部(図示せず)が設けられている。これにより、重要度及び判定条件は、ユーザにより定義または設定(変更)可能である。また、重要度ランクテーブル54に設定されている重要度及び判定条件は、例えば時間帯、季節、場所等に応じて動的に変更可能である。同様に、映像解析部52による解析結果に応じて動的に変更可能である。具体的には、例えば時間帯においては、昼または夜に応じて重要度ランクテーブル54の設定を変更する。また、例えば天候においては、雨または雪の場合に応じて重要度ランクテーブル54の設定を変更することが考えられる。
また、重要度ランクテーブル54に設定されている重要度及び判定条件は、例えばセンサ55によって検知されたデータに応じても自動的に変更可能である。例えば受信部51によって受信された映像データが道路監視画像処理システムの監視カメラの映像データである場合を想定する。この場合、例えば信号機による車両の停止や渋滞等は頻繁に発生するため、重要度ランクテーブル54に設定されている重要度及び判定条件は、停止車両の映像の重要度は低くなるように変更される。一方、地震が発生したときに地震計からの地震情報がセンサ55によって検知された場合には落石等が発生するおそれがあるため、重要度ランクテーブル54に設定されている重要度及び判定条件は、停止車両映像であっても重要度が高くなるように変更される。
蓄積条件テーブル56には、映像データの重要度毎に、当該重要度と判定された映像データを蓄積する際の蓄積条件が予め設定されている。また、上記した設定部により、蓄積条件は、例えばユーザによって蓄積条件テーブル56に設定、変更等が可能である。蓄積条件には、例えば映像データの解像度、映像圧縮方式(例えばMPEG2またはH.264等)、間引き率が含まれる。また、蓄積条件には、例えばユーザにとって不適当な映像データ(例えば映像の1シーン等)をカットすること等も含まれる。この不適当な映像データについては、例えば映像を見る人の年齢・性別等の状況に応じて、ユーザが設定可能である。
映像蓄積処理部57は、字幕解析部521、画像解析部522または音声解析部523による解析結果に基づいて、受信部51によって受信された映像データの内容を意味づける(説明する)メタデータを抽出する。このメタデータは、例えば文字データである。つまり、映像蓄積処理部57は、この処理によって映像データの内容を理解する。メタデータには、例えば映像に映っている対象物(例えば人物・車両等)や当該映像データが撮影または受信された時刻等を示す情報を含む。映像蓄積処理部57は、抽出されたメタデータを受信部51によって受信された映像データに付与する。
映像蓄積処理部57は、重要度ランクテーブル54を参照して、映像データの重要度を判定する。映像蓄積処理部57は、映像データに付与されたメタデータによって示される当該映像データの内容が合致する判定条件に対応付けられている重要度を、当該映像データの重要度として判定する。
映像蓄積処理部57は、蓄積条件テーブル56を参照して、メタデータが付与された映像データを映像ストレージ58に蓄積する。映像ストレージ58は、例えばハードディスクドライブ(HDD)を含む記憶装置である。映像蓄積処理部57は、蓄積条件テーブル56を参照して、映像データを蓄積する蓄積条件を決定する。映像蓄積処理部57は、映像データに付与されたメタデータ及び決定された蓄積条件に基づいて蓄積処理を実行する。映像蓄積処理部57は、判定された映像データの重要度に対応付けて蓄積条件テーブル56に設定されている蓄積条件を、当該映像データを蓄積する蓄積条件として決定する。また、メタデータが付与された映像データは、例えば当該映像データの重要度に対応付けて映像ストレージ58に蓄積される。また、映像蓄積処理部57は、蓄積される映像データに例えば特定の対象物(例えば人物等)が含まれる(映っている)場合には、当該特定の対象物に対してモザイク処理等を施して映像データを蓄積することにより、プライバシー保護機能を有する。この映像データに含まれる特定の対象物は、映像に付与されているメタデータにより特定される。
映像蓄積処理部57は、例えば重要度が低いと判定された映像データについては、例えば特定の対象物が存在する部分(シーン)のみが残るように再編集する。なお、映像蓄積処理部57は、映像データに含まれる例えば字幕データ、テロップデータまたは音声データについても編集処理を実行する。また、映像蓄積処理部57は、重要度が低いと判定された映像データについては、例えば当該映像データの解像度、映像圧縮方式または間引き率等を変更する。これにより、重要度が低い映像データに対しては、映像ストレージ58に蓄積されるデータ量を削減する処理が実行される。一方、映像蓄積処理部57は、例えば重要度が高いと判定された映像データについては、例えばデータ量よりも画質等を優先して蓄積する。また、映像蓄積処理部57は、重要度が高い映像データからダイジェスト映像データを作成することも可能である。
また、映像蓄積処理部57は、映像データを映像ストレージ58に蓄積する際に、当該映像データ(のサイズ)に対して映像ストレージ58の容量が不足している場合、映像ストレージ58に蓄積されている映像データのうち、重要度が低い映像データに対して上書き処理を実行する。つまり、例えば古い映像データであっても重要度が高い映像データに対しては上書きされないため、当該重要度が高い映像データは映像ストレージ58に蓄積されたままとなる。
検索部59は、例えばユーザによって指定された検索要求及び映像ストレージ58に蓄積されている映像データに付与されているメタデータに応じて、映像ストレージ58に蓄積されている映像データを検索する。また、検索部59は、検索された映像データを、当該映像データの重要度順に並び替えて(ソートして)、例えばテレビ60またはPC61に出力する。また、検索部59は、検索された映像データに付与されているメタデータに基づいて、当該検索された映像データに例えばユーザによって予め設定されている不適当な映像(シーン)が含まれているか否かを判定する。検索部59は、不適当な映像が含まれていると判定された場合には、当該不適当な映像をスキップした映像データを出力する。
テレビ60は、例えばユーザによって指定された検索要求を入力する。また、テレビ60は、検索部59によって出力された映像データを例えばユーザに対して再生(表示)する。
PC61は、テレビ60と同様に、例えばユーザによって指定された検索要求を入力する。また、PC61は、検索部59によって出力された映像データを例えばユーザに対して再生する。
なお、本実施形態においては、映像処理装置50は、テレビ60及びPC61を備えるものとして説明したが、テレビ60またはPC61の一方のみを備える構成であっても構わない。また、テレビ60及びPC61は、映像処理装置50の外部に設けられる構成であってもよい。この場合、検索部59が例えば映像処理装置50の外部に設けられたテレビ60またはPC61に映像データを出力することによって、当該テレビ60またはPC61に映像データが表示される。
次に、図3のフローチャートを参照して、映像処理装置50が映像データを蓄積する際の処理手順について説明する。
まず、映像処理装置50の受信部51は、例えばネットワーク40を介して送信(配信)された映像データを受信する(ステップS1)。上記したように、映像データは、例えば一般映像データ及びTV映像データを含む。以下、受信部51によって受信された映像データを対象映像データと称する。
次に、映像解析部52は、参照情報格納部53に格納されている参照情報に基づいて、対象映像データを解析処理する(ステップS2)。このとき、例えば映像解析部52に含まれる字幕解析部521は、対象映像データに含まれる字幕データを解析する。同様に、画像解析部522は、対象映像データに含まれる画像データを解析し、音声解析部523は、対象映像データに含まれる音声データを解析する。
映像蓄積処理部57は、映像解析部52による解析結果に基づいて、対象映像データのメタデータを抽出する。このメタデータは、対象映像データの内容に関するデータである。映像蓄積処理部57は、抽出されたメタデータを対象映像データに対して付与する(ステップS3)。
映像蓄積処理部57は、重要度ランクテーブル54を参照して、対象映像データの重要度(ランク)を判定する(ステップS4)。映像蓄積処理部57は、重要度ランクテーブル54に設定されている判定条件に、対象映像データに付与されたメタデータによって示される当該対象映像データの内容が合致するか否かを判定する。映像蓄積処理部57は、判定条件に対象映像データの内容が合致すると判定された場合、当該判定条件に対応付けられている重要度を、受信部51によって受信された映像データの重要度として判定する。
ここで、図4は、重要度ランクテーブル54について説明するための図である。重要度ランクテーブル54には、例えば重要度に対応付けて判定条件が設定されている。図4に示す例では、重要度「1位」に対応付けて「判定条件1」が設定されている。同様に、重要度「2位」に対応付けて「判定条件2」が設定されており、重要度「3位」に対応付けて「判定条件3」が設定されている。なお、重要度は、「1位」が最も重要とされる度合いが高く、以下、順に重要度が低くなるものとする。なお、重要度は、単に「高」及び「低」のように設定することも可能である。判定条件の具体例としては、例えば「特定の人(人物A)が映っている映像」または「車両の事故映像」等が挙げられ、これらの条件に合致する内容を示すメタデータが付与されている映像データの重要度は、高いと判定される。また、重要度ランクテーブル54の重要度及び判定条件は、上述したようにユーザによって設定または変更可能である。また、センサ55によって検知されるデータに応じて動的に変更することも可能である。また、例えば映像が撮影された時刻、撮影時の天候または季節等に応じて、動的に変更することも可能である。
再び図3に戻ると、映像蓄積処理部57は、蓄積条件テーブル56を参照して、メタデータが付与された対象映像データを映像ストレージ58に蓄積する(ステップS5)。映像蓄積処理部57は、判定された対象映像データの重要度に対応付けて蓄積条件テーブル56に設定されている例えば解像度、映像圧縮方式または間引き率等の蓄積条件に応じて、当該対象映像データを映像ストレージ58に蓄積する。
次に、図5のフローチャートを参照して、上述した図3のステップS5の処理について詳細に説明する。なお、重要度ランクテーブル54には、例えば重要度「高」及び「低」に対して判定条件がそれぞれ設定されているものとする。また、蓄積条件テーブル56には、例えば重要度「高」及び「低」に対して蓄積条件がそれぞれ設定されているものとする。ここで、重要度「高」は、例えばユーザにとって重要である度合いが高いことを示す。一方、重要度「低」は、例えばユーザにとって重要である度合いが低いことを示す。
まず、映像蓄積処理部57は、図3のステップS4の処理において判定された対象映像データの重要度が「高」であるか否かを判定する(ステップS11)。
次に、映像蓄積処理部57は、重要度が「高」であると判定された場合(ステップS11のYES)、重要度「高」に対応付けて蓄積条件テーブル56に設定されている蓄積条件を参照する(ステップS12)。
映像蓄積処理部57は、参照された蓄積条件(ここでは、重要度「高」に対応付けて設定されている蓄積条件)に応じて、メタデータが付与されている対象映像データを映像ストレージ58に蓄積する(ステップS13)。
一方、ステップS11において重要度が「低」であると判定された場合、映像蓄積処理部57は、重要度「低」に対応付けて蓄積条件テーブル56に設定されている蓄積条件を参照する(ステップS14)。
映像蓄積処理部57は、上記したステップS13の処理と同様に、参照された蓄積条件(ここでは、重要度「低」に対応付けて設定されている蓄積条件)に応じて、メタデータが付与されている対象映像データを映像ストレージ58に蓄積する。
次に、図6のフローチャートを参照して、映像処理装置50の映像データを検索及び再生(表示)する処理手順について説明する。
まず、映像処理装置50のテレビ60またはPC61は、ユーザによって指定された検索要求(条件)を入力する(ステップS21)。なお、上記したようにテレビ60またはPC61が映像処理装置50の外部に設けられている場合には、例えば検索要求を入力する入力部が映像処理装置50に設けられているものとする。以下、ユーザによって指定ら得た検索要求は、テレビ60によって入力されたものとする。
次に、検索部59は、テレビ60によって入力された検索要求を受け取る。検索部59は、受け取られた検索要求及び映像ストレージ58に蓄積されている映像データに付与されているメタデータを比較する(ステップS22)。
検索部59は、検索要求及びメタデータを比較した結果、当該検索要求に合致する映像データの内容を示すメタデータを検索する(ステップS23)。
検索部59は、検索されたメタデータが付与されている映像データを取得する(ステップS24)。検索部59は、取得された映像データをテレビ60またはPC61に出力する。このとき、検索部59は、取得された映像データに対応付けられている重要度の順に当該映像データを並び替えて出力する。
テレビ60またはPC61は、検索部59によって出力された映像データを例えばユーザに対して再生(表示)する(ステップS25)。
上記したように本実施形態においては、蓄積される映像データの内容を理解し、映像データの内容を示すメタデータが当該映像データに付与される。映像データに付与されたメタデータに基づいて、当該映像データの重要度が判定される。これにより、例えば映像圧縮技術による映像データ量圧縮処理に加え、判定された映像データの重要度に応じた映像データ量圧縮処理を実行することが可能となる。このように、映像データにメタデータを付与することにより、映像データの蓄積効率を向上させることが可能となる。
また、本実施形態においては、映像データ自体を解析することによりメタデータを抽出するため、蓄積の対象となる映像データを例えばTV映像データだけでなく、一般映像データまで拡張することが可能となる。
また、本実施形態においては、映像ストレージ58に蓄積された映像データに付与されているメタデータに応じて、映像データを検索することが可能となるため、検索効率を向上させることが可能となる。
また、本実施形態においては、映像データに付与されたメタデータ及び当該映像データの重要度に応じて、例えばユーザによる各種設定により当該映像データを自動で編集することが可能となる。
また、本実施形態においては、映像データに対応付けられている重要度に応じて、映像ストレージ58に対して上書き処理が実行されるため、たとえば古い映像データであっても重要度が高い映像データに対しては上書き処理は実行されない。これにより、重要度に応じて、映像データを蓄積する際の上書きの対象となる映像データを選択することが可能となる。
なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
10…映像蓄積・配信サーバ、20…映像送信装置、21…カメラ、22…映像圧縮装置、40…ネットワーク、50…映像書誌装置、51…受信部、52…映像解析部、53…参照情報格納部、54…重要度ランクテーブル、55…センサ、56…蓄積条件テーブル、57…映像蓄積処理部、58…映像ストレージ、59…検索部、60…テレビ、61…PC、521…字幕解析部、522…画像解析部、523…音声解析部。