[go: up one dir, main page]

JP2009080580A - 映像表示装置及び方法 - Google Patents

映像表示装置及び方法 Download PDF

Info

Publication number
JP2009080580A
JP2009080580A JP2007247997A JP2007247997A JP2009080580A JP 2009080580 A JP2009080580 A JP 2009080580A JP 2007247997 A JP2007247997 A JP 2007247997A JP 2007247997 A JP2007247997 A JP 2007247997A JP 2009080580 A JP2009080580 A JP 2009080580A
Authority
JP
Japan
Prior art keywords
content
moving image
unit
visualized
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007247997A
Other languages
English (en)
Inventor
Norio Mihara
功雄 三原
Yasuaki Yamauchi
康晋 山内
Shinko Sekine
真弘 関根
Yasukazu Higuchi
靖和 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007247997A priority Critical patent/JP2009080580A/ja
Priority to US12/076,439 priority patent/US8041155B2/en
Priority to EP08155006A priority patent/EP2043047A3/en
Priority to CN2008102157505A priority patent/CN101398851B/zh
Publication of JP2009080580A publication Critical patent/JP2009080580A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】動画像コンテンツ間の関連性を可視化することが可能な映像表示装置及び方法を提供する。
【解決手段】コンテンツ情報、フレーム情報、画像特性の何れか又は全てを用いて処理対象の動画像コンテンツに対する、他の動画像コンテンツの総合的な関連度を算出し、この関連度に基づいて選択した表示対象の動画像コンテンツに対応する可視化コンテンツを、処理対象の動画像コンテンツに対応する可視化コンテンツの配置位置から、関連度に応じて離間させた位置に配置した仮想空間を表示する。
【選択図】 図１

Description

本発明は、動画像コンテンツの表示を行う映像表示装置及び方法に関する。
ＰＣでは、検索機能は日常の業務で幅広く用いられる一般的な技術となっている。例えば、特定のキーワードに関係する情報をインターネット上のＷｅｂサイトから検索するＷｅｂ検索は、多くの人に用いられている。これらＰＣでの検索機能は、ユーザが検索対象とする事物に関するキーワードを入力することで、検索結果を得るといった、ユーザ自らが能動的に行う必要のある検索方式が一般的である。以下、この検索方式を能動的検索方式という。また、ＴＶやＤＶＤレコーダ、ＨＤＤレコーダといったＡＶ機器もＩＴ化が進んできており、インターネットに接続できるようになってきている。これに伴い、ＡＶ機器でもＰＣと同様の能動的検索方式を採用した検索機能が提供されるようになってきている。
しかし、ＡＶ機器のコンテンツ保存能力の拡大やビデオオンデマンド（ＶＯＤ）などのサービスの拡大、機器内に留まらない機器間又はインターネットに存在するコンテンツとのシームレス性の拡大などにより、ユーザがアクセス可能なコンテンツ数は急速に増加してきている。また、ＨＤＤレコーダの普及によるユーザのコンテンツ獲得・視聴スタイルの変化、即ち、見たいもののみを録画するというスタイルから、興味のあるものはとりあえず録画しておき、その中から取捨選択する、或いは、お勧めサービスやお任せ録画サービスなどを用いた非能動的なスタイルへの変化に伴い、ユーザがアクセス可能なコンテンツは必ずしもユーザ自身が把握していないものを含んでいる可能性がある。
一方で、ＡＶ機器からアクセス可能なコンテンツ群の中から、視聴を所望するコンテンツに如何に効率的に辿り着くかということが重要な問題となってきている。上述したコンテンツ獲得・視聴スタイルの変化から、ユーザは必ずしも全てのコンテンツの内容を把握しているわけではないため、能動的な検索機能を用いて検索しようとしても、何をキーワードにして検索したらよいかを選定することができず、求めたいコンテンツに辿り着くのは困難である。また、ＡＶ機器のユーザは、必ずしもＰＣに精通しているユーザという訳ではなく、ＰＣの世界では一般的であるキーワード入力型の能動的な検索に馴染みがあるとは言い難い。そのため、ＡＶ機器での能動的な検索は一部のアクティブなユーザのみに使われる機能となってしまっており、多くのユーザにとっては使い勝手のよい検索方法と言い難いのが現状である。
この状況の解決策として、能動的な検索方式ではなく、受動的な検索方式を提供するということが考えられる。ここで、受動的な検索方法とは、例えばあるコンテンツと関連があるものを呈示し、その中からユーザに選択させてゆく検索方法である。これは、ユーザが見たいと所望するコンテンツを、キーワード等を用いて積極的に（能動的に）探すのではなく、あるコンテンツを元として、このコンテンツと他のコンテンツとの関連性をユーザに呈示することで、暗示的にユーザにコンテンツ検索を行わせようというものである。つまり、ユーザは自分の興味のあるコンテンツを明示的な検索無しに検索していくことになる。その結果、ユーザはＡＶ機器からアクセス可能な複数のコンテンツを、各コンテンツ間の関連性の可視化の結果を見ながら選択することで、受動的に何らかの見たいコンテンツに辿り着くことが可能となる。このように、コンテンツの受動的な検索方式において、コンテンツ同士の関連性をユーザに可視化することは非常に重要であると考えられる。
一方、写真の分野では、デジタルカメラ等で撮影された多量の画像間の関係を可視化する種々の技術が提案されている。例えば、特許文献１には、複数の画像の時系列的な関係を表すため、画像を時系列順に順次拡大し、この拡大した画像が内周側より時系列の順序でらせん状に表示する技術が開示されている。
国際公開第ＷＯ ００／３３５７２号パンフレット
しかしながら、ＡＶ機器が対象としているＴＶやビデオなどの動画像は、再生に伴いその再生フレームの画像が逐次変化することで、その関係性はダイナミックに変化するため、静止画像を対象にした特許文献１の技術では対応することはできない。
本発明は上記に鑑みてなされたものであって、動画像コンテンツ間の関連性を可視化することが可能な映像表示装置及び方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、複数の動画像コンテンツを記憶する第１記憶手段と、前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、前記処理対象の動画像コンテンツの特性と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツの特性との類似度に基づいて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の関連度を算出する関連コンテンツ算出手段と、前記処理対象の動画像コンテンツ及び他の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記他の動画像コンテンツ各々の関連度に応じて離間させた位置に、前記他の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、前記可視化された仮想空間を表示する表示手段と、を備えたことを特徴とする。
また、本発明は、複数の動画像コンテンツを記憶する第１記憶手段と、前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、前記処理対象の動画像コンテンツの特性と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツの特性との類似度に基づいて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の関連度を算出する関連コンテンツ算出手段と、前記関連コンテンツ算出手段により算出された関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択手段と、前記処理対象の動画像コンテンツ及び前記表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、前記可視化された仮想空間を表示する表示手段と、を備えたことを特徴とする。
また、本発明は、動画像を構成する一連のフレームのうち、何れか又は全てのフレームに対し、当該各フレームの特性を示すフレーム情報が付与された動画像コンテンツの各々を、当該各動画像コンテンツの特性を示すコンテンツ情報と対応付けて記憶する第１記憶手段と、前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、前記処理対象の動画像コンテンツに対応付けられたコンテンツ情報と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツに対応付けられたコンテンツ情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第１関連度算出手段と、前記処理対象の動画像コンテンツから、当該動画像コンテンツに含まれる少なくとも１以上のフレームを処理対象のフレームとして選択するフレーム選択手段と、前記処理対象のフレームに付与されたフレーム情報と、前記他の動画像コンテンツのフレームに付与されたフレーム情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第２関連度算出手段と、前記処理対象のフレーム及び前記他の動画像コンテンツを構成する各フレームに含まれた画像の画像特性を解析する画像解析手段と、前記処理対象のフレームの画像解析結果と、前記他の動画像コンテンツのフレームの画像解析結果との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第３関連度算出手段と、前記第１関連度算出手段、第２関連度算出手段、第３関連度算出手段の何れか又は全てで算出された関連度を用いて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の総合的な関連度を算出する関連コンテンツ算出手段と、前記関連コンテンツ算出手段により算出された総合的な関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択手段と、前記処理対象の動画像コンテンツ及び表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の総合的な関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、前記可視化された仮想空間を表示する表示手段と、を備えたことを特徴とする。
また、本発明は、映像表示装置で実行される映像表示方法であって、前記映像表示装置は、動画像を構成する一連のフレームのうち、何れか又は全てのフレームに対し、当該各フレームの特性を示すフレーム情報が付与された動画像コンテンツの各々を、当該各動画像コンテンツの特性を示すコンテンツ情報と対応付けて記憶する記憶手段を備え、コンテンツ選択手段が、前記記憶手段から、処理対象の動画像コンテンツを選択するコンテンツ選択ステップと、第１関連度算出手段が、前記処理対象の動画像コンテンツに対応付けられたコンテンツ情報と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツに対応付けられたコンテンツ情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第１関連度算出ステップと、フレーム選択手段が、前記処理対象の動画像コンテンツから、当該動画像コンテンツに含まれる少なくとも１以上のフレームを処理対象のフレームとして選択するフレーム選択ステップと、第２関連度算出手段が、前記処理対象のフレームに付与されたフレーム情報と、前記他の動画像コンテンツのフレームに付与されたフレーム情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第２関連度算出ステップと、画像解析手段が、前記処理対象のフレーム及び前記他の動画像コンテンツを構成する各フレームに含まれた画像の画像特性を解析する画像解析ステップと、第３関連度算出手段が、前記処理対象のフレームの画像解析結果と、前記他の動画像コンテンツのフレームの画像解析結果との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第３関連度算出ステップと、関連コンテンツ算出手段が、前記第１関連度算ステップ、第２関連度算出ステップ、第３関連度算出ステップの何れか又は全てで算出された関連度を用いて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の総合的な関連度を算出する関連コンテンツ算出ステップと、表示コンテンツ選択手段が、前記総合的な関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択ステップと、コンテンツ可視化手段が、前記処理対象の動画像コンテンツ及び表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化ステップと、配置手段が、仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の総合的な関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置ステップと、空間可視化手段が、前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化ステップと、表示手段が、前記可視化された仮想空間を表示する表示ステップと、を含むことを特徴とする。
動画像コンテンツ間の関連性を可視化することが可能な映像表示装置及び方法を提供することができる。
以下に添付図面を参照して、映像表示装置及び方法の最良な実施形態を詳細に説明する。
［第１の実施形態］
まず、本実施形態に係る映像表示装置１００のハードウェア構成について説明する。映像表示装置１００は、ＣＰＵやＧＰＵ等により構成される制御部と、各種プログラムや画像などの各種データを記憶するＲＯＭ、ＲＡＭ、ＨＤＤなどから構成される記憶部と、外部装置と通信を行う通信部と、これらを接続するバス（何れも図示せず）とを備え、表示装置及びキーボードやマウス等の入力装置（何れも図示せず）が接続された構成となっている。表示装置は、後述する表示部２３であって、ＬＣＤ等の表示デバイスである。操作装置は、ユーザからの操作が入力される操作キーや操作ボタン、マウス等を備えた入力デバイスである。
次に、映像表示装置１００の機能構成について説明する。図１は、本実施形態に係る映像表示装置１００の機能構成を例示するブロック図である。図１に示したように、映像表示装置１００は、動画像データベース１１と、処理対象コンテンツ選択部１２と、処理対象フレーム選択部１３と、コンテンツ情報取得部１４と、フレーム情報取得部１５と、フレーム画像解析部１６と、関連度算出部１７と、関連コンテンツ算出部１８と、表示対象コンテンツ選択部１９と、コンテンツ可視化部２０と、可視化コンテンツ群配置部２１と、空間可視化部２２と、表示部２３とを備えている。
このうち、処理対象コンテンツ選択部１２と、処理対象フレーム選択部１３と、コンテンツ情報取得部１４と、フレーム情報取得部１５と、フレーム画像解析部１６と、関連度算出部１７と、関連コンテンツ算出部１８と、表示対象コンテンツ選択部１９と、コンテンツ可視化部２０と、可視化コンテンツ群配置部２１と、空間可視化部２２とは、映像表示装置１００の制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。動画像データベース１１は、記憶部により実現される機能部である。
動画像データベース１１は、少なくとも１つ以上の動画像コンテンツを蓄積及び管理することが可能なデータベースである。例えば、映像表示装置１００をＨＤＤレコーダであるとすると、動画像データベース１１は、ＴＶ番組等を録画した動画像コンテンツを蓄積するとともに、蓄積した動画像コンテンツを管理するデータベースということになる。
ここで、「動画像コンテンツ」とは、フレーム画像を時系列上に並べた動画データであって、例えば、ＴＶ番組や映画等のコンテンツを意味する。なお、動画像データベース１１に蓄積される動画像コンテンツの保存形式は特に限定されるものではないが、例えば、既知のコーデックを用いてエンコードされたファイルとして格納されるものとする。以下、動画像データベース１１に蓄積された動画像コンテンツを「コンテンツ」という。
また、動画像データベース１１は、コンテンツ毎に当該コンテンツに関するコンテンツ情報を関連付けて蓄積している。ここで「コンテンツ情報」とは、各コンテンツに固有の特性を示した情報群であって、各コンテンツのタイトルや、映像内容のジャンル等が含まれる。例えば、コンテンツがＴＶ番組の場合には、ＥＰＧ等の電子番組表により、ＴＶ番組の放送日時やチャンネル、番組タイトル、番組概要、番組ジャンル、出演者リスト、制作者情報等の情報（番組情報）が提供されている。そのため、このＥＰＧを取得することが可能な場合には、各コンテンツの番組情報をコンテンツ情報として蓄積することとしてもよい。
また、ＶＯＤサービスやインターネット上での動画共有サービスの場合には、コンテンツに関する情報はタグ情報として予め埋め込んだ状態で配信されることがある。この場合、動画像データベース１１は、タグ情報をコンテンツ情報としてコンテンツとともに蓄積することになる。
なお、上記ではコンテンツ情報は予め設定された状態で提供される態様を説明したが、これに限らず、ユーザから操作装置を介して入力された情報をコンテンツ情報として、コンテンツと関連付けて蓄積する態様としてもよい。
また、動画像データベース１１に蓄積される何れか又は全てのコンテンツには、コンテンツを構成するフレーム単位で、当該フレームに関する情報がタグ情報等の形式により各フレームに予め付与されているものとする。以下、フレームに付与された情報をフレーム情報という。ここで「フレーム情報」とは、各フレームに固有の特性を示した情報群であって、各フレームに含まれた画像のタイトルやジャンル等が含まれる。つまり、上記のコンテンツ情報がコンテンツ単位での情報群であるのに対し、フレーム情報はフレーム単位での情報群となる。
フレーム情報としては、例えば、フレームに含まれる画像（以降、これをフレーム画像と呼ぶ）に映っている出演者の氏名などの情報、映っている場所や物、状態、ジャンルなどの人物やシーンを示す情報、（もし動画像中にチャプタが存在すれば）チャプタタイトル、チャプタ内容、さらには、フレーム単位での録画情報や番組（のコーナー）タイトル、サブタイトル、ジャンル、コンテンツ（のコーナー）概要、詳細等が挙げられる。
このフレーム情報は、コンテンツの作者や配信者（例えば、ＴＶ局やコンテンツ制作会社）により設定されることとしてもよいし、そのようなサービスを提供している会社や第三者（例えば、第三者のコンテンツ視聴者、動画像共有サービスの他のユーザなど）によって設定されることとしてもよい。また、ユーザ自身が操作装置を介して入力する態様としてもよい。
また、他の態様としては、映像表示装置１００の内部（或いは、外部の機器）でフレーム情報の付与に係る所定のアルゴリズムを用いることで、動画像データベース１１に蓄積したコンテンツの各フレームに対し、フレーム情報を自動的に付与する態様としてもよい。具体的には、顔認識という公知の技術を用いることで人物推定を行うことが可能であるため、この技術を用いて、動画像に含まれる任意のフレームに映っている出演者の人物推定を実行することで、この推定結果の人物名をタグ情報の形で当該フレームにフレーム情報として付与する態様としてもよい。なお、以上で説明したのはあくまでも一例であって、この情報の内容や情報の付与方法はこれに限定されるものではない。
また、上記では１フレーム毎にフレーム情報が付与されている例を示したがこれに限定されるものではない。例えば、動画像を構成する一連のフレームのうち、何れかのフレームにフレーム情報が付与されている態様としてもよいし、複数のフレームに対して各フレーム分を表す一のフレーム情報が付与されている態様としてもよいし、１フレームに複数フレーム分のフレーム情報が付与されている態様としてもよい。
処理対象コンテンツ選択部１２は、動画像データベース１１に蓄積されたコンテンツ群の中から、一のコンテンツを処理対象のコンテンツとして選択するための機能部である。以下、処理対象コンテンツ選択部１２により選択されたコンテンツを、「処理対象コンテンツ」という。
なお、処理対象コンテンツの選択は種々の方法を採用することが可能である。例えば、動画像データベース１１に蓄積された各コンテンツの視聴状態（再生状態）を監視し、現在あるコンテンツが視聴状態にある場合には、その視聴しているコンテンツを処理対象のコンテンツとして選択する態様としてもよいし、何れのコンテンツも視聴状態にない場合には、直近に視聴されたコンテンツを処理対象のコンテンツとして選択する態様としてもよい。
また、表示部２３に表示されたＧＵＩ等に基づいて、ユーザから操作装置を介して特定のコンテンツが選択された場合には、このコンテンツを処理対象のコンテンツとして選択する態様としてもよい。
また、特定のキーワードやユーザの嗜好等を指定するプロファイル情報（図示せず）を予め用意しておき、このプロファイル情報の指定内容に基づいて、処理対象のコンテンツとして自動的に選択する態様としてもよい。例えば、プロファイル情報として、「サッカー番組」と指定されていた場合には、処理対象コンテンツ選択部１２は、動画像データベース１１に蓄積されたコンテンツ群のうち、番組情報等に「サッカー番組」と記された一のコンテンツを処理対象のコンテンツとして選択することになる。
また、映像表示装置１００に対する操作の履歴を履歴情報として記録しておき、この履歴情報に基づいて、ユーザが頻繁に視聴している番組のコンテンツを処理対象のコンテンツとして選択する態様としてもよい。
処理対象フレーム選択部１３は、処理対象コンテンツ選択部１２により選択された処理対象コンテンツから、当該処理対象コンテンツに含まれる少なくとも１つ以上のフレームを選択する機能部である。以下、処理対象フレーム選択部１３により選択されたフレームを、「処理対象フレーム」という。
また、処理対象フレーム選択部１３は、処理対象コンテンツのフレームレートに基づいて、処理対象フレームの更新タイミングを計時し、更新タイミングに達した際には処理対象フレームを更新する。
上述したように、処理対象コンテンツは、ＴＶ番組や映画等の動画データである。例えば、処理対象コンテンツがＴＶ番組であるとすると、通常、ＴＶ番組は３０フレーム／秒の動画像として構成されているため、３０分のＴＶ番組では５４０００フレームから構成されることになる。この場合、処理対象フレーム選択部１３は、処理対象コンテンツ（３０分のＴＶ番組）を構成する５４０００フレームから、少なくとも１つ以上のフレームを選択することになる。
なお、処理対象フレームの選択には種々の方法を用いることが可能である。例えば、処理対象コンテンツ選択部１２にて、現在視聴中のコンテンツが処理対処コンテンツとして選択された場合には、処理対象フレーム選択部１３は、現在までに視聴した最後のフレームを処理対象フレームとして選択することとしてもよい。つまり、ユーザがあるコンテンツを途中まで再生しているところならば、ユーザが見た最後のフレームが処理対象のフレームとなる。具体的には、ユーザがコンテンツを一時停止している場合には、この一時停止によって現在表示されているフレームが処理対象フレームとなる。
また、各コンテンツについての視聴状態（視聴の有無や、視聴した回数、どこまで視聴したかを示す情報等）を保持する場合には、この視聴状態に基づいて処理対象フレームを選択する態様としてもよい。例えば、ユーザが過去に処理対象コンテンツを途中まで視聴している場合には、視聴し終わったフレームのうち、何れかのフレーム（例えば、最後のフレーム）を処理対象フレームとして選択することができる。また、未視聴の処理対象コンテンツ或いは最後まで視聴されたことのある処理対象コンテンツに対しては、全フレームのうち何れかのフレーム（例えば、先頭フレーム）を処理対象フレームとして選択する態様としてもよい。
また、ユーザから操作装置を介して指定されたフレームを処理対象フレームとして選択する態様としてもよい。また、プロファイル情報に予め処理対象フレームを指定する情報を記しておき、この情報に基づいて処理対象フレームを選択する態様としてもよい。また、コンテンツ自体に処理対象フレームを指定する情報を含めておき、この情報に基づいて処理対象フレームを選択する態様としてもよい。
なお、上記では処理対象のフレームとして、１フレームのみを選択する例を示したが、処理対象フレームの個数はこれに限定されるものではない。処理対象フレームから２フレーム以上を同時に選択しても構わないし、カット検出と呼ばれる技術を用いて、処理対象コンテンツを特定のカット単位に分割し、分割されたカットに含まれる複数のフレームを選択することとしてもよい。また、このカット検出技術を用いて、分割されたカット単位にて、カットの先頭（や末尾）フレームを処理対象フレームとして選択することとしてもよい。
この場合、現在視聴しているフレームに最も近いカットの先頭（又は末尾）フレームを処理対象フレームとして選択することとしてもよい。また、分割されたカットの中に含まれる特徴的なフレームを処理対象フレームとすることとしてもよいし、カット中のフレームからランダムに処理対象フレームとすることとしてもよい。ここで「特徴的なフレーム」とは、例えば、フレーム同士の相関関係をパターン認識などの手法を用いて算出し、最も相関の高い（或いは、低い）フレームを算出する、フレームのヒストグラムを算出しその変化の大きい（或いは、小さい）フレームを算出する、等の手法により求めたフレームを意味する。また、これ以外の手法でも、何らかの基準にて、複数フレームから特定のフレームを抽出する手法を用いることが可能であり、その手法は問わないものとする。
コンテンツ情報取得部１４は、関連度算出部１７からの指示内容に応じ、コンテンツに関連付けて蓄積されたコンテンツ情報を動画像データベース１１から取得する。例えば、コンテンツ情報として番組情報がコンテンツと関連付けて蓄積されていた場合には、コンテンツ情報取得部１４は、このコンテンツの番組タイトルやサブタイトル、放送日時、チャンネル、ジャンル、概要等の情報を取得することになる。
フレーム情報取得部１５は、関連度算出部１７からの指示内容に応じ、動画像データベース１１に蓄積されたコンテンツから、特定のコンテンツ内のフレームに付与されているフレーム情報を取得する。
フレーム画像解析部１６は、関連度算出部１７からの指示内容に応じ、動画像データベース１１に蓄積された特定のコンテンツを構成する少なくとも１つ以上のフレームに含まれた画像の画像特性を解析する。具体的に、フレーム画像解析部１６は、フレームに含まれた画像に対し画像認識技術を用いて解析することで、この画像に映っている人物の特定、場所の特定、行動の特定、状況の特定、シーンの構造の特定等を行う。
フレーム画像解析部１６が用いる画像認識技術は、公知の技術を利用することが可能である。例えば、画像認識技術の例として顔画像認識技術を用いて、画像に撮影されているものの特徴点の算出などを行い、その算出された特徴点が顔の構造となっているか（眼、鼻、口の位置や構造が顔を構成しているか）を判別することで、その画像に映っているものが顔であるかどうかを判定することができる。
また、特徴点を算出するのではなく、テンプレートマッチと呼ばれる手法を用いて、画像に映っているものが顔であるかどうかを判定する態様としてもよい。また、ある特定の人物の顔を特徴付けたデータを予め登録しておき、画像にその人物が写っているかどうか判定する態様としてもよく、さらに、多数の人物の顔を特徴付けたデータを用いて、画像に映っている人がいるか否かを判定し、写っている場合それが誰なのかを認識する態様としてもよい。フレーム画像解析部１６は、このような顔認識技術を用いることで、例えば、あるフレーム画像には、人物Ｈ１とＨ２とが映っていると判定することが可能となる。
また、シーン認識技術等を用いて、フレーム画像がどのようなシーン構造であるのか解析することも可能である。例えば、画像の輝度ヒストグラム値を計算することで、画像の輝度分布などを解析することができる。これにより、画像のコントラスト差などの情報を得ることができる。つまり、暗いシーンであるのか、明るいシーンであるのか、画面内変化の大きなシーンであるのか、少ないシーンであるのか等を判別することができる。フレーム画像解析部１６は、このようなシーン認識技術を用いることで、例えば、あるフレーム画像は野球をやっているシーンであると解析することが可能となる。
関連度算出部１７は、コンテンツ情報取得部１４、フレーム情報取得部１５及びフレーム画像解析部１６の少なくとも１つ以上の機能部により取得された情報を基に、互いに異なる２つのコンテンツ間の関連度を算出する。
以下、図２を参照して、関連度算出部１７の動作を説明する。図２は、関連度算出部１７により実行される関連度算出処理の手順を示したフローチャートである。なお、本処理の前提として、動画像データベース１１に蓄積されたコンテンツＣ１とコンテンツＣ２との関連度を算出するものとする。
まず、関連度算出部１７は、関連度の算出にコンテンツ情報、即ち、コンテンツ情報取得部１４を利用するか否かを判定する（ステップＳ１０１）。なお、コンテンツ情報を利用するか否かは、ユーザから操作装置等を介して指定される態様としてもよいし、図示しない設定情報に予め規定されている態様としてもよい。
ステップＳ１０１において、コンテンツ情報を利用しないと判定した場合には（ステップＳ１０１；Ｎｏ）、ステップＳ１０７の処理に直ちに移行する。また、ステップＳ１０１において、コンテンツ情報を利用すると判定した場合（ステップＳ１０１；Ｙｅｓ）、関連度算出部１７は、関連度の算出対象となる一つめのコンテンツ（コンテンツＣ１）を決定すると（ステップＳ１０２）、このコンテンツＣ１に関連付けられたコンテンツ情報（コンテンツ情報Ｃ１１）を、コンテンツ情報取得部１４を用いて取得する（ステップＳ１０３）。ここで、算出対象となるコンテンツＣ１は、関連コンテンツ算出部１８からの指示に応じて決定するものとする。
続いて、関連度算出部１７は、関連度の算出対象となる二つめのコンテンツ（コンテンツＣ２）を決定すると（ステップＳ１０４）、このコンテンツＣ２に関連付けられたコンテンツ情報（コンテンツ情報Ｃ２１）を、コンテンツ情報取得部１４を用いて取得する（ステップＳ１０５）。ここで、算出対象となるコンテンツＣ２は、関連コンテンツ算出部１８からの指示に応じて決定するものとする。
次いで、関連度算出部１７は、ステップＳ１０３で取得したコンテンツ情報Ｃ１１と、ステップＳ１０５で取得したコンテンツ情報Ｃ２１との類似度に基づいて、コンテンツＣ１に対するコンテンツＣ２の関連度ＲＣを算出し（ステップＳ１０６）、ステップＳ１０７の処理に移行する。ここで、関連度ＲＣの算出は、下記式（１）を用いて算出することができる。
Figure 2009080580
上記式（１）において、Ｎはコンテンツ情報取得部１４で取得可能なコンテンツ情報の総数を意味している。また、コンテンツ情報Ｃ１１（ｎ）、Ｃ２１（ｎ）の「（ｎ）」は、コンテンツ情報取得部１４で取得されるｎ番目のコンテンツ情報を意味している。また、ｆａn（Ｃ１１（ｎ）、Ｃ２１（ｎ））は、コンテンツ情報Ｃ１１（ｎ）とＣ２１（ｎ）との関連度をＲＣnとして返す関数であり、Ｗａnは重みを示す値（ｎ＝１、・・・、Ｎ）である。
ここでコンテンツ情報として取得される情報は上述の通り多岐に渡るが、以下、説明を簡略化するため、コンテンツ情報は{録画日時、コンテンツのタイトル、チャンネル、ジャンル、出演者リスト}の５つの集合である（Ｎ＝５）とし、これら５つのコンテンツ情報を先頭からｎ＝１、２、・・・、５であるとして説明を進める。
すると、コンテンツＣ１に対するＣ２の関連度ＲＣは、下記に示した５つの関連度ＲＣ1〜ＲＣ5の重み付き線形和で表すことができる。
ＲＣ1＝ｆａ1（コンテンツ情報Ｃ１１の録画日時、コンテンツ情報Ｃ２１の録画日時）
ＲＣ2＝ｆａ2（コンテンツ情報Ｃ１１のタイトル、コンテンツ情報Ｃ２１のタイトル）
ＲＣ3＝ｆａ3（コンテンツ情報Ｃ１１のチャンネル、コンテンツ情報Ｃ２１のチャンネル）
ＲＣ4＝ｆａ4（コンテンツ情報Ｃ１１のジャンル、コンテンツ情報Ｃ２１のジャンル）
ＲＣ5＝ｆａ5（コンテンツ情報Ｃ１１の出演者リスト、コンテンツ情報Ｃ２１の出演者リスト）
ｆａ1は例えば、録画日時が近い程大きな値をとり、遠くなる程小さな値を取る関数である。具体的には、例えば、ＣＯ１／｜ｒｅｃ＿ｄａｔａ（Ｃ１１）−ｒｅｃ＿ｄａｔａ（Ｃ２１）｜等の関係式を用いることができる。ここで、ｒｅｃ＿ｄａｔａ（ｘ）は、ｘの録画日時を一意の整数化する関数であり、ある基準日時を０として、そこからの経過秒数などに整数化する関数である。またＣＯ１は任意の定数であり、｜Ｘ｜はＸの大きさを示す関数であり、典型的には絶対値である。
なお、ここでは、ｆａ1（Ｃ１１、Ｃ２１）＝ｇ（ｒｅｃ＿ｄａｔａ（Ｃ１１）−ｒｅｃ＿ｄａｔａ（Ｃ２１））とした場合、ｇ（ｘ）＝ＣＯ１／｜Ｘ｜という関数であるｇを用いた例を示したが、これに限定されるものではない。Ｌ２ノルムなどを使用するようなｇ、例えば、ｇ（ｘ）＝ＣＯ１／｜｜ｘ｜｜のようなものであってもよい。この場合、｜｜ｘ｜｜は、ｘを構成するそれぞれの要素の差の自乗合計の平方根をとったものとなる。
また、ｇ（ｘ）は、シグモイド関数等を用いてもよいし、ガンマ関数等を用いてもよい。なお、上記ではコンテンツ情報Ｃ１１とＣ２１が近い時に大きな値をとるような例を示したが、これに限定されるものではない。逆に小さな値をとるように構成することとしてもよい。また、特定の条件の時に大きな値をとるような関数ｇを用いることもできる。
ｆａ2は例えば、コンテンツ情報Ｃ１１とＣ２１とのタイトル文字列に同様の文字列が多く含まれている程大きな値をとるような関数で実現される。例えば、Ｃ１１のタイトルが“あいうえお”、Ｃ２１のタイトルが“かきうえこ”ならば、間の“うえ”の２文字が両者に含まれている。一方、“あいうえお”と“かきくけお”の場合は、１文字が両者に含まれているため、前者の方がｆａ2の値が大きくなる。
以上では単純に両者に含まれている文字数の比較による例を示したが、これに限定されるものではない。例えば、先頭からの共通の文字数が多い方をより大きな値をとるようにする、であるとか、共通の文字が無くても、同様の概念を含むものならば共通と見なすとかといったような条件をさらに加えることとしてもよい。後者の例としては、例えば、“野球”と“ベースボール”を同様とみなし、これらがそれぞれに含まれている場合は、共通文字列が含まれていると見なすなどといったようなものである。
また、メインの文字列が同じで、サブの文字列がことなる場合には、これらは共通のシリーズのコンテンツであることが多いため、このような場合には、よりｆａ2の値を大きくするなどといったこともあり得る。例えば、“あいうえお＃２”と、“あいうえお＃３”は、同じドラマコンテンツの異なる回であるとみなせるため、このような場合には、ｆａ2の値を２倍するなどといったようなものである。なお、以上での説明はあくまでも一例であり、曖昧検索などの公知の技術を用いたり、正規表現による検索などの公知の技術を用いたりすることで、以上で説明したよりも高度な比較を行うことが可能となる。
ｆａ3は例えば、コンテンツ情報Ｃ１１とＣ２１とのチャンネルが同じ場合は大きな値ととるような関数である。単純には、チャンネルが同じ場合は、値ＣＯ２を、そうでない場合には値０をとる関数として実現できる。ここで、ＣＯ２は任意の定数である。さらに拡張して、同系列のチャンネルの場合には、別の値をとるようにしてもよい。例えば、同じ系列局の場合には、値ＣＯ２／２を返す関数とすることとしてもよい。また、同系列だが放送メディアが異なるような場合には、ＣＯ２／４を返す関数とすることとしてもよい。なお、以上で説明した態様はあくまでも一例であり、任意の関数を用いることが可能である。
ｆａ4は例えば、コンテンツ情報Ｃ１１とＣ２１とのジャンルが同じ場合は大きな値をとるような関数である。例えば、Ｃ１１とＣ２１とが双方とも「スポーツ」というジャンルの場合、値ＣＯ３を、そうでない場合には値０を取り、さらに、Ｃ２１がＣ１１のサブジャンルである場合、例えば、Ｃ１１のジャンルが「スポーツ」、Ｃ２１のジャンルが「野球」である場合には、ＣＯ３／２を取るような関数とすることとしてもよい。また、Ｃ１１のジャンルとＣ２１のジャンルが直接同じでなくとも双方の親となるジャンルが同じとなる場合、例えば、Ｃ１１のジャンルが「野球」、Ｃ２１のジャンルが「サッカー」の場合には、双方の親ジャンルは「スポーツ」で同じであるため、ＣＯ３／４を取るといった関数とすることとしてもよい。なお、以上で説明した態様はあくまでも一例であり、任意の関数を用いることが可能である。
ｆａ5はｆａ4と同様である。例えば、コンテンツ情報Ｃ１１とＣ２１との登場人物リストが夫々「ＷＷ、ＸＸ、ＹＹ」、「ＸＸ、ＹＹ、ＺＺ」の場合には、共通の登場人物は２人となるため、２×ＣＯ４を取り（ここでＣＯ４は任意の定数値）、共通の登場人物が居ない場合には０を取るような関数を用いることができる。また、登場人物にはグループも含まれるため、ある登場人物ＫＫがグループＸＸのメンバであった場合、「ＶＶ、ＷＷ、ＸＸ」、「ＫＫ、ＹＹ、ＺＺ」のようなコンテンツ情報Ｃ１１、Ｃ２１があったときに、Ｃ１１にはグループＸＸが出演、すなわち、このメンバのＫＫも出演、Ｃ２１にはグループＸＸは出演していないが、メンバであるＫＫは出演しているため、このような場合には、ＣＯ４／２を返すようにすることとしてもよい。
同様に、登場グループや登場人物の関係が定義される場合、例えば、グループＸＸとグループＹＹは同じ所属事務所であるなどといったような場合には、ＣＯ４／４を返すといったようにも拡張することとしてもよい。この場合、人物とグループ間の関係又は各人物、グループの所属する所属事務所間の関係は、コンテンツ情報内に定義されている態様としてもよいし、動画像データベースに予め蓄積しておく態様としてもよいし、外部のサーバ（情報サイト）から取得する態様としてもよい。
なお、以上では、登場人物リストに登場する人に対して関連度の区別をしない例を示したが、これに限定されるものではない。登場人物リストに出現する順番によって、さらに重み付けされる態様としてもよい。例えば、コンテンツ情報Ｃ１１の１番目に出てくる人との比較の場合は算出した関連度はそのままとし、２番目ならば関連度を１／２、３番目なら１／３とするといったように出現する順番に応じて重み付けを変化させることとしてもよい。また、コンテンツ情報Ｃ１１での順番とＣ２１での順番を両方とも加味する態様としてもよい。例えば、コンテンツ情報Ｃ１１の２番目の人物と、コンテンツ情報Ｃ２１の３番目の人物とを比較する場合、コンテンツ情報Ｃ１１の２番目ならば１／２、コンテンツ情報Ｃ２１の３番目ならば１／３となるため、トータルの関連度を１／２×１／３＝１／６とするようにしてもよい。また、コンテンツ情報として、主演などの情報を用いて、主演者に対する関連度の重み付けを変えるようにしてもよい。例えば、主演の場合には算出した関連度を２倍するといったように重み付けを変化させることができる。
図２に戻り、続くステップＳ１０７では、関連度算出部１７は、関連度の算出にフレーム情報、即ち、フレーム情報取得部１５を利用するか否かを判定する（ステップＳ１０７）。なお、フレーム情報を利用するか否かは、コンテンツ情報と同様、ユーザから操作装置を介して設定される態様としてもよいし、図示しない設定情報に予め設定されている態様としてもよい。
ステップＳ１０７において、フレーム情報を利用しないと判定した場合には（ステップＳ１０７；Ｎｏ）、ステップＳ１１３の処理に直ちに移行する。また、ステップＳ１０７において、フレーム情報を利用すると判定した場合には（ステップＳ１０７；Ｙｅｓ）、関連度算出部１７は、関連度の算出対象となる一つめのフレーム（フレームＦ１）を決定すると（ステップＳ１０８）、このフレームＦ１に関連付けられたフレーム情報（フレーム情報Ｆ１１）を、フレーム情報取得部１５を用いて取得する（ステップＳ１０９）。ここで、フレームＦ１は、関連コンテンツ算出部１８から入力される情報に基づいて決定するものとするが、上述したコンテンツＣ１に含まれた一連のフレーム群のうち、何れか一のフレームであるものとする。
続いて、関連度算出部１７は、関連度の算出対象となる二つめのフレーム（フレームＦ２）を決定すると（ステップＳ１１０）、このフレームＦ２に関連付けられたフレーム情報（フレーム情報Ｆ２１）を、フレーム情報取得部１５を用いて取得する（ステップＳ１１１）。ここで、フレームＦ２は、関連コンテンツ算出部１８から入力される情報に基づいて決定するものとするが、上述したコンテンツＣ２に含まれた一連のフレーム群のうち、何れか一のフレームであるものとする。
次いで、関連度算出部１７は、ステップＳ１０９で取得したフレーム情報Ｆ１１と、ステップＳ１１１で取得したフレーム情報Ｆ２１との類似度に基づいて、フレームＦ１とフレームＦ２との間の関連度、即ち、コンテンツＣ１に対するコンテンツＣ２の関連度ＲＦを算出した後（ステップＳ１１２）、ステップＳ１１３の処理に移行する。ここで、関連度ＲＦの算出は、下記式（２）を用いて算出することができる。
Figure 2009080580
上記式（２）において、Ｎはフレーム情報取得部１５で取得可能なフレーム情報の総数を意味している。また、フレーム情報Ｆ１１（ｎ）、Ｆ２１（ｎ）の「（ｎ）」は、フレーム情報取得部１５で取得されるｎ番目のフレーム情報を意味している。また、ｆｂn（Ｆ１１（ｎ）、Ｆ２１（ｎ））は、フレーム情報Ｆ１１（ｎ）とＦ２１（ｎ）との関連度をＲＦnとして返す関数であり、Ｗｂnは重みを示す値（ｎ＝１、・・・、Ｎ）である。
ここでフレーム情報として取得される情報は、上述の通り多岐に渡るが、以下、説明を簡略化するため、フレーム情報は{チャプタ（コーナー）タイトル、チャプタ（コーナー）ジャンル}の２つの集合である（Ｎ＝２）とし、これら２つのフレーム情報を先頭からｎ＝１、２であるとして説明を進める。
すると、フレームＦ１とＦ２との関連度ＲＦは、コンテンツ情報の関連度の場合と同様に、下記に示した２つの関連度ＲＦ1、ＲＦ2の重み付き線形和で表すことができる。
ＲＦ1＝ｆｂ1（フレーム情報Ｆ１１のチャプタタイトル、フレーム情報Ｆ２１のチャプタタイトル）
ＲＦ2＝ｆｂ2（フレーム情報Ｆ１１のチャプタジャンル、フレーム情報Ｆ２１のチャプタジャンル）
なお、ｆｂ1、ｆｂ2は、例えばステップＳ１０６での手法（それぞれｆａ2、ｆａ4に対応）と同様の関係式にて算出することが可能である。
図２に戻り、関連度算出部１７は、関連度の算出にフレーム画像解析情報、即ち、フレーム画像解析部１６を利用するか否かを判定する（ステップＳ１１３）。なお、フレーム画像解析情報を利用するか否かは、コンテンツ情報と同様、ユーザから操作装置を介して設定される態様としてもよいし、図示しない設定情報に予め設定されている態様としてもよい。
ステップＳ１１３において、フレーム画像解析情報を利用しないと判定した場合には（ステップＳ１１３；Ｎｏ）、ステップＳ１１９の処理に直ちに移行する。
また、ステップＳ１１３において、フレーム画像解析情報を利用すると判定した場合には（ステップＳ１１３；Ｙｅｓ）、関連度算出部１７は、関連度の算出対象となる一つめのフレーム（フレームＦ１）を決定し（ステップＳ１１４）、このフレームＦ１に関するフレーム画像解析情報（フレーム画像解析情報Ｇ１１）を、フレーム画像解析部１６を用いて取得する（ステップＳ１１５）。ここで、フレームＦ１は、関連コンテンツ算出部１８から入力される情報に基づいて決定するものとするが、上述したフレームＦ１と同じフレームであるものとする。そのため、ステップＳ１０８の処理によりフレームＦ１が既に決定されている場合には、ステップＳ１１４の処理を省略してもよい。
続いて、関連度算出部１７は、関連度の算出対象となる二つめのフレーム（フレームＦ２）を決定し（ステップＳ１１６）、このフレームＦ２に関するフレーム画像解析情報（フレーム画像解析情報Ｇ２１）を、フレーム情報取得部１５を用いて取得する（ステップＳ１１７）。ここで、フレームＦ２は、関連コンテンツ算出部１８から入力される情報に基づいて決定するものとするが、上述したフレームＦ２と同じフレームであるものとする。そのため、ステップＳ１１０の処理によりフレームＦ２が既に決定されている場合には、ステップＳ１１６の処理を省略してもよい。
次いで、関連度算出部１７は、ステップＳ１１５で取得したフレーム画像解析情報Ｇ１１と、ステップＳ１１７で取得したフレーム画像解析情報Ｇ２１との類似度に基づいて、フレームＦ１とフレームＦ２との間の関連度、即ち、コンテンツＣ１に対するコンテンツＣ２の関連度ＲＧを算出した後（ステップＳ１１８）、ステップＳ１１９の処理に移行する。ここで、関連度ＲＧの算出は、下記式（３）を用いて算出することができる。
Figure 2009080580
上記式（３）において、Ｎはフレーム画像解析部１６で取得可能なフレーム画像解析情報の総数を意味している。また、フレーム画像解析情報Ｇ１１（ｎ）、Ｇ２１（ｎ）の「（ｎ）」は、フレーム画像解析部１６で取得されるｎ番目のフレーム画像解析情報を意味している。また、ｆｃn（Ｇ１１（ｎ）、Ｇ２１（ｎ））は、フレーム画像解析情報Ｇ１１（ｎ）とＧ２１（ｎ）との関連度をＲＧnとして返す関数であり、Ｗｃnは重みを示す値（ｎ＝１、・・・、Ｎ）である。
ここでフレーム画像解析情報として取得される情報は、上述の通り多岐に渡るが、以降、説明を簡単にするために、フレーム画像解析情報は、{顔認識情報、輝度ヒストグラム情報}、の２つの集合である（Ｎ＝２）とし、これら２つのフレーム画像解析情報を先頭からｎ＝１、２であるとして説明を進める。すると、フレームＦ１とＦ２との関連度ＲＧは、コンテンツ情報の関連度及びフレーム情報の関連度の場合と同様に、下記に示した２つの関連度ＲＧ1、ＲＧ2の重み付き線形和で表すことができる。
ＲＧ1＝ｆｃ1（フレームＦ１の顔認識情報、フレームＦ２の顔認識情報）
ＲＦ2＝ｆｃ2（フレームＦ１の輝度ヒストグラム情報、フレームＦ２の輝度ヒストグラム情報）
ここで、ｆｃ1は、例えば、フレームＦ１の顔認識情報と、フレームＦ２の顔認識情報との類似度を算出するための関数である。顔認識情報として、認識した個人を特定可能な名前やＩＤなどが抽出されている場合、それが同じかどうかを判定し、例えば、同じならばＣＯ５（任意の定数）を、そうでなければ０を返す関数などで実現される。顔認識情報として顔認識に用いたパラメータが取得されている場合には、この２つのパラメータを比較し、どの程度似ているのかをさらに判定することができる。パラメータの比較は、通常は、２つのパラメータをベクトルと見なし、２つのベクトルの成す角度によって判定される。成す角度が０に近いほど両パラメータは相似しており、なす角度が大きくなるほど似ていないとみなすことができるため、この逆数などを用いれば似ている場合に大きな値が出力されることになる。
また、ｆｃ2は、例えば、輝度ヒストグラム同士の類似度を算出するための関数であり、簡単には、輝度ヒストグラムにおける各輝度値の差の大きさを合計することで得られる。具体的には、Ｈｉｓｔ（Ｘ）をＸの輝度ヒストグラムとすると、ＣＯ６／（Σ｜Ｈｉｓｔ(Ｆ１)−Ｈｉｓｔ（Ｆ２）｜）等として求めることができる。ここで、ＣＯ６は任意の定数である。輝度ヒストグラムの差が少ない場合には、画像フレーム同士の傾向が似ていると言える。
なお、上記では関連度ＲＧを算出する関数の一例を示したが、これに限定されるものではなく、２つの値の相関関係を値として表せるものであれば、任意の関数を用いることが可能である。
図２に戻り、続くステップＳ１１９では、関連度算出部１７が、これまでに算出した関連度（ＲＣ、ＲＦ、ＲＧ）を、下記式（４）を用いて加算することで、コンテンツＣ１に対するＣ２の総合的な関連度Ｒを算出し（ステップＳ１１９）、本処理を終了する。
Figure 2009080580
ここで、関連度ＲＣには、ステップＳ１０６で算出した値が代入され、ステップＳ１０１にてコンテンツ情報を利用しないと判定した場合には０となる。同様に、関連度ＲＦにはステップＳ１１２で算出した値が代入され、ステップＳ１０７にてフレーム情報を利用しないと判定した場合には０となる。また、関連度ＲＧにはステップＳ１１８で算出した値が代入され、ステップＳ１１３にてフレーム画像解析情報を利用しないと判定した場合には０となる。なお、ｗｘ、ｗｙ、ｗｚは重みを表す係数である。
図１に戻り、関連コンテンツ算出部１８は、関連度算出部１７を用いることで、処理対象コンテンツ選択部１２で選択された処理対象コンテンツと、動画像データベース１１に蓄積された各コンテンツとの間の関連度を算出させ、処理対象コンテンツと関連度の高いコンテンツ群を関連度と対応付けてリストアップする。
以下、図３を参照して、関連コンテンツ算出部１８の動作を説明する。図３は、関連コンテンツ算出部１８により実行される関連コンテンツ算出処理の手順を示したフローチャートである。なお、本処理の前提として、処理対象コンテンツ及び処理対象フレームは、処理対象コンテンツ選択部１２及び処理対象フレーム選択部１３により選択されているものとする。
まず、関連コンテンツ算出部１８は、動画像データベース１１から検索対象とするコンテンツの条件を決定する（ステップＳ２０１）。ここでは、動画像データベース１１に蓄積された全てのコンテンツを検索対象とするが、設定により検索対象を絞り込むことも可能である。例えば、使用環境に応じて検索対象のコンテンツを絞り込むこととしてもよく、特定の日時以降に録画されたコンテンツのみを対象としてもよいし、特定のジャンルのコンテンツのみを対象としてもよいし、特定のタイトルを含むコンテンツのみを対象としてもよい。また、これらの絞り込み条件は、ユーザから操作装置を介して入力される態様としてもよいし、設定情報として予め設定されている態様としてもよい。
次いで、関連コンテンツ算出部１８は、 ステップＳ２０１で決定された条件に該当する全ての検索対象のコンテンツに対し、ステップＳ２０８の関連度算出処理を行ったか否かの判定を行う（ステップＳ２０２）。以下、検索対象のコンテンツを検索対象コンテンツという。
ステップＳ２０２において、全ての検索対象コンテンツを処理したと判定した場合には（ステップＳ２０２；Ｙｅｓ）、ステップＳ２０９の処理に直ちに移行する。一方、ステップＳ２０２において、全ての検索対象コンテンツに対して関連度算出処理を行っていないと判定した場合には（ステップＳ２０２；Ｎｏ）、関連コンテンツ算出部１８は、検索対象コンテンツの中から未処理の検索対象コンテンツを一つ選択する（ステップＳ２０３）。
続いて、関連コンテンツ算出部１８は、関連度の算出にフレーム情報を用いるか否かの判定を行う（ステップＳ２０４）。ここで、フレーム情報を用いるか否かの判定は、予めシステム設定として定められている態様としてもよいし、ユーザから操作装置を介して指示される態様としてもよい。
ステップＳ２０４において、フレーム情報を用いないと判定した場合には（ステップＳ２０４；Ｎｏ）、ステップＳ２０８の処理に直ちに移行する。一方、ステップＳ２０４において、フレーム情報を用いると判定した場合には（ステップＳ２０４；Ｙｅｓ）、関連コンテンツ算出部１８は、検索対象コンテンツ内において検索対象フレームを選択する条件を決定する（ステップＳ２０５）。
ここで、検索対象フレームを選択する条件としては、検索対象コンテンツに含まれる全てのフレームを検索対象フレームとすることとしてもよい。また、システム設定やユーザからの入力により、特定のフレームのみを検索対象フレームとする態様としてもよい。また、先頭フレームのみを検索フレームとすることとしてもよく、先頭からＮフレーム（Ｎはシステム設定、或いは、ユーザから与えられるフレーム数）のみを検索フレームとしてもよい。また、検索対象コンテンツのチャプタ分割結果を用いて、チャプタの先頭フレームの集合を検索フレームとしてもよいし、特定のフレーム情報を含むフレームの集合を検索フレームとしてもよい。
続いて、関連コンテンツ算出部１８は、全ての検索対処フレームに関して後述するステップＳ２０８の関連度算出処理を行ったか否かを判定し、処理したと判定した場合には（ステップＳ２０６；Ｙｅｓ）、ステップＳ２０２の処理に再び戻る。
一方、ステップＳ２０６において、未処理の検索対象フレームが存在すると判定した場合には（ステップＳ２０６；Ｎｏ）、ステップＳ２０３で決定した検索対象フレーム群のうち、ステップＳ２０５で決定した条件に該当する未処理の検索対象フレームを一つ選択する（ステップＳ２０７）。
続いて、関連コンテンツ算出部１８は、処理対象コンテンツ及び処理対象フレームをコンテンツＣ１及びコンテンツ情報Ｃ１１とするとともに、ステップＳ２０３で選択した検索対象コンテンツ及びステップＳ２０７で選択した検索対象フレームをコンテンツＣ２及びコンテンツ情報Ｃ２１として関連度算出部１７に通知することで、関連度算出部１７により関連度算出処理を実行させた後（ステップＳ２０８）、ステップＳ２０６の処理に再び戻る。なお、ステップＳ２０８の関連度算出処理は、図２で示した関連度算出処理と同様であるため、説明は省略する。
ステップＳ２０８において、フレーム情報を用いる場合、一対の処理対象コンテンツと検索対象コンテンツに対し、検索対象フレームの条件に合致する検索対象フレーム数分の処理対象フレームとの関連度が算出されることになる。関連コンテンツ算出部１８では、これを例えば関連度が高い順に１つにまとめ、一対の処理対象コンテンツと検索対象コンテンツにおける関連度の集合として管理する。具体的には、処理対象コンテンツと処理対象フレームは一意であり、ある検索対象コンテンツに対し、検索対象フレームの条件に合致する検索対象フレームがＮ個ある場合には、処理対象コンテンツに対し、ある検索対象コンテンツからはＮ個の関連度が算出される。このＮ個の関連度の集合を処理対象コンテンツに対する各検索対象コンテンツの関連度と定義する。
そして、関連コンテンツ算出部１８は、ステップＳ２０９において、これまでに算出された処理対象コンテンツに対するＭ個（ここでＭは、ステップＳ２０１で決定した条件に合致するコンテンツ数）の関連度を用いて、処理対象コンテンツと動画像データベース１１に蓄積された検索対象コンテンツ群との関連度のリストを生成し、これを関連度が大きい順に並べ替え一覧表として管理した後（ステップＳ２０９）、本処理を終了する。
以下、上記した関連コンテンツ算出部１８の動作を纏める。処理対象コンテンツをＸとし、このＸにおける処理対象フレームをＸ（ｎ）、検索対象コンテンツの総数をＭとしたとき、ｍ個目の検索対象コンテンツがＹｍ（ｍ＝０，・・・，Ｍ−１）であったとする。さらに、検索対象コンテンツＹｍのｐ個目の検索対象フレームをＹｍ（ｐ）であるとする（ＰｍをＹｍの検索対象フレーム数とすると、ｐ＝０，・・・，Ｐｍ−１）。ここで、フレーム情報を用いる場合、検索対象コンテンツＹｍに対し、Ｐｍ−１個の関連度の値の集合｛Ｒ（ｍ，０），・・・，Ｒ（ｍ，Ｐｍ−１）｝が得られることになる。なお、Ｒ（ｘ，ｙ）は、検索対象コンテンツｘにおける検索対象フレームｙとの関連度を表している。
つまり、検索対象コンテンツの関連度は、｛ｍ∈Ｙｍ｜｛Ｒ（ｍ，０），・・・，Ｒ（ｍ，Ｐｍ−１）｝｝で表され、Ｍ個の検索対象コンテンツの１つずつにそれぞれＰｍ個（ｍ＝０，・・・，Ｍ−１）の関連度（フレーム情報レベル）が存在している。このとき、処理対象コンテンツにおける検索対象コンテンツｍの関連度Ｒ（ｍ）を以下のように定義する。
Ｒ（ｍ）＝ｍａｘ（Ｒ（ｍ，０），・・・，Ｒ（ｍ，Ｐｍ−１））
ここで、ｍａｘは、最大を返す関数である。つまりＲ（ｍ）は、Ｒ（ｍ，０），・・・，Ｒ（ｍ，Ｐｍ−１）の中の最大の関連度となる。
なお、上記では最大の関連度を検索対象コンテンツｍにおける関連度としたが、これに限定されるものではない。例えば、平均値となるＲ（ｍ）＝（Ｒ（ｍ，０）＋・・・＋Ｒ（ｍ，Ｐｍ−１））／Ｐｍを関連度とすることもできる。また、Ｒ（ｍ，０），・・・，Ｒ（ｍ，Ｐｍ−１）の中間値（メディアン）を関連度としてもよい。これ以外の算出方法であっても構わない。また、フレーム情報を用いない場合には、ｍ個のそれぞれの検索対象コンテンツに対する関連度の値が単にリストアップされることになる。
図１に戻り、表示対象コンテンツ選択部１９は、関連コンテンツ算出部１８でリストアップされたコンテンツ群から、所定の条件に適合するコンテンツを表示対象コンテンツとして選択するためのものである。また、同時に、処理対象コンテンツ選択部１２で選択された処理対象コンテンツも表示対象コンテンツとして選択される。
ここで所定の条件としては、例えば、コンテンツ数が挙げられる。システム設定或いはユーザ入力によって得られた限度コンテンツ数がＮ個の場合、関連コンテンツ算出部１８でリストアップされた検索対象コンテンツ数（関連度を算出した検索対象コンテンツ数）がＮを超える場合には、関連度の値の大きい方からＮ個を表示対象コンテンツ群として選択する。なお、所定の条件はコンテンツ数に限定されるものではない。
また、録画日が特定の日時以降である場合や、特定のジャンルである場合などといった絞り込み条件を単一或いは複合的に使用することができる。これらの絞り込み条件を用いた選択には、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６で取得されたコンテンツ情報、フレーム情報、フレーム画像解析情報に含まれる１つ以上の情報を用いることが可能であり、上述したコンテンツ数、録画日時、ジャンルに限定されるものではない。結果として、表示対象コンテンツ選択部１９では、処理対象コンテンツ選択部１２で選択された処理対象コンテンツ及び関連コンテンツ算出部１８でリストアップされたコンテンツ群のうち、所定の条件に適合するコンテンツが表示対象コンテンツとして選択されることになる。
コンテンツ可視化部２０は、コンテンツ情報取得部１４にて取得されたコンテンツ情報、フレーム情報取得部１５で取得されたフレーム情報、フレーム画像解析部１６で取得されたフレーム画像解析情報、コンテンツに含まれるフレーム画像の少なくとも１つ以上を用いて、表示対象コンテンツ選択部１９で選択された表示対象コンテンツの可視化を行う。ここで、「表示対象コンテンツの可視化」とは、各表示対象コンテンツ及びコンテンツ情報を用いて象徴化することで、各表示対象コンテンツを視覚的に識別可能な状態で表すことを意味する。
具体的に、コンテンツ可視化部２０は、ＣＧ（コンピュータグラフィックス）技術を用い、例えば、図４−１、図４−２に示したように、表示対象コンテンツを特徴付ける各要素をレイアウトすることで可視化を行う。
ここで、図４−１は、可視化した表示対象コンテンツの一例を示した図である。同図に示したように、矩形で表現される背景Ａ１０の上に、フレーム画像Ａ１１、番組タイトルＡ１２、録画日時Ａ１３、チャンネル名Ａ１４が重畳されている。ここで、番組タイトルＡ１２、録画日時Ａ１３、チャンネル名Ａ１４は、コンテンツ情報取得部１４により取得されたコンテンツ情報から抽出されている。
この場合、コンテンツ可視化部２０は、背景Ａ１０の表示サイズに大きさ合わせた板状のポリゴンを用意し、図４−１のようなレイアウトとなるよう、ポリゴンの表面の一部（或いは全部）にフレーム画像Ａ１１をテクスチャマッピングする。ここで、フレーム画像Ａ１１は、サムネイル画像と呼ばれる形式で表すこととしてもよい。この場合、フレーム画像をフレーム画像Ａ１１の表示エリアに合わせる形で縮小（或いは拡大）することになる。
また、番組タイトルＡ１２，録画日時Ａ１３，チャンネル名Ａ１４といった文字情報は、この文字を可視化した画像をテクスチャ画像として夫々生成し、各テクスチャ画像を所定の位置に所定のサイズでポリゴンの表面の一部にテクスチャマッピングする。なお、文字の可視化には様々な方法が提案されているが、例えば、ベクトルデータで表現された文字データをＣＧ技術におけるシェーダ技術を用いてテクスチャデータとして可視化（レンダリング）する公知の技術（Yoshiyuki Kokojima, et al., Resolution-Independent Rendering of Deformable Vector Objects Using Graphics Hardware, Sketches, SIGGRAPH2006, 2006.等参照）を用いて実現することが可能である。
また、フレーム画像Ａ１１は、コンテンツ可視化部２０の外部（例えば、処理対象フレーム選択部１３）から指定されたフレーム番号を用いて、動画像データベース１１から取得することができる。さらに、取得したフレーム画像をそのままの状態で用いるだけではなく、その一部をクロップすることで一部分のみを用いてもよいし、拡大・縮小などを行って異なる解像度の画像として使用してもよい。クロップは、例えば、取得したい画像サイズでフレーム画像の情報量が最も大きくなるような範囲を選ぶことで指定する。これは、取得したい画像サイズの窓を用いてフレーム画像をスキャンし、その窓内のエントロピーを算出して、最もエントロピーが大きくなるような窓の部分をクロップ画像として決定することで実現可能である。
なお、上記はあくまでも一例であり、任意の基準にてクロッピングを行えばよい。また、単に拡大・縮小により異なる解像度を得るだけではなく、リターゲッティングという技術を用いて、異なる解像度の画像を生成して、それを利用してもよい。リターゲッティングとは、そのフレーム画像の特徴を最もよく表すように、適応的に解像度変換を行う技術であり、様々な技術が研究・開発されている。本発明では、これらの技術を適宜用いて、その結果をフレーム画像Ａ１１として利用することができる。
また、フレーム画像Ａ１１は、表示対象コンテンツから取得されるチャプタ情報などを用いて、任意のチャプタ先頭やチャプタ先頭から任意のフレーム目などのフレーム画像を取得し、このフレーム画像を用いてもよい。さらに、表示対象コンテンツから算出される盛り上がり度などを利用して、最も盛り上がっているフレームのフレーム画像を用いてもよい。ここで、盛り上がり度は、例えば、表示対象コンテンツの音声情報を用いて、音声の波形が大きなレベルを保つ部分を盛り上がっているところとするなどの公知技術を用いることができる。
なお、図４−１では可視化する要素として、背景Ａ１０、フレーム画像Ａ１１、番組タイトルＡ１２、録画日時Ａ１３、チャンネル名Ａ１４を用いることとしたが、これらに限定されるものではない。例えば、図４−２に示したように、背景Ａ１０の上に、フレーム画像Ａ１１と番組タイトルＡ１２のみを重畳することとしてもよい。また、要素のレイアウトは図４−１、図４−２の例に限定されず、任意のレイアウトが可能であるものとする。
なお、上記で説明した文字の可視化の手法はあくまでも一例であって、これに限定されることなく、他の手法を用いることが可能である。例えば、背景Ａ１０は、所定の色で塗られる態様としてもよいし、テクスチャマッピングにより所定の画像が貼付される態様としてもよい。この場合、例えば、コンテンツ情報取得部１４で取得したコンテンツのジャンル情報を用い、そのジャンルがスポーツの場合には背景Ａ１０を青く塗り、そのジャンルがドラマの場合には背景Ａ１０を黄色くするといったように、コンテンツの種別に基づいて色を変化させることとしてもよい。
以上の動作により可視化された表示対象コンテンツを見れば、そのコンテンツのジャンル、タイトル名、録画日時、チャンネル、コンテンツ等の内容を画像で表現したサムネイルを一覧して見ることが可能である。以下、コンテンツ可視化部２０により可視化された表示対象コンテンツを「可視化コンテンツ」という。
可視化コンテンツ群配置部２１は、関連コンテンツ算出部１８で算出された関連度に基づいて、コンテンツ可視化部２０により可視化された可視化コンテンツ群を仮想的な三次元空間内（以下、仮想空間という）に配置する。
以下、図５、図６を参照し、可視化コンテンツ群配置部２１により仮想空間内に配置された可視化コンテンツ群について説明する。ここで、図５、６は、仮想空間内に配置された可視化コンテンツ群の例を示した図であって、図５は仮想空間の上方（Ｚ軸の正側の遠方）から見た状態を、図６は図５と同じ空間で且つ同じ配置の条件の下、仮想空間の前方、つまりＹ軸正側の遠方よりややＺ軸正側から見た状態を示している。
図５、６において、可視化コンテンツ２０１や可視化コンテンツ２０２は、コンテンツ可視化部２０で生成された可視化コンテンツを示している。ここで、可視化コンテンツ２０１は、処理対象コンテンツに対応する可視化コンテンツであって、円錐状からなる配置座標系の頂点に配置されている。また、可視化コンテンツ２０１以外の他の可視化コンテンツ２０２は、表示対象コンテンツ選択部１９により所定の条件に適合するコンテンツとして選択された表示対象コンテンツの可視化コンテンツである。可視化コンテンツ群配置部２１は、これら可視化コンテンツ群を仮想的な三次元空間内に配置するため、仮想空間を観察（レンダリング）する視点（観察視点）を変えることで、図６に示したように同じ配置でも違った見え方となる。なお、観察視点は、ユーザから操作装置を介して任意の位置に変更できるものとする。
次に、図７、図８−１、図８−２を参照して、可視化コンテンツ群配置部２１による可視化コンテンツの配置動作について説明する。
図７は、可視化コンテンツ群配置部２１により実行される、可視化コンテンツ群配置処理の手順を示したフローチャートである。まず、可視化コンテンツ群配置部２１は、処理対象コンテンツに対応する可視化コンテンツ２０１を仮想空間内に配置する（ステップＳ３０１）。ここで、処理対象コンテンツは、処理対象コンテンツ選択部１２で選択されたコンテンツであって、関連コンテンツ算出部１８で算出された各々のコンテンツの関連度の基準となるものである。
ここで、可視化コンテンツ２０１の配置位置は、例えば、仮想空間の原点（ｘ，ｙ）＝（０，０）に配置するとともに、その可視化コンテンツの法線方向をｚ軸、つまり法線ベクトル＝（０，０，１）として配置する。このような手順により、処理対象コンテンツ（可視化コンテンツ）は、図８−１、図８−２に示した可視化コンテンツ２０１の位置に配置されることになる。
ここで、図８−１は配置対象となる仮想空間を上方（Ｚ軸の正側の遠方）から見た図であって、図中中央が原点（ｘ，ｙ）＝（０，０）となっている。なお、図８−１に示したように、原点（ｘ，ｙ）＝（０，０）を中心とするＸＹ平面での各方位方向には、ジャンルの種類が予め割り振られているものとする。また、図８−２は、配置対象となる仮想空間を正面（Ｙ軸の正側の遠方）から見た図であって、図中示した円錐形状の軸（破線部）方向がＺ軸となっている。
図７に戻り、可視化コンテンツ群配置部２１は、全ての配置対象コンテンツを配置したか否かを判定する（ステップＳ３０２）。ここで、「配置対象コンテンツ」とは、表示対象コンテンツ選択部１９で選択された表示対象コンテンツ群の夫々を、コンテンツ可視化部２０を用いて可視化した可視化コンテンツを意味する。
ステップＳ３０２において、全ての配置対象コンテンツを配置したと判定した場合には（ステップＳ３０２；Ｙｅｓ）、本処理を終了する。一方、ステップＳ３０２において、未配置の可視化コンテンツが存在すると判定した場合には（ステップＳ３０２；Ｎｏ）、次に配置を行う配置対象コンテンツを決定する（ステップＳ３０３）。配置対象コンテンツの決定は、未配置の配置対象コンテンツの中から任意に１つ選べばよい。例えば、未配置の配置対象コンテンツのうち、関連コンテンツ算出部１８で得られた関連度の最も大きいものを選択する態様としてもよい。
続いて、可視化コンテンツ群配置部２１は、ステップＳ３０３で決定した配置対象コンテンツの関連度を、関連コンテンツ算出部１８から取得する（ステップＳ３０４）。
次いで、可視化コンテンツ群配置部２１は、ステップＳ３０３で決定した配置対象コンテンツのコンテンツ情報、フレーム情報、フレーム画像解析情報のうち、使用するものをコンテンツ可視化部２０から取得する（ステップＳ３０５）。以下、一例として、コンテンツ情報に含まれたジャンル（ジャンル情報）を用いる場合について説明するが、これに限定されるものではない。
可視化コンテンツ群配置部２１は、ステップＳ３０３で決定した配置対象コンテンツの配置位置を決定し（ステップＳ３０６）、この決定した位置に配置対象コンテンツを配置する（ステップＳ３０７）。
ここで、ステップＳ３０６での配置位置の決定は、以下のような手順により行われる。まず、可視化コンテンツ群配置部２１は、配置対象コンテンツのコンテンツ情報に含まれたジャンル情報に基づいて、仮想空間内におけるＸＹ平面上での配置位置を決定する。具体的に、可視化コンテンツ群配置部２１は、配置対象コンテンツのジャンル情報とＸＹ平面における各方位に割り振られたジャンル情報とを比較し、一致した方位をＸＹ平面上での配置位置として決定する。
図８−１では、ＸＹ平面上での方位を８分割した例を示しており（方位Ｄ１〜Ｄ８）、分割された各方位に夫々異なるジャンル情報の種類を予が割り振られている。例えば、配置対象コンテンツに係るジャンル情報が「バラエティ」であったとすると、可視化コンテンツ群配置部２１は、この配置対象コンテンツの仮想空間におけるＸＹ平面上での配置位置を方位Ｄ２と決定する。
なお、図８−１では、方位Ｄ２に「バラエティ」、方位Ｄ６に「スポーツ」、方位Ｄ８に「ドラマ」を割り振った例を示しているが、これに限定されるものではない。また、ジャンル以外の種別を方位方向に割り当てることもできる。
また、各方位への割り振りは固定的であるとは限らず、利用時の環境に応じて動的に変化させることとしてもよい。例えば、ユーザの過去の操作履歴（図示せず）を参照し、頻繁に視聴している番組のジャンル順に、各方位に割り振ることとしてもよい。また、ユーザから操作装置を介して入力される指示情報により、各方位への割り振りを変えることとしてもよい。さらに、各方位に割り振る情報は、１つの情報であるとは限らず、例えば、方位Ｄ１と方位Ｄ２にはジャンルを、方位Ｄ３には録画日時を、といったように、複数の種別の情報を同時に割り当てる態様としてもよい。
次に、可視化コンテンツ群配置部２１は、ステップＳ３０４で取得された配置対象コンテンツの関連度に基づいて、仮想空間内におけるＺ軸上での配置位置を決定する。具体的には、図８−２に示したように、仮想空間内に円錐形状の配置座標系を設け、配置対象コンテンツを配置する円錐台のＺ軸上の位置を決定する。ここで円錐台の中心はＺ軸と直交しており、Ｚ軸上での値（Ｚ値）が大きいほど関連度が大きく、Ｚ値が小さいほど関連度が小さいものを配置する。
例えば、処理対象コンテンツに対応する可視化コンテンツ２０１を配置した位置を上底面となる円錐台Ｂ１とし、この円錐台Ｂ１の半径を所定の定数ｒ１とした場合、この上底面のＺ軸上の位置Ｚ１から関連度の大きさに応じた分だけ離間したＺ軸上の位置Ｚ２（Ｚ１＞Ｚ２）を算出し、この位置に半径ｒ２（ｒ１＜ｒ２）の下底面（図８−１、８−２、円錐台Ｂ２、Ｂ３参照）を生成する。ここで、半径ｒ２は、位置Ｚ２の値と円錐形状の配置座標系から求めることができる。
そして、可視化コンテンツ群配置部２１は、生成した下底面のＺ軸上の位置Ｚ２を配置対象コンテンツを配置するＺ座標（Ｚ値）とするとともに、先に決定したＸＹ面での方位（例えば、Ｄ２）と下底面との交わる点を、配置対象コンテンツを配置するＸ、Ｘ座標とすることで、仮想空間内における配置対象コンテンツの配置位置を決定する。
なお、関連度に対応する円錐台のＺ軸上での位置（Ｚ値）は、上底面、下底面を設ける際のパラメータ（例えば、配置座標系（円錐）の高さや、底面の半径等）が定まっており、関連度の値からＺ値への変換が定まっていれば、簡単な幾何式を解くだけで一意に決定することが可能である。本実施形態では、仮想空間上に設ける配置座標系のパラメータは、予め定められているものとするが、これに限らず、操作履歴やユーザから操作装置を介して入力される指示情報に基づいて変更することも可能である。
また、上述したＺ１からＺ２の導出に係る、関連度に応じたＺ値の変換式も予め定められているものとする。例えば、「Ｚ２＝ＣＯ７×（関連度の最大値−あるコンテンツの関連度）」等の関係式を用いて求めることが可能である。ここで、ＣＯ７は任意の定数である。Ｚ２の導出に係る関係式は、これに限定されるものではなく、関連度に応じて一意にＺ２を導出できるような関係式であればよい。
また、上記では関連度からＺ２への関係式を連続関数としたが、これに限らず、例えば、「Ｚ値＝ｒｏｕｎｄ（Ａ×（関連度値の最大値−あるコンテンツの関連度値））」等の関係式を用いることで、離散的にＺ値を決定することとしてもよい。ここで、「ｒｏｕｎｄ」は、小数点以下を四捨五入する関数を意味している。つまり、いくつかの関連度に対して、同じＺ値が出力されることになる。また、この関係式についても、操作履歴やユーザから操作装置を介して入力される指示情報に基づいて変更することも可能である。
上記の動作により、例えば、関連度がｖ１、ジャンル情報がバラエティである可視化コンテンツは、ステップＳ３０７の処理において、図８−１、図８−２における可視化コンテンツ２０２ａとして円錐台Ｂ２の縁部に配置される。また、関連度値がｖ２（＜ｖ１）で、ジャンルがスポーツである可視化コンテンツは、図８−１、８−２で示した可視化コンテンツ２０２ｃとして円錐台Ｂ３の縁部に配置される。なお、可視化コンテンツ２０２ｂ、２０２ｄ、２０２ｅについても同様に、各可視化コンテンツのジャンル及び関連度に応じた仮想空間内の位置に配置される。
このように配置することで、図８−１に示されたように仮想空間を上から見ると、可視化コンテンツ２０２ａと２０２ｃはジャンルが異なっているということが容易に識別することが可能となる。また図８−２のように、仮想空間を横から見た場合に、可視化コンテンツ２０２ａの方が可視化コンテンツ２０２ｃよりも、可視化コンテンツ２０１との間の関連度が大きいということを容易に識別することが可能となる。
図７に戻り、続くステップＳ３０８では、可視化コンテンツ群配置部２１は、既配置コンテンツの配置位置の修正が必要か否かを判定し、必要ないと判定した場合には（ステップＳ３０８；Ｎｏ）、ステップＳ３０２の処理へと再び戻る。ここで、「既配置コンテンツ」とは、仮想空間内に既に配置された可視化コンテンツを意味する。
例えば、図８−1、８−２で説明した配置方法（ステップＳ３０６での具体例）を用いた場合、同じ関連度、同じジャンルのコンテンツが複数あると、両者はまったく同じ位置に配置されることになる。この場合、後段の空間可視化部２２にて仮想空間を可視化した場合、両者を区別することが困難となる。また、同じジャンルで比較的近い関連度を持っているコンテンツが複数ある場合でも同様に、複数の可視化コンテンツ（の一部）が重なってしまうことになるため、可視化コンテンツの夫々の内容を判別するのが困難となる。
ステップＳ３０８の処理は、このような状況を解消するための処理であり、配置された可視化コンテンツ間の位置関係が所定値以内となるか否かを判定することで、配置位置の修正を行う必要があるか否かを判断する（ステップＳ３０８）。ここで、判定の基準となる「所定値」は、表示する際の可視化コンテンツの大きさや、後述する空間可視化部２２において仮想空間を表示する際の視点方向に基づいて、その値を動的に変更するものとする。例えば、図８−１に示したように、仮想空間を上部から見た状態で表示する際には、各可視化コンテンツのＸＹ座標についての二次元的な位置関係を判定するものとし、また、図８−２に示したように、仮想空間を側部から見た状態で表示する際には、ＸＹＺ座標についての３次元的な位置関係を判定するものとする。
ステップＳ３０８において、既配置コンテンツの配置位置の修正が必要と判定した場合には（ステップＳ３０８；Ｙｅｓ）、可視化コンテンツ群配置部２１は、既配置コンテンツの配置位置の調整を行った後（ステップＳ３０９）、ステップＳ３０２の処理に移行する。
ステップＳ３０９での修正方法は複数考えられるが、以下、いくつかの典型的な修正方法について説明する。まず１つ目の修正方法としては、図９−１〜図９−６に示したように、配置順序やその位置関係を予め定めた位置修正情報（図示せず）を用いて、既配置コンテンツの配置位置を修正する方法が挙げられる。
例えば、仮想空間内に配置された５つの可視化コンテンツ２０３ａ、２０３ｂ、２０３ｃ、２０３ｄが同じジャンルで、且つ、比較的近い関連度を持っていたとする。この場合、これら可視化コンテンツの配置位置は、局所的に集中することになるため、例えば、図９−１で示した可視化コンテンツ２０３ａの位置に重なってしまうことがある。このような場合、位置修正情報に基づいて、各可視化コンテンツの配置位置をずらすことで、可視化コンテンツ同士が重ならないよう配置位置を調整することができる。
ここで、図９−１は、位置修正情報に基づいて、重畳した可視化コンテンツの配置位置を横方向（図中矢印方向）にずらす修正を行った例を示している。この場合、可視化コンテンツ２０３ａの位置の隣に次に可視化コンテンツ２０３ｂの位置を修正し、さらに、可視化コンテンツ２０３ｂの位置の隣に次の可視化コンテンツ２０３ｃを、というように横方向に可視化コンテンツ同士が重ならないよう配置位置を修正することになる。
なお、ここでは、説明を簡単にするために可視化コンテンツ同士が重ならないように修正する例を示すが、これに限定されるものではない。例えば、位置修正情報に許容可能な重なり量を予め定めておくことで、図９−２に示したように、許容範囲内での重なりを有した状態で配置位置を修正することとしてもよい。
また、図９−３は、位置修正情報に基づいて、重畳した可視化コンテンツの配置位置を縦方向にずらす修正を行う例を示している。さらに、図９−１と図９−３の修正パターンを組み合わせることで、図９−４に示したように、まず横方向にＮ個配置するように修正した後、次の列に移り、また横方向にＮ個配置するといったように修正することを位置修正情報に定めてもよい。図９−５、図９−６は、もう少し複雑な配置を行う例であり、配置位置が修正された後の可視化コンテンツ群が三角形、或いは、扇形等に見えるよう位置修正情報に定めることとしてもよい。
なお、以上で説明した配置の修正方法はあくまでも一例であり、これに限定されるものではない。修正後の配置された可視化コンテンツ群が円形や楕円形、ダイヤ形などの任意の幾何形状に見えるように配置位置を修正してもよいし、一見無秩序の配置されているようでも、一意に配置方法を定めることができるような修正であれば、どのような配置パターンを用いても構わない。
次に、２つ目の修正方法としては、修正後の配置位置をランダム値（乱数）を用いて決定する方法が挙げられる。ここで、図１０のフローチャートを参照して、ランダム値を用いた配置位置の修正に係る処理（配置位置修正処理）の手順を説明する。
まず、可視化コンテンツ群配置部２１は、修正対象となる全ての可視化コンテンツに関して修正後の配置位置を決定したか否かを判定する（ステップＳ４０１）。ここで、修正対象となる全ての可視化コンテンツに関して修正後の配置位置を決定したと判定した場合には（ステップＳ４０１；Ｙｅｓ）、本処理は直ちに終了する。
一方、ステップＳ４０１において、未処理の可視化コンテンツが存在すると判定した場合には（ステップＳ４０１；Ｎｏ）、修正対象となった可視化コンテンツのうち、一の未処理の可視化コンテンツを修正対象に決定する（ステップＳ４０２）。
次いで、可視化コンテンツ群配置部２１は、修正対象の可視化コンテンツの位置の修正値をランダムに算出する（ステップＳ４０３）。続いて、可視化コンテンツ群配置部２１は、ステップＳ４０２で算出した修正値を配置位置とした修正対象の可視化コンテンツと、修正済みの可視化コンテンツとの重なり領域のサイズを夫々算出する（ステップＳ４０４）。
次に、可視化コンテンツ群配置部２１は、ステップＳ４０４で算出した重なり領域のサイズが、所定の基準を満たしているかの判定を行う（ステップＳ４０５）。ここで、しきい値等の所定の基準は予め定められているものとするが、ユーザから操作装置を介して入力される態様としてもよいし、操作履歴などに基づいて変更する態様としてもよい。
例えば、重なり領域のサイズを０とするという基準ならば、可視化コンテンツ同士の重なりが無くなるように位置を修正するといったものである。典型的には、重なり領域のサイズをＸ以下とするなどとして与えられている。ここで、Ｘは絶対的な領域サイズ量であるとしてもよいし、可視化コンテンツの面積の１０％などといった相対量で指示される態様としてもよい。
ステップＳ４０５において、基準を満たしていないと判定した場合には（ステップＳ４０５；Ｎｏ）、ステップＳ４０２の処理に再び戻る。また、ステップＳ４０５において、基準を満たしていると判定した場合（ステップＳ４０５；Ｙｅｓ）、ステップＳ４０２で算出した修正値を配置位置とした修正対象の可視化コンテンツと、修正済みの可視化コンテンツとの間の距離を夫々算出する（ステップＳ４０６）。ここで、「距離」は、例えば、各可視化コンテンツの左上座標などの特定の部分を、可視化コンテンツを代表する位置であると定義し、この位置同士間の距離を算出する。
続いて、可視化コンテンツ群配置部２１は、ステップＳ４０６で算出した距離が、所定の距離基準を満たしているか否かを判定する（ステップＳ４０７）。ここで、「距離基準」とは、可視化コンテンツ間の距離を制御するための条件であって、例えば、離れすぎるのを抑制するためのものである。なお、距離基準には、許容可能な離間距離離の範囲が予め定められているものとするが、これに限らず、ユーザから操作装置を介して入力される値や、操作履歴などを用いて変更可能であるものとする。
ステップＳ４０７において、距離条件を満たさないと判定した場合には（ステップＳ４０７；Ｎｏ）、ステップＳ４０２の処理に再び戻る。また、ステップＳ４０７において、距離条件を満たすと判定した場合には（ステップＳ４０７；Ｙｅｓ）、可視化コンテンツ群配置部２１は、以上の処理で算出した修正値を、修正対象の可視化コンテンツの位置の修正値として決定した後（ステップＳ４０８）、ステップＳ４０１の処理に再び戻る。
以上の処理を全ての修正対象の可視化コンテンツに対して行い、決定された修正値に基づいて配置位置を修正することで、可視化コンテンツ同士は、特定の基準（重なり量、距離）を満たす範囲でランダムに配置されることになる。
３つ目の修正方法としては、上記１つ目と２つ目の方法を組み合わせた方法が挙げられる。まず１つ目の方法で大体の修正位置を決定し、その位置をランダム値によってさらに補正する方法である。ランダム値による補正方法は、上述した配置位置決定処理（図１０参照）と同様の手順を用いることができる。この際、距離基準は２つ目の方法よりも小さい値を用いることが好ましい。こうすることで、１つ目の方法では画一的に可視化コンテンツが並ぶのに対し、２つ目の方法で、ある程度秩序性を崩して可視化コンテンツを並べることが可能となる。これにより、マクロでは秩序的、ミクロでは無秩序的な配置を実現することが可能となる。
４つ目の修正方法としては、修正対象の可視化コンテンツ群を全体的な基準から配置位置の修正を行う方法が挙げられる。例えば、修正対象の可視化コンテンツ群を、夫々バネモデルを用いて結合し、このバネモデルで結合された可視化コンテンツ群から形成されるネットワークがバネモデルのエネルギーが平衡になるような配置を求め、これを夫々の修正位置とするといったものである。
１つ目の方法は秩序的な配置を行うものであり、２つ目の方法は無秩序的な配置を行うものであったが、この４つ目の方法は、その両者の利点を兼ね備えた方法ということができる。つまり、個々では無秩序に配置されているようであるが、全体をみると秩序的に配置されているというものである。バネモデルに関しては、様々な公知技術が提案されており、これらの技術を用いることが可能である。
また、単なるバネモデルだけではなく、可視化コンテンツ群を群衆とみなし、群衆シミュレーション技術などを用いて、可視化コンテンツ群の配置を決定することで、配置位置の修正を行うこともできる。群衆シミュレーションとしては、例えば、Ｂｏｉｄモデルなどを用いればよい。なお、以上で説明した手法はあくまでも一例であり、これに限定されるものではなく自由に用いることができる。
以上の処理により例えば、処理対象コンテンツを除く可視化コンテンツが５つあった場合、それぞれのジャンルや関連度値によって、５つの可視化コンテンツは仮想空間内の円錐台の縁部近傍の位置にそれぞれ配置される（図８−１、図８−２の可視化コンテンツ２０２ａ〜２０２ｅ）。また、原点位置には、処理対象コンテンツの可視化コンテンツが配置される（図８−１、図８−２の可視化コンテンツ２０１）。
図１に戻り、空間可視化部２２は、関連コンテンツ算出部１８で算出した関連度、コンテンツ可視化部２０で可視化する際に用いた情報、可視化コンテンツ群配置部２１での配置結果の情報、の何れか１つ以上を用いて、可視化コンテンツ群配置部２１にて配置位置が決定された可視化コンテンツ毎に画像処理及びＣＧ処理を施し、可視化コンテンツ群が含まれる空間の様子を所定の視点条件にて可視化する。
以下、図１１を参照して、空間可視化部２２の動作を説明する。図１１は、空間可視化部２２により実行される空間可視化処理の手順を示したフローチャートである。
まず、空間可視化部２２は、全ての可視化コンテンツに対し、ステップＳ５０２の処理を行ったか否かの判定を行う（ステップＳ５０１）。ここで、「全ての可視化コンテンツ」とは、可視化コンテンツ群配置部２１にて仮想空間に配置された可視化コンテンツ群のことを意味する。
ステップＳ５０１において、全ての可視化コンテンツを処理したと判定した場合には（ステップＳ５０１；Ｙｅｓ）、ステップＳ５０３の処理に移行する。また、ステップＳ５０１において、未処理の可視化コンテンツが存在すると判定した場合には（ステップＳ５０１；Ｎｏ）、空間可視化部２２は、未処理の可視化コンテンツ毎に、ＣＧ処理・画像処理を実行し（ステップＳ５０２）、ステップＳ５０１に再び戻る。なお、ステップＳ５０２の処理では、種々のＣＧ処理及び画像処理が実行される。以下、幾つかの例を挙げて、具体的なＣＧ処理や画像処理について説明する。
画像処理としては、例えば、可視化コンテンツに含まれる画像フレーム（図４における１０１）に対して、その配置位置に応じてぼかしフィルタを適用するなどが考えられる。ぼかしフィルタとしては、ガウシアンフィルタ、ローパスフィルタ、平均値フィルタ、メディアンフィルタなどがあるが、これらの画像への適用度合いを、可視化コンテンツの配置位置、例えばＺ値によって変更する。具体的には、Ｚ値が小さくなるほど、ぼかしが強くなるようにする。こうすることで、図５のように空間をＺ軸情報から見た際に、より遠くに配置された可視化コンテンツほど、その画像フレームの部分がぼけていくといった効果が得られる。なお、以上では画像処理として「ぼかし」を適用する例を示したが、これに限定されるものではなく、任意のＣＧ処理を行うことができる。任意の画像処理を、可視化コンテンツの任意の部分に適用することが可能である。
ＣＧ処理の例としては、例えば、可視化コンテンツの半透明化が挙げられる。可視化コンテンツは、先述した通り、例えばＣＧのポリゴンによって実現されるが、このポリゴンの頂点のパラメータ、例えばα値を変更することで、ポリゴンを半透明にすることができる。こうすることで、図５に示されたように多くの可視化コンテンツ群が配置された場合でも、ある可視化コンテンツの下に隠れてしまっている可視化コンテンツが透けて見えるという効果が得られる。なお、以上ではＣＧ処理として半透明化をする例を示したが、これに限定されるものではなく、任意のＣＧ処理を行うことができる。
続いて、空間可視化部２２は、空間可視化用のパラメータを設定する（ステップＳ５０３）。具体的には、仮想空間をどのような方向から可視化するか、ＣＧ的に言えば、仮想空間をレンダリングするためのカメラ（視点）位置や方向、範囲などのパラメータの設定を行う。また、同時に、必要ならば、空間のレンダリングのための光源の位置や光源の強さ、範囲などのパラメータ設定も同時に行うこととしてもよい。
また、ステップＳ５０３の処理では、レンダリングの際の可視化範囲やどのようにレンダリングするかの設定などを行う。レンダリングの設定は、様々な方法があるが、例えば、シェーダプログラムを用いて、予め幾つかのレンダリング手法を定義しておき、これらからユーザ入力、或いは、システム設定値などを用いて使用するシェーダプログラムを決定し、これをＧＰＵに設定する。
次に、空間可視化部２２は、ステップＳ５０３で設定された空間可視化用のパラメータに従って、仮想空間をレンダリングすることで仮想空間の可視化を実行し（ステップＳ５０４）、本処理を終了する。具体的には、ステップＳ５０３までに設定されたＣＧパラメータに従って、ＣＧ空間をレンダリングする。これにより、可視化コンテンツ群配置部２１にて仮想空間内に配置された可視化コンテンツ群の様子が可視化される。
また、ステップＳ５０４の処理の際に、例えば、ボリュームシャドーと呼ばれるＣＧ技術を用いれば、可視化コンテンツが前後に重なっている場合に、奥のコンテンツ部分に、手前のコンテンツの影を落とすことも可能である。なお、この際には、影を落としたいコンテンツ群の手前側にライトを設定し、ボリュームシャドー技術を用いて影を付加させることになる。
また、同様の効果を、レンダリング後の画像にポストエフェクトとして画像処理することで実現することが可能である。また、ステップＳ５０４では、これに加え、可視化コンテンツ同士の付属の情報も同時に可視化する。例えば、図８−１に示したように、ＸＹ平面の各方位を表す軸や、各方位に割り振られているジャンル名、円錐台の等値面などを同時にレンダリングし、先の可視化コンテンツ群のレンダリングに重畳させる。さらに、以上で得られたレンダリング画像にポストエフェクト処理による画像処理を行っても構わないし、このレンダリング画像を用いて、別のシェーダプログラムを用いて、さらにレンダリングを行い、新たなレンダリング画像を得ることもできる。以上により、レイアウトされた可視化コンテンツ群を特定の視点から見た画像が生成される。
図１に戻り、表示部２３は、空間可視化部２２で可視化された仮想空間を表示画面に表示する。具体的には、空間可視化部２２でのレンダリング結果を表す画像を表示する。
以下、図１２を参照して、本実施形態の映像表示装置１００の全体動作について説明する。図１２は、映像表示装置１００の各機能部により実行される映像表示処理の手順を示したフローチャートである。
まず、処理対象コンテンツ選択部１２では、動画像データベース１１に蓄積されたコンテンツ群の中から、処理対象コンテンツを選択する（ステップＳ６０１）。次いで、処理対象フレーム選択部１３は、ステップＳ６０１で選択された処理対象コンテンツに含まれるフレーム群から、処理対象フレームを選択する（ステップＳ６０２）。
続いて、関連コンテンツ算出部１８は、関連コンテンツ算出処理を実行し、処理対象コンテンツと、検索対象コンテンツ群との間の関連度を示した一覧表を生成する（ステップＳ６０３）。なお、ステップＳ６０３の関連コンテンツ算出処理は、図３で説明した関連コンテンツ算出処理と同様であるため、その説明は省略する。
次いで、表示対象コンテンツ選択部１９は、ステップＳ６０３で生成された関連度の一覧表に基づいて、所定の条件に適合するコンテンツを、処理対象コンテンツとともに表示対象コンテンツとして選択すると（ステップＳ６０４）、コンテンツ可視化部２０は、これら各表示対象コンテンツの可視化を行う（ステップＳ６０５）。
次に、可視化コンテンツ群配置部２１は、ステップＳ６０５で可視化された各コンテンツ（可視化コンテンツ）に対し、可視化コンテンツ群配置処理を実行することで、仮想空間内の所定位置に各可視化コンテンツを配置する（ステップＳ６０６）。なお、ステップＳ６０６の可視化コンテンツ群配置処理は、図７で説明した可視化コンテンツ群配置処理と同様であるため、その説明は省略する。
続いて、空間可視化部２２が、空間可視化処理を実行することで、ステップＳ６０６で可視化コンテンツ群が配置された仮想空間を所定の視点条件でレンダリングすると（ステップＳ６０７）、このレンダリング結果を表示部２３に表示させる（ステップＳ６０８）。
次いで、処理対象フレーム選択部１３は、処理対象フレームが更新のタイミングに達したか否かを判定する（ステップＳ６０９）。具体的には、処理対象コンテンツが３０フレーム／秒のフレームレートの動画像の場合、約３３ミリ秒（１０００ミリ秒／３０フレーム）の間隔で更新のタイミングがくる。このタイミングを超えたと判定した場合（ステップＳ６０９；Ｙｅｓ）、更新のタイミングであるとして、ステップＳ６１０の処理に進む。そうで無い場合には、ステップＳ６０８に再び戻り画面表示を繰り返す。つまり、更新のタイミング未満の間隔で表示が行われている場合には、同じ画像が表示されることになる。
続くステップＳ６１０では、処理対象フレーム選択部１３が、処理対象フレームの更新が必要かの判定を行う（ステップＳ６１０）。ここで、更新が必要か否かの判定の基準は、特に問わないものとするが、本実施形態では、処理対象コンテンツに現在の処理対象フレームよりも後ろにフレームが存在する場合、つまり未表示のフレームが存在すると判定した場合に、処理対象フレームの更新が必要と判定が行われるものとする。
ステップＳ６１０において、処理対象フレームの更新が必要と判定した場合には（ステップＳ６１０；Ｙｅｓ）、処理対象フレーム選択部１３は、処理対象フレームを更新した後（ステップＳ６１１）、ステップＳ６０２の処理に再び戻る。ここで、処理対象フレームの更新とは、現在の処理対象フレームをクリアすることを意味する。
ステップＳ６０２の処理に戻ることで、処理対象フレーム選択部１３は、ステップＳ６１１で更新した新たなフレームを処理対象フレームとして選択する。本実施形態では、前回処理対象フレームして選択されていたフレームの次のフレームが、更新後の処理対象フレームとして選択されるものとする。なお、更新後の処理対象フレームの選択方法は、これに限定されるものではない。例えば、処理対象コンテンツがチャプタ分割されている場合には、次のチャプタの先頭フレーム（或いは、次のチャプタに含まれる任意のフレーム）を選択する態様としてもよい。また、現在のフレームが最終フレームの場合には、先頭フレームを選択する態様としてもよい。
以下、ステップＳ６０３〜Ｓ６０８の処理が実行されることで、更新後の処理対象フレームと関連性の高いコンテンツ群が、その関連性に従って仮想空間に配置された様子を観察することが可能となる。つまり、処理対象フレームが変化すると、関連するコンテンツ群の選ばれ方や、仮想空間内におけるレイアウトも変化するため、処理対象フレームの遷移とともに空間の可視化が動的に変化する様子を観察することができる。
一方、ステップＳ６１０において、処理対象フレームの更新は不要と判定した場合には（ステップＳ６１０；Ｎｏ）、処理対象コンテンツ選択部１２は、処理対象コンテンツの更新が必要か否かを判定する（ステップＳ６１２）。なお、本実施形態では、ユーザからの指示内容に基づいて更新の必要の有無を判定するものとし、例えば、操作装置等を介し、ユーザから別のコンテンツが新たな処理対象コンテンツとして選択された場合に、理対象コンテンツの更新が必要と判定する。
なお、処理対象コンテンツの更新の有無の判定は、上記の態様に限らないものとする。例えば、ユーザ入力によらず、処理対象コンテンツ選択部１２が自動的に処理対象コンテンツを選択されるような場合も考えられる。例えば、現在の処理対象コンテンツと最も関連度の高かったコンテンツを、新たな処理対象コンテンツとして自動的に選択する場合が考えられる。また、現在の処理対象コンテンツを除き、直近に録画したコンテンツを、新たな処理対象コンテンツとして自動的に選択する場合も考えられる。このような場合であっても処理対象コンテンツ選択部１２は、処理対象コンテンツの更新が必要と判定する。
ステップＳ６１２において、処理対象コンテンツの更新が不要と判定した場合には（ステップＳ６１２；Ｎｏ）、本処理は終了する。一方、ステップＳ６１２において、処理対象コンテンツの更新が必要と判定した場合（ステップＳ６１２；Ｙｅｓ）、処理対象コンテンツ選択部１２は、現在の処理対象コンテンツを更新し（ステップＳ６１３）、ステップＳ６０１の処理に戻ることで、指示されたコンテンツを新たな処理対象フレームとして選択する。ここで、処理対象コンテンツの更新とは、現在の処理対象コンテンツをクリアすることを意味する。
ステップＳ６０１の処理に戻ることで、処理対象コンテンツ選択部１２は、表示部２３からの指示に応じて、指示されたコンテンツを新たな処理対象フレームとして選択することになる。続いて、ステップＳ６０２〜Ｓ６０８の処理が実行されることで、更新後の処理対象コンテンツと関連性の高いコンテンツ群が、その関連性に従って仮想空間に配置された様子を観察することが可能となる。つまり、処理対象コンテンツが変化すると、関連するコンテンツ群の選ばれ方や、仮想空間内におけるレイアウトも変化するため、処理対象コンテンツの遷移とともに空間の可視化が動的に変化する様子を観察することができる。
このように、フレームの時系列的な流れに沿って処理対象フレームを順次遷移させることで、処理対象コンテンツ自体が再生されることになるため、例えば、図８−１の中心部に配置された可視化コンテンツ２０１が動画として再生されることになる。また、再生されるフレームの遷移に伴い、その動画全体及び／又はその動画の現在のフレームと関連度の高いコンテンツ群が、可視化されたコンテンツ群（図の２０２ａ〜２０２ｅなど）として、可視化コンテンツ２０１の周りにレイアウトされる様子が画面に表示されることになる。
図１３−１、図１３−２は、映像表示処理の動作を説明するための図である。図１３−１に示したように、例えば、処理対象コンテンツに対応する可視化コンテンツ２０１に料理に関するフレーム画像が表示されている場合には、可視化コンテンツ２０１の周辺に、この処理対象フレームと関連度の高いコンテンツ群（例えば、料理番組等）が周辺にレイアウトされることになる。
ここで、可視化コンテンツ２０１に表示されるフレームが切り替わり、図１３−２に示したように、特定の人物に関するフレーム画像が表示されると、このフレームの切り替わりに伴い、この特定の人物を表す処理対象フレームと関連度の高いコンテンツ群が可視化コンテンツ２０１の周辺にレイアウトされることになるため、図１３−１とは異なるコンテンツ群及びレイアウトとなる。
以上のように、本実施形態の映像表示装置１００によれば、処理対象のコンテンツと表示対象のコンテンツとの間の関連性を、仮想空間内に配置した可視化コンテンツ間の位置関係により表すことができるため、処理対象の動画像コンテンツと表示対象の動画コンテンツとの間の関連性を可視化することができる。これにより、ユーザは、処理対象のコンテンツと関連度の高いコンテンツ群がどのような分布で動画像データベース１１に存在しているのかを容易に知ることが可能となる。
なお、本実施形態では、動画像データベース１１を記憶装置に設けられたデータベースとしたが、これに限定されるものではない。例えば、データの蓄積、取得に用いるものもＨＤＤに限定されるものではなくＤＶＤ−ＲＡＭ等、他の記憶媒体であっても構わない。また、動画像データベース１１におけるデータの蓄積、管理のための記憶領域は単一の記憶領域とは限らず、ＨＤＤやＤＶＤ−ＲＡＭ等の複数の記憶媒体の記憶領域にまたがって蓄積されていてもよいし、各記憶領域は同一の機器内部にある必要もない。また、通信部を介してネットワーク接続された他の装置の動画像データベース１１にアクセスすることが可能な構成の場合、自己の装置の動画像データベース１１と、他の装置の動画像データベース１１とから一の動画像データベース１１を構成する態様としてもよい。
［第１の実施形態の変形例１］
次に、図１４を参照して、本実施形態の変形例１に係る映像表示装置１０１について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図１４は、映像表示装置１０１の機能構成を示したブロック図である。図１４に示したように、映像表示装置１０１は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、空間可視化部２２及び表示部２３に加え、配置履歴管理部２４と、可視化コンテンツ群配置部２５とを備えている。
なお、配置履歴管理部２４は、上述した記憶部により実現される機能部である。また、可視化コンテンツ群配置部２５は、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
配置履歴管理部２４は、可視化コンテンツ群配置部２５で決定された各可視化コンテンツのコンテンツ情報とその配置位置と関連度とを対応付け、履歴情報として記憶・管理する。また、配置履歴管理部２４は、可視化コンテンツ群配置部２５からのリクエストに応じて、履歴情報を読み出し可視化コンテンツ群配置部２５に出力する。なお、記憶する履歴情報の個数は特に問わないものとし、使用環境に応じて任意の設定が可能であるものとする。
可視化コンテンツ群配置部２５は、可視化コンテンツ群配置部２１と同様の機能を有するとともに、配置履歴管理部２４により記憶・管理された履歴情報を参照し、現在配置対象である可視化コンテンツの配置位置算出の際に利用する。
具体的には、例えば、現在配置対象である可視化コンテンツのコンテンツ情報と一致し、且つ、関連度が配置履歴管理部２４で得られた１ステップ前の関連度と同じ或いは近い値と判定した場合には、配置位置の算出計算を行わず、この関連度と対応付けて記憶された配位位置を当該可視化コンテンツの配置位置とする。ここで、「近い値」か否かの判定は、例えば｜Ｘ０−Ｘ１｜＜εの関係式に基づいて判定することができる。ここで、Ｘ０は現在配置対象にある可視化コンテンツの関連度、Ｘ１は履歴情報に記憶された関連度（例えば、前回配置対象となった可視化コンテンツの関連度）、εは任意の小さな定数である。なお、εの値は後述する映像表示処理での繰り返し毎に異なる値としてもよい。
また、可視化コンテンツ群配置部２５は、現在配置対象である可視化コンテンツのコンテンツ情報と一致し、且つ、関連度が配置履歴管理部２４で得られた１ステップ前の関連度と異なると判定した場合、即ち｜Ｘ０−Ｘ１｜＞εと判定した場合には、現在配置対象である可視化コンテンツのコンテンツ情報と同じコンテンツ情報を含んだ履歴情報のうち、過去の数ステップ分の履歴情報に含まれた配置位置を参照して、算出した配置位置を補正する。ここで補正は、例えば、過去数ステップ分の配置位置を時系列データと考え、これらが滑らかになるようにスプライン補間などのパラメトリック曲線補間を行い、現在の配置位置がこの補間曲線から大きく外れないように補間する。なお、以上はあくまでも一例であり、補間方法などは様々な手法を用いることが可能である。
以下、図１５を参照して、本実施形態の変形例１における可視化コンテンツの配置動作について説明する。図１５は、可視化コンテンツ群配置部２５により実行される、可視化コンテンツ群配置処理の手順を示したフローチャートである。まず、可視化コンテンツ群配置部２５は、処理対象コンテンツを仮想空間内に配置する（ステップＳ７０１）。
次いで可視化コンテンツ群配置部２５は、全ての配置対象コンテンツを配置したか否かを判定する（ステップＳ７０２）。ここで、「配置対象コンテンツ」とは、表示対象コンテンツ選択部１９で選択された表示対象コンテンツ群の夫々を、コンテンツ可視化部２０を用いて可視化したものを意味する。
ステップＳ７０２において、全ての配置対象コンテンツを配置したと判定した場合には（ステップＳ７０２；Ｙｅｓ）、本処理を終了する。一方、ステップＳ７０２において、未配置の可視化コンテンツが存在すると判定した場合には（ステップＳ７０２；Ｎｏ）、次に配置を行う配置対象コンテンツを決定する（ステップＳ７０３）。
続いて、可視化コンテンツ群配置部２５は、ステップＳ７０３で決定した配置対象コンテンツ（可視化コンテンツ）の関連度を、関連コンテンツ算出部１８から取得する（ステップＳ７０４）。
次いで、可視化コンテンツ群配置部２５は、ステップＳ７０３で決定した可視化コンテンツのコンテンツ情報、フレーム情報、フレーム画像解析情報のうち、少なくともコンテンツ情報を含む何れか又は全ての情報を取得する（ステップＳ７０５）。これらの情報は、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６から取得されたものであって、可視化コンテンツ群配置部２５は、コンテンツ可視化部２０を介して取得を行うものとする。
続いて、可視化コンテンツ群配置部２５は、配置履歴管理部２４により記憶・管理されている履歴情報を参照し、ステップＳ７０５で取得したコンテンツ情報と同じで、且つ、ステップＳ７０４で取得した関連度と一致又は近い値の履歴情報が存在するか否かを判定する（ステップＳ７０６）。
ステップＳ７０６において、履歴情報が存在しないと判定した場合には（ステップＳ７０６；Ｎｏ）、上述した図７のステップＳ３０６と同様の処理により、ステップＳ７０３で決定した配置対象コンテンツの配置位置を決定する（ステップＳ７０７）。なお、ステップＳ７０７において、可視化コンテンツ群配置部２５は、現在配置対象である可視化コンテンツのコンテンツ情報と同じコンテンツ情報を含んだ履歴情報のうち、過去の数ステップ分の履歴情報に含まれた配置位置を参照して、算出した配置位置の補正を行うものとする。
そして、可視化コンテンツ群配置部２５は、現在配置対象である可視化コンテンツのコンテンツ情報と、ステップＳ７０７で決定した配置位置と、をステップＳ７０４で取得した関連度と対応付け、履歴情報として配置履歴管理部２４に記憶した後（ステップＳ７０８）、ステップＳ７１０の処理に移行する。
一方、ステップＳ７０６において、ステップＳ７０４で取得した関連度と一致又は近い値の履歴情報が存在すると判定した場合には（ステップＳ７０６；Ｙｅｓ）、この関連度に対応付けて記憶された配置位置を配置履歴管理部２４から読み出し、この読み出した配置位置を今回の配置対象コンテンツの配置位置をとして決定した後（ステップＳ７０９）、ステップＳ７１０の処理に移行する。
続くステップＳ７１０において、可視化コンテンツ群配置部２５は、上述した図７のステップＳ３０７と同様の処理により、ステップＳ７０７又はステップＳ７０９で決定した配置位置に、配置対象コンテンツを配置する（ステップＳ７１０）。
次いで、可視化コンテンツ群配置部２５は、既配置コンテンツの配置位置の修正が必要か否かを判定し、必要ないと判定した場合には（ステップＳ７１１；Ｎｏ）、ステップＳ７０２の処理へと再び戻る。一方、ステップＳ７１１において、既配置コンテンツの配置位置の修正が必要と判定した場合には（ステップＳ７１１；Ｙｅｓ）、可視化コンテンツ群配置部２５は、既配置コンテンツの配置位置の修正を行った後（ステップＳ７１２）、ステップＳ７０２の処理に移行する。
また、上記した可視化コンテンツ群配置処理を行う場合、上述した映像表示処理（図１２参照）のステップＳ６０９；Ｎｏ時における再帰ループ先を、ステップＳ６０６とする。なお、ステップＳ６０６の可視化コンテンツ群配置処理は、図１５に示した可視化コンテンツ群配置処理が行われるものとする。
このように、第１の実施形態の変形例１の構成によれば、可視化コンテンツの配置位置算出の計算量が軽減できるだけでなく、処理対象フレームの変化に応じて変化する各可視化コンテンツの配置位置が不連続に動くことを抑制することが可能となり、空間に配置された可視化コンテンツが滑らかに動いて見えるようになる。具体的には、フレームの表示タイミング未満（例えば、約３３ミリ秒未満）の可視化位置を算出することが可能となるため、フレームの更新タイミング未満での空間可視化結果を反映した画面表示ができるため、空間可視化結果の表示レートが向上し、表示が滑らかに見えるという効果を奏する。
［第１の実施形態の変形例２］
次に、図１６を参照して、本実施形態の変形例２に係る映像表示装置１０２について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図１６は、映像表示装置１０２の機能構成を示したブロック図である。図１６に示したように、映像表示装置１０１は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、空間可視化部２２及び表示部２３に加え、配置状況解析部２６と、可視化コンテンツ群配置部２７とを備えている。
なお、配置状況解析部２６と、可視化コンテンツ群配置部２７とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
配置状況解析部２６は、可視化コンテンツ群配置部２７で決定された可視化コンテンツ群の配置位置の状況を解析することで、可視化コンテンツ群の配置の偏倚状態（例えば、特定の範囲に配置が偏っている、特定の範囲が過密状態・過疎状態になっている等）を判定し、その結果を可視化コンテンツ群配置部２７にフィードバックする。具体的には、ジャンル毎に配置された可視化コンテンツの量の比を解析することで、ジャンル毎での配置数がどのような割合となっているか算出し、その結果を可視化コンテンツ群配置部２７に出力する。また、仮想空間の単位面積あたりの配置数を算出し、その結果を可視化コンテンツ群配置部２７に出力する。
可視化コンテンツ群配置部２７は、基本的には第１の実施形態での説明と同様の動作を行うとともに、配置状況解析部２６から入力される配置状況の解析結果のフィードバックを用いて、可視化コンテンツ群の配置位置を変更する。第１の実施形態では、図８−１を用いて、配置位置の算出について説明した。以下、同様の例を用いて可視化コンテンツ群配置部２７の動作を説明する。
説明を簡単にするために、ジャンルがＡ，Ｂ，Ｃ，Ｄの４種類であるとする。配置状況解析部２６での配置状況の解析結果、ジャンルＡ，Ｂ，Ｃ，Ｄでの可視化コンテンツの配置数の比が１：１：１：１であったとすると、可視化コンテンツ群配置部２７は、図１７−１に示したように、この比によって得られる１／４ずつのエリアをそれぞれジャンルＡ，Ｂ，Ｃ，Ｄの配置範囲とする。
また、ジャンルＡ，Ｂ，Ｃ，Ｄでの可視化コンテンツの配置数の比が３：２：１：２だとすると、可視化コンテンツ群配置部２７は、図１７−２に示したように、この比によって得られるそれぞれ３／８，１／４，１／８，１／４のエリアをそれぞれジャンルＡ，Ｂ，Ｃ，Ｄの配置範囲とするように変更する。具体的に、可視化コンテンツ群配置部２７は、各エリア内に配置されるように、図７のステップＳ３０６での配置位置の決定及びステップＳ３０９での配置位置の修正を行う。
配置状況解析部２６及び可視化コンテンツ群配置部２７により配置位置の修正を行わない場合、可視化コンテンツ群の中にジャンルに対する隔たりがあると、配置後の仮想空間には、可視化コンテンツが非常に過密に配置される部分と、ほとんど配置されない部分が生じることになる。これにより、非常に過密に配置される部分の可視化コンテンツが見にくいという問題が生じる。しかしながら、上述のように、配置コンテンツの量に併せて配置範囲を適応的に変化すれば、このような問題は解消され、可視化コンテンツのジャンルの傾向に隔たりがあろうとも、常に見やすく配置することが可能となる。
また、配置状況解析部２６での配置状況の解析結果としてフィードバックされる「可視化コンテンツの単位辺りの配置量」を用いて算出する配置を変更することも可能である。ここで「可視化コンテンツの単位辺りの配置量」とは、仮想空間における単位面積あたりに、どのくらいの可視化コンテンツが配置されるかを示した数値（密度）である。密度が大きなところは過密に配置され、小さなところは過疎に配置されることになる。
そこで、例えば、この配置量（配置密度）の逆数を空間で定義し、その空間的な重心点を求めると、その空間で密度の平衡点（重心点）が定まる。この平衡点を原点として、仮想空間におけるＸＹ面の方位方向にジャンルをマッピングした例を図１８−２に示す。なお、図１８−１は、図１８−２と対比するための図であって、円錐台Ｂ１、Ｂ２、Ｂ３の中央を原点としたデフォルトの状態（図８−１、８−２の状態に対応）を示している。
このようにして原点をずらした後に、可視化コンテンツの配置位置の算出、修正などを行うことで、解析結果のフィードバック前に過密であった部分には、従前より大きな配置位置が割り当てられることになる（図１８−２のジャンルＢの配置範囲を参照）。この際、３次元的には、例えば、図１９に示したように、円錐の頂点を原点位置から、算出した重心点に移動することで実現される。これにより、従来過密な配置となって見にくかった部分が解消され、全体的に見やすくすることが可能となる。
なお、以上で説明した重心の算出手法はあくまでも一例である。この配置量（配置密度）の逆数を空間で定義し、その空間的な重心点を求める際、ＸＹ平面に射影して、２次元的な重心計算をおこない、その重心位置に、元のＺ値を併せて用いてもよい。また、Ｚ値をある程度の幅で離散値化して、その離散値化した幅毎にそれぞれ重心位置を算出するようにしてもよい。
このように、第１の実施形態の変形例２の構成によれば、仮想空間を可視化した際に、配置されている可視化コンテンツが過密の部分が軽減され、その部分の可視化コンテンツの内容が見やすくなるという効果を奏する。なお、以上で説明した比（割合）による手法、密度の逆数の重心点による手法はあくまでも一例であり、これに限定されるものではない。配置状況の解析結果を用いて、空間配置の際の過密、過疎といった配置を解消することができるような配置位置の修正手法ならば、同様に用いることが可能である。
［第１の実施形態の変形例３］
次に、図２０を参照して、本実施形態の変形例３に係る映像表示装置１０３について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２０は、映像表示装置１０３の機能構成を示したブロック図である。図２０に示したように、映像表示装置１０３は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２及び表示部２３に加え、第２の配置状況解析部２８と、表示対象コンテンツ選択部２９とを備えている。
なお、第２の配置状況解析部２８と、表示対象コンテンツ選択部２９とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
第２の配置状況解析部２８は、可視化コンテンツ群配置部２１で決定された可視化コンテンツ群の配置位置の状況を解析することで、可視化コンテンツ群の配置の偏倚状態（特定の範囲に配置が偏っている、特定の範囲が過密状態・過疎状態になっている等）を判定し、その結果を表示対象コンテンツ選択部２９にフィードバックする。具体的な動作は、第１の実施形態の変形例２に係る映像表示装置１０２の配置状況解析部２６と同様である。
表示対象コンテンツ選択部２９は、基本的には第１の実施形態での説明と同様の動作を行う。これに加え、第２の配置状況解析部２８の追加に伴う変更点がある。第１の実施形態では、関連コンテンツ算出部１８の結果のみを用いて、所望の条件に適合するコンテンツが表示対象コンテンツとして選択するのみであったが、これに加え、第２の配置状況解析部２８での解析結果から得られる可視化コンテンツ群配置後の空間の過密・過疎状況を踏まえ、過密な部分に配置される可視化コンテンツを制限する。
表示対象コンテンツ選択部２９は、第２の配置状況解析部２８による解析の結果、仮想空間での配置密度（単位面積辺りの配置数）が所定の量を超えた場合、予め定められた限定数に基づいて、その空間周辺に配置する可視化コンテンツ数を制限する。なお、可視化コンテンツ数を制限は、関連コンテンツ算出部１８で得られた関連度を用いて行い、関連度が大きい方から限定数を超えたコンテンツに関しては表示対象コンテンツ選択部２９での選択の対象から外す。
具体的には、仮想空間を幾つかのブロックに分割し、そのブロック単位での配置密度を、第２の配置状況解析部２８で得られた配置密度から算出する。そして、そのブロックに配置される可視化コンテンツ数をカウントし、これが限定数を超えたものに関しては、関連度が低い方から切り捨てるという処理を行う。なお、指標となる「限定数」は、設定情報として予め記憶されているものとする。また、この限定数は、ユーザから操作装置を介して入力される値や、操作履歴などにより変更する態様としてもよい。
このように、第１の実施形態の変形例３の構成によれば、配置密度に応じて可視化コンテンツの配置を調整することで、可視化コンテンツが過密の部分を軽減することができるため、仮想空間を可視化した際に可視化コンテンツの内容が見やすくなるという効果を奏する。
［第１の実施形態の変形例４］
次に、図２１を参照して、本実施形態の変形例４に係る映像表示装置１０４について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２１は、映像表示装置１０４の機能構成を示したブロック図である。図２１に示したように、映像表示装置１０４は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、可視化コンテンツ群配置部２１、空間可視化部２２及び表示部２３、に加え、第３の配置状況解析部３０と、コンテンツ可視化部３１と、を備えている。
なお、第３の配置状況解析部３０と、コンテンツ可視化部３１とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
第３の配置状況解析部３０は、可視化コンテンツ群配置部２１で決定された可視化コンテンツ群の配置位置の状況を解析することで、可視化コンテンツ群の配置の偏倚状態（例えば、特定の範囲に配置が偏っている、特定の範囲が過密状態・過疎状態になっている等）を判定し、その結果をコンテンツ可視化部３１にフィードバックする。具体的な動作は、第１の実施形態の変形例２に係る映像表示装置１０２における配置状況解析部２６と同様である。
コンテンツ可視化部３１は、上述したコンテンツ可視化部２０と同様の機能を有するとともに、第３の配置状況解析部３０から得られた配置状況の解析結果のフィードバックを受けて、複数の可視化コンテンツのマージを行い、新たな１つの可視化コンテンツとして生成し直す。
具体的には、第３の配置状況解析部３０からのフィードバックの結果、過密な状況で配置された２つ（以上）の可視化コンテンツがあったときに、これが所定の条件を満たす場合は、この２つ（以上）の可視化コンテンツをマージして、１つの可視化コンテンツとして再構成する。
ここで、マージするか否かの判定の指標となる「所定の条件」は、使用環境に応じて任意の設定が可能である。例えば、番組タイトルに近似性があることを条件としてもよく、この場合、番組タイトルの一部（或いは全部）が同じである、同じドラマのＮ回目とＭ回目である、同じドラマの再放送である、同じドラマの続編である等が条件となる。また、録画日時に近似性があることを条件としてもよく、この場合、録画日が同じである、或いは近い日時である、或いは同じ曜日である、同じ時間帯である又は過去１週間のうちに録画されたものである等が条件となる。また、録画チャンネルに近似性があることを条件としてもよく、この場合、同じチャンネルである、同系列のチャンネルである等が条件となる。また、出演者情報に近似性があることを条件としてもよく、この場合、ある出演者Ｘが出演している番組である、あるグループに所属している人物が出演している番組である、同じ事務所に所属している人物が出演している番組である、同じジャンルの出演者が出演している番組である等が条件となる。また、ジャンルに近似性があることを条件としてもよく、この場合、同じサッカー番組である、スポーツの種類は異なるが、両者ともスポーツ番組である等が条件となる。
所定の条件に当てはまった場合には複数の可視化コンテンツをマージして１つの可視化コンテンツとして再構成する。その際に、図４−１、図４−２を用いて説明した背景Ａ１０、フレーム画像Ａ１１、番組タイトルＡ１２、録画日時Ａ１３、チャンネル名Ａ１４等を適宜加工する。
例えば、番組タイトルの近似性がある場合には、番組タイトルの共通部分を１つに纏めて、それに非共通部分を添付する。具体的には、あるドラマＸの１話と２話、３話がある場合、番組タイトルＡ１２の部分を「ドラマＸ（第１話−第３話）」等のように加工する。また、録画日時に近似性がある場合には、例えば、録画日時Ａ１３を「昨日録画したもの」、同時に、番組タイトルＡ１２を「番組Ａ、番組Ｂ、番組Ｃ」、チャンネル名Ａ１４を「チャンネルＸ、チャンネルＹ、チャンネルＺ」等と加工する。ここで、番組Ａ，Ｂ，Ｃは、昨日録画したという条件に当てはまる番組であり、そのチャンネルがそれぞれＸ，Ｙ，Ｚであったとする。「出演者情報の近似性がある」場合には、同様に、番組タイトルＡ１２の部分を「出演者Ｘの出演番組（ドラマＸ、バラエティＹ、音楽番組Ｚ）」等のように加工する。
また、ジャンルに近似性がある場合も同様に、例えば、番組タイトルＡ１２の部分を「スポーツ番組（サッカーＸ、野球Ｙ、野球Ｚ）」等のように加工する。同時に、録画日時Ａ１３やチャンネル名Ａ１４に関しても、上述のように加工する。また、背景Ａ１０に関しても、マージしたことが分かるように、別の色にする、別の模様にするなどの加工をする。例えばジャンルＡが赤い背景であり、ジャンルＢが青い背景であったとして、この２つをマージしたものは、赤から青のグラデーションの背景にするなどといった加工をすることとしてもよいし、全く違う色や柄を用いてもよい。
また、フレーム画像Ａ１１に関しても、複数のフレーム画像をマージして１つにする。具体的には、複数のフレーム画像の中から何らかの基準（例えば、一番情報量の多い画像（例えば、ヒストグラムなどを用いて判断可能である））で１つを選択してフレーム画像とする、複数のフレーム画像を並べて１つのフレーム画像とする、複数のフレーム画像をブレンドしたモザイク画像を作成し、１つのフレーム画像とする、複数のフレーム画像のそれぞれの画像内の任意の部分を抜き出して、これらをブレンディングして新たな画像を生成する、などといったことを行う。なお、以上のマージのための加工はあくまでも一例であり、実際にはこれに限定されず、適宜、各種情報をマージして１つにすることが実現されればよい。
このように、本実施形態の変形例４の構成によれば、仮想空間内において過密の部分に配置された可視化コンテンツをマージすることで、この部分の過密状態を解消することができるため、可視化コンテンツの内容を見やすくするという効果を奏する。
［第１の実施形態の変形例５］
次に、図２２を参照して、本実施形態の変形例５に係る映像表示装置１０５について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２２は、映像表示装置１０５の機能構成を示したブロック図である。図２２に示したように、映像表示装置１０５は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、空間可視化部２２及び表示部２３、に加え、第４の配置状況解析部３２と、表示対象コンテンツ加工部３３と、コンテンツ可視化部３４と、可視化コンテンツ群配置部３５と、を備えている。
なお、第４の配置状況解析部３２と、表示対象コンテンツ加工部３３と、コンテンツ可視化部３４と、可視化コンテンツ群配置部３５とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
第４の配置状況解析部３２は、可視化コンテンツ群配置部２１で決定された可視化コンテンツ群の配置位置の状況を解析することで、可視化コンテンツ群の配置の偏倚状態（例えば、特定の範囲に配置が偏っている、特定の範囲が過密状態・過疎状態になっている等）を判定し、その結果を表示対象コンテンツ加工部３３にフィードバックする。具体的な動作は、第１の実施形態の変形例２に係る映像表示装置１０２の配置状況解析部２６と同様である。
表示対象コンテンツ加工部３３は、第４の配置状況解析部３２からのフィードバックを受け、表示対象コンテンツ選択部１９から得た表示対象となるコンテンツ群を加工するためのものである。具体的には、第４の配置状況解析部３２からのフィードバックを受けると、配置が過密な部分の表示対象コンテンツ群を加工し、複数の表示対象コンテンツの情報を１つに纏める。なお、加工に係る動作については、上述したコンテンツ可視化部３１と同様である。
コンテンツ可視化部３４は、表示対象コンテンツ加工部３３で加工された表示対象コンテンツ群を受け取り、各表示対象コンテンツを可視化するための動作を行う。可視化に係る動作については、上述したコンテンツ可視化部２０と同様である。
可視化コンテンツ群配置部３５は、コンテンツ可視化部３４から得られた可視化コンテンツ群を、関連コンテンツ算出部１８で算出した関連度に基づき、仮想空間内に配置する。なお、仮想空間内への配置方法は、上述した可視化コンテンツ群配置部２１と同様である。
このように、本実施形態の変形例５の構成によれば、仮想空間内において過密の部分に配置された可視化コンテンツに対応する表示対象コンテンツをマージすることで、この部分の過密状態を解消することができるため、可視化コンテンツの内容を見やすくするという効果を奏する。
［第１の実施形態の変形例６］
次に、図２３を参照して、本実施形態の変形例５に係る映像表示装置１０６について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２３は、映像表示装置１０６の機能構成を示したブロック図である。図２３に示したように、映像表示装置１０６は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２及び表示部２３に加え、関連コンテンツ算出部３６を備えている。
なお、関連コンテンツ算出部３６は、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
関連コンテンツ算出部３６は、関連コンテンツ算出部１８と同様の機能を有するとともに、リストアップしたコンテンツのうち、関連度の高いものから所定個数分のコンテンツを処理対象コンテンツリストに登録する。また、関連コンテンツ算出部３６は、処理対象コンテンツリストに登録したコンテンツの各々に対し、処理対象コンテンツとして順次処理するための処理回数を付与する。つまり、関連コンテンツ算出部３６は、この処理回数の値に応じて、処理対象コンテンツリストに登録したコンテンツを順次処理対象コンテンツとする。
なお、同じ値を示す処理回数が複数のコンテンツに付与されることとしてもよく、例えば、関連度が同値となるコンテンツが複数存在した場合には、これらコンテンツに同じ値を示す処理回数を付与するものとする。また、付与される処理回数の値は、関連度の最も高いものを「１」とし、関連度の低下とともに処理回数の値を昇順に付与するものとするが、この例に限らないものとする。
以下、図２４を参照して、関連コンテンツ算出部３６の動作を説明する。図２４は、関連コンテンツ算出部３６による関連コンテンツ算出処理の手順を示したフローチャートである。なお、本処理の前提として、処理対象コンテンツ及び処理対象フレームは、処理対象コンテンツ選択部１２及び処理対象フレーム選択部１３により選択されているものとする。また、コンテンツ可視化部２０は、この処理対象コンテンツ及び処理対象フレームにも基づいて、処理対象コンテンツと他のコンテンツとの間の関連度を算出しているものとする。さらに、関連コンテンツ算出部３６は、コンテンツ可視化部２０により算出された関連度に基づいて、上述した処理対象コンテンツリストを既に生成しているものとする。
まず、ステップＳ８０１において、関連コンテンツ算出部３６は、処理対象コンテンツリストから、現在の処理回数に対応する一のコンテンツを処理対象コンテンツとして選択する（ステップＳ８０１）。
次いで、関連コンテンツ算出部３６は、処理対象フレーム選択部１３を用いて、ステップＳ８０１で選択した処理対象コンテンツから処理対象フレームを選択させる（ステップＳ８０２）。
続いて、関連コンテンツ算出部３６は、検索対象とするコンテンツの条件を決定すると（ステップＳ８０３）、この条件に該当する全ての検索対象のコンテンツに対し、ステップＳ８１０の関連度算出処理を行ったか否かの判定を行う（ステップＳ８０４）。以下、検索対象のコンテンツを検索対象コンテンツという。
ステップＳ８０４において、全ての検索対象コンテンツに対してステップＳ８１０の関連度算出処理を行ったと判定した場合には（ステップＳ８０４；Ｙｅｓ）、ステップＳ８１１の処理に直ちに移行する。一方、ステップＳ８０４において、全ての検索対象コンテンツに対して関連度算出処理を行っていないと判定した場合には（ステップＳ８０４；Ｎｏ）、関連コンテンツ算出部３６は、検索対象コンテンツの中から未処理の検索対象コンテンツを一つ選択する（ステップＳ８０５）。
続いて、関連コンテンツ算出部３６は、関連度の算出にフレーム情報を用いるかの判定を行う（ステップＳ８０６）。ここで、フレーム情報を用いるかどうかの判定は、予め設定情報として定められているか、ユーザからの指定によって決定する。
ステップＳ８０６において、フレーム情報を用いないと判定した場合には（ステップＳ８０６；Ｎｏ）、ステップＳ８１０の処理に直ちに移行する。一方、ステップＳ８０６において、フレーム情報を用いると判定した場合には（ステップＳ８０６；Ｙｅｓ）、検索対象コンテンツから検索対象フレームを選択する条件を決定する（ステップＳ８０７）。
続いて、関連コンテンツ算出部３６は、全ての検索対処フレームに関してステップＳ８１０の関連度算出処理を行ったか否かを判定し、処理したと判定した場合には（ステップＳ８０８；Ｙｅｓ）、ステップＳ８０４の処理に再び戻る。
一方、ステップＳ８０８において、未処理の検索対象フレームが存在すると判定した場合には（ステップＳ８０８；Ｎｏ）、ステップＳ８０７で決定した条件に合致する検索対象フレーム群のうち、未処理の検索対象フレームを一つ選択する（ステップＳ８０９）。
続いて、関連コンテンツ算出部３６は、処理対象コンテンツ、処理対象フレーム、検索対象コンテンツ及び検索対象フレームを関連度算出部１７に通知することで、関連度算出部１７により関連度算出処理を実行させた後（ステップＳ８１０）、ステップＳ８０８の処理に再び戻る。なお、ステップＳ８１０の関連度算出処理は、図２で示した関連度算出処理と同様であるが、処理回数に応じた重み付けを考慮した関連度の算出を行うものとする。
具体的には、図２で示した関連度算出処理で算出した関連度Ｒについて、下記式（５）を算出することで、変更後の関連度Ｒ’を導出する。ここで、Ｎはトータルの処理回数（終了条件となる処理回数）、Ｒn,mはｎ回目の処理回数におけるｍ個目の処理対象コンテンツの関連度を表す。つまり、処理回数が大きいほど、その重み値が小さくなる訳である。なお、以上の算出手法は一例であり、これに限定されるものではない。
Figure 2009080580
続く、ステップＳ８１１において、関連コンテンツ算出部３６は、処理対象コンテンツリストから、今回処理対象コンテンツとしたコンテンツを削除することで、処理対象コンテンツリストを更新する（ステップＳ８１１）。
次いで、関連コンテンツ算出部３６は、処理対象コンテンツリストに登録されたコンテンツを参照し、現在の処理回数に対応するコンテンツが存在するか否かを判定する（ステップＳ８１２）。ここで、処理回数に対応するコンテンツが存在すると判定した場合には（ステップＳ８１２；Ｙｅｓ）、ステップＳ８０１の処理に再び戻る。
一方、ステップＳ８１２において、処理回数に対応するコンテンツが存在しないと判定した場合には（ステップＳ８１２；Ｎｏ）、現在の処理回数に１加算することで処理回数を更新した後（ステップＳ８１３）、処理回数が終了条件を満たしたか否かを判定する（ステップＳ８１４）。
ここで、「処理回数の終了条件」とは、ステップＳ８０１からステップＳ８１４までのループ処理を終了させる際の基準となる処理回数の値を意味する。終了条件としては、例えば、処理対象コンテンツリストの各コンテンツリストに付与した最大の処理回数に１加算した値としてもよい。また、予め設定された値としてもよいし、ユーザから操作装置を介し入力される態様としてもよい。
ステップＳ８１４において、処理回数が終了条件を満たさないと判定した場合には（ステップＳ８１４；Ｎｏ）、ステップＳ８０１の処理に再び戻る。また、ステップＳ８１４において、処理回数が終了条件を満たしたと判定した場合には（ステップＳ８１４；Ｙｅｓ）、ステップＳ８１５の処理に移行する。
そして、関連コンテンツ算出部３６は、ステップＳ８１５において、これまでに算出された処理対象コンテンツに対するＭ個（ここでＭは、ステップＳ８０３で決定した条件に合致するコンテンツ数）の関連度を用いて、処理対象コンテンツと動画像データベース１１に蓄積された検索対象コンテンツ群との関連度のリストを生成し、これを関連度が大きい順に並べ替え一覧表として管理した後（ステップＳ８１５）、本処理を終了する。
以上の処理により、１つの処理対象コンテンツに対して、出演者に関する関連性の高い（高い関連度が算出される）コンテンツ群｛Ｃ｝が動画像データベース１１から選択され、さらに、｛Ｃ｝に含まれるそれぞれのコンテンツを処理対象とした場合に、それぞれに出演している出演者に関する関連性の高いコンテンツ群がさらに動画像データベース１１から選択されることになる。
具体的には、ある処理対象コンテンツＣに出演している出演者Ａがいたとすると、関連コンテンツ算出部１８による関連コンテンツ算出処理（図３参照）では、出演者Ｐ１が出演している（或いは、出演者Ａと関連性の高い）コンテンツ群｛Ｃ１i｜ｉ＝０,・・・,ｎ｝が得られるのに対し、関連コンテンツ算出部３６による関連コンテンツ算出処理では、この結果に加え、コンテンツＣ１0に出演者Ｐ２が出ている場合には、出演者Ｐ２が出演しているコンテンツ群｛Ｃ２i｜ｉ＝０,・・・,ｎ｝がさらに動画像データベース１１から得られる。
また、同様にコンテンツＣ１1に出演者Ｐ３が出ている場合には、出演者Ｐ３が出演しているコンテンツ群｛Ｃ３i｜ｉ＝０,・・・,ｎ｝が、というように芋づる式に関連度の高いコンテンツ群が得られることになる。つまり、第１の実施形態が関連度の１次検索に相当するとすれば、この第１の実施形態の変形例６の場合は２次検索を行っていると見なすことができる。
このように、第１の実施形態の変形例６の構成によれば、処理対象コンテンツと関連性の高いコンテンツのみを可視化するだけでなく、これらコンテンツと関連性を有した他のコンテンツをさらに可視化することができる。これにより、処理対象コンテンツと強い関連性を有した可視化コンテンツの内容を確認できるだけでなく、間接的に関連するような弱い関連性を有したコンテンツの内容を確認できるという効果を奏する。
［第１の実施形態の変形例７］
次に、図２５を参照して、本実施形態の変形例７に係る映像表示装置１０７について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２５は、映像表示装置１０７の機能構成を示したブロック図である。図２５に示したように、映像表示装置１０６は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１及び表示部２３に加え、関連性解析部３７と、空間可視化部３８とを備えている。
なお、関連性解析部３７と、空間可視化部３８とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
関連性解析部３７は、関連コンテンツ算出部１８で算出された関連度と可視化コンテンツ群配置部２１での配置の状況を総合的に解析し、その結果を空間可視化部３８へフィードバックする。具体的に、関連性解析部３７は、各可視化コンテンツについて算出された関連度と、各可視化コンテンツの配置位置とに基づいて、仮想空間内における配置の分布（過疎か過密化かなど）を解析し、この解析結果を空間可視化部３８へ伝える。
空間可視化部３８は、上述した空間可視化部２２と同様の動作を行うとともに、関連性解析部３７からのフィードバックを受けて、仮想空間を可視化する際のレンダリングパラメータを変更したり、可視化の際のレンダリング手法を変更したりする。具体的に、空間可視化部３８は、関連性解析部３７からのフィードバック情報に基づいて、過密に配置されている可視化コンテンツが多い場合は、可視化のための透視台のパラメータを変えて、仮想空間の範囲を調整することで、可視化空間の座標スケールを変化させ、結果として、過密配置でも見やすくなるようなレンダリングを行う。
例えば、可視化コンテンツ群をＺ軸方向の視点位置から観察した場合、Ｚ軸方向の可視化コンテンツの分散が小さい場合には、それらをカバー可能な範囲でなるべくＺバッファのニア面とファー面の間隔を狭くした方が見やすくなるし、分散が大きい場合には、その逆が言える。また、分散が大きい場合には、なるべく視野角を広く取った方が見やすくなる。また、配置状況から、見やすい視点を決定することが可能である。例えば、なるべく可視化コンテンツ同士の重なりが小さくなるような視点を採用するなどといったようにである。また、配置された可視化コンテンツが多い場合には、それらにメリハリが強くなるように、レンダリング時での光源の光量を増加したりする。
このように、解析状況に応じて、シェーディングの手法、シャドーの生成手法などを適宜変更することで、見やすい可視化を行うことが可能となる。さらに、ある視点条件を決定した後、その視点方向から見やすくなるように、可視化コンテンツ毎にポリゴンのＣＧモデル（ジオメトリモデル）を変形したり、ポリゴンの姿勢を変更したりすることとしてもよい。
例えば、ある視点方向から見た場合に、可視化コンテンツを成すポリゴン（を代表する部分）の法線方向と視線ベクトルの成す角度が９０度に近いと、その可視化コンテンツのポリゴン面はほとんど見えなくなってしまう。このような場合に、視点方向の方にポリゴンモデルを回転して成す角度を９０度よりも小さくしていくと、見やすくすることが可能となる。同様の効果は、ポリゴンを形成するジオメトリを変更し、ポリゴンの一部（或いは全部）に関して、視点方向との成す角度が小さくなるようにすることでも実現される。なお、ポリゴンの姿勢変更や変形に関してはＣＧ技術の一般的な手法を用いることが可能である。
このように、第１の実施形態の変形例７の構成によれば、仮想空間を可視化した際に、配置されている可視化コンテンツが過密の部分が軽減され、その部分の可視化コンテンツの内容が見やすくなるという効果を奏する。
［第１の実施形態の変形例８］
次に、図２６を参照して、本実施形態の変形例８に係る映像表示装置１０８について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２６は、映像表示装置１０８の機能構成を示したブロック図である。図２６に示したように、映像表示装置１０８は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１及び表示部２３に加え、配置モーション補間部３９と、空間可視化部４０とを備えている。
なお、配置モーション補間部３９と、空間可視化部４０とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
配置モーション補間部３９は、可視化コンテンツ群配置部２１で算出された可視化コンテンツ群の配置情報が複数の可視化間隔にわたって滑らかにアニメーションするよう補間を行うための機能部である。
上述したように、第１の実施形態に係る映像表示装置１００の全体動作は、図１２に示したフローチャートで表される。この際、画面に逐次表示されるのは、可視化コンテンツ群配置部２１で算出された可視化コンテンツ群の配置に基づく画面可視化の結果である。そのため、可視化コンテンツ群配置部２１において、あるタイミングで算出された可視化コンテンツの配置位置と、次のタイミングで算出された同じの可視化コンテンツの配置位置とが大きく異なった場合、その可視化コンテンツは不連続に（滑らかではなく）動いているように表示されることになる。本変形例は、その問題の解消を狙ったものである。
上記の問題は、画面表示間隔が空間可視化処理の実行間隔よりも小さい場合に、空間可視化実行が完了するまでの間、同じ空間可視化結果の表示が続き、次のタイミングで異なる空間可視化結果に突然変異することに起因する。そのため、配置モーション補間部３９では、画面表示間隔（例えば、６０フレーム毎秒）の間、現在の空間可視化結果が滑らかに遷移するように、１つ前の空間可視化結果（可視化コンテンツ群の位置情報）から各可視化コンテンツの配置位置を補間する補間位置を算出する。また、配置モーション補間部３９は、算出した補間位置に基づいて、仮想空間内に配置された各可視化コンテンツの配置位置を変更する。
具体的には、１つ前の可視化コンテンツ群に含まれるある可視化コンテンツの位置が（ｘ０,ｙ０,ｚ０）、可視化コンテンツ群配置部２１により今回算出された同じ可視化コンテンツの位置を（ｘ１,ｙ１,ｚ１）とし、画面表示のためのフレームレートを６０フレーム毎秒だとすると、nフレーム目の補間位置（ｘｎ,ｙｎ,ｚｎ）は、下記式（６）を用いて算出することができる。なお、ｔ＝ｎ／６０（ｎ＝１，・・・，６０）である。
（ｘｎ,ｙｎ,ｚｎ）＝（ｔ（ｘ１−ｘ０）,ｔ（ｙ１−ｙ０）,ｔ（ｚ１−ｚ０））
（６）
なお、上記式（６）では線形補間をした例を示したがこれに限定されるものではない。２次曲線や３次曲線等を用いた補間でも構わない。例えば、１つ前だけでなく、幾つか前の位置情報をも用いて、２次スプライン曲線補間を行うことも可能である。
また、以上では位置の補間に関して説明したが、位置以外の情報が異なる場合も補間方法は同様である。例えば、姿勢情報が異なる場合には、両者の法線ベクトル（や方向ベクトルなど）が滑らかに変化するように、同様の方法（線形補間、スプライン曲線補間など）にて補間すればよい。配置モーション補間部３９は、仮想空間内に配置された各可視化コンテンツについて算出した補間位置を１セットとして配置位置を変更した仮想空間（以下、１セット分の仮想空間という）を、補間数分にあたるｎセット分（後述する補間フレーム位置分）だけ空間可視化部４０に出力する。なお、可視化コンテンツ群配置部２１が配置したフレーム（０フレーム目に相当）については、そのままの状態で空間可視化部４０に出力するものとする。
空間可視化部４０は、配置モーション補間部３９により配置された可視化コンテンツのそれぞれに対して画像処理及びＣＧ処理を施し、所定の視点位置を基準に仮想空間を可視化する。なお、可視化コンテンツに施す画像処理及びＣＧ処理の内容は、上述した空間可視化部２２と同様である。
以下、図２７を参照して、空間可視化部４０の動作を説明する。図２７は、空間可視化部４０により実行される空間可視化処理の手順を示したフローチャートである。
まず、空間可視化部４０は、配置モーション補間部３９から１セット分の補間位置により配置位置が変更された１セット分の仮想空間が入力されると（ステップＳ９０１）、この仮想空間内に配置された全ての可視化コンテンツに対し、ステップＳ９０３の処理を行ったか否かの判定を行う（ステップＳ９０２）。ここで、「全ての可視化コンテンツ」とは、配置モーション補間部３９（０フレーム目については可視化コンテンツ群配置部２１）にて仮想空間に配置された可視化コンテンツ群のことを意味する。
ステップＳ９０２において、全ての可視化コンテンツを処理したと判定した場合には（ステップＳ９０２；Ｙｅｓ）、ステップＳ９０４の処理に移行する。また、ステップＳ３０２において、未処理の可視化コンテンツが存在すると判定した場合には（ステップＳ９０２；Ｎｏ）、空間可視化部４０は、未処理の可視化コンテンツに対し、ＣＧ処理・画像処理を実行し（ステップＳ９０３）、ステップＳ９０２に再び戻る。
続いて、空間可視化部４０は、空間可視化用のパラメータを設定する（ステップＳ９０４）。具体的には、仮想空間をどのような方向から可視化するか、ＣＧ的に言えば、仮想空間をレンダリングするためのカメラ（視点）位置や方向、範囲などのパラメータの設定を行う。また、同時に、必要ならば、空間のレンダリングのための光源の位置や光源の強さ、範囲などのパラメータ設定も同時に行うこととしてもよい。
次に、空間可視化部４０は、ステップＳ９０４で設定された空間可視化用のパラメータに従って、仮想空間をレンダリングすることで仮想空間の可視化を実行し、その結果を表示部２３に出力する（ステップＳ９０５）。
次いで、空間可視化部４０は、全ての補間フレーム位置においてステップＳ９０１〜Ｓ９０５の処理を実行したか否かを判定する（ステップＳ９０６）。ここで、「補間フレーム位置」とは、配置モーション補間部３９が補間を行う表示画面フレームのことであって、例えば、画面表示が６０フレーム毎秒、空間可視化の間隔が１フレーム毎秒の場合、０、１／６０、２／６０・・・、１秒（６０／６０）までの全ての表示画面フレームの位置（例えばｎ番目の位置はｎ／６０秒後のフレーム）を意味する。
ステップＳ９０６において、未処理の補間フレーム位置が存在すると判定した場合には（ステップＳ９０６；Ｎｏ）、空間可視化部４０は、補間フレーム位置を更新（例えば、ｎ番目の位置の場合、ｎ＝ｎ＋１）した後（ステップＳ９０７）、ステップＳ９０１の処理に移行する。また、ステップＳ９０６において、全ての補間フレーム位置で処理を実行したと判定した場合には（ステップＳ９０６；Ｙｅｓ）、本処理を終了する。なお、本処理は、配置モーション補間部３９から一連のフレーム（例えば、フレームレート６０の場合には、６０のフレーム）が入力される毎に実行されるものとする。
このように、第１の実施形態の変形例８の構成によれば、画面表示間隔が仮想空間の可視化の間隔よりも小さい場合でも、途中の可視化結果を補間により表すことができるため、各可視化コンテンツの可視化結果を滑らかに表示させることが可能となる。
［第１の実施形態の変形例９］
次に、図２８を参照して、本実施形態の変形例９に係る映像表示装置１０９について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
図２８は、映像表示装置１０９の機能構成を示したブロック図である。図２８に示したように、映像表示装置１０９は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、空間可視化部２２及び表示部２３に加え、共通部分可視化部４１と、可視化コンテンツ群配置部４２とを備えている。
なお、共通部分可視化部４１と、可視化コンテンツ群配置部４２とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
共通部分可視化部４１は、コンテンツ可視化部２０での可視化のための情報と、空間可視化部２２での可視化結果とを用いて、２つ以上の可視化コンテンツの共通情報を抽出し、共通情報から構成される新たな可視化コンテンツを生成し、それを可視化コンテンツ群配置部４２に追加する。
以下、図２９、３０を参照し、共通部分可視化部４１の具体的な動作例について説明する。ここで、図２９、３０は、可視化コンテンツが配置された仮想空間における、ＸＹ平面の一例を示した図である。
図２９において、「ドキュメンタリーＺ（第１話）」（図２９の３０１ａ）、「ドキュメンタリーＺ（第２話）」（図２９の３０１ｂ）、「ドキュメンタリーＺ（第３話）」（図２９の３０１ｃ）の３つの可視化コンテンツが近接する位置に配置されていたとすると、共通部分可視化部４１では、これら近接した可視化コンテンツ同士の共通部分、例えば「ドキュメンタリーＺ」を抽出する。なお、抽出方法は、第１の実施形態の変形例４におけるコンテンツ可視化部３１での説明と同様である。
また、共通部分可視化部４１では、抽出した共通部分を用いて、新たな可視化コンテンツを生成する。ここで、可視化コンテンツの生成手法は、コンテンツ可視化部２０と同様であるものとするが、可視化の際の要素やレイアウト等は異なることとしてもよい。例えば、共通部分を表す付加情報（図３０の３０２参照）を可視化コンテンツとして生成することとしてもよい。
なお、以上では、共通部分としてタイトル名の例を用いたが、あくまでも一例であり、フレーム画像、録画日、ジャンル等、様々な情報から共通部分を１つ以上抜き出して用いることができる。
可視化コンテンツ群配置部４２は、可視化コンテンツ群配置部２１と同様の機能を有するとともに、新たに生成された可視化コンテンツ（付加情報）を共通部分可視化部４１から受け取った場合、この新たな可視化コンテンツを、可視化コンテンツ同士の共通部分の抽出に用いた可視化コンテンツ群の近傍に配置する。ここで図３０は、可視化コンテンツ３０１ａ、３０１ｂ、３０１ｃの共通部分を用いて生成した新たな可視化コンテンツ３０２を、３０１ａ、３０１ｂ、３０１ｃの近傍（例えば、これら可視化コンテンツの重心点）に配置した例を示している。
なお、新たに生成された可視化コンテンツ（付加情報）の配置位置は図３０の例に限らず、任意の位置にレイアウトすることが可能であるものとするが、共通部分の抽出に用いた可視化コンテンツ群によって遮蔽されないよう配置することが好ましい。
このように、第１の実施形態の変形例９の構成によれば、２つ以上の可視化コンテンツの共通部分を表した新たな可視化コンテンツを併せて表示することできる。これにより、２つ以上の可視化コンテンツの共通部分を表す新たな可視化コンテンツを、複数の可視化コンテンツの大分類や中分類を表す指標として使用することが可能となり、空間に可視化された可視化コンテンツのグルーピング（可視化コンテンツの大分類や中分類）をユーザに認識させることが可能となる。
例えば、図３０の場合、可視化コンテンツ３０１ａ、３０１ｂ、３０１ｃのそれぞれの内容を見なくても、ユーザは、可視化コンテンツ３０２を観察することで、「ドキュメンタリーＺ」に関する可視化コンテンツであると直感的に認識することが可能となる。
［第２の実施形態］
上述した第１の実施形態では、動画像データベース１１に蓄積されたコンテンツを処理の対象としたが、本実施形態では、他のメディアからコンテンツの取得を行う態様について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
まず、本実施形態に係る映像表示装置１１０のハードウェア構成について説明する。映像表示装置１１０は、ＣＰＵやＧＰＵ等により構成される制御部と、各種プログラムや画像などの各種データを記憶するＲＯＭ、ＲＡＭ、ＨＤＤ等から構成される記憶部と、外部装置と通信を行う通信部と、放送を受信するためのアンテナやチューナ等から構成される受信部と、ＣＤ−ＲＯＭ等の記録媒体に記録された情報を読み出し可能なメディア読出部と、これらを接続するバス（何れも図示せず）とを備え、表示装置及びキーボードやマウス等の入力装置（何れも図示せず）が接続された構成となっている。
次に、映像表示装置１１０の機能構成について説明する。図３１は、第２の実施形態に係る映像表示装置１１０の機能構成を示したブロック図である。図３１に示したように、映像表示装置１１０は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、可視化コンテンツ群配置部２１、空間可視化部２２及び表示部２３に加え、ＥＰＧ情報取得・管理部４３と、チューナ４４と、ストリーム情報取得・管理部４５と、コンテンツ可視化部４６とを備えている。
このうち、ＥＰＧ情報取得・管理部４３と、ストリーム情報取得・管理部４５と、コンテンツ可視化部４６とは、映像表示装置１１０の制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。また、チューナ４４は、受信部により実現される機能部である。
ＥＰＧ情報取得・管理部４３は、ＥＰＧ（電子番組表）を管理・配信している外部サーバから、ＥＰＧ情報を取得・管理するためのものである。ここで、ＥＰＧには、現在から未来のある時点（例えば、１週間後）までに放送される番組に関する情報が含まれているものとする。
具体的には、インターネットなどのネットワーク網に接続されたサービス提供者のサーバ装置から、通信部を介してＴＶ、ＣＡＴＶ、ＣＳ放送、ＢＳ放送などのＥＰＧを取得し、このＥＰＧをコンテンツ情報（放送日時、チャンネル、ジャンル、番組タイトル、サブタイトル、番組概要、出演者リスト等）として記憶部に蓄積する。
また、ＥＰＧ情報取得・管理部４３は、コンテンツ情報に関連する画像或いは動画像等の情報を検索し、これらの関連する情報を通信部を介して取得すると、これらの情報をコンテントとして対応するコンテンツ（ＥＰＧ）と関連付けて記憶部に蓄積する。ここで、コンテンツに関連する画像などの情報は、サービス提供者（或いは、放送者）から直接提供されている場合もあるし、第３者の業者から別のサービスとして提供されている場合もある。また、画像検索サイトなどを用いて、コンテンツ情報をキーとして画像検索して得られる結果の画像を取得してもよい。
ＥＰＧ情報取得・管理部４３における情報の蓄積方法は、動画像データベース１１での管理方法に準じるものとする。つまり、動画像データベース１１が録画作業などによって取得された既存（過去）のコンテンツを管理しているのに対し、ＥＰＧ情報取得・管理部４３は、まだ取得していない未来のコンテンツを管理しているということができる。なお、ＥＰＧ情報取得・管理部４３により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
チューナ４４は、ストリーム配信されたコンテンツを解釈するためのものである。具体的には、ＴＶのアンテナ線から配信された地上波ＴＶコンテンツのデータをコンテンツとして解釈する。また、ＢＳ・ＣＳアンテナを用いて受信したデータをＢＳ放送コンテンツ、ＣＳ放送コンテンツとして解釈（デコード）する。ＣＡＴＶについても同様で、それぞれの配信データをコンテンツとして解釈（デコード）する。
ストリーム情報取得・管理部４５は、チューナ４４から得られるストリーム配信されたコンテンツを、当該コンテンツに関する情報（コンテンツ情報）とともに取得・管理する。具体的には、チューナ４４を介して取得した地上派ＴＶ放送、ＢＳ・ＣＳ放送、ＣＡＴＶ放送などのコンテンツを取得するとともに、このコンテンツに関する情報をコンテンツ情報（放送日時、チャンネル、ジャンル、番組タイトル、サブタイトル、番組概要、出演者リスト等）として取得・管理する。なお、コンテンツ情報は、ＥＰＧ情報取得・管理部４３により取得されたＥＰＧから取得することとしてもよい。
動画像データベース１１が既に録画作業などによって取得されている既存のコンテンツを管理し、ＥＰＧ情報取得・管理部４３が、まだ取得していない未来のコンテンツを管理しているのに対し、ストリーム情報取得・管理部４５は、現在配信中のコンテンツを管理しているということができる。なお、ストリーム情報取得・管理部４５により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
本実施形態において、処理対象コンテンツ選択部１２、コンテンツ情報取得部１４、関連コンテンツ算出部１８の動作は、第１の実施形態と同様であるものとするが、動画像データベース１１に蓄積されたコンテンツ群に加え、ＥＰＧ情報取得・管理部４３及びストリーム情報取得・管理部４５で管理されているコンテンツ群をも処理の対象とする。
コンテンツ可視化部４６は、コンテンツ可視化部２０と同様の機能を有するとともに、ＥＰＧ情報取得・管理部４３又はストリーム情報取得・管理部４５に管理されているコンテンツ及びコンテンツ情報を用いて、表示対象コンテンツ選択部１９で選択された表示対象コンテンツの可視化を行う。
また、コンテンツ可視化部４６は、取得元の情報の種別により可視化の手法やレイア
ウト構成等を変更する。例えば、ＴＶアンテナからの地上派ＴＶ放送ならば、それが分かるような「ＴＶを示すアイコン」を同時に配置する、背景を特殊なものにする、配置要素を変えて区別する等である。
上述したとおり、第１の実施形態に係る映像表示装置１００では、動画像データベース１１に蓄えられているコンテンツのみを対象として、処理対象コンテンツと他のコンテンツ群との関連性を仮想空間に可視化している。つまり、録画済みのコンテンツの関連性のみを知ることが可能である。
これに対し、第２の実施形態に係る映像表示装置１１０では、ＥＰＧ（電子番組表）によって得られるコンテンツの情報、ストリーム配信コンテンツの情報、動画像データベース１１によって得られるコンテンツの情報の全てをシームレスに扱い、これら全てのコンテンツの関連性を知ることができる。つまり、第１の実施形態に係る映像表示装置１００が過去のコンテンツを関連性の可視化の対象としていたのに対し、第２の実施形態に係る映像表示装置１１０は、過去、現在、未来に係る全てのコンテンツを関連性の可視化の対象とすることができる。
以上のように、本実施形態の映像表示装置１１０によれば、あるコンテンツ（処理対象コンテンツ）と、過去、現在、未来に係る他のコンテンツ群との関連性を動的に可視化することができるため、ユーザは、メディアの異なるより多くのコンテンツ間の関連性を容易に確認することが可能となる。
［第２の実施形態の変形例１］
次に、図３２を参照して、本実施形態の変形例１に係る映像表示装置１１１について説明する。なお、上述した映像表示装置１１０と同様の構成については、同じ符号を付与し、その説明を省略する。
図３２は、映像表示装置１１１の機能構成を示したブロック図である。図３２に示したように、映像表示装置１１１は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４及びストリーム情報取得・管理部４５に加え、ディスクドライブ４７と、ディスク情報取得・管理部４８と、コンテンツ可視化部４９と、を備えている。
なお、ディスクドライブ４７は、上述したメディア読出部により実現される機能部である。また、ディスク情報取得・管理部４８と、コンテンツ可視化部４９とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
ディスクドライブ４７は、例えば、ＤＶＤディスク、ＨＤ−ＤＶＤディスク、ブルーレイディスク、ＶｉｄｅｏＣＤディスク等の動画データが保存されたディスクメディアを読み込むためのドライブ装置である。
ディスク情報取得・管理部４８は、ディスクドライブ４７から得られるデータをコンテンツとして解釈し、さらに、そのコンテンツの情報を取得・管理するためのものである。具体的には、例えば、ディスクドライブ４７を用いて読み込まれたＤＶＤディスクから、そこに保存されている動画データをコンテンツとして取得するとともに、また、その動画データに関する情報（ジャンル、タイトル、サブタイトル、番組概要、出演者リスト、チャプタ情報等）をコンテンツ情報として取得し、これらの情報を関連付けて管理する。なお、ディスク情報取得・管理部４８により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
本実施形態の変形例１において、処理対象コンテンツ選択部１２、コンテンツ情報取得部１４、関連コンテンツ算出部１８の動作は、第１の実施形態と同様であるものとするが、動画像データベース１１に蓄積されたコンテンツ群、ＥＰＧ情報取得・管理部４３及びストリーム情報取得・管理部４５で管理されているコンテンツ群に加え、ディスク情報取得・管理部４８で管理されているコンテンツ群をも処理の対象としている。
コンテンツ可視化部４９は、コンテンツ可視化部４６と同様の機能を有するとともに、ディスク情報取得・管理部４８に管理されているコンテンツ及びコンテンツ情報を用いて、表示対象コンテンツ選択部１９で選択された表示対象コンテンツの可視化を行う。
また、コンテンツ可視化部４９は、取得元の情報の種別により可視化の手法やレイア
ウト構成等を変更する。例えば、ＤＶＤから得られた映画ならば、それが分かるような「ＤＶＤを示すアイコン」を同時に配置する、背景を特殊なものにする、配置要素を変えて区別する等である。
このように、本実施形態の変形例１の構成によれば、過去・現在・未来におけるコンテンツの関連性の可視化に加え、ＤＶＤなどの記録媒体に保存されている映画などのコンテンツをもシームレスに扱うことが可能となるため、ユーザはメディアの異なるより多くのコンテンツ間の関連性を容易に確認することが可能となる。
［第２の実施形態の変形例２］
次に、図３３を参照して、本実施形態の変形例２に係る映像表示装置１１２について説明する。なお、上述した映像表示装置１１０と同様の構成については、同じ符号を付与し、その説明を省略する。
図３３は、映像表示装置１１２の機能構成を示したブロック図である。図３３に示したように、映像表示装置１１２は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４及びストリーム情報取得・管理部４５に加え、ＶＯＤ取得部５０と、ＶＯＤ情報取得・管理部５１と、コンテンツ可視化部５２と、を備えている。
なお、ＶＯＤ取得部５０は、上述したメディア読取部により実現される機能部である。また、ＶＯＤ情報取得・管理部５１と、コンテンツ可視化部５２とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
ＶＯＤ取得部５０は、動画像データを配信しているサーバから、動画データを取得するためのものである。具体的には、例えば、インターネットを介して動画データの提供を行うサービス事業者から、購入手続き等の所定の手続きを行うことで動画データを取得する。なお、動画データが無料の場合には、購入手続きを踏まずに直接動画データをダウンロードする態様としてもよい。
ＶＯＤ情報取得・管理部５１は、ＶＯＤ取得部５０から得られる動画データをコンテンツとして解釈するとともに、さらに、そのコンテンツに関するコンテンツ情報を取得・管理するためのものである。具体的には、例えば、インターネットを介して取得したコンテンツを記憶部に蓄積するとともに、ＶＯＤ取得部５０を介して取得した，このコンテンツに関する情報（ジャンル、タイトル、サブタイトル、番組概要、出演者リスト等）を、コンテンツ情報として対応付けて蓄積する。なお、ＶＯＤ情報取得・管理部５１により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
本実施形態の変形例２において、処理対象コンテンツ選択部１２、コンテンツ情報取得部１４、関連コンテンツ算出部１８の動作は、第１の実施形態と同様であるものとするが、動画像データベース１１に蓄積されたコンテンツ群、ＥＰＧ情報取得・管理部４３及びストリーム情報取得・管理部４５で管理されているコンテンツ群に加え、ＶＯＤ情報取得・管理部５１で管理されているコンテンツ群をも処理の対象としている。
コンテンツ可視化部５２は、コンテンツ可視化部４６と同様の機能を有するとともに、ＶＯＤ情報取得・管理部５１に管理されているコンテンツ及びコンテンツ情報を用いて、表示対象コンテンツ選択部１９で選択された表示対象コンテンツの可視化を行う。
また、コンテンツ可視化部５２は、取得元の情報の種別により可視化の手法やレイアウト構成等を変更する。例えば、外部のＶＯＤサーバから得られた動画データならば、それが分かるようなアイコンを同時に配置する、背景を特殊なものにする、配置要素を変えて区別する等である。
このように、本実施形態の変形例２の構成によれば、過去・現在・未来におけるコンテンツの関連性の可視化に加え、ＶＯＤサーバから取得したコンテンツもシームレスに扱うことが可能となるため、ユーザはメディアの異なるより多くのコンテンツ間の関連性を容易に確認することが可能となる。
［第２の実施形態の変形例３］
次に、図３４を参照して、本実施形態の変形例３に係る映像表示装置１１３について説明する。なお、上述した映像表示装置１１０と同様の構成については、同じ符号を付与し、その説明を省略する。
図３４は、映像表示装置１１３の機能構成を示したブロック図である。図３４に示したように、映像表示装置１１３は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４及びストリーム情報取得・管理部４５に加え、音楽データ取得部５３と、音楽データベース５４と、音楽データ情報取得・管理部５５と、コンテンツ可視化部５６と、を備えている。
なお、音楽データ取得部５３は、上述した通信部により実現される機能部である。また、音楽データベース５４は上述した記憶部により実現される機能部である。また、音楽データ情報取得・管理部５５と、コンテンツ可視化部５６とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
音楽データ取得部５３は、音楽データを配信している外部のサーバから、音楽データを取得し、音楽データベース５４に蓄積する。具体的には、例えば、インターネットを介して音楽データを提供しているサービス事業者から、購入手続き等の所定の手続きを行うことで、音楽データを取得する。なお、音楽データが無料の場合には、購入手続きを踏まずに直接音楽データをダウンロードする態様としてもよい。
音楽データベース５４は、少なくとも１つ以上の音楽データを蓄積、取得することが可能なデータベースである。基本的には、扱うメディアが違うだけで、動画像データベース１１と同様の構成となっている。音楽データは、例えば、ＷＡＶ形式、ＭＰ３形式、ＡＩＦＦ形式などの形式で保存されている。音楽データには、アルバムのタイトル、アーティスト名、曲名、作詞者名、作曲者名、編曲者名、参加アーティストリスト、概要等のテキスト情報が対応付けて蓄積されている。また、ジャケット写真、アーティスト写真などの画像データやプロモーションビデオクリップ等の動画データとその情報を対応付けて蓄積されていてもよい。
音楽データ情報取得・管理部５５は、音楽データ取得部５３及び／又は音楽データベース５４から得られる音楽データをコンテンツとして取得するとともに、この音楽データに関する情報（テキスト情報等）をコンテンツ情報として取得し、これらを関連付けて管理する。より詳細には、音楽データに関する情報のうち、画像データや動画データがコンテンツとして取得され、これらのデータを構成する画像（或いはフレーム画像）に関する情報がフレーム情報として取り扱われることになる。また、フレーム情報以外の情報は、コンテンツ情報として取得されることになる。なお、音楽データ情報取得・管理部５５により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
本実施形態の変形例３において、処理対象コンテンツ選択部１２、コンテンツ情報取得部１４、関連コンテンツ算出部１８の動作は、第１の実施形態と同様であるものとするが、動画像データベース１１に蓄積されたコンテンツ群、ＥＰＧ情報取得・管理部４３及びストリーム情報取得・管理部４５で管理されているコンテンツ群に加え、音楽データ情報取得・管理部５５で管理されているコンテンツ群をも処理の対象としている。
コンテンツ可視化部５６は、コンテンツ可視化部４６と同様の機能を有するとともに、音楽データ情報取得・管理部５５に管理されているコンテンツ及びコンテンツ情報を用いて、表示対象コンテンツの可視化を行う。
また、コンテンツ可視化部５６は、取得元の情報の種別により可視化の手法やレイア
ウト構成等を変更する。例えば、音楽データであることが分かるような「ＣＤや音符等を示すアイコン」を同時に配置する、背景を特殊なものにする、配置要素を変えて区別する等である。
このように、第２の実施形態の変形例３の構成によれば、過去・現在・未来におけるコンテンツの関連性の可視化に加え、音楽データもコンテンツとしてシームレスに扱うことが可能となるため、全てのコンテンツを区別なく扱った関連性の可視化が可能となる。
なお、以上では、「音楽データ」という非動画像コンテンツを用いて説明したが、これに限定されるものではなく、様々な非動画像コンテンツを同様の手法を用いてシームレスに取り扱うことが可能である。
［第２の実施形態の変形例４］
次に、図３５を参照して、本実施形態の変形例４に係る映像表示装置１１４について説明する。なお、上述した映像表示装置１１０と同様の構成については、同じ符号を付与し、その説明を省略する。
図３５は、映像表示装置１１４の機能構成を示したブロック図である。図３５に示したように、映像表示装置１１４は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４及びストリーム情報取得・管理部４５に加え、商品データ取得部５７と、商品データ情報取得・管理部５８と、コンテンツ可視化部５９と、を備えている。
なお、商品データ取得部５７は、上述した通信部により実現される機能部である。また、商品データ情報取得・管理部５８と、コンテンツ可視化部５９とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
商品データ取得部５７は、Ｗｅｂ販売或いは通信販売を行っているサイト（外部サーバ）から、商品に関するデータを取得するためのものである。具体的には、例えば、インターネットを介して商品を販売しているサービス事業者から、商品のカタログデータを取得してくるものである。カタログデータの取得は、例えば、サービス事業者側で商品データ取得部５７が取得しやすい形にしたものを受け取ってもよいし、商品データ取得部５７が事業者の商品閲覧Ｗｅｂページのソース（ＨＴＭＬ言語やＸＭＬ言語で記述）を解釈して取得する態様としてもよい。
商品データ情報取得・管理部５８は、商品データ取得部５７を介して商品データをコンテンツとして取得するとともに、この商品データに関する情報をコンテンツ情報として取得し、これらを関連付けて管理する。ここで、商品データに関する情報とは、商品データに固有の特徴と示した情報であって、例えば、商品名、仕様、販売時期、価格、販売者、型格、商品概要等のテキスト情報や、商品写真などの画像データ、プロモーションビデオクリップなどの動画データ等が挙げられる。
より詳細には、商品データに関する情報のうち、画像データや動画データがコンテンツとして取得され、これらのデータを構成する画像（或いはフレーム画像）に関する情報がフレーム情報として取り扱われることになる。また、フレーム情報以外の情報は、コンテンツ情報として取得されることになる。なお、商品データ情報取得・管理部５８により取得されたコンテンツ及びコンテンツ情報を、動画像データベース１１に蓄積する態様としてもよい。
本実施形態の変形例４において、処理対象コンテンツ選択部１２、コンテンツ情報取得部１４、関連コンテンツ算出部１８の動作は、第１の実施形態と同様であるものとするが、動画像データベース１１に蓄積されたコンテンツ群、ＥＰＧ情報取得・管理部４３及びストリーム情報取得・管理部４５で管理されているコンテンツ群に加え、商品データ情報取得・管理部５８で管理されているコンテンツ群をも処理の対象としている。
コンテンツ可視化部５９は、コンテンツ可視化部４６と同様の機能を有するとともに、商品データ情報取得・管理部５８に管理されているコンテンツ及びコンテンツ情報を用いて、表示対象コンテンツの可視化を行う。
また、コンテンツ可視化部５９は、取得元の情報の種別により可視化の手法やレイア
ウト構成等を変更する。例えば、商品データであることが分かるような「Ｗｅｂ販売であることを示すアイコン」等を同時に配置する、背景を特殊なものにする、配置要素を変えて区別する、Ｗｅｂページのレンダリング結果をサムネイル画像にする等である。
このように、第２の実施形態の変形例４の構成によれば、過去・現在・未来におけるコンテンツの関連性の可視化に加え、「Ｗｅｂ販売や通信販売における商品」というまったく異なるオブジェクトもシームレスに扱うことが可能となり、全ての映像メディアと、それに関連した商品データを関連性とともに同時に可視化がすることが可能となる。
なお、本変形例ではＷｅｂ販売の商品データを例として説明したが、これに限定されるものではなく、任意の物理的なオブジェクトを同様にして扱うことが可能である。
［第３の実施形態］
本実施形態では、ユーザの操作入力を支援する操作支援部６０を備えた映像表示装置について説明する。なお、上述した映像表示装置１００と同様の構成については、同じ符号を付与し、その説明を省略する。
まず、本実施形態に係る映像表示装置１１５のハードウェア構成について説明する。映像表示装置１１５は、ＣＰＵやＧＰＵ等により構成される制御部と、各種プログラムや画像などの各種データを記憶するＲＯＭ、ＲＡＭ、ＨＤＤ等から構成される記憶部と、外部装置と通信を行う通信部と、放送を受信するためのアンテナやチューナ等から構成される受信部と、これらを接続するバス（いずれも図示せず）とを備え、表示装置及びキーボードやマウス等の入力装置（いずれも図示せず）が接続された構成となっている。
次に、映像表示装置１１５の機能構成について説明する。図３６は、第３の実施形態に係る映像表示装置１１５の機能構成を示したブロック図である。図３６に示したように、映像表示装置１１５は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２及び表示部２３に加え、操作支援部６０を備えている。
このうち、操作支援部６０は、映像表示装置１１５の制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
操作支援部６０は、ユーザからの入力に従って映像表示装置１１５の操作を担うものである。具体的には、マウスやリモコン等の操作装置（図示せず）を用いてユーザから操作が行われると、その情報が操作支援部６０に入力される。以降では、操作装置としてマウスを用いた例について説明する。
ユーザは表示部２３の画面に出たマウスカーソルを頼りとしてマウスを操作することで、このマウスの位置情報が操作支援部６０に入力される。操作支援部６０は、空間可視化部２２に、このマウスの位置情報を送り、空間可視化部２２の当該位置にマウスカーソルを表示する旨を伝える。
また、操作支援部６０は、可視化コンテンツ群配置部２１から得られる可視化コンテンツ群の配置位置の情報及び空間可視化部２２から得られるレンダリングのための視点情報等を用いて、現在のマウス位置（マウスカーソル位置）の下に存在している可視化コンテンツを特定する。具体的には、レイトレース技術を用いて、マウスカーソル位置（画面空間状のマウス座標位置）から、仮想空間内の視点ベクトル方面にレイを飛ばし、このレイが交差する可視化コンテンツのうち、視点から見た場合にもっとも手前にある可視化コンテンツを特定する。これは、３次元の直線と、可視化コンテンツとの３次元的な交点を視点から見えている全ての可視化コンテンツに対し簡単な幾何演算を用いて算出することで求めることが可能である。
また、操作支援部６０は、ユーザからの操作内容に応じて、空間可視化部２２に異なった可視化を行うような指示を与えることも行う。具体的には、ユーザがマウスの左クリックボタンの押下などによる決定操作を行った場合に、操作支援部６０は、マウスカーソル位置の下に存在する可視化コンテンツを、新たな処理対象コンテンツとして選択する旨の通知を処理対象コンテンツ選択部１２に対して行う。新たな処理対象コンテンツが選択されると、各機能部により、その新たな処理対象コンテンツを中心とした関連性を示す空間の可視化に移行する。つまり、元のコンテンツ中心の関連度可視化から、新たなコンテンツ中心の関連度の可視化に移行する訳である。
また、操作支援部６０は、ユーザから処理対象コンテンツについて表示される特定のフレーム画像に対して決定操作が行われた場合に、このフレーム画像を新たな処理対象フレームとして選択する旨の通知を処理対象フレーム選択部１３に対して行う。新たな処理対象フレームが選択されると、各機能部により、その新たな処理対象フレームを中心とした関連性を示す空間の可視化に移行する。つまり、元のフレームを中心とした関連度可視化から、新たなフレームを中心した関連度の可視化に移行する訳である。
さらに、ユーザによる決定操作に応じて、表示対象とするコンテンツを選択する旨の通知を表示対象コンテンツ選択部１９に対して行う。空間可視化部２２による空間可視化の結果、多数の表示対象コンテンツが存在する場合、可視化コンテンツ群配置部２１での配置によっては、関連度の低い可視化コンテンツは、関連度の高い可視化コンテンツに遮られ、見にくい場合がある。例えば、図８−１のように仮想空間を上から見た場合に、可視化コンテンツ２０２ａの下に可視化コンテンツ２０２ｄが存在し、可視化コンテンツ２０２ａが可視化コンテンツ２０２ｄの大部分の領域を遮っている場合には、可視化コンテンツ２０２ｄの内容はほとんど見えなくなる。
表示対象コンテンツ選択部１９対する選択指示はこのような場合に有用であり、表示対象コンテンツ選択部１９は、操作支援部６０から通知内容に従って、表示対象コンテンツ群の選び方を変えることになる。この場合、例えば、関連度が所定値以下、所定値以上のものだけを選択する等といったように、単に、関連度が高いものの上位幾つかを選択するだけでなく、特定の有効範囲を選択することができるものとする。また、この選択は、仮想空間内で均一であるとは限らず、ユーザが特定のエリアを選択した場合には、そのエリア内にだけ選択方法を上記のように変えたりすることもできる。
また、可視化コンテンツ単位でユーザが選択することで、そのコンテンツを遮蔽しているコンテンツを選択しないようにしたりすることもできる。操作支援部６０では、ユーザは、マウス等の操作部を用いて、特定の矩形をドラッグなどの作業により選択したり、可視化コンテンツ単位でマウスなどを用いて選択したり、設定画面などを用いて関連度の有効範囲を決定したりすることで、以上の動作が実現される。
さらに、ユーザは、マウスの右クリックなどの操作で、この空間の可視化の状態から、現在の処理対象コンテンツの画面全体での再生の状態に移行することもできる。つまり、関連度の可視化画面から、通常の全画面での映像視聴状態に移行できる訳である。また、ユーザは、通常の全画面での映像視聴状態から、マウスの右クリックなどの操作をすることで、現在視聴中のコンテンツ及びフレームを処理対象コンテンツ及び処理対象フレームとして選択し、映像表示装置１１５の各機能部を用いることで関連性の可視化の画面に移行することも可能である。以上の移行のための管理や指示は、操作支援部６０が行う。
以上、第３の実施形態に係る映像表示装置１１５によれば、ユーザからの操作内容に応じて、空間可視化部２２に異なった可視化を行うよう指示を与えることができるため、ユーザは映像表示装置の表示内容をインタラクティブに操作することができる。つまり、第３の実施形態に係る映像表示装置１１５によれば、ユーザが、コンテンツを自由に選択しながら、コンテンツの視聴、そのコンテンツを中心とした関連性の可視化結果の享受といった作業をインタラクティブに行うことが可能となる。
なお、本実施形態では、マウスを用いた例を示したが、これに限定されるものではなく、例えば、リモコンやキーボード等を用いることとしてもよい。
また、本実施形態は、上述した第１の実施形態及び第２の実施形態と組み合わせることが可能である。例えば、第１の実施形態の変形例８と組み合わせる場合、以下のようにすると効果的である。
第３の実施形態で説明した通り、ユーザはマウス等を用いることで、通常の映像視聴から関連性の可視化された画面へ推移できる。また、関連性の可視化された画面で、マウス操作により配置されたコンテンツ群の中の任意のコンテンツを選択し、そのコンテンツを可視化の中心（つまり、新たな処理対象コンテンツ）とすることができる。
この際、第１の実施形態の変形例８を組み合わせると、ユーザ操作により選択したコンテンツが可視化の中心に遷移する様子を、滑らかなアニメーションで表示することが可能となる。この場合、本実施形態との関係に応じ、アニメーションの補間のための、配置モーション補間部３９での配置位置の補関値の算出方法を工夫することが好ましい。具体的には、補関値を算出する際、他のどの可視化コンテンツ群よりも手前に見える、つまり、他のどの可視化コンテンツ群にも遮蔽されない可視化位置となるような補間位置とすることが好ましい。
例えば、視点がＺ軸上方の場合は、最も手前に配置されている可視化コンテンツよりも配置のためのＺ値を手前にすることで実現することができる。なお、視点が別の位置の場合も同様である。また、レイトレーシングと呼ばれる手法などを用いて、視点から補間位置算出対象の可視化コンテンツに光線を飛ばし、この光線と交わる別の可視化コンテンツがある場合には、交差した別の可視化コンテンツの中で、視点から最も手前のものよりも手前となるような補間位置とすることで対応することも可能である。
以上のように、本実施形態の映像表示装置１１５によれば、ユーザは操作装置を介し、表示された仮想空間内の可視化コンテンツを操作することで、その表示内容を変化させることができるため、映像表示装置の操作性を向上させるとともに、所望するコンテンツについて、他のコンテンツとの間の関連性を可視化することが可能となる。
［第３の実施形態の変形例１］
次に、図３７を参照して、本実施形態の変形例１に係る映像表示装置１１６について説明する。なお、上述した映像表示装置１１４、映像表示装置１１５と同様の構成については、同じ符号を付与し、その説明を省略する。
図３７は、映像表示装置１１６の機能構成を示したブロック図である。図３７に示したように、映像表示装置１１６は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４、ストリーム情報取得・管理部４５、商品データ取得部５７、商品データ情報取得・管理部５８及びコンテンツ可視化部５９に加え、操作支援部６１と、商品購入手続き部６２と、を備えている。
なお、操作支援部６１と、商品購入手続き部６２とは、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
操作支援部６１は、第３の実施形態で説明した機能に加え、さらに、ユーザが可視化されているコンテキストデータとして、商品データ情報取得・管理部５８で管理されているデータを選択した場合に、そのデータが示している商品を購入するかどうかの選択をユーザに行わせ、その選択結果を商品購入手続き部６２に出力する。選択は、例えば、商品を購入するかどうかのメッセージを表現したＧＵＩ画面を表示し、そこに配した「はい」「いいえ」のボタンをマウスで選択させるなどにより実現する。
商品購入手続き部６２は、操作支援部６１で処理されたユーザ入力に従って、商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトで商品を購入する手続きを行うためのものである。具体的に、商品購入手続き部６２は、操作支援部６０からユーザが商品の購入を選択した旨の通知を受けると、商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトの商品の購入手続きを、ユーザの代わりに代行する。なお、途中ＧＵＩ画面などを用いて、購入に必要なユーザ情報などをユーザに入力させることとしてもよい。
このように、第３の実施形態の変形例１の構成によれば、ユーザは可視化されたコンテンツの中から、Ｗｅｂ販売・通信販売に起因するコンテンツを選択することで、そのコンテンツが示している商品を気軽に購入することが可能となる。また、ある動画データを視聴中の場合、その動画データに登場する物などが関連性の高いＷｅｂ販売・通信販売に起因するコンテンツとして、処理対象コンテンツの周囲に配置されることになるため、今見ている映像中にある商品を、商品検索を積極的に行うことなく購入することが可能となる。
なお、本変形例では、商品購入手続き部６２を備える態様としたが、この商品購入手続き部６２の代わりに、商品データ取得部５７の商品データの取得先となるＷｅｂ販売或いは通信販売サイトにユーザを導くための商品サイト誘導部（図示せず）を備える構成としてもよい。
この場合、商品サイト誘導部は、ユーザを商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトへ導くためのものである。具体的には、ＧＵＩ等を用いてＷｅｂビューアを起動し、そこに、商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトのトップページや、商品購入ページ等を表示する。これにより、ユーザは、Ｗｅｂ販売或いは通信販売サイトへと容易に辿りつくことが可能となる。
［第３の実施形態の変形例２］
次に、図３８を参照して、本実施形態の変形例２に係る映像表示装置１１７について説明する。なお、上述した映像表示装置１１５、映像表示装置１１６と同様の構成については、同じ符号を付与し、その説明を省略する。
図３８は、映像表示装置１１７の機能構成を示したブロック図である。図３８に示したように、映像表示装置１１７は、上述した動画像データベース１１、処理対象コンテンツ選択部１２、処理対象フレーム選択部１３、コンテンツ情報取得部１４、フレーム情報取得部１５、フレーム画像解析部１６、関連度算出部１７、関連コンテンツ算出部１８、表示対象コンテンツ選択部１９、コンテンツ可視化部２０、可視化コンテンツ群配置部２１、空間可視化部２２、表示部２３、ＥＰＧ情報取得・管理部４３、チューナ４４、ストリーム情報取得・管理部４５、商品データ取得部５７、商品データ情報取得・管理部５８、コンテンツ可視化部５９、操作支援部６１及び商品購入手続き部６２に加え、課金部６３を備えている。
なお、課金部６３は、上述した制御部が記憶部に記憶された各種プログラムを実行することにより実現される機能部である。
課金部６３は、ユーザが商品購入手続き部６２を用いて商品を購入した場合、この映像表示装置１１７の提供者に対し、商品購入誘導に対する対価を支払うためのものである。この場合、映像表示装置１１７の提供者は、予め商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトの事業者と、商品販売に関する契約を結んでいるものとする。ここで契約内容は、例えば、映像表示装置１１７の商品購入手続き部６２を用いて商品を購入した場合、映像表示装置１１７の提供者に対し、商品購入誘導に対する対価としてマージンを支払う等の対価に関する取り決めである。
このように、第３の実施形態の変形例２の構成によれば、ユーザが映像表示装置１１７を通じてＷｅｂ販売或いは通信販売サイトから商品を購入した場合に、この映像表示装置１１７の提供者がマージンを授受するサービスを実現することが可能である。さらに、本変形例と、先に説明した商品サイト誘導部（図示せず）とを組み合わせることで、ユーザを商品データ取得部５７の商品データの取得先であるＷｅｂ販売或いは通信販売サイトのページに誘導するだけで、映像表示装置１１７の提供者に対し、商品サイト誘導に対する対価としてマージンを支払うサービスが提供可能となる。
以上、第１〜第３の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。
例えば、上記した各実施形態における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読みとり可能な記憶媒体として実現することとしてもよい。なお、本発明における記憶媒体としては、磁気ディスク、光ディスク、光磁気ディスク、半導体等、プログラムを記憶でき且つコンピュータ又は組み込みシステムが読みとり可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳや、データベース管理ソフト、ネットワーク等のミドルウェア等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本発明における記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限らず、複数の記憶媒体から本実施形態における処理が実行される場合であっても、本発明における記憶媒体に含まれるものとする。なお、本発明におけるコンピュータ又は組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、上記した各実施形態における各処理を実行するためのものであって、ＰＣ、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本発明におけるコンピュータとは、ＰＣに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
また、上記した各実施形態には種々の段階の発明は含まれており、開示される複数の構成要件における適宜な組み合わせにより、種々の発明が抽出されるものとする。例えば、上記した各実施形態に示される全ての構成要件からいくつかの構成要件が削除されたとしても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成が本発明として抽出されるものとする。
第１の実施形態に係る映像表示装置の構成を示した図である。 第１の実施形態に係る関連度算出処理の手順を示したフローチャートである。 第１の実施形態に係る関連コンテンツ算出処理の手順を示したフローチャートである。 可視化コンテンツの一例を示した図である。 可視化コンテンツの一例を示した図である。 可視化された仮想空間の一例を示した図である。 可視化された仮想空間の一例を示した図である。 第１の実施形態に係る可視化コンテンツ群配置処理の手順を示したフローチャートである。 仮想空間内に配置された可視化コンテンツの一例を示した図である。 仮想空間内に配置された可視化コンテンツの一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置の修正方法の一例を示した図である。 配置位置修正処理の手順を示したフローチャートである。 第１の実施形態に係る空間可視化処理の手順を示したフローチャートである。 第１の実施形態に係る映像表示処理の手順を示したフローチャートである。 可視化された仮想空間の一例を示した図である。 可視化された仮想空間の一例を示した図である。 第１の実施形態の変形例１に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例１に係る可視化コンテンツ群配置部が実行する可視化コンテンツ群配置処理の手順を示したフローチャートである。 第１の実施形態の変形例２に係る映像表示装置の構成を示した図である。 配置状況解析結果の一例を示した図である。 配置状況解析結果の一例を示した図である。 仮想空間内における配置範囲の一例を示した図である。 仮想空間内における配置範囲の一例を示した図である。 仮想空間内に配置された可視化コンテンツの一例を示した図である。 第１の実施形態の変形例３に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例４に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例５に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例６に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例６に係る関連コンテンツ算出処理の手順を示したフローチャートである。 第１の実施形態の変形例７に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例８に係る映像表示装置の構成を示した図である。 第１の実施形態の変形例８に係る空間可視化処理の手順を示したフローチャートである。 第１の実施形態の変形例９に係る映像表示装置の構成を示した図である。 仮想空間内に配置された可視化コンテンツの一例を示した図である。 仮想空間内に配置された可視化コンテンツの一例を示した図である。 第２の実施形態に係る映像表示装置の構成を示した図である。 第２の実施形態の変形例１に係る映像表示装置の構成を示した図である。 第２の実施形態の変形例２に係る映像表示装置の構成を示した図である。 第２の実施形態の変形例３に係る映像表示装置の構成を示した図である。 第２の実施形態の変形例４に係る映像表示装置の構成を示した図である。 第３の実施形態に係る映像表示装置の構成を示した図である。 第３の実施形態の変形例１に係る映像表示装置の構成を示した図である。 第３の実施形態の変形例２に係る映像表示装置の構成を示した図である。
符号の説明
１００ 映像表示装置
１０１ 映像表示装置
１０２ 映像表示装置
１０３ 映像表示装置
１０４ 映像表示装置
１０５ 映像表示装置
１０６ 映像表示装置
１０７ 映像表示装置
１０８ 映像表示装置
１０９ 映像表示装置
１１０ 映像表示装置
１１１ 映像表示装置
１１２ 映像表示装置
１１３ 映像表示装置
１１４ 映像表示装置
１１５ 映像表示装置
１１６ 映像表示装置
１１７ 映像表示装置
１１ 動画像データベース
１２ 処理対象コンテンツ選択部
１３ 処理対象フレーム選択部
１４ コンテンツ情報取得部
１５ フレーム情報取得部
１６ フレーム画像解析部
１７ 関連度算出部
１８ 関連コンテンツ算出部
１９ 表示対象コンテンツ選択部
２０ コンテンツ可視化部
２１ 可視化コンテンツ群配置部
２２ 空間可視化部
２３ 表示部
２４ 配置履歴管理部
２５ 可視化コンテンツ群配置部
２６ 配置状況解析部
２７ 可視化コンテンツ群配置部
２８ 第２の配置状況解析部
２９ 表示対象コンテンツ選択部
３０ 第３の配置状況解析部
３１ コンテンツ可視化部
３２ 第４の配置状況解析部
３３ 表示対象コンテンツ加工部
３４ コンテンツ可視化部
３５ 可視化コンテンツ群配置部
３６ 関連コンテンツ算出部
３７ 関連性解析部
３８ 空間可視化部
３９ 配置モーション補間部
４０ 空間可視化部
４１ 共通部分可視化部
４２ 可視化コンテンツ群配置部
４３ ＥＰＧ情報取得・管理部
４４ チューナ
４５ ストリーム情報取得・管理部
４６ コンテンツ可視化部
４７ ディスクドライブ
４８ ディスク情報取得・管理部
４９ コンテンツ可視化部
５０ ＶＯＤ取得部
５１ ＶＯＤ情報取得・管理部
５２ コンテンツ可視化部
５３ 音楽データ取得部
５４ 音楽データベース
５５ 音楽データ情報取得・管理部
５６ コンテンツ可視化部
５７ 商品データ取得部
５８ 商品データ情報取得・管理部
５９ コンテンツ可視化部
６０ 操作支援部
６１ 操作支援部
６２ 商品購入手続き部
６３ 課金部

Claims (15)

  1. 複数の動画像コンテンツを記憶する第１記憶手段と、
    前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、
    前記処理対象の動画像コンテンツの特性と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツの特性との類似度に基づいて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の関連度を算出する関連コンテンツ算出手段と、
    前記処理対象の動画像コンテンツ及び他の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、
    仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記他の動画像コンテンツ各々の関連度に応じて離間させた位置に、前記他の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、
    前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、
    前記可視化された仮想空間を表示する表示手段と、
    を備えたことを特徴とする映像表示装置。
  2. 複数の動画像コンテンツを記憶する第１記憶手段と、
    前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、
    前記処理対象の動画像コンテンツの特性と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツの特性との類似度に基づいて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の関連度を算出する関連コンテンツ算出手段と、
    前記関連コンテンツ算出手段により算出された関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択手段と、
    前記処理対象の動画像コンテンツ及び前記表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、
    仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、
    前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、
    前記可視化された仮想空間を表示する表示手段と、
    を備えたことを特徴とする映像表示装置。
  3. 動画像を構成する一連のフレームのうち、何れか又は全てのフレームに対し、当該各フレームの特性を示すフレーム情報が付与された動画像コンテンツの各々を、当該各動画像コンテンツの特性を示すコンテンツ情報と対応付けて記憶する第１記憶手段と、
    前記第１記憶手段に記憶された動画像コンテンツから、処理対象の動画像コンテンツを選択するコンテンツ選択手段と、
    前記処理対象の動画像コンテンツに対応付けられたコンテンツ情報と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツに対応付けられたコンテンツ情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第１関連度算出手段と、
    前記処理対象の動画像コンテンツから、当該動画像コンテンツに含まれる少なくとも１以上のフレームを処理対象のフレームとして選択するフレーム選択手段と、
    前記処理対象のフレームに付与されたフレーム情報と、前記他の動画像コンテンツのフレームに付与されたフレーム情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第２関連度算出手段と、
    前記処理対象のフレーム及び前記他の動画像コンテンツを構成する各フレームに含まれた画像の画像特性を解析する画像解析手段と、
    前記処理対象のフレームの画像解析結果と、前記他の動画像コンテンツのフレームの画像解析結果との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第３関連度算出手段と、
    前記第１関連度算出手段、第２関連度算出手段、第３関連度算出手段の何れか又は全てで算出された関連度を用いて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の総合的な関連度を算出する関連コンテンツ算出手段と、
    前記関連コンテンツ算出手段により算出された総合的な関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択手段と、
    前記処理対象の動画像コンテンツ及び表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化手段と、
    仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の総合的な関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置手段と、
    前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化手段と、
    前記可視化された仮想空間を表示する表示手段と、
    を備えたことを特徴とする映像表示装置。
  4. 前記仮想空間は三次元空間であって、
    前記配置手段は、前記三次元空間を構成する一の座標系に基づいて、前記処理対象の動画像コンテンツに対応する可視化コンテンツの配置位置から前記表示対象の動画像コンテンツの関連度に応じて離間させた位置に、当該各表示対象の動画像コンテンツに対応する可視化コンテンツを夫々配置するとともに、前記表示対象の動画像コンテンツ各々のコンテンツ情報に基づいて、前記動画像コンテンツの特性毎に分別された前記三次元空間の他の二つの座標系から構成される平面内の所定の領域に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置することを特徴とする請求項３に記載の映像表示装置。
  5. 前記配置手段は、前記処理対象の動画像コンテンツに対応する可視化コンテンツの配置位置を基準とした前記平面内の各方位方向に対し、前記動画像コンテンツの各特性を割り当てることを特徴とする請求項４に記載の映像表示装置。
  6. 前記表示手段により表示された仮想空間内に存在する前記可視化コンテンツから、特定の可視化コンテンツの選択を受け付ける受付手段を更に備え、
    前記コンテンツ選択手段は、前記選択された特定の可視化コンテンツに対応する動画像コンテンツを、処理対象の動画像コンテンツとして選択することを特徴とする請求項１〜４の何れか一項に記載の映像表示装置。
  7. 前記配置手段により前記仮想空間内に配置された可視化コンテンツの前記仮想空間内における配置位置と、当該可視化コンテンツに対応する動画像コンテンツの特性と、関連度とを関連付けて記憶する配置履歴管理手段を更に備え、
    前記配置手段は、前記配置履歴管理手段に基づいて、前記動画像コンテンツの特性が同じで、且つ、関連度が略同値となる動画像コンテンツの可視化コンテンツを、当該特性及び関連度と関連付けて記憶されたた配置位置に配置することを特徴とする請求項１〜５の何れか一項に記載の映像表示装置。
  8. 前記仮想空間内に配置された可視化コンテンツの偏倚状態を解析する解析手段を更に備え、
    前記配置手段は、前記解析手段による解析結果に応じて、前記仮想空間を構成する座標系を偏倚させることを特徴とする請求項１〜５の何れか一項に記載の映像表示装置。
  9. 前記仮想空間内に配置された可視化コンテンツの偏倚状態を解析する解析手段を更に備え、
    前記表示コンテンツ選択手段は、前記解析手段による解析結果に応じて、前記他の動画像コンテンツから選択する表示対象の動画像コンテンツの数を制限することを特徴とする請求項２〜５の何れか一項に記載の映像表示装置。
  10. 前記仮想空間内に配置された可視化コンテンツの偏倚状態を解析する解析手段を更に備え、
    前記コンテンツ可視化手段は、前記解析手段による解析結果に応じて、偏倚状態にある複数の可視化コンテンツをマージし、新たな一の可視化コンテンツを生成することを特徴とする請求項１〜５の何れか一項に記載の映像表示装置。
  11. 前記仮想空間内に配置された可視化コンテンツの偏倚状態を解析する解析手段と、
    前記解析手段により解析結果に応じて、前記表示対象コンテンツを併合し、新たな一の表示対象コンテンツを生成するコンテンツ加工手段と、
    を更に備えたことを特徴とする請求項２〜５の何れか一項に記載の映像表示装置。
  12. 前記関連コンテンツ算出手段で算出された関連度と、前記配置手段により前記可視化コンテンツの配置の状況とから、前記仮想空間内に配置される可視化コンテンツの偏倚状態を解析する関連性解析手段を更に備え、
    前記空間可視化手段は、前記関連性解析手段による解析結果に応じて、前記仮想空間の可視化に係る条件を変更することを特徴とする請求項２〜５の何れか一項に記載の映像表示装置。
  13. 前記仮想空間内に配置された各可視化コンテンツの配置位置を、前記表示手段の画面表示間隔毎に補間する配置モーション補間手段を更に備え、
    前記表示手段は、前記表示間隔毎に仮想空間の表示を更新することを特徴とする請求項２〜５の何れか一項に記載の映像表示装置。
  14. 電子番組表を配信しているサーバから電子番組表を取得し、この電子番組表を前記コンテンツ情報として管理するとともに、当該電子番組表に関係する動画データを前記コンテンツ情報として管理する電子番組表管理手段と、
    ストリーム配信されたデータを取得する受信手段と、
    前記受信手段により取得されたデータを前記動画像コンテンツとして管理するとともに、このデータに関する情報を前記コンテンツ情報として管理するストリーム管理手段と、
    を更に備えたことを特徴とする請求項１〜１３の何れか一項に記載の映像表示装置。
  15. 映像表示装置で実行される映像表示方法であって、
    前記映像表示装置は、動画像を構成する一連のフレームのうち、何れか又は全てのフレームに対し、当該各フレームの特性を示すフレーム情報が付与された動画像コンテンツの各々を、当該各動画像コンテンツの特性を示すコンテンツ情報と対応付けて記憶する記憶手段を備え、
    コンテンツ選択手段が、前記記憶手段から、処理対象の動画像コンテンツを選択するコンテンツ選択ステップと、
    第１関連度算出手段が、前記処理対象の動画像コンテンツに対応付けられたコンテンツ情報と、前記第１記憶手段に記憶された当該処理対象の動画像コンテンツ以外の他の動画像コンテンツに対応付けられたコンテンツ情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第１関連度算出ステップと、
    フレーム選択手段が、前記処理対象の動画像コンテンツから、当該動画像コンテンツに含まれる少なくとも１以上のフレームを処理対象のフレームとして選択するフレーム選択ステップと、
    第２関連度算出手段が、前記処理対象のフレームに付与されたフレーム情報と、前記他の動画像コンテンツのフレームに付与されたフレーム情報との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第２関連度算出ステップと、
    画像解析手段が、前記処理対象のフレーム及び前記他の動画像コンテンツを構成する各フレームに含まれた画像の画像特性を解析する画像解析ステップと、
    第３関連度算出手段が、前記処理対象のフレームの画像解析結果と、前記他の動画像コンテンツのフレームの画像解析結果との類似度に基づいて、処理対象の動画像コンテンツに対する他の動画像コンテンツ各々の関連度を算出する第３関連度算出ステップと、
    関連コンテンツ算出手段が、前記第１関連度算ステップ、第２関連度算出ステップ、第３関連度算出ステップの何れか又は全てで算出された関連度を用いて、前記処理対象の動画像コンテンツに対する前記他の動画像コンテンツ各々の総合的な関連度を算出する関連コンテンツ算出ステップと、
    表示コンテンツ選択手段が、前記総合的な関連度に基づいて、前記他の動画像コンテンツから表示対象の動画像コンテンツを選択する表示コンテンツ選択ステップと、
    コンテンツ可視化手段が、前記処理対象の動画像コンテンツ及び表示対象の動画像コンテンツを象徴化した可視化コンテンツを夫々生成するコンテンツ可視化ステップと、
    配置手段が、仮想空間内に前記処理対象の動画像コンテンツに対応する可視化コンテンツを配置するとともに、この配置位置から前記表示対象の動画像コンテンツ各々の総合的な関連度に応じて離間させた位置に、当該表示対象の動画像コンテンツ各々に対応する可視化コンテンツを夫々配置する配置ステップと、
    空間可視化手段が、前記可視化コンテンツが配置された仮想空間を、表示可能な状態に可視化する空間可視化ステップと、
    表示手段が、前記可視化された仮想空間を表示する表示ステップと、
    を含むことを特徴とする映像表示方法。
JP2007247997A 2007-09-25 2007-09-25 映像表示装置及び方法 Pending JP2009080580A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007247997A JP2009080580A (ja) 2007-09-25 2007-09-25 映像表示装置及び方法
US12/076,439 US8041155B2 (en) 2007-09-25 2008-03-18 Image display apparatus and computer program product
EP08155006A EP2043047A3 (en) 2007-09-25 2008-04-23 Image display apparatus and computer program product
CN2008102157505A CN101398851B (zh) 2007-09-25 2008-09-09 影像显示装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007247997A JP2009080580A (ja) 2007-09-25 2007-09-25 映像表示装置及び方法

Publications (1)

Publication Number Publication Date
JP2009080580A true JP2009080580A (ja) 2009-04-16

Family

ID=39495286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007247997A Pending JP2009080580A (ja) 2007-09-25 2007-09-25 映像表示装置及び方法

Country Status (4)

Country Link
US (1) US8041155B2 (ja)
EP (1) EP2043047A3 (ja)
JP (1) JP2009080580A (ja)
CN (1) CN101398851B (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008694A (ja) * 2009-06-29 2011-01-13 Toshiba Corp 表示処理装置、プログラムおよび表示処理方法
JP2011013860A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 表示処理装置、表示処理方法およびプログラム
JP2011040099A (ja) * 2010-11-09 2011-02-24 Toshiba Corp 表示処理装置、プログラムおよび表示処理方法
JP2011048786A (ja) * 2009-08-28 2011-03-10 Toshiba Corp 表示処理装置、及び表示処理方法
JP2011060328A (ja) * 2010-12-09 2011-03-24 Toshiba Corp 表示処理装置、及び表示処理方法
JP2011095973A (ja) * 2009-10-29 2011-05-12 Toshiba Corp 表示処理装置及び表示処理方法
JP2011109368A (ja) * 2009-11-17 2011-06-02 Sony Corp 表示制御システム、表示制御装置、および表示制御方法
WO2011070705A1 (ja) * 2009-12-11 2011-06-16 日本電気株式会社 情報表示装置、そのコンピュータプログラムおよびデータ処理方法
JP2011129057A (ja) * 2009-12-21 2011-06-30 Toshiba Corp 表示装置及び表示方法
JP2011128981A (ja) * 2009-12-18 2011-06-30 Toshiba Corp 検索装置及び検索方法
JP2011141899A (ja) * 2011-04-13 2011-07-21 Toshiba Corp 表示処理装置、表示処理方法及びプログラム
EP2357802A1 (en) 2009-12-25 2011-08-17 Kabushiki Kaisha Toshiba Display processing device, display processing method, and computer program product
US8041155B2 (en) 2007-09-25 2011-10-18 Kabushiki Kaisha Toshiba Image display apparatus and computer program product
US8174523B2 (en) 2008-08-28 2012-05-08 Kabushiki Kaisha Toshiba Display controlling apparatus and display controlling method
US8244738B2 (en) 2009-03-25 2012-08-14 Kabushiki Kaisha Toshiba Data display apparatus, method, and program
JP2012216218A (ja) * 2012-06-01 2012-11-08 Toshiba Corp データ処理方法
JP2013520872A (ja) * 2010-02-19 2013-06-06 トムソン ライセンシング メディアコンテンツ空間ナビゲーション
US8466961B2 (en) 2007-09-25 2013-06-18 Kabushiki Kaisha Toshiba Apparatus and method for outputting video images, and purchasing system
US8904437B2 (en) 2009-10-05 2014-12-02 Kabushiki Kaisha Toshiba Similar content search device and computer-readable storage medium
JP2014235723A (ja) * 2013-06-05 2014-12-15 日本電信電話株式会社 情報提示装置、方法、及びプログラム
US8949741B2 (en) 2009-03-03 2015-02-03 Kabushiki Kaisha Toshiba Apparatus and method for presenting content
US9026643B2 (en) 2009-10-14 2015-05-05 Sony Corporation Contents' relationship visualizing apparatus, contents' relationship visualizing method and its program
JP2017535835A (ja) * 2014-09-22 2017-11-30 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 検索、ユーザの興味または嗜好のインジケータとしての奥行き知覚の使用
US10942574B2 (en) 2014-11-12 2021-03-09 Samsung Electronics Co., Ltd. Apparatus and method for using blank area in screen
JP2022528357A (ja) * 2019-03-24 2022-06-10 アップル インコーポレイテッド アカウントを管理するためのユーザインタフェース

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886024B2 (en) * 2004-07-01 2011-02-08 Microsoft Corporation Sharing media objects in a network
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
US8762891B2 (en) * 2008-05-30 2014-06-24 T-Mobile Usa, Inc. Relationship-based and context-based user interfaces for exchanging data
US8473854B2 (en) * 2008-08-19 2013-06-25 Rockwell Automation Technologies, Inc. Visualization profiles and templates for auto-configuration of industrial automation systems
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP2010055424A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 画像を処理する装置、方法およびプログラム
JP4675995B2 (ja) * 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
JP5104709B2 (ja) * 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
EP2394216A4 (en) * 2009-03-11 2013-01-02 Sony Corp ACCESSING ITEM INFORMATION FOR AN ELEMENT SELECTED FROM A DISPLAYED IMAGE
JP2010252008A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮影装置、表示装置、再生装置、撮影方法、および表示方法
EP2252051B1 (en) * 2009-05-13 2014-06-11 Sony Europe Limited A method of content retrieval
US20100333140A1 (en) * 2009-06-29 2010-12-30 Mieko Onodera Display processing apparatus, display processing method, and computer program product
KR20110062982A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
US20110138340A1 (en) * 2009-12-09 2011-06-09 Microsoft Corporation Rotating Hierarchy Cone User Interface
US8555324B2 (en) * 2010-02-02 2013-10-08 Microsoft Corporation Video download mechanism for transferring large data
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP5312420B2 (ja) * 2010-07-13 2013-10-09 富士フイルム株式会社 コンテンツ解析装置、方法およびプログラム
JP4977241B2 (ja) * 2010-07-16 2012-07-18 株式会社東芝 表示装置及び表示方法
JP5744660B2 (ja) * 2010-08-26 2015-07-08 キヤノン株式会社 データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
US10013140B2 (en) * 2011-02-18 2018-07-03 Blackberry Limited Methods and apparatus for providing updated content in a user interface
US20120272171A1 (en) * 2011-04-21 2012-10-25 Panasonic Corporation Apparatus, Method and Computer-Implemented Program for Editable Categorization
US8984051B2 (en) * 2011-07-26 2015-03-17 Salesforce.Com, Inc. Computer implemented methods and apparatus for communicating feed information to one or more recipients
JP2013097700A (ja) * 2011-11-04 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5994974B2 (ja) * 2012-05-31 2016-09-21 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、プログラム及び情報処理方法
US9958843B2 (en) * 2012-11-07 2018-05-01 Hitachi, Ltd. System and program for managing management target system
JP6003626B2 (ja) * 2012-12-26 2016-10-05 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20140189559A1 (en) * 2012-12-27 2014-07-03 International Business Machines Corporation Control for rapidly exploring relationships in densely connected networks
US20140232723A1 (en) * 2013-02-19 2014-08-21 Schlumberger Technology Corporation Moving visualizations between displays and contexts
EP2979162A1 (en) * 2013-03-26 2016-02-03 RealityGate (Pty) Ltd Distortion viewing with improved focus targeting
US9201900B2 (en) * 2013-08-29 2015-12-01 Htc Corporation Related image searching method and user interface controlling method
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
GB201406023D0 (en) * 2014-04-03 2014-05-21 Sony Corp A method, system, server and client
WO2016035423A1 (ja) * 2014-09-05 2016-03-10 富士フイルム株式会社 動画編集装置、動画編集方法及び動画編集プログラム
US9773087B2 (en) * 2015-08-27 2017-09-26 Taiwan Semiconductor Manufacturing Co., Ltd. Method and system for creating a device layout
US10789291B1 (en) * 2017-03-01 2020-09-29 Matroid, Inc. Machine learning in video classification with playback highlighting
DE112017007657T5 (de) * 2017-07-19 2020-03-05 Mitsubishi Electric Corporation Verhaltensvisualisierungsvorrichtung und verhaltensvisualisierungsverfahren
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
US10582229B2 (en) * 2018-02-23 2020-03-03 Rovi Guides, Inc. Systems and methods for managing recorded media assets through advertisement insertion
JP7056460B2 (ja) * 2018-08-10 2022-04-19 横河電機株式会社 制御システム及び制御装置
CN111489448B (zh) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
US11989799B2 (en) * 2020-01-10 2024-05-21 Nec Corporation Visualized image display device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282379A (ja) * 1992-02-06 1993-10-29 Internatl Business Mach Corp <Ibm> 動画像の管理方法及び管理装置
JPH1196185A (ja) * 1997-09-18 1999-04-09 Nec Corp 情報表示装置および情報表示プログラムを記録した記録媒体
JP2001229167A (ja) * 2000-02-14 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 関連発見型情報閲覧システム、関連発見型情報閲覧方法および記録媒体
JP2003061038A (ja) * 2001-08-20 2003-02-28 Univ Waseda 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
JP2003162543A (ja) * 2001-11-22 2003-06-06 Nippon Telegr & Teleph Corp <Ntt> コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラム、及びコンテンツ管理プログラムを記録した記録媒体
JP2004030112A (ja) * 2002-06-25 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提示方法及びシステム並びにプログラム及び媒体
JP2005513675A (ja) * 2001-12-31 2005-05-12 ケーティー・コーポレーション 静止画像形状記述子の統計的特性を示す動画形状記述子の抽出装置及びその方法とそれを利用した動画索引システム
JP2005267483A (ja) * 2004-03-22 2005-09-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007006095A (ja) * 2005-06-23 2007-01-11 Matsushita Electric Ind Co Ltd コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラムを格納した記録媒体およびコンテンツ再生装置に用いられる集積回路
JP2007034663A (ja) * 2005-07-27 2007-02-08 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007164803A (ja) * 2007-01-19 2007-06-28 Sony Corp 情報媒介装置、及びクライアント装置
WO2007091587A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407840B2 (ja) 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JPH113346A (ja) 1997-06-11 1999-01-06 Hitachi Ltd 動画像ファイル管理装置
JPH11249774A (ja) 1998-03-04 1999-09-17 Ntt Data Corp ３次元情報表示システム及び方法
JP3123501B2 (ja) * 1998-03-16 2001-01-15 日本電気株式会社 空間視点制御装置
JP3473419B2 (ja) * 1998-07-22 2003-12-02 日本電気株式会社 三次元空間メディア情報表示装置、三次元空間メディア情報表示方法および記録媒体
JP2000076267A (ja) 1998-08-31 2000-03-14 Sharp Corp 情報検索方法、情報検索装置、及び情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2000017777A1 (fr) * 1998-09-17 2000-03-30 Sony Corporation Dispositif et procede de visualisation d'images
EP1051034A4 (en) 1998-11-30 2007-10-17 Sony Corp INFORMATION DELIVERY DEVICE AND METHOD
JP3572215B2 (ja) 1999-02-18 2004-09-29 日本電信電話株式会社 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体
DE60016074T2 (de) 1999-03-30 2005-11-24 Nec Corp. OFDM-Demodulator
US6853389B1 (en) 1999-04-26 2005-02-08 Canon Kabushiki Kaisha Information searching apparatus, information searching method, and storage medium
JP2000305946A (ja) 1999-04-26 2000-11-02 Canon Inc 情報検索装置、情報検索方法、及び記憶媒体
JP3451985B2 (ja) * 1999-05-27 2003-09-29 日本電気株式会社 動画像類似度算出装置および方法
JP4378837B2 (ja) 2000-04-07 2009-12-09 ソニー株式会社 受信装置
JP2001292383A (ja) 2000-04-07 2001-10-19 Sony Corp 受信装置および受信方法
JP3648130B2 (ja) 2000-05-15 2005-05-18 日本電信電話株式会社 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6874052B1 (en) 2000-09-29 2005-03-29 Lucent Technologies Inc. Expansion bridge apparatus and method for an I2C bus
JP3842545B2 (ja) 2000-09-29 2006-11-08 日本電信電話株式会社 コンテンツ提供システムおよび提供方法
JP2002209178A (ja) 2001-01-09 2002-07-26 Funai Electric Co Ltd 録画再生装置
JP4202622B2 (ja) * 2001-07-13 2008-12-24 富士通株式会社 コンテンツ配信方法、コンテンツ情報処理装置、および、プログラム
JP3880358B2 (ja) 2001-10-04 2007-02-14 シャープ株式会社 Ｏｆｄｍ復調回路及びこれを用いたｏｆｄｍ受信装置
US7171344B2 (en) * 2001-12-21 2007-01-30 Caterpillar Inc Method and system for providing end-user visualization
US20030126601A1 (en) * 2001-12-31 2003-07-03 Koninklijke Philips Electronics N.V. Visualization of entertainment content
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
JP2003330969A (ja) 2002-05-16 2003-11-21 Sony Corp 情報管理システム、情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体
JP2004178085A (ja) 2002-11-25 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置、情報表示プログラム、プログラム記録媒体及び情報表示方法
JP2004258390A (ja) 2003-02-26 2004-09-16 Canon Inc 画像処理装置
US7245677B1 (en) 2003-03-14 2007-07-17 Ralink Technology, Inc. Efficient method for multi-path resistant carrier and timing frequency offset detection
JP2005010854A (ja) 2003-06-16 2005-01-13 Sony Computer Entertainment Inc 情報提示方法および装置
KR100562904B1 (ko) 2003-09-02 2006-03-21 삼성전자주식회사 미니맵을 이용한 ｅｐｇ 정보 표시 방법
JP4325449B2 (ja) 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置，表示制御方法，記録媒体
US7557774B2 (en) * 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
US7721311B2 (en) 2004-09-24 2010-05-18 Canon Kabushiki Kaisha Displaying EPG information on a digital television
JP4602044B2 (ja) * 2004-10-15 2010-12-22 株式会社東芝 画像表示装置
JP2007066285A (ja) 2004-12-28 2007-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP4346591B2 (ja) * 2005-08-25 2009-10-21 株式会社東芝 映像処理装置、映像処理方法およびプログラム
JP4536638B2 (ja) 2005-10-28 2010-09-01 株式会社スクウェア・エニックス 表示情報選択装置及び方法、プログラム並びに記録媒体
JP4536637B2 (ja) 2005-10-28 2010-09-01 株式会社スクウェア・エニックス 情報散策装置及び方法、プログラム並びに記録媒体
JP2007148669A (ja) 2005-11-25 2007-06-14 Hitachi Software Eng Co Ltd らせん式ファイルフォルダ表示システム
JP4972966B2 (ja) 2006-03-16 2012-07-11 日本電気株式会社 関係性表示方法及び装置並びにそのプログラム
JP4622901B2 (ja) 2006-03-17 2011-02-02 パナソニック株式会社 空気調和装置
JP4359685B2 (ja) 2006-03-31 2009-11-04 大学共同利用機関法人情報・システム研究機構 映像提供装置及び映像提供方法
JP4917412B2 (ja) 2006-11-24 2012-04-18 シャープ株式会社 コンテンツ抽出装置、方法、プログラム、及び記録媒体
JP5086617B2 (ja) 2006-11-27 2012-11-28 シャープ株式会社 コンテンツ再生装置
JP2008242504A (ja) 2007-03-23 2008-10-09 Toshiba Corp ユーザインタフェース装置、表示方法及び表示プログラム
JP2008276410A (ja) 2007-04-26 2008-11-13 Toshiba Corp 画像処理装置及び方法
US7941429B2 (en) 2007-07-10 2011-05-10 Yahoo! Inc. Interface for visually searching and navigating objects
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
JP5121367B2 (ja) 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
JP2010055424A (ja) 2008-08-28 2010-03-11 Toshiba Corp 画像を処理する装置、方法およびプログラム
JP4675995B2 (ja) 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP2010055429A (ja) 2008-08-28 2010-03-11 Toshiba Corp コンテンツ表示装置及びコンテンツ表示方法
JP2010055431A (ja) 2008-08-28 2010-03-11 Toshiba Corp 表示処理装置および表示処理方法
US20100058388A1 (en) 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Display processing apparatus, display processing method, and computer program product
JP5060430B2 (ja) 2008-08-28 2012-10-31 株式会社東芝 表示制御装置、及び方法
US20100058173A1 (en) 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Display processing apparatus, display processing method, and computer program product
JP2010073126A (ja) 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282379A (ja) * 1992-02-06 1993-10-29 Internatl Business Mach Corp <Ibm> 動画像の管理方法及び管理装置
JPH1196185A (ja) * 1997-09-18 1999-04-09 Nec Corp 情報表示装置および情報表示プログラムを記録した記録媒体
JP2001229167A (ja) * 2000-02-14 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 関連発見型情報閲覧システム、関連発見型情報閲覧方法および記録媒体
JP2003061038A (ja) * 2001-08-20 2003-02-28 Univ Waseda 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
JP2003162543A (ja) * 2001-11-22 2003-06-06 Nippon Telegr & Teleph Corp <Ntt> コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラム、及びコンテンツ管理プログラムを記録した記録媒体
JP2005513675A (ja) * 2001-12-31 2005-05-12 ケーティー・コーポレーション 静止画像形状記述子の統計的特性を示す動画形状記述子の抽出装置及びその方法とそれを利用した動画索引システム
JP2004030112A (ja) * 2002-06-25 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提示方法及びシステム並びにプログラム及び媒体
JP2005267483A (ja) * 2004-03-22 2005-09-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007006095A (ja) * 2005-06-23 2007-01-11 Matsushita Electric Ind Co Ltd コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラムを格納した記録媒体およびコンテンツ再生装置に用いられる集積回路
JP2007034663A (ja) * 2005-07-27 2007-02-08 Sony Corp 情報処理装置および方法、並びにプログラム
WO2007091587A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム
JP2007164803A (ja) * 2007-01-19 2007-06-28 Sony Corp 情報媒介装置、及びクライアント装置

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041155B2 (en) 2007-09-25 2011-10-18 Kabushiki Kaisha Toshiba Image display apparatus and computer program product
US8466961B2 (en) 2007-09-25 2013-06-18 Kabushiki Kaisha Toshiba Apparatus and method for outputting video images, and purchasing system
US8174523B2 (en) 2008-08-28 2012-05-08 Kabushiki Kaisha Toshiba Display controlling apparatus and display controlling method
US8949741B2 (en) 2009-03-03 2015-02-03 Kabushiki Kaisha Toshiba Apparatus and method for presenting content
US8244738B2 (en) 2009-03-25 2012-08-14 Kabushiki Kaisha Toshiba Data display apparatus, method, and program
JP2011008694A (ja) * 2009-06-29 2011-01-13 Toshiba Corp 表示処理装置、プログラムおよび表示処理方法
JP2011013860A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 表示処理装置、表示処理方法およびプログラム
JP2011048786A (ja) * 2009-08-28 2011-03-10 Toshiba Corp 表示処理装置、及び表示処理方法
US8904437B2 (en) 2009-10-05 2014-12-02 Kabushiki Kaisha Toshiba Similar content search device and computer-readable storage medium
US9026643B2 (en) 2009-10-14 2015-05-05 Sony Corporation Contents' relationship visualizing apparatus, contents' relationship visualizing method and its program
JP2011095973A (ja) * 2009-10-29 2011-05-12 Toshiba Corp 表示処理装置及び表示処理方法
US9009604B2 (en) 2009-10-29 2015-04-14 Kabushiki Kaisha Toshiba Display processing device, display information distribution device, and display processing method
JP2011109368A (ja) * 2009-11-17 2011-06-02 Sony Corp 表示制御システム、表示制御装置、および表示制御方法
WO2011070705A1 (ja) * 2009-12-11 2011-06-16 日本電気株式会社 情報表示装置、そのコンピュータプログラムおよびデータ処理方法
JP2011128981A (ja) * 2009-12-18 2011-06-30 Toshiba Corp 検索装置及び検索方法
EP2357803A1 (en) 2009-12-21 2011-08-17 Kabushiki Kaisha Toshiba Display device and display method
JP2011129057A (ja) * 2009-12-21 2011-06-30 Toshiba Corp 表示装置及び表示方法
EP2357802A1 (en) 2009-12-25 2011-08-17 Kabushiki Kaisha Toshiba Display processing device, display processing method, and computer program product
JP2013520872A (ja) * 2010-02-19 2013-06-06 トムソン ライセンシング メディアコンテンツ空間ナビゲーション
JP2011040099A (ja) * 2010-11-09 2011-02-24 Toshiba Corp 表示処理装置、プログラムおよび表示処理方法
JP2011060328A (ja) * 2010-12-09 2011-03-24 Toshiba Corp 表示処理装置、及び表示処理方法
JP2011141899A (ja) * 2011-04-13 2011-07-21 Toshiba Corp 表示処理装置、表示処理方法及びプログラム
JP2012216218A (ja) * 2012-06-01 2012-11-08 Toshiba Corp データ処理方法
JP2014235723A (ja) * 2013-06-05 2014-12-15 日本電信電話株式会社 情報提示装置、方法、及びプログラム
JP2017535835A (ja) * 2014-09-22 2017-11-30 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 検索、ユーザの興味または嗜好のインジケータとしての奥行き知覚の使用
US11347793B2 (en) 2014-09-22 2022-05-31 Interdigital Madison Patent Holdings, Sas Use of depth perception as indicator of search, user interest or preference
US10942574B2 (en) 2014-11-12 2021-03-09 Samsung Electronics Co., Ltd. Apparatus and method for using blank area in screen
JP2022528357A (ja) * 2019-03-24 2022-06-10 アップル インコーポレイテッド アカウントを管理するためのユーザインタフェース
US11610259B2 (en) 2019-03-24 2023-03-21 Apple Inc. User interfaces for managing an account
JP7254961B2 (ja) 2019-03-24 2023-04-10 アップル インコーポレイテッド アカウントを管理するためのユーザインタフェース
US11669896B2 (en) 2019-03-24 2023-06-06 Apple Inc. User interfaces for managing an account
US11688001B2 (en) 2019-03-24 2023-06-27 Apple Inc. User interfaces for managing an account
JP7513789B2 (ja) 2019-03-24 2024-07-09 アップル インコーポレイテッド アカウントを管理するためのユーザインタフェース
JP7514352B2 (ja) 2019-03-24 2024-07-10 アップル インコーポレイテッド アカウントを管理するためのユーザインタフェース
US12131374B2 (en) 2019-03-24 2024-10-29 Apple Inc. User interfaces for managing an account

Also Published As

Publication number Publication date
US8041155B2 (en) 2011-10-18
CN101398851A (zh) 2009-04-01
EP2043047A3 (en) 2012-03-07
EP2043047A2 (en) 2009-04-01
US20090080698A1 (en) 2009-03-26
CN101398851B (zh) 2011-06-22

Similar Documents

Publication Publication Date Title
JP2009080580A (ja) 映像表示装置及び方法
US8174523B2 (en) Display controlling apparatus and display controlling method
Kwon et al. A study of layout, rendering, and interaction methods for immersive graph visualization
CN103797812B (zh) 带评论运动图像生成装置及带评论运动图像生成方法
TWI521456B (zh) 視頻內容感知之廣告放置
US8416332B2 (en) Information processing apparatus, information processing method, and program
US7146022B2 (en) Spatiotemporal locator processing method and apparatus
US8571381B2 (en) Image processing apparatus, image processing method, and program
US20100057722A1 (en) Image processing apparatus, method, and computer program product
US10031928B2 (en) Display, visualization, and management of images based on content analytics
JP5111627B2 (ja) 映像処理装置及び映像処理方法
US10740591B2 (en) Adaptive clothing 3D model
JP2008536196A (ja) ３ｄポインティングを使用してテレビアプリケーションを向上させる方法およびシステム
JP2006333453A (ja) ビデオを空間的且つ時間的に要約化する方法及びシステム
US20190156690A1 (en) Virtual reality system for surgical training
Saeghe et al. Augmented reality and television: Dimensions and themes
KR102418455B1 (ko) 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치
JP2007272468A (ja) 情報処理装置および方法、並びにプログラム
Cordelières Manual tracking
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
WO2024218172A1 (en) Video overlayers, distribution management systems and computer-implemented methods of overlaying a video with product data
Wang et al. CineFolio: Cinematography-guided camera planning for immersive narrative visualization
JP2005084805A (ja) 時空間領域情報処理方法、時空間領域情報処理システム及びプログラム
Rhee Applying Maturity Framework to US Cinema for Analyzing the Commercial Culture Industry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218