JP2010279066A

JP2010279066A - 画像処理装置および画像処理方法

Info

Publication number: JP2010279066A
Application number: JP2010173141A
Authority: JP
Inventors: Yutaka Numajiri; 裕沼尻; Norihiro Kato; 宣弘加藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-07-30
Filing date: 2010-07-30
Publication date: 2010-12-09

Abstract

【課題】表示のための情報処理量の増大を抑えつつ、動画を含むサムネイル画像群を出力させる。
【解決手段】画像処理装置は、２以上の動画を同時に再生する再生手段と、同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を作成し、出力する出力手段と、を備えている。出力手段は、サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に切り替えて出力し、この切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力する。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に関する。

映像表示装置等で複数の画像の表示を行なうとき、それぞれの画像の縮小画像（サムネイル）を一画面中に並べて同時にサムネイル画像群として表示させると、ユーザは一見して複数の画像のそれぞれを確認することができるため非常に便利であり、このサムネイル画像群の表示形態は様々な場面で利用されている。

例えば、一連の動画より所定時間間隔毎に静止画を抽出して、これらの静止画を含むサムネイル画像群を表示させ、ユーザがこのサムネイル画像群の中のある静止画を選択したとき、該静止画以降の動画の表示を行う一覧画面生成装置が提案されている（特許文献１を参照）。

特開平５−１２２６０４号公報

特許文献１のように動画を例えばチャプタ毎にサムネイルで表示して、ユーザがその中から所望のシーンの選択を行うとき、それぞれの表示が静止画による表示よりも、動画による表示であったほうがユーザはその表示がどのシーンであるかを認識し易くなる。

しかしサムネイルで表示されている全ての表示を動画にしようとすると、表示のため情報処理量が大きくなりすぎ、一般的な映像再生機器では全ての動画をスムーズに表示することができない場合が存在する。

本発明は上記問題に鑑みてなされたもので、表示のための情報処理量が大きくなりすぎることなく動画によるサムネイル画像群の作成を行なう画像処理装置および画像処理方法を提供することを目的とする。

本発明の画像処理装置は、２以上の動画を同時に再生する再生手段と、同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を作成し、出力する出力手段と、を具備し、前記出力手段は前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に自動的に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、を特徴とする。

また、本発明の画像処理装置は、２以上の動画を同時に再生する再生手段と、同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を作成し、出力する出力手段と、を具備し、前記出力手段は前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、を特徴とする。

さらに、本発明の画像処理方法は、２以上の動画を同時に再生手段が再生するステップと、前記再生手段により同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を出力手段が作成し、出力するステップと、を有し、前記出力手段が、前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、を特徴とする。

本発明によれば、サムネイル表示の一部を動画での表示を行なうことで、表示のための情報処理量が大きくなりすぎることなく動画によるサムネイル画像群を作成することの可能な画像処理装置および画像処理方法を提供することができる。

第１の実施形態におけるテレビの一例を示す概観斜視図。第１の実施形態におけるサムネイル画像群の表示の一例を示す図。第１の実施形態におけるテレビの内部ハード構成の一例を示すブロック図。第１の実施形態におけるテレビの機能構成の一例を示すブロック図。第１の実施形態におけるサムネイル画像群の表示の一例を示す図。第１の実施形態におけるサムネイル画像群の表示の一例を示す図。第１の実施形態におけるサムネイル画像群の表示処理の処理フローの一例を示す図。第１の実施形態におけるサムネイル画像群の表示処理の処理フローの一例を示す図。第２の実施形態におけるサムネイル画像群の表示の一例を示す図。第２の実施形態におけるテレビの機能構成の一例を示すブロック図。

以下、本発明の実施の形態を図面を用いて説明する。

（第１の実施形態）
本発明によるサムネイル作成装置の第１の実施形態を図１乃至図８を参照しながら説明する。

図１は本実施形態におけるテレビ１０の一例を示す概観斜視図である。図１にはテレビ１０およびＬＣＤ１１が示されている。

テレビ１０は例えばデジタルテレビジョンであり、各放送局が送信するテレビ放送を受信してユーザに対して映像情報を出力する機能を有している。またテレビ１０は記憶媒体を有しており、記憶媒体に記憶されたメディアデータを再生しユーザに対して出力するサムネイル作成装置としての機能を有する。

ＬＣＤ１１は例えば液晶ディスプレイ（Liquid Crystal Display）であり、テレビ１０における表示装置である。テレビ１０の画像情報をユーザに対して出力する機能を有している。本実施形態ではＬＣＤ１１の一例として液晶ディスプレイを例示しているが、これに限定されるものではなく、他の表示装置としては例えばＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）等が考えられる。

図２は本実施形態におけるサムネイル画像群の表示の一例を示す図である。図２にはテレビ１０、ＬＣＤ１１、サムネイル画像群２１、サムネイル２２、動画領域２３、および選択領域２４が示されている。

本実施形態では複数個のチャプタ分けをされる一連の動画の、目的の視聴箇所をユーザがサムネイル画像群を用いて選択し、選択した動画をＬＣＤ１１全画面にて視聴する場合を例に挙げて説明する。ユーザはサムネイル画像群２１によって目的の視聴箇所を見つけ、目的の視聴箇所であるサムネイル２２を選択領域２４によって選択することで、そのサムネイル２２に映る表示を含むチャプタをＬＣＤ１１の全画面で視聴することが可能となる。

サムネイル画像群２１は複数のサムネイル２２によって構成される表示郡であり、ＬＣＤ１１に表示される。本実施形態においてサムネイル画像群２１は縦６個×横８個の計４８個のサムネイル２２によって構成されている。このサムネイル２２の個数は本実施形態における例示であり、これに限定されるものではない。

サムネイル２２はサムネイル画像群２１を構成する表示の一つであり、ユーザが視聴する目的の一連の動画がチャプタ毎に、そのチャプタの一部の静止画又は動画によって表示されている。サムネイル２２には図２に記される番号のように左上から右下に向けてチャプタ１、チャプタ２、・・・、チャプタ４８と順に表示されている。

動画領域２３はサムネイル２２がチャプタを動画によって表示する領域である。本実施形態における動画領域２３はサムネイル画像群２１の横一列を全て含む大きさを有しており、動画領域２３中のサムネイル２２は各チャプタを動画によって表示し、動画領域２３内に属しないサムネイル２２は静止画によるチャプタの表示を行なう。この動画領域２３が存在することでユーザはどの箇所を動画による表示を行なっているかを確認し易くなる。

選択領域２４はサムネイル画像群２１の各サムネイル２２の選択を行なう領域であり、ユーザはこの領域を移動させ、視聴したいチャプタを表示しているサムネイル２２を選択することで、ＬＣＤ１１全画面にて、選択されたサムネイル２２に表示されているチャプタの動画の視聴を行うことができる。

この様にユーザはサムネイル画像群２１によって動画の各チャプタの表示の確認を行い、視聴したいチャプタの表示されているサムネイル２２を選択することによって、目的のチャプタの視聴を行う。

図３は本実施形態におけるテレビ１０の内部ハード構成の一例を示すブロック図である。図３にはテレビ１０、ＣＰＵ３０、メモリ３１、ＨＤＤ３２、入力部３３、表示制御部３４、ＬＣＤ１１、音声制御部３５、スピーカ３６、デコーダ３７、チューナ３８、およびバス３９が示されている。

ＣＰＵ３０は中央演算処理装置（Central Processing Unit）であり、テレビ１０全体を制御している。またプログラムを実行し、実行プログラムに応じた所定の処理を行う機能を有している。

メモリ３１は半導体メモリによって構成される不揮発性の記憶媒体である。メモリ３１にはＣＰＵ３０が実行する各種プログラムが格納されている。本実施形態においてはサムネイル画像群表示アプリケーションプログラムおよび動画再生アプリケーションプログラムを有しており、サムネイル画像群表示アプリケーションプログラムを実行することによりサムネイル画像群２１による表示を行ない、動画再生アプリケーションプログラムを実行することによりＬＣＤ１１の全画面にて動画の再生を行う。

ＨＤＤ３２は例えばＨＤＤ（Hard Disk Drive）等の不揮発性の大容量記憶媒体である。ＨＤＤ３２はテレビ１０で出力可能な一連の動画のメディアデータを有している。

入力部３３はテレビ１０に対してのユーザからの操作指示を電気信号として入力する機能を有する。入力部３３は例えば、テレビ１０に設置されたユーザ操作ボタンや遠隔操作の可能なリモコンからの操作信号を受信する受信部等が考えられる。ユーザはリモコン等により操作入力を行い、入力部３３を介して、テレビ１０に対して視聴するチャンネルの選択指示等が可能である。前述の選択領域２４の移動等のユーザ操作も入力部３３より入力される。

表示制御部３４はＣＰＵ３０からの描画指示や、デコーダ３７でデコード処理された画像情報、またＨＤＤ３２に格納されるメディアデータ等の映像情報に基づいて、テレビ１０が表示を行う画像の描画を行いＬＣＤ１１に表示させる機能を有している。

音声制御部３５はＣＰＵ３０からの指示や、デコーダ３７でデコード処理された音声情報、またＨＤＤ３２に格納されるメディアデータ等の音声情報に基づいて、テレビ１０が出力する音声を生成し、スピーカ３６に音声を出力させる機能を有している。

スピーカ３６における音声出力装置であり、テレビ１０の音声情報をユーザに対して出力
する機能を有している。

デコーダ３７はチューナ３８で受信した放送波にデコード処理を行い、テレビ１０が画像または音声として出力可能な信号へと変換する機能を有している。

チューナ３８は放送局の送信する放送波を受信する機能を有している。

バス３９はテレビ１０内の接続される各モジュールを通信可能に接続している。

図４は本実施形態におけるテレビ１０の機能構成の一例を示すブロック図である。図３には、ＨＤＤ３２、入力部３３、表示制御部３４、ＬＣＤ１１、メディアデータ４１、画像データ４２、音声データ４３、サムネイル画像群表示アプリケーション４４、チャプタ分割部４５、動画表示部４６、サムネイル画像群表示部４７、動画再生アプリケーション４８、および全動画再生部４９が示されている。本実施形態ではサムネイル画像群表示アプリケーション４４によってサムネイル画像群２１の表示処理および表示を行なうチャプタの選択処理を行い、動画再生アプリケーション４８によって選択されたチャプタのＬＣＤ１１の全画面での再生処理を行う。

メディアデータ４１はＨＤＤ３２に格納されている一連の動画のデータファイルであり、画像データ４２および音声データ４３を有している。画像データ４２はＬＣＤ１１で出力可能な画像データであり、音声データ４３はスピーカ３６で出力可能な音声データである。

サムネイル画像群表示アプリケーション４４はＬＣＤ１１に動画を含むサムネイル画像群２１を表示させるためにＣＰＵ３０によって実行されるアプリケーションである。サムネイル画像群表示アプリケーション４４はチャプタ分割部４５、動画表示部４６、およびサムネイル画像群表示部４７を有している。

チャプタ分割部４５はメディアデータ４１の一連の動画に対してチャプタ分割を行う機能を有している。チャプタ分割部４５はＨＤＤ３２にアクセスしてメディアデータ４１を取得し、メディアデータ４１の一連の動画に対してチャプタ分割を行う。本実施形態においてはチャプタ分割部４５は動画を開始時間から一定時間間隔毎にチャプタとして分割を行い、先頭のチャプタより順に各チャプタの識別に用いるための番号であるチャプタ番号を付与する。チャプタの分割が終了すると、チャプタ分割部４５はサムネイル画像群表示部４７に対して、各チャプタに対応付けて各チャプタの先頭の静止画像（本実施形態では各チャプタの先頭のＩフレームとする）、全動画におけるそのチャプタの開始時間の情報、およびチャプタ番号の情報を送信する。またそれらの情報を動画表示部４６に対して送信する。

動画表示部４６はチャプタ分割部４５より上記情報を受け取ると、それらの情報を元にＨＤＤ３２より画像データ４２の一部を取得し、各チャプタの先頭から所定時間（または全て）の動画を生成する機能を有している。

サムネイル画像群表示部４７はＬＣＤ１１に表示するサムネイル画像群２１、動画領域２３、および選択領域２４の画像を生成する機能を有している。サムネイル画像群表示部４７はチャプタ分割部４５より取得する各チャプタの静止画像をサムネイル２２としてチャプタの順に並べて、そこに動画領域２３および選択領域２４の表示を重ねることで作成する。また、ここで動画領域２３に属するチャプタのチャプタ番号を動画表示部４６に通知する。通知を受けた動画表示部４６は通知されたチャプタ番号に対応するチャプタ開始時間からの動画を生成し、生成した動画のそれぞれをサムネイル画像群表示部４７に送信する。動画領域２３に属する各チャプタの動画を受信したサムネイル画像群表示部４７は、動画表示部４６より受信する動画を用いて、動画領域２３に属する各チャプタ対応したサムネイル２２を動画として表示する。表示を行なう際には表示制御部３４に画像信号を送信し、ＬＣＤ１１によって表示させる。また動画領域２３の移動があったときは、移動した先に含まれるサムネイル２２が表示しているチャプタに関して前述と同様の処理を行い、動画領域２３より動画を取得しサムネイル２２によって表示する機能を有している。

また、サムネイル画像群表示部４７は入力部３３から選択領域２４による特定のサムネイル２２の選択が行なわれたことを検知し、選択されたチャプタの全動画における開始時間を全動画再生部４９に対して送信した上で、サムネイル画像群表示アプリケーション４４を終了させる機能も有している。

動画再生アプリケーション４８はＬＣＤ１１全体での動画の表示を行なう際にＣＰＵ３０によって実行されるアプリケーションである。動画再生アプリケーション４８は全動画再生部４９を有している。

全動画再生部４９はサムネイル画像群表示部４７より、選択領域２４によって選択されたチャプタの全動画における開始時間を受信すると、ＨＤＤ３２よりメディアデータ４１を取得し、該開始時間よりＬＣＤ１１全画面によって動画の再生を行う機能を有している。全動画再生部４９は表示制御部３４および音声制御部３５に信号を送信し、動画の映像および音声をＬＣＤ１１およびスピーカ３６によって出力させる。

図５は本実施形態におけるサムネイル画像群の表示の一例を示す図である。図５にはテレビ１０、ＬＣＤ１１、サムネイル画像群２１、サムネイル２２、動画領域２３、および選択領域２４が示されている。

本実施形態において動画領域２３は段毎に上下方向に移動可能である。図５は図２で示されているサムネイル画像群２１の表示の一例において、動画領域２４が下方向に一段下がった場合の表示の一例である。

本実施形態において動画領域２３は上下方向に対して移動することができ、移動が行われた場合においても動画領域２３に含まれるサムネイル２２（図５におけるチャプタ９〜チャプタ１６）が動画による表示を行なう。

この動画領域２３の移動に関して、幾つかの移動の方法が考えられ、本実施形態においては二つの動画領域２３の移動方法を例示し、それぞれの方法を以下に挙げる。

方法１．所定時間経過毎に下方向に対して一段ずつ移動を行う。

方法２．ユーザからの指示によって下又は上方向への移動を行う。

方法１ではサムネイル画像群表示部４７が所定時間の経過を監視し、所定時間が経過すると動画領域２３を下方向へ移動させる。

また方法２では入力部３３を介したユーザからの移動指示に従い、動画領域２３を下又は上方向へと移動させる。これらの２つの動画領域２３の移動方法に関して後述で説明を行なうが、移動方法としてこれらは例示であり、他の方法も当然考えられ、これらに限定されるものではない。

図６は本実施形態におけるサムネイル画像群の表示の一例を示す図である。図５にはテレビ１０、ＬＣＤ１１、サムネイル画像群２１、サムネイル２２、動画領域２３、および選択領域２４が示されている。

本実施形態においてサムネイル画像群２１では４８個のサムネイル２２を並べて例示しているが、動画のチャプタの個数が４８個に足りなかったときや、４８個を超えているとき等にサムネイル２２が４８個とならないサムネイル画像群の表示を行なう。例えば少なかったときには全てのチャプタを左上より並べていき、図６のように画面途中までのサムネイル画像群２１の表示を行なう。又、多かったときにはサムネイル画像群の表示を行なう画面を複数ページとして全体としてのサムネイル２２の個数を増やすことで全てのチャプタの表示を行なう。複数ページによる表示を行なうととき、先頭から４８個のチャプタをサムネイル２２として１ページ目に表示し、４９個目以降のチャプタを２ページ目以降に表示する。このように構成すると最終ページ目が図６のように表示される。

図６には２９個のサムネイル２２がサムネイル画像群２１として表示されており、動画領域２３がサムネイル画像群２１の最下段に表示されている。動画領域２３は図のように最終のチャプタを表示するサムネイル２２を含んでいる。

図７は本実施形態におけるサムネイル画像群の表示処理の処理フローの一例を示す図である。図７には動画領域２３の移動を行なう際に前述の方法１による移動処理を行う場合を例示している。

まず、チャプタ分割部４５がＨＤＤ３２にアクセスし、ＨＤＤ３２に格納されているメディアデータ４１を取得してチャプタ分割を行う（Ｓ７０１）。チャプタ分割部４５はチャプタ分割を行った後にサムネイル画像群表示部４７に対して、各チャプタ番号に対応付けて各チャプタの先頭の静止画像および全動画における各チャプタの開始時間の情報を送信する。ここでまた、チャプタ分割部４５は各チャプタ番号に対応付けて各チャプタの全動画における開始時間情報を動画表示部４６に送信する。

サムネイル画像群表示部４７はチャプタ分割部４５より取得する情報に基づいてサムネイル画像群２１を作成し、表示制御部３４を介してＬＣＤ１１に表示する（Ｓ７０２）。また選択領域２４および動画領域２３を作成し、ＬＣＤ１１上に表示する（Ｓ７０３）。また、サムネイル画像群表示部４７は動画表示部４６に対して、動画領域２３内に存在するサムネイル２２のチャプタと対応する動画データを送信するように指示を行う。動画表示部４６は送信指示をされたチャプタの動画データをサムネイル画像群表示部４７に対して送信し、動画データを受信したサムネイル画像群表示部４７は動画領域２３内のサムネイル２２に、各チャプタの動画を表示する（Ｓ７０４）。

サムネイル画像群表示部４７は、入力部３３からサムネイル２２の選択が行われたか否かの判別を行なっており（Ｓ７０５）、選択されていないとき（Ｎｏ）は次に動画領域２３内のサムネイル２２に表示されている動画が全て再生されたか否かの判別を行う（Ｓ７０６）。Ｓ７０６において動画が全て再生終了されれば（Ｙｅｓ）、サムネイル画像群表示部４７は動画領域２３の下の段への移動処理を行う（Ｓ７０７）。移動元（今まで動画領域２３が存在していた場所）がサムネイル画像群２１の一番下の段でないとき（Ｓ７０８、Ｎｏ）、サムネイル画像群表示部４７は動画領域２３を一段下の段に移動させる（Ｓ７０９）。Ｓ７０８において移動元がサムネイル画像群２１の一番下の段のとき（Ｙｅｓ）、サムネイル画像群表示部４７は移動元の動画領域２３内のサムネイル２２が一連の動画の最終チャプタを表示していたか否かの判別を行い（Ｓ７１０）、表示していた場合は（Ｙｅｓ）動画領域２３を１ページ目のサムネイル画像群２１の一番上の段に移動させる（Ｓ７１１）。Ｓ７１０において表示していなかった場合は（Ｎｏ）、サムネイル画像群表示部４７は次のページの一番上の段へと動画領域２３の表示を移動させる（Ｓ７１２）。Ｓ７０６で動画が全て再生終了されていないとき、Ｓ７０９の処理が終了したとき、Ｓ７１１の処理が終了したとき、およびＳ７１２の処理が終了したときには処理フローはＳ７０４に戻る。

Ｓ７０５においてサムネイル２２の選択がされると（Ｙｅｓ）、サムネイル画像群表示部４７は全動画再生部４９に対して選択されたチャプタの全動画における開始時間情報を送信し、全動画再生部４９は選択されたチャプタの動画をＬＣＤ１１全画面で表示する（Ｓ７１３）。Ｓ７１３の処理の終了を以ってサムネイル画像群の表示処理の一連の処理フローは終了する。

動画領域２３の移動方法として方法１を用いれば、全てのサムネイル２２を最終的に動画で表示することとなり、ユーザは全てのサムネイル２２に関して動画による視聴を行うことが可能となる。またユーザは動画領域２３の移動に関知せずに動画によるサムネイル画像群２１を確認することができる。

図８は本実施形態におけるサムネイル画像群の表示処理の処理フローの一例を示す図である。図８にはサムネイル画像群の表示を行なう際に前述の方法２による移動処理を行う場合を例示している。図８に示される処理フローにおいてＳ８０１〜Ｓ８０５は図７でのＳ７０１〜Ｓ７０５と同様であるため、ここでは説明を割愛する。

Ｓ８０５においてサムネイル２２が選択されていないとき、サムネイル画像群表示部４７はユーザより動画領域２３の移動指示を受けたか否かの判別を行う（Ｓ８０６）。ここでの移動指示を受けたか否かの判別は入力部３３によって指示を受け付けたか否かの判別である。Ｓ８０６において動画領域２３の移動指示を受けると（Ｙｅｓ）、サムネイル画像群表示部４７はユーザからの指示に従って動画領域２３の移動処理を行う（Ｓ８０７）。ユーザからの動画領域２３の移動指示による移動が画面外に対する方向でないならば（Ｓ８０８、Ｎｏ）、動画領域２３をユーザの指示方向に対して移動させる（Ｓ８０９）。ここで動画領域２３の移動が画面外であるとは、例えば動画領域２３がサムネイル画像群２１の最上段にあったとき、上に向かっての移動指示がなされるような場合、また動画領域２３がサムネイル画像群２１の最下段にあったとき、下に向かっての移動指示がなされる場合を指す。Ｓ８０８でユーザからの動画領域２３の移動指示が画面外に対する方向であるならば（Ｙｅｓ）、サムネイル画像群表示部４７は動画領域２３の移動元の場所がサムネイル画像群２１の最上段であったか否かの判別を行う（Ｓ８１０）。Ｓ８１０において最上段であると判別したとき（Ｙｅｓ）、サムネイル画像群表示部４７はサムネイル画像群２１の最終ページの一番下の段に（サムネイル画像群表示部４７が１ページのみのときは１ページ目の一番下の段に）動画表示２３を移動させる（Ｓ８１１）。Ｓ８１０において一番上の段でないと判別するとき（Ｎｏ）、サムネイル画像群表示部４７は移動元の動画領域２３に存在するサムネイル２２が最終チャプタを含んでいたか否かの判別を行う（Ｓ８１２）。Ｓ８１２においてサムネイル２２が最終チャプタを含んでいると判別するとき（Ｙｅｓ）、サムネイル画像群表示部４７は動画領域２３をサムネイル画像群２１の１ページ目の一番上の段に移動させる（Ｓ８１３）。またＳ８１２で含んでいないと判別するとき、サムネイル画像群表示部４７は動画領域２３をサムネイル画像群２１の次のページの一番上の段へと移動させる（Ｓ８１４）。Ｓ８０６において動画領域２３の移動指示を受けないとき、Ｓ８０９の処理が終了したとき、Ｓ８１１の処理が終了したとき、Ｓ８１３の処理が終了したとき、およびＳ８１４の処理が終了したときには処理フローはＳ８０４へと戻る。

Ｓ８０５においてサムネイル２２の選択がされたとき（Ｙｅｓ）、サムネイル画像群表示部４７は全動画再生部４９に対して選択されたチャプタの情報を送信し、全動画再生部４９は選択されたチャプタの動画をＬＣＤ１１全画面で表示する（Ｓ８１５）。Ｓ８１５の処理の終了を以ってサムネイル画像群の表示処理の一連の処理フローは終了する。

動画領域２３の移動方法として方法２を用いれば、ユーザは確認したいサムネイル２２の動画を操作によってすぐに確認することができ、利便性の高いものとなる。

上記のように方法１、方法２を用いてサムネイル画像群の表示処理を行うことが可能である。この方法１および方法２のどちらかの方法によってサムネイル画像群の表示処理を行ってもよいし、これらの方法を組み合わせて実施してもよい。

本実施形態においてチャプタの分割方法として所定時間毎でのチャプタ分割を行う場合を例示しているが、これに限定されるものではなく他の分割方法も考えられる。例えば、大きなシーン切り替えが行なわれたときチャプタ分割を行う方法や、歓声検出を行い、音量が一定以上となったときにチャプタ分割を行う方法等が考えられる。

また本実施形態においては動画領域２３はサムネイル画像群２１の横一段をカバーする大きさのものとしているがこれに限定されるものではない。動画領域２３としては２つのサムネイル２２のみ含むような大きさのものから、本実施形態で示すものよりさらに大きいもの（２段以上にわたる大きさ）まで様々な大きさのものが考えられる。また、動画領域２３は１つのみの領域であるように限定されるものではなく複数存在してもよい。さらに動画領域２３の形状は横一段のみをカバーするようなものではなく、他の段にまたがるようなものであってもよい。

本実施形態のサムネイル作成装置によると、サムネイル画像群の一部を動画によって表示することで、映像再生処理装置の情報処理量を大きくしすぎることなく動画を含むサムネイル画像群を表示させることができ、これによってユーザは動画中の目的の視聴箇所を見つけることが容易となる。

（第２の実施形態）
本発明によるサムネイル作成装置の第２の実施形態を図９乃至図１０を参照しながら説明する。

図９は本実施形態におけるサムネイル画像群の表示の一例を示す図である。図９にはテレビ１０、ＬＣＤ１１、サムネイル画像群２１、サムネイル２２、動画領域２３、選択領域２４、動画タイトル９１、およびチャプタ時間９２が示されている。

本実施形態においては複数の一連の動画の中から、視聴をしたい動画の目的シーンをサムネイル画像群２１を用いて選択する場合を考える。

本実施形態では複数の動画に関して、その一部となる静止画又は動画がサムネイル画像群２１によって表示されている。サムネイル画像群２１は一連の動画がチャプタ毎にサムネイル２２として縦に並べてあり、それぞれ異なる一連の動画のサムネイル２２が異なる縦の列に並んでいる。本実施形態においてはそれぞれの動画のチャプタは同一の時間間隔毎に分割処理を行い、先頭のチャプタより上から順に並べている。このように構成することで図９のように縦にそれぞれ異なる一連の動画の表示が並び、横にそれぞれの動画の中での同一の時間帯の表示が並ぶ。

動画タイトル９１は表示しているそれぞれの一連の動画のタイトルであり、動画タイトル９１に下に動画タイトル９１に対応する動画の静止画又は動画のサムネイル２２が縦に並んで表示される。ここで動画タイトル９１はそれぞれの動画のタイトルによる表示を行なってもよいし、又は図９のように縦一列のサムネイル２２の群毎に異なる動画の画像が表示されていることをユーザが認識できる程度の表示としてもよい。

チャプタ時間９２は横の同一段に並んでいるサムネイル２２の一連の動画内での開始時間および終了時間を示している。

動画領域２３はサムネイル画像群２１の同一の横段に存在するサムネイル２２を全て含むように存在しており、第一の実施形態と同様に移動を行う。同一の横段に存在するサムネイル２２が動画領域２３に含まれるため、それぞれの一連の動画の同じ時間帯の表示（開始時間から同じ時間経過した表示）が動画によって表示されることとなる。

例えば図４における一番右上のサムネイル２２には動画ａという一連の動画の開始から３０分間のチャプタを示す表示がなされ、このサムネイル２２は動画領域２３に属するため、動画による表示が行なわれている。

図１０は本実施形態におけるテレビ１０の機能構成の一例を示すブロック図である。図１０には、ＨＤＤ３２、入力部３３、表示制御部３４、ＬＣＤ１１、メディアデータ４１、画像データ４２、音声データ４３、メディアデータ１００１、画像データ１００２、音声データ１００３、サムネイル画像群表示アプリケーション４４、チャプタ分割部４５、動画表示部４６、サムネイル画像群表示部４７、動画再生アプリケーション４８、および全動画再生部４９が示されている。

本実施形態における機能構成の一例を示すブロック図は図４のものとほぼ同様のものとなっている。異なる点としてはＨＤＤ３２内に複数のメディアデータが存在すること、また、チャプタ分割部４５、動画表示部４６、サムネイル画像群表示部４７の機能がそれぞれ異なることが挙げられる。

これらの機能ブロックは第１の実施形態においては単独のメディアデータからのデータ取得を行っていたが、本実施形態においては複数のメディアデータからデータの取得を行う。そのため、第１の実施形態で送受信を行なっていた、チャプタ番号、チャプタ開始時間、各チャプタにおける静止画又は動画の情報と共に、それらのチャプタがどのメディアデータに格納されている動画であるかの情報の送受信を行う。

ＨＤＤ３２はメディアデータ４１、メディアデータ１００１のように複数のメディアデータを有している。本実施形態において図９では動画ａ〜動画ｆのように６つの動画が表示されており、それぞれにメディアデータが存在するため６つのメディアデータが存在するが図９においてはメディアデータ４１およびメディアデータ１００１の２つのメディアデータのみを図示して、残りの４つは省略するものとする。

チャプタ分割部４５は本実施形態において、ＨＤＤ３２にアクセスしてそれぞれのメディアデータを取得し、それぞれの動画のチャプタ分割処理を行う。チャプタ分割部４５はそれぞれの動画を同一の時間帯でチャプタ分割し、それぞれのチャプタに関して前述のチャプタ番号、チャプタ開始時間、各チャプタにおける静止画又は動画、およびそれらのチャプタがどのメディアデータの動画であるかの情報を対応付けて、サムネイル画像群表示部４７および動画表示部４６に送信する機能を有している。

サムネイル画像群表示部４７はチャプタ分割部４５から受信する情報を元にサムネイル２２を並べサムネイル画像群２１を作成し、動画タイトル９１、チャプタ時間９２、動画領域２３および選択領域２４をサムネイル画像群２１に重ねることで表示画像を作成する。また、動画領域２３に含まれているサムネイル２２に表示されるチャプタがどのメディアデータの動画であるかの情報およびチャプタ番号を動画表示部４６に対して送信する。

動画表示部４６はサムネイル画像群表示部４７よりそれらの情報を受信すると、チャプタがどのメディアデータの動画であるかの情報より、ＨＤＤ３２に格納されたメディアデータを選択し、そのチャプタに対応する画像データを取得して各チャプタの先頭から所定時間（又は全て）の動画を生成し、サムネイル画像群表示部４７へと動画情報を送信する。

動画情報を受信したサムネイル画像群表示部４７は、受信した動画情報を用いて動画領域２３に属するサムネイル２２を動画表示としてサムネイル画像群２１を作成し、表示制御部３４を解してＬＣＤ１１に表示させる。

後に何れかのサムネイル２２が選択されると、その動画がどのメディアデータの動画であるかの情報およびチャプタの開始時間の情報を全動画再生部４９に送信して、サムネイル画像群表示部４７はサムネイル画像群２１の表示を終了する。また全動画再生部４９は動画がどのメディアデータの動画であるかの情報およびチャプタの開始時間の情報を元にＬＣＤ１１全画面での選択されたチャプタ開始時間からの動画表示を行なう。

本実施形態においてチャプタ分割の分割方法として所定時間毎に全ての動画に対して一様にチャプタ分割を行うように例示したが、これに限定されるものではなく大きなシーン切り替えが行なわれたときチャプタ分割を行う方法や、歓声検出を行い、音量が一定以上となったときにチャプタ分割を行う方法等が考えられる。また、表示を行なう一連の動画が元々チャプタ分割されている動画であるならば、チャプタ分割を改めて行わずに元々のチャプタ分割をそのまま利用して、サムネイル画像群を表示させてもよい。

また本実施形態ではサムネイル作成装置としてテレビを例示したがこれに限定されず、他にもＨＤＤプレーヤー、ＤＶＤ（Digital Versatile Disk）プレーヤー等のサムネイル作成装置も考えられる。

本実施形態においてサムネイル画像群の一部のサムネイルが動画によって表示されているが、これがもし全てのサムネイルが動画によって表示されるとすると、画面全体として雑然とした印象を受け見づらいものとなってしまう可能性がある。本実施形態では一部のみを動画による表示とすることで全体として整然とした表示を行なうことができる。

本実施形態のサムネイル作成装置によれば、サムネイル画像群の一部を動画による表示とすることで、複数の動画の中から目的の視聴箇所をユーザが容易に見つけることができる。また、本実施形態においては縦一列のサムネイルに同じ画像のチャプタを表示し、動画を含むサムネイル画像群を表示させていたがこれに限定されるものではなく、全てのサムネイルにおいて異なる一連の動画の静止画又は動画を表示するとしてもよい。このときも本実施形態と同様の構成にて実施を行うことが可能であると考えられる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０：テレビ
１１：ＬＣＤ
２１：サムネイル画像群
２２：サムネイル
２３：動画領域
２４：選択領域
３０：ＣＰＵ
３１：メモリ
３２：ＨＤＤ
３３：入力部
３４：表示制御部
３５：音声制御部
３６：スピーカ
３７：デコーダ
３８：チューナ
３９：バス
４１：メディアデータ
４２：画像データ
４３：音声データ
４４：サムネイル画像群表示アプリケーション
４５：チャプタ分割部
４６：動画表示部
４７：サムネイル画像群表示部
４８：動画再生アプリケーション
４９：全動画再生部
９１：動画タイトル
９２：チャプタ時間
１００１：メディアデータ
１００２：画像データ
１００３：音声データ

Claims

２以上の動画を同時に再生する再生手段と、
同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を作成し、出力する出力手段と、を具備し、
前記出力手段は前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に自動的に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、
を特徴とする画像処理装置。
前記出力手段は、前記サムネイル画像群に含まれる前記第１の動画の再生が完了したとき又は所定時間の経過が検出されたときに、自動的に、前記第１の動画を前記第１の静止画に切り替えて出力し、かつ前記サムネイル画像群に含まれる前記第２の静止画を前記第２の動画に切り替えて出力すること、
を特徴とする請求項１記載の画像処理装置。
前記サムネイル画像群上で再生されている全ての動画を含む領域を動画領域として当該サムネイル画像群上に作成する動画領域作成手段と、
前記動画領域作成手段により作成された前記動画領域を前記サムネイル画像群上で移動させる動画領域移動手段と、
をさらに有することを特徴とする請求項１記載の画像処理装置。
前記サムネイル画像群上の静止画又は動画を一つ選択する選択手段と、
前記選択手段によって選択された静止画に対応する動画、又は前記サムネイル画像群上の選択された動画を、サイズを拡大して表示装置に表示させる手段と、
をさらに具備することを特徴とする請求項１記載の画像処理装置。
前記第１及び第２の動画とは異なる第３の動画に対してチャプタ分割を行なうチャプタ分割手段と、
前記チャプタ分割手段により分割された複数のチャプタに基づいて前記第１及び第２の静止画を作成する静止画作成手段と、
前記静止画作成手段により生成された前記第１及び第２の静止画をそれぞれ含む複数の動画を前記第３の動画から抜き出し、抜き出したこれらの動画を前記第１及び第２の動画として作成する動画作成手段と、
をさらに具備することを特徴とする請求項１記載の画像処理装置。
前記チャプタ分割手段は、複数の前記第３の動画それぞれに対してチャプタ分割を行い、
前記静止画作成手段は、前記複数の第３の動画それぞれから分割された複数のチャプタに基づいて複数の前記第１及び第２の静止画を作成し、
前記動画作成手段は、前記静止画作成手段により生成された前記複数の第１及び第２の静止画をそれぞれ含む複数の動画を前記複数の第３の動画から抜き出し、抜き出したこれらの動画を複数の前記第１及び第２の動画として作成する、
ことを特徴とする請求項５記載の画像処理装置。
前記出力手段が出力した映像を表示する表示装置を
さらに具備することを特徴とする請求項１記載の画像処理装置。
２以上の動画を同時に再生する再生手段と、
同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を作成し、出力する出力手段と、を具備し、
前記出力手段は前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、
を特徴とする画像処理装置。
前記サムネイル画像群の内の２以上のサムネイルを含む領域を示す画像を作成する画像作成手段をさらに備え、
前記出力手段は、前記領域に含まれるサムネイルを動画として出力し、前記領域に含まれないサムネイルを静止画として出力することを特徴とする請求項８記載の画像処理装置。
２以上の動画を同時に再生手段が再生するステップと、
前記再生手段により同時に再生される２以上の動画と、静止画とを含むサムネイル画像群を出力手段が作成し、出力するステップと、を有し、
前記出力手段が、前記サムネイル画像群の出力中に、このサムネイル画像群に含まれる動画である第１の動画をこの第１の動画と対応する第１の静止画に切り替えて出力し、前記切り替えが行われたとき、前記サムネイル画像群に含まれる静止画である第２の静止画を、この第２の静止画と対応する第２の動画に切り替えて出力すること、
を特徴とする画像処理方法。