JP2006060339A - 移動体通信端末及び静止画像抽出合成方法 - Google Patents

Abstract

【課題】 処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末を提供することを目的とする。
【解決手段】 動画像データ上での抽出範囲を指定する抽出範囲指定部４０１と、当該抽出範囲に基づいて、動画像データから複数の静止画像データを順次に抽出する静止画像抽出部４２と、静止画像抽出部４２により抽出された静止画像データを合成し、合成画像データを生成する静止画像合成部４３とを備え、上記静止画像合成部４３は、合成画像データに静止画像データを順次に追加合成し、全ての静止画像データの抽出が完了する前に上記合成処理を開始する。
【選択図】 図３

Description

本発明は、移動体通信端末及び静止画像抽出合成方法に係る。更に詳しくは、動画像データから複数枚の静止画像データを抽出し、これらの静止画像データを合成して合成画像データを生成する画像処理装置、特に、画像処理機能を有する携帯電話機などの移動体通信端末の改良に関する。

ゴルフ、テニス、野球などのスポーツにおけるスイングフォームを撮影することによって得られた一連の静止画像を比較観察することにより、スイングフォームを客観的に分析することができる。この様なスイングフォームの分析が可能な従来の装置としては、表示画面を分割し、各分割領域に静止画像をそれぞれ表示させる映像記録再生装置やゴルフスイングフォーム再生装置があった（例えば、特許文献１、特許文献２）。また、各静止画像から動きを伴う被写体部分を切り出し、積み重ねて合成画像を生成し表示する画像処理装置があった（特許文献３）。
特開平６−３９０７０号公報 特開平１０−２７７１９６号公報 特開平１１−３３１６９３号公報

このような従来の画像処理装置は、いずれも一連の静止画像データを用いて、スイングフォームなどの被写体の動きを解析するものである。このため、所望の動態解析を実現するためには、適切なタイミングで撮影された一連の静止画像データが必要となるが、このような静止画像データを取得することは容易ではないという問題があった。例えば、被写体の動作タイミングに応じて撮影の開始時及び終了時を適切に選択し、また、被写体の動作速度に応じて撮影間隔を適切に選択して、連続撮影を行わなければならず、所望の動態解析に適した一連の静止画像データを取得することは容易ではなかった。

そこで、動画像データを利用して、被写体の動態解析を行うことが考えられる。すなわち、被写体を撮影した動画像データから複数枚の静止画像データを抽出し、これらの静止画像データを合成した合成画像を表示させることが考えられる。この場合、動画像データの範囲内において撮影開始時及び撮影終了時を任意に選択し、また、動画像データのフレーム間隔を限度として任意の撮影間隔で静止画像データを抽出することが可能になる。このため、様々な抽出条件について試行錯誤を行うことができ、動態解析に最も適した合成画像を生成することが可能になると考えられる。ところが、静止画像データの抽出枚数に応じて、プロセッサの演算処理量が増大し、また、メモリ使用量が増大するため、画像処理装置に大きな負荷がかかるという問題があった。

最近では、動画像を撮影可能なカメラ付携帯電話機が急速に普及しつつある。その性質上、常時携帯されている場合が多い携帯電話機を用いてスポーツフォーム等の動態解析を行うことができれば、その利便性は極めて高いと考えられる。ところが、この種の携帯電話機には、小型化、軽量化、低価格化などの要請があり、通常の画像処理用コンピュータに比べ、演算処理能力は低く、メモリ容量も少ない。このため、動画像データから静止画像データを抽出して合成画像を生成するという負荷の大きな処理を実現することは困難であった。

このような処理負荷を軽減する一つの方法として、動画像データから抽出される静止画像データの枚数を制限することも考えられる。しかしながら、この場合、静止画像データを抽出可能な動画像データの抽出範囲や抽出間隔が制限されることになる。このため、所望の動態解析を行うことができず、あるいは、静止画像データの抽出条件が得られるまでに、試行錯誤を何度も繰り返さなければならなくなる。例えば、全体的には緩慢な動きであるが、一部に速い動きを含むスイングフォームの解析を行いたい場合、静止画像データの枚数が制限されていると、所望の合成画像を生成するのは困難になると考えられる。

本発明は、上記の事情に鑑みてなされたものであり、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末を提供することを目的とする。特に、使用するメモリ容量に比べ、多数の静止画像データを抽出し、合成することができる移動体通信端末を提供することを目的とする。また、試行錯誤により静止画像データの抽出条件を容易に求めることができる携帯通信端末を提供することを目的とする。

更に、本発明は、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する画像処理方法を提供することを目的とする。

本発明による移動体通信端末は、動画像データを記憶する動画像データ記憶手段と、静止画像データを抽出するための抽出範囲として、動画像データにおける時間軸上の範囲を指定する抽出条件指定手段と、上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出手段と、上記静止画像抽出手段により抽出された静止画像データを合成し、合成画像データを生成する静止画像合成手段とを備え、上記静止画像合成手段が合成画像データに静止画像データを順次に追加合成し、全ての静止画像データの抽出が完了する前に、上記合成処理を開始するように構成される。

また、本発明による移動体通信端末は、上記静止画像合成手段が、上記静止画像抽出手段により１枚の静止画像データが抽出されるごとに追加合成を実行し、上記静止画像抽出手段が、上記静止画像合成手段により１枚の静止画像データが追加合成されるごとに新たな静止画像データの抽出を行うように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記動画像データ記憶手段に保持されている動画像データに基づいて、動画像を再生し、画面表示する動画像再生手段を備え、上記抽出条件指定手段が、ユーザ操作が行われた時の動画像データの再生位置に基づいて、上記抽出範囲を指定するように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段において静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示手段を備え、上記静止画像合成手段が、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止するように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、静止画像データの合成処理中に着信があった場合、当該合成処理を中断し、終話後に中断中の合成処理を再開するように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、終話時に、中断中の合成処理を再開するか否かをユーザの操作入力に基づいて決定するように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、静止画像データの合成処理中にメール受信通知があった場合，当該合成処理を中断し、メール受信処理後に中断している合成処理を再開するように構成される。

また、本発明による移動体通信端末は、上記構成に加えて、上記静止画像合成手段が、メール受信処理後に、中断中の合成処理を再開するか否かをユーザに選択させるように構成される。

また、本発明による静止画像抽出合成方法は、動画像データに基づいて動画像を再生し、画面表示する動画像再生ステップと、ユーザ操作が行われた時の動画像データの再生位置に基づいて、動画像データから静止画像データを抽出する抽出範囲を指定する抽出範囲指定ステップと、上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出ステップと、上記静止画像抽出ステップにより抽出された静止画像データを合成し、合成画像データを生成する静止画像合成ステップとを備え、上記静止画像合成ステップは、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出ステップにおいて全ての静止画像データの抽出が完了する前に、上記合成処理を開始する様に構成される。

また、本発明による静止画像抽出合成方法は、上記構成に加えて、上記静止画像合成ステップにおいて静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示ステップを備え、上記静止画像合成ステップが、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止するように構成される。

本発明によれば、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末を提供することができる。特に、使用するメモリ容量に比べ、多数の静止画像データを抽出し、合成することができる移動体通信端末を提供することができる。また、試行錯誤により静止画像データの抽出条件を容易に求めることができる携帯通信端末を提供することができる。

更に、本発明によれば、処理負荷を抑制しつつ、動画像データから複数の静止画像データを抽出し、合成画像データを生成する画像処理方法を提供することができる。

図１は、本発明による移動体通信端末の一例を示した外観図であり、デジタルカメラを備えた携帯電話機１、いわゆるカメラ付携帯電話機が示されている。この携帯電話機１は、クラムシェル型と呼ばれる折り畳み式の筐体からなり、図中の（ａ）には、筐体を展開させた時の状態における操作面側が示され、（ｂ）には折り畳んだ時の状態が示されている。

携帯電話機１の筐体は、回転軸１０２を中心に回転可能に連結された上部本体１００及び下部本体１０１からなり、上部本体１００及び下部本体１０１の操作面を対向させて折り畳むことができる。このため、通話時には筐体を開いて使用される一方、通話を行わない場合には、操作面が内側、背面が外側となるように閉じて小型化することができる。

上部本体１００の操作面側には、音声出力を行うためのレシーバ１０と、液晶表示装置からなるメイン表示部１１が設けられている。また、下部本体１０１の操作面側には、筐体の展開時に操作入力を行うためのキー操作部１２と、音声入力を行うためのマイクロフォン１３が設けられている。さらに、上部本体１００の背面側には、動画像の撮像手段としてのカメラ部２０と、露出調整のためのライト部２１と、メイン表示部１１よりも表示領域の小さい液晶表示装置からなるサブ表示部２２と、操作入力を行うためのキー操作部２３が設けられている。

図２は、図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。図中の３０はプロセッサ（ＣＰＵ）、３１は一時記憶メモリ、３２は画像メモリ、３３は表示制御部、３４は無線部である。なお、図１に示された構成要素に相当するブロックには同一の符号を付している。

プロセッサ３０は、携帯電話機１の主要な動作制御を行っている演算処理部である。一時記憶メモリ３１は、ＤＲＡＭなどの揮発性記憶装置からなり、保存メモリ３２は、フラッシュメモリなどの不揮発性記憶装置からなる。いずれのメモリも、データの書き込み、読み出し及び消去はプロセッサ３０によって行われるが、一時記憶メモリ３１は、保存メモリ３２に比べ、より高速にアクセスすることができるため、プロセッサ３０の作業領域として用いられる。一方、保存メモリ３２は、不揮発性であることから、画像データなどの保存領域として用いられる。

表示制御部３３は、メイン表示部１１及びサブ表示部２２の表示制御を行っている。メイン表示部１１及びサブ表示部２２の表示内容は、プロセッサ３０が決定し、表示制御部３３に指示している。無線部３４は、図示しない無線基地局との間で双方向の無線通信を行っており、無線部３４を介して通話及び電子メールの送受信が行われる。

カメラ部２０は、光電変換素子としてＣＣＤ（Charge Coupled Device）又はＣＭＯＳイメージセンサを備え、光電変換により得られた２次元画像データをフレーム画像データとしてプロセッサ３０へ出力している。このフレーム画像データは、各ピクセルがＲＧＢで表現されたＲＢＧデータであるものとする。カメラ部２０は、プロセッサ３０から撮影開始信号が出力されると、所定のフレーム周期（例えば１／６０秒）ごとに被写体を撮影し、フレーム画像データを順次に出力する。プロセッサ３０は、これらの一連のフレーム画像データを一時記憶メモリ３１に格納した後、必要に応じて圧縮処理などを施し、動画像データとして保存メモリ３２に格納する。なお、撮影時には、必要に応じてライト部２１が発光して露出調整が行われる。

キー操作部１２，２３は、複数の操作キーからなり、ユーザがキー操作を行った場合にキー操作信号が生成される。このキー操作信号に基づいてプロセッサ３０への割り込みが発生し、プロセッサ３０は割り込み処理を実行する。なお、この割り込み処理は、操作キーごとに予め定められている。

図３は、プロセッサ３０により実行されるプログラムについて要部の一例を示した機能ブロック図である。図中の４０は合成処理制御部、４１は動画像再生部、４２は静止画像抽出部、４３は静止画像合成部である。

動画像再生部４１は、ユーザ操作によって起動され、保存メモリ３２に保持されている動画像データを読み出して動画像を再生する。つまり、動画像の再生中は、動画像再生部４１においてフレーム周期ごとにフレーム画像データが生成されている。このフレーム画像データは、ＲＧＢデータからなり、表示制御部３３によってメイン表示部１１又はサブ表示部２２に表示される。

静止画像抽出部４２は、合成処理制御部４０によって指定された抽出条件に基づいて、静止画像データを生成している。この静止画像データはＹＵＶデータからなり、静止画像抽出部４２は、上記抽出条件に一致するフレーム画像データを動画像再生部４１から取得するとともに、当該フレーム画像データをフォーマット変換することにより、静止画像データを生成している。

静止画像合成部４３は、静止画像抽出部４２において抽出された複数の静止画像データをオーバーラップ合成した合成画像データを生成している。この合成処理は、例えば、ピクセルごとに平均値を求める演算によって実現される。また、この静止画像合成部４３は、合成画像データに対し、静止画像データを順次に追加合成することによって、全ての静止画像データを合成した合成画像データを生成している。

このため、合成対象となる全ての静止画像データが静止画像抽出部４２により生成されるのを待つことなく、合成処理を開始することができる。例えば、静止画像抽出部４２による抽出処理と、静止画像合成部４３により合成処理とを交互に実行することができる。本実施の形態では、１枚の静止画像データが抽出されるごとに、静止画像合成部４３が既存の合成画像データに対し当該静止画像データを追加合成し、静止画像抽出部４２は、この追加合成処理の完了を待って、次の静止画像データを抽出しているものとする。

このような追加合成処理が行われている場合、静止画像合成部４３において生成される合成画像データは、新たな静止画像データが追加合成されるごとに順次に更新されていく。これらの各合成画像データは、動画像再生部４１へ順次に出力され、合成処理中は、動画像に代えて、合成画像がコマ送り表示される。このため、ユーザは、合成処理の経過を視覚的に確認することができ、抽出条件が不適切であった場合には、全ての合成処理の完了を待つことなく、当該合成処理を直ちに中止させ、抽出条件の異なる合成処理を再実行することができる。

合成処理中における動画像再生部４１、静止画像抽出部４２及び静止画像合成部４３の間における画像データ（フレーム画像データ、静止画像データ及び合成画像データ）の受け渡しは、一時記憶メモリ３１を介して行われる。すなわち、動画像再生部４１により生成されたフレーム画像データは、一旦、一時記憶メモリ３１に格納され、静止画像抽出部４２は、一時記憶メモリ３１上のフレーム画像データを静止画像データに変換し、一時記憶メモリ３１上に格納する。また、静止画像合成部４３は、合成画像データを一時記憶メモリ３１に格納しており、一時記憶メモリ３１上の合成画像データに、一時記憶メモリ３１上の静止画像データを追加合成している。さらに、動画像再生部４１は、一時記憶メモリ３１上の合成画像データをコマ送り表示している。

合成処理制御部４０は、抽出条件指定部４０１、中断処理部４０２及び再開処理部４０３を有し、オーバーラップ合成処理時に、動画像再生部４１、静止画像抽出部４２及び静止画像合成部４３を制御している。

抽出条件指定部４０１は、ユーザのキー操作に基づいて、静止画像データの抽出条件を指定している。この抽出条件は、抽出対象ファイル、抽出範囲及び抽出間隔からなる。まず最初に、抽出対象ファイルとして、保存メモリ３２に格納されている動画像データのファイルが指定される。抽出対象ファイルは、通常、ファイル名によって指定される。

抽出対象が動画像データの一部である場合、ユーザ操作に基づいて抽出範囲が指定される。抽出範囲とは、動画像データにおける時間軸上の範囲であり、始点及び終点の一方又は両方を指定するユーザのキー操作に基づいて決定される。始点及び終点の指定は、ユーザが数値入力などにより指定することもできるが、動画像再生中におけるキー操作のタイミングに基づいて決定することもできる。例えば、動画像再生部４１による再生中にキー操作が行われた場合、その時点における再生位置を始点又は終点として決定すれば、ユーザは、被写体の動きを閲覧しながら抽出範囲を指定することができる。この場合、簡単な操作で、抽出範囲の指定を的確に行うことができる。

また、ユーザ操作に基づいて抽出間隔が指定される。抽出間隔は、静止画像データが抽出される時間間隔であり、ユーザは、上記抽出間隔に代えて、抽出枚数を指定することもできる。この場合、上記抽出範囲に基づいて、抽出枚数が抽出間隔に変換される。なお、抽出間隔又は枚数は、予め定められた値であってもよく、この場合には、ユーザが指定する必要はない。

中断処理部４０２は、合成処理中に着信又はメール受信通知があった場合に、当該合成処理を一旦中断する処理を行う。すなわち、無線部３４が着信信号又はメール受信通知を受信した場合には、一時記憶メモリ３１に保持されている作業用データ、例えば、抽出条件や合成画像データなどを保存メモリ３２に退避させ、着信処理又はメール受信処理が開始される。

再開処理部４０３は、合成処理を中断させていた通話処理が終了し、あるいは、メール受信処理が終了した場合に、中断中の合成処理を再開させるための処理を行っている。すなわち、保存メモリ３２に一時退避させていた上記作業用データを一時記憶メモリ３１上に復元させ、合成処理を継続させる。その際、ユーザ選択メニューを画面表示させ、合成処理を再開させるか否かをユーザに照会する。

<画面表示>
図４は、メイン表示部１１の表示例を示した図である。図中の（ａ）には、動画像再生中における画面表示例が示されている。５０は画像表示領域であり、動画像再生中は動画像が表示され、合成処理中は合成画像が表示される。５１は再生位置表示手段であり、総再生時間に対する現在の再生位置をメーター表示している。例えば、総再生時間に相当する横長の表示領域のうち、再生済みの部分が青く表示され、未再生の部分が赤く表示される。

図中の（ｂ）には、抽出範囲指定中における画面表示例が示されている。動画像生成中にユーザがキー操作を行うことによって、再生中の動画像データを対象とするオーバラップ合成モードに移行することができ、抽出範囲の指定が行われる。図中の５２及び５３は、抽出範囲の始点及び終点を指定するポインタであり、再生位置表示手段５１上に表示される。ポインタ５２，５３は、動画像再生中にユーザがキー操作を行った場合に、その操作時点での再生位置として指定される。また、ユーザによる方向キーの操作によって、ポインタ５２，５３を移動させることもできる。

図５は、オーバーラップ合成モードの実行中におけるメイン表示部１１の表示例を示した図である。図中の（ａ）〜（ｅ）には、合成処理中に順次に生成され、画像表示領域５０にコマ送り表示される合成画像データが示されている。（ａ）には、最初に抽出された１枚の静止画像データが示されている。（ｂ）には、２枚の静止画像データをオーバーラップ合成して得られる合成画像データが示されている。さらに、（ｃ）には、（ｂ）の合成画像データに１枚の静止画像データが追加合成されて得られた合成画像データが示されている。同様にして、１枚の静止画像データが順次に追加合成され、（ｄ），（ｅ）のように表示される。

（ｆ）には、全ての合成処理が完了し、ユーザ選択メニューが示されている様子が示されている。このユーザ選択メニューは「継続」、「保存」及び「取消」の選択肢からなり、全ての合成処理の終了時、合成処理中における中止操作時、あるいは、中断中の合成処理の再開時に表示される。ユーザは、方向キーを操作し、フォーカスＦＣを上下移動させて、いずれかの選択肢を選択することができる。「継続」が選択された場合には、合成処理が再開され、「保存」が選択された場合には、合成画像データが保存メモリ３２に格納され、「取消」が選択された場合には、合成画像データが破棄される。全ての合成処理が完了した場合、（ｅ）の表示に引き続いて、選択肢「継続」がグレーアウトされたユーザ選択メニューが表示され、ユーザは、「保存」又は「取消」を選択することができる。

<オーバラップ合成モードの動作>
図６のステップＳ１０１〜Ｓ１１０は、オーバーラップ合成処理の一例を示したフローチャートである。この携帯電話機は、動画像再生中のユーザ操作により、オーバーラップ合成モードに移行する。オーバーラップ合成モードでは、まず最初に、抽出条件指定部４０１において、ユーザ操作に基づき、抽出範囲、抽出間隔などの抽出条件の設定が行われる（ステップＳ１０１）。

抽出条件の設定後、静止画像抽出部４２により、動画像データから１枚の静止画像データが抽出される（ステップＳ１０２）。抽出された静止画像データは、静止画像合成部４３により、合成画像データに追加合成される（ステップＳ１０３）。ただし、１枚目の静止画像データが抽出された時点では、未だ合成画像データは生成されておらず、当該静止画像データが、そのまま合成画像データとなる。２枚目以降の静止画像データは、既に生成されている合成画像データに追加合成される。この様にして生成された合成画像データは、動画像再生部４１によって画面表示される（ステップＳ１０４）。

上述した静止画像データの抽出処理（ステップＳ１０２）及び追加合成処理（ステップＳ１０３）は、抽出条件に合致する全ての静止画像データを合成した合成画像データが得られるまで、交互に繰り返される（ステップＳ１０６）。全ての静止画像データが抽出され、その合成が完了すれば、ユーザ選択メニューが画面表示される（ステップＳ１０７）。また、ステップＳ１０２〜Ｓ１０６の実行中に、ユーザが中止キーを操作した場合にも、抽出及び合成処理が中断され、ユーザ選択メニューが画面表示される（ステップS１０５）。

ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、中止キーの操作により中断していた抽出処理及び合成処理が再開される（ステップＳ１０８）。ユーザが「保存」を選択した場合には、静止画像合成部４３により生成された一時記憶メモリ３１上の合成画像データが、保存メモリ３２に格納され、オーバーラップ合成モードを終了する（ステップＳ１０９，Ｓ１１０）。一方、「取消」が選択された場合には、一時記憶メモリ３１上の合成画像データを破棄し、オーバーラップ合成モードを終了する。

この様にして、抽出処理及び合成処理（ステップＳ１０２及び１０３）を交互に実行することにより、一旦、全ての静止画像データを抽出してから合成する場合に比べて、オーバーラップ合成処理に必要となる一時記憶メモリ３１の領域を小さくすることができる。特に、静止画像データの枚数が増大しても、必要となるメモリ領域が増大しないため、メモリサイズによって抽出条件が制限されることはなく、ユーザは抽出条件を自由に指定することができる。

<着信時の動作>
図７のステップＳ２０１〜Ｓ２０８は、着信時の動作の一例を示したフローチャートである。携帯電話機は、無線基地局から着信信号を受信した場合、ユーザがオフフック操作を行えば、直ちに通話可能な状態に移行する必要がある。しかしながら、いつ着信があるのかは予測することが出来ないため、オーバーラップ合成モードの実行中に着信する場合も生ずる。

無線部３４が無線基地局から着信信号を受信した場合、無線部３４からプロセッサ３０へ着信通知が行われ、図７の処理が開始される。プロセッサ３０は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ２０１）。オーバーラップ合成モードの実行中でなければ、通常通りの着信処理が行われる。すなわち、着信のあったことを画面表示するとともに、スピーカを鳴動させて呼び出し音を出力し、ユーザがオフフックボタンを操作すれば通話が開始される。この通話状態は、その後、ユーザがオンフックボタンを操作するまで継続される。

一方、オーバーラップ合成モードの実行中であれば、プロセッサ３０はオーバーラップ合成モードの実行を一時中断し、その作業用データを一時記憶メモリ３１から保存メモリ３２に退避させて、着信処理を開始する（ステップＳ２０２〜Ｓ２０３）。

その後、通話が終了すれば、ユーザ選択メニューを画面表示させる（ステップＳ２０４〜Ｓ２０５）。ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、上記作業用データを一時記憶メモリ３１上に復元し、オーバーラップ合成処理を再開する（ステップＳ２０６〜Ｓ２０８）。一方、「取消」が選択された場合には、保存メモリ３２上に退避させていた作業用データ及び合成画像データを破棄し、オーバーラップ合成モードを終了する。

<電子メール受信時の動作>
携帯電話機を宛先とする電子メールは、一旦、通信事業者のメールサーバ（不図示）に送信される。この電子メールを受信したメールサーバは、無線基地局を介して当該携帯電話機に対しメール受信通知を送信する。電子メールの受信機能を有する携帯電話機は、このメール受信通知を受信すれば直ちに電子メールの受信を開始する必要がある。オーバーラップ合成モードの実行中に、このようなメール受信通知を受信する場合も生ずる。オーバーラップ合成処理の実行中にメール受信通知があった場合、着信時と同様にして、オーバーラップ合成処理が中断又は中止される。

図８のステップＳ３０１〜Ｓ３０８は、電子メール受信通知を受信した場合の動作の一例を示したフローチャートである。無線部３４が無線基地局からメール受信通知を受信した場合、無線部３４からプロセッサ３０へメール受信通知の受信通知が行われ、図８の処理が開始される。プロセッサ３０は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ３０１）。オーバーラップ合成モードの実行中でなければ、通常通りのメール受信処理が行われる。すなわち、電子メールの受信を開始するとともに、画面表示や鳴動等により電子メールを受信したことをユーザに対し通知する。このとき、ユーザは受信メールの閲覧操作を行うことができる。

一方、オーバーラップ合成モードの実行中であれば、プロセッサ３０はオーバーラップ合成モードの実行を一時中断し、その作業用データを一時記憶メモリ３１から保存メモリ３２に退避させて、着信処理を開始する（ステップＳ３０２〜Ｓ３０４）。

その後、メール受信処理（ユーザへの通知、メール閲覧処理を含めてもよい）が終了すれば、ユーザ選択メニューを画面表示させる（ステップＳ３０５）。ユーザ選択メニューにおいて、ユーザが「継続」を選択した場合には、上記作業用データを一時記憶メモリ３１上に復元し、オーバーラップ合成処理を再開する（ステップＳ３０６〜Ｓ３０８）。一方、「取消」が選択された場合には、保存メモリ３２上に退避させていた作業用データ及び合成画像データを破棄し、オーバーラップ合成モードを終了する。

本実施の形態では、着信又はメール受信通知があった場合に、オーバーラップ合成モードの実行を中断又は中止する場合について説明したが、その他の条件又は手段によって中断又は中止させるように構成することもできる。例えば、予め設定された時刻にアラーム音が出力されるような場合に、オーバーラップ合成モードの実行を中断又は中止させてもよい。

<合成処理>
次に、静止画像合成部４３による合成処理の詳細について説明する。

図９は、静止画像抽出部４２により生成される静止画像データのフォーマットの一例を示した図である。このデータフォーマットは、ＹＵＶ４２０と呼ばれ、人間の目が輝度に比べ色度には鈍感であることを利用してデータ量を削減したフォーマットである。すなわち、各ピクセル（画素）ごとの輝度データＹと、隣接する４ピクセルごとの色差データにより構成される。色差データは、さらに赤の色差Ｕ及び青の色差Ｖからなる。図示した静止画像の場合、横２ｍピクセル、縦２ｎピクセルからなり、４ｍｎ個の輝度データＹ_１〜Ｙ_４ｍｎと、ｍｎ個の赤の色差データＵ_１〜Ｕ_ｍｎと、ｍｎ個の青の色差データＶ_１〜Ｖ_ｍｎからなる。

静止画像合成部４３は、ＹＵＶ４２０フォーマットからなる複数枚の静止画像データを合成し、ＹＵＶ４２０フォーマットからなる１枚の合成画像データを生成する。この合成処理は、従来の合成処理（例えば特許文献３）の様に画像データの２次元的な広がりを考慮するのではなく、ピクセルごとに独立して行われる。つまり、合成される各静止画像において位置的に対応するピクセルの画像データのみに基づいて、合成画像中の位置的に対応するピクセルの画像データが決定され、この様な処理を全てのピクセルについて繰り返し実行することにより合成画像が生成される。

図１０は、合成対象となる５枚の静止画像データと、合成画像データとを模式的に示した図である。静止画像データ及び合成画像データは、それぞれが輝度データＹ_１〜Ｙ_４ｎｍと色差データＵ_１〜Ｕ_ｎｍ及びＶ_１〜Ｖ_ｎｍからなり、各画像データを区別するため、１〜５枚目の静止画像のデータには右上に１〜５を、合成画像データにはＳを右上にそれぞれ付して区別している。

この様な５枚の合成画像データを合成することにより最終的に得られる合成画像データは、次式の通りである。すなわち、合成画像データの輝度データＹ_ｉ ^Ｓは、それぞれが対応するピクセルの輝度データＹ_ｉ ^１〜Ｙ_ｉ ^５の平均値として与えられる。同様にして、合成画像データのＵ_ｊ ^Ｓ，Ｕ_ｊ ^Ｓは、それぞれが対応するピクセルの色差データＵ_ｊ ^１〜Ｕ_ｊ ^５，Ｖ_ｊ ^１〜Ｖ_ｊ ^５の平均値として与えられる。

静止画像合成部４３では、（ｎ−１）枚目までの合成画像データに対し、ｎ枚目の静止画像データを追加合成する処理が行われている。この処理は、次式で表される。

この様な合成処理は、ピクセルごとの合成処理であるため、従来の合成処理（例えば特許文献３）に比べて、処理負荷が比較的軽く、処理速度が速い。このため、小型化、軽量化が要求され、演算処理能力が比較的低い携帯電話機などのような画像処理装置に好適である。また、静止画像データを順次に追加合成することができるため、動画像データから抽出される静止画像データの枚数が増大しても、使用するメモリ領域は増大しない。従って、ユーザは、メモリサイズによる制限を受けることなく、抽出範囲や抽出間隔を自由に指定することができる。

本実施の形態によれば、ユーザが抽出条件を任意に指定し、動画像データから複数の静止画像データを抽出して合成画像を生成することができる。このため、１回だけ撮影を行った後、抽出条件を異ならせて合成処理を繰り返せば、所望の合成画像データを得ることができる。従って、撮影前に撮影間隔や撮影回数を慎重に決定し、一連の静止画像データを取得する必要がなく、所望の合成画像データを容易に生成することができる。

また、合成画像データに対し、静止画像データを順次に追加合成することにより、合成対象となる静止画像データの枚数を制限することなく、演算処理能力が比較的低い携帯電話機などにおいても実行することができる。

また、追加合成により得られた合成画像データを順次に画面表示することにより、ユーザは、全ての合成処理が完了する前に当該処理を中断することができる。このため、抽出条件が適切でなく、所望の合成画像データが得られない場合に、当該合成処理を早い段階で中止し、抽出条件を変更して再び合成処理を開始することができる。

本発明による移動体通信端末の一例を示した外観図である。 図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。 プロセッサ３０により実行されるプログラムの要部について一例を示した機能ブロック図である。 メイン表示部１１の表示例を示した図である。 オーバーラップ合成モードの実行中におけるメイン表示部１１の表示例を示した図である。 オーバーラップ合成処理の動作の一例を示したフローチャートである。 着信時の動作の一例を示したフローチャートである。 メール受信時における動作の一例を示したフローチャートである。 静止画像抽出部４２により生成される静止画像データのフォーマットの一例を示した図である。 合成対象となる５枚の静止画像データと、合成画像データとを模式的に示した図である。

符号の説明

１ 携帯電話機
１１ メイン表示部
１２，２３ キー操作部
３０ プロセッサ
３１ 一時記憶メモリ
３２ 保存メモリ
３４ 無線部
４０ 合成処理制御部
４１ 動画像再生部
４２ 静止画像抽出部
４３ 静止画像合成部
５０ 画像表示領域
５１ 再生位置表示手段
５２，５３ ポインタ
４０１ 抽出条件指定部
４０２ 中断処理部
４０３ 再開処理部
ＦＣ フォーカス
Ｕ_１-Ｕ_ｍｎ，Ｖ_１-Ｖ_ｍｎ 色差データ
Ｙ_１-Ｙ_４ｎｍ 輝度データ

Claims (10)

1. 動画像データを記憶する動画像データ記憶手段と、
   静止画像データを抽出するための抽出範囲として、動画像データにおける時間軸上の範囲を指定する抽出条件指定手段と、
   上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出手段と、
   上記静止画像抽出手段により抽出された静止画像データを合成し、合成画像データを生成する静止画像合成手段とを備え、
   上記静止画像合成手段は、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出手段が全ての静止画像データの抽出を完了する前に、上記合成処理を開始することを特徴とする移動体通信端末。
2. 上記静止画像合成手段は、上記静止画像抽出手段により１枚の静止画像データが抽出されるごとに追加合成を実行し、
   上記静止画像抽出手段は、上記静止画像合成手段により１枚の静止画像データが追加合成されるごとに新たな静止画像データの抽出を行うことを特徴とする請求項１に記載の移動体通信端末。
3. 上記動画像データ記憶手段に保持されている動画像データに基づいて、動画像を再生し、画面表示する動画像再生手段を備え、
   上記抽出条件指定手段は、ユーザ操作が行われた時の動画像データの再生位置に基づいて、上記抽出範囲を指定することを特徴とする請求項１に記載の移動体通信端末。
4. 上記静止画像合成手段において静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示手段を備え、
   上記静止画像合成手段は、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止することを特徴とする請求項１に記載の移動体通信端末。
5. 上記静止画像合成手段は、静止画像データの合成処理中に着信があった場合、当該合成処理を中断し、終話後に中断中の合成処理を再開することを特徴とする請求項１に記載の移動体通信端末。
6. 上記静止画像合成手段は、終話時に、中断中の合成処理を再開するか否かをユーザの操作入力に基づいて決定することを特徴とする請求項５に記載の移動体通信端末。
7. 上記静止画像合成手段は、静止画像データの合成処理中にメール受信通知があった場合，当該合成処理を中断し、メール受信処理後に中断している合成処理を再開することを特徴とする請求項１に記載の移動体通信端末。
8. 上記静止画像合成手段は、メール受信処理後に、中断中の合成処理を再開するか否かをユーザに選択させることを特徴とする請求項７に記載の移動体通信端末。
9. 動画像データに基づいて動画像を再生し、画面表示する動画像再生ステップと、
   ユーザ操作が行われた時の動画像データの再生位置に基づいて、動画像データから静止画像データを抽出する抽出範囲を指定する抽出範囲指定ステップと、
   上記抽出範囲に基づいて、上記動画像データから複数の静止画像データを順次に抽出する静止画像抽出ステップと、
   上記静止画像抽出ステップにより抽出された静止画像データを合成し、合成画像データを生成する静止画像合成ステップとを備え、
   上記静止画像合成ステップは、合成画像データに静止画像データを順次に追加合成し、上記静止画像抽出ステップにおいて全ての静止画像データの抽出が完了する前に、上記合成処理を開始することを特徴とする静止画像抽出合成方法。
10. 上記静止画像合成ステップにおいて静止画像データを追加合成することにより得られる合成画像データを順次に画面表示する合成画像表示ステップを備え、
    上記静止画像合成ステップは、合成処理中におけるユーザ操作に基づいて、当該合成処理を中止することを特徴とする請求項９に記載の静止画像抽出合成方法。
    

Images