JP5525201B2 - 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体 - Google Patents

Description

本発明は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードして得られる画像データの領域に、字幕やウィジェット、アイコン、アニメーションといったグラフィックスオブジェクトを合成して、グラフィックスオブジェクトが合成された映像を、映像表示装置に出力する画像合成装置に関するものである。

近年、テレビを視聴しながら、同時に、インターネット上のニュースや天気といった情報、写真、そして、字幕や、アニメーションなど、さまざまなオブジェクトを、映像上に表示して楽しむことが可能になった。

図１９は、従来の画像合成装置（ゲームシステム）９１を示す図である。
従来の画像合成装置９１においては、画像上にグラフィックスオブジェクトを効果的に表示するために、画像上に複数定義された表示対象領域（９１１等）と、表示する字幕との輝度差をそれぞれ比較して、字幕の表示領域を決定する（例えば、特許文献１参照）。

以下に、従来の画像合成装置９１を説明する。
図１９において、従来の画像合成装置９１は、プログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶装置である記憶部９２０と、ＣＰＵ（中央処理装置）等から構成され、システムを統括的に制御する制御部９３０と、ユーザからの入力を受け付けるために、操作ボタンなどで構成される操作部９４０とから構成される。さらに、記憶部９２０は、ゲームプログラムを保持するゲームプログラム記憶部９２１と、モニタ９５０に表示する画像を保持する映像情報記憶部２２と、字幕情報を保持する字幕情報記憶部９２３と、本画像合成装置９１において決定した字幕表示領域を記憶する字幕表示位置記憶部９２４とから構成される。また、制御部９３０は、ゲームプログラム記憶部９２１に保持されているゲームプログラムを適宜読み出して実行するゲーム進行制御部９３１と、字幕情報記憶部９２３に保持されている字幕情報を読み出して、表示位置を決定し、モニタ９５０における、決定した表示位置に、読み出した字幕情報の字幕を表示する字幕表示制御部９３２とから構成される。

以上のように構成された従来の画像合成装置９１について、以下に、その動作を説明する。すなわち、字幕表示制御部９３２は、字幕情報記憶部９２３に保持された字幕情報を読み出して、読み出した字幕情報の字幕の輝度値を取得する。一方、字幕表示制御部９３２は、表示する画像ごとに、システムで予め定義された字幕表示領域である９１１から９１４の輝度値を取得し、字幕と、９１１から９１４の字幕表示領域との輝度差の評価を行う。それにより、字幕と字幕表示領域との輝度差が閾値以上になった場合に、その字幕表示領域を、表示をさせる字幕表示領域として決定している。

特開２００８−２５８９２９号公報（第１頁、第１図等）

しかしながら、従来の画像合成装置９１においては、字幕を、輝度差に基づいて、その字幕が見やすい領域に表示するため、たとえ、その領域が人物などの被写体領域であっても、重ねて表示されてしまい、視聴が妨げられるという課題があった。

すなわち、空間周波数が高い領域は、例えば被写体領域であるなどして、その領域の視聴の必要性が高い。つまり、空間周波数が高い領域の視聴が妨げられると、視聴の必要性が高い領域の視聴が妨げられてしまう。

本発明は、グラフィックスオブジェクト（字幕など）が合成されるにも関わらず、視聴の必要性が高い領域の視聴が確実に可能であるようにすることを目的とする。

上記の課題を解決するため、本発明の画像合成装置は、グラフィックスオブジェクトを描画するグラフィックス描画部と、画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部と、前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を検出し、検出された前記領域の表示位置を出力する検出部と、前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部とを備える画像合成装置である。

なお、ここで、上記グラフィックスオブジェクトは、合成先の画像へと合成がされる、合成対象の画像をいう。

つまり、合成先の画像が、ピントを合わせることで撮像された画像であると、画像のうちで、ピントが合っている領域は、視聴の必要性が高い領域である。そして、空間周波数が低い領域への合成がされるので、このような、ピントが合っている領域への合成が回避される。つまり、ピントが合っていない領域に合成がされる。

これにより、合成先の画像が、ピントを合わして撮像された画像でも、視聴の必要性が高い領域の視聴が妨げられることが確実に回避され、視聴の必要性が高い領域を確実に、見易く表示できる。

しかも、ピントが合っていない領域に合成がされるので、比較的一様な画像を有する領域に合成がされる。このため、合成対象の画像の内容が、背景に紛れ込まず、その内容が、合成後において、確実に、背景から識別されるようにできる。

さらに、単なる空間周波数により、適切な領域が特定されるので、ユーザにより指定された領域を特定する情報などの、特別な情報が必要でない。これにより、適切な領域への合成が、容易にできる。

なお、この画像合成装置は、合成先の画像が、動画像におけるシーン切り替え時の画像であるときには、その画像における、検出された領域への合成をせず、シーン切り替え時ではない画像のときにのみ、検出された領域への合成をしてもよい。ここで、シーン切り替え時には、第１の合成先の画像と、その次の第２の合成先の画像とで、画像の内容が大きく変化し、検出される領域が変化し易い。このような時には、検出された領域への合成がされないようにできる。

この画像合成装置は、例えば、ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリームをデコードするデコード部と、前記グラフィックスオブジェクトのオブジェクトデータを保持するオブジェクトデータ記憶部とを備え、前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号が示す前記画像に前記合成を行い、前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記オブジェクトデータに基づき、当該オブジェクトデータの前記グラフィックスオブジェクトを前記グラフィックス描画部に描画させる制御を当該グラフィックス描画部に対して行ってもよい。

本発明による画像合成装置においては、画像の中で空間周波数の低い領域に、グラフィックスオブジェクトを合成する。このため、被写体の領域など、カメラのピントが合っている、空間周波数の高い領域に、グラフィックスオブジェクトが重なることなく、グラフィックスオブジェクトを表示することができる。また、グラフィックスオブジェクトを表示するために、映像を縮小して、縮小された映像を表示することもないので、その映像の本来の解像度で視聴することができる。

図１は、本発明の実施の形態における画像合成装置の構成図である。 図２は、本発明の実施の形態における表示領域検出部のフローチャートである。 図３は、表示領域検出部、描画制御部、合成前画像等を示す図である。 図４は、画像合成装置におけるデータと、表示領域検出部とを示す図である。 図５は、８画素×８ラインのＤＣＴ基底画像を示す図である。 図６は、模式的に表現されたＤＣＴ基底画像を示す図である。 図７は、本発明の実施の形態における空間周波数解析用のＤＣＴ係数の構成図である。 図８は、本発明の変形例１における画像合成装置の構成図である。 図９は、記憶部に記憶されるオブジェクト識別子と、表示対象領域情報と、標準表示周期情報とを示す図である。 図１０は、本発明の変形例２における画像合成装置の構成図である。 図１１は、画像合成装置の処理を示すフローチャートである。 図１２は、本発明の変形例３における画像合成装置の構成図である。 図１３は、画像合成装置の処理を示すフローチャートである。 図１４は、本発明の変形例４における画像符号化装置と、画像合成装置の構成図である。 図１５は、本発明の変形例４におけるビットストリームのＮＡＬ構成図である。 図１６は、本発明の変形例４におけるUser Data Unregistered SEIの構成図である。 図１７は、本発明の変形例５における画像符号化装置と、画像合成装置の構成図である。 図１８は、画像処理システムにおける合成前画像および合成後画像等を示す図である。 図１９は、従来の画像合成装置の構成図である。

以下、画像合成装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付与した複数の構成要素は、同様の動作を行うので、再度の説明を省略する場合がある。

以下の実施の形態は、次の目的Ｘ１を踏まえた形態である。すなわち、従来では、表示する画像ごとに、字幕を表示する表示領域を決定する。このため、例えば、映画の映像に装置を適用した場合、数秒間の字幕表示期間中に、何回も表示位置が変更され、字幕の可読性が損なわれるという課題があった。この課題の解決が、目的Ｘ１である。

以下で示される実施の形態により、次のＡ１の画像合成装置等が示される。
Ａ１の画像合成装置（画像合成装置１等）は、グラフィックスオブジェクト（字幕）を描画するグラフィックス描画部（グラフィックス描画部１０２）と、画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部（画像合成部１０３）と、前記画像（図３、図４の合成前画像Ｉ）における複数の領域（領域Ｒ）の空間周波数（例えば、後記の代表周波数）を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域（領域Ｒｌ）を検出し、検出された前記領域の表示位置を出力する検出部（表示領域検出部１０５）と、前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部（描画制御部１０６）とを備える画像合成装置である。

Ａ２の画像合成装置は、ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリーム（ビットストリーム１３１）をデコードするデコード部（デコード部１０１）と、前記グラフィックスオブジェクトのオブジェクトデータ（オブジェクトデータ１１１）を保持するオブジェクトデータ記憶部（記憶部１０４）とを備え、前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号（映像信号１３２）が示す前記画像に前記合成を行い、前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記グラフィックスオブジェクトの前記オブジェクトデータに基づき、当該グラフィックスオブジェクトを前記描画制御部に描画させる制御を当該描画制御部に対して行うＡ１の画像合成装置である。

以下で示される実施の形態により、次のＢ１の画像合成装置等が示される。
Ｂ１の画像合成装置（画像合成装置１等）は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードし、デコードした画像上に、グラフィックスオブジェクトを合成する画像合成装置であって、入力されたビットストリームをデコードするデコード部（デコード部１０１）と、グラフィックスオブジェクトを描画するグラフィックス描画部（グラフィックス描画部１０２）と、デコードされた画像と描画されたグラフィックスオブジェクトを合成する画像合成部（画像合成部１０３）と、グラフィックスオブジェクトのオブジェクトデータを保持する記憶部（記憶部１０４）と、デコードされた画像ごとに空間周波数を解析し、空間周波数が低い領域（領域Ｒｌ）を検出し、その領域の表示位置を出力する表示領域検出部（表示領域検出部１０５）と、選択されたグラフィックスオブジェクトのオブジェクトデータに基づき、前記グラフィックス描画部を制御し、前記表示領域検出部により出力された表示位置に、グラフィックスオブジェクトを描画する描画制御部（描画制御部１０６）とを備える画像合成装置である。

この構成により、それぞれの画像の中で空間周波数の低い領域を検出することによって、被写体など、カメラのピントが合っている空間周波数の高い領域に重なることなく、選択されたグラフィックスオブジェクトを効果的に合成することができる。

また、Ｂ２の画像合成装置は、前記表示領域検出部が、画像の一部または全体を複数個のブロック（画素ブロック）に分割し、ブロックごとの空間周波数を計算し、前記グラフィックスオブジェクトサイズを含むことが可能な前記ブロックで構成される領域の中から、空間周波数の最も低い領域を決定するＢ１の画像合成装置である。

この構成により、画像の中から、グラフィックスオブジェクトを表示可能で、空間周波数が最も低い領域を検出できる。

また、Ｂ３の画像合成装置は、前記記憶部が、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクト識別子と、オブジェクトの表示領域を規定する一つ以上の表示対象領域と、オブジェクトの表示間隔を規定する標準表示周期とをさらに備えるＢ１の画像合成装置である。

この構成により、グラフィックスオブジェクトの特徴に基づいて、グラフィックスオブジェクトの種別ごとに、表示対象領域や、表示間隔を予め定義することができる。

また、Ｂ４の画像合成装置は、前記描画制御部が、表示時刻ごとに、前記表示対象領域の中から、前記表示領域検出部で検出された表示位置を含む表示対象領域を一つ決定し、次の表示時刻までは、決定された表示対象領域の中から、前記表示領域検出部により表示位置を決定するＢ３の画像合成装置である。

この構成により、表示時刻ごとに、グラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を高めることができる。

また、Ｂ５の画像合成装置は、上記目的Ｘ１に関係し、前記表示領域検出部が、シーン切り替え発生時のグラフィックスオブジェクトの表示位置安定待ちを行うため、検出した表示位置と前回検出した表示位置とを比較し、移動距離が閾値以内の場合は加算し、移動距離が前記閾値以上の場合は初期化するカウンタをさらに備え、カウンタの値が閾値以上の場合には、直ちに検出した表示位置を出力し、カウンタの値が前記閾値以内の場合には、カウンタの値が前記閾値以上になるまで、前回出力した表示位置を出力するＢ１の画像合成装置である。

この構成により、シーン切り替えに伴い空間周波数分布が変化する場合の、グラフィックスオブジェクト表示位置の移動回数増加を軽減し、グラフィックスオブジェクトの可読性を高めることができる。

また、Ｂ６の画像合成装置は、前記表示領域検出部が、映像信号を解析し、空間周波数が低い領域の遷移予測を行うＢ５の画像合成装置である。

この構成により、シーン切り替えに伴い空間周波数分布が変化する場合の、グラフィックスオブジェクト表示位置の遷移を予測し、移動を抑制することによって、グラフィックスオブジェクトの可読性を高めることができる。

また、Ｂ７の画像合成装置は、前記表示領域検出部により検出されたグラフィックスオブジェクト表示領域に対応するデコード画像の色情報と、描画するグラフィックスオブジェクトの色情報の比率を計算し、比率が閾値以下の場合には、比率が前記閾値より大きくなるように、グラフィックスオブジェクトの色情報を計算し、前記描画制御部に出力する色情報比較部を、さらに備えるＢ１の画像合成装置である。

この構成により、グラフィックスオブジェクトを表示する領域に対応するデコード画像の色情報と、グラフィックスオブジェクトの色情報の比率が小さいため、合成されるグラフィックスオブジェクトが見づらい場合に、グラフィックスオブジェクトの視認性が低下するのが回避できる。つまり、グラフィックスオブジェクトの色情報を変更することにより、グラフィックスオブジェクトの視認性を向上することができる。

また、Ｂ８の画像符号化装置は、デコード部、および、記憶部から入力された映像信号を、ビットストリームとして、エンコードする画像符号化装置であって、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクト識別子と、オブジェクトの標準サイズを規定する標準オブジェクトサイズを保持する記憶部と、記憶部に保持されている全ての前記標準オブジェクトサイズを逐次読み出し、入力された映像信号の空間周波数を解析することによって空間周波数が最も低い領域をそれぞれ検出し、検出された表示位置とオブジェクトサイズをそれぞれ出力する表示領域検出部と、前記表示領域検出部で出力されたそれぞれの表示位置とオブジェクトサイズを、少なくとも含むオブジェクト表示情報を、前記ビットストリーム中に記述するエンコード部とを備える画像符号化装置である。

この構成により、特に、ＢＤ（Blu-ray Disc）レコーダー等において、携帯端末用に、解像度を縮小してビットストリームを再エンコードする場合に、携帯端末用に、少ない消費電力で、映像上に携帯端末で選択されたグラフィックスオブジェクトを効果的に合成できる部を提供できる。

また、Ｂ９の画像合成装置は、ディジタル放送信号受信部、および、記憶部から入力されたビットストリームをデコードし、そのデコードした画像上に、選択されたグラフィックスオブジェクトを合成表示する画像合成装置であって、グラフィックスオブジェクトを描画するグラフィックス描画部と、デコードされた映像と描画されたグラフィックスオブジェクトを合成する画像合成部と、グラフィックスオブジェクトのオブジェクトデータを保持する記憶部と、入力されたビットストリームから、予め定義された、表示位置とオブジェクトサイズから少なくとも構成されるオブジェクト表示情報を出力するデコード部と、前記オブジェクト表示情報の中から選択されたグラフィックスオブジェクトに対応する表示位置とオブジェクトサイズを出力する表示領域選択部と、前記表示領域選択部により出力された領域に、選択されたグラフィックスオブジェクトをグラフィックス描画部により描画する描画制御部とを備える画像合成装置である。

この構成により、特に携帯端末において、少ない消費電力で、映像上に選択されたグラフィックスオブジェクトを効果的に合成できる。

また、Ｂ１０の画像符号化装置は、映像信号を解析することによって特徴量を検出し、その特徴量に基づいて、その映像に適切なグラフィックスオブジェクトを選択する画像解析部をさらに備え、選択したグラフィックスオブジェクトのオブジェクト識別子、および、検出した特徴量、表示時刻情報、そして、前記表示領域検出部で検出された表示位置、オブジェクトサイズを、少なくとも含むオブジェクト表示情報を、ビットストリームに符号化するＢ８の画像符号化装置である。

この構成により、映像に適したグラフィックスオブジェクトを効果的に合成可能な部を提供することによって、単に映像を記録しただけでは得られない映像効果を提供できる。

また、Ｂ１１の画像符号化装置は、前記デコード部が、入力されたビットストリームから、予め定義された、オブジェクト識別子、映像の特徴量、表示時刻情報、表示位置、オブジェクトサイズから少なくとも構成されるオブジェクト表示情報を出力し、前記描画制御部は、入力されたオブジェクト表示情報に基づいて、グラフィックスオブジェクトを描画するＢ９の画像合成装置である。

この構成により、単に映像を記録しただけでは得られない映像効果を簡単に得ることができる。

（実施の形態本体）
最初に、実施の形態本体（図１〜図７）が示される。次に、実施の形態本体が変形された変形例が示される（図８〜図１８）。

実施の形態本体において、デコードした画像の中から空間周波数の低い領域を決定し、その、決定された領域に、グラフィックスオブジェクト（合成対象画像）を合成する画像合成装置１（図１）について説明する。なお、ここでは、説明の簡単化のため、一例として、ＨＤ解像度（１９２０画素×１０８０ライン）で記録されたＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームをデコードして得られる画像に、グラフィックスオブジェクトとして字幕を画像合成装置１が合成する場合について説明する。

図１は、実施の形態本体における画像合成装置１の構成を示すブロック図である。
画像合成装置１では、ディジタル放送信号受信部、および、記憶部などから画像合成装置１に入力されたビットストリーム１３１をデコード部１０１がデコードする。そして、デコード部１０１がビットストリーム１３１からデコードした映像信号１３２上に、字幕（合成対象画像）を画像合成部１０３が合成する。なお、ディジタル放送信号受信部および上記記憶部は、例えば、デコード部１０１の一部等であってもよい。そして、画像合成装置１は、デコード部１０１、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４、表示領域検出部１０５、描画制御部１０６を具備する。さらに、記憶部１０４は、オブジェクトデータ１１１を具備する。なお、ここで言われる、具備するとは、例えば、記憶することである。

デコード部１０１は、入力されたビットストリーム１３１をデコードして、ＨＤ解像度の映像信号１３２を出力する。出力される映像信号１３２は、ビットストリーム１３１がデコードされた映像信号である。

グラフィックス描画部１０２は、描画制御部１０６からの制御に基づいて、字幕（字幕の画像、グラフィックスオブジェクト）を描画する。具体的には、例えば、グラフィックス描画部１０２は、その字幕の画像を特定するデータを生成する。なお、この描画により、字幕が合成される画像の全体における、その字幕の領域も特定される。

画像合成部１０３は、デコード部１０１によりビットストリーム１３１からデコードされた映像信号１３２と、グラフィックス描画部１０２により描画（生成）された字幕とを合成して得られる映像信号１３３を出力する。ここで、出力される映像信号１３３が示す、字幕が合成された画像における、その字幕の領域は、上述の描画において特定された領域と同じ領域である。

記憶部１０４は、半導体メモリ素子等の記憶装置である。記憶部１０４は、オブジェクトデータ１１１を記憶する。

オブジェクトデータ１１１は、字幕（字幕の画像、グラフィックスオブジェクト、合成対象画像）を特定するデータである。オブジェクトデータ１１１は、例えば、特定される合成対象画像が、字幕の場合、字幕情報、表示位置、文字サイズ、文字色、背景色、表示時刻等で構成されるデータである。

図２は、表示領域検出部１０５が行う処理を示すフローチャートである。
図３は、表示領域検出部１０５、描画制御部１０６、合成前画像Ｉ等を示す図である。

表示領域検出部１０５は、デコード部１０１によりデコードされた画像ごとに、その画像（合成前画像Ｉ）の空間周波数を解析し（Ｓ１０４）、描画制御部１０６から出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い領域（領域Ｒｌ）を検出する（機能１０５ｆ）。そして、表示領域検出部１０５は、検出された領域（領域Ｒｌ）の表示位置を、字幕の合成がされるべき合成位置として描画制御部１０６へと出力する（Ｓ１１５）。なお、表示領域検出部１０５は、通常、ＭＰＵやメモリ等から実現され得る。また、表示領域検出部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、表示領域検出部１０５は、ハードウェア（専用回路）で実現しても良い。

描画制御部１０６は、ユーザにより選択された字幕を描画するために、その字幕に対応するオブジェクトデータ１１１を記憶部１０４から逐次読み出し、その表示時刻ごとに、当該表示時刻の字幕の字幕表示領域サイズを計算する。そして、描画制御部１０６は、デコード部１０１により画像がデコードされるごとに、計算された字幕表示領域サイズを表示領域検出部１０５に出力することより、表示領域検出部１０５を用いて、字幕の表示位置（合成位置）を決定する。さらに、描画制御部１０６は、決定された表示位置に、グラフィックス描画部１０２により字幕を描画する。なお、描画制御部１０６は、通常、ＭＰＵやメモリ等から実現され得る。描画制御部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

なお、例えば、画像合成装置１に設けられるなどしたユーザ入力部が、ユーザにより選択された字幕を特定するデータを当該画像合成装置１に入力することにより、入力されたデータが示す字幕が、当該入力部により選択されると理解されてもよい。

図４は、合成前画像Ｉと、表示領域検出部１０５等を示す図である。
次に、実施の形態本体における画像合成装置１のうち、表示領域検出部１０５の動作について、詳細に説明される。この説明では、具体的には、描画制御部１０６から、字幕表示領域サイズとして、８６０画素×１６０ラインの領域（領域Ｒ）が（その領域を特定する領域特定データが）表示領域検出部１０５に入力される。そして、その領域（字幕表示領域）を含むことが可能な、空間周波数が最も低い領域を表示領域検出部１０５が検出する。なお、この説明は、図２のフローチャートを用いて、行われる。

表示領域検出部１０５は、画像（合成前画像Ｉ）の空間周波数解析を行うために、画像の輝度成分について、８画素×８ラインのブロック単位に画像を分割する（Ｓ１０２、Ｓ１０３、Ｓ１０６、Ｓ１０７参照）。そして、表示領域検出部１０５は、分割された各画素ブロック（画素ブロックＢ）に対して、２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換（離散コサイン変換）を行う（Ｓ１０４）。式１に、画像ｆ（ｘ，ｙ）（ｘ＝０，．．．，７，ｙ＝０，．．．，７）に対する２次元ＤＣＴ式を示す。

この変換の結果、画素ブロックごとに６４個のＤＣＴ係数Ｆ（ｕ，ｖ）を表示領域検出部１０５は得ることができる（６４個のＤＣＴ係数Ｂ６４）。

図５は、８画素×８ラインのＤＣＴ基底画像１ａを示す図である。
図６は、模式的に表現されたＤＣＴ基底画像１ａｘ（ＤＣＴ基底画像１ａ）を示す図である。

ＤＣＴ基底画像１ａは、表示領域検出部１０５により特定された６４個のＤＣＴ係数Ｂ６４のそれぞれの波形を示す。

ＤＣＴ基底画像１ａの複数の部分は、右方向の部分に進むにつれて水平方向における高い周波数成分を表し、また、下方向の部分に進むにつれて垂直方向における高い周波数成分を表している。画像から分割されたそれぞれの画素ブロック（図４の画素ブロックＢ）は、その画素ブロックに対して表示領域検出部１０５がＤＣＴ変換を施すことにより、表示領域検出部１０５に得られる６４個のＤＣＴ係数（６４個のＤＣＴ係数Ｂ６４）と、対応する基底画像との線形結合で表現される。すなわち、表示領域検出部１０５に得られる６４個のＤＣＴ係数Ｂ６４は、画素ブロックＢを特定する。

ステップＳ１０１において、表示領域検出部１０５は、字幕表示領域である８６０画素×１６０ラインを含むことが可能な、８画素×８ラインの画素ブロック（画素ブロックＢ）の複数で構成可能な領域Ｒを決定する。この場合、表示領域検出部１０５は、領域Ｒとして、横１０８ブロック×縦２０ブロックの領域を決定する。

ステップＳ１０２においては、各画素ブロックの空間周波数を求めるため、ステップＳ１０２からステップＳ１０７の処理を表示領域検出部１０５は行う。具体的には、デコード画像の縦方向の空間周波数解析を行うため、以下のステップを１３５回、ステップＳ１０２において表示領域検出部１０５は繰り返す。

ステップＳ１０３においては、デコード画像の横方向の空間周波数解析を行うため、以下のステップを２４０回、表示領域検出部１０５は繰り返す。

ステップＳ１０４においては、各画素ブロックの輝度成分について、２次元ＤＣＴ変換を表示領域検出部１０５は行い、その画素ブロックにおける６４個のＤＣＴ係数（６４個のＤＣＴ係数Ｂ６４）を計算する。

図７は、６４個のＤＣＴ係数が分割された１５列の表１ｂを示す図である。
ステップＳ１０５においては、ステップＳ１０４で計算した６４個のＤＣＴ係数を、図７に示すように、１５列に分割し、各列の平均を表示領域検出部１０５は求めることで、Ｄ０からＤ１４までの１５個の係数（１５個の係数Ｂ１５）を表示領域検出部１０５は算出する。このとき、それぞれの係数Ｄ（Ｄ０〜Ｄ１４）は、Ｄ０からＤ１４に向かって、低周波数成分から高周波数成分のエネルギー分布を表す係数となる。

ステップＳ１０６においては、表示領域検出部１０５は、各ブロックの横方向の空間周波数解析を２４０回行った場合、横方向の画素オフセットを０にして、次のステップに進む。そうでない場合、表示領域検出部１０５は、横方向の画素オフセットを８プラスして、ステップＳ１０３に戻る。

ステップＳ１０７においては、各ブロックの縦方向の空間周波数解析を１３５回行った場合、次のステップに進む。そうでない場合、縦方向の画素オフセットを８プラスにして、ステップＳ１０２に戻る。

すなわち、Ｓ１０２〜Ｓ１０７で、表示領域検出部１０５は、合成前画像Ｉ（図４）におけるそれぞれの画素ブロックＢの６４個のＤＣＴ係数Ｂ６４（図４）を特定し（Ｓ１０４）、ひいては、それぞれの画素ブロックＢの１５個の係数Ｂ１５（図４）を特定する（Ｓ１０５）。これにより、Ｓ１０２〜Ｓ１０７で、表示領域検出部１０５は、全ての領域Ｒについて、領域Ｒを構成する全ての画素ブロックＢのＤＣＴ係数Ｂ６４および１５個の係数Ｂ１５をそれぞれ特定する。

デコード画像（合成前画像Ｉ）における複数の領域Ｒの中から、最も空間周波数が低い、ステップＳ１０１で決定したサイズを有する領域Ｒ（領域Ｒｌ：図３）を検出するため、ステップＳ１０８からステップＳ１１４の処理を画像合成装置１は行う。

デコード画像の縦方向の空間周波数解析を行うため、以下のステップを１１５回、画像合成装置１は繰り返す（Ｓ１０８、Ｓ１１４）。

ステップＳ１０９では、デコード画像の横方向の空間周波数解析を行うため、以下のステップを１３２回、画像合成装置１は繰り返す。

ステップＳ１１０においては、現在処理する領域Ｒに含まれる各画素ブロックＢについて、ステップＳ１０５で計算した１５個の係数Ｂ１５（Ｄ０〜Ｄ１４）から、各係数の平均値、ＡＶＤ０からＡＶＤ１４を表示領域検出部１０５は計算する。つまり、ステップＳ１１０において、表示領域検出部１０５は、その領域Ｒにおける、その領域Ｒに含まれる複数の画素ブロックＢの係数についての、係数Ｄ０の平均値、係数Ｄ１の平均値、…及び係数Ｄ１４の平均値をそれぞれ算出する。これにより、表示領域検出部１０５は、算出される１４個の平均値が集まってなる平均値集合ＡＶＤ（図４）を計算（算出）する。

そして、算出される平均値集合ＡＶＤは、その平均値集合ＡＶＤの領域Ｒの高周波数性の評価値（空間周波数特性）を特定する。例えば、特定される評価値は、平均値集合ＡＶＤに含まれる、低い周波数の平均値から、高い周波数の平均値ａｖ１、ａｖ２、…ａｖＮに対する、「１０＾（−１）×ａｖＮ ＋ １０＾（−２）×ａｖ（Ｎ−１） ＋ … ＋ １０＾（−Ｎ）×ａｖ１」などである。なお、ここで、ａ＾ｂはａのｂ乗を示す。

ここで、高周波数性の評価値は、より高い周波数成分を、より多くその領域Ｒが有するほど大きい値を有する評価値である。高周波数性の評価値が大きい値であるほど、例えば、その領域Ｒが、ピントの合わされた被写体の領域であるなどして、その領域Ｒの元々の画像の視聴がユーザにとり必要であり易い。このため、高周波数性の評価値が大きい値であるほど、合成対象画像（字幕）の合成で、その領域Ｒの元々の画像の視聴が妨げられることによる弊害が生じ易い。

すなわち、平均値集合ＡＶＤは、その平均値集合ＡＶＤが算出された領域Ｒの視聴が必要である必要性の高さを特定する。

ステップＳ１１１においては、ステップＳ１１０で計算した、現在処理される領域Ｒにおける、係数の平均値集合ＡＶＤについての処理が行われる。具体的には、この、現在の平均値集合ＡＶＤと、過去に処理された０個以上の領域Ｒの平均値集合ＡＶＤのうちでの、空間周波数が最小となる（特定される高周波数性の評価値が最低である）平均値集合ＭＮＤ（図４）とについて、処理が行われる。すなわち、現在の平均値集合ＡＶＤと、平均値集合ＭＮＤとの間で、係数１４から係数０に向かって順番に（より高い周波数の係数から順番に）、現在の平均値集合ＡＶＤの係数と、平均値集合ＭＮＤの係数との比較を表示領域検出部１０５が行う。これにより、例えば、Ｋａ＜Ｋ≦ＮなるそれぞれのＫにおける、Ｋ番目の順番の比較において比較結果が同一であるときに、次のように、一方の平均値集合が、高周波数性の評価値がより低い平均値集合として特定される。つまり、Ｋａ番目の比較での結果が、一方の平均値集合の係数の方が小さいとの比較結果であるときに、小さい方の平均値集合が、高周波数性の評価値がより低い平均値集合として特定される。これにより、過去に処理された０個以上の平均値集合ＭＮＤの領域Ｒと、現在の平均値集合ＭＮＤの領域Ｒとの、１個以上の領域Ｒのうちで、高周波数性の評価値が最低である領域Ｒが表示領域検出部１０５により特定される。

現在の平均値集合ＡＶＤが、平均値集合ＭＮＤに比べて高周波数成分を多く含まない場合（高周波数性の評価値が小さい場合）、ステップＳ１１２へ、そうでない場合は、Ｓ１１３へ進む。

ステップＳ１１２においては、平均値集合ＡＶＤを平均値集合ＭＮＤと置き換え、この領域のオフセットを表示位置として保持する。

これにより、Ｓ１１０で特定された、高周波数性の評価値が最低である平均値集合が、次の平均値集合ＭＮＤとして、次のＳ１１０において表示領域検出部１０５により利用される。

ステップＳ１１３においては、表示領域検出部１０５は、領域Ｒについて、横方向の空間周波数比較を１３２回行った場合、横方向の領域Ｒのオフセットを０にして、次のステップに進む。そうでない場合、表示領域検出部１０５は、横方向のオフセットを８プラスして、ステップＳ１０９に戻る。

ステップＳ１１４においては、表示領域検出部１０５は、領域Ｒについて、縦方向の空間周波数比較を１１５回行った場合、縦方向の領域Ｒのオフセットを０にして、次のステップに進む。そうでない場合、表示領域検出部１０５は、横方向のオフセットを８プラスして、ステップＳ１０８に戻る。

これにより、最後のＳ１１１およびＳ１１２の処理の後の平均値集合ＭＮＤが、全ての領域Ｒのうちで、高周波数性の評価値が最低の平均値集合ＭＮＤ（図４の平均値集合ＭＮＤＸ）として表示領域検出部１０５により特定される。

ここで、領域Ｒｌ（図３）は、高周波数性の評価値が最低である平均値集合ＭＮＤＸの領域Ｒである。また、領域Ｒｍは、高周波数性の評価値が２番目に低い平均値集合ＭＮＤが算出された領域Ｒである。また、領域Ｒｈは、高周波数性の評価値が３番目以後である領域Ｒである。

そして、領域Ｒｌの軸周波数は、Ｋａｘ番目に高い周波数である。ここで、Ｋａｘ＋１≦Ｋ≦ＮであるそれぞれのＫについて、領域ＲｍのＫ番目の周波数の係数の平均値と、領域ＲｌのＫ番目の周波数の係数の平均値とは互いに同一である。そして、領域ＲｍのＫａｘ番目の周波数の係数の平均値よりも、領域ＲｌのＫａｘ番目の周波数の係数の平均値の方が小さい。領域Ｒｌは、この軸周波数以上の高さのそれぞれの周波数の係数の平均値として、他の何れの領域Ｒでのその周波数の平均値よりも小さい平均値を有する。つまり、領域Ｒｌは、軸周波数以上の高い周波数の成分として、何れの他の領域Ｒのその周波数の成分よりも小さい成分を有する。このため、領域Ｒｌは、その領域の平均周波数などの、その領域を代表する代表周波数として、何れの他の領域Ｒの代表周波数よりも低い周波数を有する。

ステップＳ１１５においては、表示領域検出部１０５は、ステップＳ１１１で検出した領域Ｒ（領域Ｒｌ）の表示位置を、描画制御部１０６に出力して、図２の処理は終了する。

以上、実施の形態本体によれば、表示領域検出部１０５により、映像信号１３２の中で空間周波数の最も低い領域（領域Ｒｌ）が検出される。そして、そこ（検出された領域）に、グラフィックスオブジェクトをグラフィックス描画部１０２が表示する。このため、被写体の領域など、カメラのピントが合っている、空間周波数の高い領域にグラフィックスオブジェクトが重ならずに、効果的な映像を表示することができる。つまり、空間周波数（代表周波数）が高い領域への合成が回避される。これにより、視聴の必要性が高い領域に、合成が行われてしまうことが回避される。これにより、合成対象画像の合成がされるにも関わらず、合成後でも、合成前画像に含まれる、視聴の必要性が高い領域の画像が確実に視聴可能であるようにできる。また、グラフィックスオブジェクトを表示するために映像を縮小して表示することもないので、映像本来の解像度で視聴することができる。従って、合成された後の合成対象画像の画質が、縮小の表示により劣化するのが回避され、合成された合成対象画像の画質が高い画質に維持できる。

しかも、実施の形態本体によれば、空間周波数（代表周波数）が低い領域（領域Ｒｌ）に合成対象画像が合成されるので、合成された後の合成対象画像が、その領域における、合成対象画像以外の他の部分（例えば、背景）から、ユーザにより容易に識別できる。

なお、図２のフローチャートにおいて、デコード画像の輝度成分を、８画素×８ラインのブロックに分割して、２次元ＤＣＴ変換を行っているが、画素ブロックの大きさはこれに限らない。

また、図２のフローチャートにおいて、領域Ｒの空間周波数が最も低くなる位置を決定するために、縦方向、横方向とも、８画素ずつオフセットをずらして比較していた。他方、オフセット値はこれに限らず、縦方向、横方向、それぞれ独立に、２次元ＤＣＴ変換を行う画素ブロック幅の整数倍であれば良い。

なお、実施の形態本体によれば、デコード部１０１がデコードするビットストリーム１３１は、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームであるとしたが、ＩＳＯ／ＩＥＣ１３８１８−２で規定されるビットストリーム等でも良い。また、このビットストリームの映像サイズとして、ＨＤ解像度としたが、この解像度に限らない。

また、実施の形態本体によれば、記憶部１０４は、半導体メモリ素子等の記憶装置であるとしたが、ハードディスクやＢＤ（Blu-ray Disc）等の記憶装置であっても良い。

また、実施の形態本体によれば、オブジェクトデータ１１１は、字幕データとしたが、アイコンやウィジェット等を描画するためのデータであっても良い。

また、実施の形態本体によれば、グラフィックスオブジェクトとして字幕だけを表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、オブジェクトが重ならないように、グラフィックスオブジェクトに優先度を付けてもよい。つまり、これにより、空間周波数のより低い領域から順に、優先度のより高いオブジェクトを表示しても良い。また、選択された複数のオブジェクトを結合して得られる領域が表示可能であり、かつ、空間周波数が低い領域を、表示領域検出部１０５によって検出しても良い。

また、実施の形態本体によれば、表示領域検出部１０５によって検出された表示領域に、グラフィックスオブジェクトを等倍で表示している。他方、表示領域検出部１０５は、検出された表示領域について、８画素×８ラインのブロック単位で、空間周波数分布を比較してもよい。そして、その結果に基づいて、相対的に高周波数成分を含む領域を避けるように、表示領域が縮小されて、その領域のオフセット値とオブジェクトサイズが出力されても良い。領域縮小時には、選択されたグラフィックスオブジェクトのオブジェクトサイズに応じて、縮小倍率閾値を規定しても良い。

また、実施の形態本体によれば、ビットストリームをデコードするごとに、表示領域検出部１０５によって表示領域を検出している。他方、検出した表示領域を記憶部に保持しておき、同じビットストリームを再度デコードする場合には、表示領域検出部１０５を用いず、記憶部に保持されている表示領域を用いても良い。

このような、実施の形態本体により、次のＣ１の画像合成装置が示される。Ｃ１の画像合成装置は、次の課題を踏まえた画像合成装置である。その課題とは、従来の画像合成装置においては、字幕を輝度差に基づいて字幕が見やすい領域に表示するだけであり、たとえその領域が人物などの被写体領域であっても、重ねて表示されてしまい、視聴が妨げられることである。そして、Ｃ１の画像合成装置は、入力されたビットストリーム１３１をデコードし、デコードした映像信号１３２上に、グラフィックスオブジェクトを合成する画像合成装置であって、デコードされた画像ごとに空間周波数を解析し、空間周波数が低い領域を検出する表示領域検出部１０５と、検出された領域にグラフィックスオブジェクトを描画する描画制御部１０６等を備えることで、グラフィックスオブジェクトを、被写体など、空間周波数の高い領域に重ねることなく、映像信号１３２に合成することができる画像合成装置である。

このように、画像合成装置１は、以下で説明される技術事項を有する。ただし、以下の説明は、単なる一例である。

画像合成装置１は、合成部（画像合成部１０３、描画部１０３ａ）と、領域特定部（表示領域検出部１０５）と、制御部（描画制御部１０６）とを備える。

合成部は、合成前画像（合成前画像Ｉ）の領域（領域Ｒ）に対して、合成対象画像（字幕）を合成することにより、当該領域に当該合成対象画像が合成された合成後画像（映像信号１３３の画像）を生成する。

なお、ここで、合成前画像は、動画像を構成する複数の画像のうちの１つの画像、つまり、それら複数の画像のうちのそれぞれの画像である。また、合成前画像は、ピントを合わせることで、カメラにより撮像された画像である。

領域特定部は、前記合成前画像における複数の領域（例えば、領域Ｒｌ、領域Ｒｍ）のうちから、予め定められた特定周波数（軸周波数）以上の周波数の成分の大きさが最小である領域（領域Ｒｌ）を特定する。

制御部は、前記合成対象画像における、前記領域特定部により特定された前記領域（領域Ｒｌ）に対する合成を前記合成部に行わせる制御を当該合成部に対して行う。

ここで、前記特定周波数（軸周波数）は、当該特定周波数よりも高いそれぞれの周波数において、特定される前記領域（領域Ｒｌ）のその周波数の成分の大きさ（ＤＣＴ係数の平均値）が、他の領域（他の領域Ｒｍ）におけるその周波数の成分と同一である周波数である。かつ、当該特定周波数は、特定される前記領域（領域Ｒｌ）の当該特定周波数の成分の大きさが、前記他の領域における当該特定周波数の成分の大きさよりも小さい周波数である。

そして、前記合成前画像におけるそれぞれの領域（領域Ｒｌ、領域Ｒｍ）での、それぞれの周波数における前記成分の大きさ（ＤＣＴ係数の平均値）は、次の値である。つまり、この値は、当該領域を構成する、予め定められた複数の部分（画素ブロックＢ）における、その周波数の成分の大きさ（図７の１５列の列でのＤＣＴ係数の平均たる列平均）の平均値である。

そして、それぞれの前記部分（画素ブロックＢ）におけるそれぞれの周波数の前記成分の大きさ（列平均）は、次の値である。つまり、この値は、その周波数を特定する値Ｌ（列の番号）に関して、ｕ＋ｖ＝Ｌであるそれぞれのｕおよびｖの組についての、当該部分のＤＣＴ係数Ｆ（ｕ，ｖ）（０≦ｕ≦Ｍ、０≦ｖ≦Ｍ、Ｌ≦２×Ｍ）（その列のＤＣＴ係数）の平均値である。

さらに、後述の画像合成装置３（図１０）は、次の技術事項を有する。
この画像合成装置は、動画像を構成する複数の画像に含まれる画像が、当該動画像におけるシーンチェンジの時ではない画像か否か特定する画像特定部（カウンタ３２１）を備える。

前記合成部は、前記動画像のそれぞれの前記画像に対して前記合成を行う。
前記制御部は、前記画像特定部により、前記シーンチェンジの時の画像ではない特定される第１の画像への前記合成では（Ｓ２１ｃ：ＹＥＳ）、当該第１の画像について前記領域特定部により特定された前記領域に当該合成を行わせる（Ｓ２２）。

前記制御部は、前記画像特定部により、前記シーンチェンジの時の画像ではないと特定されない第２の画像への前記合成では（Ｓ２１ｂ：ＮＯ、２１ｃ：ＮＯ）、当該第２の画像について特定される前記領域への前記合成をさせず、他の領域に合成をさせる制御を前記合成部に対して行う。

この画像合成装置は、次のＡ６の画像合成装置の一例である。
Ａ６の画像合成装置は、前記検出部は、カウンタ（カウンタ３２１）を備え、表示時刻ごとに前記検出を行い、今回の表示時刻で検出した表示位置と、前回の検出時刻で検出した表示位置とを比較し、今回の前記表示位置と前回の前記表示位置との間の移動距離が閾値以内の場合は、前記カウンタの値に予め定められた加算値（１）を加算し、移動距離が前記閾値以上の場合は、前記カウンタの値を初期化し、前記カウンタの値が予め定められた閾値（６）以上であり、現在が、シーン切り替えの発生時ではないと前記カウンタの値により特定される場合には（Ｓ２１ｃ：ＹＥＳ）、検出した今回の前記表示位置を、今回の前記表示時刻の表示位置として出力し、前記カウンタの値が前記閾値未満であり、当該特定がされない場合には（Ｓ２１ｃ：ＮＯ、Ｓ２１ｂ：ＮＯ）、前記カウンタの値が前記閾値以上になるまでのそれぞれの表示時刻で、前回の前記表示位置を出力して、前記グラフィックスオブジェクトの表示位置の安定待ちを行う上記Ａ２の画像合成装置である。

Ａ７の画像合成装置は、複数の前記グラフィックスオブジェクト（オブジェクトデータ１１１）から、前記グラフィックスオブジェクトを選択する選択部（選択部３０５１）を備え、前記オブジェクトデータ記憶部は、複数の前記オブジェクトデータを保持し、それぞれの前記オブジェクトデータは、そのオブジェクトデータの前記グラフィックスオブジェクトの表示時刻を含み、前記選択部は、表示時刻ごとに、その表示時刻が含まれる前記オブジェクトデータの前記グラフィックスオブジェクトを選択し、前記検出部は、表示時刻ごとに、前記検出及び前記出力を行い、前記描画制御部は、表示時刻ごとに、その表示時刻で前記選択部により選択された前記グラフィックスオブジェクトを、その表示時刻で前記検出部により出力された表示位置で、その表示時刻に前記グラフィックス描画部に描画させ、前記画像合成部は、動画像を構成する、それぞれの画像が、その画像の表示時刻を有する複数の前記画像に含まれる画像ごとに、その画像の前記表示時刻において、その画像へと、その表示時刻に前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成するＡ６の画像合成装置である。

なお、ここでいう表示時刻とは、グラフィックスオブジェクトの表示時刻ではなく、映像の表示時刻である。例えば、映像の表示時刻ごとに、検出部による検出などが行われる。グラフィックスオブジェクトは、それぞれの表示時刻の映像のうちで、そのオブジェクトに対応する映像の表示時刻において、表示される。そして、ここで、シーン切り替え時には、空間周波数分布が激しく変わる。このため、空間周波数分布から決まる位置も激しく変わってしまう。そこで、シーン切り替え時には、空間周波数分布の変化に関わらずに、オブジェクト表示位置は変更しないようにされる。これにより、シーン切り替え時に、オブジェクト表示位置が激しく変化してしまうことが回避され、グラフィックスオブジェクトの可読性が向上できる。

なお、画像合成装置１の全部又は一部は、例えば、コンピュータ１９（図１）であってもよい。コンピュータ１９は、ＣＰＵ１９１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ１９２（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ１９３（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有する。コンピュータ１９（ＣＰＵ１９１）は、例えばコンピュータ１９に記憶されるなどした、上記の機能（表示領域検出部１０５等）の全部又は一部が記述されたコンピュータプログラムを実行することにより、そられの機能をコンピュータ１９（ＣＰＵ１９１）に実現してもよい。なお、記憶部１０４は、例えば、コンピュータ１９に設けられた、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＲＡＭ１９２、ＲＯＭ１９３などの１つ又は複数（すなわち記憶装置１９２１）による機能ブロックと理解されてもよい。一方、処理を行う機能の機能ブロックの一部又は全部は、例えば、その処理が実行されるＣＰＵ１９１による機能ブロックと理解されてもよい。上述された情報処理（情報の演算（加工））は、これらのハードウェア資源（ＣＰＵ１９１、記憶装置１９２１（ＲＯＭ１９２、ＲＡＭ１９３））を画像合成装置１が用いることにより、実現される。つまり、その情報処理が記述された上記コンピュータプログラムと、ＣＰＵ１９１等のハードウェア資源とが協働することにより、使用目的に応じた上記情報処理を実行する情報処理装置（画像合成装置１）、及び、その動作の方法が構築される。なお、上記のコンピュータプログラムは、例えば、記憶装置１９２１に記憶される。

なお、図１の各機能ブロックの機能は、集積回路に実現されてもよい。ここで、この集積回路は、例えば、所謂１チップＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）であってもよい。

なお、図１の各機能ブロックの機能の一部又は全部は、ハードウェアにより（布線論理により）実現された機能であってもよい。

（変形例１）
変形例１において、画像合成装置２について説明する。画像合成装置２では、グラフィックスオブジェクトの種別ごとに、オブジェクトの表示領域を規定する一つ以上の表示対象領域を定義する。また、画像合成装置２では、グラフィックスオブジェクトの表示時刻ごとに、その表示対象領域の中から表示可能な領域を絞り込む。なお、ここでも、説明の簡単化のため、上述された、実施の形態本体の場合と同様に、ＨＤ解像度（１９２０画素×１０８０ライン）で記録されたＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームをデコード部１０１がデコードして得られる画像に、合成がされる場合について説明する。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置２が合成する。

図８は、変形例１における画像合成装置２の構成を示すブロック図である。
図９は、記憶部１０４に記憶されるオブジェクト識別子２１２と、表示対象領域情報２１３と、標準表示周期情報２１４とを示す図である。

画像合成装置２は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置２に入力されたビットストリーム１３１をデコードし、デコードした映像信号１３２上に、グラフィックスオブジェクトを合成する。そして、画像合成装置２は、デコード部１０１、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４を具備する。この点は、実施の形態本体と同じである。さらに、画像合成装置２は、表示領域検出部１０５、描画制御部１０６の代わりに、表示領域検出部２０５、描画制御部２０６をそれぞれ具備する。また、記憶部１０４は、オブジェクトデータ１１１を具備する。この点は、実施の形態本体と同じであるが、さらに、記憶部１０４は、オブジェクト識別子２１２、表示対象領域情報２１３、標準表示周期情報２１４を具備する。なお、２１２ｘは、複数のオブジェクト識別子２１２（の全体）を指す符号であり、２１３ｘは、複数の表示対象領域２１３ｘ（の全体）を指す符号であり、２１４ｘは、複数の標準表示周期情報２１４（の全体）を指す符号である。

オブジェクト識別子２１２は、選択可能なグラフィックスオブジェクトの種別（字幕、アイコン、ウィジェット…）ごとに付与された識別子である。オブジェクト識別子２１２は、複数の種別から、１つの種別を特定する。例えば、字幕にはＩＤ１が、アイコンにはＩＤ２が、ウィジェットにはＩＤ３がそれぞれ与えられている。オブジェクト識別子２１２、表示対象領域情報２１３、そして、標準表示周期情報２１４は、それぞれ対になっている。このため、ＩＤ１のオブジェクト識別子２１２が指定されると、ＩＤ１の種別である字幕を表示するための表示対象領域情報２１３と標準表示周期情報２１４とが、指定されたオブジェクト識別子２１２に対応する表示対象領域情報２１３等として、描画制御部２０６により特定される。

表示対象領域情報２１３は、グラフィックスオブジェクトの表示領域を規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。表示対象領域情報２１３は、グラフィックスオブジェクトの種別ごとに表示領域として一つ以上の領域が定義できる。例えば、字幕の場合、表示対象領域として、次の表示領域１〜４が、それぞれ、その表示領域に対応する表示対象領域情報２１３（表示対象領域情報２１３ａ、表示対象領域情報２１３ｂ等）により定義されている。例えば、表示領域１は、画素オフセット（０，８００）、サイズ１９２０画素×２８０ラインの領域である。そして、表示領域２は、画素オフセット（０，０）、サイズ１９２０画素×２８０ラインの領域である。また、表示領域３は、画素オフセット（０，８１０）、サイズ３２０画素×１０８０ラインの領域である。そして、表示領域４は、画素オフセット（０，０）、サイズ３２０画素×１０８０ラインの領域である。なお、表示対象領域情報２１３ｃは、アイコンの表示対象領域情報２１３である。

標準表示周期情報２１４は、グラフィックスオブジェクトの表示周期を規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。標準表示周期情報２１４は、その標準表示周期情報２１４のグラフィックスオブジェクトが、オブジェクトデータ１１１に表示時刻が含まれないグラフィックスオブジェクトの場合に、表示時刻を描画制御部２０６が算出するために描画制御部２０６により使用される。グラフィックスオブジェクトの種別が字幕の場合、オブジェクトデータ１１１に表示時刻が含まれるため、標準表示周期情報２１４は使用されない。一方、種別がアイコンやウィジェットの場合、その種別のグラフィックスオブジェクトのオブジェクトデータ１１１に、表示時刻が含まれないため、そのグラフィックスオブジェクトに対応する標準表示周期情報２１４に基づいて表示時刻が描画制御部２０６により算出される。

描画制御部２０６は、デコード部１０１により画像がデコードされるごとに、字幕表示領域サイズを、表示領域検出部２０５に出力することより、字幕の表示位置を、表示領域検出部２０５を用いて決定するそして、描画制御部２０６は、グラフィックス描画部１０２により、その表示位置に字幕を描画する。このことは、実施の形態本体と同様である。さらに、描画制御部２０６は、表示時刻ごとに、グラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を向上させる。すなわち、可読性の向上のために、描画制御部２０６は、表示時刻ごとに、記憶部１０４から、字幕に対応する表示対象領域情報２１３、表示領域１から４（表示対象領域情報２１３ａ、表示対象領域情報２１３ｂ等）をそれぞれ読み出す。そして、描画制御部２０６は、表示領域検出部２０５に、表示対象領域情報２１３、表示領域１から４（表示対象領域情報２１３ａ、表示対象領域情報２１３ｂ…）をそれぞれ出力し、それらの領域の中から、最初の表示位置を決定する。次に、描画制御部２０６は、表示領域１から４の中から、検出された表示位置（最初の表示位置）を含む表示対象領域（最初の表示対象領域）を一つ決定し、次の表示時刻までは、決定された表示対象領域（最初の表示対象領域）の各位置の中から、表示領域検出部２０５により表示位置を決定する。なお、描画制御部２０６は、通常、ＭＰＵやメモリ等から実現され得る。描画制御部２０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示領域検出部２０５は、デコード部１０１によりデコードされた画像ごとに、その画像の空間周波数を解析し、描画制御部２０６で出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い領域（領域Ｒｌ）を検出し、その領域の表示位置を描画制御部２０６に出力する。このことは実施の形態本体と同様である。但し、この時、同時に、表示領域検出部２０５は、描画制御部２０６から表示領域検出部２０５に出力された複数の表示対象領域の中から、描画制御部２０６で出力される字幕表示領域サイズを含むことが可能な、空間周波数が最も低い表示対象領域を検出する。なお、表示領域検出部２０５は、通常、ＭＰＵやメモリ等から実現され得る。表示領域検出部２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。先述のように、検出された表示対象領域は、その検出における上記表示時刻以後、その表示時刻の次の表示時刻まで、利用される。

以上、変形例１によれば、選択可能なグラフィックスオブジェクトの種別ごとに、オブジェクトの特性に合わせて、オブジェクト識別子、表示対象領域、標準表示周期を定義することができる。さらに、表示時刻ごとに、表示対象領域の中からグラフィックスオブジェクトの表示可能な領域を絞り込むことによって、グラフィックスオブジェクトの可読性を向上することができる。

なお、変形例１によれば、オブジェクト識別子２１２として、字幕、アイコン、ウィジェットの例を示したが、これに限らない。

また、変形例１によれば、表示対象領域として、４つの表示領域をもつ場合の例を示したが、表示領域の数、および、表示領域のオフセット、表示領域のサイズは、これに限らない。

また、変形例１によれば、グラフィックスオブジェクトとして字幕を表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、各オブジェクトの表示時刻ごとに決定される表示対象領域が重ならないように、表示対象領域を決定しても良い。

（変形例２）
変形例２において、シーン切り替え発生時の、グラフィックスオブジェクトの表示位置の安定待ちを行う画像合成装置３について説明する。なお、ここでも、説明の簡単化のため、実施の形態本体の場合と同様に、ＨＤ解像度（１９２０画素×１０８０ライン）で記録されたＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームをデコード部１０１がデコードして得られる画像に、合成がされる場合について説明される。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置３が合成する。

図１０は、変形例２における画像合成装置３の構成を示すブロック図である。
画像合成装置３は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置３に入力されたビットストリーム１３１をデコードし、デコードした映像信号１３２上に、グラフィックスオブジェクトを合成する。そして、画像合成装置３は、デコード部１０１、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４、描画制御部１０６、を具備する。この点は、実施の形態本体と同じである。また、画像合成装置３は、表示領域検出部１０５の代わりに、表示領域検出部３０５を具備すると共に、表示領域検出部３０５は、カウンタ３２１をさらに具備する。

図１１は、画像合成装置３の処理を示すフローチャートである。
カウンタ３２１は、表示領域検出部３０５により制御されるカウンタである。カウンタ３２１は、映像のシーン切り替えに伴う空間周波数の分布の変化により発生するグラフィックスオブジェクトの表示位置安定待ちを行うためのカウンタである。このために、カウンタ３２１は、適宜、保持される値の加算と、その値の初期化がされる。つまり、表示領域検出部３０５が検出した今回の表示位置と、前回検出した表示位置とから計算された、縦方向、横方向の移動距離が閾値以内の場合（Ｓ２１ｂ：ＹＥＳ）、つまり、例えば、それぞれの移動距離が何れも閾値以内の場合は、シーン切り替えが発生しなかったとして、カウンタ３２１の値に対して、値１等の加算値が表示領域検出部３０５により加算される。他方、移動距離が閾値以上の場合は（Ｓ２１：ＮＯ）、シーン切り替えが発生したとして、カウンタ３２１の値が表示領域検出部３０５により０に初期化される。例えば、縦方向の閾値として、ＨＤ解像度の縦方向のライン数の１／４である２７０に、横方向の閾値として、ＨＤ解像度の横方向の画素数の１／４である４８０にした場合、縦方向、あるいは、横方向の移動距離のどちらか一方が、閾値以上になった場合には（Ｓ２１ｂ：ＮＯ）、シーン切り替えが発生したとして０で、その値が初期化される。

表示領域検出部３０５は、デコード部１０１によりデコードされた画像ごとに、その画像の空間周波数を解析し、描画制御部１０６で出力される字幕表示領域サイズを含むことが可能な空間周波数が最も低い領域（領域Ｒｌ）を検出する。そして、表示領域検出部３０５は、検出された領域の表示位置を描画制御部１０６に出力する。このことは、実施の形態本体と同様である。そして、さらに、表示領域検出部３０５は、検出した今回の表示領域の表示位置と、前回検出した表示位置とから、縦方向、横方向の移動距離をそれぞれ計算し（Ｓ２１ａ）、どちらか一方の移動距離が閾値以上である場合は（Ｓ２１ｂ：ＮＯ）、カウンタ３２１の値を０で初期化し、そうでない場合は（Ｓ２１ｂ：ＹＥＳ）、カウンタの値を１加算する。

次に、表示領域検出部３０５は、カウンタ３２１の値に応じて、検出した表示位置を描画制御部１０６に出力するかどうかの判定を行う（Ｓ２１ｃ）。表示領域検出部３０５は、カウンタ３２１の値が６以上の場合には（Ｓ２１ｃ：ＹＥＳ）、検出した表示位置を、確定した表示位置として記憶部１０４に記憶すると同時に、描画制御部１０６に出力する（Ｓ２２）。他方、表示領域検出部３０５は、カウンタ３２１の値が６以内の場合には（Ｓ２１ｃ：ＮＯ）、カウンタ３２１の値が６以上になるまで、検出した表示位置ではなく、前回、記憶部１０４に記憶した表示位置を描画制御部１０６に出力する。つまり、シーン切り替えが発生していないと判断される場合（Ｓ２１ｃ：ＹＥＳ）、今回検出された表示位置（合成位置）への合成が行われ（Ｓ２２）、発生したと判断される場合（Ｓ２１ｂ：ＮＯ）、又は、判断の途中であり、判断結果が未だ不明である場合（Ｓ２１ｃ：ＮＯ）、新しい合成位置への合成はされず、過去に特定された合成位置に合成が行われる。なお、表示領域検出部３０５は、通常、ＭＰＵやメモリ等から実現され得る。表示領域検出部３０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

以上、変形例２によれば、カウンタ３２１により、シーン切り替えに伴う空間周波数分布の変化時のグラフィックスオブジェクトの表示位置の安定待ちを行う。これにより、グラフィックスオブジェクト表示位置の移動回数増加を軽減することができ、グラフィックスオブジェクトの可読性を向上することができる。

なお、変形例２によれば、カウンタ３２１を制御するための、縦方向の閾値として、ＨＤ解像度の縦方向のライン数の１／４である２７０に、横方向の閾値として、ＨＤ解像度の横方向の画素数の１／４である４８０にした場合を示したが、これに限らない。

また、変形例２によれば、カウンタ３２１が６以上の場合に、表示位置を更新しているが、カウンタ３２１の閾値としては、これに限らない。

また、変形例２によれば、カウンタ３２１が６より小さい場合には、表示位置を更新しない。他方、シーン切り替えが連続して発生する場合を考慮して、デコードタイミングに同期する別のカウンタや、タイマなどによりタイムアウト制御を行い、タイムアウト時には、強制的に表示位置を更新するようにしても良い。

また、表示領域検出部３０５は、ビットストリーム１３１に含まれる動きベクトルを参照することによって、あるいは、フレームデコードを通常よりも先行して行うことによって、空間周波数が低い領域の遷移状況を解析し、空間周波数が低い領域の遷移を予測する。これにより、シーン切り替えに伴う、グラフィックスオブジェクトの移動を抑制しても良い。

また、変形例２によれば、グラフィックスオブジェクトを字幕としたが、アイコン、ウィジェット等としても良い。

（変形例３）
変形例３において、グラフィックスオブジェクト表示領域とグラフィックスオブジェクトの輝度差から、グラフィックスオブジェクトの輝度値を変更する画像合成装置４について説明する。なお、ここでも、説明の簡単化のため、実施の形態本体の場合と同様に、ＨＤ解像度（１９２０画素×１０８０ライン）で記録されたＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームをデコード部１０１がデコードして得られる画像に、合成がされる場合について説明される。この合成では、グラフィックスオブジェクトとして字幕を画像合成装置４が合成する。

図１２は、変形例３における画像合成装置４の構成を示すブロック図である。
画像合成装置４は、ディジタル放送信号受信部、および、記憶部などから当該画像合成装置４に入力されたビットストリーム１３１をデコードし、デコードした映像信号１３２上に、グラフィックスオブジェクトを合成する。そして、画像合成装置４は、デコード部１０１、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４、表示領域検出部１０５、を具備する。この点は、実施の形態本体と同じである。また、画像合成装置４は、描画制御部１０６の代わりに、描画制御部４０６を具備すると共に、色情報比較部４０７をさらに具備する。

図１３は、画像合成装置４の処理を示すフローチャートである。
色情報比較部４０７は、描画制御部４０６から出力された字幕表示領域サイズと、表示領域検出部１０５から出力された表示位置とに基づいて、平均輝度値を計算する（Ｓ３１）。具体的には、このとき、色情報比較部４０７は、字幕表示領域サイズと表示位置とに基づいて、デコード部１０１によりデコードされた画像の中における、その字幕表示領域サイズでの、その表示位置での領域（領域Ｒｌ）の平均輝度値を計算する。

一方、色情報比較部４０７は、描画制御部４０６を通じて、記憶部１０４に記憶された字幕のオブジェクトデータ１１１から、字幕の文字色情報を読み出し、読み出した文字色情報により特定される、その字幕の輝度値を計算する（Ｓ３２）。例えば、字幕の文字色がＲＧＢの場合、ＩＴＵ−Ｒ ＢＴ．７０９に基づいて輝度値を色情報比較部４０７は計算する。次に、色情報比較部４０７は、グラフィックスオブジェクト表示領域から算出した平均輝度値（Ｓ３１）と、字幕の文字色から算出した平均輝度値（Ｓ３２）を比較し（Ｓ３３）、輝度比が予め定められた閾値（例えば、２）以下の場合には（Ｓ３３：ＹＥＳ）、輝度比がその閾値（２）より大きくなるように、字幕の文字色の輝度成分を変換する（Ｓ３４）。そして、色情報比較部４０７は、この変換をしてから、その文字色情報を描画制御部４０６に出力する（Ｓ３５）。一方、色情報比較部４０７は、輝度比が２より大きい場合には（Ｓ３３：ＮＯ）、字幕のオブジェクトデータ１１１から読み出したものと同じ、字幕の文字色情報を描画制御部４０６に出力する（Ｓ３５）。なお、色情報比較部４０７は、通常、ＭＰＵやメモリ等から実現され得る。色情報比較部４０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

描画制御部４０６は、デコード部１０１により画像がデコードされるごとに、字幕表示領域サイズを表示領域検出部１０５に出力することより、字幕の表示位置を決定し、グラフィックス描画部１０２により、その表示位置に字幕を描画する。このことは、実施の形態本体と同様である。さらに、描画制御部４０６は、色情報比較部４０７から出力された、字幕の文字色情報（Ｓ３５）に基づいて、グラフィックス描画部１０２により、出力されたその文字色情報により指定された文字色で、字幕を描画する（Ｓ３６）。なお、描画制御部２０６は、通常、ＭＰＵやメモリ等から実現され得る。描画制御部２０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

以上、変形例３によれば、輝度差が閾値以下の場合か否か（Ｓ３３）に合わせて処理がされる。ここで、この輝度差は、表示領域検出部１０５により検出されたグラフィックスオブジェクト表示領域に対応するデコード画像の平均輝度値（Ｓ３１）と、描画するグラフィックスオブジェクトの平均輝度値（Ｓ３２）との輝度差である。すなわち、輝度差が閾値以下の場合（Ｓ３３：ＹＥＳ）、輝度差が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を色情報比較部４０７が変更する。これにより（Ｓ３４）、グラフィックスオブジェクトが、映像の中で空間周波数の最も低い領域（領域Ｒｌ）に表示される。これにより、グラフィックスオブジェクトの視認性が向上できる。

なお、変形例３によれば、ＩＴＵ−Ｒ ＢＴ．７０９に従って、ＲＧＢから輝度値を算出したが、輝度値の算出方法はこれに限らない。例えば、ＳＤ解像度の場合、ＩＴＵ−Ｒ ＢＴ．６０１に基づいて、ＲＧＢから輝度値を算出できる。

また、変形例３によれば、グラフィックスオブジェクトの視認性を輝度比により色情報比較部４０７が評価しているが（Ｓ３３）、輝度差により評価しても良い。

また、変形例３によれば、グラフィックスオブジェクトを視認できる輝度比の閾値を２としているが、これに限らない。

また、変形例３によれば、グラフィックスオブジェクトの視認性を向上させるために輝度値を用いるが、輝度値と色差値とを組み合わせてオブジェクトの視認性を確保してもよい。また、輝度値の代わりに、色差値を用いてオブジェクトの視認性を確保してもよい。

また、変形例３によれば、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を変更することにより、字幕の文字色を変更していたが、輝度比が閾値より大きくなるような他の文字色を選択しても良い。

また、変形例３によれば、輝度比を大きくするために、選択グラフィックスオブジェクトの表示色を色情報比較部４０７が変更していた（Ｓ３４）。他方、表示領域検出部１０５により検出されたグラフィックスオブジェクト表示領域部分に対応する映像信号の輝度値を色情報比較部４０７が変更してもよい。

また、変形例３によれば、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの輝度値を色情報比較部４０７が変更する。これにより、字幕の文字色が変更されていた（Ｓ３４）。他方、輝度比が閾値より大きくなるように、グラフィックスオブジェクトの透明度（α値）、あるいは、表示領域検出部１０５により検出されたグラフィックスオブジェクト表示領域部分に対応する映像信号の透明度（α値）が色情報比較部４０７が変更されても良い。

また、変形例３によれば、グラフィックスオブジェクト表示領域部分の輝度値として、表示領域の平均輝度値を用いたが、輝度値のばらつきが大きい場合、視認性が低い領域が発生する場合がある。輝度値のばらつきによる視認性の低下を防止するために表示領域を複数のブロックに分割し、分割された領域ごとに輝度値を評価、変更しても良い。

また、変形例３によれば、グラフィックスオブジェクト表示領域部分の輝度値として、表示領域の平均輝度値を用いたが、処理量の削減のために、表示領域全体の輝度値から間引いて得られる平均輝度値を用いてもよいし、表示領域の輝度分布から、中央値を用いてもよい。

また、変形例３によれば、画像がデコードされるごとに、選択されたグラフィックスオブジェクトの輝度値を評価して、その結果により輝度値を変更しているが、輝度値を変更するタイミングはこれに限らない。グラフィックスオブジェクトの表示時刻ごとに、輝度値を評価、変更してもよいし、シーンの切り替わりごとに輝度値を評価、変更してもよいし、また、一定時間ごとに輝度値を評価、変更してもよい。

また、変形例３によれば、グラフィックスオブジェクトを字幕としたが、アイコン、ウィジェット等としても良い。

（変形例４）
変形例４において、グラフィックスオブジェクトの種別ごとに表示領域を決定し、表示情報としてエンコードする画像符号化装置５について説明される。また、符号化されたグラフィックスオブジェクト表示情報から、選択されたグラフィックスオブジェクトに対応する表示領域情報を取得して、その領域にグラフィックスオブジェクトを合成する画像合成装置６について説明する。すなわち、画像符号化装置５および画像合成装置６を備える画像処理システム６ｓが説明される。

なお、ここでは、説明の簡単化のため、画像符号化装置５は、ＢＤレコーダーに実装される例が説明される。そして、画像符号化装置５は、携帯端末用に、ＶＧＡ解像度（６４０画素×４８０ライン）の映像に対して、字幕、ウィジェット、アイコン表示用の表示領域をそれぞれ検出する。そして、それらの領域が、表示情報として、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームで画像符号化装置５によりエンコードされる。一方、携帯端末に実装された画像合成装置６は、画像符号化装置５で符号化されたビットストリーム５３５をデコードし、選択されたウィジェットオブジェクトに対応する表示領域情報を取得して、デコードして得られる画像に、ウィジェットを合成する場合について説明する。

図１４は、変形例４における画像符号化装置５、および、画像合成装置６の構成を示すブロック図である。

まず、変形例４における画像符号化装置５について説明する。
画像符号化装置５は、デコード部、および、記憶部から画像符号化装置５に入力された映像信号５３４を、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム５３５として、エンコードする画像符号化装置である。そして、画像符号化装置５は、エンコード部５０８、記憶部５０４、表示領域検出部５０５を具備する。さらに、記憶部５０４は、オブジェクト識別子５１２、標準オブジェクトサイズ５１５を具備する。

記憶部５０４は、実施の形態本体で示した記憶部１０４と同じ、半導体メモリ素子等の記憶装置である。

オブジェクト識別子５１２は、携帯端末で選択可能なグラフィックスオブジェクトの種別ごとに付与された識別子である（図８のオブジェクト識別子２１２参照）。例えば、字幕にはＩＤ１０が、アイコンにはＩＤ１２が、ウィジェットにはＩＤ１３がそれぞれ与えられている。オブジェクト識別子５１２と、標準オブジェクトサイズ５１５とは、それぞれ対になっている。このため、ＩＤ１０のオブジェクト識別子が指定されると、字幕を表示するための標準オブジェクトサイズ５１５が、そのオブジェクト識別子５１２に対応する標準オブジェクトサイズ５１５として、表示領域検出部５０５により特定される。この特定では、複数の標準オブジェクトサイズ５１５のうちから特定される。

標準オブジェクトサイズ５１５は、携帯端末で表示できるグラフィックスオブジェクトの標準サイズを規定する情報であり、グラフィックスオブジェクトの種別ごとに定義可能な情報である。標準オブジェクトサイズ５１５においては、例えば、字幕の場合には、２８０画素×４８ラインが、アイコンの場合には、３２画素×３２ラインが、そして、ウィジェットの場合には、１２０画素×９６ラインが、それぞれ、その種別の標準オブジェクトサイズ５１５により定義されている。

なお、５１２ｘは、複数のオブジェクト識別子５１２（の全体）を示す符号であり、５１５ｘは、複数の標準オブジェクトサイズ５１５（の全体）を示す符号である。

エンコード部５０８は、画像符号化装置５に入力された、ＶＧＡ解像度の映像信号５３４をエンコードして、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム５３５として、エンコードされた後のデータを出力する。また、エンコード部５０８は、表示領域検出部５０５で出力された字幕、ウィジェット、アイコン表示用の表示情報を、画像ごとにUser Data Unregistered SEIにエンコードする。ここで、表示情報は、オブジェクト識別子、表示位置、オブジェクトサイズから構成されるデータである。

図１５は、エンコード部５０８により出力されるビットストリーム５３５について、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるＮＡＬ（Network Abstraction Layer）ユニットに基づいて、その構成を示した図である。図１５では、ＮＡＬユニットとして、ＳＥＩ６１１ｄ（Supplemental Enhancement Information）、ＳＰＳ６１１ｂ（Sequence Parameter Set）、ＰＰＳ６１１ｃ（Picture Parameter Set）、ＡＵ（Access Unit）デリミタ６１１ａ、シーケンスの終了（End Of Sequence：ＥＯＳ）６１１ｇ、ストリームの終了（End Of Stream：ＥＯＳ）６１１ｆ、スライス（符号化ピクチャ）６１１ｅなどで構成される例を示している。なお、変形例４では、符号化ピクチャごとに、少なくともＡＵデリミタ６１１ａと、任意のユーザ・データが記述可能なＳＥＩ６１１ｄである、User Data Unregistered SEIが、必ず付与されているものとする。

図１６は、エンコード部５０８により出力されるUser Data Unregistered SEIの構造を表すシンタックスの表６Ｔを示す図である。ここでは、シンタックスを、コンピュータ装置などのプログラムの記述言語として用いられるＣ言語の記述法に基づいて示している。

図１６で示したUser Data Unregistered SEIは、表６Ｔの最初の行にuser_data_unregistered（payloadSize）として示されるように、ペイロードサイズ、すなわち、このUser Data Unregistered SEIの全体のデータ長が指定されているデータである。次の行の、１２８ビットのデータ長を有するフィールドuuid_iso_iec_11578は、一意に識別できる識別情報が格納される。次のデータ長が８ビットのフィールドnumber_of_glaphics_obect_type_entriesは、このピクチャで定義されているグラフィックスオブジェクト種別の数である。次のforループ文に従い、number_of_glaphics_obect_type_entriesに示される数だけ、表示情報が格納される。

次に、表示情報に対応するフィールドについて説明する。データ長が８ビットのフィールドglaphics_obect_type_idは、オブジェクト識別子であり、データ長が１６ビットのフィールドoffset_xとoffset_yにより、表示位置を表し、最後に、データ長が１６ビットのフィールドwidth_sizeとheight_sizeにより、オブジェクトサイズを表す。

変形例４では、User Data Unregistered SEI に、字幕、アイコン、ウィジェットの３つの表示情報を格納するため、number_of_glaphics_obect_type_entriesは３である。また、字幕に対応する表示情報のglaphics_obect_type_idはＩＤ１０（数字の１０とする）であり、offset_xとoffset_yは(0,0)を示し、width_sizeとheight_sizeは２８０画素×４８ラインを示している。なお、この場合のpayloadSizeは４４バイトとなる。

なお、ここでいう、ビットストリーム５３５の出力とは、画像符号化装置５の外部にある外部装置への、画像符号化装置５によるビットストリーム５３５の送信、記録媒体へのビットストリーム５３５の画像符号化装置５による蓄積を含む概念である。

また、エンコード部５０８は、通常、ＭＰＵやメモリ等から実現され得る。エンコード部５０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示領域検出部５０５は、画像符号化装置５に入力された画像ごとに、その画像の空間周波数を解析し、標準オブジェクトサイズ５１５を含むことが可能な空間周波数が最も低い領域（領域Ｒｌ）を検出する。このことは、実施の形態本体と同様である。ここで、標準オブジェクトサイズ５１５は、字幕、アイコン、ウィジェット用に複数ある。このため、表示領域検出部５０５は、それぞれの標準オブジェクトサイズ５１５を、記憶部５０４から逐次読み出して、それぞれのオブジェクトに対応する表示領域を検出し、字幕、アイコン、ウィジェット用の表示情報を各々出力する。ここで、出力される表示情報は、検出（特定）された表示位置と、読み出された標準オブジェクトサイズ５１５とで構成される。なお、表示領域検出部５０５は、通常、ＭＰＵやメモリ等から実現され得る。表示領域検出部５０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、変形例４における画像合成装置６について説明する。
画像合成装置６は、前記、画像符号化装置５から出力されたビットストリーム５３５が入力されて、入力されたビットストリーム５３５をデコードし、その、ビットストリーム５３５をデコードした映像信号６３２上に、選択されたグラフィックスオブジェクトを合成表示する。そして、画像合成装置６は、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４を具備する。この点は、実施の形態本体と同じである。さらに、画像合成装置６は、デコード部１０１、表示領域検出部１０５、描画制御部１０６の代わりに、デコード部６０１、表示領域選択部６０９、描画制御部６０６を、それぞれ具備する。

デコード部６０１は、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム（ビットストリーム５３５）をデコードする。この点は、実施の形態本体と同じであるが、さらに、デコード部６０１は、ビットストリーム中のUser Data Unregistered SEIから、字幕、アイコン、ウィジェット用の表示情報を取得し、出力する。

表示領域選択部６０９は、デコード部６０１から出力された、字幕、アイコン、ウィジェット用の表示情報の中から、選択されたウィジェットに対応する表示情報を、オブジェクト識別子により選択する。そして、表示領域選択部６０９は、選択された表示情報に含まれる、表示位置とオブジェクトサイズとを描画制御部６０６に出力する。なお、表示領域選択部６０９は、通常、ＭＰＵやメモリ等から実現され得る。表示領域選択部６０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

描画制御部６０６は、デコード部６０１により画像がデコードされるごとに、表示領域選択部６０９から入力された表示位置に基づいて、その表示位置に、ウィジェットを描画する。このことは、実施の形態本体と同様である。さらに、描画制御部６０６は、表示領域選択部６０９から入力されたオブジェクトサイズに基づいて、グラフィックス描画部１０２により、ウィジェットを拡大、および、縮小して、描画する。なお、描画制御部６０６は、通常、ＭＰＵやメモリ等から実現され得る。描画制御部６０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

以上、変形例４においては、携帯端末において、ＢＤレコーダーなどからトランスコードされたコンテンツを再生する場合には、ＢＤレコーダーが、入力された映像と共に、携帯端末で選択可能なグラフィックスオブジェクト用の表示情報を、予めビットストリームとしてエンコードしておく。これによって、そのビットストリームをデコードする携帯端末では、デコードした映像上に、ユーザが選択したグラフィックスオブジェクトを、低消費電力で、かつ、効果的に合成表示できる。

なお、変形例４によれば、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム５３５を使用する場合の例を示したが、これに限らない。ＩＳＯ／ＩＥＣ１３８１８−２で規定されるビットストリーム等でも良い。

また、変形例４によれば、画像符号化装置５がＢＤレコーダーに、画像合成装置６が携帯端末にと、別々に実装された例を示したが、ＢＤレコーダー等の一つの装置に、画像符号化装置５と画像合成装置６が両方実装されていても良い。

また、変形例４によれば、ビットストリーム５３５にエンコードするパラメータとして、オブジェクト識別子、表示位置、オブジェクトサイズの例を示したが、これに限らない。

また、変形例４によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、一つの標準オブジェクトサイズ５１５を定義する例を示したが、グラフィックスオブジェクトの種別ごとに、一つ以上の標準オブジェクトサイズを定義しても良い。例えば、一つ以上のアイコンを連結して表示する場合、表示するアイコン数に応じて、標準オブジェクトサイズ５１５を定義しても良い。

また、変形例４によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、表示領域検出部５０５から、それぞれ一つの表示領域を検出した。他方、字幕とウィジェットなど、複数のグラフィックスオブジェクトを同時に表示する場合を想定して、一つ以上の表示領域を検出しても良い。

また、変形例４によれば、字幕、アイコン、ウィジェットといったグラフィックスオブジェクトの種別ごとに、表示領域検出部５０５から、それぞれ一つの表示領域を検出したが、例えば、ウィジェットを複数、分散して表示する場合には、一つ以上の表示領域を検出しても良い。

また、変形例４によれば、画像符号化装置５は、携帯端末を想定してエンコードしているが、想定される用途はこれに限らない。

また、変形例４によれば、グラフィックスオブジェクトとしてウィジェットを表示する例を示したが、同時に複数のグラフィックスオブジェクトを表示しても良い。この場合には、オブジェクトが重ならないように、グラフィックスオブジェクトに優先度を付けて、空間周波数の低い領域から優先度の高いオブジェクトを表示するようにしても良い。

（変形例５）
変形例５において、映像信号の解析結果に基づいてグラフィックスオブジェクトを選択し、その表示情報をエンコードする画像符号化装置７が説明される。また、符号化されたオブジェクト表示情報に基づいてグラフィックスオブジェクトを合成する画像合成装置８について説明する。すなわち、画像符号化装置７および画像合成装置８を備える画像処理システム８ｓが説明される。なお、ここでは、説明の簡単化のため、画像符号化装置７が、ＨＤ解像度（１９２０画素×１０８０ライン）の映像信号に関する例が説明される。つまり、画像符号化装置７は、この映像信号から特徴量として検出した話者の口の位置（図１８における口の画像８０６Ｉａの位置）に、吹き出し（吹き出し８０６Ｉｂ）を表示するための表示領域を特定する。そして、画像符号化装置７は、特定された表示領域を、表示情報として、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームでエンコードする。一方、画像合成装置８は、選択された吹き出しオブジェクトを表示するために、画像符号化装置７で符号化されたビットストリームをデコードして得られる表示情報に基づいて、映像信号に吹き出しを合成する。

図１７は、変形例５における画像符号化装置７、および、画像合成装置８の構成を示すブロック図である。

図１８は、画像処理システム８ｓにおける合成前画像７１０Ｉおよび合成後画像８０６Ｉ等を示す図である。

まず、変形例５における画像符号化装置７について説明する。
画像符号化装置７は、デコード部、および、記憶部から入力された映像信号７３４を、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム７３５として、エンコードする。そして、画像符号化装置７は、記憶部５０４を具備する。この点は、変形例４と同じである。さらに、画像符号化装置７は、表示領域検出部５０５、エンコード部５０８の代わりに、表示領域検出部７０５、エンコード部７０８をそれぞれ具備し、また、画像解析部７１０をさらに具備する。

画像解析部７１０は、入力された映像信号７３４を解析し、映像信号７３４の特徴を示す特徴量として、映像信号７３４が示す画像に登場する話者の口（口の画像７１０Ｉａ）の位置を検出し、検出した話者の口の位置と共に、検出時刻を表示時刻として、エンコード部７０８に出力する。さらに、画像解析部７１０は話者の口の位置を検出した場合、表示に適切なグラフィックスオブジェクトとして、各オブジェクト識別子５１２のうちで、吹き出しに対応するオブジェクト識別子５１２ｍを出力する。なお、画像解析部７１０は、通常、ＭＰＵやメモリ等から実現され得る。画像解析部７１０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

表示領域検出部７０５は、入力された画像ごとに、その画像の空間周波数を解析し、標準オブジェクトサイズ５１５を含むことが可能な空間周波数が最も低い領域（領域Ｒｌ）を検出する。この点は、変形例４と同様である。他方、表示領域検出部７０５は、画像解析部７１０から入力されたオブジェクト識別子（吹き出しのオブジェクト識別子５１２ｍ）に基づいて、吹き出し用の標準オブジェクトサイズ５１５ｍを記憶部５０４から読み出す。そして、表示領域検出部７０５は、表示領域を検出し、吹き出しに対応するオブジェクト識別子５１２ｍ、および、表示位置と標準オブジェクトサイズ５１５ｍをエンコード部７０８にそれぞれ出力する。なお、表示領域検出部５０５は、通常、ＭＰＵやメモリ等から実現され得る。表示領域検出部５０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

エンコード部７０８は、入力されたＨＤ解像度の映像信号７３４をエンコードして、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリーム７３５として出力する。この点は、変形例４と同様である。他方、エンコード部７０８は、話者の口（口の画像７１０Ｉａ）の位置と表示時刻、そして、表示領域検出部７０５から入力された、オブジェクト識別子、および、表示位置と標準オブジェクトサイズ５１５を、画像ごとにUser Data Unregistered SEIにエンコードする。ここで、口の位置と、表示時刻は、画像解析部７１０から表示領域検出部７０５に入力される。このエンコードでは、口の位置等が、オブジェクト表示情報として、エンコードされる。

なお、ここでいう、出力とは、外部装置への送信、記録媒体への蓄積を含む概念である。

また、エンコード部７０８は、通常、ＭＰＵやメモリ等から実現され得る。エンコード部７０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

次に、変形例５における画像合成装置８について説明する。
画像合成装置８は、前記、画像符号化装置７から出力されたビットストリーム７３５をデコード部８０１がデコードし、そのデコードした映像信号８３２上に、選択されたグラフィックスオブジェクトを合成表示する。そして、画像合成装置８は、グラフィックス描画部１０２、画像合成部１０３、記憶部１０４、表示領域選択部６０９を具備する。この点は、変形例４と同じである。さらに、画像合成装置８は、デコード部６０１、描画制御部６０６の代わりに、デコード部８０１、描画制御部８０６をそれぞれ具備する。

デコード部８０１は、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームをデコードする。この点は、変形例４と同じであるが、さらに、デコード部８０１は、ビットストリーム中のUser Data Unregistered SEIから、吹き出し表示用のオブジェクト表示情報を取得し、出力する。なお、デコード部８０１は、通常、ＭＰＵやメモリ等から実現され得る。デコード部８０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

描画制御部８０６は、デコード部８０１により画像がデコードされるごとに、表示領域選択部６０９から入力された表示位置に基づいて、グラフィックスオブジェクトを描画することは変形例４と同様である。さらに、描画制御部８０６は、表示領域選択部６０９から入力された表示時刻、および、話者の口の位置、そして、記憶部１０４に保持されている字幕データに基づいて、グラフィックス描画部１０２により、吹き出し８０６Ｉｂを描画する。なお、描画制御部８０６は、通常、ＭＰＵやメモリ等から実現され得る。描画制御部６０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

以上、変形例５の形態では、話者の口の位置と吹き出しを関連付けてビットストリーム７３５に記録される。そして、再生時には、その関連付けられた情報を元に、吹き出し（吹き出し８０６Ｉａ）を話者（口の画像８０６Ｉａ）につなげるといった表現が可能になる。これにより、単に記録しただけでは得られない映像効果を簡単に得ることができる。

なお、変形例５の形態によれば、ＩＳＯ／ＩＥＣ１４４９６−１０で規定されるビットストリームを使用する場合の例を示したが、これに限らない。ＩＳＯ／ＩＥＣ１３８１８−２で規定されるビットストリーム等でも良い。

また、変形例５の形態によれば、画像符号化装置７と画像合成装置８を同じ装置に実装しても良いし、別々の装置に実装しても良い。

また、変形例５の形態によれば、ビットストリーム７３５にエンコードするパラメータとして、オブジェクト識別子、映像特徴量として話者の口の位置、表示時刻、表示位置、オブジェクトサイズの例を示したが、これに限らない。

また、変形例５の形態によれば、入力された映像信号を解析して得られる特徴量として、話者の口の位置の例を示したが、これに限らない。

また、変形例５の形態によれば、吹き出しを表示するためのオブジェクト表示情報をエンコードする例を示したが、オブジェクト表示情報には、変形例４で示した字幕、アイコン、ウィジェットに対応する表示情報を含んでも良い。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含される。

なお、本発明は、装置として実現できるだけでない。つまり、その装置を構成する処理手段をステップとする方法として実現してもよい。また、それらステップをコンピュータに実行させるプログラムとして実現してもよい。そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。そのプログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明は、上記の実施の形態に限定されるものではないのは当然である。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。具体的には、例えば、図１４の画像処理システム６ｓ、図１７の画像処理システム８ｓに対して、図１０及び図１１の技術と、図１２及び図１３の技術とのうちの一方又は両方が組み合わせられてもよい。

つまり、上記の実施形態の互いに離れた２つ以上の箇所に記載された複数の事項は、技術常識に基づいて、組み合わせられてもよい。上記の実施の形態により、組み合わせた形態も示される。

以上のように、本発明にかかる画像合成装置（画像合成装置１〜画像合成装置４、画像処理システム６ｓ、画像処理システム８ｓ）は、従来に比べて効果的にグラフィックスオブジェクトを映像に合成できるという効果を有する。この技術は、画像合成装置を用いたディジタルテレビや、携帯端末、ＢＤ（Blu-ray Disc）レコーダー／プレイヤー等として有用である。

１〜４、６、８ 画像合成装置
５、７ 画像符号化装置
６ｓ、８ｓ 画像処理システム
１０１、６０１、８０１ デコード部
１０２ グラフィックス描画部
１０３ 画像合成部
１０４、５０４ 記憶部
１０５、２０５、３０５、５０５、７０５ 表示領域検出部
１０６、２０６、４０６、６０６、８０６ 描画制御部
１１１ オブジェクトデータ
１３１、５３５、７３５ ビットストリーム
１３２、１３３、５３４、６３２、６３３、７３４、８３２、８３３ 映像信号
２１２、５１２ オブジェクト識別子
２１３ 表示対象領域情報
２１４ 標準表示周期情報
３２１ カウンタ
４０７ 色情報比較部
５０８、７０８ エンコード部
５１５ 標準オブジェクトサイズ
６０９ 表示領域選択部
７１０ 画像解析部

Claims (13)

1. グラフィックスオブジェクトを描画するグラフィックス描画部と、
   画像に対して、前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する画像合成部と、
   前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を表示位置として検出し、前記検出をデコードされた画像ごとに行い、表示位置の移動距離から、現在がシーン切り替えの発生時ではないと特定される場合には、検出した今回の前記表示位置を今回の表示時刻の表示位置として出力し、現在がシーン切り替えの発生時と特定される場合には、前回の前記表示位置を出力する検出部と、
   前記グラフィックス描画部を制御して、前記画像における、前記検出部により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御部と
   を備える画像合成装置。
2. ディジタル放送信号受信部、および、記憶部の何れかから当該画像合成装置に入力されたビットストリームをデコードするデコード部と、
   前記グラフィックスオブジェクトのオブジェクトデータを保持するオブジェクトデータ記憶部とを備え、
   前記画像合成部は、前記デコード部により前記ビットストリームからデコードされた映像信号が示す前記画像に前記合成を行い、
   前記描画制御部は、前記オブジェクトデータ記憶部により保持された前記オブジェクトデータに基づき、当該オブジェクトデータの前記グラフィックスオブジェクトを前記グラフィックス描画部に描画させる制御を当該グラフィックス描画部に対して行う請求項１記載の画像合成装置。
3. 前記検出部は、前記画像の一部または全体を、複数のブロックに分割し、それぞれのブロックの空間周波数を計算し、
   前記画像のそれぞれの領域は、描画が行われる前記グラフィックスオブジェクトのオブジェクトサイズを含むことが可能な領域であり、かつ、１以上の前記ブロックで構成される領域であり、
   前記検出部は、前記複数の領域の中から、その領域に含まれる１以上の前記ブロックについて計算された前記空間周波数から特定される、その領域の空間周波数が、最も低い領域を決定して、決定された前記領域の位置を前記表示位置として出力する請求項１記載の画像合成装置。
4. 前記オブジェクトデータ記憶部は、前記グラフィックスオブジェクトの種別ごとに、その種別のオブジェクト識別子と、その種別の前記グラフィックスオブジェクトの表示領域を規定する一つ以上の表示対象領域情報と、その種別の前記グラフィックスオブジェクトの表示間隔を規定する標準表示周期情報とをさらに保持し、
   前記描画制御部は、前記オブジェクトデータ記憶部に保持された前記オブジェクト識別子と、前記表示対象領域情報と、前記標準表示周期情報とに基づいて前記制御を行う請求項２記載の画像合成装置。
5. 前記描画制御部は、前記グラフィックスオブジェクトの表示時刻ごとに、前記オブジェクトデータ記憶部に記憶された複数の前記表示対象領域情報の中から、前記検出部から出力された表示位置を含む表示領域の表示対象領域情報を決定し、
   前記検出部は、前記表示対象領域情報の前記決定が行われた前記表示時刻から、当該表示時刻の次の表示時刻までの間には、当該決定がされた前記表示対象領域情報の前記表示領域の各表示位置の中から、表示位置を決定する請求項４記載の画像合成装置。
6. 前記検出部は、
   カウンタを備え、
   表示時刻ごとに前記検出を行い、
   今回の表示時刻で検出した表示位置と、前回の検出時刻で検出した表示位置とを比較し、今回の前記表示位置と前回の前記表示位置との間の移動距離が閾値以内の場合は、前記カウンタの値に予め定められた加算値を加算し、移動距離が前記閾値以上の場合は、前記カウンタの値を初期化し、
   前記カウンタの値が予め定められた閾値以上であり、現在が、シーン切り替えの発生時ではないと前記カウンタの値により特定される場合には、検出した今回の前記表示位置を、今回の前記表示時刻の表示位置として出力し、前記カウンタの値が前記閾値未満であり、当該特定がされない場合には、前記カウンタの値が前記閾値以上になるまでのそれぞれの表示時刻で、前回の前記表示位置を出力して、前記グラフィックスオブジェクトの表示位置の安定待ちを行う請求項２記載の画像合成装置。
7. 複数の前記グラフィックスオブジェクトから、前記グラフィックスオブジェクトを選択する選択部を備え、
   前記オブジェクトデータ記憶部は、複数の前記オブジェクトデータを保持し、
   それぞれの前記オブジェクトデータは、そのオブジェクトデータの前記グラフィックスオブジェクトの表示時刻を含み、
   前記選択部は、表示時刻ごとに、その表示時刻が含まれる前記オブジェクトデータの前記グラフィックスオブジェクトを選択し、
   前記検出部は、表示時刻ごとに、前記検出及び前記出力を行い、
   前記描画制御部は、表示時刻ごとに、その表示時刻で前記選択部により選択された前記グラフィックスオブジェクトを、その表示時刻で前記検出部により出力された表示位置で、その表示時刻に前記グラフィックス描画部に描画させ、
   前記画像合成部は、動画像を構成する、それぞれの画像が、その画像の表示時刻を有する複数の前記画像に含まれる画像ごとに、その画像の前記表示時刻において、その画像へと、その表示時刻に前記グラフィックス描画部により描画された前記グラフィックスオブジェクトを合成する請求項２記載の画像合成装置。
8. 前記検出部は、前記映像信号を解析し、当該映像信号が示す前記画像における前記複数の領域のうちで、その領域の空間周波数が最も低い領域の位置の遷移予測を行う請求項２記載の画像合成装置。
9. 前記検出部により検出された前記領域に対応するデコード画像の色情報と、前記グラフィックス描画部が描画する前記グラフィックスオブジェクトの色情報との間の予め定められた比率を計算し、計算された当該比率が予め定められた閾値以下の場合には、計算される色情報での前記比率が前記閾値より大きくなるように、前記グラフィックスオブジェクトの色情報を計算し、計算された当該色情報を、前記描画制御部に出力する色情報比較部を、さらに備え、
   前記描画制御部は、前記色情報比較部により前記色情報が出力される場合には、出力された前記色情報の色による描画を前記グラフィックス描画部に行わせる請求項１記載の画像合成装置。
10. 当該画像符号化装置に入力された映像信号を、ビットストリームにエンコードする画像符号化装置であって、
    グラフィックスオブジェクトの種別ごとに、その種別のオブジェクト識別子と、その種別のオブジェクトサイズを規定する標準オブジェクトサイズとを、保持する記憶部と、
    前記記憶部に保持された、それぞれの前記標準オブジェクトサイズを逐次読み出し、入力された前記映像信号が示す画像の複数の領域の空間周波数を各々解析することによって、解析された空間周波数が最も低い領域を表示位置として検出し、前記検出をデコードされた画像ごとに行い、表示位置の移動距離から、現在がシーン切り替えの発生時ではないと特定される場合には、検出した今回の前記表示位置を今回の表示時刻の表示位置として出力し、現在がシーン切り替えの発生時と特定される場合には、前回の前記表示位置を出力し、さらにオブジェクトサイズと、オブジェクト識別子とをそれぞれ出力する検出部と、
    前記検出部で出力された前記表示位置と、前記オブジェクトサイズと、前記オブジェクト識別子とを、少なくとも含むオブジェクト表示情報を、前記ビットストリーム中に記述するエンコード部とを備える画像符号化装置。
11. 前記映像信号を解析することによって特徴量を検出し、検出された前記特徴量に基づいて、当該特徴量が検出された前記映像信号に適切なグラフィックスオブジェクトを、複数のグラフィックスオブジェクトから選択する画像解析部をさらに備え、
    前記エンコード部は、前記画像解析部が選択した前記グラフィックスオブジェクトの前記オブジェクト識別子と、前記画像解析部が検出した前記特徴量と、表示時刻情報と、前記検出部で検出された前記表示位置と、当該グラフィックスオブジェクトのオブジェクトサイズとを、少なくとも含むオブジェクト表示情報を、前記ビットストリームに符号化する請求項１０記載の画像符号化装置。
12. グラフィックスオブジェクトを描画するグラフィックス描画工程と、
    画像に対して、前記グラフィックス描画工程で描画された前記グラフィックスオブジェクトを合成する画像合成工程と、
    前記画像における複数の領域の空間周波数を各々解析し、前記複数の領域のうちで、解析された空間周波数が最も低い領域を表示位置として検出し、前記検出をデコードされた画像ごとに行い、表示位置の移動距離から、現在がシーン切り替えの発生時ではないと特定される場合には、検出した今回の前記表示位置を今回の表示時刻の表示位置として出力し、現在がシーン切り替えの発生時と特定される場合には、前回の前記表示位置を出力する検出工程と、
    前記グラフィックス描画工程の処理を制御して、前記画像における、前記検出工程により出力された前記表示位置に、前記グラフィックスオブジェクトを描画させる描画制御工程とをコンピュータに実行させるためのコンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。