JP2013239833A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】字幕画像の遠近感を強調する。
【解決手段】画像処理装置は、字幕情報取得部、視差取得部、立体字幕画像生成部、および、エッジ処理部を備える。字幕情報取得部は、立体主画像に合成される字幕情報を取得する。視差取得部は、字幕情報を立体表示させるための視差を取得する。立体字幕画像生成部は、視差に応じた表示位置に立体表示される立体字幕画像を字幕情報から生成する。エッジ処理部は、立体字幕画像におけるエッジの強度を前記視差に応じて変更する。
【選択図】図２

Description

本技術は、画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、字幕を動画に合成する画像処理装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。

従来から、立体的に視認できるように動画を表示（すなわち、立体表示）する表示装置が用いられている。例えば、動画を構成する画像として視差のある左側画像および右側画像を撮像しておき、左側画像が左目に映り右側画像が右目に映るように、表示装置がそれらを表示することにより、動画を立体的に見せることができる。表示の際には、時分割で左右の画像を表示装置が交互に表示し、その切り替えタイミングに同期して、専用メガネが左右のシャッターを動作させるアクティブシャッターグラス方式などが用いられる。

上述のような表示装置において、動画にクローズドキャプションを合成する技術が提案されている（例えば、特許文献１参照。）。クローズドキャプションとは、表示装置が、字幕の表示、非表示などを制御することができるように動画と独立して生成された字幕である。これに対して、動画に合成された形式で供給され、表示装置が表示、非表示等を制御することができない字幕はオープンキャプションと呼ばれる。

表示装置がクローズドキャプションを合成する場合、そのクローズドキャプションも立体表示させることが考えられる。字幕の立体表示の際には、通常、字幕を表す平面的な字幕画像が生成され、その字幕画像は、２Ｄ−３Ｄ変換の技術を利用して、立体表示させるための画像に変換される。この２Ｄ−３Ｄ変換は、立体表示するための画像でないものを、立体表示させるための画像に変換する技術である。具体的には、平面的な通常の画像を水平方向において左右にずらして２枚の画像を生成し、それらの一方を左目に映すための左側画像とし、他方を右目に映すための右側画像とする手法が用いられる（例えば、特許文献２参照）。

特開２０１２−４６５４号公報 特許第３０８６５７７号

しかしながら、上述の従来技術では、字幕画像を立体表示させる場合に遠近感を強調することができない。特許文献２に記載の２Ｄ−３Ｄ変換では、平面的な画像を単にシフトさせているだけであり、このような手法を用いて平面的な字幕画像を立体表示させても、立体物が写った動画を立体表示した場合と比較して、字幕画像の遠近感が不足してしまう。このため、字幕画像を立体表示する場合は、その字幕画像の遠近感を強調することが望ましい。ところが、上述の従来技術では、画像の遠近感を変更する処理を行わないため、字幕画像を立体表示させる場合にこれらの技術を適用すると、遠近感が不足してしまうという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、字幕画像の遠近感を強調することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、立体主画像に合成される字幕情報を取得する字幕情報取得部と、前記字幕情報を立体表示させるための視差を取得する視差取得部と、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成部と、前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理部とを具備する画像処理装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、視差に応じて立体字幕画像におけるエッジの強度が変更される。

また、この第１の側面において、前記エッジ処理部は、前記表示位置が所定の基準位置より手前側である場合には前記視差に応じて前記エッジの強度を強くし、前記表示位置が前記基準位置より奥側である場合には前記視差に応じて前記エッジの強度を弱くしてもよい。これにより、表示位置が基準位置より手前側である場合には視差に応じてエッジの強度が強くなり、表示位置が基準位置より奥側である場合には視差に応じてエッジの強度が弱くなる。

また、この第１の側面において、前記立体字幕画像において隣接する画素間に表示させる副画素の位置に応じた混合率に基づいて前記隣接する画素の各々の画素値を混合する画素混合部をさらに具備し、前記エッジ処理部は、前記位置および前記視差に応じて前記エッジの強度を変更してもよい。これにより、副画素の位置および視差に応じてエッジの強度が変更される。

また、この第１の側面において、前記画素混合部は、前記視差に応じた位置を前記副画素の位置としてもよい。これにより、視差に応じた位置が副画素の位置とされる。

また、この第１の側面において、前記エッジ処理部は、前記立体字幕画像において前記エッジの領域を抽出するエッジ抽出部と前記抽出されたエッジの領域における画素値を前記視差に応じて増大または減少させる補正部と、前記画素値が増大または減少された前記エッジの領域を前記立体字幕画像に合成することにより前記エッジの強度を変更するエッジ合成部とを具備してもよい。これにより、視差に応じて画素値を増大または減少したエッジの領域を前記立体字幕画像に合成することによりエッジの強度が変更されるという作用をもたらす。

また、この第１の側面において、前記画素値が増大または減少された前記エッジの領域を前記立体字幕画像に合成することにより前記エッジの強度を変更する前記エッジ抽出部は、前記立体字幕画像において画素値の分布の周波数が所定の閾値より高い領域を前記エッジの領域として抽出してもよい。これにより、立体字幕画像において画素値の分布の周波数が所定の閾値より高い領域がエッジの領域として抽出されるという作用をもたらす。

また、この第１の側面において、前記エッジの強度が変更された前記立体字幕画像を前記立体主画像に合成する字幕合成部をさらに具備してもよい。これにより、エッジの強度が変更された前記立体字幕画像が前記立体主画像に合成されるという作用をもたらす。

本技術によれば、字幕画像の遠近感を強調することができるという優れた効果を奏し得る。

第１の実施の形態における情報処理システムの一例を示す全体図である。 第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態におけるエッジ処理部の一構成例を示すブロック図である。 第１の実施の形態におけるゲイン補正の一例を示す図である。 第１の実施の形態におけるエッジ処理前後の画素値の分布の一例を示す図である。 第１の実施の形態における動画ストリームの一構成例を説明するための図である。 第１の実施の形態における字幕ストリームの一構成例を示す図である。 第１の実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。 第１の実施の形態における字幕ストリーム内のＰＥＳパケットに格納されるデータの一例を示す図である。 第１の実施の形態における字幕データバッファの一構成例を示す図である。 第１の実施の形態における画像処理装置の動作の一例を示す図である。 第１の実施の形態における視差を説明するための図である。 第１の実施の形態における立体表示の方法の一例を示す図である。 第１の実施の形態における遠近感を強調した立体字幕画像の一例を示す図である。 第１の実施の形態の変形例におけるエッジ処理部の一構成例を示すブロック図である。 第１の実施の形態の変形例におけるエッジ領域の抽出方法を説明するための図である。 第２の実施の形態における画像処理装置の一構成例を示すブロック図である。 第２の実施の形態におけるサブピクセル補正の方法を説明するための図である。 第２の実施の形態におけるサブピクセル補正前後の左側字幕画像および右側字幕画像の一例を示す図である。 第２の実施の形態における視差の変化と字幕画像の座標の変化との間の関係の一例を示すグラフである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（視差に応じてエッジ強度を変更する例）
２．第２の実施の形態（混合率および視差に基づいてエッジ強度を変更する例）

＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、実施の形態における情報処理システムの一例を示す全体図である。この情報処理システムは、受信装置１００、画像処理装置２００、および、表示装置３００を備える。

受信装置１００は、動画ストリームおよび字幕ストリームを受信するものである。この動画ストリームは、所定の放送規格に準拠して放送局などから配信された動画のデータである。放送規格としては、例えば、ＤＶＢ（Digital Video Broadcast）が使用される。この動画は、時系列に沿って表示される複数の画像を含む。また、この動画は、立体表示させるために作成された動画であり、動画内の画像の各々を以下、「立体主画像」と称する。立体主画像の各々は、視聴者の左目に映すための左側主画像と、右目に映すための右側主画像とを含む。

また、動画は、所定の符号化方式に従って必要に応じて符号化されている。符号化方式としては、例えば、ＭＰＥＧ（Moving Picture Expert Group）２−ＴＳ（Transport Stream）規格が用いられる。ＭＰＥＧ２−ＴＳにおいて、符号化された画像は、ＰＥＳ（Packetized Elementary Stream）パケットに格納され、それぞれの画像にはＰＴＳ（Presentation Time Stamp）が付与される。ＰＴＳは、再生出力の時刻管理情報であり、そのタイムスタンプが付与された画像をいつ再生出力するかを示す。

なお、受信装置１００は、アナログ放送を受信し、その放送波をＡ／Ｄ（Analog to Digital）変換することにより動画ストリームを生成してもよい。

受信装置１００が受信する字幕ストリームは、放送局などから配信された字幕に関するデータである。具体的には、字幕ストリームは、字幕データおよび視差を含む。字幕データは、例えば、字幕を表わす画像（以下「字幕画像」と称する。）や字幕を表わす文字列を含む。視差は、字幕を立体表示させるためのものである。具体的には、字幕データから左側字幕画像および右側字幕画像が生成された場合において、それらの画像の水平方向におけるずれが視差に該当する。この左側字幕画像および右側字幕画像からなる画像を以下、「立体字幕画像」と称する。字幕データおよび視差も必要に応じて符号化されてＰＥＳパケットに格納され、各々の字幕データおよび視差にはＰＴＳが付与される。このＰＴＳは字幕をいつ再生出力するかを示す時刻管理情報であり、動画と同期して字幕を再生するために用いられる。

字幕ストリームは、動画ストリームに多重化されて配信される。受信装置１００は、動画ストリームから字幕ストリームを分離し、分離後の動画ストリームおよび字幕ストリームを画像処理装置２００に供給する。なお、受信装置１００の代わりに、画像処理装置２００が字幕ストリームを分離してもよい。

画像処理装置２００は、動画ストリームおよび字幕ストリームに基づいて、動画に字幕を合成するものである。具体的には、画像処理装置２００は、字幕ストリームから、視差および字幕データを取得し、その視差に応じた位置に立体表示される立体字幕画像を字幕データから生成する。画像処理装置２００は、その立体字幕画像を動画に合成する。そして、画像処理装置２００は、立体字幕画像が合成された動画を表示装置３００に供給する。

なお、画像処理装置２００は、放送局などから配信された動画ストリームおよび字幕ストリームを受信装置１００から取得する構成としているが、動画記録装置などに記録された動画ストリームおよび字幕ストリームを画像処理装置２００が取得してもよい。

表示装置３００は、立体字幕画像が合成された動画を立体表示するものである。立体表示の方式としては、アクティブシャッターグラス方式、偏光表示方式や、視差バリア方式などが用いられる。

［画像処理装置の構成例］
図２は、画像処理装置２００の一構成例を示すブロック図である。この画像処理装置２００は、視差取得部２１０、字幕データ取得部２２０、復号部２３０、字幕データバッファ２４０、同期制御部２５０、立体字幕画像生成部２６０、エッジ処理部２７０、および、字幕画像合成部２８０を含む。

視差取得部２１０は、字幕ストリームから視差およびＰＴＳを取得するものである。具体的には、視差取得部２１０は、字幕ストリームにおけるＰＥＳパケットのヘッダからＰＴＳを取得し、そのＰＥＳパケットのペイロードから視差を取得する。視差取得部２１０は、同じＰＥＳパケットから取得したＰＴＳおよび視差を対応付けて字幕データバッファ２４０に保持させる。

字幕データ取得部２２０は、字幕ストリームから字幕データおよびＰＴＳを取得するものである。具体的には、字幕データ取得部２２０は、字幕ストリームにおけるＰＥＳパケットのヘッダからＰＴＳを取得し、そのＰＥＳパケットのペイロードから字幕データを取得する。視差取得部２１０は、同じＰＥＳパケットから取得したＰＴＳおよび字幕データを対応付けて字幕データバッファ２４０に保持させる。なお、字幕データ取得部２２０は、特許請求の範囲に記載の字幕情報取得部の一例である。

復号部２３０は、動画ストリームが符号化されている場合に、その動画ストリームを復号するものである。この復号部２３０は、動画ストリームの符号化方式と対応する復号方式に従って、動画ストリームを復号する。復号部２３０は、復号した動画ストリームを字幕画像合成部２８０に供給する。また、復号部２３０は、字幕ストリームからＰＴＳを取得して、同期制御部２５０に供給する。

同期制御部２５０は、動画の表示タイミングに同期して字幕データおよび視差を立体字幕画像生成部２６０に供給するものである。具体的には、同期制御部２５０は、復号部２３０が取得したＰＴＳを受け取り、そのＰＴＳに一致する値のＰＴＳが字幕データバッファ２４０に保持されているか否かを判断する。保持されていれば、同期制御部２５０は、そのＰＴＳと対応する字幕データおよび視差を字幕データバッファ２４０から読み出す。同期制御部２５０は、読み出した字幕データおよび視差を立体字幕画像生成部２６０に供給する。

立体字幕画像生成部２６０は、視差に応じた表示位置に立体表示するための立体字幕画像（左側字幕画像および右側字幕画像）を字幕データから生成するものである。具体的には、字幕データが字幕画像を含む場合には、立体字幕画像生成部２６０は、画像内において、その字幕画像を視差に応じて、視聴者から見て左方向にずらした画像と、右方向にずらした画像とを生成する。立体字幕画像生成部２６０は、これらの一方を左側字幕画像とし、他方を右側字幕画像とする。字幕データが、字幕を表わす文字列を含む場合は、立体字幕画像生成部２６０は、その文字列が描画された画像を字幕画像として生成し、その字幕画像を左右にずらして左側字幕画像および右側字幕画像を生成する。立体字幕画像生成部２６０は、生成した立体字幕画像を視差とともにエッジ処理部２７０に供給する。

エッジ処理部２７０は、立体字幕画像におけるエッジ強度を視差に応じて変更するものである。ここで、エッジ強度は、エッジ周辺の画素値の急峻な変化の度合いを意味する。変化の度合いが大きい（すなわち、エッジ強度が強い）と、エッジが鮮明に見える。一方、変化の度合いが小さい（すなわち、エッジ強度が弱い）と、エッジがぼけたように見える。

このエッジ処理部２７０は、立体字幕画像が表示される表示位置が基準位置より手前側である場合には、エッジ強度を視差に応じて強くしてエッジを強調する。一方、立体字幕画像の表示位置が基準位置より奥側である場合には、エッジ処理部２７０は、エッジ強度を視差に応じて弱くしてエッジをぼかす。この様な処理によって目の錯覚を利用して遠近感の強調を行う事が可能になる。この基準位置は、例えば、表示装置３００の表示面の位置に設定される。エッジ処理部２７０は、エッジ強度を変更した立体字幕画像を字幕画像合成部２８０に供給する。

字幕画像合成部２８０は、エッジ強度が変更された立体字幕画像を動画に合成するものである。字幕画像合成部２８０は、立体字幕画像を合成した動画ストリームを表示装置３００に供給する。

［エッジ処理部の構成例］
図３は、第１の実施の形態におけるエッジ処理部２７０の一構成例を示すブロック図である。エッジ処理部２７０は、ハイパスフィルター２７１、ゲイン補正部２７２、遅延バッファ２７３、および、エッジ合成部２７４を備える。

ハイパスフィルター２７１は、立体字幕画像において画素値（例えば、輝度値）の分布の周波数が所定の閾値より高い領域をエッジ領域として抽出するものである。ハイパスフィルター２７１は、抽出した領域をエッジ領域としてゲイン補正部２７２に供給する。なお、ハイパスフィルター２７１は、特許請求の範囲に記載のエッジ抽出部の一例である。

ゲイン補正部２７２は、エッジ領域の画素値を視差に応じて補正するものである。具体的には、ゲイン補正部２７２は、次の式１に従って、画素値を増大または減少させるためのゲインＧを求める。ゲインの単位は、例えば、デジベル（ｄＢ）である。
Ｇ＝（−α）×Ｄ／Ｄｍ 式１
式１において、αは、ゲインを補正するための補正係数であり、実数が設定される。視差取得部２１０において取得された視差Ｄのみに基づいて決定されたゲインＧでは、遠近感の不足が解消されないことや、逆に遠近感が強調されすぎることがあるため、その場合には、補正係数αを用いてゲインが補正される。具体的には、遠近感が不足するとユーザが判断する場合にはより大きな補正係数αがユーザにより設定され、強調されすぎるとユーザが判断する場合にはより小さな補正係数がユーザにより設定される。Ｄは、Ｄｍを基準として定義される視差であり、Ｄｍは、手前側または奥側のそれぞれの範囲の視差を区分する段階数を示すものである。それぞれの範囲の視差Ｄを１２８段階で区分する場合、「１２８」が段階数Ｄｍとして使用され、視差Ｄとして「−１２８」乃至「１２７」の値が画像処理装置２００により取得される。取得された視差Ｄは、右側字幕画像を基準として左側字幕画像および右側字幕画像を水平方向にずらす量として用いられる。視差Ｄが負数である場合には、奥行き方向において、字幕画像が基準位置より手前側に立体表示され、視差Ｄが正数である場合には、字幕画像が基準位置より奥側に立体表示される。視差Ｄが「０」である場合には、字幕画像は基準位置に表示されるが、立体的には視認されない。

エッジ処理部２７０は、例えば、次の式２に従ってエッジ領域の画素値を増大または減少させ、そのエッジ領域をエッジ合成部２７４に供給する。
Ｇ＝２０×ｌｏｇ（Ｐ_out／Ｐ_in） 式２
式２において、Ｐ_inは、増大または減少前の画素値であり、／Ｐ_outは、増大または減少後の画素値である。式１および式２より、視差Ｄが負数（すなわち、表示位置が手前側）である場合には、「０」より大きなゲインＧが算出され、エッジ領域の画素値が増大する。一方、視差Ｄが正数（すなわち、表示位置が奥側）である場合には、「０」より小さなゲインＧが算出され、エッジ領域の画素値が減少する。なお、ゲイン補正部２７２は、特許請求の範囲に記載の補正部の一例である。

遅延バッファ２７３は、立体字幕画像生成部２６０から入力された立体字幕画像を遅延させてエッジ合成部２７４に供給するものである。遅延させる時間は、例えば、ハイパスフィルター２７１およびゲイン補正部２７２における処理にかかる時間以上に設定される。

エッジ合成部２７４は、立体字幕画像にエッジ領域を合成するものである。画素値が変更されたエッジ領域の合成により、エッジ強度が変更される。具体的には、画素値が増大したエッジ領域が合成された場合には、エッジ強度が強くなりエッジが強調される。一方、画素値が減少したエッジ領域が合成された場合には、エッジ強度が弱くなりエッジがぼかされる。エッジ合成部２７４は、エッジ領域を合成した立体字幕画像を字幕画像合成部２８０に供給する。

なお、エッジ処理部２７０は、ハイパスフィルター２７１によりエッジを抽出しているが、他の方法を使用してエッジを抽出してもよい。例えば、画像を１次微分して勾配を計算し、その勾配の方向からエッジの方向を予測し、その方向の勾配が局所的に極大となる箇所をエッジとして抽出してもよい。

また、エッジ処理部２７０は、ゲインの補正により、エッジをぼかしているが、他の方法によりエッジをぼかしてもよい。例えば、注目した画素の周辺の画素値の平均値を、その注目した画素の画素値に置き換える平均フィルタを使用して、エッジをぼかしてもよい。

また、エッジ処理部２７０では、右側字幕画像を基準として視差Ｄを定義しているが、逆に左側字幕画像を基準として、左側字幕画像および右側字幕画像の水平方向におけるずれを視差Ｄとして用いてもよい。この場合には、表示位置が手前側である場合に視差Ｄが正数となり、奥側である場合に視差Ｄが負数となる。このため、次の式３を使用してＧが算出される。
Ｇ＝α×Ｄ／Ｄｍ 式３
式３より、視差Ｄが正数である場合には、「０」より大きなゲインＧが算出され、視差Ｄが負数である場合には、「０」より小さなゲインＧが算出される。

図４は、第１の実施の形態におけるゲイン補正の一例を示す図である。図４において横軸は、ゲイン補正部２７２に入力された信号レベル（すなわち、画素値）であり、縦軸は、ゲイン補正が行われて出力された信号レベル（画素値）である。図４に例示するように、ゲインが「０」よりも大きい場合には、信号レベルが増幅され、出力信号レベルは入力信号レベルより大きくなる。このエッジ領域の合成により、エッジが強調される。一方、ゲインが「０」よりも小さい場合には、信号レベルが減衰され、出力信号レベルは入力信号レベルより小さくなる。このエッジ領域の合成により、エッジがぼかされる・

図５は、第１の実施の形態におけるエッジ処理前後の画素値の分布の一例を示す図である。図５において、縦軸は画素の画素値であり、横軸は画素の座標である。同図におけるａは、エッジ処理前の画素値の分布の一例である。例えば、同図におけるａの点線で示した領域は、画素値の変化が大きいため、ハイパスフィルター２７１によりエッジ領域として抽出される。

図５におけるｂは、エッジ強度を強くした場合の画素値の分布の一例である。エッジ処理部２７０が、同図におけるａに例示したエッジ領域の画素値を増大させて、抽出元の立体字幕画像に合成すると、同図におけるｂに例示するようにエッジ領域の画素値の変化がより大きくなり、エッジが強調される。

図５におけるｃは、エッジ強度を弱くした場合の画素値の分布の一例である。エッジ処理部２７０が、同図におけるａに例示したエッジ領域の画素値を減少させて、抽出元の立体字幕画像に合成すると、同図におけるｃに例示するようにエッジ領域の画素値の変化がより小さくなり、エッジがぼかされる。

図６は、第１の実施の形態における動画ストリームの一構成例を示す図である。動画ストリームは、ＧＯＰ（Group Of Pictures）と呼ばれる単位で符号化されており、このＧＯＰ単位で復号部２３０において復号される。このＧＯＰは、符号化において基準となるＩ（Intra）ピクチャを少なくとも１枚含む画像の集合である。同図におけるａでは、１枚のＩピクチャと、４枚のＰ（Predirective）ピクチャと、１０枚のＢ（Bidirectionally predictive）ピクチャとの計１５枚の画像６１１によりＧＯＰ６１０を構成する様子が示されている。ここで、Ｉピクチャは、符号化において基準とされる画像である。Ｐピクチャは、時間的に先行するＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。Ｂピクチャは、時間的に前後両方向のＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。

ＧＯＰ内の１５枚の画像は、図６におけるｂに例示するように一部の順序が入れ替えられて符号化される。これは、ＭＰＥＧ規格における符号化方式の特徴に基づくものであり、復号の際に時間的に後続の画像を待つことを回避するためである。例えば、Ｂピクチャ（Ｂ５）を復号化するためにはＩピクチャ（Ｉ３）とＰピクチャ（Ｐ６）を参照する必要がある。このため、Ｂピクチャ（Ｂ５）を復号する時点で必要な画像データ（Ｉ３およびＰ６）が揃うように、同図におけるｂのような入れ替えをしなければならない。なお、このような画像５２１の順序関係を定義するために、Ｖ_ＰＣＫのパックヘッダにおいてＰＴＳ６２２およびＤＴＳ（Decoding Time Stamp）６２３というタイムスタンプが付与される。ＰＴＳ６２２は前述したように、再生出力の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ再生出力するかを示す。一方、ＤＴＳ６２３は復号の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ復号するかを示す。

符号化された各画像は、図６におけるｃに例示するように、それぞれ１つ以上のパックに収められる。パックとは、複数のＰＥＳパケットを連結してパックヘッダを付加したものである。例えば、Ｉピクチャ（Ｉ３）はＶ＿ＰＣＫ＿Ｉ３（５３０）として保持され、Ｂピクチャ（Ｂ１）はＶ＿ＰＣＫ＿Ｂ１（５３１）として保持される。そして、１個のＧＯＰ６１０を構成するＶ_ＰＣＫ５３０の集合においては、補助的なデータを含むＡＲＩ_ＰＣＫ５２０がＡ_ＰＣＫ５２０とともに多重化される。多重化されたパック群は、動画ストリームを構成する。

図７は、実施の形態における字幕ストリームの一構成例を示す図である。字幕ストリームは、動画ストリームとは独立したＰＥＳパケット群から構成される。このＰＥＳパケットは、字幕ストリームを構成するデータ（字幕データや視差など）を必要に応じて分割し、ヘッダを付加してパケット化したものである。字幕ストリームにおける各々のＰＥＳパケットは、パケットヘッダおよびペイロードを含む。パケットヘッダには、ＰＴＳなどが記載される。ペイロードには、ＰＴＳの示すタイミングで表示される字幕データや、その字幕データの視差が格納される。また、ペイロードには、字幕データが表示される領域の水平座標や垂直座標、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）が格納される。

図８は、実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。このＰＥＳパケットにおいては、例えば、ＤＶＢ（Digital Video Broadcasting）規格に従ってデータが記述される。ＤＶＢ規格において、ＰＥＳパケットのヘッダには、字幕ストリームの識別情報（Stream_id）、ＰＥＳパケット長（PES_packet_length）、および、字幕データのＰＴＳなどが記載される。また、字幕データがＰＥＳパケット内に配置されることを示すインジケータ（PES_alignment_indicator）が記載される。「PES_packet_data_byte」のフィールドには、ＰＥＳパケットのペイロード（「PES_data_field」内のデータ）が格納される。このペイロードには、「subtitle_segment()」のフィールドが設けられる。ＤＶＢ規格においては、字幕ストリームの構成要素のデータのそれぞれは「segment」と呼ばれる。それぞれの「segment」の詳細は、図８における「subtitle_segment()」のフィールドにおいて記述される。具体的には、「subtitle_segment()」には、「segment」の開始位置を特定するための情報（sync_byte）が記載される。また、このフィールドには、「segment」の種類（segment_type）、その長さ（segment_length）、および、「segment」が用いられる主画像の識別情報（page_id）が記載される。また、「segment」のデータ自体は「segment_data_field」に格納される。「segment」の種類（segment_type）は、例えば、字幕データ、視差、字幕データの構成情報（表示される領域の水平座標や垂直座標など）、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）である。

図９は、実施の形態におけるＰＥＳパケットに格納されるデータの一例を示す図である。前述したように、ＰＥＳパケットのペイロード内の「subtitle_segment()」には、「segment_type」や「segment_data_field()」と呼ばれる領域が設けられる。「segment_data_field()」には、字幕データや視差が格納される。同図におけるａに示すように「segment_data_field()」に「segment」として字幕データが格納される場合には「segment_type」のフィールドにおいて「segment」が字幕データであることを示す「０ｘ１３」が記載される。また、同図におけるｂに示すように、「segment_data_field()」に「segment」として視差が格納される場合には、「segment_type」のフィールドにおいて、「segment」が視差であることを示す「０ｘ１５」が記載される。

図１０は、字幕データバッファ２４０の一構成例を示す図である。字幕データバッファ２４０には、ＰＴＳに対応付けて視差および字幕データが保持される。ＰＴＳが付与されたＰＥＳパケットから取得された視差は、そのＰＴＳに対応付けて字幕データバッファ２４０に保持される。また、ＰＴＳが付与されたＰＥＳパケットから取得された字幕データは、そのＰＴＳに対応付けて字幕データバッファ２４０に保持される。ＰＴＳが共通の字幕データおよび視差は、そのＰＴＳに対応付けて保持される。例えば、「ＰＴＳ＃１」に対応付けて「字幕データ＃１」と「１０」の視差とが保持される場合、「ＰＴＳ＃１」のタイミングにおいて、「字幕データ＃１」および「１０」が読み出される。そして、「字幕データ＃１」は、視差「１０」に応じた位置に立体表示される。

［画像処理装置の動作例］
図１１は、実施の形態における画像処理装置２００の動作の一例を示す図である。この動作は、例えば、画像処理装置２００に動画ストリームおよび字幕ストリームが入力されたときに開始する。

画像処理装置２００における視差取得部２１０は、字幕ストリームからＰＴＳおよび視差を取得して字幕データバッファ２４０に保持させる（ステップＳ９０１）。また、字幕データ取得部２２０は、字幕ストリームから字幕データおよび視差を取得して字幕データバッファ２４０に保持させる（ステップＳ９０２）。同期制御部２５０は、動画ストリームから取得されたＰＴＳに対応する字幕データおよび視差を字幕データバッファ２４０から読み出す。そして、立体字幕画像生成部２６０は、読み出された字幕データから立体字幕画像を生成する（ステップＳ９０３）。

エッジ処理部２７０は、立体字幕画像においてエッジを抽出し（ステップＳ９０４）、取得された視差に応じてエッジ強度を変更する（ステップＳ９０５）。字幕画像合成部は、エッジ強度が変更された立体字幕画像を立体主画像に合成する（ステップＳ９０６）。ステップＳ９０６の後、画像処理装置２００はステップＳ９０１に戻る。

図１２は、実施の形態における視差を説明するための図である。表示装置３００の表示面に表示される右側画像の基準の水平座標（例えば、中央の水平座標）をＸ_Ｒとし、左側画像の基準の水平座標をＸ_Ｌとする。水平座標は、視聴者から見て左側であるほど、値が小さいものとする。この場合において、例えば、Ｘ_ＲからＸ_Ｌを減じた値が視差Ｄとして用いられる。

ここで、左目と右目との間の距離をベース距離Ｂとし、視聴者から表示装置３００までの距離をｆとし、奥行き方向に立体的に視認される立体画像の表示位置をＺｐとする。このとき、右目、左目および立体画像の中心のなす三角形と、Ｘ_Ｒ、Ｘ_Ｌおよび立体画像の中心のなす三角形とは相似であるため、次の式４が成立する。
Ｄ：ｆ＝Ｂ：Ｚｐ 式４
式４により、Ｚｐに表示させるための視差Ｄが求められて、字幕ストリームにより配信される。Ｚｐに表示された位置では、字幕画像の遠近感が不足する場合には、式１により求められたゲインＧにより、字幕画像のエッジ強度が変更される。そのゲインＧによる遠近感の程度は、式１における補正係数αを変更することにより調整される。

図１３は、実施の形態における立体表示の方法の一例を示す図である。同図におけるａは、字幕画像を手前側に表示するための表示方法の一例を示す図である。水平方向において、右側字幕画像７０１の座標は視聴者から見て左側であり、左側字幕画像７０２の座標が視聴者から見て右側であるものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、字幕画像８０１が手前側に表示されているように視認することができる。

図１３におけるｂは、基準位置に字幕画像を表示する表示方法の一例を示す図である。右側字幕画像７０１および左側字幕画像７０２の水平座標は変わらないものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、表示装置３００の表示面（基準位置）に字幕画像８０１が表示されているように視認される。このときは、字幕画像８０１は、立体的に視認されない。

図１３におけるｃは、字幕画像を奥側に表示するための表示方法の一例を示す図である。水平方向において、右側字幕画像７０１の座標は視聴者から見て右側であり、左側字幕画像７０２の座標が視聴者から見て左側であるものとする。この場合において、視聴者の左目に左側字幕画像７０２が映り、右目に右側字幕画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、字幕画像８０１が奥側に表示されているように、立体的に視認することができる。

図１４は、実施の形態における遠近感を強調した立体字幕画像の一例を示す図である。同図におけるａは、手前側に表示される立体字幕画像の一例を示す図である。この場合、画像処理装置２００は、立体字幕画像（７０１および７０２）において視差に応じてエッジ強度を強くする。これにより、視聴者が視認する字幕画像８０１の表示位置が手前側であるほど、字幕画像８０１におけるエッジが強調される。

図１４におけるｂは、字幕画像を奥側に表示される立体字幕画像場合の一例を示す図である。この場合、画像処理装置２００は、立体字幕画像（７０１および７０２）において視差に応じてエッジ強度を弱くする。これにより、視聴者が視認する字幕画像８０１の表示位置が奥側であるほど、字幕画像８０１におけるエッジがぼかされる。

このように、本技術の第１の実施の形態によれば、画像処理装置２００は、視差に応じて立体字幕画像のエッジ強度を変更することにより、字幕画像の遠近感を強調することができる。これにより、立体表示される動画において、２Ｄ−３Ｄ変換された字幕画像を合成する場合において、視聴者が字幕画像の遠近感の不足を感じることがなくなる。

［変形例］
図１５を参照して第１の実施の形態における変形例について説明する。第１の実施の形態においては、画像処理装置２００は、立体字幕画像をそのままハイパスフィルター２７１に供給していたが、周期関数に変換してからハイパスフィルター２７１に供給することもできる。変形例の画像処理装置２００は、ハイパスフィルター２７１の前段において立体字幕画像を手記関数に変換する点において第１の実施の形態と異なる。具体的には、エッジ処理部２７０は、周期関数変換部２７５および逆変換部２７６をさらに備える。

周期関数変換部２７５は、立体字幕画像において、座標空間の関数を周波数空間の関数（周期関数）に変換するものである。具体的には、周期関数変換部２７５は、例えば、次の式５を使用して立体字幕画像を周期関数に変換する。式３による変換は、フーリエ変換と呼ばれる。なお、周期関数変換部２７５は、周期関数に変換することができるのであれば、式５以外の式を使用してもよい。
式５において、ｘは立体字幕画像の水平座標であり、ｙは垂直座標である。Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）が入力されると、その座標の画素値を返す座標空間の関数である。ｋは、水平方向における空間周波数であり、ｌは垂直方向における空間周波数である。Ｆ（ｋ，ｌ）は、空間周波数（ｋ，ｌ）が入力されると、その空間周波数を有する成分波の集合を表わす周期関数を返す関数である。成分波は、画像内の座標の変化に伴って周期的に変化する画素値の軌跡を波形として有する波である。Ｍは、立体字幕画像の水平方向の画素数であり、Ｎは、立体字幕画像の垂直方向の画素数である。Ｗ_ＮおよびＷ_Ｎは、次の式６および式７により定義される指数関数である。

周期関数変換部２７５は、変換した周期関数により表わされる成分波の集合をハイパスフィルター２７１に供給する。ハイパスフィルター２７１は、それらの成分波のうち、所定の閾値以上の周波数を有する成分波をエッジ成分波として抽出する。ハイパスフィルター２７１は、抽出したエッジ成分波を逆変換部２７６に供給する。逆変換部２７６は、エッジ成分波を次の式８を使用して、画素値Ｐ（ｘ，ｙ）の集合に変換する。逆変換部２７６は、その画素値Ｐ（ｘ，ｙ）が得られた画素（ｘ，ｙ）からなる領域をエッジ領域とする。

図１６は、第１の実施の形態の変形例におけるエッジ領域の抽出方法を説明するための図である。同図におけるａは、画素値の分布の一例を示す図である。同図におけるａの、縦軸は画素値Ｐ（ｘ，ｙ）であり、横軸は座標（ｘ，ｙ）である。ｘは水平座標であり、ｙは、垂直座標である。画素値Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）における画素値である。

図１６におけるｂは、画素値Ｐ（ｘ，ｙ）をフーリエ変換した周波数の分布の一例を示す図である。同図におけるｂの縦軸は振幅スペクトル｜Ｆ（ｋ，ｌ）｜であり、横軸は、空間周波数ｋである。同図におけるｂでは、空間周波数ｌの分布は省略されている。同図におけるｂに示すように、ハイパスフィルター２７１により、閾値Ｔｈ_ｋ以上の成分波が、エッジ成分波として抽出される。

図１６におけるｃは、抽出されたエッジ成分波を逆変換した画素値Ｐ（ｘ，ｙ）の分布の一例を示す図である。同図におけるｃに示すように、変換された画素値Ｐ（ｘ，ｙ）を有する画素（ｘ，ｙ）からなる領域がエッジ領域として抽出される。

このように、変形例によれば、画像処理装置２００は、周期関数の分布を生成してからエッジ成分波を抽出するため、エッジ領域をより正確に抽出することができる。

＜２．第１の実施の形態＞
［画像処理装置の構成例］
図１７は、第２の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第２の実施の形態における画像処理装置２００は、サブピクセル補正をさらに実行する点において第１の実施の形態と異なる。具体的には、第１の実施の形態の画像処理装置２００は、サブピクセル補正部２９０をさらに備える。ここで、サブピクセル補正とは、画像において隣接する画素の各々の画素値を混合することにより、表示面上の実際の画素と画素との間に見かけ上の画素（以下、「サブピクセル」と称する。）があるように視聴者に視認させる処理である。以下、サブピクセル補正を行った画像を「サブピクセル画像」と称する。なお、サブピクセルは、特許請求の範囲に記載の副画素の一例である。

第１の実施の形態において字幕画像の奥行きを時間の経過に応じて少しずつ変更する場合、画像処理装置２００は、左側字幕画像および右側字幕画像のそれぞれの水平座標を画素単位でシフトしていた。しかし、より滑らかに奥行きを変更させるためには、画素単位よりも、サブピクセル単位で左側字幕画像および右側字幕画像をシフトさせることが望ましい。そこで、第２の実施の形態の画像処理装置２００は、一部の立体字幕画像をサブピクセル画像に置き換えることにより、サブピクセル単位で立体字幕画像をシフトさせている。ただし、前述したように、サブピクセル補正においては、隣接する画素の混合が行われるため、エッジ強度が弱くなってしまう。したがって、サブピクセル補正を行う場合には、画像処理装置２００は、サブピクセル補正により弱くなった分、エッジ強度を強くすることが望ましい。

サブピクセル補正部２９０は、視差に基づいて立体字幕画像に対してサブピクセル補正を行うものである。１枚の立体字幕画像をフレームとし、立体字幕画像の画素のシフト量が１画素に相当する視差の変更をｎフレームの期間内に行う場合を考える。この場合は、サブピクセル補正部２９０は、ｎフレームのうち、時系列において最初および最後のフレームを除くｎ−２フレームに対してサブピクセル補正を実行してサブピクセル画像とする。例えば、シフト量が１画素に相当する視差の変更を３フレームの期間内に行う場合、サブピクセル補正部２９０は、３フレームのうち、最初および最後のフレームを除く１枚のフレームに対してサブピクセル補正を実行する。

ここで、水平方向においてサブピクセルに隣接する左右の画素のうち、サブピクセルに近い方の画素の水平座標と、そのサブピクセルの水平座標との差を「位相差」と称する。サブピクセルは、画素間に位置するため、位相差は「−０．５」乃至「０．５」の値となる。ただし、「０」の位相差は、サブピクセル補正が行われないことを示す。

この位相差は、視差に応じて決定される。具体的には、シフト量が１画素に相当する視差の変更をｎフレームの期間内に行う場合、ｎフレームのうち、時系列において最初および最後のフレームの位相差は「０」に設定される。シフト方向が正方向である場合、時系列においてｋ（ｋは、１乃至ｎの整数）番目のフレームの位相差Ｐは、ｋが１からｎ／２に近づくほど大きくなり、ｋがｎ／２からｎに近づくほど小さくなるように決定される。一方、シフト方向が負方向の場合には、位相差Ｐは、ｋが１からｎ／２に近づくほど小さくなり、ｋがｎ／２からｎに近づくほど大きくなるように決定される。

例えば、正方向におけるシフト量が１画素に相当する視差の変更を３フレームの期間内に行う場合、１番目および３番目のフレームの位相差は「０」に、２番目のフレームの位相差は「０．５」に決定される。サブピクセル補正部２９０は、サブピクセル補正後の立体字幕画像、その位相差Ｐ、および、視差Ｄをエッジ処理部２７０に供給する。

エッジ処理部２７０は、位相差Ｐが「０」である場合には式１を使用してゲインを求める。一方、位相差Ｐが「０」でない場合には式１の代わりに、次の式９を使用してゲインを求める。
Ｇ＝｜Ｐ｜×（−α）×Ｄ／Ｄｍ 式９
式９を使用することにより、位相差の絶対値に応じてゲインが上昇する。これにより、サブピクセル補正によりエッジ強度が弱くなった分、エッジが強調される。なお、式９において、画素単位の視差をＤとしているが、サブピクセル単位の視差をＤとして使用してもよい。

図１８は、第２の実施の形態におけるサブピクセル補正の一例を示す図である。同図におけるａは、位相差「０．５」に決定した場合におけるサブピクセル補正の一例を示す図である。左側字幕画像において水平座標Ｘ_１、Ｘ_１＋１およびＸ_１＋２の画素の画素値をＰ_Ｘ１、Ｐ_Ｘ１＋１およびＰ_Ｘ１＋２とする。サブピクセル補正を行う場合、隣接する画素の各々の画素値は、位相差に応じた混合率で混合される。具体的には、位相差Ｐが正数である場合、水平座標Ｘ_１におけるサブピクセル補正後の画素値Ｐ_Ｘ１'は、次の式１０により算出される。
Ｐ_Ｘ１'＝Ｐ×Ｐ_Ｘ１＋（１−Ｐ）×Ｐ_Ｘ１＋１ 式１０

例えば、位相差Ｐが０．５である場合には、画素値Ｐ_Ｘ１'は、画素値Ｐ_Ｘ１およびＰ_Ｘ１＋１の平均値となる。同様の計算により、画素値Ｐ_Ｘ１＋１およびＰ_Ｘ１＋２も、隣接する画素との間の平均により置き換えられる。

図１８におけるｂは、第２の実施の形態におけるサブピクセル補正の方法を説明するための図である。同図におけるｂに例示したように隣接する画素同士を混合することにより、サブピクセル画像（左側字幕画像）において、画像処理装置２００は、実際の画素と画素との間にサブピクセルがあるように見せることができる。

図１９は、第２の実施の形態におけるサブピクセル補正前後の左側字幕画像および右側字幕画像の一例を示す図である。同図におけるａは、シフト量が１画素に相当する視差の変更を３フレームの期間内に、サブピクセル補正なしに行う場合の左側字幕画像および右側字幕画像の一例を示す図である。時系列順に左側字幕画像＃１、＃２および＃３を表示する場合、例えば、画像処理装置２００は、左側字幕画像＃１および＃２の左端の座標を等しくし、次の左側字幕画像＃３を１画素ずらすことにより視差を変更する。視差を小さくする場合には、左側字幕画像＃３は視聴者から見て右側にシフトされる。一方、時系列順に右側字幕画像＃１、＃２および＃３を表示する場合、画像処理装置２００は、右側字幕画像＃３のみを１画素ずらすことにより視差を変更する。なお、左側字幕画像＃２および右側字幕画像＃２は、同図におけるａにおいて省略されている。

図１９におけるｂは、シフト量が１画素に相当する視差の変更を３フレームの期間内に、サブピクセル補正により行う場合の左側字幕画像および右側字幕画像の一例を示す図である。画像処理装置２００は、左側字幕画像＃１、＃２および＃３のうち、左側字幕画像＃２をサブピクセル画像に置き換え、右側字幕画像＃１、＃２および＃３のうち、右側字幕画像＃２をサブピクセル画像に置き換える。これにより、左側字幕画像および右側字幕画像は、サブピクセル単位でシフトされ、画素単位でシフトされた場合と比較して奥行きが滑らかに変更される。

図２０は、第２の実施の形態における視差の変化と字幕画像の座標の変化との間の関係の一例を示すグラフである。図２０において縦軸は左側字幕画像の左端の水平座標であり、横軸は視差である。一点鎖線は、サブピクセル補正を行わない場合における視差の変化に対する字幕画像の座標の変化を示す。実線は、サブピクセル補正を行った場合における視差の変化に対する字幕画像の座標の変化を示す。図２０に例示するように、サブピクセル補正を行わない場合には、視差の変化に応じて画素単位で左側字幕画像がシフトされる。右側字幕画像も画素単位でシフトされる。一方、サブピクセル補正を行った場合には、視差の変化に応じてサブピクセル単位で左側字幕画像がシフトされる。右側字幕画像もサブピクセル単位でシフトされる。このため、左側字幕画像および右側字幕画像が画素単位でシフトされる場合と比較して立体字幕画像の奥行きが滑らかに変更される。

このように、本技術の第２の実施の形態によれば、画像処理装置２００は、サブピクセル補正における混合率および視差に応じてエッジ強度を変更するため、奥行きを滑らかに変更しつつ、字幕画像の遠近感を強調することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１）立体主画像に合成される字幕情報を取得する字幕情報取得部と、
前記字幕情報を立体表示させるための視差を取得する視差取得部と、
前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成部と、
前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理部と
を具備する画像処理装置。
（２）前記エッジ処理部は、前記表示位置が所定の基準位置より手前側である場合には前記視差に応じて前記エッジの強度を強くし、前記表示位置が前記基準位置より奥側である場合には前記視差に応じて前記エッジの強度を弱くする
前記（１）記載の画像処理装置。
（３）前記立体字幕画像において隣接する画素間に表示させる副画素の位置に応じた混合率に基づいて前記隣接する画素の各々の画素値を混合する画素混合部をさらに具備し、
前記エッジ処理部は、前記位置および前記視差に応じて前記エッジの強度を変更する
前記（１）または（２）記載の画像処理装置。
（４）前記画素混合部は、前記視差に応じた位置を前記副画素の位置とする
前記（３）記載の画像処理装置。
（５）前記エッジ処理部は、
前記立体字幕画像において前記エッジの領域を抽出するエッジ抽出部と、
前記抽出されたエッジの領域における画素値を前記視差に応じて増大または減少させる補正部と、
前記画素値が増大または減少された前記エッジの領域を前記立体字幕画像に合成することにより前記エッジの強度を変更するエッジ合成部と
を具備する前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記エッジ抽出部は、前記立体字幕画像において画素値の分布の周波数が所定の閾値より高い領域を前記エッジの領域として抽出する
前記（５）記載の画像処理装置。
（７）前記エッジの強度が変更された前記立体字幕画像を前記立体主画像に合成する字幕合成部をさらに具備する前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
エッジ処理部が、前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理手順と
を具備する画像処理方法。
（９）字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
エッジ処理部が、前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理手順と
をコンピュータに実行させるためのプログラム。

１００ 受信装置
２００ 画像処理装置
２１０ 視差取得部
２２０ 字幕データ取得部
２３０ 復号部
２４０ 字幕データバッファ
２５０ 同期制御部
２６０ 立体字幕画像生成部
２７０ エッジ処理部
２７１ ハイパスフィルター
２７２ ゲイン補正部
２７３ 遅延バッファ
２７４ エッジ合成部
２７５ 周期関数変換部
２７６ 逆変換部
２８０ 字幕画像合成部
２９０ サブピクセル補正部
３００ 表示装置

Claims (9)

1. 立体主画像に合成される字幕情報を取得する字幕情報取得部と、
   前記字幕情報を立体表示させるための視差を取得する視差取得部と、
   前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成部と、
   前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理部と
   を具備する画像処理装置。
2. 前記エッジ処理部は、前記表示位置が所定の基準位置より手前側である場合には前記視差に応じて前記エッジの強度を強くし、前記表示位置が前記基準位置より奥側である場合には前記視差に応じて前記エッジの強度を弱くする
   請求項１記載の画像処理装置。
3. 前記立体字幕画像において隣接する画素間に表示させる副画素の位置に応じた混合率に基づいて前記隣接する画素の各々の画素値を混合する画素混合部をさらに具備し、
   前記エッジ処理部は、前記位置および前記視差に応じて前記エッジの強度を変更する
   請求項１記載の画像処理装置。
4. 前記画素混合部は、前記視差に応じた位置を前記副画素の位置とする
   請求項３記載の画像処理装置。
5. 前記エッジ処理部は、
   前記立体字幕画像において前記エッジの領域を抽出するエッジ抽出部と、
   前記抽出されたエッジの領域における画素値を前記視差に応じて増大または減少させる補正部と、
   前記画素値が増大または減少された前記エッジの領域を前記立体字幕画像に合成することにより前記エッジの強度を変更するエッジ合成部と
   を具備する請求項１記載の画像処理装置。
6. 前記エッジ抽出部は、前記立体字幕画像において画素値の分布の周波数が所定の閾値より高い領域を前記エッジの領域として抽出する
   請求項５記載の画像処理装置。
7. 前記エッジの強度が変更された前記立体字幕画像を前記立体主画像に合成する字幕合成部をさらに具備する請求項１記載の画像処理装置。
8. 字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
   視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
   立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
   エッジ処理部が、前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理手順と
   を具備する画像処理方法。
9. 字幕情報取得部が、立体主画像に合成される字幕情報を取得する字幕情報取得手順と、
   視差取得部が、前記字幕情報を立体表示させるための視差を取得する視差取得手順と、
   立体字幕画像生成部が、前記視差に応じた表示位置に立体表示される立体字幕画像を前記字幕情報から生成する立体字幕画像生成手順と、
   エッジ処理部が、前記立体字幕画像におけるエッジの強度を前記視差に応じて変更するエッジ処理手順と
   をコンピュータに実行させるためのプログラム。