JP5219735B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法及びプログラムに関し、より具体的には映像信号のアスペクト比を変換する映像処理装置、方法及びプログラムに関する。

近年のテレビジョン信号には、従来の標準映像信号とより高精細な高精細映像信号が混在している。標準映像信号ＳＤＴＶ（Standard Definition TeleVision）信号のアスペクト比（画面の縦横比）は原則、４：３である。これに対し、高精細映像信号ＨＤＴＶ（High Definition TeleVision）信号のアスペクト比は、１６：９である。

ＳＤＴＶ信号の画像（以下，ＳＤ画像という）をＨＤＴＶ対応の映像モニタで表示する場合は、ＳＤＴＶ信号をアップコンバートする。他方、ＨＤＴＶ信号の映像（以下，ＨＤ画像という）をＳＤＴＶ対応の映像モニタで表示する場合には、ＨＤＴＶ信号をＳＤＴＶ信号にダウンコンバートする。その際、アスペクト比も変換する必要がある。

アスペクト比変換には、いくつかの方法がある。例えば、ＳＤＴＶ信号からＨＤＴＶ信号へのアップコンバートの場合、アナモフィクスというアスペクト比変換方法が知られている。図１０（ａ）はＳＤＴＶ信号のアスペクト比４：３の画像例を示し、図１０（ｂ）は、ＨＤＴＶ信号のアスペクト比１６：９の画像例を示す。アナモフィクスは、単純に、アスペクト比１６：９の画面にちょうど収まるように、画像を横方向に伸ばす方法である。この方法では、アスペクト比１６：９の画面全体に、アスペクト比変換前のＳＤ画像を欠落なく全て表示できる。

この方法では画面を左右に引き伸ばすことから、画像が横長に表示されることになり、見栄えが悪くなってしまう。これに対し、画面中央部分の引伸しを抑制し，周辺部分を大きく引き伸ばす方法が、提案されている（特許文献１参照）。
特開２００１−１５７１３９号公報

図１１は、アスペクト比変換の際の引伸し率制御のフローチャートを示す。再生モードが選択されると（Ｓ３１）、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される（Ｓ３２）。再生ボタン等が押されて再生オンとなると（Ｓ３３）、ステップS３２で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される（S３４）。再生がオフになるまで（Ｓ３５）、ステップS３４を続ける。

図１２は、ＳＤＴＶ画像を均等に水平方向に引き伸ばした場合と、周辺部を水平方向に引き伸ばした場合の画面例を示す。図１２（ａ）はオリジナルのアスペクト比４：３の画像を示す。図１２（ｂ）は、図１２（ａ）に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図１２（ｃ）は、図１２（ａ）に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。撮影時における主たる被写体は、図１２（ａ）に示すように撮影領域の中心に存在することが多い。図１２（ａ）に示す画像を均等に水平方向に引き伸ばした場合、図１２（ｂ）に示すように、被写体が潰れて、太って見えてしまう。これに対し、水平方向の周辺部分を主に引き伸ばすようにすれば、図１２（ｃ）に示すように、画面中央に位置する被写体は、潰れ感が少ない。

他方、学芸会やコンサート等では、アスペクト比４：３の画像をアスペクト比１６：９の画面に表示する場合に、水平方向に均等に引き伸ばしたいときがある。図１３は、学芸会等の集団演技の場面の撮影画像例を示す。図１３（ａ）はオリジナルのアスペクト比４：３の画像を示す。図１３（ｂ）は、図１３（ａ）に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図１３（ｃ）は、図１３（ａ）に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。具体的には、ズームを広角側に設定し、広い撮影視野内で、注目する被写体が周辺部にも位置する場合である。このような場合、図１３（ｃ）に示すような表示よりも、図１３（ｂ）に示すような表示が好ましい。

同一シーン（一回の記録ボタンを押すことによる撮影）中に、均等引伸しから周辺引伸しに、又はその逆に切り替えると，画面周辺部分で画像の有り様が急変することになり、見栄えが悪い。

本発明は、このような不都合無しに、より適切に引伸し画像を表示するようにした画像処理装置、方法及びプログラムを提示することを目的とする。

本発明に係る画像処理装置は、撮像装置により撮像された画像を示す画像信号を取得する取得手段と、前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段とを有し、前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が大きいほど、前記取得手段により得られた前記画像の水平方向における中心位置よりも周辺位置の方が引伸し率が大きくなるようにすることを特徴とする。
本発明に係る画像処理装置は、撮像装置により撮像された画像を示す画像信号を取得する取得手段と、前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段とを有し、前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くすることを特徴とする。
本発明に係る画像処理装置は、撮像装置により撮像された画像を示す画像信号を取得する取得手段と、前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段とを有し、前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする。
本発明に係る画像処理方法は、撮像装置により撮像された画像を示す画像信号を取得する取得工程と、前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程とを有し、前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が大きいほど、前記取得工程により得られた前記画像の水平方向における中心位置よりも周辺位置の方が引伸し率が大きくなるようにすることを特徴とする。
本発明に係る画像処理方法は、撮像装置により撮像された画像を示す画像信号を取得する取得工程と、前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程とを有し、前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くすることを特徴とする。
本発明に係る画像処理方法は、撮像装置により撮像された画像を示す画像信号を取得する取得工程と、前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程とを有し、前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする。

本発明によれば、撮影時のズーム情報を参照して、水平方向引伸しの方法を制御することで、被写体に適したアスペクト比の自動変換を実現できる。これにより、一連の記録映像上で、ズームを望遠に設定して撮影した場合に表示画像が潰れることによる見栄えを改善し、ズームを広角に設定して撮影した場合に画像全体をフラットに表示することが可能となる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。但し、撮影画像をＳＤＴＶ信号で記録媒体に記録し、再生出力時にはＨＤＴＶ信号に変換してモニタ出力する場合を想定する。

画像入力装置１０は、撮影レンズと、撮影レンズによる撮影画像を画像信号に変換する撮像部からなる。撮影レンズはズーム機能を具備し，現在のズーム値を制御装置１２に出力する。本実施例では、最大ズーム率を×４倍とする。撮像部の出力画像信号、即ち、画像入力装置１０から出力される画像信号は、画像処理装置１４に入力する。

画像処理装置１４は、画像入力装置１０からの画像信号に所定の画像処理を施し，モニタ用の画像信号を画像表示装置１６に、記録用の画像信号をフォーマット制御装置１８に供給する。

他方、音声入力装置２０は、周囲の音声を取り込み、周囲音声を示す音声信号を音声処理装置２２に供給する。音声処理装置２２は、音声入力装置２０からの音声信号に所定の処理を施し，記録用にフォーマット制御装置１８に供給する。

制御装置１２は、画像入力装置１０の撮影レンズのズーム値を継続的にフォーマット制御装置１８に供給する。

フォーマット制御装置１８は、画像処理装置１４からの画像信号及び音声処理装置２２からの音声信号、及び制御装置１２からのズーム値情報を記録用に処理及び多重して、記録用フォーマットに変換する。記録再生装置２４は、フォーマット制御装置１８からの信号を記録媒体２６の記録に適した形態に変調して，記録媒体２６に記録する。記録媒体２６は、例えば，光ディスク，光磁気ディスク、磁気ディスク又は半導体不揮発メモリからなる。

このようにして、撮影時のズーム情報を付加されたＳＤＴＶ映像信号が記録媒体２６に記録される。

図２は、記録媒体２６のファイル配置と画像ファイルの構成を示す。音声情報は音声フォルダに配置され，画像情報は画像フォルダに配置される。画像フォルダ内には、再生制御ファイルと、画像データファイルと、バックアップファイルとユーザ情報（User.info）ファイルが格納される、再生制御ファイルは、再生制御に関する情報を格納する。画像データファイルは、画像データそのもの（又は，圧縮符号化されている場合には，圧縮画像データ）を格納する。バックアップファイルは、バックアップされたデータが格納される。本実施例では、ユーザ情報ファイルに撮影時のフレーム毎のズーム値を示す情報（ズーム情報）が格納される。

次に、再生モードで、記録媒体２６にこのように記録されたＳＤＴＶ信号をアップコンバートして，ＨＤＴＶ信号として映像表示する場合を説明する。ここでは、画像表示装置１６が、ＨＤＴＶ信号にも対応しているとして説明する。もちろん、外部出力端子にＨＤＴＶモニタを接続し，再生映像を当該ＨＤＴＶモニタの画面上に表示してもよいことは明らかである。

制御装置１２は、ユーザにより指定された映像に関する情報の読み出しを記録再生装置２４に指示する。記録再生装置２４は、指定された映像の音声ファイル、再生制御ファイル及び画像データファイルを読み出して、フォーマット制御装置１８に供給する。記録再生装置２４はまた、指定された映像のユーザ情報ファイルを記録媒体２６から読み出し、ユーザ管理情報検出装置２８に供給する。ユーザ管理情報検出装置２８は、ユーザ情報ファイルからフレーム毎のズーム情報を検出し、引伸し率制御装置３０にズーム情報を供給する。

フォーマット制御装置１８は、記録再生装置２４からの画像情報を表示用フォーマットに変換し、画像処理装置１４に供給する。画像処理装置１４は、引伸し率制御装置に従った引伸し率で、フォーマット制御装置１８からの再生映像信号のアスペクト比を変換し、ＨＤＴＶ信号に変換する。アスペクト比変換の詳細は後述する。画像処理装置１４は、ＨＤＴＶ信号形式の再生映像信号を画像表示装置１６に供給する。

他方、音声処理装置２２は、フォーマット制御装置１８からの再生音声信号を出力用に処理して音声出力装置３２に供給する。音声出力装置３２は、例えば，複数チャネルのスピーカからなる。

図３は、ズーム倍率に応じた，本実施例の引伸し率特性を示す。横軸は，画面の水平方向位置を示し、縦軸は，引伸し率を示す。特性４０は、ズーム率が１倍での引伸し特性を示し、本実施例では，水平のどの位置でも同じ引伸し率としている。即ち、特性４０は、均等引伸しに相当する。特性４２、４４、４６は周辺引伸しの引伸し特性に相当する。特性４２は、ズーム率が２倍の場合の引伸し特性を示す。特性４４は、ズーム率が３倍の場合の引伸し特性を示す。特性４６は、ズーム率が４倍の場合の引伸し特性を示す。

このように、引伸ばし特性は、ズーム率が大きいほど、周辺部の引伸し率を大きくして、無引伸し（又は低引伸し）の中央部分を狭くし、ズーム率が小さいほど、中央部分を広くするように決定される。引伸し率制御装置３０は、このように引伸し特性を決定する引伸し特性決定手段、引伸し特性決定ステップまたは引伸し特性決定機能として機能する。そして、画像処理装置１４が、決定された引伸し特性に従う引伸しでアスペクト比を変換する。

図４は、画像処理装置１４の、ＳＤ画像をＨＤＴＶ画像に変換する部分の概略構成ブロック図を示す。フォーマット制御装置１８からのＳＤ画像を少なくとも１フレーム分、記憶する内蔵メモリ３４と、アップコンバータ３６と、アップコンバータ３６により生成されたＨＤ画像を記憶するフレームメモリ３８を具備する。内蔵メモリ３４は、フォーマット制御装置１８からの再生映像信号のフレーム画像（ＳＤ画像）を記憶する。引伸し率制御装置３０は、ユーザ管理情報検出装置２８からのズーム情報に従って、適用すべき引伸し率特性を決定し、アップコンバータ３６にセットする。アップコンバータ３６は、引伸し率制御装置３０によりセットされた引伸し率特性に従って、内蔵メモリ３４に記憶されるＳＤ画像を水平方向に引き伸ばす。アップコンバータ３６は、このように水平方向に引き伸ばした画像を更に垂直方向にも補間して、ＨＤ解像度のＨＤ画像に変換し、フレームメモリ３８に格納する。フレームメモリ３８に格納されるＨＤ画像は、所定の周期で読み出され，ＨＤＴＶ信号として画像表示装置１６に供給される。

図５は、ＳＤ／ＨＤ変換の際のアスペクト比変換制御のフローチャートを示す。ユーザは、図示しない操作手段により、本実施例のズーム率対応引伸しを有効にするかどうかを制御装置１２に指示できる。

ズーム率対応引伸しを有効に設定すると（Ｓ１１）、ステップＳ１２〜Ｓ１７が実行される。すなわち、再生モードが選択され（Ｓ１２）、再生開始が指示されると（Ｓ１３）、フレーム毎のズーム情報が検出され（Ｓ１４）、そのズーム情報に応じた引伸し率が設定される（Ｓ１５）。そして、設定された引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される（S１６）。再生がオフになるまで（Ｓ１７）、ステップS１４〜Ｓ１６が実行される。

他方、ズーム率対応引伸しを有効に設定しない場合（Ｓ１１）、ステップＳ１８〜Ｓ２２が実行される。すなわち、再生モードが選択されると（Ｓ１８）、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される（Ｓ１９）。再生ボタン等が押されて再生オンとなると（Ｓ２０）、ステップS１９で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される（S２１）。再生がオフになるまで（Ｓ２２）、ステップS２１を続ける。

図６乃至図９に示す画像例を参照して、本実施例の特徴的な作用を説明する。図６（ａ）は１倍ズームの場合の撮影画像を示す。図６（ｂ）は２倍ズームの場合の撮影画像を示す。図６（ｃ）は、３倍ズームの場合の撮影画像を示す。図６（ｄ）は、４倍ズームの場合の撮影画像を示す。図７（ａ）〜（ｄ）はそれぞれ、図６（ａ）〜（ｄ）に示す撮影画像を水平方向に均等に引き伸ばした場合の再生画像例を示す。図８（ａ）〜（ｄ）はそれぞれ、ズーム値に係らない固定の引伸し特性、例えば、特性４６で、図６（ａ）〜（ｄ）に示す撮影画像の周辺部を水平方向に引き伸ばした場合の再生画像例を示す。図９（ａ）〜（ｄ）はそれぞれ、ズーム値に応じた引伸し特性４０〜４６で図６（ａ）〜（ｄ）に示す撮影画像を水平方向に引き伸ばした場合の再生画像例を示す。

均等引伸しのアスペクト比変換では、ズーム率が低倍の場合、図７（ａ）に示すように、全体が潰れてしまっていても、フラット感が得られる。他方、ズーム率が高倍の場合には、図７（ｄ）に示すように、潰れているのが目立ってしまう。

ズーム値によらない固定の引伸し特性による周辺引伸しでは、ズーム率が高倍の場合に、図８（ｄ）に示すように、画像中心の被写体が潰れることなく表示される。しかし、ズーム率が低倍の場合には、図８（ａ）に示すように、フラットに表示することが出来ない。

本実施例の特徴である、ズーム値に応じて周辺引伸しの引伸し特性を変更するアスペクト比変換では、以上の不都合を解消できる。すなわち、ズーム率が低倍の場合には、均等引伸しに近くなり、図９（ａ）に示すように全体がフラット又はフラットに近く表示される。他方、ズーム率が高倍の場合、図９（ｄ）に示すように、中央の被写体をほぼ、潰れ無しに表示できる。

ズーム率に対応する引伸し率特性は、ユーザが任意に設定可能である。本実施例では、図３で示すように４段階に分けて設定していたが、より多く、また関数的に変化させてもよい。

撮像装置における実施例を説明したが、本発明のアスペクト比変換自体は、コンピュータ上のコンピュータプログラム、すなわち、映像処理プログラムとしても実装可能である。撮像装置からズーム情報付きの映像信号をコンピュータに入力し、コンピュータ上で、上述の実施例と同様に、アスペクト比を変換する。そして、必要により、ＳＤＴV信号をＨＤＴV信号に変換する。

本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。 記録媒体のファイル構造例である。 ズーム率と引伸し率特性の対応例である。 画像処理装置１４の概略構成ブロック図である。 本実施例の引伸し率制御のフローチャートである。 １倍〜４倍ズームの撮影画像例である。 従来例の、均等引伸しによるアスペクト比変換の画像例である。 従来例の、周辺引伸しによるアスペクト比変換の画像例である。 本実施例によるアスペクト比変換の画像例である。 アスペクト比変換方法の一例としてのアナモフィクス方法の説明図である。 従来のアスペクト比変換における引伸し率制御のフローチャートである。 アスペクト比変換の画像例である。 アスペクト比変換の別の画像例である。

符号の説明

１０：画像入力装置
１２：制御装置
１４：画像処理装置
１６：画像表示装置
２０：音声入力装置
２２：音声処理装置
２４：記録再生装置
２６：記録媒体
２８：ユーザ管理情報検出装置
３０：引伸し率制御装置
３２：音声出力装置
３４：内蔵メモリ
３６：アップコンバータ
３８：フレームメモリ

Claims (13)

1. 撮像装置により撮像された画像を示す画像信号を取得する取得手段と、
   前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段
   とを有し、
   前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が大きいほど、前記取得手段により得られた前記画像の水平方向における中心位置よりも周辺位置の方が引伸し率が大きくなるようにすることを特徴とする画像処理装置。
2. 前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像装置により撮像された画像を示す画像信号を取得する取得手段と、
   前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段
   とを有し、
   前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くする
   ことを特徴とする画像処理装置。
5. 前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする請求項４に記載の画像処理装置。
6. 撮像装置により撮像された画像を示す画像信号を取得する取得手段と、
   前記取得手段により得られた前記画像のアスペクト比を変更する処理を行う画像処理手段
   とを有し、
   前記画像処理手段は、前記取得手段により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くする
   ことを特徴とする画像処理装置。
7. 撮像装置により撮像された画像を示す画像信号を取得する取得工程と、
   前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程
   とを有し、
   前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が大きいほど、前記取得工程により得られた前記画像の水平方向における中心位置よりも周辺位置の方が引伸し率が大きくなるようにする
   ことを特徴とする画像処理方法。
8. 前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くすることを特徴とする請求項７に記載の画像処理方法。
9. 前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする請求項７又は８に記載の画像処理方法。
10. 撮像装置により撮像された画像を示す画像信号を取得する取得工程と、
    前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程
    とを有し、
    前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が大きいほど、前記画像の水平方向における周辺部の引伸し率を大きくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を狭くする
    ことを特徴とする画像処理方法。
11. 前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くすることを特徴とする請求項１０に記載の画像処理方法。
12. 撮像装置により撮像された画像を示す画像信号を取得する取得工程と、
    前記取得工程により得られた前記画像のアスペクト比を変更する処理を行う画像処理工程
    とを有し、
    前記画像処理工程は、前記取得工程により得られた画像の撮像時におけるズーム率が小さいほど、前記画像の水平方向における周辺部の引伸し率を小さくするとともに、前記周辺部の引伸し率よりも低い引伸し率の部分を広くする
    ことを特徴とする画像処理方法。
13. 請求項１から６に記載の各手段として、コンピュータを動作させるためのコンピュータプログラム。

Images