JP2010199656A

JP2010199656A - 動画撮像装置

Info

Publication number: JP2010199656A
Application number: JP2009038849A
Authority: JP
Inventors: Tomokazu Uchida; 友和内田; Masahiro Ogawa; 雅裕小川; Masahiro Hojo; 正博方城
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-02-23
Filing date: 2009-02-23
Publication date: 2010-09-09
Also published as: WO2010095207A1; CN102326389A; US8624993B2; US20110298942A1

Abstract

【課題】フレーム間で激しい動きが発生した場合、フレーム間の相関関係が弱くなる、または相関関係がなくなってしまう。フレーム内での符号化はフレーム差分の符号化に比べて符号化効率が著しく低減するため、符号量が増大してしまう。
【解決手段】イメージセンサからの動画像データに信号処理を施すとともに画面内での被写体の動き情報を生成する画像処理部３と、画像処理部３による動画像データを入力して圧縮符号化を行う画像圧縮／伸張処理部（画像圧縮処理部）４と、カメラ本体２０の動き情報と画像処理部３による画面内での被写体の動き情報との２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するシーン判定符号化制御部５とを備える。判定された各シーンに応じて、量子化ステップの制御や入力となるＹＣデータの高周波成分除去、ダミーフレームの挿入などの制御を行い、符号量の抑圧を図る。
【選択図】図１

Description

本発明は動画撮像装置にかかわり、特には、動きの激しい動画を撮影する際の符号化において符号量抑圧と画質確保とのトレードオフを解消するための技術に関する。本発明にかかわる動画撮像装置が搭載される製品としては、デジタルスチルカメラやデジタルビデオカメラなどがある。

フレーム間符号化方式は、動画像信号においてフレーム間の相関関係が強いことから動画像信号のデータ圧縮手段として広く採用されている。フレーム間符号化方式は種々提案されているが、画像信号のフレーム差分を符号化する方式が多い。差分信号に対してさらに画像の持つ２次元空間内の相関を効率良く利用する直交変換を用いた変換符号化がよく用いられる。特に、蓄積メディア用の動画像符号化標準であるＩＳＯ／ＩＥＣ１１１７２−２（通称ＭＰＥＧ１）などの国際標準の符号化方式では、直交変換であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）をベースとした符号化方式が採用されている。

フレーム間符号化方式においては、対象フレームがフレーム間符号化フレームの場合、画像信号のフレーム間の差分を求め、この差分値をハフマン符号等の可変長符号に変換する。動画像の特性上、動き補償後のフレーム相関は高く、０またはそれに近くなる差分値に短い可変長符号を割り当てて圧縮効率を高めるようにしている。分割したブロックの動き補償予測後のデータが０になる場合には、符号化しないでよいため、さらに圧縮効率を高めることができる。

動画像信号のデータ圧縮においては、符号量調整（レートコントロール）が必須である。符号量調整方法として量子化ステップ可変方式がある。これは、符号の発生量をモニターし、符号化で使う量子化ステップを決定する。発生した符号を入力し、一定レート（固定レート）で出力する符号の仮想バッファを用意し、バッファの充足率に比例するように量子化ステップを算出する。すなわち、バッファの充足率が上がると量子化ステップを大きくし、充足率が下がると量子化ステップを小さくする。量子化ステップが大きいところでは符号の発生が抑えられ、逆に量子化ステップが小さいところでは符号の発生が促進される。バッファの充足率を例えば５０％程度に制御することにより、符号の発生が平均的に一定に制御されることになる。

しかし、動きの激しいシーンでは差分符号化がむずかしくなって、符号量が増大してしまう。その結果、符号量の調整において量子化ステップを大きくするが、結果として画質の劣化が発生する。

高画質化の方法として、手振れ情報または動きベクトルを使用して動きが大きいと判定される画像に対し、量子化ステップを直前のフレームより大きくすることにより符号量を抑圧するという方法もある。

上述した固定レート制御方式とは別に、量子化ステップを固定して符号量の変動を許す可変レート方式が知られている。これは、ある基準の画質以下にならないような量子化ステップを予め決定しておき、符号化時に量子化ステップを固定する方式である。
特開２００６−１３５７０号公報特開２００６‐１６６２３３号公報

フレーム差分情報を用いた符号化は符号化効率が良いが、フレーム間で激しい動きが発生した場合には、フレーム間の相関関係が弱くなりまたはなくなって符号化できなくなる。そこで、フレーム内の情報で符号化する必要が出てくるが、フレーム内での符号化は、フレーム差分の符号化に比べて符号化効率が低く、符号量が増大してしまう。

固定レートでの符号量調整の場合、激しい動きが発生したフレームで符号量が増大するため、その後のフレームで符号量を調整しなければならない。そうすると、量子化ステップがそれまでのフレーム対して極端に高い値になり、画像の著しい劣化が発生する。特に低周波成分の多いフレームでは、その傾向が顕著に現れる。

上記の回避策として、手振れ情報に基づいて量子化ステップを大きくすることで符号量を抑圧するという方法もある。しかし、動きの激しいフレームでは量子化ステップが大きいため、そのフレームが劣化してしまい、以後のフレームもフレームの劣化を引きずってしまう。

また、符号化前のＹＣデータに対して高周波成分を低減して符号量を抑圧する方法もある。しかし、被写体の動きや、被写体に追従したカメラの移動も動きとして捉えてしまうため、撮影者が必要とする画像に対しても高周波成分が低減されてしまうという課題がある。

本発明は、このような事情に鑑みて創作したものであり、画面との相対的な位置関係で被写体の動き量が激しい場合でも、符号量抑圧と画質確保とのトレードオフを解消し、両者を両立させることができるようにすることを目的としている。

本発明では、符号化処理の前に撮像状況がどのようなシーンであるかを判定するためのシーン判定符号化制御部を設けている。このシーン判定符号化制御部は、カメラ本体の動き情報と画面内での被写体の動き情報との２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するものである。画面内での被写体の動き情報は、イメージセンサから入力されてくる動画像データに信号処理を施す画像処理部において生成される。カメラ本体の動き情報は、レンズ制御用に使用されている角速度情報を利用することができる。

以上を要するに、本発明による動画撮像装置は、
イメージセンサから入力されてくる動画像データに信号処理を施すとともに画面内での被写体の動き情報を生成する画像処理部と、
前記画像処理部による動画像データを入力して圧縮符号化を行う画像圧縮処理部と、
カメラ本体の動き情報と前記画像処理部による前記画面内での被写体の動き情報とを取得し、これら２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するシーン判定符号化制御部とを備えたものである。

シーン判定については、例えば、“画面内被写体動き”、“単独型カメラ本体動き”、“被写体追従型カメラ本体動き”、“被写体・カメラ本体移動なし”などがある。“画面内被写体動き”というのは、カメラ本体の動きが原則としてなく、被写体が実際に動くことにより、画面に写っている被写体が画面内で動くというシーン態様である。“単独型カメラ本体動き”というのは、被写体には実際の動きがなく、カメラ本体が単独に動いているシーン態様であり、画面内では相対的に被写体が動くように見える。“被写体追従型カメラ本体動き”というのは、被写体が実際に動き、動く被写体を画面内に捕捉しておくために撮影者が被写体の動きに合わせてカメラ本体を動かすといったシーン態様である。これは、撮影者が被写体を画面内の所定領域内に収める状態で撮影を行いたい場合に相当する。“被写体・カメラ本体移動なし”というのは、カメラ本体が静止し、かつ被写体も静止しているシーン態様である。このようなカメラ本体の動き情報と画面内での被写体の動き情報との組み合わせに応じたシーン判定がシーン判定符号化制御部で行われ、そのシーン判定の判定結果が符号化制御情報として出力される。この符号化制御情報を受け取った画像圧縮処理部または画像圧縮／伸張処理部は、符号化制御情報の指示するところに従って動画像データの圧縮符号化を行うことになる。すなわち、それぞれのシーン態様に適した符号量抑圧制御方法を選択し、画質の劣化を発生させることなく符号量を抑圧することが可能となる。

例えば、符号化制御情報が“被写体追従型カメラ本体動き”のシーン態様を意味しているときは、撮影者にとって大切なシーンの撮像であることから、符号量を削減することなく、高精細で画質劣化のない圧縮動画像データを生成させればよい。

また、例えば、符号化制御情報が“単独型カメラ本体動き”のシーン態様を意味しているときは、画像全体が動いているため画質の劣化が人の目にはつきにくいという視覚特性を活かして、入力となるＹＣデータの高周波数成分を除去して符号量を抑圧すればよい。

また、例えば、符号化制御情報が“画面内被写体動き”のシーン態様を意味しているときは、高圧縮をすることで符号量を抑圧すればよい。

また、例えば、符号化制御情報が“被写体・カメラ本体移動なし”のシーン態様を意味しているときは、符号量抑圧制御は行わないようにすればよい。

（２）上記構成の動画撮像装置において、前記シーン判定符号化制御部は、前記シーン判定に用いる前記カメラ本体の動き情報として、前記イメージセンサが装着されているセンサ部における角速度センサからの角速度情報を用いるように構成されているという態様がある。角速度センサからの角速度情報は、カメラ本体の動き情報として好ましいものの１つである。

（３）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記角速度センサからの角速度情報を、レンズ動作を制御するレンズ制御部を経由して取得するように構成されているという態様がある。イメージセンサを有するセンサ部に装着されている角速度センサは、カメラ本体がどれだけ動いたかを表す角速度情報をレンズ制御部に出力する。レンズ制御部は、入力した角速度情報に従って撮影レンズの向きを制御する。

（４）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記シーン判定に用いる前記画面内での被写体の動き情報として、前記画像処理部において代表点マッチングで得られる動き情報を用いるように構成されているという態様がある。代表点マッチングとは、画像データ領域内のあるブロック（枠）の代表点を１点定め、その点が次のフレームにおいてどれだけ移動したかを表すもので、カメラの手振れ補正を行うために使用される。このような代表点マッチングで得られる動き情報を画面内での被写体の動き情報として用いる場合は、構成要素の兼用によるコストメリットがある。

（５）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記シーン判定結果の前記符号化制御情報に、前記画像処理部から取得した周波数情報を加味した符号量抑圧処理を含ませているという態様がある。高周波成分が多く含まれる画像であれば、高圧縮にして符号量を抑圧すればよい。

（６）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記カメラ本体の動き情報または前記画面内での被写体の動き情報について、用途に応じて、上記のいずれかの各情報を選択するように構成されているという態様がある。用途ごとに最適な情報を採用することにより、理想のシーン判定が実現可能となる。

（７）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記カメラ本体の動き情報または前記画面内での被写体の動き情報について、用途に応じて、上記のいずれかの各情報を組み合わせて使用するように構成されているという態様がある。用途ごとに最適な情報組み合わせを採用することにより、理想のシーン判定が実現可能となる。

（８）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フィルタをかけて高周波成分を除去するように構成されているという態様がある。“画面内被写体動き”、“単独型カメラ本体動き”、“被写体追従型カメラ本体動き”などを総合して画面との相対的な位置関係で被写体の動き量が激しいときは、高周波成分を除去することにより、圧縮効率を高めるとともに画質劣化を防ぐことが可能となる。

（９）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、複数のフレーム単位で高周波成分除去のフィルタ設定が多段階制御されるように構成されているという態様がある。高周波成分を除去する場合、フレーム単位ではなく複数のフレーム単位でフィルタの設定を多段階制御で行えば、高周波成分が滑らかに除去されることになり、急激な画像の変化を防ぐことが可能となる。

（１０）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フレームをスキップするように構成されているという態様がある。総合して画面との相対的な位置関係で被写体の動き量が激しいときは、フレームをスキップすることにより符号量の削減を効果的なものにすることが可能となる。

（１１）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、ダミーフレームを挿入するように構成されているという態様がある。総合して画面との相対的な位置関係で被写体の動き量が激しいときは、ダミーフレームを挿入することにより符号量の削減を効果的なものにすることが可能となる。

（１２）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フレームを多重化するように構成されているという態様がある。総合して画面との相対的な位置関係で被写体の動き量が激しいときは、フレームを多重化することにより符号量の削減を効果的なものにすることが可能となる。

（１３）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、量子化ステップを増加させるように構成されているという態様がある。総合して画面との相対的な位置関係で被写体の動き量が激しいときは、量子化ステップを増加させることで圧縮効率を上げ、符号量の削減を効果的なものにすることが可能となる。

（１４）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記シーン判定結果に応じて上記のいずれかの符号量抑圧制御を行わせるように構成されているという態様がある。シーン判定結果ごとに最適な符号量抑圧制御を採用することにより、理想の符号量抑圧制御が実現可能となる。

（１５）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報の検知判定に多段階の閾値を用いるように構成されているという態様がある。多段階の閾値を用いて選択切り替えすることにより、条件に応じたきめ細かい制御が可能となる。

（１６）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部は、前記動き情報の検知判定に用いる閾値について、符号化の探索範囲に応じて切り替えられるように構成されているという態様がある。総合して画面との相対的な位置関係で被写体の動き量が激しく動き探索範囲を超えた場合にはフレーム間予測が行えなくなり、符号量が異常に増大してしまう。一般的に動きとして判定したいのは、この動き探索範囲を超えたときである。そのため、動き情報の検知判定に用いる閾値に関しては、探索範囲に応じて変更できることが好ましい。

（１７）また上記の構成の動画撮像装置において、前記シーン判定符号化制御部において、前記動き情報の検知判定に用いる閾値について、符号化のフレームレートまたはビットレートに応じて切り替えられるように構成されているという態様がある。１フレームに対して割り当てる符号量はフレームレート、ビットレートによって変わってくる。そこで、動き情報の検知判定に用いる閾値をフレームレート、ビットレートに応じて変更できることが好ましい。

（１８）また上記の構成の動画撮像装置において、前記画像圧縮処理部は、動画像データの伸張を行う機能を併せ有した画像圧縮／伸張処理部として構成されているという態様がある。

（２０）また上記の構成の動画撮像装置において、さらに、前記画像処理部による前記動画像データを取得して画像の表示制御を行う画像表示処理部を備えているという態様がある。

本発明によれば、カメラ本体の動き情報と画面内での被写体の動き情報との２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するので、例えば、“被写体追従型カメラ本体動き”、“単独型カメラ本体動き”、“画面内被写体動き”、“被写体・カメラ本体移動なし”の各シーン態様を区別することが可能となり、それぞれのシーン態様に適した符号量抑圧制御方法を選択し、画質の劣化を発生させることなく符号量を抑圧することができる。すなわち、画面との相対的な位置関係で被写体の動き量が激しい場合でも、符号量抑圧と画質確保とのトレードオフを解消し、両者を両立させることができる。

以下、本発明にかかわる動画撮像装置の実施の形態を図面を用いて詳細に説明する。

図１は動画記録を行うカメラシステムにおける動画撮像装置の構成を示すブロック図である。図１において、１は画像データを取り込んで光電変換を行い、ＲＧＢの情報の画像データを出力するイメージセンサおよび角速度センサを含むセンサ部、２はセンサ部１における角速度センサから角速度情報（カメラ本体の動き情報）を受け取り、その角速度情報に基づいて撮影レンズの方向制御を行うとともに、後述するシーン判定符号化制御部５に対して角速度情報を出力するレンズ制御部、３はセンサ部１におけるイメージセンサよりＲＧＢの画像データを取得し、ノイズ除去、信号レベルの補正等の画像補正を行い、ＹＣデータに変換して外部メモリ８に格納するとともに、代表点マッチングで得られた情報（画面内での被写体の動き情報；手振れ情報）や画像の周波数情報をシーン判定符号化制御部５に出力する画像処理部、４は外部メモリ８から読み出したＹＣデータに対して符号化を行い、圧縮された符号データを外部メモリ８に格納し、また外部メモリ８から圧縮符号データを読み出して伸張して外部メモリ８に格納する画像圧縮／伸張処理部、５はレンズ制御部２から入力した角速度情報、画像処理部３から入力した代表点マッチングの情報を取得し、これら２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するシーン判定符号化制御部、６は外部メモリ８から読み出したＹＣデータを表示装置９に合わせた形で表示する画像表示処理部、７は全体の制御をつかさどるＣＰＵ（Central Processing Unit）、８は外部メモリ、９は画像表示処理部６から出力されたデータを表示する表示装置、１０は外部メモリ８からＣＰＵ７を介して読み出した符号データを書き込む記録媒体である。

ここで、画像処理部３から出力される代表点マッチングについて説明する。図２は代表点マッチングアルゴリズムの説明図である。代表点マッチングとは、画像データ領域内のあるブロック（枠）の代表点を１点定め、その点が次のフレームにおいてどれだけ移動したかを表すものである。

図２（ａ）は１フレーム目を表す。Ｐ１を代表点とし、その１点の情報を保持する。図２（ｂ）は２フレーム目を表す。図２（ａ）で代表点として定めた点Ｐ１が、本フレーム内のどこに移動したかを探索する。図２（ｃ）は、１フレーム目と２フレーム目を重ねたものであり、１フレーム目で定めた代表点Ｐ１がＰ２まで移動していることが分かる。この移動した距離を動き量すなわち画面内での被写体の動き情報として取得する。

次に、レンズ制御部２から出力される角速度情報について説明する。角速度情報とは、図３で示すカメラ本体２０の動き量の情報であり、センサ部１に装着されている角速度センサ（図示せず）にてカメラ本体２０がどれだけ動いたかを表す。この角速度情報をカメラ本体２０の動き情報として使用する。

次に、各シーン判定用に使用する動き検出方法に関して説明する。図４は動き判定方法の説明図である。動きの検知方法としては、動き判定用に閾値を設けて、動き量が閾値を上回ったかどうかで動きを判定する。

動画像において激しい動きが発生し、動き探索範囲を超えた場合には、フレーム間予測が行えなくなり、符号量が増大してしまう。一般的に動きとして判定したいのは、この動き探索範囲を超えたときとなる。そのため、動きを判定する閾値に関しては、動き探索範囲に応じて変更できるようにする。また、フレームレート、ビットレートによって、１フレームに対して割り当てる符号量が変わってくるため、このフレームレート、ビットレートに応じても閾値を変更する。

次に、シーン判定符号化制御部５で行う処理を図５のフローチャートを用いて説明する。

まずステップＳ１において、シーン判定符号化制御部５は、符号化を行う前の処理として、画像処理部３から符号化対象の画像の動き検出の要素となる動き情報を取得する。取得する動き情報は、画像処理部３から取得する代表点マッチングデータ（画面内での被写体の動き情報）とレンズ制御部２から取得する角速度情報（カメラ本体の動き情報）とである。

次いでステップＳ２において、シーン判定符号化制御部５は、レンズ制御部２から角速度情報を取得し、その角速度情報に対して動き量の算出を行う。ところで、図３で示すように、角速度情報は、ズームをしている場合とそうでない場合で動き量が異なってくる。角速度情報が小さくてもズームされていれば動き量としては大きくなる。角速度情報から動き量を算出する場合は、角速度情報にズームの倍率をかけた値を動き量として使用する。

次いでステップＳ３において、ステップＳ２で算出した動き量を基に、“単独型カメラ本体動き”、“被写体追従型カメラ本体動き”、“画面内被写体動き”、“被写体・カメラ本体移動なし”の各シーン判定を行う（詳しくは後述する：図６）。

次いでステップＳ４において、ステップＳ３で判定したシーンに応じて符号量抑圧制御を行う。抑圧制御方法は検出した動き量に応じて変更する。

次に、シーン判定符号化制御部５によるシーン判定処理を図６のフローチャートを用いて説明する。これは図５のステップＳ３に相当する。

まずステップＳ１１において、シーン判定符号化制御部５は、各動き情報を取得し、取得した動き情報を動き判定用のパラメータに変換する。

次にステップＳ１２において、角速度センサのパラメータを基に動き判定を行う。動きがある（パラメータが閾値を上回る）と判定された場合はステップＳ１３に分岐し、動きがない（パラメータが閾値を下回る）と判定された場合はステップＳ１６に分岐する。

ステップＳ１３でもステップＳ１６でも、代表点マッチングパラメータを基に動き判定を行う。

ステップＳ１３にて動きがある（パラメータが閾値を上回る）と判定した場合は、角速度、代表点マッチングの両方の値が大きいため、ステップＳ１４で判定結果のシーン態様を“単独型カメラ本体動き”であると判定する。カメラ本体２０が動き、かつ被写体が動かないのであれば、カメラ本体の動き情報である角速度が大きく、かつ画面内での被写体の動き情報である代表点マッチングも大きくなるからである。

ステップＳ１３にて動きがない（パラメータが閾値を下回る）と判定した場合は、角速度情報のみ動きがあるため、ステップＳ１５で判定結果のシーン態様を“被写体追従型カメラ本体動き”であるとする。

ステップＳ１６にて動きがある（パラメータが閾値を上回る）と判定した場合は、代表点マッチング情報のみに動きがあるため、ステップＳ１７で判定結果のシーン態様を“画面内被写体動き”であるとする。

ステップＳ１６にて動きがない（パラメータが閾値を下回る）と判定した場合は、ステップＳ１８で判定結果のシーン態様を“被写体・カメラ本体移動なし”とする。

（１）シーン判定結果が“単独型カメラ本体動き”の場合は、画像全体が動いているため、画質の劣化が人の目にはつきにくいという視覚特性を活かし、入力となるＹＣデータの高周波数成分を除去して符号量を抑圧する。ただし、急激に周波数成分を低減すると人の目につきやすくなるため、フレーム単位で徐々に周波数成分を低減するようにする。

また、上記のような“単独型カメラ本体動き”において、動き量が著しく大きな場合は、ＹＣデータの周波数成分を低減するだけでは、符号量の抑圧が効かない。そこで、著しく大きな動き量が発生しているかを判定するための閾値をさらに設け、その値を超えた場合は不要な画像と判定し、ＹＣデータの高周波成分を除去するのではなく、フレームをスキップし、フレーム自体を符号化しないようにする。

ところで、ＡＶＣＨＤ（Advanced Video Codec High Definition）のような動画ストリーム規格では、フレームをスキップすることは規格違反と判定されるため、そういった場合はスキップする代わりにすべてのマクロブロックがスキップマクロブロックで構成されたダミーフレームを挿入する、もしくは前回のフレームに対して二重化を行うようにする。

（２）シーン判定結果が“被写体追従型カメラ本体動き”の場合は、符号量抑圧制御は行わないようにする。これは、撮影者が被写体を画面内の所定領域内に収める状態で撮影を行いたい場合であり、できるだけ高精細の画像を求めているからである。ただし、高周波成分が多く含まれる画像であれば符号量が増大してしまう。そういった場合に関しては、画像処理部３にて周波数成分情報を取得し、高周波成分領域に対して、量子化ステップを増大し高圧縮することで符号量を抑圧すればよい。

（３）シーン判定結果が“画面内被写体動き”の場合は、量子化ステップを増大し高圧縮することで符号量を抑圧する。

（４）シーン判定結果が“被写体・カメラ本体移動なし”の場合は、符号量抑圧制御は行わない。

上記で述べたシーン判定後の符号量抑圧制御は、デジタルスチルカメラやデジタルビデオカメラ用途のものである。監視カメラやネットワークカメラ等のカメラ固定式で、動いたものをできるだけ画質劣化なく表示すれることが求められるものでは、上記で説明したような制御方法では悪影響を与える可能性がある。そこで、シーン判定後の符号量抑圧制御に関しては、用途に応じて変更が行えるようにする。

本発明の動画撮像装置は、カメラ本体の動き情報と画面内での被写体の動き情報との２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するもので、動きの激しいフレームでも符号量抑圧が良好に行われ、動き終わったフレームに対しても符号量を割り当てることが可能となり、画質の向上を図ることができ、デジタルスチルカメラやデジタルビデオカメラなどとして有用である。

本発明の実施の形態における動画記録を行うカメラシステムにおける動画撮像装置の構成を示すブロック図本発明の実施の形態における代表点マッチングアルゴリズムの説明図本発明の実施の形態における角速度センサの動作説明図本発明の実施の形態における動き判定方法の説明図本発明の実施の形態における動画撮像装置の動作を示すフローチャート（その１）本発明の実施の形態における動画撮像装置の動作を示すフローチャート（その２）

１センサ部
２レンズ制御部
３画像処理部
４画像圧縮／伸張処理部
５シーン判定符号化制御部
６画像表示処理部
７ＣＰＵ
８外部メモリ
９表示装置
１０記録媒体
２０カメラ本体

Claims

イメージセンサから入力されてくる動画像データに信号処理を施すとともに画面内での被写体の動き情報を生成する画像処理部と、
前記画像処理部による動画像データを入力して圧縮符号化を行う画像圧縮処理部と、
カメラ本体の動き情報と前記画像処理部による前記画面内での被写体の動き情報とを取得し、これら２種類の動き情報に基づいてシーン判定を行い、その判定結果を符号化制御情報として出力するシーン判定符号化制御部とを備えた動画撮像装置。
前記シーン判定符号化制御部は、前記シーン判定に用いる前記カメラ本体の動き情報として、前記イメージセンサが装着されているセンサ部における角速度センサからの角速度情報を用いるように構成されている請求項１に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記角速度センサからの角速度情報を、レンズ動作を制御するレンズ制御部を経由して取得するように構成されている請求項２に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記シーン判定に用いる前記画面内での被写体の動き情報として、前記画像処理部において代表点マッチングで得られる動き情報を用いるように構成されている請求項１から請求項３までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記シーン判定結果の前記符号化制御情報に、前記画像処理部から取得した周波数情報を加味した符号量抑圧処理を含ませている請求項１から請求項４までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記カメラ本体の動き情報または前記画面内での被写体の動き情報について、用途に応じて、請求項２から請求項５までのいずれかに記載の各情報を選択するように構成されている請求項１に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記カメラ本体の動き情報または前記画面内での被写体の動き情報について、用途に応じて、請求項２から請求項５までのいずれかに記載の各情報を組み合わせて使用するように構成されている請求項１に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フィルタをかけて高周波成分を除去するように構成されている請求項１から請求項７までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、複数のフレーム単位で高周波成分除去のフィルタ設定が多段階制御されるように構成されている請求項８に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フレームをスキップするように構成されている請求項１から請求項７までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、ダミーフレームを挿入するように構成されている請求項１から請求項７までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、フレームを多重化するように構成されている請求項１から請求項７までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報が所定量以上の動画像データに対する符号量抑圧制御として、量子化ステップを増加させるように構成されている請求項１から請求項７までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記シーン判定結果に応じて請求項８から請求項１３までのいずれかに記載の符号量抑圧制御を行わせるように構成されている請求項１に記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報の検知判定に多段階の閾値を用いるように構成されている請求項１から請求項１４までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部は、前記動き情報の検知判定に用いる閾値について、符号化の探索範囲に応じて切り替えられるように構成されている請求項１から請求項１４までのいずれかに記載の動画撮像装置。
前記シーン判定符号化制御部において、前記動き情報の検知判定に用いる閾値について、符号化のフレームレートまたはビットレートに応じて切り替えられるように構成されている請求項１から請求項１４までのいずれかに記載の動画撮像装置。
前記画像圧縮処理部は、動画像データの伸張を行う機能を併せ有した画像圧縮／伸張処理部として構成されている請求項１から請求項１７までのいずれかに記載の動画撮像装置。
さらに、前記画像処理部による前記動画像データを取得して画像の表示制御を行う画像表示処理部を備えている請求項１から請求項１８までのいずれかに記載の動画撮像装置。