JP6202879B2 - ローリングシャッタ歪み補正と映像安定化処理方法 - Google Patents

Description

本発明は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形の補正（ローリングシャッタ歪み補正）と、揺れの補正を同時に行う映像安定化処理に関する。

映像の動きを推定する方法は古くから研究されており、当該方法は、特徴ベースによる方法と、領域ベースによる方法に大別される。特徴ベースによる方法は、コーナー点や直線等の画像特徴を検出し、それらを画像（フレーム）間で対応付けることにより画像の動きを推定するが、エッジ等の特徴抽出処理及びそれらのフレーム間対応付け処理には、比較的多くの処理時間とコストが掛かる。

このように、特徴ベースによる方法は、特徴抽出処理やその後の対応付け処理にコストを要することから、領域ベースによる方法を用いた揺れ安定化装置の開発や製品化も鋭意なされている。しかし、いずれもＣＣＤセンサにより取得されたカメラ映像を対象としており、ＣＭＯＳセンサによる動き歪み変形には対応しておらず、当該ＣＭＯＳの揺れ映像の安定化はできない。

また、従来、カメラの意図的な動き（例えばパン）と、意図しない揺れ（ぶれ）による動きとを、取得された映像段階において判別することができないことから、移動カメラによる取得映像から、画像処理により不要な揺れ（ぶれ）のみを除去することは、十分にはできなかった。

下記特許文献１には、ＣＭＯＳセンサからの映像データ読み出し方法において、ある走査線の読み込み中に次の走査線の読み込みを開始する複数走査線の同時読み出し等の工夫をすることにより、歪みを軽減する撮像方式が開示されている。

また、下記特許文献２では、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。

特開２０１１−１４２５９２号公報 特開２０１３−０１７１５５号公報

従来、特徴ベースによる映像の動きを推定する方法も領域ベースによる映像の動きを推定する方法も、ＣＭＯＳセンサによる動き歪み変形の補正には対応しておらず、揺れ映像の安定化はできなかった。例えば、ラスタスキャン時のスキャン速度よりも速く画面内の被写体が移動する状況等においては、被写体の形状が歪むように映像取得（動き歪み）されることが知られているところ、これに対する有効な補正方法はなかった。

また、従来、カメラの意図的な動き（例えばパン）と意図しない揺れ（ぶれ）による動きとを、取得された映像段階において判別することができないことから、移動カメラによる取得映像から不要な揺れのみを除去することは、十分にはできなかった。

本発明においては、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うことが可能なように、ローリングシャッタに起因する動き歪み変形を、隣接する２画像間（２フレーム間）の２次元４パラメータアフィン変換により記述する。そして、その変換行列を最適に推定した後、解析的に分解することにより並進パラメータを計算する。

この場合に、何らの画像特徴や対応付けを用いることなく（すなわち従来の特徴ベースによる方法を用いることなく）、勾配拘束条件を用いた領域ベースの直接法により推定するものとする。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタにレベル適応を加味した巡回型フィルタにより揺れ成分を除去して、カメラの移動（すなわちパン等による視野映像の移動）を保持したまま、映像中の揺れ（ぶれ）のみを補正するものとする。

従って、本発明の映像安定化処理方法は、ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する動き歪み変形を隣接する２画像間の２次元４パラメータアフィン変換し、その変換行列を勾配拘束条件を用いた領域ベースの直接法により推定した後、解析的に分解することにより並進パラメータを計算することを特徴とする。

また、本発明の映像安定化処理方法は、好ましくは移動カメラの場合には、推定した並進パラメータの時系列変化に対して、レベル適応を加味した巡回型フィルタにより揺れ成分を除去することを特徴とする。

また、本発明の映像安定化処理方法は、さらに好ましくは変換行列を勾配拘束条件を用いた領域ベースの直接法により推定した後の解析的な分解が、線形解法を用いた反復更新により最適化したアフィン変換行列の解析的な分解であることを特徴とする。

また、本発明の映像安定化処理方法は、さらに好ましくは線形解法を用いた反復更新による最適化が、最小二乗法を用いる演算処理であることを特徴とする。

また、本発明の映像安定化処理方法は、さらに好ましくはＣＭＯＳセンサから取得された映像における動き歪み変形と、揺れの補正と、を同時に行うことを特徴とする。

また、本発明の映像安定化処理方法は、さらに好ましくは変換行列を勾配拘束条件を用いた領域ベースの直接法により推定する場合に、画像特徴や対応付けを用いないことを特徴とする。

また、本発明の映像安定化処理方法は、さらに好ましくはカメラの移動に伴う視野映像の移動を保持したまま、映像中の揺れのみを補正することを特徴とする。

また、本発明のプログラムは、上述のいずれかに記載の映像安定化処理方法をコンピュータに実行させるためのプログラムであることを特徴とする。

また、本発明の記憶媒体は、上述のプログラムを記憶したコンピュータが読み取り可能な記憶媒体であることを特徴とする。

また、本発明のビデオスタビライザーは、上述のいずれかに記載の映像安定化処理方法を実行するビデオスタビライザーであることを特徴とする。

本発明により、ＣＭＯＳセンサを用いた撮像装置により撮影された映像における動き歪み変形と揺れの補正とが同時に処理可能となる。また、カメラのパン等移動カメラにおける揺れを含む映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正することが可能となる。また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも、動き歪み変形と揺れに対して同時にかつ忠実に補正処理対応することが可能となる。

固定カメラの場合の、ＣＭＯＳカメラ映像の動き歪み補正および安定化処理（ぶれ補正処理）を説明するブロック図である。 移動カメラの場合の、ＣＭＯＳカメラ映像の動き歪み補正および安定化処理（ぶれ補正処理）を説明するブロック図である。 ＣＭＯＳカメラの順次露光（ラスタスキャン）による動き歪みを説明する図であり、縦線が画像の右方向へ移動する場合（カメラを左にパンした場合）とその結果得られる歪み画像（上段）を説明し、円が画像の下方向へ移動する場合（カメラが上にパン（ティルトともいう）した場合）とその結果得られる歪み画像（下段）を説明する図である。 ＣＭＯＳカメラの動き歪みを説明する図である。 シミュレーションにより生成したカメラの動きの方向による格子画像のＣＭＯＳ動き歪み画像であり、（ａ）がカメラ動きなしの場合を説明し、（ｂ）がカメラが左を向くと画像は右に変形する場合を説明し、（ｃ）がカメラが右を向くと画像は左に変形する場合を説明し、（ｄ）がカメラが上を向くと画像は伸びる場合を説明し、（ｅ）がカメラが下を向くと画像は縮む場合を説明している。 図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、４パラメータアフィン変換行列を計算して歪み補正した結果を説明する図であり、（ａ）は基準画像（カメラ動きなし）を説明する図であり、（ｂ）〜（ｅ）は、図５のカメラの動きによる各動き歪み画像（ｂ）〜（ｅ）の補正結果を説明する図であるが、画像境界は歪み変形の補正が分かりやすいように黒のままとしている。 （ａ）は、水平および垂直方向にそれぞれ平均０、標準偏差５および３画素の正規乱数による並進パラメータを用いて生成した並進歪み画像列の加算平均画像を示す図であり（３０フレーム）、（ｂ）は、第１フレームを基準画像として、第２フレーム以降、順次隣接する２画像間の並進パラメータを推定した結果を用いて歪み補正および安定化処理を行った処理結果の画像列の加算平均画像を示す図であり、歪み変形と揺れにより輪郭が重なって見える処理前（ａ）の加算平均画像に対して、処理後（ｂ）の加算平均画像は明瞭に見えるところ、画像境界付近の黒味は補正処理による見切れのためであり、（ｃ）は、歪み画像列の生成に用いた並進パラメータの軌跡を説明する図である。 ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、並進パラメータを与えて、その一部分を切り出して生成した並進歪み画像列の一部を説明する図であり、水平および垂直方向の基準となる並進パラメータ（ｔｘ，ｔｙ）＝（１５，３）に対して、それぞれ平均０、標準偏差１画素の正規乱数を加えた並進パラメータを用いて画像サイズが６４０×４８０画素の並進歪み画像列を生成した結果を示しており、左から右の順に、カメラが左上方へパンアップしている等速直線運動する移動カメラによる映像と見なすことができ、上段は、そのようにして生成した原画像列であり、中段は、固定カメラとして補正した結果の画像列であり、下段は移動カメラとして補正した結果の画像列を説明する図である。 移動カメラによる並進歪み画像列から推定した隣接２画像間の並進パラメータの時系列変化のグラフを説明する図であり、上段が水平方向、下段が垂直方向を示している。 実施例における階層動き推定処理を説明するブロック図である。

本発明においては、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正とを同時に行うことが可能なように、ローリングシャッタに起因する動き歪み変形を隣接する２画像間の２次元４パラメータアフィン変換により記述する。そして、その変換行列を最適に推定した後、解析的に分解することにより並進パラメータを計算する。

この場合に、何らの画像特徴や対応付けを用いることなく、勾配拘束条件を用いた領域ベースの直接法により推定するものとする。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタにレベル適応を加味した巡回型フィルタにより揺れ成分を除去して、カメラの移動（すなわち視野映像の移動）を保持したまま、映像中の揺れ（すなわち「ぶれ」）のみを補正するものとする。

上述のように本発明においては、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正とを同時に可能となるように、移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタにレベル適応を加味したフィルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。また、レベル適応によるフィルタ処理のため、移動カメラから固定カメラヘの遷移、あるいはその逆の場合にも忠実に補正処理対応することが可能となる。

このため、ＣＭＯＳセンサのローリングシャッタ（順次露光）機構による動き歪みを２次元アフィン変換としてモデル化して、その変換行列を勾配拘束条件に基づき推定し、推定した変換行列を解析的に分解することにより動き歪みをなす並進パラメータを計算し、さらに推定した並進パラメータの時系列変化に対して、レベル適応処理を加味した巡回型フィルタ処理を施すものとする。

本発明の方法は、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能である。また、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、その他の多様な構成による実現が可能である。

図１は、固定カメラの場合の、ＣＭＯＳカメラ映像の動き歪み補正および安定化処理を説明するブロック図である。図１において、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）により２画像


の間の４パラメータアフィン変換行列を推定して、それを分解した並進パラメータ


により歪み補正（Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｒｒｅｃｔｉｏｎ）する。

並進パラメータを累積加算した


によって、歪み補正の結果を揺れ補正（Ｍｏｔｉｏｎ Ｓｔａｂｉｌｉｚａｔｉｏｎ）する。すなわち、


である。ここで、Ｚ^−１は、１フレーム遅延を表す。

移動カメラの場合は、



を累積加算したものではなく、


を直接に低域通過フィルタ（ＬＰＦ）によって平滑化した


により歪み補正の結果を図２に示すように、揺れ補正（Ｍｏｔｉｏｎ Ｓｔａｂｉｌｉｚａｔｉｏｎ）する。図２は、移動カメラの場合の、ＣＭＯＳカメラ映像の動き歪み補正および安定化処理を説明するブロック図である。

平滑化した並進パラメータを用いれば、パン等の移動するカメラにおいても、揺れ補正が可能となる。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位である。

また、２画像間の動き歪みをなす並進パラメータの推定結果の時系列に施す巡回型フィルタに信号のレベル差に応じた重み係数を導入する。１次バタワース巡回フィルタの場合、水平方向の並進パラメータ


は、次の［数１］ように計算される（垂直方向の並進パラメータに関しては、


とすればよい）。

ここで、

また、


は、信号のレベル差の許容範囲を調整するパラメータであり、α_０，α_１，β_１は、１次バタワース巡回型フィルタ係数であり、以下に示す［数２］のように計算される。

ここで、


は、サンプリング周期であり、


は、ディジタルカットオフ角周波数である。

すなわち、本発明においては、揺れと歪みとを同時に補正することが可能であり、動きを推定するのに特徴点の抽出や対応付けを行わず、移動するカメラから不要な揺れのみを補正する、ことに特徴があり、特に、移動カメラに対応するためのレベル適応フィルタに大きな特徴を有する。

単なる巡回型フィルタであれば、カメラが動いている状態から静止する状態へ変化する場合の変化点、あるいはその逆に静止している状態から動いている状態へ変化する場合の変化点が鈍るので、正しい補正処理が行われないが、本発明で説明する上述のレベル適応フィルタを用いると、動き／静止の状態変化に対して忠実な補正が可能となる。

（対応点を用いないローリングシャッタ歪み補正と映像安定化）
近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ ｃａｍｅｒａ、ＤＳＬＲ）まで、ＣＭＯＳセンサが広範に使われてきている。ＣＭＯＳセンサは、低価格化、低消費電力化、大判化が可能であるが、従来のＣＣＤセンサと大きく異なる点は、ローリングシャッタと呼ばれる順次露光機構を用いて画素データを取得することにあり、これに起因する動き歪み変形が生じる点である。

本発明は、ローリングシャッタ機構によるＣＭＯＳカメラ映像におけるスタビライザ処理を行う。このとき、何らの画像特徴や対応付けを用いない。隣接する２画像間のグローバル動きを２次元アフィン変換により記述し、その推定には、非線形最適化を行わずに線形解法を用いる。線形解法の反復により最適化したアフィン変換行列を解析的に分解することにより並進パラメータを計算する。画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる動き歪み変形を補正するとともに揺れを除去して安定化する。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタ処理により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラへ遷移する際にも、変化に忠実な安定化処理を実現する。

（ＣＭＯＳ動き歪みモデル）
ＣＭＯＳセンサはＣＣＤセンサとは異なるシャッタ機構を持つ。ＣＣＤセンサではすべての画素が同時に露光されるが、ＣＭＯＳセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、ＣＭＯＳセンサの最初と最後のラインの時間差のために、ＣＭＯＳカメラ映像はカメラの動きの方向と種類によって歪む。図３はそのようなローリングシャッタ機構において、どのように走査時間の間にシーン中の物体が動くのかを示している。図３は、ＣＭＯＳカメラの順次露光による動き歪みを説明する図であり、縦線が画像の右方向へ移動する場合（カメラを左にパンした場合）とその結果得られる歪み画像（上段）を説明し、円が画像の下方向へ移動する場合（カメラが上にパン（ティルトともいう）した場合）とその結果得られる歪み画像（下段）を説明する図である。

ここで、画像縦横サイズがＶ×ＨのＣＭＯＳカメラが動くと、撮影されたシーン中の物体の特徴点ｘは１フレーム期間中に画像の動きｕによって動くとする。並進動きを仮定すると、


であり、その速度ｖは１フレーム時間Ｔｆで割ることによって得られる。

ｔ＝０で画面左上の画像原点から走査開始する画像Ｉ_ｎにおいて、特徴点ｘｎが１フレーム期間にｕｎで動くとすると、画素位置ｘｄｎ＝（ｘｄｎ，ｙｄｎ）までの経過時間は、


であり、ＣＭＯＳ歪み位置ｘｄｎは、歪みのない場合の位置ｘｎに動き歪みによる変動項を加えた次のようなＣＭＯＳ動き歪みモデルを満たす。

と近似すると、



［数８］から、ｙｄｎについて解くと、

したがって、（ｘｎ，ｙｎ）と（ｘｄｎ，ｙｄｎ）の間の並進動きによる歪み変換は次のようになる。

これを、


と書くと、


だから、並進歪みによる隣接する２画像Ｉ_ｎ、Ｉ_ｎ＋１の間の関係は次のようになる（図４）。図４は、ＣＭＯＳカメラの動き歪みを説明する図である。

ここで、


変換行列Ａｎ，ｎ＋１を要素で書くと、


であり、これを



と置いて、行列の各要素を等値する。ｔｘｎ、ｔｙｎ、ｔｘｎ＋１、ｔｙｎ＋１について解くと、次のようになる。

また、図５は、シミュレーションにより生成したカメラの動きの方向による格子画像のＣＭＯＳ動き歪み画像であり、（ａ）がカメラ動きなしの場合を説明し、（ｂ）がカメラが左を向くと画像は右に変形する場合を説明し、（ｃ）がカメラが右を向くと画像は左に変形する場合を説明し、（ｄ）がカメラが上を向くと画像は伸びる場合を説明し、（ｅ）がカメラが下を向くと画像は縮む場合を説明している。

（２次元アフィン変換によるＣＭＯＳ動き推定）
並進動きによる歪み変形を表す変換行列Ａｎ，ｎ＋１は２次元アフィン変換であるが、その自由度（未知パラメータの個数）は４である。そこで、これを４パラメータアフィン変換と呼ぶことにする。したがって、ＣＭＯＳ動き推定は４パラメータアフィン変換を計算することに帰着する。４パラメータアフィン変換行列を計算する方法を以下に示す。

［数１４］より、第１画像Ｉ_ｎをＡｎ，ｎ＋１により４パラメータアフィン変換すると、第２画像Ｉ_ｎ＋１に重なるから、重なり部分では次の関係が成り立つ。

［数２２］の右辺をテイラー展開により１次近似すると、


であり、ａ＝（ａ２，ａ３，ａ５，ａ６）を求めるためには、次の目的関数Ｊを最小化する。以降、ｘｄｎ→ｘ、ｙｄｎ→ｙと略記する。

ここで、


である。Σは２画像の重複した領域中のすべての画素に渡る和を表す。［数２４］は勾配拘束条件の最小二乗推定である。各パラメータでＪを微分すると次のようになる。

したがって、次のような連立方程式を解けばよい。

そのようにして計算したａ２、ａ３、ａ５、ａ６から、［数１８］〜［数２１］により、並進パラメータｔｘｎ、ｔｙｎ、ｔｘｎ＋１、ｔｙｎ＋１を計算する。

そのようにして得られたｔｘｎ、ｔｙｎ、ｔｘｎ＋１、ｔｙｎ＋１を初期値として、例えば、ガウス・ニュートン法により最適化してもよいが、４パラメータアフィン変換行列Ａｎ，ｎ＋１は並進パラメータに関しては線形ではないので、直接最適化するのは煩雑になる。そこで、Ａｎ，ｎ＋１を反復更新により最適に推定した結果を分解する。上記の最小二乗法を反復により最適化する手順は次のようになる。

ステップ１、初期値を与えて第１画像の変換画像を生成して、Ｊ←∞（十分大きい値）とする。
ステップ２、第２画像と変換された第１画像で、［数２５］による画素毎の時空間勾配Ｉｘ、Ｉｙ、Ｉｔを計算する。
ステップ３、次の連立方程式を解く。

ステップ４、ａ２、ａ３、ａ５、ａ６を次のように更新する。

ステップ５、更新されたパラメータａによる第１画像の変換画像を生成して、残差Ｊ’＝Ｊ（ａ）を計算する。Ｊ’＜＝Ｊかつ｜Ｊ-Ｊ’｜＜ε（微小しきい値）ならａを返して終了する。そうでなければ、Ｊ←Ｊ’としてステップ２に戻る。

実際には、ガウシアンフィルタを掛けて間引くことにより階層画像を生成して、最も低解像度の画像間で推定したパラメータをより高解像度の画像間における動き推定処理に伝播させる階層動き推定処理を行う。

図１０は、実施例における階層動き推定処理を説明するブロック図である。図１０に示すように、隣接する動き歪み２画像「Ｉ_ｎ」と「Ｉ_ｎ＋１」を入力する。それぞれにガウシアンフィルタGσを掛けて画像サイズを１／２に間引く（↓２）。間引き処理を繰り返し行い画像サイズを１／４まで縮小する。原画像サイズをＬｅｖｅｌ０とすると、１／２画像サイズをＬｅｖｅｌ１、１／４画像サイズをＬｅｖｅｌ２と呼ぶ。

４パラメータアフィン変換行列パラメータの初期値ａ（０）を与えて、１／４画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／４画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（０）に加えた結果をａ（１）として、次の１／２画像サイズによるＬｅｖｅｌ１処理に用いる。

４パラメータアフィン変換行列パラメータの初期値ａ（０）は、１／４画像サイズのＩ_ｎ、Ｉ_ｎ＋１において、例えばブロックマッチングによる並進パラメータとすればよい。その場合のａ（０）＝（ａ２、ａ３、ａ５、ａ６）＝（０、ｔｘ（０）、０、ｔｙ（０））である。ここで、（ｔｘ（０）、ｔｙ（０））がブロックマッチングによる並進パラメータである。

１／４画像サイズによるＬｅｖｅｌ２処理同様に、１／２画像サイズによるＬｅｖｅｌ１処理は、４パラメータアフィン変換行列パラメータａ（１）による１／２画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／２画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（１）に加えた結果をａ（２）として、次の原画像サイズによるＬｅｖｅｌ０処理に用いる。

１／２画像サイズによるＬｅｖｅｌ１処理同様に、原画像サイズによるＬｅｖｅｌ０処理は、４パラメータアフィン変換行列パラメータａ（２）による原画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、原画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ（２）に加えた結果のａ（３）が最終的な４パラメータアフィン変換行列の推定結果であり、その結果の４パラメータアフィン変換行列を分解して並進パラメータを計算する。得られた並進パラメータに対して時系列処理を行い、その結果の並進パラメータにより再び合成した４パラメータアフィン変換行列により最終的に原画像サイズのＩ_ｎ＋１を補正して出力する。

（ＣＭＯＳ動き歪み補正と安定化処理）
上述のように図１は、固定カメラの場合のＣＭＯＳカメラ映像の動き歪み補正および安定化処理を説明するブロック図である。図１において、動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）により２画像Ｉ_ｎ、Ｉ_ｎ＋１の間の４パラメータアフィン変換行列を推定して、それを分解した並進パラメータｔｎ＝（ｔｘｎ，ｔｙｎ）により歪み補正（Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｒｒｅｃｔｉｏｎ）する。並進パラメータを累積加算したτｎ＝（τｘｎ，τｙｎ）によって、歪み補正の結果を揺れ補正（Ｍｏｔｉｏｎ Ｓｔａｂｉｌｉｚａｔｉｏｎ）する。すなわち、

である。Ｚ^−１は１フレーム遅延を表す。

移動カメラの場合は、ｔｎを累積加算したものではなく、ｔｎを低域通過フィルタ（ＬＰＦ）によって平滑化したτｎにより歪み補正の結果を揺れ補正（Ｍｏｔｉｏｎ Ｓｔａｂｉｌｉｚａｔｉｏｎ）する（図２）。上述した図２において、平滑化した並進パラメータを用いれば、パン等の移動するカメラにおいても、揺れ補正が可能となる。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位である。１次バタワース巡回型フィルタの場合、その出力は次のように計算される。

ここで、ωａｃは双一次変換によってプリウォーピング（ｐｒｅｗａｒｐｉｎｇ）されたアナログカットオフ角周波数であり、ディジタルカットオフ角周波数をωｃ＝２πｆｃとすると、次のようになる。

Ｔｓはサンプリング周期であり、ｆｓをサンプリング周波数とするとＴｓ＝１／ｆｓである。

［数３１］は、水平方向も垂直方向もベクトルとしてまとめて書いている。カットオフ周波数が同じであれば、フィルタ係数も同じであるが、それぞれ異なるカットオフ周波数としても構わない。

しかし、移動カメラから固定カメラへ遷移する場合、巡回型フィルタは平滑化作用を強めるほど、減衰により変化点が鈍る。これは、移動カメラが静止したにも関わらず、しばらくの間、移動カメラとして安定化処理がなされることを意味する。あるいはその逆に固定カメラから移動カメラへ遷移する場合も同様である。

そこで、変化点がフィルタ処理の減衰により鈍らないように、巡回型フィルタに信号のレベル差に応じた重み係数を導入する。１次バタワース巡回フィルタの場合、水平方向の並進パラメータτｘｎは次のように計算される。

ここで、





σｒは信号のレベル差の許容範囲を調整するためのパラメータである。垂直方向の並進パラメータに関しては、τｘ→τｙ、ｔｘ→ｔｙとして計算すればよい。

実際には、固定カメラの場合も移動カメラの場合も歪み補正と揺れ補正はそれぞれの並パラメータｔｎ、τｎを再び合成した４パラメータアフィン変換によりまとめて行う。変換によるサブピクセル精度の画素座標における画素値は、近傍画素による内挿補間により計算する。

（画像シミュレーション実験）

（１）人工画像シミュレーション実験
図６は、図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、４パラメータアフィン変換行列を計算して歪み補正した結果を説明する図である。図６に示すＣＭＯＳ動き歪み補正画像において、（ａ）は基準画像（カメラ動きなし）を説明する図であり、（ｂ）〜（ｅ）は図５のカメラの動きによる動き歪み画像（ｂ）〜（ｅ）の補正結果を説明する図であり、画像境界は歪み変形の補正が分かりやすいように黒のままとしている。
図６から、水平および垂直方向いずれの動きによる歪み変形も補正できていることがわかる。

（２）実画像列シミュレーション実験（固定カメラの場合）
ディジタルカメラ（ニコンＤ４０（登録商標））で撮影した３００８×２０００画素の画像に対して、並進パラメータを与えて、その一部分を切り出して、並進歪み画像を生成する。水平および垂直方向にそれぞれ平均０、標準偏差５および３画素の正規乱数による並進パラメータを用いて並進歪み画像列を生成する。生成した画像サイズは６４０×４８０画素である。これは、固定カメラによる定点監視映像と見なすことができる。

図７（ａ）はそのようにして生成した並進歪み画像列の加算平均画像を示す図である（３０フレーム）。第１フレームを基準画像として、第２フレーム以降、順次隣接する２画像間の並進パラメータを推定した結果を用いて歪み補正および安定化処理を行った。図７（ｂ）は処理結果の画像列の加算平均画像を示す図である。歪み変形と揺れにより輪郭が重なって見える処理前の加算平均画像に対して、処理後の加算平均画像は明瞭に見える。画像境界付近の黒味は補正処理による見切れのためである。図７（ｃ）は歪み画像列の生成に用いた並進パラメータの軌跡を説明する図である。

補正結果の隣接２画像間の二乗誤差画像のピークＳＮ比により定量的に評価する。ピークＳＮ比ＰＳＮＲは二乗誤差画像の平均輝度値（平均ノイズ電力）ＭＳＥおよび最大輝度値（最大信号電力）Ｉ２ｍａｘから次のように求められる。実験では、Ｉｍａｘを８ビット最大画素値２５５とした。

（３）実画像列シミュレーション実験（移動カメラの場合）
図８は、ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、並進パラメータを与えて、その一部分を切り出して生成した並進歪み画像列の一部である。水平および垂直方向の基準となる並進パラメータ（ｔｘ，ｔｙ）＝（１５，３）に対して、それぞれ平均０、標準偏差１画素の正規乱数を加えた並進パラメータを用いて並進歪み画像列を生成する。生成した画像サイズは６４０×４８０画素である。図８において、画像は左から右の順に、カメラが左上方へパンアップしている等速直線運動する移動カメラによる映像と見なすことができる。図８上段は、そのようにして生成した原画像列であり、中段は、固定カメラとして補正した結果の画像列、下段は移動カメラとして補正した結果の画像列である。

固定カメラとして行った歪み補正および安定化処理の結果は、第１フレームを基準として完全に安定しているが、入力が移動カメラによる画像列のため、基準フレームから大きく移動すると、次第に見切れる領域が大きくなっていく。

一方、移動カメラとして行った歪み補正および安定化処理の結果は、カメラの移動に伴い、補正処理が追従しているのがわかる。ここでは、不要な揺れ成分を除去して、カメラの軌跡を滑らかにするために、隣接２画像間において推定した並進パラメータの時系列変化に対して１次バタワース巡回型レベル適応フィルタ処理を行い、その結果の並進パラメータを用いて各フレームを補正した。１次バタワース巡回型レベル適応フィルタにおけるカットオフ周波数は水平および垂直方向いずれも０．０１Ｈｚ、σｒ２をそれぞれ、２０、３とした。

図９は、移動カメラによる並進歪み画像列から推定した隣接２画像間の並進パラメータの時系列変化のグラフを説明する図であり、上段が水平方向、下段が垂直方向を示している。図９において、並進パラメータの時系列変化（Ｏｒｉｇｉｎａｌ）を１次バタワース巡回型低域通過フィルタ（ｆｃ＝１Ｈｚ）により平滑化した並進パラメータ（ＩＩＲ）、１次バタワース巡回型レベル適応フィルタ（ｆｃ＝０．０１Ｈｚ、σr２ を水平および垂直方向でそれぞれ２０、３）により平滑化した並進パラメータ（ＩＩＲｂｉｌａｔｅｒａｌ）。１次バタワース巡回型レベル適応フィルタにより揺れ成分である高周波成分が除去されて並進パラメータが滑らかになっているのがわかる。

さらに、並進パラメータを（ｔｘ，ｔｙ）＝（０，０）として、同様に正規乱数を加えて引き続き並進歪み画像列を生成する。すなわち、カメラが移動した後、静止して固定カメラになる場合である。図９の３０フレーム目の移動カメラから固定カメラへの変化点において、カットオフ周波数が１Ｈｚの１次バタワース巡回型フィルタにより平滑化した並進パラメータは、平滑化作用による減衰のためカメラが静止したフレームを越えても、すぐには０にはならない。

一方、１次バタワース巡回型フィルタによる平滑化の結果は、移動カメラにおける揺れ成分を除去しつつ、変化点も保持しており、カメラが静止した後もほぼ０に近い平滑結果が得られている。簡易なしきい値処理で十分に固定カメラであることを判別可能である。平滑化した並進パラメータの絶対値があるしきい値以下の場合、固定カメラであると判定して、安定化処理のための補正には、平滑化した並進パラメータではなく、そのフレームから並進パラメータを累積加算した結果を用いればよい。

（まとめ）
本発明では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うために、ローリングシャッタに起因する動き歪み変形を隣接する画像間のグローバルな２次元４パラメータアフィン変換により記述して、その変換行列を最適に推定した後、解析的に分解することにより並進パラメータを計算した。このとき、何らの画像特徴や対応付けを用いることなく、画素を直接的に処理することにより推定を行った。

画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる動き歪み変形を補正するとともに揺れを除去して安定化した。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型レベル適応フィルタ処理により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラへ遷移する際にも、変化に忠実な安定化処理を実現した。

（補足説明）
カメラ映像の揺れの安定化を実現する方式は、カメラに取り付けた加速度センサからの情報に基づいてカメラのレンズやカメラ自身を動かすことにより揺れを補正する光学式、機械式と呼ばれるものと、画像処理による電子式と呼ばれるものに分けられる。

これらの装置は、一般にビデオスタビライザと呼ばれるが、画像処理による電子式によるビデオスタビライザは、揺れの補正可能な範囲や装置の小型化、耐久性等、多くの点で優位である。また、画像処理による電子式によるビデオスタビライザは、既に取得済みの映像の後処理として後発的に処理することが可能であるので、光学式による揺れ補正が充分でなかった場合や、保管されていた過去の映像等に対して追加的に処理することが可能である。

例えば、２画像間の画面全体のグローバル動きの推定をオプティカルフローによって行い、カメラ映像の揺れを安定化させた例がある［非特許文献１］。

非特許文献［１］
M. Irani, B. Rousso, and S. Peleg, Recovery of ego-motion using region alignment, IEEE Transactions on Pattern Analysis and Machine Intelligence,
19-3 (1997), 268-272.

画像処理によるカメラ映像の揺れの安定化は、連続する画像のグローバルな動きを推定する問題に帰着される。

画像の動きの推定は、画像処理・コンピュータビジョンにおける基本的な問題であり、これまでに多くの研究がなされてきたが、それらは大きく領域ベースによる手法と、特徴ベースによる手法に分けられる。

領域ベースの方法としては、動画像圧縮符号化の国際標準規格MPEG［非特許文献２］では、ブロックマッチングが用いられ、コンピュータビジョンではオプティカルフロー［非特許文献３，４］がよく用いられるが、いずれも濃淡画素を直接処理するものである。

非特許文献［２］
ISO/IEC-11172, Coding of moving pictures and associated audio for digital storage media up to 1.5 Mbits/s, 1993.

非特許文献［３］
B. K. P. Horn and B. G. Schunck, Determining optical flow,
Artificial Intelligence, 17 (1981), 185-203.

非特許文献［４］
B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, Proceedings of the 1981 DARPA Image Understanding Workshop, April, 1981, 121-130.

一方、位相相関法［５］ のように、画像を周波数変換することによって周波数領域で行う処理もある。

非特許文献［５］
G. A. Thomas, Television motion measurement for DATV and other applications、
BBC R&D Reports RD1987/11, 1987.

特徴ベースの方法としては、コーナー等の画像特徴点や画像中の直線を用いるものがある。金澤・金谷は、特徴点から２画像間の射影変換を最適に計算した［６］。松永は、海洋上の船舶から撮影される映像に含まれる画像の回転と上下動を除去するために、映像中の水平線を検出することにより動揺映像の安定化を行った［７］。

非特許文献［６］
金澤靖, 金谷健一, 段階的マッチングによる画像モザイク生成,
電子情報通信学会論文誌D-II, J86-D-II-6 (2003), 816-824.

非特許文献［７］
松永力, 水平線検出による船体動揺映像の安定化,
第15回画像センシングシンポジウム（SSII2009）講演論文集, 横浜(パシフィコ横浜).

これまでのスタビライザ処理の多くはＣＣＤセンサによるカメラを前提としているが、ＣＭＯＳセンサにおけるスタビライザ処理の研究もなされている。ＲｉｎｇａｂｙとＦｏｒｓｓｅｎ［非特許文献８］は、携帯電話のカメラ映像を安定化するために、予めカメラの内部パラメータを校正した後、映像中の特徴点を抽出し、それを追跡した。カメラの運動を３次元回転モデルにより記述し、そのパラメータ推定には、再投影誤差の最小化を行うために非線形最適化を用いた。そして、推定したパラメータを平均化することによって安定化を行った。Ｇｒｕｎｄｍａｎｎら［非特許文献９］は、画面をブロック分割して、ブロック毎に隣接する２画像間の２次元射影変換を計算して、それらの重ね合わせにより動き歪みを補正したが、射影変換を計算するためには、やはり、映像中の特徴点を用いている。

非特許文献［８］
E. Ringaby and P.-E. Forssen, Efficient video rectication and stabilisation for cell-phones, International Journal of Computer Vision, 96-3 (2012), 335-352.

非特許文献［９］
M. Grundmann, V. Kwatra, D. Castro, and I. Essa, Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography (ICCP2012), April, 2012.

本発明は、ローリングシャッタ機構によるＣＭＯＳカメラ映像におけるスタビライザ処理を行う。このとき、何らの画像特徴や対応付けを用いない。隣接する２画像間のグローバル動きを２次元アフィン変換により記述し、その推定には、非線形最適化を行わずに線形解法を用いる。線形解法の反復により最適化したアフィン変換行列を解析的に分解することにより並進パラメータを計算する。

画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる動き歪み変形を補正するとともに揺れを除去して安定化することが確認できた。

移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタ処理により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラへ遷移する際にも、変化に忠実な安定化処理を実現することができる。

また、本発明では、映像処理による方法のため、いかなるＣＭＯＳセンサを用いたカメラにより撮影された動き歪みや揺れを伴う録画された蓄積映像であっても、補正することが可能である。

従来公知の方法では、画像特徴点の抽出と２画像間における特徴点の対応付け処理には処理時間とコストが掛かる。本発明では、何らの画像特徴を用いることなく、画素値を直接処理することにより揺れ補正と歪み補正を同時に行う。平行成分と歪み成分をまとめて推定および補正することができる。

本発明は、映像処理全般、特に、映像監視やセキュリティに好適である。映像の動き情報を推定して、動き補正処理を行うビデオスタビライザ、フレームレー卜変換等の処理を遂行する場合の基礎とできる。

Claims (14)

1. ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する動き歪み変形を隣接する２画像間の２次元４パラメータアフィン変換し、その変換行列を勾配拘束条件を用いた領域ベースの直接法により推定した後、解析的に分解することにより並進パラメータを計算し、
   移動カメラの場合には、推定した前記並進パラメータの時系列変化に対して、レベル適応を加味した巡回型フィルタにより揺れ成分を除去する
   ことを特徴とする映像安定化処理方法。
2. 請求項１に記載の映像安定化処理方法において、
   前記２画像間の２次元４パラメータアフィン変換は、２画素間の濃淡値の勾配情報を用いて直接的な計算により算出する
   ことを特徴とする映像安定化処理方法。
3. 請求項１または請求項２に記載の映像安定化処理方法において、
   前記変換行列を勾配拘束条件を用いた領域ベースの直接法により推定した後の解析的な分解は、
   線形解法を用いた反復更新により最適化したアフィン変換行列の解析的な分解である
   ことを特徴とする映像安定化処理方法。
4. 請求項３に記載の映像安定化処理方法において、
   前記線形解法を用いた反復更新による最適化は、最小二乗法を用いる演算処理である
   ことを特徴とする映像安定化処理方法。
5. 請求項１乃至請求項４のいずれか一項に記載の映像安定化処理方法において、
   ＣＭＯＳセンサから取得された映像における動き歪み変形と、揺れの補正と、を同時に行うこと
   ことを特徴とする映像安定化処理方法。
6. 請求項１乃至請求項５のいずれか一項に記載の映像安定化処理方法において、
   前記変換行列を勾配拘束条件を用いた領域ベースの直接法により推定する場合に、画像特徴や対応付けを用いない
   ことを特徴とする映像安定化処理方法。
7. 請求項１乃至請求項６のいずれか一項に記載の映像安定化処理方法において、
   カメラの移動に伴う視野映像の移動を保持したまま、映像中の揺れのみを補正する
   ことを特徴とする映像安定化処理方法。
8. 請求項１乃至請求項７のいずれか一項に記載の映像安定化処理方法をコンピュータに実行させるためのプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
10. 請求項１乃至請求項７のいずれか一項に記載の映像安定化処理方法を実行するビデオスタビライザー。
11. 請求項１０に記載のビデオスタビライザーであって、
    低域通過フィルタとして前記巡回型フィルタを用いて、現在と過去のデータのみを用いることにより、余分なフレーム遅延を発生させず、リアルタイムで処理を実行する
    ことを特徴とするビデオスタビライザー。
12. 請求項１乃至請求項７のいずれか一項に記載の映像安定化処理方法において、
    前記２次元４パラメータアフィン変換は、前記ローリングシャッタに起因する動き歪み変形を、画像の２次元幾何学変換としてモデル化したものである
    ことを特徴とする映像安定化処理方法。
13. 請求項１乃至請求項７のいずれか一項に記載の映像安定化処理方法において、
    前記変換行列を前記勾配拘束条件を用いた前記領域ベースの直接法による推定においては、画像中の特徴点の抽出処理及び抽出した前記特徴点の前記２画像間における対応付け処理を、遂行しない
    ことを特徴とする映像安定化処理方法。
14. 請求項１乃至請求項７のいずれか一項に記載の映像安定化処理方法において、
    前記巡回型フィルタによる前記揺れ成分の除去においては、ブレによる不要な動きとカメラの有意な動きとを分離する
    ことを特徴とする映像安定化処理方法。