[go: up one dir, main page]

JP2008541508A - 動き安定化 - Google Patents

動き安定化 Download PDF

Info

Publication number
JP2008541508A
JP2008541508A JP2008509186A JP2008509186A JP2008541508A JP 2008541508 A JP2008541508 A JP 2008541508A JP 2008509186 A JP2008509186 A JP 2008509186A JP 2008509186 A JP2008509186 A JP 2008509186A JP 2008541508 A JP2008541508 A JP 2008541508A
Authority
JP
Japan
Prior art keywords
block
motion vector
subdivision
motion
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2008509186A
Other languages
English (en)
Inventor
バツール、アジズ、ウミト
Original Assignee
テキサス インスツルメンツ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/233,445 external-priority patent/US7649549B2/en
Application filed by テキサス インスツルメンツ インコーポレイテッド filed Critical テキサス インスツルメンツ インコーポレイテッド
Publication of JP2008541508A publication Critical patent/JP2008541508A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ハンドヘルド・カムコーダーなどのデバイスのための安定化は、低解像度のフレームを信頼性の高い推定の領域に細分化し、同時に細分化を更新しつつその領域の動きベクトルを階層的に精錬し、高解像度の領域のグローバル動きベクトルを見つけ、ジッターを補償するためにグローバル動きベクトルを用いる。

Description

本発明は、デジタル信号処理に関し、更に特定して言えば、電子的安定化を備えた、画像安定化方法及びイメージング・デバイスに関連する。
(背景)
画像安定化(IS:image stabilization)は、手持ちカメラによって取り込まれたビデオ・シーケンスからジッターをなくす作業である。ジッターは、ビデオ録画中の望ましくない手ブレが原因であることが典型的であり、倍率が高いときほどひどくなる。ビデオ・シーケンスからジッターを取り除くことは、一般消費者向けデジタルカメラ及びカメラ付携帯にとってますます重要な問題となってきている。画像安定化の問題を解決するために幾つかの異なるアプローチがある。特定のアプローチの1つは、ジッターをなくすためにデジタル画像処理手法を用いることである。このアプローチは、一般に、「デジタル画像安定化」(DIS)と呼ばれている。
典型的なデジタル画像安定化方法は、以下のように要約できる。
工程1:動きベクトル計算:画素のブロック間の相関関係を見つけることによって、2つのフレーム間の多数の候補動きベクトルを計算する。
工程2:グローバル動きベクトル判定:2つのフレーム間のグローバルジッター動きを見つけるため、多数の発見的手法を用いて、工程1からの候補動きベクトルを処理する。
工程3:動き補償:動きの逆の方向に出力画像をデジタル的にシフトさせることによって、推定されたジッター動きを補償する。
例としては、米国特許番号第5,748,231号、同第5,563,652号、及び同第6,628,711号を参照されたい。
(概要)
本発明は、動きベクトル分析を介して入力フレームの低解像度バージョンを細分化すること、及びこの細分化を更新しつつ階層的に動きベクトルを精錬することを用いるジッターの推定によって、デジタル画像安定化を提供する。
ハンドヘルド・ビデオ機器用などのデジタル画像安定化(DIS)の第1の好ましい実施例の方法は、ジッター動きを推定し、それに従って補償する。図5は、以下の工程を含むジッター推定を図示する:まず、入力フレームの低解像度バージョンを各ブロックの動きの分析により有効(ジッター動き)及び無効(他の動き)ブロックに細分化し、次に、候補動き領域を見つけるため動きベクトルをクラスタリングし、現在のフレームの動きベクトルから平坦化された平均動きベクトルの差、候補動き領域内のブロックの数、及び前のフレームの選択された動き領域と重なるブロックの数、を含むスコア付けにより最良候補を選択する。そして、解像度が最も高い領域のグローバル動きベクトルを生成するまで動きベクトルのスケーリング及び精錬、及び細分化の更新をすることにより、一層高い解像度まで拡張する。安定化は、グローバル動きベクトルが利用可能な場合、それをフレームの動き補償に適用する。図6は、全体の方法のフローチャートである。
好ましい実施例のシステムは、好ましい実施例の安定化方法を実行する、カムコーダー、デジタルカメラ、ビデオ携帯電話、ビデオ・ディスプレイ・デバイスなどを含む。図7は、一般的な画像処理パイプラインを示し、好ましい実施例の安定化は、符号化される必要はなく圧縮される必要もないが、好ましい実施例の安定化は、MPEG/JPEG機能において実行され得、及び動きベクトル判定と組み合わされ得る。実際に、安定化されていない映像を、表示プロセスの一部として適用された好ましい実施例安定化を用いて表示することができる。
好ましい実施例のシステムは、デジタル・シグナル・プロセッサ(DSP)、汎用プログラマブル・プロセッサ、特定用途向け回路、又は種々の特化されたプログラマブル・アクレラレータと共にDSP及びRISCプロセッサを組み合わせたものなどのシステム・オン・チップ(SoC)など、幾つかの種類のハードウェアのうち任意のものと共に実施され得る。図8は、左上にビデオ処理サブシステムを備えたデジタルカメラ・アプリケーション用のプロセッサの一例を図示する。実装された又は外付けの(フラッシュEEP)ROM又はFRAMにストアされたプログラムが信号処理を実施することができる。アナログ−デジタル変換器及びデジタル−アナログ変換器は、現実世界への接続を提供することができ、変調器及び復調器(及び無線インターフェース用のアンテナ)は、伝送波形への接続を提供することができ、パケット化器は、インターネットなどのネットワークで転送するためのフォーマットを提供することができる。図9参照。
第1の好ましい実施例のDISアプローチは、以下の3つの工程を含む。
工程1 細分化:フレームの階層的な画像表示の最上レベル(最低解像度)を処理することによる、各フレームのブロック・ベースの細分化の計算。
工程2 グローバル動き推定:工程1で算出された細分化、及び階層的な画像表示を用いる、フレームのグローバル動きベクトルの推定。
工程3 動き補償:工程2で算出されたグローバル動きベクトルを用いる、現在のフレーム内のジッター動きの補償。
これらの工程を以下の段落で詳細に説明する。
工程1−細分化
図1に示すように階層的な画像表示を生成するため、一連のフレームの各新規フレームを処理する。この階層的表示は、オリジナル画像の、異なる解像度での幾つかのバージョンで構成される。この表示の各レベルは、ガウス核を用いるなど、より高い解像度レベルのローパス・フィルタリング、及びその後の、各方向への因数2のダウンサンプリングによって得られる。このフィルタリング及びダウンサンプリング・プロセスは、オリジナルフレームの漸次一層低い解像度バージョンを生成するため、多数回数反復される。レベルの数は、入力フレーム・サイズに応じて変化する。VGA入力(640×480画素)の場合、例えば、640×480、320×240、160×120、及び80×60の画像を提供する4レベル表示を用いる。一般に、好ましい実施例は、サイズが非常に粗い80×60画素の上位レベル(最低解像度)を用いる。2つのフレーム(現在のフレーム、及びその前のフレーム)の階層的表示は、動き推定のためメモリに保持される。
現在のフレームのブロック・ベースの細分化を計算するため、現在の及び前のフレームの階層的表示の最上レベルを用いる。この細分化の目的は、フレームを個別の動き領域に分割することである。特定の領域の全ての画素が同一の動きベクトルを有すると想定される。第1の好ましい実施例の方法は、図2に示すように16ブロックを用い、最上レベルの80×60フレームは、4×4アレイのブロックに分割され、各ブロックは16×12画素サイズ、及び幅6又は8画素の境界領域(動きベクトル計算に用いられる)である。その後、低いレベルのブロックは、32×24、64×48、及び128×96画素となる。
細分化を計算するため、まず、前のフレームの最上レベルを参照フレームとして用いて、階層的表示の最上レベルの各ブロックに対しSADベースの動き推定を行なう。すべてのあり得る動きベクトル(MV)に対して、SAD(sum−of−absolute−differences)計算を含む全検索を用い、そのブロックのMVを最小SADを有するものとして選択する。明確に言えば、時間tの現在のフレームで、p(i,j)が(i,j)に位置する画素の(輝度)値を意味し、pt-1(m,n)が前のフレーム画素を意味し、MV=[MVx,MVy]が、あり得る動きベクトルを意味する場合、次のようになる。
Figure 2008541508

このプロセスは、2つの小さな低解像度のフレームを用いて成されるため、計算の複雑度は低い。最小SADを見つけると、下記のように、最小SADの垂直及び水平方向の4つの隣を用いて信頼性スコアを計算する。Sが最小SADを意味し、St、Sb、Sr、及びSlが、それぞれ最小SADの上隣、下隣、右隣、及び左隣を意味する場合、つまり、V=[Vx,Vy]が最小Sを提供するブロック動きベクトルであるとすると、Stは動きベクトル[Vx,Vy−1]のSADであり、Sbは動きベクトル[Vx,Vy+1]のSADであるなどとなる。我々がSAD差と呼んでいる、(St−S)+(Sb−S)+(Sr−S)+(Sl−S)の和を計算する。これは、ブロックのテクスチャ・コンテンツの大きさであり、そのMVの信頼性を示す。
ブロックのMVが利用可能になると、動き領域を識別するため、それらをクラスタリングする。クラスタリングに進む前に、まず、信頼性の最も低いMVを取り除く。信頼性の最も低いMVを識別するため、下記の2つの制約条件を用いる。
1)MVの水平又は垂直の振幅が或る閾値よりも大きい場合、そのMVを信頼性の低いものとしてマーキングする。閾値の典型的な値は、2から5の範囲である。
2)ブロックのSAD差が或る閾値よりも小さい場合、そのMVを信頼性の低いものとしてマーキングする。閾値は、2で割った1つのブロック内の(8ビットの)画素の数であり得、このため、16×12ブロックの場合閾値は96となる。
信頼性の低いMVを取り除いた後、各クラスタが同一のMVを含むMVをクラスタリングすることにより候補動き領域を見つける。即ち、候補動き領域は、同じ(信頼性の高い)MVを有する全てのブロックで構成される。クラスタの数は、異なるMVの数に等しくなる。このとき各MVクラスタは候補動き領域に対応する。
次に、下記のように、その領域に属さないMVを有する領域を吸収することによって、各候補動き領域を成長させる。MVと、候補動き領域内のあらゆるMVとの間のベクトル空間距離が1以下である場合、そのMVのブロックを候補動き領域に吸収する。このプロセスの間、幾つかのブロックが1つ以上の領域に含まれていてもよい。つまり、候補動き領域は重複し得る。
すべての利用可能な候補動き領域の中から、下記のように、各領域のスコアを計算することによって、映像安定化に用いられるべき最良領域を見つける。
総スコア=相対動きスコア+サイズ・スコア+重複スコア
相対動きスコアを計算するため、まず、各領域の相対動きを計算する。或る領域内の各ブロックに対し、下記の形式の自己回帰を用いて、経時的にMVを累積することにより、対象(ブロック内)とカメラとの間の相対動きを計算する。
Figure 2008541508

ここで、
Figure 2008541508

はt番目のフレーム内のj番目のブロックの相対動きであり、aは累積係数であり、
Figure 2008541508

はt番目のフレームのブロック動きベクトルである。第1の好ましい実施例は0.8に等しいaを用いる。この数式は、
Figure 2008541508

に対しローパス・フィルタを実行する。各ブロックの相対動きが利用可能になると、その領域内の全てのブロックの相対動きを平均化することにより、各候補動き領域の相対動きを見つける。各領域の相対動きが与えられると、相対動きスコアは下記のように計算される。
相対動きスコア=min((maxRelMotV−relMotV),(maxRelMotH−relMotH))
ここで、maxRelMotV及びmaxRelMotHは、垂直及び水平方向の最大許容相対動きであり、relMotV及びrelMotHは、垂直及び水平方向の現在のブロックの相対動きである。maxRelMotV及びmaxRelMotHの典型的な値は、2から5の範囲である。動き領域の相対動きスコアが負である場合、その領域を信頼性が低いものとしてマーキングし、それを更に考慮することはない。
サイズ・スコアは、領域内のブロックの数を定数で乗算することによって計算される。第1の好ましい実施例は0.1を定数として用いる。
重複スコアは、定数を、前のフレームの細分化と重複する領域内のブロックの数で乗算することによって計算される。この定数として、第1の好ましい実施例は0.4を用いる。
すべてのクラスタ・スコアが利用可能になると、映像安定化のために最高スコアを有するクラスタが選択される。この時点で残存するクラスタがない(それら全てが負のスコアを有するため)場合、現在のフレームの映像安定化をディスエーブルにする。
選択されたクラスタがあまりに多くのブロックを有する場合、計算の複雑度の理由で一層小さくすることができる。ブロックの数を減らすため、最小SAD差を有するブロックを除去する。
工程2−グローバル動き推定
階層的表示の一層低いレベル(一層高い解像度)に向って続行する。各レベルで、まず、細分化(一層高いレベルから)内の有効とマーキングされたブロックに対し、動き推定を行う。動き推定は、MVを一層高い精度まで精錬する。図3参照。動き情報の精度が増すにつれて、それまで一層低い解像度で識別不可能だった動き領域を、ここで分離することができる。そのため、この新しい動きベクトルを用いて現在の細分化を更新する。細分化を更新するため、最上レベルで用いたものに類似する手順を用いるが、ここでは、現在の細分化で有効とマーキングされたブロックのみを用いる。まず、精錬されたMVを、各クラスタが同一のMVを有するようにクラスタリングする。その後、候補動き領域を見つけるため各クラスタを成長させる。成長プロセスの間、新しいMVと、そのクラスタ内のMVとの間の最大距離が1以下である場合、そのMVをそのクラスタに吸収する。現在のレベルの閾値1は、前の上位レベルの閾値0.5に対応することに注意されたい。階層的表示の一層低いレベルのより正確な動き情報が現れるにつれて、一層高い精度での動き領域の分離が進む。候補動き領域が見つかると、各候補動き領域の総スコアを計算し、映像安定化のため最良クラスタを選択する。この手順は、最上レベルで用いた手順と同一である。選択されたクラスタがあまりに大きい場合、動き推定の複雑度を低減するため、信頼性の最も低いブロックを除去することが可能である。信頼性の最も低いブロックを識別するためにSAD差を用いる。
階層的表示の連続的に一層低いレベルにおいて上述の手順を反復する。最も低いレベルで、MVがクラスタリングされると、動き領域を成長させず、単にそれらの総スコアを計算し、映像安定化のため最良のものを選択する。領域は最低レベルでは成長しないため、残存するクラスタは同一のMVを有するブロックを有するはずである。この動きベクトルは、フレームを安定化させるために用いられるグローバルMVである。
グローバル動き推定プロセス中の任意の地点でブロックがなくなる場合、現在のフレームは動き推定に適していないため、映像安定化をディスエーブルにする。映像安定化をディスエーブルにするということは、ウィンドウ位置のトリミング(cropping)は現在のフレームでは更新されないことを意味する。
工程3−動き補償
各フレームに対し、好ましい実施例の方法は、画像からサブウィンドウをトリミングし、図4に図示するように、それを閲覧者に示す。このサブウィンドウが、(推定された)ジッター動きとは逆方向に適切に動かされる場合、閲覧者はジッターに気づかない。サブウィンドウ動かすために下記の数式を用いる。
=Kt-1-W
ここで、Uは、現在のフレームのサブウィンドウの左上の角の座標を表し、Wは、現在のフレームに対して推定されたグローバルMVであり、Kは、適応累積係数である。この数式は、サブウィンドウの左上の角の垂直及び水平の座標に個別に適用される。Uの基準点は、ウィンドウが当初の位置から動いていない第1のビデオ・フレーム内でUがゼロとなるような、フレームの中央のウィンドウに対して中間の地点である。Kは、サブウィンドウが、その中間地点からどのくらい遠いかによって、最小値と最大値の間で線形に変化する。Kの値は下記のように計算される。
=[(Kmin-Kmax)||Ut-1||/Umax]+Kmax
ここで、||Ut−1||は、Ut−1の成分の絶対値の和であり、Umaxは、サブウィンドウに許容されるその中間地点からの偏差最大値であり、KmaxはKの最大値であり、KminはKの最小値である。第1の好ましい実施例はKmax=1及びKmin=0.85を用いる。
変形例
好ましい実施例は、低解像度のフレーム細分化、一層高い解像度で細分化された領域の動きベクトル精錬、一層高い解像度の動き情報が得られた際の細分化の更新、及びグローバル動きベクトルを用いたウィンドウ位置更新、の1つ又はそれ以上の特徴を保持しつつ、種々の方法で修正され得る。
例えば、細分化のためのブロックのアレイは、3000画素で4×3のアスペクト比の3×3アレイや、8000画素で16×9のアスペクト比の8×5アレイなど、フレーム(例えば、3000から8000画素)、及びアスペクト比(例えば、縦長4×5アスペクト比、HDTV用の4×3、16×9など)の最低解像度バージョンの画素の数によって変化してもよい。すなわち、9から40ブロックまでが手ごろである。安定化は画像に対して全般的に実行され得る。すなわち、安定化は、個別の、或いは組み合わされたトップ・フィールド・ブロック及びボトム・フィールド・ブロックのいずれかを用いてフィールド毎に適用し得る。最低解像度全検索は、制限検索で置き換えることができる。SAD測定は、SSD(sum of squared differences)などの動きベクトル予測誤差の他の測定で、又はサブサンプリングされたSADで置き換えることができる。階層的表示の1つ又はそれ以上のレベルは、精錬(及び対応する調整)の間省くことができ、また、階層を画定するためにローパス・フィルタリング及びダウンサンプリングの異なる方法を用いることができる。動き推定プロセスが階層的表示の最高解像度に達したとき、2分の1ピクセル単位、4分の1ピクセル単位などのサブ画素解像度のための、動きベクトルの精錬及び細分化の更新を継続することができる。ウェーブレット分解のローパス・ローパスにおいてなど、入力フレームの低解像度バージョンが既に利用可能である場合、階層的表示を生成するプロセスを速めるためにこのバージョンを用いることができる。安定化されたサブウィンドウの位置を計算するために、現在の位置を考慮する異なる数式を用いることが可能である。種々の大きさ、閾値、累積係数などは変化してもよい。
図1は階層的な画像表示を図示する。 図2は画像細分化を示す。 図3はグローバル動き推定を示す。 図4は動き補償を図示する。 図5はフローチャートである。 図6はフローチャートである。 図7は、画像パイプライン、プロセッサ、及びネットワーク通信を示す。 図8は、画像パイプライン、プロセッサ、及びネットワーク通信を示す。 図9は、画像パイプライン、プロセッサ、及びネットワーク通信を示す。

Claims (10)

  1. デジタル画像安定化の方法であって、
    (a) 入力デジタル画像の低解像度バージョンを提供し、
    (a) 動き予測誤差に従って、前記低解像度バージョンを信頼性の高いブロック及び信頼性の低いブロックに分割し、
    (b) 前記信頼性の高いブロック用のブロック動きベクトルに従って、前記信頼性の高いブロックを候補動き領域に統合し、
    (c) 前記候補動き領域から前記低解像度バージョンの細分化を見つけ、
    (d) 前記細分化を前記入力画像の細分化に更新し、
    (d) 前記入力画像の前記細分化から前記入力画像用のグローバル動きベクトルを見つけ、更に
    (d) 前記グローバル動きベクトルを用いて前記入力画像内のジッター動きを補償する
    工程を含む方法。
  2. 請求項1に記載の方法であって、前記細分化を見つけることが、前記候補動き領域用のスコアを比較することを含み、或る領域用の前記スコアは、(i)最大値から平均相対ブロック動きの差、(ii)或る領域内の前記信頼性の高いブロックの数の大きさ、及び(iii)前の画像の低解像度バージョン用の細分化内にもある、或る領域内の前記信頼性の高いブロックの数の大きさを含む、方法。
  3. 請求項1に記載の方法であって、前記分割することが、前記ブロックの各々に対し、前記ブロック用の前記予測誤差と、前記ブロック動きベクトルに等しい動きベクトルを有する予測誤差に前記ブロック動きベクトルの2つの構成要素のうちの1つの1の増分又は減分を加えたものとの差の合計を、閾値と比較することを含む、方法。
  4. 請求項1に記載の方法であって、前記細分化を前記更新することが、前記入力画像の中間解像度バージョンの細分化に対する第1の更新、及び、前記入力画像の前記細分化に対する中間解像度バージョンの前記細分化の第2の更新を含み、前記中間解像度バージョンが、(i)前記低解像度バージョンよりも高い解像度、及び(ii)前記入力画像より低い解像度を有する、方法。
  5. ビデオ・フレーム用のジッター補償の方法であって、
    (a) 入力フレームに対し解像度階層、F、F、‥‥Fを提供し、Nは2より大きい整数を有し、前記入力フレームはFに等しく、
    (b) 前記Fをブロック及び境界領域に分割し、
    (c) 前記ブロックの各々に対し、(i)ブロック動きベクトルを計算し、(ii)前記ブロック動きベクトル用の予測誤差、及び前記ブロック動きベクトルから1だけずれている動きベクトル用の予測誤差を計算し、(iii)前記予測誤差の差の合計が第1の閾値を超えるとき、前記ブロックの前記各々を信頼性の高いブロックとして指定し、
    (d) 前記信頼性の高いブロック用のブロック動きベクトルに従って、前記信頼性の高いブロックを候補動き領域に統合し、
    (e) (i)ブロックの数、(ii)前のフレームの階層の細分化内のブロックに対応するブロックの数、及び(iii)相対ブロック動きベクトルの平均値、に従って、前記領域を比較することにより、前記候補動き領域からFのための細分化を選択し、
    (f) n=2、‥‥、Nの場合、Fn-1の前記細分化のブロックに対応するブロックに対して工程(c)〜(e)を反復することにより、Fのための細分化を選択し、
    (g) Fの前記細分化からグローバル動きベクトルを計算し、更に
    (h) 前記入力フレームをジッター補償するために前記グローバル動きベクトルを用いる
    工程を含む方法。
  6. 請求項5に記載の方法であって、前記相対ブロック動きベクトルが、前記ブロック動きベクトルのローパス・フィルタリングである、方法。
  7. 請求項5に記載の方法であって、前記ジッター補償することが、前記入力フレーム内のサブウィンドウの位置を画定するための前記グローバル動きベクトルの適応累積を含む、方法。
  8. 請求項5に記載の方法であって、ブロックへの前記分割が、9ブロックから40ブロックの間を提供する、方法。
  9. ビデオカメラであって、
    (a) 画像取り込み器、
    (b) 前記画像取り込み器に結合されるジッター推定器であって、
    (i) 解像度階層ダウンサンプリング器、
    (ii) 前記ダウンサンプリング器に結合される細分化器であって、入力画像から計算された解像度階層の各レベルに対し、細分化及び動きベクトルを順次見つけるように動作し得る前記細分化器、
    (iii) 前記細分化器に結合されるグローバル動きベクトル判定器、
    を含む、前記ジッター推定器、
    (c) 前のフレームの解像度階層のためのメモリであって、前記ジッター推定器に結合される前記メモリ、及び
    (d) 前記ジッター推定器に結合されるジッター動き補償器
    を含む、ビデオカメラ。
  10. 請求項9に記載のビデオカメラであって、
    (a) 前記ジッター推定器が、プログラマブル・プロセッサのプログラムとして実装される、ビデオカメラ。
JP2008509186A 2005-04-28 2006-04-28 動き安定化 Abandoned JP2008541508A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US67608805P 2005-04-28 2005-04-28
US11/233,445 US7649549B2 (en) 2004-09-27 2005-09-22 Motion stabilization in video frames using motion vectors and reliability blocks
PCT/US2006/016330 WO2006116712A2 (en) 2005-04-28 2006-04-28 Motion stabilization

Publications (1)

Publication Number Publication Date
JP2008541508A true JP2008541508A (ja) 2008-11-20

Family

ID=37215565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008509186A Abandoned JP2008541508A (ja) 2005-04-28 2006-04-28 動き安定化

Country Status (4)

Country Link
US (1) US7605845B2 (ja)
EP (1) EP1878218A4 (ja)
JP (1) JP2008541508A (ja)
WO (1) WO2006116712A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041802A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2017022597A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI296178B (en) * 2005-12-12 2008-04-21 Novatek Microelectronics Corp Image vibration-compensating apparatus and the method thereof
WO2008012822A2 (en) * 2006-07-26 2008-01-31 Human Monitoring Ltd Image stabilizer
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
JP4893471B2 (ja) * 2007-05-24 2012-03-07 カシオ計算機株式会社 画像処理装置及びプログラム
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization
JP4958756B2 (ja) * 2007-12-13 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US8130277B2 (en) * 2008-02-20 2012-03-06 Aricent Group Method and system for intelligent and efficient camera motion estimation for video stabilization
JP5177513B2 (ja) * 2008-04-24 2013-04-03 京セラ株式会社 動きベクトル検出装置およびその方法、並びに撮像装置
US8120659B2 (en) * 2008-05-22 2012-02-21 Aptina Imaging Corporation Method and system for motion estimation in digital imaging applications
US8284266B2 (en) * 2008-06-02 2012-10-09 Aptina Imaging Corporation Method and apparatus providing motion smoothing in a video stabilization system
JP5572697B2 (ja) * 2009-05-01 2014-08-13 コーニンクレッカ フィリップス エヌ ヴェ 画像に基づく照明制御及びセキュリティ制御のためのシステム及び装置
US8216640B2 (en) * 2009-09-25 2012-07-10 Hermes-Epitek Corporation Method of making showerhead for semiconductor processing apparatus
CN102117128B (zh) * 2009-12-31 2013-03-27 敦南科技股份有限公司 高解析度图像感测装置及其图像运动感测方法
US8179446B2 (en) * 2010-01-18 2012-05-15 Texas Instruments Incorporated Video stabilization and reduction of rolling shutter distortion
CN101984651A (zh) * 2010-09-08 2011-03-09 北京中星微电子有限公司 图像稳定系统、显示装置及稳定图像的方法
US9491375B2 (en) 2011-09-29 2016-11-08 Texas Instruments Incorporated Method, system and computer program product for reducing a delay from panning a camera system
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
KR101783990B1 (ko) * 2012-12-21 2017-10-10 한화테크윈 주식회사 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
CN104349039B (zh) * 2013-07-31 2017-10-24 展讯通信(上海)有限公司 视频防抖方法和装置
US9998663B1 (en) 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
EP3054685A1 (en) * 2015-02-04 2016-08-10 Thomson Licensing Hierarchical motion estimation and video segmentation in presence of more than one moving object in a block
US9706086B2 (en) * 2015-08-26 2017-07-11 Intel Corporation Camera-assisted display motion compensation
CN108881668A (zh) * 2017-06-02 2018-11-23 北京旷视科技有限公司 视频增稳方法、装置、系统和计算机可读介质
US10638151B2 (en) * 2018-05-31 2020-04-28 Verizon Patent And Licensing Inc. Video encoding methods and systems for color and depth data representative of a virtual reality scene
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
US5499055A (en) * 1993-04-21 1996-03-12 Erin Technologies, Inc. Gob measuring apparatus
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
JP4796696B2 (ja) * 1999-05-07 2011-10-19 プレゼント インヴェストメンツ エルエルシー ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体
US6628711B1 (en) * 1999-07-02 2003-09-30 Motorola, Inc. Method and apparatus for compensating for jitter in a digital video image
KR100683849B1 (ko) 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
JP3886769B2 (ja) * 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041802A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2017022597A (ja) * 2015-07-13 2017-01-26 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
EP1878218A2 (en) 2008-01-16
WO2006116712A3 (en) 2007-03-15
WO2006116712A2 (en) 2006-11-02
US20060244836A1 (en) 2006-11-02
EP1878218A4 (en) 2009-07-01
US7605845B2 (en) 2009-10-20

Similar Documents

Publication Publication Date Title
JP2008541508A (ja) 動き安定化
US7649549B2 (en) Motion stabilization in video frames using motion vectors and reliability blocks
US8625673B2 (en) Method and apparatus for determining motion between video images
KR101861722B1 (ko) 비디오 데이터를 처리하는 방법과 이미지 처리 회로
US9137424B2 (en) Method for flicker detection in image signal
JP4242656B2 (ja) 動きベクトル予測方法及び動きベクトル予測装置
KR100534207B1 (ko) 비디오 부호화기의 움직임 추정기 및 그 방법
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
US20130271666A1 (en) Dominant motion estimation for image sequence processing
KR19990035896A (ko) 모션 벡터를 추정하는 방법, 장치 및 그 장치를 포함하는 비디오 디스플레이 장치
Auberger et al. Digital video stabilization architecture for low cost devices
KR20040049214A (ko) 고속 모션벡터 추정장치 및 방법
CN101189870A (zh) 运动稳定
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
KR100436593B1 (ko) 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
CN116347232A (zh) 一种实时视频稳像方法及装置
Bhujbal et al. Review of video stabilization techniques using block based motion vectors
JPH08242454A (ja) グローバル動きパラメタ検出方法
Kwon et al. Edge based adaptive Kalman filtering for real-time video stabilization
KR20070014913A (ko) 촬상장치의 손떨림 보정방법
KR100228682B1 (ko) 손떨림 보정시 전체적인 움직임 검출장치 및방법
JP2019097004A (ja) 画像生成装置、画像生成方法及び画像生成プログラム
JP2007510980A (ja) 画像シーケンスにおける副画像のトラッキング
JP2003309820A (ja) 動きベクトル検出装置及び方法
JP2019092013A (ja) 画像生成装置、画像生成方法及び画像生成プログラム

Legal Events

Date Code Title Description
A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090121