TW201127028A - Method and apparatus for image stabilization - Google Patents

Description

201127028 , * 六、發明說明： 【發明所屬之技術領域】 本發明大體上係關於視訊資料之數位影像穩定化，且更 特定言之係關於在擷取期間由—C M 〇 s感測器偵測之影像 資料的數位穩定化。 本申請案主張2009年1〇月14曰申請之美國臨時申請案第 61/251,379號之權利，該案以引用的方式完全併入本文 中。 【先如技術】 使用者操作視訊成像器件（且尤其是手持記錄器件）可能 因操作者在支樓該成像器件時之小移動而產生模糊或位移 影像資料。然而，模糊或失真影像資料並不佳。因此，已 使用習知方法及器件來穩定化由視訊成像器件擷取之影像 貝料。例如，一種習知方法包含使用一或多個運動感測器 來偵測成像器件之運動以校正影像資料。該等方法需要運 動感測器且仍可能導致數位失真，因為通常使用之運動感 測配置常常無法制旋轉運動。影像穩定化之難處可另外 增加使用成像器件之變焦特徵。 然而’習知方法及器件無法解決由C则感測器（尤1是 捲動快門感測器）操取之影像資料的即時或近乎即時 位視訊穩定化。先前之嘗試係針對執行離線後處理以補償 平移欠換然而’该等方法無法解決由局域物件運動引起 之離群點或無法校正捲動快門成像假影。另一方法涉及離 線處理’其因需要較高電力消耗、較高頻寬、車交高處理延 147663.doc 201127028 遲及較高演算複雜性而通常不同於線上處理。 因此，此項技術需要用以解決使用CM〇s感測器之器件 的一或多個缺點之系統及方法。 【發明内容】 本文揭示及主張用於穩定化影像資料之系統及方法。在 一實施例中’ 一種方法包含：债測一第一圖框之影像資 料η貞測-第二圖框之影像資料；執行運動估計以判定與 〇 鮮—圖框之影像資料的全域圖框運動相關聯之-或多個 運動向4;執行-離群點排除函式以選擇該一&多個運動 向量之至少一者；及至少部分基於藉由該離群點排除函式 所選擇之運動向量而判定該第一圖框之影像資料的一全域 變換。該方法進一步包含：ϋ由精緻化該全域變換而判定 6亥第一圖框之影像資料的一穩定化變換以校正無意運動， 及對該第-圖框之影像資料應用該穩定化變換以穩定化該 第一圖框之該影像資料。 〇 熟f相關技術者將從本發明之下述實施方式t瞭解本發 明之其他態樣、特徵及技術。 【實施方式】 結合圖式考慮下文說明之實施方式，將更清楚本發明之 特徵、目的及優點，相同元件符號在全文中係作對應地識 別。 本心明之態樣係關於藉由一成像器件穩定化影像資料 (諸如視。fL貝料)。在一實施例中’提供一種用於穩定化由 CMOS衫像感測器（諸如一捲動快鬥感測器或全域快門感 147663.doc 201127028 測峨測之影像資料的程序。該影像穩定化程序可基於 影像資料相對於先前影像資料圖框或連續影像資料圖框之 運動而判定—敎化變換以校正無意運動（諸如使用者移 動’其經轉譯為操取影像資料中之不穩定性）。無意運動 可指一成像器件之非期望之使用者運動，諸如手搖動。該 程序可包含回應於複數個運動向量之—扭曲變換，及用以 提供多階段精緻化程序以選擇—或多個運動向量之一離群 點函式。根據另一實施例，該程序可另外包含：基於先前 圖框資料或連續圖框資料而判定影像資料之一全域變換， 及判定與該全域變換相關聯之一可信冑量測以減少該全域 變換中之假（false)估計。該程序可進一步包含：基於該全 域變換而判定-穩定化變換，以校正影響影像資料谓測之 一或多個無意移動。 根據另一實施例，提供一種成像器件，如本文所述該成 像器件係用於即時或近乎即時地穩定化視訊影像資料。以 此方式，可偵測及校正影像資料而無需後處理該視訊影像 資料。 例示性實施例說明 圖1描繪根據本發明之一實施例之經組態以提供影像資 料穩定化的一成像器件之一簡化方塊圖。器件1〇〇係指諸 如一攝影機之一成像器件或包含一視訊成像器件（例如， 個人通信單元）之通用器件。器件1〇〇之影像感測器1〇5可 經組態以擷取一或多個圖框之影像資料。根據一實施例， 影像感測器105係指一互補金屬氧化物半導體（CM〇s)感測 147663.doc 201127028 器。根據另一實施例’影像感測器i 05可指一捲動快門感 測器及全域快門感測器之一者。如本文所使用，一捲動快 門感測器係指藉由橫越圖框垂直或水平地掃描影像感測器 之像素資料而進行偵測的影像獲取器件。一全域快門感測 器係指其中同時擷取圖框影像資料。 器件100包含處理器110，該處理器110係耦接至影像感 測器105且可經組態以處理由影像感測器ι〇5偵測之與一或 ◎ 多個圖框相關聯之影像資料。系統之例示性輸入包含（但 不限於）標準清晰度視訊（SD)及高清晰度（HD)視訊。處理 器110 了經組態以處理影像資料以經由輸入/輸出介面11 $ 輸出及/或儲存於記憶體12〇上。在某些實施例中，器件 100可經組態以輸出影像資料至供儲存用的選用記憶體 125(例如，可抽換媒體、DVD_r等等）及/或輸出至選用顯 不器13 0。 如下文將參照圖2更詳細地描述，器件1 〇〇可經組態以執 ◎ 行一影像偵測程序，其包含：一或多次運動估計計算，判 定一全域失真，及對影像資料應用一複雜變換。處理器 11 〇可經組態以基於由影像感測器丨〇 5偵測之影像資料而提 供即時數位影像穩定化。根據另一實施例，處理器110可 經组態以將用於穩定化擷取影像資料之運動估計計算最少 化。器件100可進一步經組態以提供比仿射更加複雜之複 雜失真校正。處理器110可經組態以基於儲存於記憶體12〇 中之一或多個指令而操作，其中記憶體12〇係指r〇m記憶 體及RAM記憶體之一者。由器件丨〇〇接收之可執行指令及/ 147663.doc 201127028 或資料了由5己憶體120儲存。雖然上文已參照影像感測器 105之一捲動快門組態來描述器件1〇()，但同樣應瞭解器件 1 〇〇可指—全域影像感測器。雖然將圖1中之元件描述為硬 體仁應瞭解可以各種方式（包含硬體、動體、軟體及其 組合）來實施該等元件功能。 現在參照圖2，其描繪一種根據本發明之一實施例的用 於穩定化由圖i器件偵測之影像資料的程序。可藉由在區 ，205中@測_第—圖框之影像資料及在區塊2⑺中谓測一 第一圖框之影像資料而起始程序2〇〇。根據一實施例，在 品免05及21G中_到之影像資料可為連續圖框。圖框操 取間之延遲可基於财肋視訊資料之—視訊標準，該延 估計不限_Γ)30圖框/秒。在區塊215中’可執行運動 細地描述運動向量。如下文將參照圖3更詳 運 _王3運動（諸如整個影像圖框之運動）的 運動:量可計算局域運動（圖框内物件之運動）的 之影像=較與該第—圖框及該第二圖框相關聯 像身枓而判定運動 數個圖框來作運動仕斗在某些貫施例中’可使用複 或隨後_到之圖心執=如使用先前㈣到之圖框及/ 動估計可為階層式，其中；：：：計：在一實施例中，運 及細緻地解析影像資料。妙而疋一或多個運動向量以粗略 有區塊執行完整運動估計：’迫切需要對一圖框中之所 離群點函式。如 / 。因此，在區塊220中可執行一 群點函式以選擇—j參照®1 4更詳細地描述’可執行離 "個運動向量。離群點函式可判定哪 147663.doc 201127028 些運動向量與影像圖框内之全域運動不相關，且因此選擇 與全域運動相關聯之運動向量。以此方式可移除可能導致 次優穩定化之離群點。

基於在區塊220中執行之離群點函式，可藉由基於第一 圖框及第二圖框之影像資料在區塊225中判定—全域變換 而繼續程序200。該全域變換提供—全域圖框運動量測，、 其可用於變換該影像資料以對準圖框。該全域變換可進一 步與-可信度量測相關聯。在一實施例中，處理器可判定 該全域變換之-可信度㈣。該全域變換之可信度量測可 基於若干量度且可取決於有效運動向量對圖框的覆蓋率。 愈高覆蓋率應導致愈高可信度。檢查㈣測之全域變換的 參數，且參數與正常值（例如，變焦倍數應接近於i)之高偏 差亦將導致較低可信度。另夕卜對於相同覆蓋率，較^貞 測捲動快門假影將導致一較低可信度值。 可信度量測可用於在-或多個圖框中存在三維（3d)及/ 或複雜運動（例如，-場景）之情況下減少對全域變換之假 估計。當場景資訊包含有限細節時，可信度量測可類似地 減二假估5十。舉例而言’關於—白牆之一或多個影像圓框 可此V致可度等級降低’因為可能難以辨別一或多個圖 私中之細即。一全域變換之可信度量測可取決於一或多個 料之間的該全域變換之複雜度。根據另一實施例，可信 θ、、彳可扎全域變換中發現之捲動快門效應及/或其他 不期望效應及運動向量對一圖框的覆蓋率。例如，對於複 雜之全域變換’應判定較高數量之運動向量以在一系列圖 147663.doc 201127028 框之間獲得相同可信度量測。藉由降低運動向量之覆蓋 率，可減少可信度量測。以此方式’可信度量測可用於^ 由摻合全域變換與一識別變換而調節全域變換其中對於 零可信度等級，全域變換將為識別變換。 基於在區塊225中判定之全域變換，該器件隨後可在區 塊230中判定一穩定化變換。一穩定化變換可用於校正一 影像圖框上之無意運動，諸如使用者之無意移動。穩定化 變換可進一步校正一或多個捲動快門假影，諸如偏斜、抖 動、部分暴露及失真。在一實施例中，藉由使一全域變換 暫時地平滑化而從連續圖框之間的一全域變換中提取有意 運動。在一實施例中，可藉由遞歸濾波（諸如使用卡爾曼 (Kalman)濾波）而使全域變換平滑化。捲動快門假影可視為 全域變換之一不期望部分且因此全域變換之濾波不應包含 使該等捲動快門假影平滑化，可判定騎無意運動 之穩定化變換。在一實施例中，穩定化變換之校正可特徵 化為：

Xnm= ClXold + C2>oH + C^XV + C4 + C5 y»m = C6Xold + ciy〇id + c%xy + c9ylld + c10 其中\_及7。1(1為一經校正影像之像素座標，且Xnew&ynew為 #員取圖框之像素資料。 根據另一實施例，穩定化可特徵化為：

Xfiew~ Cl^〇!d + Ciy〇ld + C3·^ + + C5X^ + C6 y^ew = C7Xc}d + CsVold + C9xy + + + Ci2 在區塊235中，對第一圖框之影像資料應用穩定化變 換。可即時或近乎即時地判定穩定化變換之判定及應用。 147663.doc -10· 201127028 在一實施例中，藉由處理器之一扭曲單元 而執行穩定化變 換以基於該穩定化變換而變換像素資料。例 』那，—扭曲程 序可基於§亥變換而替換一或多個個別偏移像素。 雖然上文描述之程序200僅關於數位視訊穩定化， 瞭解程序200可校正一成像感測器（例如， 亦應 知像感測器105) 之透鏡失真效應。例如，程序200可包含對運動估計期間 於區塊215中所判定之運動向量應用—反轉透鏡失真^

式。另外，在區塊235中應用一穩定化變換可執行無意運 動校正及透鏡失真校正。 圖3Α至圖3Β描繪與一圖框相關聯之影像資料的圖形表 示。首先參照圖3Α，影像圖框305為未受一影像感測器之 無意運動或捲動快門假影影響的影像資料之一簡化描繪 圖。根據本發明之一實施例，可提供即時或近乎即時之影 像資料穩定化以考量影像資料之全域運動。影像圖框3〇5 可包含一或多個物件31〇1·η，如圖所示為人31〇ι及氣球 31〇η。如圖3Α所示，與物件31〇1相關聯之影像資料包含如 3 1 5所示之細節。 現在參照圖3Β，其描繪包含因成像器件在擷取期間之無 意運動所致之一或多個不一致性（例如，模糊、假影等等） 的一圖框影像資料。影像圖框32〇係指包含物件3 1〇1·η之影 像圖框305。在一實施例中，圖框320之影像資料係指由一 成像器件（例如’器件100)之一捲動快門感測器偵測之影像 資料。在擷取影像資料時影響成像器件之無意運動（其可 包3衫像寊料之全域運動）可沿如圖所示之方向3 2 5 χ、 147663.doc 201127028 325y、33〇a及33〇13而調整像素資料。基於圖框32〇之男像 資料及一第二圖框（圖3中未顯示）之影像資料，可判定I或 多個運動向量。舉例而t，運動向量34〇ι·2係指物件3二 之影像資料的運動。另外’因物件31〇ι之無意運動細節(例 如，細節315)而可能致使如345所示之模糊或失真。運動 向量350係指物件31〇„之運動。另外，可判定影像圖框之 影像資料的運動向量（如36〇1_η所示），且該等運動向量可與 該圖框之一或多個區域相關聯。為了提供即時影像穩定 化，可選擇該影像圖框之一或多個運動向量以判定一穩定 化變換。可藉由一離群點函式而判定該等運動向量:= 擇。根據另一實施例，可選擇一或多個運動向量使得運= 估計數量最少化。 現在參照圖4，其描述一種根據本發明之—或多個實施 例之用於藉由一離群點函式而選擇一或多個運動向量的程 序。程序400容許選擇一或多個運動向量以使運動估計= 算最少化。此外，影像資料之穩定化可考量局域移動物件 且可追縱經歷非全域運動之圖框區域。 可藉由在區塊405中獲得運動向量而起始程序4〇(^離群 點函式可經組態以基於一或多個運動向量權重而判定並非 全域運動之一部分之運動向量。運動向量權重可反映待視 為一内群點（inlier)之一圖框之各個區域的相關性（例如全 域運動指示符）。當選擇影像資料之諸區塊之諸區域以判 定一全域變換時可使用運動向量權重，且因此該等運動向 量權重可形成程序400之離群點函式所使用權重之基礎。 147663.doc •12- 201127028 因此，在區塊405中獲得之運動向量資料可包含與各個運 動向量相關聯之運動向量權重。可對一組導出的、近乎最 佳、稀疏之選定影像位置執行運動向量分析。使用一组稀 疏影像位置來作運動向量分析可減少運動向量分析時間及 處理需求。評定關於-視訊圖框之區域含有展現全域運動 之區域或展現局域運動之物件的似然率，此可用於選擇一 或多個區域且在隨後用於選擇在將來圖框中出現之區域。 〇 如下文將予以描述，程序400可執行一或多次反覆且因此 可進一步包含在區塊405中將反覆次數設定為零。 在區塊410_，可從所獲得之運動向量資料中選擇一或 多個運動向量。在一實施例中，纟區塊41〇中可隨機選擇 運動向量。可基於離群點函式所使用之一模型來選擇運動 向量之數量。基於選定之運動向量，可在區塊415中估計 一模型^ 為僅校正平移運動，例如，對於影像感測器之一全域快 Q 門感測器，可使用如下模型：

Xnm ~ x〇m + <^x - y〇id + dy 為校正可變焦之平移運動及旋轉運動，例如，對於—全 域快門感測器，可使用如下模型： ~ ^x〇m + fy'oid + dx ynm ~ + + dv 為校正假定簡單相機運動之捲動快門變換，可使用如下 模型： 147663.doc -13- 201127028 x«^= + (v„ + r)x〇ld + vrylM + dx = ~rxold +(1 + vy)y〇ld -vrxoldyold + dy 為校正假定複雜相機運動之捲動快門變換，可使用如下 模型： cvxold + c2yold + c3^； + c4yjld + c5xld + c6 = c7x〇ld + csvold + c9xy + cmy2old + cnx2old + cl2 因此’可基於選定運動向量而在區塊415中計算模型參 數，且可藉由在區塊420中根據區塊415中所計算之模型參 數來判定自400中獲得之該組所有運動向量中哪些運動向 量為内群點而繼續程序400。若一運動向量與區塊415中所 判定之一選定模型一致而最多達一預定義臨限值，則可將 其標記為一内群點。基於區塊42〇中判定之内群點可在 區塊425中儲存具有最高標記（例如，具有最大數量之内群 點運動向量或具有最高總權重之内群點運動向量）之一模 型’其包含用以判定内群點運動向量之相關資訊。 基於選定之運動向量資料，程序4〇〇可在區塊43〇中檢查 是否執行一額外反覆。根據一實施例，可能需要大量反 覆。當待執行額外反覆時（例如，決策區塊430外之「否」 路徑），在區塊435中可增加反覆次數，且在區塊41〇中可 選擇一或多個運動向量。在區塊415中可更新選定運動向 量之一估計模型。當滿足反覆次數時（例如，決策區塊43〇 外之「是」路徑），在區塊440中可完成離群點函式。離群 點函式結果可減少運動向量之數量並且減少執行用於判定 —全域變換之運動估計所需的總處理。 147663.doc -14· 201127028 作為最後階段，在將運動向量歸類為與全域圖框運動相 關聯之運動向量（即，内群點）及與非全域運動相關聯之運 動向量（即，離群點）後，離群點函式可包含内群點追縱， 其負責追縱在圖框之間具有非全域運動之區域且為圖框之 各個區域提供權重。區域權重反映含有展現全域運動之區 域（相對於展現局域運動之區域或物件）的似然率。隨後， ◎ ❹ 如上文所述藉由對暫時閉合之圖框操作離群點函式而使用 該等權重。 現在參照圖5,其描緣—系列圖框之即時數位影像穩定 化的一圖形表示。場景⑽係指由器件之—影像感測器伯 測之一或多個圖框5〇5ι·η，纟包含由於無意運動引起之一 或多個捲動快門假影。基於㈣到之影像資料，本文所述 之器件及方法可經組態以提供場景之影像穩定化。圖框 51〇14示將如本文所述之一判定穩定化變換應用於圖框 5〇5】.η。根據-實施例，與圖㈣&及圖框$叫相關聯之影 像資料可用於判定導致影像51()丨之m變換1據另 厂實施例’除當前圖框（諸如圖框5G52)外，先前圖框及隨 後圖框可用於將影像穩定化應用於圖框資料（諸如圖框505l 與圖框5〇52)。或者或以1且合方式，校正影像資料（諸如影 像圖框51(h)可用於校正當前圖框（諸如5〇52)。 根據另-實施例’場景·進一步描緣校正歸因於益音 運動而引起之影像資料的全域運動，且進—步容許物 料之局域運動。例如，在校正影像穩定化期間可維持物件 15】-n及物件520、之局域運動。因此，圖框5ι〇ι_η包含物 147663.doc .15· 201127028 件52\-n及530Nn，其中已校正影像資料之無意全域運動同 時維持局域運動。 圖6描繪根據本發明之一實施例的—影像圖框之一圖形 表不。根據一實施例，影像感測器（例如，影像感測器1〇5) 可提供與超過視訊圖框尺寸之像素區域（諸如不可見偵測 區域或光學黑暗區域，如605所示）相關聯的額外資料。根 據一實施例，除一圖框（如610所示）之影像資料外，可將不 可見偵測區域605之像素資料用於判定一全域變換。根據 另一實施例，本文所述之器件及方法可進一步經組態以考 量一物件之複雜運動。如圖6所描繪，在校正無意運動期 間可考里物件615之複雜運動（如方向箭頭62〇與625所示）。 根據另一實施例，另外可將與區域（如MO所示）相關聯之圖 框的像素資料用於偵測複雜運動。區域63〇係指該偵測區 域之一垂直區域。可將與一第一影像中之區域63〇相關聯 之像素資料與一第二圖框中之區域63〇之像素資料相比 較，以幫助校正無意運動。應瞭解可類似地使用其他區域 (region)或區域（area)。 現在參照圖7，其描繪根據本發明之另一實施例之經組 態以提供影像資料之即時穩定化之—器件的一簡化方塊 圖。器件700係指圖1之器件，其包含經組態以判定應用於 影像資料之一影像穩定化變換的穩定化電路。因此，可與 上文參照圖1所述之元件類似地操作器件7〇〇中之元件。器 件700包含影像感測器705及耦接至影像感測器7〇5之處理 器710。處理器71〇可經組態以基於一穩定化電路715:對 147663.doc -16 - 201127028 &像資料應用影像穩定化。穩定化電路7i5可經組態以判 定如本文所述之穩定化變換。處理器71〇可經組態以經由 輸出介面720輸出射化料#料及/或將其儲存於記憶體 725上。在某些實施例中，器件7〇〇可經組態以輸出影像資 料至選用§己憶體73〇(例如，可抽換媒體、等等）及/ 或選用顯示器735。 雖然已描述且圖式中已顯示某些例示性實施例，但應瞭 〇 解°亥等實施例僅為闡釋性而非限制本廣義發明，且本發明 並/不限於所顯不及描述之特定構造及配置，因為熟習此項 技術者可瞭解各種其他修改。本文所參考之商標及版權係 其各自所有者之財產。 【圖式簡單說明】 圖1描繪根據本發明之—實施例的一視訊成像器件的一 簡化方塊圖； 圖2描繪一種根據本發明之一實施例的用於穩定化影像 ¢) 資料之程序； 圖3 A描繪根據本發明之—實施例的一圖框之影像資料之 一圖形表示； 圖33¾繪根據本發明之一實施例的包含影像假影之圖 3A圖框的影像f料之1形表示； 圖4描繪根據本發明之一實施例的一離群點函式； 圖5描繪根據本發明之—實施例的一系列圖框之影像資 料的一圖形表示； ' 圖6描繪根據本發明之另一實施例的一圖框之影像資料 147663.doc 201127028 的一圖形表示；及 圖7描繪根據本發明之另一實施例的一視訊成像器件之 一簡化方塊圖。 【主要元件符號說明】 100 器件 105 影像感測器 110 處理器 115 輸入/輸出介面 120 記憶體 125 選用記憶體 130 選用顯示器 200 程序 305 影像圖框 310, 物件 3 15 細節 320 影像圖框 325x 方向 325y 方向 330a 方向 330b 方向 340,.2 運動向量 345 模糊或失真之 350 運動向量 360].n 運動向量 147663.doc - 18- 201127028

400 程序 500 場景 505卜n 圖框 51〇1-η 圖框 515m 物件 52〇!.η 物件 525卜„ 校正物件 53 〇ΐ-η 校正物件 605 不可見偵測區域 610 圖框 615 物件 620 方向箭頭 625 方向箭頭 630 區域 700 器件 705 影像感測器 710 處理器 715 穩定化電路 720 輸出介面 725 記憶體 730 選用記憶體 735 選用顯示器 147663.doc -19-

Claims (1)

1. 201127028 七、申請專利範園： l -種藉由-成像器件而穩定化影像 包括如下動作： 之方法，該方法 偵測一第一圖框之影像資料； 偵測一第二圖框之影像資料； 基於該第—圖框及該第二圖框之 估計’以判定與該第一圖框之影像資料二4而執行運動 相關聯之-或多個運動向量； 王域圖框運動 至:::離群點排除函式以選擇該—或多個運動向量之 至少部分基於藉由該離群點排除 '而判定該第-圖框之影像資料的—全域變換運動向 精由精緻化該全域變換而判定該第 ， 的-穩定化變換以校正無意運動；& 象資料 ❹ 肖該第-圖框之影像資料應用 該第-圖框之該影像資料。 讀以穩疋化 2. 之方法，其中該第―圖框係指連續地接在該 圖框之影像資㈣測之後偵測的-影像圖框。 # ::項1之方法’其中對該第-圖框及該第二圖框之 偵測到之影像資料係指由—捲動快門制器及 門偵測器之—者所偵測到之影像資料。 或快 4·===，運動估計係指階層式_別影 料之於影像資 J右干^度精緻化影像資料以選擇與該影像資科之全 147663.doc 201127028 域運動相關聯的一或多個運動向量。 5·如請求们之方&，其進-步包括將該運動估計限於分 析影像資料之選定區域以減少處理複雜度及時間。刀 6.如明求項1之方法，其中該離群點排除函 含：執行圖框之間的非全域運動之離群點追蹤以產生= 派給該影像資料之諸區域的權重值。 7_如請求们之方法，其中該全域變換係與用於對影像資 料運動進行分類之-或多個模型相關聯，其中權重係指 給該第—影像圖框之與該圖框之—或多個區域的_ 定運動向量相關之諸區域。 8·如π求項i之方法’其中計算該影像穩^化變換以減少 對複雜场景運動及該第十圖框之運動資料的不足細節之 一者的假全域變換估計。 ’ 9·如請求们之方法，其中應㈣影像穩定化變換包含： 像素資料之一扭曲變換以個別調整該第一圖框 多個像素位置。 1如請求们之方法，其中該影像穩定化變換藉由在判定 變換時對諸運動向量制—反轉透鏡失真函式及 透鏡失真。 Π錢失真函式來校正 11. 如睛求項1之方法，其中盔 以…“ 動係指使用者對該視訊 成像益件施加的不期望之運動。 影像感測器，其經組態以偵測一第 12. -種經組態以蚊化影像資料之器件，該器件包括： 圖框及一第 147663.doc 201127028 圖框之影像資料； 一記憶體；及 ::理器’其係麵接至該記憶體與該影像感測器，其 t處理器經組態以： 執行運動估計以判定盘 , p @j疋〃、°亥第一圖框之影像資料的全 一 Σ運動相關聯之一或多個運動向量； Ο 執仃一離群點排除函式以選擇該—或多個運動向量 之至少一者； 至少部分基於藉由該離群點排除函式所選擇之運動 向量而判定該第一圖框之影像資料的一全域變換； 藉由精緻化該全域變換而判定該第—圖框之影像資 料的一穩定化變換以校正無意運動；及 對該第-圖框之影像資料應用該穩定化變換以穩定 化該第一圖框之該影像資料。 13.如請求項12之器件，其中該第―圖框係指連續地接在該 第一圖框之影像資料偵測之後偵測的—影像圖框。 14·如請求項12之器件，其中該影像感測器係指-捲動快門 偵測器及一全域快門偵測器之一者。 15 ·如清求項12之器件，其φ ;重私^士 ^ 再中運動估计係指階層式地判別影 像資料之局域運動及全域運動的特徵，其中對於 眘 料之若干標度精緻化影像資料以選擇與該影像資料之全 域運動相關聯的一或多個運動向量。 16_如請求項12之器件，其中該處理器係進_步經組態以將 該運動估計限於分析影像資料之選定區域以減少處理複 147663.doc 201127028 雜度及時間。 17 如請求項12之器件，其中該處理器係進一步經組態用於 為該離群點排除函式執行圖框之間的非全域運動之離群 18. 點追蹤以產生指派給該影像資料之諸區域的權重值。 =咕求項12之器件，其中該全域變換係與用於對影像資 料運動進行分類之—或多個模型相關聯，其中權重係指 派給該第一影像圖框之與該圖框之一或多個區域的經判 19. 20. 定運動向量相關之諸區域。 如马求項12之ϋ件’其中計算該影像穩定化變換以減少 對複雜場景運動及該第—圖框之運動資料的不足細節之 一者的假全域變換估計。 如請求们2之器件，其中該處理器係進—步經組態以： ^象素 > 才斗之一扭曲變換而應用言亥影像穩定化變換以 個別調整該第-圖框内之―或多個像素位置。 21. 如請求項12之器件，其中該 該全域變換時對諸運動向量 在§亥影像穩定化變換期間應 透鏡失真。 影像穩定化變換藉由在判定 應用一反轉透鏡失真函式及 用正向透鏡失真函式來校正 22. ::項12之器件，其中無意運動係指使用者對該視郭 成像盗件施加的不期望之運動。 23. 一種藉由一成像器件而穩定化影像資料 包括如下動作： 偵測—第一圖框之影像資料； 之方法，該方法 偵測—第二圖框之影像資料； 147663.doc 201127028 基於该第一圖框及該第二厨框之影像資料而執行運動 估计，以判定一或多個運動向量； 執仃一離群點排除函式以選擇與全域圖框運動相關聯 之至少—運動向量； 至J部分基於藉由該離群點排除函式所選擇之運動向 量，判定該第一圖框之影冑資料的一纟域變換； ° Ο G 藉由精緻化該全域變換而判定該第一圖框之影像資料 的一穩定化變換以校正無意運動；及 ，該第·圖框之影像資料應用該穩定化變換以穩定化 該第一圖框之該影像資料。 24. 如請求項23之方法，其中該第一圖框係指連續地接在該 第-圖框之影像資料㈣之後偵測的—影像圖框。 25. 如請求項23之方法，其中對該第_圖框及該第二圖㈣ 測到之影像資料係指由一捲動快門偵測器及一全域快門 偵測器之一者所偵測到之影像資料。 26·如請求項23之方法，其中運動估計係指階層式地判別影 像資料之局域運動及全域運動的特徵，其中對於影像資 料之若干標度精緻化影像資料以有效地增加運動估計搜 尋區域，且其中藉由在各個階層選擇與該影像資料之全 域運動相關聯的-或多個運動向量而減少運動估計的複 雜度。 27.如請求項23之方法，其進一步包括將該運動估計限於分 析影像資料之選定區域以減少處理複雜度及時間。 28·如請求項23之方法’其中該離群點排除函式進一步包 147663.doc 201127028 含：執行圖m之間的非全域運動之離群點追蹤以產生指 派給該影像資料之諸區域的權重值。 曰 29.如請求項23之方法’其中該全域變換係與用於對影像資 料運動進行分類之-或多個模型相關聯，且其"人= 變換係取決於該模型及取決於與各個運動向量相=的 權重。 變換以減少 不足細節之 30.如請求項23之方法，其中調整該影像穩定化 對複雜場景運動及該第一圖框之運動資料的 一者的假全域變換估計。 31. 如請求項23之方法’其中應用該影像穩定化變換包含： 像素資料之一扭曲變換以個別調整該第一圖框内之一或 多個像素位置。 / 32.如請求項23之方法，其中 該全域變換時對諸運動向 在該影像穩定化變換期間 透鏡失真。 該影像穩定化變換藉由在判定 量應用一反轉透鏡失真函式及 應用正向透鏡失真函式來校正 33 _如請求項23之方法，1中盔音丄軍叙 Ύ&連動係指使用者對該視訊 成像器件施加的不期望之運動。 34. —種經組態以穩定化影像資料之器件，該器件包括： 一影像感消J器經組態以仙—帛—圖框及一第二 圖框之影像資料； 一記憶體；及 處理斋’其係'執接至該記憶體與該影像感測器，其 中處理器經組態以： 147663.doc 201127028 執行運動估計以判定一或多個運動向量，· 執行一離群點排除函式以選擇與全域圖框運動相關 聯之至少一運動向量； 至少部分基於藉由該離群點排除函式所選擇之運動 向量而判定該第一圖框之影像資料的一全域變換； 藉由精緻化該全域變換而判定該第一圖框之影像資 料的一穩定化變換以校正無意運動；及

   對該第-圖框之影像資料應用該穩定化變換以穩定 化§亥第一圖框之該影像資料。 —月长項34之器件，其中該第_圖框係指連續地接在該 第-圖框之影像資料偵測之後偵測的一影像圖框。 36.如請，項34之器件，其中該影像感測器係指—捲動快門 偵測裔及一全域快門偵測器之一者。 37·如請求項34之器件，其中運動估計係指階層式地判別影 像貧料之局域運動及全域運動 — A運動的特被，其中對於影像資 二干‘度精緻化影像貧料以有效地增加運動估計搜 哥-域，且其中藉由在各個階層選擇與該影像資料之全 域運動相關聯的一或多 夕1U連動向里而減少運動估計的複 雜度。 步經組態以將 以減少處理複 38.如請求項34之器件，其中該處理器係進 該運動估計㈣分析f彡像資料之選定區 雜度及時間。 39.如請求項34之器件，复 ._ ^ 〃中該處理态係進-步經組態用於 飞執仃圖框之間的非全域運動之離群 147663.doc 201127028 點追蹤以產生指派給該影像資料之諸區域的權重值。 40.如請求項34之器件，其中該全域變換係與用於對影像資 料運動進行分類之一或多個模型相關聯，且其中該全域 變換係取決於該模型及取決於與各個運動向量相關聯的 權重。 礼如請求項34之器件，其中調整該影像穩定化變換以減少 對複雜場景運動及該^圖框之運動資料的不足細節之 一者的假全域變換估計。 42 Hi項Μ之器件’其中該處理器係進-步經組態以： ；t貧料之—扭曲變換而應用該影像穩定化變換以 個別調整圖㈣之-或多個像素位置。 43·如請求項34之器件，其中該影像穩定化變換藉由在判— 該全域變換時對諸運動向量應用一反轉壯=在判疋 在該影像穩定化變換期間應用正向透鏡失 透鏡失真。 』遗鏡失真函式來校正 44. 如請求項34之 成像器件施加 益件，其中無意運動係指使 的不期望之運動。 用者對該視訊 147663.doc