TWI351574B - Syetem and method for efficiently performing a dep - Google Patents
Syetem and method for efficiently performing a dep Download PDFInfo
- Publication number
- TWI351574B TWI351574B TW094118927A TW94118927A TWI351574B TW I351574 B TWI351574 B TW I351574B TW 094118927 A TW094118927 A TW 094118927A TW 94118927 A TW94118927 A TW 94118927A TW I351574 B TWI351574 B TW I351574B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- depth map
- depth
- matching
- overlapping
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
1351574
九、發明說明 【發明所屬之技術領域】 本發明係相關於分析影像資料的技術,尤其是相關於 有效執行深度圖恢復程序的系統和方法。 【先前技術】 實施分析影像資料的有效方法是目前電子裝置設計者 和製造者的重要考量。然而,利用電子裝置有效分析影像 資料對系統設計者是一大挑戰。例如,對裝置功能和性能 曰益增加的需求需要更多的系統處理動力並且需要其他硬 體資源。處理和或硬體需求的增加也導致由於增加的產品 成本和操作無效率所引起之相對不利的經濟衝擊。 而且,雖然執行各種先進操作的增強型裝置處理容量 可提供額外的效益給系統使用者,但是也增加各種裝置組 件的控制和管理需求。例如,因爲所包含的大量和複雜數 位資料’所以有效分析數位影像資料的增強型電子裝置可 從有效實施中得到好處。 由於對系統資源和大幅增加的資料量的需求日益增加 ’所以明顯地發展用以分析影像資料的新技術是相關電子 技術的重點之~。因此,由於上述所有原因,發展用以分 析影像資料的有效方法是目前電子裝置設計者'製造者、 和使用者的一大考量。 【發明內容】 -5- 1351574 曰修正補戴 根據本發明,揭示用以有效執行深度圖恢復程序的系 統和方法。在一實施例中,深度圖產生器或任何其他適當 實體最初在相機裝置中使深度圖模式生效。相機裝置的捕 捉子系統可利用任何有效技術反應性地嚙合單透鏡立體快 門組態。然後,相機裝置同時捕捉對應於選定的攝影目標 之重疊影像。接著,深度圖產生器可執行匹配程序以決定 在重疊影像中的對應匹配點。 深度圖產生器可計算對應於來自重疊影像的各種成對 匹配點之不同位値。最後,深度圖產生器可利用不同位値 計算個別深度値,藉以定義對應於選定的攝影目標之深度 圖。在某些實施例中,在相機裝置捕捉和儲存一或多個最 後影像之前,自動聚焦模組可利用深度圖執行自動聚焦程 序0 在各種供選擇的實施例中,可以任何其他適當和有效 方式利用深度圖。例如,在本發明的某些實施例中,深度 圖可被用於各種類型的機器視覺或物體追蹤應用。因此, 本發明設置一有效執行深度圖恢復程序之改良的系統和方 法。 【實施方式】 本發明係相關於資料分析技術的改良。下面說明用於 使精於本技藝之人士能夠進行及使用本發明’並且就專利 申請案和其需求情況提供本說明。精於本技藝之人士將很 容易發現有關所揭示的實施例之各種修正’本文中的一般 -6 -
1351574 原則可應用於其他實施例。如此,本發明並不侷限於所示 的實施例,而是給予和本文所說明的原則和特徵前後一貫 之最廣泛的範圍。 本發明包含用以有效執行深度圖恢復程序之系統和方 法,並且包括被實施在同時捕捉對應於攝影目標的重疊影 像之單一透鏡立體快門組態中的影像裝置。深度圖產生器 被配置成分析重疊影像以決定對應於重疊影像中的匹配點 之間的分開距離之不同位値。然後,深度圖產生器使用不 同位値計算對應於攝影目標中的位置之深度値。然後,深 度圖產生器使用上述深度値產生對應於攝影目標的深度圖 0 現在參照圖1,其圖示根據本發明之相機裝置110的一 實施例之方塊圖。在圖1實施例中,相機裝置110可包括捕 捉子系統1 1 4、系統匯流排1 1 6、及控制模組1 1 8,但並不 侷限於此。在圖1實施例中,捕捉子系統114可任意地耦合 於攝影目標112,並且又可經由系統匯流排11 6電耦合於控 制模組1 1 8。 在可供選擇的實施例中,除了連同圖1實施例一起討 論的那些組件之外,相機裝置110可容易地包括各種其他 組件或取代之。此外,在某些實施例中’本發明另外可具 體實施在除了圖1的相機裝置110之外的任何適當電子裝置 類型。例如,相機裝置1 1 0可以另外當成成像裝置、電腦 裝置、或消費者電子裝置。 在圖1實施例中,一旦系統使用者已將捕捉子系統1 1 4 1351574 聚焦於目標112上並且要求相機裝置110捕捉對應於目標 1 1 2的影像資料,則控制模組1 1 8透過系統匯流排1 1 6指示 捕捉子系統114捕捉代表目標112的影像資料較佳。然後, 捕捉到的影像資料可經由系統匯流排1 1 6轉移到可利用影 像資料反應性執行各種處理和功能之控制模組1 1 8。系統 匯流排1 1 6也可在捕捉子系統1 1 4和控制模組1 1 8之間雙向 通過各種狀態和控制信號。 現在參照圖2,其圖示根據本發明的圖1之捕捉子系統 114的一實施例之方塊圖。在圖2實施例中,捕捉子系統 114包含快門218、透鏡220、影像感測器224、紅、綠 '及 藍(R/G/B )放大器22 8、類比對數位(A/D )轉換器23 0、 及介面232較佳,但並不侷限於此。在可供選擇的實施例 中,除了連同圖2實施例一起討論的那些組件之外,捕捉 子系統Π4可容易地包括各種其他組件或取代之。 在圖2實施例中,捕捉子系統1 14沿著光學路徑23 6透 過撞擊影像感測器224的反射光以捕捉對應於目標1 1 2的影 像資料。包括電荷耦合裝置(CCD )較佳的影像感測器 224可反應性地產生代表目標1 12的一組影像資料。然後, 影像資料可被安排路徑經過紅、綠、及藍放大器228、A/D 轉換器230、及介面232。從介面232,影像資料通過系統 匯流排1 16到控制模組1 1 8以適當處理和儲存。也可考慮諸 如CMOS或線性陣列等其他影像捕捉感測器類型連同本發 明一起捕捉影像資料。在下文中連同圖5-9—起另外討論 快門21 8的使用和功能。
S -8- 1351574 洚正補惠 現在參照圖3,其圖示根據本發明之圖1控制模組118 的一實施例之方塊圖。在圖3實施例中,控制模組118包括 取景器3 08、中央處理單元(CPU ) 344、記憶體346、及 一或多個輸入/輸出介面(I/O) 348,但並不侷限於此。取 景器3 08、CPU 344、記億體346、及I/O 348都透過也與捕 捉子系統114通訊的共同系統匯流排1 16耦合於捕捉子系統 114及與之通訊較佳。 在圖3實施例中,CPU 344可當成包括適當微處理器裝 置。另外,可使用任何其他適當技術實施CPU 3 44。例如 ,CPU 3 44可當成包括某些應用特定積體電路(ASICs)或 其他適當電子裝置》記憶體346可被實施當作一或多個適 當儲存裝置,包括唯讀記憶體、隨機存取記憶體、及諸如 軟式磁碟裝置、硬碟裝置等各種非揮發性記憶體類型、快 閃記憶體,但並不侷限於此。I/O 3 48可提供一或多個有效 介面,用以幫助相機裝置110和包括系統使用者或任一電 子裝置等任何外部實體之間的雙向通訊。可使用任何適當 輸入及/或輸出裝置實施I/O 348。在下文中連同圖4-9—起 另外討論控制模組Π 8的操作和使用。 現在參照圖4,其圖示根據本發明之圖3記憶體346的 一實施例之方塊圖。在圖4實施例中,記憶體可包括相機 應用412、操作系統414、深度圖產生器416、重疊影像418 、深度圖420、自動聚焦模組422、及一或多個最後影像 42 4,但並不侷限於此。在可供選擇的實施例中’除了連 同圖4實施例一起討論的那些組件之外,記憶體346可容易 1351574 地包括各種其他組件或取代之。 在圖4實施例中,相機應用412可包括由CPU 344 (圖3 )執行的程式指令較佳以執行相機裝置丨〗〇的各種功能和 操作。相機應用4 1 2的特別性質和功能依據諸如對應相機 裝置110的類型和特殊使用等因素而變化較佳。 在圖4實施例中’操作系統414控制和協調相機裝置 110的低位階功能較佳。根據本發明,深度圖產生器416可 控制和協調深度圖恢復程序以從重疊影像418產生深度圖 420。在圖4實施例中,深度圖42〇可包括一組深度値,每 —個都代表從相機裝置1 1 0到攝影目標1 1 2中的特別點或區 域之特定距離。下文中連同圖4-9—起另外討論深度圖產 生器416使用重疊影像418產生深度圖420。在圖4實施例中 ,在相機裝置110捕捉和儲存一或多個最後影像424之前, 自動聚焦模組422可使用深度圖420執行自動聚焦程序。 現在參照圖5’其圖示根據本發明的一實施例之單一 透鏡立體快門組態5 1 0的正面圖。圖5的單一透鏡立體快門 組態5 1 0包括如上述圖2捕捉子系統1 1 4所示的透鏡2 2 0和快 門218。在可供選擇的實施例中,本發明使用各種其他配 置和元件實施單一透鏡立體快門組態5 1 0。 在圖5實施例中,在進入深度圖模式之後,深度圖產 生器416可使相機裝置11〇的捕捉子系統丨14能夠定位快門 鄰近透鏡220,藉以除了通過快門218未覆蓋透鏡220之第 一開口 512(a)及第二開口 512(b)的光之外,阻隔光經由透 鏡220傳輸到影像感測器224 (圖2 )。因此,單一透鏡立
Q -10- ,•少> ·:Μ尤 1351574 體快門組態510使相機裝置110的影像感測器224可經由各 自對應的開口 512(a)及521(b)同時捕捉攝影目標112的兩重 疊影像41 8 (圖4 )。 本發明使用以任何有效方式實施的單一透鏡立體快門 組態讓兩分開的重疊影像41 8能夠被影像感測器224捕捉。 例如,在可供選擇的實施例中,除了以有限距離分開的兩 圓形開口之外,快門218可覆蓋透鏡2 20的整個表面。下文 中連同圖6-9—起另外討論單一透鏡立體快門組態510的使 用。 現在參照圖6A及6B,其圖示根據本發明的一實施例之 不同位値616的平面圖。圖6A及6B實施例係圖解之用,在 本發明的其他實施例中,本發明可藉由使用除了連同圖6 實施例一起討論的那些技術之外的技術決定不同位値。 在圖6A實施例中,具有快門218的透鏡220被定位以將 從目標1 12反射的光聚焦於影像感測器224上當作重疊影像 4 1 8 ( a + b ),卻沒有任何不同位値或影像分開。然而,在 圖6B實施例中,從目標1 12到透鏡220的距離已被增加卻未 改變從透鏡220到影像感測器224的距離。在圖6B實施例中 ,以不同位値616分開第一重疊影像41 8(a)與第二重疊影像 418(b)。根據本發明,深度圖產生器416可決定不同位値 6 16,然後用以計算代表從透鏡220的物體112之距離的深 度値。下文中連同圖7-9另外討論不同位値616的使用。 現在參照圖7,其圖示根據本發明的圖4重疊影像418 之一實施例圖。圖7實施係圖解之用,在其他實施例中, -11 - 1351574 (/年日修正補充 除了連同圖7實施例一起討論的那些配置和元件之外’重 疊影像41 8可容易地當成包括各種配置和元件或取代之。 在圖7實施例中,深度圖產生器416爲重疊影像418中 的各種對應匹配點計算不同位値。例如,在圖7實施例中 ,來自重叠影像418 (a)的第一匹配點712(a)對應於來自重 疊影像418(b)的第二匹配點712(b)。深度圖產生器416可決 定不同位値616當作匹配點712(a)和712(b)之間的分開。因 此,爲了決定指定的不同位値616,深度圖產生器416必須 建立重疊影像418中的匹配點71 2位置。 在本發明中,深度圖產生器416可使用任何有效和適 當技術識別重疊影像4 1 8中的匹配點7 1 2。例如,在某些實 施例中,可使用以賦予他們相鄰特徵之値(所謂的特徵値 )取代所有畫素値的特徵匹配技術。特徵値最接近參考畫 素的的特徵値之搜尋畫素被選定當作候選者。畫素的特徵 値之例子是局部變異數。將此方法槪括到多個特徵的結果 是特徵向量匹配之方法。 在其他實施例中,可使用在每一畫素附近的相鄰者都 列舉當作一連畫素値之相關匹配技術。對所有畫素都以相 同方式進行。選擇其關聯性最類似參考畫素的關聯性之搜 尋畫素。爲了比較兩關聯性,利用交叉相關定義它們之間 .的相似度。此外,在存在核座標幾何圖型的某些例子中, 可使用利用最佳對應次順序演算法同時匹配一列畫素之核 座標匹配技術。下文中連同圖8-9另外討論決定用於計算 對應深度値之不同位値6 1 6以產生深度圖。
S -12 - 1351574 日修正補充 現在參照圖8,其圖示根據本發明的一實施例之決定 深度値之計算程序的平面圖810。圖8實施例係圖解之用, 在其他實施例中,本發明可利用除了連同圖8實施例一起 討論的那些技術之外的技術決定深度値。 在圖8實施例中,深度圖產生器41 6可計算準確代表距 透鏡220的攝影目標112之指定點的距離之深度値“z”。在 圖8實施例中,如上述,深度圖產生器416可決定不同位値 “d”等於重疊影像418(a)中的匹配點712(a)和重疊影像 418(b)中的匹配點712(b)之間的分開。此外,基線値“b”可 被定義成單一透鏡立體快門組態510中的第一開口 512()和 第二開口 512(b)入口之間的距離(圖5 )。最後,焦距“f” 可以被定義成透鏡220和影像感測器224之間的距離》 根據本發明的實施例,就針孔開口 512(a)及512(b)而 言,深度圖產生器41 6可根據下列公式計算深度値“Z” : Z = (f * b) / (d - b) 其中“d”是不同位値616,“b”是代表單一透鏡立體快 門組態5 1 0中的第一開口 5 1 2()和第二開口 5 1 2(b)之間的距 離,及“f”是從透鏡220到影像感測器224的焦距。下文中 連同圖9 一起另外討論深度値的計算和使用。 現在參照圖9,其圖示根據本發明的實施例之用以執 行深度圖恢復程序的方法步驟之流程圖。圖9實施例係圖 解之用,在其他實施例中,除了連同圖9實施例一起討論 的那些步驟和順序之外,本發明可容易地使用各種其他步 驟和順序。 -13- 1351574
在圖9實施例中,在步驟910中,任何適當實體最初可 使相機裝置110中的深度圖模式生效。在步驟914中’相機 裝置110的捕捉子系統114可使用任何有效技術反應性嚙合 單一透鏡快門組態510。在步驟918中’相機裝置110可同 時捕捉對應於選定攝影目標112的重疊影像418。接著’在 步驟922中,深度圖產生器416可執行匹配程序以決定重疊 影像4 1 8中的對應匹配點7 1 2。 在步驟926中,深度圖產生器416可計算對應於重疊影 像418中的各種成對匹配點712之不同位値616。最後,在 步驟930中,深度圖產生器41 6可使用該不同位値61 6計算 個別深度値,藉以定義對應於選定攝影目標112的深度圖 42 0 »在某些實施例中,在相機裝置110捕捉和儲存一或多 個最後影像424之前,自動聚焦模組422然後可使用深度圖 420執行自動聚焦程序。 在各種可供選擇的實施例中,可以任何其他適當和有 效方式使用深度圖420。例如,在本發明的某些實施例中 ,各種機器視覺和物體追蹤應用類型可使用深度圖420。 因此,本發明提供一有效執行深度圖恢復程序的改良系統 和方法。 上文中已參照某些實施例說明本發明。精於本技藝之 人士將可根據本揭示明白其他實施例。例如,使用除了上 述實施例中所說明的那些配置和技術之外的配置和技術可 容易地實施本發明。另外,可連同除了上述那些系統之外 的系統一起有效使用本發明。因此,只由附錄於後的申請
S -14 - 1351574 專利範圍加以限制之本發明涵蓋所討論實施例中的這些和 其他變化。 方 ;之 圖例塊施 方實 之一 例的施統 實系 一子 的足 置 裝 機 相圖 之的 明明 發發 以據據 "根根 1爲爲簡!!:2f 式圖圖 圖 捕 之 圖 塊 的 組 模 制 控 之 圖 的 明 發 本 據 根 爲 3 圖 塊 方 之 例 施 圖 圖 塊 方 之 例 施 實 1 的 體 憶 記 之 3 圖 的 明 發 本 據 根 爲 4 圖 圖5爲根據本發明的單一透鏡立體快門組態之一實施 例的正面圖; 圖6 A及6B爲根據本發明的一實施例之不同位値的平面 圖; 圖7爲根據本發明的一實施例之圖4的重疊影像圖; 圖8爲根據本發明的一實施例之用以決定深度値的計 算程序之平面圖; 圖9爲根據本發明的一實施例之用以執行深度圖恢復 程序的方法步驟之流程圖。 【主要元件符號說明】 110 相機裝置 112 攝影目標 -15- 1351574 114 捕捉子系統 116 系統匯流排 118 控制模組 2 18 快門 220 透鏡 224 影像感測器 22 8 紅、綠、及藍放大器 230 類比對數位轉換器 232 介面 236 光學路徑 308 取景器 344 中央處理單元 346 記憶體 348 輸入/輸出介面 4 12 相機應用 4 14 操作系統 4 16 深度圖產生器 4 18 重疊影像 418(a) 重疊影像 418(b) 重疊影像 418(a+b) 重疊影像 420 深度圖 422 自動聚焦模組 424 最後影像 1351574 ❺了奸·: 5 10 單一透鏡立體快門組態 512(a) 第一開口 512(b) 第二開口 6 16 不同位値 712(a) 第一匹配點 712(b) 第二匹配點 b 基線値 d 不同位値 f 焦距 Z 深度値 -17-
Claims (1)
1351574 申請專利範圍 恢 圖 度 深 行 執 以 用 tlmll 種 捉 捕 時 同 用 利 置 裝 像 影 像 影 : 疊 含重 包的 ’ 標 統目 系影 之攝 序於 程應 復對 應 對 定 決 以 像 影 叠 及重 ;該 施析 實分 以成 加置 態配 組被 HJ , P 快器 體生 立產 鏡圖 透度 1 深 單 之 其具 , 在 値施 位實 同被 不器 之生 隹 JiUU 翰產 距圖 開度 分深 的該 間和 之態 點組 配門 匹快 杓I Αϋall 中立 像鏡 影透 #一 重單 該該 於中 來 用 使 組 模 焦 聚 mm ο 自序 該程 , 4U1'' 置聚 裝動 機自 相行 子執 電値 的度 組深 模的 焦圖 聚度 動深 自該 有自 2 產深 圖該 度’ 深値 該度 中深 其之 ’ 點 統配 系匹 之該 項於 11 第 矇 艮該器 圍 範 利 專 請 中 對 算 値 位 同 不 該 用 使 器 生 生 產 圖 度 甲 據 根 是 値 。 度 圖深 度該 深中 的其 標, 目統 影系 攝之 該項 生第 產 値 度 深專 該靑 用 使 圍 範 利 單際 該實 從之 表置 代位 値際 度實 深該 該的 ’ 中 數標 函目 的影 値攝 位該 同到 不態 該組 門 快 澧 立 鏡 透 1 離 距 自捕 該置 由裝 已機 在相 中子 其電 ’ 該 統, 系後 之之 項序 1 程 二 範 氧勖 和白 ¥ 靑該 31行 申 丸 據且 艮 糸 彳模 4 焦 聚 33 像 影 後 最 個 多 或 1 捉 圍 範 利 專 請 甲 據 展 覺 視 器 機 行 執 以 圖 度 深 該 用 使中 置其 裝少 子至 電序 中程 其蹤 ’ 追 統體 系物 之或 項序 1 程 第 之 鏡 透 I 單 該 中 其 統 系 之 項 —1 第 圍 範 利 專 請 串 據 根 6 用感 ’ 像 門影 忮至 體標 立目 的影 鏡攝 透該 1 從 單口 近開 鄰二 在第 位和 定 口 可開 括一 包第 態由 組經 門只 快過 體通 立以 s -18- 1351574 測器之反射光,藉以產生該重疊影像 二重疊影像。 7.根據申請專利範圍第6項之系 當成非透射矩形物體,除了對應於該 和對應於該第二開口的最右部位之外 透鏡。 8 .根據申請專利範圍第6項之系 快門當成非透射物體,除了對應於該 部位和對應於該第二開口的第二圓形 蓋該單一透鏡。 9 .根據申請專利範圍第1項之系 生器執行特徵匹配程序以識別該重疊 該特徵匹配程序藉由定位該重疊影像 該匹配點。 1 0.根據申請專利範圍第1項之: 產生器執行相關匹配程序以識別該重 ,該相關匹配程序藉由計算該重疊影 別該匹配點。 1 1.根據申請專利範圍第1項之: 產生器執行核座標匹配程序以識別該 點,該核座標匹配程序藉由分析該重 識別該匹配點。 1 2 ·根據申請專利範圍第1項之; 產生器進入深度圖模式以啓動該單一3 (〜年7月⑼緣正補克 的第一重疊影像和第 統,其中該立體快門 第_開口的最左部位 ,該物體覆蓋該單一 統,其中該單一立體 第一開口的第一圓形 部位之外,該物體覆 統,其中該深度圖產 影像中的該匹配點, 中的對應特徵以識別 系統,其中該深度圖 疊影像中的該匹配點 像中的相關關係以識 系統,其中該深度圖 重疊影像中的該匹配 疊影像中的畫素列以 系統,其中該深度圖 蜜鏡立體快門組態。 -19- 1351574
1 3 .根據申請專利範圍第1 2項之系統, 測器裝置,該影像感測器裝置經由該單一岛 態同時捕捉該重疊影像。 14. 根據申請專利範圍第13項之系統·, 重疊影像包括該攝影目標的第一重疊影像和 第二重疊影像,該第一重叠影像偏移該不P 該第二重疊影像距離。 15. 根據申請專利範圍第13項之系統, 產生器執行匹配程序以識別該重疊影像中β 配點,每一該多個成對該匹配點對應於該掲 同特定位置。 16. 根據申請專利範圍第15項之系統, 產生器藉由計算來自該重疊影像的該多個员 間的分開距離以決定該不同位値。 17. 根據申請專利範圍第16項之系統, 產生器使用該不同位値計算每一個都代表彷 體快門組態到該攝影目標中的該不同特定β 的該深度値其中對應的一個》 18. 根據申請專利範圍第17項之系統, 產生器根據公式計算每一個該深度値: Z = (f * b) / (d - b) 其中該Z是該深度値,該d是該不同位値,| 一透鏡立體快門組態中的第一開口和第二開 距離之基線値,及該f是從該單一透鏡立體 更包含影像感 鏡立體快門組 其中每一組該 該攝影目標的 位値所代表的 其中該深度圖 多個成對該匹 影目標中的不 其中該深度圖 對該匹配點之 其中該深度圖 該單一透鏡立 置之實際距離 其中該深度圖 冬b是代表該單 口之間的基線 快門組態到該 S -20- 1351574
影像感測器裝置的焦距。 19. 根據申請專利範圍第17項之系統,其中該深度圖 產生器藉由利用對應於該攝影目標中的不同實際位置之該 深度値佈植該攝影目標的影像以產生該深度圖。 20. —種執行深度圖恢復程序之方法,包含: 利用用以同時捕捉對應於攝影目標的重疊影像之單一 透鏡立體快門組態實施影像裝置;及 利用深度圖產生器分析該重疊影像以決定對應於該重 疊影像中的匹配點之間的分開距離之不同位値,其中該單 一透鏡立體快門組態和該深度圖產生器被實施在具有自動 聚焦模組的電子相機裝置,該自動聚焦模組使用來自該深 度圖的深度値執行自動聚焦程序。 2 1.根據申請專利範圍第20項之方法,其中該深度圖 產生器使用該不同位値計算對應於該匹配點之深度値,該 深度圖產生器使用該深度値產生該攝影目標的深度圖》 2 2.根據申請專利範圍第20項之方法,其中該深度値 是該不同位値的函數,該深度値代表從該單一透鏡立體快 門組態到該攝影目標中的實際位置之實際距離。 23.根據申請專利範圍第20項之方法,其中在已由該 自動聚焦模組執行該自動聚焦程序之後,該電子相機裝置 捕捉一或多個最後影像。 24·根據申請專利範圍第2〇項之方法,其中電子裝置 使用該深度圖以執行機器視覺程序或物體追蹤程序至少其 中之一。 -21 - 1351574 25. 根據申請專利範圍第20項 鏡立體快門組態包括可定位在鄰近 用以通過只經由第一開口和第二開 感測器之反射光,藉以產生該重疊 第二重疊影像。 26. 根據申請專利範圍第25項 門當成非透射矩形物體以覆蓋該單 第一開口的最左部位和對應於該第 〇 27. 根據申請專利範圍第25項 門當成非透射物體,除了對應於該 位和對應於該第二開口的第二圓形 所有該單一透鏡。 28. 根據申請專利範圍第20項 產生器執行特徵匹配程序以識別該 ,該特徵匹配程序藉由定位該重疊 別該匹配點。 29. 根據申請專利範圍第20項 產生器執行相關匹配程序以識別該 ,該相關匹配程序藉由計算該重疊 別該匹配點。 30. 根據申請專利範圍第20項 產生器執行核座標匹配程序以識別 點,該核座標匹配程序藉由分析該 之方法,其中該單一透 單一透鏡的立體快門, 口從該攝影目標到影像 影像的第一重疊影像和 之方法,其中該立體快 一透鏡,除了對應於該 二開口的最右部位之外 之方法,其中該立體快 第一開口的第一圓形部 部位之外,該物體覆蓋 之方法,其中該深度圖 重疊影像中的該匹配點 影像中的對應特徵以識 之方法,其中該深度圖 重疊影像中的該匹配點 影像中的相關關係以識 之方法,其中該深度圖 該重疊影像中的該匹配 重疊影像中的畫素列以 S -22- 1351574 識別該匹配點。 3 1·根據申請專利範圍第20項之方法,其中該深度圖 產生器進入深度圖模式以啓動該單一透鏡立體快門組態。 32.根據申請專利範圍第31項之方法,更包含影像感 測器裝置經由該單一透鏡立體快門組態同時捕捉該重疊影 像。 3 3.根據申請專利範圍第32項之方法,其中每一組該 重疊影像包括該攝影目標的第一重疊影像和該攝影目標的 第二重疊影像,該第一重疊影像偏移該不同位値所代表的 該第二重疊影像距離。 34. 根據申請專利範圍第32項之方法,其中該深度圖 產生器執行匹配程序以識別該重疊影像中的多個成對該匹 配點,每一該多個成對該匹配點對應於該攝影目標中的不 同特定位置。 35. 根據申請專利範圍第34項之方法,其中該深度圖 產生器藉由計算來自該重疊影像的該多個成對該匹配點之 間的該分開距離以決定該不同位値。 36. 根據申請專利範圍第35項之方法,其中該深度圖 產生器使用該不同位値計算每一個都代表從該單一透鏡立 體快門組態到該攝影目標中的該不同特定位置之實際距離 的該深度値其中對應的一個。 3 7.根據申請專利範圍第36項之方法,其中該深度圖 產生器根據公式計算每一個該深度値: Z = (f * b) / (d - b) -23- 1351574 其中該Ζ是該深度値,該d是該不同位値,該b是代表該單 一透鏡立體快門組態中的第一開口和第二開口之間的基線 距離之基線値,及該f是從該單一透鏡立體快門組態到該 影像感測器裝置的焦距。 38. 根據申請專利範圍第36項之方法,其中該深度圖 產生器藉由利用對應於該攝影目標中的不同實際位置之該 深度値佈植該攝影目標的影像以產生該深度圖。 39. —種用以執行深度圖恢復程序之系統’包含: 影像裝置,利用同時捕捉對應於攝影目標的重疊影像 之單一透鏡立體快門組態加以實施;及 深度圖產生器,被配置成分析該重疊影像以決定對應 於來自該重疊影像的匹配點之間的分開距離之不同位値, 然後該深度圖產生器使用該不同位値產生該攝影目標的深 度圖,該單一透鏡立體快門組態和該深度圖產生器被實施 在具有自動聚焦模組的電子相機裝置,該自動聚焦模組使 用來自該深度圖的深度値執行自動聚焦程序。 S -24- 1351574 七、指定代表圖·· (一)、本案指定代表圖為:第(4)圖 (二) 、本代表圖之元件代表符號簡單說明 112 攝影目標 220 透鏡 224 影像感測器 418(a) 重疊影像 418(b) 重疊影像 512(a) 第一開口 512(b) 第二開口 八、本案若有化學式時,請揭示最能顯示發明特徵的化學 式:無
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/910,098 US7333652B2 (en) | 2004-08-03 | 2004-08-03 | System and method for efficiently performing a depth map recovery procedure |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200606556A TW200606556A (en) | 2006-02-16 |
TWI351574B true TWI351574B (en) | 2011-11-01 |
Family
ID=35757452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW094118927A TWI351574B (en) | 2004-08-03 | 2005-06-08 | Syetem and method for efficiently performing a dep |
Country Status (3)
Country | Link |
---|---|
US (1) | US7333652B2 (zh) |
TW (1) | TWI351574B (zh) |
WO (1) | WO2006022980A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858671B2 (en) | 2013-09-11 | 2018-01-02 | National Taiwan University | Measuring apparatus for three-dimensional profilometry and method thereof |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
WO2011143501A1 (en) | 2010-05-12 | 2011-11-17 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
US20120050483A1 (en) * | 2010-08-27 | 2012-03-01 | Chris Boross | Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
EP2490452A1 (en) | 2011-02-21 | 2012-08-22 | Advanced Digital Broadcast S.A. | A method and system for rendering a stereoscopic view |
JP2014519741A (ja) | 2011-05-11 | 2014-08-14 | ペリカン イメージング コーポレイション | アレイカメラ画像データを伝送および受信するためのシステムおよび方法 |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US8542933B2 (en) | 2011-09-28 | 2013-09-24 | Pelican Imaging Corporation | Systems and methods for decoding light field image files |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
EP2873028A4 (en) | 2012-06-28 | 2016-05-25 | Pelican Imaging Corp | SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
EP3869797B1 (en) | 2012-08-21 | 2023-07-19 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
US9124831B2 (en) | 2013-03-13 | 2015-09-01 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9633442B2 (en) * | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
EP2973476B1 (en) | 2013-03-15 | 2025-02-26 | Adeia Imaging LLC | Systems and methods for stereo imaging with camera arrays |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
US9905041B2 (en) * | 2014-11-24 | 2018-02-27 | Adobe Systems Incorporated | Depth of field synthesis using ray tracing approximation |
KR102299575B1 (ko) * | 2015-03-09 | 2021-09-07 | 삼성전자주식회사 | 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치 |
PL412832A1 (pl) | 2015-06-24 | 2017-01-02 | Politechnika Poznańska | Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi |
JP6805534B2 (ja) * | 2015-07-02 | 2020-12-23 | 株式会社リコー | 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム |
US10454026B2 (en) * | 2016-12-06 | 2019-10-22 | Arm Ltd. | Controlling dopant concentration in correlated electron materials |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
EP3924039B1 (en) | 2019-04-17 | 2023-11-22 | Novocure GmbH | Uploading data from an isolated system without compromising isolation |
EP3821267A4 (en) | 2019-09-17 | 2022-04-13 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR SURFACE MODELING USING POLARIZATION TRIGGERS |
EP4042101A4 (en) | 2019-10-07 | 2023-11-22 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION |
WO2021108002A1 (en) | 2019-11-30 | 2021-06-03 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
CN115552486A (zh) | 2020-01-29 | 2022-12-30 | 因思创新有限责任公司 | 用于表征物体姿态检测和测量系统的系统和方法 |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
CN111402313B (zh) * | 2020-03-13 | 2022-11-04 | 合肥的卢深视科技有限公司 | 图像深度恢复方法和装置 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US12175741B2 (en) | 2021-06-22 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
US12172310B2 (en) | 2021-06-29 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-D geometry and segmentation |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6476374A (en) * | 1987-09-18 | 1989-03-22 | Toshiba Corp | Depth map producing device |
US4965840A (en) * | 1987-11-27 | 1990-10-23 | State University Of New York | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system |
US5663781A (en) * | 1988-06-29 | 1997-09-02 | G. Rodenstock Instrumente Gmbh | Apparatus for the examination of objects and the determination of topography |
US5148209A (en) * | 1990-07-12 | 1992-09-15 | The Research Foundation Of State University Of New York | Passive ranging and rapid autofocusing |
US5577130A (en) * | 1991-08-05 | 1996-11-19 | Philips Electronics North America | Method and apparatus for determining the distance between an image and an object |
US5604537A (en) * | 1992-09-10 | 1997-02-18 | Canon Kabushiki Kaisha | Imaging apparatus having an automatic focusing means |
US5365597A (en) * | 1993-06-11 | 1994-11-15 | United Parcel Service Of America, Inc. | Method and apparatus for passive autoranging using relaxation |
US6028672A (en) * | 1996-09-30 | 2000-02-22 | Zheng J. Geng | High speed three dimensional imaging method |
US6683652B1 (en) * | 1995-08-29 | 2004-01-27 | Canon Kabushiki Kaisha | Interchangeable lens video camera system having improved focusing |
DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
JP2001061165A (ja) * | 1999-08-20 | 2001-03-06 | Sony Corp | レンズ装置及びカメラ |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
US6606406B1 (en) * | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
KR20030062313A (ko) * | 2000-08-09 | 2003-07-23 | 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 | 영상 변환 및 부호화 기술 |
US6925210B2 (en) * | 2001-07-09 | 2005-08-02 | Michael Herf | Method for blurring images in real-time |
US7120293B2 (en) * | 2001-11-30 | 2006-10-10 | Microsoft Corporation | Interactive images |
JP2003244727A (ja) * | 2002-02-13 | 2003-08-29 | Pentax Corp | ステレオ画像撮像装置 |
US20030222977A1 (en) * | 2002-06-03 | 2003-12-04 | Kazutora Yoshino | Intelligent system and 3D virtual object generator |
US6876776B2 (en) * | 2003-02-14 | 2005-04-05 | Ikonicys, Inc. | System and method for auto-focusing an image |
-
2004
- 2004-08-03 US US10/910,098 patent/US7333652B2/en not_active Expired - Lifetime
-
2005
- 2005-06-08 TW TW094118927A patent/TWI351574B/zh active
- 2005-06-09 WO PCT/US2005/020154 patent/WO2006022980A2/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858671B2 (en) | 2013-09-11 | 2018-01-02 | National Taiwan University | Measuring apparatus for three-dimensional profilometry and method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2006022980A3 (en) | 2009-06-18 |
US7333652B2 (en) | 2008-02-19 |
US20060029270A1 (en) | 2006-02-09 |
TW200606556A (en) | 2006-02-16 |
WO2006022980A2 (en) | 2006-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI351574B (en) | Syetem and method for efficiently performing a dep | |
CN103246044B (zh) | 一种自动对焦方法、系统及具有该系统的照相机和摄像机 | |
CN105163033B (zh) | 摄像设备、图像处理设备和图像处理方法 | |
CN105141858B (zh) | 照片背景虚化系统及其方法 | |
CN109120823B (zh) | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 | |
CN104410784B (zh) | 光场采集控制方法和装置 | |
TW200819815A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
WO2008029503A1 (fr) | Appareil photographique | |
US10237491B2 (en) | Electronic apparatus, method of controlling the same, for capturing, storing, and reproducing multifocal images | |
US8576320B2 (en) | Digital photographing apparatus and method of controlling the same | |
JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
US20150138309A1 (en) | Photographing device and stitching method of captured image | |
US9824261B2 (en) | Method of face detection, method of image processing, face detection device and electronic system including the same | |
CN103136745B (zh) | 利用散焦碉堡图像执行深度估计的系统及方法 | |
JP5925186B2 (ja) | 撮像装置及びその制御方法 | |
CN111492201A (zh) | 测距摄像机 | |
JP7158841B2 (ja) | 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置 | |
JP6222205B2 (ja) | 画像処理装置 | |
TWI617195B (zh) | 影像擷取裝置及其影像拼接方法 | |
JP6590894B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2015046051A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
CN106204419A (zh) | 图像处理方法以及装置 | |
JP2013213903A (ja) | 撮像装置 | |
JP5070856B2 (ja) | 撮像装置 | |
JP2010178158A (ja) | 電子カメラ |