TW477959B - Multi-level face image recognition method and system - Google Patents

Description

經濟部智慧財產局員工消費合作社印製 五、發明說明（i ) 【本發明之領域】 本發明係有關影像辨識之技術領域，尤指一種多層次 臉部影像辨識方法及系統。 【本發明之背景】 目前在正面臉部影像之辨識上，雖有數種辨識方式可 供採用，例如特徵模式、樣板匹配與類神經網路模式等， 然而前述習知之正面臉部影像辨識技術仍無法滿足實際之 而要，例如在以特徵攫取的方法做臉部辨識時，將會面臨 三個問題.：（1)應該選擇什麼做為特徵？（2)應該有多少 特徵才足夠？（3)特徵之攫取並不容易。 而樣板匹配的方法運算量較大，當比對的影像增多 時，其所需時間也相對的大幅增加；且如何定義適當的匹 配度（相似度）評定標準也是此種方法有待解決的問題。 另，應用類神經網路自動學f辨識的困難是在於臉部影像 《變化複雜且細微，所以結構簡單的類神經網路不易分析 出各影像之間的特徵差異。因此，如何能夠正確並有效地 達成正面臉部影像之辨識，實為_騎解決之課題。 發明人爰因於此，本於積極發明之精神，亟思一種可 以解決上述問題之「多層次臉部影像辨識系統」，幾經研 咒實驗終至完成此項新穎進步之發明。 【本發明之概述】 ·1--------1T---------## (請先閱讀背面之注意事項再填寫本頁)

477959 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（2， 本發明之目的係在提供一種多層次臉邵影像辨識方法 及系統，以降低辨識所需之資料比對量，大幅提高辨識速 度。 依據本發明之一特色，所提出之多層次臉部影像辨識 方去係包括下述之步驟：（A )輸入臉部原始影像； (B )進行前置處理，以將該原始影像裁剪成僅包含完整 的臉部影像；（C)將該臉部影像分解成^^種解析度，每 種解析度個有Μ個頻道，其中N^2且2，使該臉部影 像分解成N X Μ張子影像；（D )在學習階段時，以常態 表情的正面臉部影像為學習影像，而將學習影像分解後之 子影像分別輸入至Ν X Μ個自我構圖類神經網路以進行無 監督式歸類學習，且當類神經網路完成預定的學習週期， 將學習影像之子影像再一次分別輸入至該Μ個已經完成學 習的類神經網路，以使每一個類神經網路均產生一個優勝 單元；以及（Ε )在測試階段時，將測試影像分解，以由 最低解析度Μ個子影像開始，分別輸入至其對應的Μ個自 我構圖類神經網路，產生Μ個優勝單元，以進行決策辨 識，經由計算該Μ個優勝單元與其相對應自我構圖類神於 網路上各學習影像的優勝單元之距離，找出可能為優勝= 之候選者，如候選者僅有一人，則此人就是優勝 〃 可，決策 過程在此完成，如果候選者不只一位，則保留這些候選者 留待更高一層解析度時再做決策。 依據本發明之另一特色’所提出之多層次臉部影像辨 識系統，包括有影像輸入機制、前置處理機制、分解機制 ------------裝--------訂--------.^^1 (請先閱讀背面之注意事項再填寫本頁) 477959 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（3 ) 以及複數個自我構圖類神經網路，該影像輸入機制係〆 輸入臉部原始影像；該前置處理機制係用以將該原始 裁剪成僅包含完整的臉部影像；該分解機制係將該臉^影 像分解成N種解析度，每種解析度個有M個頻道，其中I -2且Mg2，使該臉部影像分解成ΝχΜ張子影像；當在 子ό階段時，係以常態表情的正面臉部影像為學習影像， 而將學習影像，分解後之子影像分別輸入至NX Μ個自我構 圖類神經網路以進行無監督式歸類學習，且當類神經網路 完成預定的學習週期，將學習影像之子影像再一次分別輸 入至該Μ個已經完成學習的類神經網路，以使每一個類神 經網路均產生一個優勝單元；而在測試階段時，將測試影 像分解，以由最低解析度Μ個子影像開始，分別輸入至其 對應的Μ個自我構圖類神經網路，產生μ個優勝單元，以 進行決策辨識，經由計算該Μ個優勝單元與其相對應自我 構圖類神經網路上各學習影像的優勝單元之距離，找出可 能為優勝者之候選者，如候選者僅有一人，則此人就是優 勝者，決策過程在此完成，如果候選者不只一位，則保留 這些候選者留待更高一層解析度時再做決策。 由於本發明設計新穎，能提供產業上利用，且確有增 進功效，故依法申請專利。 為使貴審查委員能進一步瞭解本發明之結構、特徵 及其目的，茲附以圖式及較佳具體實施例之詳細說明如 后： 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） i—丨丨丨丨丨丨丨—裝i·丨丨丨丨丨訂-丨------* (請先閲讀背面之注意事項再填寫本頁) 477959 A7 B7 經濟部智慧財產局員工消費合作社印製 第1圖 竭2圖 第3圖 第4圖 第5圖 第6圖 第7圖 第8圖 五、發明說明（4 ) 【圖式簡單説明 係本發明之多層次臉部影像辨識系統之架構圖。 係正交鏡像濾通器分解頻率平面分割圖。 係正交鏡像滤通器之分解過程示意圖。 係三層解析度正交鏡像濾通器分解頻率平面分割 圖0 係三層解析度正交鏡像濾通器之分解過程示音 圖。 " 係本發明之多層次臉部影像辨識系統在學習階段 之架構圖。 係SOM類神經網路之架構圖。 係本發明之多層次臉部影像辨識系統在測試階段 之架構圖。 圖號説明】 1 1 )臉部原始影像 （12 )完整臉部影像 101)〜（104) (111)〜（114)子影像 121 )〜（124 )子影像 2 1 ) S Ο Μ類神經網路 （2 2 )特徵圖 【較佳具體實施例之詳細説明】 有關本發明之多層次臉部影像辨識方法及系統之一較 佳貫施例’請先參照第1圖所示之系統流程圖，其中，系 統知入^的資料是以攝影機拍攝參與實驗者的臉部影像， 以輸入臉部原始影像η (步騾SU )。步驟S12則進行前 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ------------裝--------訂--------- (請先閲讀背面之注意事項再填寫本頁) 477959 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（夕） 置處理，以將原始影像丨丨裁剪成僅包含完整的臉部影像 1 2 ’並將影像調整為例如丨2 8 X丨2 8的影像。 於步騾S 1 3中，係將該臉部影像丨2分解成至少二種解 析度，每種解析度個有複數個頻道，於本較佳實施例中， 係將該臉部影像12分解成三種解析度，每種解析度個有四 個頻道，因此，共可分解成12張子影像1〇1〜1〇4， 111〜114及 121 〜124 〇 前述步騾S 13對臉部影像丨2之分解係以正交鏡像濾通 焱（Quadrature Mirror Fillter，QMF )進行，該濾通 器為採用微波分解法（wavelet decomp osition)，具可 分離特性而且可完美重組影像。第2圖表示正交鏡像濾通 裔刀解的頻率平面分割圖。第3圖則表示正交鏡像濾通器 之分解過程。 第4圖顯7F在本發明之系統中係以正交鏡像滤通器將 影像分解成三種解析度，每種解析度均有四個頻道。而以 表示這1 2個子影像，下標表示原始影像經i 次分解所得之子影像，每次分解時，只對高一層解析度的 低頻子影像，再做分解。因為辽,_1影像包含這一層解 析度的低頻與高頻資料，而册· !，机影像只剩餘邊緣 線及特別突出的亮點。當ζ·=厂2,3時，子影像之解析度分 別為64 X 64、32><32及16)< 16。第5圖即顯示前述三層 解析度、四個頻道的正交鏡像濾通器之分解情況。 再凊參照第1圖及第6圖所示，在學習階段時，每人以 係以一張常態表情的正面臉部影像為系統的學習影像，而 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） I I I I I --------^» — — — — — 1 — (請先閲讀背面之注意事項再填寫本頁) 477959 A7 ____Β7____ 五、發明說明（6) 將學習影像分解後之子影像1 〇 1〜丨〇4，η卜丨丨4及 121〜124分別輸入至12個自我構圖（Self-〇rganizing (請先閲讀背面之注意事項再填寫本頁)

Map，SOM)類神經網路21以進行無監督式歸類學習 (步騾S 1 4 )，產生特徵圖2 2。 第7圖説明前述S Ο Μ類神經網路2 1之架構，其中，輸 入層用以表示網路的輸入變數，即輸入的臉部影像向量。 因此，共12個經正交鏡像滤通器分解後之子影像，將分別 輸入至1 2個S ΟΜ類神經網路2 1中學習。輸出層用以表示 網路的輸出變數’也就是臉部子影像經S 〇 Μ類神經網路 21映射後於特徵圖22上之位置。聯結層是每個輸出單元 與輸入單元相聯結的加權値所構成的向量。當網路學習完 成之後，輸出單元相鄰近者會具有相似的聯結加權値。 再請參照第1圖及第6圖所示，當s Ο Μ類神經網路2 1 完成預定的學習週期，將每人的學習影像之子影像再一次 分別輸入至1 2個已經完成學習的s ΟΜ類神經網路2 1，以 使每人在每一個S Ο Μ類神經網路2 1均產生一個優勝單元 (步騾S 1 5 )。 經濟部智慧財產局員工消費合作社印製 在測試階段時，請參照第1圖及第8圖所示，係將測試 影像分解，以由最低解析度四個子影像…丨〜丨〇4開始，分 別輸入至其對應的四個S ΟΜ類神經網路2 1，產生四個優 勝單元（步騾S 1 6 )，步驟S 1 7進行決策辨識，其首先計 算這四個網路優勝單元與其相對應S ΟΜ類神經網路2 1上 各學習影像的優勝單元之距離，以距離的倒數做為相似程 度的參考値。保留相似値大於篩選門檻値的候選者，如果 本紙張尺度關家標準（CNS)A4規格（210 X 297^釐) 一 477959

經濟部智慧財產局員工消費合作社印製 五、發明說明（？） 大於門摇値的候選者僅有一人，則此人就是優勝者，決策 過程在此完成。如果大於門檻値的候選者不只一位，則保 貿這些候選者留待更高一層解析度時再做決策。亦即對較 高解析度之四個子影像11^^4同樣進行步騾Sl6及S1 7 <處理，經處理後如果大於門檻値的候選者僅有一人，則 此人就是優勝者，決策過程即在此完成。反之，則需再對 最鬲解析度之四個子影像1 2 1〜1 24同樣進行步騾s丨6及 S 1 7 <處理，俾以找出優勝者，而達成臉部影像之辨識。 由以上之説明可知，本發明之多層次臉部影像辨識方 法及系統係以應用多解析度分解與類神經網路配合多層決 策方法，達成臉部影像辨識功能。藉由正交鏡像濾通器之 多頻道分解的特性將原始影像分解成四個子影像，每一子 影像：資料量僅為原始影像的四分之一，可降低類神經網 路運算量，提昇學習效率。應用s〇M類神經網路無監督 式歸類學習的特性，不f由人為方式選定及抽取特徵，可 以避免特徵選取不當或不足，應用多層決策方法可降低資 料比對量，大幅提高辨識速度。 一综上所陳，本發明無論就目的、手段及功效，在在均 顯π其迴異於習知技術之特徵，為臉部影像辨識之設計上. 的一大突破，誠為一具產業上利用性、新穎性及進步性之 發明’應符合專射請要件，爰依法提出申請。 本紙張尺度剌中國國家規格⑽x 297q公爱； Μ-----—t--------- (請先閱讀背面之注意事項再填寫本頁)

Claims (1)

1! I 7 jy A8 B8 C8 D8 步驟 申請專利範圍 種夕層久臉部影像辨識方法，主要包括下述之 (A )輸入臉部原始影像，· (B )進行前置處理，以航二、^ 完整的臉部影像； 謂琢原始影像裁剪成僅包含 個有Μ伽4將Λ臉部心像分解^ N種解析度，每種解析度 個有Μ個頻道，盆中 νχμ張子影像；、= ，使該臉部影像分解成 與」：）在子白階段時’以常態表情的正面臉部影像為 二Γ1將學習影像分解後之子影像分別輸入至NX 個自我構圖類神經網路以進行無監督式歸類學習，且冬 =經網路完成預定的”，將學習影像之子影像再 ^分別輸人至㈣個已經完成學習的類神經網路，以使 母一個類神經網路均產生一個優勝單元；以及 ⑻在測試階段時’將測試影像分解，以由最低解 析度Μ個子影像開始，分別輸人至其對應的m個自我構圖 類神經網路，產生M個優勝單元，以進行決策辨識，經由 计异孩Μ個優勝單元與其相對應自我構圖類神經網路上各 學習影像㈣勝單元之距離，找_“優勝者之候選 者，如候選者僅有-人，則此人就是優勝者，決策過程在 此％成，如果候選者不只—位，則保留這些候選者留待更 向一層解析度時再做決策。 ----------------------訂---------線^^ (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印制衣 47/959 ·> 經濟部智慧財產局員工消費合作社印製 C8 —' .. ————————— D8 、申清專利範圍 、士申Μ專利範圍第丨項所述之多層次臉部影像辨識 方法’其中，於步騾（E)巾，係以該Μ個優勝單元與： 相對應自我構圖類神經網路上各學習影像的優勝單元之距 離的倒數做為相似程度的參考値，保留相似値大於篩選門 播値的候選者，以找出優勝者。 、3 ·如申μ專利範圍第2項所述之多層次臉部影像辨識 万法，其中，當大於門檻値的候選者僅有一人，則此人就 是優勝者。 、4·如申請專利範圍第1項所述之多層次臉部影像辨識 方法八中，於步騾（C )中，係以正交鏡像濾通器將該 臉部影像分解分解成㈣解析度，㈣解折度均有Μ個頻 道。 5· —種多層次臉部影像辨識系統，主要包括： 影像輸入機制，以輸入臉部原始影像； 則置處理機制，以將該原始影像裁剪成僅包含完整的 臉部影像； 分解機制，以將該臉部影像分解成Ν種解析度，每種 解析度個有Μ個頻道，其中Ν^2且Μ^2，使該臉部影像 分解成Ν X Μ張子影像；以及 複數個自我構圖類神經網路，其中，在學習階段時， 係以常態表情的正面臉部影像為學’習影像，而將學習影像 分解後之子影像分別輸入至Ν X Μ個自我構圖類神經網路 以進行然監督式歸類學習，且當類神經網路完成預定的學 習週期，將學習影像之子影像再一次分別輸入至該Μ個已 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 29方公釐） (請先閱讀背面之注意事項再填寫本頁) 零裝--------訂---------- 477959 經濟部智慧財產局員工消費合作社印製 Α8 Β8 C8 D8 六、申請專利範圍 經完成學習的類神經網路，以使每一個類神經網路 -個優勝單元；而在測試階段時，將測試影^分解^ 最低解析度Μ個子影像開始，分別輸入 丹對應的Μ個自 我構圖類神經網路，產生Μ個優勝單元，以進行決策辨 識’經由計算該Μ個優勝單元與其相對應自我構二= 網路上各學習影像的優勝單元之距離，找出可能為優勝: 4候選者，如候選者僅有一人，則此人就是優勝者，決策 過程在，完成，如果候選者不只一位，則保留這些候選者 留待更高一層解析度時再做決策。 6.如申請專利第5項所述之多層次臉部影像辨識 系統，其中，在該測試階段時，係以該Μ個優勝單元與其 相對應自我構圖類神經網路上各學習影像的優勝單元之距 離的倒數做為相似程度的參考値，保留相似値大於篩選門 檻値的候選者，以找出優勝者。 7_如申請專利範圍第6項所述之多層次臉部影像辨識 系統，其中，當大於門檻値的候選者僅有一人，則此人就 是優勝者。 8 ·如申請專利範圍第5項所述之多層次臉部影像辨識 系統，其中，該分解機制，係以正交鏡像濾通器將該臉部 影像分解分解成Ν種解析度，每種解析度均有“個頻道。 本紙張尺度顧中關家鮮（CNS)A4規格（210 X 29戸公爱） (請先閱讀背面之注音？事項再填寫本頁) -I H ^1 ϋ ϋ n n 如0、· ϋ 1· ϋ ·_»1 n n Bn I ·