TWI424359B - Two - stage Face Recognition System and Method - Google Patents

Description

兩階段人臉辨識系統與方法

本發明係關於一種兩階段人臉辨識系統與方法，特別為一種利用分類與驗證兩階段的方法，透過運算複雜度較低的支持向量機(SVM)分類方法以加速辨識時間，再利用較精確的特徵比對方法做驗證，以提升人臉辨識準確性。

人臉辨識是近幾年來新興起的一項研究技術，其非接觸性及高方便性的優勢，廣泛的受到研究學者與產業界的高度重視，期盼能於治安或門禁管理上有優異的表現；一個成功的人臉辨識系統可以應用於大樓出入口處身份識別、犯罪嫌疑人身份識別，甚至可以應用在維護航空安全的出入境身份識別。當前的人臉辨識系統中，辨識程序為人員站在定位準備辨識，由影像擷取模組同步的擷取臉部正面或側面影像，經由特徵抽取後與人員資料庫的全部臉部特徵資料進行比對，進而找出差異度最低的人員資料庫成員，最後藉由一差異度門檻值來判定待辨識影像是已註冊/未註冊人員，這種做法已揭露於專利「應用於設定環境下人臉偵測及辨識之方法與裝置」(專利公開號：200709075)中。

另外，如論文[1]中，將臉部區域分割成若干個小區域，以LBP(Local Binary Pattern)方法對臉部區域的每個像素進行影像編碼，計算其中心像素與八鄰域像素值的相關性，藉以產生一二位元代碼，經由各小區域二位元代碼之histogram(直方圖)計數得到臉部特徵，使用Chi-square distance[2]計算測試影像與訓練資料臉部特徵差異度作為辨識分類器，而產出辨識結果；而論文[3]中，使用MBLBP(Multi-scale Block Local Binary Patterns)方法作臉部特徵計算，再以AdaBoost模組[4]作為辨識分類器；以上這些辨識系統與方法都有一個共通點，當一測試影像輸入欲辨識時，都必須和人員資料庫(訓練資料)的全部人員之臉部特徵進行一對一比對，進而得到差異度最低的辨識人員結果，但隨著人員資料庫的擴充，將造成運算複雜度與資料比對時間的增加，進而降低了人臉辨識商品之實用性。

由此可見，上述習用方式仍有諸多不足，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件一種兩階段人臉辨識系統與方法。

本發明之目的即在於提供一種兩階段人臉辨識系統與方法，主要係利用分類與驗證兩階段的方法整合，以達到加速辨識時間，以及提升人臉辨識準確性之目的。

可達成上述發明目的之兩階段人臉辨識系統與方法，係改善當前的人臉辨識方法需花費龐大的運算複雜度和資料比對時間，並加入驗證的程序，用以提升人臉辨識之準確性。每一人員在辨識前需進行註冊，拍攝一連串多臉部角度之人臉影像，經程式軟體篩選角度適合的影像後，抽取人臉影像中之臉部特徵資料，將其儲存於人員資料庫內，透過支持向量機(SVM)演算法[5]對人員資料庫中的人員臉部特徵資料做多類別的訓練產生支持向量機(SVM)分類模組，每一類別由一人員之多臉部角度特徵資料所組成；當一待辨識影像輸入欲辨識時，會計算其臉部特徵資料，此臉部特徵資料經由支持向量機(SVM)分類模組的分類，可得到一最相似於已註冊人員資料庫某成員之分類結果；再以特徵比對方法做人臉驗證，將待辨識臉部特徵資料與該已註冊人員之臉部特徵資料進行一對多的驗證比對，驗證比對方式係使用Chi-square distance[2]計算兩者臉部特徵之差異度，若比對兩者臉部特徵差異度低於一門檻值時，即認為待辨識影像與該已註冊人員為同一人，輸出該人員姓名；若比對兩者臉部特徵差異度高於一門檻值時，即認為待辨識影像與該已註冊人員不為同一人，輸出非註冊人員之辨識結果。

請參閱圖一所示，係本發明兩階段人臉辨識系統與方法之架構圖，包含：一人臉擷取模組10，其係用以擷取人臉之影像，再由特徵抽取模組11計算其臉部特徵；一特徵抽取模組11，其係用特徵抽取方法計算出臉部特徵，獲得臉部特徵資料12；其中，該特徵抽取模組11的特徵抽取方法可為特徵值計算(Local Binary Patterns，LBP)影像編碼方法，或是多解析度區塊局部二元化計算(Multi-scale Block Local Binary Patterns，MBLBP)影像編碼方法，再加上AdaBoost學習(AdaBoost learning)方法；一支持向量機(SVM)分類模組13，其係將上述臉部特徵資料12計算並得到一最相似之已註冊人員資料庫某成員，係利用支持向量機(SVM)演算法[5]，對人員資料庫14做多類別的訓練所得到之人員分類模組，每一類別由一人員之多臉部角度特徵資料所組成；一人員資料庫14，其係儲存全部人員之臉部特徵資料；其中，每一人員之臉部特徵資料包含多張與多臉部角度影像的特徵資料，可經程式軟體或人工篩選適合的影像；一資料庫抽取模組15，其係透過人臉擷取模組10與特徵抽取模組11的臉部特徵資料12，配合支持向量機(SVM)分類模組13的分類結果，從已註冊人員資料庫14中選取出特定成員臉部特徵資料16，即是選取出分類結果之成員臉部透徵資料，以做為驗證比對時使用；一臉部特徵驗證模組17，其係用以對臉部特徵資料12與特定成員臉部特徵資料16做一對多的驗證比對；驗證比對方式係使用卡方距離(Chi-square distance)計算兩者臉部特徵差異度，若差異度低過一門檻值時，即認為待辨識影像與該成員為同一人，並輸出該成員姓名；若比對後兩者臉部特徵差異度高於一門檻值時，即認為待辨識影像與該成員不為同一人，並輸出非註冊人員；其中，門檻值係經由計算人員資料庫14中人員臉部特徵間之Chi-square distance，包含計算本人和本人臉部特徵之Chi-square distance與本人和非本人臉部特徵之Chi-square distance，再根據此兩類Chi-square distance取平均值所決定。

其中，可利用一種內儲程式之電腦可讀取媒體，當電腦載入程式並執行後可完成本案所述兩階段人臉辨識系統與方法。

另外，為了測試本案兩階段人臉辨識系統與方法，係以本實驗室所拍攝的人臉資料庫進行實驗，人臉資料庫由100位人員所組成，每一人員連續拍攝了60張包含多臉部角度之人臉影像，其影像解析度為320×240，經程式軟體篩選適合的30張影像將其分成兩個部分，15張為訓練資料、15張為待辨識之測試影像；此實驗之實施方式為亂數從100位人員中選取80位人員進行註冊，即是將此80位人員訓練資料之臉部特徵儲存於人員資料庫中，且利用支持向量機(SVM)演算法對人員資料庫做80類別的訓練產生人員分類模組，每一類別由一人員之多臉部角度特徵資料所組成；透過兩階段人臉辨識方法之步驟，將100位人員待辨識之測試影像輸入，若一人員在15張測試影像中超過5張被認為某一註冊人員，則輸出該註冊人員姓名；反之，若一人員在15張測試影像中不超過5張被認為某一註冊人員，則輸出非註冊人員之結果；利用分類與驗證兩階段的程序可大幅降低辨識時間，相較於和人員資料庫的全部人員之臉部特徵進行一對一比對方法[3]，辨識時間由每一人員1.206秒降低至每一人員0.548秒；加入驗證的機制可提升人臉辨識之準確性，與僅使用支持向量機(SVM)之辨識方法比較，人員辨識率均為98.75%，但人員拒絕率從88%提升至98%。

請參考圖二所示，為本發明兩階段人臉辨識系統與方法之步驟流程圖，包含：步驟一：人臉擷取模組擷取待辨識人臉影像201；步驟二：利用特徵抽取模組抽取出臉部特徵資料202；步驟三：臉部特徵資料透過支持向量機(SVM)分類模組計算，得到一最相似之已註冊人員資料庫某成員203；步驟四：資料庫抽取模組於人員資料庫選取特定成員之臉部特徵資料，即是選取分類結果之成員臉部特徵資料204；步驟五：臉部特徵驗證模組比對人員資料庫之臉部特徵及特定成員臉部特徵是否符合205；步驟六：若符合，則驗證成功206，並輸出成員姓名207；步驟七：若不符合，則驗證失敗280，並輸出非註冊人員之訊息209。

本發明所提供之兩階段人臉辨識系統與方法，與其他習用技術相互比較時，更具備下列優點：

1.本發明可大幅降低運算複雜度與加快辨識時間，使其可應用於較大型人員資料庫之人臉辨識系統。

2.本發明可提升人臉辨識準確性，使其應用於人臉辨識系統更可確保居家與門禁管理安全。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不但在技術思想上確屬創新，並能較習用物品增進上述多項功效，應已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請　貴局核准本件發明專利申請案，以勵發明，至感德便。

10．．．人臉擷取模組

11．．．特徵抽取模組

12．．．臉部特徵資料

13．．．支持向量機(SVM)分類模組

14．．．人員資料庫

15．．．資料庫抽取模組

16．．．特定成員臉部特徵資料

17．．．臉部特徵驗證模組

圖一為本發明兩階段人臉辨識系統與方法之架構圖；

圖二為本發明兩階段人臉辨識系統與方法之步驟流程圖。

10．．．人臉擷取模組

11．．．特徵抽取模組

12．．．臉部特徵資料

13．．．支持向量機(SVM)分類模組

14．．．人員資料庫

15．．．資料庫抽取模組

16．．．特定成員臉部特徵資料

17．．．臉部特徵驗證模組

Claims (7)

1. 一種兩階段人臉辨識系統，包含：一人臉擷取模組，其係用以擷取人臉之影像，再由特徵抽取模組計算其臉部特徵；一特徵抽取模組，其係用特徵抽取方法計算出臉部特徵，獲得臉部特徵資料；一支持向量機(SVM)分類模組，其係將臉部特徵資料計算並得到一最相似之已註冊人員資料庫某成員；一人員資料庫，其係儲存全部人員之臉部特徵資料；一資料庫抽取模組，其係從已註冊人員資料庫中選取出特定成員臉部特徵資料，即是選取出分類結果之成員臉部特徵資料，以做為驗證比對時使用；一臉部特徵驗證模組，其係用以對臉部特徵資料與特定成員臉部特徵資料做一對多的驗證比對。
2. 如申請專利範圍第1項所述之兩階段人臉辨識系統，其中該特徵抽取模組，係以特徵值計算(LBP)影像編碼方法計算臉部特徵。
3. 如申請專利範圍第1項所述之兩階段人臉辨識系統，其中該特徵抽取模組，係以多解析度區塊局部二元化計算(MBLBP)影像編碼方法加上AdaBoost學習方法計算臉部特徵。
4. 如申請專利範圍第1項所述之兩階段人臉辨識系統，其中該臉部特徵驗證模組係使用卡方距離(Chi-square distance)計算兩者臉部特徵差異度。
5. 一種兩階段人臉辨識方法，包含：步驟一：人臉擷取模組擷取待辨識人臉影像；步驟二：利用特徵抽取模組抽取出臉部特徵資料； 步驟三：臉部特徵資料透過支持向量機(SVM)分類模組計算，得到一最相似之已註冊人員資料庫某成員；步驟四：資料庫抽取模組於人員資料庫選取特定成員之臉部特徵資料，即是選取分類結果之成員臉部特徵資料；步驟五：臉部特徵驗證模組比對人員資料庫之臉部特徵及特定成員臉部特徵是否符合；步驟六：若符合，則驗證成功，並輸出成員姓名；步驟七：若不符合，則驗證失敗，並輸出非註冊人員之訊息。
6. 一種內儲程式之電腦可讀取媒體，當電腦載入程式並執行後可完成如申請專利範圍第1項所述之系統。
7. 一種內儲程式之電腦可讀取媒體，當電腦載入程式並執行後可完成如申請專利範圍第5項所述之方法。