TWI613564B

TWI613564B - 眼睛注視認證技術

Info

Publication number: TWI613564B
Application number: TW105101886A
Authority: TW
Inventors: 賽義德Ｓ阿贊; 詹姆士Ｒ瓦德隆; 肯特Ｅ比吉斯; 李察Ｅ后吉斯
Original assignee: 惠普發展公司有限責任合夥企業
Priority date: 2015-02-20
Filing date: 2016-01-21
Publication date: 2018-02-01
Also published as: US10699116B2; WO2016133540A1; US20180018514A1; TW201633199A

Abstract

依據本文揭示之一實施例一影像集合被載入。該影像集合的至少一個影像性質被隨機化，及該影像集合被顯示。一經註冊的影像序列被存取。至少一個眼睛注視及至少一個眼睛注視時間間隔被擷取。在該經隨機化的影像集合中之影像的一選擇序列係基於至少一個眼睛注視及至少一個眼睛注視時間間隔而予判定，及做出進一步判定有關在經隨機化的影像集合中之該等影像的該選擇序列是否匹配該經註冊的影像序列。

Description

眼睛注視認證技術

本發明係有關於眼睛注視認證技術。

發明背景

儲存於消費者、商業、及工業區塊中的電子裝置上的資料經常包括與不等程度的可信度及敏感度相關聯的資訊。試圖存取一裝置，諸如桌上型電腦、膝上型電腦、或行動裝置，或存取一系統或服務，諸如應用程式、入口網站、或網站的一使用者在接收或被准許存取該裝置或系統之前可被要求登入或認證。

依據本發明之一實施例，係特地提出一種基於眼睛注視的使用者認證方法，其包含：使用一處理器，載入得自一記憶體的一影像集合；使用該處理器，隨機化該影像集合的至少一個性質；使用一顯示器，顯示該經隨機化的影像集合；使用該處理器，存取一經註冊的影像序列；使用耦合至該顯示器的一相機，擷取至少一個眼睛注視及至少一個眼睛注視時間間隔；及使用該處理器，基於該至少一個眼睛注視及該至少一個眼睛注視時間間隔而判定在該經隨機化的影像集合中之影像的一選擇序列，及進一步判定在該經隨機化的影像集合中之該等影像的該選擇序列何時匹配該經註冊的影像序列。

102‧‧‧使用者

104、400‧‧‧掃描裝置

106‧‧‧感測器

108‧‧‧鍵盤

110‧‧‧滑鼠

112‧‧‧拼貼

114A-D、202A-D‧‧‧影像

116、204‧‧‧提示

302-318‧‧‧方塊

402‧‧‧處理器

404‧‧‧非暫態電腦可讀取儲存媒體

406‧‧‧顯示器

408‧‧‧記憶體

410‧‧‧攝影機

412‧‧‧LED、照明裝置

414‧‧‧指令

圖1A-1D例示依據本文揭示之實施例基於對應一影像集合的使用者眼睛注視用於使用者認證的裝置；圖2A-2D例示依據本文揭示之實施例基於對應一影像集合的使用者眼睛注視用於使用者認證的裝置；圖3為流程圖，顯示依據本文揭示之一實施例基於對應於影像集合的眼睛注視而認證一使用者的方法；及圖4例示依據本文揭示之一實施例計算裝置的示意表示型態，其可用作為基於對應於一影像集合中之影像的眼睛注視而認證一使用者的平台。

較佳實施例之詳細說明

此處描述之各種實施例提供基於該使用者眼睛注視朝向例如一顯示器而認證一使用者。於若干實施例中，使用者在一系統或裝置上的註冊程序期間可註冊影像之一組合及/或一序列。當使用者尋求認證至該系統或裝置時，該等影像可顯示於動態或隨機螢幕位置及/或大小作為一影像集合或拼貼的一部分，及該使用者的眼睛注視朝向該等影像可藉一感測器追蹤及/或擷取，使得使用者可藉由其眼睛注視及/或眼睛移動而選擇影像。於若干實施例中，當使用者的眼睛注視被判定為選擇影像匹配經註冊影像的組合及/或序列時，該使用者可被准許存取該裝置或系統。

概略言之，電子裝置諸如桌上型電腦、膝上型電腦、平板、收銀機、或其它裝置(後文稱作為「裝置」)或系統諸如應用程式、入口網站、或網頁(後文稱作為「系統」)的使用者可能需要以例如密碼或其它形式的認證來保護或限制存取該裝置或系統。

密碼可提供脆弱形式的認證，來自於密碼特有的脆弱點，或透過惡意活動有能力危害密碼，諸如密碼破解應用程式、金鑰側錄應用程式、冒名頂替電子郵件、社交工程陷阱或操弄、「肩窺」技術、視訊紀錄、及其它技術。在要求較高安全性程度的裝置及/或系統中脆弱密碼特別成問題。此外，密碼可能難以記憶，結果導致使用者挫折感，無法存取裝置或系統，及/或需要管理器的介入及額外處理資訊負擔。

與密碼的挑戰相反地，人腦包括梭狀腦回，提供用於臉部及人體辨識的腦部一區。人腦能夠辨識例如在一集合或一拼貼之影像中的其它人臉中的一個人臉，即便每次該拼貼由人腦觀看時拼貼內部的人臉大小及位置改變亦復如此。

依據本文揭示之一實施例，一影像集合被載入。該影像集合的至少一個影像性質被隨機化，及該影像集合被顯示。一經註冊的影像序列被存取。至少一個眼睛注視及至少一個眼睛注視時間間隔被擷取。在該經隨機化的影像集合中之影像的一選擇序列係基於至少一個眼睛注視及至少一個眼睛注視時間間隔而予判定，及做出進一步判定有關在經隨機化的影像集合中之該等影像的該選擇序列是否匹配該經註冊的影像序列。

圖1A-1D例示依據本文揭示之實施例，基於對應一影像集合的使用者眼睛注視用於使用者認證的裝置。

於圖1A之實例中，使用者102可位在裝置104前方。裝置104可顯示作業系統桌上型電腦、認證畫面、應用程式、入口網站、網頁、或其它內容。顯示器也可耦合至鍵盤108及滑鼠110、或其它裝置或周邊裝置。裝置104也可包含相機、發光二極體(LED)、或其它感測器106用於檢測使用者102、使用者102與裝置104間之距離或角度，及使用者102的眼睛注視或眼睛移動。

更明確言之，於圖1A之實例中，使用者102可由感測器106檢測。感測器106例如可以是高畫質紅綠藍紅外線(HD RGB-IR)感測器、HD RGB(或黑及白)互補金氧半導體(CMOS)感測器及透鏡、IR LED、非準直光源、或用以檢測眼睛注視的感測器或照明光源的任何組合。於一個實施例中，使用者102的瞳孔與角膜反射間之向量可用以計算使用者注視的裝置104上的該點。須瞭解其它技術可採用以判定於任何給定時間使用者注視的裝置104上的該點或該等點。

於圖1A之實施例中，裝置104可顯示裝置上及/或耦合至裝置的電子顯示器上影像的集合、群組、組合、或拼貼112(後文稱作為「拼貼」)。於各種實施例中，拼貼包含來自使用者102或另一使用者，例如使用者存庫的相片集合的影像；來自另一來源的影像，諸如網際網路或攝影存庫(stock photography)；或兩者的組合。於一實施例中，當一裝置或系統係在鎖定或保全狀態時，亦即當裝置或系統正在等候使用者認證以許可存取裝置或系統時，可顯示拼貼112。舉例言之，拼貼112可顯示為在本地電腦上的作業系統的登入畫面，或來自遠端伺服器的網站的登入畫面。

於若干實施例中，顯示為拼貼112部分的影像係在使用者註冊期間由使用者102選取，例如當使用者選擇或組配裝置或系統的認證設定時。於若干實施例中，使用者102可選擇一串列影像，其將為拼貼112的部分，其可包括後來選用以認證的影像，以及將不用以認證但將填補環繞由使用者102註冊的影像周圍畫面的「填充元」影像。填充元影像也可隨機選自相片存庫或其它來源，諸如網際網路或攝影存庫。

於若干實施例中，使用者102也可選擇影像後來用於認證的影像順序或序列。依據其它實施例，用於認證的影像可由裝置或系統隨機選取，使用者只註冊影像後來選用以認證的順序。

於若干實施例中，註冊可利用此處描述之眼睛注視追蹤技術，而於其它實施例中，滑鼠、觸控輸入、或其它輸入裝置可用以註冊或組配裝置或系統認證。使用者註冊可包括訓練組件用以教育使用者102如何註冊及後來認證。

顯示在裝置104上的拼貼112，如前述，可基於使用者102的註冊顯示影像，每次拼貼被顯示時，例如使用者登入或認證時，動態地或隨機地設定拼貼中至少一個影像的影像性質。舉例言之，每次載入拼貼時，亦即每次使用者欲認證時，拼貼內部的影像位置及/或各個影像的大小可被設定隨機載入。拼貼的隨機化或改變可防止任何使用者試圖紀錄使用者102的頭部或眼睛移動用於後來複製樣式或序列，原因在於取而代之，各次認證時在拼貼112中的變化將仰賴使用者102辨識在拼貼中的影像的能力，而與其位置、配置、大小、或其它性質改變獨立無關。

容後詳述，感測器106可根據例如，使用者102的瞳孔與角膜反射間之向量，於任何給定時間檢測使用者注視何處。於圖1A之實例中，感測器106可檢測使用者102注視標示為114A的影像，亦即朝向裝置104的中心的大影像。影像114A可以是一串列影像中的第一者，該串列影像為使用者102已經註冊成認證過程或流程的一部分用以解鎖存取至裝置104及/或耦合至裝置104的另一裝置，諸如主持網站的電腦或伺服器。

於若干實施例中，使用者注視顯示器上的給定影像或點亦即影像114A多長的時間相關時間間隔可經擷取或紀錄用以決定何時影像被選取，或單純視為使用者的眼睛當掃描該顯示器時通過該影像。舉例言之，使用者可導引他的或她的注視朝向影像114A，同時掃描裝置104的影像，但非意圖選擇影像114A作為認證裝置的部分。於一實施例中，當使用者102維持或鎖定注視在影像例如影像114A上歷時最短時間週期，諸如兩秒時，感測器106可紀錄朝向影像114A注視。於若干實施例中，感測器106也可紀錄認證期間注視的影像數目，及當超過眼睛注視計數值亦即嘗試次數時停止認證。

於若干實施例中，當注視滿足最短時間週期用以選擇使用者意圖成為認證順序的部分之影像時，視覺、音訊、觸覺、或其它回授可提供給使用者102。舉例言之，選取的影像可由輝光、邊緣改變、或亮度變化變更用以例示影像的選擇，或一指標可出現在遠離被選取影像位置用以最小化在裝置104附近未經授權的使用者看到被選取影像的能力。於其它實施例中，在影像的各次選取作為影像被成功選取的回授之後，拼貼112內的影像定位及/或大小可循環。

於圖1B之實例中，使用者102的眼睛注視已從圖1A中選取的影像114A移動至影像114B。如前述，於各種實施例中，影像114B可被選用作為認證過程的部分，或在滿足使用者注視的最短時間週期之後被選取。

於圖1C之實例中，使用者102的眼睛注視已從圖1B中選取的影像114B移動至影像114C。於圖1A-C之實例中，使用者102可在使用者註冊期間已經註冊影像114A、114B、及114C，然後藉由選擇如圖1A-C顯示的影像114A-C而認證給裝置104。據此，使用者102可存取裝置或系統，例如裝置104。於若干實施例中，如於圖1D中顯示，可顯示訊息或提示116以指示使用者已被認證。於其它實施例中，使用者102可直接存取裝置或系統，例如直接存取作業系統或網頁，而無需先顯示提示116。

圖2A-2D例示依據本文揭示之實施例，基於對應一影像集合的使用者眼睛注視用於使用者認證的裝置。於若干實施例中，圖2A-D例示由使用者102對裝置104的隨後認證。

於圖2A，裝置104顯示與圖1A-1D的拼貼112中的相同影像，圖式係在不同相對位置及於不同大小。如前文討論，影像性質諸如位置、大小、方向性、或其它特徵可以各次認證在裝置104上動態地或隨機地設定。

於圖2A-2C中，使用者102的眼睛注視已從影像202A移動至202B至202C，使用者遵循圖1A-1C的相同影像組合及順序而與拼貼112中的影像位置及大小的改變獨立無關。於圖2D中，一旦使用者已經藉由影像拼貼認證，則可利用第二認證形式以提高安全性層級。舉例言之，可顯示密碼提示，諸如提示204，或可使用另一種形式的認證，諸如臉部辨識、語音辨識、指紋辨識、或其它生物統計、及/或個人識別號碼(PIN)、透過簡訊服務或語音呼叫的PIN、或其它二次形式的認證。當二次形式的認證經確認時，使用者102可被准許存取裝置或系統，例如裝置104。

圖3為流程圖顯示依據本文揭示之一實施例，基於對應於影像集合的眼睛注視而認證一使用者的方法。

於方塊302，影像集合或拼貼例如可由裝置上的處理器載入，該裝置可以是由使用者直接使用的裝置，或能夠傳輸資料及/或影像給使用者的裝置諸如網站或應用程式伺服器。如前文討論，影像集合可源自於使用者102或另一使用者的照片集合；來自另一來源的影像，諸如網際網路或攝影存庫；或兩者的組合。

於方塊304，影像集合可隨機地或動態地顯示及/或更新。舉例言之，如前文討論，影像在拼貼內部的位置及/或各個影像的大小可經設定以每次拼貼被載入時，大小隨機地載入。於方塊306，可被隨機地或動態地更新的影像集合經顯示例如於裝置104上或其它裝置上。

於方塊308，可存取已註冊影像集合及/或影像序列。如前文討論，於註冊過程期間，使用者可已經擇定一影像集合及/或影像順序，該等影像及/或影像序列用於隨後認證以解鎖一系統裝置。影像集合及/或影像序列可於方塊308自例如記憶體存取。

於方塊310，於一實施例中，感測器106可用以擷取使用者102的眼睛注視、移動、及/或路徑，及各次注視、移動、及/或路徑的時間間隔。舉例言之，如於圖1A-1C中顯示，感測器106可擷取使用者102的眼睛注視從影像114A移動至114B至114C，感測器106對裝置104指示針對在一特定影像上的注視，何時眼睛注視已經滿足足以選擇該影像為認證過程部分的最小時間間隔。注視、移動、及/或路徑連同時間間隔可儲存於記憶體，且可稱作為選擇序列或組合。

於方塊314，可做決定有關在認證期間由使用者選取的影像選擇序列或組合匹配註冊期間由使用者載入的註冊序列或組合。當序列或組合匹配時，流程可前進到方塊318，於該處核准存取裝置104；或當序列或組合不匹配時，流程可前進到方塊316，於該處對裝置104的存取可被拒絕。於若干實施例中，當核准存取時，在核准存取之前可請求第二形式的認證，而於其它實施例中，圖3之流程本身可以是在另一形式例如密碼或生物統計被成功地載入之後的第二形式的認證。

圖4例示計算裝置的示意表示型態，其可用作為基於對應於一影像集合中之影像的眼睛注視而認證一使用者的平台。

於一實施例中，裝置400包含處理資源諸如處理器或CPU 402；非暫態電腦可讀取儲存媒體404、顯示器406、記憶體408諸如RAM、ROM、或快閃記憶體、感測器410、及LED、LED之組合、或其它照明光源412。於若干實施例中，裝置400也包含碟片驅動裝置諸如硬碟驅動裝置或固態碟驅動裝置；作業系統；及網路介面諸如區域網路(LAN)卡、無線802.11x LAN卡、3G或4G行動WAN、或WiMax WAN卡。此等組件各自可操作式耦合至匯流排。

附圖中陳述的部分或全部操作可包含在任何期望的電腦可讀取儲存媒體中作為公用程式、程式、或子程式，或嵌置於硬體上。電腦可讀取媒體可以是任何合宜媒體其參與提供指令給處理資源402以供執行。舉例言之，電腦可讀取媒體可以是非依電性媒體，諸如光碟或磁碟，或依電性媒體，諸如記憶體。電腦可讀取媒體也可儲存其它機器可讀取指令，包括從網路或網際網路下載的指令。

此外，可藉機器可讀取指令實施操作。舉例言之，其可呈以來源碼、目的碼、可執行碼、或其它格式的機器可讀取指令。

裝置400可包含例如，非暫態電腦可讀取媒體其可包含指令414，當由機器(例如，電腦)執行時，用以載入影像拼貼；變更影像拼貼中之至少一個影像的大小；變更影像拼貼中之至少一個影像的位置；及顯示影像集合。指令414也可造成機器以感測器追蹤一使用者朝向影像拼貼中之至少兩個影像的眼睛注視，且回應於判定被追蹤的使用者朝向影像拼貼的眼睛注視匹配儲存的影像組合且不超過眼睛注視計數值而核准存取電腦程式。

電腦可讀取媒體也可儲存例如，作業系統諸如微軟視窗(Microsoft Windows)、麥金塔(Mac)OS、Unix、或Linux；網路應用程式諸如網路介面及/或雲端介面；及眼睛追蹤模組。作業系統可以是多使用者、多處理、多任務、及/或多執行緒。作業系統也可執行基本任務，諸如辨識來自輸入裝置諸如鍵盤或數字小鍵盤的輸入；發送輸出給一顯示器；追蹤媒體上的檔案及目錄；控制周邊裝置，諸如驅動裝置、列印器、或影像擷取裝置；及/或管理匯流排上的訊息流。網路應用程式可包括各種組件用以建立與維持網路連結，諸如用於實施通訊協定的機器可讀取指令，包括，但非限制性，TCP/IP、HTTP、乙太網路、USB、及火線(FireWire)。

於某些實施例中，此處從事的部分或全部處理可整合入作業系統。於某些實施例中，處理可至少部分於數位電子電路、電腦硬體、機器可讀取指令(諸如韌體及/或軟體)、或其任何組合實施。

前文討論意圖用於例示本文揭示的原理及各種實例。一旦完整瞭解前文揭示時，無數變化及修正將為熟諳技藝人士顯然易知。意圖後文申請專利範圍被解譯為涵蓋此等變化及修正。

302-318‧‧‧方塊

Claims

一種基於眼睛注視的使用者認證方法，其包含：使用一處理器載入得自一記憶體的一影像集合；使用該處理器隨機化該影像集合的至少一個性質；使用一顯示器顯示該經隨機化的影像集合；使用該處理器存取一經註冊的影像序列；使用耦合至該顯示器的一相機擷取至少一個眼睛注視及至少一個眼睛注視時間間隔；及使用該處理器，基於該至少一個眼睛注視及該至少一個眼睛注視時間間隔而判定在該經隨機化的影像集合中之影像的一選擇序列，及進一步判定該經隨機化的影像集合中之該等影像的該選擇序列何時匹配該經註冊的影像序列。
如請求項1之方法，其中回應於該經隨機化的影像集合中之該等影像的該選擇序列匹配該經註冊的影像序列，該方法進一步包含認證該使用者。
如請求項1之方法，其中回應於該經隨機化的影像集合中之該等影像的該選擇序列匹配該經註冊的影像序列，該方法進一步包含提示一第二形式的認證。
如請求項1之方法，其中該影像性質為一影像大小及一影像方向中之至少一者。
如請求項1之方法，其中該影像性質為在一影像拼貼內部的一集合之影像座標。
如請求項1之方法，其中該影像集合包含得自一使用者存庫的影像。
一種用於使用者認證之系統，其包含：一顯示器；一感測器，用以檢測一使用者及一使用者眼睛注視；及通訊式耦合至該感測器的一處理資源；其中該顯示器係用以顯示於一影像拼貼中之影像的一組合，其中該感測器係用以擷取與來自該影像拼貼中之影像的該組合的至少兩個影像之一使用者選擇相對應的一使用者眼睛注視路徑，及其中該處理資源係用以隨機化該影像拼貼中之影像的該組合的一大小及一位置，載入一經註冊的影像組合，比較經註冊的影像組合與該使用者選擇，及針對一第二形式的認證提示該使用者。
如請求項7之系統，其中，該顯示器係用以在檢測到該眼睛注視路徑在該影像拼貼中之一點上歷時大於一最小時間間隔的一段時間時，提供視覺回授給該使用者。
如請求項7之系統，其中該感測器為一互補式金氧半導體相機。
如請求項7之系統，其中該感測器係耦合至一非準直光源。
如請求項7之系統，其中該第二形式的認證為一密碼或生物量測認證中之至少一者。
一種儲存有用於使用者認證之電腦程式的非暫態電腦可讀儲存媒體，該電腦程式包含一集合之指令，其在執行時使得該電腦用以：載入一影像拼貼；變更該影像拼貼中之至少一個影像的一大小；變更該影像拼貼中之至少一個影像的一位置；顯示該影像拼貼；使用一感測器追蹤一使用者朝向該影像拼貼中之至少兩個影像的一眼睛注視；及回應於被追蹤的該使用者朝向該影像拼貼的眼睛注視匹配一經儲存的影像之組合及不超過一眼睛注視計數的一判定，而許可存取一電腦系統。
如請求項12之電腦可讀儲存媒體，其中該等指令係進一步用以變更該影像拼貼中之至少一個影像的一方向。
如請求項12之電腦可讀儲存媒體，其中該儲存的影像之組合係由一使用者眼睛注視在一影像存庫的至少兩個影像上而予選取。
如請求項12之電腦可讀儲存媒體，其中該儲存的影像之組合包括一序列指示器。