TWI564780B - 觸控螢幕姿態技術 - Google Patents

Description

觸控螢幕姿態技術

本發明係有關於觸控螢幕姿態技術。

發明背景

隨著行動裝置諸如智慧型電話及平板的激增，用戶已經變成習慣與電腦互動的全新方式。舉例言之，觸控螢幕(亦即，觸摸敏感顯示器螢幕)乃行動裝置泛在的特性件，使得用戶可與顯示在螢幕上的內容直接互動，而無需使用中間裝置，諸如滑鼠、觸控板、或鍵盤。觸控螢幕也常見於裝置，諸如遊戲機臺、個人電腦、電腦及網路終端機、及各種家用、辦公室、及工業電器。一般而言，觸控螢幕已經變成許多裝置的整合式組件，於該處使用者介面諸如鍵盤或滑鼠不適合或無法提供與顯示器螢幕上內容的快速、準確、及直覺的互動。

依據本發明之一實施例，係特地提出一種在一觸控螢幕裝置上提供多重手勢輸入之方法，其包含：感測在一觸控螢幕起始區的一手指手勢；回應於感測該手指手勢：擷取一使用者的眼睛之成像資訊；起始一眼睛追蹤功 能用以自該成像資訊決定該使用者的眼睛之眼睛移動及一結束凝視點；感測該手指手勢之一解除；及致動與該使用者的眼睛之該結束凝視點相關聯的一裝置功能。

100‧‧‧使用者介面觸控螢幕

102‧‧‧觸控螢幕裝置

104‧‧‧相機、相機單元

106‧‧‧觸控螢幕起始區

108‧‧‧處理器(CPU)

110‧‧‧記憶體

112‧‧‧眼睛追蹤模組

114‧‧‧多重手勢輸入模組

115‧‧‧應用程式

116‧‧‧輸入/輸出(I/O)裝置

117‧‧‧成像資訊

118‧‧‧揚聲器

119‧‧‧位置資訊、成像資訊

120‧‧‧麥克風

122‧‧‧硬鍵

124‧‧‧通訊單元

125‧‧‧大拇指、單根手指

126‧‧‧輔助標記

128‧‧‧開始凝視點

130‧‧‧結束凝視點

800、900‧‧‧方法

802-812、902-916‧‧‧方塊

A、B‧‧‧小區

現在將參考附圖描述實施例，附圖中：圖1、2、及3顯示多重手勢輸入至觸控螢幕裝置的使用者介面觸控螢幕之一實例；圖4顯示眼睛輔助標記之一實例，其可透過追蹤眼睛的移動而移動至觸控螢幕上的任何位置；圖5顯示多重手勢輸入至觸控螢幕裝置的使用者介面觸控螢幕之另一實例；圖6a、6b、6c、及6d顯示多重手勢輸入至觸控螢幕裝置的使用者介面觸控螢幕之額外實例；圖7顯示適用於使用直接接觸觸控螢幕所決定的手指手勢，及追蹤使用者的眼睛之移動及凝視所決定的視覺姿態的組合而控制裝置功能之觸控螢幕裝置之一實例之示意方塊圖；圖8及9顯示在一觸控螢幕裝置上提供多重手勢輸入相關之方法實例之流程圖，於該處手勢包括手指手勢及視覺姿態兩者。附圖中相同的元件符號標示以類似的但非必要相同的元件。

較佳實施例之詳細說明

如前記，觸控螢幕已經變成整合至許多裝置，諸如行動裝置及其它計算裝置、終端機、家用、辦公室及工業應用電器等。觸控螢幕給使用者提供了直接、正確、及直覺存取顯示在螢幕上的物項，而無需使用煩瑣的周邊裝置，諸如鍵盤或滑鼠。透過觸控螢幕與一裝置互動通常涉及使用一根手指、多根手指、或筆/觸控筆起始與觸控螢幕的一或多個接觸點。執行不同的手指手勢(亦即手指接觸觸控螢幕作移動)使得用戶能夠存取、起始、及/或操縱顯示在螢幕上的內容。內容可包括各種物體，諸如選單項目、應用程式小圖幟、虛擬按鍵、數字、影像、文字等。

有無數手勢可供與觸控螢幕裝置互動。此等手勢可大致分類成靜態手勢或動態/操縱手勢。靜態手勢典型地為涉及使用單根手指的單一觸摸手勢，而動態手勢通常為涉及同時使用多於一根手指的較為複雜的多重觸摸手勢。舉例言之，輕敲觸控螢幕可視為靜態手勢，原因在於其涉及單一手指觸摸螢幕，然後從螢幕抬起。按住不放也可視為靜態手勢，原因在於其涉及單一手指觸摸螢幕且停留在螢幕上定位。一個靜態手勢的使用例可以是在智慧型電話上撥電話號碼，其可涉及輕敲螢幕上的電話小圖幟，叫出虛擬電話號碼鍵盤，然後輕敲螢幕上不同位置以從虛擬數字鍵盤選擇適當號碼。另一個使用例可以是藉輕敲或雙輕敲螢幕上顯示的適當應用程式小圖幟而啟動平板電腦上的特定應用程式。

動態或操縱手勢之實例包括滑動、掃掠、旋轉、 捏拉、及擴大，大半構成了涉及使用多於一根手指的多重觸摸手勢。滑動涉及一或多根手指觸摸螢幕，及於同方向移動，因而例如移動內容橫過螢幕。掃掠涉及一或多根手指觸摸螢幕，及於螢幕上同方向移動短距離。掃掠可以是手指「輕彈」手勢，其致動下述功能，諸如翻虛擬書的書頁，或從一畫面移動至下一畫面用以觀看顯示在裝置的不同畫面上的內容。旋轉涉及兩根或以上手指觸摸螢幕，及於順時針或逆時針方向移動以旋轉螢幕上的內容，諸如影像或其它物體。捏拉乃縮小手勢，涉及兩根或以上手指觸摸螢幕，及移動靠近而縮小顯示在螢幕上的內容之大小，諸如影像或其它物體。擴大乃放大手勢，涉及兩根或以上手指觸摸螢幕，及移動遠離而加大顯示在螢幕上的內容之大小，諸如影像或其它物體。

靜態及動態手指手勢有無數其它實施例，其使得使用者能與觸控螢幕裝置互動。雖然此等類型的手指手勢通常對提供與觸控螢幕裝置之快速、正確、及直覺互動是有用的，但某些情況下也有限制，當使用者只有單手可與行動觸控螢幕裝置諸如平板或智慧型電話互動時。隨著行動裝置之設計變遷至不斷加大的觸控螢幕顯示器，此點更為真。使用較小型觸控螢幕顯示器，使用者能夠以單手握住裝置同時使用握住裝置的同一隻手的單根指頭或大拇指執行某些靜態單一觸摸手勢而與觸控螢幕互動。但隨著許多裝置的觸控螢幕顯示器之大小持續加大，使用單手握住裝置且與裝置互動變不合實際。一手握住裝置同時試圖從 同一隻手伸出單根指頭或大拇指橫跨該觸控螢幕以執行手指手勢典型地為不可能。

又復，以單手從事動態多重觸摸手勢甚至更不實際。換言之，以一隻手握住一觸控螢幕裝置且使用同一隻手的多根手指執行動態多重觸摸手勢通常為不可能。取而代之，執行此等多重觸摸手勢涉及使用雙手，一隻手握住裝置，而另一隻手的多根手指自由執行多重觸摸手勢。於某些場景中，使用者可將裝置放在固定表面上制動該裝置，輔助以單手執行此等多重觸摸手勢，但此種辦法通常不適用於裝置行動性之目的。

據此，此處揭示之方法及裝置實例使得能以單手執行靜態單一觸摸手勢及動態多重觸摸手勢兩者，使得使用者能與觸控螢幕顯示裝置互動。多重觸摸手勢係藉單根手指(例如，使用者的大拇指)組合藉眼睛追蹤功能決定的視覺姿態執行不同的靜態及動態手勢實施。觸控螢幕裝置可使用前向相機或其它光學感測器以自使用者眼睛擷取影像及/或其它眼睛反射資訊。使用者的眼球、鼻、及口的位置資訊也可經擷取用以決定使用者臉部與相機間之距離及角度。眼睛追蹤功能可運用此種成像資訊以決定使用者眼睛的移動及使用者的凝視位置(亦即使用者注視螢幕上該點)。眼睛移動及眼睛凝視點可用作為虛擬手指，其提供視覺姿態，而可以與透過手指直接接觸觸控螢幕的手指手勢相同的或相似的方式解釋。使用者的視覺姿態組合使用者單手的一根手指提供的實際手指手勢可解譯為多重觸摸手 勢用以控制使用者與觸控螢幕裝置之互動，諸如滑動、掃掠、旋轉、捏拉、及擴大，如前記，此乃典型地藉雙手使用多根手指執行的手勢。

於一個實施例中，一種在一觸控螢幕裝置上提供多重手勢輸入之方法包括感測在一觸控螢幕起始區的一手指手勢。回應於感測該手指手勢，擷取一使用者的眼睛之影像，及起始一眼睛追蹤功能用以自該等影像決定該使用者的眼睛之眼睛移動及一結束凝視點。該手指手勢之一解除係經感測，及與該使用者的眼睛之該結束凝視點相關聯的一裝置功能係經致動。

於另一個實施例中，一種觸控螢幕裝置包括一觸控螢幕用以顯示物體及感測手指手勢。該裝置包括一相機用以擷取一使用者的眼睛之影像；及一眼睛追蹤模組用以基於該等影像而決定眼睛姿態。一多重手勢控制模組基於該等手指手勢與眼睛姿態之一組合而起始該觸控螢幕裝置之一功能。

於另一個實施例中，一種非暫態機器可讀取儲存媒體儲存指令，其當由一觸控螢幕裝置之一處理器執行時使得該觸控螢幕裝置感測於一觸控螢幕的一起始區內部之一手指接觸及一手指移動方向。該等指令進一步使得該觸控螢幕裝置起始一眼睛追蹤功能用以決定一使用者的眼睛之一眼睛移動方向；及基於該手指移動方向與該眼睛移動方向之一組合而操縱顯示在該觸控螢幕上的一物體。

圖1-6顯示於一觸控螢幕裝置102上體現的使用 者介面觸控螢幕100之實例。觸控螢幕裝置102通常意圖表示可結合使用者介面觸控螢幕102之多種計算裝置中之任一者，諸如智慧型電話、平板、遊戲機台、個人數位助理器(PDA)、可攜式媒體播放器、音訊播放器、膝上型電腦、個人電腦、工作站、零售銷售點裝置、穿戴型計算裝置、智慧型電視、科學儀器等。於若干實施例中，觸控螢幕裝置102也可表示直接地或周邊結合觸控螢幕100的其它裝置類型，包括具體實施觸控螢幕終端之電腦及網路、自動櫃員機(ATM)、資訊站、及各種家用、辦公室及工業設施。

觸控螢幕100包含觸摸敏感電子視覺顯示器，其能夠感測與回應於單一及多重觸摸手勢。此等手勢包含手指手勢，及來自使用者透過使用一或多根手指，或透過特定觸控筆/筆與觸控螢幕100直接接觸所得的其它輸入。如此，顯示在觸控螢幕上的內容，諸如影像、文字、小圖幟、及其它物體可加以控制及操縱而不使用額外周邊介面裝置，諸如鍵盤、滑鼠或觸控板。

如於圖1-6之實施例中顯示，觸控螢幕裝置102額外包含整合式相機單元104。相機104包括能夠擷取眼睛影像或其它眼睛反射資訊其致動眼睛追蹤功能的任何類型的成像裝置。舉例言之，相機104可包括紅外光發射微投影器用以發射紅外光，該紅外光當從眼睛反射時可藉相機感測。一般而言，相機104能夠接收與處理來自眼睛不同部位之各種反射資訊，包括來自角膜、晶狀體、瞳孔、視網膜血管等的反射。

如此，相機單元104可擷取來自使用者的眼睛之影像及/或其它反射資訊，其致動觸控螢幕裝置102追蹤使用者的眼睛移動，及決定使用者凝視在觸控螢幕上的位置(亦即凝視點)。利用來自相機104的此種成像資訊，觸控螢幕裝置102能夠有效地將使用者的眼睛變換成虛擬手指，藉由解譯使用者的眼睛移動及眼睛凝視點作為視覺姿態，而能夠以類似使用者的手指之方式提供使用者輸入。如此，涉及使用多根手指來執行多項功能用以控制及操縱觸控螢幕內容的先前多重觸摸手勢，現在可以利用結合手指觸摸手勢及眼睛視覺姿態的多重手勢輸入達成。據此，於所描述之實施例中，多重手勢輸入可包含來自單一手指(大拇指)的手指手勢及來自使用者的眼睛的視覺姿態之組合。觸控螢幕裝置102通常包括內部控制器及各種其它組件以使其能表現此等功能，包括控制眼睛追蹤功能及決定來自手勢手指與視覺姿態的組合之多重手勢輸入。觸控螢幕裝置102之此種控制器及組件容後參考圖7討論。

也如圖1-6中顯示，觸控螢幕100額外包含一觸控螢幕起始區106。典型地，觸控螢幕起始區106係位在螢幕100上的一個位置，其使得一使用者能夠以一手(例如，左手)握住觸控螢幕裝置102，同時也使用單一手指起始裝置的功能。在一種可能的使用情況下，觸控螢幕起始區106可位在螢幕100的左下角，以使得一使用者能夠將觸控螢幕裝置102握在左手，同時使用左手大拇指在觸控螢幕起始區106內部及附近從事單指手勢。觸控螢幕起始區106典型地 經組配成至少兩個子區(例如，A及B)，使其能起始與顯示在螢幕100上的內容相關的不同功能。但一般而言，觸控螢幕起始區106並非限於此處描述之實施例，反而是螢幕100的一個任意區，該區的大小、所在、及組態全部皆可由使用者加以程式規劃。如此，於若干實施例中，觸控螢幕區106的大小、所在、及組態可各異。

圖7顯示適用於使用直接接觸觸控螢幕所決定的手指手勢，及追蹤使用者的眼睛之移動及凝視所決定的視覺姿態的組合而控制裝置功能之觸控螢幕裝置102之示意方塊圖。觸控螢幕裝置102之實施例通常結合典型計算裝置之組件，諸如控制器，其可具體實施為一或多個處理器(CPU)108及一記憶體110。記憶體110可包括依電性記憶體組件(亦即RAM)及非依電性記憶體組件(例如，ROM、硬碟、光碟、CD-ROM、磁帶、快閃記憶體等)兩者。記憶體110之組件包含非暫態機器可讀取(例如，電腦/處理器可讀取)媒體其提供用於機器可讀取編碼程式指令、資料結構、程式指令模組、應用程式、及針對觸控螢幕裝置102之其它資料/資訊的儲存，諸如眼睛追蹤模組112、多重手勢輸入模組114、應用程式115、及成像資訊117。

儲存於記憶體110的程式指令、應用程式、資料結構、及模組可以是安裝軟體包的一部分，其可由處理器108執行以具體實施各種實施例，諸如此處討論之實施例。如此，記憶體110可以是可攜式媒體，諸如CD、DVD、或快閃驅動裝置，或由伺服器維持的記憶體，自其中安裝軟 體包可被下載及安裝。於另一個實施例中，儲存於記憶體110的程式指令、應用程式、資料結構、及模組可以是已經安裝的一應用程式或多應用程式的一部分，於該種情況下，記憶體110可包括整合式記憶體，諸如硬碟驅動裝置。

觸控螢幕裝置102典型地也包括各種輸入/輸出(I/O)裝置116。於不同實施例中，此等I/O裝置116可各異，但於此處描述之實施例中，其可包括至少觸控螢幕顯示器100及相機單元104。I/O裝置116典型地也包括揚聲器118、麥克風120、及一或多個硬鍵122用以具體實施特定裝置功能，諸如裝置之啟動及關閉，控制揚聲器音量，將裝置回到主畫面等等。於若干實施例中，諸如行動智慧型電話，觸控螢幕裝置102可包括一通訊單元124以支援行動通訊及其它短程及/或長程通訊。通訊單元124通常使其能使用多種不同無線無線電通訊協定中之任一者，透過射頻通道發射與接收信號，諸如語音、視訊、及其它資料。

如前記，觸控螢幕裝置102可體現各種應用程式115(亦即藉由在處理器108執行)。此等應用程式115其提供給一使用者的功能可有寬廣變化，且可包括下列功能，諸如網頁瀏覽、打電話、影像編輯、文字處理、試算表、媒體重播等。於若干實施例中，此等應用程式115透過顯示在觸控螢幕100上的小圖幟或其它物體(圖中未顯示)為使用者所可存取。眼睛追蹤模組112及多重手勢輸入模組114執行以使得一使用者能夠起始與控制此等應用程式，以及使得該使用者能夠操縱在觸控螢幕上可能與此等應用程式相關 聯的各個物體。

前記相機單元104可擷取來自使用者的眼睛之影像及其它反射資訊117，以使得眼睛追蹤模組112能追蹤使用者的眼睛移動及使用者的眼睛在觸控螢幕100上的凝視點。也可擷取其它資訊119(也參考圖2)，諸如使用者的眼球、嘴巴、及鼻子位置相對於相機的位置資訊119。此種成像資訊117及119可用以使用儲存於記憶體中之生物統計學資料而計算使用者臉部與相機間之距離及角度。針對使用者的眼球、嘴巴、及鼻子的位置資訊119使得凝視點估計更加準確，特別當使用者正在移動(例如，走路中操作裝置)時尤為如此。當位置資訊119無法藉相機獲得時，眼睛追蹤模組112仍能使用成像資訊117而獲得凝視點。藉實體直接接觸觸控螢幕100而載入手指手勢，相反地，藉模組112實現的眼睛追蹤功能提供了非接觸式光學方法用於測量眼睛移動及眼睛凝視點，其可被轉譯成來自使用者的視覺姿態。多重手勢輸入模組114可解譯使用者的手指手勢及視覺姿態作為多重手勢輸入用以控制在顯示器螢幕上的各種內容，包括物件操縱(objection manipulation)、資料載入(例如，撥電話號碼)、應用程式起始等。於若干實施例中，相機104可擷取成像資訊，諸如自使用者的眼睛的不同部分(例如，角膜、晶狀體、瞳孔、視網膜血管)反射的影像或感測光(例如，紅外光)。眼睛追蹤模組112可分析成像資訊117及119，及例如，根據自使用者的眼睛的反射光之變化及使用者的眼球、嘴巴、及鼻子之位置資訊而決定眼睛移動及 凝視點。

現在參考圖1、2、及3，顯示輸入觸控螢幕裝置102的使用者介面觸控螢幕100之一多重手勢輸入之一例。於圖1中，使用者使用單根指頭諸如拇指125在觸控螢幕100上的起始區106之一小區「A」做出按住不放的手勢。於此一實施例中，多重手勢輸入模組114係經組配以將在一小區「A」的按住不放手勢解譯為起始眼睛追蹤模組112之執行，且致動相機104使其開始擷取來自使用者的眼睛的成像資訊117。基於在一小區「A」的按住不放手勢，多重手勢輸入模組114可以特定模式，諸如標記模式起始眼睛追蹤模組112。於標記模式中，眼睛追蹤模組112執行以將一眼睛輔助標記126置於觸控螢幕100上。輔助標記126在螢幕上畫記在一位置，其輔助一使用者聚焦眼睛凝視在一開始凝視點128。於若干實施例中，輔助標記126為透明，以使得使用者看到螢幕上在該標記126下方的物體。

一旦輔助標記126出現在觸控螢幕100上，眼睛追蹤模組112使用得自相機104的成像資訊117及119追蹤使用者的眼睛移動，及辨識使用者凝視的方向及位置。眼睛追蹤模組112調整螢幕上的輔助標記126之位置，使得標記追蹤或遵循使用者的眼睛移動到達螢幕上的固定位置，此乃眼睛在螢幕上的結束凝視點130。如此，使用者透過使用者的眼睛移動而有效地移動輔助標記126至螢幕上的期望位置。當使用者的眼睛移動已經實質上停止時，使用者凝視聚焦在結束凝視點130，使用者可抬起單根指頭125及解除 按住不放手勢，如圖2顯示。解除按住不放手勢給多重手勢輸入模組114提供了指示：重新定位的輔助標記126係在使用者的結束凝視點130，及在螢幕上顯示在重新定位的輔助標記126之位置(亦即使用者的結束凝視點130)的任何物體乃該使用者想要致動、起始、操縱、或以其它方式控制的物體。

於一個實施例中，如於圖2中顯示，僅只抬起藉單根手指125的按住不放手勢能夠致動、起始、操縱、或控制在螢幕上顯示在重新定位的輔助標記126之位置，或使用者的結束凝視點130的物體。於其它實施例中，如於圖3中顯示，使用者可提供在觸控螢幕100上的起始區106內部之額外手指手勢，諸如指頭125的單次輕敲或雙重輕敲，用以致動、起始、操縱、或控制在螢幕上顯示在重新定位的輔助標記126之位置，或使用者的結束凝視點130的物體。

如於圖4顯示，輔助標記126可透過追蹤眼睛移動而被移動至觸控螢幕100上的任何位置，作為輔助使用者選擇在螢幕上操縱或致動一物體的方式。當然，使用者的眼睛首先會凝視在開始位置的輔助標記126，然後才移動到螢幕上的期望位置。眼睛追蹤模組112移動標記126以遵循使用者的眼睛移動方向。若使用者的眼睛移動太快，使得眼睛追蹤模組112無法跟上，則使用者的眼睛自然會凝視回標記126，將使得模組112繼續追蹤眼睛隨輔助標記126的移動。若使用者的眼睛移動並非連續在一個方向，反而係來回移動時，眼睛追蹤模組112將瞭解標記126的移動比起使 用者的眼睛移動更慢(或更快)，做調整以讓標記的速度匹配使用者的眼睛移動速度用於隨後之眼睛追蹤。此等調整使得使用者每次在該裝置互動之前確實必須跑校準處理(例如，針對各次互動在打手勢之前或在相機位置改變之後，凝視在特定點)。當隨著眼睛移動而移動標記126時，模組112本身將自適應地調整。於一個實施例中，若使用者將他的眼睛凝視移離觸控螢幕100但未解除致動眼睛追蹤，則標記126將停留在觸控螢幕100邊緣，等待使用者凝視再度移回螢幕。

參考圖1及圖5，顯示多重手勢輸入觸控螢幕裝置102之一使用者介面觸控螢幕100的另一例。該例始於如圖1顯示及如前文討論，一使用者在觸控螢幕100起始區106的一小區「A」以單根手指125做出按住不放手勢，然後透過使用者的眼睛移動將輔助標記126移動至螢幕上的期望位置。如於圖5中顯示，當使用者的眼睛移動實質上已經停止，及使用者凝視係聚焦在結束凝視點130時，使用者可在位在螢幕上於重新定位的標記126之位置，或結束凝視點130的一物體內部捲動。如於圖5中顯示，在結束凝視點130的上下捲動係使用單根手指125對觸控螢幕100執行上下滑動而予達成。

現在參考圖6a、6b、6c、及6d，顯示多重手勢輸入觸控螢幕裝置102之一使用者介面觸控螢幕100的額外實例。藉圖6a、6b、6c、及6d之多重手勢輸入發揮的功能係有關於操縱顯示在觸控螢幕100上的物體，諸如影像或文 字。於此等實施例中，如於圖6a中顯示，使用者在觸控螢幕100起始區106的一不同小區「B」以單根手指125做出按住不放手勢。如前記，觸控螢幕起始區106可經組配成多個小區(例如，A及B)，使其能起始與顯示在螢幕100上的內容相關之不同功能。如於圖6b中顯示，在按住不放手勢施加至觸控螢幕100上起始區106的小區「B」之後，使用者藉提供手指手勢及視覺姿態可操縱顯示在螢幕上的物體。手指手勢可以是於逆時針600方向的旋轉移動，視覺姿態也可以是眼睛於逆時針602方向的旋轉移動。眼睛追蹤模組112可追蹤眼睛移動以決定眼睛的逆時針移動，多重手勢輸入模組114可解譯手指手勢及眼睛姿態作為多重手勢輸入以於逆時針方向旋轉螢幕100上顯示的物體。於其它實施例中，手指手勢及視覺姿態之轉動可於順時針方向以於順時針方向旋轉螢幕100上顯示的物體。

如於圖6c及6d中顯示，在按住不放手勢施加至觸控螢幕100上起始區106的小區「B」之後，使用者藉提供不同的手指手勢及視覺姿態可操縱顯示在螢幕上的物體。更明確言之，如於圖6c中顯示，手指手勢可以是朝向螢幕100內部之向內方向及朝向眼睛移動方向的滑刷移動，而視覺姿態可以是朝向螢幕100內部及朝向手指移動方向的眼球移動。多重手勢輸入模組114可將此等手勢一起解譯為捏夾手勢，其縮小了顯示在螢幕100上的物體大小。如於圖6d中顯示，手指手勢可以是朝向螢幕100外部之向外方向及遠離眼睛移動方向的滑刷移動，而視覺姿態可以是朝向螢幕100 外部及遠離手指移動方向的眼球移動。多重手勢輸入模組114可將此等手勢一起解譯為放大手勢，其加大了顯示在螢幕100上的物體大小。

圖8及9顯示流程圖，例示在一觸控螢幕裝置上提供多重手勢輸入之方法800及900實例。方法800及900係與前文就圖1-7討論之實例相關聯，方法800及900顯示之操作之細節可見於此等實例之相關討論。方法800及900之操作可具體實施為儲存在非暫態機器可讀取(例如，電腦/處理器可讀取)媒體，諸如圖7顯示的觸控螢幕裝置102之記憶體110上的程式設計指令。於若干實施例中，方法800及900之操作的實施可藉處理器諸如圖7之處理器108讀取與執行儲存於記憶體110中之程式設計指令達成。於若干實施例中，方法800及900之操作的實施可藉單獨使用特定應用積體電路(ASIC)及/或其它硬體組件或組合使用可藉處理器108執行的程式設計指令達成。

方法800及900可包括多於一個具體實施例，方法800及900之不同具體實施例可不採用於個別流程圖中呈示的每項操作。因此，雖然方法800及900之操作係以特定順序呈示於流程圖中，但其呈現順序並非意圖為限制該等操作實際上可實施的順序，或限制是否可實施全部操作。舉例言之，方法800的一個具體實施例可透過執行多個起始操作但不執行一或多個接續操作達成，但方法800的另一個具體實施例可透過執行全部操作達成。

現在參考圖8之流程圖，在一觸控螢幕裝置上提 供多重手勢輸入之方法800實例，其中之手勢包括手指手勢及視覺姿態兩者，包括在一觸控螢幕起始區感測一手指手勢，如於方塊802顯示。於若干實施例中，手指手勢包含按住不放手指手勢。如於方塊804顯示，回應於感測到手指手勢，擷取得自使用者的眼睛的成像資訊(方塊806)。又，回應於感測到手指手勢，啟動眼睛追蹤功能以從成像資訊決定眼球運動及使用者的眼睛之結束凝視點，如於方塊808顯示。於若干實施例中，啟動眼睛追蹤功能包括將一眼睛輔助標記置於觸控螢幕上，以建立使用者的眼睛之開始凝視點，然後在觸控螢幕上移動該輔助標記以追蹤使用者的眼睛移動到結束凝視點。在觸控螢幕上移動該輔助標記可包括接收一影像指示使用者的眼睛移動已經讓使用者的眼睛偏離開始凝視點到一個新凝視點，接著移動輔助標記到該新凝視點。該方法可包括基於使用者的眼睛移動，連續移動輔助標記到新凝視點，直到使用者的眼睛移動停駐在結束凝視點，輔助標記已經移動到螢幕上識別該使用者關注物體的一位置。如於方塊810顯示，感測解除手指手勢。當手指手勢解除時，該方法繼續致動與使用者的眼睛的結束凝視點相關聯的一裝置功能，如於方塊812顯示。於若干實施例中，致動與結束凝視點相關聯的一裝置功能包含感測在觸控螢幕起始區中的一輕敲手勢。於其它實施例中，與使用者的眼睛的結束凝視點相關聯的該裝置功能可在感測到手指手勢之解除時被致動。

現在參考圖9之流程圖，顯示與在一觸控螢幕裝 置上提供多重手勢輸入相關的方法900實例，該等手勢包括手指手勢及視覺姿態兩者。如於方塊902顯示，該方法包括感測手指接觸及在觸控螢幕之一起始區內部手指的移動方向。當感測到手指接觸時，啟動眼睛追蹤功能以決定使用者的眼睛之眼睛移動方向，如於方塊904顯示。如於方塊906顯示，顯示在觸控螢幕上的物體係基於手指的移動方向及眼睛移動方向之組合操縱。如於方塊908顯示，該方法900也包括使用觸控螢幕裝置之相機擷取使用者的眼睛之影像或影像資訊，且使用該影像資訊以自影像決定眼睛移動方向(方塊910)。於若干實施例中，如於方塊912顯示，手指的移動方向及眼睛移動方向係朝向彼此，及操縱物體包括縮小該物體。於其它實施例中，如於方塊914顯示，手指的移動方向及眼睛移動方向係遠離彼此，及操縱物體包括放大該物體。於其它實施例中，如於方塊916顯示，手指的移動方向及眼睛移動方向為圓周運動，其一起於順時針或逆時針方向移動，及操縱物體包括分別地於順時針或逆時針方向旋轉該物體。

100‧‧‧觸控螢幕

102‧‧‧觸控螢幕裝置

104‧‧‧相機

106‧‧‧觸控螢幕起始區

117‧‧‧成像資訊

118‧‧‧揚聲器

120‧‧‧麥克風

122‧‧‧硬鍵

125‧‧‧大拇指

126‧‧‧輔助標記

128‧‧‧開始凝視點

130‧‧‧結束凝視點

A、B‧‧‧小區

Claims (15)

1. 一種在一觸控螢幕裝置上提供多重手勢輸入之方法，其包含：感測在一觸控螢幕起始區的一手指手勢；回應於感測該手指手勢：擷取一使用者的眼睛之成像資訊；起始一眼睛追蹤功能用以自該成像資訊決定該使用者的眼睛之眼睛移動及一結束凝視點；感測該手指手勢之一解除；及致動與該使用者的眼睛之該結束凝視點相關聯的一裝置功能。
2. 如請求項1之方法，其中起始一眼睛追蹤功能包含：在該觸控螢幕上放置一眼睛輔助標記用以建立該使用者的眼睛之一開始凝視點；及在該觸控螢幕上移動該輔助標記用以追蹤該使用者的眼睛移動至該結束凝視點。
3. 如請求項1之方法，其中致動與該結束凝視點相關聯的一裝置功能包含感測於該觸控螢幕起始區中之一輕敲手勢。
4. 如請求項1之方法，其中該手指手勢包含一按住不放手指手勢。
5. 如請求項1之方法，其中該觸控螢幕起始區包含該觸控螢幕之一受限制的預先標示部分，選自於由該觸控螢幕 之左下區及該觸控螢幕之右下區所組成的組群。
6. 如請求項2之方法，其中在該觸控螢幕上移動該輔助標記包含：接收指示該使用者的眼睛移動並非在一個方向連續不斷的成像資訊；自指示該使用者的眼睛移動並非在一個方向連續不斷的該成像資訊，決定該輔助標記係以與該使用者的眼睛不同的一速度移動；及調整該輔助標記之速度以匹配該使用者的眼睛之速度。
7. 一種觸控螢幕裝置，其包含：一觸控螢幕，用以顯示物件及感測手指手勢；一相機，用以擷取一使用者的眼睛之影像；一眼睛追蹤模組，用以基於該等影像而決定眼睛姿態；及一多重手勢控制模組，用以基於該等手指手勢與眼睛姿態之一組合而起始該觸控螢幕裝置之一功能。
8. 如請求項7之觸控螢幕裝置，其進一步包含在該觸控螢幕上之一功能起始區用以接收手指手勢。
9. 如請求項8之觸控螢幕裝置，其中該功能起始區包括多個區域，其中各個區域係關聯於該觸控螢幕裝置之一特定功能且使其能被起始。
10. 如請求項7之觸控螢幕裝置，其進一步包含顯示在該觸控螢幕上及係由該眼睛追蹤模組控制之一輔助標記，用 以沿該螢幕於追蹤該使用者的眼睛之一移動之一方向移動。
11. 一種儲存有指令之非暫態機器可讀儲存媒體，該等指令在由一觸控螢幕裝置之一處理器執行時使得該觸控螢幕裝置用以：感測於一觸控螢幕的一起始區內之一手指接觸及一手指移動方向；起始一眼睛追蹤功能用以決定一使用者的眼睛之一眼睛移動方向；及基於該手指移動方向與該眼睛移動方向之一組合而操縱顯示在該觸控螢幕上的一物件。
12. 如請求項11之非暫態機器可讀儲存媒體，其中該等指令進一步使得該觸控螢幕裝置用以：以該觸控螢幕裝置之一相機擷取該使用者的眼睛之影像；及自該等影像決定該眼睛移動方向。
13. 如請求項11之非暫態機器可讀儲存媒體，其中該手指移動方向及該眼睛移動方向係朝向彼此，及操縱該物件包含縮小該物件。
14. 如請求項11之非暫態機器可讀儲存媒體，其中該手指移動方向及該眼睛移動方向係遠離彼此，及操縱該物件包含放大該物件。
15. 如請求項11之非暫態機器可讀儲存媒體，其中該手指移動方向及該眼睛移動方向係以一順時針或逆時針方向 一起移動的圓周運動，及操縱該物件包含分別地以一順時針或逆時針方向旋轉該物件。