[go: up one dir, main page]

TWI454968B - 三維互動裝置及其操控方法 - Google Patents

三維互動裝置及其操控方法 Download PDF

Info

Publication number
TWI454968B
TWI454968B TW101149581A TW101149581A TWI454968B TW I454968 B TWI454968 B TW I454968B TW 101149581 A TW101149581 A TW 101149581A TW 101149581 A TW101149581 A TW 101149581A TW I454968 B TWI454968 B TW I454968B
Authority
TW
Taiwan
Prior art keywords
image
unit
gesture
projection
interactive device
Prior art date
Application number
TW101149581A
Other languages
English (en)
Other versions
TW201426413A (zh
Inventor
Hung Wei Lin
Hau Wei Wang
Shu Ping Dong
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101149581A priority Critical patent/TWI454968B/zh
Priority to CN201210586668.XA priority patent/CN103902035B/zh
Priority to US13/895,382 priority patent/US8923562B2/en
Publication of TW201426413A publication Critical patent/TW201426413A/zh
Application granted granted Critical
Publication of TWI454968B publication Critical patent/TWI454968B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Description

三維互動裝置及其操控方法
本揭露是有關於一種三維互動裝置及其操控方法。
近年來非接觸式人機互動介面研究成長十分快速，弗雷斯特研究(Forrester Research)公司的分析師研究指出：若能讓體感與互動完全融入日常活動，成為生活的一部份，未來將是互動應用的絕佳機會。目前已有多家公司開發各種生活應用產品，例如微軟所發表的新世代體感遊戲裝置Kinect，採用人體動作操控作為遊戲的互動媒介；在波音客機的銷售大廳，架設能為客人提供一趟虛擬航程的三維(three-dimensional，3D)互動裝置等等。
由於深度影像提供更完整的空間影像資訊，因此發展虛擬互動輸入技術的重點在於如何有效、即時且穩定的取得第三維(即深度)的資訊。然而在現有技術中，大部分的重點著重於建立深度圖(depth map)，以達到“空間三維互動”(spatial 3D interaction)的目的，但目前深度圖的估測因距離遠近與解析度等因素，較難量測到手部甚至手指位置細微變化的絕對座標，較難對應譬如小範圍非接觸式的人機介面需求。
現有的互動輸入方式多屬於大範圍互動應用，例如大型沉浸式虛擬互動裝置、互動式數位黑板與體感互動遊戲等，對於範圍較小之目標物尚較難於三維空間中進行精確 定位，例如對於手部範圍大小的精細操作與範圍較小互動效果並不理想。舉例來說，雖有部份互動裝置藉由讓使用者手持紅外線投影器或配帶標記(Marker)等方式，雖容易進行追蹤辨識，但僅適合於較大面積互動範圍。並且因為投影成像範圍固定與標記尺寸精度不足，與實現可攜式、較小範圍與非接觸式的三維人機介面互動尚有一段距離。
有鑑於此，本揭露提供一種三維互動裝置及其操控方法，達到可攜式隨處投影之三維互動效果。可具有非接觸式、可設定手掌範圍大小的觸發面積、可在此範圍內進行座標定位與具有三維空間互動能力.
本揭露提出一種三維互動裝置，其包括投影單元、取像單元以及影像處理單元。其中，投影單元用以投射互動圖案至主體之表面，藉以讓使用者對互動圖案以手勢進行互動觸發操作，其中互動圖案被投射在投影範圍內。取像單元用以擷取在取像範圍內的深度影像，其中取像範圍涵蓋投影範圍。影像處理單元連接至投影單元與取像單元，用以接收深度影像並且判斷深度影像中是否含有使用者的手部影像。若是，影像處理單元對手部影像進行手部幾何辨識，以獲得手勢互動語意。影像處理單元並依據手勢互動語意來控制投影單元及取像單元。
本揭露另提出一種三維互動裝置的操控方法，其中三 維互動裝置包括投影單元以及取像單元。操控方法包括下列步驟。對投影單元之投影座標與取像單元之取像座標執行座標校正程序。藉由投影單元投射互動圖案至主體之表面，藉以讓使用者對互動圖案以手勢進行互動觸發操作。其中，互動圖案被投射在投影範圍內。並且藉由取像單元擷取在取像範圍內的深度影像，其中，取像範圍涵蓋投影範圍。判斷深度影像中是否含有使用者的手部影像。若是，對手部影像進行手部幾何辨識，以獲得手勢互動語意。再依據手勢互動語意控制投影單元及取像單元。
為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明如下。
本揭露之三維互動裝置係結合取像單元/裝置與投影單元/裝置之設計，採用投影座標與取像座標之校正技術，使本揭露之三維互動裝置達到可攜式與非接觸式的互動輸入操作。由於利用深度影像從事目標物的辨識與追蹤，使得三維互動裝置在環境與光線背景變異下，皆較具有抗光強與避免環境光線干擾之功能。除此之外，使用本揭露之三維互動裝置之使用者不須藉由佩戴標記(Marker)，三維互動裝置即具有手勢辨識功能及三維空間手指定位能力，可建立譬如說類似手部(hand portion)大小等較小的設定範圍之非接觸式三維空間互動。
為了使本揭露之內容更易明瞭，以下列舉若干實施例 作為本揭露確實能夠據以實施的範例。所提出的實施例僅作為解說之用，並非用來限定本揭露的權利範圍。
本揭露之三維互動裝置例如可與手術醫療裝置相結合，使得醫療裝置在一般接觸式的實體按鍵輸入功能外，另提供三維空間手指定位功能，而能讓醫護人員以非接觸形式對醫療裝置進行操控，降低接觸造成的細菌感染。圖1繪示為一種三維互動裝置的應用情境之一實施範例示意圖。請參照圖1實施例，三維互動裝置10例如裝設固定於手術燈20之位置A處，三維互動裝置10亦可裝設於B處或C處等，但並不限於此，裝設位置可依實際應用需求來設定。此外，三維互動裝置10亦可裝設於其他醫療器材，並不以手術燈為限。
於此實施例中，三維互動裝置10至少包括投影單元以及取像單元(未繪示於圖1)。投影單元可用以投射互動圖案(例如按鍵圖案等任意圖案介面)至使用者U的手部位置，譬如手掌或手臂，取像單元則用以擷取使用者U進行互動操作的手部深度影像。隨著手術燈20的角度變化或位置移動，投影單元的投射位置與取像單元所擷取的取像位置也會跟著改變。如圖1所示，點p與點s之間的距離代表取像單元所能擷取的最大橫軸取像範圍。點q與點r之間的距離代表投影單元所能投射的最大橫軸投影範圍。
雖然手術燈20的角度或位置變化會影響三維互動裝置10的取像或投影的位置。然而，一範例實施例之三維互動裝置10可藉由取像單元來持續擷取涵蓋使用者U的手 部之深度影像，進而判別手部座標，而可讓投影單元將互動圖案投射在使用者U的手部(例如約10×10公分的小面積範圍內)。除此之外，三維互動裝置10還可準確分析使用者U的手勢動作變化，進而解讀手勢動作的手勢互動語意來呈現互動結果。
以下則舉一範例實施例來說明圖1之三維互動裝置10的詳細實施方式。圖2是根據本揭露一範例實施例所繪示之三維互動裝置的方塊圖。
請參照圖2，三維互動裝置200至少包括投影單元210、取像單元220、影像處理單元230、手勢辨識單元232以及座標校正單元240。其範例功能分述如下： 投影單元210用以投射互動圖案至一主體之表面。所述主體例如可以是投影螢幕、人體部位、使用者的手部、手術台、病床、工作檯、桌面、牆壁、筆記本、紙張、木板、等等任意可載影像之物件(object)，皆可作為主體，但不限於上述。在一範例實施例中，投影單元210例如可採用一種微型投影機(pico projector，或稱mini projector)。一般來說，微型投影機的光源可採用發光二極體(Light Emitting Diode，LED)或其他固態光源，以提高微型投影機所需的流明(Lumen)，進而增加微型投影機投射出來的影像之亮度。微型投影機的尺寸大約與一般市面上的行動電話相近。因此，微型投影機具有可攜式且無使用場地之限制，適合用於本揭露之三維互動裝置200。
舉例來說，投影單元210可選擇採用下列不同規格型式的微投影器，以及其他類似規格：具備44吋短距投影功能、亮度為200流明的“BENQ Jobee GP2(商品名)”；或40吋短焦設計、亮度為250流明且具LED燈泡的“ViewSonic高畫質掌上型投影機PLED-W200(商品名)”；或雷射微型投影的“i-connect ViewX(商品名)”。上述僅為投影單元210可以採用的範例，本揭露並不限定使用上述列舉的商品來做為必要的實施元件。
於一實施例中，取像單元220係可採用“深度攝影機”進行拍攝，除了二維畫面之外，深度攝影機會發出紅外線光源，透過紅外線光源碰到拍攝物件反射的時間，判斷物件與攝影機之間的距離，而得出畫面中物件遠近的“深度影像/深度圖”(depth image/depth map)。在一範例實施例中，取像單元220可採用非接觸主動式掃描規格的深度攝影機。
舉例來說，取像單元220可選擇採用下列深度攝影機，以及其他類似規格：飛行時間(Time-of-flight)攝影機、立體視覺(Stereo vision)深度攝影機、雷射散斑(Laser speckle)攝影機或雷射追蹤(Laser tracking)攝影機等等。
影像處理單元230可由軟體、硬體或其組合實作而得，在此不加以限制。軟體例如是應用軟體或驅動程式等。硬體例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)等裝置。
影像處理單元更包括手勢辨識單元232，手勢辨識單元232除了可辨識取像單元220所擷取的深度影像中的手部影像之外，更可判斷手部影像的幾何形狀，藉由比對手勢互動語意資料庫(未繪示於圖2)中的樣本來判斷手勢互動語意。其中手勢互動為本發明之示範實施例之一，亦可利用物件進行互動，舉凡筆、棒、標點等等之物件均可進行互動。相對地，可建立物件互動資料庫提供比對。
座標校正單元240耦接投影單元210與取像單元220，用以校正投影單元210之投影座標與取像單元220之取像座標。其校正方法容後詳述。
圖3A是根據本揭露一範例實施例所繪示之三維互動裝置的操控方法的流程圖。本範例實施例的方法適用於圖2的三維互動裝置200，以下即搭配三維互動裝置200中的各構件說明本範例實施例的步驟： 如步驟S310所述，座標校正單元240對三維互動裝置200的投影單元210之投影座標與取像單元220之取像座標執行座標校正程序。取得投影座標與取像座標之間的座標轉換關係之後便可接續步驟S320，投影單元210投射第一互動圖案至一主體之表面，藉以讓使用者對第一互動圖案以手勢進行互動觸發操作，其中第一互動圖案被投射在所設定之一投影範圍內。本範例實施例所述之主體可以是使用者的手、人體部位或其他物件、平台之表面、投影螢幕、手術台、病床、工作檯、桌面、牆壁、筆記本、紙 張、木板、等等任意可載影像之物件(object)等等，在此不限制。
於步驟S330，取像單元220擷取在取像範圍內的深度影像，其中取像範圍涵蓋所設定之投影範圍。在取得深度影像之後接續步驟S340，影像處理單元230可藉由手勢辨識單元232判斷深度影像中是否含有使用者的手部影像。若是，進一步對手部影像進行手部幾何辨識，以獲得手勢互動語意(步驟S350)。於步驟S360，影像處理單元230可再依據手勢互動語意控制投影單元210及取像單元220。在一實施例中，影像處理單元230可依據手勢互動語意來控制投影單元210投射第二互動圖案(即，互動結果圖案)至所述主體之表面，以進行接續互動；並且，影像處理單元230可控制取像單元220持續擷取含有使用者手勢的深度影像。
以下先詳細說明在上述步驟S310中之座標校正單元240執行座標校正程序的各步驟。請參照圖3B，圖3B是根據本揭露一範例實施例所繪示之座標校正程序的流程圖。圖4是根據本揭露一範例實施例所繪示之座標校正程序的簡單示意圖。以下請配合參照圖3B與圖4實施例。
在一範例實施例中，座標校正程序的步驟更可分為多個子步驟S312~S316。先由投影單元210在投影範圍的一或多個邊界點與中心處分別投射邊界標記符號與中心標記符號，以形成被設定之一校正圖案(步驟S312)。在本範例實施例中，邊界標記符號例如為圓點圖案；中心標記符 號例如為手部形狀圖案；但並不以此為限，邊界標記符號以及中心標記符號都可為任意圖形。請參照圖4實施例，畫面410顯示投影單元210所投射的校正圖案，其包括4個圓點圖案P1、P2、P3及P4，以及在中心區塊處投影了手部形狀圖案P5。其中，圓點圖案P1、P2、P3及P4用以標示投影單元210所能投影的最大邊界範圍。手部形狀圖案P5例如是用來提示使用者接下來將以手勢進行互動觸發操作。
接著，由取像單元220擷取涵蓋校正圖案的三原色影像(步驟S314)。在此說明的是，取像單元220在進行座標校正程序時是用以擷取三原色影像(亦即RGB影像)，而非深度影像。因為深度影像具有單一深度資訊功能，而要進一步得到校正圖案之圖形。請參照圖4實施例，畫面420顯示一種取像單元220將所擷取的三原色影像再經過二值化(Binary)處理與邊界處理後的結果。取像單元220除了會拍攝到校正圖案之外，同時也將背景例如是工作平台等其他背景物件一併拍攝下來。
座標校正單元240便可利用影像比對方法分析三原色影像中的邊界標記符號與中心標記符號的座標位置，以獲得投影座標與取像座標的座標轉換關係(步驟S316)。其中，影像比對例如是採用一種斜面距離(Chamfer distance)的影像比對方法，但不限於此。凡是可以分析比對出邊界標記符號與中心標記符號的影像比對方法皆可適用於此步驟。
請參照圖4實施例，畫面430顯示座標E、F、G及H所形成的區塊R1為取像單元220的取像範圍。其中，座標E(0,0)為取像單元220的原點，座標H(640,480)可用以得知取像單元220所擷取影像的尺寸為640×480(像素)。另外，座標e、f、g及h所形成的區塊R2則為投影單元210的投影範圍。其中，座標e(230,100)為投影單元210的原點；另外，利用座標h(460,500)與座標e(230,100)相減可得知投影單元210所能投影的最大尺寸為230×400(像素)。如此一來，座標校正單元240便可得知投影座標與取像座標之間的座標轉換關係。
為了詳細說明圖3A之手勢辨識單元232執行步驟S340、S350的詳細步驟流程。以下另舉一範例實施例作為詳細說明。圖5是根據本揭露另一範例實施例所繪示之手勢辨識單元獲得手勢互動語意的方法流程圖。
請參照圖5實施例，手勢辨識單元232接收深度影像之後先利用直方圖(histogram)統計方法分析深度影像(步驟S501)。於深度影像中，每一像素或區塊皆具有相對應的深度值。例如，使用者的手愈靠近取像單元220，深度值愈小；反之，使用者的手愈遠離取像單元220，深度值愈大。因此，此步驟所產生的深度直方圖之橫軸代表深度值層級；縱軸代表相應的像素數目。
判斷深度影像的深度值是否具有大於深度臨界值的對應影像區塊，以判別深度影像中是否含有使用者的手部影像(步驟S503)。其中，深度臨界值例如設定為200。
若深度影像中含有使用者的手部影像，則依據手部輪廓(contour)分析深度影像中的凸包(Convex hull)處與凹陷(Convex deficiency)處(步驟S505)。舉例來說，圖6A繪示為一種分析深度影像中的凸包處與凹陷處的結果示意圖。
得到深度影像中的凸包處與凹陷處之資訊後，便可用來判別手部幾何形狀(步驟S507)。接著判斷此手部影像為使用者的左手影像或右手影像(步驟S509)。若為左手影像，則投影單元210可以將互動圖案投射至使用者的左手掌上，因此接續步驟S511，分析與判斷手部影像(左手)的質心點位置。並且於步驟S513，經由座標校正單元240將質心點位置輸出至投影單元210。如此一來，投影單元210就可以依據此質心點座標對應調整互動圖案的投射位置或調整互動圖案的尺寸。也就是說，在一實施例中，投影單元210可以準確地將互動圖案投射至使用者的左手部位，而使用者便可利用右手的手勢變化來對投射在左手部位上的互動圖案進行互動觸發操作。
舉例來說，圖6B繪示為一種投影單元所投射的互動圖案的一實施範例示意圖。其中，虛線D1代表投影單元所能投射的投影範圍。圖6C繪示為一種投影單元投射互動圖案至使用者的左手部位的應用情境之一實施範例示意圖。由於投影單元210取得手部影像的質心點座標，因此將圖6B所示的互動圖案投影至使用者的手部區域。除此之外，當使用者的手部移動時，投影單元210的投射位置 亦可隨之改變。
回到步驟S509，若為右手影像，代表使用者以右手手勢進行互動觸發操作，因此接續步驟S515，手勢辨識單元232分析手部(右手)影像中的一或多個指尖的深度位置並追蹤該些指尖的運動軌跡。
更進一步，手勢辨識單元232分析手部(右手)影像中的食指與拇指的運動軌跡(步驟S517)。手勢辨識單元232藉由比對手勢互動語意資料庫中的樣本以及深度位置來判斷運動軌跡所代表的手勢互動語意(步驟S519)。
於一實施範例中，手勢互動語意資料庫的建立是以幾組基本手勢外型當作學習與比對的樣本，其中包括手部之手指全開、閉合、拿取、放、點選、推、放大、縮小等等各種基本手勢外型及其對應的運動軌跡。圖7是根據本揭露另一範例實施例所繪示之手勢互動語意資料庫的樣本範例。舉例來說，樣本710是以手指按住物件作選擇的操作，其所代表的手勢互動語意為“點選(tap to select)”；樣本720是在手指對物件點選後，作同一方向的拖曳，其所代表的手勢互動語意為“單向拖曳(slide to scroll)”；樣本730是在手指對物件點選後，作旋轉方向的拖曳，其所代表的手勢互動語意為“旋轉拖曳(spin to scroll)”；樣本740是以手指在物件表面點選的同時，往某一方向輕輕推動後，手指隨即離開螢幕，其所代表的手勢互動語意為“輕推(flick to nudge)”。
另外可選擇，於步驟S521，影像處理單元230將手勢 辨識單元232分析所得的手勢互動語意輸出至投影單元210，以使投影單元210對應手勢互動語意投射第二互動圖案(譬如互動結果圖案)。舉例來說，如圖6C所示之應用情境範例示意圖，若手勢互動語意為“點選”，則使用者點選“1”、“2”或“3”分別可以產生不同的互動結果圖案，其可由使用者依據實際應用的需求來做設定。舉例來說，三維互動裝置200若裝設應用於手術燈的醫療環境，醫護人員以手勢點選“1”例如可使投影單元投射標示圖案(譬如箭頭圖案)至患者欲進行手術的部位，更進一步，醫護人員還可以用手勢與標示圖案進行持續互動，譬如拖曳標示圖案至其他位置、放大或縮小標示圖案等等；以手勢點選“2”例如可使投影單元投射一患者資料；以手勢點選“3”例如可使投影單元投射一手術流程圖。
除此之外，對應不同的手勢互動語意還可以有一或多個三維互動參數。舉例來說，若手勢互動語意為“單向拖曳”，代表投影單元所投射的互動圖案或物件會隨手勢移動到手勢停止。然而，其移動的速度與方向則必須藉由三維互動參數來決定。手勢辨識單元232在分析與追蹤深度影像中的手部運動軌跡時，可一併將手部影像的深度座標、深度值變化、加速度、力量等等作為三維互動參數，影像處理單元230更可將三維互動參數傳送至投影單元210。如此一來，投影單元210就可依據三維互動參數來得知所投射的互動圖案或物件要往哪一方向移動，移動的速度快慢等等，藉此提升本揭露之三維互動效果。
綜上所述，本揭露係結合取像單元/裝置與投影單元/裝置，利用投影座標與取像座標之校正技術，亦可使得本揭露之三維互動裝置具有三維空間手部定位能力，並且能讓使用者以非接觸方式與投影內容進行三維空間互動。此外，由於利用深度影像進行手部辨識與追蹤，使得本揭露之三維互動裝置在環境與光線背景變異下，皆較具有抗光強與避免環境光線干擾之功效。再者，本揭露之三維互動裝置與醫療器材之結合，提供醫療人員能在譬如類似手部大小等之較小設定範圍之三維空間內以非接觸形式準確地進行輸入操作，降低因接觸造成的細菌感染。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
10、200‧‧‧三維互動裝置
20‧‧‧手術燈
210‧‧‧投影單元
220‧‧‧取像單元
230‧‧‧影像處理單元
232‧‧‧手勢辨識單元
240‧‧‧座標校正單元
410、420、430‧‧‧畫面
710、720、730、740‧‧‧樣本
D1‧‧‧投影範圍
E、F、G、H、e、f、g、h‧‧‧座標
P1、P2、P3、P4‧‧‧圓點圖案
P5‧‧‧手部形狀圖案
R1‧‧‧取像範圍之區塊
R2‧‧‧投影範圍之區塊
U‧‧‧使用者
S310~S360‧‧‧三維互動裝置的操控方法之各步驟
S312、S314、S316‧‧‧座標校正程序之各步驟
S501~S521‧‧‧獲得手勢互動語意的方法之各步驟
圖1繪示為一種三維互動裝置的應用情境之一實施範例示意圖。
圖2是根據本揭露一範例實施例所繪示之三維互動裝置的方塊圖。
圖3A是根據本揭露一範例實施例所繪示之三維互動裝置的操控方法的流程圖。
圖3B是根據本揭露一範例實施例所繪示之座標校正 程序的流程圖。
圖4是根據本揭露一範例實施例所繪示之座標校正程序的簡單示意圖。
圖5是根據本揭露另一範例實施例所繪示之手勢辨識單元獲得手勢互動語意的方法流程圖。
圖6A繪示為一種分析深度影像中的凸包處與凹陷處的結果示意圖。
圖6B繪示為一種投影單元所投射的互動圖案的一實施範例示意圖。
圖6C繪示為一種投影單元投射互動圖案至使用者的手部的應用情境之一實施範例示意圖。
圖7是根據本揭露另一範例實施例所繪示之手勢互動語意資料庫的樣本範例。
200‧‧‧三維互動裝置
210‧‧‧投影單元
220‧‧‧取像單元
230‧‧‧影像處理單元
232‧‧‧手勢辨識單元
240‧‧‧座標校正單元

Claims (21)

  1. 一種三維互動裝置，包括：一投影單元，投射一第一互動圖案至一主體之表面，藉以讓一使用者對該第一互動圖案以一手勢進行一互動觸發操作，其中該第一互動圖案被投射在一投影範圍內；一取像單元，擷取在一取像範圍內的一深度影像，其中該取像範圍涵蓋該投影範圍；以及一影像處理單元，該影像處理單元連接該投影單元與該取像單元，接收該深度影像並判斷該深度影像中是否含有該使用者的一手部影像，若是，該影像處理單元對該手部影像進行一手部幾何辨識，以獲得一手勢互動語意，該影像處理單元依據該手勢互動語意控制該投影單元及該取像單元。
  2. 如申請專利範圍第1項所述之三維互動裝置，其中：該投影單元在該投影範圍的至少一邊界點與一中心處分別投射一邊界標記符號與一中心標記符號，以形成用以校正的一校正圖案。
  3. 如申請專利範圍第2項所述之三維互動裝置，更包括：一座標校正單元，耦接該投影單元與該取像單元，接收該取像單元所擷取的一三原色影像，其中該三原色影像涵蓋該校正圖案，該座標校正單元採用一影像比對方法分析該三原色影像中的該邊界標記符號與該中心標記符號的 座標位置，以獲得該投影單元之一投影座標與該取像單元之一取像座標的一座標轉換關係。
  4. 如申請專利範圍第2項所述之三維互動裝置，其中：該投影單元所投射的該邊界標記符號為一圓點圖案。
  5. 如申請專利範圍第2項所述之三維互動裝置，其中：該投影單元所投射的該中心標記符號為一手部形狀圖案。
  6. 如申請專利範圍第1項所述之三維互動裝置，其中該影像處理單元更包括：一手勢辨識單元，利用一直方圖統計方法對該深度影像進行分析，並藉由該深度影像的凸包處與凹陷處來判斷該手部影像。
  7. 如申請專利範圍第6項所述之三維互動裝置，其中：該手勢辨識單元更判斷該手部影像的一質心點位置，並且將對應該質心點位置的一質心點座標輸出至該投影單元。
  8. 如申請專利範圍第7項所述之三維互動裝置，其中：該投影單元依據該質心點座標對應調整一第二互動圖案的投射位置及該第二互動圖案的尺寸。
  9. 如申請專利範圍第6項所述之三維互動裝置，其 中：該手勢辨識單元更判斷該手部影像中的至少一指尖的一深度位置並追蹤該至少一指尖的一運動軌跡，該手勢辨識單元藉由比對一手勢互動語意資料庫中的樣本及該手部影像的該深度位置來判斷該運動軌跡所代表的該手勢互動語意。
  10. 如申請專利範圍第9項所述之三維互動裝置，其中：該手勢辨識單元將該手勢互動語意及分析該深度位置及該運動軌跡所得的至少一三維互動參數傳送至該投影單元與該取像單元，用以控制該投影單元投射對應該手勢互動語意的一第二互動圖案，並控制該取像單元持續擷取含有該手勢的該深度影像。
  11. 如申請專利範圍第1項所述之三維互動裝置，其中該手勢互動語意至少包括一點選操作、一單向拖曳操作、一旋轉拖曳操作、一輕推操作、一放大操作以及一縮小操作。
  12. 如申請專利範圍第1項所述之三維互動裝置，其中該投影單元採用一微型投影機。
  13. 如申請專利範圍第1項所述之三維互動裝置，其中該取像單元為飛行時間攝影機、立體視覺深度攝影機、雷射散斑攝影機或雷射追跡攝影機的其中之一。
  14. 一種三維互動裝置的操控方法，其中該三維互動裝置包括一投影單元以及一取像單元，該操控方法包括： 對該投影單元之一投影座標與該取像單元之一取像座標執行一座標校正程序；藉由該投影單元投射一第一互動圖案至一主體之表面，藉以讓一使用者對該第一互動圖案以一手勢進行一互動觸發操作，其中該第一互動圖案被投射在一投影範圍內；藉由該取像單元擷取在一取像範圍內的一深度影像，其中該取像範圍涵蓋該投影範圍；判斷該深度影像中是否含有該使用者的一手部影像，若是，對該手部影像進行一手部幾何辨識，以獲得一手勢互動語意；以及依據該手勢互動語意控制該投影單元及該取像單元。
  15. 如申請專利範圍第14項所述之三維互動裝置的操控方法，其中該座標校正程序包括：由該投影單元在該投影範圍的至少一邊界點與一中心處分別投射一邊界標記符號與一中心標記符號，以形成一校正圖案；由該取像單元擷取涵蓋該校正圖案的一三原色影像；以及以影像比對方法分析該三原色影像中的該邊界標記符號與該中心標記符號的座標位置，以獲得該投影座標與該取像座標的一座標轉換關係。
  16. 如申請專利範圍第15項所述之三維互動裝置的操控方法，其中該邊界標記符號為一圓點圖案。
  17. 如申請專利範圍第15項所述之三維互動裝置的 操控方法，其中該中心標記符號為一手部形狀圖案。
  18. 如申請專利範圍第14項所述之三維互動裝置的操控方法，其中判斷該深度影像以獲得該手勢互動語意的步驟包括：利用一直方圖統計方法分析該深度影像；藉由該深度影像的深度值以及該深度影像的凸包處與凹陷處來判斷該手部影像；以及判斷該手部影像中的至少一指尖的一深度位置並追蹤該至少一指尖的一運動軌跡，藉由比對一手勢互動語意資料庫中的樣本以及該手部影像的該深度位置來判斷該運動軌跡所代表的該手勢互動語意。
  19. 如申請專利範圍第18項所述之三維互動裝置的操控方法，其中在獲得該手勢互動語意之後，更包括：將分析該深度位置及該運動軌跡所得的至少一三維互動參數傳送至該投影單元與該取像單元，用以控制該投影單元投射對應該手勢互動語意的一第二互動圖案，並控制該取像單元持續擷取含有該手勢的該深度影像。
  20. 如申請專利範圍第19項所述之三維互動裝置的操控方法，更包括：判斷該手部影像的一質心點位置，將對應該質心點位置的一質心點座標輸出至該投影單元；以及由該投影單元依據該質心點座標對應調整該第二互動圖案的投射位置與該第二互動圖案的尺寸。
  21. 如申請專利範圍第14項所述之三維互動裝置的 操控方法，其中該手勢互動語意至少包括一點選操作、一單向拖曳操作、一旋轉拖曳操作、一輕推操作、一放大操作以及一縮小操作。
TW101149581A 2012-12-24 2012-12-24 三維互動裝置及其操控方法 TWI454968B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101149581A TWI454968B (zh) 2012-12-24 2012-12-24 三維互動裝置及其操控方法
CN201210586668.XA CN103902035B (zh) 2012-12-24 2012-12-28 三维互动装置及其操控方法
US13/895,382 US8923562B2 (en) 2012-12-24 2013-05-16 Three-dimensional interactive device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101149581A TWI454968B (zh) 2012-12-24 2012-12-24 三維互動裝置及其操控方法

Publications (2)

Publication Number Publication Date
TW201426413A TW201426413A (zh) 2014-07-01
TWI454968B true TWI454968B (zh) 2014-10-01

Family

ID=50974725

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101149581A TWI454968B (zh) 2012-12-24 2012-12-24 三維互動裝置及其操控方法

Country Status (2)

Country Link
US (1) US8923562B2 (zh)
TW (1) TWI454968B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
KR101436050B1 (ko) * 2013-06-07 2014-09-02 한국과학기술연구원 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US10295338B2 (en) * 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
US20160238833A1 (en) * 2013-10-02 2016-08-18 Nec Corporation Interface apparatus, module, control component, control method, and program storage medium
US9645654B2 (en) * 2013-12-04 2017-05-09 Leap Motion, Inc. Initializing predictive information for free space gesture control and communication
TW201531104A (zh) * 2014-01-24 2015-08-01 Sintai Optical Shenzhen Co Ltd 電子裝置
WO2015150868A1 (en) * 2014-04-01 2015-10-08 Sony Corporation Harmonizing a projected user interface
US9285666B2 (en) * 2014-04-16 2016-03-15 Eue Medical Technology Co., Ltd. Object guide system
US9646201B1 (en) 2014-06-05 2017-05-09 Leap Motion, Inc. Three dimensional (3D) modeling of a complex control object
DE102014212660A1 (de) * 2014-06-30 2015-12-31 Trumpf Medizin Systeme Gmbh + Co. Kg Steuerungsvorrichtung für ein Medizingerät
EP3180721A4 (en) * 2014-08-15 2018-04-04 The University of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
US9710160B2 (en) 2014-10-21 2017-07-18 International Business Machines Corporation Boundless projected interactive virtual desktop
CN104318218A (zh) * 2014-10-29 2015-01-28 百度在线网络技术（北京）有限公司 图像识别方法和装置
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
TWI610198B (zh) * 2015-04-17 2018-01-01 鈺立微電子股份有限公司 遙控裝置與根據至少一靜態手勢產生控制指令的方法
CN106293037B (zh) * 2015-06-12 2023-05-02 联想(北京)有限公司 一种交互方法及电子设备
WO2017007492A1 (en) * 2015-07-09 2017-01-12 Satoshi Sakai Machine display and machine control systems
CN105184780B (zh) * 2015-08-26 2018-06-05 京东方科技集团股份有限公司 一种立体视觉深度的预测方法和系统
CN105912101B (zh) * 2016-03-31 2020-08-25 联想(北京)有限公司 一种投影控制方法和电子设备
CN107454373B (zh) 2016-05-31 2019-06-14 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
DE102016112886A1 (de) * 2016-07-13 2018-01-18 B. Braun Avitum Ag Anzeigevorrichtung für ein medizinisches Gerät
CN106303476A (zh) * 2016-08-03 2017-01-04 纳恩博（北京）科技有限公司 机器人的控制方法和装置
JP6210466B1 (ja) * 2016-10-31 2017-10-11 パナソニックＩｐマネジメント株式会社 情報入力装置
WO2018148845A1 (en) * 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
CN108961414A (zh) * 2017-05-19 2018-12-07 中兴通讯股份有限公司 一种显示控制方法及装置
TWI625678B (zh) 2017-06-21 2018-06-01 鴻海精密工業股份有限公司 電子設備及其手勢識別方法
JP2019060963A (ja) * 2017-09-25 2019-04-18 ソニー株式会社 表示処理装置、表示処理方法及びプログラム
CN109947234A (zh) * 2017-12-21 2019-06-28 北京丰信达科技有限公司 一种智慧黑板的授课系统
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN110780735B (zh) * 2019-09-25 2023-07-21 上海芯龙光电科技股份有限公司 一种手势交互ar投影方法及装置
CN111093066A (zh) * 2019-12-03 2020-05-01 耀灵人工智能(浙江)有限公司 一种动态平面投影方法及系统
CN111143910B (zh) * 2019-12-25 2022-03-25 惠州Tcl移动通信有限公司 一种防盗检测方法、装置、存储介质及终端
CN111258427A (zh) * 2020-01-17 2020-06-09 哈尔滨拓博科技有限公司 一种基于双目相机手势交互的黑板控制方法及控制系统
CN112433641B (zh) * 2020-11-11 2022-06-17 大庆思特传媒科技有限公司 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法
WO2022126775A1 (zh) * 2020-12-14 2022-06-23 安徽鸿程光电有限公司 光标控制方法、装置、设备及介质
TW202447556A (zh) * 2023-05-30 2024-12-01 精元電腦股份有限公司 非接觸式檢測辨識系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276444A1 (en) * 2004-05-28 2005-12-15 Zhou Zhi Y Interactive system and method
TW200725380A (en) * 2005-12-16 2007-07-01 Ind Tech Res Inst Motion recognition system and method for controlling electronic devices
TW201228357A (en) * 2010-11-12 2012-07-01 Sisvel Technology Srl Method for processing a three-dimensional video content and relative apparatus

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US20030132913A1 (en) 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
WO2004055776A1 (en) 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004340880A (ja) 2003-05-19 2004-12-02 Soatec Inc レーザ測定装置
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
EP2312336B1 (en) 2004-07-30 2012-03-14 Panasonic Corporation Image processing device
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US8411034B2 (en) 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
US7725288B2 (en) 2005-11-28 2010-05-25 Navisense Method and system for object control
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7724355B1 (en) 2005-11-29 2010-05-25 Navisense Method and device for enhancing accuracy in ultrasonic range measurement
US7414705B2 (en) 2005-11-29 2008-08-19 Navisense Method and system for range measurement
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US7834847B2 (en) 2005-12-01 2010-11-16 Navisense Method and system for activating a touchless control
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8139029B2 (en) 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
US8334841B2 (en) 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US8249334B2 (en) 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8169404B1 (en) 2006-08-15 2012-05-01 Navisense Method and device for planary sensory detection
US7978091B2 (en) 2006-08-24 2011-07-12 Navisense Method and device for a touchless interface
US7961173B2 (en) 2006-09-05 2011-06-14 Navisense Method and apparatus for touchless calibration
US8316324B2 (en) 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US8005257B2 (en) 2006-10-05 2011-08-23 The United States Of America As Represented By The Secretary Of The Navy Gesture recognition apparatus and method
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US8793621B2 (en) 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
KR101285359B1 (ko) 2006-11-14 2013-07-11 삼성전자주식회사 동작 추적 장치 및 방법
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
GB2446617A (en) 2007-02-16 2008-08-20 Indepth Optics Ltd 3D holographic display
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
EP2188737A4 (en) * 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
KR20100003913A (ko) 2008-07-02 2010-01-12 삼성전자주식회사 3차원 영상 디스플레이를 이용한 커뮤니케이션 방법 및장치
US20100013763A1 (en) 2008-07-15 2010-01-21 Sony Ericsson Mobile Communications Ab Method and apparatus for touchless input to an interactive user device
WO2010011923A1 (en) 2008-07-24 2010-01-28 Gesturetek, Inc. Enhanced detection of circular engagement gesture
US7924441B1 (en) 2008-08-08 2011-04-12 Mirrorcle Technologies, Inc. Fast and high-precision 3D tracking and position measurement with MEMS micromirrors
US20100060583A1 (en) 2008-09-05 2010-03-11 Yong Yan Input devices operable by reflected light
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
CN104914587B (zh) 2008-11-26 2017-12-01 日本电气株式会社 显示设备、终端设备和显示方法
US8363894B2 (en) 2008-12-12 2013-01-29 Silicon Laboratories Inc. Apparatus and method for implementing a touchless slider
US9262016B2 (en) 2009-01-05 2016-02-16 Smart Technologies Ulc Gesture recognition method and interactive input system employing same
TWI395145B (zh) 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
US20120184854A1 (en) 2009-02-24 2012-07-19 Koninklijke Philips Electronics N.V. Ultrasonic vascular flow sensor with triangular sensor geometry
CN102016636B (zh) 2009-03-05 2014-10-01 松下电器（美国）知识产权公司 距离测定方法
TW201037574A (en) 2009-04-10 2010-10-16 J Touch Corp Touch-control apparatus of three-dimensional imaging
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
KR101650799B1 (ko) 2009-05-11 2016-08-24 게스티곤 게엠베하 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US8054290B2 (en) 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8803967B2 (en) 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
TWI387900B (zh) 2009-09-30 2013-03-01 Ind Tech Res Inst 非觸控式輸入裝置
KR101626065B1 (ko) 2009-10-13 2016-05-31 삼성전자주식회사 마커리스 모션 캡쳐링 장치 및 방법
US8907894B2 (en) 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US8491135B2 (en) 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
US20110164191A1 (en) 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
EP2348503B1 (de) 2010-01-19 2015-03-11 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Ultraschallsensor zum Erfassen und/ oder Abtasten von Objekten und entsprechendes Herstellungsverfahren
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
TW201211824A (en) 2010-09-08 2012-03-16 Qisda Corp Electronic apparatus controlling method, electronic apparatus utlizing the electronic apparatus controlling method and computer readable storing program can perform the electronic apparatus controlling method
CN102402680B (zh) * 2010-09-13 2014-07-30 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
US8768006B2 (en) 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9135503B2 (en) 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
KR20120051208A (ko) 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
KR20120055991A (ko) 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
KR101646616B1 (ko) 2010-11-30 2016-08-12 삼성전자주식회사 객체 제어 장치 및 방법
KR20120058802A (ko) 2010-11-30 2012-06-08 삼성전자주식회사 3차원 위치／방향 추정 시스템에서 3차원 위치를 보정하는 장치 및 방법
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
AU2013239179B2 (en) * 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050276444A1 (en) * 2004-05-28 2005-12-15 Zhou Zhi Y Interactive system and method
TW200725380A (en) * 2005-12-16 2007-07-01 Ind Tech Res Inst Motion recognition system and method for controlling electronic devices
TW201228357A (en) * 2010-11-12 2012-07-01 Sisvel Technology Srl Method for processing a three-dimensional video content and relative apparatus

Also Published As

Publication number Publication date
US8923562B2 (en) 2014-12-30
US20140177909A1 (en) 2014-06-26
TW201426413A (zh) 2014-07-01
CN103902035A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
TWI454968B (zh) 三維互動裝置及其操控方法
CN110310288B (zh) 用于混合现实环境中的对象分割的方法和系统
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
Molyneaux et al. Interactive environment-aware handheld projectors for pervasive computing spaces
US10203765B2 (en) Interactive input system and method
EP3090331B1 (en) Systems with techniques for user interface control
US8837780B2 (en) Gesture based human interfaces
Shen et al. Vision-based hand interaction in augmented reality environment
JP5567206B2 (ja) コンピューティングデバイスインターフェース
TWI540461B (zh) 手勢輸入的方法及系統
US20140354602A1 (en) Interactive input system and method
TWI471815B (zh) 手勢辨識裝置及方法
TWI553508B (zh) 物件感測裝置與方法
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
CN108363494A (zh) 一种基于虚拟现实系统的鼠标输入系统
CN103902035B (zh) 三维互动装置及其操控方法
Bai et al. Poster: markerless fingertip-based 3D interaction for handheld augmented reality in a small workspace
CN207198800U (zh) 一种手势识别的vr三维体验系统
Alex et al. LampTop: Touch detection for a projector-camera system based on shape classification
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
Matulic et al. Above-Screen Fingertip Tracking and Hand Representation for Precise Touch Input with a Phone in Virtual Reality
KR20150137908A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
Kohoutek Multi-user vision interface based on range imaging