NO339941B1 - System og fremgangsmåte for et gestbasert styringssystem - Google Patents

Description

System og fremgangsmåte for gestbasert styringssystem

Denne patentsøknad krever prioritet fra US foreløpig patentsøknad nr. 60/651.290 innlevert 8. februar 2005 med tittel "Gestbasert styringssystem".

Bakgrunn for oppfinnelsen

[0001] 1. Område for oppfinnelsen

[0002] Denne oppfinnelse vedrører området datamaskin generelt og særlig et system og en fremgangsmåte for et gestbasert styringssystem.

[0003] 2. Bakgrunn

[0004] En bruker kan legge inn kommandoer og samhandle med et datamaskin-system ved manipulering av data eller avbildninger i et vindu på et display, eller ved å velge operasjoner fra en meny som er tilknyttet vinduet eller et tilknyttet program, ved bruk av innmatingsinnretninger så som en mus, tastatur, styrespak, korsfast eller lignende. Slike innmatingsinnretninger kan også operere som posisjonsomformende innretninger, som kan brukes til å posisjonere en grafisk peker på en skjerm, så som en markør. En markør funksjonerer for eksempel slik at den viser et tegn som skal revideres eller viser en posisjon hvor data skal legges inn eller en operasjon skal utføres. En markør, i en eller annen form eller utseende, er typisk til stede på data-maskindisplayet. Manipulasjon av en inngangsinnretning av en bruker vil resultere i en korresponderende bevegelse av markøren. For eksempel resulterer bevegelse av en mus eller en annen innmatingsinnretning således i bevegelse av markøren i den samme retning. US 6,198,485 B1 vedrører en fremgangsmåte og et apparat for tredimensjonal inngangsoppføring.

[0005] En markør kan ha forskjellig utseende avhengig av sin funksjon og tilstanden til datamaskinsystemet. For eksempel, når den er posisjonert i et tekstfelt på et datamaskindisplay, kan markøren ha utseende av en "l-bjelke" eller en blinkende vertikal linje. Posisjonen til markøren i et tekstfelt viser lokaliseringen av det neste tegn som vil bli lagt inn av brukeren, typisk via et tastatur. Markøren kan ha andre utseende avhengig av sin funksjon. I et tegneprogram eller måleprogram, kan markøren representeres som en malepensel, blyant, viskelær, spann eller annen grafisk form.

[0006] Markøren kan også ha form av en pil eller en peker når den er posisjonert over brukervelgbare operasjoner eller når den brukes til å velge grafiske elementer, så som vinduer. For å velge og aktivere en ønsket operasjon med markøren, kan den posisjoneres over en grafisk representasjon eller tekstrepresentasjon av operasjonen. En knapp som er lokalisert på en museinngangsinnretning kan trykkes ned og/eller slippes opp for å bevirke operasjonen. Brukeren varsles om aksepten av operasjonen som skal utføres ved hjelp av visuell tilbakemelding, vanligvis i form av en forandring i en avbildning på datamaskinens display. Et eller flere av programmene som er i bruk genererer typisk denne visuelle respons. Disse programmene genererer tegnekommandoer for å oppdatere displayavbildningene som respons på de valgte operasjoner.

[0007] En ulempe med systemene ifølge kjent teknikk er at innmatingsinnretningen ofte er nettopp det, en innretning. Det er påkrevd at brukeren har en ledningsført eller trådløs mus eller en annen innmatingsinnretning, og denne inn-retningen må brukes til å ta hånd om valg, forflytning av posisjon, aktivering og andre innmatingsfunksjoner. Bruken av disse fysiske innretninger er ofte ikke naturlig eller intuitiv. En annen ulempe er behovet for å gå gjennom visse trinn for å forandre konteksten til innmatingsinnretningen slik at forskjellige funksjoner kan utføres.

[0008] Med populariteten av svært store display, blir ytterligere ulemper med innretninger og systemer for innmating ifølge kjent teknikk åpenbare. Ved for eksempel bruk av en mus, for å forsøke å forflytte posisjonen til en markør over et stort display, må brukeren ofte løfte musen og på ny plassere den på museoverflaten for å sette brukeren i stand til å trekke markøren over til og med et parti av et stort display. Dette er en bortkastet og unaturlig bevegelse.

[0009] Det har innenfor den kjente teknikk vært noen forsøk på å tilveiebringe en løsning på disse problemer. En kjent løsning er å bruke hansker på brukerens hånd. Disse hanskene har den godhet å forvandle brukernes hånd eller hender til innmatingsinnretninger. I en utførelse er en innmatingshanske fast koplet til et data-maskinsystem. Denne løsning har den ulempe at den i bokstavelig forstand binder brukeren til stedet, hvilket krever en nærhet til datamaskinsystemet og en begrensning på bevegelsesområdet. I andre tilfeller er hanskene trådløse. Slike trådløse implementeringer krever imidlertid en uavhengig strømforsyning for hansken. Når strømforsyningen må lades opp, kan hanskene ikke brukes.

Sammenfatning av oppfinnelsen

[0010] Hovedtrekkene ved oppfinnelsen fremgår av de selvstendige krav. Ytterligere trekk ved oppfinnelsen er angitt i de uselvstendige krav. Systemet tilveiebringer et gestgrensesnitt for forskjellige visuelt presenterte elementer, som presenteres på en visningsskjerm eller -skjermer. I en utførelse navigerer og manipulerer operatøren av systemet disse elementer ved utsendelse av en kontinuerlig strøm av "gestkommandoer" ved bruk av operatørens hender. I andre utførelser kan en brukers hode, føtter, armer, ben eller hele brukeren, brukes til å tilveiebringe navigasjonen og styringen. Gestvokabularet inkluderer "øyeblikkelige" kommandoer, hvor forming av en eller begge hender til den passende "stilling" resulterer i en umiddelbar éngangshandling; og "romlige" kommandoer, hvor operatøren enten refererer direkte til elementer på skjermen ved hjelp av i bokstavelig forstand "pekende" gester eller utfører navigasjonsmanøver ved hjelp av relative eller "forskjøvne" gester. I tillegg til pekende gester, som brukes til absolutt eller direkte romlig gestikulering, kan oppfinnelsen også gjenkjenne en annen kategori av relative, romlige navigasjonsgester i etXYZ-rom. Denne kategorien av handlinger blir enkelte ganger referert til som XYZ-teknikker. Ved opprettholdelse av en høy bilde-frekvens, ved å garantere et tilnærmet umerkelig etterheng i tolkingen av operatør-gestene, og ved anvendelse av både nøye designede romlige metaforer og klart innlysende mekanismer for "direkte manipulasjon" tilveiebringer systemet en livaktig "kognitiv kopling" mellom operatøren og den informasjon og de prosesser som representeres. Ved systemet tenker man seg muligheten for å identifisere brukerens hender. Dette systemet med identifikasjon kan være i form av en hanske eller hansker med visse tegn tilveiebrakt derpå, eller et hvilket som helst egnet middel for tilveiebringelse av gjenkjennelige tegn på en brukers hender. Et system med kameraer kan detektere posisjonen, orienteringen og bevegelsen av brukerens hender og omforme denne informasjonen til utførbare kommandoer.

Kort beskrivelse av tegningene

[0011] Figur 1 er et diagram over en utførelse av systemet ifølge oppfinnelsen.

[0012] Figur 2 er et diagram over en utførelse av merketagger ifølge oppfinnelsen.

[0013] Figur 3 er et diagram over stillinger i et gestvokabular i en utførelse av oppfinnelsen.

[0014] Figur 4 er et diagram over orientering i et gestvokabular i en utførelse av oppfinnelsen.

[0015] Figur 5 er et diagram over to-hånds kombinasjoner i et gestvokabular i en utførelse av oppfinnelsen.

[0016] Figur 6 er et diagram over orienteringsblandinger i et gestvokabular i en utførelse av oppfinnelsen.

[0017] Figur 7 er et flytdiagram som illustrerer operasjonen av en utførelse av systemet ifølge oppfinnelsen.

[0018] Figur 8 er et eksempel på kommandoer i en utførelse av systemet.

Detaljert beskrivelse av de foretrukne utførelser

[0019] Et system og en fremgangsmåte for et gestbasert styringssystem er beskrevet. I den følgende beskrivelse beskrives et antall trekk i detalj for å tilveiebringe en mer grundig forståelse av oppfinnelsen. Det er åpenbart at systemet kan praktiseres uten disse spesifikke detaljer. I andre tilfeller har velkjente trekk ikke blitt beskrevet i detalj.

[0020] System

[0021] Et blokkdiagram av en utførelse av oppfinnelsen er illustrert på figur 1. En bruker lokaliserer sine hender 101 og 102 i betraktningsområdet for en oppstilling av kameraer 104A-104D. Kameraene detekterer lokalisering, orientering og bevegelse av fingrene og hendene 101 og 102 og genererer utgangssignaler til forprosessor 105. Forprosessor 105 omformer kameraets utgang til et gestsignal som tilveie-bringes til datamaskinprosesseringsenheten 107 i systemet. Datamaskinen 107 bruker inngangsinformasjonen til å generere en kommando til å styre en eller flere markører på en skjerm og tilveiebringer videoutgang til display 103.

[0022] Selv om systemet er vist med en enkelt brukers hender som innmating, kan oppfinnelsen også implementeres ved bruk av flere brukere. I tillegg, istedenfor eller i tillegg til hender, kan systemet følge en hvilken som helst del eller deler av en brukes legeme, inkludert hode, føtter, ben, armer, albuer, knær og lignende.

[0023] I den viste utførelse brukes fire kameraer til å detektere lokaliseringen, orienteringen og bevegelsen av brukerens hender 101 og 102. Det skal forstås at oppfinnelsen kan brukes med flere eller færre kameraer uten å avvike fra oppfinnel-sens omfang eller idé. I tillegg, selv om kameraene i eksempelutførelsen er anordnet symmetrisk, er det ikke noe krav som slik symmetri i oppfinnelsen. Et hvilket som helst antall eller posisjonering av kameraer som tillater lokaliseringen, orienteringen og bevegelsen av brukerens hender kan brukes i oppfinnelsen.

[0024] I en utførelse av oppfinnelsen er kameraene som brukes bevegelses-oppfangingskameraer som er i stand til å fange opp gråskalaavbildninger. I en utførelse er kameraene som brukes de som fremstilles av Vicon, så som kameraet Vicon MX40. Dette kameraet inkluderer prosessering i kameraet, og er i stand til å fange opp avbildninger med 1000 bilder per sekund. Et kamera for oppfanging av bevegelse er i stand til å detektere og lokalisere merker.

[0025] I den beskrevne utførelse brukes kameraene til optisk deteksjon. I andre utførelser kan kameraene eller andre detektorer brukes til elektromagnetisk deteksjon, magnetostatisk deteksjon, RFID-deteksjon eller en hvilken som helst annen egnet type av deteksjon.

[0026] Forprosessor 105 brukes til å generere tredimensjonal rompunkt rekonstruksjon og skjelettpunktetikettering. Gestomformeren 106 brukes til å konvertere den 3D romlige informasjon og merkebevegelsesinformasjon til et kommandospråk som kan tolkes av en datamaskinprosessor for å oppdatere lokaliseringen, formen og handlingen til en markør på et display. I en alternativ utførelse av oppfinnelsen kan forprosessoren 105 og gestomformeren 106 kombineres til en enkelt innretning.

[0027] Datamaskinen 107 kan være en hvilken som helst universaldatamaskin, så som de som fremstilles av Apple, Dell eller en hvilken som helst annen passende produsent. Datamaskinen 107 kjører applikasjoner og tilveiebringer utgang til displayet. Markørinformasjon som ellers ville komme fra en mus eller en annen innmatingsinnretning ifølge kjent teknikk kommer nå fra gestsystemet.

[0028] Merketagger

[0029] Ved oppfinnelsen tenker man seg bruk av merketagger på en eller flere av brukerens fingre, slik at systemet kan lokalisere hendene til brukeren, identifisere om hvorvidt det betrakter en venstre eller høyre hånd, og hvilke fingre som er synlige. Dette tillater at systemet kan detektere lokaliseringen, orienteringen og bevegelsen av brukerens hender. Denne informasjonen tillater at antall gester gjenkjennes av systemet og brukes som kommandoer av brukeren.

[0030] Merketaggene er i en utførelse fysiske tagger som omfatter et underlag (i den foreliggende utførelse passende for innfesting til forskjellige lokaliseringer på en menneskelig hånd) og diskrete merker som er anordnet på underlagets overflate i unike, identifiserende mønstre.

[0031] Merkene og det tilknyttede eksterne sansende system kan operere i en hvilken som helst domene (optisk, elektromagnetisk, magnetostatisk, osv.) som tillater nøyaktig, presis og hurtig og kontinuerlig innsamling av deres tre posisjoner i rommet. Selve merkene kan operere enten aktivt (eksempelvis ved emittering av strukturerte elektromagnetiske pulser) eller passivt (eksempelvis ved at de er optisk tilbakereflekterende, som i den foreliggende utførelse).

[0032] Ved hvert bilde for innsamling, mottar deteksjonssystemet opphopnings-"skyen" av innhentede tre lokaliseringer i rommet som omfatter alle merker fra tagger som for det inneværende er i det instrumenterte arbeidsromvolum (innenfor det synlige spekter for kameraene eller andre detektorer). Merkene på hver tagg har et tilstrekkelig mangfold og er anordnet i unike mønstre, slik at deteksjonssystemet kan utføre de følgende oppgaver: (1) segmentering, hvor hver innhentede merkeposisjon tilordnes til én og kun én delsamling av punkter som danner en enkelt tagg; (2) etikettering, hvor hver segmenterte delsamling av punkter identifiseres som en bestemt tagg; (3) lokalisering, hvor de tre posisjoner i rommet for den identifiserte tagg innhentes; og (4) orientering, hvor de tre orienteringer i rommet av den identifiserte tagg innhentes. Oppgave (1) og (2) gjøres mulig gjennom det spesifikke tegn av merkemønstrene, som beskrevet nedenfor og som illustrert i utførelsen på figur 2.

[0033] Merkene på taggene er i en utførelse festet til et delsett av regelmessige rutenettlokaliseringer. Dette underliggende rutenett kan, som i den foreliggende utførelse, være av den tradisjonelle kartesiske type; eller kan isteden være en eller annen regelmessig, plan tesselasjon (for eksempel et trekantet/sekskantet arrangement av overlappende vinduer). Skalaen og innbyrdes avstand i rutenettet etableres i forhold til den kjente romlige oppløsning av det merkesansende system, slik at det ikke er trolig at tilgrensende rutenettlokaliseringer blir blandet sammen. Valg av merkemønstre for alle tagger bør oppfylle den følgende skranke: intet merkes mønster skal falle sammen med mønsteret for en annen taggs mønster gjennom en hvilken som helst kombinasjon av rotasjon, translasjon eller speiling. Mangfoldet og arrangementet av merker kan videre velges slik at tap (eller sperring for) et spesifisert antall av komponentmerker tolereres: etter en hvilken som helst vilkårlig omdanning, bør det fremdeles være usannsynlig at den forringede modul forveksles med en annen.

[0034] Det vises nå til figur 2, hvor et antall av tagger 201A-201E (venstre hånd) og 202A-202E (høyre hånd) er vist. Hver tagg er rektangulær og består i denne utførelse av en 5x7 rutenettoppstilling. Den rektangulære form er valgt som en hjelp ved å bestemme orientering av taggen og for å redusere sannsynligheten for speil-duplikater. I den viste utførelse er det tagger for hver finger på hver hånd. I enkelte utførelser kan det være passende å bruke én, to, tre eller fire tagger per hånd. Hver tagg har en kant med en forskjellig gråskala eller fargesjattering. Innenfor denne kanten er det en 3x5 rutenettoppstilling. Merker (representert med de sorte prikker på figur 2) er anordnet i visse punkter i rutenettoppstillingen for å tilveiebringe informasjon.

[0035] Kvalifiserende informasjon kan kodes i taggenes merkemønstre gjennom segmentering av hvert mønster til "felles" og "unike" delmønstre. For eksempel spesifiserer den foreliggende oppfinnelse to mulig "kantmønstre", fordelinger av merker omkring en rektangulær avgrensning. En "familie" av tagger blir således etablert ~ taggene som er tiltenkt for venstre hånd kan således alle bruke det samme kantmønster som er vist i taggene 201 A-201 E, mens de som er innfestet til den høyre håndens fingre kan tilordnes et forskjellig mønster, som vist i taggene 202A-202E. Dette delmønsteret er valgt slik at i alle orienteringer av taggene, kan det venstre mønster sjeldnes fra det høyre mønster. I det illustrerte eksempel inkluderer mønsteret på venstre hånd et merke i hvert hjørne og et merke i en rutenett-lokalisering som er nummer to fra hjørnet. Mønsteret på høyre hånd har merker i kun to hjørner og to merker i rutenettlokaliseringer som ikke er i hjørnet. En inspeksjon av mønsteret røper at så lenge hvilke som helst tre av de fire merkene er synlige, kan mønsteret på venstre hånd sikkert sjeldnes fra mønsteret på venstre hånd. I en utførelse kan fargen eller sjatteringen av kanten også brukes som en indikator på tendensen til å bruke en hånd istedenfor den andre.

[0036] Hver tagg må selvsagt likevel anvende et unikt indre mønster, med merkene fordelt innenfor sin families felles kant. I den viste utførelse har det blitt funnet at to merker i den indre rutenettoppstilling er tilstrekkelig til unikt å identifisere hver av de ti fingre uten noen duplisering på grunn av rotasjon eller orientering av fingrene. Selv om ett av merkene er sperret for, gir kombinasjonen av mønsteret og tendensen til å bruke en hånd istedenfor den andre for taggen en unik identifikator.

[0037] I den foreliggende utførelse er rutenettlokaliseringene visuelt til stede på det faste underlag som en hjelp ved den (manuelle) oppgave med å innfeste hvert tilbakerepeterende merke ved sin tiltenkte lokalisering. Disse rutenettene og de tiltenkte merkelokaliseringer er i bokstavelig forstand trykket via fargeblekkstråleskriver på underlaget, som her er et ark av (initialt) fleksibel "krympefilm". Hver modul er skåret fra arket og deretter ovnsbakt, under hvilken termisk behandling hver modul gjennomgår en nøyaktig og repeterbar krymping. I et kort intervall etter denne prosedyre, kan taggen som er under avkjøling formes litt - for å følge den langs-gående kurve til for eksempel en finger; deretter er underlaget passende stivt, og merker kan festes ved de viste rutenettpunkter.

[0038] I en utførelse er selve merkene tredimensjonale, så som små reflekterende kuler som er innfestet til underlaget via klebemiddel eller et annet passende middel. Tredimensjonaliteten til merkene kan være en hjelp ved deteksjon og lokalisering over todimensjonale merker. Begge kan imidlertid brukes uten å avvike fra den foreliggende oppfinnelses idé og omfang.

[0039] For det inneværende blir tagger festet ved hjelp av borrelås eller andre passende midler til en hanske som bæres av operatøren, eller blir alternativt festet direkte til operatørens fingre ved bruk av en myk, dobbeltsidig tape. I en tredje ut-førelse er det mulig fullstendig å unnvære det stive underlag og feste - eller "male" - individuelle merker direkte på operatørens fingre og hender.

[0040] Gestvokabular

[0041] Ved oppfinnelsen tenker man seg et gestvokabular som består av håndstillinger, orientering, håndkombinasjoner og orienteringsblandinger. Et notasjons-språk er også implementert for å designe og kommunisere stillinger og gester i gest-vokabularer ifølge oppfinnelsen. Gestvokabularet er et system for å representere øyeblikkelige "stillingstilstander" for kinematiske leddinnretninger i kompakt tekstform. De aktuelle leddinnretninger kan være biologiske (for eksempel en menneskelig hånd; eller et helt menneskelig legeme; eller et gresshoppebein; eller den leddelte ryggrad til en lemur) eller kan isteden være ikke-biologisk (eksempelvis en robotarm). I ethvert tilfelle kan leddinnretningen være enkel (ryggraden) eller forgrenende

(hånden). Gestvokabularsystemet ifølge oppfinnelsen etablerer for enhver spesifikk leddinnretning en streng med konstant lengde; gruppen av de spesifikke ADCII-tegn som opptar strengens "tegnlokaliseringer" er da en unik beskrivelse av den øyeblikkelig tilstand, eller "stilling" av leddinnretningen.

[0042] Håndstillinger

[0043] Figur 3 illustrerer håndstillinger i en utførelse av et gestvokabular som bruker oppfinnelsen. Oppfinnelsen antar at hver av de fem fingrene på en hånd brukes. Disse fingrene er koder, så som p-lillefinger (punkie), r-ringfinger, m-lang-finger (middel finger), i-pekefinger (index finger) og t-tommel. Et antall stillinger for fingrene og tommelen er definert og illustrert på figur 3. En gestvokabularstreng etablerer en enkelt tegnposisjon for hver frihetsgrad som kan uttrykkes i leddinnretningen (i dette tilfelle en finger). Videre, hver slik frihetsgrad forstås å være diskretisert (eller kvantifisert), slik at et fullt spekter av bevegelse kan uttrykkes gjennom tilordning av ett av et endelig antall av standard ASCII-tegn ved denne strengposisjonen. Disse frihetsgradene uttrykkes i forhold til et kroppsspesifikt origo og koordinatsystem (baksiden av hånden, senteret for gresshoppens legeme; basisen for robotarmen; osv.). Et lite antall av ytterligere gestvokabulartegnposisjoner brukes derfor til å uttrykke posisjonen og orienteringen til leddinnretningen (som en helhet) i det mer globale koordinatsystem.

[0044] Fremdeles med henvisning til figur 3, defineres og identifiseres et antall stillinger ved bruk av ASCII-tegn. Enkelte av stillingene er delt mellom tommel og ikke-tommel. Oppfinnelsen bruker i denne utførelse en koding, slik at selve ASCII-tegnet er suggestivt for stillingen. Ethvert tegn kan imidlertid brukes til å representere en stilling, uansett om det er suggestivt eller ikke. I tillegg er det i oppfinnelsen ikke noe krav om å bruke ASCII-tegn for notasjonsstrengene. Et hvilket som helst egnet symbol, talltegn eller annen representasjon kan brukes uten å avvike fra oppfinnel-sens omfang og idé. For eksempel kan notasjonen bruke to bits per finger, hvis dette er ønskelig, eller et annet antall bits, etter ønske.

[0045] En krummet finger representeres av tegnet "<A>" mens en krummet tommel av ">". En rett finger eller tommel som peker oppover er angitt med "1" og en vinkel med "\" eller " I"."-" representerer en tommel som peker rett til siden, og "x" representerer en tommel som peker inn i planet.

[0046] Ved bruk av disse individuelle finger- og tommelbeskrivelser, kan et robust antall av håndstillinger defineres og skrives ved bruk av systemet ifølge oppfinnelsen. Hver stilling representeres av fem tegn, hvor rekkefølgen er p-r-m-i-t som beskrevet ovenfor. Figur 3 illustrerer et antall av stillinger, og noen få er her beskrevet som en illustrasjon og et eksempel. Hånden som holdes flat og parallell med underlaget er representert av "11111". En neve er representert av" Et "OK" tegn er representert av "111 >".

[0047] Tegnstrengene tilveiebringer muligheten for endefrem "menneskelig les-barhet" ved bruk av suggestive tegn. Settet av mulig tegn som beskriver hver frihetsgrad kan generelt velges med tanke på hurtig gjenkjennelse og innlysende analogi. For eksempel, en vertikal stav ("|") vil trolig bety at et leddinnretningselement er "rett", en ell ("L") kan bety en nittigraders bøy, og en cirkumfleks ("<A>") kan indikere en skarp bøy. Som påpekt ovenfor, alle tegn eller enhver koding kan brukes, hvis dette er ønskelig.

[0048] Ethvert system som anvender gestvokabularstrenger, så som her beskrevet, nyter den fordel at det er høy beregningsmessig effektivitet ved sammenligning av strenger - identifikasjon av eller søk etter en hvilken som helst spesifisert stilling blir i bokstavelig forstand en "strengsammenligning" (eksempelvis UNIX sin "strcmpO" funksjon) mellom den ønskede stillingsstreng og den øyeblikkelige faktiske streng. Videre, bruken av "joker"-tegn forsyner programmereren eller system-designeren med ytterligere effektivitet og virkning som han eller hun er fortrolig med: frihetsgrader hvis øyeblikkelige tilstand er irrelevant for en sammenligning kan spesifiseres som et utspørringspunkt ("?"); ytterligere meninger med jokertegn kan tilordnes.

[0049] Orientering

[0050] I tillegg til stillingen av fingrene og tommelen, kan orienteringen av hånden representere informasjon. Tegn som beskriver orienteringer i det globale rom kan også velges transparent: tegnene "<", ">", "<A>" og "v" kan brukes til å vise, når de påtreffes i en orienteringstegnposisjon, ideene med venstre, høyre, opp og ned. Figur 4 illustrerer håndorientering deskriptorer og eksempler på koding som kombinerer stilling og orientering. I en utførelse av oppfinnelsen spesifiserer to tegnposisjoner først retningen av håndflaten og deretter retningen av fingrene (hvis de var rette, uten hensyn til fingrenes faktiske bøyinger). De mulige tegn for disse to posisjoner uttrykker et "kroppssentrisk" begrep for orientering:"?", "x", "<*>","<A>" og "v" beskriver medial, lateral, anterior (forover, bort fra kroppen), posterior (bakover, bort fra kroppen), kranial (oppover) og kaudal (nedover).

[0051] I notasjonssystemet for og utførelsen av oppfinnelsen, er de tegn som angir stillingen med fem fingrene fulgt av et kolon og deretter to orienteringstegn, for å definere en fullstendig kommandostilling. I en utførelse refereres en startposisjon til som en "xyz"-stilling hvor tommelen peker rett opp, pekefingeren peker forover og langfingeren står vinkelrett på pekefingeren, og peker til venstre når stillingen gjøres med høyre hånd. Dette er representert av strengen "<AA>x1-:-x".

[0052] "XYZ-hånd" er en teknikk for å utnytte geometrien til den menneskelige hånd for å tillate full navigasjon med seks frihetsgrader for en visuelt presentert tredimensjonal struktur. Selv om teknikken kun avhenger av omfanget av translasjon og rotasjon av operatørens hånd - slik at dens fingre i prinsippet kan holdes i en hvilken som helst stilling som er ønskelig - foretrekker den foreliggende oppfinnelse en statisk konfigurasjon hvor pekefingeren peker bort fra kroppen; tommelen peker mot takter; og langfingeren peker venstre-høyre. De tre fingre beskriver således (grovt sett, men med klart innlysende intensjon) de tre innbyrdes ortogonale akser i et tredimensjonalt koordinatsystem: således "XYZ-hånd".

[0053] XYZ-håndnavigasjonen går deretter videre med hånden, fingrene i en stilling som beskrevet ovenfor, holdt foran operatørens legeme i en forhåndsbestemt "nøytral lokalisering". Adgang til de tre translasjonsmessig og tre rotasjonsmessige frihetsgrader for et tredimensjonalt objekt (eller kamera) bevirkes på den følgende naturlige måte: venstre-høyre bevegelse av hånden (i forhold til kroppens naturlige koordinatsystem) resulterer i bevegelse langs den beregningsmessige konteksts x-akse; opp-ned bevegelse av hånden resulterer i bevegelse langs den styrte kontekst y-akse; og bevegelse av hånden forover-bakover (mot/bort fra operatørens legeme) resulterer i z-aksebevegelse innenfor konteksten. Tilsvarende, rotasjon av opera-tørens hånd omkring pekefingeren fører til en "rulle"-forandring av den beregningsmessige konteksts orientering; "stampe"- og "gire"-forandringer bevirkes analogt, gjennom rotasjon av operatørens hånd omkring langfingeren henholdsvis tommelen.

[0054] Bemerk at selv om "beregningsmessig kontekst" her brukes til å referere til den entitet som styres av metoden med XYZ-hånd - og synes å foreslå enten et syntetisk tredimensjonalt objekt eller kamera - skal det forstås at teknikken er like nyttig for styring av forskjellige frihetsgrader for objekter i den virkelige verden: for eksempel styringsinnretninger for panorering/skråstilling/rulling for et videokamera eller bevegelsesbildekamera som er utstyrt med passende rotasjonsaktuatorer. Videre, den fysikalske frihetsgrad som gjøres mulig ved hjelp av XYZ-håndstillingen kan være noe mindre avbildet i bokstavelig forstand, selv i en virtuell domene: I den foreliggende utførelse, brukes XYZ-hånden også til å tilveiebringe navigasjonsmessig adgang til store panorama displayavbildninger, slik at venstre-høyre og opp-ned bevegelser av operatørens hånd fører til den forventede venstre-høyre eller opp-ned "panorering" omkring avbildningen, men forover-bakover bevegelse av operatørens hånd avbildes til "zooming"-styring.

[0055] I hvert tilfelle kan kopling mellom bevegelsen til hånden og den fremkalte beregningsmessige translasjon/rotasjon enten være direkte (det vil si at en posisjonsmessig eller rotasjonsmessig forskyvning av operatørens hånd avbildes en-til-en, via en lineær eller ikke-lineær funksjon, til en posisjonsmessig eller rotasjonsmessig forskyvning av objektet eller kameraet i den beregningsmessige kontekst) eller indirekte (det vil si at posisjonsmessig eller rotasjonsmessig forskyvning av opera-tørens hånd avbildes en-til-en, via en lineær eller ikke-lineær funksjon, til en første eller høyere grads derivert av posisjon/orientering i den beregningsmessige kontekst; pågående integrasjon bevirker da en ikke-statisk forandring i den beregningsmessige konteksts faktiske nulte ordens posisjon/orientering). Dette sistnevnte middel til styring er analogt til bruk av en bils "gasspedal", hvor en konstant forskyvning av pedalene mer eller mindre fører til en konstant hastighet av kjøretøyet.

[0056] Den "nøytrale lokalisering" som virker som XYZ-håndens lokale koordinatorigo for seks frihetsgrader i den virkelige verden kan etableres (1) som en absolutt posisjon og orientering i rommet (i forhold til, la oss si, det innelukkende rom); (2) som en fast posisjon og orientering i forhold til operatøren i seg selv (eksempelvis 203,2 mm foran kroppen, 254 mm under haken og sideveis på linje med skulder-planet), uten hensyn til den samlede posisjon og "retning" til operatøren; eller (3) interaktivt, gjennom forsettelig sekundær handling av operatøren (for eksempel ved bruk av en gestkommando som utføres av operatørens "andre" hånd, idet kommandoen viser at XYZ-håndens inneværende posisjon og orientering fra nå av bør brukes som det translatoriske og rotasjonsmessige origo).

[0057] Det er videre passende å tilveiebringe et "sperre"-område (eller "dødsone") omkring XYZ-håndens nøytrale lokalisering, slik at bevegelser innenfor dette volumet ikke avbildes til bevegelser i den styrte kontekst.

[0058] Andre stillinger kan inkludere: [|||||:vx] er en flat hånd (tommel parallell med fingrene) med håndflaten vendende ned og fingrene forover.

[|||||:x<A>] er en flat hånd med håndflaten vendende forover og fingrene mot taket.

[|||||:-x] er en flat hånd med håndflaten vendende mot senteret av kroppen (høyre hvis venstre hånd, venstre hvis høyre hånd) og fingrene forover.

[AAAA-:-x]er én-hånds tommel opp (med tommel pekende mot taket).

[AAA|-:-x] er mime skytevåpen pekende forover.

[0059] To- hånds kombinasjon

[0060] Ved den foreliggende oppfinnelse tenker man seg én-hånds kommandoer og stillinger, så vel som to-hånds kommandoer og stillinger. Figur 5 illustrerer eksempler på to-hånds kombinasjoner og tilknyttet rotasjon i en utførelse av oppfinnelsen. Ved gjennomgang av notasjonen i det første eksempel, "full stopp" viser at den omfatter to lukkede never. Eksemplet med "øyeblikksbilde" har tommelen og pekefingeren på hver hånd utstrukket, tomlene peker mot hverandre, hvilket definerer en målstolpeformet ramme. "Ror og gasspjeld startposisjon" er fingrene og tomler som peker opp, håndflater vendende mot skjermen.

[0061] Orienteringsblandinger

[0062] Figur 6 illustrerer et eksempel på en orienteringsblanding i en utførelse av oppfinnelsen. I det viste eksempel er blandingen representert av innelukkende par av orienteringsnotasjoner i parenteser etter strengen med fingerstilling. For eksempel viser den første kommando fingerposisjoner hvor alle peker rett. Det første par av orienteringskommandoer vil resultere i at håndflatene er flate mot displayet, og det annet par har hender som roterer til en 45 graders helling mot skjermen. Selv om par av blandinger er vist i dette eksempel, er et hvilket som helst antall av blandinger tenkelige i oppfinnelsen.

[0063] Eksempelkommandoer

[0064] Figur 8 illustrerer et antall av mulige kommandoer som kan brukes sammen med den foreliggende oppfinnelse. Selv om noe av drøftelsen her har vært om styring av en markør på et display, er oppfinnelsen ikke begrenset til denne aktivitet. Oppfinnelsen har faktisk stor applikasjon ved manipulering av ethvert og alle data og partier av data på en skjerm, så vel som tilstanden til displayet. For eksempel kan kommandoene brukes til å ta plassen til videostyringsinnretninger under tilbake-spilling av videomedia. Kommandoene kan brukes til pause, hurtig forover, tilbake-spoling og lignende. I tillegg kan kommandoer implementeres for å zoome inn eller zoome ut av en avbildning, for å forandre orienteringen til en avbildning, for å panorere i en hvilken som helst retning, og lignende. Oppfinnelsen kan også brukes istedenfor menykommandoer, så som åpne, lukke, lagre og lignende. Med andre ord, enhver kommando eller aktivitet som er tenkelig kan implementeres med håndgester.

[0065] Operasjon

[0066] Figur 7 er et flytdiagram som illustrerer operasjonen av oppfinnelsen i en utførelse. I trinn 701 detekterer deteksjonssystemet merkene og taggene. I beslutningsblokk 702 fastslås om taggene og merkene er detektert. Hvis ikke returnerer systemet til trinn 701. Hvis taggene og merkene er detektert i trinn 702, fortsetter systemet til trinn 703. I trinn 703 identifiserer systemet hånden, fingrene og stilling fra de detekterte tagger og merker. I trinn 704 identifiserer systemet orienteringen til stillingen. I trinn 705 identifiserer systemet den tredimensjonale romlige lokalisering av hånden eller hendene som er detektert. (Vennligst merk at et hvilket som helst av eller alle trinnene 703, 704 og 705 kan kombineres som et enkeltrinn).

[0067] I trinn 706 omformes informasjonen til den gestnotasjon som er beskrevet ovenfor. I beslutningsblokk 707 fastslås det om stillingen er gyldig. Dette kan oppnås via en enkel strengsammenligning ved bruk av den genererte notasjonsstreng. Hvis stillingen ikke er gyldig, returnerer systemet til trinn 701. Hvis stillingen er gyldig, sender systemet notasjons- og posisjonsinformasjonen til datamaskinen i trinn 708.1 trinn 709 bestemmer datamaskinen den passende handling som skal foretas som respons på gesten og oppdaterer displayet i henhold til trinn 710.

[0068] I en utførelse av oppfinnelsen utføres trinnene 701-705 ved hjelp av prosessoren i kameraet. I andre utførelsesformer kan prosesseringen utføres ved hjelp av systemdatamaskinen, hvis dette er ønskelig.

[0069] Analysering og omforming

[0070] Systemet er i stand til å "analysere" og "omforme" en strøm av lavnivå gester som er innhentet av et underliggende system, og forvandle disse analyserte og omformede gester til en strøm av kommandodata eller hendelsesdata som kan brukes til å styre et bredt spekter av datamaskinapplikasjoner og systemer. Disse teknikker og algoritmer kan gis konkret form i et system bestående av datamaskin-kode som tilveiebringer både en motor som implementerer disse teknikker og en plattform for bygging av datamaskinapplikasjoner som gjør bruk av motorens egen-skaper.

[0071] En utførelsesform er fokusert på å muliggjøre rik bruk av gester av menneskelige hender i datamaskingrensesnitt, men er også i stand til å gjenkjenne gester som er laget av andre kroppsdeler (inkludert, men ikke begrenset til, armer, torso, ben og hodet), så vel som ikke-hånd fysiske verktøy av forskjellige slag, både statiske og artikulerende, inkludert, men ikke begrenset til, krumpassere, kompass, approksimatorer for fleksible kurver og pekeinnretninger av forskjellige former. Merkene og taggene kan anvendes på gjenstander og verktøy som kan bæres og brukes av operatøren etter ønske.

[0072] Systemet som her er beskrevet inkorporerer et antall av innovasjoner som gjør det mulig å bygge gestsystemer som har et rikt spekter av gester som kan gjenkjennes og som det kan handles ut fra, samtidig som det sørges for enkel integrasjon i applikasjoner.

[0073] Systemet for analysering og omforming av gester består i en utførelse av:

[0074] 1) en kompakt og effektiv måte til å spesifisere (kode for bruk i datamaskin-programmer) gester på flere forskjellige nivåer av opphopning: a. en én-hånds "stilling" (konfigurasjonen og orienteringen av delene av hånden i forhold til hverandre) en én-hånds orientering og posisjon i det tredimensjonale rom.

b. to-hånds kombinasjoner, hvor det for hver hånd tas hensyn til stilling,

posisjon eller begge deler.

c. flere-personkombinasjoner; systemet kan følge flere enn to hender, og slik kan flere enn én person samvirkende (eller konkurrerende i tilfelle av spillapplikasjoner) styre målsystemet. d. sekvensielle gester hvor stillinger kombineres i en serie, vi kaller

disse "animerende" gester.

e. "grafem"-gester, hvor operatøren tegner former i rommet.

[0075] 2) en programmatisk teknikk for registrering av spesifikke gester fra hver kategori ovenfor som er relevante for en gitt applikasjonskontekst

[0076] 3) algoritmer for analysering av geststrømmen, slik at registrerte gester kan identifiseres og hendelser som innkapsler disse gester kan leveres til relevante applikasjonskontekster.

[0077] Spesifikasjonssystemet (1), med utgjørende elementer (1a) til (1f), tilveiebringer basis for å gjøre bruk av evner for analysering og omforming av gester ved det system som her er beskrevet.

[0078] En én-hånds "stilling" representeres som en streng av

[0079] i) relative orienteringer mellom fingrene og håndens bakside,

[0080] ii) kvantisert til et lite antall av diskrete tilstander.

[0081] Bruk av relative leddorienteringer tillater at det ved det system som her er beskrevet unngås problemer som er tilknyttet forskjellige håndstørrelser og geo-metrier. Ingen "operatørkalibrering" er påkrevd med dette system. I tillegg, spesifisering av stillinger som en streng eller samling relative orienteringer tillater at mer komplekse gestspesifikasjoner enkelt dannes ved kombinering av stillingsrepresenta-sjoner med ytterligere filtre og spesifikasjoner.

[0082] Bruk av et lite antall av diskrete tilstander for stillingsspesifikasjon gjør det mulig å spesifisere stillinger kompakt, så vel som å sørge for nøyaktig stillings-gjenkjennelse ved bruk av et mangfold av underliggende følgingsteknologier (for eksempel passiv optisk følging ved bruk av kameraer, aktiv optisk følging ved bruk av belyste prikker og kameraer, elektromagnetisk feltfølging, osv.).

[0083] Gester i hver kategori (1a) til (1f) kan delvis (eller minimalt) spesifiseres, slik at ikke-kritiske data ignoreres. For eksempel kan en gest hvor posisjonen til to fingre er definitiv, og andre fingerposisjoner er uviktige, representeres av en enkelt spesifikasjon hvor de operative posisjoner til de to relevante fingre er gitt, og, innenfor den samme streng, "jokere" eller generiske "ignorer disse"-indikatorer er opplistet for de andre fingre.

[0084] Alle de innovasjoner som her er beskrevet for gestgjenkjennelse, inkludert, men ikke begrenset til, teknikken med flerlags spesifikasjon, bruken av relative orienteringer, kvantifisering av data og hensyntagen til delvis eller minimal spesifikasjon ved hvert nivå, generaliseres utenfor spesifikasjonen av håndgester til spesifikasjon av gester ved bruk av andre kroppsdeler og "fremstilte" verktøy og objekter.

[0085] De programmerte teknikker for "registrering av gester" (2) består av et definert sett av applikasjons programmeringsgrensesnittkall (Application Programming Interface calls) som gjør det mulig for en programmerer å definere hvilke gester motoren bør gjøre tilgjengelige for andre deler av det kjørende system.

[0086] Disse API-rutiner kan brukes ved applikasjonsoppsett tidspunktet, hvilket danner en statisk grensesnittdefinisjon som brukes gjennom hele levetiden til den kjørende applikasjon. De kan også brukes i løpet av kjøringen, hvilket tillater forandring av grensesnittkarakteristikaene på direkten. Denne sanntidsendringen av grensesnittet gjør det mulig å

[0087] i) bygge komplekse kontekstuelle og betingede styringstilstander,

[0088] ii) å dynamisk addere hysterese til styringsomgivelsen, og

[0089] iii) å danne applikasjoner hvor brukeren er i stand til å endre eller utvide grensesnittvokabularet til selve det kjørende system.

[0090] Algoritmer for analysering av geststrømmen (3) sammenligner gester spesifisert som i (1) og registrert som i (2) mot innkommende lavnivå gestdata. Når en overensstemmelse for en registrert gest gjenkjennes, blir hendelsesdata som representerer den overensstemmende gest levert opp stakken til kjørende applikasjoner.

[0091] Effektiv sanntids sammenligning er ønskelig i designen av dette systemet, og spesifiserte gester behandles som et tre av muligheter som prosesseres så raskt som mulig.

[0092] I tillegg blir de primitive sammenligningsoperatorer som brukes internt til å gjenkjenne spesifiserte gester også eksponert for bruk av applikasjonsprogramme-reren, slik at ytterligere sammenligning (for eksempel fleksibel tilstandsinspeksjon i komplekse eller sammensatte gester) kan skje selv fra innenfor applikasjonskontekster.

[0093] Gjenkjennelse av "låsende" semantikk er en innovasjon ved det system som her er beskrevet. Denne semantikken er implisitt på grunn av registreringen API (2) (og, i en mindre utstrekning, innleiret innenfor spesifikasjonsvokabularet (1)). Registrering API-kall inkluderer

[0094] i) "inngang" tilstandsvarslere og "fortsettelse" tilstandsvarslere, og

[0095] ii) gestprioritets spesifikasjonselement.

[0096] Hvis en gest har blitt gjenkjent, går dens "fortsettelse"-betingelser foran alle "inngang"-betingelser for gester med de samme eller lavere prioriteter. Denne forskjell mellom inngang- og fortsettelsestilstander øker signifikant systemets opp-fattede ustabilitet.

[0097] Det system som her er beskrevet inkluderer algoritmer for robust operasjon til tross for datafeil og usikkerhet i den virkelige verden. Data fra lavnivå følgings-systemer kan være ufullstendige (av et mangfold av årsaker, inkludert sperring for merker i optisk følging, bortfall av nettverk eller prosesseringsetterheng, osv.).

[0098] Manglende data merkes av analyseringssystemet, og interpoleres til enten "sist kjente" eller "mest sannsynlige" tilstander, avhengig av mengden og konteksten av de manglende data.

[0099] Hvis data om en bestemt gestkomponent (for eksempel orienteringen til et bestemt ledd) mangler, men den "sist kjente" tilstand for den bestemte komponenten kan analyseres som fysisk mulig, bruker systemet denne sist kjente tilstand i sin sanntids sammenligning.

[00100] Omvendt, hvis den sist kjente tilstand analyseres som fysisk umulig, faller systemet tilbake til et "beste gjetningsområde" for komponenten, og bruker disse syntetiske data i sin sanntids sammenligning. [00101 ] Den spesifikasjon og de analyseringssystemer som her er beskrevet har blitt nøye designet til å støtte "agnostisisme ved tendensen til å bruke en hånd istedenfor den andre", slik at for flerhåndsgester tillates hver hånd å oppfylle kravene til stilling.

[00102] Sammenfallende virtuell/ display og fysiske rom

[00103] Systemet kan tilveiebringe en omgivelse hvor virtuelt rom vist på en eller flere displayinnretninger ("skjermer") behandles som sammenfallende med det fysiske rom hvor operatøren eller operatørene av systemet holder til. En utførelses-form av en slik omgivelse er her beskrevet. Denne inneværende utførelsesform inkluderer tre prosjektordrevne skjermer ved faste lokaliseringer, er drevet av en enkel borddatamaskin, og styres ved bruk av det gestvokabular og det grensesnittsystem som her er beskrevet. Merk imidlertid at et hvilket som helst antall av skjermer støttes av de teknikker som er beskrevet; at disse skjermene kan være mobile (istedenfor faste); at skjermene kan drives av mange uavhengige datamaskiner samtidig; og at det samlede system kan styres av en hvilken som helst innmatingsinnretning eller teknikk.

[00104] Det grensesnittsystem som er beskrevet i denne offentliggjøring bør ha et middel til å bestemme dimensjonene, orienteringene og posisjonene til skjermer i fysisk rom. Gitt denne informasjon er systemet i stand dynamisk å avbilde det fysiske rom hvor disse skjermer er lokalisert (og hvor operatørene av systemet holder til) som en projeksjon inn i det virtuelle rom for datamaskinapplikasjoner som kjører på systemet. Som en del av denne automatiske avbilding, omformer systemet også skalaen, vinklene, dybden, dimensjonene og andre romlige karakteristika for de to rom på et mangfold av måter, i henhold til behovene for de applikasjoner som systemet er vert for.

[00105] Denne kontinuerlige omforming mellom fysisk og virtuelt rom muliggjør den konsistente og gjennomgripende bruk av et antall av grensesnitteknikker som er vanskelig å oppnå på eksisterende applikasjonsplattformer, eller som må implementeres bit for bit for hver applikasjon som kjører på eksisterende plattformer. Disse teknikkene inkluderer (men er ikke begrenset til):

[00106] 1) Bruk av "peking i bokstavelig forstand" - ved bruk av hendene i en gest grensesnittomgivelse, eller ved bruk av fysiske pekeverktøy eller -innretninger - som en gjennomgripende og naturlig grensesnitteknikk.

[00107] 2) Automatisk kompensasjon for bevegelse eller reposisjonering av skjermer.

[00108] 3) Grafisk gjengivelse som forandres avhengig av operatørens posisjon, for eksempel ved simulering av parallakseforskyvninger for å øke dybdepersepsjon.

[00109] 4) Inkludering av fysiske objekter i display på skjermen - idet det tas hensyn til posisjon, orientering, tilstand, osv. i den virkelige verden. For eksempel, en operatør som står foran en stor, opak skjerm, kan se både applikasjonsgrafikk og en representasjon av den sanne posisjon til en skalamodell som er bak skjermen (og som kanskje er i bevegelse eller forandrer orientering).

[00110] Det er viktig å merke seg at peking i bokstavelig forstand er forskjellig fra den abstrakte peking som brukes i musebaserte vindusgrensesnitt og de fleste andre nåværende systemer. I disse systemer må operatøren lære å ta hånd om en omforming mellom en virtuell peker og en fysisk pekeinnretning, og må avbilde mellom de to kognitivt.

[00111] I kontrast til dette, i de systemer som er beskrevet i denne offentliggjøring, er det ingen forskjell mellom virtuelt og fysisk rom (med unntak av at virtuelt rom er mer egnet til matematisk manipulasjon), enten fra et applikasjonsperspektiv eller brukerperspektiv, slik at ingen kognitiv omforming er påkrevd for operatøren.

[00112] Den nærmeste analogi for pekingen i bokstavelig forstand som tilveie-bringes av den utførelse som her er beskrevet er den berøringssensitive skjerm (som finnes for eksempel i mange ATM-maskiner). En berøringssensitiv skjerm tilveiebringer en til en avbilding mellom det todimensjonale visningsrom på skjermen og det todimensjonale innmatingsrom på skjermens overflate. På en analog måte tilveiebringer de systemer som her er beskrevet en fleksibel avbilding (muligens, men ikke nødvendigvis, en til en) mellom et virtuelt rom som vises på en eller flere skjermer og det fysiske rom hvor operatøren holder til. Til tross for nyttigheten av analogien, er det verdt å forstå at utvidelsen av denne "avbildningsløsningsmåte" til tre dimensjoner, en vilkårlig stor arkitektonisk omgivelse, og flere skjermer er ikke-triviell.

[00113] I tillegg til de komponenter som her er beskrevet, kan systemet også implementere algoritmer som implementerer en kontinuerlig avbilding på systemnivå

(kanskje modifisert ved rotasjon, translasjon, skalering eller andre geometriske transformasjoner) mellom det fysiske rom for omgivelsen og visningsrom met på hver skjerm.

[00114] En gjengivelsesstakk som tar de beregningsmessige objekter og avbildningen og mater ut en grafisk representasjon av det virtuelle rom.

[00115] En innmatingshendelses prosesseringsstakk som tar hendelsesdata fra et styringssystem (i den inneværende utførelse både gestdata og pekedata fra systemet og museinnmatingen) og avbilder romlige data fra innmatingshendelser til koordinater i virtuelt rom. Omformede hendelser leveres deretter til kjørende applikasjoner.

[00116] Et "limlag" som tillater systemet å være vert for applikasjoner som kjører over flere datamaskiner på et nettverk i lokalt område.

[00117] Et gestbasert styringssystem har således blitt beskrevet.

Claims (105)

1. Fremgangsmåte, karakterisert vedat den omfatter: automatisk detektering av en gest for et legeme fra gestdata mottatt via en optisk detektor, hvor gestdataene er absolutte 3D romlige lokaliseringsdata for en øyeblikkelig tilstand av legemet ved et punkt i tid og rom, idet detekteringen omfatter innsamling eller aggregering av gestdataene, og identifisering av gesten ved bruk av kun gestdataene; omforming av gesten til et gestsignal; og styring av en komponent som er koplet til en datamaskin som svar på gestsignalet.

2. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer detektering av en lokalisering av legemet.

3. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer detektering av en orientering av legemet.

4. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer detekteringsbevegelse av legemet.

5. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen omfatter identifisering av gesten, hvor identifiseringen inkluderer identifisering av en stilling og en orientering av et parti av legemet.

6. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer detektering av i det minste det ene av et første sett av vedheng og et annet sett av vedheng til legemet.

7. Fremgangsmåte som angitt i krav 6, karakterisert vedat legemet er et menneske, hvor det første sett av vedheng inkluderer i det minste én hånd, hvor det annet sett av vedheng inkluderer i det minste én finger på den minst ene hånd.

8. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer optisk detektering av bevegelse av legemet.

9. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer dynamisk detektering av en posisjon av i det minste én tagg.

10. Fremgangsmåte som angitt i krav 9, karakterisert vedat detekteringen inkluderer detektering av posisjon av et sett av tagger som er koplet til en del av legemet.

11. Fremgangsmåte som angitt i krav 10, karakterisert vedat hver tagg i settet av tagger inkluderer et mønster, hvor hvert mønster for hver tagg i settet av tagger er forskjellig fra et hvilket som helst mønster for noen gjenværende tagg i flerheten av tagger.

12. Fremgangsmåte som angitt i krav 11, karakterisert vedat hver tagg inkluderer et første mønster og et annet mønster, hvor det første mønster er felles for enhver tagg i settet av tagger og det annet mønster er forskjellig mellom i det minste to tagger i settet av tagger.

13. Fremgangsmåte som angitt i krav 10, karakterisert vedat settet av tagger danner en flerhet av mønstre på legemet.

14. Fremgangsmåte som angitt i krav 9, karakterisert vedat detekteringen inkluderer detektering av posisjon for en flerhet av vedheng til legemet ved bruk av et sett av tagger som er koplet til hvert av vedhengene.

15. Fremgangsmåte som angitt i krav 14, karakterisert vedat et første taggersett er koplet til et første vedheng, idet det første sett av tagger inkluderer en første flerhet av tagger, hvor hver tagg inkluderer et første mønster som er felles for taggene i den første flerhet av tagger og et annet mønster som er unikt for hver tagg i den første flerhet av tagger.

16. Fremgangsmåte som angitt i krav 15, karakterisert vedat et annet taggersett er koplet til et annet vedheng, idet det annet sett av tagger inkluderer en annen flerhet av tagger, hvor hver tagg inkluderer et tredje mønster som er felles for taggene i den annen flerhet av tagger og et fjerde mønster som er unikt for hver tagg i den annen flerhet av tagger.

17. Fremgangsmåte som angitt i krav 9, karakterisert vedat den minst ene tagg inkluderer et sett av tagger, hvor settet av tagger omfatter i det minste én taggtype valgt fra en gruppe bestående av aktive tagger og passive tagger.

18. Fremgangsmåte som angitt i krav 9, karakterisert vedat detekteringen omfatter tilordning av en posisjon for hver tagg til et delsett av punkter som danner en enkelt tagg.

19. Fremgangsmåte som angitt i krav 18, karakterisert vedat detekteringen omfatter identifisering av delsettet av punkter som en bestemt tagg og etikettering av delsettet av punkter som den bestemte tagg.

20. Fremgangsmåte som angitt i krav 19, karakterisert vedat detekteringen omfatter innhenting av tre lokaliseringer i rommet for den bestemte tagg.

21. Fremgangsmåte som angitt i krav 20, karakterisert vedat detekteringen omfatter innhenting av tre lokaliseringer i rommet for den bestemte tagg.

22. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer detektering av bevegelse av legemet ved bruk av en detekteringsmetode valgt fra en gruppe bestående av elektromagnetisk deteksjon, magnetostatisk deteksjon og deteksjon av radio-frekvensidentifikasjonsinformasjon.

23. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen inkluderer dynamisk detektering og lokalisering av et merke på legemet.

24. Fremgangsmåte som angitt i krav 23, karakterisert vedat detekteringen inkluderer detektering av posisjon av et sett av merker som er koplet til en del av legemet.

25. Fremgangsmåte som angitt i krav 23, karakterisert vedat settet av merker danner en flerhet av mønstre på legemet.

26. Fremgangsmåte som angitt i krav 23, karakterisert vedat detekteringen inkluderer detektering av posisjon av en flerhet av vedheng til legemet ved bruk av et sett av merker som er koplet til hvert av vedhengene.

27. Fremgangsmåte som angitt i krav 26, karakterisert vedat et første sett av merker er koplet til et første vedheng, idet det første sett av merker danner et første mønster som er felles for en flerhet av komponenter av det første vedheng og et annet mønster som er unikt for hver av komponentene av det første vedheng.

28. Fremgangsmåte som angitt i krav 26, karakterisert vedat et annet sett av merker er koplet til et annet vedheng, idet det annet sett av merker danner et tredje mønster som er felles for en flerhet av komponenter av det annet vedheng og et fjerde mønster som er unikt for hver av komponentene av det annet vedheng.

29. Fremgangsmåte som angitt i krav 23, karakterisert vedat detekteringen omfatter tilordning av en posisjon av hvert merke til et delsett av merker som danner en tagg.

30. Fremgangsmåte som angitt i krav 29, karakterisert vedat detekteringen omfatter identifisering av delsettet av merker som en bestemt tagg og etikettering av delsettet av merker som den bestemte tagg.

31. Fremgangsmåte som angitt i krav 30, karakterisert vedat detekteringen omfatter innhenting av tre lokaliseringer i rommet for den bestemte tagg.

32. Fremgangsmåte som angitt i krav 31, karakterisert vedat detekteringen omfatter innhenting av tre orienteringer i rommet for den bestemte tagg.

33. Fremgangsmåte som angitt i krav 1, karakterisert vedat detekteringen omfatter: generering av tredimensjonale rompunktdata som representerer den fysiske gest; og etikettering av rompunktdataene.

34. Fremgangsmåte som angitt i krav 33, karakterisert vedat omformingen inkluderer omforming av rompunktdataene til kommandoer som er passende for en konfigurasjon av datamaskinen.

35. Fremgangsmåte som angitt i krav 1, karakterisert vedat omformingen omfatter omforming av informasjon for gesten til en gestnotasjon.

36. Fremgangsmåte som angitt i krav 35, karakterisert vedat gestnotasjonen representerer et gestvokabular, og ved at gestsignalet omfatter kommunikasjoner av gestvokabularet.

37. Fremgangsmåte som angitt i krav 36, karakterisert vedat gestvokabularet representerer, i tekstform, øyeblikkelig stillingstilstander av kinematiske leddinnretninger av legemet.

38. Fremgangsmåte som angitt i krav 36, karakterisert vedat gestvokabularet representerer, i tekstform, en orientering av kinematiske leddinnretninger av legemet.

39. Fremgangsmåte som angitt i krav 36, karakterisert vedat gestvokabularet representerer, i tekstform, en kombinasjon av orientering av kinematiske leddinnretning av legemet.

40. Fremgangsmåte som angitt i krav 36, karakterisert vedat gestvokabularet inkluderer en streng av tegn som representerer en tilstand av kinematiske leddinnretninger av legemet.

41. Fremgangsmåte som angitt i krav 40, karakterisert vedat den kinematiske leddinnretning er i det minste ett første vedheng til legemet.

42. Fremgangsmåte som angitt i krav 41, karakterisert vedtilordning av hver posisjon i strengen til et annet vedheng, idet det annet vedheng er forbundet til det første vedheng.

43. Fremgangsmåte som angitt i krav 42, karakterisert vedtilordning av tegn i en flerhet av tegn til hver i en flerhet av posisjoner av det annet vedheng.

44. Fremgangsmåte som angitt i krav 43, karakterisert vedat flerheten av posisjoner etableres i forhold til et koordinatorigo.

45. Fremgangsmåte som angitt i krav 44, karakterisert vedetablering av koordinatorigoet ved bruk av en posisjon som er valgt fra en gruppe bestående av en absolutt posisjon og orientering i rom, en fast posisjon og orientering i forhold til legemet uten hensyn til en samlet posisjon og retning av legemet, og interaktivt som svar på en handling av legemet.

46. Fremgangsmåte som angitt i krav 43, karakterisert vedtilordning av tegn i flerheten av tegn til hver i en flerhet av orienteringer av det første vedheng.

47. Fremgangsmåte som angitt i krav 41, karakterisert vedat styringen av komponenten omfatter styring av et tredimensjonalt objekt i seks frihetsgrader samtidig ved avbilding av gesten for det første vedheng til det tredimensjonale objekt.

48. Fremgangsmåte som angitt i krav 41, karakterisert vedat styring av komponenten omfatter styring av et tredimensjonalt objekt gjennom tre translasjonsmessige frihetsgrader og tre rotasjonsmessige frihetsgrader.

49. Fremgangsmåte som angitt i krav 48, karakterisert vedat styringen omfatter en direkte kopling mellom bevegelse av det første vedheng og det tredimensjonale objekt.

50. Fremgangsmåte som angitt i krav 48, karakterisert vedat styringen inkluderer en indirekte kopling mellom bevegelse av det første vedheng og det tredimensjonale objekt.

51. Fremgangsmåte som angitt i krav 48, karakterisert vedat det tredimensjonale objekt presenteres på en visningsinnretning som er koplet til datamaskinen.

52. Fremgangsmåte som angitt i krav 48, karakterisert vedat det tredimensjonale objekt er koplet til datamaskinen.

53. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt ved avbilding av en flerhet av gester for det første vedheng til en flerhet av objekttranslasjoner av det tredimensjonale objekt.

54. Fremgangsmåte som angitt i krav 53, karakterisert vedat avbildingen inkluderer en direkte avbilding mellom flerheten av gester og flerheten av objekttranslasjoner.

55. Fremgangsmåte som angitt i krav 53, karakterisert vedat avbildingen inkluderer en indirekte avbilding mellom flerheten av gester og flerheten av objekttranslasjoner.

56. Fremgangsmåte som angitt i krav 53, karakterisert vedat avbildingen inkluderer korrelering av posisjonsforskyvninger av flerheten av gester til posisjonsforskyvninger av objekttransla-sjonene av det tredimensjonale objekt.

57. Fremgangsmåte som angitt i krav 53, karakterisert vedat avbildingen inkluderer korreleringer av posisjonsforskyvninger av det første vedheng til translasjonshastighet av objekt-translasjonene av det tredimensjonale objekt.

58. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt ved avbilding av en lineær gest for det første vedheng til en lineær translasjon av det tredimensjonale objekt.

59. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt ved avbilding av en rotasjonsgest for det første vedheng til en rotasjonstranslasjon av det tredimensjonale objekt.

60. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt ved avbilding av en lineær gest for det første vedheng til en rotasjonstranslasjon av det tredimensjonale objekt.

61. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt ved avbilding av en rotasjonsgest for det første vedheng til en lineær translasjon av det tredimensjonale objekt.

62. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt langs en x-akse ved bruk av venstre-høyre bevegelse av det første vedheng.

63. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt langs en y-akse ved bruk av opp-ned bevegelse av det første vedheng.

64. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt langs en z-akse ved bruk av forover-bakover bevegelse av det første vedheng.

65. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt samtidig langs en x-akse og en y-akse ved bruk av en første kombinasjon av venstre-høyre bevegelse og opp-ned bevegelse av det første vedheng.

66. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt samtidig langs en x-akse og en z-akse ved bruk av en annen kombinasjon av venstre-høyre bevegelse og forover-bakover bevegelse av det første vedheng.

67. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt samtidig langs en y-akse og en z-akse ved bruk av en tredje kombinasjon av opp-ned bevegelse og forover-bakover bevegelse av det første vedheng.

68. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av bevegelse av det tredimensjonale objekt samtidig langs en x-akse, y-akse og z-akse ved bruk av en fjerde kombinasjon av venstre-høyre bevegelse, opp-ned bevegelse og forover-bakover bevegelse av det første vedheng.

69. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av rulling av det tredimensjonale objekt rundt en første akse ved bruk av en rotasjonsbevegelse av det første vedheng.

70. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av rulling av det tredimensjonale objekt omkring en annen akse ved bruk av en rotasjonsbevegelse av det første vedheng rundt et første av de andre vedheng.

71. Fremgangsmåte som angitt i krav 48, karakterisert vedstyring av rulling av det tredimensjonale objekt omkring en tredje akse ved bruk av en rotasjonsbevegelse av det første vedheng rundt en annen av de andre vedheng.

72. Fremgangsmåte som angitt i krav 48, karakterisert vedat detekteringen omfatter detektering av når en ekstrapolert posisjon av objektet skjærer virtuelt rom, hvor det virtuelle rom omfatter rom som vises på en visningsinnretning som er koplet til datamaskinen.

73. Fremgangsmåte som angitt i krav 72, karakterisert vedat styring av komponenten omfatter styring av et virtuelt objekt i det virtuelle rom når den ekstrapolerte posisjon skjærer det virtuelle objekt.

74. Fremgangsmåte som angitt i krav 73, karakterisert vedat styring av komponenten omfatter styring av en posisjon av det virtuelle objekt i det virtuelle rom som respons på den ekstrapolerte posisjon i det virtuelle rom.

75. Fremgangsmåte som angitt i krav 73, karakterisert vedat styring av komponenten omfatter styring av stillingen til det virtuelle objekt i det virtuelle rom som svar på gesten.

76. Fremgangsmåte som angitt i krav 1, karakterisert vedspesifisering av gesten på en flerhet av nivåer.

77. Fremgangsmåte som angitt i krav 76, karakterisert veddelvis spesifisering av gesten ved bruk av en del av informasjon om gesten.

78. Fremgangsmåte som angitt i krav 76, karakterisert vedat flerheten av nivåer inkluderer et første nivå som omfatter en stilling av det første vedheng av legemet.

79. Fremgangsmåte som angitt i krav 78, karakterisert vedrepresentering av stillingen som en streng av relative orienteringer mellom i det minste et annet vedheng og et bakparti av et første vedheng til legemet, hvor det annet vedheng er forbundet til det første vedheng.

80. Fremgangsmåte som angitt i krav 79, karakterisert vedkvantifisering av strengen av relative orienteringer til i det minste én diskret tilstand.

81. Fremgangsmåte som angitt i krav 76, karakterisert vedat flerheten av nivåer inkluderer et annet nivå som omfatter en kombinasjon av stillinger, idet kombinasjonen av stillinger omfatter en første stilling av et første vedheng og en annen stilling av et annet vedheng til legemet.

82. Fremgangsmåte som angitt i krav 81, karakterisert vedat det annet nivå omfatter en kombinasjon av posisjoner, idet kombinasjonen av posisjoner omfatter en første posisjon av det første vedheng og en annen posisjon av det annet vedheng.

83. Fremgangsmåte som angitt i krav 76, karakterisert vedat flerheten av nivåer inkluderer et tredje nivå som omfatter en kombinasjon av stillinger og posisjoner, idet kombinasjonen av stillinger omfatter en tredje stilling av i det minste ett vedheng til legemet og en fjerde stilling av i det minste ett vedheng til et annet legeme.

84. Fremgangsmåte som angitt i krav 83, karakterisert vedat det tredje nivå omfatter en kombinasjon av posisjoner, idet kombinasjonen av posisjoner omfatter en tredje posisjon av det minst ene vedheng til legemet og en fjerde posisjon av det minst ene vedheng til det annet legeme.

85. Fremgangsmåte som angitt i krav 76, karakterisert vedat flerheten av nivåer inkluderer et fjerde nivå som omfatter i det minste en sekvens av gester.

86. Fremgangsmåte som angitt i krav 76, karakterisert vedat flerheten av nivåer inkluderer et femte nivå som omfatter en grafemgest, hvor grafemgesten omfatter at legemet tegner en form i fritt rom.

87. Fremgangsmåte som angitt i krav 76, karakterisert vedgenerering av en registrert gest ved registrering av gesten som relevant for minst én applikasjon, hvor applikasjonen er koplet til datamaskinen.

88. Fremgangsmåte som angitt i krav 87, karakterisert vedat den omfatter: analysering av den registrerte gest; identifisering av den registrerte gest; og overføring av, til den minst ene applikasjon, en hendelse som korresponderer til den registrerte gest.

89. Fremgangsmåte som angitt i krav 88, karakterisert vedprioritering av den registrerte gest.

90. Fremgangsmåte som angitt i krav 89, karakterisert vedtilordning av en tilstand til den registrerte gest.

91. Fremgangsmåte som angitt i krav 90, karakterisert vedat tilstanden er valgt fra en gruppe bestående av en inngangstilstand og en fortsettelsestilstand, hvor en prioritet for fortsettelsestilstanden er høyere enn en prioritet for inngangstilstanden.

92. Fremgangsmåte som angitt i krav 88, karakterisert vedat analyseringen omfatter: merking av manglende datakomponenter for gesten; interpolering av de manglende datakomponenter til det ene av sist kjente tilstander og mest sannsynlige tilstander, hvor interpoleringen avhenger av en mengde og kontekst av de manglende data.

93. Fremgangsmåte som angitt i krav 92, karakterisert vedat identifiseringen omfatter bruk av den sist kjente tilstand for de manglende datakomponenter for identifiseringen av når den sist kjente tilstand er tilgjengelig for analyse.

94. Fremgangsmåte som angitt i krav 92, karakterisert vedat identifiseringen omfatter bruk av en beste gjetning av de manglende datakomponenter for identifiseringen av når den sist kjente tilstand er utilgjengelig for analyse.

95. Fremgangsmåte som angitt i krav 1, karakterisert vedstyring av skalering av detekteringen og styring for å generere sammenfalling mellom virtuelt rom og fysisk rom, hvor det virtuelle rom omfatter rom som vises på en visningsinnretning som er koplet til datamaskinen, hvor det fysiske rom omfatter rom hvor legemet holder til.

96. Fremgangsmåte som angitt i krav 95, karakterisert vedbestemmelse av dimensjoner, orienteringer og posisjoner i det fysiske rom for visningsinnretningen.

97. Fremgangsmåte som angitt i krav 96, karakterisert veddynamisk avbilding av det fysiske rom hvor visningsinnretningen er lokalisert som en projeksjon inn i det virtuelle rom for i det minste én applikasjon som er koplet til datamaskinen.

98. Fremgangsmåte som angitt i krav 95, karakterisert vedomforming av skala, vinkel, dybde og dimensjon mellom det virtuelle rom og det fysiske rom slik dette er passende for i det minste én applikasjon som er koplet til datamaskinen.

99. Fremgangsmåte som angitt i krav 95, karakterisert vedstyring av i det minste ett virtuelt objekt i det virtuelle rom som svar på bevegelse av minst ett fysisk objekt i det fysiske rom.

100. Fremgangsmåte som angitt i krav 95, karakterisert vedautomatisk kompensering for bevegelse av visningsinnretningen.

101. Fremgangsmåte som angitt i krav 95, karakterisert vedstyring av gjengivelse av grafikk på visningsinnretningen som respons på posisjon av legemet i fysisk rom i forhold til posisjon av visningsinnretningen.

102. Fremgangsmåte som angitt i krav 95, karakterisert vedgenerering av, på visningsinnretningen, en visning som inkluderer en virtuell versjon av et fysisk objekt som er tilstede i det fysiske rom, hvor generering av visningen inkluderer generering av sammenfalling mellom en virtuell posisjon av den virtuelle versjon av det fysiske objekt og posisjonen til det fysiske objekt i det fysiske rom.

103. Fremgangsmåte som angitt i krav 1, karakterisert vedbestemmelse av om gesten er gyldig.

104. Fremgangsmåte som angitt i krav 1, karakterisert vedat styringen inkluderer styring av en funksjon av en applikasjon som befinner seg på datamaskinen.

105. Fremgangsmåte som angitt i krav 1, karakterisert vedat styringen inkluderer styring av en komponent som vises på datamaskinen.