FI117308B

FI117308B - Eleohjausjärjestelmä

Info

Publication number: FI117308B
Application number: FI20040184A
Authority: FI
Inventors: Juha Kela; Panu Korpipaeae; Jani Maentyjaervi; Samuli Silanto; Heikki Keraenen; Tapani Rantakokko; Esko-Juhani Malm; Sanna Kallio; Jussi Holopainen; Jari Kangas
Original assignee: Nokia Corp
Priority date: 2004-02-06
Filing date: 2004-02-06
Publication date: 2006-08-31
Also published as: EP1711886A1; FI20040184A0; FI20040184L; WO2005076114A1; US20140325459A1; US8819596B2; CA2554917A1; US20050210419A1; AU2005210778A1; AU2005210778B2; CA2554917C

Description

1 1 730-8

Eleohj ausj ärj este J mä

Keksintö koskee eleiden käyttöön perustuvaa, erityisesti matkaviestimessä toimivaa ohjausjärjestelmää. Keksintö koskee myös eleohj ausj ärjestelmän ohjelmiston sisältävää matkaviestintä.

5 Eleohjausjäijestelmä tarkoittaa jäijestelmää, jonka avulla jonkin aistein havainnoitavan sovelluksen hallinta tapahtuu ainakin osittain kädenliikkeillä. Ohjausjäijes-telmään kuuluvat sovellusta käyttävän henkilön käden mukana liikkuvat liikeanturit sekä näiden antamien signaalien muuntimet ja käsittelyohjelmat. Kädenliikkeet eli eleet tunnistetaan esimerkiksi niissä esiintyvien kiihtyvyyksien perusteella. Eleillä I 10 ohjattava sovellus voi olla esimerkiksi viestimeen ladattu peli tai jonkin ulkoisen | sähkömekaanisen laitteen ohjausohjelma. "Sovellus" tarkoittaa tässä selostuksessa I ja patenttivaatimuksissa sekä havaittavaa tapahtumaa että sen välittömästi toteutta vaa ohjelmaa.

Liikkeen koneellinen tunnistaminen sinänsä on ennestään tunnettua. Kiihtyvyysan-15 tureita käyttäviä tunnistusjäijestelmiä on esitetty mm. artikkeleissa "Recognizing Human Motion with Multiple Acceleration Sensors" (Mäntyjärvi & kumpp., IEEE International Conference on Systems, Man and Cybernetics, 2001) ja "Recognizing Movements of a Portable Handheld Device Using Symbolic Representation and Coding of Sensor Signals" (Flanagan & kumpp., International Conference on Mobi-20 le and Ubiquitous Multimedia, 2002) sekä julkaisussa WO 03/001340. Viimeksi- • * •Λ* mainitun (julkaisun) mukaiseen jäijestelmään sisältyy myös elekiijasto ja ohjelma, joka analysoi kiihtyvyysdataa ja selvittää, vastaako kyseinen data tiettyä kolmiulot-:***: teista elettä.

·· m * «··

Myös sovelluksen ohjaaminen kädenliikkeillä on ennestään tunnettua. Esimerkiksi

• V

’···* 25 julkaisussa WO 00/63874 on esitetty järjestelmä, jossa sovellus muuttaa tietokoneen näytöllä näkyvän kuvion muotoa ja liikuttaa sitä riippuen siitä, miten kädessä pidet-: tävää ohjauslaitetta kohdellaan. Ohjauslaitteessa on kiihtyvyysanturit kolmea ulot- • * * :: tuvuutta varten ja paineanturilla varustettu painonappi.

ψ • ♦ * » ♦

Kuvassa 1 on yksinkertaistettu kaavio, joka esittää tunnetun tekniikan mukaista so-30 velluksen liittämistä sen ohjausjärjestelmään. Koko jäijestelmässä on laitteistollinen osa HW ja ohjelmallinen osa SW. Laitteistollisesta osasta kuvaan 1 on piirretty an-turiyksikkö SU, tämän liitäntä IF, muisti MEM ja tietokoneväylä BUS. Ohjelmalliseen osaan kuuluu liitännän IF ohjain 140, käden liikkeitä vastaavien signaalien kä-sittelyohjelmisto 130, käden liikkeillä ohjattava sovellus 110 ja kyseisen tietoko- 117308 2 neen käyttöjärjestelmä OS. Ohjain 140 tallentaa liitännän IF digitaalimuotoon muuttamat elesignaalit muistiin MEM. Signaalinkäsittelyohjelmisto analysoi sitten ele-signaalit ja antaa ohjauksen sovellukselle. Signaalinkäsittelyohjelmisto on luonnollisesti sovitettava sovellukseen niiden välistä tiedonsiirtoa varten.

5 Haittana edellä mainitun kaltaisissa ohjausjäijestelmissä on niiden käytön rajoittuneisuus: Sovelluksen vaihtaminen toiseksi edellyttää muutostöitä ohjausjärjestelmän ohjelmistossa. Samoin järjestelmän siirto toisentyyppiseen tietokoneeseen vaatii ohjelmallista sovitustyötä.

Keksinnön tarkoituksena on vähentää mainittuja, tekniikan tasoon liittyviä haittoja 10 sekä laajentaa eleohjausjärjestelmien toteutusympäristöä matkaviestimiin. Keksinnön mukaiselle järjestelmälle on tunnusomaista, mitä on esitetty itsenäisessä patenttivaatimuksessa 1. Keksinnön mukaiselle matkaviestimelle on tunnusomaista, mitä on esitetty itsenäisessä patenttivaatimuksessa 19. Keksinnön eräitä edullisia suoritusmuotoja on esitetty muissa patenttivaatimuksissa.

15 Keksinnön perusajatus on seuraava: Eleohjausjäijestelmään kuuluu yleiskäyttöinen rajapinta komentoineen ohjattavia sovelluksia varten. Elesignaalien käsittelyohjel-misto sisältää opetusohjelman, ja opetetut, käyttäjän tekemät vapaamuotoiset eleet tallennetaan elekirjastoon. Käsittelyohjelmisto sisältää myös tunnistusohjelman, joka vertaa käyttäjän tekemiä eleitä tallennettuihin eleisiin ja valitsee näistä lähinnä 20 vastaavan eleen. Eleitä voidaan näin käyttää komentoina minkä tahansa sovelluksen : V: ohjaamiseksi, joka on konfiguroitu tai ohjelmoitu vastaanottamaan komentoja. Jär- *;**: jestelmä toteutetaan ensisijaisesti matkaviestimessä.

• * *·"' Keksinnön etuna on, että sama sovellus toimii eri matkaviestinmalleissa ilman mal- i 7 9 « ···* likohtaisia sovituksia. Tämä johtuu edellä mainitusta yleiskäyttöisestä rajapinnasta.

·...* 25 Vastaavasti tietyssä matkaviestimessä voidaan ajaa kaikkia sovelluksia, jotka käyt tävät määritettyjä rajapintakomentoja. Lisäksi keksinnön etuna on, että sen mukai-: sessa järjestelmässä voidaan helposti muodostaa ja ottaa käyttöön uusia ja erilaisia eleitä. Edelleen keksinnön etuna on, että se mahdollistaa matkaviestimen perusko-/ ; koonpanoon kuuluvien toimintojen ohjaamisen eleillä. Edelleen keksinnön etuna 30 on, että se laajentaa merkittävästi matkaviestimien vuorovaikutusmahdollisuuksia • * ‘ * pelisovellusten muodossa, »* •

Seuraavassa keksintöä selostetaan yksityiskohtaisesti. Selostuksessa viitataan ohei- ·· · siin piirustuksiin, joissa 117308 3 kuva 1 esittää kerroskaaviona tunnetun tekniikan mukaista sovelluksen liittämis-1 tä sen ohjausjärjestelmään, kuva 2 esittää kerroskaaviona keksinnön mukaista sovelluksen liittämistä sen ohj ausj ärj estelmään, 5 kuva 3 esittää keksinnön mukaisen jäijestelmän toiminnan yleisperiaatetta, kuva 4 esittää vuokaaviona esimerkkiä eleen opetusproseduurista keksinnön mukaisessa jäijestelmässä, kuva 5 esittää vuokaaviona esimerkkiä eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä, 10 kuva 6 esittää komentokaaviona esimerkkiä eleen opetusproseduurista keksinnön mukaisessa järjestelmässä, kuva 7 esittää komentokaaviona esimerkkiä painonappia käyttävästä eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä, kuva 8 esittää komentokaaviona esimerkkiä painonappia käyttämättömästä eleen 15 tunnistusproseduurista keksinnön mukaisessa jäijestelmässä ja kuvat 9a,b esittävät esimerkkejä keksinnön mukaisesta matkaviestimestä.

Kuva 1 selostettiin jo tekniikan tason kuvauksen yhteydessä.

··· ··*· Kuvassa 2 on kuvaa 1 vastaava kaavio keksinnön mukaisesta sovelluksen liittämi- « · ' · * -: sestä sen ohj ausj äq estelmään. Koko jäijestelmässä on laitteistollinen osa HW j a oh- 20 jelmallinen osa SW. Laitteistollisesta osasta kuvaan on piirretty tässäkin tapaukses- sa liikkeeseen reagoiva anturiyksikkö SU, tämän laitteistoliitäntä IF, muisti MEM ja tietokoneväylä BUS. Lisäksi näkyy audio-osa mahdollista käyttäjälle tarkoitettujen :***: ja/tai käyttäjältä tulevien ääniviestien käyttöä varten. Ohjelmalliseen osaan kuuluu liitännän IF ohjain 250, anturiliitäntä 240, käden liikkeitä vastaavien signaalien kä- : ;\ 25 sittelyohjelmisto 230, tämän ja käden liikkeillä ohjattavan sovelluksen 210 välinen [·*'] liitäntä 220, itse sovellus 210 sekä kyseisen laitteen käyttöjärjestelmä OS. Valinnai- • « *** sena osana ohjelmistossa SW on audioliitäntä 270 edellä mainittuja ääniviestejä var- :Λ: ten. Käyttöjärjestelmä voi olla esimerkiksi Symbian tai Linux. Käden liikkeitä vas- i.J taavien signaalien käsittelyohjelmisto on merkitty lyhyemmin "ele-käsittely" (gestu re 30 re engine) ja erilaisia liitäntä- eli sovitusohjelmia on merkitty lyhenteellä API (Ap-plication Programming Interface). Niinpä laiteliitännän IF ohjain on IF-API, anturi-liitäntä S-API ja sovelluksen ja mainitun ele-käsittelyn välinen liitäntä G-API. IF-API yhdessä S-APIn kanssa tallentaa digitaalimuotoon muutetut liikesignaalit muis 117308 4 tiin MEM, ja S-API ilmoittaa viesteillä kyseisen datan eli anturidatan ele-käsittelylle.

AnturiyksikkÖ SU voi olla isäntälaitteen sisäinen tai ulkoinen. Jälkimmäisessä tapauksessa siirtojäijestelmä anturiyksikön ja liitännän IF välillä voi perustua esimer-5 kiksi Bluetooth- tai infrapunatekniikkaan tai voi olla langallinen. Itse liikeanturit voivat olla kiihtyvyysantureita, kulmanopeuteen tai kulmakiihtyvyyteen reagoivia gyroskooppeja tai magnetometreja eli elektronisia kompasseja. Samassa anturiyksi-kössä voi esiintyä yhtä useampi anturityyppi. Kiihtyvyysantureita käytettäessä niitä on vähintään kaksi, mieluiten kuitenkin kolme kussakin kolmesta ulottuvuudesta ta-10 pahtuvan kiihtyvyyden mittaamiseksi. Anturiyksikössä voi lisäksi olla painonappi eleen aloittamisen ja lopettamisen ilmoittamiseksi ele-käsittelylle.

Liitäntä G-API sovelluksen ja ele-käsittelyn välissä muodostaa, kuten mainittua, yleiskäyttöisen eli standardinomaisen rajapinnan. Sovelluksella on myös rajapinta suoraan anturi-liitäntään S-API, jota rajapintaa voidaan käyttää sovelluksen ohjauk-15 sessa suoraan, kun varsinaista signaalinkäsittelyä ei tarvita. Liitäntä G-API, ele-käsittely ja anturiliitäntä S-API muodostavat yleiskäyttöisen alustan, jolle voidaan liittää erilaisia sovelluksia. Samoin tietty sovellus voidaan vaivatta asentaa eri koneisiin, joissa on kyseinen alusta.

Kuvassa 3 on keksinnön mukaisen jäijestelmän toiminnan yleisperiaate. Toiminnal-20 lisinä osina kuvassa on esitetty sovellus 310, tämän liitäntä 320, ele-käsittely 330 ja :Y: anturiliitäntä eli S-API 340. Ele-käsittelyssä näkyvät sen pääosat eleopetus ja ele- ·...: tunnistus. Nämä molemmat osat käyttävät käsittelymoduuleja esikäsittelyjä elesig- ,···. naalin rajaus. Tietty toimintavaihe käynnistyy sovelluksen ele-käsittelylle antamalla komennolla. Ele-käsittely palauttaa sovellukselle komennon edellyttämän vasteen.

4 "!! 25 Vasteen antaminen vaatii usein tietoa liikeantureiden liikkeistä. Tämän vuoksi ele- • * ”* käsittely jättää S-APIlle pyynnön anturidatasta, ja S-API vastaa ilmoittamalla datan, kun se on luettavissa muistista. Kuvassa 3 näkyy myös anturiyksikkö SU käyttäjän !· ! kädessä sekä esimerkki GES käden liikkeestä, joka tuottaa mainitun datan.

* · «44 .· . Määriteltyjen komentojen ja vasteiden joukko on esimerkiksi seuiaava. Taulukossa 30 tiettyä komentoa vastaava vaste on tämän komennon oikealla puolella.

4 4 4 « 444 j·' - kokoa opetusdata - opetusdata koottu 4 4 · 4 ··**. - aloita eleen opetus - ele opetettu - opetus epäonnistunut - aloita eleen tunnistus - ele tunnistettu 5 11730® ^ - tunnistus epäonnistunut I - ilmaise lepotila - anturit levossa | - päätä ele - ele tunnistettu | - ilmoita eleiden nimet - nimilista 5 - keskeytä komento - kiijaa ele I - poista eleen kiijaus | - poista ele j - nimeä ele uudelleen 10 Tärkeimpien komentojen ja vasteiden merkitys ilmenee tarkemmin kuvien 6-8 selostuksissa.

Kuvassa 4 on vuokaaviona esimerkki eleen opetusproseduurista keksinnön mukaisessa jäijestelmässä. Proseduuri sinänsä on ennestään tunnettu. Se perustuu HMM-algoritmiin (Hidden Markov Model), jota käytetään mm. puheen ja grafologisen 15 tekstin tunnistuksessa. Vaiheessa 401 opetusta toimeenpaneva henkilö on tehnyt vapaamuotoisen kädenliikkeen, ja anturiliitäntä S-API antaa liikkeen tuottaman an-turidatan ele-käsittelylle. Data koostuu analogisten anturisignaalien digitaalimuo-/1’ toon muutetuista näytteistä. Näytejonoja on kolme, joista kukin vastaa liikettä yh- dessä ulottuvuudessa. Vaiheessa 402 data normalisoidaan. Tämä tarkoittaa näyte- * * 20 määrien lisäämistä interpoloimalla tai vähentämistä desimoimalla määrätynpituisten .···. näytejonojen saamiseksi. Vaiheessa 403 data kvantisoidaan. Tämä tapahtuu koodis- ton CB (codebook) avulla. Koodisto sisältää kolmiulotteisia kiinteitä pisteitä, jotka kuvaavat eleiden tilaa. Tällaisen koodiston käyttö vähentää Iaskentakuormaa. Tu-loksena on yksiulotteinen, HMM:lie kelpaava merkkijono. Vaiheessa 404 tarkaste-25 taan, onko opetettava ele tehty tarpeeksi monta kertaa. Ellei ole, edellä kuvatut vai- II» ·** · heet 401-403 toistetaan. Jos ele on tehty tarpeeksi monta kertaa, määritetään sen mallille alkuparametrit kertyneen kvantisoidun datan perusteella (vaihe 405). Vai- * heessa 406 muodostetaan kyseisen eleen malli jonkin tarkoitukseen sopivan mene- .···. telmän, kuten HMM:n mukaisen Baum-Welch-algoritmin avulla. Tällöin lasketaan • · 30 todennäköisyyslaskentaa käyttäen arvot kolmelle parametrille, jotka edustavat elet- : '·· tä. Kukin parametri on matriisi sisältäen siten useita lukuja. Saadut parametriarvot * * * 407 ovat opetuksen lopputulos, ja ne tallennetaan elekiqastoon LIB, Baum-Welch-algoritmi on luonteeltaan iteroiva. Iteraatio suppenee sitä paremmin, mitä pienempi on lähdeaineiston hajonta. Kuitenkin hajonnalla on tietty optimiarvo. Jos se on sei 117308 6 västi optimiarvoa pienempi, tunnistusohjelma hylkää liian helposti käyttäjän tekemiä eleitä, ja jos hajonta on selvästi optimiarvoa suurempi, myöhemmän tunnistuksen tulos on epäluotettava.

Opetuksen tulosta voidaan luonnollisesti testata kokeilemalla eleen tunnistusta heti 5 opetuksen jälkeen seuraavassa selostettavan proseduurin mukaisesti. Luotettavuudesta saadaan arvio tekemällä useita kertoja eleitä, jotka ovat samankaltaisia kuin opetusvaiheessa ja 'Vähän sinne päin". Tällaiseen testaukseen voidaan liittää laitteessa mahdollisesti oleva puhesyntesaattori niin, että laite kertoo selväkielisesti tunnistamansa eleen nimen.

10 Koodisto CB on luotu kattavasti, erillisen erikoisalgoritmin avulla, joka käyttää mm. monelta henkilöltä kerättyä eledataa. Tuloksena saatava koodisto kelpaa muutoksitta eri henkilöiden käyttöön. "Geneerinen koodisto" tarkoittaa tässä ja patenttivaatimuksissa sellaista koodistoa. Geneerinen koodisto vaikuttaa niin, että myös opetetut eleet ovat riippumattomia käyttäjästä. Lisäksi jos yksittäinen opetettu ele 15 siirretään koneesta toiseen, se on heti käyttökelpoinen uudessa ympäristössä. Sellaisia eleitä voidaan jäljestää ladattavaksi Internetin kautta, ja ne voivat olla maksullisia.

Kuvassa 5 on vuokaaviona esimerkki eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä. Tämäkin proseduuri perustuu HMM-algoritmiin ja on si- ·.!:* 20 nänsä ennestään tunnettu. Vaiheessa 501 jätjestelmää käyttävä henkilö on tehnyt • · \ V kädellään jonkin liikkeen, ja anturiliitäntä S-API antaa liikkeen tuottaman anturida- tan ele-käsittelylle. Data koostuu nytkin esimerkiksi kolmesta näytejonosta, joista kukin vastaa liikettä yhdessä ulottuvuudessa. Vaiheissa 502 ja 503 tapahtuu datan normalisointi ja kvantisointi kuten kuvan 4 vaiheissa 402 ja 403. Vaiheessa 504 la- .***. 25 dataan laskuriin elekiijastoon tallennettujen eleiden lukumäärä I. Vaiheessa 505 lasketaan vertailuluku, joka kuvaa tunnistettavan eleen yhtäläisyyttä laskurin sisäl- : lön osoittamaan kiijasioituun eleeseen. Laskennassa käytetään kyseiselle kiijas- • · · *11/ toidulle eleelle määritettyjä parametriarvoja, ja se tapahtuu jonkin tarkoitukseen so- *·;·* pivan menetelmän, kuten HMM:n mukaisen Viterbi-algoritmin avulla. Tämän jäl- 2/.j 30 keen vähennetään laskurin sisältöä yhdellä (vaihe 506). Seuraavassa vaiheessa 507 tarkistetaan, onko laskurin sisältö nolla. Ellei vielä ole, toistetaan vaiheen 505 mu- *·* kainen laskenta, nyt suhteessa uuteen kiijastoituun eleeseen. Kun laskurin sisältö on nolla, eli kaikki kiijastoidut eleet on käyty läpi, arvioidaan saatuja vertailukuja, vai- • · *···' he 508. Arvioinnissa vertaillaan vertailulukuja keskenään ja tiettyyn raja-arvoon.

35 Vaiheessa 509 tehdään päätös. Jos jokin vertailuluvuista on havaittu selvästi suurimmaksi ja lisäksi se on suurempi kuin mainittu raja-arvo, ele katsotaan tunniste- tuksi. Valittu ele on kyseistä vertailulukua vastaava kiijastoitu ele. Jos mikään ver tailuluvuista ei ole selvästi suurin tai ne kaikki ovat mainitun raja-arvon alapuolella, elettä ei katsota tunnistetuksi.

7 1173®«

Kuvassa 6 on aikakaaviona esimerkki eleen opetusproseduurista keksinnön mukai-5 sessa järjestelmässä. Kaaviossa pystysuuntaiset katkoviivat tarkoittavat ohjelmiston toiminnallisia osia. Nämä ovat jäqestyksessä vasemmalta oikealle sovellus, "G" joka tässä tarkoittaa G-APIa ja ele-käsittelyn ylätasoa yhdessä, esiprosessointi, elesig-naalin rajaus ja S-APL Kaaviossa aika kasvaa alaspäin. Katkoviivan päällä oleva pystysuuntainen palkki tarkoittaa jaksoa, jolloin kyseinen ohjelmiston osa on aktii-10 vinen. Esimerkki koskee järjestelmää, jossa liikeanturiyksikkö on varustettu painonapilla, jonka tilatieto saatetaan S-APIn kautta ele-käsittelylle ja edelleen sovellukselle. Kaavio alkaa sovelluksen liitäntään G-API antamalla komennolla kokoa opetus data. Tätä on edeltänyt opetusproseduurin käynnistys sovelluksessa ja painonapin B painaminen. Komentoon sisältyy parametritietoina opetettavalle eleelle 15 valittu nimi, painonappi käytössä ja opetusdatan kokoamiselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu, ja tämä edelleen liitäntään S-API annettavan komennon aseta anturivastaanotin. Viimeksi mainittuun sisältyy mm. tieto siitä, millaisin väliajoin ele-käsittelylle toimitetaan datapaketteja. Seuraa vaksi S-API antaa elesig-20 naalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, joiden otsikossa mainitaan paketin koko määrättynä aikana. Tätä siirtoa jatkuu, kunnes painonappi ;v, päästetään takaisin ylös. Tällöin sovellus antaa G-APIlle komennon päätä ele, min- kä seurauksena ele-käsittelyssä elesignaalin rajaus saa komennon lopeta elesignaa- • f ... Iin keruu ja S-API komennon aseta anturivastaanotin. Viimeksimainitun parametrit "f 25 aiheuttavat näytteenoton lopetuksen. Elesignaalin rajaus antaa sisäiselle moduulil- • » t ·;;; leen komennon rajaa ele, joka moduuli siivoaa kerätyn raaka-datan poistamalla siitä määrättyjen kriteerien perusteella osat, jotka todennäköisesti eivät kuulu varsinaiseen eleeseen. Tällaisia asiaankuulumattomia osia dataan tulee pienistä tahattomista * kädenliikkeistä ennen ja jälkeen varsinaisen eleen. Kun asiaankuulumaton data on : 30 poistettu, elesignaalin rajaus antaa ele-käsittelyn ylätasolle vasteen elesignaali ke- X ; rätty, jolla varsinaisen eleen data ilmoitetaan. Ele-käsittely antaa sitten esiproses- !..* soinnille komennon normalisoi data, joka käynnistää varsinaisen eleen datan käsit- • « *·;·' telyn. Esiprosessointi suorittaa datan normalisoinnin ja kvantisoinnin, joista jäl- j*\. kimmäinen käynnistyy esiprosessoinnin sisäiselle moduulille annetulla komennolla 35 luonnostele ele. Sitten esiprosessointi antaa ele-käsittelyn ylätasolle ilmoituksen ele luonnosteltu. Datan rajauksen, normalisoinnin ja kvantisoinnin tuottamaa dataa kutsutaan tässä ja patenttivaatimuksissa "jalostetuksi dataksi" erotukseksi mainitusta 8 11730.8 raaka-datasta. Tämän jälkeen ele-käsittely antaa G-APIn avulla sovellukselle vasteen opetusdata koottu. Vasteen parametrina mainitaan, monesko opetettavan eleen toistokerta on kyseessä.

Edellä kuvattu toimintasekvenssi toistuu toistettaessa opetettava ele. Toistokertoja 5 on esimerkiksi 2-5. Kun toistaminen on lopetettu, sovellus antaa liitäntään G-API komennon aloita eleen opetus. Tämän parametrina on eleen nimi. Opetusproseduuri jatkuu tästä ele-käsittelyn sisäiselle moduulille annettavalla komennolla opeta ele, joka moduuli suorittaa kuvan 4 yhteydessä selostetun opetusalgoritmin. Lopuksi ele-käsittely antaa G-APIn avulla sovellukselle vasteen ele opetettu. Tämän para-10 metreinä ovat eleen nimi ja lasketut eleparametrien arvot.

Kuvassa 7 on aikakaaviona esimerkki eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä. Tämäkin esimerkki koskee jäijestelmää, jossa kiihtyvyysan-turiyksikkö on varustettu painonapilla, jonka tilatieto saatetaan S-APIn kautta ele-käsittelylle ja edelleen sovellukselle. Kaavio alkaa sovelluksen liitäntään G-API an-15 tamalla komennolla aloita eleen tunnistus. Tätä on edeltänyt tunnistusproseduurin käynnistys sovelluksessa ja painonapin B painaminen. Komentoon sisältyy parametreinä tieto painonapin käytössäolosta ja tunnistukselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu, ja tämä edelleen liitäntään S-API annettavan komennon „ 20 aseta anturivastaanotin, kuten kuvan 6 opetusproseduurissa. Myös tästä eteenpäin

Ml toiminta on samanlaista kuin kuvassa 6 siihen asti, kun esiprosessointi antaa ele-'•v käsittelyn ylätasolle ilmoituksen ele luonnosteltu. Tunnistusproseduuri jatkuu tästä ele-käsittelyn sisäiselle moduulille antamalla komennolla tunnista ele, joka moduuli suorittaa kuvan 5 yhteydessä selostetun tunnistettavan eleen yhtäläisyyttä kiijastoi-"l· 25 tuihin eleisiin kuvaavien vertailulukujen laskennan ja arvioinnin sekä tekee päätök- sen eleestä. Tämän jälkeen ele-käsittely antaa G-APIn avulla sovellukselle vasteen «•t ele tunnistettu, mikäli ele todella on valittu. Vasteen parametrina on tunnistetun : eleen nimi.

* * * «t« * • 9 «

Kuvassa 8 on aikakaaviona toinen esimerkki eleen tunnistusproseduurista keksin-30 nön mukaisessa jäijestelmässä. Tämä esimerkki koskee jäijestelmää, jossa liikean- * * ; turiyksikköä ei ole varustettu painonapilla, tai ainakaan tätä ei käytetä. Kaavio alkaa sovelluksen liitäntään G-API antamalla komennolla ilmaise lepotila. Kyseessä on : * * anturiyksikön lepotila, joka on painonapin puuttuessa erikseen todettava, ennen kuin *...· mielekästä elesignaalia voidaan ruveta tallentamaan. Komennon parametreja ovat 35 lepotilalta vaadittava kesto ja lepotilan ilmaisuun sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon ilmaise 117308 9 lepotila, ja tämä edelleen liitäntään S-API annettavan komennon aseta anturivastaanotin. Seuraavaksi S-API antaa elesignaalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, jota siirtoa jatkuu, kunnes elesignaalin rajauksen sisäinen moduuli havaitsee anturiyksikön olleen määrätyn ajan lepotilassa ja antaa ilmoituk-5 sen lepotila ilmaistu. Elesignaalin rajaus antaa ele-käsittelylle ilmoituksen lepotila ja S-APIlle komennon aseta anturivastaanotin, jonka parametri aiheuttaa näytteenoton lopetuksen. Ele-käsittely puolestaan antaa G-APIn avulla sovellukselle vasteen anturit levossa.

Proseduuri jatkuu sovelluksen liitäntään G-API antamalla komennolla aloita eleen 10 tunnistus, jonka parametreinä ovat tieto painonapin puuttumisesta ja eleen suoritta miselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu. Tämän perusteella elesignaalin rajaus tässä tapauksessa käynnistää lepotilan ilmaisutoiminnan ja antaa liitäntään S-API komennon aseta anturivastaanotin. Seuraavaksi S-API jälleen an-15 taa elesignaalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, jota siirtoa jatkuu, kunnes elesignaalin rajauksen sisäinen moduuli havaitsee anturiyksikön olleen määrätyn ajan lepotilassa. Elesignaalin rajaus antaa sitten S-APIlle komennon aseta anturivastaanotin, jossa on näytteenoton lopetuksen aiheuttava parametri, ja sisäiselle moduulilleen komennon rajaa ele, joka moduuli siivoaa kerätyn 20 raaka-datan poistamalla siitä määrättyjen kriteerien perusteella osat, jotka todennä-köisesti eivät kuulu varsinaiseen eleeseen. Kun asiaankuulumaton data on poistettu, *·^β elesignaalin rajaus antaa ele-käsittelyn ylätasolle vasteen elesignaali kerätty, jolla • · · \ varsinaisen eleen data ilmoitetaan. Ele-käsittely antaa sitten esiprosessoinnille ko- mennon normalisoi data, joka käynnistää varsinaisen eleen datan käsittelyn. Esipro- • · *··;’ 25 sessointi suorittaa datan normalisoinnin ja kvantisoinnin ja antaa ele-käsittelyn ····* ylemmälle tasolle ilmoituksen ele luonnosteltu, kuten kuvien 6 ja 7 proseduureissa.

Tunnistusproseduuri jatkuu tästä kuten kuvassa 7 elekäsittelyn suorittaessa tunnistettavan eleen yhtäläisyyttä kiijastoituihin eleisiin kuvaavien vertailulukujen las-1' il kennan ja arvioinnin sekä tehdessä päätöksen eleestä. Lopuksi ele-käsittely antaa :***: 30 tässäkin tapauksessa G-APIn avulla sovellukselle vasteen ele tunnistettu, mikäli ele * · · / . todella on valittu. Vasteen parametrina on tunnistetun eleen nimi.

* · · • · ί.": Myös opetusproseduuri voidaan toteuttaa ilman painonappia. Ero kuvan 6 mukai- seen proseduuriin on tällöin vastaava kuin kuvan 8 proseduurin ero kuvan 7 prose- • · · *... duuriin: Tilanteen vaatiessa odotetaan, kunnes anturiyksikkö on lepotilassa.

• l 35 Tunnistusproseduuri voidaan myös pidentää koskemaan useampaa peräkkäistä elettä. Tällöin ensimmäisen eleen tunnistus tapahtuu kuten kuvassa 8. Seuraavan eleen 117308 ίο tunnistus käynnistyy joko välittömästi ilman sovellukselta tulevaa komentoa tai komennon perusteella ja uuden lepotilan ilmaisun jälkeen.

Kuvassa 9a on esimerkki keksinnön mukaisesta matkaviestimestä. Matkaviestimessä MS A on yksi tai useampi eleillä ohjattava sovellus. Yksittäinen sovellus voi olla 5 esimerkiksi matkaviestimen peruskokoonpanoon kuuluva toiminto, kuten siirtyminen tiettyyn valikkoon, tekstiviestin lähetys tai jokin kamerasovellus. Se voi olla myös matkaviestimessä alkujaan oleva tai siihen myöhemmin ladattu peli. Tällaisia sovelluksia varten matkaviestin on varustettu elesignaalien käsittelyohjelmistolla, joka käsittää opetusohjelman eleiden mallintamiseksi ja tunnistusohjelman eleiden 10 tunnistamiseksi. Käsittelyohjelmiston ja eleillä ohjattavan sovelluksen välinen lii-täntäohjelma muodostaa yleiskäyttöisen rajapinnan määriteltyjen komentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi sovellukselle. Anturiyksikkö SUA on sijoitettu matkaviestimen kuorien sisäpuolelle. Tämä rajoittaa käytettävät sovellukset sen tyyppisiksi, joissa eleohjausta annettaessa näytön 15 seuraaminen ei ole tarpeen.

Kuvassa 9b on toinen esimerkki keksinnön mukaisesta matkaviestimestä. Matkaviestin MSB on keksinnön kannalta samanlainen kuin kuvan 9a viestin MSA sillä erolla, että jäijestelmään kuuluva anturiyksikkö SUB on nyt erillinen laite. Tiedonsiirto anturiyksikön ja matkaviestimen välillä voi perustua esimerkiksi Bluetooth-20 tai infrapunatekniikkaan tai voi olla langallinen.

« • e·· y. Kuten edellä mainittiin, pelit muodostavat oman ryhmänsä eleillä ohjattavien sovel- • · | lusten joukossa. Kaupallinen pelisovellus voi sisältää pelissä käytettävien eleiden .···. parametriarvot, jotka tallennetaan peliä käynnistettäessä elekäsittelyn elekiijastoon.

• · | Peli voi olla luonteeltaan loihtimispeli, jossa kädenliikkeillä on näennäinen taikasi 25 vaikutus pelitapahtumiin. Eleet voivat olla vaikeustasoltaan erilaisia. Mitä vaike- • 1 ämmän eleen pelaaja onnistuu tietyssä tilanteessa tekemään, sitä tehokkaampi vaikutus sillä on. Porrastus voi koskea myös yksittäistä elettä. Vaikka pelaaja ei onnis-: tu tekemään sitä hyvin, GE laskee vertailuluvun ja antaa sen sovellukselle, jos ele vain erottuu muista eleistä. Vaikutus pelissä on tietenkin sitä pienempi, mitä pie-: 30 nempi on vertailuluku. Jos pelaajalle lasketaan pisteitä, näitä kertyy sitä enemmän, I./ mitä vaikeampia eleitä hän on tehnyt ja mitä tarkemmin hän on niitä tehnyt. Pelaajia T voi olla yksi tai useampia. Jälkimmäisessä tapauksessa toteutus voi olla verkkopeli » · s '·· siten että esimerkiksi kahdella pelaajalla on omat päätteensä ja eleinformaatio siirre- tään vastapelaajan päätteelle esimerkiksi GPRS:ää (General Packet Radio Service) 35 käyttäen. Pelaaja tekee esimerkiksi hyökkäyksen tietyn eleen avulla, toinen pelaaja 117308 11 näkee hyökkäyksen omalta päätteeltään ja puolustautuu yrittämällä tehdä jonkin riittävän voimakkaan vastaeleen tai sarjan heikompia eleitä määrätyn ajan sisällä.

Pelisovellus voi myös olla käynnissä myös tausta-ajona pelaajan tehdessä samalla jotain muuta. Pelaaja on esimerkiksi liittynyt johonkin usean pelaajan verkkopeliin. 5 Kun hänen hahmoaan vastaan kohdistetaan jokin toimi, pelisovellus syrjäyttää muut sovellukset kyseisen pelaajan päätteessä ja näyttää, mitä on tapahtumassa.

Kaksi pelaajaa voi pelata myös yhdellä laitteella. Tällöin myös anturiyksikköjä on oltava kaksi, ja kussakin anturidatapaketissa on tieto siitä, kumman pelaajan datasta on kysymys.

10 Peli voi myös olla ohjelmoitu siten, että se sallii uusien eleiden opetuksen ja käyttöönoton. Esimerkiksi koneelle opetetaan suhteellisen mutkikas liikesarja, ja peli I olisi yksinkertaisesti sellainen, että pelaajat vuorollaan yrittävät toistaa liikesarjaa I sovelluksen antaessa pisteitä. Kuvan 4 yhteydessä jo selitettiin, että käyttäjäriippu- I mattomia opetettuja mallieleitä voidaan siirtää koneesta toiseen Internetin kautta.

I 15 Esimerkiksi verkko-operaattori voi tarjota pelipalvelua siten, että keksinnön mukai- | sen päätteen omaavat henkilöt voivat ladata Internetistä opetettuja mallieleitä.

I Edellä on kuvattu keksinnön mukaista järjestelmää. Keksinnön toteutus eri kohdis saan voi luonnollisesti poiketa esitetystä. Keksinnön mukaisen liitännän G-API kori· mennot ja vasteet voidaan määritellä eri tavalla, Anturidatan muokkaaminen algo- :y; 20 riimille HMM sopivaan muotoon voidaan tehdä jollain muullakin prosessilla kuin • · kuvissa 4 ja 5 esiintyvällä datan normalisoinnilla ja tämän jälkeisellä kvantisoinnil-la. Koko HMM:n sijasta voidaan käyttää sekä opetuksessa että tunnistuksessa jotain muuta ratkaisua, kuten hermoverkkotekniikkaa tai bayes-tyyppisen verkon tekniik-”11 kaa. Eleen suorituksen alkaminen ja loppuminen voidaan ilmoittaa mainitun pai- 25 nonapin sijasta esimerkiksi ääniohjauksella puheentunnistuksella varustettujen laitteiden tapauksessa. Ääniviestejä voidaan käyttää myös vastakkaisessa suunnassa : niin, että sovellus ilmoittaa käyttäjälle tiettyjä tilanteita elekäsittelyn kautta laitteen **# audio-osan ja kaiuttimen avulla. Tätä tarkoitusta varten on oma komentonsa. Kek-: sinnöllistä ajatusta voidaan soveltaa eri tavoin itsenäisten patenttivaatimuksen 1 ja *···] 30 19 asettamissa rajoissa.

* · **» • » i · « ft ft 1 ft ft · ft··

Claims

1. Eleohjausjärjestelmä, jossa on käyttäjän kädessä pidettävä, liikeantureita sisäl tävä anturiyksikkö (SU), anturidatan käsittelyohjelmisto (230; 330) sekä käsittely-ohjelmiston ja ohjattavan sovelluksen (210; 310) välinen liitäntäohjelma, joka käsit-5 telyohjelmisto käsittää opetusosan (331) eleiden mallintamiseksi ja tunnistusosan (332) eleiden tunnistamiseksi sovelluksen käytön aikana, tunnettu siitä, että mainittu liitäntäohjelma (220) muodostaa yleiskäyttöisen rajapinnan määriteltyjen komentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi sovellukselle.

2. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittuja komentoja ovat - "kokoa opetusdata" anturidatan keräämisen käynnistämiseksi opetustilanteessa - "aloita eleen opetus" opetettavaa elettä mallintavien parametrien laskennan käynnistämiseksi kerätystä anturidatasta 15 - "aloita eleen tunnistus" anturidatan keräämisen käynnistämiseksi tunnistustilanteessa - "päätä ele" anturidatan keräämisen lopettamiseksi - "ilmaise lepotila" liikeanturien liikkumattomuuden ilmaisun käynnistämiseksi, ja mainittuja vasteita ovat - "opetusdata koottu" eleen suorituskertakohtaisen jalostetun datan antamiseksi so-20 vellukselle - "ele opetettu" opetettavaa elettä mallintavien laskettujen parametrien antamiseksi * « ·’, V sovellukselle ·:··: - "opetus epäonnistunut" opetettavaa elettä mallintavien parametrien laskennan epäonnistumisesta ilmoittamiseksi sovellukselle 25 - "ele tunnistettu" sen ilmoittamiseksi sovellukselle, että jotain aiemmin opetettua , · *. elettä lähellä oleva ele on havaittu * * - "tunnistus epäonnistunut" sen ilmoittamiseksi sovellukselle, että jalostettu data ei . tunnistustilanteessa vastaa mitään aiemmin opetettua elettä ;;;* -"anturit levossa" sen ilmoittamiseksi sovellukselle, että liikeanturit ovat olleet • * *·;·' 30 määrätyn ajan suhteellisen liikkumattomia- » » "".

3. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu ope- T tusosa käsittää ohjelmat : *·· -anturidatan normalisoimiseksi (402) eli anturisignaaleista muodostettujen näyte- jonojen määräpituuteen saattamiseksi 35 - anturidatan kvantisoimiseksi (403) 13 1 1 7308 - opetettavan eleen mallintamiseksi (406) sen yhtä useamman toistokeiran tuottaman normalisoidun ja kvantisoidun datan perusteella määrättyä algoritmia käyttäen ja - mainitun mallintamisen tuottaman mallin parametri arvojen (407) tallentamiseksi elekiijastoon.

4. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu tunnistusosa käsittää ohjelmat - anturidatan normalisoimiseksi (502) eli anturisignaaleista muodostettujen näyte-jonojen määräpituuteen saattamiseksi - anturidatan kvantisoimiseksi (503) 10 -tunnistettavan eleen samankaltaisuuden määrittämiseksi (505) aiemmin opetettuun eleeseen nähden laskemalla tunnistettavasta eleestä saadun normalisoidun ja kvantisoidun datan ja aiemmin opetetun eleen tallennettujen tietojen perusteella vertailuluku määrättyä algoritmia käyttäen ja - eri opetettujen eleiden suhteen saatujen vertailulukujen arvioimiseksi (508) ja pää-15 töksen tekemiseksi (509) siitä, vastaako tunnistettava ele riittävällä tarkkuudella jotain opetettua elettä.

5. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat HMM-algoritmiin.

6. Patenttivaatimusten 3 ja 5 mukainen järjestelmä, tunnettu siitä, että mainittu ··· 20 algoritmi on Baum-Welch-algoritmi. ···· • · • · · v*[

7. Patenttivaatimusten 4 ja 5 mukainen järjestelmä, tunnettu siitä, että mainittu * : algoritmi on Viterbi-algoritmi. ·*** • «

8. Patenttivaatimusten 3 ja 4 mukainen järjestelmä, tunnettu siitä, että mainittu .··*. ohjelma anturidatan kvantisoimiseksi on järjestetty hyödyntämään koodistoa (CB), 25 joka sisältää kiinteitä, eleiden tilaa luonnehtivia kolmen ulottuvuuden pisteitä. •

9. Patenttivaatimuksen 8 mukainen järjestelmä, tunnettu siitä, että mainittu koo-disto on geneerinen koodisto. • · · —5

10. Patenttivaatimuksen 9 mukainen järjestelmä, tunnettu siitä, että mainitun ge- neerisen koodiston perusteella opetetut eleet ovat tunnistusvaiheessa käyttäjästä 30 riippumattomia ja siten kelvollisia siirrettäviksi laitteesta toiseen. * • · ·

11. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat hermoverkkotekniikkaan. 117308 14

12. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat bayes-tyyppisen verkon tekniikkaan.

12 11731)8

13. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että käsittelyoh-jelmistoon kuuluu lisäksi ohjelma varsinaiseen eleeseen kuulumattomien osien pois- 5 tamiseksi anturidatasta.

14. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että siihen kuuluu lisäksi käsittelyohjelmiston rajapintana anturiyksikön suuntaan ohjelmallinen antu-riliitäntä (240; 340) määrämuotoisten ohjausten vastaanottamiseksi käsittelyohjel-mistolta ja määrämuotoisen anturidatan antamiseksi vasteena käsittelyohjelmistolle.

15. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää ainakin kahden ulottuvuuden kiihtyvyysanturit.

16. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää ainakin yhden gyroskoopin.

17. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu 15 anturiyksikkö käsittää magnetometrin.

18. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää lisäksi painonapin eleen suorituksen alkamisen ja loppumisen .:. ilmoittamiseksi käsittelyohjelmistolle. a a a

* · • · · '·*·) 19. Matkaviestin (MSA; MSB), tunnettu siitä, että siinä on ohjausjärjestelmä 20 viestimessä toimivan sovelluksen eleillä ohjaamista varten, joka ohjausjärjestelmä käsittää liikeantureilta saatavan datan käsittelyohjelmiston sekä tämän ja mainitun sovelluksen välisen liitäntäohjelman, jolloin - mainittu käsittelyohjelmisto käsittää opetusosan eleiden mallintamiseksi ja tunnis- tusosan eleiden tunnistamiseksi sovelluksen käytön aikana, ja : .·. 25 -mainittu liitäntäohjelma muodostaa yleiskäyttöisen rajapinnan määriteltyjen ko- * * .···. mentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi *·’ sovellukselle. itä • « · ·

20. Patenttivaatimuksen 19 mukainen matkaviestin (MSA), tunnettu siitä, että **« mainittujen liikeantureiden muodostama yksikkö (SUA) on sen kuorien sisäpuolel- !V" 30 la. • · · • ·· • *

21. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että mainittu sovellus on matkaviestimen peruskokoonpanoon kuuluva toiminto. 117308 15

22. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että mainittu sovellus on jokin peli.

23. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että mainittu peli sisältää siinä käytettävien eleiden parametriarvot, jotka on jäljestetty tallennet- 5 taviksi mainitun käsittelyohjelmiston elekiijastoon peliä käynnistettäessä.

24. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että mainittu peli on loihtimispeli, jossa kädenliikkeillä on näennäinen taikavaikutus pelitapahtumiin.

25. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että mainitut 10 eleet ovat vaikeustasoltaan erilaisia, jolloin eleen vaikutus on sitä tehokkaampi mitä korkeampi sen vaikeustaso on.

26. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että yksittäisellä eleellä on ainakin kaksi vaikeustasoa, jolloin eleen vaikutus on sitä tehokkaampi mitä tarkemmin ele tehdään.

27. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että mainittu peli on verkkopeli siten, että pelaajilla on omat päätteensä, ja eleinformaatio siirretään vastapelaajan päätteelle tietoliikenneverkon kautta.

28. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että pelisovel- , v. lus sallii uusien eleiden opetuksen ja käyttöönoton. # * : 20

29. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että eleillä oh- « · · jättävien sovellusten lukumäärä on ainakin kaksi. « »i» « /··.

30. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että se käsittää lisäksi välineet ääniviestien vastaanottamiseksi käyttäjältä eleen suorituksen alkami- , sen ja loppumisen ilmoittamiseksi käsittelyohjelmistolle. ♦ # · • · m M f :*]*: 25

31. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että se käsittää lisäksi välineet sovelluksen tilan ilmoittamiseksi käyttäjälle ääniviesteillä. ·««« ··♦ • * • · • · · 9 9 « Ψ • ♦ · • ♦· • · 16 1 17308