FI115947B - Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi - Google Patents

Description

115947

ELEKTRONINEN LAITE JA MENETELMÄ ELEKTRONISESSA LAITTEESSA KU-VAINFORMAATION MUODOSTAMISEKSI SEKÄ OHJELMATUOTE MENETELMÄN TOTEUTTAMISEKSI

5 Keksintö koskee elektronista laitetta, joka käsittää - kameravälineet datan muodostamiseksi kuvaussuunnas-sa olevasta kohteesta ja datankäsittelyvälineet, joilla kameravälineillä muodostettua dataa on sovitettu käsiteltäväksi vali-10 tun kuvausmoodin mukaisella tavalla siitä kuvainfor- maation muodostamiseksi.

Lisäksi keksintö koskee myös järjestelmää, menetelmää ja ohjelmatuotetta keksinnön mukaisen menetelmän toteuttamiseksi.

15 Elektroniset, esimerkiksi kannettavat laitteet varustetaan nykyisin yhdellä kamerayksiköllä. Tällainen järjestely onkin varsin riittävä tavanomaisen still- ja videokuvauksen suorittamiseksi kohtuullisella tarkkuudella. Kuitenkin tulevaisuuden laitteet ja niiden käyttäjäkunta vaativat kehityksen myötä uu-20 sien kuvaustapojen kehittämistä.

··· '· Eräs ensimmäinen esimerkki näistä uusista kuvaustavoista on t » i M : viime aikoina kuumaksi perunaksi muodostunut 3D-kuvaus. Tule- t « * • * vaisuudessa markkinoille tuotettavissa laitteissa tulee ole-: 25 maan kolmiulotteisia näyttöjä tai laitteissa tulee mahdolli- seksi suorittaa 3D-sovelluksia. Näille on myös luotava sisäl-töä, jotta näyttöjen ja sovelluksien uusia ominaisuuksia päästään täysimääräisesti hyödyntämään. 3D-kuvien informatiivisuus ylittää tunnetusti esimerkiksi perinteisten 2D-kuvien informa- * · · 30 tiivisuuden, joka osaltaan lisää niihin kohdistuvaa mielen-.·. : kiintoa.

1 i • Tunnetun tekniikan mukaisesti 3D-kuva voidaan muodostaa kah- • 1 ·’·· ' desta erillisestä samaan aikaan otetusta kuvasta. Jos kuvaus- '* '! 35 kohde on liikkumaton, käyttäjä voi ottaa kaksi erillistä kuvaa 2 115947 liikuttamalla kuvien oton välissä laitetta hieman vasemmalle tai oikealle. Sen sijaan, jos kuvauskohde on liikkuva, on tällainen kuvausmenetelmä jokseenkin soveltumaton. Myös kameran sijainnilla on oleellinen merkitys peräkkäisotoksiin perustu-5 vassa 3D-kuvauksessa. Jos kameran sijainti ei ole riittävän täsmällinen, ilmenee kuvassa niin sanottua artefaktia eli ei-toivottuja kosmeettisia ongelmia. Näistä eräänä esimerkkinä mainittakoon rosoiset ääriviivat.

10 Eräs toinen esimerkki uusista kuvaustavoista on panoraamakuva-us. Tunnetun tekniikan mukaisesti panoraamakuva voidaan muodostaa erityistä linssijärjestelyä käyttäen. Linssijärjestely muodostaa kuitenkin varsin monimutkaisen ja kustannusintensii-visenkin kokonaisuuden, johon myös kannettavien laitteiden ko-15 kotekijät aiheuttavat omat rajoitteensa. Jos panoraamatoimin-nallisuus järjestettäisiin laitteeseen linssisysteemiä käyttäen, sillä olisi ainakin laitteen korkeutta lisäävä vaikutus. Tunnetuista kannettavista elektronisista laitteista, joihin on integroitu myös kameratoiminnallisuus, on tähän mennessä puut-20 tunut tyystin panoraamakuvaustoiminnallisuus.

• · • · · ··· : Edelleen tunnetunlaisilla kameravälineillä ja erityisesti nii- · • · · ί·! < den soveltamilla kuvasensoreilla pystytään vain tiettyyn, var- • · # sin rajalliseen kuvaresoluutioon. Tämä aiheuttaa ongelman : 25 liittyen kuvatarkkuuteen, jota ei ainakaan tunnetunlaisilla kuvasensoreilla pystytä ratkaisemaan. Jos tarkkuutta halutaan edelleen kasvattaa, edellyttää se laadukkaampia sensoreita, joiden soveltaminen vuorostaan lisää laitteiden kuluttajahin-taa. Vielä lisäksi, jos kuvasta halutaan teettää esimerkiksi : ί 30 suurennoksia, rajallinen resoluutio aiheuttaa ongelmia esimer- .1. : kiksi rakeisuuden muodossa.

Tämän keksinnön tarkoituksena on saada aikaan uudenlainen ka- · meravälinein varustettu elektroninen laite ja menetelmä elekt- '· : 35 ronisessa laitteessa kuvainformaation muodostamiseksi. Keksin- 3 115947 non mukaisen laitteen tunnusomaiset piirteet on esitetty oheisessa patenttivaatimuksessa 1 ja menetelmän patenttivaatimuksessa 21. Lisäksi keksintö koskee myös järjestelmää ja ohjelmatuotetta, joiden tunnusmerkilliset piirteet on esitetty pa-5 tenttivaatimuksissa 11 ja 29.

Keksinnön mukaisessa ratkaisussa laitteeseen järjestetään kaksi kamerayksikköä, jotka on suunnattavissa pääasiallisesti samaan kuvaussuuntaan. Suuntaus voi olla ainakin osittainen tai 10 lähes jopa täydellinen riippuen valitusta kuvausmoodista. Ka-merayksiköillä voidaan menetelmän mukaisesti suorittaa kuvausta oleellisen samanaikaisesti. Oleellisen samanaikaisella kuvauksella tarkoitetaan tässä yhteydessä täysin samanaikaisesti suoritettavaa kuvausta tai toisaalta myös sellaista kuvausta, 15 jossa kamerayksiköillä siepataan kuvainformaatiota peräkkäin häviävän pienellä viiveellä toisiinsa nähden. Tällainen hyvin pieni viive saattaa olla mahdollinen esimerkiksi täysin paikoillaan olevan kuvauskohteen tapauksessa.

20 Erään ensimmäisen sovellusmuodon mukaan kamerayksiköt voidaan järjestää toisistaan oleellisen erilleen ollen esimerkiksi • · * ··· · kiinteän etäisyyden päässä toisistaan. Erään toisen sovellus- M 1 muodon mukaan kamerayksiköt voivat olla myös liikuteltavia, • « · • · kuten esimerkiksi käännettävissä halutun kuvausmoodin mahdol- *,* · 25 listamiseksi. Kuvausmoodeja keksinnön mukainen ratkaisu tarjo- .,1:’ aa yllättävällä tavalla useitakin erilaisia.

♦ » · • » • » ·

Edelleen erään kolmannen sovellusmuodon mukaan kamerayksiköt M* voivat olla asetetulla tavalla kytkettyinä toisiinsa. Kytkentä ; : 30 voidaan tässä yhteydessä ymmärtää myös todella laajasti, kuten ,·, ; esimerkiksi mekaanisena tai tiedonsiirrollisena kytkentänä.

• I I * I

I > > • » • |

Mahdollisista kuvausmoodeista ensimmäisenä voidaan mainita 3D- • t * » » :.: I kuvainformaation muodostaminen. 3D-kuvia saadaan aikaan ilman i I • · · *. ; 35 laitteeseen kuvauksen välissä kohdistettuja siirtotoimenpitei- 4 115947 tä, jollaista esimerkiksi yhdellä kamerayksiköllä suoritettava 3D-kuvaus on aikaisemmin edellyttänyt.

Eräs toinen esimerkki keksinnön mahdollistamista kuvausmoodis-5 ta on suuriresoluutioiset kuvat. Nämä tarjoavat erään sovel-lusmuodon mukaan lähes jopa kaksinkertaisen tarkkuuden tunnettuun yksisensoriseen kuvannustekniikkaan verrattuna.

Eräs kolmas esimerkki saavutettavissa olevasta kuvausmoodista 10 on laaja-alainen kuvaus eli panoraamakuvat. Näitä voidaan saada aikaan keksinnön myötä ilman erityistä yksisensoriratkai-suista tunnettua linssijärjestelyä. Panoraamakuvauksessa sensorien välistä kuvauskulmaa voidaan erään sovellusmuodon mukaan esimerkiksi käyttäjän toimesta säätää. Myös panoraamaku-15 vaukseen voidaan soveltaa tietyiltä osin parantunutta resoluutio-ominaisuutta .

Näiden kolmen sovellusmuodon mahdollistamiseksi kamerayksiköt ovat käännettävissä valitulla tavalla toisiinsa nähden, kunkin 20 kuvausmoodin mahdollistamiseksi.

• ♦ t · * M : Edelleen keksintö koskee järjestelmän lisäksi myös ohjelma- • · : tuotetta valitun käyttömoodin mukaisen kuvainformaation muo- « · « ·...' dostamiseksi kamerayksiköiltä saatavasta datasta. Erään sovel- ·.· * 25 lusmuodon mukaan ohjelmatuotteeseen kuuluu toiminnallisuus, jolla voidaan yhdistää kuvauskohteesta muodostettua dataa ai- * · * 1^1 nakin osittain, kuten esimerkiksi panoraamakuvausta varten.

Data on yhdistettävissä myös kokonaan mahdollistaen tällöin ;· superresoluutiokuvauksen. Myös 3D-kuvausmoodi edellyttää omia : 30 algoritmeja datan käsittelemiseksi moodin edellyttämällä ta- .’ . valla.

* J s » 4 • ·

Keksinnön mukaisen menetelmän integroiminen niin nykyisien M 1 kuin myös vasta suunnitteilla oleviinkin elektronisiin lait- ", 35 teisiin voidaan suorittaa varsin yksinkertaisesti. Erään so- 5 115947 vellusmuodon mukaan laitteeseen voidaan järjestää lisäksi vain toinen kamerayksikkö, kamerayksikköjen hallintatoiminnot ja lisäksi hieman ohjelmallisia moduuleita eri kuvausmoodien mahdollistamiseksi .

5

Muut keksinnön mukaiselle elektroniselle laitteelle, menetelmälle, järjestelmälle ja ohjelmatuotteelle ominaiset piirteet käyvät ilmi oheisista patenttivaatimuksista ja lisää saavutettavia etuja on lueteltu selitysosassa.

10

Seuraavassa keksintöä, jota ei ole rajoitettu seuraavassa esitettäviin suoritusmuotoihin, selostetaan tarkemmin viittaamalla oheisiin kuviin, joissa 15 Kuva 1 esittää erästä esimerkkiä keksinnön mukai sesta laitteesta karkeana lohkokaaviona,

Kuva 2 esittää periaatekuvaa kamerayksiköistä kek sinnön mukaisessa laitteessa,

Kuva 3 esittää periaatekuvaa 3D-kuvauksesta, 20 Kuva 4 esittää periaatekuvaa panoraamakuvauksesta ja · Kuva 5 esittää periaatekuvaa kuvatarkkuutta paran- • · ’ tavasta kuvauksesta.

• · * · • · • · • · · * · : 25 Moniin elektronisiin laitteisiin 10 kuuluu nykyisin kameravä- • · · · lineet. Digitaalikameroiden ohella eräitä esimerkkejä tällai- II»· sista laitteista ovat matkaviestimet, PDA-laitteet (Personal • · ·

Digital Assistant) ja vastaavat "älyviestimet", josta esimerk-*· kinä mainittakoon Palm-tyyppiset laitteet. Käsite "elektroni- 30 nen laite" voidaankin tässä yhteydessä käsittää hyvinkin laa-, jasti. Se voi olla esimerkiksi sellainen laite, joka on varus- tettu tai on varustettavissa digitaalisella kuvannuskyvyllä.

• i ;· Seuraavassa keksintöä kuvataan esimerkillisesti matkaviestimen ;,* · 10 yhteydessä.

·* M 35 • t 6 115947

Kuvassa 1 esitetään eräs karkea kaaviollinen esimerkki laitteessa 10 olevista toiminnoista keksintöön liittyviltä osiltaan, jotka samalla muodostavat myös järjestelmän. Laite 10 voi käsittää kuvassa 1 esitettyjä sinänsä tunnetunlaisia toi-5 minnallisia osia, joista keksinnön mukaisen järjestelmän toteuttamisen kannalta voidaan oleellisina osina mainita kamera-välineet 12 .

Kameravälineet 12 ja tiedonsiirtorajapinnallisesti niiden yh-10 teyteen järjestetty kuvankäsittelyketju 11 voi muodostua sinänsä tunnetunlaisista komponenteista (CCD, CMOS) ja ohjelmallisista moduuleista, joilla kyetään sieppaamaan ja prosessoimaan still- ja/tai liikkuvaa kuvadataa ja muodostamaan siitä esimerkiksi laitteen 10 mahdollisella näytöllä 19 tarkastelta-15 vissa olevaa kuvainformaatiota tai laitteen 10 muistivälineisiin valitussa tallennusformaatissa tallennettavaa kuvadataa. Kuvadatan käsittelyä suorittavalla kuvannusketjulla 11 käsitellään asetetulla tavalla kameravälineiden 12 kuvaussuunnassa olevasta kohteesta muodostamaa dataa kulloinkin valitun kuva-20 usmoodin tai kuvausparametriasetusten mukaisesti.

• t « * · · • · · ·

Yleistermillä "kameravälineet" tarkoitetaan keksinnön mukai-

Ml · sessa tapauksessa ainakin kahta kamerayksikköä CAMl, CAM2 ja jj : yleensä kaikkea sellaista teknologiaa mikä kameramoduuleihin 25 yleensä liittyy digitaalista kuvausta suoritettaessa. Kamera-!,,,·* välineet 12 voivat olla kiinteästi laitteen 10 yhteydessä tai ne voivat myös olla irrotettavasti liitettävissä laitteeseen 10.

; ; 30 Keksinnön mukaisessa ratkaisussa kameravälineet 12 käsittävät ;nyt ainakin kaksi kamerayksikköä CAMl, CAM2, jotka on suunnat-tu esimerkiksi laitteeseen 10 nähden pääasiallisesti kohti sa-maa kuvaussuuntaa (nuolet kuvissa 2 - 5). Kamerayksiköiden CAMl, CAM2 suuntaus voi olla sellainen, että ne ovat ainakin 35 osittain kohti yhteistä valotussuuntaa. Tällöin ne voivat kat- 7 115947 taa ainakin osittain toistensa kuvaussektorit. Molempiin kame-rayksiköihin CAM1, CAM2 voi tällöin kuulua oma, toisistaan fyysisesti erillään oleva riippumaton kuvasensorinsa 12.1, 12.2. Toisaalta myös sellainen järjestely saattaa olla mahdol-5 linen, että molemmat kamerayksiköt CAM1, CAM2 ovat oleellisesti samassa yhdessä modulaarisessa kamerakomponentissa muodostaen kuitenkin myös tällöin oleellisesti kaksi kamerayksikköä.

Kamerayksiköt CAM1, CAM2 tai erityisemmin niihin kuuluvat ku-10 vasensorit 12.1, 12.2 voivat olla identtiset ja järjestettynä laitteeseen 10 sen samalle sivulle kohden ainakin osittain yhteistä valotussuuntaa. Sensorit 12.1, 12.2 voivat lisäksi olla samalla horisontaalisella tasolla ollen tällöin vierekkäin, kun laitetta 10 pidellään sen perusasennossaan (ollen esimer-15 kiksi matkaviestimen tapauksessa pystyssä).

Edelleen laitteeseen 10 voi kuulua sinänsä tunnetunlainen tai vasta kehitteillä oleva näyttöosa 19, jolla ilmennetään käyttäjälle informaatiota. Näyttö 19 ei ole kuitenkaan keksinnön 20 kannalta mitenkään pakollinen, mutta sillä saavutetaan kuitenkin etua, koska kuvauskohdetta voidaan tällöin tarkastella • * · ·· · esimerkiksi ennen kuvauksen suorittamista etsimenä toimivalta • · · :··' ·* näytöltä 19. Esimerkkinä näytöttömästä järjestelystä voidaan mainita valvontakamerat, joihin keksintöä voidaan myös sovel-: 25 taa. Lisäksi laitteeseen 10 kuuluu myös prosessoritoiminnalli- suus 13 käsittäen toiminnallisuudet laitteen 10 eri toiminto-jen 14 ohjaamiseksi.

t#|·’ Keksinnön mukaisessa laitteessa 10 kamerayksiköt CAM1, CAM2 : 30 toimivat kuvausta suoritettaessa pääasiallisesti samanaikai- : sesti. Erään ensimmäisen sovellusmuodon mukaan tällä tarkoite- ,···, taan oleellisen samalle ajanhetkelle liipaistuvaa kuvantamis- hetkeä. Erään toisen sovellusmuodon mukaan kuvantamishetkissä ·’·! : saatetaan sallia jopa pieni aikaero, mikäli esimerkiksi kuvat- '· ’ 35 tava kohde sellaisen sallii. Tällöin ei esimerkiksi laitteen 8 115947 10 kuvannusketjulta 11 välttämättä edellytetä niin tehokasta dataprosessointikykyä verrattuna esimerkiksi tilanteeseen, jossa kuvannus suoritettaisiin täsmällisen samanaikaisesti molemmilla kuvasensoreilla 12.1, 12.2.

5

Kuvassa 2 esitetään periaatteellisella tasolla keksintöä edelleen myös osin kuvaan 1 viitaten. Kamerayksiköt CAM1, CAM2 voivat olla erään sovellusmuodon mukaan liikuteltavia. Liiku-teltavuudesta eräänä esimerkkinä mainittakoon kamerayksiköiden 10 CAM1, CAM2 käännettävyys laitteen 10 eri kuvausmoodien mahdollistamiseksi. Kääntösuunta voidaan valita varsin vapaalla tavalla. Edelleen kamerayksiköiden CAM1, CAM2 välinen etäisyys A voi olla kiinteä kuvausta suoritettaessa. Etäisyys A voidaan valita esimerkiksi kuvasensorien 12.1, 12.2 koon tai laitteen 15 10 kokotekijoiden perusteella.

Kuvassa 3 esitetään eräs ensimmäinen kamerayksiköiden CAM1, CAM2 kääntömahdollisuudesta seuraava kuvausmoodisovellusmuoto.

Sen mukaan sensoreita 12.1, 12.2 voidaan kääntää asetetulla 20 tavalla toisiaan kohti siten, että ne ovat kuvausta suoritettaessa vakioetäisyydellä A toisistaan. Erään sovellusmuodon ··· · mukaan sensorien 12.1, 12.2 kääntökulmalla ja niiden kuvausa- '·· : lan suuntaamisella voidaan jäljitellä ihmissilmän toimintape- ’···1 riaatteita. Tällöin ainakin kuvasensorien 12.1, 12.2 keskikoh- : 25 dan kautta kulkevaksi kuvitelluista suorista tai pystytasoista ainakin toisen kulma a, β kuvaussuunnassa olevaan vaakasuoraan ·,,»· S nähden on hieman pienempi kuin 90°. Kyseinen sovellusmuoto mahdollistaa 3D-kuvauksen suorittamisen. Lopullinen molempien kuvasensorien 12.1, 12.2 kuvauskohteesta muodostama data käsi-!>i(1 30 tellään valittua datankäsittelyalgoritmia 16.3 käyttäen, jolla .·. : datasta saadaan muodostettua 3D-kuvainformaatiota.

Edelleen, jos laite 10 on varustettu esimerkiksi erityisellä : 3D-näytöllä, voidaan kamerasensorien 12.1, 12.2 näkymäsuuntaa "1 ’ 35 säätää mahdollisien kuvavirheiden, kuten esimerkiksi artefak- 9 115947 tien minimoimiseksi. Artefaktien tunnistaminen ja korjaaminen voidaan myös suorittaa ohjelmallisesti 16.3.

Kuvassa 4 esitetyn erään toisen sovellusmuodon mukaan kuvasen-5 soreja 12.1, 12.2 voidaan kääntää myös toisiinsa nähden ulko- nevasti eli poispäin toisistaan. Tällöin vastaavat edellä ku-vasensorin 12.1, 12.2 kautta kulkevaksi kuviteltujen suorien tai pystytasojen kulma α, β kuvaussuunnassa olevaan vaakasuoraan S nähden on suurempi kuin 90° (tai ainakin toinen 10 niistä). Tällöin sensorien 12.1, 12.2 kautta kulkevaksi kuvitellut suorat leikkaavat toisensa kuvasensorien 12.1, 12.2 va-lotussuuntaan nähden vastakkaisella puolella eli niiden takana. Kuvasensorien 12.1, 12.2 kääntökulma toisiinsa nähden voidaan asettaa sellaiseksi, että etsimeltä tarkasteltavissa ole-15 vaan kuvausnäkymään saadaan haluttu kuvausalue. Säätö on mahdollista suorittaa myös kuvaajan toimesta.

Panoraamakuvausmoodissa kuvasensorien 12.1, 12.2 kääntökulmaa rajoittaa sensoreilla 12.1, 12.2 muodostettujen kuvien osit- 20 täinen päällekkäisyysvaatimus. Tällöin datankäsittelyvälineil- lä 16.2 yhdistetään kamerayksiköillä CAM1, CAM2 muodostetut '·· · datat ainakin osittain toisiinsa siten, että ainakin osa mo- • * · lempien osakuvien IMAGE_CAM1, IMAGE_CAM2 reuna-alueista asete- '· taan päällekkäin. Sovellusmuodon mukaisessa tapauksessa vasem- * · · M : 25 manpuolimaisen kuvasensorin 12.1 oikean reunan kuvainformaatio * » · ja oikeanpuolimaisen kuvasensorin 12.2 vasemman reunan kuvain-'...· formaatio asetetaan päällekkäin tarvittavalta alueelta OA.

Alueen OA kokoon vaikuttaa esimerkiksi halutun panoraamakuvan 30 laaja-alaisuus. Mitä laaja-alaisempana panoraamakuvausta suo-: ritetaan, sen pienempi on päällekkäin asettuvat alueet OA. Lo- ,···, pullinen kuvainformaatio ommellaan panoraamatyyppiseksi kuvak- si 17 kaksinkertaisella resoluutiolla ainakin kamerayksiköiden '· CAM1, CAM2 päällekkäin asettuvien kuvainformaatiovälialueiden ’· 35 OA kohdalta. Eräs esimerkki panoraamakuvan koosta on 2560*960.

10 115947

Kuvassa 5 esitetään vielä eräs kolmas sovellusmuoto, jonka keksinnön mukainen järjestely myös mahdollistaa. Tässä molemmat vierekkäiset kuvasensorit 12.1, 12.2 osoittavat koh- 5 tisuoraan eteenpäin samaan suuntaan, jolloin niiden kautta kulkevaksi kuvitellun suoran ja kuvaussuunnassa olevan vaakasuoran välinen kulma α, β on jotakuinkin 90° ollen tällöin yhdensuuntaiset. Sovellusmuodolla mahdollistetaan oleellinen parannus kuvainformaation tarkkuuteen. Myös tässä sovellusmuo-10 dossa molempien kuvasensorien 12.1, 12.2 muodostama kuvadata asetetaan laitteen 10 datankäsittelyvälineissä 16.1 esimerkiksi ohjelmallisesti suoritetulla yhdellä tai useammalla algoritmilla päällekkäin, jonka seurauksena saadaan tavanomaiseen yksisensoritoteutukseen nähden huomattavasti tarkempia kuvia.

15

Yleensäkin "Overlapping-algoritmitoteutukset" niin panoraama-kuin myös pikselitiheydeltään suurempien kuvien muodostamiseksi ovat alan ammattimiehelle ilmeisiä, joten niihin ei tässä yhteydessä enempää puututa. Myös 3D-algoritmiikkatoteutukset 20 voidaan saada aikaan lukuisin eri tavoin. Eräitä kirjallisuusviitteitä näihin algoritmeihin liittyen on listattu seli-·· · tysosan lopussa olevassa viiteluettelossa.

• · · * Kääntöä varten kamerayksiköt CAM1, CAM2 voivat olla myös kyt-1 25 kettynä toisiinsa. Kytkeytymisellä tarkoitetaan tässä tapauk- sessa erään ensimmäisen sovellusmuodon mukaan mekaanista kyt-·,,,* kentää, jolla voidaan synkronoida kuvasensorien 12.1, 12.2 kääntöliike kuvausmoodia muutettaessa tai muutoin säädettäes-..]·* sä. Tällöin laitteeseen 10 voi kuulua erityinen varsijärjeste- 30 ly 16.6 (kuva 1), jolla molempaa kuvasensoria 12.1, 12.2.

: käännetään niille järjestetyn akseloinnin kautta yhdellä kään- ,···. tölaitteella 16.5. Toisaalta molemmille kuvasensoreille 12.1, 12.2 voi olla myös omat kääntölaitteensa (ei esitetty), joita ··* · voidaan ohjata toisistaan riippumattomasti.

'· : 35 11 115947

Keksinnön mukaiseen laitteistoon 10 kuuluu myös esimerkiksi ohjelmallisesti toteutetut välineet 14, 15 kuvausmoodien hal litsemiseksi, kuten esimerkiksi valitsemiseksi ja sen mukaan toimintojen ohjaamiseksi. Valinta voidaan suorittaa esimerkik-5 si laitteen 10 käyttöliittymästä käsin. Kun haluttu kuvausmoo-di on valittu, laite 10 aktivoi sen edellyttämän ohjelmalli-suuden 16.1 - 16.3 esimerkiksi kuvankäsittelyketjusta 11 tai vaihtoehtoisesti integroidun kuvankäsittelyketjun 11 ulkopuolelta. Tällöin laitteen 10 muistivälineisiin voi kuulua joukko 10 peräkkäin asetetussa järjestyksessä laitteen 10 prosessorilla 13 suoritettavissa olevia käskyjä 14, joilla aikaan saadaan ensinnäkin kuvasensorien 12.1, 12.2 saattaminen valitun kuva- usmoodin edellyttämään asemaan ja toisaalta myös kuvasenso-reilla 12.1, 12.2 tuotetun raaka-datan käsitteleminen ja kyt is keminen yhdellä tai useammalla algoritmilla 16.1 - 16.3 valitun käyttömoodin mukaiseksi kuvainformaatioksi.

Keksintö mahdollistaa laitteessa 10 useiden erilaisten kuvaus-moodien järjestämisen yhdellä kameravälinesovitelmalla 12, jo-20 hon kuuluu ainakin kaksi kamerayksikköä CAM1, CAM2. Kamerayk-sikköjä voi laitteessa 10 olla luonnollisesti useampiakin. To- : siaikaisen artefaktittoman 3D-kuvauksen lisäksi saadaan aikaan · yllättävällä tavalla myös panoraamakuvia ja tarkkuudeltaan '·..· oleellisesti parantuneita kuvia. Näitä ei tavanomaisin yk- : 25 sisensorijärjestelyin voida ainakaan mitenkään helposti to- teuttaa yhdellä yksittäisellä otostamisella (single shot), jollaisena keksinnön mukainen menetelmä käyttäjän näkökulmasta ilmenee.

‘ 30 On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät .·. : kuvat on tarkoitettu ainoastaan havainnollistamaan esillä ole- ,·*·. vaa keksintöä. Erityisesti kuvadatan prosessointi voidaan var- • mastikin toteuttaa lukuisin eri tavoin. Keksintöä ei siten ole · rajattu pelkästään edellä esitettyihin tai patenttivaatimuk- '· '· 35 sissa määriteltyihin sovellusmuotoihin, vaan alan ammattimie- 12 115947 helle tulevat olemaan ilmeisiä monet erilaiset keksinnön variaatiota ja muunnokset, jotka ovat mahdollisia oheisten patenttivaatimusten määrittelemän keksinnöllisen ajatuksen puitteissa .

5 KIRJALLISUUSVIITTEET:

Signal Processing Magazine -lehden erikoispainos, Toukokuu 2003: 10 [1] Overview paper: S. Park, M. Park and M. Kang, "Super-

Resolution Image Reconstruction A Technical Overview"; IEEE Signal Processing Magazine, voi.20, pp. 21 - 34, May 2003.

15 [2] Mathematical Insights in SR methods: M. Ng, N. Bose, "Mathematical analysis of super-resolution methodology", IEEE Signal Processing Magazine, vol.20, pp. 62 - 74, May 2003.

[3] SR with Optics: D. Rajan, S. Caudhuri and M. Joshi, 20 "Multi-Objective super-resolution; Concepts and Examples", IEEE Signal Processing Magazine, vol.20, pp. 49 - 61, May :.: : 2003.

• I t ·...· [4] Mosaic (stitching) : D. Capel, A. Zisserman, "Computer Vi- 1,· * 25 sion Applied to Super Resolution", IEEE Signal Processing

Magazine, vol.20, pp. 75 - 86, May 2003.

[5] SR from video: C. Segall, R. Molina and A. Katsaggelos, ·;· "High Resolution images from low-resolution compressed video"; 30 IEEE Signal Processing Magazine, vol.20, pp. 75 - 86, May ; 2003.

• i t

Claims (34)

115947

1. Elektroninen laite (10), joka käsittää - kameravälineet (12) datan muodostamiseksi kuvaus- 5 suunnassa olevasta kohteesta ja - datankäsittelyvälineet (11), joilla kameravälineil-lä (12) muodostettua dataa on sovitettu käsiteltäväksi valitun kuvausmoodin mukaisella tavalla siitä ku-vainformaation muodostamiseksi, 10 tunnettu siitä, että kameravälineet (12) käsittävät ainakin kaksi kamerayksikköä (CAM1, CAM2), jotka on suunnattu pääasiallisesti samaan kuvaussuuntaan.

2. Patenttivaatimuksen 1 mukainen laite (10), tunnettu siitä, 15 että kamerayksiköt (CAM1, CAM2) on sovitettu toimimaan samanaikaisesti .

3. Patenttivaatimuksen 1 tai 2 mukainen laite (10), tunnettu siitä, että kamerayksiköt (CAM1, CAM2) ovat liikuteltavia, ku- 20 ten esimerkiksi käännettäviä.

··: : 4. Jonkin patenttivaatimuksen 1-3 mukainen laite (10), tun- •'l : nettu siitä, että kamerayksikköjen (CAM1, CAM2) välinen etäi- '...* syys A on kiinteä. * 25 t ,.,1

5. Jonkin patenttivaatimuksen 1-4 mukainen laite (10), tun- ·,,,·’ nettu siitä, että kamerayksiköt (CAM1, CAM2) on kytketty toi siinsa . ; : 30

6. Jonkin patenttivaatimuksen 1-5 mukainen laite (10), tun- .·, : nettu siitä, että laitteeseen (10) on sovitettu välineet (14, 15, 16.1 - 16.3) kuvausmoodien hallitsemiseksi ja datan käsit-• telemiseksi valitun kuvausmoodin mukaisella tavalla. I i » 115947

7. Jonkin patenttivaatimuksen 1-6 mukainen laite (10), tunnettu siitä, että datankäsittelyvälineet (11, 16.3) on sovi tettu muodostamaan kamerayksiköillä (CAM1, CAM2) muodostetusta datasta 3D-kuvainformaatiota. 5

8. Patenttivaatimuksen 7 mukainen laite (10), tunnettu siitä, että laitteeseen (10) kuuluu välineet (16.3) mahdollisten ku-vavirheiden, kuten esimerkiksi artefaktin käsittelemiseksi.

9. Jonkin patenttivaatimuksen 1-8 mukainen laite (10), tunnettu siitä, että datankäsittelyvälineet (11, 16.1) on sovi tettu yhdistämään kamerayksiköillä (CAM1, CAM2) muodostetun datan ainakin osittain kuvainformaation tarkkuuden lisäämiseksi . 15

10. Jonkin patenttivaatimuksen 1-9 mukainen laite (10), tunnettu siitä, että datankäsittelyvälineet (11, 16.2) on sovi tettu yhdistämään kamerayksiköillä (CAM1, CAM2) muodostetun datan ainakin osittain panoraamakuvausmoodin mahdollistamisek-20 si. 1 '· 11. Järjestelmä elektronisessa laitteessa (10) kuvainformaati- : on muodostamiseksi, joka käsittää • · ...· - kameravälineet (12) datan muodostamiseksi kuvaus- : 25 suunnassa olevasta kohteesta ja - datankäsittelyvälineet (11), joilla kameravälineil-lä (12) muodostettua dataa on sovitettu käsiteltäväksi valitun kuvausmoodin mukaisella tavalla siitä ku-vainformaation muodostamiseksi, : : 30 tunnettu siitä, että kameravälineet (12) käsittävät ainakin ,*, ; kaksi kamerayksikköä (CAM1, CAM2), jotka on suunnattu pääasi- ,··_ allisesti samaan kuvaussuuntaan.

1 1 ♦ > < 115947

12. Patenttivaatimuksen 11 mukainen järjestelmä, tunnettu siitä, että kamerayksiköt (CAM1, CAM2) on sovitettu toimimaan samanaikaisesti .

13. Patenttivaatimuksen 11 tai 12 mukainen järjestelmä, tun nettu siitä, että kamerayksiköt (CAM1, CAM2) ovat liikuteltavia, kuten esimerkiksi käännettäviä.

14. Jonkin patenttivaatimuksen 11 - 13 mukainen järjestelmä, 10 tunnettu siitä, että kamerayksikköjen (CAM1, CAM2) välinen etäisyys on kiinteä.

15. Jonkin patenttivaatimuksen 11 - 14 mukainen järjestelmä, tunnettu siitä, että kamerayksiköt (CAM1, CAM2) on kytketty 15 toisiinsa.

16. Jonkin patenttivaatimuksen 11 - 15 mukainen järjestelmä, tunnettu siitä, että laitteeseen (10) on sovitettu välineet (14, 15, 16.1 - 16.3) kuvausmoodien hallitsemiseksi ja datan 20 käsittelemiseksi valitun kuvausmoodin mukaisella tavalla.

: 17. Jonkin patenttivaatimuksen 11 - 16 mukainen järjestelmä, • · ♦ : tunnettu siitä, että datankäsittelyvälineet (11, 16.3) on so- vitettu muodostamaan kamerayksiköillä (CAM1, CAM2) muodoste-·.: : 25 tusta datasta 3D-kuvainformaatiota. ·#ι>ϊ

18. Patenttivaatimuksen 17 mukainen järjestelmä, tunnettu sii tä, että laitteeseen (10) kuuluu välineet (16.3) mahdollisten 1 kuvavirheiden, kuten esimerkiksi artefaktin käsittelemiseksi. : 30

,·[ ; 19. Jonkin patenttivaatimuksen 11 - 18 mukainen järjestelmä, tunnettu siitä, että datankäsittelyvälineet (11, 16.1) on so- ► » vitettu yhdistämään kamerayksiköillä (CAM1, CAM2) muodostetun • ♦ : datan ainakin osittain kuvainformaation tarkkuuden lisäämisek- ·. : 35 si. 115947

20. Jonkin patenttivaatimuksen 11 - 19 mukainen järjestelmä, tunnettu siitä, että datankäsittelyvälineet (11, 16.2) on sovitettu yhdistämään kamerayksiköillä (CAM1, CAM2) muodostetun 5 datan ainakin osittain panoraamakuvausmoodin mahdollistamiseksi .

21. Menetelmä elektronisessa laitteessa (10) kuvainformaation muodostamiseksi, jossa kuvausta suoritetaan kameravälineillä 10 (12), jonka muodostamaa dataa käsitellään laitteeseen (10) kuuluvilla datankäsittelyvälineillä (11) valitun kuvausmoodin mukaisella tavalla siitä kuvainformaation muodostamiseksi, tunnettu siitä, että kuvausta suoritetaan kameravälineillä (12) , jotka käsittävät ainakin kaksi pääasiallisesti samaan 15 kuvaussuuntaan suunnattua kamerayksikköä (CAM1, CAM2).

22. Patenttivaatimuksen 21 mukainen menetelmä, tunnettu siitä, että kuvausta suoritetaan asetetulla tavalla samanaikaisesti.

23. Patenttivaatimuksen 21 tai 22 mukainen menetelmä, tunnettu siitä, että kamerayksikköjä (CAM1, CAM2) liikutetaan, kuten I esimerkiksi käännetään valitun kuvausmoodin mukaisesti.

• · » • « · ·...· 24. Jonkin patenttivaatimuksen 21 - 23 mukainen menetelmä, :.· · 25 tunnettu siitä, että kuvausta suoritetaan kamerayksikköjen (CAMl, CAM2) ollessa vakioetäisyydellä toisistaan. » ·

25. Jonkin patenttivaatimuksen 21 - 24 mukainen menetelmä, *:· tunnettu siitä, että kuvausta suoritetaan 3D-kuvainformaation • · « 1 · : 30 muodostamiseksi. • · » * 1 » · • I »

26. Patenttivaatimuksen 25 mukainen menetelmä, tunnettu siitä, ‘1’ että dataa käsitellään mahdollisten kuvavirheiden, kuten esi- : merkiksi artefaktin käsittelemiseksi. 1 ( % ·, ; 35 17 1 1 5947

27. Jonkin patenttivaatimuksen 21 - 26 mukainen menetelmä, tunnettu siitä, että dataa yhdistetään ainakin osittain toisiinsa kuvatarkkuuden lisäämiseksi. 5

28. Jonkin patenttivaatimuksen 21 - 27 mukainen menetelmä, tunnettu siitä, että dataa yhdistetään ainakin osittain toisiinsa panoraamakuvausmoodin mahdollistamiseksi.

29. Ohjelmatuote (11) keksinnön mukaisen menetelmän toteutta miseksi, jossa ohjelmatuote (11) on sovitettu vastaanottamaan kuvaussuunnassa olevasta kohteesta kameravälineillä (12) muodostettua dataa ja muokkaamaan sitä valitun kuvausmoodin mukaisella tavalla siitä kuvainformaation muodostamiseksi, tun-15 nettu siitä, että data käsittää ainakin kahden pääasiallisesti samaan kuvaussuuntaan suunnatun kamerayksikön (CAM1, CAM2) muodostamaa dataa, jotka datat ohjelmatuote (11) on sovitettu käsittelemään valitun kuvausmoodin mukaisella tavalla.

30. Patenttivaatimuksen 29 mukainen ohjelmatuote (11), tunnet tu siitä, että ohjelmatuotteeseen (11) kuuluu yksi tai useam- » · · •M : pia osia (16.3) 3D-kuvainformaation muodostamiseksi.

• * • · · » · · *,,,· 31. Patenttivaatimuksen 30 mukainen ohjelmatuote (11), tunnet- *,· j 25 tu siitä, että ohjelmatuotteeseen (11) kuuluu yksi tai useam-pia osia (16.3) mahdollisten kuvavirheiden, kuten esimerkiksi • 1 artefaktin käsittelemiseksi. • i

» ·;* 32. Jonkin patenttivaatimuksen 29 - 31 mukainen ohjelmatuote 30 (11), tunnettu siitä, että ohjelmatuotteeseen (11) kuuluu yksi '·[ ’ tai useampia osia (16.1, 16.2) datojen ainakin osittaiseksi • l * yhdistämiseksi.

: 33. Jonkin patenttivaatimuksen 29 - 32 mukainen ohjelmatuote *. ; 35 (11) , tunnettu siitä, että ohjelmatuotteeseen (11) kuuluu yksi 115947 tai useampia osia (16.1) datojen ainakin osittaiseksi yhdistämiseksi kuvainformaation tarkkuuden lisäämistä varten.

34. Jonkin patenttivaatimuksen 29 - 33 mukainen ohjelmatuote 5 (11), tunnettu siitä, että ohjelmatuotteeseen (11) kuuluu yksi tai useampia osia (16.2) datojen ainakin osittaiseksi yhdistämiseksi panoraamakuvainformaation muodostamiseksi. • 1 II» I « t • « · » • » * · · • · 1 • 1 · · • · • I • 1 1 * 1 1 I I » I · 1 1 • t I · * » 1 9 » • » » » 1 t · » · » · » 1 • t t I t 1 t • li • : 1 • 1 115947