FI116959B - Elektroninen laite ja menetelmä elektronisessa laitteessa kuvadatan prosessoimiseksi - Google Patents

Description

ELEKTRONINEN LAITE JA MENETELMÄ ELEKTRONISESSA LAITTI VADATAN PROSESSOIMISEKSI

Keksintö koskee elektronista laitetta, johon kuuluu 5 sessointivälineet ja muistia prosessoinnin suorittami: vadatalle lohkopohjaisesti, jossa kuvadata on sovite dattavaksi asetetulla tavalla järjestettyihin yksiki hin, joista yhden tai useamman yksikkölohkon datasta dostettavissa asetetun mukainen prosessointialue ja ; 10 sessointia varten muistiin on järjestetty prosessoin' koskevaa dataa ja lisäksi asetetulla tavalla prosessi een ympäristödataa prosessointialueen reuna-alueiden soimiseksi. Lisäksi keksintö koskee myös menetelmää : matuotetta.

15

Kooltaan ja/tai resoluutioltaan suuren kuvainformaati< tely lisää elektronisten laitteiden muistitarvetta · valtavan määrän vuoksi. Lohkopohjaisella kuvaproses; valla on pyritty tunnetusti ratkaisemaan suureen mu: 20 peeseen liittyviä ongelmia. Eräinä esimerkkeinä tä. kuvakoodausstandardeista, jotka käsittelevät kuvaa ti * · ·.*·; lohko lohkolta, voidaan mainita JPEG (Joint Picture » * V.! Group), MPEG (Moving Picture Experts Group), H.26x, ; *•"'1 muut DCT-pohjäiset koodekit (Discrete Cosine Transfc U · 25 daan lukea tähän ryhmään. Lohkopohjaisessa prosessoin] sikkölohkon koko on tavallisesti 8x8 tai 16x16 piksel:

:***: pikselin lohkoa kutsutaan yleisesti makrolohkoksi ME

• · · block).

m m*9 9 ·***· 30 Kuvassa 1 esitetään kuvakehyksen I rakennetta makro' 2

Kuvassa 2 esitetään eräitä esimerkkejä tekniikan tas< donsiirtokanavan läpi tehtävässä datavirtautukses streamingissä), jota voidaan myös suorittaa lohkomais< 5 van 2 yläosassa oleva ketju 10.1 esittää kuvapohjaista sointitapaa. Alaosassa oleva ketju 10.2' esittää lohk< ta prosessointia. Lohkopohjäisessä prosessoinnissa 10 aatteessa suoritetaan yhdelle makrolohkolle MB kerra] koodaus, jälkiprosessointi, muut kuvanparannusopera.

10 skaalaus. Tästä syystä lohkopohjäinen prosessointita on muun muassa reaaliaikaisen prosessoinnin ja muistii sen pienenemisen aikaan saamiseksi suositeltavampi k merkiksi kuvapohjainen.

15 Kuvakohdan (eli pikselin) muokkaamiseksi monet kuvapr< tialgoritmit 14 edellyttävät tiettyä informaatiota kuvakohdan vieressä olevista naapuripikseleistä. Tämc teella jonkin tietyn makrolohkoalueen prosessoimisekf käsittelyalgorimit 14 tarvitsevat myös pääsyn joihi 20 seistä kuvakohtaa ympäröiviin makrolohkoihin. Tähän i tilannetta esitetään kuvassa 3.

• * · • « V.· Tällaiseen, esimerkiksi matriisimaisen kaksiulotteise kölohkojaon mukaan suoritettuun prosessointiin, liit * * •#; | 25 tenkin muistinkäytön kannalta merkittäviä ongelmia. Ί ee*·* voin valitun prosessoitavaa makrolohkoaluetta PA ymj : : alueiden EA1, EA2, EA4 huomioiminen vaatii laitteel

IM

huomattavan paljon muistia.

• » « t»l| ;*”· 30 Eräitä esimerkkejä joistain tällaisista algoritmeista 3 skaalausalgoritmit, jotka käyttävät erilaisia interpo netelmiä.

Tekniikan tason mukaisesti kaikissa lohkopohjaisisse 5 suissa on ollut tapana käsitellä työmuistissa laajemj data-aluetta kuin varsinaisen prosessoitavana olevan : kon alue on. Tämä on ollut tarpeen, jotta myös proses: olevan makrolohkoalueen reuna-alueiden käsittely vi suorittaa menestyksellisesti. Tämä muodostaa ongelmat 10 tan valtavasta määrästä johtuen.

Eräs ensimmäinen mahdollinen ratkaisu olisi käsitellä kertaa koko kuvaa työmuistissa. Tämä ei kuitenkaan mu: tön kannalta ole mitenkään suositeltavaa, johtuen jui 15 datan valtavasta määrästä.

Kuvassa 3 esitetään esimerkkiä alueesta, joka tarvitc taan yhden yksikkölohkon kokoisen prosessointialueen sessoimiseksi tunnetun tekniikan mukaisesti (PA = mak: 20 makrolohkorivillä M) . Kyseisen makrolohkon (N,M) tä; prosessointi oikealla tavalla edellyttää siis # * ·. *: informaatiota myös prosessoitavaa lohkoaluetta PA ymp< • · V.· lohkoista MBPx, MBNx (vinoviivoitettu alue). Tämän ali • · · telytavan mukaan informaatiota tarvitaan jopa seuraav* ! 25 rivin M+l lohkosta N+l asti (= MBN4) . Lohko MBN4 on e>·;' meinen lohko tässä yksikkömatriisirakenteessa, joka oi i « · sen hetkisen varsinaisen prosessoitavan lohkoalueen I (ristiviivoitettu alue).

• · · « ···· ·*": 30 Edellä olevasta johtuen on kaikki kulloinkin prosessi 4 reunaan asti. Sen jälkeen siirrytään seuraavalle riv: josta dekoodausta jatketaan aina kuvakehyksen I v; reunasta alkaen. Dekoodausta jatketaan aina rivin M+: N+l asti (= MBN4) . MBN4 on nyt siis viimeinen lohko, 5 sillä kertaa prosessoitavana olevan alueen PA lähinaaj

Kuten arvata saattaa, edellä esitetty toimintatapa e< laitteelta runsaasti muistikapasiteettia varsinkin, ki rilohkoista MBP1 - MBP3, MBP, MBNl - MBN4 tarvitaar 10 sointitavasta riippuen usein vain muutamia pikselirii sessoitavan alueen PA reunaosien käsittelemiseksi. L. rilohkojen reunojen pikselidata voidaan myös saattaa esimerkiksi makrolohkorivi kerrallaan. Tällöin siir: prosessoitavasta lohkosta toiseen ei ole tarpeen te 15 samaa reunadatan noutoa (dekoodausta). Muistin kulutu; säkin tapauksessa kuitenkin oleellisesti sama.

Lähtökohtana edellä esitetyssä tekniikan tason mukaii pauksessa on käsitellä muistinkulutuksen pienentämis 20 della kertaa vain osaa kuva-alueesta. Yleisesti täss dessä käytetty menetelmä on myös makrolohkoriviin p< * * ·.*·; prosessointi. Siinä yhdelle lohkoriville kerrallaan *,V taan dekoodaus, työmuistiin lukeminen ja prosessoimin* ··· lisäksi tarvitaan vielä pieni määrä lisäjuovamuistia • · *β· · 25 vien reunojen käsittelemiseksi. Edellä esitettyyn vii' •S* mä edellyttää kuitenkin vasta tuonnempana prosessoint • · · olevien lohkojen dekoodausta. Edellisien ja seuraavi* rivien naapuripikselidata on tallennettu näihin lisäji ·;* teihin.

* · * · 30 5 1' mistarvetta. Kuitenkin sillä hetkellä käsiteltävä seuraavien lohkojen data, jota tarvitaan käsiteltä reunojen hoitamiseksi lisää oleellisesti lohkopohjai mintatavalta edellytettyjä muistivaatimuksia.

5 Tämän keksinnön tarkoituksena on saada aikaan uuder netelmä digitaaliseen kuvadatan lohkopohjäiseen j tiin, jolla myös prosessoitavan alueen reunat saadac tyä oleellisesti tunnettuihin ratkaisuihin verrattu 10 min muistivaatimuksiin. Edelleen keksinnön tarkoi myös saada aikaan uudenlainen elektroninen laite, sinnön mukaista menetelmää voidaan soveltaa kohtuulJ tivaatimuksin saaden aikaan kuitenkin datalle as: prosessoinnin. Keksinnön mukaisen elektronisen lai 15 nusomaiset piirteet on esitetty oheisessa patenttivc sa 1 ja siinä sovellettavan menetelmän tunnusomaise on esitetty patenttivaatimuksessa 9. Lisäksi keksi myös ohjelmatuotetta, jonka tunnusomaiset piirteet e oheisessa patenttivaatimuksessa 17.

20 . . Keksinnön mukaiseen elektroniseen laitteeseen kuulu • · 9 • ·♦ sessointivälineet ja muistia valittujen prosesso: *·* * ,···β suorittamiseksi kuvadatalle lohkopohjaisesti. Kuvad • ♦ ♦ ·· • ,·. vitettu koodattavaksi asetetulla tavalla järjestet • · * ·«· · #j. 25 sikkölohkoihin. Koodatusta yhden tai useamman yk£ *··· .···. datasta on muodostettavissa asetetun mukainen pre • t· alue. Prosessointia varten laitteen muistissa on pre . .·. aluetta koskevaa dataa. Lisäksi muistissa on aseteti • ♦ · ··· .··. la määriteltyä prosessointialueen ympäristödataa pre - ^ · I « I . __ _ 6 yksikkölohkojen tarpeetonta etukäteiskoodaamista, joki netusti vaatinut laitteelta runsaasti muistikapasiteet

Edelleen keksinnön mukaisessa menetelmässä kuvadatan ; 5 jäiseksi prosessoimiseksi kuvadata koodataan asetetul! la yksikkölohkoihin. Koodatusta yhden tai useamman yk: kon datasta muodostetaan asetetun mukainen prosesso: jonka prosessointia varten muistiin järjestetään pros< aluetta koskevaa dataa. Lisäksi muistiin järjestetäs 10 tulla tavalla prosessointialueen ympäristödataa pros< alueen reuna-alueiden prosessoimiseksi. Menetelmässä sessointialueesta muodostuu aikaisemmin koodatusta jc osittain jo prosessoidusta yhdestä tai useammasta yk; kosta.

15

Vielä keksinnön mukaisessa ohjelmatuotteeseen kuvadati pohjaiseksi prosessoimiseksi, jota keksintö myös siis kuuluu koodi kuvadatan koodaamiseksi asetetulla tava riisimaisesti järjestettyihin yksikkölohkoihin. Edel 20 jelmatuote käsittää koodin asetetun mukaisen prosessi een muodostamiseksi yhden tai useamman yksikkölohkor * a *. *: ja vielä koodin prosessointialueen ympäristödatan mu( « · *,·,· seksi, jota on sovitettu käytettäväksi prosessointial* • ·· na-alueiden prosessoinnissa. Ohjelmatuote käsittää • · · 25 koodin, jolla osa prosessointialueesta on sovitettu r ♦ #e*·' maan aikaisemmin koodatusta ja mahdollisesti ainakin M· jo prosessoidusta yhdestä tai useammasta yksikkölohkor :· Koodaaminen voi olla keksinnön mukaan esimerkiksi dekc • · a * ;***: 30 ta tai enkoodaamista.

7 koodatulta ja mahdollisesti osittain jo prosessoidun kölohkoriviltä. Edellisen lisäksi nämä yksikkölohkot valita myös ennen prosessointialueen prosessointia k< ja mahdollisesti jo osittain prosessoidulta yksikkölol 5 keelta.

Keksintö mahdollistaa muistitehokkaan digitaalikuvan deodatan lohkopohjäisen käsittelymallin. Keksintöä erityisesti käyttää sovelluksissa, joissa prosessoida 10 tai videodatavirtausta. Keksinnön mukainen malli on : taan hyvin yleinen. Sitä voidaan soveltaa mihin tähän; tai kuvakokoon.

Keksinnöllä saavutetaan merkittäviä etuja tunnettuun 15 kaan nähden. Keksintö ei juurikaan edellytä kuva; jen/makrolohkojen ennakkokäsittelyä, vaan siinä tuli meen aikaisempien alueiden prosessointien yhteydessä ] la datalla. Prosessoitava alue voidaan koodata datavi; sitä voidaan käsitellä valitulla tavalla heti ja sitt< 20 toida se myöhempää käyttöä varten. Eräitä esimerkkej käsittelytavoista on kuvanparannus tai skaalaus ja nä: e · ,’·· dolliset kombinaatiot. Keksinnön mukainen käsittelyma' * * V.· erityisesti sovelluksiin, joissa sovelletaan datavirti • · · * ♦ ··· « · •#* · 25 Menetelmän muistivaatimukset ovat yllättävän pienet.

* *;* tissa tarvitaan kerrallaan esimerkiksi muutama ju< 5^ : prosessointialuetta edeltävistä naapurilohkoista ja vielä hieman muistia varsinaisen prosessointialueen k< ·;· varten.

30 8

Seuraavassa keksintöä, jota ei ole rajoitettu seuraav; tettäviin suoritusmuotoihin, selostetaan tarkemmin vi la oheisiin kuviin, joissa 5 Kuva 1 esittää erästä esimerkkiä kuvadata pohjaisesta jaosta,

Kuva 2 esittää eräitä esimerkkejä kuvadata] sointiketjujen järjestämiseksi tekn: son mukaisesti, 10 Kuva 3 esittää erästä esimerkkiä tekniik mukaisesta aluemäärittelystä lohkop< sa prosessoinnissa,

Kuva 4 esittää erästä ensimmäistä sovellu; kiä keksinnön mukaisesta prosessoi] 15 määrittämisestä kuvanskaalauksessa,

Kuva 5 esittää erästä esimerkkiä keksinnön menetelmän muistivaatimuksista kuv< kaisessa sovellusmuodossa,

Kuva 6 esittää erästä sovellusmerkkiä ke! 20 sitä lohkoutumisenestoon ja skaalaul vellettaessa, ! Kuva 7 esittää esimerkkiä kuvankäsittel1 • ·· Φ « kuvan 6 mukaisessa sovellusmuodossa • · « • * ,···. Kuvat 8a - 8e esittävät eräitä esimerkkejä kuvan « »· : ,·, 25 sen prosessointiesimerkin muistivaai • « « ta.

* *« · « • m

Kuvassa 7 esitetään eräs esimerkki elektronisesta 1« • 10.2 keksinnön kannalta oleellisilta osin, jossa ] *«· r -1 30 voidaan soveltaa. Laitteeseen 10.2 kuuluu kuvankäsitt< « · 9

Eräitä, mutta ei kuitenkaan mitenkään rajoittavia es; keksinnön kohteena olevista elektronisista laittei ovat matkaviestimet, multimedialaitteet, sit/vastaanottimet ja digitaalikamerat.

5

Elektroniseen laitteeseen 10.2 kuuluu dataprosessoint: 13, 14.1, 14.2, 16, 18 ja muistia 17 valittujen pros» toimien suorittamiseksi kuvadatalle 12.1 lohkopohjais» taprosessointivälineet 16 voivat erään sovellusmuodc 10 muodostaa kuvassa 7 kuvatun järjestelyn. Siinä la; 10.2 kuuluvalla dekoodaimella 13 dekoodataan datavirt Dekoodain 13 toimii tässä tapauksessa lohkopohjaisesti

Ennen dekoodausta 13 kuvadatalle 12.1 on suoritettu : 15 daus 30. Enkoodauksessa 30 laitteeseen 10.2 mahdollis* luvalla sensorilla 11 tuotettu kuvadata on jaettu 1< se koodausmenetelmästä riippuvalla tavalla yksikköloh] MB. Yksikkölohkot B, MB voivat olla järjestettynä mat] seen kaksiulotteiseen taulukkoasetelmaan, kuten es: 20 kuvassa 1 on esitetty. Enkoodauksen 30 ja dekoodaukse pauksessa voidaan puhua yleisesti kuvadatan koodaukses • » · • M • * • 9 V.· Enkoodaimella 30 enkoodattu kuvadata 12.1 saatetaa ··· daimella 13 jälleen prosessoitavissa olevaan muotoon * » ϊ 25 puretaan jokseenkin alkuperäiseen muotoonsa). Dekoo< ee'J· 13 dekoodataan kerrallaan yksi makrolohko MB, joka sd :***; hetetään edelleen ketjussa 16 eteenpäin prosessoitava] • · tulla tavalla.

• 999 9 9999 ·*"*· 30 Dekoodainta 13 seuraa haluttu jälkiprosessointitoimini ίο Jälkiprosessoinnista 14 muokkautunut kuvadata 12.3 1 taan enkoodattuna esimerkiksi massamuistiin, saatetaa] senaan näytettäväksi laitteen 10.2 näytöllä 15 tai f 5 daan lähettää tiedonsiirtoverkkoon, sovellusmuodosta 3

Kuvassa 4 esitetään keksinnön perusperiaatetta. Riipj loinkin suoritettavana olevasta prosessoinnista, ke] muodostetaan yhden tai useamman jo aikaisemmassa vaih< 10 koodatun yksikkölohkon dataa käyttäen asetetun mukai sessointialue PA. Alue PA voidaan edelleen kuvitella r vaksi alialueista PA1, PA2, PA3 (kuvat 1 ja 4) . Enne naiseksi prosessointialueeksi PA miellettävää ma] MB(N,M) dekoodatut makrolohkot MBP1 - MBP3 voivat oll< 15 lisesti jo alueeltaan osittain prosessoituja. Alueen määräytyy sen mukaan, että mitä operaatioita proses; tullaan tekemään. Tällöin alue PA voi asettua jokaist käsittelyketjun 16 prosessointiosaa 18, 14.1, 14.; erikseen siten, että viimeinenkin prosessointivaihe 1 20 daan toteutettua muistinkäytön kannalta keksinnön mi edullisella tavalla.

• # * • ♦ • »

•,V Dekoodaus 13 tehdään aina saman kuvalohkojaon B, MB

• · « ·...* Alue PA määritellään jo ennen kuin kuvan I ensimmäist • » ;t- · 25 aletaan dekoodaamaan. Prosessointialue PA siirtyy si * kaisen prosessoidun lohkon MB jälkeen yhtä paljon ku: «·« ί : tun lohkoj aon mukaan dekoodatun lohkon MB reunakin ; prosessoinnin edetessä. Alue PA on ikään kuin muutama ··· lirivin ja sarakkeen verran "jäljessä" varsinaista loi ·*·· ;’**· 30 dausta, mikäli prosessointi suunta ajatellaan olevaks -----!4^ - - - - u vakehykselle I prosessointia voidaan suorittaa vuorol lekin yhdelle alueelle PA kerrallaan edeten kehykses, tetussa järjestyksessä. Tällöin koko kuvakehys I saa sessoitua halutuilta osiltaan.

5

Kuvassa 1 esitetään eräs esimerkki tällaisesta etenem tyksestä. Siinä koko kuva-alan I prosessoinnin suorit lähdetään liikkeelle esimerkiksi kuvakehyksen I v yläkulmasta. Sieltä edetään makrolohkorivillä MB_rc 10 sarakkeelta kuva-alan I vasemmasta laidasta oikeaar asetetun aluejaon mukaisesti {kuvassa 1 katkoviivar Kun prosessoinnissa päädytään kehyksen I oikeaan la; kyseinen rivi saatu prosessoitua. Tämän jälkeen void tyä alaspäin seuraavalle makrolohkoriville. Prosesso 15 kuu jälleen kuva-alan I vasemmasta laidasta alkaen t raavan makrolohkorivin alusta (katkoviivanuoli ii). ] tään, kunnes päästään kuvakehyksen I oikeaan alakuli kuvakehys I on saatu asetetulla tavalla prosessoit prosessoitavaksi voidaan ottaa videodatan tapauksessa 20 kuvakehys 1+1. Etenemistapoja voi olla tietenkin my< kin.

• · » · « • * « * * • »

Kuvassa 4 esitetään eräs esimerkki keksinnön menetelm

• M

·„,· sesta lähestymistavasta lohkopohjaisessa prosessoinni • * ·.· · 25 nä prosessointialue PA voidaan kuvitella muodostuvat mistä alialueista PA1, PA2, PA3. Alue PA on yksittäis lohkon MB kokoinen. Aluetta PA kuvataan paksulla piirretyn neliön sisälle jäävänä valkoisena alueena. . ··· prosessoimiseksi vaaditut ympärysalueet EA1, EA2, EA4 30 esitetty vinoviivoitettuna* 12 sesta makrolohkosta MB(N,M) prosessointialuetta PA3 dataa. Edelleen laitteen 10.2 muistiin 17.2 on ta myös alueen PA3 ympärysalueen EA4 dataa alueen PA3 ai ja oikealta puolelta. Tämä alue EA4 on myös juuri dek 5 joten se on sopivasti dekooderilta 13 saatavissa. Ai rajaavat kuvassa 4 alue PA3 ja makrolohkot MBP2, MBN1 MBP3.

Prosessointialueen PA alilohkot PA1 ja PA2 muodostuva 10 lättävällä tavalla joistain edeltävistä naapurilohkoi - MBP3 (= macroblock_previous). Näin ollen muistiin tallennettu myös näiden naapurilohkojen MBP1 - MBP3 d eiden PA1 - PA2 ja näiden ympärysalueiden EA1 - EA; Tallennus on suoritettu jo kyseisen MB(N,M) makrolo 15 prosessointia edeltävien alueprosessointien yhteydess,

Edellisille lohkoille MBP1 - MBP3 sijoittuvat alialue PA2 muodostavat nyt keksinnön mukaisella tavalla osa. soitavasta alueesta PA. Edelleen edellisille lohkoil! 20 MBP3 sijoittuvat alueet EA1 ja EA2 muodostavat yläpu> vasemmanpuolista osaa prosessointialueen PA ulkopuoli • » *. *: vistä ympäristöalueista. Ympäristöalueilta EA1, EA2

* I

*.V tietyissä sovelluksissa ympäristödataa alueisiin PA1, • « * luvien reuna-alueiden kunnolliseksi prosessoimisek * m ·,· · 25 alueiden PA1, PA2 reuna-alueet voidaan ymmärtää pros aluetta PA määrittelevien rajojen (ylhäällä ja vasemm «·· va paksu yhtenäinen viiva) läheisyydessä oleviksi pik jotka siis osaltaan kuuluvat prosessoitavaan alueesee] * ··»· 30 Edellisen mukaan osa varsinaisesta kulloinkin käsitte 13 nähden vain sitä edeltävien lohkojen MBP1 - MBP3 Nämä lohkot MBPl - MBP3 ovat jo valmiiksi laitteen tiin 17.1 dekoodattuja. Lisäksi lohkoista MBPl - MI dollisesti ainakin jo osa niiden alueista jo valmii 5 soituja edellisien vastaavien prosessointialueiden dessä.

Keksinnön mukaisen prosessointialueen PA määrittel; rauksena ei ole tarvetta ylittää todellista viime; 10 reunaa MB(N,M) prosessoinnin etenemissuunnassa, jc sestä lohkosta MB(N,M) prosessointialue alialueelta muodostuu. Vielä erityisemmin tämä tarkoittaa sitä, netun tekniikan mukaista etukäteisdekoodausta ei o: suorittaa prosessointialueen PA oikeassa alakulma 15 todellisen lohkon MB(N,M) oikeanpuolisille tai ai lohkoille MBNl - MBN4 (= macroblock_next) tai yleen tä seuraaville makrolohkoille.

Aluetta PAl, PA2, PA3 osaltaan muodostavat yksikkö 20 - MBP3 voidaan valita keksinnössä useinkin eri ta1 . . ensimmäisen yksinkertaisemman sovellusmuodon mukaa ly yksikkölohkoalue PAl voi olla yksinomaan edellisel· • * * ΙΛ' lohkoriviltä M-l löytyvä naapurilohko MBP2, joka on • ^ * • y mahdollisesti jo prosessoitu osittain ennen (N,M)- ♦ · ♦ »♦» · 25 prosessointia tai ainakin se on jo dekoodattu. Lisä • ill .···. vältä makrolohkoriviltä M-l tarvitaan hieman lisä< • ♦ m teltävänä olevan alialueen PAl ympäristössä olevilt . koilta MBPl, MBP2, MBP. Lisadataa tarvitaan käsitel • · ·

Ml .·**. van alialueen PAl reuna-osien käsittelemiseksi. Alu ♦ » • ·« 14

Edellisestä makrolohkorivistä M-l on tallennettuna esimerkiksi käsittelytavasta tai -algoritmista riippi dekoodattuja pikselirivejä lohkojen MBP1, MBP2, MB alueiden EAl, PAl dataa. Lisäksi lohkosta MBP3 tarvi 5 oikeanpuoleiselta reunalta pikseleitä alueen EA2 mu< seksi. Koska kyseessä on jo aiemmin kokonaan dekoodati MBP1, MBP2, MBP, niin niiden alaosan data on edulli valmiiksi muistissa 17.1. Tämä tekee prosessoinnista 1 niin muistinkäytön kuin prosessointiajankin suhteen.

10

Edellisen mukaan, prosessoitavana oleva kokonaisalue voidaan nyt kuvitella olevan ikään kuin "siirtyneeks päin asetetun pikselimäärän verran todellisesta lohkorajajaosta. Tällöin prosessoitavaksi pääosiltaar 15 tyn MB(N,M)-makrolohkon kanssa samalla rivillä M tap; "siirtymää" vasempaan ei ole, kuten kuvan 4 sovellu* esitetään.

Kuvassa 4 esitetyn erään toisen keksinnön mukaisen j 20 muodon mukaisesti prosessoitavaa aluetta PA muodostav; kaisemmin dekoodatut ja mahdollisesti jo alueiltaan * *· '5 prosessoidut yksikkölohkot MBP1, MBP2 voivat olla < • · V·* rivin M-l lisäksi myös ennen prosessointialueeksi Pi 999 *...· kuvitellun makrolohkon MB {N,M) prosessointia jo dek< ·,: : 25 ja mahdollisesti alueeltaan jo osittain prosessoiduit ff kölohkosarakkeelta N-l. Viimeisimpänä dekoodattu ja ] • ti makrolohko MBP3 (= N-l,M) on usein lohkomatriisissa ennen varsinaista pääosiltaan käsiteltäväksi miellettä *:* sinaista MB(N,M)-makrolohkoaluetta ollen näin myös se :***; 30 samalla makrolohkorivillä M.

15 lohkon MB(N,M) käsittely ja osaltaan myös alueen PA i minen voidaan suorittaa alueen PA yläpuolella oleva PA1 datan lisäksi tätä vasemmanpuolisen alueen PA2 dai täen.

5

Prosessointialueeseen PA kuuluva alimmainen vaakapil ja oikeanpuolimaisin pystypikselisarake on nyt prose; alueen PA pääasiallisesti muodostavan viimeisen ti lohkon (nyt MB{N,M)) oikean reunan ja alareunan lähe: 10 siten, ettei aluetta PA seuraavien lohkojen MBNl - MB] leitä ole tarvetta dekoodata/tallentaa alaspäin eikä eteenpäin. Ratkaisu tarjoaa näin ollen muun muassa £ ympäriltä vaaditun lisädatan järjestämiseksi erittäi kaan järjestelyn.

15

Kuten kuvasta 4 on nähtävissä, prosessoitava lohkoa PA2, PA3 (pääosiltaan = MB (N,M) ) on nyt pysty- ja v< nassa joitain pikseleitä ennen todellista lohi MB(N,M), käsittäen kuitenkin pääosan todellisen lo] 20 MB (N, M) pikseleistä. Alue PA on nyt siis ikään kuin nyt" sekä ylöspäin ja myös prosessoinnin etenemissuunl ♦ · ♦ '· *; van 1 katkoviivanuolet i ja ii) nähden vastaiseen « · < · « W päin asetetun pikselimäärän verran todellisesta • * » '...· makrolohkojaosta. "Siirtymä" riippuu kulloinkin suorii * * :,· : 25 olevasta prosessoinnista.

• « « 1··· ***

Edellisen perusteella menetelmän myötä on tarvetta vain ainoastaan niitä pikselialueita EA1, PA1, EA2, Pi *ί' saadaan juuri käsiteltäväksi miellettävää lohkoa ΜΒ(Ν^ 30 käsitellyiltä alueilta. Yhdeltä osaltaan tämä alue 16 1 sessoitu ja sitä varten dekoodattu ennen sillä hetki sessoitavaksi miellettävän rivin M prosessointia.

Vielä lisäksi on myös huomattava se, että molemmiss 5 kuvatuissa tapauksissa varsinaisen prosessoitavana oli een PA koko on kuitenkin sama kuin todellisen makrolo] MB(N,M) koko.

Keksinnöllä voidaan välttää runsaasti muistia vaatia 10 teisprosessointi. Etukäteisprosessointia on tunnetun 1 mukaisesti jouduttu suorittamaan jopa kulloinkin käsii si miellettävää (N,M)-makrolohkoa seuraaville makro! tai alueille MBNl - MBN4.

15 Kunkin prosessointitavan tai -algoritmin vaatima pii voidaan tallentaa laitteen 10.2 väliaikaisiin työrm 17.1. Tarvittavan aluetta PA muodostavan ja alueen PA alueiden EAl, EA2, EA4 pikselidatan määrän ja näin o'. osaltaan prosessointialueen PA "siirtymän" todellises: 20 yksikkömatriisijaossa ratkaisee kulloinkin käytettävä sointialgoritmi tai -algoritmit.

i * i « · • ·· • ♦ • * \V Kuvassa 5 esitetään eräs esimerkki menetelmän muisti1 sista elektronisessa laitteessa 10.2. Edellä mainittu • · : 25 prosessoitavan lohkoalueen PA1, PA2, PA3 naapurustoko] seurauksena menetelmän muistivaatimukset riippuvat « « « ·#ββ· alueelle PA1, PA2, PA3 suoritetuista prosessoinneista vaksi eräänä ensimmäisenä sovellusesimerkkinä esitetä; ββ*ϊ· pohjaista kuvanskaalausta, johon keksinnön mukaista m< :***: 30 voidaan soveltaa.

17 lailla soveltaa alaspäin skaalaamiseen eli pienempään tioon.

Skaalauksessa sovelletaan valittuja interpolointialg 5 Interpolointialgoritmit perustuvat syötedatan ja tiet lineaariseen yhdistelmään, jota ei tässä yhteydessä peen syvällisemmin selvittää. Interpoloitu pikseliarv laskea naapuripikselien lineaarisena yhdistelmänä. Tä tyen on mahdollista soveltaa kahta esimerkillistä me 10 Näistä ensimmäisenä voidaan mainita bilineaarinen in tio BIL ja toisena bikuutio konvoluutio interpolointi

Bilineaarisessa interpolaatiossa BIL käytetään pik laskennassa neljää (2x2) naapuripikseliarvoa. Tällöin 15 kin prosessoitavana olevan pikselin ympäriltä tarvil yksi pikseli sen joka puolelta. Bikuutio konvoluutio laatiossa BIC käytetään pikseliarvon laskennassa kuu (4x4) naapuripikseliarvoa. Tällöin kulloinkin proses olevan pikselin ympäriltä tarvitaan siis joka puole! 20 ulkonevasti peräkkäistä pikseliä. Edellisen mukaan ai PA2, PA3 ollessa tässä tapauksessa nyt esimerkillises

·1· S

** 12 lohkon MB (N, M) kokoa vastaava alue, sen ympäriltä • · • · fr V·1 yksi tai kaksi pikseliriviä ja -saraketta (k = 1 ta

·...· kuva 5) . Tällöin lohkoalueeseen PA1, PA2, PA3 kuuJ

• · j.j : 25 reunimmaiset muutamat pikselirivit.

1 »· 4 18

Koska kulloinkin skaalausprosessoinnin kohteena oi PA1, PA2, PA3 on valittu siten, että se on asetetun määrän verran aikaisemmin dekoodattujen ja mahdollif 5 kaisemmin alueeltaan jo osittaisesti skaalattujen ykj kojen MBPl - MBP3 suunnassa, niin tämä on huomioit näissä suunnissa (N,M)-makrolohkon ulkopuolelta huom: pikselirivien EA1 ja sarakkeiden EA2 määrittelyssä. Oi tava, että kokonaisalue PA1, PA2, PA3 on kuitenkin 10 vaaditun prosessointialueen PA kokoinen.

Edellisen perusteella bilineaarisessa interpolaati< tarvitaan kaksi pikselisaraketta EA2, PA2 ja -riviä pääasiallisesti prosessoitavaksi mielletyn makrolol 15 MB(N,M) vasemmanpuoliselta ja vastaavasti myös yläpi lohkoalueilta MBP3, MBPl, MBP2 (BIL =1+1=2, km Näistä pikseliriveistä EA1, PA1 ja -sarakkeista EA2, eeseen PA3 nähden lähemmät alueet PAl, PA2 muodosta\ taan prosessoitavaa aluetta PA. Vastaavasti alueeseen 20 den ulommat alueet EA1, EA2 edustavat skaalauksen ta] alueen PA ulkopuolista ympärysdataa.

• · i • ·« • m • · · V·* Bikuutio konvoluutio interpolaatiossa BIC tarvitaan m • * * # *··.· selisaraketta EA2, PA2 ja -riviä EA1, PAl pääasiallist * · • * » : 25 sessoitavaksi mielletyn makrolohkoalueen MB (N, M) vas« liselta ja vastaavasti myös yläpuolisilta jo aikaise *#· koodatuilta ja mahdollisesti myös jo osittain proses; lohkoalueilta MBP3, MBPl, MBP2 (BIC =2+2=4, km Näistä pikseliriveistä EA1, PAl ja -sarakkeista EA2, 5. i 30 eeseen PA3 nähden lähempänä olevat alueet PAl, PA2 muc 19

Luonnollisesti dataa skaalauksen suorittamiseksi vastaavalla tavalla myös alueen PA3 alapuoliselta alu todellisen MB(N,M) -lohkorajan alareunaan asti ja oik seita alueelta EA4 todellisen MB(N,M) -lohkorajan 5 reunaan asti, jotta myös alueeseen PA kuuluvat alareu ja oikeanreunimmaiset pikselit saadaan kunnolla s (makrolohkon MB(N,M) harmaa alue EA4 kuvassa 5). Kosk PA on "sopivasti" siirretty edellä kuvatulla tavalla ja myös vasemmalle päin, niin myös alueen PA3 alareun 10 kean reunan edellyttämä lisädata tulee huomioitua i vettä vasta tuonnempana skaalattaviksi tulevien lohk - MBN4 etukäteiskoodausta.

Bilineaarisessa interpolaatiossa BIL kulloinkin prose 15 na oleva makrolohkon kokoa vastaava alue PA1, PA2, PA la näin ollen (N,M)-yksikkömatriisimakrolohkojakoo siirtyneenä yhden pikselisarakkeen verran aikaisemmin tun ja mahdollisesti alueeltaan jo osittain prosesso rolohkoalueen MBP3 suuntaan. Vastaavasti prosessoitav 20 lohkoalueen PA1, PA2, PA3 siirtymä ylöspäin voi myös den pikselirivin verran edellä mainitut piirteet omaa • » */·; eiden MBP1 ja MBP2 suuntaan. Tällöin alue PA on yl • 4 yhden pikselirivin verran käsiteltäväksi miellettävä ·φ· lohkorivin M yläreunan yläpuolella. Vastaavasti alue ♦ · J 25 den pikselirivin verran käsiteltäväksi miellettävän : korivin M alareunan yläpuolella.

* * 4 4 • 4 4

Bikuutio konvoluutio interpolaatiossa BIC prosessoita *;· va makrolohkoalue PA1, PA2, PA3 voi edellä olevan mu! • M* ***** 30 todelliseen ίΝ. M) —vk^ikkÖTTn^tri i kittiä le rnl nhIcon hienon nähi 20 tava alue PA on kahden pikselirivin verran jo aika: vaiheessa osittain käsitellyn makrolohkorivin M-l MBP1, MBP2 siirtyneenä nyt käsiteltäväksi miellettävät lohkoriviin M nähden hieman sen yläpuolelle.

5

Laitteen 10.2 muistiin 17.1 tallennetaan kulloinkin k; vään lohkoon PA nähden edellisistä lohkoista MBPx tai kin alueista käsiteltävänä olevan alueen PA prosessoi] naita ja osaltaan myös käsiteltävänä olevan alueen P2 10 tamisen kannalta tarvittava määrä vaaka- ja pystysi pikselilinjoja BIL/BIC. Näitä pikselilinjoja kuvataar 5 vinoviivoitetuin aluein. Prosessoitavan alueen P alueiden PA1, PA2 muodostamista ja alueen reuna-aluej PA2 asianmukaista käsittelyä varten tarvitaan siis va: 15 MB(N,M)-yksikkölohkon ulkopuolista dataa edellä kuvat valla.

Prosessoitavaa aluetta PA tarkasteltaessa alue EA1 korkeudeltaan sama kuin L kappaletta juovamuistia. A] 20 + PA1 pituus on varsinaisen MB(N,M) makroblokin leve pikseliä) + L. L tulee mukaan siksi, koska alue PA oi * * nyt vasemmalle päin todellisesta (N,M)-lohkojaosta.

• ♦ :.V tarvitaan vaakasuunnassa L pikselisaraketta lisäksi MBP1 alueiden EA1, PA1 muodostamiseksi ja alueen PA1 ϊ Ϊ : 25 soimiseksi. Toisin sanoen EA1 + PA1 - L * (16 + L).

··· ··· · ;***: Vastaavasti alueen EA2 + PA2 koko on makroblokin ΜΒ(ϊ »* · keus (= 16 pikseliä) * L pikselisaraketta edellisest **. lohkosta MBP3. Toisin sanoen EA2 + PA2 == 16 * L. Kos ·*·*

.*··. 30 skaalauksen tapauksessa L = S + S eli L = 1 + 1 tai L

21 daan kyseisten naapurilohkojen MBP1, MBP2 alimmaiset rivit vaadituilta osin. Alueen PA1 tapauksessa tarvit vit alkavat, riippuen interpoloinnista, yhtä tai kah lisaraketta ennen prosessoitavaa aluetta PA määritte 5 stylinjaa (kuvassa 5 kohdasta S). Pikselirivien BIL/B + PA1) lukumäärät tässä tapauksessa ovat L = 2 tai 4, interpolointitavasta.

Prosessoitavan alueen PA yläpuolisten alueiden MBP1, 10 tamien kohdasta S alkavien pikselirivien lisäksi 17.1 pidetään alimmaisia muutamia pikselirivejä BI EA1', PA1') prosessoitavaksi sillä hetkellä mielletl dellisen lohkon MB(N,M) kanssa samalla rivillä M olev koista MBP3. Nämä rivit alkavat kuvan I vasemmasta la 15 näin ollen käsittävät myös lohkon MBP3 vasemmalla olevien jo aikaisemmin prosessoitujen lohkojen dataa sessoitavan alueen PA edellyttämien ympäryspikselien maan rajalinjaan E asti. Kuvasta 5 tällöin havaitaan, jalinjat S ja E ovat oleellisesti samalla pystylinjal 20 tissa 17.1 olevien pikselien lukumääräksi muodostuu mukaisessa tapauksessa tämän lisärividatan osalta lik $ · ·/*: * kuvakehyksen I vaakasuuntainen koko pikseleinä.

• · • · · • · · * * *

Edelleen työmuistiin 17.1 tallennetaan myös käsit * * I 25 miellettyyn MB(N,M)-makrolohkoon nähden edeltävästä ft MBP3 joitain pystysuuntaisia pikselisarakkeita. Näi1 : : leitä (= EA2 + PA2) esitetään kuvassa 5 myös vinoviiv a « « la. Näiden pikselien lukumääräksi muodostuu esimerk: *;· sessa tapauksessa L * 16 pikseliä. Tämä siksi, kosk, **# · ?“* 30 soitavan alueen PA korkeus on nvt makrolohkon MB koko 22 puu siis myös tässä tapauksessa sovelletusta prosesso; ritmista. Edellä esitetty 16 x 16 pikselin lohkokokc lohkopohjainen prosessointi) on tarkoitettu vain esi] eikä keksinnön mukaista menetelmää ole mitenkään side 5 hen. Mikä tahansa lohkokoko voi siis tulla kyseeseen.

Vielä edellä määriteltyjen reuna-alueiden PAl, PA2 k< miseksi vaadittujen ja osaltaan myös varsinaista prose aluetta PA muodostavien pikselien lisäksi tarvitaan 1 10 muistia 17.2 osittain myös prosessoitavaa aluetta PA ] van alialueen PA3 dataa varten, jota kuvassa 5 kuvat harmaana 16x16 -alueena. Tämä alue PA3 + EA4 on kokon; vasti muistissa 17.2, koska se on juuri dekoodattu. V: muisti, joka myös tarvitaan, on tietysti skaalatun ma] 15 PA tuloslohkolle 12.3 tarkoitettu muisti 17.3. Tämär 17.3 koko voi riippua esimerkiksi skaalauskertoimen Tuloslohko 12.3 voidaan siirtää heti kyseisen lohkoa prosessoinnin jälkeen suoraan näyttömuistille tai säi] 15.

20

Molemmissa edellä mainituissa skaalaustavoissa keksi # · kainen menetelmä tarjoaa muistitehokkaan tavan suori * * *,V luttuja skaalaustoimenpiteitä.

• ·* • 9 9 9 999 * ! 5 : 25 Kuvassa 6 esitetään eräänä toisena sovellusesimerkkir 999 9 9 *5* keksinnön mukaista menetelmää voidaan myös soveltaa, jäistä kuvanskaalausta ja lohkoutumisenestoa (deb] 999

Alueiden PAl, PA2, PA3 viitteiden osalta viitataan kui ··· 5, joissa esitetään näiden alueiden sijaintia prosessi ·♦·· 30 alueessa PA. Lohkoutumisenesto 18 vaaditaan, koska sl 23 6 tapauksessa tumman- ja vaaleanharmaana-alueena, jc tapauksessa käsittää alueen PA ja joitain pikseleitä < oikealta ja alapuolelta, kuten kuvasta 6 voidaan helj deta.

5

Kuvassa 7 esitetään eräs esimerkki jälkiprosessoinnii tavasta lohkokaaviosta toisen sovellusmuodon mukaise; uksessa. Siinä lohkoutumisenestoa 18 suoritetaan dek< 13 jälkeen, mutta kuitenkin ennen skaalausta 14.1 ja 10 rannusta. Toisaalta, joskus saattaa olla tarpeen : pelkästään lohkoutumisenestoa, skaalauskertoimen oll€ löin 1. Skaalausta 14.1 seuraa tässäkin tapauksessa i set kuvanparannusprosessoinnit 14.2. Toisaalta kuvan] prosessointeja voi olla myös ennen skaalausta 14.1. Ti 15 syystä, että ennen skaalausta 14.1 pikseleitä voi olj män kuin skaalauksen 14.1 jälkeen ja silloin on edu. tehdä kuvanparannusprosessoinnit ennen skaalausta huomattava, että lohkopohjäinen prosessointi voi sisä'. muita toimintoja, joita ei tässä sovellusmuodossa yks; 20 suuden vuoksi esitetä.

♦ ·

Kun videodatan tai kuvadatan 12.1 jälkiprosessointik* • ♦ \V kuuluu myös lohkoutumisenestosuodatin 18, on tällöin ··· huomioon myös tämän suodattimen vaatima data. Kuvasta • · lii 25 väittävissä, että lohkoutumisenestosuodatin 18 saatti * mm*V kasvattaa prosessoinnin vaatimaa aluetta prosessoitava PA ympäriltä esimerkiksi pelkkään skaalaukseen verratl vassa 6 esitetään eräs esimerkki lohkoutumisenestopr< *;· nin edellyttämistä lisäpikseleistä M, D, A. On huomati i**· ·***· 30 tä erilaiset skaalaus ja lohkoutumisenestomenetelmät

J

24

Lohkoutumisenestoon 18 liittyvää perusteknologiaa ei koituksenmukaista alkaa tässä yhteydessä sen enempää lemään, vaan sen tapauksessa voidaan viitata esimerki jän W0-julkaisuun 98/41025. Siinä esitetään adaptiiv 5 datin lohkoutumisesta aiheutuvien artefaktien estämis

Lohkoutumiseneston perusperiaatteesta kuitenkin täs* dessä voitaneen mainita sen verran, että suotimella 1 taan DCT-muunnoskertoimien kvantisoinnista aiheutunu-ίο I lohkoutumista (eli artefaktia). Suodin 18 toimii teissään siten, että se muokkaa esimerkiksi kolmea p via todellisten lohkoreunojen B-edge, MB-edge molemmi Suodattimen 18 voimakkuuden määrittelyyn tarvitaan es kuusi pikseliriviä lohkoreunan B-edge, MB-edge molemm 15 (eli yhteensä 12 pikseliriviä ja saraketta). Puole kuudesta pikselirivistä kolme vierekkäistä pikseliriv koreunan B-edge, MB-edge molemmilla puolilla modifioi saksi puolellaan kolmea seuraavaa pikseliriviä D käyt tektointipikseleinä. Niitä käytetään lohkoutumisvirh* 20 vaitsemistarkoituksessa.

« ♦

Jos alueen PA skaalauksessa 14.1 on tarkoitus käyttää * * • ,ϊ,ϊ konvoluutio interpolointia BIC ja lohkoutumisenesto • « · sessa 18 hakijan lohkopohjaiseen prosessointiin mo ;e; ! 25 lohkoutumisenestoa 18, jota käsitellään juuri edellä ·:· sa WO-julkaisussa, tarvitaan makrolohkoalueen MB ra !***: edge) ja prosessointialueen PA väliseltä alueelta p ·*» alueen MB reuna-alueiden prosessoimiseksi kuvan 6 ·;· hahmotellun juovamuistiasetelman mukaisesti. Tarkemn «f f· ·***· 30 iuovamuistiasetelmia ia niiden muodostumisoeriaatteil 25 tai ainakin jo valmiiksi koodattujen lohkojen BP1 -eella PA1, PA2.

Modifioituja lohkoutumisenestopikseleitä M tarvitaan 5 eelta (MB-edge - PA-edge) edellä esitetyn mukaan esim pikseliriviä, lohkoutumisenestodetektorin edellyttäm: leitä D tarvitaan myös esimerkiksi 3 pikseliriviä. saatetaan tarvita vielä mahdollisia skaalaimen vaatii pikseleitä A riippuen esimerkiksi lohkoutumisenestod 10 vaatimien pikselien D lukumäärästä. Skaalaimen vaatii pikseleitä A tarvitaan tässä tapauksessa A = S - D = A * 0 pikseliriviä. Myös MB rajan MB-edge toisella (eli alueilla B1 - B3) tarvitaan M- ja D- pikseleit, vasti samoin kuin tällä MB-edge - PA-edge -välialu 15 Edelleen skaalaimen 14.1 edellyttämiä alueen PA ulk pikseleitä S tarvitaan nyt 2 pikseliriviä, jotka ali EA2 ovat nyt myös edeltävien lohkojen BPl - BP5 alueet

Skaalaimen 14.1 edellyttämiä alueen PA puoleisia lisä; 20 tä A ei kyseisen lohkoutumisenestosuotimen 18 tapauks vita lainkaan (A = 0) . Tämä siksi, että kyseisessä muodossa sovellettu lohkoutumisenestosuodin 18 tarvit * * \V fioitavan alueen (M = 3 pikseliä) lisäksi kolme dete « « · seliä D ja kaksi alueen PA puoleista skaalauspikseliä • * « 25 naisen skaalauksen suorittamiseksi. Tällöin skaalai * vaatimat pikselit ikään kuin sisältyvät alueita PAl, ·»» : : dostaviin D-riveihin/sarakkeisiin, koska ensimmäisen vitsemalla paikalla voi myös olla D-pikseleitä. S ··· 14.1 vaatimia lisäpikseleitä A tarvitaan esimerkiksi ** · 9 ·***· 30 sftssa 1" i lanteessa. inssa D-ni VrpI pi f λ nlp ri it.tävi 2 6 koitetaan kuvan 6 alueiden PAl ja PA2 PA-edgen ylä] vasemmalla puolella olevia pikseleitä. Vastaavasti S down/right -pikseleillä tarkoitetaan kuvan 6 alue PA2 PA-edgen alapuolella ja oikealla puolella olevi, 5 tä. On huomattava, että kuvan 6 alareunan karkeassa tin tarvetta hahmottelevassa piirroksessa ei näitä S down/right -pikseleitä ole selvyyden vuoksi esit ne voivat sisältyä siinä esitettyihin A- ja D-piks riippuen tietenkin käytetystä prosessointialgoritmi; 10

Kuvassa 8a esitetään eräs ensimmäinen sovellusmuot< mukaisesta juovamuistiasetelmasta. Kyseisessä tapai velletaan sellaista lohkoutumisenestosuodinta 18, fioitavien pikseleiden M lisäksi ei tarvita yhtään 15 tipikseleitä D. Tällaisessa tapauksessa skaalaimen mien pikselien määrä on skaalaimen 14.1 vaatiman pi S suuruinen eli tässä tapauksessa 2+2. Nyt juovam vitaan yhteensä siis M + S + S pikseliä.

20 Kuvassa 8b esitetään eräs toinen juovamuistin tarve * sovellusmuoto. Siinä detektoripikselien D lukumääri β·β/ vaan joitain pikseleitä (= 1) . Detektointipikselien * · # .*··. rä on nyt kuitenkin vähemmän kuin S (=2) eli nyt i • * • .·. Tällöin skaalaimen 14.1 vaatimien lisäpikselien A 1 * · · 25 saadaan A = S- D = 2-1 = 1 pikseli. Yleisellä ta .···. laimen vaatimien lisäpikselien A lukumäärä voidaar muodossa A = max(0, S - D) .

* • * * • · φ ··· .··*· Kuvassa 8c esitetään eräs kolmas sovellusmuoto kel • » 27 ' 1

Kuvassa 8d ja 8e esitetään neljäs ja viides sovellusmi vamuistintarpeeseen liittyen. Näissä muistintarve on ; tettu hyvin pieneksi. Myös tässä tapauksessa D > S. I 5 taan kuitenkin se toteutustapa, kumpi on suurempi sei kahdesta tapauksesta eli (M + S + S) tai (M + D). Kuv; kaisessa tapauksessa S + S on suurempi kuin D, joten yläpuolelle jää yksi skaalaimen vaatima lisäpikselirj tintarpeen ollessa siis M + S + S. Tämä lisäpikseliri'' 10 nyt yhteinen lohkoutumisenestossa tarvittavien piksel: sa.

Kuvassa 8e esitetään vielä viides sovellusmuoto muist: seen liittyen. Tässä tapauksessa on voimassa edellis^ 15 tyen tilanne D > S + S. Tämän seurauksena juovamuis määrää pelkästään lohkoutumisenestosuodatin 18. Mu: peeksi muotoutuu tällöin siis M + D.

Yleisellä tasolla laitteessa 10.2 on lisädatalle varal 20 tava muistia 17.1 likimäärin (M + MAX(S + S, D)) x (p: tavan kuvakehyksen (I) leveys + prosessointialueen E

• * us)). Lisäksi muistia 17.2 tarvitaan myös viimeisimpäi ♦,V tulle makrolohkolle MB(N,M), jolle alue PA3 ja EA4 ; * « · vat. Kuvan (I) vaakasuuntainen koko edustaa horisontc * · ί ! ! 25 sädataa kuvan I vasemmasta reunasta alkaen aina oike ··· «

*:* naan saakka. PA-korkeus -osuus edustaa vertikaalia I

♦ ♦♦· (N,M) -makrolohkoalueen vasemmanpuolimaisista yksikköä B4, B5.

• » » i ·***· 30 Kun prosessointi etenee kuvakehyksessä I, niin juov; 28 la, kuten kuvan 6 tapauksessa voidaan kuvitella oleva! datan vaihtuminen voidaan kuvitella tapahtuvaksi ik juovamuistin 17.1 keskellä vastaten periaatteessa v; nassa prosessoitavan alueen PA sijaintia kuvan I vaak; 5 sa.

Makrolohkomatriisista, josta prosessoitava alue PA oi non mukaisella tavalla muodostettu, juovamuistiin 17.: lennettu ne edellä mainitulla tavalla mukaan otettaval 10 pikselirivit EA1', PA1', jotka ovat prosessoitavaan < PA kuuluvan alimmaisen lohkorivin B3, B4 alareunassa, juovamuistissa 17.1 olevat S,A,D,M -pikselirivit alka^ kehyksen I vasemmasta reunasta ja jatkuvat aina prose: alueen PA vasempaan reunaan saakka tai vielä erityisei 15 sessoitavan alueen PA kohdalla skaalaimen vaatimaan ] valla esitettyyn pystysuoraan pikselilinjaan E saak juovamuistiin 17.1 tallennettua kuvakehyksen I alkupc tarvitaan vasta siinä vaiheessa, kun siirrytään käsil nykyiseen alueeseen PA nähden alapuolisista lohkoalue 20 muodostettua prosessointialuetta. Prosessoitaessa n] makrolohkorivillä olevia peräkkäisiä prosessointialue • · • · · ** *· ten esimerkiksi sillä hetkellä prosessoinnin kohteen * * *.V lohkoaluetta PA, alueiden EA1', PA1' E-kohtaan asti \ ··· *·..· dataa ei siis tarvita.

• · * · · * · · 25

Alareunan päätöskohdasta E eteenpäin juovamuistiin 1 »Il daan kuvitella tallennetuksi prosessoitavan alueen Pi määrittelevät ja alueen PA yläreunan yhteydessä olevc S,A, D,M -pikselirivit. Ne jatkuvat aina kuvan I oike • · · ! : 30 taan asti. Alueen PA prosessointia varten ja osaltaar 29 osan datalla kuvan I oikeaan laitaan asti. Tätä da taan aluetta PA seuraavien alueiden (mm. BNR) proses

Vastaavalla tavalla on huomioitava myös prosessoita^ 5 lettävän todellisen makrolohkon pystysuuntainen ; tässä prosessointitapauksessa on erityisesti kä£ olevan alueen PA vasemman reunan tienoo eli alue EA2 mä data käsittää keksinnön menetelmän vaatiman piks pätkän. Alueen EA2, PA2 koko on prosessoitavana ole 10 PA korkeus * SADM -pikselirivin korkeus = MB-heigh dessä tämä data muodostaa vertikaalisen pikselisarakkeiden muodostaman lisädatasarakkeen, j taan prosessoitavan lohkoalueen PA muodostamiseksi taan PA2 ja alueen PA vasemman alialueen PA2 hoitan 15 seisessä prosessointitapauksessa (= skaalaus ja misenesto) asianmukaisesti. Lisädatasarakkeen data siis osaltaan osan prosessoitavasta alueesta PA2 j ympärysalueista EA2.

20 Kun lohkoalueelle PA suoritetaan prosessointia t.

. viimeistään kyseisen alueen PA prosessoinnin jälkeei • ·« 1'/ taan juovamuistissa 17.1 jo edellä mainittuja päivit *·* * ,···β hen tallennettuun dataan. Muutoksissa ensinnäkin te • · * « · ; #·β prosessoitavana olleen lohkoalueen PA kohdalta sen • t e ··· « .·. 25 uudet lisäjuovat juovamuistiin 17.1. Näitä uusia juc ···· .···. voidaan kuvitella siirtyneeksi alueen EAl' , PA1' ja • «e käen kohdasta E, hyödynnetään seuraavalla prosessoit ; villa olevien lohkoalueiden BND prosessoinnissa kefc kai sei la tavalla.

• ♦ *· · • ^ Λ 30 on seuraavana prosessoitavaksi otettavan alueen (BNJ malta laidalta edellytettyä lisädataa kyseisen aluee tamiseksi seuraavan PA:n alueeltaan PA2 ja sen reuna-sittelemiseksi (seuraavan PA:n alue EA2). Nämä edellä 5 päivitykset voidaan suorittaa vasta sitten, kun nyky een PA prosessointi on edennyt niin pitkälle, että si juovamuistissa 17.1 ollutta dataa ei enää tarvita.

Seuraavaksi selostetaan hieman tarkemmin datakierron 10 mistä juovamuisteihin 17.1. Sen jälkeen, kun kyseisi PA prosessoinnissa on tehty deblokkaus ja skaalausta tettu jo niin pitkälle, ettei ylhäällä olevia lisäju PA1 enää tarvita kyseisen alueen PA prosessoinnissa, haalla oleva L:n korkuinen alue ja MB:n levyinen 15 (EA2:sen ja PA2:sen alaosan L*L -alue ja EA4:sen vaak nen ala-alue, kooltaan (16-L-S) * L) voidaan siirtää 17.1 yläosan muistin EA1, PA1 paikalle odottamaan lohkorivin (BND) prosessointia tällä vastaavalla Siirto pitää tehdä viimeistään siinä vaiheessa, kun a 20 skaalattu. Oikealla olevalle EA4 -alueelle tulee teh vasemman osan vertikaalimuistin kanssa siinä vaihee • · ft ft ft ’* *J vasemman puoleisen alueen EA2, PA2 muistia ei enäc • « • · · (eli siis lohkon PA skaalauksen jälkeen).

• ft· • ft • ·

Ml * · : 25 Edelleen on myös huomattava, että prosessoitavan alu< oltava täsmälleen saman kokoinen kuin sen pääasialli **· sittämät makrolohkotkin B1 - B4 ovat. Lisäksi on hu että juovamuisteissa oleva data muokkautuu prosessoin ft na pelkästään M-pikselien osalta. Muokkautuminen t 30 tässä tapauksessa nimenomaan pelkästään lohkoutumis 31 olevat tummat ja harmaat alueet kuvaavat kunkin 8x8-J - B4 reuna-alueilta vaadittua dataa niille jo aikaisei ritetun lohkoutumiseneston suorittamiseksi. Ennen kud lohkoalueen PÄ skaalausta voidaan alkaa suorittamaan, 5 ritettava lohkoutumisenestokäsittely todellisen makro' sisällä oleville 8x8-lohkoalueiden B1 - B4 reunoil alue alkaa hieman todellisen makrolohkon PA:n vasemmai reunan oikealta ja alapuolelta ja ulottuu myös hiema lohkoalueen PA oikealle ja alapuolelle, kuten kuva; 10 helposti todettavissa.

Tummanharmaat (detektointipikselit) ja vaaleanharmaat oidut pikselit) alueet näiltä 8x8-lohkoalueilta kuvaan alueita, joille tämän kyseisen makroblokin PA alueelle 15 ritettava lohkoutumisenestosuodatus ennen kuin pääst rittamaan itse varsinaista makroblokin PA skaalausta, kin vain vaaleanharmaita modifiointipikseleitä M m\ detektointipikselit D säilyvät muuttumattomina.

20 Pallomaisesti ristikoidut alueet prosessoitavana olev; lohkoalueen PA vasemmalla puolella ja ylhäällä ovat * * *.*·: (eli samalla rivillä ja edellisellä makrolohkorivillä) * · \V soitujen makrolohkojen BP1 - BP5 alueita. Näille on si lohkoutumisenesto edellisien prosessoitavien alueide * * · 25 dessä. Näistä alueista prosessoitavana olevaan alue nähden ylhäällä olevat alueet siirtyvät juovamuistien • ft ft välityksellä tälle uudelle makrolohkoalueelle PA ja v< ti prosessoitavana olevaan alueeseen PA nähden vasemiru ·;· vat alueet lisäsarakemuistien EA2, PA2 välityksellä t :***: 30 delle makrolohkoalueelle PA.

32 keskimmäisten lohkoutumisreunojen kohdilla, vaan a: ylhäällä ja vasemmalla.

Koska keksinnössä prosessoitava alue PA määritellään 5 väliä tavalla ikään kuin "siirtyneeksi" verrattuna es: todellisiin koodattuihin lohkoihin nähden, niin se tarvetta erikoistoimenpiteille esimerkiksi kuvakehykst nimmaisilla alueilla (mikäli niitä prosessoidaan), jc kuva-alue I saadaan käsiteltyä. Tarkemmin ottaen tä 10 syntyy ensinnäkin siitä, että kuvan I ensimmäisellä r: vasemmassa laidassa keksinnön mukaisella tavalla mi prosessointialue PA on pienempi, koska edeltävää data; PA1,2) ei ole niillä alueilla olemassa. Vastaavasti viimeisellä rivillä ja oikeassa laidassa on prosessori 15 tamat pikselit käsiteltävän lohkon alapuolelta ja puolelta, jotka siis muuten jäisivät käsittelemättä erikoisalueiden hoitaminen voidaan saada aikaan es: ohj elmallisesti.

20 Keksinnön mukainen menetelmä ei edellytä kuvan j en/makrolohkojen etukäteisprosessointia. Kun lohko • · dekoodattua esimerkiksi datavirrasta, se voidaan väl: • » \V prosessoida valitulla tavalla (esimerkiksi parantaa t a I,..! lata) ja tallentaa tulevaa käyttöä varten. Näin oiler • * •J 2 25 nön mukainen prosessointimenetelmä onkin erityisen : ·.· datastreamingia käyttäviin sovelluksiin.

·»· • 9 * · • ·

Menetelmän muistivaatimukset ovat pienet. Työmuistia ] ·*· vitaan vain muutamia juovia edellisille lohkoille ( ···· ;***; 30 tietenkin hieman muistia 17.2, 17.3 käsiteltävänä ole 33 kaisen menetelmän aikaan saamiseksi elektronisessa 1 10.2.

Lohkopohjäinen prosessointi saattaa käsittää myös es 5 pikselipohjaista parannusta (esimerkiksi gamma-korjai ei vaadi ylimääräistä muistia.

Keksintöä voidaan soveltaa signaalinkäsittelyteholta; muistikapasiteetiltaan rajoitetuissa kuvannuslaitteis 10 esimerkiksi kamerapuhelimissa tai kannettavissa dialaitteissa. Menetelmä sopii sovellettavaksi myös j miin, joiden datakanava on kaistanleveydeltään rajoit netelmää voidaan soveltaa niin dekoodaus- kuin enko heissakin.

15

On ymmärrettävä, että edellä oleva selitys ja siihen kuvat on tarkoitettu ainoastaan havainnollistamaan es vaa keksintöä. Keksintöä ei siten ole rajattu pelkäst lä esitettyihin tai patenttivaatimuksissa määritelty 20 vellusmuotoihin, vaan alan ammattimiehelle tulevat oi meisiä monet erilaiset keksinnön variaatiot ja mu » » -* * « · *· " jotka ovat mahdollisia oheisten patenttivaatimusten • » * *·*·* lemän keksinnöllisen ajatuksen puitteissa.

• « · • « ·«· • # • · * • » · • · » * » « * » · « • « m · • · · ··»· ♦ ·

Claims (40)

1. Elektroninen laite (10.2), johon kuuluu dataproses; lineet (13, 14, 16, 18) ja muistia (17) prosessoinnii 5 tamiseksi kuvadatalle (12.1) lohkopohjaisesti, jossa (12.1) on sovitettu koodattavaksi asetetulla tavalla tettyihin yksikkölohkoihin (B, MB), joista yhden tai yksikkölohkon (B, MB) datasta on muodostettavissa asel kainen prosessointialue (PA) ja jota prosessointi, 10 muistiin (17) on järjestetty prosessointialueen (PA) lisäksi asetetulla tavalla prosessointialueen (PA) yi alueiden (EA1, EA2, EA4) dataa prosessointialueen (P7 alueiden prosessoimiseksi, tunnettu siitä, että osa sointialueesta (PA1, PA2) on sovitettu muodostumaan ; 15 min koodatusta ja alueeltaan mahdollisesti jo ainakin prosessoidusta yhdestä tai useammasta yksikkölohkosta MBP3, BP1 - BP5).

2. Patenttivaatimuksen 1 mukainen elektroninen laite 20 tunnettu siitä, että sanottu koodaus on enkoodausta (2 *.*·: 3. Patenttivaatimuksen 1 tai 2 mukainen elektronin • · (10.2) , tunnettu siitä, että sanottu koodaus on de] • · » (13). * t · λ e • · · 25 IM ·

4. Jonkin patenttivaatimuksen 1-3 mukainen elektroni te (10.2), tunnettu siitä, että sanotut yksikkölohkc BP2, BP3) ovat ennen prosessointialueen (PA1, PA2, E *i* sessointia mahdollisesti jo osittain prosessoidulta - mm 30 semmin koodatulta yksikkölohkoriviltä (M—1) . sessoidulta ja aikäisenänin koodatulta yksikkölohkosa (N-l).

6. Jonkin patenttivaatimuksen 1-5 mukainen elektron 5 te (10.2), tunnettu siitä, että sanottujen mahdolli osittain prosessoitujen ja aikaisemmin koodattujen yk kojen (MBP1 - MBP3, BP1 - BP5) data on sovitettu muo osaltaan prosessointialueen (PA1, PA2) ja osaltaan y alueen (EAl, EA2) ja data käsittää suoritettavista pr 10 titoimenpiteistä riippuvan määrän pikselilinjoja (S, J

7. Jonkin patenttivaatimuksen 1 tai 3 - 6 mukainen e nen laite (10.2), jossa kuvakehyksen (I) esimerkiksi kon (MB) kokoiselle alueelle (PA1, PA2, PA3) suorit 15 sovitettu prosessointi on ainakin lohkoutumisenestoa skaalausta (14.1), tunnettu siitä, että kuvakehyksen sessoimiseksi laitteessa (10.2) on muistia (17) likimi MB-size + Output-size (M + MAX (S + S, D) ) x 20 (kuvakehyksen (I) leveys + prosessointialueen (MB) ko: « ♦ • « · *. T 8. Jonkin patenttivaatimuksen 1-7 mukainen elektron • * V.: te (10.2), tunnettu siitä, että kuvadata (12.1) on iia videokuvavirtaa. • * • · · A_ « · · 25 <·* * ^

9. Menetelmä kuvadatan (12.1) lohkopohjäiseksi proses • •e * ! si, jossa menetelmässä »a» ' J kuvadataa (12.1) koodataan asetetulla ββ*ί* järjestettyihin yksikkölohkoihin (B, MB) , *·* ί I 30 - vhdem tai useamman vlcsi kVnl nhlcnn iR. MB’ päristöalueiden (EA1, EA2, EA4) dataa p tialueen (PA) reuna-alueiden prosessoin) tunnettu siitä, että osa prosessointialueesta (PAl, dostuu alueeltaan jo aikaisemmin koodatusta ja mat 5 ainakin osittain jo prosessoidusta yhdestä tai usea sikkölohkosta (MBP1 - MBP3, BP1 - BP5).

10. Patenttivaatimuksen 9 mukainen menetelmä, tunne että sanotut yksikkölohkot {MBP2, BP2, BP3) otetaan 10 notun prosessointialueen (PAl, PA2, PA3) prosessoint dollisesti osittain prosessoidulta ja aikaisemmin yksikkölohkoriviltä (M—1).

11. Patenttivaatimuksen 9 tai 10 mukainen menetelmä 15 siitä, että sanottuja yksikkölohkoja (MBP1, MBP3, BP5) otetaan lisäksi ennen sanotun prosessointial PA2, PA3) prosessointia mahdollisesti jo osittain dulta ja aikaisemmin koodatulta yksikkölohkosarakkee

12. Jonkin patenttivaatimuksen 9-11 mukainen menet * . nettu siitä, että sanottujen jo osittain prosessoiti • ·* 1. kaisemmin koodattujen yksikkölohkojen (MBP1 - MBP3, * i * data muodostaa osaltaan prosessointialueen (PAl, PA^ • » • β·β taan ympäristöalueen (EA1, EA2) ja data käsittää £ 2·ί 2 25 vista prosessointitoimenpiteistä riippuvan määrän j * .···. joja (S, A, D, M). * · ·** . .·. 13. Jonkin patenttivaatimuksen 9 tai 11 - 12 mukain* ***** ··*·. mä, jossa kuvakehyksen (I) esimerkiksi makrolohkon i *·· m __ i ^ ^ 1 ^ «1 rs* ^ \ » · 37 1 (M + MAX (S+S, D)) x (kuvakehyksen (I) leveys + prosessointialueen (MB) koa

14. Jonkin patenttivaatimuksen 9-13 mukainen menete! 5 nettu siitä, että kuvadata (12.1) on jatkuvaa videokm

15. Jonkin patenttivaatimuksen 9-14 mukainen menete; nettu siitä, että koodaaminen on enkoodausta (30).

16. Jonkin patenttivaatimuksen 9-15 mukainen menete! nettu siitä, että koodaaminen on dekoodausta (13).

17. Ohjelmatuote (31) kuvadatan (12.1) lohkopohjaise sessoimiseksi, jossa ohjelmatuotteeseen (31) kuuluu 15 - koodi (13, 30) kuvadatan (12.1) koodi asetetulla tavalla järjestettyihin yksikl hin (B, MB), koodi (31.1) asetetun mukaisen prosessori (PA) muodostamiseksi yhden tai useamman 20 lohkon (B, MB) datasta ja . , - koodi (31.1) prosessointialueen (PA) yr # 1 2 3 1 l / alueiden (EA1, EA2, EA4) datan koostamisc * 1 1 '·1·1 ta on sovitettu käytettäväksi prosessori • 1 !1··1 (PA) reuna-alueiden prosessoinnissa, ♦ 1 *·· · 25 tunnettu siitä, että ohjelmatuote (31) käsittää koodii • 1 * « · ••5 jolla osa prosessointialueesta (PA1, PA2) on sovitetti ··« 2 *·1.1 tumaan alueeltaan jo aikaisemmin koodatusta ja mahdc jo ainakin osittain prosessoidusta yhdestä tai useamn ...T sikkölohkosta (MBP1 - MBP3, BP1 - BP5) . 3 : : so

19. Patenttivaatimuksen 17 tai 18 mukainen ohjelmat tunnettu siitä, että ohjelmatuote (31) käsittää lisi (31.1), jolla sanotut yksikkölohkot (MBP1, MBP3,

5 BP5) on sovittu otettavaksi mahdollisesti jo ositta soidulta ja aikaisemmin koodatulta yksikkölohkosara) 1) .

20. Jonkin patenttivaatimuksen 17 - 19 mukainen oi 10 (31), tunnettu siitä, että sanottujen jo osittain pj jen ja aikaisemmin koodattujen yksikkölohkojen (MB BP1 - BP5) data muodostaa osaltaan prosessointial PA2) ja osaltaan ympäristöalueen (EA1, EA2) ja sa käsittää suoritettavista prosessointitoimenpiteistä 15 määrän pikselilinjoja (S, A, D, M).

21. Jonkin patenttivaatimuksen 17 tai 19 - 20 mukai matuote (31), jossa ohjelmatuotteella (31) kuvake esimerkiksi makrolohkon (MB) kokoiselle alueelle

20 PA3) suoritettavaksi sovitettu prosessointi on aina) · tumisenestoa (18) ja skaalausta (14.1) , tunnettu s • ·1 • · kuvakehyksen (I) prosessoimiseksi ohjelmatuote (31 * 1 · • · .···, tettu varaamaan muistia (17) likimäärin: • · ·«· : ,·. MB-size + Output-size

1 I **!:! 25 (M 4- MAX ( S + S, D) ) X «•M ··1·. (kuvakehyksen (I) leveys + prosessointialueen (MB) k ·2 2· 22. Jonkin patenttivaatimuksen 17 - 21 mukainen oi *** 2 :1"1· (31), tunnettu siitä, että kuvadata (12.1) on iatkt • i 1

24. Jonkin patenttivaatimuksen 17 - 23 mukainen ohj< (31) , tunnettu siitä, että koodi kuvadatan koodaamia sittää dekoodauskoodia (13) .

25. Jonkin patenttivaatimuksen 9 - 16 mukaisen m< käyttö kuvadatan (12.1) skaalaamisessa.

26. Jonkin patenttivaatimuksen 9 - 16 mukaisen m< käyttö kuvadatan (12.1) lohkoutumisenestossa. • · • « · • * • m • · · • · · • * • · • · ««# • · • « * • * · ♦ ··· » «««« ··« • » ·«· « · X. En elektronisk anordning {10.2), vilken innefat handlingsanordningar (13, 14, 16, 18) och minne ( 5 utföra databehandling av bilddata (12.1) pä basei där bilddata (12.1) är anordnat att kodas till enhe MB) anordnade pä förutbestämt sätt, utifrän vilka e omräde (PA) enligt vad som bestämt kan utformas av eller flera enhetsblock, och för vilken databehan ίο pä processomrädet (PA) arrangeras i minnet (17) sä ett förutbestämt sätt data pä de omgivande omrädenc EA4) tili processomrädet (PA) för databehandling a\ rädets (PA) randomräden, kännetecknad av att en < cessomrädet (PA1, PA2) är anordnat att bildas a\ 15 flera enhetsblock (MBPl - MBP3, BP1 - BP5) som rec har kodat s och utav ett omräde som eventuellt tidi har databehandlats.

2. En elektronisk anordning (10.2) enligt patentkrs 20 tecknad av att den nämnda kodningen är kodning (30) » · • · t • M * · • * ν,ί 3. En elektronisk anordning (10.2) enligt patentk 0*0 2, kännetecknad av att den nämnda kodningen är avkc • · 000 0 0 0 M» | • .·!:* 25 4. En elektronisk anordning (10.2) enligt nägot a^ « »a ven 1-3, kännetecknad av de nämnda enhetsblocken BP3) är frän en rad (M-l) av enhetsblock som möjli a * 5·ί : har delvis blivit behandlad och tidigare kodad f 0 « · 0 * ***’ Vinn/^Ί ιπγγλπ cnr A C* C* ΓΐΤΠ>*4/^ Δ f* / Ό Ά 1 DäO DÄ Ί \

6. En elektronisk anordning (10.2) enligt nägot av ven 1 - 5, kännetecknad av att data frän de näm blocken (MBPl - MBP3, BPl - BP5) som möjligtvis r 5 har behandlats och tidigare kodats har anordnats bilda processomrädet (PAl, PA2) och delvis det omgi det (EAl, EA2) och att data inbegriper ett antal (S, A, D, M) vilket beror av de databehandlingsoper skall utföras. 10

7. En elektronisk anordning (10.2) enligt nägot av ven 1 eller 3-6, där databehandlingen av den bild är anordnad att utföras, pä t.ex. ett omräde (PA1 s tort som ett makroblock (MB) är ätminstone debl< 15 och skalning (14.1), kännetecknad av att anordnii har minne (17) för databehandling av bildramen tili mängden: MB-size + Output-size (M + MAX(S + S, D)) x 20 (bildramens (I) bredd + processomrädets (MB) höjd). • mm • ·· • I • Φ \V 8. En elektronisk (10.2) anordning enligt nägot av « ·· ven 1-7, kännetecknad av att bilddata (12.1) är e • · : erligt flöde av videobilder. 25 * # * "

9. Ett förfarande för blockbaserad databehandling (12.1), enligt vilket förfarande • · · *11/ - bilddata (12.1) kodas tili enhetsblo * « • « - - - ningsomräden (EA1, EA2, EA4) för att d< randomrädena av processomrädet (PA), kännetecknat av att en del av processomrädet (PA1, ] av ett eller flera enhetsblock (MBP1 - MBP3, BP1 - ] 5 omräden redan tidigare har hiivit kodade och möjlic delvis behandlade.

10. Ett förfarande enligt patentkrav 9, kännetecknai nämnda enhetsblocken (MBP2, BP2, BP3) tas frän en r; 10 enhetsblock som redan möjligtvis hiivit delvis beha] databehandlingen av det nämnda processomrädet (PAl, och som tidigare har kodats.

11. Ett förfarande enligt patentkrav 9 eller 10, ki 15 av att de nämnda enhetsblocken (MBP1# MBP3, BPl, BP< dessutom frän en kolumn (N-l) av enhetsblock som delvis behandlats före databehandlingen av det nämn< omrädet (PAl, PA2, PA3), och som tidigare har hiivi 1

12. Ett förfarande enligt nägot av patentkraven 9 - :*·.· tecknat av att data frän de nämnda redan delvis beh< • # - :Y: tidigare kodade enhetsblocken (MBP1 - MBP3, BPl - I bildar processomrädet (PAl, PA2) och delvis det om< : rädet (EA1, EA2) och data inbegriper ett antal pixe! •.ΙΓ 25 A, D, M) vilket beror av de databehandlingsopera skall utföras. * m : 13. En förfarande enligt nägot av patentkraven 9 *·» • 9 **..· 12. där- databehandlinoen av den bildram il) som ä (M + MAX(S + S, D)) x (bildramens (I) bredd + processomrädets (MB) höjd).

14. Ett förfarande enligt nägot av patentkraven 9 -5 tecknat av att bilddata (12.1) är ett kontinuerlig videobilder.

15. Ett förfarande enligt nägot av patentkraven 9 -tecknat av att kodningen är kodning (30). 10

16. Ett förfarande enligt nägot av patentkraven 9 -tecknat av att kodningen är avkodning (13).

17. En programvara (31) för blockbaserad databeh 15 bilddata (12.1), vilken programvara (31) innefattar kod (13, 30) för kodning av bilddata enhetsblock (B, MB) arrangerade pä best kod (31.1) för skapande av ett process< enligt vad som bestämt av data frän 20 flera enhetsblock (B, MB) och * · •V·· - kod (31.1) för uppsamlande av data fr^ * * \ \: omrädets (PA) omgivande omrAden (EAl, *** '·..: som är anordnad att användas i datab< • « : av processomrädets (PA) randomräden, * ··** 25 kännetecknad av att programvaran (31) innef attar l· 9. m ^^m·—_ • 9 med vilken en del av processomrädet (PA1, PA2) är a] bildas av ett eller flera enhetsblock (MBP1 - MBP3, 9 « • » · **// som redan tidigare har kodats och utav ett omräde • i • « #90 J * *mm Mi A Jt ^ «M J »A # ^ A «A ^ J A 1 *«J Λ lp* M M 4a M Ik M A 1 M Mi

19. En programvara (31) enligt patentkrav 17 eller tecknad av att programvaran (31) innefattar (31.1), med vilken de näinnda enhetsblocken (MBPl,

5 BP4, BP5) har anordnats att tas frÄn en kolumn (1 hetsblock som redan möjligtvis blivit delvis behanc digare har kodats.

20. En programvara (31) enligt nägot av patentkrav ίο kanne tecknad av att data frän de nämnda och delvis och tidigare kodade enhetsblocken (MBP1 - MBP3, delvis bildar processomrädet (PA1, PA2) och delvi vande omrAdet (EAl, EA2) och nämnda data innefatta pixellinjer (S, A, D, M) vilka beror av de databehe 15 rationer som skall utföras.

21. En programvara (31) enligt nägot av patentkrav 19 - 20, där databehandlingen av den bildram (I) se nad att utföras, pä. t.ex. ett omräde (PA1, PA2, PA3 20 ett makroblock (MB) är ätminstone deblocking (18) c • # ·/*: (14.1), kanne tecknad av att programvaran (31) ha • · att reservera minne (17) för databehandling av bi ·«· ungefär tili mängden: • * :.: : MB-size + Output-size « ..VV 25 (M + MAX(S + S, D)) X β···: (bildramens (I) bredd + processomrädets (MB) höjd) , • · • * t · 22. En programvara (31) enligt nägot av patentkra * » #·· IfänrtÄf atr af f Κι 1 /10 Λ \ aiv· oft ^ i mi/·

24. En programvara (31) enligt nägot av patentkra\ kännetecknad av att koden för kodning av bilddatc kod (13) för avkodning.

25. Användningen av ett förfarande enligt nägot ai ven 9-16 för skalning av bilddata (12.1).

26. Användningen av ett förfarande enligt nägot ai ven 9-16 för deblocking av bilddata (12.1). * · • « • * · • » · * * *...·* • ft • · « • « « ··* * Ml «IM «M • · • ft » I i • · 9 *·* * ft* ft • ft ft * Λ» A