FI96563B - Liike-estimoija - Google Patents
Liike-estimoija Download PDFInfo
- Publication number
- FI96563B FI96563B FI901458A FI901458A FI96563B FI 96563 B FI96563 B FI 96563B FI 901458 A FI901458 A FI 901458A FI 901458 A FI901458 A FI 901458A FI 96563 B FI96563 B FI 96563B
- Authority
- FI
- Finland
- Prior art keywords
- block
- area
- image area
- image
- pixels
- Prior art date
Links
- 239000013598 vector Substances 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 101100421135 Caenorhabditis elegans sel-5 gene Proteins 0.000 claims description 2
- 238000000034 method Methods 0.000 description 7
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 5
- 241001673391 Entandrophragma candollei Species 0.000 description 5
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003134 recirculating effect Effects 0.000 description 2
- 101100422768 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SUL2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004174 sulfur cycle Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Dry Shavers And Clippers (AREA)
- Optical Communication System (AREA)
- Retarders (AREA)
- Manipulator (AREA)
- Saccharide Compounds (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- Cephalosporin Compounds (AREA)
- Burglar Alarm Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Detergent Compositions (AREA)
- Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
Description
9656?
Liike-estimoija. - RÖrelse-estimator.
Keksintö kohdistuu liikkeen estimointiin, erityisesti, vaikkakaan ei yksinomaan, videokoodereiden yhteydessä, jotka 5 käyttävät kuvienvälistä differentiaalikoodausta.
Kuvio 1 esittää tunnettua videokooderia. Videosignaalit (tavallisesti digitaalimuodossa) vastaanotetaan tulossa 1. Vähentäjä 2 muodostaa tulosignaalin ja ennustuslaitteelta 3 10 saatavan ennustetun signaalin välisen erotuksen, joka edelleen koodataan lohkossa 4. Tässä esitetty koodaus ei ole oleellista esitetylle keksinnölle, vaan se saattaa käsittää esimerkiksi kynnyskvantisoinnin (estämään nollaerotuksen tai pienehkön erotuksen lähettämisen) tai muunnoskoodauksen.
15 Ennustuslaiteen tulo on summa, joka muodostuu ennusteesta ja koodatusta erosignaalista, joka dekoodataan paikallisessa dekooderissa 6 (siten, että koodaus- ja dekoodausprosessissa tapahtuva informaatiohäviö sisällytetään ennustussilmukkaan.
20 Differentiaalikoodaus on olennaisesti kuvienvälinen ja ennustuslaite 3 voisi yksinkertaisesti muodostua yhden kuvan viiveestä; kuitenkin, kuten on esitetty, laitteeseen kuuluu myös liike-estimoi ja 7. Tämä vertaa koodattavaa kuvaa (kuva-kehystä) edelliseen kuvaan, joka on talletettu ennustajaan 25 3. Hetkellisen kuvan jokaiselle lohkolle (joihin kuva on • ajateltu jaettavaksi) se identifioi edellisen kuvan sen alueen, mitä lohko parhaiten muistuttaa. Vektorierotusta identifioidun ja kyseessä olevan lohkon välillä kutsutaan liikevektoriksi (koska se tavallisesti esittää kohteen 30 liikettä TV-kuvassa) ja se syötetään ennustajaan siirtämään edellisen kuvan identifioitu alue nykyisen kuvan relevantin lohkon paikkaan, aikaansaaden täten ennustuslaitteen lähtöön paremman ennustuksen. Tästä johtuen ennustajan 2 muodostamat erosignaalit ovat keskimäärin pienempiä ja edelleen koodaus-35 laite 4 voi koodata kuvaa alhaisemmalla bittinopeudella kuin muutoin olisi asianlaita. Liike-estimoijän täytyy tyypillisesti verrata jokaista lohkoa edellisen kuvan vastaavaan
* I
9656 2 lohkoon ja alueisiin, joita on siirretty tästä lohkopaikas-ta; tämä aiheuttaa huomattavan suuren prosessointitarpeen ja usean pääsyn molempien kuvien tallennettuihin versioihin.
5 Kyseessä oleva keksintö on määritetty vaatimuksissa.
Seuraavassa esitetään eräs keksinnön suoritusmuoto viittaamalla liitteenä oleviin piirustuksiin, joissa: 10 Kuvio 2 on TV-kuvan diagrammi valaisten koordinaatistoa ja hakualuetta.
Kuvio 3 on keksinnön mukaisen liike-estimoijän osan (Pl kuviossa 5) lohkokaavio.
15
Kuvio 4 on kuvion 2 hakualueen SN diagrammi.
Kuvio 5 on täydellisen liike-estimoi jän lohkokaavio.
20 Kuvio 6 on kuvion 5 lajittelijan CSO lohkokaavio.
Selostettava liike-estimoi ja tarkkailee hetkellistä TV- kuvaa, jota koodataan jakamalla se 8 x 8 lohkoon - ts. 8 kuva-alkiota (pixeliä) vaakasuunnassa ja 8 juovaa pystysuun- 25 nassa. Vaikka periaatetta voidaan yhtälailla soveltaa lomi- •j tettuihin järjestelmiin, yksinkertaisuuden vuoksi seloste- • taan vain lomittelematonta kuvaa. Jokaista lohkoa varten on suunniteltu luotavaksi liikevektori, joka ilmoittaa paikan 8x8 alueessa, joka sijaitsee edellisen kuvan määritetyllä 30 hakualueella, mikä kuva on mahdollisimman samankaltainen kyseessä olevan lohkon kanssa. Kuva 2 esittää 8x8 lohkon N ·· kenttää (varjostettu) ja tyypillistä 23 x 23 hakualuetta, jota esittää suorakulmio SN. Jos pixelit identifioidaan vaaka- ja pystysuunnassa xy-koordinaateilla origon ollessa 35 vasemmassa ylänurkassa, niin sellaisen lohkon, jonka vasemman yläkulman koordinaatit ovat XN, YN, hakualue on alue,
II
9656/· 3 joka on vaakasuunnassa välillä (XN - 8) ja (XN + 14) ja pystysuunnassa välillä (YN - 8) ja (YN +14).
Liikevektorin saamiseksi on välttämätöntä suorittaa haku, 5 missä lohkoa verrataan jokaiseen mahdolliseen edellisen kuvan 256:een 8x8 alueeseen, jotka ovat hakualueella - ts. niihin, joiden vasemman yläkulman pixelin koordinaatit ovat XN + u ja TN + v, missä u ja v ovat välillä - 8 ja + 7. Liikevektori muodostuu niistä u, v-arvoista, joille vertailu 10 antaa suurimman samankaltaisuuden. Sinilaarisuustesti voi olla mikä tahansa yleisesti tunnettu - esim. kunkin hetkellisen lohkon ja edellisen kuvan vastaavan lohkon välisten erotusten itseisarvojen summa.
15 Täten, jos hetkellisen kuvan ja edellisen kuvan pixelien arvot ovat a(i, j) ja b(i, j) vastaavasti, niin erotusten summa on Εχ,y (v,u) = 20 7 7
^ y~ ja (x+i,y+j)-b(x+u+i,y+v+j) J
i=0 j=0 25
Tavallisesti haku suoritetaan kullekin hetkellisen kuvan lohkolle järjestyksessä. Koska kuitenkin lohkoon liittyvä ·: hakualue ylittää lukuisten muiden lohkojen (24 kpl, mikäli lohkot eivät ole lähellä kuvan reunoja), tämä vaatii usein 30 (kts. hakualuetta kuvassa 2, viivoitettu alue lohkolle N + 1) lukuisia tuloja edellisen kuvan informaatioon, joka on tallennettuna kuvamuistiin, jotka ovat aikaavieviä ja saattavat vaikuttaa muihin kooderin toimintoihin.
• · 35 Selostettavan liike-estimoi jän oletetaan liittyvän tosiasiassa (a) digitaaliseen videosignaaliin, joka vastaa hetkel listä koodattavaa kuvaa 9656? 4 (b) digitaaliseen videosignaaliin, joka vastaa edellis tä kuvaa.
Signaalit koostuvat 8-bittisistä digitaalisten sanojen 5 sekvensseistä, jotka edustavat ensimmäisen juovan peräkkäisten kuva alkioiden luminanssia (vaikka krominanssisignaaleja voitaisiin tarvittaessa prosessoida samalla tavalla) ja näitä seuraa toisen, kolmannen jne. juovan vastaavat sekvenssit .
1 0
Toisin kuin edellä selostetulla lohko-lohkolta-menetelmällä, laite toimii siten, että kuvan määrättyä juovaa koskevat vertailut suoritetaan peräkkäin. Kuten huomataan, tämä vaatii vain 16 juovan viiveen suuruisen muistikapasiteetin 15 edellistä kuvaa varten.
Kuva 3 esittää laitteen osaa, jonka toimintaa selostetaan viittaamalla kuvaan 4. Kuvan 8x8 lohkon tai alueen paikka määritellään sen vasemman yläkulman pixelin koordinaateilla 20 x, y. Tällöin kuvan 4 lohko N on paikassa x, y. Kuvan 2 laite vertaa x, y-paikan 8x8 lohkoa N 8 x 8 alueisiin paikassa (x+u), (y+v), missä u saa arvot -8... +7 ja v 0... +7 - ts. alueisiin, joiden paikat ovat alemmassa katkoviivalla erotetussa alueessa SI kuvassa 4. Kuvassa 3, 25 edellinen kuva vastaanotetaan (seuraten 9 pixelin viivettä ·; XD, jonka merkitys selostetaan myöhemmin) tulossa Pl (kaikki * · kuvan signaalitiet ovat 8-bittisiä, ellei toisin ole osoitettu diagonaaliviivalla ja siihen liittyvällä luvulla).
Tätä seuraa väliulosotoilla varustettu viivelinja koostuen 30 kahdeksasta yksilinjäisestä viiveyksiköstä LD1...LD8) siten, että minkä tahansa kuvan juova on saatavissa LD8:n lähdössä ja seitsemän seuraavaa juovaa ovat saatavissa LD7:n, LD6:n jne. lähdöissä. Hetkellinen kuvasignaali johdetaan CI-tulon kautta viivelinjaan, jonka muistissa on kahdeksan lohkoa 35 DS1...DS8. Jokainen lohko koostuu kahdesta viiveyksiköstä kestoltaan jousijakson mittaisia, kunkin lohkon yksi puolikas muodostaa osan 8-juovan jaksoista viivelinjaa ja toinen
II
9656.' 5 puoli muodostaa uudelleenkiertävän muistin. Kun 8-juovan ryhmän viimeinen juova on saapunut viivelinjalle, kunkin lohkon puolikkaiden tehtävät muuttuvat vastakkaisiksi siten, että seuraavan 8 juovan saapuessa viivelinjaan 8 aikaisempaa 5 juovaa ovat saatavilla uudelleenkiertävien lohkojen lähdöissä .
Täten, kuvan 4 mukaan (ja jättäen ottamatta huomioon 9-pixe-lin siirtymän ja olettaen, että y-juova on lohkon ensimmäi-10 nen) juovat y, y+l...y+7 hetkellisessä kuvassa ovat suunnilleen DS8, DS7...DSl:n lähdöissä, kun taas edellisen kuvan juovat y, y+l...y+7 ovat suunnilleen LD8,LDT...LD1:n lähdöissä .
15 Lähdöt LD8 ja DS8 syöttävät vastaavasti 8-bittistä 8-asteis-ta sarjamuodossa sisään - rinnakkaismuodossa ulos - rekisteriä (SIPO) PS8, CS8 ollessa kehotettuna pixelitaajuudella. Jälkimmäisen 8 lähtöä pinotaan pinoon CL8 kaikki 16 pixeliä synkronisesti kuvan vaakalohkon rakenteen kanssa. Täten, kun 20 kerran juovan y pixeli on saapunut SIPO:on CS8, pixelit x...x+7 ovat saatavilla pitopiirin CL8 lähdössä seuraavalla kellopulssilla. Tähän aikaan pixelit x-8...x-l ovat saatavilla SIPO:n PS8 lähdöissä (johtuen 9-pixelin viiveestä XD).
25 PS8:n ja CL8:n lähdöt johdetaan vähentäjille M81 - M88, ·: erotusten modulin summa muodostetaan summausyksikössä A8.
• · Täten edellisessä pykälässä selostetuissa olosuhteissa summaimen lähtö esittää nykyisen kuvalohkon N ensimmäisen juovan ja katkoviivoilla kuvassa 4 esitetyn alueen ensimmäi-30 sen juovan "erotusten summan".
PS8:n, CS8:n, CL8:n ja M81-88 ja A8:n käsittävä järjestely on tarkoitettu LD8:n ja DS8:n lähdöille; seitsemän seuraavaa vastaavaa järjestelyä on tarkoitettu (vaikkakaan niitä ei 35 ole selvyyden vuoksi esitetty kuvassa 3) LD7:n, DS/7:N, LD6/DS6... LDl/DDSl:n lähdöille. Ne toimivat identtisellä tavalla paitsi, että ollen kytkettyinä viivelinjojen aikai- 6 9656? sempiin väliottoihin ne toimivat kuvan seitsemällä myöhemmällä juovalla. Summainten A8...A1 lähdöt on summattu sum-maimessa AA, joka muodostaa hetkellisen lohkon N ja kuvassa 4 esitetyn katkoviivalla merkityn 8x8 edellisen kuvan 5 alueen välisten "erotusten summaa". Tämä on aiemmin esitetyn määritelmän mukaan arvo Ex,y(-8,0).
Yhtä pixelikellojaksoa myöhemmin SIPO:t PS8...1 käsittävät pixelit x-7...x aiempien x-8...x-l asemesta. Pitopiirin CL8 10 lähtö on muuttumaton, vertailu on tällöin nykyisen lohkon ja lohkon (x-7) välillä ja summain AA tuottaa lähdön Ex,y(-7,0). Tämä prosessi jatkuu 16 kellojakson ajan, jolloin summain AA on tuottanut 16 tulosta E(-8,0), E(7,0)...
E(7,0). Hakualueen SI (kuva 4) ensimmäinen suoritus on nyt 15 valmis.
Seuraavan lohkon N+2 pixelit nykyisessä kuvassa (ts. joiden vaakakoordinaatit (x+16)...(x+23)) ovat nyt SIPO:ssa CS8, nämä ovat kellotetut pitopiireihin CL8..., jossa pixelit 20 (x+8)... (x+15) ovat saatavilla PS8:ssa, vastaten seuraavan lohkon haku aluetta ja ensimmäinen haku käsittää lohkon N+2 ja seuraavat vuorottaiset lohkot juovan loppuun.
Juovajakson päässä edellisen kuvan juova y + 1 ilmestyy LD8: n 25 lähtöön; kuitenkin DS8:n uudelleenkierrostoiminnan aikana, ·; hetkellisen kuvan y-juova ilmestyy jälleen DS8:n lähtöön ja lohkon N seuraava haku tapahtuu, jota tällä kertaa verrataan kuvan 4 katkoviivoitettuun alueeseen siirrettynä alaspäin yhden juovan verran. Nähdään, että 8 juovajakson jälkeen 30 vertailu on tehty lohkon N ja kaikkien alueen SI määrittelemien alueiden välillä (ja samoin kaikille rivin parillisille lohkoille).
• »
Kun tämä on tapahtunut, viive- ja muistiasteet DS8... kello-35 tetaan ja nykyisen kuvan juovat y+8...y+15 ilmestyvät niiden lähtöihin. Edellisen kuvan juova y+8 on juuri ilmestymässä i! 7 9656? viive-elimen LD8 lähtöön 3a kuvan 2 järjestely on valmis käsittelemään lohkon seuraavaa riviä.
Kuitenkin huomataan, että lohkon N hakuprosessi on epätäy-5 dellinen; hakualuetta S2 (kuva 4) ei ole käsitelty. Myöskään parittomat juovat eivät ole saaneet huomiota osakseen. Kuvan 5 mukaisesti kuvan 2 järjestelyt (lähtien viive-elimestä XD) ilmestyvät prosessorina Pl. Toinen prosessori P2 käsittelee ylempää hakualuetta S2; se on identtinen Pl:n kanssa joka 10 suhteessa, mutta sitä syötetään edellisellä kuvasignaalilla 8-linjaisen viive-elimen kautta (esitetty ELD:nä, vaikka käytännössä signaali voitaisiin ottaa prosessorin Pl LD8:sta) antaen halutun tuloksen määrittämällä hakualueen 52, joka on 8 juovaa aikaisempi kuin SI. Haussa on huomatta-15 va, että, jos hakualue SN on pienehkö (esim. 17x17 tai pienempi kuin 23x23) yksi (sopivasti ajoitettu) prosessori on riittävä.
Parillisia lohkoja käsitellään toisella prosessoriparilla 20 P3, P4, jotka ovat identtisiä Pl:n ja P2:n kanssa ja vas taanottavat samat signaalitulot kuin vastaavasti Pl ja P2. Kuitenkin salvat CL8 kellotetaan (joka 16. pixeli kuin aiemminkin) pulsseilla, jotka ovat 8 pixeliä pois vaiheesta, jolla prosessoreita Pl ja P2 ohjataan. Vaikka kuvassa on 25 esitetty identtiset prosessorit (joka saattaa olla sopiva • hardware-esitys), jotkin prosessoreiden osat voivat tarvit taessa olla yhteisiä kahdelle tai useammalle prosessorille (esim. juovat PS8...Dsl).
30 Tarkastellaan nyt "erotusten summien" arvoja E. On tarpeen löytää nykyisen kuvan kunkin lohkon paikalle (u,v) alhaisin ;; E-arvo. Koska annetun lohkon E-arvot ilmestyvät 8-juovan jaksoissa, siroteltuina muiden lohkojen saman rivin arvojen lomaan, lajitteluvaihe tarvitaan myös. Kaksi vertailu- ja 35 lajitteluyksikköä CSE, CSO on esitetty kuvassa 5 vastaavasti parillisille ja parittomille lohkoille ulostuloliikevekto-reiden lähtöjen ollessa VOE ja VOO.
9656?· 8
Yksikkö CSO on esitetty kuvassa 6 ja on identtinen CSE:n kanssa (paitsi tulojen ajoituksen osalta tietenkin).
Prosessoreiden Pl ja P2 lähdöt on johdettu tähän yksikköön.
5 Vektorigeneraattori VG synkronoituna pixelikelloon (ja juova- ja kenttätahdistuspulsseihin) tuottaa vektorikom-ponenttien u arvon (4 bittiä) ja alemman 3-bittisen v-kom-ponenttiarvon, jotka liittyvät prosessorin Pl vastaanottamaan E-arvoon.
10
Kaksi Pl:ltä ja P2:lta samanaikaisesti vastaanotettua E-arvoa liittyvät aina nykyisen kuvan samaan lohkoon niin, että niitä voidaan helposti verrata komparaattorilla Cl. Komparaattorin lähtö ohjaa data-valitsinta SELl, jotta 15 tulostuu pienempi vastaanotetuista arvoista; komparaattorin lähtö liittyy vektorigeneraattorin lähtöön muodostamaan v:n eniten merkitsevä bitti.
Selitys on jättänyt tähän asti sopivasti huomiotta ongelmia, 20 jotka saattavat ilmaantua, kun tarkasteltava lohko on kuvan reunan 8 juovan tai pixelin joukossa - ts. tietyt x,y-alueista u, v osuvat päällekkäin juova- tai kenttäsammutus-alueiden kanssa. Tästä päästään helposti jättämällä ottamatta huomioon sellaiset alueet. Reunailmaisin BG toimii ohit-25 tamalla valitsimen SELl:n toiminnan: '· (a) kuvan yläosassa, missä sellaisen alueen tulokset tuote taan prosessilla P2 pakottaen valitsimen ohittamaan prosessorilta Pl tulevan lähdön; (b) kuvan alaosassa, missä sellaisen alueen tulokset tuote-30 taan prosessorilla Pl pakottaen valitsimen ohittamaan prosessorilta P2 tulevan lähdön; 1 (c) kuvan reunoilla, missä molemmat prosessorit toimivat em.
tavalla, asettaen valitsimen lähdön maksimiarvoonsa pakottaen täten seuraavien valitsimen asteiden valitsemaan eri 35 arvon.
Ensiksi-sisään-ensiksi-ulos (FIFU)-muisti FIF01 tallentaa k
II
9656 5 9 alhaisimman kunkin rivin lohkon E-arvon. Kaikki muistipaikat asetetaan maksimiarvoihinsa rivin alussa. Jokainen prosesso-rikierros synnyttää jokaiselle N-lohkolle 16 E-arvoa peräkkäin. Kun ensimmäinen niistä vastaanotetaan valitsimelta 5 SEL1, vertailija C2 vertaa edelliseen arvoon, joka on tallennettu relevantin lohkon muistiin ja ohjaa valitsinta SEL2 avaamaan pääsyn siihen lukkopiiriin, jolla on pienempi arvo kahdesta. Toinen valitsin SEL3 kytkee salvan lähdön vertaili jalle C2 (ja valitsimelle SELl) ja komparaattori C2 vertaa 10 kutakin jäljellä olevaa 15 arvoa salvassa Li olevaan arvoon; edelleen valitsin SELl päästää läpi kahdesta alemman arvon muodostamaan seuraavan lukkopiirin arvon. Sen jälkeen, kun 16 arvoa on verrattu, lukkopiirin sisältö ladataan takaisin muistiin. Samalla tavalla valitsimet SEL4, SEL5 ja lukkopii-15 ri L2 toimivat muistin FIF02 suhteen käsitellen joko siinä olevaa edellistä vektoria tai tulevaa vektoria (VG:ltä ja Cl:Itä).
Sen jälkeen, kun kaikki 8 olemassa olevaa rivin hakua on 20 suoritettu, muistissa FIF01 on E-arvojen "erotusten summan" alhaisin arvo kullekin rivin lohkolle ja FIF02 sisältää vastaavat vektorit u,v. Nämä voidaan lukea ja tulostaa VOO-lähtöön seuraavan rivin prosessointia varten.
25 Joissain oloissa saattaa olla helpompi synnyttää vektorini generaattorissa VG vektoreita, jotka koodataan eri tavoin kuin ulostulossa vaadittavat, missä tapauksessa vektoriku-vausyksikkö VM - joka voi olla yksinkertainen katselupöytä -voi olla lisänä.
30
On oletettu, että edellinen identifioitava kuva-alue on se, jolla on pienin ero kyseessä olevaan hetkelliseen lohkoon verrattuna. Kuitenkin saatetaan haluta antaa poikkeama nollavektoriin nähden - ts. nollavektori on lähdössä vain, 35 jos alue u,v antaa erotuksen E(u,v) summan, joka on arvoa E(0,0) pienempi jonkin edeltä määrätyn arvon verran edellisen kuvan muuttumattomalle alueelle - esim. pienempi kuin 9656?
1 O
75 % E(0,0):sta. Tämä voidaan aikaansaada skaalaamalla ZVS-yksikkö, joka normaalisti ohittaa prosessorilta Pl tulevat arvot (venttiilit) muuttumattomana, mutta vähentää arvoa 75 % tuloarvosta, kun signaali VO vektorigeneraattorilta 5 ilmaisee paikkaa (0,0).
» <
' I
* f
II
Claims (6)
1. Liikedetektori videosignaaleille, joka käsittää välineet (DS, CS, CL, LD, PS) vastaanottamaan ja tallentamaan väliai-5 kaisesti muistiin videosignaalit, jotka edustavat kuvan yhtä kuva-alaa ja kuvan toista kuva-alaa, missä kukin kuva-ala on muodostettu juovajoukosta ja kyseinen yksi kuva-ala koostuu lohkojen ei-päällekkäin olevien rivien joukosta, kunkin rivin koostuessa joukosta ei-päällekkäin olevien kuva-alki-10 oiden lohkoja, muodostettuina kuva-alan juovien vastaavan ryhmän vastaavista osista; aritmeettiset välineet (M, P1:n ja P3:n A & AA) järjestettynä vertaamaan kyseisen yhden kuva-alan kutakin lohkoa toisen kuva-alan vastaavaan alueeseen ja toisen kuva-alan paik-15 kasiirrettyjen alueiden joukkoon, mikä edustaa haluttua kaksi-dimensionaalista hakualuetta (SI); ja ensimmäiset välineet reagoimaan vertailun tuloksiin muodostamaan vektori-informaation (V00, VOE), joka osoittaa paikkasiirtymän, jos niitä on, toisen kuva-alan alueen 20 paikasta kyseisessä yhdessä kuva-alassa olevan lohkon paikkaan, joka täyttää samanlaisuuskriteerin, näin muodostetun vektori-informaatioryhmän muodostaessa kuva-alueiden liikkeen estimaatin; tunnettu siitä, että liikedetektori sisältää: 25 (i) viive-elimet (LD, PS) järjestettynä: (a) tekemään saatavilla oleviksi, vuorollaan, kuva-alkioiden alueiden ennalta määrätyssä sekvenssissä olevien kuva-alkioiden alueet, kunkin alueen vastatessa toisen kuva-alan aluetta, joka on samaa kokoa kuin kyseisen yhden kuva-alan 30 lohko, missä peräkkäiset alueet alueiden sekvenssissä vastaavat alueita, jotka on progressiivisesti siirretty ho-·. risontaalisesti toisen kuva-alan juovien suunnassa, alueen kaikkien kuva-alkioiden ollessa tehdyt saatavilla oleviksi samanaikaisesti; ja 35 (b) toistamaan vaihe (a) alueiden peräkkäisiä sekvenssejä varten vastaten alueita, jotka on progressiivisesti siirretty kohtisuoraan toisen kuva-alan juovien suuntaan nähden 9656' määrän, joka vastaa haluttua hakualuetta (SI), pystysuuntai-sesti, (ii) viive ja tallennusvälineet (DS, CS, CL) järjestettyinä: (c) tekemään saatavilla oleviksi, vuorollaan, kuva-alkioiden 5 lohkot ennalta määrätyssä sekvenssissä lohkojen rivistä, lohkon kaikkien kuva-alkioiden ollessa tehdyt saatavilla oleviksi samanaikaisesti ja sellaiseksi ajanjaksoksi, joka vastaa haluttua hakulaajuutta (SI), vaakasuuntaisesti, kuvan juovan suunnassa; ja 10 (d) toistamaan ennalta määrätty sekvenssi niin monta kertaa, kuin tässä esiintyy peräkkäisiä sellaisten alueiden sekvenssejä, jotka on siirretty vertikaalisuunnassa vaiheessa (b); ja missä: (iii) aritmeettiset välineet (M, A ja AA) ovat järjestetyt 1. muodostamaan moduulin summan tai muun monotonisesti kasvavan parillisen funktion lohkoa varten saatavilla oleviksi tehtyjen kuva-alkioiden ja aluetta varten saatavilla oleviksi tehtyjen kuva-alkioiden välisille erotuksille; ja (iv) että ensimmäiset välineet (CSO, CSE) ovat järjestetyt 20 toimimaan varmistamaan kullekin lohkolle vektori-informaation, joka vastaa aluetta, jonka summa täyttää mainitun kriteerin .
2. Patenttivaatimuksen 1 mukainen detektori, tunnettu 25 siitä, että haluttu hakualue (SI) vaakasuuntaisesti juovan ·. suunnassa on suurempi tai yhtä suuri kuin kaksi kertaa tässä suunnassa olevan lohkon laajuus, viive- ja tallennuselimet on järjestetty muodostamaan samanaikaisesti joukon q (missä q on ykköstä suurempi kokonaisluku) erilaisia sekvenssejä, 30 jotka sisältävät kuva-alkioiden ryhmiä vastaten jokaista q:tta lohkoa juovan suunnassa, ja aritmeettiset välineet V käsittävät joukon q järjestelyjä muodostamaan vastaavien sekvenssien mainitut summat.
3. Patenttivaatimuksen 1 tai 2 mukainen detektori, tun nettu siitä, että viive- ja tallennuselimet on järjestetty samanaikaisesti tekemään saatavilla olevaksi lisäsek- II 9656 ·' 1 3 venssin, joka vastaa alueita (tai lohkoja), jotka on siirretty juovien ennalta määrätyllä numerolla ensinmainittuun sekvenssiin nähden, että detektori sisältää lisää aritmeettisia välineitä (M, P2 ja P4, A & AA), jotka reagoivat 5 lisäsekvenssiin vertaamaan mainitun kyseisen yhden kuva-alan kutakin lohkoa mainitun toisen kuva-alan paikkasiirrettyjen alueiden lisäjoukkoon, mikä edustaa mainitun hakualueen laajennusta (S2), ja että välineet (CSO, CSE) vektori-informaation muodostamiseksi on kytketty vastaanottamaan summat 10 sekä ensin mainitulta aritmeettisiltä välineiltä (P1, P3) että lisänä olevilta aritmeettisiltä välineiltä (P2, P4).
4. Jonkin edellä olevan patenttivaatimuksen mukainen detektori, tunnettu siitä, että ensimmäinen väline 15 sisältää välineet Cl, C2) vertaamaan aritmeettisten välineiden ulostuloissa olevia arvoja lohkon suhteen tämän lohkon aiempiin arvoihin nähden, jotka kohtaavat kriteerin, ja käsittää välineet (F1F01) osatulosten välimuistille toisten lohkojen arvojen vertailun aikana. 20
5. Patenttivaatimuksen 4 mukainen detektori, tunnettu siitä, että ensimmäiset elimet sisältävät välineet (VG) generoimaan vektoriarvoja, jotka vastaavat alueita, jotka on esitetty aritmeettisten elinten ulostuloissa, kytkentävä- 25 lineet (SEL4, L2, SEL5) valitsemaan vektoriarvon, joka *. vastaa vektoriarvoa, joka vastaa viimeisintä aluetta, joka täyttää kyseisen kriteerin ja välineet (FIF02) niiden vekto-riarvojen väliaikaiselle tallentamiselle, jotka vastaavat sanottuja välimuistiin tallennettuja osatuloksia. 30
6. Jonkin edellä olevan patenttivaatimuksen mukainen detek-tori, tunnettu siitä, että mainittu kriteeri täyttyy alueessa, jossa vertailuarvo on sama siirtymättömän alueen tapauksessa kuin ennalta määrätyn sanotun summan osuus ja 35 muiden alueiden osalta mainittu summa on pienempi kuin lohkon muiden alueiden vertailuarvot. 9656?
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB878722612A GB8722612D0 (en) | 1987-09-25 | 1987-09-25 | Motion estimator |
GB8722612 | 1987-09-25 | ||
GB8800781 | 1988-09-22 | ||
PCT/GB1988/000781 WO1989003152A1 (en) | 1987-09-25 | 1988-09-22 | Motion estimator |
Publications (3)
Publication Number | Publication Date |
---|---|
FI901458A0 FI901458A0 (fi) | 1990-03-23 |
FI96563B true FI96563B (fi) | 1996-03-29 |
FI96563C FI96563C (fi) | 1996-07-10 |
Family
ID=10624380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FI901458A FI96563C (fi) | 1987-09-25 | 1990-03-23 | Liike-estimoija |
Country Status (13)
Country | Link |
---|---|
US (1) | US5083202A (fi) |
EP (1) | EP0309251B1 (fi) |
JP (1) | JP3009674B2 (fi) |
AT (1) | ATE97534T1 (fi) |
AU (1) | AU609536B2 (fi) |
CA (1) | CA1318970C (fi) |
DE (1) | DE3885695T2 (fi) |
DK (1) | DK76990D0 (fi) |
FI (1) | FI96563C (fi) |
GB (2) | GB8722612D0 (fi) |
HK (2) | HK135796A (fi) |
IE (1) | IE61586B1 (fi) |
WO (1) | WO1989003152A1 (fi) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4897720A (en) * | 1988-03-14 | 1990-01-30 | Bell Communications Research, Inc. | Circuit implementation of block matching algorithm |
GB8909498D0 (en) * | 1989-04-26 | 1989-06-14 | British Telecomm | Motion estimator |
GB2231226B (en) * | 1989-04-27 | 1993-09-22 | Sony Corp | Motion dependent video signal processing |
GB2231750B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
GB2231749B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
US4963961A (en) * | 1989-06-16 | 1990-10-16 | Burle Technologies, Inc. | Vertical motion detector |
KR930701888A (ko) * | 1990-09-20 | 1993-06-12 | 마머듀크 제임스 허시. 마이클 찰스 스티븐슨 | 비디오 영상 프로세싱 방법 및 장치 |
US5210605A (en) * | 1991-06-11 | 1993-05-11 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US6965644B2 (en) * | 1992-02-19 | 2005-11-15 | 8×8, Inc. | Programmable architecture and methods for motion estimation |
US5461423A (en) * | 1992-05-29 | 1995-10-24 | Sony Corporation | Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal |
US5430886A (en) * | 1992-06-15 | 1995-07-04 | Furtek; Frederick C. | Method and apparatus for motion estimation |
US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
KR0160618B1 (ko) * | 1992-10-27 | 1999-01-15 | 윤종용 | 실시간 움직임 추정장치 및 그 방법 |
US5471248A (en) * | 1992-11-13 | 1995-11-28 | National Semiconductor Corporation | System for tile coding of moving images |
JP2636674B2 (ja) * | 1993-05-25 | 1997-07-30 | 日本電気株式会社 | 動画像の動きベクトル検出装置 |
GB9315775D0 (en) * | 1993-07-30 | 1993-09-15 | British Telecomm | Processing image data |
US5396284A (en) * | 1993-08-20 | 1995-03-07 | Burle Technologies, Inc. | Motion detection system |
US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
JPH07115646A (ja) * | 1993-10-20 | 1995-05-02 | Sony Corp | 画像処理装置 |
FR2719398B1 (fr) * | 1994-04-27 | 1996-07-19 | Sgs Thomson Microelectronics | Dispositif et procédé d'adressage d'une mémoire cache d'un circuit de compression d'images mobiles. |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
GB2327827B (en) * | 1996-11-29 | 1999-06-30 | Sony Corp | Image processing apparatus |
GB2320388B (en) * | 1996-11-29 | 1999-03-31 | Sony Corp | Image processing apparatus |
JP4294743B2 (ja) * | 1996-12-13 | 2009-07-15 | 富士通株式会社 | 動きベクトル探索装置および動画像符号化装置 |
GB2360897A (en) * | 2000-03-31 | 2001-10-03 | Sony Uk Ltd | Video motion detection |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6075184A (ja) * | 1983-09-30 | 1985-04-27 | Nec Corp | 動画像信号の符号化方式とその装置 |
US4670851A (en) * | 1984-01-09 | 1987-06-02 | Mitsubishi Denki Kabushiki Kaisha | Vector quantizer |
JP2512894B2 (ja) * | 1985-11-05 | 1996-07-03 | ソニー株式会社 | 高能率符号化/復号装置 |
DE3721074A1 (de) * | 1986-12-24 | 1988-07-07 | Licentia Gmbh | Schaltungsanordnung zur verschiebungsvektorsuche in der digitalen bildanalyse |
DE3856461T2 (de) * | 1987-04-28 | 2001-10-31 | Mitsubishi Denki K.K., Tokio/Tokyo | System zur Bildcodierung und -decodierung |
US4897720A (en) * | 1988-03-14 | 1990-01-30 | Bell Communications Research, Inc. | Circuit implementation of block matching algorithm |
-
1987
- 1987-09-25 GB GB878722612A patent/GB8722612D0/en active Pending
-
1988
- 1988-09-22 US US07/469,494 patent/US5083202A/en not_active Expired - Lifetime
- 1988-09-22 CA CA000578199A patent/CA1318970C/en not_active Expired - Lifetime
- 1988-09-22 WO PCT/GB1988/000781 patent/WO1989003152A1/en active IP Right Grant
- 1988-09-22 DE DE3885695T patent/DE3885695T2/de not_active Expired - Lifetime
- 1988-09-22 JP JP63507635A patent/JP3009674B2/ja not_active Expired - Lifetime
- 1988-09-22 AT AT88308819T patent/ATE97534T1/de not_active IP Right Cessation
- 1988-09-22 EP EP88308819A patent/EP0309251B1/en not_active Expired - Lifetime
- 1988-09-22 AU AU24843/88A patent/AU609536B2/en not_active Ceased
- 1988-09-23 IE IE288688A patent/IE61586B1/en not_active IP Right Cessation
-
1990
- 1990-03-22 GB GB9006474A patent/GB2229603B/en not_active Expired - Lifetime
- 1990-03-23 DK DK076990A patent/DK76990D0/da not_active Application Discontinuation
- 1990-03-23 FI FI901458A patent/FI96563C/fi not_active IP Right Cessation
-
1996
- 1996-07-25 HK HK135796A patent/HK135796A/xx not_active IP Right Cessation
- 1996-08-15 HK HK154596A patent/HK154596A/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CA1318970C (en) | 1993-06-08 |
AU609536B2 (en) | 1991-05-02 |
EP0309251B1 (en) | 1993-11-18 |
DE3885695T2 (de) | 1994-06-23 |
EP0309251A1 (en) | 1989-03-29 |
IE882886L (en) | 1989-03-25 |
US5083202A (en) | 1992-01-21 |
IE61586B1 (en) | 1994-11-16 |
DK76990D0 (da) | 1990-03-23 |
JP3009674B2 (ja) | 2000-02-14 |
FI96563C (fi) | 1996-07-10 |
GB2229603A (en) | 1990-09-26 |
HK135796A (en) | 1996-08-02 |
WO1989003152A1 (en) | 1989-04-06 |
FI901458A0 (fi) | 1990-03-23 |
GB8722612D0 (en) | 1987-11-04 |
AU2484388A (en) | 1989-04-18 |
GB2229603B (en) | 1991-08-14 |
JPH03502628A (ja) | 1991-06-13 |
GB9006474D0 (en) | 1990-07-18 |
ATE97534T1 (de) | 1993-12-15 |
DE3885695D1 (de) | 1993-12-23 |
HK154596A (en) | 1996-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FI96563B (fi) | Liike-estimoija | |
EP0626791B1 (en) | Motion vector detection apparatus for moving pictures | |
KR100203913B1 (ko) | 모션 벡터 생성기 | |
US4202011A (en) | Television signal coder | |
US20240422347A1 (en) | Utilization of motion information in affine mode | |
US5793443A (en) | Motion vector detection circuit | |
EP1472881B1 (en) | Unit for and method of estimating a current motion vector | |
KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
KR100416444B1 (ko) | 모션벡터선택방법및이방법을수행하는이미지처리장치 | |
US20050163355A1 (en) | Method and unit for estimating a motion vector of a group of pixels | |
EP2262254B1 (en) | Repetitive object detecting device and method | |
US20050047502A1 (en) | Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding | |
US5982910A (en) | Method and circuit arrangement for undersampling in the case of movement estimation | |
EP3104612B1 (en) | Complementary vectors | |
FI97663C (fi) | Menetelmä liikkeen tunnistamiseksi videosignaalista | |
US10264212B1 (en) | Low-complexity deinterlacing with motion detection and overlay compensation | |
GB2502047A (en) | Video sequence processing by dissimilarity value processing using a filter aperture decomposed into two or more regions | |
EP2237559A1 (en) | Background motion estimate based halo reduction | |
US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
KR100232971B1 (ko) | 가변블럭 적용이 가능한 움직임 추정기 | |
JP3334317B2 (ja) | 画像照合方法および装置 | |
JP2963369B2 (ja) | 動きベクトル探索装置 | |
JPH0281589A (ja) | 動きベクトル検出方式 | |
Pan et al. | A novel VLSI architecture for the full search block matching algorithm using systolic array | |
JPH06178289A (ja) | 動きベクトル検出回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
BB | Publication of examined application | ||
MM | Patent lapsed |
Owner name: BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY |