NL1035303C2 - Interactieve virtuele reality eenheid. - Google Patents

Description

Interactieve virtuele reality eenheid.

De uitvinding heeft betrekking op een interactieve virtuele reality eenheid voor gebruik in een fysieke werkruimte voor het door een gebruiker 5 manipuleren van een in een geheugen beschikbare virtuele representatie van een voorwerp.

In het geheugen kan bijvoorbeeld een virtuele verzameling van tweedimensionale (2D) afbeeldingen of filmpjes aanwezig zijn, maar evenzeer driedimensionale (3D) of vierdimensionale (4D, een 3D model dat verandert in de 10 tijd) afbeeldingen, ofwel een combinatie er van.

In virtuele reality wordt een omgeving zichtbaar gemaakt die een nabootsing van de werkelijkheid is. Een dergelijke nabootsing is in veel gevallen een model van die werkelijkheid, die doorgaans wordt gemaakt met behulp van een geheugen in een computer.

15 Een virtuele reality omgeving is zichtbaar op een scherm, maar er wordt ook gebruik gemaakt van speciale stereoscopische brillen.

Een gebruiker heeft interactie met de omgeving in de virtuele reality, bijvoorbeeld met een keyboard of met speciale randapparatuur zoals een headmounted display of een speciale ruimtemuis. De gesimuleerde omgeving lijkt 20 op een omgeving uit de werkelijkheid en wordt op veel terreinen toegepast zoals bij trainingen, demonstraties, amusement, spelletjes, maar evenzeer bij het manipuleren van virtueel DNA of biologische moleculen zoals eiwitten en dergelijke. Door bijvoorbeeld gebruik te maken van de 'oneindige' ruimte van de virtuele wereld is het mogelijk grote hoeveelheden gegevens tegelijkertijd te visualiseren en op 25 verschillende niveaus te onderzoeken. Onderlinge relaties worden door de applicatie gezocht en gevisualiseerd.

Bij diverse toepassingen is het van belang dat een gebruiker de virtuele realiteit kan manipuleren, bijvoorbeeld met behulp van een computermuis of met andere eveneens in 3D zichtbaar gemaakte attributen. In de gepubliceerde 30 octrooiaanvrage WO 2006/081198 wordt een augmented virtueel reality systeem beschreven, dat is uitgerust met software en middelen waarmee voor een gebruiker een stereoscopisch beeld zichtbaar wordt, dat door die gebruiker manipuleerbaar is. Het systeem is opgenomen in een speciale kast waarin een beeldscherm en een semi-transparante spiegel zijn opgenomen. De spiegel en het scherm maken een 1035303 2 hoek met elkaar zodat de gebruiker zowel het scherm als de instrumenten in de werkruimte kan zien en de 3D representatie van een voorwerp kan manipuleren. De gebruiker heeft bij zijn werkzaamheden een speciale stereoscopische bril nodig.

Teneinde een goede stereoscopische weergave te bereiken bevat 5 het systeem voorts een speciaal computer interface waarmee de beweging van het hoofd van de gebruiker wordt gevolgd. Een grafische omgeving is zichtbaar op het beeldscherm. De semi-transparante spiegel maakt het de gebruiker mogelijk om zowel de virtuele reality representatie als zijn handen te zien, die de haptische middelen beroeren in de werkruimte gelegen onder de spiegel. Deze bekende 10 inrichting heeft flinke afmetingen door het gebruik van een grote semi-spiegelende plaat boven de werkruimte en een beeldscherm boven de semi-transparante spiegelende plaat. Voor het verkrijgen van een efficiënte manipulatie van een driedimensionale representatie zijn speciale sensoren voor het volgen van het hoofd van de gebruiker en heeft de gebruiker ook een speciale bril nodig voor het manipuleren 15 van een driedimensionale representatie.

In de gepubliceerde octrooiaanvrage US 2003/0179218 A1 wordt een virtueel reality systeem beschreven dat met behulp van een camera een virtuele 3D omgeving genereert van een door de camera opgenomen scene van de werkelijkheid. Door toepassing van een geschikt computerprogramma kan een 20 gebruiker bepaalde virtuele objecten toevoegen of verwijderen. Het systeem bevat echter geen voorzieningen om een virtuele representatie te manipuleren met instrumenten, zoals boven beschreven.

De uitvinding heeft tot onder meer tot doel een interactieve virtuele reality eenheid te verschaffen die compact en gebruikersvriendelijk is en waarbij op 25 eenvoudige wijze manipulatie van een meerdimensionale representatie mogelijk is.

Een interactieve virtuele reality eenheid volgens de uitvinding heeft daartoe het kenmerk, dat de eenheid is voorzien van tenminste twee op afstand van elkaar gelegen beeldopname-organen, waarbij elk der beeldopname-organen is ingericht voor het verschaffen van een voor elk oog van de gebruiker bestemd 30 beeld, welke eenheid voorts beeldweergavemiddelen omvat voor het aan de ogen van de gebruiker verschaffen van voor elk oog bestemde afbeeldingen, waarbij de beeldweergavemiddelen tevens zijn ingericht voor het ontvangen van stereoscopische afbeeldingen van de representatie en het samenvoegen van de stereoscopische afbeeldingen met de voor elk oog bestemde beelden van de 3 werkruimte voor het verschaffen van zowel een driedimensionale weergave van de representatie als van de werkruimte.

Een interactieve virtuele reality eenheid volgens de uitvinding is compact en gemakkelijk door een gebruiker te bedienen. Een eenheid volgens de 5 uitvinding kan door een gebruiker eenvoudig worden gehanteerd en bijvoorbeeld op een tafel worden geplaatst. De gebruiker richt de beeldopnameorganen in de eenheid op een werkruimte op of nabij het oppervlak van de tafel en maakt een verbinding tussen de eenheid en een computer (eventueel voorzien van een beeldscherm) voor het ontvangen van de afbeeldingen van de representatie.

10 Een voorkeursuitvoeringsvorm heeft het kenmerk dat de optische assen van de beeldopname-organen ten opzichte van elkaar en ten opzichte van de positie van de beeldweergavemiddelen instelbaar zijn.

De beeldopname-organen kunnen dan door een gebruiker zodanig op de 'werkelijke wereld’ in de werkruimte worden gericht, dat de stereoinstellingen 15 kunnen worden gekalibreerd op de vorm en afmetingen van bij voorkeur een 3D representatie. De gebruiker stelt op deze wijze als het ware een conversie in tussen de werkelijke wereld en de representatie in de virtuele wereld. Deze wordt bepaald door de afstand tussen de twee beeldopname-organen en de praktische ervaring van de gebruiker. Het bedieningsgemak wordt verder verhoogd in een 20 uitvoeringsvorm, waarbij de genoemde optische assen instelbaar zijn ten opzichte van de zich voor de beeldweergavemiddelen bevindende positie van de ogen van een gebruiker. De virtuele werkruimte is dan voor een gebruiker als driedimensionale uitvoering realistisch en van hoge kwaliteit.

Het geheugen van de virtuele representatie (bijvoorbeeld 3D) van 25 het voorwerp kan zich zowel binnen als buiten de interactieve virtuele reality eenheid bevinden. Bij voorkeur bevat de eenheid aansluitorganen voor een geheugen in een verwerkingseenheid, zoals een computer. Een dergelijke verwerkingseenheid is bij voorkeur ingericht op het verschaffen van stereoscopische virtuele afbeeldingen.

Voorbeelden van de uitvinding zullen nader worden toegelicht aan 30 de hand van een tekening. In de tekening toont:

Figuur 1 schematisch een uitvoeringsvorm van een interactieve virtuele reality eenheid volgens de uitvinding,

Figuur 2 een interactieve virtuele reality eenheid volgens de uitvinding in perspectief, en 4

Figuur 3 eveneens in perspectief, een uitvoeringsvorm van een manipulator voor gebruik met een interactieve virtuele reality eenheid volgens de uitvinding.

De interactieve virtuele reality eenheid volgens figuur 1 is voorzien 5 van een huis 1 dat met behulp van een langwerpig bevestigingsorgaan 21 op een voet 22 is bevestigd (zie fig. 2). De voet 22 staat in de gebruikstoestand op een tafel 26 waarvan het voor en boven de voet gelegen gedeelte dient als werkruimte 2 van een gebruiker 27.

In de werkruimte 2 worden middelen opgesteld voor het door een 10 gebruiker manipuleren van een in een geheugen 3 van een computer beschikbare virtuele driedimensionale representatie 4 van een voorwerp. De naar de werkruimte 2 gerichte zijde van het huis 1 is voorzien van twee naast elkaar gelegen beeldopnameorganen (camera’s) 5 en 6, die zijn voorzien van een objectieflens.

Het huis is aan de andere zijde voorzien van twee beeldweergave-15 middelen (displays) 7 en 8 voor het aan de ogen 9 en 10 van de gebruiker verschaffen van voor het respectievelijke oog bestemde afbeeldingen afkomstig van de werkruimte 2. Deze beeldweergavemiddelen 7 en 8 zijn tevens ingericht voor het ontvangen van signalen van stereoscopische afbeeldingen 11 en 12 van de virtuele representatie 4. Deze stereoscopische afbeeldingen voor elk display worden 20 uitgesplitst met behulp van een computer. De verbinding van camera 5 met display 7 is schematisch weergegeven door stippellijn 5a en die van camera 6 naar display 8 met stippellijn 6a.

De stereoscopische afbeeldingen met de voor elk oog bestemde beelden van de werkruimte (‘de werkelijkheid') en die afkomstig van de 25 driedimensionale weergave van de representatie worden dus samengevoegd. Elke camera (5, 6) is ingericht voor het verschaffen van een voor elk oog van de gebruiker bestemd beeld. Het beeld van de representatie wordt daartoe in de computer gesplitst in een beeld respectievelijk bestemd voor display 7 en display 8. Deze uitsplitsing is schematisch voorgesteld met 11 en 12.

30 Bij het samenvoegen van de beelden van de virtuele representatie en de beelden afkomstig van de werkruimte wordt een ‘desk top interactief virtual reality systeem’ gevormd, waarbij een gebruiker in de beeldweergaveorganen een driedimensionaal virtueel beeld 28 (zie fig. 2) van een representatie ziet, waarmee de gebruiker middels het eveneeens weergegeven beeld van tastorganen in de 5 werkruimte 2 gemakkelijk kan manipuleren.

De optische assen van de objectieflens van elke camera zijn weergegeven met respectievelijk 13 en 14. De camera’s zijn ten opzichte van elkaar en ten opzichte van de positie van de beeldweergavemiddelen instelbaar. De 5 camera’s zijn te beschouwen als de twee ogen van het huis die zijn gericht op de werkelijkheid van de werkruimte. Met behulp van een computer wordt de virtuele 3D representatie gepositioneerd in de werkruimte via een perspectiefprojectie en een relatieve positie en oriëntatie ten opzichte van de camera’s 5 en 6. Perspectiefprojectie en relatieve positie en oriëntatie worden in het geheugen gerepresenteerd 10 als een coördinatensysteem verbonden met een manipulator 30 (zie ook fig. 3). Er vindt daarbij een kalibratie plaats, waarbij het perspectief (16, 17) van de objectief lenzen van de camera's overeenkomt met het perspectief van de 3D representatie. Een gebruiker kan dan op eenvoudige wijze de afmetingen van de representatie en het manipuleerinstrumentarium in de werkruimte op elkaar afstemmen.

15 In figuur 2 is het bovendeel van het huis van de eenheid aangegeven met 20. Aan de voorzijde van het huis zijn de door een gebruiker 27 op de werkruimte te richten camera’s 5 en 6 (elk voorzien van een objectieflens) opgenomen. Aan de andere, naar de ogen van de gebruiker gerichte zijde van het huis zijn displays 7 en 8 aanwezig (niet zichtbaar in fig. 2). Het huis 20 is met een 20 langwerpig bevestigingsorgaan 21 bevestigd aan een voet 22. Voorts is een elektrische verbindingskabel 25 tussen het huis 21 en de voet 22 aanwezig Deze voet wordt door de gebruiker op een tafel geplaatst. De hoogte van het huis ten opzichte van de voet is instelbaar met behulp van de organen 23 en 24. Op deze wijze wordt een ‘desktop interactief virtual reality systeem’ verkregen. De gebruiker 25 beschikt voorts over een manipulator 30.

In figuur 3a is de manipulator 30 in perspectief weergegeven. Het apparaat heeft ongeveer de afmetingen van een menselijke hand. De manipulator is voorzien van een orientatie-herkenningsorgaan 31 (voor toepassing in de X-Y-Z ruimte, tevens in alle richtingen draaibaar), dat tijdens gebruik samenwerkt met de 30 virtuele 3D representatie. Herkenningsorgaan 31 is virtueel in de werkruimte op de manipulator gepositioneerd. Op het genoemde herkenningsorgaan 31 wordt computer 3D cursor 33 (zie fig. 3b) geprojecteerd voor het verkrijgen van een bepaalde functionaliteit (bijvoorbeeld voor het selecteren, als meetinstrument, of als virtuele lichtbron). Op de manipulator worden dus voor verschillende functies 6 verschillende 3D representaties van een 3D cursor geprojecteerd. Hierdoor lijkt het in de virtuele wereld alsof de manipulator en het 3D representatie één geheel 34 zijn als er een 3D cursor op geplaatst is (zie fig. 3c).

De manipulator 30 is voorts voorzien van bedieningsorganen 32 (zie 5 fig. 3a) waarmee de gebruiker met de 3D representatie speciale acties kan uitvoeren, zoals het aanpakken of wegduwen van de representatie (zie fig. 3a) of het aansturen van separate instrumenten, zoals een navigator of virtuele haptische organen. De gebruiker kan ook een aparte navigator (35, zie fig. 2) inzetten. Met de navigator 35 kan een virtuele 3D representatie van een voorwerp worden verplaatst, 10 geroteerd en geschaald. De interactie wordt geïnterpreteerd vanuit het gezichtsveld van de gebruiker. De manipulaties die door de gebruiker met de navigator 35 worden uitgevoerd beïnvloeden de positie van het virtuele voorwerp ten opzichte van het matrixorgaan van de manipulator. Het is dus mogelijk om tegelijkertijd zowel via de manipulator als via de navigator de stand en positie van een virtueel 3D voorwerp 15 te beïnvloeden.

20 1035303

Claims (7)

1. Interactieve virtuele reality eenheid voor gebruik in een fysieke werkruimte voor het door een gebruiker manipuleren van een in een geheugen 5 beschikbare virtuele representatie van een voorwerp, met het kenmerk, dat de eenheid is voorzien van tenminste twee op afstand van elkaar gelegen beeldopname-organen, waarbij elk der beeldopname-organen is ingericht voor het verschaffen van een voor elk oog van de gebruiker bestemd beeld, welke eenheid voorts beeldweergavemiddelen omvat voor het aan de ogen van de gebruiker 10 verschaffen van voor elk oog bestemde afbeeldingen, waarbij de beeldweergavemiddelen tevens zijn ingericht voor het ontvangen van stereoscopische afbeeldingen van de representatie en het samenvoegen van de stereoscopische afbeeldingen met de voor elk oog bestemde beelden van de werkruimte voor het verschaffen van een driedimensionale weergave van de 15 representatie en de werkruimte.

2. Interactieve virtuele reality eenheid volgens conclusie 1, met het kenmerk, dat de optische assen van de beeldopnameorganen ten opzichte van elkaar en ten opzichte van de positie van de beeldweergavemiddelen instelbaar zijn.

3. Interactieve virtuele reality eenheid volgens conclusie 2, met het 20 kenmerk, dat de optische assen van de beeldopnameorganen instelbaar zijn ten opzichte van de zich voor de beeldweergavemiddelen bevindende positie van de ogen van een gebruiker.

4. Interactieve virtuele reality eenheid volgens conclusie 1, 2 of 3, met het kenmerk, dat deze is voorzien van aansluitorganen voor een geheugen in een 25 verwerkingseenheid.

5. Interactieve virtuele reality eenheid volgens conclusie 4, met het kenmerk, dat het de verwerkingseenheid is ingericht op het verschaffen van stereoscopische afbeeldingen.

6. Interactieve virtuele reality eenheid volgens een of meer der 30 bovengenoemde conclusies, met het kenmerk, dat de eenheid is voorzien van een in de werkruimte plaatsbare manipulator voor het in de driedimensionale weergave manipuleren van de representatie.

7. Interactieve virtuele reality eenheid volgens conclusie 6, met het kenmerk, dat de manipulator merktekens bevat voor het aangeven aan de 1035303 verwerkingseenheid van de locatie in de representatie, welke manipulator een of meer bedieningsorganen bevat voor het aansturen van separate instrumenten, zoals een navigator of haptische organen. 5 1035303