BE1029880B1

BE1029880B1 - Geautomatiseerde gebruikersvoorkeursinstellingen

Info

Publication number: BE1029880B1
Application number: BE20215836A
Authority: BE
Inventors: Jan Dheedene; Dalibor Kofjac; Dario Vuljanic; Bruno Dheedene; Benoit Quirynen
Original assignee: Rods&Cones Holding Bv
Priority date: 2021-10-26
Filing date: 2021-10-26
Publication date: 2023-05-30
Also published as: BE1029880A1; EP4174623A1; US20230129308A1

Abstract

De huidige uitvinding betreft een werkwijze voor het toepassen van geautomatiseerde gebruikersvoorkeursinstellingen op hoofdgedragen apparaten, zoals smart glasses, alsook een hoofdgedragen apparaat geconfigureerd hiertoe, en het gebruik hiervan.

Description

1 BE2021/5836

GEAUTOMATISEERDE GEBRUIKERSVOORKEURSINSTELLINGEN

TECHNISCH DOMEIN

De uitvinding heeft betrekking op hoofdgedragen apparaten met een beeldsensor of camera, zoals smart glasses, headsets met een camera, maar eveneens hoofddeksels waarop een (al of niet afneembare) camera of cameramodule voorzien is. De uitvinding heeft specifiek betrekking op het opslaan van voorkeurinstellingen van gebruikers voor de beeldsensor op het hoofdgedragen apparaat, en het automatisch herkennen van situaties met daaraan geassocieerde voorkeursinstellingen en automatisch laden van deze voorkeursinstellingen, zoals onder meer tijdens gebruik in een chirurgische operatie, maar evenzeer bij andere processen waarbij een gebruiker zijn handen niet mag of kan gebruiken om deze instellingen te wijzigen.

STAND DER TECHNIEK

In de stand der techniek worden hoofdgedragen (head-mounted) beeldsensorapparaten, zoals bijvoorbeeld smart glasses, meer en meer aangewend om gevoelige operaties uit te voeren, soms met externe begeleiding. Deze systemen hebben één of meerdere beeldsensoren (camera's), die in de loop der jaren steeds gesofisticeerder zijn geworden, en veel functionaliteiten hebben bijgewonnen. Zo kunnen deze beeldsensoren opereren onder een zeer brede range aan operationele parameters, zoals focusafstand, sluitertijd, resolutie (beeldkwaliteit), kleurbalans, ondersteuning in belichting, etc.

In deze zeer diverse toepassingen is het dan ook noodzakelijk om een flexibele beeldsensor te hebben, die eenvoudig, snel en accuraat beelden kan capteren in verschillende configuraties (belichting, focuslengte, resolutie, etc.). door de bijkomende moeilijkheid dat in sommige situaties het onmogelijk is om de handen hiervoor te gebruiken, of zeer nadelig (in gevaar brengen steriliteit tijdens een operatie), moet gezocht worden naar andere oplossingen. Zo kan onder meer via voice control gewerkt worden, maar vaak is dit dan weer aan andere problemen onderhevig (opnieuw bij het voorbeeld van een medische ingreep, wordt er vaak met mondmaskers gewerkt, waardoor de stem vervormd of verzwakt kan worden en het systeem deze mogelijk niet herkent). Bovendien is het in dergelijke gevallen ook nodig om voorafgaande alle juiste ‘signalen’ te kennen, gezien elk systeem typisch een andere trigger heeft om bepaalde acties uit te voeren.

2 BE2021/5836

WO 2020/084625 A1 beschrijft een smartglass die gebruikt wordt in medische toepassingen, om een externe camera mee aan te sturen, en door parameters voor deze camera vast te leggen en te associëren aan bepaalde posities/oriëntaties van de smartglass, en dus het hoofd van de gebruiker.

De huidige uitvinding beoogt een oplossing te vinden voor tenminste enkele van bovenvermelde problemen.

SAMENVATTING VAN DE UITVINDING

De uitvinding betreft een verbeterde werkwijze voor het gebruik van een hoofdgedragen apparaat in een activiteit, in het bijzonder waarbij het apparaat geconfigureerd is om bepaalde routines of houdingen te herkennen, en automatisch een geschikte set parameters voor het apparaat te laden en in te stellen.

In het bijzonder betreft de uitvinding een werkwijze hiertoe volgens één van de conclusies 1 tot en met 13.

In een tweede aspect betreft de uitvinding een hoofdgedragen apparaat, geconfigureerd voor het uitvoeren van de werkwijze volgens het eerste aspect van de uitvinding.

In een tweede aspect betreft de uitvinding een gebruik van een hoofdgedragen apparaat volgens het tweede aspect bij een medische handeling met de werkwijze van het eerste aspect, door een medische professional.

Bijkomende mogelijke gebruiken zijn herstellingswerken op moeilijk bereikbare locaties (hoogtewerken, afgelegen plekken, etc.), waarbij gebruikers niet alle aspecten van hun taak volledig dienen te beheersen.

In een derde aspect betreft de uitvinding het gebruik van een hoofdgedragen apparaat volgens het tweede aspect van de uitvinding, geconfigureerd voor het uitvoeren van de werkwijze volgens het eerste aspect van de uitvinding.

BESCHRIJVING VAN DE FIGUREN

3 BE2021/5836

Figuur 1 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de uitvinding in de vorm van smart glasses met een beeldscherm, waarbij alle componenten voorzien zijn op het hoofdgedragen apparaat.

Figuur 2 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de uitvinding in de vorm van smart glasses met een beeldscherm, en een externe controle-eenheid die bedraad verbonden is met de smart glasses.

Figuur 3 toont een uitvoeringsvorm van een hoofdgedragen apparaat volgens de uitvinding in de vorm van smart glasses met een beeldscherm, waarbij alle componenten voorzien zijn op het hoofdgedragen apparaat, en een externe controle- eenheid die draadloos verbonden is met de smart glasses.

GEDETAILLEERDE BESCHRIJVING

Tenzij anders gedefinieerd hebben alle termen die gebruikt worden in de beschrijving van de uitvinding, ook technische en wetenschappelijke termen, de betekenis zoals ze algemeen begrepen worden door de vakman in het technisch veld van de uitvinding. Voor een betere beoordeling van de beschrijving van de uitvinding, worden de volgende termen expliciet uitgelegd. “Een”, ”de” en “het” refereren in dit document aan zowel het enkelvoud als het meervoud tenzij de context duidelijk anders veronderstelt. Bijvoorbeeld, “een segment” betekent een of meer dan een segment.

Wanneer “ongeveer” of “rond” in dit document gebruikt wordt bij een meetbare grootheid, een parameter, een tijdsduur of moment, en dergelijke, dan worden variaties bedoeld van +/-20% of minder, bij voorkeur +/-10% of minder, meer bij voorkeur +/-5% of minder, nog meer bij voorkeur +/-1% of minder, en zelfs nog meer bij voorkeur +/-0.1% of minder dan en van de geciteerde waarde, voor zoverre zulke variaties van toepassing zijn in de beschreven uitvinding. Hier moet echter wel onder verstaan worden dat de waarde van de grootheid waarbij de term “ongeveer” of “rond” gebruikt wordt, zelf specifiek wordt bekendgemaakt.

De termen “omvatten”, “omvattende”, “bestaan uit”, “bestaande uit”, “voorzien van”, “bevatten”, “bevattende”, “behelzen”, “behelzende”, “inhouden”, “inhoudende” zijn synoniemen en zijn inclusieve of open termen die de aanwezigheid van wat volgt aanduiden, en die de aanwezigheid niet uitsluiten of beletten van andere

4 BE2021/5836 componenten, kenmerken, elementen, leden, stappen, gekend uit of beschreven in de stand der techniek.

De term “beeldsensor” betreft elke elektrische of elektronische component geschikt voor het capteren van informatie die gebruikt kan worden voor beeldvorming, zoals

CCD of CMOS sensoren, en betreft typisch een camera (digitaal of analoog).

In een eerste aspect betreft de uitvinding een werkwijze voor gebruik van een hoofdgedragen apparaat in een activiteit, het hoofdgedragen apparaat omvattende minstens een sensorsysteem voor het detecteren van de driedimensionale oriëntatie van het hoofdgedragen apparaat, een beeldsensor voor het capteren van beelden, een geheugenelement, een beeldscherm geconfigureerd voor het weergeven van de beelden van de beeldsensor en een processor voor het aansturen van de beeldsensor, het sensorsysteem en het geheugenelement, de werkwijze omvattende volgende stappen: a. het initiëren van een sessie van de activiteit; b. het tijdens de sessie instellen en bevestigen van één of meerdere parameters waaronder de beeldsensor opereert; c. het op het geheugenelement opslaan van een set parameters waaronder de beeldsensor opereert, omvattende de ingestelde en bevestigde één of meerdere parameters, waarbij de set parameters opgeslagen wordt geassocieerd aan de oriëntatie, bij voorkeur de driedimensionale oriëntatie, van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van de set parameters; d. bij het herkennen van een (bij voorkeur driedimensionale) oriëntatie van het hoofdgedragen apparaat als een (bij voorkeur driedimensionale) oriëntatie waarvoor geassocieerde set parameters opgeslagen is, het voor de beeldsensor automatisch laden en instellen van de parameters geassocieerd aan de herkende driedimensionale oriëntatie.

Eén van de grootste nadelen van het gebruik van hoofdgedragen apparaten met beeldsensoren (en beeldschermen), is dat door de vele bewegingen van het hoofd (andere hoek, andere afstand) ten opzichte van een object waarnaar gekeken wordt, het nodig is om zeer vaak de beeldvormingsinstellingen te wijzigen naargelang wens.

In het bijzonder in bepaalde toepassingen waar het niet mogelijk, of zeer moeilijk, is om de handen te gebruiken om deze sensoren of schermen aan te passen qua parameters, is het niet evident om hier een efficiënte en goeie oplossing voor te vinden.

Zo is er bij chirurgische handelingen de noodzaak om steriliteit te behouden, en wordt dan ook het aanraken van het apparaat vermeden, gezien dan de handen in principe 5 terug steriel moeten gemaakt worden. Alternatief kan een andere persoon dit uitvoeren zodat de chirurg (of persoon met andere functie) diens steriliteit niet moet breken, maar dit presenteert andere nadelen zoals de nood voor een extra persoon in de steriele ruimte alsook het ongemak en inefficiëntie van een andere persoon die specifieke instellingen moet aanpassen voor de drager. Bij complexe operaties kan het mogelijk zijn dat er geen hand vrij is om de instellingen aan te passen, en presenteert zich eenzelfde probleem.

Vaak is het echter noodzakelijk om veelvuldig te wisselen van perspectief, en is het belangrijk (bijvoorbeeld voor remote gebruikers die meevolgen) dat de beeldsensor dit doet onder de juiste parameters. Als de gebruiker (of erger nog, een andere persoon) dit steeds zelf moet aanpassen, gaat dit dus gepaard met ongemak, of is het simpelweg onmogelijk.

Hiertoe kunnen bepaalde oplossingen voorzien worden, zoals vooraf ingestelde parameters die met behulp van voice control of een beweging kunnen opgevraagd worden (bvb. knikken), en dan automatisch geladen worden. Bij zeer complexe oefeningen, betekent dit echter een bijkomende stress voor de gebruiker, die het juiste commando moeten vinden dat de juiste set parameters oproept. Bovendien is het in de praktijk dan nog steeds moeilijk om de ‘perfecte’ parameters te vinden.

Daarnaast werd opgemerkt dat in veel handelingen, een bepaald aantal ‘standaardsituaties’ bestaan. Vaste posities, oriëntaties en perspectieven die telkens herhaald worden, tijdens elke sessie. Dit is onder meer zo bij medische handelingen, die steeds meer gestandaardiseerd worden, om routines te creëren.

In die zin stelt de uitvinding voor om bepaalde sets parameters in te stellen en te bewaren, waarbij deze sets opgeslagen worden geassocieerd aan de specifieke oriëntatie (en eventueel ook positie) van het hoofdgedragen apparaat op het moment dat de instructies tot opslaan gegeven worden (of bij het opslaan zelf). Op die manier wordt verzekerd dat deze instellingen juist zijn, gezien ze tijdens het aannemen van de geassocieerde oriëntatie/positie van toepassing waren.

Door eenmalig deze voorkeursinstellingen op te slaan in sets van parameters geassocieerd aan de oriëntaties, kan hier tijdens elke daaropvolgende sessie gebruik van gemaakt worden, door bij het herkennen van de oriëntatie (en eventueel positie)

6 BE2021/5836 automatisch die geassocieerde set parameters in te stellen. Niet alleen is het mogelijk om op die manier in bepaalde routines (zoals operaties) de efficiëntie merkelijk te verhogen, maar daarnaast kan een gebruiker ook eigen sets van instellingen bewaren onder minder courante oriëntaties (bijvoorbeeld door het hoofd onder bepaalde hoek te kantelen automatische zoom), om die op gewenste momenten op te roepen en in te laden.

Het dient hiernaast nog opgemerkt te worden dat er verder nog mogelijk ‘lock”- commando's kunnen voorzien worden, die het automatisch laden van sets parameters geassocieerd aan een oriëntatie kunnen tegenhouden, indien een bepaalde set aan instellingen wenst behouden te worden gedurende een bepaalde periode. Dit kan op verschillende manieren, zoals bvb. via voice command, een bepaalde beweging of bewegingspatroon of via een fysieke manipulatie (knop en dergelijke).

In een voorkeurdragende uitvoeringsvorm omvat het sensorsysteem één of meerdere accelerometers, magnetometer, gyroscoop en/of een gelijkaardige sensor voor het detecteren van de oriëntatie van het apparaat. Er kan bijvoorbeeld één dergelijke sensor voor elk van de drie hoofdassen voorzien worden.

Het herkennen van de oriëntatie kan in sommige uitvoeringsvormen beperkt worden tot een tweedimensionale oriëntatie. Hierbij wordt uitgegaan dat het normale dragen van het apparaat bij een rechtopstaande positie gebeurt, waar recht vooruit gekeken wordt. Zo kan de tweedimensionale oriëntatie twee hoeken omvatten uit: de hoek die de afwijking voorstelt in het transversale vlak (links of rechts kijken); de hoek die de afwijking voorstelt in het sagittale vlak (opkijken, neerkijken); en de hoek die de afwijking voorstelt in het frontale vlak (hoofd tilten). In een voorkeurdragende uitvoeringsvorm wordt echter gebruik gemaakt van de driedimensionale oriëntatie.

In een variatie van de uitvinding kan de term “driedimensionale oriëntatie” aldus vervangen worden door “tweedimensionale oriëntatie”, meestal verwijzende naar de oriëntatie in het horizontale vlak, en kan de uitvinding nog steeds toegepast worden.

Eenzelfde opmerking geldt over de positie. Bij voorkeur zal het gaan over de tweedimensionale positie (in het horizontale vlak) waar gebruik van gemaakt wordt om de ‘positie’ van het apparaat te kenmerken, maar in sommige uitvoeringsvormen kan de driedimensionale positie gebruikt worden, waar meer genuanceerde variaties afzonderlijk beschouwd dienen te worden.

7 BE2021/5836

In een voorkeurdragende uitvoeringsvorm van de uitvinding is de werkwijze geconfigureerd om de stap van het automatisch laden en instellen van de set parameters ongedaan te maken door een voorafbepaalde actie van de gebruiker van het hoofdgedragen apparaat, waarbij de voorafbepaalde actie een verbaal commando kan omvatten, een beweging of bewegingspatroon van het hoofdgedragen apparaat kan omvatten, en/of een tactiele interactie kan zijn van de gebruiker met het hoofdgedragen apparaat of met een aan het hoofdgedragen apparaat gekoppeld elektronisch apparaat; bij voorkeur waarbij het ongedaan maken van het laden en instellen van de set parameters het terugkeren omvat naar de parameters bij het herkennen van de driedimensionale oriëntatie.

De voorafbepaalde beweging of bewegingspatroon kan een specifieke beweging zijn die de gebruiker ‘bewust’ uitvoert (bijvoorbeeld knikken, schudden, cirkelvormig figuur maken, of andere patronen, al of niet meer complex), maar kan evenzeer simpelweg ‘een beweging’ zijn die de voorafbepaalde drempelwaardes overschrijdt (of bij voorkeur deze drempelwaarden minstens overschrijdt met een factor twee of hoger, zoals 3, 4, 5 of hoger, om te garanderen dat het over een effectieve beweging gaat)

In een voorkeurdragende uitvoeringsvorm wordt de set parameters geassocieerd aan de herkende driedimensionale oriëntatie geladen en ingesteld na het substantieel aanhouden van de herkende driedimensionale oriëntatie over een voorafbepaalde tijd van minstens 2.0 seconden, bij voorkeur minstens 2.5 seconden, of zelfs 3.0 s, 4.0 s, of 5.0 s.

Door deze voorwaarde wordt vermeden dat er steeds nieuwe sets parameters geladen worden, gezien het mogelijk is dat tijdens een beweging naar een bepaalde oriëntatie, er meerdere ‘bewaarde’ oriëntaties herkend worden, waarvoor de parameters echter niet moeten geladen worden.

In een voorkeurdragende uitvoeringsvorm wordt het opslaan van de set parameters en associëren daarvan aan de driedimensionale oriëntatie van het hoofdgedragen apparaat automatisch uitgevoerd bij detectie van het substantieel aanhouden van de driedimensionale oriëntatie gedurende een voorafbepaalde tijd van minstens 5.0 seconden, bij voorkeur minstens 10.0 s of zelfs 15.0 s, 20.0 s of 30.0 s.

8 BE2021/5836

Door automatisch bepaalde instellingen te bewaren en te associëren aan een oriëntatie bij het aanhouden van een bepaalde positie, kan bekomen worden dat een gebruiker op elk moment bepaalde sets parameters kan opslaan, ook zonder diens handen te gebruiken.

In een voorkeurdragende uitvoeringsvorm wordt de drager geïnformeerd dat de parameters opgeslagen zullen worden geassocieerd aan een bepaalde oriëntatie. Dit kan eenvoudig door een bepaald geluidsignaal, of door een boodschap, en/of door lichtsignalen, etc. Op die manier kan een gebruiker indien gewenst het opslaan afbreken door een gepaste actie te ondernemen (bvb. hoofd bewegen om af te breken).

In een voorkeurdragende uitvoeringsvorm wordt de set parameters opgeslagen verder geassocieerd aan sessiekarakteristieken, genoemde sessiekarakteristieken omvattende één of meerdere van: type activiteit, type gebruiker, identiteit gebruiker; waarbij de set parameters pas geladen en ingesteld wordt als de sessiekarakteristieken van toepassing zijn in de huidige sessie.

Het toepassen van sessiekarakteristieken, zorgt ervoor dat per type activiteit (bijvoorbeeld cataract-operatie versus appendectomie) of per gebruiker (elk met eigen favoriete instellingen, of zelfs variaties afhankelijk van lengte, wat de oriëntatie doet variëren) of per type gebruiker (bijvoorbeeld kan de specifieke functie van een arts in een bepaalde procedure invloed hebben op de routines die nodig zijn en ingesteld kunnen worden, zoals chirurg tegenover anesthesist, of assistent, etc. ).

Door hier gebruik van te maken, wordt vermeden dat er een enorme overvloed aan ‘herkenbare’ oriëntaties is waarvoor parameters kunnen geladen worden, en waar je met een kleine variatie in houding zo per ongeluk in een andere, ongewenste parameterinstelling kan belanden.

In een voorkeurdragende uitvoeringsvorm omvat het hoofdgedragen apparaat verder een sensorsysteem voor het detecteren van de tweedimensionale of driedimensionale positie van het hoofdgedragen apparaat, absoluut en/of relatief ten opzichte van een extern object, en waarbij de set parameters wordt opgeslagen geassocieerd aan de twee- of driedimensionale positie van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van de set parameters, en waarbij de set parameters geassocieerd aan een driedimensionale oriëntatie en positie geladen en ingesteld wordt bij de verdere voorwaarde van het herkennen van de twee- of driedimensionale positie.

9 BE2021/5836

Aan de hand van de absolute of relatieve positie kan er nog verder onderscheid gemaakt worden tussen bepaalde situaties waarin de gebruiker zich bevindt. Zo kan hij, door een stap achteruit te zetten ten opzichte van de operatietafel, een andere set parameters wensen te laden die voor dat oogpunt relevanter zijn. De positionering mee opnemen in de voorwaarden om een bepaalde set parameters te laden, maakt het dus mogelijk om meer en meer gepaste sets parameters op te slaan en dynamisch te laden.

De relatieve positie kan bijvoorbeeld bepaald worden door middel van een ingebouwd element in de tafel, in de verlichting of andere, waarmee het hoofdgedragen apparaat kan interageren om een afstand te bepalen (bijvoorbeeld via Time-of-Flight van het uitgewisselde signaal).

In een voorkeurdragende uitvoeringsvorm kunnen de stappen van het herkennen van een driedimensionale oriëntatie, en het laden en instellen van de geassocieerde set parameters in een verschillende sessie plaatsvinden dan het opslaan van de set parameters.

In het bijzonder is het nuttig om sets parameters op te slaan voor later gebruik, i.e. in daaropvolgende sessies. Zo kan het ‘repertoire’ aan opgeslagen sets parameters steeds uitgebreid worden, en worden deze bewaard over sessies heen.

In een voorkeurdragende uitvoeringsvorm omvat de set parameters die wordt opgeslagen minstens de brandpuntsafstand, en bij voorkeur één of meerdere van volgende: filmgevoeligheid van de beeldsensor, sluitertijd, beelden per seconde.

In een voorkeurdragende uitvoeringsvorm is het hoofdgedragen apparaat een smart glass. Alternatieve uitvoeringen kunnen echter ook voorzien zijn in de vorm van een helm, headset of hoofdband zijn, of als modulaire componenten die daaraan bevestigd worden.

In een voorkeurdragende uitvoeringsvorm wordt het minstens één beeldscherm aangestuurd door de processor, waarbij de werkwijze een stap omvat van: a. het tijdens de sessie instellen en bevestigen van één of meerdere instellingen waaronder het beeldscherm opereert; b. het op het geheugenelement opslaan van alle instellingen waaronder het beeldscherm opereert, omvattende de ingestelde en bevestigde één of

10 BE2021/5836 meerdere instellingen, waarbij de instellingen opgeslagen worden geassocieerd aan de driedimensionale oriëntatie van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van alle instellingen; c. bij het herkennen van een driedimensionale oriëntatie van het hoofdgedragen apparaat als een driedimensionale oriëntatie waarvoor geassocieerde instellingen opgeslagen zijn, het voor het beeldscherm automatisch laden en instellen van de instellingen geassocieerd aan de herkende driedimensionale oriëntatie.

Door ook de parameters voor het beeldscherm te koppelen aan bepaalde oriëntaties, kan eenzelfde voordeel bereikt worden als het gebruik van de gekoppelde parametersets voor de beeldsensor.

In een voorkeurdragende uitvoeringsvorm is de processor voorzien op het hoofdgedragen apparaat, bij voorkeur een smartglass, alsook eventuele componenten voor draadloze communicatie met andere toestellen, bijvoorbeeld via

Wifi. Een externe controle-eenheid kan nog steeds voorzien zijn die bedraad of draadloos communiceert met het hoofdgedragen apparaat, en optioneel voorzien van verdere instructies, die verwerkt worden op de processor in het hoofdgedragen apparaat.

In een alternatieve voorkeurdragende uitvoeringsvorm omvat het hoofdgedragen apparaat een externe controle-eenheid, dewelke bedraad of draadloos communiceert met het hoofdgedragen apparaat, bij voorkeur bedraad, waarbij de externe controle- eenheid het geheugenelement en de processor omvat, en waarbij de externe controle-eenheid geconfigureerd is voor het aansturen van de beeldsensor op basis van informatie van onder meer het sensorsysteem voor het detecteren van de driedimensionale oriëntatie van het hoofdgedragen apparaat.

Het voorzien van de processoreenheid op een externe controle-eenheid of pocket unit (bijvoorbeeld een gsm, smartphone, dedicated device hiervoor, etc.) heeft als voordeel dat het gewicht van het hoofdgedragen apparaat gereduceerd wordt. Dit laat ook toe om andere zaken, zoals energievoorziening, aan de externe controle- eenheid uit te besteden, wat ook een sterke invloed heeft op het gewicht van het apparaat.

Bij voorkeur is de verbinding tussen externe controle-eenheid en het hoofdgedragen apparaat bedraad, gezien dit energievoorziening toelaat langs dezelfde verbinding,

11 BE2021/5836 alsook gewicht uitspaart doordat geen draadloze communicatie-componenten voorzien moeten worden (wat vaak ook energetisch meer belastend is).

In een mogelijke voorkeurdragende uitvoeringsvorm zijn de componenten met verwerkingsvermogen (processoren en dergelijk) allen voorzien op de externe controle-eenheid, om op die manier zoveel mogelijk het gewicht van het op het hoofd gedragen apparaat te reduceren, alsook de hitte-ontwikkeling die optreedt bij zware operaties. Als daarnaast ook de energievoorziening vanuit de controle-eenheid gebeurt, zorgt dit er voor dat slechts een gereduceerd deel van de stroom langs de bedrade verbinding naar het apparaat moet, wat een meer efficiënt gebruik van de energie toelaat, en ook de vereisten voor deze kabel lager legt.

Het reduceren van het gewicht (en verder draagcomfort) van het hoofdgedragen apparaat is des te belangrijker gezien de huidige toepassing focus legt op het stilhouden van het hoofd tijdens de operatie, waarbij het stilhouden onder een bepaalde bewegingsdrempel het kalibreren van de operationele parameters teweegbrengt. Veel handelingen waar remote assistance/monitoring relevant is, duren vaak lang, zoals bijvoorbeeld medische ingrepen. Zeker in zo’n geval is het cruciaal dat een gebruiker gedurende die lange tijd ook bewust kan handelen, en het kalibreren gericht kan aansturen.

In een alternatieve uitvoeringsvorm, omvat het apparaat verder een externe controle-eenheid, de externe controle-eenheid bedraad of draadloos, bij voorkeur bedraad, in communicatie met het hoofdgedragen apparaat, en bij voorkeur omvattende een processoreenheid voor het aansturen van het hoofdgedragen apparaat; waarbij de externe controle-eenheid een energiebron omvat voor het voorzien van energie aan het hoofdgedragen apparaat en waarbij het hoofdgedragen apparaat geen energiebron omvat.

In een voorkeurdragende uitvoeringsvorm kunnen meerdere sets parameters opgeslagen en geassocieerd worden voor eenzelfde driedimensionale oriëntatie.

Dit laat een gebruiker toe om gebruik te kunnen maken van verschillende sets parameters bij een bepaalde oriëntatie, zodat er snel en eenvoudig kan geswitcht worden tussen deze verschillende perspectieven, zonder dat de gebruiker gedwongen wordt om een ‘andere’ pose aan te nemen om zo de andere sets parameters te laden.

In een voorkeurdragende uitvoeringsvorm wordt, bij het instellen en bevestigen van nieuwe één of meerdere parameters waaronder de beeldsensor opereert voor een

12 BE2021/5836 driedimensionale oriëntatie waaraan een reeds opgeslagen set parameters geassocieerd is, de set parameters horende bij de nieuwe één of meerdere parameters opgeslagen als een alternatieve set parameters geassocieerd aan de driedimensionale oriëntatie. Bij het herkennen van een driedimensionale oriëntatie als een driedimensionale oriëntatie waaraan één of meerdere alternatieve sets parameters geassocieerd zijn, wordt de gebruiker hiervan genotificeerd en kan deze door middel van voorafbepaalde commando's kiezen tussen de reeds opgeslagen set parameters geassocieerd aan de driedimensionale parameters en de één of meerdere alternatieve parameters geassocieerd aan de driedimensionale oriëntatie.

In een voorkeurdragende uitvoeringsvorm betreft de activiteit een medische handeling, en in het bijzonder een medische ingreep, zoals een operatie en dergelijke. De uitvinding is natuurlijk hier niet toe beperkt, en kan evenzeer gebruikt worden bij een meer regulier doktersbezoek. Daarnaast kan de activiteit ook onderhouds-, installatie-, verwijderingswerken en dergelijke betreffen voor apparatuur, bijvoorbeeld op moeilijk bereikbare of gevaarlijke plaatsen. De toepassing in deze facetten laat onder meer toe dat een remote gebruiker alles kan meevolgen door de beelden gecapteerd door de sensor te kunnen zien, en bijvoorbeeld instructies kan geven (al of niet op een beeldscherm van het apparaat) aan de gebruiker ter plaatse.

In een tweede aspect betreft de uitvinding een hoofdgedragen apparaat, bij voorkeur een smart glass, omvattende minstens één sensorsysteem voor het detecteren van de driedimensionale oriëntatie van het hoofdgedragen apparaat, een beeldsensor voor het capteren van beelden, een geheugenelement en een processor voor het aansturen van de beeldsensor, het sensorsysteem en het geheugenelement, waarbij het apparaat geconfigureerd is voor het uitvoeren van een werkwijze volgens het eerste aspect van de uitvinding, zoals beschreven in dit document.

In een derde aspect betreft de uitvinding het gebruik van het hoofdgedragen apparaat volgens één of meer van de uitvoeringsvormen volgens het tweede aspect, door een medische professional (dokter, anesthesist, verpleger, etc.) tijdens een medische of operatieve behandeling, waarbij de werkwijze volgens het eerste aspect uitgevoerd wordt.

Verdere toepassingen zijn bijvoorbeeld bij interventies op locatie (bijvoorbeeld bij ambulance, maar evenzeer politie, technische interventies, brandweer, etc.).

13 BE2021/5836

De voordelen van een vereenvoudigde aansturing van een hoofdgedragen apparaat in deze toepassing, zijn duidelijk en reeds besproken, namelijk onder meer het bewaren van steriliteit, alsook het vermijden van een impact op de concentratie van de drager.

Figuur 1 geeft een mogelijke uitvoeringsvorm van de uitvinding weer, in de vorm van smart glasses (1), omvattende een houder met een beeldscherm (2), en waarbij een camera of beeldsensor (3) voorzien is op de brug tussen de twee glazen (5). Een aantal elektronische componenten (4) zijn ingewerkt in de bril op diverse plaatsen, zoals onder meer op de houder, maar ook in de oren van de bril.

Figuur 2 geeft een mogelijke variatie hierop weer, waarbij een aantal elektronische componenten in een externe controle-eenheid (6), in dit geval een smartphone, voorzien zijn, die bedraad (7) verbonden is met de smart glasses (1). Een aantal van de elektronische componenten zijn hierbij niet langer voorzien in de smart-glasses maar de functionaliteit daarvan wordt gedragen door de externe controle-eenheid.

Dit omvat typisch energievoorziening (batterij), processor, etc.

Figuur 3 geeft een adaptatie weer van de versie uit Figuur 2, waarbij de communicatie tussen smart glasses en externe controle-eenheid draadloos is, door voorziening van draadloze communicatie-componenten in de smart glasses en in de externe controle- eenheid.

Het is verondersteld dat de huidige uitvinding niet beperkt is tot de uitvoeringsvormen die hierboven beschreven zijn en dat enkele aanpassingen of veranderingen aan de beschreven voorbeelden kunnen toegevoegd worden zonder de toegevoegde conclusies te herwaarderen. Bijvoorbeeld, de huidige uitvinding werd beschreven met verwijzing naar medische ingrepen, maar het mag duidelijk zijn dat de uitvinding kan toegepast worden op bv. bomontmanteling of onderhouds- of reparatiewerken in moeilijk toegankelijke gebieden (hoogtewerker, ruimtestation, faciliteit in Poolgebied, etc.).

Claims

14 BE2021/5836 CONCLUSIES

1. Werkwijze voor gebruik van een hoofdgedragen apparaat in een activiteit, het hoofdgedragen apparaat omvattende minstens een sensorsysteem voor het detecteren van de driedimensionale oriëntatie van het hoofdgedragen apparaat, een beeldsensor voor het capteren van beelden, een geheugenelement, een beeldscherm geconfigureerd voor het weergeven van de beelden van de beeldsensor en een processor voor het aansturen van de beeldsensor, het sensorsysteem en het geheugenelement, de werkwijze omvattende volgende stappen:

a. het initiëren van een sessie van de activiteit;

b. het tijdens de sessie instellen en bevestigen van één of meerdere parameters waaronder de beeldsensor opereert;

c. het op het geheugenelement opslaan van een set parameters waaronder de beeldsensor opereert, omvattende de ingestelde en bevestigde één of meerdere parameters, waarbij de set parameters opgeslagen wordt geassocieerd aan de driedimensionale oriëntatie van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van de set parameters;

d. bij het herkennen van een driedimensionale oriëntatie van het hoofdgedragen apparaat als een driedimensionale oriëntatie waarvoor geassocieerde set parameters opgeslagen is, het voor de beeldsensor automatisch laden en instellen van de parameters geassocieerd aan de herkende driedimensionale oriëntatie.

2. Werkwijze volgens de voorgaande conclusie 1, waarbij de werkwijze geconfigureerd is om de stap van het automatisch laden en instellen van de set parameters ongedaan te maken door een voorafbepaalde actie van de gebruiker van het hoofdgedragen apparaat, waarbij de voorafbepaalde actie een verbaal commando kan omvatten, een beweging of bewegingspatroon van het hoofdgedragen apparaat kan omvatten, en/of een tactiele interactie kan zijn van de gebruiker met het hoofdgedragen apparaat of met een aan het hoofdgedragen apparaat gekoppeld elektronisch apparaat; bij voorkeur waarbij het ongedaan maken van het laden en instellen van de set parameters het terugkeren omvat naar de parameters bij het herkennen van de driedimensionale oriëntatie.

15 BE2021/5836

3. Werkwijze volgens één van de voorgaande conclusies 1 of 2, waarbij de set parameters geassocieerd aan de herkende driedimensionale oriëntatie geladen en ingesteld wordt na het substantieel aanhouden van de herkende driedimensionale oriëntatie over een voorafbepaalde tijd van minstens 2.0 seconden.

4, Werkwijze volgens één van de voorgaande conclusies 1 tot en met 3, waarbij het opslaan van de set parameters en associëren daarvan aan de driedimensionale oriëntatie van het hoofdgedragen apparaat automatisch uitgevoerd wordt bij detectie van het substantieel aanhouden van de driedimensionale oriëntatie gedurende een voorafbepaalde tijd van minstens

5.0 seconden.

5. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 4, waarbij de set parameters opgeslagen wordt verder geassocieerd aan sessiekarakteristieken, genoemde sessiekarakteristieken omvattende één of meerdere van: type activiteit, type gebruiker, identiteit gebruiker; en waarbij de set parameters pas geladen en ingesteld wordt als de sessiekarakteristieken van toepassing zijn in de huidige sessie.

6. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 5, waarbij het hoofdgedragen apparaat verder een sensorsysteem omvat voor het detecteren van de twee- of driedimensionale positie van het hoofdgedragen apparaat, absoluut en/of relatief ten opzichte van een extern object, en waarbij de set parameters wordt opgeslagen geassocieerd aan de twee- of driedimensionale positie van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van de set parameters, en waarbij de set parameters geassocieerd aan een driedimensionale oriëntatie en positie geladen en ingesteld wordt bij de verdere voorwaarde van het herkennen van de twee- of driedimensionale positie.

7. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 6, waarbij de stappen van het herkennen van een twee- of driedimensionale oriëntatie, en het laden en instellen van de geassocieerde set parameters in een verschillende sessie kunnen plaatsvinden dan het opslaan van de set parameters.

16 BE2021/5836

8. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 7, waarbij de set parameters die wordt opgeslagen minstens de brandpuntsafstand omvat, en bij voorkeur één of meerdere van volgende omvatten: filmgevoeligheid van de beeldsensor, sluitertijd, beelden per seconde.

9. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 8, waarbij het hoofdgedragen apparaat een smart glass is.

10. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 9, waarbij het beeldscherm aangestuurd wordt door de processor, waarbij de werkwijze een stap omvat van:

a. het tijdens de sessie instellen en bevestigen van één of meerdere instellingen waaronder het beeldscherm opereert;

b. het op het geheugenelement opslaan van alle instellingen waaronder het beeldscherm opereert, omvattende de ingestelde en bevestigde één of meerdere instellingen, waarbij de instellingen opgeslagen worden geassocieerd aan de driedimensionale oriëntatie van het hoofdgedragen apparaat bij het bevestigen en/of opslaan van alle instellingen;

c. bij het herkennen van een driedimensionale oriëntatie van het hoofdgedragen apparaat als een driedimensionale oriëntatie waarvoor geassocieerde instellingen opgeslagen zijn, het voor het beeldscherm automatisch laden en instellen van de instellingen geassocieerd aan de herkende driedimensionale oriëntatie.

11. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 10, waarbij meerdere sets parameters opgeslagen en geassocieerd kunnen worden voor eenzelfde driedimensionale oriëntatie.

12. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 11, waarbij bij het instellen en bevestigen van nieuwe één of meerdere parameters waaronder de beeldsensor opereert voor een driedimensionale oriëntatie waaraan een reeds opgeslagen set parameters geassocieerd is, de set parameters horende bij de nieuwe één of meerdere parameters opgeslagen wordt als een alternatieve set parameters geassocieerd aan de driedimensionale oriëntatie; en waarbij bij het herkennen van een driedimensionale oriëntatie als een driedimensionale oriëntatie waaraan één

17 BE2021/5836 of meerdere alternatieve sets parameters geassocieerd zijn, de gebruiker hiervan genotificeerd wordt en door middel van voorafbepaalde commando's kan kiezen tussen de reeds opgeslagen set parameters geassocieerd aan de driedimensionale parameters en de één of meerdere alternatieve parameters geassocieerd aan de driedimensionale oriëntatie.

13. Werkwijze volgens één van de voorgaande conclusies 1 tot en met 12, waarbij de activiteit een medische handeling betreft.

14. Hoofdgedragen apparaat, bij voorkeur een smart glass, omvattende minstens één sensorsysteem voor het detecteren van de driedimensionale oriëntatie van het hoofdgedragen apparaat, een beeldsensor voor het capteren van beelden, een geheugenelement en een processor voor het aansturen van de beeldsensor, het sensorsysteem en het geheugenelement, waarbij het apparaat geconfigureerd is voor het uitvoeren van een werkwijze volgens één van de voorgaande conclusies 1 tot en met 13. Gebruik van een hoofdgedragen apparaat volgens conclusie 14, voor het toepassen van een werkwijze volgens één van de voorgaande conclusies 1 tot en met 13, door een medische professional bij een medische behandeling.