[go: up one dir, main page]

FR3144682A1 - Electric switch with gesture control and without contacts. - Google Patents

Electric switch with gesture control and without contacts. Download PDF

Info

Publication number
FR3144682A1
FR3144682A1 FR2214640A FR2214640A FR3144682A1 FR 3144682 A1 FR3144682 A1 FR 3144682A1 FR 2214640 A FR2214640 A FR 2214640A FR 2214640 A FR2214640 A FR 2214640A FR 3144682 A1 FR3144682 A1 FR 3144682A1
Authority
FR
France
Prior art keywords
switch
image processing
electrical
processing module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2214640A
Other languages
French (fr)
Other versions
FR3144682B1 (en
Inventor
Abd Allah Nshare
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanodom SARL
Original Assignee
Nanodom SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanodom SARL filed Critical Nanodom SARL
Priority to FR2214640A priority Critical patent/FR3144682B1/en
Publication of FR3144682A1 publication Critical patent/FR3144682A1/en
Application granted granted Critical
Publication of FR3144682B1 publication Critical patent/FR3144682B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Keying Circuit Devices (AREA)
  • Details Of Connecting Devices For Male And Female Coupling (AREA)

Abstract

Un bouton, un interrupteur, une glissière, ou encore un levier… Autant d’interfaces physiques élémentaires de commande sur lesquelles un individu agit physiquement et qui permettent d'ouvrir, de fermer et de choisir entre plusieurs états actifs d'un dispositif électrique. Ils sont à l’origine des IHM standards plus élaborés de type Clavier ou souris qui ne s’acquittent que d’une seule et unique action mécanique : par exemple, pour allumer une ampoule, un individu appuie sur un interrupteur. Ils sont devenus incontournables et équipent aujourd’hui bon nombre de maisons et de lieux publics. On les retrouve également dans la plupart des digicodes, des distributeurs ou encore des automates de libre-service. Malgré leur efficacité maintes fois démontrée, leur utilisation dans les lieux publiques remet en question un souci d’hygiène mais aussi de sécurité pour ceux qui sont rattachés à un courant électrique plus important. L’invention décrite ci-après a trait à un nouveau type de contacteur constitué d’un dispositif optique et d’un circuit électrique programmable. Cet ensemble est élaboré selon une architecture électrique câblée et connectée. Le dispositif établi, analyse une scène, et recherche une image particulière de couleur peau, puis active ou désactive, sans contact, des procédés de commandes électriques associés tels que des interrupteurs, des actionnaires ou des commutateurs électriques. A button, a switch, a slide, or even a lever... So many basic physical control interfaces on which an individual physically acts and which make it possible to open, close and choose between several active states of an electrical device. They are at the origin of more elaborate standard HMIs such as keyboards or mice which only perform a single mechanical action: for example, to turn on a light bulb, an individual presses a switch. They have become essential and today equip many homes and public places. They are also found in most digital digicodes, distributors and even self-service machines. Despite their repeatedly demonstrated effectiveness, their use in public places calls into question a concern for hygiene but also for safety for those who are connected to a larger electrical current. The invention described below relates to a new type of contactor consisting of an optical device and a programmable electrical circuit. This assembly is developed according to a wired and connected electrical architecture. The established device analyzes a scene, and searches for a particular skin-colored image, then activates or deactivates, without contact, associated electrical control processes such as switches, shareholders or electrical switches.

Description

Interrupteur électrique à commende gestuel et sans contacts.Electric switch with gesture control and no contact.

Il s’agit d’un nouveau dispositif d'interaction directe entre un être humain et un réseau d’interconnexion électrique ou électronique sur lequel circule un flux de courant électrique. Il est associé à des informations spatiales et temporelles et peut être utilisé pour remplacer certains dispositifs de commandes manuelles classiques pour des applications futures.It is a new device for direct interaction between a human being and an electrical or electronic interconnection network on which an electric current flows. It is associated with spatial and temporal information and can be used to replace some conventional manual control devices for future applications.

Aujourd’hui, pour interagir avec l’ensemble des dispositifs électriques de notre environnement quotidien, il existe trois approches :Today, to interact with all the electrical devices in our daily environment, there are three approaches:

D'une part, l’approche classique, qui consiste à agir par pression sur une surface pour déplacer un dispositif de contact d’une position A à une position B, permettant ainsi de couper ou de laisser passer le courant (ou un flux quelconque). Dans certains cas l’action de contact est directe, dans d’autres, l’action est exécutée par l’intermédiaire d’une télécommande ou d’un module qui échange des informations avec un système électrique, lesquels permettent l’interaction à distance avec l’ensemble des appareils de notre environnement quotidien.On the one hand, the classic approach, which consists of acting by pressure on a surface to move a contact device from position A to position B, thus cutting or letting the current (or any flow) pass. In some cases the contact action is direct, in others, the action is performed via a remote control or a module that exchanges information with an electrical system, which allow remote interaction with all the devices in our daily environment.

Cette approche qui a déjà révélé son efficacité présente deux inconvénients majeurs : l’action entraînant un contact intime du doigt avec la surface, augmente alors le risque d’électrocution si l’interrupteurs électriques en présence d’un état de défaut de masse, et représente de surcroit un danger potentiel non négligeable de contamination dans le cas d’une épidémie.This approach, which has already proven to be effective, has two major drawbacks: the action leading to intimate contact of the finger with the surface, increases the risk of electrocution if the electrical switches are in a ground fault condition, and also represents a significant potential danger of contamination in the event of an epidemic.

D’autre part l’approche des interfaces gestuelles, ou l’interaction homme-machine basée sur la vision artificielle. Ces dispositifs électroniques sont équipés d’un ou plusieurs capteurs optiques qui interagissent avec un ordinateur ou de puissants calculateurs. Un ou plusieurs algorithmes de traitement d’images sont implémentés pour détecter la main, la segmenter, reconnaitre un signe, puis l’associer à une action.On the other hand, the approach of gestural interfaces, or human-machine interaction based on artificial vision. These electronic devices are equipped with one or more optical sensors that interact with a computer or powerful calculators. One or more image processing algorithms are implemented to detect the hand, segment it, recognize a sign, then associate it with an action.

Pour de meilleurs résultats il est possible de se servir de gants instrumentés, munis de nombreux capteurs mesurant les angles des articulations et la position de la main dans l'espace. Notamment utilisés pour commander des acteurs virtuels, en désignant et manipulant des objets graphiques sur des écrans d’ordinateurs [Baudel93, Bellik96] ils peuvent également être employé à la reconnaissance de la langue des signes [Braffort96]. Malheureusement, de tels gants restent pour le moins inaccessibles car chers et fragiles, de plus leurs câbles de liaison constituent une entrave.For better results, it is possible to use instrumented gloves, equipped with numerous sensors measuring the angles of the joints and the position of the hand in space. Particularly used to control virtual actors, by designating and manipulating graphic objects on computer screens [Baudel93, Bellik96] they can also be used for sign language recognition [Braffort96]. Unfortunately, such gloves remain at the very least inaccessible because they are expensive and fragile, and their connecting cables are a hindrance.

Des systèmes de reconnaissance de gestes ont été tentés, par exemple le brevet US 5 534 917. D’autre techniques plus récentes visent plutôt à implémenter des algorithmes très robustes, qui peuvent utiliser les filtres de Kalman avec des hypothèses gaussiennes, associés à la technique de soustraction d’image courantes avec l’image de l’arrière-plan. Cette image de référence est ensuite mise à jour automatiquement, l’objectif étant d’obtenir un traitement d’image cohérent et en temps réel. Toutefois, ces systèmes impliquent généralement une analyse informatique compliquée, et intensive et nécessitant un matériel onéreux et encombrant.Gesture recognition systems have been attempted, for example US patent 5,534,917. Other more recent techniques aim instead at implementing very robust algorithms, which can use Kalman filters with Gaussian assumptions, associated with the common image subtraction technique with the background image. This reference image is then updated automatically, the aim being to obtain a consistent and real-time image processing. However, these systems generally involve complicated and intensive computer analysis and require expensive and bulky hardware.

D’autres systèmes utilisent des propriétés de couleur pour une analyse d'image. La scène y est segmentée suivant le modèle de couleur peau. Ce système de reconnaissance de gestes requiert des exigences particulières nécessaires pour une capture précise de la forme et du contour de la main. Cela implique un arrière-plan uniforme, un éclairage fixe, une résolution élevée (ou plusieurs caméras) ainsi qu’une puissance de traitement considérable. En outre aucun mouvement parasite hormis celui de la main ne doit être détecté dans la scène. Ces contraintes permettront de déterminer précisément la forme et l’emplacement de la main par correspondance avec des modèles déjà enregistrés.Other systems use color properties for image analysis. The scene is segmented according to the skin color model. This gesture recognition system has special requirements for accurate capture of the shape and contour of the hand. This implies a uniform background, fixed lighting, high resolution (or multiple cameras) and considerable processing power. In addition, no parasitic movements other than that of the hand must be detected in the scene. These constraints will allow the precise determination of the shape and location of the hand by matching with already recorded models.

Le verrou principal de cette approche est la séparation du dispositif d’acquisition et de traitement. L’information est traitée pixel par pixel, il en résulte alors une grande quantité de données à traiter. La segmentation nécessite des calculs mathématiques très coûteux en termes de temps de calcul. De plus les classifications de couleur, de segmentation et d’optimisation sont réalisées dans trois différents programmes (algorithmes).The main obstacle of this approach is the separation of the acquisition and processing device. The information is processed pixel by pixel, resulting in a large amount of data to be processed. Segmentation requires very expensive mathematical calculations in terms of computing time. In addition, color classifications, segmentation and optimization are carried out in three different programs (algorithms).

Les classificateurs classiques utilisés par ces systèmes, tels que des Modèles de Markov cachés Et des Réseaux neuronaux nécessitent un prétraitement lourd. Par conséquent, ces systèmes ne peuvent pas fonctionner avec un équipement de faible coût, et de faible consommation électrique. Ils sont relativement chers et nécessitent un grand nombre d'échantillons de gestes pour converger. Les interfaces disponibles utilisent des caméras (CMOS, CDD) ainsi qu’un ordinateur, des éléments encombrants, qui ne se prêtent pas à la miniaturisation.Classical classifiers used by these systems, such as Hidden Markov Models and Neural Networks require heavy preprocessing. Therefore, these systems cannot operate with low-cost, low-power equipment. They are relatively expensive and require a large number of gesture samples to converge. The available interfaces use cameras (CMOS, CDD) and a computer, bulky elements that do not lend themselves to miniaturization.

Enfin on, retrouve le système de détection de présence, Il équipe couramment les éléments sanitaires, tels que les lave-mains, robinets, urinoirs, douches, sèche-mains, distributeurs de savon, ... Il s’agit d’un dispositif de commande permettant le déclenchement de ces appareils sans requérir un contact manuel de l'utilisateur. De tels dispositifs présentent l'intérêt de garder propre l'élément sanitaire qui n'est pas touché par l'utilisateur, ce qui limite le développement et la transmission de germes ou de bactéries. Par ailleurs, ils permettent également de limiter la quantité d'eau ou d'électricité consommée par l'élément sanitaire, puisque ce dernier ne fonctionne qu'en présence d'un utilisateur, et s'arrête lorsque celui-ci s'en éloigne et ne l'utilise plus.Finally, we find the presence detection system. It is commonly used in sanitary elements, such as washbasins, faucets, urinals, showers, hand dryers, soap dispensers, etc. It is a control device that allows these devices to be triggered without requiring manual contact from the user. Such devices have the advantage of keeping the sanitary element clean and not touched by the user, which limits the development and transmission of germs or bacteria. In addition, they also make it possible to limit the amount of water or electricity consumed by the sanitary element, since the latter only works in the presence of a user, and stops when the user moves away and no longer uses it.

Il est donc courant d'équiper ces éléments sanitaires avec des dispositifs sans contact, utilisant des émetteurs et des capteurs infra-rouges. Le dispositif de commande déclenche le fonctionnement de l'élément sanitaire en fonction de l'intensité d'infra-rouges détectée. Si l’intensité augmente, cela correspond à la présence d'un utilisateur à proximité du détecteur. L’exemple d'un tel dispositif est notamment décrit dans la demande FR 2 761 446 Al. Il existe entre autres, des détecteurs infra-rouges permettant de détecter la présence d'un utilisateur sans nécessairement 'être monté en regard d'une surface déterminée. Ces détecteurs sont des capteurs à suppression d'arrière-plan, qui permettent grâce à un système de lentilles et d'une matrice de détecteurs, d'estimer la distance les séparant de l'utilisateur plus précisément qu’avec des capteurs infra-rouges standards. Les capteurs à suppression d'arrière-plan peuvent donc être montés ailleurs qu'à l'extrémité libre du robinet, comme par exemple à sa base ..It is therefore common to equip these sanitary elements with contactless devices, using infrared transmitters and sensors. The control device triggers the operation of the sanitary element according to the infrared intensity detected. If the intensity increases, this corresponds to the presence of a user near the detector. The example of such a device is described in particular in application FR 2 761 446 A1. There are, among other things, infrared detectors that can detect the presence of a user without necessarily being mounted opposite a specific surface. These detectors are background suppression sensors, which, thanks to a system of lenses and a matrix of detectors, allow the distance separating them from the user to be estimated more precisely than with standard infrared sensors. The background suppression sensors can therefore be mounted elsewhere than at the free end of the tap, such as at its base.

L’ensemble de ces dispositifs fonctionnent automatiquement, d’où un fort taux de déclenchement intempestifs, non souhaités.All of these devices operate automatically, resulting in a high rate of unwanted, untimely triggering.

Un constat s’impose, il n’existe pas de solution susceptible d’équiper les interrupteurs classiques et de leur donner l’aptitude d’interagir à distance avec un humain. Les dispositifs d’interaction existants sont trop lourds, gourmands électriquement parlant, et encombrant pour se substituer aux interrupteurs. Les détecteurs de présence ont un fonctionnement automatique, n’interagissant pas avec l’Humain. La solution passe par une Adéquation algorithmique et architecturale.It is clear that there is no solution that can equip conventional switches and give them the ability to interact remotely with a human. Existing interaction devices are too heavy, power-hungry, and bulky to replace switches. Presence detectors operate automatically and do not interact with humans. The solution involves algorithmic and architectural adequacy.

Un interrupteur comme symbolisé sur la figure (1) ci dessous, est un dispositif possédant au moins deux chemins de câbles (fil, bus) conducteurs comportant aux extrémités des bornes qui servent à établir un contact électrique. Entre ces bornes ? on trouve un dispositif d’activation (ou commutateur). Ce mécanisme est recouvert d’une surface sur laquelle un individu exerce une pression physique manuelle qui établit (ou rompt) la connexion. Cette opération, généralement réalisée par le doigt de la main, autorise ou interrompt la circulation du flux électrique entre les bornes.A switch as symbolized in figure (1) below, is a device having at least two conductor cable paths (wire, bus) with terminals at the ends that are used to establish electrical contact. Between these terminals? there is an activation device (or switch). This mechanism is covered with a surface on which an individual exerts manual physical pressure that establishes (or breaks) the connection. This operation, generally carried out by the finger of the hand, authorizes or interrupts the circulation of the electric flow between the terminals.

Pour apporter une réponse au problème de l’hygiène et de la sécurité
To provide an answer to the problem of hygiene and safety

dans les lieux publics dotés de ce type d'installation, la présente invention propose de remplacer le circuit électrique(électronique) à commutation manuel par un dispositif électrique à commande à distance. Le nouveau dispositif remplacerait le commutateur manuel ( ) par un commutateur à activation électrique (CAE).in public places equipped with this type of installation, the present invention proposes to replace the manually switched electrical (electronic) circuit with a remotely controlled electrical device. The new device would replace the manual switch ( ) by an electrically activated switch (EAS).

L’action mécanique du doigt est remplacée comme sur la figure (3) par un dispositif (CAE), lequel reçoit alors une commande électrique et modifie automatiquement la configuration des deux bornes de l’interrupteur. Le dispositif CAE de La présente invention est une cellule électrique de base ou une association de cellules de bases qui reçoit une tension d’un côté et laisse passer le courent d’’autre part. Ce dispositif (voir ) est commandé à son tour par un deuxième dispositif, un module de traitement d’image (MTI : Module de Traitement d’Image).The mechanical action of the finger is replaced as in figure (3) by a device (CAE), which then receives an electrical command and automatically modifies the configuration of the two terminals of the switch. The CAE device of the present invention is a basic electric cell or an association of basic cells which receives a voltage on one side and allows the current to pass on the other side. This device (see ) is in turn controlled by a second device, an image processing module (MTI: Image Processing Module).

La présente invention propose d’utilise un module de traitement d’image pour fournir la commande en tension de la cellule CAE. Ce module (MTI) a une double fonctionnalité : détecter un objet de la forme d’un doigt et qu'il soit de la couleur de la peau d’un humain. Ensuite, il doit être capable d’implémenter des algorithmes de segmentation couleur peau et à cadence utile. Il est à l’image des ALU des DSP, ces processeurs reposent sur une architecture généraliste ( ) capable d’effectuer les opérations à la base des primitives de traitement de l’information. Finalement, gérée par un séquenceur, et au prix de quelques éléments de mémorisation, une telle approche permet d’enchaîner des instructions en programmes.The present invention proposes to use an image processing module to provide the voltage control of the CAE cell. This module (MTI) has a dual functionality: detect an object in the shape of a finger and that it is the color of a human's skin. Then, it must be able to implement skin color segmentation algorithms and at a useful rate. It is like the ALUs of DSPs, these processors are based on a generalist architecture ( ) capable of performing the operations underlying the information processing primitives. Finally, managed by a sequencer, and at the cost of a few memorization elements, such an approach makes it possible to chain instructions into programs.

Un outils d’acquisition d’image (voir ) complète l’ensemble du dispositif de la présente invention. Il s’agit d’un réseau de capteurs d’images de résolution standard pouvant être constitué d’une simple caméra de type CCD (Charge Coupled Device), CMOS APS (Active Pixel Sensor) ou autre. Ce dispositif, interagissant à distance avec l’environnement, rend l’action physique et mécanique visuelle. Les images filmées en continu par ce système sont transférées vers le module de traitement d’image qui par la suite, va générer une commande électrique qui actionnera (ou pas) le commutateur CAE.An image acquisition tool (see ) completes the entire device of the present invention. It is a network of standard resolution image sensors that can consist of a simple CCD (Charge Coupled Device), CMOS APS (Active Pixel Sensor) or other type camera. This device, interacting remotely with the environment, makes the physical and mechanical action visual. The images filmed continuously by this system are transferred to the image processing module which subsequently generates an electrical command that will activate (or not) the CAE switch.

Le dispositif final de la présente invention propose deux architectures pour répondre au problème de l’hygiène, de la sécurité, de la consommation électrique, de la puissance de calcul, et de l’encombrement : La première architecture est composée d’un module d’acquisition et de traitement relié à un réseau de N CAE et chacun lui-même associé à un circuit annexe, comme illustré à la figure (7). L’une de ces architectures utilise un circuit compact du type VLSI (Verry Large Signal Itegration), constitué d’une matrice de capteur d’image, d’un dispositif de traitement d’image, d’une interface de commande contrôle, et éventuellement d’un circuit radio fréquence selon le mode d’interconnexion. Ce circuit compact effectue simultanément, l’acquisition et le traitement d’image d’une part, ainsi que le contrôle et la commande des CAEs d’autre part. Il sera réalisé en technologie CMOS standard de faible coût et à faible consommation énergétique. Le dispositif de traitement employé est un DSP (Digital Signal Processing), utilisé selon le mode de fonctionnement de la présente invention est capable de traduire les algorithmes de segmentions de couleur peau et de suivre le mouvement du doigt dans une scène. Une fois l’image traitée, le module MTI décode l’information et le transfère via une connexion filaire, Wifi, ou une boucle locale radio. Une commande en tensions est fournie au CAE correspondant pour activer où désactiver l’un des circuits annexes.The final device of the present invention proposes two architectures to address the problem of hygiene, safety, power consumption, computing power, and size: The first architecture is composed of an acquisition and processing module connected to a network of N CAEs and each itself associated with an auxiliary circuit, as illustrated in figure (7). One of these architectures uses a compact circuit of the VLSI (Very Large Signal Itegration) type, consisting of an image sensor matrix, an image processing device, a command-control interface, and possibly a radio frequency circuit depending on the interconnection mode. This compact circuit simultaneously performs image acquisition and processing on the one hand, as well as the control and command of the CAEs on the other hand. It will be produced in standard CMOS technology of low cost and low energy consumption. The processing device used is a DSP (Digital Signal Processing), used according to the operating mode of the present invention is capable of translating the skin color segmentation algorithms and tracking the movement of the finger in a scene. Once the image is processed, the MTI module decodes the information and transfers it via a wired connection, Wifi, or a local radio loop. A voltage command is provided to the corresponding CAE to activate or deactivate one of the ancillary circuits.

La deuxième architecture est un équilibre d’une part entre consommation électrique, puissance de calcul, et hygiène et sécurité de l’autre. La présente architecture est destinée à remplacer le schéma et câblage de l’électricité dans l’habitation. Ainsi la présente invention propose un unique calculateur pour effectuer le traitement des images en provenance de plusieurs camera, et disposer de la puissance de calcul nécessaire pour traiter plusieurs sources d’image en même temps et à cadence utile. Puis de disposer des cameras aux lieux et à la place des interrupteurs de façon à avoir un réseau de capteurs dont les seules fonctions sont d’acquérir et de transmettre les images. (Voir ). Pour cela les capteurs sont reliés au module de traitement d’image par une liaison filaire, ou via un dispositif d’émission sans fil.
The second architecture is a balance on the one hand between electrical consumption, computing power, and hygiene and safety on the other. This architecture is intended to replace the electrical wiring and diagram in the home. Thus, the present invention proposes a single calculator to process images from several cameras, and to have the computing power necessary to process several image sources at the same time and at a useful rate. Then to have cameras in place of switches so as to have a network of sensors whose only functions are to acquire and transmit images. (See ). For this, the sensors are connected to the image processing module by a wired connection, or via a wireless transmission device.

Le MTI est reliés à son tour aux CAEs, comme précédemment, par une liaison filaire ou sans fil. A chaque image reçue et traitée par le MTI, un code d’activation d’un (ou plusieurs) CAE est Généré via les connexions qui actionnera ensuite les circuits annexes associés. Chaque CAE est interconnecté à un circuit de contrôle et doté éventuellement d’un circuit radio fréquence. Cette organisation architecturale permet d’augmenter la puissance de calcul du MTI, de délocaliser le traitement et de diminuer le coût du cuivre éventuellement.The MTI is in turn connected to the CAEs, as before, by a wired or wireless connection. For each image received and processed by the MTI, an activation code for one (or more) CAEs is generated via the connections which will then activate the associated auxiliary circuits. Each CAE is interconnected to a control circuit and possibly equipped with a radio frequency circuit. This architectural organization makes it possible to increase the computing power of the MTI, to relocate the processing and to reduce the cost of copper if necessary.

Faisabilité d’un MTI .Feasibility of an MTI.

un des algorithmes préférés de cette invention est une combinaison de deux approches : L’espace de chrominance YCbCr et La soustraction de l’image du fond par modélisation temporel de chaque pixel avec un mélange gaussiennes et ceci de manière non supervisée. Pour la segmentation, l’algorithme utilisé est dérivé de K-means. Pour simplifier, l’algorithme est décrit pour une image noire et blanche, on peut facilement l’adapter pour une image RGB : en remplaçant L’écart type par une matrice de covariance, et l’intensité du pixel I par un vecteur de (R,G,B)……One of the preferred algorithms of this invention is a combination of two approaches: The YCbCr chrominance space and the subtraction of the image from the background by temporal modeling of each pixel with a Gaussian mixture and this in an unsupervised manner. For segmentation, the algorithm used is derived from K-means. To simplify, the algorithm is described for a black and white image, it can easily be adapted for an RGB image: by replacing the standard deviation by a covariance matrix, and the intensity of pixel I by a vector of (R,G,B)……

Algorithme

  1. Etape 1
%Donner une valeur à la constance temporelle 1/α du processus %d’oubli, donner une valeur faible au poids Ω et grand à l’écart %type σ pour forcer la convergence, T paramètre bimodale ces %valeurs étant issue de %l’apprentissage.
Algorithm
  1. Step 1
%Give a value to the temporal constancy 1/α of the forgetting process, give a low value to the weight Ω and a large value to the standard deviation σ to force convergence, T bimodal parameter these %values coming from %learning.

α = α0 ; T=T0 ; Ω=Ω0 ; σ=σ0 ;
α = α0; T=T0; Ω=Ω0 ; σ=σ0 ;

2) Etape 2
2) Step 2

%Initialisation des paramètres des trois gaussiennes du mélange de %chaque pixel. une gaussienne pour l’image de fond, une en cas %d’image de fond bimodale, une pour le changement de fond %dans le temps.
%Initialize the parameters of the three Gaussians of the mixture of %each pixel. One Gaussian for the background image, one in case of %bimodal background image, one for the background change over time.

Pour chaque gaussienne de chaque pixel faire
For each Gaussian of each pixel do

For k=1 :3
For k=1 :3

Ω(k,t=0)=0 Ω(k,t=0)=0 ;
Ω(k,t=0)=0 Ω(k,t=0)=0 ;

σ(k,t=0)=σ0 𝜎(k,t=0)=𝜎0 ;
σ(k,t=0)=σ0 𝜎(k,t=0)=𝜎0 ;

µ(k,t=0)=0 µ(k,t=0)=0 ;
µ(k,t=0)=0 µ(k,t=0)=0 ;

end for
end for

%σ est la variance, Ω est le poids, µ est la moyenne, t est le %temps.
%σ is the variance, Ω is the weight, µ is the mean, t is the %time.

End Pour chaque gaussienne de chaque pixel faire
End For each Gaussian of each pixel do

3) Etape 3
3) Step 3

% Calcul des paramètres des gaussiennes pour l’image courante à %l’instant t
% Calculation of the Gaussian parameters for the current image at %time t

Pour tous les pixels d’intensité I(t) à l’instant t
For all pixels of intensity I(t) at time t

Pour chaque pixel faire
For each pixel do

For k=1 : 3
For k=1 : 3

Trouver k qui minimise cette fonction ;
Find k which minimizes this function;

abs(µ(k,t)−I(t))/σ(k,t)abs(µk,t−It)/𝜎(k,t);
abs(µ(k,t)−I(t))/σ(k,t)abs(µk,t−It)/𝜎(k,t);

k=k0;
k=k0;

End for
End for

if(abs(µ(k0,t−I(t))≤2.5∗σ(k0,t)absµk0,t−It≤2.5∗𝜎(k0,t))
if(abs(µ(k0,t−I(t))≤2.5∗σ(k0,t)absµk0,t−It≤2.5∗𝜎(k0,t))

%Mettre à jour des paramètres associés à cette gaussienne.
%Update parameters associated with this Gaussian.

µ(k0,t)=(1−α)µ(k0,t−1)+αI(t); µk0,t=1−𝛼µk0,t−1+𝛼I(t) ;
µ(k0,t)=(1−α)µ(k0,t−1)+αI(t); µk0,t=1−𝛼µk0,t−1+𝛼I(t);

σ2(k0,t)=(1−α)∗σ2(k0,t−1)+α∗(I(t)−µ(k0,t))2;
σ2(k0,t)=(1−α)∗σ2(k0,t−1)+α∗(I(t)−µ(k0,t))2;

𝜎2k(0,t)=1−𝛼∗𝜎2k0,t−1+𝛼∗It−µk0,t2;
𝜎2k(0,t)=1−𝛼∗𝜎2k0,t−1+𝛼∗It−µk0,t2;

Ω(k0,t)=(1−α)Ω(k0,t−1)+α Ωk0,t=1−𝛼Ωk0,t−1+𝛼 ;
Ω(k0,t)=(1−α)Ω(k0,t−1)+α Ωk0,t=1−𝛼Ωk0,t−1+𝛼 ;

If (k≠k0)
If (k≠k0)

Ω(k≠k0,t)=(1−α)Ω(k0,t−1);Ωk≠k0,t=1−𝛼Ωk0,t−1;
Ω(k≠k0,t)=(1−α)Ω(k0,t−1);Ωk≠k0,t=1−𝛼Ωk0,t−1;

End if
End if

ΩN=Ω(1,t)+Ω(2,t)+Ω(3,t) ;
ΩN=Ω(1,t)+Ω(2,t)+Ω(3,t) ;

For i=1 :3 %normalisation des Ω
For i=1:3 %normalization of Ω

Ω(i,t)=Ω(i,t)/ΩN;
Ω(i,t)=Ω(i,t)/ΩN;

End for
End for

% l’image de référence du pixel
% the reference image of the pixel

Iref=µ(k0,t) ;
Iref=µ(k0,t) ;

Else
Else

For i =1:3
For i =1:3

Calculer le rapport Ω(i,t)/σ(i,t) le plus grand
Calculate the largest ratio Ω(i,t)/σ(i,t)

i0=i ;
i0=i ;

End for
End for

% initialiser une nouvelle gaussienne
% initialize a new gaussian

µ(i0,t)=I(t)µ(i0,t)=I(t);
µ(i0,t)=I(t)µ(i0,t)=I(t);

σ(i0,t)=σ0σ(i0,t)=𝜎0;
σ(i0,t)=σ0σ(i0,t)=𝜎0;

Ω(i0,t)=Ω0;Ω(i0,t)=Ω0;
Ω(i0,t)=Ω0;Ω(i0,t)=Ω0;

%la future image de référence
%the future reference image

Iref=µ(i0,t) ;
Iref=µ(i0,t) ;

End else
End else

End si
End if

Image = I(t)- Iref(t-1)
Image = I(t)- Iref(t-1)

% soustraction de l’image courent avec l’image du fond
% image subtraction runs with background image

If ( Cr0<Cr<Cr1 et Cb0<Cb<Cb1)
If (Cr0<Cr<Cr1 and Cb0<Cb<Cb1)

%espace de chrominance YCrCb
%YCrCb chrominance space

Alors Image de couleur peau ;
So Skin color image;

End
End

End Pour tous les pixels d’intensité I(t) à l’instant t,
End For all pixels of intensity I(t) at time t,

4) Etape 4
4) Step 4

%Détection de la direction et du sens de variation du doigt sur la scène.
%Detection of the direction and the sense of variation of the finger on the scene.

Détecté si le doigt est présent sur la scène ;
Detected if finger is present on scene;

Détecteur le sens et la direction du déplacement du doigt: ;
Detects the direction and direction of finger movement: ;

cas 0 : pas de déplacement
case 0: no movement

cas 1 : de la droite vers la gauche
case 1: from right to left

cas 2 : de la gauche vers la droite
case 2: from left to right

cas 3 : de bas vers le haut
case 3: from bottom to top

cas 4 : de haut vers le bas
case 4: from top to bottom

cas 5 : diagonale de bas à gauche vers la haute à droite
case 5: diagonal from bottom left to top right

cas 6 : diagonale de haute à droite vers le bas à gauche
case 6: diagonal from high right to low left

cas 7 : diagonale de haut à gauche vers le bas à droite
case 7: diagonal from top left to bottom right

cas 8 : diagonale de bas à droite vers le haut à gauchecase 8: diagonal from bottom right to top left

Analyse de l’algorithme.
Analysis of the algorithm.

L'algorithme d’étiquetage est itératif, chaque itération se décompose en 3 phases :

  • Une phase d’étiquetage,
  • Une phase de mise à jour des paramètres des clusters (µ, σ et Ω),
  • Une phase de normalisation.
A l’issue de cette phase, les caractéristiques géométriques des 3 clusters sont extraits (barycentre, surface, longueur, largeur).
The labeling algorithm is iterative, each iteration is broken down into 3 phases:
  • A labeling phase,
  • A phase of updating the cluster parameters (µ, σ and Ω),
  • A phase of normalization.
At the end of this phase, the geometric characteristics of the 3 clusters are extracted (barycenter, surface, length, width).

Phase itérative de la segmentation :
Iterative phase of segmentation:

Les pixels sont étiquetés en k=3 catégories. L’attribution de la catégorie de chaque pixel est effectuée en fonction de la distance à la valeur cible (µ) de la catégorie.
Pixels are labeled into k=3 categories. The category assignment of each pixel is done based on the distance to the target value (µ) of the category.

Une fois les pixels étiquetés, les paramètres µ, σ et Ω de chacune des k=3 catégories sont mises à jour selon une moyenne récursive si la distance de la valeur cible à la valeur de niveau de gris (ou de chrominance) est inférieure à une quantité proportionnelle au σ du cluster selon le principe suivant :
IF (
) :


Once the pixels are labeled, the parameters µ, σ and Ω of each of the k=3 categories are updated according to a recursive average if the distance of the target value to the gray level (or chrominance) value is less than an amount proportional to the σ of the cluster according to the following principle:
IF (
) :


ENDIF
ENDIF

Phase post segmentation :
Post segmentation phase:

Les caractéristiques géométriques (longueur, largeur, barycentre, surface…) de chacun des clusters sont calculées.
The geometric characteristics (length, width, barycenter, surface area, etc.) of each of the clusters are calculated.

A partir de ces données, le calcul de la position de doigts sont mis à jour. Le nombre d’opérations élémentaires nécessaires est sensiblement égal à 2-3 fois le nombre de pixels.From this data, the finger position calculation is updated. The number of elementary operations required is approximately 2-3 times the number of pixels.

Evaluation du nombre et du types d’opérations nécessaire
Assessment of the number and types of operations required

Hypothèses : L’architecture cible est donnée ci-après :Assumptions: The target architecture is given below:

Les opérations sont effectuées en pied de colonne par un vecteur de processeurs dédié de type SIMD (Single Instruction Multiple Data). Le jeu d’instruction du processeur élémentaire est optimisé pour effectuer les calculs.
The operations are performed at the foot of the column by a dedicated SIMD (Single Instruction Multiple Data) processor vector. The elementary processor instruction set is optimized to perform the calculations.

On supposera que les divisions peuvent être effectuées en 1 opération.
We will assume that the divisions can be performed in 1 operation.

On supposera que la convergence de l’algorithme est atteinte après 8 itérations.
We will assume that the convergence of the algorithm is reached after 8 iterations.

Nous supposerons que l’imageur est monochrome et reprend l’un des formats ci-dessous :
We will assume that the imager is monochrome and uses one of the formats below:

[tab 1] Imageur RxC R C CGA 200 320 QVGA 240 320 VGA 480 640 Tableau 1 Formats standards d’imageurs bas coût[tab 1] RxC Imager R C CGA 200 320 QVGA 240 320 VGA 480 640 Table 1 Standard formats of low-cost imagers

Un imageur monochrome peut reprendre un format tel que celui-ci.
A monochrome imager can pick up a format like this.

Nous supposerons un fonctionnement à une cadence de 50 ou 60 images/s pour éviter les phénomènes de battement avec l’éclairage artificiel.We will assume operation at a rate of 50 or 60 frames/s to avoid stuttering phenomena with artificial lighting.

Résultats : Nous arrivons alors au tableau ci-dessous.
Results: We then arrive at the table below.

[Tab 2]

type d'opération nombre de pixels nombre de cluster nombre d'ops degré de parallèlisation possible
Labellisation soustraction/pixel/cluster RxC k RxCxk C division/pixel/cluster RxC k RxCxk C comparaison/pixel/cluster RxC k RxCxk C affectation/pixel/cluster RxC k RxCxk C stockage/pixel/cluster RxC k RxCxk Mise à jour comparaison/pixel/cluster RxC k RxCxk 2 multiplications x 3 paramètres (µ, sigma, Omega) RxCx2x3 k RxCxk 1 addition 1 division/cluster Autres Longueur/largeur
incrément conditionnel/pixel/cluster RxC k RxCxk C
Surface incrément conditionnel/pixel/cluster RxC k RxCxk C Barycentre Multiplcation/accumulation RxC k RxCxk C
Tableau 2 : Recensement du nombre d’opérations
[Tab 2]

type of operation number of pixels number of clusters number of ops degree of parallelization possible
Labeling subtraction/pixel/cluster RxC k RxCxk C division/pixel/cluster RxC k RxCxk C comparison/pixel/cluster RxC k RxCxk C assignment/pixel/cluster RxC k RxCxk C storage/pixel/cluster RxC k RxCxk Update comparison/pixel/cluster RxC k RxCxk 2 multiplications x 3 parameters (µ, sigma, Omega) RxCx2x3 k RxCxk 1 addition 1 division/cluster Others Length/width
conditional increment/pixel/cluster RxC k RxCxk C
Surface conditional increment/pixel/cluster RxC k RxCxk C Barycenter Multiplication/accumulation RxC k RxCxk C
Table 2: Census of the number of operations

Avec un fonctionnement à une cadence de 50 ou 60 images/s nous pourrions obtenir des résultats tels que ceux-ci.
Running at 50 or 60 frames/s we could achieve results like these.

Pour un format CGA et une cadence de 50fps, nous arrivons à un total de 500 MOps, soit un total de 2M instructions/s avec l’architecture cible.
For a CGA format and a frame rate of 50fps, we arrive at a total of 500 MOps, or a total of 2M instructions/s with the target architecture.

Pour un format VGA et une cadence de 50fps, nous arrivons à un total un total de 2 Gops, un total de 4M instructions/s avec l’architecture cible.For a VGA format and a frame rate of 50fps, we arrive at a total of 2 GBps, a total of 4M instructions/s with the target architecture.

Utilisation d’une solution type IcyCam®Using an IcyCam® type solution

Rappel de l’architecture l’architecture de l’IcyCam est donnée ci-dessousArchitecture reminder The architecture of the IcyCam is given below

Les principales caractéristiques sont :

  • 32-bit DSP / MCU icyflex1 processor
  • 64-bit data bus
  • Contrast and Orientation computation in the data readout path
  • Graphical Processing Unit (GPU)
  • 32-bit 100 MHz SDRAM interface
  • 12-bit Parallel Peripheral Interface (PPI)
  • 2 Serial Peripheral Interfaces (SPI)
  • 16-bit General Purpose I / O Interface (GPIO)
  • UART interface
  • JTAG interface
  • Programmable in C (GNU tool suite)
  • Max. system clock rate : 33 MHz
The main features are:
  • 32-bit DSP/MCU icyflex1 processor
  • 64-bit data bus
  • Contrast and Orientation computation in the data readout path
  • Graphical Processing Unit (GPU)
  • 32-bit 100MHz SDRAM interface
  • 12-bit Parallel Peripheral Interface (PPI)
  • 2 Serial Peripheral Interfaces (SPI)
  • 16-bit General Purpose I/O Interface (GPIO)
  • UART interface
  • JTAG interface
  • Programmable in C (GNU tool suite)
  • Max. system clock rate: 33 MHz

Analyse des capacités de traitement
Analysis of processing capacities

Compte tenu de l’architecture, nous pouvons estimer à 50MIPS les capacités maximales de calcul. L’IcyCam permet d’effectuer des traitements à cadence vidéo sûr pour des algorithmes simples (seuillage optimal, détection de contours par filtrage linéaire et seuillage…). En revanche, pour un algorithme de segmentation de type k-means, cette architecture est limitée.Considering the architecture, we can estimate the maximum computing capacity at 50MIPS. The IcyCam allows processing at a safe video rate for simple algorithms (optimal thresholding, contour detection by linear filtering and thresholding, etc.). On the other hand, for a k-means segmentation algorithm, this architecture is limited.

Pour dépasser cette limitation, l’architecture cible doit permettre une décimation du nombre totale de pixel et une augmentation le degré de parallélisme de la matrice photo sensible.To overcome this limitation, the target architecture must allow a decimation of the total number of pixels and an increase in the degree of parallelism of the photosensitive matrix.

Le circuit de traitement d’image de la présente invention reprend le principe d’une architecture cible. Une architecture qui rassemble dans un même circuit ASIC une matrice de photo capteur, un vecteur de processeurs colonnes, des éléments de mémorisations, et un microcontrôleur. Ensuite, pour augmenter le degré de parallélisme, l’architecture cible intègre autour de chaque capteur, la fonction de segmentation d’image de couleur peau dans l’espace de chrominance (R, G, B). Cette équation est décrite si dessous :The image processing circuit of the present invention uses the principle of a target architecture. An architecture that brings together in a single ASIC circuit a photo sensor matrix, a column processor vector, storage elements, and a microcontroller. Then, to increase the degree of parallelism, the target architecture integrates around each sensor, the skin color image segmentation function in the chrominance space (R, G, B). This equation is described below:

(R > 95) ET (G > 40) ET (B > 20) ET (MAX(R, G, B) - MIN(R, G, B) > 15) ET (ABS(R-G) > 15) ET (R > G) ET (R > B). Ceci revient après simplification à : (R > 95)&(G > 40)&(B > 20) &(R > G+15)&(R>B).(R > 95) AND (G > 40) AND (B > 20) AND (MAX(R, G, B) - MIN(R, G, B) > 15) AND (ABS(R-G) > 15) AND (R > G) AND (R > B). This amounts after simplification to: (R > 95)&(G > 40)&(B > 20) &(R > G+15)&(R>B).

Puis il faut que l’algorithme gère la diminution la décimation de la matrice de pixel : 1) en réduisant le nombre de colonne d’un facteur quelconque X, 2) en divisant le nombre d’image traitée par seconde d’un facteur Y. Soit une décimation totale d’un facteurX.Ydu nombre total de pixels.Then the algorithm must manage the decrease in the decimation of the pixel matrix: 1) by reducing the number of columns by any factor X, 2) by dividing the number of images processed per second by a factor Y. That is a total decimation by a factor X.Y of the total number of pixels.

Description des modes de réalisationsDescription of the embodiments

Un exemple de réalisation selon le modèle de l’architeture1 : Le schéma électrique développé d’une installation double allumage dans une habitation. Les deux interrupteurs sont remplacés par deux mouvements du doigt à effectuer devant une caméra. Les gestes sont à effectuer entre 10 cm est 2.5m de la devant la caméra et suivant un angles (+-) 60 degrés de la perpendiculaire à l’objectif. Un mouvement pour allumer et un autre pour éteindre soit quatre mouvements au total comme illustré à la figure 20 pour réaliser le double allumage.An example of realization according to the model of architecture1: The developed electrical diagram of a double ignition installation in a home. The two switches are replaced by two finger movements to be performed in front of a camera. The gestures are to be performed between 10 cm and 2.5 m from the front of the camera and following an angle (+-) 60 degrees from the perpendicular to the lens. One movement to turn on and another to turn off, i.e. four movements in total as illustrated in figure 20 to achieve the double ignition.

Exemple de Réalisation d’un CAE : Une des modes de réalisation du CAE est illustré sur le schéma de la , 14 il s’agit d’un relais électrique commandé par une tension. L'activation se fait en fournissant un pic de tension Vd sur les bornes c et d, le commutateur passe de L1 à N ou vice versa.Example of Implementation of a CAE: One of the methods of implementing the CAE is illustrated in the diagram of the , 14 this is an electrical relay controlled by a voltage. Activation is done by providing a voltage peak Vd on terminals c and d, the switch goes from L1 to N or vice versa.

Exemple de Réalisation d’un MTI
Example of the Creation of an MTI

Une réalisation possible d’un MTI de la présente invention à partir des éléments électroniques commerciaux, utilise un ordinateur standard équipé d’une caméra, d’un port USB, d’un port parallèle, d’un port série. On entend par “standard”, un pc ou est installait les logiciels d’édiction, de communication, ainsi que les différentes pilotes des périphéries. Dans ce pc est installait le logiciel de traitement d’image, sur son port USB est connecté un relais électrique 5Volt/230Volts, et sur ce dernier est interconnecté la phase et le “retour phase”, d’un côté la phase provient du réseau électrique d’une habitation et le “retour phase” est connecté à une lampe 220Volts de même que le neutre associé. Et à l’aide du logiciel Matlab l’algorithme cible de traitement d’image a été implémenté. Il s’agit d’un programme qui détecte la variation du doigt d’une main suivant quatre orientations : du bas vers le haut, du haut vers le bas, en diagonale du bas vers le haut, et en diagonale du haut vers le bas. Ceci correspond respectivement à quatre actions de commande, allumer, éteindre, augmenté, baissé la lumière. Selon une autre mode de réalisation, les variations du mouvement ci-dessus peuvent être inversés et on obtiendrait 8 actions au total.A possible embodiment of an MTI of the present invention from commercial electronic elements, uses a standard computer equipped with a camera, a USB port, a parallel port, a serial port. By “standard”, we mean a PC where the editing software, communication software, as well as the various peripheral drivers are installed. In this PC, the image processing software is installed, on its USB port is connected a 5Volt/230Volt electrical relay, and on the latter is interconnected the phase and the “phase return”, on one side the phase comes from the electrical network of a home and the “phase return” is connected to a 220Volt lamp as well as the associated neutral. And using the Matlab software, the target image processing algorithm was implemented. This is a program that detects the variation of a hand finger in four orientations: from bottom to top, from top to bottom, diagonally from bottom to top, and diagonally from top to bottom. This corresponds to four control actions, respectively, turning on, turning off, increasing, decreasing the light. According to another embodiment, the variations of the above movement can be reversed and a total of 8 actions would be obtained.

Et si en plus on ajoute le geste de pointage du doigt à ces 8 variations, on obtient un “digicode” 8 à 9 chiffres.And if we add the finger pointing gesture to these 8 variations, we get an 8 to 9 digit “digicode”.

SCHÉMAS ILLUSTRATIFS OBTENUS PAR SIMULATION MATLABILLUSTRATIVE DIAGRAMS OBTAINED BY MATLAB SIMULATION

La illustre la partie de l’algorithme traitant le cas de la main dans une phase ascendante. Il faudrait de que la main soit en phase ascendante sur au moins 10 images successives et qu’elle arrive vers le sommet de l’écran pour que l’augmentation de l’intensité de la lampe soit déclenchée.There illustrates the part of the algorithm dealing with the case of the hand in an ascending phase. The hand would have to be in an ascending phase for at least 10 successive images and would have to reach the top of the screen for the increase in the intensity of the lamp to be triggered.

La illustre la partie de l’algorithme traitant le cas de la main dans une phase descendante. Il faudrait que la main soit en phase descendante sur au moins 10 images successives et qu’elle arrive vers le bas de l’écran pour que la diminution de l’intensité de la lampe soit déclenchée.There illustrates the part of the algorithm dealing with the case of the hand in a descending phase. The hand would have to be in a descending phase for at least 10 successive images and would have to reach the bottom of the screen for the decrease in the intensity of the lamp to be triggered.

La illustre la partie de l’algorithme traitant le cas de la main dans une phase de déplacement en diagonale vers le haut. Il faudrait que la main soit en phase de déplacement en diagonale vers le haut sur au moins 10 images successives et qu’elle arrive vers l’extrême gauche du sommet de l’écran pour que l’allumage de la lampe soit déclenché.There illustrates the part of the algorithm dealing with the case of the hand in a diagonal upward movement phase. The hand would have to be in a diagonal upward movement phase for at least 10 successive frames and would have to arrive towards the extreme left of the top of the screen for the lamp to be triggered.

La illustre la partie de l’algorithme traitant le cas de la main dans une phase de déplacement en diagonale vers le bas. Il faudrait de que la main soit en phase de déplacement en diagonale vers le bas sur au moins 10 images successives et qu’elle arrive vers l’extrême droite du bas de l’écran pour que l’extinction de la lampe soit déclenchée.There illustrates the part of the algorithm dealing with the case of the hand in a downward diagonal movement phase. The hand would have to be in a downward diagonal movement phase for at least 10 successive frames and would have to arrive towards the far right of the bottom of the screen for the lamp to be turned off.

: :

Cette figure représente les symboles d’interrupteurs ouvert, un autre fermé. Les deux demis droites verticaux symbolise l’action d’ouverture et fermeture. Et la partie du milieu le commutateur ou appuie pour allumer ou éteindre une lampe.This figure represents the symbols of switches open, another closed. The two vertical half-lines symbolize the action of opening and closing. And the middle part the switch or presses to turn on or off a lamp.

: :

Cette figure représente un interrupteur manuel commun avec son commutateur au centre qui permet de passer d'un mode à un autre.This figure shows a common manual switch with its switch in the center allowing you to switch from one mode to another.

: :

Cette figure symbolise un système capable d'agir à distance pour ouvrir ou fermer un interrupteur. Le dispositif reçoit une tension et agit à la place de l'action mécanique humaine pour interconnecter les 2 fils électriques.This figure symbolizes a system capable of acting remotely to open or close a switch. The device receives a voltage and acts in place of human mechanical action to interconnect the 2 electrical wires.

: :

Cette figure représente un commutateur auto électrique (CAE) relié au Module de Traitement d'Image (MTI) qui permet de fournir un signal de commande VD.This figure shows an auto electric switch (AES) connected to the Image Processing Module (IPM) which provides a VD control signal.

: :

Cette figure représente l'architecture générale du dispositif de traitement d'image avec les éléments indispensables. On y trouve, des processeurs, un plan de pixels, un microcontrôleur, une interface bus de communication, et les lignes de processeurs mixtes.This figure represents the general architecture of the image processing device with the essential elements. It includes processors, a pixel plane, a microcontroller, a communication bus interface, and the mixed processor lines.

: :

Cette figure représente le CAE interconnecté au le MTI par une liaison filaire. Le MTI , lui, est relié au dispositif d'acquisition d'image. Celui-ci envoie les images au MTI qui les traitent et fournit la commande et contrôle du CAE, ce qui actionnera ou non le flux électrique.This figure shows the CAE interconnected to the MTI by a wired connection. The MTI is connected to the image acquisition device. The latter sends the images to the MTI which processes them and provides the command and control of the CAE, which will activate or not the electrical flow.

: :

Cette figure représente le dispositif global de l'invention suivant le mode de réalisation de l’architecture 1. Il montre l'assemblage entre la caméra avec le module de traitement d’image et le commutateur auto électrique en un seul circuit électrique.
This figure represents the overall device of the invention according to the embodiment of architecture 1. It shows the assembly between the camera with the image processing module and the auto electric switch in a single electric circuit.

Un circuit imprimé compact ou, le dispositif d'acquisition d'image et le MTI seront réalisés en ASIC CMOS faible coût Very Large Signal Integreted (VLSI).A compact printed circuit board or, the image acquisition device and the MTI will be realized in low cost Very Large Signal Integrated (VLSI) CMOS ASIC.

: :

C'est l'architecture cible de dispositif de traitement d'image de l'invention. Cette architecture dérive de l’algorithme cible de l‘invention. Il s'agit d'une matrice de photo capteurs, de colonnes de processeurs, d'éléments de mémorisation temporaire et de plans de mémoire globale.This is the target architecture of the image processing device of the invention. This architecture is derived from the target algorithm of the invention. It is a matrix of photo sensors, processor columns, temporary storage elements and global memory planes.

: :

Rappel de l'architecture standard de traitement d'image de type Icycam. C'est une solution architecturale qui utilise des RAM de mémoire et une caméra QVGA 320*240 associés à un processeur de type Icyflex.Reminder of the standard Icycam type image processing architecture. It is an architectural solution that uses memory RAMs and a 320*240 QVGA camera associated with an Icyflex type processor.

: :

Cette figure représente une architecture de processeur de traitement d'image de type Icyflex avec des interfaces mémoires et des unités de calculs logiques.This figure represents an Icyflex type image processing processor architecture with memory interfaces and logical calculation units.

: :

Cette figure tous les dispositifs de l’invention dans un schéma électrique de l’habitation et suivant le mode de réalisation de l’architecture 2.This figure shows all the devices of the invention in an electrical diagram of the dwelling and according to the embodiment of architecture 2.

: :

Cette figure représente l'utilisation du dispositif de l'invention au sein de l'installation électrique d'une habitation pour un double allumage. Un individu peut échanger avec le dispositif d'une distance de 20 cm à 2 m.This figure represents the use of the device of the invention within the electrical installation of a home for a double ignition. An individual can communicate with the device from a distance of 20 cm to 2 m.

: :

Cette figure représente un exemple de CAE. Il s'agit d'un relais électrique ouvert ou fermé commandé en tension VD.This figure represents an example of CAE. It is an open or closed electrical relay controlled by voltage VD.

: :

Cette figure représente une lampe connectée à un relais avec tension de 5 volts. C'est un exemple de réalisation de CAE avec relais 5 /230V.This figure shows a lamp connected to a relay with a voltage of 5 volts. This is an example of a CAE implementation with a 5/230V relay.

: :

Cette figure représente le résultat de l'algorithme cible implémenté dans un pc qui repère le mouvement du doigt de la main de bas vers le haut.This figure represents the result of the target algorithm implemented in a PC that tracks the movement of the finger of the hand from bottom to top.

: :

Cette figure représente le résultat de l'algorithme de cible implémenté dans un pc qui repère le mouvement du doigt de haut vers le bas.This figure represents the result of the target algorithm implemented in a PC that tracks the finger movement from top to bottom.

: :

Cette figure représente le résultat de l'algorithme de cible implémenté dans un pc qui repère le mouvement du doigt de la diagonale droite basse vers le haut gauche.This figure represents the result of the target algorithm implemented in a PC that tracks the movement of the finger from the low right diagonal to the high left.

: :

Cette figure représente le résultat de l'algorithme de cible implémenté dans un pc qui repère le mouvement du doigt de la diagonale droite haute vers le bas gauche.This figure represents the result of the target algorithm implemented in a PC that tracks the movement of the finger from the top right diagonal to the bottom left.

: Les quatre sens du mouvement pour allumer et éteindre deux lampes : The four directions of movement to turn two lamps on and off

Claims (8)

Dispositif interrupteur qui selon l’invention utilise un dispositif électrique à commande à distance pour autorise ou interrompt la circulation du flux électrique entre deux chemins de câbles (fil, bus) conducteurs comportant deux extrémités, des bornes qui servent à établir un contact électrique. Ledit dispositif est constitué :
  • D’un dispositif de commutateur à activation électrique (CAE) dont l’activation se fait à distance,
  • D’un dispositif module de traitement d’image (MTI) dont la fonction est de segmenter le mouvement du doigt de la main et de donner l’ordre au commutateur à activation électrique d’autoriser ou d’interrompre le flux électrique,
  • D’un dispositif outils d’acquisition d’image qui film la scène en continue,
  • D’un dispositif réseau d’interconnections qui sont des liaisons filaires ou sans fil.
Switch device which according to the invention uses a remote-controlled electrical device to authorize or interrupt the flow of electrical flow between two conductive cable paths (wire, bus) comprising two ends, terminals which are used to establish electrical contact. Said device consists of:
  • From an electrically activated switch (EAS) device whose activation is done remotely,
  • Of an image processing module (IPM) device whose function is to segment the movement of the finger of the hand and to give the order to the electrically activated switch to authorize or interrupt the electrical flow,
  • From an image acquisition tool device that films the scene continuously,
  • Of a network device of interconnections which are wired or wireless links.
Le dispositif interrupteur selon la revendication 1, dans lequel ledit commutateur à activation électrique reçoit une commande électrique et modifie automatiquement la configuration des deux bornes de l’interrupteur,
Caractérisé à ce que ledit dispositif (CAE) de La présente invention soit une cellule électrique de base ou une association de cellules de bases qui reçoit une tension d’un côté et laisse passer le courent de l’autre.
The switch device of claim 1, wherein said electrically activated switch receives an electrical command and automatically changes the configuration of the two terminals of the switch,
Characterized in that said device (CAE) of the present invention is a basic electric cell or an association of basic cells which receives a voltage on one side and lets the current pass on the other.
Le dispositif interrupteur selon la revendication 1 et 2, dans lequel ladite commande d’activation dudit commutateur à activation électrique est fournie par le dispositif module de traitement d’image. Ledit dispositif module de traitement d’image utilise un algorithme de segmentation d’objet de la forme d’un doigt. Puis ledit dispositif détecte la variation du doigt suivant les orientations prédéfinies et action lesdits commandes associées.The switch device according to claim 1 and 2, wherein said activation command of said electrically activated switch is provided by the image processing module device. Said image processing module device uses an object segmentation algorithm of the shape of a finger. Then said device detects the variation of the finger according to the predefined orientations and activates said associated commands. Le dispositif interrupteur selon la revendication 1, dans lequel
Le dispositif outils d’acquisition d’image est un réseau de capteurs d’images de résolution quelconque pouvant être constitué d’une simple caméra de type CCD (Charge Coupled Device), CMOS APS (Active Pixel Sensor) ou autre. Ledit outils filme la scène en continue ou à la demande. Lesdits images filmées sont transférées vers le dispositif module de traitement d’image qui après traitement, décode les signaux de commandes des dispositifs commutateurs à activation électrique.
The switching device according to claim 1, wherein
The image acquisition tool device is a network of image sensors of any resolution that can consist of a simple CCD (Charge Coupled Device), CMOS APS (Active Pixel Sensor) or other type camera. Said tool films the scene continuously or on demand. Said filmed images are transferred to the image processing module device which, after processing, decodes the control signals of the electrically activated switching devices.
Le dispositif interrupteur de l’invention selon la revendication 1, dans lequel le dispositif outils d’acquisition, le dispositif module de traitement d’image, et le dispositif interface de commande/contrôle ont été réalisés dans un même circuit compact du type VLSI (Verry Large Signal Itegration). Ledit circuit compact effectue simultanément, l’acquisition et le traitement d’image d’une part, ainsi que le contrôle et la commande desdits commutateur à activations électriques.The switch device of the invention according to claim 1, in which the acquisition tool device, the image processing module device, and the command/control interface device have been produced in the same compact circuit of the VLSI (Very Large Signal Itegration) type. Said compact circuit simultaneously performs the acquisition and image processing on the one hand, as well as the control and command of said electrically activated switches. Dispositif interrupteur de l’invention selon la revendication 5, dans lequel le ledit circuit compact est constitué :
D’une matrice de capteur d’image,
Des processeurs,
D’un séquenceur/microcontrôleur,
D’une partie contrôle commande,
Caractérisé à ce que le dispositif processeur soit de type DSP (Digital Signal Processing), capable de traduire les algorithmes de segmentions de couleur peau et de suivre le mouvement du doigt dans une scène.
Switching device of the invention according to claim 5, in which said compact circuit is constituted:
From an image sensor matrix,
Processors,
From a sequencer/microcontroller,
From a control command part,
Characterized by the fact that the processor device is of the DSP (Digital Signal Processing) type, capable of translating skin color segmentation algorithms and tracking the movement of the finger in a scene.
Dispositif interrupteur selon la revendications 1, dans lequel le dispositif réseaux des interconnexions entre :
Le dispositif outils d’acquisition d’image et le dispositif module de traitement d’image sont reliés par une connexion filaire, Wifi, ou une boucle locale radio.
Le dispositif module de traitement d’image et le dispositif commutateur à activation électrique sont également reliés par une connexion filaire, Wifi, ou une boucle locale radio.
Le dispositif commutateur à activation électrique est directement relié de part et d’autre d’un même fils dudit réseaux.
Switch device according to claim 1, in which the device networks interconnections between:
The image acquisition tool device and the image processing module device are connected by a wired connection, WiFi, or a local radio loop.
The image processing module device and the electrically activated switch device are also connected by a wired connection, Wifi, or a local radio loop.
The electrically activated switching device is directly connected on either side of the same wire of said network.
Dispositif interrupteur de l’invention selon la revendications 1, dans lequel, Le dispositif module de traitement d’image est un calculateur puissance relié à plusieurs dispositifs outils d’acquisitions. Ledit calculateur dispose de la puissance de calcul nécessaire pour traiter toutes les images à cadence utile : Caractérisé à ce qu’on puisse disposer des outils d’acquisition d’image aux lieux et à la place des interrupteurs, de façon à avoir un réseau de capteurs dont les seules fonctions sont d’acquérir et de transmettre les images aux dispositifs module de traitement d’image.Switch device of the invention according to claim 1, in which, The image processing module device is a power calculator connected to several acquisition tool devices. Said calculator has the necessary computing power to process all the images at a useful rate: Characterized by the fact that image acquisition tools can be provided in place of and in place of the switches, so as to have a network of sensors whose only functions are to acquire and transmit the images to the image processing module devices.
FR2214640A 2022-12-29 2022-12-29 Electrical switch with gesture control and contactless. Active FR3144682B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR2214640A FR3144682B1 (en) 2022-12-29 2022-12-29 Electrical switch with gesture control and contactless.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2214640A FR3144682B1 (en) 2022-12-29 2022-12-29 Electrical switch with gesture control and contactless.
FR2214640 2022-12-29

Publications (2)

Publication Number Publication Date
FR3144682A1 true FR3144682A1 (en) 2024-07-05
FR3144682B1 FR3144682B1 (en) 2025-05-02

Family

ID=86851608

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2214640A Active FR3144682B1 (en) 2022-12-29 2022-12-29 Electrical switch with gesture control and contactless.

Country Status (1)

Country Link
FR (1) FR3144682B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
FR2761446A1 (en) 1997-03-28 1998-10-02 Celec Conception Electronique Water tap incorporating contactless operating system for water output
US20050286737A1 (en) * 2001-09-28 2005-12-29 Bellsouth Intellectual Property Management Gesture activated home appliance
US20130120238A1 (en) * 2011-11-11 2013-05-16 Osram Sylvania Inc. Light control method and lighting device using the same
US20140324197A1 (en) * 2012-10-01 2014-10-30 Yoshiro Mizuno Controller
US20170257096A1 (en) * 2016-03-07 2017-09-07 Locoroll, Inc. Modular interface of intelligent lighting control apparatuses, systems, and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
FR2761446A1 (en) 1997-03-28 1998-10-02 Celec Conception Electronique Water tap incorporating contactless operating system for water output
US20050286737A1 (en) * 2001-09-28 2005-12-29 Bellsouth Intellectual Property Management Gesture activated home appliance
US20130120238A1 (en) * 2011-11-11 2013-05-16 Osram Sylvania Inc. Light control method and lighting device using the same
US20140324197A1 (en) * 2012-10-01 2014-10-30 Yoshiro Mizuno Controller
US20170257096A1 (en) * 2016-03-07 2017-09-07 Locoroll, Inc. Modular interface of intelligent lighting control apparatuses, systems, and methods

Also Published As

Publication number Publication date
FR3144682B1 (en) 2025-05-02

Similar Documents

Publication Publication Date Title
US10609285B2 (en) Power consumption in motion-capture systems
CN107205125B (en) An image processing method, device, terminal and computer-readable storage medium
CN113518210B (en) Method and device for automatic white balance of image
US9471153B1 (en) Motion detection systems for electronic devices
US9626591B2 (en) Enhanced contrast for object detection and characterization by optical imaging
US20140118257A1 (en) Gesture detection systems
FR2978267A1 (en) METHOD AND DEVICE FOR CONTROLLING AN APPARATUS BASED ON THE DETECTION OF PERSONS NEAR THE DEVICE
US11146747B1 (en) Dynamic driver mechanism for rolling shutter sensor to acquire the structured light pattern
WO2013109609A2 (en) Enhanced contrast for object detection and characterization by optical imaging
US11574484B1 (en) High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
CN109327691B (en) Image shooting method and device, storage medium and mobile terminal
US20170199579A1 (en) Gesture Control Module
Mankani et al. Real-time implementation of object detection and tracking on DSP for video surveillance applications
US12175847B1 (en) Security cameras integrating 3D sensing for virtual security zone
JP2020526941A (en) State detection method, state detection device and storage medium
CN111435422A (en) Motion recognition method, control method and device, electronic device and storage medium
CN114125193A (en) Timing mechanism for pollution-free video streams using RGB-IR sensors with structured light
Shi et al. Smart cameras: Fundamentals and classification
CN107976953A (en) Control method, apparatus, socket and the readable storage medium storing program for executing of socket
US9258483B2 (en) Multi-purpose camera system supporting normal camera functionality and additional user input functionality
FR3144682A1 (en) Electric switch with gesture control and without contacts.
US10789497B2 (en) Image capturing device and image capturing method for alternately switching two light filters
KR20110042806A (en) Terminal and method for providing a user interface using a gesture
CN110738821A (en) A method and system for alarming by remote camera
Garcia et al. Ai smart security camera for person detection, face recognition, tracking and logging

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20240705

PLFP Fee payment

Year of fee payment: 3