FR2798803A1

FR2798803A1 - Digital multimedia processing special image effects having operator defined multiple sources creating real time user combinations all sources dependent following several steps.

Info

Publication number: FR2798803A1
Application number: FR9911719A
Authority: FR
Inventors: Thomas Alsina; Guillaume Vergnaud; Antoine Vialle
Original assignee: Individual
Current assignee: Individual
Priority date: 1999-09-16
Filing date: 1999-09-16
Publication date: 2001-03-23

Abstract

The digital word processing method has digital words coming from a number of sources with an operator defining special effects to apply. There are several steps in real time of a combination of different digital circuits creating digital word effects specified by the user and dependent on all the digital sources.

Description

CONSOLE DE TRAITEMENT D'EFFETS SPECIAUX. SPECIAL EFFECTS PROCESSING CONSOLE.

La présente invention concerne le domaine du traitement de données multimédias numérisées. Elle concerne plus particulièrement les consoles permettant d'appliquer des effets spéciaux à des images, des sons ou tout autre donnée numérique diffusée de manière continue. The present invention relates to the field of processing digital multimedia data. It relates more particularly to consoles making it possible to apply special effects to images, sounds or any other digital data streamed continuously.

Les effets spéciaux actuels, du cinéma ou du spectacle se contentent pour l'instant d'enchaîner des séquences préenregistrées. L'interactivité avec public est extrêmement limitée et la liberté créatrice quasiment inexistante. The current special effects, of the cinema or the spectacle are content for the moment to chain pre-recorded sequences. Interactivity with the public is extremely limited and creative freedom almost nonexistent.

Il existe des systèmes permettant de créer des images à partir d'un son numérique. Ces systèmes sont basés sur 'analyse du spectre sonore et sur la réalisation d'une image à partir d'éléments associés à des bandes de fréquence prédefinies. L'application la plus simple consiste à découper la bande audible en intervalles élémentaires et à associer chaque intervalle de fréquence audible à une couleur et à un emplacement. Des formes peuvent ensuite être créées sur ce principe, en utilisant une suite de formes dont les modifications dépendent des différentes fréquences émises. Ce type d'application est très limité et ne permet pas de traitement multimédia proprement dit. There are systems for creating images from digital sound. These systems are based on the analysis of the sound spectrum and on the production of an image from elements associated with predefined frequency bands. The simplest application is to cut the audible band into elementary intervals and to associate each audible frequency interval with a color and a location. Shapes can then be created on this principle, using a series of shapes whose modifications depend on the different frequencies emitted. This type of application is very limited and does not allow multimedia processing proper.

Le brevet US4791489 concerne un système de traitement d'images vidéo utilisant des effets spéciaux. On utilise un ensemble de mémoires temporaires afin de mémoriser les différentes images provenant des sources vidéo et l'on effectue toutes les manipulations sur les images a priori afin de pouvoir répondre à n'importe quelle requête en temps réel. Les différents effets spéciaux sont conçus de maniere modulaire et peuvent être mis bout à bout afin de réaliser des effets complexes. Ce système permet la création d'effets à la demande, mais ne permet pas de réaliser des applications en temps réel. I1 est également nécessaire de posséder des outils informatiques assez puissants afin de pouvoir calculer toutes les possibilités sans que cela ne prenne trop de temps. Un inconvénient majeur de ce système réside dans le fait qu'il ne permet que la manipulation d'images vidéo et l'application d'un nombre restreint d'effets spéciaux. Les interactions avec l'utilisateur sont réalisées en temps réel, c'est-à-dire les réponses à toutes les requêtes de l'utilisateur sont immédiates du fait que toutes les manipulations sont déjà mémorisées. I1 n'est pas possible dans ce système d'obtenir une réponse très rapide et appliquant des effets complexes modifiant la structure du flux d'images transmis. Patent US4791489 relates to a video image processing system using special effects. We use a set of temporary memories in order to memorize the different images from the video sources and we carry out all the manipulations on the images a priori in order to be able to respond to any request in real time. The various special effects are designed in a modular way and can be placed end to end in order to achieve complex effects. This system allows the creation of effects on demand, but does not allow real-time applications. It is also necessary to have fairly powerful computer tools in order to be able to calculate all the possibilities without it taking too long. A major drawback of this system is that it only allows manipulation of video images and the application of a limited number of special effects. The interactions with the user are carried out in real time, that is to say the responses to all the requests of the user are immediate because all the manipulations are already memorized. It is not possible in this system to obtain a very rapid response and applying complex effects modifying the structure of the transmitted image stream.

Le but de l'invention est de permettre de traiter des images et tout autre élément numérisé afin de créer des effets spéciaux mettant en ceuvre au moins l'un des cinq sens en offrant la possibilité de créer ces effets en temps réel, dans un environnement fac d'accès et en faisant interagir les différentes données entre elles. The object of the invention is to make it possible to process images and any other digitized element in order to create special effects using at least one of the five senses by offering the possibility of creating these effects in real time, in an environment access fac and by interacting the different data between them.

L'invention concerne un procédé de traitement de données numériques comportant une étape de mémorisation des données provenant d'une pluralité de sources numériques, une étape de définition par l'opérateur des fets spéciaux à appliquer, une étape de traitement des différentes données suivant les spécifications de l'opérateur. I1 se caractérise en ce qu'il comprend en outre une pluralité d'étapes de combinaison des différentes sources numériques afin de créer des données numériques comportant effets spéciaux spécifiés par l'utilisateur et dépendant de toutes les sources numériques et en ce que traitements sont effectués en temps réel. The invention relates to a digital data processing method comprising a step of memorizing the data coming from a plurality of digital sources, a step of definition by the operator of the special fets to be applied, a step of processing the different data according to the operator specifications. I1 is characterized in that it further comprises a plurality of steps for combining the different digital sources in order to create digital data comprising special effects specified by the user and dependent on all the digital sources and in that processing is carried out in real time.

Avantageusement, l'étape combinaison des données numériques est effectuée par une pluralité de modules de traitement numérique indépendants les uns des autres. Dans une première variante, l'ordre d utilisation des modules de traitement est " ini préalablement par l'opérateur Préférentiellement, les données créées sont rendues perceptibles à une pluralité d'utilisateurs par un dispositif adapté au type de données créées. Advantageously, the step of combining the digital data is carried out by a plurality of digital processing modules independent of each other. In a first variant, the order of use of the processing modules is "ini beforehand by the operator. Preferably, the data created are made perceptible to a plurality of users by a device adapted to the type of data created.

Dans une variante, les données numériques mémorisées sont utilisées pour la modification de données numériques transmises ultérieurement. In a variant, the stored digital data are used for the modification of subsequently transmitted digital data.

L'invention est particulièrement bien adaptée à utilisation dans une console permettant de gérer de manière centralisée les différents éléments visuels, sonores autres d'un spectacle. Elle peut être utilisée sous forme puce spécifique implémentée dans ce type de console ou dans tout autre élément nécessitant le traitement d'images l'ajout d'effets spéciaux. The invention is particularly well suited for use in a console making it possible to centrally manage the various visual and sound elements other than a show. It can be used in specific chip form implemented in this type of console or in any other element requiring image processing, the addition of special effects.

L'invention synthétise des images, des sons, des effets lasers en fonction d'une série de paramètres qui peuvent être des commandes d'un artiste ou des ordres envoyés par une série de capteurs réagissant à l'environnement extérieur. Le tout est réalisé en temps réel, c'est-à-dire de manière instantanée et peut donc etre utilisé durant un spectacle vivant. The invention synthesizes images, sounds, laser effects according to a series of parameters which can be commands from an artist or orders sent by a series of sensors reacting to the external environment. Everything is done in real time, that is to say instantly and can therefore be used during a live performance.

De manière plus générale, le procédé selon 1 invention permet le traitement de toutes les données numériques en temps réel. Elle s'applique dans le domaine de 1 analyse d'image, de la vision artificielle et la réalité virtuelle. More generally, the method according to the invention allows the processing of all digital data in real time. It applies in the field of 1 image analysis, artificial vision and virtual reality.

À cet effet l'invention utilise un ensemble de modules indépendants utilisant chacun au moins un de données en argument. Dans le cas où plusieurs entrées de données sont gérées par lesdits modules, les données peuvent être utilisées de différentes manières. To this end, the invention uses a set of independent modules each using at least one of data as an argument. In the case where several data inputs are managed by said modules, the data can be used in different ways.

Dans une première variante, au moins une donnée est utilisée comme un support qui est modifié les éléments contenus dans les autres données. Dans ce cadre, les autres données sont considérées comme des variables. Un exemple est la modification du contraste 'une image en fonction du rythme d'une musique. In a first variant, at least one piece of data is used as a support which modifies the elements contained in the other data. In this context, the other data are considered as variables. An example is the modification of the contrast of an image according to the rhythm of a music.

Dans une seconde variante, aucune donnée n'est avantagée, et toutes les données sont utilisées comme variables. Ceci est le cas lorsque l'on cree de nouvelles données de toutes pièce à partir des éléments fournis. Un exemple est la création d'effets de lumière à partir de mouvements d'une personne numérisés sur une bande vidéo. In a second variant, no data is favored, and all the data are used as variables. This is the case when creating new data from scratch from the elements provided. An example is the creation of light effects from the movements of a person digitized on a videotape.

L'invention utilise un ensemble module gérés par un moteur général offrant une plate-forme de gestion, du même type qu'un système d'exploitation. La plate-forme définit un ensemble de critères communs concernant les entrées et les sorties des modules, ainsi que les paramètres dépendant de l'ordinateur sur lequel calculs sont effectués. La plate-forme gère en particulier la mémoire vive de l'ordinateur et spécifie aux différents modules quels flux d'information ils peuvent gérer. The invention uses a module assembly managed by a general engine offering a management platform, of the same type as an operating system. The platform defines a set of common criteria concerning the inputs and outputs of the modules, as well as the parameters depending on the computer on which calculations are performed. In particular, the platform manages the computer's RAM and specifies to the various modules which information flows they can manage.

Chaque type de données possède spécificités qui sont gerées par la plate-forme générale ce qui permet de définir les modules en fonction de la plate-forme, e non en fonction de types de données qui ne sont pas nécessairement fixés. Ceci est particulièrement utile lorsque effets spéciaux à appliquer s'appuient sur les modifications de chaque bit de donnée. Le de données n'est fixé et peut être modifié à tout moment par l'utilisateur. Each type of data has specificities which are managed by the general platform which makes it possible to define the modules according to the platform, e not according to types of data which are not necessarily fixed. This is particularly useful when the special effects to be applied are based on the modifications of each bit of data. The data is not fixed and can be modified at any time by the user.

La création de modules adaptés à cette plate- forme permet d'optimiser l'utilisation de ceux-ci. I1 n'est en effet plus nécessaire de créer une application complète et spécifique à chaque type d'effet désiré. Il suffit de créer 'élément contenant l'algorithme spécifique de transformation et d'y intégrer les éléments définis dans une boîte a outils comprise avec la plate-forme. Cette architecture offre la même souplesse qu'un système d'exploitation tel qu'il peut exister pour les ordinateurs individuels. The creation of modules adapted to this platform makes it possible to optimize the use of these. It is no longer necessary to create a complete and specific application for each type of desired effect. Just create an element containing the specific transformation algorithm and integrate the elements defined in a toolbox included with the platform. This architecture offers the same flexibility as an operating system such as it can exist for individual computers.

Lors d'une utilisation, il est possible de définir une suite d'effets à appliquer, dont l'ordre n'est pas nécessairement commutable. Il en effet bien connu que les effets spéciaux peuvent appliquer des algorithmes destructeurs d'informations et l'ordre de ces algorithmes devient important. During use, it is possible to define a series of effects to be applied, the order of which is not necessarily switchable. It is indeed well known that special effects can apply information destroying algorithms and the order of these algorithms becomes important.

La figure 1 illustre certaines possibilités de combinaisons de différents types d'informations. Figure 1 illustrates some possibilities for combinations of different types of information.

On considère trois donnees ,différentes, par exemple une bande vidéo image 1, une bande son 2 et un détecteur de mouvement binaire 3. Un tel détecteur envoie simplement une information vraie ou fausse selon qu'il détecte un mouvement ou non. We consider three different data, for example an image videotape 1, a soundtrack 2 and a binary motion detector 3. Such a detector simply sends true or false information depending on whether it detects movement or not.

La bande vidéo 1 peut subir un premier traitement en combinaison avec la bande sonore 2 dans un module 4 créant une image dépendant du son, qui peut être transmise avec l'image initiale dans une première sortie 6. Dans le même temps, l'image issue de 4 peut elle-même être recombinée avec le son initial et le détecteur de mouvement 3 pour construire un son specifique 7 et un effet de lumière 8. Ces différents traitements sont effectués avec un temps de traitement réduit du fait de l'ergonomie de la plate-forme gérant l'ensemble modules et des entrées/sorties. The videotape 1 can undergo a first treatment in combination with the soundtrack 2 in a module 4 creating a sound-dependent image, which can be transmitted with the initial image in a first output 6. At the same time, the image resulting from 4 can itself be recombined with the initial sound and the motion detector 3 to build a specific sound 7 and a light effect 8. These different treatments are carried out with a reduced processing time due to the ergonomics of the platform managing all modules and inputs / outputs.

La plate-forme générale peut également fournir à l'utilisateur une interface permettant de créer graphiquement l'ensemble des relations désirées entre modules. Cette interface peut être utilisé avant le début d'un spectacle ou peut permettre modifier dynamiquement l'ensemble des effets pendant diffusion ou une transmission de données. Cette interface est particulièrement bien adaptée au cas où l'utilisateur serait novice dans domaine des effets spéciaux. Il peut alors effectuer toutes les tentatives qu'il désire. The general platform can also provide the user with an interface allowing to graphically create all the desired relationships between modules. This interface can be used before the start of a show or can dynamically modify all of the effects during broadcast or data transmission. This interface is particularly well suited to the case where the user is new to the field of special effects. He can then make all the attempts he wants.

L utilisateur, en plus de définir différentes liaisons entre modules, peut également définir les paramètres spécifiques à chaque module, ainsi que paramètres généraux de traitement des données. La plate- forme définit de son côté quels sont les paramètres l'ordinateur utilisé et adapte les éléments liés à la gestion du flux des données comme le nombre d'image à transmettre par seconde.The user, in addition to defining different links between modules, can also define the parameters specific to each module, as well as general data processing parameters. For its part, the platform defines the parameters of the computer used and adapts the elements linked to the management of data flow such as the number of images to be transmitted per second.

Claims

CLAIMS 1 - Method for processing digital data comprising a step of memorizing the data coming from a plurality of digital sources, a step of definition by the special effects operator to be applied, a step of processing the different data according to the specifications of the operator characterized in that it further comprises a plurality of steps for combining the different digital sources in order to create digital data comprising the special effects specified by the user and dependent on all the digital sources and in that the processing is performed in real time. 2 - Method for processing digital data according to any one of the preceding claims, characterized in that the step of combining digital data is carried out a plurality of digital processing modules independent of each other. 3 - Process for processing digital data according to claim 2 characterized in that the order of use of the processing modules is defined beforehand by the operator 4 - Process for processing digital data according to any one of the preceding claims, characterized in that the data created are made perceptible to a plurality of users by a device adapted to the type of data created. 5 - Method for processing digital data according to any one of the preceding claims, characterized in that the stored digital data are used for the modification of digital data transmitted subsequently. 6 - Interface for implementing the method according to claim 1