[go: up one dir, main page]

WO2013088076A1 - Système de tournage de film vidéo - Google Patents

Système de tournage de film vidéo Download PDF

Info

Publication number
WO2013088076A1
WO2013088076A1 PCT/FR2012/052916 FR2012052916W WO2013088076A1 WO 2013088076 A1 WO2013088076 A1 WO 2013088076A1 FR 2012052916 W FR2012052916 W FR 2012052916W WO 2013088076 A1 WO2013088076 A1 WO 2013088076A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
sensor
module
filming
real
Prior art date
Application number
PCT/FR2012/052916
Other languages
English (en)
Inventor
Isaac PARTOUCHE
Jean-François SZLAPKA
Emmanuel LINOT
Original Assignee
Solidanim
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47557364&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2013088076(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to CN201280062324.7A priority Critical patent/CN104094318A/zh
Application filed by Solidanim filed Critical Solidanim
Priority to NZ624929A priority patent/NZ624929B2/en
Priority to JP2014546616A priority patent/JP2015506030A/ja
Priority to EP12813918.5A priority patent/EP2791914A1/fr
Priority to BR112014014173A priority patent/BR112014014173A2/pt
Priority to US14/364,844 priority patent/US9648271B2/en
Priority to MX2014007075A priority patent/MX341801B/es
Priority to AU2012351392A priority patent/AU2012351392A1/en
Priority to CA2856464A priority patent/CA2856464A1/fr
Priority to KR1020147016197A priority patent/KR20140100525A/ko
Publication of WO2013088076A1 publication Critical patent/WO2013088076A1/fr
Priority to IL232766A priority patent/IL232766A0/en
Priority to HK15101977.8A priority patent/HK1201625A1/xx
Priority to US14/790,099 priority patent/US9756277B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Definitions

  • the present invention relates to video film shooting systems.
  • a classic method for building a video film with such an augmented reality sequence is to start by shooting actors in a calibrated neutral environment, for example in a studio with a monochrome background. A few weeks or months later, in post-production, three-dimensional animations are added, which give the illusion of interacting with the filmed actor.
  • the present invention is intended to overcome these disadvantages.
  • a system for shooting a video film in a real space defined in a real repository comprising:
  • a shooting camera adapted to record a real image for a plurality of distinct time frames
  • a tracking system in space comprising:
  • At least one sensor presenting location data with respect to the turning camera known for each time frame, and adapted to transmit to a computer module for locating the natural topographic information detected by the sensor
  • a computerized tracking module adapted to determine, for each time frame, location data in the actual repository of the camera from the sensor location data, and a comparison between the natural topographic information and a model three-dimensional preset of real space
  • a computerized composition module adapted to generate on the control screen, for each time frame, a composite image of the real image, and a projection of a virtual image, derived from a database of virtual animations, projection generated according to the location data in the real repository of the filming camera.
  • the display on the control screen is generated almost instantly, for example in the second, taking into account the possible processing time and latency due to the various components of the system.
  • the tracking system comprises a computerized generation module adapted to generate said predetermined three-dimensional model of the real space, and said sensor is adapted to transmit topographic information detected by the sensor to the generation computer module;
  • the sensor is adapted to transmit simultaneously with the computerized locating module and the computer module for generating the natural topographic information detected by the sensor, and wherein the computerized generation module is adapted to enrich said predetermined three-dimensional model of the real space from the natural topographical information detected by the sensor;
  • the topographic information includes information relating to real space geometric objects selected from points, lines, areas and volumes;
  • the filming camera and the sensor are fixedly attached to each other;
  • the system further comprises a location system comprising a pattern adapted to be detected simultaneously by the filming camera and the sensor in a location configuration, and a computerized location module adapted to determine the respective location data of the sensor and the camera shooting from the simultaneous detection of the test pattern;
  • system further comprises an optical calibration system comprising an optical calibration pattern adapted to be detected by the filming camera, in an optical calibration configuration, and the computerized registration module is adapted to determine, for each time frame, the location data in the actual repository of the filming camera further from optical calibration data of the filming camera determined by the optical calibration system;
  • system further comprises at least one of the following entities:
  • an inertial sensor fixed on the filming camera adapted to determine a movement of the filming camera
  • the computerized marking module being adapted to determine the location data in the actual repository of the filming camera further from data provided by the inertial sensor
  • the computerized composition module being adapted to put a virtual image at the scale of the real space on the basis of an image of the standard acquired by the filming camera;
  • the computerized composition module being adapted to generate the composite image by taking into account said parameter
  • the system further comprises a computerized animation module, comprising a database of virtual animations, each animation comprising, for each of a set of time frames, a three-dimensional image expressed in a virtual repository, the computerized module of animations being adapted to transmit said three-dimensional images to the composition module;
  • a computerized animation module comprising a database of virtual animations, each animation comprising, for each of a set of time frames, a three-dimensional image expressed in a virtual repository, the computerized module of animations being adapted to transmit said three-dimensional images to the composition module;
  • the computerized tracking module is adapted to transmit the predetermined three-dimensional model of the real space to the computerized animation module;
  • the computerized composition module is adapted to generate on the control screen, for each time frame, a shadow of the virtual image, shadow generated according to the location data in the real repository of the filming camera, and data location of lighting in the real repository.
  • the computerized locating module is adapted to determine location data in the real repository of the filming camera also from location data in the real repository of the filming camera for a frame previous time;
  • the computerized registration module comprises a selection module adapted to select from the geometric patterns geometric patterns of the three-dimensional model used to find the position of the filming camera in the 3D space;
  • the selection module compares geometric patterns of a subsequent image with geometric patterns of a previous image, associates geometric patterns present on the two images and immobile in the real space, and does not retain the other geometric patterns for comparison with the three-dimensional model;
  • the tracking system further comprises a second sensor having at least one characteristic different from the first sensor, chosen from the position, the orientation, the solid angle of view, the acquisition frequency, the optical axis, the optical field.
  • FIG. 1 is a schematic view of a real space
  • FIG. 2 is a schematic view of a turning system according to one embodiment of the invention.
  • FIG. 3 is a schematic view showing a use of the system of FIG. 2 in a learning configuration
  • FIG. 4 is a perspective view of a three-dimensional model of real space
  • FIG. 5 is a view similar to FIG. 2 in a location configuration
  • FIG. 5a is a view similar to FIG. 5 for scaling
  • FIG. 6a is a schematic view of the system in a turning configuration, at a first instant
  • FIG. 6b is a representative diagram of an acquisition made by the filming camera at the instant shown in FIG. 6a,
  • FIG. 6c is a schematic view of a composite image produced on the control screen at the same time
  • FIGS. 7a, 7b and 7c respectively correspond to FIGS. 6a, 6b and 6c for a second instant
  • FIG. 8 is a schematic view of a screen of a programmable machine comprising an animation computer module
  • FIG. 9 is a flowchart of a method for producing a video film using the objects described above.
  • Figure 10 is a schematic view of an acquisition system according to an alternative embodiment.
  • Figure 1 schematically shows a part 1 of the real space.
  • Figure 1 provides a very specific example of a real space 1.
  • the present invention could be applied in a very large number of different real spaces.
  • An actual repository 2 is attached to the real space 1, and comprises for example an origin 0 and three orthonormal axes X, Y and Z. Thus, each point of the real space 1 has a unique set of coordinates in the Real repository 2.
  • the real space 1 is an outdoor outdoor space, comprising a horizontal road 3 extending substantially along the Y axis and a building 4 located in the depth.
  • Building 4 may include various windows 5a, 5b, 5c and doors 6a, 6b, 6c and the like.
  • a sidewalk 7 extends for example between the road 3 and the building 4. It can for example note a car 8 parked.
  • Real space 1 has a number of natural topographic information. This information is for example related to geometric objects of real space, such as points, lines, surfaces and / or volumes. As a line, we can for example consider edges of a structure, and as point intersections of two of these edges. As a surface, it may for example consider solid surfaces, such as a car hood, or other. As volume, we can for example refer to objects, such as a car, or another object present in real space.
  • the natural topographic information is distinguished from calibration markers reported by the fact (s) that:
  • a video film shooting system in a filming configuration.
  • the video film it is a series of images broadcast at a fast frequency (several images per second, for example 24 (cinema), 25 (PAL) or 30 (NTSC) images per second) to a spectator.
  • This series of images is for example projected or broadcast as part of a film, a TV movie, an informative message, a video game, or other.
  • this diffusion or projection can be delayed in time with respect to the turning.
  • This sequence of images relates an event taking place in real space 1.
  • a filming camera 9 of any type suitable for filming such a scene is used.
  • a digital camera that can acquire several images per second, for example 24 images per second, is used.
  • the camera 9 comprises an optical 10 that can acquire images in an optical field 11, and connected to a computer system 12. This connection is for example made by a cable 13 adapted or without cable, for example by radio transmission or other.
  • the turning camera 9 is of any known type suitable, but the invention is particularly suitable if it is possible to vary the optical field 11 during shooting.
  • the optical field 11 can be varied by moving the filming camera 9 in the real space 1. This is particularly the case if the filming camera 9 is movable, in a guided manner, in the real space 1 , for example by being mounted on a rail or a crane having an articulated arm (not shown) defining a location of possibilities for the filming camera 9.
  • a filming camera 9 is used which is sufficiently compact to be movable in the real space 1 simply by an operator (not shown).
  • the filming camera 9 comprises a monitor 14 mounted on the housing of the camera and having a control screen 15 visible by the film operator, and on which the optical field 11 acquired by the camera is displayed.
  • the turning system also comprises a system for locating in the space comprising, on the one hand, a sensor 16 and, on the other hand, a computerized registration module 17 of the computer system 12, and connected to the sensor 16 by a cable 18 or without a cable. , as indicated previously.
  • the sensor 16 has the particularity of having a known location at any time with respect to the filming camera 9.
  • location here means that the position and the orientation of the sensor 16 with respect to the filming camera 9 are known to any moment. These are in particular the positions and relative orientations of the acquisition systems of the sensor and the camera 9 (CCD matrix for it). This can for example be achieved in a simple manner by fixing the sensor 16 rigidly to the turning camera 9, for example by means of a flange 19 or any other suitable mechanical system.
  • the sensor 16 is characterized in particular by an acquisition field 20. It is possible, for example, to place the sensor 16 so that no part of the filming camera 9 blocks a portion of the acquisition field 20, and that no part of the sensor 16 obstructs part of the optical field 11, as shown in FIG.
  • the sensor 16 is adapted to acquire information relating to the real space 1, so as to be able to determine the position of the sensor 16 in the real space, using the computerized registration module 17.
  • it can be provided in a turning configuration, acquiring location data in the real space 1 with the sensor 16, and that the computer registration module 17 can determine, for an acquisition made by the sensor 16, with the aid of a predefined three-dimensional model 21 of the real space, the position of the sensor 16 in the real space.
  • the registration module 17 will determine the most probable location of the sensor 16 in the real space, which makes it possible to match the data acquired by the sensor 16 and the predefined three-dimensional model 21 of the real space.
  • the tracking module 17 can thus determine the location data of the filming camera in the real repository.
  • the filming camera 9 can be dedicated to its own task, which is to film , and the sensor 16 to its own task, which is to locate.
  • the senor 16 is a sensor optical. If it is intended to fix the sensor 16 to the filming camera 9, it is possible to provide in particular for the sensor 16 an optical camera of small size, in particular of a space at least two times smaller than the bulk of the filming camera 9. Thus, the inconvenience for the operator will be minimal.
  • an optical camera specifically dedicated to obtaining the position of the filming camera 9 in real space.
  • an optical camera having an acquisition frequency of at least an integer multiple of that of the filming camera 9, for example of the order of 100 images per second, thus making it possible to smooth out by calculation the position of the filming camera 9 in real space for each time frame.
  • an optical camera having an optical field (solid angle of view) greater than that of the filming camera 11, in order to maximize the information acquired from the real space 1 that can be used to calculate the positioning of the filming camera.
  • an optical camera having an optical field (solid angle of view) greater than that of the filming camera 11, in order to maximize the information acquired from the real space 1 that can be used to calculate the positioning of the filming camera.
  • a wide angle lens (“fish eye” or "fish eye” in English) having an acquisition angle greater than 160 degrees.
  • the predefined three-dimensional model of the real space comprises, for example, natural topographical information of the real space 1.
  • This space is for example available by any appropriate means. However, as shown in FIGS. 3 and 4, it is possible, for example, to use certain elements of the system that has just been described to generate the pre-established three-dimensional model of real space.
  • the three-dimensional model 21 is established. This step is for example performed shortly before the shooting, so that the real space , at the time of shooting, corresponds to the pre-established model.
  • a learning sensor 22 is moved into the real space 1.
  • the learning sensor 22 transmits to the computer system 12, by any appropriate means, information acquired by the learning sensor 22.
  • the computer system 12 comprises a computerized generation module 23 which, receiving information from the learning sensor 22 according to different angles of view, is capable of determining the three-dimensional model 21 ( to a scale factor close).
  • the generation module 23 is able to determine the three-dimensional position of a set of geometric objects of real space. As shown in FIG.
  • the three-dimensional model 21, represented as displayed projected in another perspective on a computer screen consists of a set of geometric patterns (here dots). These points can be represented in any orientation, as in Figure 4, a perspective view of real space.
  • the three-dimensional model 21 could also consist of a set of other geometric objects, such as straight or curved lines, planar or non-planar surfaces, volumes, which are determined either by the generation module 23 itself, or by assistance of an operator of the generation module, the operator indicating to the generation module that a set of geometric objects belong to the same line / surface / volume.
  • the same sensor 16 is used in a turning configuration.
  • the same algorithm is used to determine the three-dimensional position of a geometric object in real space in learning configuration, and to determine the position in real space of the location camera 16 from the positions in the space. real space geometric objects determined with this same camera.
  • the learning mode continues during filming.
  • the predetermined three-dimensional model 21 can, if necessary, be made to a scale factor close.
  • a location configuration in order to determine before shooting the respective location data of the filming camera 9 and the registration sensor 16.
  • the sensor 16 is rigidly attached to the filming camera 9.
  • a computerized location module 26 adapted to determine their relative position from the acquired images of the same pattern 27 by the two tools.
  • the computer system 12 also includes a computer animation module 28.
  • This animation module 28 may for example include an animation database 29 comprising one or more virtual animations.
  • Each animation comprises for example, for each of a set of time frames corresponding to all or part of the duration of the video film to be rotated, characteristics of three-dimensional objects (point, line, surface, volume, texture, etc.). ) expressed in a virtual repository U, V, W 30.
  • Each animation represents for example an augmented virtual reality event.
  • FIG. 2 shows, for a given time frame, a virtual object 31, characterized by data expressed in the virtual space, identified by the virtual repository U, V, W.
  • a virtual object 31 characterized by data expressed in the virtual space, identified by the virtual repository U, V, W.
  • illustrative example very simple we used a vertical column with a square base, fixed in time but, in practice, whether it will be for example a lion, walking, or other ....
  • the computer system 12 includes a composition module 32.
  • the composition module 32 imports an animation of the module animation 28 along a link 33. If necessary, if the animation is not already expressed in the real repository 2, the composition module 32 mathematically links the virtual repositories U, V, W and the real repository X, Y, Z by a suitable passage matrix (an example is described later).
  • the computerized composition module 32 generates, for the time frame in question, a composite image of the real image acquired by the filming camera 9, and a projection of a virtual image, corresponding to the virtual object 31 for this same time frame, the projection being generated according to the location data in the real repository of the filming camera 9.
  • the composite image comprises the superimposition of the real image, and the virtual image, as if this virtual image was the image of an object present in the real space, acquired, for this time frame, by the filming camera 9.
  • the composite image is then displayed on the control screen 15.
  • the operator, filming can, for each frame of time, visualize, on its screen of control, the position and the orientation of the virtual object in the real space, according to its own angle of view, as if this virtual object was present in front of him. It can thus adapt if necessary the position of the filming camera with respect to the objects.
  • the computer system 12 also comprises a monitor 15 'of a monitor 14' allowing, for the director, or for anyone interested, in real time, to view the composite image from the viewing angle of the filming camera.
  • FIGS. 6a to 6c correspond to a first instant, in which an operator, not shown, films a portion 34 of the real space corresponding to the lower part rear of the car 8.
  • the image 35 acquired by the filming camera 9 for this moment can be seen in Figure 6b.
  • the position of the filming camera 9 for this time frame is determined by the tracking system.
  • the composite image 36 generated on the control screen 15, 15 comprises the superposition of the real image, and of the virtual object 31 seen according to the angle of acquisition of the camera 9. To do this, as explained above, knowing the positions, in real space, of the filming camera 9, and the virtual object 31, at this given instant, we can calculate a projection in the image 35 of this object.
  • FIGS. 7a to 7c show a subsequent time frame (directly subsequent), and are explained with reference to Figs. 6a to 6c.
  • the events shown in FIGS. 7a to 7c occur approximately at 1/24 second after those of the preceding figures.
  • the viewing angle of a filming camera 9 has changed, so that the filming camera 9 now points more towards the top of the car 8.
  • the portion 34 'imaged is also represented on the Figure 7a.
  • the actual image acquired by the filming camera 9 is represented by reference 35 'in FIG. 7b.
  • FIG. 7c represents the composite image 36 'corresponding to the superposition of the real image 35' and of the virtual object 31, expressed as a function of the location of the filming camera 9 for this time frame.
  • the virtual object 31 may be identical, on both time frames. Its projected representation for the two frames of time differs because of the difference of angle of view. However, in the case of an animation, the virtual object 31 may also be slightly different for the two time frames.
  • the above steps can be repeated in real time for each frame of time of the shoot and, where appropriate suitable for several filming cameras.
  • the registration image 37 acquired by the sensor 16 may correspond to a larger volume of the real space
  • the computerized registration module is adapted to extracting from this registration image 37 natural topographic information, and to determine the position in the real repository 2 of the filming camera 9, as explained above, from this detected natural topographical information, and the three-dimensional model 21.
  • optical markers fixed in real space 1 can not be used, for a great simplicity of use. Only natural topographic information is then used, which avoids cluttering the turning space with artificial markers.
  • the system described here is also compatible with artificial markers.
  • the computerized locating module may have several options to determine at any time. the position in the actual space of the filming camera 9. For example, in the case where the computerized locating module fails to locate enough topographic information to determine for sure the position in the actual space of the camera. the filming camera 9, it can by default consider that the filming camera 9 is stationary during this time. In reality, when the two devices 9 and 16 are very close to each other, as in the embodiment presented, if the sensor 16 is not able to determine the topographic information, it is because the Optical field of the filming camera 9 is probably closed by a very close real object. At the next time frame where the sensor 16 can determine enough information in order to determine the position in the three-dimensional space of the filming camera 9, a composite image may again be generated for this position.
  • the computerized registration module comprises a selection module adapted to select the geometric patterns of the three-dimensional model that can be used to find the position of the filming camera in the 3D space.
  • the geometric patterns that may be in the field of the sensor 16 are selected, for example by means of an approximate knowledge of the position of the sensor from a previous time frame.
  • the set of identified geometric patterns is too different from the three-dimensional model, these patterns are not taken into account for determining the position of the camera. shooting.
  • the geometric patterns present on the two images and immobile in the real space are associated in pairs.
  • Other geometric patterns are considered moving in real space and are not preserved for comparison with the three-dimensional model.
  • an inertial sensor 38 adapted to provide the computerized locating module with additional information on the position of the filming camera 9.
  • the inertial sensor 38 is attached to the filming camera 9, or to the sensor 16 if it is attached to the filming camera 9.
  • a matrix of passage between the filming camera and the sensor is associated with each magnification. In filming configuration, we use the information from the encoder to select the appropriate pass matrix.
  • the composition module 32 can also be adapted to generate a projected shadow of the virtual object 31 in the real space 1.
  • FIG. 6a shows artificial (as shown) or natural lighting 39 whose position in the real reference frame 2 is known.
  • the real image 35 comprises, in addition to an image of the object 8, an image 40 of its real shadow.
  • the personalized three-dimensional model may comprise surface information on which the shadow 41 of the virtual object 31 will be projected, viewed from the shooting angle of the filming camera 9
  • the shadows of the virtual objects are calculated by taking into account the position in the real space of the virtual object 31, and the position in the real space of a surface on which the shadow of the virtual object is projected. 31, the position of the filming camera, and the position of the lights. Real and virtual shadows are also visible in Figure 7c.
  • the system which has just been described is of particular interest when the animation is displaced with respect to the optical field of the filming camera 9.
  • a fixed plane of a space will be rotated. real immobile, on which we will generate an animation whose form changes over time.
  • Another example is to move the filming camera 9 in the real space 1, incorporating a mobile animation or, if necessary, still, to verify that it is framed as desired during acquisition.
  • the system it is also possible for the system to include a means of taking into account a change in the focal length of the optics 10 of the filming camera 9.
  • the zoom 42 carried by the camera 9 to include an encoder 43 for detecting the degree of rotation of a magnification ring 42, and for the computerized locating module 17 to take the magnification level determined by data transmitted by the encoder 43 is counted. This can be done, for example by repeating the locating step of FIG. 5 for a plurality of different magnifications of the optics 10 of the filming camera. 9.
  • the virtual object 31 is expressed directly in the real referential 2 so as to be directly viewable from the angle of view of the filming camera 9.
  • it can be provided to couple the three-dimensional model generation module with the animation module 28.
  • the link 33 which is described in connection with FIG. 2 for exporting animations from the animation module 28 to the module of composition 32 can also be used in the other direction, to transmit to the animation module 28 the three-dimensional model 21 established for the real space.
  • FIG. 8 it is possible to represent on the screen 44 of the computerized animation module 28 the superposition of the virtual object 31 obtained from the database animation and the three-dimensional model 21.
  • the animation module 28 may include an application comprising a set of tools represented on the screen 44 by icons 45, and for pre-defining the animation.
  • FIG. 8 shows thick arrows representing orders of movement or resizing of the virtual object 31 in the virtual space U, V, W.
  • the system which has just been described makes it possible, if necessary, to retouch the animation directly at the time of shooting, in the real space, after acquisition by the system in a learning configuration, which still allows interaction increased between the real world and the virtual world.
  • the turning system may, in one embodiment, be used as follows.
  • a first step 101 the system is implemented in an optical calibration configuration of the filming camera 9, to determine the possible optical aberrations of the filming camera.
  • This preliminary step is for example carried out using a test pattern, and collected information can be used thereafter by the computer system 12 to computerically correct the acquisition of the filming camera 9.
  • a step 102 the system is used in a learning configuration, in which a learning sensor is moved into real space, to generate a three-dimensional model of the real space. This three-dimensional model is also scaled.
  • an animation is provided from a database of virtual animations, the animation being intended to cooperate with the actual space to be filmed.
  • the filming configuration system is used, and a composite image of the real image obtained by the optical camera 9 is generated on a control screen available at the location of the filming. projection generated, for the same time frame, on the real image, according to the location data in the real repository of the filming camera 9.
  • step 106 if the director considers that the shooting is satisfactory, (arrow 0), taking into account the composite images generated, it ends the shooting of the video film (step 107).
  • step 106 If the determination step 106 shows that the shooting is not satisfactory (arrow N), we can take advantage of having all the actors on site and operators to film the scene again (return to step 105). If necessary, it will be possible during this step to have modified the animation, as described above in relation to FIG. 8.
  • the computerized systems described above can be made by one or a plurality of programmable machines communicating with each other, via networks, allowing the remote importation of the animations from a database if necessary. 29 remote animations.
  • Computer objects such as keyboard, screen, mouse, processor, cables, etc. may be of a classically known type.
  • the animation resulting from the animation database corresponds to a simplified animation animation intended to be present in the final video film. Then, a few weeks later, in a post-production stage, we will be able to plan the final animation from the initial animation used during the shooting, and from the acquired film.
  • Simplified animation includes a smaller amount of data (for example at least twice as small) as the final animation.
  • the sensor 16 and the filming camera 9 had overlapping optical fields and / or acquisition axes relatively close to being parallel.
  • the sensor 16 also called camera witness
  • the registration system comprises a second sensor 16 'having at least one characteristic different from the first sensor 16, chosen for example from the position, the orientation, the solid angle of shooting, acquisition frequency, optical axis, optical field.
  • a second sensor 16 'can be oriented towards the ceiling, and a third sensor 16' 'can be oriented laterally.
  • Each sensor 16, 16 'and 16' ' transmits to the computerized locating module the natural topographic information that it detects.
  • the computerized registration module 17 determines the location data in the real repository of the filming camera 9 from the location data of the sensors 16, 16 ', 16' '(taken together or separately), and a comparison between the natural topographic information and the predetermined three-dimensional model of the real space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Système de tournage de film vidéo dans un espace réel comprenant : - une caméra de tournage (9), - un capteur (16), - un module informatisé de repérage (27) pour déterminer la localisation de la caméra de tournage, - un écran de contrôle (15), - un module informatisé de composition (32) pour générer sur l'écran de contrôle (15) une image composite de l'image réelle et d'une projection d'une image virtuelle, générée selon les données de localisation de la caméra de tournage (9).

Description

SYSTEME DE TOURNAGE DE FILM VIDEO .
La présente invention est relative aux systèmes de tournage de films vidéo.
On tourne depuis longtemps des films vidéo. Depuis quelques décennies, il est de plus en plus fait appel à la réalité augmentée pour représenter, dans le film vidéo diffusé ou projeté, des objets ou événements qui seraient difficiles à filmer dans le monde réel.
Une méthode classique pour construire un film vidéo présentant une telle séquence à réalité augmentée consiste à commencer par filmer des acteurs dans un environnement neutre calibré, par exemple en studio sur fond monochrome. Quelques semaines ou mois plus tard, en post-production, des animations tridimensionnelles sont rajoutées, qui donnent l'illusion d'intéragir avec l'acteur filmé.
Il est difficile aux acteurs et aux réalisateurs de jouer ou filmer une scène réaliste dans un studio sur fond monochrome. Par conséquent, il a récemment été proposé un système de prévisualisation par lequel une version préliminaire de l'animation est générée, et est montrée au réalisateur et aux acteurs avant de jouer la scène. Ainsi, les acteurs et réalisateurs peuvent plus facilement imaginer leur environnement virtuel et/ou le jeu de leur alter ego virtuel.
Toutefois, ces systèmes sont encore très insuffisants, et de nombreux ajustements doivent encore être faits en postproduction, pour adapter les animations au film enregistré qui est absolument inaltérable à ce stade.
On connaît également des systèmes utilisant des mires calibrées pour tenter d'avoir une meilleure idée d'où la caméra est au cours du tournage. Un système commercialisé sous le nom Lightcraft en est un exemple. Ces systèmes sont toutefois très laborieux à mettre en œuvre, car ils nécessitent d'équiper le studio de mires, une opération complexe, et ils sont également limités à être utilisés en studio, ou dans des espaces d'étendue spatiale limitée, celle où les mires sont placées.
La présente invention a notamment pour but de pallier ces inconvénients.
A cet effet, on prévoit un système de tournage de film vidéo dans un espace réel défini dans un référentiel réel, comprenant :
- une caméra de tournage, adaptée pour enregistrer une image réelle pour une pluralité de trames de temps distinctes ,
un système de repérage dans l'espace, comprenant :
. au moins un capteur, présentant des données de localisation par rapport à la caméra de tournage connues pour chaque trame de temps, et adapté pour transmettre à un module informatisé de repérage des informations topographiques naturelles détectées par le capteur,
. un module informatisé de repérage adapté pour déterminer, pour chaque trame de temps, des données de localisation dans le référentiel réel de la caméra de tournage à partir des données de localisation du capteur, et d'une comparaison entre les informations topographiques naturelles et un modèle tridimensionnel préétabli de l'espace réel,
un écran de contrôle,
un module informatisé de composition adapté pour générer sur l'écran de contrôle, pour chaque trame de temps, une image composite de l'image réelle, et d'une projection d'une image virtuelle, issue d'une base de données d'animations virtuelles, projection générée selon les données de localisation dans le référentiel réel de la caméra de tournage.
L'affichage sur l'écran de contrôle est généré quasi-instantanément, par exemple dans la seconde, prenant en compte l'éventuel temps de traitement et de latence dû aux différents composants du système.
Grâce à ces dispositions, on peut visualiser directement sur l'écran de contrôle au moment du tournage, les interactions entre le monde réel et le monde virtuel. Ceci permet le cas échéant de tourner la même scène jusqu'à obtenir satisfaction.
En utilisant des informations topographiques naturelles, on s'affranchit des problèmes liés aux mires évoqués plus haut. On a donc plus de liberté pour filmer.
Dans des modes de réalisation préférés de l'invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes :
- le capteur du système de repérage est une caméra optique présentant au moins l'une des caractéristiques suivantes :
- un angle solide de prise de vue supérieur à un angle solide de prise de vue de la caméra de tournage,
- une fréquence d'acquisition supérieure à une fréquence d'acquisition de la caméra de tournage,
- une acquisition en noir et blanc,
- un encombrement au moins deux fois inférieur à un encombrement de la caméra de tournage ;
- un axe optique parallèle à un axe optique de la caméra de tournage,
- un champ optique superposé à un champ optique de la caméra de tournage ;
le système de repérage comprend un module informatisé de génération adapté pour générer ledit modèle tridimensionnel préétabli de l'espace réel, et ledit capteur est adapté pour transmettre au module informatisé de génération des informations topographiques détectées par le capteur ;
- le capteur est adapté pour transmettre simultanément au module informatisé de repérage et au module informatisé de génération des informations topographiques naturelles détectées par le capteur, et dans lequel le module informatisé de génération est adapté pour enrichir ledit modèle tridimensionnel préétabli de l'espace réel à partir des informations topographiques naturelles détectées par le capteur ;
les informations topographiques comprennent des informations relatives à des objets géométriques de l'espace réel choisis parmi des points, des lignes, des surfaces et des volumes ;
en configuration de tournage, la caméra de tournage et le capteur sont attachés fixement l'un à l'autre ;
- le système comprend en outre un système de localisation comprenant une mire adaptée pour être détectée simultanément par la caméra de tournage et le capteur dans une configuration de localisation, et un module informatisé de localisation adapté pour déterminer les données de localisation respectives du capteur et de la caméra de tournage à partir de la détection simultanée de la mire ;
le système comprend en outre un système de calibrage optique comprenant une mire de calibrage optique adaptée pour être détecté par la caméra de tournage, dans une configuration de calibration optique, et le module informatisé de repérage est adapté pour déterminer, pour chaque trame de temps, les données de localisation dans le référentiel réel de la caméra de tournage à partir en outre de données de calibration optique de la caméra de tournage déterminées par le système de calibrage optique ;
le système comprend en outre au moins l'une des entités suivantes :
- un capteur inertiel fixé sur la caméra de tournage, adapté pour déterminer un mouvement de la caméra de tournage, le module informatisé de repérage étant adapté pour déterminer les données de localisation dans le référentiel réel de la caméra de tournage en outre à partir de données fournies par le capteur inertiel ;
- un étalon, filmable par la caméra de tournage, le module informatisé de composition étant adapté pour mettre une image virtuelle à l'échelle de l'espace réel sur la base d'une image de l'étalon acquise par la caméra de tournage ;
- un système de détermination d'un paramètre de grossissement de la caméra de tournage, le module informatisé de composition étant adapté pour générer l'image composite en prenant en compte ledit paramètre ;
le système comprend en outre un module informatisé d'animation, comprenant une base de données d'animations virtuelles, chaque animation comprenant, pour chacune d'un ensemble de trames de temps, une image tridimensionnelle exprimée dans un référentiel virtuel, le module informatisé d'animations étant adapté pour transmettre lesdites images tridimensionnelles au module de composition ;
le module informatisé de repérage est adapté pour transmettre le modèle tridimensionnel préétabli de l'espace réel au module informatisé d'animation ;
le module informatisé de composition est adapté pour générer sur l'écran de contrôle, pour chaque trame de temps, une ombre de l'image virtuelle, ombre générée selon les données de localisation dans le référentiel réel de la caméra de tournage, et des données de localisation d'éclairage dans le référentiel réel.
- pour une trame de temps ultérieure, le module informatisé de repérage est adapté pour déterminer, des données de localisation dans le référentiel réel de la caméra de tournage à partir également de données de localisation dans le référentiel réel de la caméra de tournage pour une trame de temps antérieure ; le module informatisé de repérage comprend un module de sélection adapté pour sélectionner parmi les motifs géométriques des motifs géométriques du modèle tridimensionnel utilisables pour retrouver la position de la caméra de tournage dans l'espace 3D ;
le module de sélection compare des motifs géométriques d'une image ultérieure avec des motifs géométriques d'une image antérieure, associe des motifs géométriques présents sur les deux images et immobiles dans l'espace réel, et ne conserve pas les autres motifs géométriques pour comparaison avec le modèle tridimensionnel ;
- le système de repérage comprend en outre un deuxième capteur présentant au moins une caractéristique différent du premier capteur, choisie parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique.
Dans certains modes de réalisation, on peut ainsi utiliser un capteur dédié au repérage, et optimisé pour mettre celui-ci en œuvre, ce qui permet de consacrer la caméra de tournage exclusivement à sa fonction première de tournage .
D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la description suivante d'une de ses formes de réalisation, donnée à titre d'exemple non limitatif, en regard des dessins joints.
Sur les dessins :
la figure 1 est une vue schématique d'un espace réel ,
- la figure 2 est une vue schématique d'un système de tournage selon un mode de réalisation de l'invention,
- la figure 3 est une vue schématique représentant une utilisation du système de la figure 2 dans une configuration d'apprentissage,
- la figure 4 est une vue en perspective d'un modèle tridimensionnel de l'espace réel,
- la figure 5 est une vue similaire à la figure 2 dans une configuration de localisation,
- la figure 5a est une vue similaire à la figure 5 pour la mise à l'échelle,
la figure 6a est une vue schématique du système en configuration de tournage, à un premier instant,
la figure 6b est un schéma représentatif d'une acquisition faite par la caméra de tournage à l'instant représenté sur la figure 6a,
la figure 6c est une vue schématique d'une image composite réalisée sur l'écran de contrôle à ce même instant ,
les figures 7a, 7b et 7c correspondent respectivement aux figures 6a, 6b et 6c pour un deuxième instant ,
la figure 8 est une vue schématique d'un écran d'une machine programmable comprenant un module informatique d'animation,
- la figure 9 est un organigramme d'un procédé de réalisation de film vidéo utilisant les objets décrits précédemment, et
la figure 10 est une vue schématique d'un système d'acquisition selon une variante de réalisation.
Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
La figure 1 représente schématiquement une partie 1 de l'espace réel. La figure 1 donne un exemple très spécifique d'un espace réel 1. Toutefois, la présente invention pourrait être appliquée dans un très grand nombre d'espaces réels différents.
Un référentiel réel 2 est attaché à l'espace réel 1, et comprend par exemple une origine 0 et trois axes orthonormés X, Y et Z. Ainsi, chaque point de l'espace réel 1 présente un jeu de coordonnées unique dans le référentiel réel 2.
Dans l'exemple donné purement à titre d'exemple, l'espace réel 1 est un espace extérieur en plein air, comprenant une route 3 horizontale s 'étendant sensiblement le long de l'axe Y et un immeuble 4 situé dans la profondeur. L'immeuble 4 peut comprendre diverses fenêtres 5a, 5b, 5c et portes 6a, 6b, 6c et autre. Un trottoir 7 s'étend par exemple entre la route 3 et l'immeuble 4. On peut par exemple noter une voiture 8 stationnée.
A titre d'espace réel, en variante, on pourrait utiliser un espace en intérieur, tel que par exemple, dans un studio. L'espace réel 1 comporte un certain nombre d'informations topographiques naturelles. Ces informations sont par exemple relatives à des objets géométriques de l'espace réel, tel que des points, des lignes, des surfaces et/ou des volumes. Comme ligne, on pourra par exemple considérer des arêtes d'une structure, et comme point des intersections de deux de ces arêtes. A titre de surface, on pourra par exemple considérer des surfaces pleines, telles qu'un capot de voiture, ou autre. A titre de volume, on pourra par exemple se référer à des objets, tels qu'une voiture, ou un autre objet présent dans l'espace réel. Ainsi, les informations topographiques naturelles se distinguent de marqueurs de calibrage rapportés par le (s) fait ( s ) qu ' :
elles sont disposées de manière aléatoire, non ordonnées ,
elles sont disposées dans un espace de dimensions infinies, le monde entier, et pas limitées à une zone munie de marqueurs,
elles sont fortement hétérogènes, pas seulement différentes les unes des autres par un code de type code-barres,
elles sont disponibles dans un espace 3D volumique, pas seulement sur un ou plusieurs plans ,
elles ne nécessitent pas d'installation compliquée calibrée préalable.
En se référant maintenant à la figure 2, on décrit un système de tournage de film vidéo, selon un mode de réalisation, en configuration de tournage. En ce qui concerne le film vidéo, il s'agit d'une suite d'images diffusées à une fréquence rapide (plusieurs images par seconde, par exemple 24 (cinéma) , 25 (PAL) ou 30 (NTSC) images par seconde) à un spectateur. Cette suite d'images est par exemple projetée ou diffusée dans le cadre d'un film cinématographique, d'un téléfilm, d'un message informatif, d'un jeu vidéo, ou autre. En particulier, cette diffusion ou projection peut être différée dans le temps par rapport au tournage.
Cette séquence d'images relate un événement se déroulant dans l'espace réel 1.
A ce titre, on utilise une caméra de tournage 9 de tout type approprié pour filmer classiquement une telle scène. On utilise en particulier une caméra numérique pouvant acquérir plusieurs images par seconde, par exemple 24 images par seconde.
La caméra 9 comporte une optique 10 pouvant acquérir des images dans un champ optique 11, et reliée à un système informatique 12. Cette liaison est par exemple faite par un câble 13 adapté, ou sans câble, par exemple par transmission radio ou autre.
La caméra de tournage 9 est de n'importe quel type connu adapté, mais l'invention est particulièrement adaptée s'il est possible de faire varier le champ optique 11 au cours du tournage. En particulier, le champ optique 11 peut être fait varier en déplaçant la caméra de tournage 9 dans l'espace réel 1. Ceci est en particulier le cas si la caméra de tournage 9 est mobile, de manière guidée, dans l'espace réel 1, en étant par exemple montée sur un rail ou une grue présentant un bras articulé (non représenté) définissant un lieu des possibles pour la caméra de tournage 9.
A titre d'alternative, qui est l'alternative représentée, on utilise une caméra de tournage 9 suffisamment compacte pour être déplaçable dans l'espace réel 1 en étant simplement portée par un opérateur (non représenté) .
Selon un exemple de réalisation, la caméra de tournage 9 comporte un moniteur 14 monté sur le boîtier de la caméra et présentant un écran de contrôle 15 visible par l'opérateur filmant, et sur lequel le champ optique 11 acquis par la caméra est affiché.
Le système de tournage comporte également un système de repérage dans l'espace comprenant d'une part un capteur 16 et d'autre part un module informatisé de repérage 17 du système informatique 12, et relié au capteur 16 par un câble 18 ou sans câble, comme indiqué précédemment .
Le capteur 16 présente la particularité de présenter une localisation connue à tout moment par rapport à la caméra de tournage 9. Par localisation, on entend ici que la position et l'orientation du capteur 16 par rapport à la caméra de tournage 9 sont connues à tout instant. Il s'agit en particulier des positions et orientations relatives des systèmes d'acquisition du capteur et de la caméra 9 (matrice CCD pour celle-ci) . Ceci peut par exemple être réalisé de manière simple en fixant le capteur 16 rigidement à la caméra de tournage 9, par exemple par l'intermédiaire d'une bride 19 ou tout autre système mécanique adapté.
Le capteur 16 est caractérisé en particulier par un champ d'acquisition 20. On peut par exemple placer le capteur 16 de sorte qu'aucune partie de la caméra de tournage 9 n'obture une partie du champ d'acquisition 20, et qu'aucune partie du capteur 16 n'obture une partie du champ optique 11, comme représenté sur la figure 2.
Le capteur 16 est adapté pour acquérir des informations relatives à l'espace réel 1, de manière à pouvoir déterminer la position du capteur 16 dans l'espace réel, à l'aide du module informatisé de repérage 17. En particulier, on peut prévoir, en configuration de tournage, d'acquérir des données de localisation dans l'espace réel 1 avec le capteur 16, et que le module informatisé de repérage 17 puisse déterminer, pour une acquisition faite par le capteur 16, à l'aide d'un modèle tridimensionnel préétabli 21 de l'espace réel, la position du capteur 16 dans l'espace réel. Ainsi, le module de repérage 17 déterminera la localisation la plus probable du capteur 16 dans l'espace réel, qui permette de faire correspondre les données acquises par le capteur 16 et le modèle tridimensionnel préétabli 21 de l'espace réel.
Connaissant la position du capteur 16 dans l'espace réel, et connaissant la position relative de la caméra de tournage 9 et du capteur 16, le module de repérage 17 peut ainsi déterminer les données de localisation de la caméra de tournage dans le référentiel réel.
On notera que, même si le procédé décrit ci-dessus fait intervenir deux étapes successives de détermination de la position du capteur 16, puis de détermination de la caméra de repérage 9, on pourrait en variante déterminer directement la position de la caméra de tournage 9 sans une détermination explicite de la localisation du capteur 16.
On prévoit d'utiliser un capteur 16 spécifiquement dédié à la tâche de repérage, et présentant des caractéristiques d'acquisition distinctes de la caméra de tournage 9. Ainsi, la caméra de tournage 9 peut être dédiée à sa tâche propre, qui est de filmer, et le capteur 16 à sa tâche propre, qui est de localiser.
A titre d'exemple, le capteur 16 est un capteur optique. S'il est prévu de fixer le capteur 16 à la caméra de tournage 9, on peut prévoir en particulier pour le capteur 16 une caméra optique de faible encombrement, en particulier d'un encombrement au moins deux fois inférieur à l'encombrement de la caméra de tournage 9. Ainsi, la gêne pour l'opérateur sera minimale.
A titre de capteur 16, on pourra en particulier choisir une caméra optique spécifiquement dédiée à l'obtention de la position de la caméra de tournage 9 dans l'espace réel. On peut ainsi par exemple prévoir une caméra optique présentant une fréquence d'acquisition au moins un multiple entier de celle de la caméra de tournage 9, par exemple de l'ordre de 100 images par seconde, permettant ainsi de lisser par calcul la position de la caméra de tournage 9 dans l'espace réel pour chaque trame de temps .
On peut en particulier également choisir une caméra optique présentant un champ optique (angle solide de prise de vue) 20 supérieur à celui de la caméra de tournage 11, afin de maximiser l'information acquise de l'espace réel 1 pouvant servir au calcul du positionnement de la caméra de tournage. Ainsi, on peut par exemple utiliser une lentille grand angle (« fish eye » ou « œil de poisson », en anglais) présentant un angle d'acquisition supérieur à 160 degrés.
On pourra également utiliser une caméra noire et blanc, si nécessaire, au titre de capteur de repérage. Ainsi le procédé ici décrit peut fonctionner même sans acquérir d'information de couleur.
Le modèle tridimensionnel préétabli de l'espace réel comprend par exemple des informations topographiques naturelles de l'espace réel 1. Celui-ci est par exemple disponible par tout moyen approprié. Toutefois, comme représenté sur les figures 3 et 4, on peut par exemple utiliser certains éléments du système qui vient d'être décrit pour générer le modèle tridimensionnel préétabli de l'espace réel.
En particulier, comme représenté sur la figure 3, au cours d'une étape préliminaire, en configuration d'apprentissage, on établit le modèle tridimensionnel 21. Cette étape est par exemple réalisée peu de temps avant le tournage, afin que l'espace réel, au moment du tournage, corresponde au modèle pré-établi.
Pendant l'étape d'apprentissage, on déplace un capteur d'apprentissage 22 dans l'espace réel 1. Pour un ensemble de trame de temps, le capteur d'apprentissage 22 transmet au système informatique 12, par tout moyen approprié, des informations acquises par le capteur d'apprentissage 22. Ainsi, le système informatique 12 comprend un module informatisé de génération 23 qui, recevant des informations à partir du capteur d'apprentissage 22 selon différents angles de vues, est capable de déterminer le modèle tridimensionnel 21 (à un facteur d'échelle près) . Ainsi, en acquérant, avec le capteur d'apprentissage 22, les mêmes informations topographiques naturelles de l'espace réel 1 selon différents angles de vues, le module de génération 23 est capable de déterminer la position en trois dimensions d'un ensemble d'objets géométriques de l'espace réel. Comme représenté sur la figure 4, le modèle tridimensionnel 21, représenté affiché projeté selon une autre perspective sur un écran d'ordinateur, est constitué d'un ensemble de motifs géométriques (ici des points) . Ces points peuvent être représentés selon n'importe quelle orientation, comme sur la figure 4, une vue en perspective de l'espace réel. Outre les points 24, le modèle tridimensionnel 21 pourrait également être constitué d'un ensemble d'autres objets géométriques, telles que des lignes, droites ou courbes, des surfaces, planes ou non, des volumes, ... qui sont déterminés soit par le module de génération 23 lui-même, soit par assistance d'un opérateur du module de génération, l'opérateur indiquant au module de génération qu'un ensemble d'objets géométriques appartiennent à la même ligne/ surface/volume .
Comme expliqué ci-dessus, le modèle tridimensionnel
21 ainsi généré sera ensuite importé dans le module informatisé de repérage, afin de repérer à tout moment, en configuration de tournage, la position effective dans l'espace réel de la caméra de tournage.
Dans l'exemple décrit, on peut utiliser à titre de capteur d'apprentissage 22, le même capteur 16 que celui qui est utilisé en configuration de tournage. Ainsi, le même algorithme est utilisé pour déterminer la position tridimensionnelle d'un objet géométrique dans l'espace réel en configuration d'apprentissage, et pour déterminer la position dans l'espace réel de la caméra de repérage 16 à partir des positions dans l'espace réel des objets géométriques déterminés avec cette même caméra. De plus, en utilisant le même capteur pour les deux étapes, on peut, en configuration de tournage, continuer d'enrichir le modèle tridimensionnel, si celui-ci était amené à changer en cours de tournage (ce qui peut être le cas en cas de tournage extérieur, ou du fait de la présence d'acteur dans le champ du capteur 16 en configuration de tournage) . Ainsi, dans ce cas, le mode d'apprentissage continue pendant le tournage.
Comme expliqué ci-dessus, le modèle tridimensionnel préétabli 21 peut, le cas échéant, être réalisé à un facteur d'échelle près. Dans ce cas, on peut par exemple utiliser un étalon 25, de longueur donnée, qui va être acquis avec le capteur d'apprentissage 22, permettant ainsi de mettre à l'échelle le modèle tridimensionnel 21, comme représenté Fig. 5a.
De plus, on peut mettre en œuvre une configuration de localisation, afin de déterminer avant tournage les données de localisation respectives de la caméra de tournage 9 et du capteur de repérage 16. En particulier, un exemple est donné dans le cas où le capteur 16 est fixé rigidement à la caméra de tournage 9. Au cours de la configuration de localisation, on filme une mire 27 simultanément avec la caméra de tournage 9 et le capteur 16. Les informations recueillies par les deux outils sont transmises à un module informatisé de localisation 26 adapté pour déterminer leur position relative à partir des images acquises de la même mire 27 par les deux outils.
En revenant maintenant sur la figure 2, le système informatisé 12 comprend également un module informatisé d'animation 28. Ce module d'animation 28 peut par exemple comprendre une base de données d'animation 29 comprenant une ou plusieurs animations virtuelles. Chaque animation comprend par exemple, pour chacune d'un ensemble de trames de temps correspondant à tout ou partie de la durée du film vidéo à tourner, des caractéristiques d'objets tridimensionnels (point, ligne, surface, volume, texture,...) exprimé dans un référentiel virtuel U, V, W 30. Chaque animation représente par exemple un événement de réalité virtuelle augmentée. Par exemple, on peut prévoir dans la base de données d'animation, des animations représentant un personnage virtuel tridimensionnel, mobile ou non, un effet spécial (pluie, explosion, ...) , ou autre. A titre d'exemple, on a représenté sur la figure 2, pour une trame de temps donné, un objet virtuel 31, caractérisé par des données exprimées dans l'espace virtuel, repéré par le référentiel virtuel U, V, W. Dans l'exemple illustratif très simple, on a utilisé une colonne verticale à base carrée, fixe dans le temps mais, en pratique, s'il s'agira par exemple d'un lion, marchant, ou autre, ....
Comme représenté sur la figure 2, le système informatique 12 comporte un module de composition 32. Le module de composition 32 importe une animation du module d'animation 28 le long d'un lien 33. Si nécessaire, si l'animation n'est pas déjà exprimée dans le référentiel réel 2, le module de composition 32 relie mathématiquement les référentiels virtuels U, V, W et le référentiel réel X, Y, Z par une matrice de passage adaptée (un exemple est décrit plus loin) .
Puis, le module informatisé de composition 32 génère, pour la trame de temps en question, une image composite de l'image réelle acquise par la caméra de tournage 9, et une projection d'une image virtuelle, correspondant à l'objet virtuel 31 pour cette même trame de temps, la projection étant générée selon les données de localisation dans le référentiel réel de la caméra de tournage 9. Ainsi, l'image composite comprend la superposition de l'image réelle, et de l'image virtuelle, comme si cette image virtuelle était l'image d'un objet présent dans l'espace réel, acquise, pour cette trame de temps, par la caméra de tournage 9. L'image composite est alors affichée sur l'écran de contrôle 15. Ainsi, l'opérateur, filmant, peut, pour chaque trame de temps, visualiser, sur son écran de contrôle, la position et l'orientation de l'objet virtuel dans l'espace réel, selon son propre angle de vue, comme si cet objet virtuel était présent devant lui. Il peut ainsi adapter le cas échéant la position de la caméra de tournage par rapport aux objets .
En variante, le système informatique 12 comporte également un écran de contrôle 15' d'un moniteur 14' permettant, pour le réalisateur, ou pour toute personne intéressée, en temps réel, de visualiser l'image composite depuis l'angle de vue de la caméra de tournage.
Un exemple est en particulier donné aux figures 6a à 7c. Les figures 6a à 6c correspondent à un premier instant, où un opérateur non représenté, filme une partie 34 de l'espace réel correspondant à la partie inférieure arrière de la voiture 8. L'image 35 acquise par la caméra de tournage 9 pour cet instant peut être vue sur la figure 6b. La position de la caméra de tournage 9 pour cette trame de temps est déterminée par le système de repérage. Comme représenté sur la figure 6c, l'image composite 36 générée sur l'écran de contrôle 15, 15' comprend la superposition de l'image réelle, et de l'objet virtuel 31 vu selon l'angle d'acquisition de la caméra de tournage 9. Pour ce faire, comme expliqué ci-dessus, connaissant les positions, dans l'espace réel, de la caméra de tournage 9, et de l'objet virtuel 31, à cet instant donné, on peut calculer une projection dans l'image 35 de cet objet.
Les figures 7a à 7c représentent une trame de temps ultérieure (directement ultérieure), et sont expliquées par référence aux figures 6a à 6c. Ainsi, les événements représentés figures 7a à 7c ont lieu environ à 1/24 seconde après ceux des figures précédentes. Pendant cet espace de temps, l'angle de vue d'une caméra de tournage 9 a changé, de sorte que la caméra de tournage 9 pointe désormais plus vers le haut de la voiture 8. La partie 34' imagée est également représentée sur la figure 7a. L'image réelle acquise par la caméra de tournage 9 est représentée par la référence 35' sur la figure 7b. La figure 7c représente l'image composite 36' correspondant à la superposition de l'image réelle 35' et de l'objet virtuel 31, exprimé en fonction de la localisation de la caméra de tournage 9 pour cette trame de temps. A noter que, dans cet exemple, l'objet virtuel 31 peut être identique, sur les deux trames de temps. Sa représentation projetée pour les deux trames de temps diffère du fait de la différence d'angle de vue. Toutefois, s'agissant d'une animation, l'objet virtuel 31 peut également être légèrement différent pour les deux trames de temps.
Les étapes ci-dessus peuvent être répétées en temps réel pour chaque trame de temps du tournage et, le cas échéant pour plusieurs caméras de tournage.
En se référant à nouveau à la figure 6a, pour la trame de temps considérée, l'image de repérage 37 acquise par le capteur 16 peut correspondre à un volume plus grand de l'espace réel, et le module informatisé de repérage est adapté pour extraire de cette image de repérage 37 des informations topographiques naturelles, et pour déterminer la position dans le référentiel réel 2 de la caméra de tournage 9, comme explicité ci-dessus, à partir de ces informations topographiques naturelles détectées, et du modèle tridimensionnel 21. En particulier, on peut ne pas utiliser de marqueurs optiques fixés dans l'espace réel 1, pour une grande simplicité d'utilisation. On utilise alors uniquement les informations topographiques naturelles, ce qui évite d'encombrer l'espace de tournage de marqueurs artificiels. Toutefois, le système ici décrit est également compatible avec les marqueurs artificiels.
Si le champ optique du capteur 16 venait à être obturé (en effet, l'opérateur bouge au cours de l'acquisition) par un élément réel de l'espace réel, le module informatisé de repérage peut présenter plusieurs options afin de déterminer à tout moment la position dans l'espace réel de la caméra de tournage 9. Par exemple, au cas où le module informatisé de repérage n'arrive pas à repérer suffisamment d'informations topographiques pour déterminer à coup sûr la position dans l'espace réel de la caméra de tournage 9, il peut par défaut considérer que la caméra de tournage 9 est immobile pendant cet instant. En réalité, lorsque les deux appareils 9 et 16 sont très proches l'un de l'autre, comme dans le mode de réalisation présenté, si le capteur 16 n'est pas capable de déterminer l'information topographique, c'est que le champ optique de la caméra de tournage 9 est probablement obturé par un objet réel très proche. A la trame de temps suivante où le capteur 16 pourra déterminer suffisamment d'informations topographiques lui permettant de déterminer la position dans l'espace tridimensionnel de la caméra de tournage 9, une image composite pourra à nouveau être générée pour cette position.
A ce titre, on notera que le module informatisé de repérage comprend un module de sélection adapté pour sélectionner les motifs géométriques du modèle tridimensionnel susceptibles d'être utilisés pour retrouver la position de la caméra de tournage dans l'espace 3D. D'une part, on sélectionne les motifs géométriques susceptibles d'être dans le champ du capteur 16, par exemple à l'aide d'une connaissance approximative de la position du capteur provenant d'une trame de temps antérieure. D'autre part, si dans une région de l'image acquise par le capteur 16, l'ensemble de motifs géométriques identifiés est trop différent du modèle tridimensionnel, ces motifs ne sont pas pris en compte pour la détermination de la position de la caméra de tournage.
Ainsi, en comparant deux images proches dans le temps acquises avec le capteur 16, on associe deux à deux les motifs géométriques présents sur les deux images et immobiles dans l'espace réel. Les autres motifs géométriques sont considérés comme mobiles dans l'espace réel et ne sont pas conservés pour la comparaison avec le modèle tridimensionnel.
Comme représenté sur la figure 2, on peut également, dans ces cas, enrichir le module informatisé de repérage, en adjoignant un capteur inertiel 38 adapté pour fournir au module informatisé de repérage les informations supplémentaires sur la position de la caméra de tournage 9. Par exemple, le capteur inertiel 38 est fixé à la caméra de tournage 9, où au capteur 16 si celui-ci est fixé à la caméra de tournage 9. Une matrice de passage entre la caméra de tournage et le capteur est associée à chaque grossissement. En configuration de tournage, on utilise l'information provenant de l'encodeur pour sélectionner la matrice de passage appropriée.
Selon un exemple de réalisation, comme représenté également sur les figures 6a à 6c, le module de composition 32 peut également être adapté pour générer une ombre projetée de l'objet virtuel 31 dans l'espace réel 1. Comme cela est visible par exemple sur la figure 6a, on dispose d'un éclairage 39 artificiel (comme représenté) ou naturel, dont la position dans le référentiel réel 2 est connue. Ainsi, comme visible sur la figure 6b, l'image réelle 35 comprend, outre une image de l'objet 8, une image 40 de son ombre réelle. Comme cela est représenté sur la figure 6c, le modèle tridimensionnel personnalisé peut comprendre des informations de surface sur laquelle l'ombre 41 de l'objet virtuel 31 va être projetée, visualisé sous l'angle de prise de vue de la caméra de tournage 9. Les ombres des objets virtuels sont calculées en prenant en compte la position dans l'espace réel de l'objet virtuel 31, et la position dans l'espace réel d'une surface sur laquelle est projetée l'ombre de l'objet virtuel 31, la position de la caméra de tournage, et la position des éclairages. Les ombres réelles et virtuelles sont également visibles sur la figure 7c.
Le système qui vient d'être décrit présente un intérêt particulier lorsque l'animation est déplacée par rapport au champ optique de la caméra de tournage 9. Dans un exemple de réalisation, en configuration de tournage, on tournera un plan fixe d'un espace réel immobile, sur lequel on viendra générer une animation dont la forme change au cours du temps. Ainsi, on pourra vérifier que l'animation est cadrée comme on le souhaite pendant le tournage. Un autre exemple consiste à déplacer la caméra de tournage 9 dans l'espace réel 1, en incorporant une animation mobile ou, le cas échéant, immobile, pour vérifier que celle-ci est cadrée comme on le souhaite pendant l'acquisition. En revenant sur la figure 2, on peut également prévoir que le système comporte un moyen de prendre en compte un changement de focale de l'optique 10 de la caméra de tournage 9.
Ainsi, dans l'exemple présenté ci-dessus, on peut considérer que l'ensemble des opérations ont été mises en œuvre pour une focale fixe.
Bien entendu, si on change la focale au cours du tournage, les images réelles 35 et 35' des figures 6b et 7b seront représentées avec un niveau de grossissement différent. On peut ainsi prévoir, comme représenté sur la figure 2, que le zoom 42 porté par la caméra 9 comporte un encodeur 43 permettant de détecter le degré de rotation d'une bague de grossissement 42, et que le module informatisé de repérage 17 prenne en compte le niveau de grossissement déterminé par des données transmises par l'encodeur 43. Ceci peut être fait, par exemple en répétant l'étape de localisation de la figure 5 pour une pluralité de grossissements différents de l'optique 10 de la caméra de tournage 9.
Dans les modes de réalisation qui ont été décrits ci-dessus, l'objet virtuel 31 est exprimé directement dans le référentiel réel 2 afin d'être directement visualisable sous l'angle de vue de la caméra de tournage 9. Selon un exemple de réalisation, on peut prévoir de coupler le module de génération de modèle tridimensionnel avec le module d'animation 28. Ainsi, le lien 33, qui est décrit en relation avec la figure 2 pour exporter des animations du module d'animation 28 vers le module de composition 32 peut également être utilisé dans l'autre sens, pour transmettre au module d'animation 28 le modèle tridimensionnel 21 établi pour l'espace réel. Ainsi, comme représenté sur la figure 8, on peut représenter sur l'écran 44 du module informatisé d'animation 28 la superposition de l'objet virtuel 31 obtenu à partir de la base de données d'animation et du modèle tridimensionnel 21. Cette superposition permet d'une part de définir la matrice de passage entre les référentiels virtuel U, V, W et réel X, Y, Z dans lesquels sont exprimés, respectivement, l'objet virtuel 31 et le modèle tridimensionnel 21. Cela peut également permettre de définir ou redéfinir l'animation au cours du tournage. Ainsi, le module d'animation 28 peut comprendre une application comprenant un ensemble d'outils représentés à l'écran 44 par des icônes 45, et permettant de pré-définir l'animation. Ainsi, il suffit de disposer des points tridimensionnels qui sont générés pendant l'étape d'apprentissage pour générer l'animation directement en prévision de son tournage dans l'espace réel. A titre d'exemple, on a représenté sur la figure 8 des flèches épaisses représentant des ordres de mouvement ou de redimensionnement de l'objet virtuel 31 dans l'espace virtuel U, V, W. On peut également définir une transformation de l'objet virtuel au cours du temps entre un objet de départ, représenté par la référence 31, et un objet d'arrivée, représenté par la référence 46. La déformation entre ces deux représentations de l'objet virtuel au cours du temps peut être paramétrée. Le système qui vient d'être décrit est, bien évidemment, simplifié à l'extrême pour faciliter sa compréhension.
Ainsi, le système qui vient d'être décrit permet, le cas échéant, de retoucher l'animation directement au moment du tournage, dans l'espace réel, après acquisition par le système en configuration d'apprentissage, ce qui permet encore une interaction accrue entre le monde réel et le monde virtuel.
Comme représenté très schématiquement sur la figure 9, le système de tournage peut, dans un mode de réalisation, être utilisé comme suit.
Au cours d'une première étape 101, on met en œuvre le système dans une configuration de calibration optique de la caméra de tournage 9, afin de déterminer les éventuelles aberrations optiques de la caméra de tournage. Cette étape préalable est par exemple réalisée à l'aide d'une mire, et des informations recueillies peuvent être utilisées par la suite par le système informatique 12, pour corriger informatiquement l'acquisition de la caméra de tournage 9.
Ensuite, lors d'une étape 102, on utilise le système dans une configuration d'apprentissage, dans laquelle un capteur d'apprentissage est déplacé dans l'espace réel, afin de générer un modèle tridimensionnel de l'espace réel. On procède également à une mise à l'échelle de ce modèle tridimensionnel.
Ensuite, lors d'une étape 103, dans une configuration de localisation, on détermine les positions relatives de la caméra de tournage 9 et d'un capteur de repérage 16.
Puis, au cours d'une étape 104, on fournit une animation à partir d'une base de données d'animations virtuelles, l'animation étant destinée à coopérer avec l'espace réel à filmer.
Au cours d'une étape 105, on utilise le système de configuration de tournage, et on génère, sur un écran de contrôle disponible sur le lieu du tournage, une image composite de l'image réelle obtenue par la caméra optique 9, et une projection générée, pour la même trame de temps, sur l'image réelle, selon les données de localisation dans le référentiel réel de la caméra de tournage 9.
Au cours d'une étape de détermination 106, si le réalisateur considère que la prise de vue est satisfaisante, (flèche 0) , en prenant en compte les images composites générées, il met fin au tournage du film vidéo (étape 107) .
Si l'étape de détermination 106 montre que le tournage n'est pas satisfaisant (flèche N) , on peut profiter du fait de disposer sur place de tous les acteurs et opérateurs pour filmer à nouveau la scène (retour à l'étape 105) . Le cas échéant, on pourra au cours de cette étape avoir modifié l'animation, telle que décrit ci-dessus en relation avec la figure 8.
Les systèmes informatisés qui sont décrits ci- dessus peuvent être réalisés par une ou une pluralité de machines programmables, communiquant entre elles, par le biais de réseaux, permettant le cas échéant d'importer à distance les animations à partir d'une base de données d'animations 29 distante. Les objets informatiques de type clavier, écran, souris, processeur, câbles etc peuvent être de type classiquement connu. On pourra en particulier prévoir que l'animation issue de la base de données d'animation correspond à une animation simplifiée de l'animation destinée à être présente dans le film vidéo final. Alors, quelques semaines plus tard, dans une étape de post-production, on pourra prévoir de réaliser l'animation finale à partir de l'animation initiale utilisée au cours du tournage, et du film acquis. L'animation simplifiée comprend un volume de données plus faible (par exemple au moins deux fois plus faible) que l'animation finale.
De la même manière qu'on a décrit, en relation avec les figures 6a-6c, la génération d'une ombre projetée de l'image de l'objet virtuel dans l'espace réel, on pourra utiliser le modèle tridimensionnel, notamment volumique, pour gérer les occultations entre les objets de l'espace réel, et les objets virtuels. Ainsi, si on détecte que selon l'angle de vue de la caméra de tournage, une partie de l'objet virtuel 31 se situe derrière un objet opaque l'espace réel, tel que défini dans le modèle tridimensionnel, un module informatisé de soustraction pourra être utilisé pour, pour cette trame de temps, soustraire de l'image composite la partie cachée de l'objet virtuel 31. Ceci est possible à l'aide de la position dans l'espace réel de la caméra de tournage, de l'objet virtuel, et d'un objet opaque tel que défini par le modèle tridimensionnel. Ainsi, l'opérateur ou le réalisateur, voyant sur son écran de contrôle 15, 15', que l'objet virtuel 31 n'est peut être pas visible de la façon dont il le souhaite, pourra immédiatement adapter la position de la caméra de tournage.
Dans l'exemple présenté, on a décrit sur la figure 2 que le capteur 16 et la caméra de tournage 9 présentaient des champs optiques se superposant et/ou des axes d'acquisition relativement proches d'être parallèles. Toutefois, ceci n'est pas du tout une obligation et, en variante, le capteur 16 (dit aussi caméra témoin) pourrait par exemple filmer le plafond ou le sol de l'espace réel, par exemple, alors que l'axe optique de la caméra de tournage 9 serait environ horizontal.
Selon un mode de réalisation tel que représenté sur la figure 10, le système de repérage comprend un deuxième capteur 16' présentant au moins une caractéristique différent du premier capteur 16, choisie par exemple parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique. Par exemple, un deuxième capteur 16' peut être orienté vers le plafond, et un troisième capteur 16'' peut être orienté latéralement. Chaque capteur 16, 16' et 16'' transmet au module informatisé de repérage les informations topographiques naturelles qu'il détecte. Le module informatisé de repérage 17 détermine les données de localisation dans le référentiel réel de la caméra de tournage 9 à partir des données de localisation des capteurs 16, 16', 16'' (pris ensemble ou séparément), et d'une comparaison entre les informations topographiques naturelles et le modèle tridimensionnel 21 préétabli de l'espace réel.
Différentes étapes et procédés décrits ci-dessus apparaissent innovants, outre leur utilisation dans le procédé général décrit, et la déposante se réserve le droit de protéger ceux-ci de toute manière adaptée.

Claims

REVENDICATIONS
1. Système de tournage de film vidéo dans un espace réel défini dans un référentiel réel, comprenant :
- une caméra de tournage (9), adaptée pour enregistrer une image réelle pour une pluralité de trames de temps distinctes,
un système de repérage dans l'espace, comprenant :
. au moins un capteur (16), présentant des données de localisation par rapport à la caméra de tournage (9) connues pour chaque trame de temps, et adapté pour transmettre à un module informatisé de repérage des informations topographiques naturelles détectées par le capteur,
un module informatisé de repérage (17) adapté pour déterminer, pour chaque trame de temps, des données de localisation dans le référentiel réel de la caméra de tournage (9) à partir des données de localisation du capteur, et d'une comparaison entre les informations topographiques naturelles et un modèle tridimensionnel (21) préétabli de l'espace réel,
un écran de contrôle (15),
un module informatisé de composition (32) adapté pour générer sur l'écran de contrôle (15), pour chaque trame de temps, une image composite de l'image réelle, et d'une projection d'une image virtuelle, issue d'une base de données d'animations virtuelles (29), projection générée selon les données de localisation dans le référentiel réel de la caméra de tournage (9) .
2. Système de tournage de film vidéo selon la revendication 1, dans lequel le capteur (16) du système de repérage est une caméra optique présentant au moins l'une des caractéristiques suivantes :
- un angle solide de prise de vue supérieur à un angle solide de prise de vue de la caméra de tournage,
- une fréquence d'acquisition supérieure à une fréquence d'acquisition de la caméra de tournage,
- une acquisition en noir et blanc,
- un encombrement au moins deux fois inférieur à un encombrement de la caméra de tournage,
- un axe optique parallèle à un axe optique de la caméra de tournage (9),
un champ optique superposé à un champ optique de la caméra de tournage (9) .
3. Système de tournage de film vidéo selon la revendication 1 ou 2, dans lequel le système de repérage comprend un module informatisé de génération (23) adapté pour générer ledit modèle tridimensionnel préétabli de l'espace réel, et dans lequel ledit capteur (16) est adapté pour transmettre au module informatisé de génération des informations topographiques détectées par le capteur.
4. Système de tournage de film vidéo selon la revendication 3, dans lequel le capteur (16) est adapté pour transmettre simultanément au module informatisé de repérage et au module informatisé de génération des informations topographiques naturelles détectées par le capteur, et dans lequel le module informatisé de génération (23) est adapté pour enrichir ledit modèle tridimensionnel préétabli de l'espace réel à partir des informations topographiques naturelles détectées par le capteur.
5. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 4, dans lequel les informations topographiques comprennent des informations relatives à des objets géométriques de l'espace réel choisis parmi des points, des lignes, des surfaces et des volumes .
6. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 5, dans lequel, en configuration de tournage, la caméra de tournage (9) et le capteur (16) sont attachés fixement l'un à l'autre.
7. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 6, comprenant en outre un système de localisation comprenant une mire (27) adaptée pour être détectée simultanément par la caméra de tournage et le capteur dans une configuration de localisation, et un module informatisé de localisation (26) adapté pour déterminer les données de localisation respectives du capteur et de la caméra de tournage à partir de la détection simultanée de la mire.
8. Système de tournage de film vidéo selon l'une revendications 1 à 7, comprenant en outre un système de calibrage optique comprenant une mire de calibrage optique adaptée pour être détecté par la caméra de tournage, dans une configuration de calibration optique, et dans lequel le module informatisé de repérage est adapté pour déterminer, pour chaque trame de temps, les données de localisation dans le référentiel réel de la caméra de tournage (9) à partir en outre de données de calibration optique de la caméra de tournage déterminées par le système de calibrage optique .
9. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 8, comprenant en outre au moins l'une des entités suivantes :
- un capteur inertiel (38) fixé sur la caméra de tournage, adapté pour déterminer un mouvement de la caméra de tournage, le module informatisé de repérage étant adapté pour déterminer les données de localisation dans le référentiel réel de la caméra de tournage en outre à partir de données fournies par le capteur inertiel ;
un étalon (25), filmable par la caméra de tournage, le module informatisé de composition étant adapté pour mettre une image virtuelle à l'échelle de l'espace réel sur la base d'une image de l'étalon acquise par la caméra de tournage ; un système de détermination (43) d'un paramètre de grossissement de la caméra de tournage, le module informatisé de composition (32) étant adapté pour générer l'image composite en prenant en compte ledit paramètre.
10. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 9, comprenant en outre un module informatisé d'animation (28), comprenant une base de données d'animations virtuelles (29), chaque animation comprenant, pour chacune d'un ensemble de trames de temps, une image tridimensionnelle exprimée dans un référentiel virtuel, le module informatisé d'animations étant adapté pour transmettre lesdites images tridimensionnelles au module de composition (32) .
11. Système de tournage de film vidéo selon la revendication 10, dans lequel le module informatisé de repérage est adapté pour transmettre le modèle tridimensionnel (21) préétabli de l'espace réel au module informatisé d'animation (28).
12. Système de tournage de film vidéo selon la revendication 10 ou 11, dans lequel le module informatisé de composition est adapté pour générer sur l'écran de contrôle, pour chaque trame de temps, une ombre (41) de l'image virtuelle, ombre générée selon les données de localisation dans le référentiel réel de la caméra de tournage (9), et des données de localisation d'éclairage dans le référentiel réel.
13. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 12, dans lequel pour une trame de temps ultérieure, le module informatisé de repérage (17) est adapté pour déterminer, des données de localisation dans le référentiel réel de la caméra de tournage (9) à partir également de données de localisation dans le référentiel réel de la caméra de tournage (9) pour une trame de temps antérieure.
14. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 13, dans lequel le module informatisé de repérage comprend un module de sélection adapté pour sélectionner parmi les motifs géométriques des motifs géométriques du modèle tridimensionnel utilisables pour retrouver la position de la caméra de tournage dans l'espace 3D.
15. Système de tournage de film vidéo selon la revendication 14, dans lequel le module de sélection compare des motifs géométriques d'une image ultérieure avec des motifs géométriques d'une image antérieure, associe des motifs géométriques présents sur les deux images et immobiles dans l'espace réel, et ne conserve pas les autres motifs géométriques pour comparaison avec le modèle tridimensionnel .16. Système de tournage de film vidéo selon l'une quelconque des revendications 1 à 15, dans lequel le système de repérage comprend en outre un deuxième capteur (16') présentant au moins une caractéristique différent du premier capteur (16), choisie parmi la position, l'orientation, l'angle solide de prise de vue, la fréquence d'acquisition, l'axe optique, le champ optique.
PCT/FR2012/052916 2011-12-13 2012-12-13 Système de tournage de film vidéo WO2013088076A1 (fr)

Priority Applications (13)

Application Number Priority Date Filing Date Title
MX2014007075A MX341801B (es) 2011-12-13 2012-12-13 Sistema para la filmacion de una pelicula de video.
US14/364,844 US9648271B2 (en) 2011-12-13 2012-12-13 System for filming a video movie
NZ624929A NZ624929B2 (en) 2011-12-13 2012-12-13 System for filming a video movie
JP2014546616A JP2015506030A (ja) 2011-12-13 2012-12-13 ビデオムービーを撮影するためのシステム
EP12813918.5A EP2791914A1 (fr) 2011-12-13 2012-12-13 Système de tournage de film vidéo
BR112014014173A BR112014014173A2 (pt) 2011-12-13 2012-12-13 sistema de filmagem de filme de vídeo
AU2012351392A AU2012351392A1 (en) 2011-12-13 2012-12-13 System for filming a video movie
CN201280062324.7A CN104094318A (zh) 2011-12-13 2012-12-13 适用于拍摄视频电影的系统
KR1020147016197A KR20140100525A (ko) 2011-12-13 2012-12-13 비디오 영화를 촬영하기 위한 시스템
CA2856464A CA2856464A1 (fr) 2011-12-13 2012-12-13 Systeme de tournage de film video
IL232766A IL232766A0 (en) 2011-12-13 2014-05-22 Video recording system
HK15101977.8A HK1201625A1 (en) 2011-12-13 2015-02-27 System for filming a video movie
US14/790,099 US9756277B2 (en) 2011-12-13 2015-07-02 System for filming a video movie

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1161535A FR2984057B1 (fr) 2011-12-13 2011-12-13 Systeme de tournage de film video
FR1161535 2011-12-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/364,844 A-371-Of-International US9648271B2 (en) 2011-12-13 2012-12-13 System for filming a video movie
US14/790,099 Continuation US9756277B2 (en) 2011-12-13 2015-07-02 System for filming a video movie

Publications (1)

Publication Number Publication Date
WO2013088076A1 true WO2013088076A1 (fr) 2013-06-20

Family

ID=47557364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2012/052916 WO2013088076A1 (fr) 2011-12-13 2012-12-13 Système de tournage de film vidéo

Country Status (13)

Country Link
US (2) US9648271B2 (fr)
EP (1) EP2791914A1 (fr)
JP (1) JP2015506030A (fr)
KR (1) KR20140100525A (fr)
CN (1) CN104094318A (fr)
AU (1) AU2012351392A1 (fr)
BR (1) BR112014014173A2 (fr)
CA (1) CA2856464A1 (fr)
FR (1) FR2984057B1 (fr)
HK (1) HK1201625A1 (fr)
IL (1) IL232766A0 (fr)
MX (1) MX341801B (fr)
WO (1) WO2013088076A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013167901A1 (fr) * 2012-05-09 2013-11-14 Ncam Technologies Limited Système de mélange ou de composition en temps réel, objets tridimensionnels (3d) générés par ordinateur et source vidéo provenant d'une caméra cinématographique
WO2022045897A1 (fr) * 2020-08-28 2022-03-03 Weta Digital Limited Étalonnage de capture de mouvement utilisant des drones multi-caméras

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3034940B1 (fr) * 2015-04-10 2018-04-13 Solidanim Systeme et procede de tournage de film video, et environnement utilise
GB2569267A (en) * 2017-10-13 2019-06-19 Mo Sys Engineering Ltd Lighting integration
WO2019080047A1 (fr) 2017-10-26 2019-05-02 腾讯科技（深圳）有限公司 Procédé de mise en œuvre d'image de réalité augmentée, dispositif, terminal et support de stockage
DE102018122435A1 (de) * 2018-09-13 2020-03-19 Hendrik Fehlis Virtuelle dreidimensionale Objekte in einem Livevideo
WO2020082286A1 (fr) * 2018-10-25 2020-04-30 郑卜元 Système de capture et de surveillance d'image en temps réel de réalité virtuelle, et procédé de commande
FR3093215B1 (fr) * 2019-02-22 2021-08-27 Fogale Nanotech Procédé et dispositif de surveillance de l’environnement d’un robot
US10890918B2 (en) 2019-04-24 2021-01-12 Innovation First, Inc. Performance arena for robots with position location system
CN110446020A (zh) * 2019-08-03 2019-11-12 魏越 沉浸式堪景方法、装置、存储介质及设备
KR102770795B1 (ko) * 2019-09-09 2025-02-21 삼성전자주식회사 3d 렌더링 방법 및 장치
JP2021149671A (ja) * 2020-03-19 2021-09-27 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
WO2022019692A1 (fr) * 2020-07-22 2022-01-27 (주) 애니펜 Procédé, système et support d'enregistrement lisible par ordinateur non transitoire pour créer une animation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991085A (en) 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4878083B2 (ja) 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
JP4136420B2 (ja) 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
US7138963B2 (en) 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
AU2003264048A1 (en) 2002-08-09 2004-02-25 Intersense, Inc. Motion tracking system and method
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
JP4235522B2 (ja) 2003-09-25 2009-03-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
DE10347738B4 (de) 2003-10-14 2012-01-26 Siemens Ag Motorisch verstellbares Röntgengerät und Verfahren zu dessen Verstellung
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
DE102004027270A1 (de) 2004-06-03 2005-12-29 Siemens Ag System und Verfahren zur Bestimmung einer Position, insbesondere für Augmented-Reality Anwendungen
JP4227561B2 (ja) 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
JP4810295B2 (ja) 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
JP4863790B2 (ja) 2006-07-03 2012-01-25 三菱プレシジョン株式会社 ３次元コンピュータグラフィックス合成方法及び装置
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
JP4689639B2 (ja) 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
GB2452546B (en) 2007-09-07 2012-03-21 Sony Corp Video processing system and method
US7999862B2 (en) 2007-10-24 2011-08-16 Lightcraft Technology, Llc Method and apparatus for an automated background lighting compensation system
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
GB2466714B (en) 2008-12-31 2015-02-11 Lucasfilm Entertainment Co Ltd Visual and physical motion sensing for three-dimentional motion capture
WO2011014340A2 (fr) 2009-07-31 2011-02-03 Lightcraft Technology, Llc Procédés et systèmes d'étalonnage d’un objectif réglable
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
KR101335391B1 (ko) 2010-04-12 2013-12-03 한국전자통신연구원 영상 합성 장치 및 그 방법
US9699438B2 (en) 2010-07-02 2017-07-04 Disney Enterprises, Inc. 3D graphic insertion for live action stereoscopic video
US9529426B2 (en) 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
GB201208088D0 (en) 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CREATIVE COW: "Global GPS Tracking added to Previzion VFX System", 25 July 2011 (2011-07-25), pages 1 - 2, XP002677630, Retrieved from the Internet <URL:http://news.creativecow.net/story/866741> [retrieved on 20120612] *
GALVIN, BOB: "Feature: Going Hollywood", February 2011 (2011-02-01), pages 1 - 4, XP002677644, Retrieved from the Internet <URL:http://www.profsurv.com/magazine/article.aspx?i=70875> [retrieved on 20120613] *
LIGHTCRAFT TECHNOLOGY: "PREVIZION User Manual", 2 February 2011 (2011-02-02), pages 1 - 210, XP002677631, Retrieved from the Internet <URL:http://ebookbrowse.com/gdoc.php?id=245009125&url=a50fd273f10032925ea1d37a3191e5b7> [retrieved on 20110612] *
See also references of EP2791914A1 *
THE AMERICAN SOCIETY OF CINEMATOGRAPHERS: "New Products and Services: Lightcraft offers Free Photogrammetry Tools", August 2011 (2011-08-01), pages 1 - 12, XP002677629, Retrieved from the Internet <URL:http://www.theasc.com/new_products/August2011/index.php#prod1423> [retrieved on 20120612] *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013167901A1 (fr) * 2012-05-09 2013-11-14 Ncam Technologies Limited Système de mélange ou de composition en temps réel, objets tridimensionnels (3d) générés par ordinateur et source vidéo provenant d'une caméra cinématographique
EP2847991A1 (fr) * 2012-05-09 2015-03-18 Ncam Technologies Limited Système de mélange ou de composition en temps réel, objets tridimensionnels (3d) générés par ordinateur et source vidéo provenant d'une caméra cinématographique
EP2847991B1 (fr) * 2012-05-09 2023-05-03 Ncam Technologies Limited Système de mélange ou de composition en temps réel, objets tridimensionnels (3d) générés par ordinateur et source vidéo provenant d'une caméra cinématographique
US11721076B2 (en) 2012-05-09 2023-08-08 Ncam Technologies Limited System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera
US12217375B2 (en) 2012-05-09 2025-02-04 Ncam Technologies Limited System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera
WO2022045897A1 (fr) * 2020-08-28 2022-03-03 Weta Digital Limited Étalonnage de capture de mouvement utilisant des drones multi-caméras

Also Published As

Publication number Publication date
US9648271B2 (en) 2017-05-09
MX341801B (es) 2016-09-01
FR2984057B1 (fr) 2014-01-03
US9756277B2 (en) 2017-09-05
EP2791914A1 (fr) 2014-10-22
IL232766A0 (en) 2014-07-31
JP2015506030A (ja) 2015-02-26
CN104094318A (zh) 2014-10-08
BR112014014173A2 (pt) 2017-06-13
US20140369661A1 (en) 2014-12-18
KR20140100525A (ko) 2014-08-14
MX2014007075A (es) 2015-03-06
FR2984057A1 (fr) 2013-06-14
NZ624929A (en) 2016-01-29
CA2856464A1 (fr) 2013-06-20
HK1201625A1 (en) 2015-09-04
AU2012351392A1 (en) 2014-05-29
US20150358508A1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
EP2791914A1 (fr) Système de tournage de film vidéo
EP0511101B1 (fr) Procédé de modélisation d&#39;un système de prise de vues et procédé et système de réalisation de combinaisons d&#39;images réelles et d&#39;images de synthèse
EP2715662B1 (fr) Procede de localisation d&#39;une camera et de reconstruction 3d dans un environnement partiellement connu
EP2385405B9 (fr) Dispositif de projection panoramique, et procédé mis en oeuvre dans ce dispositif
JP2014014076A (ja) ３ｄ深度情報に基づいたイメージぼかし
WO2008099092A2 (fr) Dispositif et procede d&#39;observation de realite augmentee temps reel
WO2002059692A1 (fr) Camera combinant les parties les mieux focalisees de differentes expositions d&#39;une image
EP0940979A1 (fr) Procédé et dispositif de remplacement de panneaux cibles dans une séquence vidéo
FR2911708A1 (fr) Procede et dispositif de creation d&#39;au moins deux images cles correspondant a un objet tridimensionnel.
FR2801123A1 (fr) Procede de creation automatique de maquette numerique a partir de couples d&#39;images stereoscopiques
CA2914360A1 (fr) Systemes de reperage de la position de la camera de tournage pour le tournage de films video
EP1702472B1 (fr) Procede et systeme de determination du deplacement d un pixe l, et support d enregistrement pour la mise en oeuvre du pro cede
FR3034940A1 (fr) Systeme et procede de tournage de film video, et environnement utilise
WO2018229358A1 (fr) Procédé et dispositif de construction d&#39;une image tridimensionnelle
CA3057337A1 (fr) Procede de texturation d&#39;un modele 3d
FR3052287B1 (fr) Construction d&#39;une image tridimensionnelle
FR3057430A1 (fr) Dispositif d&#39;immersion dans une representation d&#39;un environnement resultant d&#39;un ensemble d&#39;images
Nilsson et al. The ARC 3D webservice
FR2931611A1 (fr) Procede de modelisation 3d de scenes reelles et dynamiques
Bigley Matching changing live action lights An Experiment Into the use of Video Based Lighting
FR2964203A1 (fr) Acquisition d&#39;image par synthese progressive
WO2012093209A1 (fr) Procédé et dispositif d&#39;aide à la prise de vue d&#39;une photo numérique au moyen d&#39;un objectif grand angle
FR2962871A3 (fr) Acquisition d&#39;image par synthese progressive

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12813918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2856464

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 232766

Country of ref document: IL

ENP Entry into the national phase

Ref document number: 2012351392

Country of ref document: AU

Date of ref document: 20121213

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014546616

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/007075

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 20147016197

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012813918

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012813918

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014128584

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14364844

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014014173

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014014173

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140611