JP2011254411A - Video projection system and video projection program - Google Patents
Video projection system and video projection program Download PDFInfo
- Publication number
- JP2011254411A JP2011254411A JP2010128469A JP2010128469A JP2011254411A JP 2011254411 A JP2011254411 A JP 2011254411A JP 2010128469 A JP2010128469 A JP 2010128469A JP 2010128469 A JP2010128469 A JP 2010128469A JP 2011254411 A JP2011254411 A JP 2011254411A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- marker
- video
- screen
- invisible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003550 marker Substances 0.000 claims description 140
- 238000001514 detection method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000004397 blinking Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Projection Apparatus (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Overhead Projectors And Projection Screens (AREA)
Abstract
Description
本発明は、動体に設けられた立体スクリーンに追従させて、所定の映像を投影する映像投影システムおよび映像投影プログラムに関するものである。 The present invention relates to a video projection system and a video projection program for projecting a predetermined video by following a stereoscopic screen provided on a moving body.
従来、任意の三次元形状を有するスクリーンの表面に画像を投影して表示する投影システムが知られている。例えば、特開２００１−３２０６５２号公報には、投影面の三次元形状を測定し、該測定結果に応じて投影画像を補正して投影するプロジェクタ装置が開示されている（特許文献１）。このプロジェクタ装置によれば、歪みのない出力画像を得ることができるとされている。 Conventionally, a projection system that projects and displays an image on the surface of a screen having an arbitrary three-dimensional shape is known. For example, Japanese Patent Application Laid-Open No. 2001-320652 discloses a projector device that measures a three-dimensional shape of a projection surface, corrects a projection image according to the measurement result, and projects the projection image (Patent Document 1). According to this projector device, an output image without distortion can be obtained.
しかしながら、特許文献１に記載された発明を含め、従来の映像投影技術では、単に、固定されたスクリーンに映像を投影しているに過ぎない。このため、人間等の動体に設けられたスクリーンに対しては、そのスクリーンの動きに合わせて被投影体の映像を追従させることができないという問題がある。 However, with the conventional video projection technology including the invention described in Patent Document 1, the video is simply projected onto a fixed screen. For this reason, there is a problem that a screen provided on a moving body such as a human cannot follow the image of the projection target in accordance with the movement of the screen.
本発明は、このような問題点を解決するためになされたものであって、動体に設けられた立体スクリーンに対して、被投影体の映像を整合させ自動的に追従することができる映像投影システムおよび映像投影プログラムを提供することを目的としている。 The present invention has been made in order to solve such problems, and image projection capable of automatically following an image of an object to be projected with a stereoscopic screen provided on a moving object. An object is to provide a system and a video projection program.
本発明に係る映像投影システムは、動体に設けられた立体スクリーンに映像投影装置から所定の映像を投影する映像投影システムであって、前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部とを有している。また、本発明に係る映像投影プログラムは、上記各構成部としてコンピュータを機能させるものである。 A video projection system according to the present invention is a video projection system that projects a predetermined video from a video projection device onto a stereoscopic screen provided on a moving object, and acquires stereoscopic screen information acquisition of position information and direction information of the stereoscopic screen. A three-dimensional model creation unit that creates a three-dimensional model of the projection object using the two-dimensional image of the projection object to be projected onto the stereoscopic screen as a texture, and the stereoscopic screen information acquisition unit acquires A projection image generating unit that generates a projection image in which the position, size, and direction of the projection object are matched with the stereoscopic screen based on the position information and direction information of the stereoscopic screen from the three-dimensional model; and the projection image A projection video output unit that outputs the projection video created by the creation unit to the video projection device. In addition, a video projection program according to the present invention causes a computer to function as each of the components described above.
また、本発明において、不可視光を撮影可能なマーカー撮影装置から前記立体スクリーンを含む映像を取得し、当該映像の中から前記立体スクリーンに設けられた複数の不可視光マーカーの位置座標を検出する不可視光マーカー検出部を有しており、前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出してもよい。 Further, in the present invention, an image including the stereoscopic screen is acquired from a marker imaging device capable of capturing invisible light, and the invisible light that detects the position coordinates of a plurality of invisible light markers provided on the stereoscopic screen is detected from the image. The stereoscopic screen information acquisition unit calculates a position information and direction information of the stereoscopic screen based on the position coordinates of each invisible light marker detected by the invisible light marker detection unit. May be.
さらに、本発明において、前記被投影体および前記立体スクリーンが複数ある場合、各被投影体ごとに、互いに識別可能なマーカーが設けられているとともに、各立体スクリーンごとに、互いに識別可能な不可視光マーカーが設けられており、各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部とを有していてもよい。 Furthermore, in the present invention, when there are a plurality of the projection objects and the three-dimensional screens, markers that can be distinguished from each other are provided for each of the projection objects, and invisible light that is distinguishable from each other for each of the three-dimensional screens. Markers are provided, the identification information of the markers provided on each projection object is stored, and the three-dimensional screens to which each projection object is to be projected are associated with each projection object. Marker correspondence storage unit for storing identification information of invisible light marker, marker detection unit for detecting light emission pattern of marker provided on each projection object, and detection of light emission pattern of invisible light marker provided on each three-dimensional screen An invisible light marker detection unit, a light emission pattern detected by the marker detection unit, and a light emission pattern detected by the invisible light marker. The chromatography down against the said marker correspondence storage unit in the storage identification information may include a correspondence determination unit for determining a three-dimensional screen to be projected to the projection target object.
また、本発明において、前記不可視光マーカーが発光マーカーである場合、各立体スクリーンごとに、異なる発光パターンを有する発光マーカーが設けられており、前記マーカー識別情報記憶部には、各立体スクリーンに対応付けて、前記発光パターンが前記識別情報として記憶されていてもよい。 In the present invention, when the invisible light marker is a luminescent marker, a luminescent marker having a different luminescent pattern is provided for each three-dimensional screen, and the marker identification information storage unit corresponds to each three-dimensional screen. In addition, the light emission pattern may be stored as the identification information.
本発明によれば、動体に設けられた立体スクリーンに対して、被投影体の映像を整合させ自動的に追従することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image | video of a to-be-projected body can be matched and followed automatically with respect to the three-dimensional screen provided in the moving body.
以下、本発明に係る映像投影システムおよび映像投影プログラムの実施形態について図面を用いて説明する。 Embodiments of a video projection system and a video projection program according to the present invention will be described below with reference to the drawings.
図１および図２に示すように、本実施形態の映像投影システム１は、動体２に設けられた立体スクリーン３に対して、被投影体４の映像を追従させるためのものであり、主として、被投影体４を撮影する被投影体撮影装置１１と、不可視光を撮影可能なマーカー撮影装置１２と、立体スクリーン３に映像を投影する映像投影装置１３と、被投影体４の映像を立体スクリーン３に整合させる映像処理装置１４とを有している。以下、各構成について詳細に説明する。 As shown in FIG. 1 and FIG. 2, the video projection system 1 of the present embodiment is for causing the video of the projection target 4 to follow the stereoscopic screen 3 provided on the moving body 2. A projection object photographing device 11 for photographing the projection object 4, a marker photographing device 12 capable of photographing invisible light, a video projection device 13 for projecting an image on the three-dimensional screen 3, and a three-dimensional screen image of the projection object 4. 3 and a video processing device 14 for matching with the video processing device 14. Hereinafter, each configuration will be described in detail.
なお、本実施形態では、図１に示すように、動体２としてはステージ上を動き回る人間を想定しており、この人間の顔面部分に立体スクリーン３を設けている。そして、被投影体４としては、ステージ上にいない他の人間を想定し、この人間の顔面部分を投影対象部分としているが、この構成に限定されるものではない。例えば、人間の胴体に立体スクリーン３を設けて、他の人間の胴体を投影してもよいし、人間以外の動物の顔を投影してもよい。 In the present embodiment, as shown in FIG. 1, it is assumed that the moving body 2 is a human who moves around on the stage, and a three-dimensional screen 3 is provided on the human face. The projection object 4 is assumed to be another person who is not on the stage, and the face part of the person is the projection target part, but is not limited to this configuration. For example, the three-dimensional screen 3 may be provided on the human torso to project another human torso, or the face of an animal other than a human may be projected.
本発明において、動体２とは、自らの意思によって動き回るものに限られるものではなく、機械等のように、何らかの動力を得て動作する全てのものも含む概念である。また、立体スクリーン３とは、３次元形状を有しており、所定の映像を投影可能な全てのものを含む概念である。さらに被投影体４は、現実のものに限られるものではなく、アニメーション等を使用してもよいし、リアルタイムで投影するだけではなく、過去に撮影した映像を使用してもよい。 In the present invention, the moving body 2 is not limited to one that moves around by its own intention, but is a concept that includes everything that operates with some kind of power, such as a machine. The stereoscopic screen 3 has a three-dimensional shape and is a concept including everything that can project a predetermined image. Furthermore, the projection object 4 is not limited to the actual one, and animation or the like may be used, and not only the projection in real time but also a video taken in the past may be used.
被投影体撮影装置１１は、立体スクリーン３に投影しようとする被投影体４の２次元映像を撮影するためのものである。本実施形態において、被投影体撮影装置１１は、ビデオカメラ等から構成されており、図１に示すように、複数台設けられている。そして、被投影体４の２次元映像を複数の角度から撮影し、映像処理装置１４へ入力するようになっている。なお、本実施形態では、被投影体４をリアルタイムで投影するために被投影体撮影装置１１を用いているが、予め撮影した映像を使用する場合には、被投影体撮影装置１１は不要である。 The projection object photographing apparatus 11 is for photographing a two-dimensional image of the projection object 4 to be projected onto the stereoscopic screen 3. In the present embodiment, the projection object photographing device 11 is composed of a video camera or the like, and a plurality of such devices are provided as shown in FIG. Then, a two-dimensional image of the projection object 4 is photographed from a plurality of angles and input to the image processing device 14. In the present embodiment, the projection object photographing apparatus 11 is used to project the projection object 4 in real time. However, the projection object photographing apparatus 11 is not necessary when using a pre-captured image. is there.
また、本実施形態において、複数の被投影体４を被投影体撮影装置１１で撮影する場合、各被投影体４を区別するため、各被投影体４ごとに互いに識別可能なマーカーを取り付ける。具体的には、各被投影体４ごとに点滅間隔や配置間隔が異なる発光マーカーや、各被投影体４ごとに発光形状が「○」「□」「＋」等のように異なる発光マーカーを使用する。なお、被投影体４に設けるマーカーは、発光マーカー（アクティブ式）に限られず、反射マーカー（パッシブ式）でもよい。 In the present embodiment, when a plurality of projection objects 4 are photographed by the projection object photographing apparatus 11, markers that can be distinguished from each other are attached to each projection object 4 in order to distinguish each projection object 4. Specifically, a light emitting marker having a different blinking interval or arrangement interval for each projection object 4 or a light emission marker having a different light emission shape such as “O”, “□”, “+”, etc. for each projection object 4 is used. use. The marker provided on the projection object 4 is not limited to the light emitting marker (active type), but may be a reflective marker (passive type).
マーカー撮影装置１２は、立体スクリーン３に設けられた不可視光マーカーｍを撮影するためのものである。ここで、不可視光マーカーｍは、立体スクリーン３の位置情報および方向情報を推定するためのものであり、図１に示すように、１つの立体スクリーン３に対し複数個設けられている。また、不可視光マーカーｍを使用することにより、立体スクリーン３を観賞する際、マーカーの光が邪魔にならないという利点がある。 The marker photographing device 12 is for photographing the invisible light marker m provided on the stereoscopic screen 3. Here, the invisible light marker m is for estimating position information and direction information of the stereoscopic screen 3, and a plurality of invisible light markers m are provided for one stereoscopic screen 3, as shown in FIG. Further, by using the invisible light marker m, there is an advantage that the light of the marker does not get in the way when the stereoscopic screen 3 is viewed.
また、立体スクリーン３が複数ある場合、例えば複数人の顔面に立体スクリーン３を設ける場合等には、各立体スクリーン３を識別するため、各立体スクリーン３ごとに、異なる発光パターンを有する不可視光マーカーｍを別途、取り付ける。具体的には、上述した位置情報および方向情報を推定するための不可視光マーカーｍが常時発光する場合、各立体スクリーン３ごとに点滅間隔や配置間隔が異なるもの、あるいは各立体スクリーン３ごとに発光形状が異なるものを使用する。また、各立体スクリーン３ごとに、波長の異なる不可視光マーカーｍを使用することもできるが、この場合、マーカー撮影装置１２が２台必要になる。 In addition, when there are a plurality of stereoscopic screens 3, for example, when the stereoscopic screens 3 are provided on the faces of a plurality of people, etc., in order to identify each stereoscopic screen 3, an invisible light marker having a different emission pattern for each stereoscopic screen 3. Attach m separately. Specifically, when the invisible light marker m for estimating the position information and the direction information described above constantly emits light, the flashing interval and the arrangement interval differ for each 3D screen 3, or the 3D screen 3 emits light. Use a different shape. In addition, invisible light markers m having different wavelengths can be used for each three-dimensional screen 3, but in this case, two marker photographing devices 12 are required.
なお、本実施形態において、不可視光マーカーｍは、赤外光を発するアクティブ式（発光式）の発光マーカーから構成されているがこの構成に限定されるものではない。不可視光マーカーｍは、赤外光を発するものに限られるものではなく、紫外光でもよい。また、不可視光マーカーｍは、アクティブ式（発光式）に限られず、パッシブ式（反射式）でもよい。 In the present embodiment, the invisible light marker m is composed of an active (light emitting) light emitting marker that emits infrared light, but is not limited to this configuration. The invisible light marker m is not limited to the one that emits infrared light, and may be ultraviolet light. Further, the invisible light marker m is not limited to the active type (light emitting type) but may be a passive type (reflective type).
本実施形態において、マーカー撮影装置１２は、赤外領域まで撮影可能な高感度カメラに赤外線フィルタを装着して構成されている。この赤外線フィルタは、可視光線をカットし、赤外線のみを透過させるバンドパスフィルタである。この構成により、マーカー撮影装置１２は、立体スクリーン３に設けられた不可視光マーカーｍのみを撮影することとなる。なお、マーカー撮影装置１２は、不可視光マーカーｍのみを撮影可能に構成されていれば、上記の構成に限定されるものではない。 In this embodiment, the marker photographing device 12 is configured by mounting an infrared filter on a high sensitivity camera capable of photographing up to the infrared region. This infrared filter is a band-pass filter that cuts visible light and transmits only infrared light. With this configuration, the marker photographing device 12 photographs only the invisible light marker m provided on the stereoscopic screen 3. Note that the marker imaging device 12 is not limited to the above configuration as long as it is configured to capture only the invisible light marker m.
映像投影装置１３は、所定の映像を立体スクリーン３へ投影するためのものである。本実施形態において、映像投影装置１３は、高輝度のプロジェクタから構成されており、映像処理装置１４から入力された映像を投影するようになっている。また、本実施形態では、映像投影装置１３の投影範囲が、動体２の移動範囲をカバーするように設定されている。これにより、動体２が映像投影装置１３の投影範囲内で動き回る限り、当該動体２に設けられた立体スクリーン３に対して、映像を投影できるようになっている。 The video projection device 13 is for projecting a predetermined video onto the stereoscopic screen 3. In the present embodiment, the video projection device 13 is composed of a high-brightness projector, and projects the video input from the video processing device 14. In the present embodiment, the projection range of the video projection device 13 is set to cover the movement range of the moving body 2. As a result, as long as the moving object 2 moves around within the projection range of the image projecting device 13, an image can be projected onto the three-dimensional screen 3 provided on the moving object 2.
映像処理装置１４は、被投影体４の映像を立体スクリーン３に整合させる変換処理を行うものである。本実施形態において、映像処理装置１４は、図２に示すように、主として、本実施形態の映像投影プログラム１ａや各種のデータ等を記憶する記憶手段２０と、この記憶手段２０を制御するとともに各種のデータを取得して演算処理する演算処理手段３０とから構成されている。以下、各構成手段についてより詳細に説明する。 The video processing device 14 performs conversion processing for matching the video of the projection target 4 with the stereoscopic screen 3. In the present embodiment, as shown in FIG. 2, the video processing apparatus 14 mainly stores the video projection program 1a of the present embodiment, various data, and the like, and controls the storage unit 20 and various types. It is comprised from the arithmetic processing means 30 which acquires and calculates the data of this. Hereinafter, each constituent means will be described in more detail.
記憶手段２０は、ＲＯＭ（Read Only memory）、ＲＡＭ（Random Access Memory）およびフラッシュメモリ等から構成されており、各種のデータを記憶するとともに、演算処理手段３０が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段２０は、図２に示すように、主として、プログラム記憶部２１と、マーカー対応記憶部２２と、２次元映像記憶部２３と、投影対象モデル記憶部２４とを有している。 The storage unit 20 includes a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like. The storage unit 20 stores various data and serves as a working area when the arithmetic processing unit 30 performs arithmetic processing. It functions. In the present embodiment, as shown in FIG. 2, the storage unit 20 mainly includes a program storage unit 21, a marker correspondence storage unit 22, a 2D video storage unit 23, and a projection target model storage unit 24. ing.
プログラム記憶部２１には、本実施形態の映像投影プログラム１ａがインストールされている。そして、演算処理手段３０が、映像投影プログラム１ａを実行することにより、後述する各構成部としてコンピュータ（映像処理装置１４）を機能させるようになっている。なお、映像投影プログラム１ａの利用形態は、この構成に限られるものではなく、ＣＤ−ＲＯＭ等の記録媒体に記憶させておき、この記録媒体から直接起動して実行し得るようにしてもよい。 The program storage unit 21 is installed with the video projection program 1a of the present embodiment. The arithmetic processing means 30 executes the video projection program 1a, thereby causing the computer (video processing device 14) to function as each component described later. Note that the usage form of the video projection program 1a is not limited to this configuration, but may be stored in a recording medium such as a CD-ROM, and directly started and executed from this recording medium.
マーカー対応記憶部２２は、被投影体４および立体スクリーン３が複数存在する場合、各被投影体４と、各被投影体４を投影する各立体スクリーン３との対応関係を記憶するものである。本実施形態において、マーカー対応記憶部２２は、図３に示すように、各被投影体４（Ｏ１〜Ｏ３）に設けられたマーカーの識別情報を記憶している。そして、各被投影体４に対応付けて、各被投影体４を投影しようとする立体スクリーン３（Ｓ１〜Ｓ３）に設けられた不可視光マーカーｍの識別情報を記憶している。識別情報としては、上述したように、点滅間隔、配置間隔あるいは発光形状等の発光パターンを識別情報として記憶するようになっている。 When there are a plurality of projection objects 4 and 3D screens 3, the marker correspondence storage unit 22 stores the correspondence between each projection object 4 and each 3D screen 3 that projects each projection object 4. . In the present embodiment, as shown in FIG. 3, the marker correspondence storage unit 22 stores marker identification information provided on each projection object 4 (O1 to O3). And the identification information of the invisible light marker m provided in the three-dimensional screen 3 (S1-S3) which is going to project each projection body 4 in association with each projection body 4 is memorize | stored. As the identification information, as described above, a light emission pattern such as a blinking interval, an arrangement interval, or a light emission shape is stored as the identification information.
なお、本実施形態では、対応付けられた被投影体４および立体スクリーン３について、同じ識別情報を使用しているが、対応付けされている限り、異なる識別情報でもよい。また、全ての被投影体４および立体スクリーン３について、点滅間隔を識別情報として使用しているが、各被投影体３および各立体スクリーン３ごとに異なる識別情報を使用してもよい。 In the present embodiment, the same identification information is used for the projection target 4 and the stereoscopic screen 3 associated with each other, but different identification information may be used as long as they are associated with each other. Further, although the blinking interval is used as identification information for all the projection bodies 4 and the stereoscopic screens 3, different identification information may be used for each projection target 3 and each stereoscopic screen 3.
２次元映像記憶部２３は、立体スクリーン３に投影しようとする被投影体４の２次元映像を予め記憶するものである。本実施形態では、被投影体撮影装置１１から被投影体４の２次元映像をリアルタイムで取得しているが、予め撮影しておいた過去の映像等を使用する場合、２次元映像記憶部２３に記憶させるようになっている。 The 2D video storage unit 23 stores in advance a 2D video of the projection target 4 to be projected onto the stereoscopic screen 3. In the present embodiment, the 2D video of the projection object 4 is acquired from the projection object imaging device 11 in real time. However, when a past video or the like previously captured is used, the 2D video storage unit 23 is used. To memorize.
投影対象モデル記憶部２４は、被投影体４の投影対象部分に類似する形状の投影対象モデルを記憶するものである。本実施形態では、被投影体４として人物を想定し、投影対象部分として顔面部分を想定している。このため、投影対象モデル記憶部２４には、図４に示すように、人間の顔面部分をポリゴンで近似させた顔面モデルが、投影対象モデルとして記憶されている。 The projection target model storage unit 24 stores a projection target model having a shape similar to the projection target portion of the projection target 4. In the present embodiment, a person is assumed as the projection target 4 and a face part is assumed as the projection target part. Therefore, as shown in FIG. 4, the projection target model storage unit 24 stores a face model obtained by approximating a human face portion with a polygon as a projection target model.
演算処理手段３０は、ＣＰＵ（Central Processing Unit）等から構成されており、記憶手段２０にインストールされた映像投影プログラム１ａを実行させることにより、図２に示すように、２次元映像正規化部３１と、３次元モデル作成部３２と、不可視光マーカー検出部３３と、マーカー検出部３４と、対応関係判別部３５と、立体スクリーン情報取得部３６と、投影映像作成部３７と、投影映像出力部３８としてコンピュータ（映像処理装置１４）を機能させるようになっている。以下、各構成部についてより詳細に説明する。 The arithmetic processing means 30 is composed of a CPU (Central Processing Unit) and the like, and by executing the video projection program 1a installed in the storage means 20, as shown in FIG. A three-dimensional model creation unit 32, an invisible light marker detection unit 33, a marker detection unit 34, a correspondence determination unit 35, a stereoscopic screen information acquisition unit 36, a projection video creation unit 37, and a projection video output unit. As 38, the computer (video processing apparatus 14) is made to function. Hereinafter, each component will be described in more detail.
２次元映像正規化部３１は、被投影体４の２次元映像を正規化するためのものである。ここで、正規化とは、被投影体４の向きを画面中央において正面とし、かつ、被投影体４の大きさ（画面上のサイズ）を調整することをいう。本実施形態において、２次元映像正規化部３１は、図１に示すように、被投影体撮影装置１１から被投影体４（人物）の２次元映像を取得し、当該２次元映像から投影対象部分（顔面）を切り出す。また、当該投影対象部分を拡大または縮小するとともに、顔面方向を推定し、顔面モデルへテクスチャ投影する。そして、当該顔面モデルの目、鼻、口を検出して画面中央に配置するとともに、正面視点から画像化することにより正規化映像を作成するようになっている。 The 2D video normalization unit 31 is for normalizing the 2D video of the projection target 4. Here, normalization means adjusting the size of the projection object 4 (size on the screen) with the orientation of the projection object 4 set to the front in the center of the screen. In the present embodiment, the 2D image normalization unit 31 acquires a 2D image of the projection object 4 (person) from the projection object photographing apparatus 11 and projects the projection target from the 2D image as shown in FIG. Cut out the part (face). Further, the projection target part is enlarged or reduced, the face direction is estimated, and the texture is projected onto the face model. Then, the eyes, nose and mouth of the face model are detected and arranged at the center of the screen, and a normalized image is created by imaging from the front viewpoint.
なお、上述した正規化に際しては、被投影体４にマーカー等を付している場合、後述する処理と同様、マーカーのローカル座標系における位置座標に基づいて、テクスチャとして投影するのに必要な顔面位置および顔面方向が自動推定される。一方、２次元映像記憶部２３からマーカー等を付していない過去の映像等を使用する場合には、人間の目視による推定で手動編集し、別途、顔面位置および顔面方向に関する情報を作成する必要がある。 In the normalization described above, when a marker or the like is attached to the projection object 4, the face necessary for projecting as a texture based on the position coordinates of the marker in the local coordinate system is the same as the processing described later. The position and face direction are automatically estimated. On the other hand, when using a past video or the like without a marker or the like from the 2D video storage unit 23, it is necessary to manually edit it by human visual estimation and separately create information on the face position and the face direction. There is.
また、本実施形態では、正規化されていない２次元映像を使用しているが、この構成に限定されるものではなく、最初から正規化された２次元映像を使用する場合には、２次元映像正規化部３１を機能させる必要はない。例えば、被投影体撮影装置１１によって、直立し正面を向いている状態の被投影体４を撮影すれば、最初から正規化された２次元映像が得られることとなる。 In the present embodiment, a non-normalized two-dimensional image is used. However, the present invention is not limited to this configuration. When a normalized two-dimensional image is used from the beginning, a two-dimensional image is used. The video normalization unit 31 does not need to function. For example, if the projection object 4 is photographed by the projection object photographing device 11 in an upright state and facing the front, a normalized two-dimensional image can be obtained from the beginning.
３次元モデル作成部３２は、被投影体４の３次元モデルを作成するためのものである。本実施形態において、３次元モデル作成部３２は、２次元映像正規化部３１が正規化した２次元映像を取得するとともに、投影対象モデル記憶部２４から投影対象モデルを読み出す。そして、正規化された２次元映像をテクスチャとして投影対象モデルへ投影することで、被投影体４の３次元モデルを作成するようになっている。 The three-dimensional model creation unit 32 is for creating a three-dimensional model of the projection target 4. In the present embodiment, the 3D model creation unit 32 acquires the 2D video normalized by the 2D video normalization unit 31 and reads the projection target model from the projection target model storage unit 24. A normalized two-dimensional image is projected as a texture onto a projection target model, thereby creating a three-dimensional model of the projection target 4.
不可視光マーカー検出部３３は、マーカー撮影装置１２が撮影した映像の中から不可視光マーカーｍを検出するものである。本実施形態において、不可視光マーカー検出部３３は、マーカー撮影装置１２から立体スクリーン３を含む映像フレームを連続して取得する。そして、当該映像フレームの中から不可視光マーカーｍが発する不可視光を波長分離し、各不可視光マーカーｍの位置座標を検出するようになっている。なお、本実施形態では、不可視光として赤外光を使用しているため、ノイズとなる赤外光の強度が低い屋内での使用が好ましく、屋内で行われる舞台演出や会議演出等に特に有効である。 The invisible light marker detection unit 33 detects the invisible light marker m from the video imaged by the marker imaging device 12. In the present embodiment, the invisible light marker detection unit 33 continuously acquires video frames including the stereoscopic screen 3 from the marker imaging device 12. Then, the invisible light emitted from the invisible light marker m is wavelength-separated from the video frame, and the position coordinates of each invisible light marker m are detected. In addition, in this embodiment, since infrared light is used as invisible light, it is preferable to use indoors where the intensity of infrared light that becomes noise is low, and it is particularly effective for stage effects and conference effects performed indoors. It is.
また、本実施形態において、立体スクリーン３が複数ある場合、不可視光マーカー検出部３３は、マーカー撮影装置１２から取得した映像フレーム間でオプティカルフローを解析し、点滅する不可視光マーカーｍの発光パターンを検出する。そして、点滅する不可視光マーカーｍのそれぞれについて、その周辺で常時発光する不可視光マーカーｍ群を検出し、上述した位置座標を算出するようになっている。 In the present embodiment, when there are a plurality of stereoscopic screens 3, the invisible light marker detection unit 33 analyzes the optical flow between the video frames acquired from the marker imaging device 12, and generates a light emission pattern of the blinking invisible light marker m. To detect. Then, for each blinking invisible light marker m, the invisible light marker m group that always emits light in the vicinity thereof is detected, and the above-described position coordinates are calculated.
マーカー検出部３４は、被投影体４が複数ある場合、被投影体撮影装置１１が撮影した２次元画像の中からマーカーの発光パターンを検出するものである。本実施形態において、マーカー検出部３４は、被投影体撮影装置１１から被投影体４を含む映像フレームを連続して取得する。そして、当該映像フレーム間でオプティカルフローを解析し、マーカーの発光パターンを検出するようになっている。 When there are a plurality of projection objects 4, the marker detection unit 34 detects a light emission pattern of the marker from the two-dimensional image photographed by the projection object photographing apparatus 11. In the present embodiment, the marker detection unit 34 continuously acquires video frames including the projection target 4 from the projection target imaging device 11. Then, the optical flow is analyzed between the video frames, and the light emission pattern of the marker is detected.
対応関係判別部３５は、被投影体４および立体スクリーン３が複数ある場合に、各被投影体４と各立体スクリーン３との対応関係を判別するものである。本実施形態において、対応関係判別部３５は、マーカー検出部３４が検出した各マーカーの発光パターンと、不可視光マーカー検出部３３が検出した各不可視光マーカーｍの発光パターンとを取得する。そして、各発光パターンをマーカー対応記憶部２２に記憶された識別情報と照合することで、各被投影体４を投影すべき立体スクリーン３を判別するようになっている。 The correspondence determination unit 35 determines the correspondence between each projection target 4 and each three-dimensional screen 3 when there are a plurality of the projection target 4 and the three-dimensional screen 3. In the present embodiment, the correspondence determination unit 35 acquires the light emission pattern of each marker detected by the marker detection unit 34 and the light emission pattern of each invisible light marker m detected by the invisible light marker detection unit 33. Then, the stereoscopic screen 3 on which each projection object 4 is to be projected is discriminated by comparing each light emission pattern with the identification information stored in the marker correspondence storage unit 22.
立体スクリーン情報取得部３６は、動体２に設けられた立体スクリーン３の位置情報および方向情報を取得するものである。本実施形態において、立体スクリーン情報取得部３６は、不可視光マーカー検出部３３が検出した各不可視光マーカーｍの位置座標（下記モデル座標系での座標）に基づいて、立体スクリーン３の位置情報および方向情報を逆算するようになっている。以下、具体的に説明する。 The stereoscopic screen information acquisition unit 36 acquires position information and direction information of the stereoscopic screen 3 provided in the moving body 2. In the present embodiment, the three-dimensional screen information acquisition unit 36 is based on the position information of the three-dimensional screen 3 and the position information of each invisible light marker m detected by the invisible light marker detection unit 33 (coordinates in the model coordinate system below). The direction information is calculated backward. This will be specifically described below.
まず、以下の説明では、図５に示すように、３つの座標系を使用する。
（１）カメラ座標系
マーカー撮影装置１２のレンズ焦点を原点（０，０，０）とし、マーカー撮影装置１２のレンズ光軸をｚ座標の正方向とする３次元座標系（ｘ，ｙ，ｚ）。本実施形態では、映像投影装置１３の座標系と同一とする。
（２）スクリーン座標系
マーカー撮影装置１２で撮影された映像の２次元座標系（ｕ，ｖ）。マーカー撮影装置１２のレンズ光軸である（０，０，１）が投影される座標値を原点（０，０）とする。
（３）モデル座標系
投影対象（立体スクリーン３）が記述されている３次元座標系（ｘ’，ｙ’，ｚ’）。立体スクリーン３の中心（重心など）を原点（０，０，０）とし、その座標上で投影対象モデルが記述される。
First, in the following description, three coordinate systems are used as shown in FIG.
(1) Camera coordinate system A three-dimensional coordinate system (x, y, z) in which the lens focus of the marker imaging device 12 is the origin (0, 0, 0) and the lens optical axis of the marker imaging device 12 is the positive direction of the z coordinate. ). In the present embodiment, the coordinate system of the video projector 13 is the same.
(2) Screen coordinate system A two-dimensional coordinate system (u, v) of an image photographed by the marker photographing device 12. The coordinate value onto which (0, 0, 1), which is the lens optical axis of the marker photographing device 12, is projected is defined as the origin (0, 0).
(3) Model coordinate system A three-dimensional coordinate system (x ′, y ′, z ′) in which a projection target (stereoscopic screen 3) is described. The center (such as the center of gravity) of the stereoscopic screen 3 is the origin (0, 0, 0), and the projection target model is described on the coordinates.
以上において、カメラ座標系（ｘ，ｙ，ｚ）とモデル座標系（ｘ’，ｙ’，ｚ’）との関係は、回転変換行列Ｍと移動ベクトルＴとを用いて以下の式（１）により表される。
In the above, the relationship between the camera coordinate system (x, y, z) and the model coordinate system (x ′, y ′, z ′) is expressed by the following equation (1) using the rotation transformation matrix M and the movement vector T. It is represented by
すなわち、モデル座標系（ｘ’，ｙ’，ｚ’）からカメラ座標系（ｘ，ｙ，ｚ）への変換は、以下の式（２）〜（４）により表される。
ｘ＝ｘ’ｍ１１＋ｙ’ｍ１２＋ｚ’ｍ１３＋ｘ０ …式（２）
ｙ＝ｘ’ｍ２１＋ｙ’ｍ２２＋ｚ’ｍ２３＋ｙ０ …式（３）
ｚ＝ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０ …式（４）
That is, conversion from the model coordinate system (x ′, y ′, z ′) to the camera coordinate system (x, y, z) is expressed by the following equations (2) to (4).
x = x′m11 + y′m12 + z′m13 + x0 (2)
y = x′m21 + y′m22 + z′m23 + y0 Formula (3)
z = x′m31 + y′m32 + z′m33 + z0 Formula (4)
また、カメラ座標系（ｘ，ｙ，ｚ）からスクリーン座標系（ｕ，ｖ）への透視変換は、以下の式（５）により行われる。
ただし、Ｓ（スケール係数）は、撮影装置の画角と画素数から算出される定数である。
The perspective transformation from the camera coordinate system (x, y, z) to the screen coordinate system (u, v) is performed by the following equation (5).
However, S (scale factor) is a constant calculated from the angle of view and the number of pixels of the photographing apparatus.
したがって、モデル座標系（ｘ’，ｙ’，ｚ’）からスクリーン座標系（ｕ，ｖ）への変換は、式（２）〜（４）を式（５）に代入し、以下の式（６），（７）により表される。
ｕ＝Ｓ（ｘ’ｍ１１＋ｙ’ｍ１２＋ｚ’ｍ１３＋ｘ０）／（ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０） …式（６）
ｖ＝Ｓ（ｘ’ｍ２１＋ｙ’ｍ２２＋ｚ’ｍ２３＋ｙ０）／（ｘ’ｍ３１＋ｙ’ｍ３２＋ｚ’ｍ３３＋ｚ０） …式（７）
Therefore, the transformation from the model coordinate system (x ′, y ′, z ′) to the screen coordinate system (u, v) is performed by substituting the equations (2) to (4) into the equation (5), and the following equation ( 6) and (7).
u = S (x′m11 + y′m12 + z′m13 + x0) / (x′m31 + y′m32 + z′m33 + z0) (6)
v = S (x′m21 + y′m22 + z′m23 + y0) / (x′m31 + y′m32 + z′m33 + z0) (7)
以上のように、回転変換行列Ｍと移動ベクトルＴとを合わせて、未知数が１２個あるため、完全な位置情報および方向情報を得るには、１２本の関係式を必要とする。この点、本実施形態では、不可視光マーカー検出部３３が、各不可視光マーカーｍｉのモデル座標系における位置座標（ｘ’ｉ，ｙ’ｉ，ｚ’ｉ）を検出する。このため、１つの不可視光マーカーｍにつき、２本の関係式（６），（７）が定義される。したがって、６個以上の不可視光マーカーｍがあれば、１２次連立非線形方程式が得られるため、回転変換行列Ｍおよび移動ベクトルＴが算出可能となる。 As described above, since there are twelve unknowns including the rotation transformation matrix M and the movement vector T, 12 relational expressions are required to obtain complete position information and direction information. In this regard, in the present embodiment, the invisible light marker detection unit 33 detects the position coordinates (x′i, y′i, z′i) of each invisible light marker mi in the model coordinate system. For this reason, two relational expressions (6) and (7) are defined for one invisible light marker m. Therefore, if there are six or more invisible light markers m, a twelfth order simultaneous nonlinear equation can be obtained, so that the rotation transformation matrix M and the movement vector T can be calculated.
ただし、１２次連立非線形方程式を短時間かつ安定的に解こうとすると、システムに負担がかかる。そこで、本実施形態では、立体スクリーン３の移動ベクトルＴのｚ値（ｚ０）が既知であり、かつ、立体スクリーン３の範囲が、ｚ０に比べて十分に小さい（ｚｉ≒ｚ０）と仮定した。本実施形態のように、ステージ上の人間に投影することを想定した場合、舞台設計に基づいてｚ０の概略値が得られるとともに、立体スクリーン３がｚ軸方向（ステージの前後方向）に移動することはほとんどないからである。 However, if a twelfth order simultaneous nonlinear equation is to be solved stably in a short time, the system is burdened. Therefore, in the present embodiment, it is assumed that the z value (z0) of the movement vector T of the stereoscopic screen 3 is known, and the range of the stereoscopic screen 3 is sufficiently smaller than z0 (zi≈z0). Assuming projection onto a human on the stage as in this embodiment, an approximate value of z0 is obtained based on the stage design, and the three-dimensional screen 3 moves in the z-axis direction (front-rear direction of the stage). Because there is almost nothing.
上記の仮定により、本実施形態では、未知数が８個に減少し、かつ、方程式が線形化する。したがって、図５に示すように、不可視光マーカーｍｉが４個あれば、下記式（８）〜（１５）が成立するため、立体スクリーン情報取得部３６は、短時間かつ安定的に、方向情報としての回転変換行列Ｍ、および位置情報としての移動ベクトルＴを算出するようになっている。
ｕ１＝Ｓ（ｘ’１ｍ１１＋ｙ’１ｍ１２＋ｚ’１ｍ１３＋ｘ０）／ｚ０ …式（８）
ｖ１＝Ｓ（ｘ’１ｍ２１＋ｙ’１ｍ２２＋ｚ’１ｍ２３＋ｙ０）／ｚ０ …式（９）
ｕ２＝Ｓ（ｘ’２ｍ１１＋ｙ’２ｍ１２＋ｚ’２ｍ１３＋ｘ０）／ｚ０ …式（１０）
ｖ２＝Ｓ（ｘ’２ｍ２１＋ｙ’２ｍ２２＋ｚ’２ｍ２３＋ｙ０）／ｚ０ …式（１１）
ｕ３＝Ｓ（ｘ’３ｍ１１＋ｙ’３ｍ１２＋ｚ’３ｍ１３＋ｘ０）／ｚ０ …式（１２）
ｖ３＝Ｓ（ｘ’３ｍ２１＋ｙ’３ｍ２２＋ｚ’３ｍ２３＋ｙ０）／ｚ０ …式（１３）
ｕ４＝Ｓ（ｘ’４ｍ１１＋ｙ’４ｍ１２＋ｚ’４ｍ１３＋ｘ０）／ｚ０ …式（１４）
ｖ４＝Ｓ（ｘ’４ｍ２１＋ｙ’４ｍ２２＋ｚ’４ｍ２３＋ｙ０）／ｚ０ …式（１５）
Based on the above assumptions, in this embodiment, the number of unknowns is reduced to 8 and the equation is linearized. Therefore, as shown in FIG. 5, if there are four invisible light markers mi, the following formulas (8) to (15) are established, so that the three-dimensional screen information acquisition unit 36 can perform the direction information in a short time and stably. As a rotation transformation matrix M and a movement vector T as position information.
u1 = S (x′1m11 + y′1m12 + z′1m13 + x0) / z0 (8)
v1 = S (x′1m21 + y′1m22 + z′1m23 + y0) / z0 (9)
u2 = S (x′2m11 + y′2m12 + z′2m13 + x0) / z0 (10)
v2 = S (x′2m21 + y′2m22 + z′2m23 + y0) / z0 (11)
u3 = S (x′3m11 + y′3m12 + z′3m13 + x0) / z0 (12)
v3 = S (x′3m21 + y′3m22 + z′3m23 + y0) / z0 (13)
u4 = S (x′4m11 + y′4m12 + z′4m13 + x0) / z0 (14)
v4 = S (x′4m21 + y′4m22 + z′4m23 + y0) / z0 (15)
なお、本実施形態において、回転変換行列Ｍは、回転角（ρ，θ，φ）形式で算出することもできるが、計算式が複雑になるのを避けるため、３×３行列形式で算出している。また、本実施形態では、不可視光マーカーｍを用いて立体スクリーン３の位置情報および方向情報を算出しているが、この構成に限定されるものではない。例えば、立体スクリーン３に６自由度を検出可能な３次元位置センサを設け、立体スクリーン情報取得部３６が、当該センサから直接位置情報および方向情報を取得するようにしてもよい。 In the present embodiment, the rotation transformation matrix M can be calculated in the rotation angle (ρ, θ, φ) format, but is calculated in the 3 × 3 matrix format in order to avoid a complicated calculation formula. ing. In the present embodiment, the position information and direction information of the stereoscopic screen 3 are calculated using the invisible light marker m, but the present invention is not limited to this configuration. For example, a three-dimensional position sensor capable of detecting six degrees of freedom may be provided on the three-dimensional screen 3, and the three-dimensional screen information acquisition unit 36 may acquire position information and direction information directly from the sensor.
また、本実施形態において、立体スクリーン３が複数ある場合、立体スクリーン情報取得部３６は、対応関係判別部３５が判別した各立体スクリーン３のそれぞれについて、上述した処理を実行し、位置情報および方向情報を取得するようになっている。 In the present embodiment, when there are a plurality of stereoscopic screens 3, the stereoscopic screen information acquisition unit 36 performs the above-described process for each of the stereoscopic screens 3 determined by the correspondence determination unit 35, so that position information and direction are determined. Get information.
投影映像作成部３７は、立体スクリーン３へ投影するための投影映像を作成するためのものである。本実施形態において、投影映像作成部３７は、立体スクリーン情報取得部３６が取得した立体スクリーン３の位置情報および方向情報を取得する。そして、これらの情報に基づいて、被投影体４の位置、大きさおよび方向が立体スクリーン３に整合した状態の投影映像を３次元モデルから作成するようになっている。 The projection video creation unit 37 is for creating a projection video for projection onto the stereoscopic screen 3. In the present embodiment, the projection video creation unit 37 acquires the position information and direction information of the stereoscopic screen 3 acquired by the stereoscopic screen information acquisition unit 36. Based on these pieces of information, a projection image in which the position, size, and direction of the projection target 4 are aligned with the three-dimensional screen 3 is created from the three-dimensional model.
具体的には、まず、映像投影装置１３の座標系と上記のカメラ座標系とが同一であると仮定する。この仮定は、映像投影装置１３の位置と、マーカー撮影装置１２の焦点位置および方向画角を一致させることと同意である。なお、厳密には、映像投影装置１３とマーカー撮影装置１２との焦点位置を一致させることはできないが、立体スクリーン３までの距離と比べると、両焦点位置は十分に近距離であるため問題はない。 Specifically, first, it is assumed that the coordinate system of the video projector 13 and the camera coordinate system are the same. This assumption is equivalent to matching the position of the video projection device 13 with the focal position and the direction angle of view of the marker photographing device 12. Strictly speaking, the focal positions of the video projection device 13 and the marker photographing device 12 cannot be matched, but the two focal positions are sufficiently close compared to the distance to the three-dimensional screen 3, so the problem is Absent.
以上において、投影映像作成部３７は、３次元モデル作成部３２が作成した３次元モデルを取得し、その中心をカメラ座標系の原点に設置する。そして、投影映像作成部３７は、立体スクリーン情報取得部３６が取得した回転変換行列Ｍおよび移動ベクトルＴを用いて、３次元モデルに対して投影変換を実行する。さらに、投影映像作成部３７は、投影変換後の３次元モデルに対し、上記式（５）にｚ０およびＳ（スケール係数）を用いて透視変換を実行し、投影映像を作成するようになっている。 In the above, the projection video creation unit 37 acquires the 3D model created by the 3D model creation unit 32 and sets the center thereof at the origin of the camera coordinate system. Then, the projection video creation unit 37 performs projection transformation on the three-dimensional model using the rotation transformation matrix M and the movement vector T acquired by the stereoscopic screen information acquisition unit 36. Further, the projection video creation unit 37 performs perspective transformation on the three-dimensional model after projection transformation using z0 and S (scale factor) in the above equation (5) to create a projection video. Yes.
なお、被投影体４が複数ある場合、投影映像作成部３７は、各被投影体４について、上述した処理を実行し、各被投影体４が対応する各立体スクリーン３上に投影されるように投影映像内に配置する。 When there are a plurality of projection objects 4, the projection video creation unit 37 performs the above-described processing for each projection object 4 so that each projection object 4 is projected onto the corresponding three-dimensional screen 3. Placed in the projected image.
投影映像出力部３８は、投影映像を映像投影装置１３へ出力するものである。本実施形態において、投影映像出力部３８は、投影映像作成部３７が作成した投影映像を取得し、当該投影映像を映像投影装置１３へ出力するようになっている。 The projection video output unit 38 outputs the projection video to the video projection device 13. In the present embodiment, the projection video output unit 38 acquires the projection video created by the projection video creation unit 37 and outputs the projection video to the video projection device 13.
つぎに、本実施形態の映像投影プログラム１ａによって実行される映像処理装置１４と、この映像処理装置１４を含む映像投影システム１の作用につき、図６を参照しつつ説明する。 Next, the operation of the video processing apparatus 14 executed by the video projection program 1a of this embodiment and the video projection system 1 including the video processing apparatus 14 will be described with reference to FIG.
本実施形態の映像投影システム１を用いて、ステージ上を動き回る人間の顔面に装着された立体スクリーン３に、他の人物の顔面映像をリアルタイムで追従させて投影する場合、映像処理装置１４は、被投影体撮影装置１１からリアルタイムで被投影体４の２次元映像を入力するとともに（ステップＳ１）、マーカー撮影装置１２から立体スクリーン３を含む映像を入力する（ステップＳ２）。なお、ステップＳ１およびステップＳ２は、同時並行的に実行される。 When the video projection system 1 of the present embodiment is used to project a facial image of another person in real time on the stereoscopic screen 3 mounted on the human face moving around on the stage, the video processing device 14 A two-dimensional image of the projection object 4 is input in real time from the projection object imaging device 11 (step S1), and an image including the stereoscopic screen 3 is input from the marker imaging device 12 (step S2). Note that step S1 and step S2 are executed concurrently.
つぎに、２次元映像正規化部３１が、ステップＳ１で入力された２次元映像から顔面部分を切り出し、当該顔面部分を正規化する（ステップＳ３）。これにより、被投影体４となる人物の顔面部分が、画面の中央において、常に正面を向いており、かつ、正規化された大きさ（画面上のサイズ）に調整される。 Next, the 2D video normalization unit 31 cuts out a facial part from the 2D video input in step S1, and normalizes the facial part (step S3). As a result, the face portion of the person to be the projection object 4 is always facing the front in the center of the screen and is adjusted to a normalized size (size on the screen).
つづいて、３次元モデル作成部３２が、ステップＳ３で正規化された顔面の２次元映像をテクスチャとして投影対象モデル（顔面モデル）へ投影し、被投影体４の３次元モデルを作成する（ステップＳ４）。これにより、映像処理装置１４内において、被投影体４となる人物の仮想的な顔面データが３次元的に構築される。 Subsequently, the 3D model creation unit 32 projects the 2D image of the face normalized in step S3 onto the projection target model (face model) as a texture, and creates a 3D model of the projection target 4 (step). S4). Thereby, virtual face data of the person who becomes the projection object 4 is three-dimensionally constructed in the video processing device 14.
一方、不可視光マーカー検出部３３は、ステップＳ２で入力された映像の中から不可視光マーカーｍの位置座標を検出する（ステップＳ５）。このとき、本実施形態では、不可視光のみを撮影可能なマーカー撮影装置１２を使用しているため、不可視光マーカーｍを検出する画像処理が高速化され、リアルタイムでの追従投影が可能となる。 On the other hand, the invisible light marker detection unit 33 detects the position coordinates of the invisible light marker m from the image input in step S2 (step S5). At this time, in this embodiment, since the marker imaging device 12 capable of imaging only invisible light is used, the image processing for detecting the invisible light marker m is accelerated, and real-time follow-up projection is possible.
本実施形態において、被投影体４およびこれを投影するための立体スクリーン３が複数ある場合、不可視光マーカー検出部３３が、各不可視光マーカーｍの発光パターンを検出するとともに、マーカー検出部３４が、各マーカーの発光パターンを検出する（ステップＳ６）。そして、対応関係判別部３５が、各発光パターンをマーカー対応記憶部２２に記憶された識別情報と照合し、各被投影体４を投影すべき立体スクリーン３を判別する（ステップＳ７）。 In the present embodiment, when there are a plurality of projection objects 4 and the three-dimensional screens 3 for projecting them, the invisible light marker detection unit 33 detects the light emission pattern of each invisible light marker m, and the marker detection unit 34 The light emission pattern of each marker is detected (step S6). Then, the correspondence determination unit 35 compares each light emission pattern with the identification information stored in the marker correspondence storage unit 22, and determines the three-dimensional screen 3 on which each projection object 4 is to be projected (step S7).
これにより、複数の被投影体４を同時に複数の立体スクリーン３へ投影する場合であっても、各被投影体４を投影すべき立体スクリーン３が識別される。また、各不可視光マーカーｍごとに異なる発光パターンを有しているため、動体２が交差する場合や、構造物の裏から出現する場合等でも、各立体スクリーン３を瞬時に識別する。なお、被投影体４および立体スクリーン３がそれぞれ１つの場合、上記ステップＳ６，Ｓ７は実行されない。 Thereby, even when a plurality of projection objects 4 are simultaneously projected onto a plurality of three-dimensional screens 3, the three-dimensional screens 3 on which the respective projection objects 4 are to be projected are identified. Moreover, since each invisible light marker m has a different light emission pattern, each stereoscopic screen 3 is identified instantaneously even when the moving body 2 intersects or appears from the back of the structure. Note that when there is one projection object 4 and one three-dimensional screen 3, the above steps S6 and S7 are not executed.
つぎに、立体スクリーン情報取得部３６が、ステップＳ５で検出された各不可視光マーカーｍの位置座標に基づいて、立体スクリーン３の位置情報および方向情報を取得する（ステップＳ８）。また、立体スクリーン３が複数ある場合、立体スクリーン情報取得部３６は、各立体スクリーン３について位置情報および方向情報を取得する。 Next, the three-dimensional screen information acquisition unit 36 acquires position information and direction information of the three-dimensional screen 3 based on the position coordinates of each invisible light marker m detected in step S5 (step S8). When there are a plurality of 3D screens 3, the 3D screen information acquisition unit 36 acquires position information and direction information for each 3D screen 3.
つづいて、投影映像作成部３７が、ステップＳ８で取得した位置情報および方向情報に基づいて、ステップＳ４で作成された３次元モデルを投影変換するとともに、透視変換を実行し、投影映像を作成する（ステップＳ９）。これにより、立体スクリーン３の動きに合わせて、被投影体４の位置、大きさおよび方向が整合するように、リアルタイムで投影映像がレンダリングされる。 Subsequently, the projection video creation unit 37 projects and converts the three-dimensional model created in step S4 based on the position information and direction information acquired in step S8, and executes perspective transformation to create a projection video. (Step S9). As a result, the projected video is rendered in real time so that the position, size, and direction of the projection target 4 match with the movement of the stereoscopic screen 3.
ステップＳ９で作成された投影映像は、投影映像出力部３８が、逐次、映像投影装置１３へと出力する（ステップＳ１０）。これにより、映像投影装置１３の投影範囲内に存在する限り、動体２に設けられた立体スクリーン３に対して、投影映像が投影される。その後、投影処理が終了するまで、上記のステップＳ１〜Ｓ１０を繰り返した後（ステップＳ１１）、本処理は終了する。 The projection video output unit 38 sequentially outputs the projection video created in step S9 to the video projection device 13 (step S10). Thereby, as long as it exists within the projection range of the video projector 13, the projected video is projected onto the stereoscopic screen 3 provided on the moving body 2. Thereafter, the above steps S1 to S10 are repeated until the projection process is completed (step S11), and then the present process ends.
以上のような本実施形態によれば、以下のような効果を奏する。
１．動体２に設けられた立体スクリーン３に対して、被投影体４の映像をリアルタイムで整合させ自動的に追従させることができる。
２．複数の被投影体４が存在する場合でも、各被投影体４を同時にリアルタイムで複数の立体スクリーン３に追従投影することができる。
３．例えばステージ上の人物や衣装に、その場にいない人物や故人等の表情や演技を合成し、実際にその人物がその場にいるような臨場感のある演出を行うことができる。
４．例えば会議室内の人物や人物模型に、遠隔地から参加者の顔面映像を投影し、あたかも参加者が会議室に参列しているかのような臨場感を与えることができる。
According to the present embodiment as described above, the following effects can be obtained.
1. The image of the projection target 4 can be matched with the stereoscopic screen 3 provided on the moving body 2 in real time to automatically follow.
2. Even when there are a plurality of projection objects 4, each of the projection objects 4 can be simultaneously projected on the plurality of stereoscopic screens 3 in real time.
3. For example, it is possible to synthesize a facial expression or performance of a person or deceased who is not on the spot and a person or costume on the stage, and perform a realistic presentation as if the person is actually on the spot.
4). For example, it is possible to project a face image of a participant from a remote place onto a person or a person model in the conference room, and to give a sense of presence as if the participant is attending the conference room.
なお、本発明に係る映像投影システム１および映像投影プログラム１ａは、前述した実施形態に限定されるものではなく、適宜変更することができる。 The video projection system 1 and the video projection program 1a according to the present invention are not limited to the above-described embodiments, and can be changed as appropriate.
例えば、上述した本実施形態では、映像投影装置１３を１台だけ使用しているが、この構成に限定されるものではなく、動体２が広範囲に移動する場合には、映像投影装置１３を複数台設置し、投影範囲を広げればよい。そして、立体スクリーン情報取得部３６が取得した立体スクリーン３の位置情報に基づいて、投影映像出力部３８が、映像投影装置１３を切り換えながら投影映像を出力するように制御してもよい。 For example, in the above-described embodiment, only one video projection device 13 is used. However, the present invention is not limited to this configuration. When the moving object 2 moves in a wide range, a plurality of video projection devices 13 are used. A stand can be installed to widen the projection range. Then, based on the position information of the stereoscopic screen 3 acquired by the stereoscopic screen information acquisition unit 36, the projection video output unit 38 may be controlled to output the projection video while switching the video projection device 13.
１ 映像投影システム
１ａ 映像投影プログラム
２ 動体
３ 立体スクリーン
４ 被投影体
１１ 被投影体撮影装置
１２ マーカー撮影装置
１３ 映像投影装置
１４ 映像処理装置
２０ 記憶手段
２１ プログラム記憶部
２２ マーカー対応記憶部
２３ ２次元映像記憶部
２４ 投影対象モデル記憶部
３０ 演算処理手段
３１ ２次元映像正規化部
３２ ３次元モデル作成部
３３ マーカー検出部
３４ 不可視光マーカー検出部
３５ 対応関係判別部
３６ 立体スクリーン情報取得部
３７ 投影映像作成部
３８ 投影映像出力部
ｍ 不可視光マーカー
DESCRIPTION OF SYMBOLS 1 Image | video projection system 1a Image | video projection program 2 Moving body 3 Three-dimensional screen 4 Projection object 11 Projection object imaging device 12 Marker imaging device 13 Image projection device 14 Image processing device 20 Storage means 21 Program storage part 22 Marker corresponding | compatible memory | storage part 23 2D Image storage unit 24 Projection target model storage unit 30 Arithmetic processing means 31 2D image normalization unit 32 3D model creation unit 33 Marker detection unit 34 Invisible light marker detection unit 35 Correspondence relationship determination unit 36 3D screen information acquisition unit 37 Projected image Creation unit 38 Projection image output unit m Invisible light marker
Claims (8)
前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、
前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、
前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、
前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部と
を有する映像投影システム。 An image projection system for projecting a predetermined image from an image projection device onto a stereoscopic screen provided on a moving body,
A stereoscopic screen information acquisition unit for acquiring position information and direction information of the stereoscopic screen;
A 3D model creation unit that creates a 3D model of the projection object using a 2D image of the projection object to be projected on the stereoscopic screen as a texture;
Based on the position information and direction information of the three-dimensional screen acquired by the three-dimensional screen information acquisition unit, a projection image in which the position, size, and direction of the projection target are aligned with the three-dimensional screen is created from the three-dimensional model A projection image creation unit to
A projection image output unit that outputs the projection image created by the projection image creation unit to the image projection device;
前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出する請求項１に記載の映像投影システム。 An invisible light marker detection unit is provided that acquires an image including the stereoscopic screen from a marker imaging device capable of capturing invisible light, and detects position coordinates of a plurality of invisible light markers provided on the stereoscopic screen from the image. And
The video projection system according to claim 1, wherein the stereoscopic screen information acquisition unit calculates position information and direction information of the stereoscopic screen based on position coordinates of each invisible light marker detected by the invisible light marker detection unit.
各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、
各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、
各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、
前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部と
を有している請求項２に記載の映像投影システム。 When there are a plurality of the projection object and the three-dimensional screen, a marker that can be distinguished from each other is provided for each projection object, and an invisible light marker that can be distinguished from each other is provided for each three-dimensional screen. ,
The identification information of the marker provided on each projection object is stored, and the identification information of the invisible light marker provided on each stereoscopic screen on which each projection object is to be projected is associated with each projection object. A marker corresponding storage section for storing;
A marker detection unit for detecting a light emission pattern of a marker provided on each projection object;
An invisible light marker detection unit for detecting a light emission pattern of the invisible light marker provided on each three-dimensional screen;
Correspondence relationship in which the light emission pattern detected by the marker detection unit and the light emission pattern detected by the invisible light marker are collated with identification information stored in the marker correspondence storage unit, and a stereoscopic screen on which each projection object is to be projected is determined. The video projection system according to claim 2, further comprising: a determination unit.
前記立体スクリーンの位置情報および方向情報を取得する立体スクリーン情報取得部と、
前記立体スクリーンに投影しようとする被投影体の２次元映像をテクスチャとして、前記被投影体の３次元モデルを作成する３次元モデル作成部と、
前記立体スクリーン情報取得部が取得した前記立体スクリーンの位置情報および方向情報に基づいて、前記被投影体の位置、大きさおよび方向を前記立体スクリーンに整合させた投影映像を前記３次元モデルから作成する投影映像作成部と、
前記投影映像作成部が作成した投影映像を前記映像投影装置に出力する投影映像出力部と
してコンピュータを機能させる映像投影プログラム。 A video projection program for causing a computer to function to project a predetermined video from a video projection device onto a stereoscopic screen provided on a moving body,
A stereoscopic screen information acquisition unit for acquiring position information and direction information of the stereoscopic screen;
A 3D model creation unit that creates a 3D model of the projection object using a 2D image of the projection object to be projected on the stereoscopic screen as a texture;
Based on the position information and direction information of the three-dimensional screen acquired by the three-dimensional screen information acquisition unit, a projection image in which the position, size, and direction of the projection target are aligned with the three-dimensional screen is created from the three-dimensional model A projection image creation unit to
A video projection program that causes a computer to function as a projection video output unit that outputs a projection video created by the projection video creation unit to the video projection device.
前記立体スクリーン情報取得部は、前記不可視光マーカー検出部が検出した各不可視光マーカーの位置座標に基づいて、前記立体スクリーンの位置情報および方向情報を算出する請求項５に記載の映像投影プログラム。 A computer as an invisible light marker detection unit that acquires an image including the stereoscopic screen from a marker imaging device capable of capturing invisible light and detects position coordinates of a plurality of invisible light markers provided on the stereoscopic screen from the image. Function
The video projection program according to claim 5, wherein the stereoscopic screen information acquisition unit calculates position information and direction information of the stereoscopic screen based on position coordinates of each invisible light marker detected by the invisible light marker detection unit.
各被投影体に設けられた前記マーカーの識別情報を記憶するとともに、各被投影体に対応付けて、各被投影体を投影すべき各立体スクリーンに設けられた前記不可視光マーカーの識別情報を記憶するマーカー対応記憶部と、
各被投影体に設けられたマーカーの発光パターンを検出するマーカー検出部と、
各立体スクリーンに設けられた不可視光マーカーの発光パターンを検出する不可視光マーカー検出部と、
前記マーカー検出部が検出した発光パターンおよび前記不可視光マーカーが検出した発光パターンを前記マーカー対応記憶部に記憶された識別情報と照合し、各被投影体を投影すべき立体スクリーンを判別する対応関係判別部と
してコンピュータを機能させる請求項６に記載の映像投影プログラム。 When there are a plurality of the projection object and the three-dimensional screen, a marker that can be distinguished from each other is provided for each projection object, and an invisible light marker that can be distinguished from each other is provided for each three-dimensional screen. ,
The identification information of the marker provided on each projection object is stored, and the identification information of the invisible light marker provided on each stereoscopic screen on which each projection object is to be projected is associated with each projection object. A marker corresponding storage section for storing;
A marker detection unit for detecting a light emission pattern of a marker provided on each projection object;
An invisible light marker detection unit for detecting a light emission pattern of the invisible light marker provided on each three-dimensional screen;
Correspondence relationship in which the light emission pattern detected by the marker detection unit and the light emission pattern detected by the invisible light marker are collated with identification information stored in the marker correspondence storage unit, and a stereoscopic screen on which each projection object is to be projected is determined. The video projection program according to claim 6, which causes a computer to function as a determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010128469A JP2011254411A (en) | 2010-06-04 | 2010-06-04 | Video projection system and video projection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010128469A JP2011254411A (en) | 2010-06-04 | 2010-06-04 | Video projection system and video projection program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011254411A true JP2011254411A (en) | 2011-12-15 |
Family
ID=45417942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010128469A Pending JP2011254411A (en) | 2010-06-04 | 2010-06-04 | Video projection system and video projection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011254411A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013192189A (en) * | 2012-03-15 | 2013-09-26 | Casio Comput Co Ltd | Image processing device, projection system, program and image processing method |
| WO2014003099A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社セガ | Video production device |
| JP2014032304A (en) * | 2012-08-03 | 2014-02-20 | National Institute Of Advanced Industrial & Technology | Information processing device, information processing method, and program |
| JP2014089242A (en) * | 2012-10-29 | 2014-05-15 | Casio Comput Co Ltd | Image processor, video data correction method and program |
| WO2015008756A1 (en) * | 2013-07-19 | 2015-01-22 | 株式会社ニコン | Projection device, control device, control program, and projection control method |
| JP2015506121A (en) * | 2011-11-16 | 2015-02-26 | ストーウェル・リンネル・エルエルシー | System and method for 3D projection mapping with robot controlled objects |
| WO2015151766A1 (en) * | 2014-03-31 | 2015-10-08 | コニカミノルタ株式会社 | Projection photographing system, karaoke device, and simulation device |
| WO2015170680A1 (en) * | 2014-05-09 | 2015-11-12 | コニカミノルタ株式会社 | Projection system |
| JP2016063394A (en) * | 2014-09-18 | 2016-04-25 | 日本電信電話株式会社 | Projection image generation device, projection image generation method and projection image generation program |
| JP2016081497A (en) * | 2014-10-14 | 2016-05-16 | 株式会社東通 | Image projection method and image projection system |
| JP2016085379A (en) * | 2014-10-27 | 2016-05-19 | キヤノン株式会社 | Controller, control method, and program |
| JP2017026652A (en) * | 2015-07-15 | 2017-02-02 | 国立大学法人東北大学 | Screen, position specifying device, video processing device, pattern generating device, and screen manufacturing method |
| WO2017179432A1 (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Image projection method and image projection device for three-dimensional object for projection |
| US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
| JP2020014075A (en) * | 2018-07-17 | 2020-01-23 | 恵 志水 | Image projection system, image projection method, and program |
| CN113259642A (en) * | 2021-05-12 | 2021-08-13 | 华强方特（深圳）科技有限公司 | Film visual angle adjusting method and system |
| JP2021533391A (en) * | 2018-08-03 | 2021-12-02 | オックスフォード メトリックス ピーエルシー | Active marker device and its design method |
| JP2023509640A (en) * | 2020-01-02 | 2023-03-09 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and Methods for Optical Performance Captured Animated Figures Using Real-time Responsive Projection Media |
| JP7637691B2 (en) | 2020-03-02 | 2025-02-28 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | System and method for responsive projection mapping show robots |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Video projection device |
| JP2008085641A (en) * | 2006-09-27 | 2008-04-10 | Gifu Univ | 3D image display device |
| JP2009147480A (en) * | 2007-12-12 | 2009-07-02 | Gifu Univ | Projection system calibration equipment |
| JP2009216958A (en) * | 2008-03-11 | 2009-09-24 | Gifu Univ | Three-dimensional display |
| JP2010204759A (en) * | 2009-02-27 | 2010-09-16 | Gifu Univ | Coordinate calibration method for three-dimensional image display device |
-
2010
- 2010-06-04 JP JP2010128469A patent/JP2011254411A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001083949A (en) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | Video projection device |
| JP2008085641A (en) * | 2006-09-27 | 2008-04-10 | Gifu Univ | 3D image display device |
| JP2009147480A (en) * | 2007-12-12 | 2009-07-02 | Gifu Univ | Projection system calibration equipment |
| JP2009216958A (en) * | 2008-03-11 | 2009-09-24 | Gifu Univ | Three-dimensional display |
| JP2010204759A (en) * | 2009-02-27 | 2010-09-16 | Gifu Univ | Coordinate calibration method for three-dimensional image display device |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9472011B2 (en) | 2011-11-16 | 2016-10-18 | Google Inc. | System and method for 3D projection mapping with robotically controlled objects |
| JP2015506121A (en) * | 2011-11-16 | 2015-02-26 | ストーウェル・リンネル・エルエルシー | System and method for 3D projection mapping with robot controlled objects |
| US9832352B2 (en) | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
| US10447899B2 (en) | 2011-11-16 | 2019-10-15 | X Development Llc | System and method for 3D projection mapping with robotically controlled objects |
| JP2013192189A (en) * | 2012-03-15 | 2013-09-26 | Casio Comput Co Ltd | Image processing device, projection system, program and image processing method |
| WO2014003099A1 (en) * | 2012-06-29 | 2014-01-03 | 株式会社セガ | Video production device |
| JP2014032304A (en) * | 2012-08-03 | 2014-02-20 | National Institute Of Advanced Industrial & Technology | Information processing device, information processing method, and program |
| JP2014089242A (en) * | 2012-10-29 | 2014-05-15 | Casio Comput Co Ltd | Image processor, video data correction method and program |
| WO2015008756A1 (en) * | 2013-07-19 | 2015-01-22 | 株式会社ニコン | Projection device, control device, control program, and projection control method |
| WO2015151766A1 (en) * | 2014-03-31 | 2015-10-08 | コニカミノルタ株式会社 | Projection photographing system, karaoke device, and simulation device |
| WO2015170680A1 (en) * | 2014-05-09 | 2015-11-12 | コニカミノルタ株式会社 | Projection system |
| JP2016063394A (en) * | 2014-09-18 | 2016-04-25 | 日本電信電話株式会社 | Projection image generation device, projection image generation method and projection image generation program |
| JP2016081497A (en) * | 2014-10-14 | 2016-05-16 | 株式会社東通 | Image projection method and image projection system |
| JP2016085379A (en) * | 2014-10-27 | 2016-05-19 | キヤノン株式会社 | Controller, control method, and program |
| US9946146B2 (en) | 2014-10-27 | 2018-04-17 | Canon Kabushiki Kaisha | Control apparatus configured to control projection of an image based on position information, projection information, and shape information, corresponding control method and corresponding storage medium |
| JP2017026652A (en) * | 2015-07-15 | 2017-02-02 | 国立大学法人東北大学 | Screen, position specifying device, video processing device, pattern generating device, and screen manufacturing method |
| JP2017192040A (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Projection method and system for three-dimensional projection object |
| WO2017179432A1 (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Image projection method and image projection device for three-dimensional object for projection |
| JP2020014075A (en) * | 2018-07-17 | 2020-01-23 | 恵 志水 | Image projection system, image projection method, and program |
| JP2021533391A (en) * | 2018-08-03 | 2021-12-02 | オックスフォード メトリックス ピーエルシー | Active marker device and its design method |
| JP2023509640A (en) * | 2020-01-02 | 2023-03-09 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and Methods for Optical Performance Captured Animated Figures Using Real-time Responsive Projection Media |
| JP7639004B2 (en) | 2020-01-02 | 2025-03-04 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and methods for optical performance capture animated figures using real-time responsive projected media |
| JP7637691B2 (en) | 2020-03-02 | 2025-02-28 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | System and method for responsive projection mapping show robots |
| CN113259642A (en) * | 2021-05-12 | 2021-08-13 | 华强方特（深圳）科技有限公司 | Film visual angle adjusting method and system |
| CN113259642B (en) * | 2021-05-12 | 2023-05-30 | 华强方特（深圳）科技有限公司 | Film visual angle adjusting method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011254411A (en) | Video projection system and video projection program | |
| US10223834B2 (en) | System and method for immersive and interactive multimedia generation | |
| US11199706B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| JP6690041B2 (en) | Method and device for determining point of gaze on three-dimensional object | |
| JP6340017B2 (en) | An imaging system that synthesizes a subject and a three-dimensional virtual space in real time | |
| US10256859B2 (en) | System and method for immersive and interactive multimedia generation | |
| JP3624353B2 (en) | Three-dimensional shape measuring method and apparatus | |
| CN106643699B (en) | Space positioning device and positioning method in virtual reality system | |
| US20180046874A1 (en) | System and method for marker based tracking | |
| US9740282B1 (en) | Gaze direction tracking | |
| TWI496108B (en) | AR image processing apparatus and method | |
| US20170178392A1 (en) | 3d scanning apparatus including scanning sensor detachable from screen | |
| US20150302648A1 (en) | Systems and methods for mapping an environment using structured light | |
| JP2016218905A (en) | Information processing device, information processing method and program | |
| JP5147980B1 (en) | Object multiple image associating device, data reproducing device thereof, and image processing system | |
| CN108139876A (en) | The system and method generated for immersion and interactive multimedia | |
| US11562537B2 (en) | System for rapid digitization of an article | |
| JPH0273471A (en) | Estimating method for three-dimensional form | |
| JP2011134133A (en) | Image processing apparatus, image processing method and program | |
| JP2017162192A (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
| JPH0475639A (en) | Face image model generating device | |
| JP2008016054A (en) | Three-dimensional shape-estimating system and image-generating system | |
| WO2024134934A1 (en) | Three-dimensional information extraction device and three-dimensional information extraction method | |
| JP2024171956A (en) | Projection control device, projection control method and program | |
| Fikke et al. | 3D Face Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130604 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140402 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140730 |