JP2010273308A - Video processing system and video processing method - Google Patents
Video processing system and video processing method Download PDFInfo
- Publication number
- JP2010273308A JP2010273308A JP2009125865A JP2009125865A JP2010273308A JP 2010273308 A JP2010273308 A JP 2010273308A JP 2009125865 A JP2009125865 A JP 2009125865A JP 2009125865 A JP2009125865 A JP 2009125865A JP 2010273308 A JP2010273308 A JP 2010273308A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video data
- subject
- data
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、映像合成技術が用いられる映像処理システム及び映像処理方法に関する。 The present invention relates to a video processing system and a video processing method in which video synthesis technology is used.
従来より、テレビや映画等の映像コンテンツの制作時において、映像合成技術（例えば、クロマキー合成技術）が用いられている。近年では、このような映像合成技術をカラオケ店等のアミューズメント施設に適用することが検討されている（特許文献１参照）。 Conventionally, video composition technology (for example, chroma key composition technology) has been used in the production of video content such as television and movies. In recent years, application of such a video composition technique to an amusement facility such as a karaoke shop has been studied (see Patent Document 1).
特許文献１に記載の映像処理システムでは、カラオケ店に設置されたビデオカメラにより被写体（歌唱者）を撮影し、撮影により得られた被写体映像データと、予め用意された背景画像データとをクロマキー合成技術を用いて合成する。合成により得られた合成映像データは、カラオケ店に設置された表示装置上に表示される。これにより、表示装置上には、現実の背景とは異なる背景と共に歌唱者の映像が表示されるため、歌唱者は、擬似的に、テレビ出演しているような体験ができる。 In the video processing system described in Patent Document 1, a subject (singer) is photographed by a video camera installed in a karaoke shop, and subject video data obtained by photographing and background image data prepared in advance are chroma key combined. Synthesize using technology. The synthesized video data obtained by the synthesis is displayed on a display device installed in the karaoke shop. Thereby, since the video of the singer is displayed on the display device together with a background different from the actual background, the singer can experience an experience of appearing on the television in a pseudo manner.
しかしながら、特許文献１に記載の映像処理システムでは、固定された１つのビデオカメラを用いて被写体を撮影するのみであり、且つ、歌唱者の映像と共に表示される背景画像も静止画像であるため、表示される映像が単調なものになってしまい、映像の躍動感及び臨場感に乏しい。 However, in the video processing system described in Patent Document 1, only a subject is photographed using one fixed video camera, and the background image displayed together with the video of the singer is a still image. The displayed image becomes monotonous, and the image is not lively and realistic.
したがって、特許文献１に記載の映像処理システムにおいては、当該映像処理システムが導入されたアミューズメント施設（カラオケ店等）を利用する顧客の満足度を十分に向上させることができない問題があった。 Therefore, the video processing system described in Patent Document 1 has a problem that the satisfaction of customers who use amusement facilities (karaoke stores, etc.) in which the video processing system is introduced cannot be sufficiently improved.
そこで、本発明は、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a video processing system and a video processing method that can provide a composite video full of dynamism and realism and can sufficiently improve customer satisfaction.
上述した課題を解決するために、本発明は以下のような特徴を有している。まず、本発明の第１の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク（通信ネットワーク８０）を介して配信する配信装置（配信装置２０Ａ）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置（表示装置４０）上に表示させる合成再生装置（合成再生装置３０）とを備え、前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム（映像処理システム１Ａ）であることを要旨とする。
In order to solve the above-described problems, the present invention has the following features. First, a first feature of the present invention is a photographing apparatus (photographing apparatus 10) that is installed in a predetermined facility (for example, a karaoke shop or a theme park) and photographs a subject (subject 90) and outputs subject video data. And a distribution device (
本発明の第２の特徴は、所定の施設（例えば、カラオケ店又はテーマパーク等）に設置され、被写体（被写体９０）を撮影して被写体映像データを出力する撮影装置（撮影装置１０）と、前記撮影装置から通信ネットワーク（通信ネットワーク８０）を介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末（携帯端末１００）に配信する配信装置（配信装置２０Ｂ）とを備え、前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム（映像処理システム１Ｂ）であることを要旨とする。
The second feature of the present invention is that it is installed in a predetermined facility (for example, a karaoke shop or a theme park) and shoots a subject (subject 90) and outputs subject video data (shooting device 10). The subject video data is received from the photographing device via a communication network (communication network 80), and the synthesized video data is generated by performing synthesis processing of the received subject video data and background video data. A distribution device (
第１の特徴及び第２の特徴に係る映像処理システムによれば、撮影装置が、動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供できる。例えばカメラ位置が変化すると、その変化に応じて背景も変化させることができ、臨場感に満ちた合成映像を提供できる。 According to the video processing system according to the first feature and the second feature, since the photographing device photographs a subject with the operation content according to the operation data, for example, the camera position can be designated, and the subject image can be specified. Can improve the feeling of dynamism. Further, since the background video data combined with the subject video data is composed of video linked to the operation content indicated by the operation data (the operation content of the photographing apparatus), the background video linked to the change of the subject video can be provided. For example, when the camera position changes, the background can be changed in accordance with the change, and a composite image full of realism can be provided.
したがって、第１の特徴及び第２の特徴に係る映像処理システムによれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる。 Therefore, according to the video processing system according to the first feature and the second feature, it is possible to provide a composite video that is full of dynamism and realism, and can sufficiently improve customer satisfaction.
本発明の第３の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、少なくとも１つのビデオカメラ（ビデオカメラ１１）と、前記動作データに従って前記ビデオカメラを移動させる制御ユニット（制御ユニット１２）とを有することを要旨とする。 A third feature of the present invention relates to the first or second feature of the present invention, wherein the photographing apparatus controls at least one video camera (video camera 11) and the video camera according to the operation data. The gist is to have a unit (control unit 12).
本発明の第４の特徴は、本発明の第１又は第２の特徴に係り、前記撮影装置は、複数のビデオカメラ（ビデオカメラ１１ａ〜１１ｃ）と、前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニット（制御ユニット１２）とを有することを要旨とする。
A fourth feature of the present invention relates to the first or second feature of the present invention, wherein the photographing apparatus includes a plurality of video cameras (
本発明の第５の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信装置が配信するステップ（ステップＳ１０３）と、前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップ（ステップＳ１０５）と、前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップ（ステップＳ１０７，Ｓ１０８）とを備える映像処理方法であることを要旨とする。 A fifth feature of the present invention is that the operation data indicating the operation content of the photographing apparatus installed in a predetermined facility and the background video data including the video linked to the operation content indicated by the operation data are transmitted via a communication network. The distribution device distributes (step S103), the imaging device captures a subject according to the operation data distributed by the distribution device and outputs subject video data (step S105), and the communication network. A step of synthesizing the background video data distributed via the subject video data obtained from the photographing device and displaying the synthesized video data obtained by the synthesis processing on a display device (step) (S107, S108).
本発明の第６の特徴は、所定の施設に設置された撮影装置の動作内容を示す動作データに従って、前記撮影装置が被写体を撮影して被写体映像データを出力するステップ（ステップＳ２０１）と、前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップ（ステップＳ２０２）と、前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップ（ステップＳ２０７）と、前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップ（ステップＳ２０８）とを備える映像処理方法であることを要旨とする。 According to a sixth aspect of the present invention, the photographing device photographs a subject and outputs subject video data according to operation data indicating the operation content of the photographing device installed in a predetermined facility (Step S201), A step in which the distribution device receives the subject video data from the imaging device via a communication network (step S202), and the distribution device receives the received subject video data and an image linked with the operation content indicated by the operation data; Generating synthesized video data by performing synthesis processing with the background video data (step S207), and delivering the synthesized video data to the communication terminal via the communication network (step S207). The gist of the present invention is that the video processing method comprises step S208).
本発明によれば、躍動感及び臨場感に満ちた合成映像を提供可能とし、顧客の満足度を十分に向上させることができる映像処理システム及び映像処理方法を提供できる。 According to the present invention, it is possible to provide a video processing system and a video processing method which can provide a composite video full of liveliness and presence and can sufficiently improve customer satisfaction.
次に、図面を参照して、本発明の第１実施形態、第２実施形態、その他の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。 Next, a first embodiment, a second embodiment, and other embodiments of the present invention will be described with reference to the drawings. In the description of the drawings in the following embodiments, the same or similar parts are denoted by the same or similar reference numerals.
［第１実施形態］
以下において、（１）第１実施形態のシステム構成、（２）第１実施形態のシステム動作、（３）第１実施形態の効果について説明する。
[First Embodiment]
In the following, (1) system configuration of the first embodiment, (2) system operation of the first embodiment, and (3) effects of the first embodiment will be described.
（１）第１実施形態のシステム構成
まず、第１実施形態に係る映像処理システム１Ａの構成について、（１．１）全体概略構成、（１．２）配信装置２０Ａの構成、（１．３）合成再生装置３０の構成、（１．４）撮影装置１０の構成の順で説明する。
(1) System Configuration of First Embodiment First, regarding the configuration of the
（１．１）全体概略構成
図１は、第１実施形態に係る映像処理システム１Ａの構成を示す機能ブロック図である。第１実施形態では、映像処理システム１Ａは、合成映像を提供可能な通信カラオケシステムとして構成されている。
(1.1) Overall Schematic Configuration FIG. 1 is a functional block diagram showing a configuration of a
図１に示すように、映像処理システム１Ａは、撮影装置１０、配信装置２０Ａ、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０を有する。撮影装置１０、合成再生装置３０、表示装置４０、マイクロフォン５０、操作装置６０、及びスピーカ７０は、カラオケ店５内に設置される。
As illustrated in FIG. 1, the video processing system 1 </ b> A includes a
撮影装置１０は、被写体９０を撮影して被写体映像データを出力する。撮影装置１０の詳細な構成例については後述する。第１実施形態においては、歌唱者を被写体９０とする場合について説明する。
The photographing
表示装置４０は、入力される映像データに応じて映像を表示するディスプレイである。マイクロフォン５０は、歌唱者（被写体９０）が発する音声を電気信号に変換する。スピーカ７０は、電気信号を音声に変換する。
The
操作装置６０は、各種押ボタンを有しており、例えば歌唱者（被写体９０）からの入力操作を受け付けるリモートコントローラ（いわゆる、リモコン）である。なお、タッチパネル型の操作装置６０であってもよい。
The
合成再生装置３０と通信ネットワーク８０との間には、図示を省略するルータ装置等が設けられる。通信ネットワーク８０は、インターネット等のＷＡＮ又は専用回線等のＬＡＮ、あるいはこれらを組み合わせて構成されている。
Between the
配信装置２０Ａは、通信ネットワーク８０に接続されるサーバである。配信装置２０Ａは、撮影装置１０の動作内容を示す動作データと、当該動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワーク８０を介して配信する。動作データ及び背景映像データの作成方法については後述する。撮影装置１０は、配信装置２０Ａにより配信された動作データに従って被写体９０を撮影する。
The
合成再生装置３０は、通信ネットワーク８０を介して配信された背景映像データと、撮影装置１０から得られた被写体映像データとの合成処理を行うとともに、合成処理により得られた合成映像データを表示装置４０上に表示させる。
The synthesizing / reproducing
以下においては、合成処理としてクロマキー合成技術を使用する一例について説明するが、他の合成技術を使用してもよい。このような映像合成技術としては、例えば、（ａ）赤外光による深度測定による合成技術、（ｂ）ソフトクロマキー、（ｃ）画像分割と特徴量マッチングに基づいたオブジェクト追跡システム等がある。 In the following, an example of using the chroma key composition technique as the composition process will be described, but other composition techniques may be used. Examples of such a video composition technique include (a) a composition technique based on depth measurement using infrared light, (b) a soft chroma key, and (c) an object tracking system based on image segmentation and feature amount matching.
クロマキー合成技術では、所定の色（例えば青又は緑）のカーテンまたはスクリーンなどの前に位置する被写体９０を撮影し、撮影により得られた被写体映像データから当該所定の色のデータを消去し、被写体部分のデータのみを抽出する。このようにして抽出された被写体部分のデータを背景映像データに重畳することで合成映像データが得られる。 In the chroma key composition technique, a subject 90 located in front of a curtain or screen of a predetermined color (for example, blue or green) is photographed, and the data of the predetermined color is erased from the subject video data obtained by photographing. Extract only partial data. The composite video data is obtained by superimposing the data of the subject portion extracted in this way on the background video data.
一方、赤外光による深度測定による合成技術とは、赤外線を使用して奥行きを測定し、必要な人物（被写体）だけを抜き取ってリアルタイムで背景と合成する技術であり、青又は緑の布を背景とする必要のない技術である。また、ソフトクロマキーとは、ソフトウェアにより背景色と被写体の輪郭の色変化を計算し、背景を置き換える技術である。画像分割と特徴量マッチングに基づいたオブジェクト追跡システムとは、パターンマッチング等を用いた画像認識技術を応用したものであり、近年研究が進められているものである（例えば、特許第３８６１１５７号）。 On the other hand, the composition technique based on depth measurement using infrared light is a technique that measures the depth using infrared light, extracts only the necessary person (subject), and synthesizes it with the background in real time. This technology does not need to be used as a background. The soft chroma key is a technique for replacing the background by calculating the background color and the color change of the contour of the subject by software. An object tracking system based on image segmentation and feature amount matching is an application of image recognition technology using pattern matching or the like, and has been studied recently (for example, Japanese Patent No. 3861157).
（１．２）配信装置２０Ａの構成
引き続き図１を参照して、配信装置２０Ａの構成について説明する。配信装置２０Ａは、記憶部２１、検索部２２、及び通信部２３を有する。
(1.2) Configuration of
記憶部２１は、背景映像データ、動作データ、及び楽曲データを予め記憶している。楽曲データとは、カラオケの楽曲における音声データ及び字幕データ等である。背景映像データ及び動作データは互いに対応付けられている。背景映像データ及び動作データの組は、楽曲データと対応付けられている。
The
検索部２２は、楽曲の配信を要求する配信要求に応じて、楽曲データ、背景映像データ、及び動作データを記憶部２１から検索する。
The
通信部２３は、各種の通信処理を行う。具体的には、配信要求を受信したり、検索部２２によって検索された楽曲データ、背景映像データ、及び動作データを配信したりする。
The
（１．３）合成再生装置３０の構成
引き続き図１を参照して、合成再生装置３０の構成について説明する。合成再生装置３０は、通信部３１、制御部３２、映像合成部３３、音声処理部３４を有する。第１実施形態において合成再生装置３０は通信カラオケ装置として構成されるが、本発明と関連しない構成については説明を省略する。
(1.3) Configuration of
通信部３１は、各種の通信処理を行う。具体的には、配信要求を送信したり、配信された楽曲データ、背景映像データ、及び動作データを受信したりする。
The
制御部３２は、合成再生装置３０が具備する各種の機能を制御する。また、制御部３２は、各種の機能に用いるデータを記憶するメモリ等を有する。制御部３２は、操作装置６０に対する入力操作により得られた入力データに応じて、通信部３１、映像合成部３３、及び音声処理部３４を制御する。
The
映像合成部３３は、背景映像データと被写体映像データとの合成処理を行う。映像合成部３３は、合成処理により得られた合成映像データに字幕データを重畳して表示装置４０に転送する。音声処理部３４は、マイクロフォン５０から得られた音声データと、楽曲データにおける音声データとを処理してスピーカ７０に転送する。
The
（１．４）撮影装置１０の構成
次に、撮影装置１０の構成について、（１．４．１）撮影装置１０の構成例１、（１．４．２）撮影装置１０の構成例２の順で説明する。
(1.4) Configuration of
（１．４．１）撮影装置１０の構成例１
撮影装置１０の構成例１においては、カメラ位置・角度を変更可能な撮影装置１０、すなわちモーションコントロール装置を使用する。図２は、構成例１に係る撮影装置１０Ａの側面図であり、図３は、撮影装置１０Ａの平面図である。
(1.4.1) Configuration Example 1 of the photographing
In the configuration example 1 of the
図２及び図３に示すように、撮影装置１０Ａは、ビデオカメラ１１、制御ユニット１２、ステージ部１３、アーム部１４、及びクロマキー背景部１５を有する。
As shown in FIGS. 2 and 3, the photographing
ビデオカメラ１１は、アーム部１４に配設され、アーム部１４に沿う方向（ｚ軸方向）に移動可能に構成されている。制御ユニット１２は、動作データに従ってビデオカメラを移動させる。制御ユニット１２は、通信機能を有している。ステージ部１３は、上下方向に移動可能に構成されている。アーム部１４は、弓状であり、ステージ部１３に垂直な直線を中心にθ軸方向に回動可能に構成されている。クロマキー背景部１５は、アーム部１４の回動に伴って回動する。なお、撮影装置１０Ａの更に詳細な構成については、特許第４１９５６０６号公報を参照されたい。
The
（１．４．２）撮影装置１０の構成例２
撮影装置１０の構成例２においては、複数のビデオカメラのうち撮影に使用するビデオカメラを切り替え可能な構成について説明する。図４は、構成例２に係る撮影装置１０Ｂの構成を示す概略平面図である。
(1.4.2) Configuration example 2 of the photographing
In the configuration example 2 of the photographing
ビデオカメラ１１ａ〜１１ｃのそれぞれは、撮影角度と撮影サイズが予め定められており、図示を省略する昇降バーに取り付けられている。被写体９０の身長を入力すると、昇降バーが自動的に昇降して、被写体が撮影フレームに収まる高さに調整される。ビデオカメラ１１ａ〜１１ｃは、動作データに従って、例えば楽曲のテンポに合わせて自動的にスイッチングされる。
Each of the
（２）第１実施形態のシステム動作
次に、映像処理システム１Ａにおける動作について、（２．１）動作データ及び背景映像データの作成方法、（２．２）映像処理システム１Ａの動作シーケンスの順で説明する。
(2) System Operation of First Embodiment Next, regarding the operation in the
（２．１）動作データ及び背景映像データの作成方法
上述したように、動作データ及び背景映像データは、互いに同期・連動した内容のデータである。以下において、動作データ及び背景映像データの作成方法について、（２．１．１）作成方法１、（２．１．２）作成方法２の２つの方法を説明する。
(2.1) Method for Creating Operation Data and Background Video Data As described above, the operation data and the background image data are data having contents synchronized and interlocked with each other. In the following, two methods of (2.1.1) creation method 1 and (2.1.2) creation method 2 will be described as methods for creating motion data and background video data.
（２．１．１）作成方法１
図５（ａ）は、動作データ及び背景映像データの作成方法１を示すフローチャートである。作成方法１においては、動作データは、コンピュータを用いたシミュレーションにより作成される（図６参照）。
(2.1.1) Creation method 1
FIG. 5A is a flowchart showing a method 1 for creating operation data and background video data. In the creation method 1, the operation data is created by a simulation using a computer (see FIG. 6).
ステップＳ１０１において、シミュレータ上で動作データが作成される。当該シミュレータの表示画面においては、図６に示すように、例えば撮影装置１０の動作内容を表す波形が表示されるウィンドウＷ１と、当該動作内容に応じた撮影イメージを表す疑似的な被写体が表示されるウィンドウＷ２とを含む。なお、図６は、構成例１に係る撮影装置１０Ａを使用する場合の表示画面を示している。ウィンドウＷ１では、ｚ軸及びθ軸の動作に加えて、ビデオカメラ１１のパン・チルト動作が指定可能になっている。
In step S101, operation data is created on the simulator. On the display screen of the simulator, as shown in FIG. 6, for example, a window W1 in which a waveform representing the operation content of the photographing
ステップＳ１０２において、シミュレータ上で作成された動作データを用いて背景映像データが作成される。背景映像データは、コンピュータグラフィックス（ＣＧ）により作成してもよく、実際に撮影装置１０を動作データに従って動作させて任意の背景（風景又は美術セット等）を撮影させることで作成してもよい。
In step S102, background video data is created using the motion data created on the simulator. The background video data may be created by computer graphics (CG), or may be created by actually operating the photographing
（２．１．２）作成方法２
図５（ｂ）は、動作データ及び背景映像データの作成方法２を示すフローチャートである。
(2.1.2) Creation method 2
FIG. 5B is a flowchart showing a method 2 for creating operation data and background video data.
ステップＳ１０１において、実際に撮影装置１０を例えば手動により動作させて任意の背景（風景又は美術セット等）を撮影し、背景映像データを得る。その際、撮影装置１０の動作内容をトレースして記憶しておくことで、動作データを作成することができる。
In step S101, an actual background (landscape or art set or the like) is photographed by actually operating the photographing
（２．２）映像処理システム１Ａの動作シーケンス
図７は、映像処理システム１Ａの動作シーケンスを示すシーケンス図である。
(2.2) Operation Sequence of
ステップＳ１０１において、合成再生装置３０は、操作装置６０を用いて選択された楽曲の配信を要求する配信要求を、通信ネットワーク８０を介して配信装置２０Ａに送信する。配信装置２０Ａは、当該配信要求を受信する。
In step S <b> 101, the
ステップＳ１０２において、配信装置２０Ａは、配信要求で選択されている楽曲に対応する楽曲データ、背景映像データ、及び動作データを検索する。
In step S102, the
検索された楽曲データ、背景映像データ、及び動作データは、ステップＳ１０３において、通信ネットワーク８０を介して配信装置２０Ａから合成再生装置３０に配信される。
The searched music data, background video data, and operation data are distributed from the
合成再生装置３０は、楽曲データ、背景映像データ、及び動作データを受信する。合成再生装置３０は、受信した楽曲データ及び背景映像データを一旦記憶する。
The
ステップＳ１０４において、合成再生装置３０は、受信した動作データを撮影装置１０に転送する。撮影装置１０は、動作データを受信する。
In step S <b> 104, the
ステップＳ１０５において、撮影装置１０は、受信した動作データに従って被写体９０の撮影を開始する。撮影により得られた被写体映像データは、撮影装置１０から合成再生装置３０にリアルタイムで転送される（ステップＳ１０６）。合成再生装置３０は、被写体映像データを受信する。
In step S105, the photographing
ステップＳ１０７において、合成再生装置３０は、撮影装置１０から受信した被写体映像データと、配信装置２０Ａから受信した背景映像データとの合成処理を開始する。
In step S107, the
ステップＳ１０８において、合成再生装置３０は、合成処理により得られた合成映像データの再生を開始すると共に、配信装置２０Ａから受信した楽曲データの再生を開始する。
In step S108, the
なお、ステップＳ１０５〜ステップＳ１０８の各処理は、当該楽曲の再生が完了するまで継続される。 Note that the processes in steps S105 to S108 are continued until the reproduction of the music is completed.
（３）第１実施形態の効果
第１実施形態によれば、撮影装置１０が、配信装置２０Ａから配信される動作データに従った動作内容で被写体を撮影するため、例えばカメラ位置等を指定可能になり、被写体９０の映像についての躍動感を向上させることができる。また、被写体映像データと合成される背景映像データは、動作データが示す動作内容（撮影装置の動作内容）と連動した映像からなるため、被写体の映像の変化に連動した背景映像を提供でき、その結果、臨場感に満ちた合成映像を表示装置４０上に表示させることができる。
(3) Effects of the First Embodiment According to the first embodiment, the
［第２実施形態］
以下において、（１）第２実施形態のシステム構成、（２）第２実施形態のシステム動作、（３）第２実施形態の効果について説明する。ただし、第１実施形態と異なる点についてのみ説明し、重複する説明を省略する。
[Second Embodiment]
In the following, (1) system configuration of the second embodiment, (2) system operation of the second embodiment, and (3) effects of the second embodiment will be described. However, only a different point from 1st Embodiment is demonstrated and the overlapping description is abbreviate | omitted.
（１）第２実施形態のシステム構成
図８は、第２実施形態に係る映像処理システム１Ｂの構成を示すブロック図である。第２実施形態では、映像処理システム１Ｂは、合成映像を提供可能な映像配信システムとして構成されている。
(1) System Configuration of Second Embodiment FIG. 8 is a block diagram showing a configuration of a
図８に示すように、映像処理システム１Ｂは、撮影装置１０、配信装置２０Ｂ、携帯端末１００を有する。撮影装置１０は、第１実施形態と同様にして構成される。配信装置２０Ｂは、第１実施形態で説明した構成に加え、映像合成部２４を有している。
As illustrated in FIG. 8, the video processing system 1 </ b> B includes a photographing
携帯端末１００は、携帯電話端末又はＰＨＳ端末等、無線通信機能を有する通信端末装置である。携帯端末１００は、入力装置及び表示装置を有する。第２実施形態に係る通信ネットワーク８０は、移動体通信ネットワークを含んでいる。当該移動体通信ネットワークは、携帯端末１００との無線通信を行う無線基地局又はアクセスポイント等を具備する。
The mobile terminal 100 is a communication terminal device having a wireless communication function, such as a mobile phone terminal or a PHS terminal. The portable terminal 100 has an input device and a display device. The
撮影装置１０は、テーマパークに設置される。撮影装置１０は、動作データに従って被写体９０（不図示）を撮影して被写体映像データを出力する。配信装置２０Ｂは、撮影装置１０から通信ネットワーク８０を介して被写体映像データを受信し、受信した被写体映像データと、動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した合成映像データを通信ネットワーク８０を介して携帯端末１００に配信する。
The
（２）第２実施形態のシステム動作
図９は、映像処理システム１Ｂの動作シーケンスを示すシーケンス図である。以下においては、映像処理システム１Ｂをテーマパークに適用した場合のサービス例を説明する。
(2) System Operation of Second Embodiment FIG. 9 is a sequence diagram showing an operation sequence of the
ステップＳ２０１において、撮影装置１０は、予め撮影装置１０に記憶されている動作データに従って被写体９０（入園者）を撮影する。撮影装置１０は、所定の時間（例えば３０秒間程度）において被写体９０を撮影する。
In step S <b> 201, the photographing
ステップＳ２０２において、撮影装置１０は、撮影により得られた被写体映像データを、通信ネットワーク８０を介して配信装置２０Ｂに送信する。その際、撮影装置１０は、撮影により得られた被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。配信装置２０Ｂは、被写体映像データ及びその識別情報を受信し、受信した被写体映像データ及び識別情報を対応付けて記憶する。なお、被写体９０（入園者）には、当該識別情報と、映像配信用のＷｅｂサイトのＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）とが記載されたカードが渡される。
In step S202, the
ステップＳ２０３において、被写体９０（入園者）が所持する携帯端末１００は、通信ネットワーク８０を介して配信装置２０Ｂにアクセスする。例えば、カードに記載されたＵＲＬ（あるいは当該ＵＲＬに対応するＱＲコード）を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。
In step S <b> 203, the mobile terminal 100 possessed by the subject 90 (the park attendant) accesses the distribution device 20 </ b> B via the
ステップＳ２０４において、配信装置２０Ｂは、携帯端末１００からのアクセスに応じて、情報入力用のＷｅｂページを通信ネットワーク８０を介して携帯端末１００に送信する。
In step S <b> 204, the distribution device 20 </ b> B transmits an information input Web page to the mobile terminal 100 via the
ステップＳ２０５において、携帯端末１００は、被写体映像データを識別する識別情報を通信ネットワーク８０を介して配信装置２０Ｂに送信する。例えば、カードに記載された識別情報を携帯端末１００に入力することで配信装置２０Ｂにアクセス可能である。配信装置２０Ｂは、識別情報を受信する。
In step S205, the portable terminal 100 transmits identification information for identifying subject video data to the
ステップＳ２０６において、配信装置２０Ｂは、受信した識別情報に対応する被写体映像データを検索する。また、配信装置２０Ｂは、当該被写体映像データに対応する背景映像データを検索する。
In step S206, the
ステップＳ２０７において、配信装置２０Ｂは、ステップＳ２０６において検索された被写体映像データと背景映像データとの合成処理を行う。
In step S207, the
ステップＳ２０８において、配信装置２０Ｂは、合成処理により得られた合成映像データを、通信ネットワーク８０を介して携帯端末１００に配信する。例えば配信装置２０Ｂは、メール等のメッセージを利用して合成映像データを配信する。
携帯端末１００は、合成映像データを受信する。
In step S <b> 208, the distribution device 20 </ b> B distributes the synthesized video data obtained by the synthesis process to the mobile terminal 100 via the
The mobile terminal 100 receives the composite video data.
ステップＳ２０９において、携帯端末１００は、受信した合成映像データを再生し、携帯端末１００のディスプレイ上に表示させる。 In step S <b> 209, the mobile terminal 100 reproduces the received composite video data and displays it on the display of the mobile terminal 100.
（３）第２実施形態の効果
第２実施形態によれば、第１実施形態と同様に、被写体９０の映像についての躍動感を向上させることができ、且つ、被写体の映像の変化に連動した背景映像を提供できるため、臨場感に満ちた合成映像を携帯端末１００のディスプレイ上に表示させることができる。
(3) Effects of the Second Embodiment According to the second embodiment, as in the first embodiment, it is possible to improve the dynamic feeling of the image of the subject 90 and to be linked to the change in the image of the subject. Since a background video can be provided, a composite video full of realism can be displayed on the display of the mobile terminal 100.
［その他の実施形態］
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
[Other Embodiments]
As mentioned above, although this invention was described by embodiment, it should not be understood that the description and drawing which form a part of this indication limit this invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
上述した第１実施形態及び第２実施形態は、互いに組み合わせて実施可能である。例えば、第１実施形態に係る映像処理システム１Ａを第２実施形態に係る合成映像配信システムに適用し、第２実施形態に係る映像処理システム１Ｂを第１実施形態に係る通信カラオケシステムに適用してもよい。
The first embodiment and the second embodiment described above can be implemented in combination with each other. For example, the
上述した第１実施形態及び第２実施形態は、オーディションシステムに応用することができる。具体的には、複数の撮影装置のそれぞれで得られた背景映像データから、当該複数の撮影装置に対応する複数の合成映像データを生成し、当該複数の合成映像データを同期再生する応用例がある。さらに、映像処理システム１Ａ及び映像処理システム１Ｂをテレビや映画等の映像コンテンツの制作に応用してもよい。また、撮影装置１０は、カラオケ店やアミューズメントパークに限らず、野球場、ファミリーレストラン、コンビニエンスストア等、任意の施設に設置してもよい。
The first and second embodiments described above can be applied to an audition system. Specifically, there is an application example in which a plurality of synthesized video data corresponding to the plurality of imaging devices is generated from the background video data obtained by each of the plurality of imaging devices, and the plurality of synthesized video data is synchronously reproduced. is there. Furthermore, the
上述した第１実施形態では、動作データは、配信装置２０Ａから合成再生装置３０を経由して撮影装置１０に配信されていたが、合成再生装置３０を経由せずに配信装置２０Ａから撮影装置１０に動作データが配信されてもよい。
In the first embodiment described above, the operation data is distributed from the
上述した撮影装置１０Ａにおいては、移動可能なビデオカメラ１１を１つのみ設ける一例について説明したが、移動可能なビデオカメラ１１を複数設けてもよい。
In the photographing
上述した第２実施形態では、配信装置２０Ｂが携帯端末１００に合成映像データを配信していたが、携帯端末１００に限らず、デスクトップＰＣ等の固定型の端末に合成映像データを配信してもよい。また、上述した第２実施形態では、動作データが予め撮影装置１０に記憶されている一例について説明したが、第１実施形態と同様に配信装置２０Ｂから撮影装置１０に動作データを配信してもよい。さらに、第２実施形態では、映像処理システム１Ｂをテーマパークに適用する一例について説明したが、テーマパークに限らず、任意のアミューズメント施設に適用することができる。
In the second embodiment described above, the
また、映像処理システム１Ｂをアパレル関連サービスに応用することによって、顧客がマネキンとなるようなサービスを提供できる。例えば、被写体（顧客）の映像データと商品のデータとを合成することで、様々な角度からの複数の試着イメージを短時間で提供できる。あるいは、顧客の想定する行楽地や観光スポットなどを背景として、商品購入後のイメージをより鮮明にすることもできる。なお、被写体（顧客）の撮影時には専用着衣（位置マーカー）を用いることが好ましい。商品のデータベースには、複数の形状パターンを登録しておくことが好ましい。ただし、サービス効率を高めるためには、顧客を規定の姿勢で撮影してもよい。
Further, by applying the
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。 Thus, it should be understood that the present invention includes various embodiments and the like not described herein. Therefore, the present invention is limited only by the invention specifying matters in the scope of claims reasonable from this disclosure.
１Ａ，１Ｂ…映像処理システム、５…カラオケ店、１０，１０Ａ，１０Ｂ…撮影装置、１１，１１ａ〜１１ｃ…ビデオカメラ、１２…制御ユニット、１３…ステージ部、１４…アーム部、１５…クロマキー背景部、２０Ａ，２０Ｂ…配信装置、２１…記憶部、２２…検索部、２３…通信部、２４…映像合成部、３０…合成再生装置、３１…通信部、３２…制御部、３３…映像合成部、３４…音声処理部、４０…表示装置、５０…マイクロフォン、６０…操作装置、７０…スピーカ、８０…通信ネットワーク、９０…被写体、１００…携帯端末
DESCRIPTION OF
Claims (6)
前記撮影装置の動作内容を示す動作データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとを通信ネットワークを介して配信する配信装置と、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させる合成再生装置と
を備え、
前記撮影装置は、前記配信装置により配信された前記動作データに従って前記被写体を撮影する映像処理システム。 A photographing device installed in a predetermined facility, photographing a subject and outputting subject video data;
A distribution device that distributes operation data indicating the operation content of the image capturing device and background image data including images linked to the operation content indicated by the operation data via a communication network;
The background video data distributed via the communication network and the subject video data obtained from the photographing device are combined, and the combined video data obtained by the combining processing is displayed on a display device. And a composite playback device
The video processing system, wherein the photographing device photographs the subject according to the operation data distributed by the distribution device.
前記撮影装置から通信ネットワークを介して前記被写体映像データを受信し、受信した前記被写体映像データと、背景映像データとの合成処理を行うことにより合成映像データを生成し、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信する配信装置と
を備え、
前記撮影装置は、前記撮影装置の動作内容を示す動作データに従って前記被写体を撮影し、
前記背景映像データは、前記動作データが示す動作内容と連動した映像からなる映像処理システム。 A photographing device installed in a predetermined facility, photographing a subject and outputting subject video data;
The subject video data is received from the photographing apparatus via a communication network, and the synthesized video data is generated by performing synthesis processing of the received subject video data and background video data, and the generated synthesized video data A distribution device for distributing to a communication terminal via the communication network,
The photographing device photographs the subject according to operation data indicating the operation content of the photographing device,
The background video data is a video processing system comprising video linked to the operation content indicated by the operation data.
少なくとも１つのビデオカメラと、
前記動作データに従って前記ビデオカメラを移動させる制御ユニットと
を有する請求項１又は２に記載の映像処理システム。 The imaging device
At least one video camera;
The video processing system according to claim 1, further comprising a control unit that moves the video camera according to the operation data.
複数のビデオカメラと、
前記動作データに従って、前記複数のビデオカメラのうち撮影に使用するビデオカメラを切り替える制御ユニットと
を有する請求項１又は２に記載の映像処理システム。 The imaging device
Multiple video cameras,
The video processing system according to claim 1, further comprising: a control unit that switches a video camera used for photographing among the plurality of video cameras according to the operation data.
前記撮影装置が、前記配信装置により配信された前記動作データに従って被写体を撮影して被写体映像データを出力するステップと、
前記通信ネットワークを介して配信された前記背景映像データと、前記撮影装置から得られた前記被写体映像データとの合成処理を行うとともに、前記合成処理により得られた合成映像データを表示装置上に表示させるステップと
を備える映像処理方法。 A distribution device that distributes operation data indicating operation contents of a photographing device installed in a predetermined facility and background video data including images linked to the operation contents indicated by the operation data via a communication network;
The photographing device photographing a subject according to the operation data distributed by the distribution device and outputting subject video data;
The background video data distributed via the communication network and the subject video data obtained from the photographing device are combined, and the combined video data obtained by the combining processing is displayed on a display device. A video processing method.
前記撮影装置から通信ネットワークを介して配信装置が前記被写体映像データを受信するステップと、
前記配信装置が、受信した前記被写体映像データと、前記動作データが示す動作内容と連動した映像からなる背景映像データとの合成処理を行うことにより合成映像データを生成するステップと、
前記配信装置が、生成した前記合成映像データを前記通信ネットワークを介して通信端末に配信するステップと
を備える映像処理方法。 In accordance with operation data indicating the operation content of the imaging apparatus installed in a predetermined facility, the imaging apparatus captures a subject and outputs subject video data;
A distribution device receiving the subject video data from the imaging device via a communication network;
The distribution device generates composite video data by performing synthesis processing of the received subject video data and background video data composed of video linked to the operation content indicated by the operation data;
A method in which the distribution device distributes the generated composite video data to a communication terminal via the communication network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009125865A JP2010273308A (en) | 2009-05-25 | 2009-05-25 | Video processing system and video processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009125865A JP2010273308A (en) | 2009-05-25 | 2009-05-25 | Video processing system and video processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010273308A true JP2010273308A (en) | 2010-12-02 |
Family
ID=43420937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009125865A Pending JP2010273308A (en) | 2009-05-25 | 2009-05-25 | Video processing system and video processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010273308A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10150585A (en) * | 1996-11-19 | 1998-06-02 | Sony Corp | Image compositing device |
| JP2003339011A (en) * | 2002-05-20 | 2003-11-28 | Nec Soft Ltd | Composite video transmission system, composite video transmission method, and program |
| JP2004193796A (en) * | 2002-12-09 | 2004-07-08 | Fuji Television Network Inc | Motion control instrument, and operational information creating unit and program for creating operational information thereon |
| JP2004297283A (en) * | 2003-03-26 | 2004-10-21 | Fuji Photo Optical Co Ltd | Photographing system for generating composite image |
| JP2008116816A (en) * | 2006-11-07 | 2008-05-22 | Yamaha Corp | Device and system for singing/playing |
-
2009
- 2009-05-25 JP JP2009125865A patent/JP2010273308A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10150585A (en) * | 1996-11-19 | 1998-06-02 | Sony Corp | Image compositing device |
| JP2003339011A (en) * | 2002-05-20 | 2003-11-28 | Nec Soft Ltd | Composite video transmission system, composite video transmission method, and program |
| JP2004193796A (en) * | 2002-12-09 | 2004-07-08 | Fuji Television Network Inc | Motion control instrument, and operational information creating unit and program for creating operational information thereon |
| JP2004297283A (en) * | 2003-03-26 | 2004-10-21 | Fuji Photo Optical Co Ltd | Photographing system for generating composite image |
| JP2008116816A (en) * | 2006-11-07 | 2008-05-22 | Yamaha Corp | Device and system for singing/playing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6305614B1 (en) | Content distribution server, content distribution method, and content distribution program | |
| CN103620600B (en) | Method and apparatus for enabling virtual tags | |
| JP2015528961A (en) | Video playback method, video playback system and portable terminal based on augmented reality technology | |
| KR20140082610A (en) | Method and apaaratus for augmented exhibition contents in portable terminal | |
| CN106170101A (en) | Contents providing system, messaging device and content reproducing method | |
| KR102028139B1 (en) | Method for displaying image using augmented reality | |
| US9514718B2 (en) | Information processing system, information processing apparatus, and information processing method | |
| CN110930517A (en) | A panoramic video interactive system and method | |
| JP4981370B2 (en) | Movie generation system and movie generation method | |
| CN106780186A (en) | A kind of method and device for showing information of real estate | |
| CN106504077A (en) | A kind of method and device for showing information of real estate | |
| JP5090115B2 (en) | Moving image distribution apparatus, moving image distribution method and program thereof | |
| KR101613777B1 (en) | Service system and service method for live dance class and live dance music room | |
| CN115103206A (en) | Video data processing method, device, equipment, system and storage medium | |
| KR20200028830A (en) | Real-time computer graphics video broadcasting service system | |
| KR102337020B1 (en) | Augmented reality video production system and method using 3d scan data | |
| KR101773891B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| JP7633544B2 (en) | Programs, imaging equipment | |
| KR101221540B1 (en) | Interactive media mapping system and method thereof | |
| JP2011053276A (en) | Karaoke system including background image variable display function | |
| JP2010273308A (en) | Video processing system and video processing method | |
| CN109934734A (en) | A kind of tourist attractions experiential method and system based on augmented reality | |
| JP4349973B2 (en) | Video guidance system for video layer links | |
| JP6849851B2 (en) | Shooting system, shooting device and user shooting method | |
| KR101843024B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131001 |