JP2022165662A - Information processing device, method for controlling information processing device and program - Google Patents
Information processing device, method for controlling information processing device and program Download PDFInfo
- Publication number
- JP2022165662A JP2022165662A JP2021071093A JP2021071093A JP2022165662A JP 2022165662 A JP2022165662 A JP 2022165662A JP 2021071093 A JP2021071093 A JP 2021071093A JP 2021071093 A JP2021071093 A JP 2021071093A JP 2022165662 A JP2022165662 A JP 2022165662A
- Authority
- JP
- Japan
- Prior art keywords
- video
- target subject
- image
- switching
- switching destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、特に、情報処理装置、情報処理装置の制御方法およびプログラムに関する。 The present invention particularly relates to an information processing device, a control method for the information processing device, and a program.
従来、スポーツ中継や歌番組等の生放送では、複数台のカメラを用いて撮影し、全てのカメラの映像を確認しながら、その場の状況や演出内容等に応じ、最も適切な画をとらえているカメラ映像に適時、手動で切り換えている。以降、映像の切り換えについて、スイッチングと称する。
また、近年、インターネット動画配信の発達により、個人ユーザーが生配信を行う機会も増加し、中には複数台のカメラを用いて配信する個人ユーザーも登場し始めている。
しかし、従来のスイッチング操作は、常に人の手が介在する必要があり、多数の撮影スタッフを準備できない個人や小規模な撮影現場では、撮影しながらスイッチング操作も行う必要があるため、多くの手間がかかりユーザーの負荷となっている。
上記のような課題を解決する技術として、予め、複数のカメラの切換順と切換タイミングとを設定したシナリオを作成し、撮影時にシナリオに記載された切換順に従い、複数カメラの映像をスイッチングする技術が特許文献１に開示されている。
Conventionally, in live broadcasts such as sports broadcasts and song programs, multiple cameras are used to shoot, and while checking the images of all cameras, the most appropriate image is captured according to the situation and the content of the production. The video is manually switched to the camera image that is currently in use. Hereinafter, video switching is referred to as switching.
In recent years, with the development of Internet video distribution, opportunities for individual users to perform live distribution have increased, and among them, individual users who use multiple cameras to perform distribution have begun to appear.
However, conventional switching operations always require human intervention, and for individuals or small-scale shooting sites who cannot prepare a large number of shooting staff, switching operations must be performed while shooting, which is a lot of work. This is a burden on the user.
As a technology to solve the above problems, a scenario is created in which the switching order and switching timing of multiple cameras are set in advance, and the video of multiple cameras is switched according to the switching order described in the scenario at the time of shooting. is disclosed in
しかしながら、特許文献１の技術では、シナリオに従い、切換タイミングになった時点で、自動で次の映像にスイッチングする為、例えばスイッチング先の映像に、撮影対象の被写体が映っていないのに、スイッチングしてしまう可能性がある。
However, in the technique disclosed in
本発明は前述の問題点に鑑み、シナリオに従い映像を切り換える際に、次の切換先の映像における対象被写体の状況に応じた処理をすることができるようにすることを目的としている。 SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-described problems and to enable processing to be performed in accordance with the situation of a target subject in the next switching destination video when video is switched according to a scenario.
本発明に係る情報処理装置は、複数の映像を入力する入力手段と、前記複数の映像の切換順序および対象被写体に関するシナリオ情報を取得し、前記シナリオ情報に基づいて前記複数の映像を切り換える制御手段と、前記シナリオ情報における次の切換先の映像に前記対象被写体が映っているか否かを判断する検出手段と、を有し、前記検出手段により前記次の切換先の映像に前記対象被写体が映っていないと判断された場合に、前記制御手段は、前記次の切換先の映像の内容を変更するための処理を行うこと、を特徴とする。 An information processing apparatus according to the present invention includes input means for inputting a plurality of images, and control means for acquiring scenario information regarding a switching order of the plurality of images and a target subject, and switching the plurality of images based on the scenario information. and detection means for determining whether or not the target subject appears in the next switching destination video in the scenario information, and the detection means detects that the target subject is reflected in the next switching destination video. The control means is characterized in that, when it is determined that the video is not switched, the control means performs a process for changing the content of the next switching destination video.
本発明によれば、シナリオに従い映像を切り換える際に、次の切換先の映像における対象被写体の状況に応じた処理をすることができる。 According to the present invention, when switching images according to a scenario, it is possible to perform processing according to the situation of the target subject in the next switching destination image.
（第１の実施形態）
以下、図面を参照しながら本発明に係る実施形態について詳細に説明する。
第１の実施形態では、スイッチングシナリオ情報に従い、映像を切り換える映像切換装置において、次の切換先の映像に対象被写体が映っていない場合、対象被写体が映っている他の映像を探し、その映像にスイッチングする場合を例に説明する。なお、本実施形態の映像切換装置は、撮像装置から受信した映像や警告情報等を表示可能な表示部も備えている。
(First embodiment)
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings.
In the first embodiment, in a video switching device for switching video according to switching scenario information, if the target subject is not shown in the video to be switched to next, another video in which the target subject is shown is searched, and A case of switching will be described as an example. The video switching device of this embodiment also includes a display unit capable of displaying video received from the imaging device, warning information, and the like.
（システム構成の説明）
図１は、本実施形態に係る、システム構成例を示す図である。
撮像装置１００、１０１、１０２、１０３は、映像線を介し、撮影されたリアルタイムの映像を映像切換装置２００へ送信する。
映像切換装置２００は、スイッチングシナリオ情報に従い、撮像装置１００、１０１、１０２、１０３から受信した映像のいずれかのリアルタイムの映像を、映像線を介し、外部装置へ送信する。
(Description of system configuration)
FIG. 1 is a diagram showing a system configuration example according to this embodiment.
The
The
（ブロック図の説明）
図２（ａ）は、本実施形態に係る、映像切換装置２００のハードウェア構成例を示すブロック図である。
映像切換装置２００は、ＣＰＵ２２０と、ＲＯＭ２２１と、ＲＡＭ２２２と、ＨＤＤ２２３と、表示部２２４と、入力部２２５と、通信部２２６と、を有している。映像切換装置２００は、情報処理装置の一例である。
ＣＰＵ２２０は、ＲＯＭ２２１に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２２２は、ＣＰＵ２２０の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２２３は、各種データや各種プログラム等を記憶する。表示部２２４は、各種情報を表示する。入力部２２５は、キーボードやマウスを有し、ユーザーによる各種操作を受け付ける。
(Description of block diagram)
FIG. 2A is a block diagram showing a hardware configuration example of the
The
CPU220 reads the control program memorize|stored in ROM221, and performs various processes. The
通信部２２６は、映像線やネットワークなどを介して撮像装置等の外部装置との通信処理を行う。
なお、後述する映像切換装置２００の機能や処理は、ＣＰＵ２２０がＲＯＭ２２１又はＨＤＤ２２３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ２２０は、ＲＯＭ２２１等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。
A
The functions and processes of the
なお、本実施形態では、映像切換装置２００は、１つのプロセッサ（ＣＰＵ２２０）が１つのメモリ（ＲＯＭ２２１）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のプロセッサや複数のＲＡＭ、ＲＯＭおよびストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしても良い。また、ＣＰＵ以外のプロセッサを用いて後述する映像切換装置２００の機能や処理を実現することとしてもよい。（例えば、ＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。）
Note that in the present embodiment, the
図２（ｂ）は、本実施形態に係る、映像切換装置２００の機能構成例を示すブロック図である。
映像切換装置２００は、受信部２０１ａ、２０１ｂ、２０１ｃ、２０１ｄと、ＵＩ部２０２と、制御部２０３と、判断部２０４と、検出部２０５と、記憶部２０６と、出力部２０７と、を有している。さらに、映像切換装置２００は、表示制御部２０８と、ＯＳＤ重畳部２０９と、ＯＳＤ生成部２１０と、表示部２１１と、を有している。
FIG. 2B is a block diagram showing a functional configuration example of the
受信部２０１ａ、２０１ｂ、２０１ｃ、２０１ｄは、撮像装置１００～１０３からの映像を受信し、制御部２０３へ出力する。
ＵＩ部２０２は、例えば、入力部２２５を介して自動スイッチングの開始操作等のユーザーによる操作を受け付け、制御部２０３へ出力する。
Receiving
The
制御部２０３は、映像切換装置２００全体の制御を行う。
例えば、制御部２０３は、受信部２０１ａ～２０１ｄから受信した映像を、それぞれ判断部２０４および表示制御部２０８へ出力する。
また、制御部２０３は、ＵＩ部２０２から自動スイッチング開始操作を受信し、判断部２０４へ自動スイッチング開始を通知する。ここで、自動スイッチングとは、記憶部２０６に記憶している、映像の切換順序等が記載されたスイッチングシナリオ情報に基づいて、映像の切り換えを行うことをいう。スイッチングシナリオ情報については、記憶部２０６の説明において後述する。
また、制御部２０３は、判断部２０４がスイッチング先映像と判断した映像を、受信部２０１ａ～２０１ｄのいずれかから受信して出力部２０７を介し不図示の外部装置へ出力する。ここで、スイッチング先映像とは、次の切換時における切換先の映像をいう。
また、制御部２０３は、警告表示等のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示をする場合、ＯＳＤ生成部２１０に対して、メニューや警告等のＯＳＤ映像の生成を指示する。
The
For example, the
Further, the
Further, the
Further, when displaying an OSD (On Screen Display) such as a warning display, the
判断部２０４は、記憶部２０６からスイッチングシナリオ情報を取得する。また、判断部２０４は、制御部２０３から自動スイッチング開始を受信し、スイッチングシナリオ情報に記載されたスイッチング時間に従い、制御部２０３から受信した映像とスイッチングシナリオ情報に記載された対象被写体の情報とを、検出部２０５へ送信する。さらに、判断部２０４は、検出部２０５からの検出結果を受信し、対象被写体が映っている映像をスイッチング先映像として、制御部２０３へ送信する。
The
検出部２０５は、判断部２０４から受信した映像と、対象被写体の情報とをもとに、映像内にその対象被写体が映っているか否かを検出し、検出結果を判断部２０４へ通知する。なお、対象被写体の検出方法としては、例えば、予め対象被写体とその顔情報とを紐づけた被写体情報を記憶部２０６に保存しておき、公知の顔認識技術等を利用する方法がある。顔情報は予め撮影した写真もしくは、ＵＩ部２０２を用いて、映像切換装置２００が受信している映像から対象被写体の顔部分を指定して抽出してもよい。
Based on the image received from the
記憶部２０６は、自動スイッチングのための、スイッチングシナリオ情報を記憶する。なお、スイッチングシナリオ情報とは、図３に示すように、シナリオの番号、スイッチング時間、スイッチング先映像、および対象被写体が記載された情報である。ここで、スイッチング時間とは、映像の切り換えを行う予定の時間である。図３の例では、後述するステップＳ４０２において、判断部２０４が時間計測を開始してから、スイッチング時間に記載されている時間が経過したときに、映像の切り換えが行われる。
出力部２０７は、制御部２０３から受信した映像を、不図示の外部装置へ出力する。
The
表示制御部２０８は、制御部２０３から受信した映像および、予めＵＩ部２０２で設定された表示レイアウトをもとに、映像のスケーリング等を行い、表示部２１１に表示する為の配置を行う。また、表示制御部２０８は、生成した映像をＯＳＤ重畳部２０９へ出力する。
ＯＳＤ重畳部２０９は、表示制御部２０８から受信した映像と、ＯＳＤ生成部２１０から受信したＯＳＤ映像とを重畳し、表示部２１１へ出力する。
The
The
ＯＳＤ生成部２１０は、必要に応じてメニューや警告等のＯＳＤ映像を生成し、生成したＯＳＤ映像をＯＳＤ重畳部２０９へ出力する。
表示部２１１は図２（ａ）の表示部２２４に該当し、ＯＳＤ重畳部２０９から受信した映像を表示映像として表示する。
OSD generating section 210 generates OSD images such as menus and warnings as necessary, and outputs the generated OSD images to
The
（処理フローの説明）
図４は、映像切換装置２００において、スイッチング先映像を決定する処理手順の一例を示すフローチャートである。この処理では、映像切換装置２００が、スイッチングシナリオ情報に従い、スイッチング先の映像に対象被写体が映っている否かを判断する。このとき、対象被写体が映っていない場合には、対象被写体が映っている他の映像を探し、対象被写体が映っている映像をスイッチング先映像として切り換える。
なお、本処理フローは、制御部２０３がＵＩ部２０２から受信した自動スイッチング開始操作を受信し、判断部２０４へ通知することにより開始される。
(Explanation of processing flow)
FIG. 4 is a flowchart showing an example of a processing procedure for determining a switching destination video in the
This processing flow is started when the
ステップＳ４０１において、判断部２０４は、記憶部２０６から、スイッチングシナリオ情報を取得する。
In step S<b>401 , the
ステップＳ４０２において、判断部２０４は、制御部２０３へ、先頭のシナリオに記載されたスイッチング先映像の情報を通知し、制御部２０３は、出力部２０７を介し、スイッチング先映像に該当する映像を外部装置へ出力する。図３に示す例の場合は、先頭のシナリオ（０秒後）に記載されたスイッチング先映像が撮像装置１００からの映像であるため、制御部２０３は、出力部２０７を介して撮像装置１００からの映像を外部装置へ出力する。なお、本実施形態では、図５に示すような、映像切換装置２００の受信部と撮像装置との対応関係を示す情報を、予めＵＩ部２０２を用いて、ユーザーが設定しておくことにしてもよい。それにより、例えば、撮像装置１００の映像へスイッチングする場合、受信部２０１ａの映像を出力すると判断可能である。
また、判断部２０４は、スイッチング時間を判断する為の時間計測を開始する。
In step S402, the
Also, the
ステップＳ４０３において、判断部２０４は、計測している時間が、次のシナリオのスイッチング時間の指定秒前に到達したか否かを判断する。判断部２０４は、指定秒前に到達したと判断した場合は、ステップＳ４０４の処理を行う。一方、判断部２０４は、計測している時間がまだ指定秒前に到達していないと判断した場合には、ステップＳ４０３の処理を繰り返す。なお、指定秒は予めユーザーが設定できるようにしておいてもよい。
In step S403, the
ステップＳ４０４において、判断部２０４は、スイッチングシナリオ情報から次のシナリオの情報を取得する。以下、図３に示したスイッチングシナリオ情報のＮｏ４のシナリオを実行する場合の例を参照しながら、以降の処理について説明する。図３の例では、シナリオＮｏ４のスイッチング時間は、「９０秒後」、スイッチング先映像は「撮像装置１００」の映像、対象被写体は「ボーカル」となっている。また、後述のステップＳ４０５及びＳ４０６の処理を行う時点での各撮像装置からの映像は、図６に示すような映像である場合を例に、以降の処理について説明する。
In step S404, the
ステップＳ４０５において、判断部２０４は、ステップＳ４０４で取得した情報からスイッチング先映像と、対象被写体の情報とを検出部２０５へ出力し、検出部２０５は、スイッチング先映像内に対象被写体が映っているか否かを判断する。具体的に、図６の例では、検出部２０５は、撮像装置１００の映像に対象被写体のボーカルが映っているか否かを判断する。
検出部２０５は、スイッチング先映像に対象被写体が映っていると判断した場合は、ステップＳ４０９の処理を行う。一方、検出部２０５は、スイッチング先映像に対象被写体が映っていないと判断した場合には、ステップＳ４０６の処理を行う。
なお、被写体検出は、前述したように対象被写体と関連付けた顔情報と、映像とをもとに公知の顔認識技術を用いて判断することとしてもよい。なお、図３に示したスイッチングシナリオ情報の場合は、図６（ａ）が示す映像にボーカルが映っていないため、検出部２０５は、撮像装置１００の映像には、対象被写体のボーカルが映っていないと判断し、ステップＳ４０６の処理を行う。
In step S405, the
If the
Note that subject detection may be determined using a known face recognition technique based on the face information associated with the target subject as described above and the video. Note that in the case of the switching scenario information shown in FIG. 3, the vocal is not shown in the video shown in FIG. It judges that there is not, and performs the process of step S406.
ステップＳ４０６において、判断部２０４は、検出部２０５へ、スイッチング先映像ではない他の映像と、対象被写体の情報とを出力し、検出部２０５は、前記ステップＳ４０５と同様に映像内に対象被写体が映っているか否かを判断する。具体的に、図６の例では、検出部２０５は、まず、撮像装置１０１の映像に対象被写体のボーカルが映っているか否かを判断する。
検出部２０５は、映像内に対象被写体が映っていると判断した場合は、ステップＳ４０７の処理を行う。一方、検出部２０５は、映像内に対象被写体が映っていないと判断した場合には、他の撮像装置（撮像装置１０２と撮像装置１０３）の映像についても繰り返しステップＳ４０６の処理を行う。検出部２０５は、全ての映像内に対象被写体が映っていないと判断した場合は、ステップＳ４０８の処理を行う。なお、本実施形態では、図６（ｄ）が示す映像にボーカルが映っているため、検出部２０５は、撮像装置１０３の映像に対象被写体であるボーカルが映っていると判断し、ステップＳ４０７の処理を行う。
In step S406, the
If the
ステップＳ４０７において、判断部２０４は、スイッチング先映像を実際に対象被写体が映っている映像に変更する。なお、本実施形態では、判断部２０４は、スイッチング先映像を、撮像装置１００の映像から撮像装置１０３の映像に変更する。
In step S407, the
ステップＳ４０８において、判断部２０４は、全ての映像に対象被写体が映っていないことを制御部２０３へ通知し、制御部２０３は、ＯＳＤ生成部２１０へ警告表示に係るＯＳＤ映像を生成するよう指示する。そして、ＯＳＤ生成部２１０は、警告用のＯＳＤ映像を生成し、生成した警告用ＯＳＤ映像を、ＯＳＤ重畳部２０９へ出力する。その後、ＯＳＤ重畳部２０９が、表示映像に警告用ＯＳＤ映像を重畳し、表示部２１１に警告表示を行う。
スイッチング先映像の内容を変更するために行う処理として、表示部２１１に警告表示を行うことによって、ユーザーは様々な対応を行うことができる。例えばその場でユーザーが撮像装置１００～１０３のパンチルトズーム制御を行うことが可能である場合には、図６（ａ）の状態から撮像装置１００の撮影方向を制御してボーカルが映るようにスイッチング先映像を変更することなどが考えられる。その場合には前述した指定秒はある程度余裕のある時間とする必要がある。
In step S408, the
By displaying a warning on the
ステップＳ４０９において、判断部２０４は、シナリオのスイッチング時間に到達したか否かを判断する。判断部２０４は、スイッチング時間に到達したと判断した場合には、ステップＳ４１０の処理を行う。一方、判断部２０４は、スイッチング時間に到達していないと判断した場合は、ステップＳ４０５～ステップＳ４０９の処理を繰り返し、対象被写体の監視を行う。なお、ステップＳ４０９からステップＳ４０５へ処理を戻す際に、スイッチング先映像の変更があった場合は、ステップＳ４０５では、処理対象の映像はスイッチングシナリオ情報に記載されたスイッチング先映像でなく、変更後のスイッチング先映像とする。
In step S409, the
ステップＳ４１０において、判断部２０４は、制御部２０３へスイッチング先映像の情報を通知する。制御部２０３は、通知されたスイッチング先映像の情報をもとに、受信部２０１ａ～２０１ｄの該当する映像を、出力部２０７へ出力し、外部装置へ映像出力を行う。なお、図６に示した例の場合は、判断部２０４は、スイッチング先映像として撮像装置１０３の映像を送信する。
In step S410, the
ステップＳ４１１において、判断部２０４は、全てのシナリオを実行したか否かを判断する。判断部２０４は、全て実行したと判断した場合は本フローを終了する。一方、判断部２０４は、まだ次のシナリオが存在すると判断した場合には、次のシナリオに対して、ステップＳ４０３からの処理を再度実行する。
なお、図７（ａ）は、対象被写体が映っていないのに、シナリオに従った映像にスイッチングした場合の映像例を示す図であり、図７（ｂ）は、対象被写体が映っている映像を見つけて、その映像にスイッチングした場合の映像例を示す図である。
In step S411, the
FIG. 7(a) is a diagram showing an example of an image when switching to an image according to a scenario when the target subject is not shown, and FIG. 7(b) is an image in which the target subject is shown. is found and switching to the image is a diagram showing an example of the image.
以上のように、第１の実施形態によれば、スイッチング先映像に対象被写体が映っていない場合、対象被写体が映っている映像を探し、スイッチング先映像とするようにした。これにより、対象被写体が映っていないのにスイッチングしてしまうことを防止することができる。 As described above, according to the first embodiment, when the target subject is not shown in the switching destination video, a video in which the target subject is shown is searched for and used as the switching destination video. As a result, it is possible to prevent switching when the target subject is not shown.
なお、第１の実施形態では、図６に示した例のように、対象被写体が１つの映像にのみ映っている場合を例に説明したが、対象被写体が複数の映像に映っている場合もありうる。そこで、複数の映像に映っている場合には、ステップＳ４０７で映像上において対象被写体がより大きく映っている映像をスイッチング先映像として選択するようにしてもよい。また、複数の映像に対象被写体が映っている場合に、ステップＳ４０７で対象被写体が最も正面を向いている映像をスイッチング先映像として選択するようにしてもよい。正面を向いているか否かは、公知の顔検出技術等を用いることによって判断することができる。 Note that in the first embodiment, as in the example shown in FIG. 6, the case where the target subject appears in only one image has been described as an example, but the target subject may appear in a plurality of images. Possible. Therefore, if the target subject appears in a plurality of videos, the video in which the target subject appears larger on the video may be selected as the switching destination video in step S407. Further, when the target subject is shown in a plurality of videos, the video in which the target subject faces the front most may be selected as the switching destination video in step S407. Whether or not the person is facing forward can be determined by using a known face detection technique or the like.
なお、第１の実施形態では、対象被写体が全ての映像に映っていない場合には、警告表示を行うが、スイッチングシナリオ情報に記載された映像にそのまま切り換えている。一方で、対象被写体が全ての映像に映っていない場合に撮像装置１００～１０３からの映像の中から１つを予め指定しておき、スイッチング時間に到達したときにその予め指定した映像にスイッチングするようにしてもよい。
なお、予め指定した映像にスイッチングする場合には、その映像には対象被写体が含まれていないため、スイッチング時間に到達するまでの間は、ステップＳ４０５からステップＳ４０６の処理を繰り返すことになる。そこで、処理負荷を軽減するために、予め指定した映像にスイッチングする場合には、ステップＳ４０９でスイッチング時間に到達していないと判断された場合に、そのまま待機するようにしてもよい。
Note that in the first embodiment, when the target subject is not shown in all the images, a warning display is performed, but the images are switched to the images described in the switching scenario information as they are. On the other hand, when the target subject is not shown in all the images, one of the images from the
Note that when switching to a pre-specified image, the image does not include the target subject, so the processing from step S405 to step S406 is repeated until the switching time is reached. Therefore, in order to reduce the processing load, in the case of switching to a video specified in advance, if it is determined in step S409 that the switching time has not been reached, the processing may be kept on standby.
なお、表示部２１１に、図８に示すようなシナリオ情報を表示するようにしてもよい。このようにすることで、ユーザーは、後何秒でどの映像にスイッチングするのかを事前に把握することが可能になる。
また、本実施形態ではスイッチング処理において選択した映像を外部装置に出力する場合について記載したが、選択した映像をファイルとして出力したり、ネットワーク配信に使用したりするようにしてもよい。さらに、スイッチングシナリオ情報に従って映像の切り換えを繰り返して生成された一連の映像を１つの映像コンテンツとして記憶するようにしてもよい。
Note that scenario information as shown in FIG. 8 may be displayed on the
Also, in the present embodiment, a case has been described in which the video selected in the switching process is output to an external device, but the selected video may be output as a file or used for network distribution. Furthermore, a series of images generated by repeatedly switching images according to switching scenario information may be stored as one image content.
また、第１の実施形態では、次のシナリオのスイッチング時間の指定秒前に到達した後に、スイッチング先映像を決定したが、スイッチング時間に到達する前に対象被写体が移動し、スイッチング先映像に対象被写体が映らなくなってしまう場合もありうる。そこで、スイッチング先映像を一度決定した後は、スイッチング時間に到達するまでの間、その映像を撮影している撮像装置において対象被写体の追尾を行うようにしてもよい。例えば、ユーザーが表示部２１１に表示されている映像を見ながら対象被写体を追尾対象として指定し、その撮像装置に対して追尾の指示を行う。このとき、追尾の方法は公知の手法を用いればよい。
Also, in the first embodiment, the switching destination video is determined after reaching the designated second before the switching time of the next scenario. In some cases, the subject may disappear. Therefore, after the switching destination video is determined once, the target subject may be tracked by the imaging device that is shooting the video until the switching time is reached. For example, the user designates a target subject as a tracking target while viewing an image displayed on the
（第２の実施形態）
本発明の第２の実施形態では、対象被写体が映っている映像を探し、その映像の一部を切り出し可能な場合に、切り出した映像をスイッチング先映像として出力する場合を例に説明する。なお、構成および処理は第１の実施形態との差異のみを説明する。なお、第２の実施形態に係る映像切換装置１０００のハードウェア構成は、第１の実施形態に係る映像切換装置２００と同様であるため、説明を省略する。
(Second embodiment)
In the second embodiment of the present invention, an example will be described in which a video in which a target subject is shown is searched, and if a part of the video can be clipped, the clipped video is output as a switching destination video. Note that only the difference between the configuration and processing of the first embodiment will be described. Note that the hardware configuration of the
（システム構成の説明）
図９は、第２の実施形態に係る、システム構成を示す図である。
撮像装置９００、９０１、９０２、９０３は、映像線を介し、撮影映像を映像切換装置１０００へ送信する。なお、本実施形態において、撮像装置９００、９０１、９０２から解像度１９２０×１０８０の映像が出力され、撮像装置９０３から解像度３８４０×２１６０の映像が出力される。
(Description of system configuration)
FIG. 9 is a diagram showing a system configuration according to the second embodiment.
映像切換装置１０００は、スイッチングシナリオに従い、撮像装置９００、９０１、９０２、９０３から受信した映像のいずれかの映像を、映像線を介し、外部装置へ送信する。
なお、本実施形態において、外部装置へ出力する映像の解像度は１９２０×１０８０とし、撮像装置９０３の映像を外部へ出力する場合は、解像度が１９２０×１０８０となるように、映像の一部を切り出して出力する。
The
In this embodiment, the resolution of the video output to the external device is 1920×1080, and when the video of the imaging device 903 is output to the outside, a part of the video is clipped so that the resolution becomes 1920×1080. output.
（ブロック図の説明）
図１０は、第２の実施形態に係る映像切換装置１０００の機能構成例を示すブロック図である。第１の実施形態との差分は、制御部１００１、判断部１００２、検出部１００３の処理が異なる点と、切り出し部１００４が追加された点である。
制御部１００１は、映像切換装置１０００の全体の制御を行う。第１の実施形態と異なる点は、制御部１００１が、判断部１００２から、スイッチング先映像と、映像内に映っている対象被写体の位置および大きさの情報とを受信し、切り出し部１００４へ送信する点である。
(Description of block diagram)
FIG. 10 is a block diagram showing a functional configuration example of a
A
判断部１００２は、検出部２０５が検出した、対象被写体が映っている映像をスイッチング先映像として、制御部１００１へ送信する。第１の実施形態と異なる点は、判断部１００２が、検出部２０５から、検出結果だけでなく、対象被写体が映っている場合には映像内の対象被写体が映っている位置（Ｘ, Ｙ）および大きさ（幅Ｗ、高さＨ）の情報も受信し、制御部１００１へ送信する点である。
The
検出部１００３は、判断部１００２から受信した映像と、対象被写体とをもとに映像内に対象被写体が映っているか否かを判断し、判断部１００２へ、検出結果、および対象被写体が映っている場合には対象被写体の位置および大きさの情報を送信する。
The
切り出し部１００４は、制御部１００１から、スイッチング先映像と、対象被写体の位置および大きさの情報を受信する。切り出し部１００４は、スイッチング先映像の解像度が１９２０×１０８０の場合には、出力部２０７へ受信した映像をそのまま出力する。また、切り出し部１００４は、解像度が３８４０×２１６０の場合には、対象被写体の位置を中心に解像度が１９２０×１０８０になるように映像の切り出しを行い、切り出した映像を、出力部２０７へ出力する。
The
（映像切り出しの処理フローの説明）
図１１は、切り出し部１００４における、映像切り出しの処理フローである。なお、本処理フローは、制御部１００１がスイッチング先映像と、映像内の対象被写体の位置および大きさの情報とを切り出し部１００４へ送信することにより開始される。また、スイッチング先映像を決定する処理手順は基本的には図４と同様であるが、図１１に示す処理は図４のステップＳ４１０の後に行われる。
(Explanation of processing flow for video clipping)
FIG. 11 is a processing flow of video clipping in the
ステップＳ１１０１において、切り出し部１００４は、出力映像の切り出しが必要か否かを、受信した映像の解像度から判断する。切り出し部１００４は、受信した映像の解像度が１９２０×１０８０より大きい場合、出力映像の切り出しが必要と判断し、ステップＳ１１０２の処理を行う。一方、切り出し部１００４は、受信した映像の解像度が１９２０×１０８０以下の場合は、切り出し不要と判断し、ステップＳ１１０４の処理を行う。
なお、本実施形態において、解像度１９２０×１０８０を、出力映像の切り出しの判断における基準値としているが、基準値はこれに限らない。
In step S1101, the
In this embodiment, the resolution of 1920×1080 is used as the reference value for determining whether to cut out the output video, but the reference value is not limited to this.
ステップＳ１１０２において、切り出し部１００４は、受信した映像をＲＡＭ２２２等に展開し、映像内の対象被写体の位置（Ｘ，Ｙ）および、大きさ（幅Ｗ、高さＨ）から対象被写体の領域を判断する。
In step S1102, the
ステップＳ１１０３において、切り出し部１００４は、対象被写体を中心に２Ｋ映像になるように切り出し領域を算出し、算出した領域を切り出す。
具体的には例えば、切り出し領域は、まず対象被写体の中心座標を、対象被写体の座標と大きさから（Ｘ＋Ｗ／２，Ｙ＋Ｈ／２）として算出する。
次に、切り出し領域の開始座標（ｘ，ｙ）を、対象被写体の中心座標および出力映像の解像度１９２０×１０８０から以下の（１）式、（２）式で算出する。
切り出し領域の開始座標 ｘ ＝ （Ｘ＋Ｗ／２）－（１９２０／２）・・・（１）
切り出し領域の開始座標 ｙ ＝ （Ｙ＋Ｈ／２）－（１０８０／２）・・・（２）
In step S1103, the
Specifically, for example, for the clipping area, first, the center coordinates of the target subject are calculated as (X+W/2, Y+H/2) from the coordinates and size of the target subject.
Next, the starting coordinates (x, y) of the clipping area are calculated from the center coordinates of the target subject and the resolution of the output image of 1920×1080 using the following equations (1) and (2).
Start coordinate of clipping area x = (X + W/2) - (1920/2) (1)
Start coordinate of clipping area y = (Y + H/2) - (1080/2) (2)
なお、算出した切り出し領域の開始座標ｘまたはｙが０よりも小さくなる場合は、小さくなった座標については０と補正する。
そして、切り出し領域の開始座標（ｘ，ｙ）から幅１９２０、高さ１０８０の映像を切り出し領域とする。
なお、図１２は、上記切り出し領域の算出フローの一例を示す図である。図１２（ａ）は対象被写体の中心座標の算出時の例を示す図、図１２（ｂ）は切り出し領域の開始座標の算出時の例を示す図、図１２（ｃ）は実際に２Ｋに映像を切り出した映像例を示す図である。
Note that if the calculated start coordinate x or y of the clipping region is smaller than 0, the smaller coordinate is corrected to 0.
Then, an image having a width of 1920 and a height of 1080 from the starting coordinates (x, y) of the clipping region is set as the clipping region.
FIG. 12 is a diagram showing an example of the calculation flow of the cut-out region. FIG. 12(a) is a diagram showing an example of calculating the center coordinates of the target subject, FIG. 12(b) is a diagram showing an example of calculating the start coordinates of the clipping area, and FIG. It is a figure which shows the image example which cut out the image|video.
ステップＳ１１０４において、切り出し部１００４は、切り出した映像をスイッチング先映像として、外部装置へ出力する。
In step S1104, the
以上のように、第２の実施形態によれば、映像の一部を切り出し可能な場合には、全体を映している撮像装置の映像から、対象被写体を切り出し、スイッチング先映像として出力することが可能である。 As described above, according to the second embodiment, when it is possible to cut out part of a video, it is possible to cut out a target subject from the video captured by the image pickup device showing the entire image and output it as a switching destination video. It is possible.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention can be applied to the present invention. included. Some of the above-described embodiments may be combined as appropriate.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ 受信部、２０３ 制御部、２０４ 判断部、２０５ 検出部
201a, 201b, 201c,
Claims (11)
前記複数の映像の切換順序および対象被写体に関するシナリオ情報を取得し、前記シナリオ情報に基づいて前記複数の映像を切り換える制御手段と、
前記シナリオ情報における次の切換先の映像に前記対象被写体が映っているか否かを判断する検出手段と、
を有し、
前記検出手段により前記次の切換先の映像に前記対象被写体が映っていないと判断された場合に、前記制御手段は、前記次の切換先の映像の内容を変更するための処理を行うこと、
を特徴とする情報処理装置。 an input means for inputting a plurality of images;
a control means for acquiring scenario information regarding a switching order of the plurality of images and a target subject, and switching the plurality of images based on the scenario information;
detection means for determining whether or not the target subject is shown in the next switching destination video in the scenario information;
has
When the detection means determines that the target subject is not shown in the next switching destination video, the control means performs processing for changing the content of the next switching destination video;
An information processing device characterized by:
前記別の映像に前記対象被写体が映っている場合に、前記制御手段は、次の切換時において前記対象被写体が映っている別の映像を、次の切換先の映像に変更することを特徴とする請求項１に記載の情報処理装置。 When the detection means determines that the target subject is not shown in the next switching destination video in the scenario information, whether the target subject is shown in a video different from the next switching destination video. determine whether or not
When the target subject is shown in the another video, the control means changes the other video in which the target subject is shown to the next switching destination video at the time of the next switching. The information processing apparatus according to claim 1.
前記制御手段は、前記シナリオ情報を前記表示手段に表示することを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。 further comprising display means;
7. The information processing apparatus according to claim 1, wherein said control means displays said scenario information on said display means.
前記複数の映像の切換順序および対象被写体に関するシナリオ情報を取得し、前記シナリオ情報に基づいて前記複数の映像を切り換える制御工程と、
前記シナリオ情報における次の切換先の映像に前記対象被写体が映っているか否かを判断する検出工程と、
を有し、
前記検出工程により前記次の切換先の映像に前記対象被写体が映っていないと判断された場合に、前記制御工程は、前記次の切換先の映像の内容を変更するための処理を行うこと、
を特徴とする情報処理装置の制御方法。 an input step of inputting a plurality of images;
a control step of acquiring scenario information regarding a switching order of the plurality of images and a target subject, and switching the plurality of images based on the scenario information;
a detection step of determining whether or not the target subject is shown in the next switching destination video in the scenario information;
has
When the detection step determines that the target subject is not shown in the next switching destination image, the control step performs processing for changing the content of the next switching destination image;
A control method for an information processing device, characterized by:
前記複数の映像の切換順序および対象被写体に関するシナリオ情報を取得し、前記シナリオ情報に基づいて前記複数の映像を切り換える制御工程と、
前記シナリオ情報における次の切換先の映像に前記対象被写体が映っているか否かを判断する検出工程と、
を有し、
前記検出工程により前記次の切換先の映像に前記対象被写体が映っていないと判断された場合に、前記制御工程は、前記次の切換先の映像の内容を変更するための処理を行うこと、
をコンピュータに実行させるためのプログラム。 an input step of inputting a plurality of images;
a control step of acquiring scenario information regarding a switching order of the plurality of images and a target subject, and switching the plurality of images based on the scenario information;
a detection step of determining whether or not the target subject is shown in the next switching destination video in the scenario information;
has
When the detection step determines that the target subject is not shown in the next switching destination image, the control step performs processing for changing the content of the next switching destination image;
A program that causes a computer to run
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021071093A JP2022165662A (en) | 2021-04-20 | 2021-04-20 | Information processing device, method for controlling information processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021071093A JP2022165662A (en) | 2021-04-20 | 2021-04-20 | Information processing device, method for controlling information processing device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022165662A true JP2022165662A (en) | 2022-11-01 |
Family
ID=83851171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021071093A Pending JP2022165662A (en) | 2021-04-20 | 2021-04-20 | Information processing device, method for controlling information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022165662A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025089074A1 (en) * | 2023-10-23 | 2025-05-01 | ソニーグループ株式会社 | Program, information processing device, and information processing method |
-
2021
- 2021-04-20 JP JP2021071093A patent/JP2022165662A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025089074A1 (en) * | 2023-10-23 | 2025-05-01 | ソニーグループ株式会社 | Program, information processing device, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
| JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
| KR102187974B1 (en) | Information processing apparatus, method, and program for generation of virtual viewpoint images | |
| JP6882868B2 (en) | Image processing equipment, image processing method, system | |
| JP2005216061A (en) | Image processor, image processing method, recording medium, computer program and semiconductor device | |
| JP2019083402A (en) | Image processing apparatus, image processing system, image processing method, and program | |
| JP2011239361A (en) | System and method for ar navigation and difference extraction for repeated photographing, and program thereof | |
| JP5886242B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US20130278636A1 (en) | Object display device, object display method, and object display program | |
| JP6552256B2 (en) | Image processing apparatus and image processing apparatus control method | |
| US20200265635A1 (en) | Measurement method, measurement device, and recording medium | |
| JP2017191492A (en) | Information processing device, information processing method and video generation system | |
| JP2019144958A (en) | Image processing device, image processing method, and program | |
| KR20210076615A (en) | Method and appratus for providong video infromation | |
| WO2015072091A1 (en) | Image processing device, image processing method, and program storage medium | |
| JP2022165662A (en) | Information processing device, method for controlling information processing device and program | |
| JP2017184136A (en) | Information processing apparatus, information processing method, information processing system, and program | |
| JP2019032713A (en) | Information processing apparatus, information processing method, and program | |
| JP2013258583A (en) | Captured image display, captured image display method, and program | |
| JP2006329684A (en) | Image measuring instrument and method | |
| JP2019125058A (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| JP2020187529A (en) | Image processing equipment, image processing system, control method, and program | |
| JP4544262B2 (en) | Virtual reality space sharing system and method, and information processing apparatus and method | |
| US12279049B2 (en) | Information processing apparatus displaying captured image for remote support of an operation by an operator | |
| JP2006294066A (en) | Image processor, image processing method, recording medium, computer program, and semiconductor device |