JP7505483B2

JP7505483B2 - 動画配信システム、及び動画配信方法

Info

Publication number: JP7505483B2
Application number: JP2021507147A
Authority: JP
Inventors: 純司大井; 智博大井; 啓生郷原
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2019-03-15
Filing date: 2020-02-28
Publication date: 2024-06-25
Anticipated expiration: 2040-02-28
Also published as: EP3941067A1; CN113545094A; JPWO2020189223A1; WO2020189223A1; EP3941067A4; US11972547B2; US20220101498A1

Description

本技術は、動画配信システム、及び動画配信方法に関し、特に、より確実に動画配信を行うことができるようにした動画配信システム、及び動画配信方法に関する。

画像処理装置として、複数の撮像部により撮像される複数の画像を合成して出力するものが知られている（例えば、特許文献１参照）。

特開2017-69926号公報

ところで、複数の撮像部により撮像される複数の画像を合成して動画として配信する場合に、複数の撮像部のうち、一部の撮像部からの画像の入力が欠落してしまうと、動画配信を継続することができない場合があり、より確実に動画配信を行うための技術が求められている。

本技術はこのような状況に鑑みてなされたものであり、より確実に動画配信を行うことができるようにするものである。

本技術の一側面の動画配信システムは、低解像度画像を、低解像度カメラから取得するとともに、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得する画像取得部と、前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定する異常判定部と、前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を生成する画像処理部と、前記第１の合成画像を表示端末に送信する送信制御部とを備え、前記画像処理部は、前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を生成し、前記送信制御部は、前記第２の合成画像を前記表示端末に送信し、前記画像処理部は、前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性を再現し、前記異常があると判定された場合において、前記第２の信号に前記異常がある場合には、第１の処理によって前記代替画像に置き換え、前記第１の信号に前記異常がある場合には、前記第１の処理と異なる第２の処理によって前記代替画像に置き換えることで、前記連続性を実質的に再現する前記第２の合成画像を生成する動画配信システムである。

本技術の一側面の動画配信方法は、動画配信システムが、低解像度画像を、低解像度カメラから取得するとともに、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得し、前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定し、前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を生成し、前記第１の合成画像を表示端末に送信し、前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を生成し、前記第２の合成画像を前記表示端末に送信し、前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性を再現し、前記異常があると判定された場合において、前記第２の信号に前記異常がある場合には、第１の処理によって前記代替画像に置き換え、前記第１の信号に前記異常がある場合には、前記第１の処理と異なる第２の処理によって前記代替画像に置き換えることで、前記連続性を実質的に再現する前記第２の合成画像を生成する動画配信方法である。

本技術の一側面の動画配信システム、及び動画配信方法においては、低解像度画像が、低解像度カメラから取得されるとともに、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像が、高解像度カメラから取得され、前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かが判定され、前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像が生成され、前記第１の合成画像が表示端末に送信され、前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像が、前記実空間の領域に対応する代替画像で置き換えられて、前記連続性を実質的に再現する第２の合成画像が生成され、前記第２の合成画像が前記表示端末に送信される。また、前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性が再現され、前記異常があると判定された場合において、前記第２の信号に前記異常がある場合には、第１の処理によって前記代替画像に置き換えられ、前記第１の信号に前記異常がある場合には、前記第１の処理と異なる第２の処理によって前記代替画像に置き換えられることで、前記連続性を実質的に再現する前記第２の合成画像が生成される。

本技術を適用した動画配信システムの構成の第１の例を示す図である。ワークステーションの構成の例を示す図である。一部のカメラ入力の欠落の例を示す図である。欠落したカメラ入力を黒画に置き換えた場合の例を示す図である。本技術を適用した動画配信システムにおける要部の構成の例を示す図である。スティッチ処理の詳細を説明する図である。スティッチマップの例を示す図である。分割処理の詳細を説明する図である。透視投影変換の例を示す図である。高解像度画像入力の欠落時における要部の構成の例を示す図である。高解像度画像の例を示す図である。低解像度画像の例を示す図である。高解像度画像入力の欠落時におけるトリミング・リサイズ処理とアルファブレンド処理の例を示している。合成画像の第１の例を示す図である。合成画像の第１の例を示す図である。合成画像の第１の例を示す図である。低解像度画像入力の欠落時における要部の構成の例を示す図である。合成画像の第２の例を示す図である。合成画像の第２の例を示す図である。合成画像の第２の例を示す図である。高解像度画像入力の欠落時に静止画の補完を行う場合における要部の構成の例を示す図である。合成画像の第３の例を示す図である。合成画像の第３の例を示す図である。合成画像の第３の例を示す図である。配信側の画像処理の流れを説明するフローチャートである。高解像度画像処理の流れを説明するフローチャートである。低解像度画像処理の流れを説明するフローチャートである。分割・エンコード処理の流れを説明するフローチャートである。動画配信サーバの構成の例を示す図である。動画配信処理の流れを説明するフローチャートである。本技術を適用した動画配信システムの構成の第２の例を示す図である。表示端末の構成の例を示す図である。高解像度合成画像と高解像度用アルファ画像の例を示す図である。低解像度合成画像の例を示す図である。表示端末側の第１の再生処理の流れを説明するフローチャートである。第１の再生処理で処理される画像を模式的に示した図である。高解像度合成画像と高解像度用アルファ画像の例を示す図である。低解像度合成画像と低解像度用のアルファ画像の例を示す図である。背景用静止画の例を示す図である。表示端末側の第２の再生処理の流れを説明するフローチャートである。第２の再生処理で処理される画像を模式的に示した図である。本技術を適用した動画配信システムの他の構成の例を示す図である。コンピュータの構成例を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．コンピュータの構成

＜１．第１の実施の形態＞

（システムの構成）
図１は、本技術を適用した動画配信システムの構成の第１の例を示している。

動画配信システム１は、ワークステーション１０、カメラ１１－１乃至１１－Ｎ（Ｎ：２以上の整数）、動画配信サーバ１２、及び表示端末２０－１乃至２０－Ｍ（Ｍ：１以上の整数）を含んで構成される。また、動画配信システム１において、ワークステーション１０、動画配信サーバ１２、及び表示端末２０－１乃至２０－Ｍは、インターネット３０にそれぞれ接続されている。

ワークステーション１０は、画像処理に特化した画像処理装置である。ワークステーション１０は、カメラ１１－１乃至１１－Ｎにより撮像された複数の画像に対する画像処理を行い、当該画像処理で得られるデータを、インターネット３０を介して動画配信サーバ１２に送信する。

カメラ１１－１は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等のイメージセンサと、カメラISP(Image Signal Processor)等の信号処理部を含んで構成される。カメラ１１－１は、撮像した画像のデータを、ワークステーション１０に送信する。

カメラ１１－２乃至１１－Ｎのそれぞれは、イメージセンサと信号処理部を含んで構成され、撮像した画像のデータを、ワークステーション１０に送信する。

なお、カメラ１１－１乃至１１－Ｎのそれぞれは、例えば専用線（ケーブル）等の通信回線を介してワークステーション１０と接続されるほか、所定の規格に準拠した有線通信又は無線通信により接続されてもよい。また、以下の説明では、カメラ１１－１乃至１１－Ｎを、特に区別する必要がない場合には、単にカメラ１１と称する。

動画配信サーバ１２は、例えばデータセンタ等に設置されるウェブサーバである。動画配信サーバ１２は、ワークステーション１０から送信されてくるデータを受信する。動画配信サーバ１２は、表示端末２０－１乃至２０－Ｍのいずれかから動画配信が要求された場合、要求元の表示端末２０に対し、ワークステーション１０からのデータを含む動画ストリームを、インターネット３０を介して送信する。

表示端末２０－１は、例えば、ユーザの両眼を覆うように頭部に装着して、ユーザの眼前に設けられた表示画面に表示される動画や静止画を鑑賞するヘッドマウントディスプレイとして構成される。なお、表示端末２０－１は、ヘッドマウントディスプレイに限らず、例えば、スマートフォンやタブレット端末、ゲーム機などのディスプレイを有する電子機器であってもよい。

表示端末２０－１は、例えばユーザの操作に応じて、動画配信の要求を、インターネット３０を介して動画配信サーバ１２に送信する。表示端末２０－１は、インターネット３０を介して動画配信サーバ１２から送信されてくる動画ストリームを受信して処理し、動画を再生する。この動画としては、例えば、動画配信サーバ１２からライブ配信されるVR(Virtual Reality)動画等のコンテンツを含む。

表示端末２０－２乃至２０－Ｍは、表示端末２０－１と同様に、例えばヘッドマウントディスプレイ等から構成され、動画配信サーバ１２から動画ストリームとして配信される動画をそれぞれ再生する。なお、表示端末２０－１乃至２０－Ｍを、特に区別する必要がない場合には、単に表示端末２０と称する。

（ワークステーションの構成）
図２は、図１のワークステーション１０の構成の例を示している。

図２において、ワークステーション１０は、制御部１００、入力部１０１、出力部１０２、記憶部１０３、及び通信部１０４から構成される。

制御部１００は、例えば、CPU(Central Processing Unit)等のプロセッサや、グラフィックカード（ビデオカード）などから構成される。制御部１００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。

入力部１０１は、例えばキーボードやマウス、物理的なボタン等から構成される。入力部１０１は、ユーザの操作に応じた操作信号を、制御部１００に供給する。

出力部１０２は、例えばディスプレイやスピーカ等から構成される。出力部１０２は、制御部１００からの制御に従い、映像や音声などを出力する。

記憶部１０３は、例えば、不揮発性メモリや揮発性メモリを含む半導体メモリや、バッファメモリなどから構成される。記憶部１０３は、制御部１００からの制御に従い、各種のデータを記憶する。

通信部１０４は、例えば、所定の規格に準拠した無線通信又は有線通信に対応した通信モジュールや、ビデオやオーディオのキャプチャカードなどから構成される。

通信部１０４は、制御部１００からの制御に従い、インターネット３０を介して動画配信サーバ１２との間で、各種のデータをやり取りする。また、通信部１０４は、制御部１００からの制御に従い、カメラ１１－１乃至１１－Ｎからのデータを受信する。

また、制御部１００は、画像取得部１１１、異常判定部１１２、画像処理部１１３、及び送信制御部１１４を含む。

画像取得部１１１は、カメラ１１－１乃至１１－Ｎにより撮像された複数の画像のそれぞれの画像信号を、通信部１０４を介して取得（キャプチャ）し、記憶部１０３に記憶させる。

異常判定部１１２は、画像取得部１１１により取得される複数の画像の監視結果に基づいて、画像信号に異常があるか否かを判定する。異常判定部１１２は、異常の判定結果を、画像処理部１１３に供給する。

画像処理部１１３は、記憶部１０３に記憶された画像の画像信号を読み出して、所定の画像処理を行い、その画像処理の結果得られるデータを、送信制御部１１４に供給する。なお、詳細は、図５等を参照して後述するが、この画像処理としては、例えば、スティッチ処理やトリミング・リサイズ処理、分割処理、エンコード等の処理が含まれる。

送信制御部１１４は、通信部１０４を制御して、画像処理部１１３からのデータを、インターネット３０を介して動画配信サーバ１２に送信する。

動画配信システム１は、以上のように構成される。

（一部のカメラ入力の欠落の例）
ところで、動画配信システム１においては、複数のカメラ１１－１乃至１１－Ｎのうち、一部のカメラ１１からの画像の入力が欠落した場合に、動画配信を継続することができない場合があるため、何らかの入力欠落対策が求められる。

ここで、例えば、図３に示すように、ワークステーション１０と接続された４台のカメラ１１－１乃至１１－４のうち、カメラ１１－２が故障した場合を想定する。この場合において、ワークステーション１０（の画像処理部１１３）では、同期処理部１３１によって、カメラ１１－１乃至１１－４のそれぞれから入力される画像信号の同期がとられる。

しかしながら、故障したカメラ１１－２からは画像信号が入力されないため、ワークステーション１０では、全てのカメラ１１からの画像信号が入力されるまで、待機することになる。このとき、スティッチ処理部１３２では、前段の同期処理部１３１から同期した画像信号が入力されてこないため、スティッチ処理を行うことができない。

このように、複数のカメラ１１のうち、少なくとも１台のカメラ１１が故障すると、スティッチ処理を行うことができず、結果として動画配信を継続することができない。なお、スティッチ処理の詳細は、図６及び図７を参照して後述する。

（欠落した入力を黒画に置き換えた例）
また、図４は、欠落したカメラ入力を黒画に置き換えた場合の例を示している。

例えば、４台のカメラ１１－１乃至１１－４が、高解像度カメラ１１－１及び高解像度カメラ１１－２と、低解像度カメラ１１－３及び低解像度カメラ１１－４から構成される場合を想定する。

ここで、高解像度カメラ１１は、高解像度画像を撮像可能なカメラである。この高解像度画像は、低解像度画像よりも狭い画角を有し、当該低解像度画像の解像度よりも高い解像度を有し、かつ、当該低解像度画像に含まれる実空間の領域を表す画像である。

一方で、低解像度カメラ１１は、低解像度画像を撮像可能なカメラである。この低解像度画像は、高解像度画像よりも広い画角を有し、当該高解像度画像の解像度よりも低い解像度を有し、かつ、実空間の領域として表された当該高解像度画像を含む画像である。

図４においては、例えば、高解像度カメラ１１－２が故障したため、高解像度画像Ｉ１１の一部の領域が黒画（図中の「ＢＫ」）に置き換えられた状態となる。このとき、再生側の表示端末２０では、動画配信サーバ１２から配信される動画ストリームを受信して、分割階層化方式により映像を表示するが、低解像度画像Ｉ１２上に黒画（図中の「ＢＫ」）が描画されているため、ユーザからすれば、見えるはずの領域が見えなくなる。

ここで、分割階層化方式は、全天球画像の一部の注視領域を高解像度にするために、複数のカメラ１１－１乃至１１－Ｎによって撮像される画像に対するスティッチ処理を行った後に、複数の領域に切り出した高解像度画像と、全天球を含む低解像度画像とを別のストリームとして配信し、再生側の表示端末２０にて画像を合成して表示するものである。

すなわち、分割階層化方式では、再生側の表示端末２０で、低解像度画像の上に、高解像度画像を重ねるために、図４に示した黒画（図中の「ＢＫ」）を含む高解像度画像Ｉ１１が配信されると、低解像度画像Ｉ１２では見えている領域が見えなくなってしまう。なお、動画の場合には、アルファ値は含まれないため、透明という表現はできない。

そこで、本技術では、動画配信システム１において、複数のカメラ１１－１乃至１１－Ｎのうち、一部のカメラ１１からの入力が欠落した場合でも動画配信を継続して、より確実に動画配信を行うことができるようにする。以下、本技術の詳細について、図面を参照しながら説明する。

（配信側の要部の構成）
図５は、図１の動画配信システム１における配信側の要部の構成の例を示している。

なお、図５において、入力監視部１２１－１乃至１２１－４は、異常判定部１１２（図２）の機能として提供される。また、同期処理部１３１－１、同期処理部１３１－２、高解像度スティッチ処理部１３２－１、低解像度スティッチ処理部１３２－２、分配部１３３、トリミング・リサイズ部１３４、アルファブレンド部１３５、及び分割部１３６は、例えば、画像処理部１１３（図２）の機能として提供される。

図５において、ワークステーション１０では、カメラ入力は４系統とされ、高解像度カメラ１１－１により撮像された高解像度画像Ｉ１－１と、高解像度カメラ１１－２により撮像された高解像度画像Ｉ１－２と、低解像度カメラ１１－３により撮像された低解像度画像Ｉ１－３と、低解像度カメラ１１－４により撮像された低解像度画像Ｉ１－４の画像信号が、画像取得部１１１（図２）によりそれぞれ取得され、入力信号として入力される。

入力監視部１２１－１は、高解像度カメラ１１－１から同期処理部１３１－１に入力される高解像度画像Ｉ１－１の入力信号を監視する。また、入力監視部１２１－２は、高解像度カメラ１１－２から同期処理部１３１－１に入力される高解像度画像Ｉ１－２の入力信号を監視する。

入力監視部１２１－３は、低解像度カメラ１１－３から分配部１２２に入力される低解像度画像Ｉ１－３の入力信号を監視する。また、入力監視部１２１－４は、低解像度カメラ１１－４から同期処理部１３１－２に入力される低解像度画像Ｉ１－４の入力信号を監視する。

入力監視部１２１－１乃至１２１－４による監視結果のそれぞれは、異常判定部１１２（図２）に供給され、各入力信号に異常があるか否か（高解像度画像信号と低解像度画像信号のうち、いずれか一方の信号に異常があるか否か）が判定される。

図５の構成の例では、入力信号に異常がないと判定された場合の画像処理について説明する。なお、入力信号に異常があると判定された場合の画像処理については、図１０、図１７、及び図２１等を参照して後述する。

分配部１２２は、入力監視部１２１－３から入力される低解像度画像Ｉ１－３の入力信号を分配して、同期処理部１３１－１と同期処理部１３１－２にそれぞれ供給する。

同期処理部１３１－１は、そこに入力される、高解像度画像Ｉ１－１と、高解像度画像Ｉ１－２と、低解像度画像Ｉ１－３のそれぞれの画像信号の同期をとって、高解像度スティッチ処理部１３２－１に供給する。

同期処理部１３１－２は、そこに入力される、低解像度画像Ｉ１－３と、低解像度画像Ｉ１－４のそれぞれの画像信号の同期をとって、低解像度スティッチ処理部１３２－２に供給する。

高解像度スティッチ処理部１３２－１は、同期して入力される高解像度画像Ｉ１－１、高解像度画像Ｉ１－２、及び低解像度画像Ｉ１－３のそれぞれの画像信号に対するスティッチ処理を行い、その処理の結果得られる高解像度スティッチ画像Ｉ３－１の画像信号を、アルファブレンド部１３５に供給する。

低解像度スティッチ処理部１３２－２は、同期して入力される低解像度画像Ｉ１－３、及び低解像度画像Ｉ１－４のそれぞれの画像信号に対するスティッチ処理を行い、その処理の結果得られる低解像度スティッチ画像Ｉ３－２の画像信号を、分配部１３３に供給する。

ここで、図６は、高解像度スティッチ処理部１３２－１により実行されるスティッチ処理の詳細を示している。このスティッチ処理では、同期して入力される高解像度画像Ｉ１－１と、高解像度画像Ｉ１－２と、低解像度画像Ｉ１－３の入力画像ごとに、対応するスティッチマップを用いて色とアルファ値とを求めて、順次アルファブレンドしていくことで、高解像度スティッチ画像Ｉ３－１が生成される。

また、図７には、スティッチマップの例を示している。ここで、スティッチマップとは、スティッチ用のソフトウェアを利用してあらかじめ生成しておくデータであって、変換先の画素ごとに、変換元の画素の座標とアルファ値が格納されたマップである。図７の例では、高解像度画像Ｉ１－１と、高解像度画像Ｉ１－２と、低解像度画像Ｉ１－３の入力画像ごとに、スティッチマップＳＭ１乃至ＳＭ３がそれぞれ用意されている。

このようなスティッチマップＳＭ１乃至ＳＭ３を用いたスティッチ処理を行うことで、高解像度スティッチ処理部１３２－１では、例えば、高解像度画像Ｉ１－１と、高解像度画像Ｉ１－２と、低解像度画像Ｉ１－３とをつなぎ合わせて、部分正距円筒画像に合成することができる。

なお、図示はしていないが、低解像度スティッチ処理部１３２－２においても、低解像度画像Ｉ１－３と、低解像度画像Ｉ１－４の入力画像ごとに、対応するスティッチマップを用いたスティッチ処理が行われる。そして、このスティッチ処理によって、低解像度画像Ｉ１－３と低解像度画像Ｉ１－４をつなぎ合わせて合成した正距円筒画像として、低解像度スティッチ画像Ｉ３－２が生成される。

図５の説明に戻り、分配部１３３は、低解像度スティッチ処理部１３２－２からの低解像度スティッチ画像Ｉ３－２の画像信号を、トリミング・リサイズ部１３４及び分割部１３６に供給する。

トリミング・リサイズ部１３４は、低解像度スティッチ画像Ｉ３－２の画像信号に対し、トリミング・リサイズ処理を行い、その処理の結果得られるトリミング・リサイズ画像Ｉ４の画像信号を、アルファブレンド部１３５に供給する。

アルファブレンド部１３５は、トリミング・リサイズ画像Ｉ４の上に、高解像度スティッチ画像Ｉ３－１をアルファブレンドするアルファブレンド処理を行う。この例では、高解像度スティッチ画像Ｉ３－１に欠落した領域は存在しないため、高解像度スティッチ画像Ｉ３－１の画像信号が分割部１３６に供給される。

分割部１３６には、アルファブレンド部１３５からの高解像度スティッチ画像Ｉ３－１と、分配部１３３からの低解像度スティッチ画像Ｉ３－２の画像信号がそれぞれ供給される。分割部１３６は、高解像度スティッチ画像Ｉ３－１及び低解像度スティッチ画像Ｉ３－２の画像信号を用いた分割処理を行い、その結果得られる合成画像Ｉ２として、合成画像Ｉ２－１乃至Ｉ２－５の画像信号を出力する。

ここで、図８は、分割部１３６により実行される分割処理の詳細を示している。この分割処理では、高解像度スティッチ画像Ｉ３－１と低解像度スティッチ画像Ｉ３－２を入力画像として、指定された角度と距離に従って透視投影変換が行われ、全天球映像が分割階層化される。なお、図９は、透視投影変換の例を示しており、図中の３次元空間で表された「Output image」が、例えば合成画像Ｉ２－１乃至Ｉ２－４のいずれかの画像に相当する。

例えば、この分割処理によって、高解像度部分正距円筒画像としての高解像度スティッチ画像Ｉ３－１の領域外を、低解像度正距円筒画像としての低解像度スティッチ画像Ｉ３－２を用いて補完する（置き換える）ことで、合成画像Ｉ２として、複数の領域に切り出した高解像度合成画像Ｉ２－１乃至Ｉ２－４と、全天球を含む低解像度合成画像Ｉ２－５が生成される。

図５の説明に戻り、ワークステーション１０においては、画像処理部１１３（図２）によって、分割部１３６により生成された合成画像Ｉ２－１乃至Ｉ２－５がエンコードされ、送信制御部１１４（図２）によって、エンコードデータが、インターネット３０を介して動画配信サーバ１２にアップロードされる。

以上、動画配信システム１における配信側の要部の構成を説明した。

（高解像度画像入力の欠落）
図１０は、動画配信システム１において、高解像度カメラ１１－２により撮像される高解像度画像Ｉ１－２の入力が欠落した場合の配信側の要部の構成を示している。また、図１１及び図１２には、画像取得部１１１により取得（キャプチャ）される入力画像の例を示している。

すなわち、図１０の例では、高解像度カメラ１１－１により撮像される高解像度画像Ｉ１－１（図１１のＡ）と、高解像度カメラ１１－２により撮像される高解像度画像Ｉ１－２（図１１のＢ）と、低解像度カメラ１１－３により撮像される低解像度画像Ｉ１－３（図１２のＣ）と、低解像度カメラ１１－４により撮像される低解像度画像Ｉ１－４（図１２のＤ）のうち、高解像度画像Ｉ１－２の入力が欠落している。

このとき、異常判定部１１２（図２）は、入力監視部１２１－２からの監視結果に基づき、高解像度画像Ｉ１－２の画像信号に異常があると判定し、その判定結果を画像処理部１１３に通知する。そして、画像処理部１１３（図２）では、高解像度画像入力の欠落に応じた画像処理が行われる。

具体的には、同期処理部１３１－１には、高解像度画像Ｉ１－１と低解像度画像Ｉ１－３の画像信号のほか、欠落した高解像度画像Ｉ１－２の代わりに、透明画像Ｉ５（アルファ値が０の画像）の画像信号が入力される。そのため、高解像度スティッチ処理部１３２－１では、スティッチ処理によって、一部が透明の領域を含む高解像度スティッチ画像Ｉ３－１Ｔが生成される。

なお、ここでの高解像度画像Ｉ１－２を透明画像Ｉ５に置き換える処理は、画像処理部１１３（図２）が行ってもよいし、その前段の入力監視部１２１－２などが行ってもよい。

一方で、同期処理部１３１－２には、低解像度画像Ｉ１－３と低解像度画像Ｉ１－４の画像信号が入力される。そのため、低解像度スティッチ処理部１３２－２では、スティッチ処理によって、完全な（欠落してない）低解像度スティッチ画像Ｉ３－２が生成される。

そして、画像処理部１１３（図２）においては、図１３に示すように、低解像度スティッチ画像Ｉ３－２を用いたトリミング・リサイズ処理と、透明領域ＴＲを含む高解像度スティッチ画像Ｉ３－１Ｔを用いたアルファブレンド処理がそれぞれ実行される。

すなわち、トリミング・リサイズ部１３４では、低解像度スティッチ画像Ｉ３－２に対し、トリミング・リサイズ処理が行われ、高解像度スティッチ画像Ｉ３－１Ｔに対応する領域が切り取られ、その領域のサイズが調整される（図１３のＳ１１）。これにより、トリミング・リサイズ画像Ｉ４が得られる。

続いて、アルファブレンド部１３５では、アルファブレンド処理が行われ、トリミング・リサイズ画像Ｉ４の上に、高解像度スティッチ画像Ｉ３－１Ｔがアルファブレンドされる（図１３のＳ１２）。これにより、高解像度スティッチ画像Ｉ３－１Ｔの透明領域ＴＲを、トリミング・リサイズ画像Ｉ４により補完した高解像度スティッチ画像Ｉ３－１Ｃが得られる。

図１０の説明に戻り、分割部１３６には、アルファブレンド部１３５からの高解像度スティッチ画像Ｉ３－１Ｃと、分配部１３３からの低解像度スティッチ画像Ｉ３－２の画像信号がそれぞれ入力される。

分割部１３６では、高解像度スティッチ画像Ｉ３－１Ｃ及び低解像度スティッチ画像Ｉ３－２を用いた分割処理が行われ、例えば、高解像度スティッチ画像Ｉ３－１Ｃ（高解像度部分正距円筒画像）の領域外を、低解像度スティッチ画像Ｉ３－２（低解像度正距円筒画像）を用いて補完することで、図１４乃至図１６に示した合成画像Ｉ２－１乃至Ｉ２－５が生成される。

そして、ワークステーション１０において、画像処理部１１３（図２）では、合成画像Ｉ２－１乃至Ｉ２－５がエンコードされる。また、送信制御部１１４（図２）によって、エンコードデータが、インターネット３０を介して動画配信サーバ１２にアップロードされる。

このように、高解像度画像入力が欠落した場合には、欠落した高解像度画像Ｉ１を、透明画像Ｉ５に置き換え、低解像度画像Ｉ１を用いたスティッチングにより得られる低解像度スティッチ画像Ｉ３－２の上に、高解像度画像Ｉ１（と低解像度画像Ｉ１）を用いたスティッチングにより得られる高解像度スティッチ画像Ｉ３－１をアルファブレンドすることで、高解像度画像Ｉ１の欠落した領域が、低解像度画像Ｉ１により補完される。換言すれば、この補完に用いられる低解像度画像Ｉ１は、代替画像であると言える。

（低解像度画像入力の欠落）
次に、図１７は、動画配信システム１において、低解像度カメラ１１－３により撮像される低解像度画像Ｉ１－３の入力が欠落した場合の配信側の要部の構成を示している。

すなわち、図１７の例では、上述した図１１及び図１２に示した高解像度画像Ｉ１－１（図１１のＡ）、高解像度画像Ｉ１－２（図１１のＢ）、低解像度画像Ｉ１－３（図１２のＣ）、及び低解像度画像Ｉ１－４（図１２のＤ）のうち、低解像度画像Ｉ１－３の入力が欠落している。

この場合において、同期処理部１３１－１には、高解像度画像Ｉ１－１と高解像度画像Ｉ１－２の画像信号のほか、低解像度画像Ｉ１－３の代わりに、透明画像Ｉ５の画像信号が入力される。そのため、高解像度スティッチ処理部１３２－１では、スティッチ処理によって、一部が透明の領域を含む高解像度スティッチ画像Ｉ３－１Ｔが生成される。

一方で、同期処理部１３１－２には、低解像度画像Ｉ１－４の画像信号のほか、低解像度画像Ｉ１－３の代わりに、透明画像Ｉ５の画像信号が入力される。そのため、低解像度スティッチ処理部１３２－２では、スティッチ処理によって、一部が透明の領域を含む低解像度スティッチ画像Ｉ３－２Ｔが生成される。

そして、画像処理部１１３（図２）においては、低解像度スティッチ画像Ｉ３－２Ｔを用いたトリミング・リサイズ処理と、高解像度スティッチ画像Ｉ３－１Ｔを用いたアルファブレンド処理がそれぞれ実行される。続いて、分割部１３６では、高解像度スティッチ画像Ｉ３－１Ｃ（高解像度部分正距円筒画像）の領域外を、低解像度スティッチ画像Ｉ３－２Ｔ（低解像度正距円筒画像）を用いて補完することで、図１８乃至図２０に示した合成画像Ｉ２－１乃至Ｉ２－５が生成される。

このとき、合成画像Ｉ２－１乃至Ｉ２－５のうち、合成画像Ｉ２－１（図１８のＡ）、合成画像Ｉ２－２（図１８のＢ）、合成画像Ｉ２－４（図１９のＤ）、及び合成画像Ｉ２－５（図２０のＥ）は、低解像度画像Ｉ１－３の入力の欠落に応じて、一部の領域（図中の黒塗りの領域）が欠落した状態の画像となる。

そこで、動画配信システム１では、低解像度画像の入力が欠落した場合には、あらかじめ用意した静止画Ｉ１０を用いた補完が行われるようにする。このような動画配信システム１の配信側の要部の構成を、図２１に示している。

すなわち、図２１の例では、上述した図１７の例と同様に、高解像度画像Ｉ１－１（図１１のＡ）、高解像度画像Ｉ１－２（図１１のＢ）、低解像度画像Ｉ１－３（図１２のＣ）、及び低解像度画像Ｉ１－４（図１２のＤ）のうち、低解像度画像Ｉ１－３の入力が欠落している。

このとき、異常判定部１１２（図２）は、入力監視部１２１－３からの監視結果に基づき、低解像度画像Ｉ１－３の画像信号に異常があると判定し、その判定結果を画像処理部１１３に通知する。そして、画像処理部１１３（図２）では、低解像度画像入力の欠落に応じた画像処理が行われる。

ここで、メモリ１２３は、低解像度カメラ１１－３により撮像された低解像度画像Ｉ１－３であって、その入力が欠落する前に撮像されたものを、静止画Ｉ１０として保持している。

なお、メモリ１２３に保持する静止画Ｉ１０としては、例えば、あらかじめ（事前に）撮像しておいた静止画（例えば背景画像）や、一時的に保持した１フレーム前や数フレーム前等の欠落する直前に撮像された画像（例えば背景画像等の画像フレーム）などとすることができる。また、メモリ１２３は、例えば記憶部１０３（図２）に相当する。

同期処理部１３１－１には、高解像度画像Ｉ１－１と、高解像度画像Ｉ１－２の画像信号のほか、低解像度画像Ｉ１－３の代わりに、メモリ１２３に保持された静止画Ｉ１０の画像信号が入力される。そのため、高解像度スティッチ処理部１３２－１では、スティッチ処理によって、静止画Ｉ１０を用いて補完した高解像度スティッチ画像Ｉ３－１Ｃが生成される。

一方で、同期処理部１３１－２には、低解像度画像Ｉ１－４の画像信号のほか、メモリ１２３に保持された静止画Ｉ１０の画像信号が入力される。そのため、低解像度スティッチ処理部１３２－２では、スティッチ処理によって、静止画Ｉ１０を用いて補完した低解像度スティッチ画像Ｉ３－２Ｃが生成される。

そして、画像処理部１１３（図２）においては、低解像度スティッチ画像Ｉ３－２Ｃを用いたトリミング・リサイズ処理と、高解像度スティッチ画像Ｉ３－１Ｃを用いたアルファブレンド処理がそれぞれ実行される。続いて、分割部１３６では、高解像度スティッチ画像Ｉ３－１Ｃ（高解像度部分正距円筒画像）の領域外を、低解像度スティッチ画像Ｉ３－２Ｃ（低解像度正距円筒画像）を用いて補完することで、図２２乃至図２４に示した合成画像Ｉ２－１乃至Ｉ２－５が生成される。

このとき、図２２乃至図２４に示した合成画像Ｉ２－１乃至Ｉ２－５を、上述した図１８乃至図２０に示した合成画像Ｉ２－１乃至Ｉ２－５と比べれば、図２２のＡの合成画像Ｉ２－１は、図１８のＡの合成画像Ｉ２－１で欠落していた領域（図中の黒塗りの領域）が、保持していた静止画Ｉ１０より補完されている（特に、図中の太線の楕円Ｅ１，Ｅ２で囲った領域）。

同様に、合成画像Ｉ２－２（図２２のＢ、図１８のＢ）、合成画像Ｉ２－４（図２３のＤ、図１９のＤ）、及び合成画像Ｉ２－５（図２４のＥ、図２０のＥ）においても、欠落していた領域（図中の黒塗りの領域）が、保持していた静止画Ｉ１０より補完される（特に、図中の太線の楕円Ｅ３乃至Ｅ６で囲った領域）。

このように、低解像度画像入力が欠落した場合には、欠落した低解像度画像Ｉ１を、メモリ１２３に保持していた静止画Ｉ１０に置き換え、低解像度画像Ｉ１と静止画Ｉ１０を用いたスティッチングにより得られる低解像度スティッチ画像Ｉ３－２の上に、高解像度画像Ｉ１（と静止画Ｉ１０）を用いたスティッチングにより得られる高解像度スティッチ画像Ｉ３－１をアルファブレンドすることで、低解像度画像Ｉ１の欠落した領域が、静止画Ｉ１０により補完される。換言すれば、この補完に用いられる静止画Ｉ１０は、代替画像であると言える。

（画像処理の流れ）
次に、図２５乃至図２８のフローチャートを参照して、ワークステーション１０（の制御部１００等）により実行される画像処理の流れを説明する。

ワークステーション１０では、高解像度画像Ｉ１－１，Ｉ１－２に対する高解像度画像処理（図２５のＳ１０１）と、低解像度画像Ｉ１－３，Ｉ１－４に対する低解像度画像処理（図２５のＳ１０２）が並列に実行される。

ここで、図２６のフローチャートを参照しながら、図２５のステップＳ１０１の処理に対応する高解像度画像処理の詳細を説明する。

ステップＳ１１１において、画像取得部１１１は、高解像度カメラ１１－１により撮像された高解像度画像Ｉ１－１をキャプチャする。

ステップＳ１１２において、異常判定部１１２は、キャプチャする高解像度画像Ｉ１－１に入力欠落があるか否かを判定する。

ステップＳ１１２において、入力欠落がないと判定された場合、処理は、ステップＳ１１３に進められ、キャプチャした高解像度画像Ｉ１－１を、画像Ａとする。一方で、ステップＳ１１２において、入力欠落があると判定された場合、処理は、ステップＳ１１４に進められ、透明画像Ｉ５を、画像Ａとする。

なお、ステップＳ１１３，又はステップＳ１１４の処理が終了すると、処理は、ステップＳ１１９に進められる。

また、ステップＳ１１５において、画像取得部１１１は、高解像度カメラ１１－２により撮像された高解像度画像Ｉ１－２をキャプチャする。

ステップＳ１１６において、異常判定部１１２は、キャプチャする高解像度画像Ｉ１－２に入力欠落があるか否かを判定する。

ステップＳ１１６において、入力欠落がないと判定された場合、処理は、ステップＳ１１７に進められ、キャプチャした高解像度画像Ｉ１－２を、画像Ｂとする。一方で、ステップＳ１１６において、入力欠落があると判定された場合、処理は、ステップＳ１１８に進められ、透明画像Ｉ５を、画像Ｂとする。

なお、ステップＳ１１７、又はステップＳ１１８の処理が終了すると、処理は、ステップＳ１１９に進められる。また、ステップＳ１１１乃至Ｓ１１４の処理と、ステップＳ１１５乃至Ｓ１１８の処理とは並列に実行される。

ステップＳ１１９において、画像処理部１１３（の同期処理部１３１－１）は、画像Ａ，画像Ｂ，画像Ｃが揃うまで待機する。なお、詳細は後述する図２７のフローチャートを参照して説明するが、画像Ｃは、低解像度画像Ｉ１－３又は静止画Ｉ１０である（図２７のＳ１３３，Ｓ１３４）。

そして、画像Ａ，画像Ｂ，画像Ｃが揃った場合（Ｓ１１９）、処理は、ステップＳ１２０に進められる。ステップＳ１２０において、画像処理部１１３（の高解像度スティッチ処理部１３２－１）は、同期した画像Ａ，画像Ｂ，画像Ｃを用いて、スティッチ処理を実行する。ここでは、このスティッチ処理により得られる高解像度スティッチ画像Ｉ３－１を、画像Ｅとする。

ステップＳ１２１において、画像処理部１１３（のアルファブレンド部１３５）は、画像Ｅ，画像Ｇが揃うまで待機する。なお、詳細は後述する図２７のフローチャートを参照して説明するが、画像Ｇは、トリミング・リサイズ画像Ｉ４である（図２７のＳ１４１）。

そして、画像Ｅ，画像Ｇが揃った場合（Ｓ１２１）、処理は、ステップＳ１２２に進められる。ステップＳ１２２において、画像処理部１１３（のアルファブレンド部１３５）は、画像Ｇの上に画像Ｅをアルファブレンドし、画像Ｈとする。

ステップＳ１１２の処理が終了すると、処理は、図２５のステップＳ１０１に戻り、処理は、ステップＳ１０３に進められる。

次に、図２７のフローチャートを参照しながら、図２５のステップＳ１０２の処理に対応する低解像度画像処理の詳細を説明する。

ステップＳ１３１において、画像取得部１１１は、低解像度カメラ１１－３により撮像された低解像度画像Ｉ１－３をキャプチャする。

ステップＳ１３２において、異常判定部１１２は、キャプチャする低解像度画像Ｉ１－３に入力欠落があるか否かを判定する。

ステップＳ１３２において、入力欠落がないと判定された場合、処理は、ステップＳ１３３に進められ、キャプチャした低解像度画像Ｉ１－３を、画像Ｃとする。一方で、ステップＳ１３２において、入力欠落があると判定された場合、処理は、ステップＳ１３４に進められ、静止画Ｉ１０を、画像Ｃとする。

なお、ステップＳ１３３，又はステップＳ１３４の処理が終了すると、処理は、ステップＳ１３９に進められる。

また、ステップＳ１３５において、画像取得部１１１は、低解像度カメラ１１－４により撮像された低解像度画像Ｉ１－４をキャプチャする。

ステップＳ１３６において、異常判定部１１２は、キャプチャする低解像度画像Ｉ１－４に入力欠落があるか否かを判定する。

ステップＳ１３６において、入力欠落がないと判定された場合、処理は、ステップＳ１３７に進められ、低解像度画像Ｉ１－４を、画像Ｄとする。一方で、ステップＳ１３６において、入力欠落があると判定された場合、処理は、ステップＳ１３８に進められ、静止画Ｉ１０を、画像Ｄとする。

なお、ステップＳ１３７、又はステップＳ１３８の処理が終了すると、処理は、ステップＳ１３９に進められる。また、ステップＳ１３１乃至Ｓ１３４の処理と、ステップＳ１３５乃至Ｓ１３８の処理とは並列に実行される。

ステップＳ１３９において、ステップＳ１１９において、画像処理部１１３（の同期処理部１３１－２）は、画像Ｃ，画像Ｄが揃うまで待機する。そして、画像Ｃ，画像Ｄが揃った場合（Ｓ１３９）、処理は、ステップＳ１４０に進められる。

ステップＳ１４０において、画像処理部１１３（の低解像度スティッチ処理部１３２－２）は、同期した画像Ｃ，画像Ｄを用いて、スティッチ処理を実行する。ここでは、このスティッチ処理により得られる低解像度スティッチ画像Ｉ３－２を、画像Ｆとする。

ステップＳ１４１において、画像処理部１１３（のトリミング・リサイズ部１３４）は、画像Ｆの高解像度領域に相当する領域をトリミングして、画像Ｅと同サイズにリサイズする。ここでは、このトリミング・リサイズ処理により得られるトリミング・リサイズ画像Ｉ４を、画像Ｇとする。

ステップＳ１４１の処理が終了すると、処理は、図２５のステップＳ１０２に戻り、処理は、ステップＳ１０３に進められる。

すなわち、ワークステーション１０では、高解像度画像処理（図２５のＳ１０１）と低解像度画像処理（図２５のＳ１０２）が終了すると、分割・エンコード処理（図２５のＳ１０３）が実行される。

ここで、図２８のフローチャートを参照して、図２５のステップＳ１０３の処理に対応する分割・エンコード処理の詳細を説明する。

ステップＳ１５１において、画像処理部１１３（の分割部１３６）は、画像Ｈ，画像Ｆを用いて分割処理を実行し、合成画像Ｉ２－１乃至Ｉ２－５を生成する。

ステップＳ１５２において、画像処理部１１３（のエンコーダ）は、生成した合成画像Ｉ２－１乃至Ｉ２－５を、エンコードする。

ステップＳ１５３において、送信制御部１１４は、エンコード結果に応じたエンコードデータを、インターネット３０を介して動画配信サーバにアップロードする。

ステップＳ１５３の処理が終了すると、処理は、図２５のステップＳ１０３に戻り、ステップＳ１０４に進められる。ステップＳ１０４において、制御部１００は、入力部１０１からの操作信号に基づき、停止ボタンが押下されたかどうかを判定する。

ステップＳ１０４において、停止ボタンが押下されていないと判定された場合、処理は、ステップＳ１０１，Ｓ１０２に戻り、上述した処理が繰り返される。一方で、ステップＳ１０４において、停止ボタンが押下されたと判定された場合、図２５に示した画像処理は終了する。

以上、画像処理の流れを説明した。

（動画配信サーバの構成）
図２９は、図１の動画配信サーバ１２の構成の例を示している。

図２９において、動画配信サーバ１２は、制御部１５０、記憶部１５１、及び通信部１５２から構成される。

制御部１５０は、例えばCPU等のプロセッサから構成される。制御部１５０は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。

記憶部１５１は、例えば、不揮発性メモリや揮発性メモリを含む半導体メモリや、バッファメモリなどから構成される。記憶部１５１は、制御部１５０からの制御に従い、各種のデータを記憶する。

通信部１５２は、無線通信又は有線通信に対応した通信モジュールとして構成される。通信部１５２は、制御部１５０からの制御に従い、各種のデータを、インターネット３０を介してワークステーション１０又は表示端末２０との間でやり取りする。

また、制御部１５０は、送信制御部１６１を含む。送信制御部１６１は、ワークステーション１０から受信したエンコードデータを含む動画ストリーム（VR動画等のコンテンツを含む）を、インターネット３０を介して表示端末２０に送信（ライブ配信）する制御を行う。

（動画配信処理の流れ）
次に、図３０のフローチャートを参照して、動画配信サーバ１２と表示端末２０との間で実行される動画配信処理の流れを説明する。

動画配信サーバ１２では、ワークステーション１０からアップロードされたエンコードデータが、インターネット３０を介して受信される（Ｓ１７１）。ここでは、例えば、ライブ配信するVR動画等のコンテンツのデータがアップロードされる。

このとき、動画配信サーバ１２では、表示端末２０から動画配信が要求された場合（Ｓ１８１）、送信制御部１６１によって、要求元の表示端末２０に対し、ワークステーション１０からのエンコードデータを含む動画ストリームが送信される（Ｓ１７２）。

これにより、表示端末２０においては、動画配信サーバ１２からライブ配信される動画ストリームが受信され（Ｓ１８２）、動画ストリームに含まれるエンコードデータに対するデコード等の処理が実行されることで、動画が再生される（Ｓ１８３）。例えば、表示端末２０では、VR動画の映像が表示され、その映像に同期した音声が出力される。

以上、動画配信処理の流れを説明した。

以上のように、第１の実施の形態では、動画配信システム１として、ワークステーション１０の画像取得部１１１が、低解像度画像（例えば低解像度画像Ｉ１－３，Ｉ１－４）を、低解像度カメラ（例えば低解像度カメラ１１－３，１１－４）から取得するとともに、高解像度画像（例えば高解像度画像Ｉ１－１，Ｉ１－２）を、高解像度カメラ（例えば高解像度カメラ１１－１，１１－２）から取得し、ワークステーション１０の異常判定部１１２が、低解像度画像を表す第１の信号と、高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定する。

そして、動画配信サーバ１２の送信制御部１６１は、異常がないと判定された場合、低解像度画像と高解像度画像との間で連続性を有する第１の合成画像（例えば、図８の合成画像Ｉ２－１乃至Ｉ２－５）を表示端末（例えば表示端末２０）に送信し、異常があると判定された場合、低解像度カメラと高解像度カメラのうち、異常があると判定されたカメラから取得される画像を、実空間の領域に対応する代替画像（例えば低解像度画像Ｉ１－３又は静止画Ｉ１０）で置き換えて、連続性を実質的に再現する第２の合成画像（例えば、図１４乃至図１６、又は図２２乃至図２４の合成画像Ｉ２－１乃至Ｉ２－５）を表示端末（例えば表示端末２０）に送信する。

これにより、動画配信システム１においては、複数のカメラ１１により撮像される複数の画像を合成して出力するワークステーション１０で、例えばカメラ１１の故障や、ケーブルの断線、バッテリ切れ等の原因により一部のカメラ１１からの入力が欠落しても、画像処理を続行してライブ配信を継続することができる。その結果として、より確実に動画配信を行うことができる。

また、動画配信システム１においては、一部のカメラ１１からの入力が欠落した場合に、欠落部分を、他のカメラ１１からの入力や、保持している静止画で補完して配信することができる。例えば、高解像度画像の欠落部分は、低解像度画像により補完し、あるいは、低解像度画像の欠落部分は、保持している静止画により補完できるため、欠落した入力をできるだけ補完して配信することができる。

さらに、動画配信システム１において、ワークステーション１０では、画角の狭い高解像度画像と、画角の広い低解像度画像とを別々にスティッチ処理を施すことで、画角の狭い高解像度画像にスティッチ処理を施す場合と比べて、メモリ使用量や処理負荷を軽減することができる。

ここで、上述した特許文献１に開示された技術のように、複数のカメラにより撮像される複数の画像を合成して出力する画像処理装置では、複数のカメラのうちの一つが故障等により停止してしまうと、合成処理を続行できないため、何も出力されなくなる。そして、例えばライブ配信等、撮り直しがきかないケースでは、画質が低下してしまうなどの弊害があったとしても、可能な限り画像を出力してほしい場合がある。

例えば全天球画像のライブ配信においては、複数のカメラを持った画像処理部を用いることが多く、それらのカメラによって撮像される画像を、スティッチ処理によって正距円筒画像に合成する手法が一般的であるが、特許文献１に開示された技術を含む従来の技術では、カメラ１１の故障や、ケーブルの断線、バッテリ切れ等の原因で、一つでもカメラ１１からの入力がこなくなってしまうと、ライブ配信が中断してしまうという問題があった。

特に、上述した分割階層化方式を用いる場合において、例えば、注視領域を含む高解像画像を撮像する高解像度カメラ１１が、全天球を含む低解像度画像を撮像する低解像度カメラ１１と分かれている場合に、高解像度カメラ１１が故障したときに、そのままライブ配信を続行させると、次のような問題が生じる。すなわち、上述した図３及び図４に示したように、低解像度カメラ１１によって、全天球画像が撮像されているにもかかわらず、注視領域の部分が黒い画像として表示されてしまい、表示端末２０を使用するユーザからすれば、見たい領域が見えないという問題がある。

このような問題に対し、動画配信システム１では、上述した構成を有することで、例えばカメラ１１の故障や、ケーブルの断線、バッテリ切れ等の原因により一部のカメラ１１からの入力が欠落しても、画像処理を続行してライブ配信を継続することが可能とされる。

なお、上述した説明では、高解像度画像入力が欠落した場合と、低解像度画像入力が欠落した場合を別々に説明したが、動画配信システム１では、高解像度画像入力と低解像度画像入力の両方の入力が欠落した場合であっても、低解像度画像Ｉ１と静止画Ｉ１０を代替画像として用いることで対応可能である。

＜２．第２の実施の形態＞

ところで、第１の実施の形態では、動画の配信側（ワークステーション１０）で、高解像度画像入力又は低解像度画像入力の欠落に対応した処理を行ったが、このような欠落に対応した処理は、動画の再生側（表示端末２０）で行ってもよい。そこで、第２の実施の形態として、動画の再生側（表示端末２０）で、高解像度画像入力又は低解像度画像入力の欠落に対応した処理を行う構成を説明する。

（システムの構成）
図３１は、本技術を適用した動画配信システムの構成の第２の例を示している。

図２において、動画配信システム２は、ワークステーション１０、動画配信サーバ１２、及び表示端末２０－１乃至２０－Ｍを含んで構成される。また、動画配信システム２において、ワークステーション１０、動画配信サーバ１２、及び表示端末２０－１乃至２０－Ｍは、インターネット３０にそれぞれ接続されている。

ワークステーション１０は、カメラ１１－１乃至１１－Ｎにより撮像された複数の画像に対する画像処理を行い、当該画像処理で得られるデータを、インターネット３０を介して動画配信サーバ１２に送信する。

動画配信サーバ１２は、表示端末２０－１乃至２０－Ｍのいずれかから動画配信が要求された場合、要求元の表示端末２０に対し、ワークステーション１０からのデータを含む動画ストリームを、インターネット３０を介して送信する。

表示端末２０－１乃至２０－Ｍは、例えばヘッドマウントディスプレイ等から構成され、動画配信サーバ１２から動画ストリームとして配信される動画をそれぞれ再生する。

（表示端末の構成）
図３２は、図３１の表示端末２０の構成の例を示している。

図３２において、表示端末２０は、制御部２００、センサ部２０１、記憶部２０２、表示部３０３、音声出力部２０４、入力端子２０５、出力端子２０６、及び通信部２０７を含んで構成される。

制御部２００は、例えば、CPU等から構成される。制御部２００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。なお、ここでは、GPU(Graphics Processing Unit)等の専用のプロセッサを設けるようにしてもよい。

センサ部２０１は、例えば、各種のセンサデバイス等から構成される。センサ部２０１は、ユーザやその周辺などのセンシングを行い、そのセンシング結果に応じたセンサデータを、制御部２００に供給する。

ここで、センサ部２０１としては、例えば、磁場（磁界）の大きさや方向を検出する磁気センサ、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサなどを含めることができる。また、センサ部２０１として、イメージセンサを有するカメラを設けて、被写体を撮像して得られる画像信号を、制御部２００に供給するようにしてもよい。

記憶部２０２は、例えば、不揮発性メモリや揮発性メモリを含む半導体メモリ等から構成される。記憶部２０２は、制御部２００からの制御に従い、各種のデータを記憶する。

表示部２０３は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）や有機ELディスプレイ（OLED：Organic Light Emitting Diode）等の表示デバイス（表示装置）から構成される。表示部２０３は、制御部２００から供給される映像データに応じた映像（又は画像）を表示する。

音声出力部２０４は、例えば、スピーカ等の音声出力デバイスから構成される。音声出力部２０４は、制御部２００から供給される音声データに応じた音声（音）を出力する。

入力端子２０５は、例えば、入力インターフェース回路等を含んで構成され、所定のケーブルを介して電子機器と接続される。例えば、入力端子２０５は、例えばゲーム機（専用のコンソール）やパーソナルコンピュータ、再生機等の機器から入力される画像信号や音声信号、コマンド等を、制御部２００に供給する。

出力端子２０６は、例えば、出力インターフェース回路等を含んで構成され、所定のケーブルを介して電子機器と接続される。例えば、出力端子２０６は、そこに供給される音声信号を、ケーブルを介してイヤホンやヘッドホン等の機器に出力する。

通信部２０７は、例えば、無線LAN(Local Area Network)、セルラー方式の通信（例えばLTE-Advancedや5G等）、若しくはBluetooth（登録商標）などの無線通信、又は有線通信に対応した通信モジュールとして構成される。

通信部２０７は、制御部２００からの制御に従い、インターネット３０を介して、動画配信サーバ１２との間で、各種のデータをやり取りする。また、通信部２０７は、例えば、ゲーム機（専用のコンソール）やパーソナルコンピュータ、サーバ、再生機、専用のコントローラ、リモートコントローラ等を含む外部の機器と通信を行うことができる。

また、制御部２００は、画像取得部２１１、画像処理部２１２、及び表示制御部２１３を含む。

画像取得部２１１は、動画配信サーバ１２から配信される動画ストリームに含まれる複数の画像のそれぞれの画像信号を取得し、記憶部２０２に記憶させる。

画像処理部２１２は、記憶部２０２に記憶された画像の画像信号を読み出して、所定の画像処理を行い、その画像処理の結果得られるデータを、表示制御部２１３に供給する。なお、この画像処理としては、デコード等の処理のほか、高解像度画像入力又は低解像度画像入力の欠落に対応した処理が含まれる。

表示制御部２１３は、画像処理部２１２からのデータに基づいて、映像（又は画像）を表示部２０３に表示する。

（高解像度画像入力の欠落）
ここで、図３１の動画配信システム２において、例えば、高解像度画像Ｉ１－１（図１１のＡ）、高解像度画像Ｉ１－２（図１１のＢ）、低解像度画像Ｉ１－３（図１２のＣ）、及び低解像度画像Ｉ１－４（図１２のＤ）のうち、高解像度カメラ１１－２により撮像された高解像度画像Ｉ１－２の入力が欠落した場合を想定する。

この場合において、ワークステーション１０（の画像処理部１１３）では、スティッチ処理及び分割処理等が行われることで、合成画像Ｉ２－１乃至Ｉ２－５が生成され、エンコードが行われるが、高解像度画像Ｉ１－２の入力が欠落することによって、合成画像Ｉ２に含まれる高解像度合成画像Ｉ２の一部の領域が欠落した状態となる。

具体的には、合成画像Ｉ２－１乃至Ｉ２－５のうち、例えば、高解像度合成画像Ｉ２－１の一部の領域（図中の黒塗りの領域）が欠落した状態となる（図３３のＡ）。

このとき、ワークステーション１０（の画像処理部１１３）では、高解像度合成画像Ｉ２－１における欠落した領域に対応したアルファ値を含む高解像度用アルファ画像Ｉ２－１αを生成する（図３３のＢ）。この高解像度用アルファ画像Ｉ２－１αにおいて、例えば、透明領域ＴＲは、アルファ値が０とされる。

なお、この例では、高解像度画像Ｉ１－２の入力が欠落した場合を示しているため、合成画像Ｉ２に含まれる低解像度合成画像Ｉ２の一部の領域が欠落することはなく、したがって、例えば、低解像度合成画像Ｉ２－５に対する低解像度用アルファ画像を用意する必要はない（図３４のＣ）。

ワークステーション１０では、合成画像Ｉ２－１乃至Ｉ２－５がエンコードされ、そのエンコードデータが、高解像度用アルファ画像Ｉ２－１αとともに、インターネット３０を介して動画配信サーバ１２にアップロードされる。

そして、動画配信サーバ１２では、表示端末２０から動画配信が要求された場合には、要求元の表示端末２０に対し、エンコードデータと高解像度用アルファ画像Ｉ２－１αを含む動画ストリームが、インターネット３０を介して配信される。一方で、表示端末２０では、動画配信サーバ１２から配信される動画ストリームが受信され、動画が再生されるが、その詳細を、図３５及び図３６を参照しながら説明する。

（表示端末側の処理）
図３５は、表示端末２０により実行される第１の再生処理の流れを説明するフローチャートである。なお、図３６には、図３５に示した第１の再生処理で処理される画像を模式的に示しており、適宜参照しながら説明する。

表示端末２０においては、通信部２０７によって、動画配信サーバ１２からインターネット３０を介して配信される動画ストリームが受信される（Ｓ２０１）。また、画像処理部２１２によって、受信した動画ストリームに含まれるエンコードデータのデコードが行われる（Ｓ２０２）。

画像処理部２１２は、当該デコードで得られる高解像度合成画像Ｉ２－１に対し、動画ストリームに含まれる高解像度用アルファ画像Ｉ２－１α（図３６のＡ）に含まれるアルファ値を付加する（Ｓ２０３）。これにより、高解像度合成画像Ｉ２－１における欠落した領域を、透明領域ＴＲ（アルファ値が０の領域）とすることができる（図３６のＢ）。

続いて、画像処理部２１２は、当該デコードで得られる低解像度合成画像Ｉ２－５（図３６のＣ）の上に、アルファ値が付加された高解像度合成画像Ｉ２－１（図３６のＢ）をアルファブレンドする（Ｓ２０４）。これにより、低解像度合成画像Ｉ２－５の上に、高解像度合成画像Ｉ２－１がアルファ値を用いて合成され、高解像度合成画像Ｉ２－１における欠落した領域が、低解像度合成画像Ｉ２－５により補完される。

そして、表示端末２０においては、表示制御部２１３によって、低解像度合成画像Ｉ２－５により補完された高解像度合成画像Ｉ２－１の映像などが、表示部２０３に表示される（Ｓ２０５）。

以上、第１の再生処理の流れを説明した。

このように、高解像度画像入力が欠落した場合には、高解像度合成画像Ｉ２の欠落した領域に対応したアルファ値を含む高解像度用アルファ画像Ｉ２－αを適用して、アルファ値が付加された高解像度合成画像Ｉ２を、低解像度合成画像Ｉ２の上にアルファブレンドすることで、高解像度合成画像Ｉ２の欠落した領域が、低解像度合成画像Ｉ２により補完される。換言すれば、この補完に用いられる低解像度合成画像Ｉ２は、代替画像であると言える。

（低解像度画像入力の欠落）
次に、図３１の動画配信システム２において、例えば、高解像度画像Ｉ１－１（図１１のＡ）、高解像度画像Ｉ１－２（図１１のＢ）、低解像度画像Ｉ１－３（図１２のＣ）、及び低解像度画像Ｉ１－４（図１２のＤ）のうち、低解像度カメラ１１－３により撮像された低解像度画像Ｉ１－３の入力が欠落した場合を想定する。

この場合において、ワークステーション１０（の画像処理部１１３）では、スティッチ処理及び分割処理等が行われることで、合成画像Ｉ２－１乃至Ｉ２－５が生成され、エンコードが行われるが、低解像度画像Ｉ１－３の入力が欠落することによって、合成画像Ｉ２に含まれる高解像度合成画像Ｉ２及び低解像度合成画像Ｉ２の一部の領域が欠落した状態となる。

具体的には、合成画像Ｉ２－１乃至Ｉ２－５のうち、例えば、高解像度合成画像Ｉ２－１の一部の領域（図中の黒塗りの領域）が欠落した状態となる（図３７のＡ）。

このとき、画像処理部１１３では、高解像度合成画像Ｉ２－１における欠落した領域に対応したアルファ値を含む高解像度用アルファ画像Ｉ２－１αを生成する（図３７のＢ）。この高解像度用アルファ画像Ｉ２－１αにおける透明領域ＴＲは、アルファ値が０とされる。

また、合成画像Ｉ２－１乃至Ｉ２－５のうち、例えば、低解像度合成画像Ｉ２－５の一部の領域（図中の黒塗りの領域）が欠落した状態となる（図３８のＣ）。

このとき、画像処理部１１３では、低解像度合成画像Ｉ２－５における欠落した領域に対応したアルファ値を含む低解像度用アルファ画像Ｉ２－５αを生成する（図３８のＤ）。この低解像度用アルファ画像Ｉ２－５αにおける透明領域ＴＲは、アルファ値が０とされる。

さらに、画像処理部１１３では、背景用静止画Ｉ２０を取得する（図３９のＥ）。この背景用静止画Ｉ２０としては、例えば、あらかじめ（事前に）撮像して記憶部１０３に保持していた画像や、一時的に保持した１フレーム前や数フレーム前等の欠落する直前に撮像された画像のほか、例えば、外部の機器から取得した画像などであってもよい。

ワークステーション１０では、合成画像Ｉ２－１乃至Ｉ２－５がエンコードされ、そのエンコードデータが、高解像度用アルファ画像Ｉ２－１α、低解像度用アルファ画像Ｉ２－５α、及び背景用静止画Ｉ２０とともに、インターネット３０を介して動画配信サーバ１２にアップロードされる。

そして、動画配信サーバ１２では、表示端末２０から動画配信が要求された場合には、要求元の表示端末２０に対し、エンコードデータと、高解像度用アルファ画像Ｉ２－１α、低解像度用アルファ画像Ｉ２－５α、及び背景用静止画Ｉ２０を含む動画ストリームが、インターネット３０を介して配信される。一方で、表示端末２０では、動画配信サーバ１２から配信される動画ストリームが受信され、動画が再生されるが、その詳細を、図４０及び図４１を参照しながら説明する。

（表示端末側の処理）
図４０は、表示端末２０により実行される第２の再生処理の流れを説明するフローチャートである。なお、図４１には、図４０に示した第２の再生処理で処理される画像を模式的に示しており、適宜参照しながら説明する。

表示端末２０においては、通信部２０７によって、動画配信サーバ１２からインターネット３０を介して配信される動画ストリームが受信される（Ｓ２２１）。また、画像処理部２１２によって、受信した動画ストリームに含まれるエンコードデータのデコードが行われる（Ｓ２２２）。

画像処理部２１２は、当該デコードで得られる高解像度合成画像Ｉ２－１に対し、動画ストリームに含まれる高解像度用アルファ画像Ｉ２－１αに含まれるアルファ値を付加する（Ｓ２２３）。また、画像処理部２１２は、当該デコードで得られる低解像度合成画像Ｉ２－５に対し、動画ストリームに含まれる低解像度用アルファ画像Ｉ２－５αを付加する（Ｓ２２３）。

これにより、高解像度合成画像Ｉ２－１における欠落した領域を、透明領域ＴＲとし（図４１のＡ）、低解像度合成画像Ｉ２－５における欠落した領域を、透明領域ＴＲとする（図４１のＢ）ことができる。

続いて、画像処理部２１２は、アルファ値を付加した低解像度合成画像Ｉ２－５の上に、アルファ値を付加した高解像度合成画像Ｉ２－１をアルファブレンドする（Ｓ２２４）。これにより、合成画像として、低解像度合成画像Ｉ２－５の上に高解像度合成画像Ｉ２－１がアルファ値を用いて合成された画像が得られる。

画像処理部２１２はまた、動画ストリームに含まれる背景用静止画Ｉ２０の上に、ステップＳ２２４の処理で得られる合成画像をアルファブレンドする（Ｓ２２５）。これにより、背景用静止画Ｉ２０に、合成画像がアルファ値を用いて合成され、高解像度合成画像Ｉ２－１と低解像度合成画像Ｉ２－５における欠落した領域が、背景用静止画Ｉ２０により補完される。

そして、表示端末２０においては、表示制御部２１３によって、背景用静止画Ｉ２０により補完された高解像度合成画像Ｉ２－１や低解像度合成画像Ｉ２－５の映像などが、表示部２０３に表示される（Ｓ２２６）。

以上、第２の再生処理の流れを説明した。

このように、低解像度画像入力が欠落した場合には、高解像度合成画像Ｉ２の欠落した領域に対応したアルファ値を含む高解像度用アルファ画像Ｉ２－αと、低解像度合成画像Ｉ２の欠落した領域に対応したアルファ値を含む低解像度用アルファ画像Ｉ２－αをそれぞれ適用して、アルファ値が付加された高解像度合成画像Ｉ２を、アルファ値が付加された低解像度合成画像Ｉ２の上にアルファブレンドとともに、さらに背景用静止画Ｉ２０の上にもアルファブレンドする。これにより、高解像度合成画像Ｉ２と低解像度合成画像Ｉ２の欠落した領域が、背景用静止画Ｉ２０により補完される。換言すれば、この補完に用いられる背景用静止画Ｉ２０は、代替画像であると言える。

以上のように、第２の実施の形態では、表示端末２０の画像取得部２１１が、低解像度カメラ（例えば低解像度カメラ１１－３，１１－４）から取得された低解像度画像（例えば低解像度画像Ｉ１－３，Ｉ１－４）と、高解像度カメラ（例えば高解像度カメラ１１－１，１１－２）から取得された高解像度画像（例えば高解像度画像Ｉ１－１，Ｉ１－２）との間で連続性を有する第１の合成画像（例えば合成画像Ｉ２－１乃至Ｉ２－５）を取得し、低解像度画像を表す第１の信号と、高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常がない場合、表示制御部２１３が、第１の合成画像を表示部（例えば表示部２０３）に表示する。

一方で、異常がある場合、表示制御部２１３が、低解像度カメラと高解像度カメラのうち、異常があるカメラから取得される画像を、実空間の領域に対応する代替画像（例えば、低解像度合成画像Ｉ２－５又は背景用静止画Ｉ２０）で置き換えて、連続性を実質的に再現する第２の合成画像（例えば、図３６又は図４１の合成画像）を表示部（例えば表示部２０３）に表示する。

これにより、動画配信システム１においては、動画の配信側（ワークステーション１０）で、例えばカメラ１１の故障や、ケーブルの断線、バッテリ切れ等の原因により一部のカメラ１１からの入力が欠落した場合でも、動画の再生側（表示端末２０）で、高解像度画像入力又は低解像度画像入力の欠落に対応した処理が行われるため、ライブ配信を継続することができる。その結果として、より確実に動画配信を行うことができる。

＜３．変形例＞

（システムの構成）
図４２は、本技術を適用した動画配信システムの他の構成の例を示している。

図４２の動画配信システム３において、ワークステーション１０と動画配信サーバ１２とは、例えば専用線などの通信回線４０を介して相互に接続され、各種のデータをやり取りする。また、図４２においては、ワークステーション１０と動画配信サーバ１２とを異なる装置として示しているが、ワークステーション１０と動画配信サーバ１２を一体化して、それらの機能を有する１つの装置５０として構成されるようにしてもよい。

また、ワークステーション１０又は動画配信サーバ１２の機能ごとに、１又は複数の装置（サーバ）から構成されるようにしてもよい。さらに、カメラ１１－１乃至１１－Ｎを、インターネット３０に接続可能に構成することで、カメラ１１－１乃至１１－Ｎにより撮像された画像のデータが、インターネット３０を介してワークステーション１０に送信されるようにしてもよい。

（表示端末の構成）
上述した説明では、表示端末２０が、ヘッドマウントディスプレイとして構成される場合を例示したが、本技術は、狭義のヘッドマウントディスプレイに限らず、例えば、眼鏡、眼鏡型ディスプレイ、眼鏡型カメラ、ヘッドホン、ヘッドセット（マイクロフォン付きヘッドホン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラ付き帽子、ヘアバンドなどを装着した場合にも適用することができる。

また、本技術は、単独の装置として構成されるヘッドマウントディスプレイ等の表示端末２０に対して適用することは勿論、ヘッドマウントディスプレイに接続されたゲーム機や、パーソナルコンピュータ等の情報処理装置に適用してもよい。

また、上述した説明では、VRライブ配信（全天球ライブ配信）に対応した表示端末２０を使用するユーザに対し、３次元映像を表示して、あたかもそこにいるかのような感覚を体験できるようにする仮想現実（VR）を実現した場合を説明したが、本技術は、仮想現実（VR）に限らず、他の映像配信に適用するようにしてもよい。また、表示される映像としては、VR空間内の映像に限らず、例えば、実空間の映像等の他の映像であってもよい。

さらに、上述した説明では、分割階層化方式によって全天球画像を用いる場合を例示し、典型的には、360度の視野角を表す画像が用いられるが、例えば、180度の視野角を表す画像など、ユーザの視野よりも広い画像であれば、他の画像を用いることができる。

なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体内にあるか否かは問わない。

＜４．コンピュータの構成＞

上述した一連の処理（例えば、図２５乃至図２８に示した画像処理等）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図４３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。

入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述した処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

（１）
低解像度画像を、低解像度カメラから取得するとともに、
前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得する
画像取得部と、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定する異常判定部と、
前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を表示端末に送信し、
前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示端末に送信する
送信制御部と
を備える動画配信システム。
（２）
前記第１の合成画像又は前記第２の合成画像を生成する画像処理部をさらに備える
前記（１）に記載の動画配信システム。
（３）
前記画像処理部は、前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性を再現する
前記（２）に記載の動画配信システム。
（４）
前記代替画像は、前記低解像度画像又はあらかじめ用意した静止画を含む
前記（３）に記載の動画配信システム。
（５）
前記画像処理部は、前記第２の信号に前記異常がある場合、前記高解像度画像の欠落した領域を、前記低解像度画像により補完する
前記（４）に記載の動画配信システム。
（６）
前記画像処理部は、
欠落した前記高解像度画像を、透明画像に置き換え、
前記低解像度画像を用いたスティッチングにより得られる低解像度スティッチ画像の上に、前記高解像度画像を用いたスティッチングにより得られる高解像度スティッチ画像をアルファブレンドする
前記（５）に記載の動画配信システム。
（７）
前記画像処理部は、前記低解像度スティッチ画像における前記高解像度スティッチ画像に対応する領域をトリミングし、前記高解像度スティッチ画像に対応する大きさにリサイズする
前記（６）に記載の動画配信システム。
（８）
前記画像処理部は、前記第１の信号に前記異常がある場合、前記低解像度画像の欠落した領域を、欠落した前記低解像度画像に対応した前記静止画により補完する
前記（４）乃至（７）のいずれかに記載の動画配信システム。
（９）
前記静止画は、あらかじめ撮像された背景画像、又は前記低解像度画像が欠落する直前の背景画像を含む
前記（８）に記載の動画配信システム。
（１０）
前記低解像度カメラは、少なくとも１つ設けられ、
前記高解像度カメラは、少なくとも１つ設けられ、
前記画像取得部は、複数の前記低解像度画像と、複数の前記高解像度画像を取得する
前記（１）乃至（９）のいずれかに記載の動画配信システム。
（１１）
前記異常判定部は、複数の前記低解像度画像に対応した複数の第１の入力信号と、複数の前記高解像度画像に対応した複数の第２の入力信号に基づいて、少なくとも１つの前記低解像度カメラに異常があれば、前記第１の入力信号に前記異常があると判定し、少なくとも１つの前記高解像度カメラに異常があれば、前記第２の入力信号に前記異常があると判定する
前記（１０）に記載の動画配信システム。
（１２）
前記低解像度スティッチ画像は、正距円筒画像を含み、
前記高解像度スティッチ画像は、部分正距円筒画像を含む
前記（６）に記載の動画配信システム。
（１３）
前記第１の合成画像又は前記第２の合成画像において、前記部分正距円筒画像の領域を除いた領域は、前記正距円筒画像に置き換えられる
前記（１２）に記載の動画配信システム。
（１４）
前記表示端末は、ヘッドマウントディスプレイを含む
前記（１）乃至（１３）のいずれかに記載の動画配信システム。
（１５）
動画配信システムが、
低解像度画像を、低解像度カメラから取得するとともに、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得し、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定し、
前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を表示端末に送信し、前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示端末に送信する
動画配信方法。
（１６）
コンピュータを、
低解像度画像を、低解像度カメラから取得するとともに、
前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得する
画像取得部と、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定する異常判定部と、
前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を表示端末に送信し、
前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示端末に送信する
送信制御部と
して機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
（１７）
低解像度カメラから取得された低解像度画像と、
高解像度カメラから取得された高解像度画像として、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す前記高解像度画像と
の間で連続性を有する第１の合成画像を取得する画像取得部と、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常がない場合、前記第１の合成画像を表示部に表示し、
前記異常がある場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があるカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示部に表示する
表示制御部と
を備える表示端末。
（１８）
前記第２の合成画像に含まれる画像の欠落した領域に対応したアルファ値を含むアルファ画像を適用した前記画像を用いたアルファブレンドを行うことで、前記第２の合成画像を生成する画像処理部をさらに備える
前記（１７）に記載の表示端末。
（１９）
前記画像取得部は、前記第２の信号に前記異常がある場合、前記第２の合成画像に含まれる高解像度合成画像の欠落した領域に対応した第１のアルファ値を含む高解像度用アルファ画像を取得し、
前記画像処理部は、前記第２の信号に前記異常がある場合、
前記高解像度合成画像の欠落した領域に、前記高解像度用アルファ画像に含まれる前記第１のアルファ値を付加し、
前記第２の合成画像に含まれる低解像度合成画像の上に、前記第１のアルファ値を付加した前記高解像度合成画像をアルファブレンドする
前記（１８）に記載の表示端末。
（２０）
前記画像取得部は、前記第１の信号に前記異常がある場合、前記第２の合成画像に含まれる高解像度合成画像の欠落した領域に対応した第１のアルファ値を含む高解像度用アルファ画像と、前記第２の合成画像に含まれる低解像度合成画像の欠落した領域に対応した第２のアルファ値を含む低解像度用アルファ画像を取得し、
前記画像処理部は、前記第１の信号に前記異常がある場合、
前記高解像度合成画像の欠落した領域に、前記高解像度用アルファ画像に含まれる前記第１のアルファ値を付加し、
前記低解像度合成画像の欠落した領域に、前記低解像度用アルファ画像に含まれる前記第２のアルファ値を付加し、
前記第２のアルファ値を付加した前記低解像度合成画像の上に、前記第１のアルファ値を付加した前記高解像度合成画像をアルファブレンドし、
あらかじめ用意した背景用静止画の上に、当該アルファブレンドにより得られる画像をアルファブレンドする
（１８）又は（１９）に記載の表示端末。
（２１）
前記代替画像は、前記第２の合成画像に含まれる低解像度合成画像、又はあらかじめ用意した背景用静止画を含む
（１７）又は（１８）に記載の表示端末。
（２２）
表示端末が、
低解像度カメラから取得された低解像度画像と、高解像度カメラから取得された高解像度画像として、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す前記高解像度画像との間で連続性を有する第１の合成画像を取得し、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常がない場合、前記第１の合成画像を表示部に表示し、前記異常がある場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があるカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示部に表示する
表示制御方法。
（２３）
コンピュータを、
低解像度カメラから取得された低解像度画像と、
高解像度カメラから取得された高解像度画像として、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す前記高解像度画像と
の間で連続性を有する第１の合成画像を取得する画像取得部と、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常がない場合、前記第１の合成画像を表示部に表示し、
前記異常がある場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があるカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を前記表示部に表示する
表示制御部と
して機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

１，２，３動画配信システム，１０ワークステーション，１１，１１－１乃至１１－Ｎカメラ，１１－１，１１－２高解像度カメラ，１１－３，１１－４低解像度カメラ，１２動画配信サーバ，２０，２０－１乃至２０－Ｍ表示端末，３０インターネット，１００制御部，１０１入力部，１０２出力部，１０３記憶部，１０４通信部，１１１画像取得部，１１２異常判定部，１１３画像処理部，１１４送信制御部，１２１－１乃至１２１－４入力監視部，１２２分配部，１２３メモリ，１３１－１，１３１－２同期処理部，１３２－１高解像度スティッチ処理部，１３２－２低解像度スティッチ処理部，１３３分配部，１３４トリミング・リサイズ部，１３５アルファブレンド部，１３６分割部，１５０制御部，１５１記憶部，１５２通信部，１６１送信制御部，２００制御部，２０１センサ部，２０２記憶部，２０３表示部，２０４音声出力部，２０５入力端子，２０６出力端子，２０７通信部，２１１画像取得部，２１２画像処理部，２１３表示制御部，１０００コンピュータ，１００１ CPU

Claims

低解像度画像を、低解像度カメラから取得するとともに、
前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得する
画像取得部と、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定する異常判定部と、
前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を生成する画像処理部と、
前記第１の合成画像を表示端末に送信する送信制御部と
を備え、
前記画像処理部は、前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を生成し、
前記送信制御部は、前記第２の合成画像を前記表示端末に送信し、
前記画像処理部は、
前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性を再現し、
前記異常があると判定された場合において、前記第２の信号に前記異常がある場合には、第１の処理によって前記代替画像に置き換え、前記第１の信号に前記異常がある場合には、前記第１の処理と異なる第２の処理によって前記代替画像に置き換えることで、前記連続性を実質的に再現する前記第２の合成画像を生成する
動画配信システム。
前記代替画像は、前記低解像度画像又はあらかじめ用意した静止画を含む
請求項１に記載の動画配信システム。
前記画像処理部は、前記第２の信号に前記異常がある場合、前記高解像度画像の欠落した領域を、前記低解像度画像により補完する
請求項２に記載の動画配信システム。
前記画像処理部は、
欠落した前記高解像度画像を、透明画像に置き換え、
前記低解像度画像を用いたスティッチングにより得られる低解像度スティッチ画像の上に、前記高解像度画像を用いたスティッチングにより得られる高解像度スティッチ画像をアルファブレンドする
請求項３に記載の動画配信システム。
前記画像処理部は、前記低解像度スティッチ画像における前記高解像度スティッチ画像に対応する領域をトリミングし、前記高解像度スティッチ画像に対応する大きさにリサイズする
請求項４に記載の動画配信システム。
前記画像処理部は、前記第１の信号に前記異常がある場合、前記低解像度画像の欠落した領域を、欠落した前記低解像度画像に対応した前記静止画により補完する
請求項２に記載の動画配信システム。
前記静止画は、あらかじめ撮像された背景画像、又は前記低解像度画像が欠落する直前の背景画像を含む
請求項６に記載の動画配信システム。
前記低解像度カメラは、少なくとも１つ設けられ、
前記高解像度カメラは、少なくとも１つ設けられ、
前記画像取得部は、複数の前記低解像度画像と、複数の前記高解像度画像を取得する
請求項１に記載の動画配信システム。
前記異常判定部は、複数の前記低解像度画像に対応した複数の第１の入力信号と、複数の前記高解像度画像に対応した複数の第２の入力信号に基づいて、少なくとも１つの前記低解像度カメラに異常があれば、前記第１の入力信号に前記異常があると判定し、少なくとも１つの前記高解像度カメラに異常があれば、前記第２の入力信号に前記異常があると判定する
請求項８に記載の動画配信システム。
前記低解像度スティッチ画像は、正距円筒画像を含み、
前記高解像度スティッチ画像は、部分正距円筒画像を含む
請求項４に記載の動画配信システム。
前記第１の合成画像又は前記第２の合成画像において、前記部分正距円筒画像の領域を除いた領域は、前記正距円筒画像に置き換えられる
請求項１０に記載の動画配信システム。
前記表示端末は、ヘッドマウントディスプレイを含む
請求項１に記載の動画配信システム。
動画配信システムが、
低解像度画像を、低解像度カメラから取得するとともに、前記低解像度画像よりも狭い画角を有し、前記低解像度画像の解像度よりも高い解像度を有し、かつ前記低解像度画像に含まれる実空間の領域を表す高解像度画像を、高解像度カメラから取得し、
前記低解像度画像を表す第１の信号と、前記高解像度画像を表す第２の信号のうち、いずれか一方の信号に異常があるか否かを判定し、
前記異常がないと判定された場合、前記低解像度画像と前記高解像度画像との間で連続性を有する第１の合成画像を生成し、
前記第１の合成画像を表示端末に送信し、
前記異常があると判定された場合、前記低解像度カメラと前記高解像度カメラのうち、前記異常があると判定されたカメラから取得される画像を、前記実空間の領域に対応する代替画像で置き換えて、前記連続性を実質的に再現する第２の合成画像を生成し、
前記第２の合成画像を前記表示端末に送信し、
前記低解像度画像と前記高解像度画像を用いたスティッチングによって、前記低解像度画像と前記高解像度画像との間の前記連続性を再現し、
前記異常があると判定された場合において、前記第２の信号に前記異常がある場合には、第１の処理によって前記代替画像に置き換え、前記第１の信号に前記異常がある場合には、前記第１の処理と異なる第２の処理によって前記代替画像に置き換えることで、前記連続性を実質的に再現する前記第２の合成画像を生成する
動画配信方法。