WO2018105436A1

WO2018105436A1 - 連携表示システム

Info

Publication number: WO2018105436A1
Application number: PCT/JP2017/042512
Authority: WO
Inventors: 村上　知広; 有珍田
Original assignee: 村上　知広; 株式会社オクトライズ
Priority date: 2016-12-09
Filing date: 2017-11-28
Publication date: 2018-06-14
Also published as: JP2020030223A

Abstract

表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成する連携表示システムを提供する。端末（３）は、コンテンツの全画素の表示情報を含む動画データをサーバ（２）からダウンロードし（ステップＳ１０１）、ユーザから座席番号（５）の入力を受け付ける（ステップＳ１０２）。次に、端末（３）は、入力される座席番号とマップデータ（２０）に基づいて自らの担当画素の画素位置を特定し（ステップＳ１０３）特定される画素位置に基づいて、担当画素の出力データを生成する（ステップＳ１０４）。

Description

連携表示システム

　本発明は、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成する連携表示システムに関するものである。

　従来、コンサートなどのイベントにおいて、観客がケミカルライトや電池式のペンライトを用いて歌手などを応援することが行われている。近年は、無線通信を介して制御可能なペンライトも存在する（特許文献１参照）。特許文献１に記載のペンライトによれば、一斉に消灯、点灯、色の変更を行うことができ、会場の一体感を演出することができる。

　また、特許文献２には、より汎用性が高く、各装置が統一的な動作を行う協働システムが開示されている。特許文献２に記載の協働システムによれば、親機が信号を発信し、協働装置が信号を受信するとともに、他の協働装置に同様の信号を送信することを繰り返すので、波紋が広がるように信号を伝えていくことができる。

特許第５９１０１９２号公報実用新案登録第３１９３１９６号公報

　しかしながら、特許文献１及び２のいずれにおいても、ペンライトや協働装置の正確な位置を把握することについて記載されていないため、ペンライトや協働装置が連動して巨大な単一の擬似ディスプレイを構成することはできない。

　本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成する連携表示システムを提供することである。

　前述した目的を達成するための第１の発明は、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、前記端末と通信可能なサーバを備え、前記端末が、前記コンテンツの全画素の表示情報を含む動画データを記憶するステップと、前記端末が、座席番号の入力を受け付けるステップと、前記端末が、前記座席番号と前記擬似ディスプレイ内の画素位置との対応付けを示すマップデータに基づいて、自らが担当する画素の前記画素位置を特定するステップと、前記端末が、前記動画データの中から、特定される前記画素位置に関する前記表示情報を抽出するステップと、を含む事前準備処理と、前記端末が、前記サーバからの命令に従い、前記表示情報を表示するステップ、を含む表示処理と、を実行することを特徴とする連携表示システムである。第１の発明によって、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成することができる。特に、座席番号が定められている会場であれば、容易に擬似ディスプレイを構成することができる。

　第１の発明における前記事前準備処理は、更に、前記端末が、抽出される前記表示情報を時系列順に即時に読み出し可能な状態とするステップ、を含むようにしても良い。これによって、各端末の処理速度の違いにより、表示開始までの遅延時間が大きくなることを防ぐことができる。一般に、動画のデコードはＣＰＵの負荷が大きく、処理速度の違いにより表示を開始するまでの時間が大幅にばらつくことが想定される。全画素数の動画データではなく、表示を担当する１画素の表示データを事前に用意することで、その都度デコードすることなく、すぐに表示できるようになる。ひいては、表示開始の遅延時間のばらつきを最小限に抑えることができる。

　また、第１の発明における前記事前準備処理は、更に、前記端末が、前記表示情報の中から得られる情報に基づいて音声チャンネル及び音量を特定するステップと、前記端末が、特定される前記音声チャンネル及び前記音量に基づく音情報を時系列順に即時に読み出し可能な状態とするステップと、を含むようにしても良い。これによって、端末は、表示処理の際、音情報もすぐに読み出すことができる。

　また、第１の発明における前記表示処理は、更に、前記サーバが、前記動画データの先頭フレームの表示開始命令を前記端末に送信するステップと、前記端末が、前記表示開始命令を受信すると、前記先頭フレームから時系列順に前記表示情報を表示するステップと、前記サーバが、所定の間隔で表示同期命令を前記端末に送信するステップと、前記端末が、前記表示同期命令を受信する前に所定フレーム数分の前記表示情報を表示した場合、前記表示同期命令を受信した後に所定フレーム数分の次フレームに関する前記表示情報を表示し、前記所定フレーム数分の前記表示情報を表示する前に前記表示同期命令を受信した場合、即時に前記所定フレーム数分の次フレームに関する前記表示情報を表示するステップと、を含むようにしても良い。これによって、再生時間が長い動画像であっても、徐々に表示がずれていくことを防ぎ、最後まで表示のずれの発生を抑制することができる。

　また、第１の発明における前記表示処理において、前記端末が、前記表示情報を表示することに同期して、前記音情報を出力するようにしても良い。これによって、擬似ディスプレイ上の表示と音声の連動が可能となる。

　第２の発明は、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、前記端末と通信可能なサーバと、前記擬似ディスプレイ内の領域を撮影する撮影装置とを備え、前記端末が、前記端末の識別情報を色又は発光パターンを用いて前記サーバに伝達する機能を提供するためのプログラムを記憶するステップと、前記端末が、前記端末の前記識別情報と前記色又は前記発光パターンの対応付けを示す識別情報発光変換データに基づいて、自らの前記識別情報を前記色又は前記発光パターンに変換するステップと、前記端末が、変換される前記色又は前記発光パターンを表示するステップと、前記撮影装置が、前記擬似ディスプレイ内に含まれる前記端末の前記表示部を撮影するステップと、前記サーバが、前記撮影装置による撮影結果を解析し、前記端末ごとに前記色又は前記発光パターンを抽出するステップと、前記サーバが、抽出される前記色又は前記発光パターンの位置に基づいて、前記擬似ディスプレイ内の画素位置を特定するステップと、前記サーバが、前記識別情報発光変換データを参照し、抽出される前記色又は前記発光パターンに基づいて前記識別情報を特定するステップと、前記サーバが、前記識別情報と対応付けられる前記画素位置を前記端末に送信するステップと、前記端末が、前記識別情報と対応付けられる前記画素位置を受信し、前記コンテンツの中から、自らの前記識別情報と対応付けられる前記画素位置に関する表示情報を抽出するステップと、を含む事前準備処理と、前記端末が、前記サーバからの命令に従い、前記表示情報を表示するステップ、を含む表示処理と、を実行することを特徴とする連携表示システムである。第２の発明によって、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成することができる。特に、座席番号が定められていない会場であっても、担当画素を各端末にマッピングすることが可能になる。

　第３の発明は、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、前記端末と通信可能なサーバと、前記擬似ディスプレイ内の領域を撮影する撮影装置とを備え、前記端末が、ユーザによる入力情報を入力するステップと、前記端末が、前記入力情報と色又は発光パターンの対応付けを示す入力情報発光変換データに基づいて、入力される前記入力情報を前記色又は前記発光パターンに変換するステップと、前記端末が、変換される前記色又は前記発光パターンを表示するステップと、前記撮影装置が、前記擬似ディスプレイ内に含まれる前記端末の前記表示部を撮影するステップと、前記サーバが、前記撮影装置による撮影結果を解析し、前記端末ごとに前記色又は前記発光パターンを抽出するステップと、前記サーバが、前記入力情報発光変換データを参照し、抽出される前記色又は前記発光パターンに基づいて前記入力情報を特定するステップと、を含む情報収集処理を実行することを特徴とする連携表示システムである。第３の発明によって、サーバは、擬似ディスプレイ内の端末からアンケート結果やメッセージを同時に読み取ることができるので、数万人規模のアンケート結果も高速に集計したり、複数のメッセージをリアルタイムに取得したりすることができる。これによって、アンケート結果に基づいて再生する動画を選択することができる。例えば、投票結果の多い動画コンテンツを優先して再生することができる。また、性別や年齢、誰のファンなのかを区別した表示を行う等の演出にアンケート結果を使用することができる。例えば、性別等の情報に基づいて、客席のグループごとに（例えば、レフト側とライト側等）、表示コンテンツを変えることができる。

　本発明により、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成する連携表示システムを提供することができる。

第１実施形態における連携表示システム１ａの概要を示す図ダウンロードデータの一例を示す図出力データ５０の一例を示す図第１実施形態における事前準備処理の流れを示すフローチャート第１実施形態における表示処理の流れを示すフローチャート第１実施形態における同期処理を説明する図第２実施形態における連携表示システム１ｂの概要を示す図識別情報発光変換データ６０の一例を示す図第２実施形態における事前準備処理の流れを示すフローチャート入力情報発光変換データ７０の一例を示す図第２実施形態におけるアンケート集計処理の流れを示すフローチャート

　以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の連携表示システムでは、表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成する。擬似ディスプレイには、例えば動画像等のコンテンツを表示する。

＜第１実施形態＞
　図１は、第１実施形態における連携表示システム１ａの概要を示す図である。図１の擬似ディスプレイ４は、単一の筐体から構成されるディスプレイではなく、異なる筐体の複数の端末３の表示部から構成される擬似的なディスプレイである。端末３は、互いに離間して配置される。図１では、擬似ディスプレイ４が構成される空間として、コンサート等のイベントを開催する会場の観客席の一部を模式的に示している。観客は、例えばスマートフォン等の端末３を所持し、予め定められている座席番号５の座席に着席する。図１に示すＡ１、Ａ２等の番号が座席番号５である。

　連携表示システム１ａは、複数の端末３と、各端末３と通信可能に接続されるサーバ２によって構成される。通信手段は特に限定されるものではないが、会場内であれば、例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線通信技術やＷｉＦｉを用いても良い。また、端末３とサーバ２は直接通信を行うだけでなく、中継機能を有する中継端末を介して通信を行っても良い。また、会場外で事前にデータのやり取りを行う場合、端末３とサーバ２はインターネットを介して通信を行っても良い。但し、コンサート等の公演会場において、端末３が数多く存在する場合（例えば、数万台）、個々の端末３とサーバ２が個別の通信を行うと、通信回線が破綻してしまう。そこで、このような場合、個々の端末３とサーバ２は個別の通信を行わず、サーバ２側から一方的に情報を配信する通信方式（ブロードキャスト：放送）を用いることが一般的である。

　各端末３は、外部の光が入らない屋内や夜間の屋外等に配置され、擬似ディスプレイ４に表示するコンテンツの一部分の表示処理を担当する。本実施形態では、各端末３は１画素分の表示処理を担当し、複数の端末３が連携することによって、単一の擬似ディスプレイ４を実現する。擬似ディスプレイ４に表示を行う際は、会場内の照明を可能な限り消灯することによって、複数の端末３の表示部に出力されるＲＧＢ値、すなわち光点の集まりが、あたかもドット絵のように見える。図１では、複数の端末３が連携し、擬似ディスプレイ４に数字の「１」を表示している。

　図１では、３５台の端末３を図示しているが、端末３の数は限定されるものではない。イベントの観客数に応じて、数台～数万台の端末３によって単一の擬似ディスプレイ４を構成することができる。また、擬似ディスプレイ４は、１つの会場内に複数設定しても良い。例えば、観客席がステージの周囲に配置されている場合、ステージから見た４つの方向ごとに擬似ディスプレイ４を設定しても良い。

　サーバ２及び端末３は、制御部としてのＣＰＵ（「Central Processing Unit」の略）、主記憶部としてのメモリ、補助記憶部としてのＨＤＤ（「Hard Disk Drive」の略）やフラッシュメモリ、外部記憶部としての記憶媒体、表示部としての液晶ディスプレイ、入力部としてのキーボードやマウス、タッチパネルディスプレイ、無線通信部としての無線モジュール等を有する。補助記憶部としてのＨＤＤやフラッシュメモリには、ＯＳ（「Operating System」の略）、アプリケーションプログラム、処理に必要なデータ等が記憶されている。端末３及びサーバ２のＣＰＵは、補助記憶部からＯＳやアプリケーションプログラムを読み出して主記憶部に格納し、主記憶部にアクセスしながら、その他の機器を制御し、後述する処理を実行する。また、端末３は、音出力部としてのスピーカ等を有しても良い。

　サーバ２は、１台で構成されても良いし、複数台で構成されても良い。インターネットを介して端末３と接続されるサーバ２（例えば、スマートフォンのアプリやコンテンツのダウンロードに対応するサーバ）は、会場外のデータセンターに設置されても良い。一方、ＢＬＥ等の近距離無線通信を介して端末３と接続されるサーバ２は、会場内に設置される。以下では、説明を簡潔にするために、設置場所によってサーバ２を区別しないものとする。

　図２は、ダウンロードデータの一例を示す図である。ダウンロードデータは、予めサーバ２に記憶されており、各端末３へ配信する共通のデータである。第１実施形態では、ダウンロードデータは、例えば、動画データ１０、マップデータ２０、色相音声変換データ３０及び輝度音量変換データ４０を含む。色相音声変換データ３０及び輝度音量変換データ４０は、端末３が音情報を出力する際、表示情報に基づいて音情報の切替を制御する場合に用いられる。各端末３は、これらのデータをサーバ２から事前にダウンロードしておく。

　動画データ１０は、擬似ディスプレイ４に表示されるコンテンツの全画素の表示情報を含む。動画データ１０に含まれる表示情報は、例えば、画素ごとのＲＧＢ値である。動画データ１０は、音情報を含んでも良い。また、動画データ１０は、単一の動画ファイルでも良いし、複数の動画ファイルに分割されていても良い。

　マップデータ２０は、担当画素を各端末３にマッピングするために用いられる。マップデータ２０は、例えば、擬似ディスプレイ４に含まれる座席の座席番号２１と、座席番号２１に対応するコンテンツの画素位置２２を含む。座席番号２１は、図１に示す座席番号５と同様の意味を持つデータ項目である。画素位置２２は、コンテンツの各画素の位置をＸ座標、Ｙ座標で示したものである。端末３は、マップデータ２０を参照することによって、座席番号２１に基づいて担当画素を決定することができる。

　擬似ディスプレイ４が複数設定される場合、動画データ１０及びマップデータ２０は、擬似ディスプレイ４ごとに異なるものを複数配信しても良い。

　色相音声変換データ３０は、色相３１によって音声チャンネル３２の切替を制御するために用いられ、色相３１と音声チャンネル３２とが対応付けられている。色相音声変換データ３０としては、例えば、ＲＧＢ値によって特定される色相３１を２つの範囲に分割し、左右（Ｌ、Ｒ）の音声チャンネル３２に対応付けても良い。尚、ＲＧＢ値から色相を特定する方法は、既存のカラーモデルを用いることができる。尚、ここでは、色相３１を例に挙げているが、音声チャンネル３２と対応付けられる情報は、この例に限定されるものではなく、表示情報の中から得られる情報であれば、どのような情報でも良い。例えば、端末３は、動画データに含まれるＲＧＢそれぞれのＬＳＢ（最下位ビット）や輝度値のＬＳＢを、表示とは独立して音声チャンネルを切り替える信号として利用しても良い。

　輝度音量変換データ４０は、輝度４１によって音量４２の切替を制御するために用いられ、輝度４１と音量４２とが対応付けられている。輝度音量変換データ４０としては、例えば、ＲＧＢ値によって特定される輝度４１が大きくなるにつれて音量が大きくなるように対応付けても良い。尚、ＲＧＢ値から輝度を特定する方法は、既存のカラーモデルを用いることができる。尚、ここでは、輝度４１を例に挙げているが、音量４２と対応付けられる情報は、この例に限定されるものではなく、表示情報の中から得られる情報であれば、どのような情報でも良い。

　端末３は、色相音声変換データ３０及び輝度音量変換データ４０によって、ＲＧＢ値から音声チャンネルや音量に変換し、表示と音声を同期して制御することが可能となる。これによって、擬似ディスプレイ４上の表示と音声の同期が可能となる。１台分の端末３の音量は小さくても、数万台集まることによって、例えば、光点の移動に連動して音が動き回るような演出が可能になる。

　図３は、出力データ５０の一例を示す図である。出力データ５０は、各端末３が出力する時系列順の表示情報や音情報であって、各端末３によって事前にダウンロードする動画データ１０に基づいて生成される。具体的な生成方法は、図４を参照しながら後述する。出力データ５０は、ＲＧＢ値５１、音量５２及び音声チャンネル５３等を含む。ＲＧＢ値５１は、端末３の表示部に表示する表示情報である。音量５２は、端末３の音出力部に出力する音情報の一つであり、端末３のスピーカから出力する音声の音量である。音声チャンネル５３は、音情報の一つであり、端末３のスピーカから出力する音声の音声チャンネルを識別する番号である。

　表示情報としては、ＲＧＢ値５１に限らず、グレースケール値や、特定の色相に関するＯＮ／ＯＦＦの値等、各画素の画素値に関するものであれば、どのようなものでも良い。

　図４は、第１実施形態における事前準備処理の流れを示すフローチャートである。図４に示すように、端末３は、連携表示システム１ａに関するアプリとデータをサーバ２からダウンロードし（ステップＳ１０１）、アプリをインストールする。ダウンロードするデータは、図２に示すデータである。

　次に、端末３は、タッチディスプレイ等を介して、ユーザから座席番号５の入力を受け付ける（ステップＳ１０２）。尚、座席番号５の入力受付手段は、この例に限定されるものではない。例えば、端末３が、座席番号の情報を有するバーコードをスキャンしても良いし、電子チケットから座席番号を取得しても良い。

　次に、端末３は、座席番号とマップデータ２０に基づいて自らの担当画素の画素位置を特定する（ステップＳ１０３）。具体的には、端末３は、マップデータ２０を参照し、ステップＳ１０２において入力される座席番号に対応する画素位置２２を特定する。

　次に、端末３は、ステップＳ１０３において特定される画素位置２２に基づいて、担当画素の出力データを生成する（ステップＳ１０４）。具体的には、端末３は、動画データ１０の中から、担当画素の画素位置２２に関するＲＧＢ値をフレーム番号順（＝時系列順）に抽出し、出力データ５０とする。音情報も出力する場合、端末３は、動画データ１０の中から、音量５２及び音声チャンネル５３に関するデータを抽出し、ＲＧＢ値５１が記憶されるファイルと独立したファイルに記憶しても良い。又は、端末３は、前述の色相音声変換データ３０を用いて、動画データ１０の中から、ＲＧＢ値に関する色相に基づいて音声チャンネルを特定するとともに、輝度音量変換データ４０を用いて、ＲＧＢ値に関する輝度に基づいて音量を特定し、１チャンネル（モノラル）の音声信号として記憶しても良い。尚、音声チャンネルを特定するための情報は、色相に限らず、表示情報の中から得られる情報であれば、どのような情報でも良い。例えば、端末３は、動画データに含まれるＲＧＢそれぞれのＬＳＢ（最下位ビット）や輝度値のＬＳＢを、表示とは独立して音声チャンネルを切り替える信号として利用しても良い。同様に、音量を特定するための情報は、輝度に限らず、表示情報の中から得られる情報であれば、どのような情報でも良い。

　端末３は、自らが担当する画素の出力データ５０を生成することによって、擬似ディスプレイ４上の１画素分の表示情報を表示したり、音情報を出力したりすることができる。

　次に、端末３は、担当画素の出力データ５０を主記憶部に常駐させておく（ステップＳ１０５）。尚、端末３は、出力データ５０を主記憶部に常駐させておく他に、容量の小さいファイルに分割して補助記憶部に記憶しておいても良い。いずれの場合も、端末３は、表示処理の際、担当画素の出力データ５０を即時に読み出し可能な状態となる。同様に、端末３は、ステップＳ１０４において特定される音量及び音声チャンネルに基づく音情報を時系列順に即時に読み出し可能な状態としておく。

　コンテンツが動画像の場合、全体のデータサイズが数百ＭＢ～数ＧＢになることもあるが、数千台～数万台の端末３が分担することによって、各端末３の担当画素の出力データ５０は数ＭＢ以下になるため、主記憶部に常駐させておくことが可能なデータサイズとなる。尚、各端末３は、数秒の短い動画ごとに、主記憶部に出力データ５０を常駐させても良い。

　動画像のデコード処理は、ＣＰＵによる負荷が重いため、各端末３にリアルタイムにデコード処理を実行させると、端末３の性能の違いにより、表示開始までのレスポンスのばらつきが大きくなる。場合によっては、１秒前後のばらつきが発生する。そこで、予め動画像をデコードしておき、図３に示す出力データ５０のように、画素ごとの情報に変換しておくことによって、ばらつきを最小限に抑えることが可能となる。

　尚、色相音声変換データ３０や輝度音量変換データ４０を用いて音情報を制御する場合、端末３は、ＲＧＢ値のみを出力データ５０として主記憶部に常駐させ、表示処理の際、リアルタイムにＲＧＢ値から音情報に変換しても良い。

　端末３が最終的に必要なデータは、自らが担当する画素の出力データ５０のみである。従って、ユーザが会場に到着してから、端末３がサーバ２に座席番号を送信し、サーバ２が端末３ごとに出力データ５０を生成して送信することも考えられる。しかしながら、端末３が数万台になると、サーバ２に対する負荷が同時間帯に集中してしまう。そこで、本実施の形態では、端末３が事前にサーバ２から共通のデータをダウンロードしておき、端末３が必要なデータを生成する。これによって、サーバ２の負荷を時間的に分散することができる。

　図５は、第１実施形態における表示処理の流れを示すフローチャートである。図５は、端末３の処理内容を示すものである。図５に示す表示処理の前提として、図４に示す事前準備処理を完了しておく必要がある。そして、端末３は、サーバ２からの命令に従い、事前準備処理において準備される表示情報を表示する。

　以下では、全ての端末３が同一のフレームレートで出力データ５０の表示処理を実行するものとする。また、端末３ごとの表示処理のずれを回避するために、出力データ５０を所定間隔で複数のセットに分割し、セットの切り替わりのタイミングでサーバ２が同期命令を全ての端末３に送信するものとする。例えば、フレームレートが３０ｆｐｓ、所定間隔が１秒の場合、１セットは３０フレーム分となる。ＢＬＥを介して通信を行う場合、サーバ２は、同期命令をブロードキャストで送信する。

　動画データ１０が複数のファイルに分割されている場合、例えば、動画ファイル番号の末尾に連番を付す等によって動画ファイルの時系列順を特定し、複数の動画ファイルを連続して再生することもできる。

　図５に示すように、端末３は、先頭動画ファイルの先頭フレームを表示対象フレームに設定する（ステップＳ２０１）。尚、コンテンツが複数存在する場合、ステップＳ２０１の前に、端末３は、サーバ２から、どのコンテンツを表示するのかを特定するコンテンツ特定命令を受信し、表示するコンテンツを決定するようにしても良い。

　次に、サーバ２から表示開始命令を受信する（ステップＳ２０２）。ＢＬＥを介して通信を行う場合、サーバ２は、表示開始命令をブロードキャストで送信する。

　次に、端末３は、現在の表示対象フレームの画素値（＝出力データ５０のＲＧＢ値５１）を表示部に表示する（ステップＳ２０３）。端末３は、現在の表示対象フレームの画素値を表示部に表示することに同期して、出力データ５０の音量５２及び音声チャンネル５３に基づく音情報を音出力部に出力しても良い。

　次に、端末３は、最終動画ファイルの最終フレームに到達したか否か確認する（ステップＳ２０４）。最終動画ファイルの最終フレームに到達していない場合（ステップＳ２０４のＮｏ）、端末３は、次フレームを表示対象フレームに設定し（ステップＳ２０５）、同期カウンタを１増加する（ステップＳ２０６）。

　次に、端末３は、サーバ２から同期命令を受信したか否か確認する（ステップＳ２０７）。同期命令を受信した場合（ステップＳ２０７のＹｅｓ）、端末３はステップＳ２１０に進み、同期命令を受信していない場合（ステップＳ２０７のＮｏ）、端末３はステップＳ２０８に進む。

　ステップＳ２０８に進むと、端末３は、同期カウンタが所定数、すなわち１セットに含まれるフレーム数に到達したか否か確認する。同期カウンタが所定数に到達していない場合（ステップＳ２０８のＮｏ）、端末３は、ステップＳ２０３から繰り返す。一方、同期カウンタが所定数に到達している場合（ステップＳ２０８のＹｅｓ）、端末３は、サーバ２から同期命令を受信するまで待機し（ステップＳ２０９）、同期命令を受信するとステップＳ２１０に進む。

　ステップＳ２１０に進むと、端末３は、同期カウンタをリセットする。そして、端末３は、次セット（次動画ファイルの先頭セットの場合もある。）の先頭フレームを表示対象フレームに設定し（ステップＳ２１１）、ステップＳ２０３から繰り返す。表示対象フレームが最終動画ファイルの最終フレームに到達すると（ステップＳ２０４のＹｅｓ）、端末３は処理を終了する。

　図６は、第１実施形態における同期処理を説明する図である。図６（ａ）に示すように、同期処理を行わない場合、再生時間が長い動画像では、最初のフレームで表示開始命令によって表示タイミングを合わせても、端末３の処理速度の違いから、徐々に表示のずれが大きくなる。そこで、図６（ｂ）に示すように、本実施の形態では同期処理を行い、サーバ２は定期的に同期命令を送信する。そして、図６（ｂ）に示す端末３ａのように、処理速度が遅い端末３、すなわち１セットに含まれる全てのフレームの表示を終了する前に、同期命令を受信する端末３は、処理中のセットに含まれるフレームの表示を中断し、次のセットの先頭フレームの表示を行う。一方、図６（ｂ）に示す端末３ｂのように、処理速度が速い端末３、すなわち同期命令を受信する前に、１セットに含まれる全てのフレームの表示を終了する端末３は、同期命令を受信するまで次のフレームを表示せずに待機する。これによって、再生時間が長い動画像であっても、徐々に表示がずれていくことを防ぎ、最後まで表示のずれを最小限に抑えることができる。

　以上、第１実施形態における連携表示システム１ａによれば、表示部を有する複数の端末３が連携して単一の擬似ディスプレイ４を構成することができる。特に、第１実施形態では、ユーザが座席番号を入力し、端末３が予め定められるマップデータ２０を参照することによって、担当画素を各端末３にマッピングするので、容易に単一の擬似ディスプレイ４を構成することができる。

＜第２実施形態＞
　図７は、第２実施形態における連携表示システム１ｂの概要を示す図である。第１実施形態では、各端末３の位置を特定可能な座席番号５を利用して担当画素を各端末３にマッピングしたが、第２実施形態では、座席番号５を利用できない会場における担当画素のマッピング方法を提供する。尚、第１実施形態と同様の要素については同一の符号を付し、重複する説明を省略する。

　連携表示システム１ｂは、複数の端末３と、各端末３と通信可能に接続されるサーバ２と、擬似ディスプレイ４内に含まれる全ての端末３の表示部を撮影し、サーバ２と通信可能に接続される撮影装置６と、によって構成される。サーバ２と撮影装置６は、例えばＵＳＢケーブルやＨＤＭＩ（登録商標）ケーブル等の有線によって接続される。

　連携表示システム１ｂにおいても、各端末３が１画素分の表示処理を担当し、複数の端末３が連携することによって、単一の擬似ディスプレイ４を実現する。図７に示す例では、複数の端末３が連携し、擬似ディスプレイ４に数字の「２」を表示している。

　撮影装置６は、所定のフレームレートで動画像を撮影するビデオカメラであり、各端末３の表示部の発光を識別可能な画質の動画像が得られる位置に設置される。撮影装置６は、１台で構成されても良いし、複数台で構成されても良い。

　図８は、識別情報発光変換データ６０の一例を示す図である。識別情報発光変換データ６０は、予めサーバ２及び端末３の記憶部に記憶されている。第２実施形態では、担当画素を各端末３にマッピングするために、予め定められる識別情報発光変換データ６０を用いる。

　識別情報発光変換データ６０は、例えば、端末３を識別する識別番号６１ごとに、ＲＧＢ値６２と発光パターン６３を含む。ＲＧＢ値６２は、端末３の表示部に表示する色情報である。発光パターン６３は、端末３が発光するタイミングのパターンを示している。例えば、「０」は発光しない、「１」は発光する、を意味する。フレームレートが３０ｆｐｓの場合、発光パターン６３は、「０」又は「１」の数字を３０個含むようにしても良い。ＲＧＢ値６２及び発光パターン６３は、識別番号６１ごとに異なる組み合わせとする。

　端末３が識別情報発光変換データ６０に基づいて発光し、撮影装置６が端末３の表示部を撮影し、サーバ２が撮影装置６による撮影結果を解析することによって、端末３はサーバ２に自らの識別番号を伝達できる。また、サーバ２は、擬似ディスプレイ４内の端末３の位置も特定できるので、担当画素を各端末３にマッピングすることが可能になる。

　尚、端末３を識別するための識別情報としては、図８に示すような連番（例えば、連携表示システム１ｂ内において自動付番される連続番号）の識別番号６１に限らず、端末３の個体識別番号でも良いし、端末３のユーザのメールアドレスでも良い。

　図９は、第２実施形態における事前準備処理の流れを示すフローチャートである。サーバ２及び端末３は、予め識別情報発光変換データ６０を記憶部に記憶している。図９に示すように、端末３は、アプリケーションプログラムとデータをサーバ２からダウンロードし（ステップＳ３０１）、アプリケーションプログラムをインストールする。このアプリケーションプログラムは、後述するステップＳ３０２及びＳ３０３の処理、すなわち端末３の識別情報を色又は発光パターンを用いてサーバ２に伝達する機能を提供するためのプログラムである。ステップＳ３０１は、会場外で予め実行しておいても良い。アプリは、表示処理の他、後述する表示位置特定処理の内容を含む。ダウンロードするデータは、図２に示す動画データ１０と図８に示す識別情報発光変換データ６０であり、必要に応じて、図２に示す色相音声変換データ３０及び輝度音量変換データ４０も含む。

　次に、各端末３は、識別情報発光変換データ６０に基づいて、自らの識別情報を発光パターンに変換し（ステップＳ３０２）、会場内において一斉に、発光パターンを表示部に表示する（ステップＳ３０３）。これに対して、撮影装置６は、擬似ディスプレイ４内の端末３の表示部を動画撮影し、撮影結果をサーバ２に送信する（ステップＳ３０４）。

　次に、サーバ２は、撮影装置６による撮影結果を解析し、端末３ごとに発光パターンを抽出し、端末３の発光位置、識別番号及び発光補正値を特定する（ステップＳ３０５）。

　端末３の発光位置の特定方法については、２つの方法を説明する。例えば、予め擬似ディスプレイ４内の横方向及び縦方向の座席数が明らかな場合、サーバ２は、横方向及び縦方向の座席数を横方向及び縦方向の画素数として記憶部に記憶しておく。そして、サーバ２は、横方向及び縦方向の画素数に基づいて、撮影装置６による撮影結果の各フレームの画像を各画素に分割し、端末３の発光点の画素位置を特定する。

　また、例えば、予め擬似ディスプレイ４内の横方向及び縦方向の座席数が不明な場合、サーバ２は、撮影装置６による撮影結果の画像から発光点の数を算出し、コンテンツのアスペクト比に応じて、発光点の数から横方向及び縦方向の画素数を算出しても良い。例えば、発光点の数が１，２００個、コンテンツのアスペクト比が４：３の場合、横方向の画素数が４０、縦方向の画素数が３０となる。そして、サーバ２は、横方向及び縦方向の画素数に基づいて、撮影装置６による撮影結果の画像を各画素に分割し、端末３の発光点の画素位置を特定する。この方法であれば、概ね各端末３が１つの画素を担当することになる。尚、複数の端末３が同じ画素を担当しても良いし、どの端末３も担当しない画素が存在しても良い。但し、コンテンツの欠損画素をなくすためには、全ての画素について１つ以上の端末３が担当するように横方向及び縦方向の画素数を算出することが望ましい。

　尚、擬似ディスプレイ４内の横方向及び縦方向の座席数が不明な場合であっても、横方向及び縦方向の画素数を固定しても良い。すなわち、サーバ２は、設定値として横方向及び縦方向の画素数を記憶部に記憶しておいても良い。この場合、コンテンツの欠損画素をなくすためには、横方向及び縦方向の画素数を小さく設定しておくことが望ましい。

　次に、端末３の識別番号の特定方法について説明する。サーバ２は、撮影装置６による撮影結果の画像から、発光点ごとに色情報と発光パターンを算出する。そして、サーバ２は、識別情報発光変換データ６０の中から最も近いＲＧＢ値６２と発光パターン６３の組み合わせを検索し、識別番号６１を特定する。

　次に、端末３の発光補正値の特定方法について説明する。スマートフォン等の端末３の表示部は、機種によって色や輝度の違いがある。そこで、それらの違いを吸収するために、サーバ２は、撮影装置６による撮影結果の画像から、端末３の発光補正値を特定する。例えば、端末３は、端末３ごとの発光パターンを表示部に表示した後、色調補正や輝度補正を行うための発光パターンを表示部に表示する。例えば、全ての端末３は、同一の輝度の設定値で発光パターンを表示し、サーバ２は、全ての発光点の輝度の平均を算出し、各発光点の輝度との差分を輝度補正に関する発光補正値に設定する。

　図９の説明に戻る。次に、サーバ２は、端末３ごとの担当画素の画素位置と発光補正値を端末３に送信する（ステップＳ３０６）。また、サーバ２は、必要に応じて、横方向及び縦方向の画素数も端末３に送信する。サーバ２は、識別番号に基づいて送信先の端末３を特定し、インターネット又は１対１の無線通信を介して、担当画素の画素位置と発光補正値を送信しても良い。又は、サーバ２は、ＷｉＦｉを介して、全ての端末３の識別番号と担当画素の画素位置及び発光補正値との対応付けをブロードキャスト通信によって配信しても良い。

　次に、端末３は、担当画素の画素位置と発光補正値を受信し（ステップＳ３０７）、発光補正値に基づいて担当画素の出力データを補正する（ステップＳ３０８）。例えば、平均よりも発光点の輝度が低い端末３は、高輝度の設定値で担当画素の出力データを表示するように出力データを補正する。そして、端末３は、担当画素の出力データを主記憶部に常駐させておく（ステップＳ３０９）。尚、端末３は、必要に応じて、サーバ２から受信する横方向及び縦方向の画素数に基づいてコンテンツの動画像をデコードし、担当画素の出力データを抽出する。

　以上の通り、第２実施形態では、識別番号ごとの発光パターンを含む識別情報発光変換データ６０を予め作成しておき、端末３が自らの識別番号に対応する発光パターンを表示部に表示し、撮影装置６が端末３の表示部を撮影し、サーバ２が撮影装置６による撮影結果を解析することによって端末３の識別番号及び担当画素の画素位置を特定する。これによって、座席番号５が定められていない会場であっても、担当画素を各端末３にマッピングすることが可能になる。尚、第２実施形態における表示処理は、第１実施形態における表示処理と同様に実行可能であるため、説明を省略する。

　図１０は、入力情報発光変換データ７０の一例を示す図である。入力情報発光変換データ７０は、予めサーバ２及び端末３の記憶部に記憶されている。第２実施形態では、観客に対するアンケート結果を集計するために、予め定められる入力情報発光変換データ７０を用いる。

　入力情報発光変換データ７０は、例えば、アンケートの回答に関する入力値７１ごとに、ＲＧＢ値７２と発光パターン７３を含む。ＲＧＢ値７２は、図８に示すＲＧＢ値６２と同様の意味を持つデータ項目である。発光パターン７３は、図８に示す発光パターン６３と同様の意味を持つデータ項目である。ＲＧＢ値７２及び発光パターン７３は、入力値７１ごとに異なる組み合わせとする。図１０に示す例では、アンケートは、１、２、３、・・・のように、番号で回答する。

　図１１は、第２実施形態におけるアンケート集計処理の流れを示すフローチャートである。第２実施形態では、サーバ２が複数の端末３から一括して情報を収集する情報収集処理を実行できる。アンケート集計処理は、情報収集処理の一例である。

　サーバ２及び端末３は、予め入力情報発光変換データ７０を記憶部に記憶している。図１１に示すように、端末３は、ユーザからアンケート結果を受け付けて、入力部を介してアンケート結果を入力する（ステップＳ４０１）。

　次に、端末３は、入力情報発光変換データ７０に基づいて、ステップＳ４０１において入力されるアンケート結果を発光パターンに変換し（ステップＳ４０２）、会場内において一斉に、変換される発光パターンを表示部に表示する（ステップＳ４０３）。これに対して、撮影装置６は、擬似ディスプレイ４内の端末３の表示部を撮影し、撮影結果をサーバ２に送信する（ステップＳ４０４）。

　次に、サーバ２は、撮影装置６による撮影結果を解析し、端末３ごとに発光パターンを抽出し、アンケート結果を特定する（ステップＳ４０５）。具体的には、サーバ２が、撮影装置６による撮影結果の画像から、発光点ごとに色情報と発光パターンを算出する。そして、サーバ２が、入力情報発光変換データ７０の中から最も近いＲＧＢ値７２と発光パターン７３の組み合わせを検索し、入力値７１を特定する。

　そして、サーバ２はアンケート結果を集計する（ステップＳ４０６）。サーバ２は、ＢＬＥ等を介して端末３にアンケート結果を送信しても良い。また、会場内に擬似ディスプレイ４とは異なる大画面ディスプレイが存在する場合、サーバ２は、ステップＳ４０６において集計されるアンケート結果を大画面ディスプレイに出力しても良い。

　端末３の数は、撮影装置６の撮影結果によって各端末３の表示部の発光を識別可能である限り、制限がない。そして、サーバ２は、擬似ディスプレイ４内の端末３からアンケート結果を同時に読み取ることができるので、数万人規模のアンケート結果も高速に集計することができる。これによって、アンケート結果に基づいて再生する動画を選択することができる。例えば、投票結果の多い動画コンテンツを優先して再生することができる。また、性別や年齢、誰のファンなのかを区別した表示を行う等の演出にアンケート結果を使用することができる。例えば、性別等の情報に基づいて、客席のグループごとに（例えば、レフト側とライト側等）、表示コンテンツを変えることができる。

　また、連携表示システム１ｂは、情報収集処理の一例としてメッセージ収集処理も実現することができる。例えば、図１０に示す入力情報発光変換データ７０を拡張し、数字だけでなく、文字についても発光パターンを対応付けておく（例えば、文字コードに対応付けて発光パターンを定義しておく。）。端末３は、送りたいメッセージを構成する１文字ごとに発光パターンを切り替えて表示部に表示する。サーバ２は、撮影装置６による撮影結果を解析し、発光パターンごとに文字を特定し、メッセージを復元する。そして、サーバ２は、擬似ディスプレイ４とは異なる大画面ディスプレイに、復元されるメッセージをリアルタイムに出力しても良い。これによって、例えば、メッセージの復元ごとに大画面ディスプレイに出力を開始し、複数のメッセージが時系列順に川のように流れる表示形態を実現することができる。

　以上、添付図面を参照しながら、本発明に係る連携表示システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

　１ａ、１ｂ………表示連携システム
　２………サーバ
　３………端末
　４………擬似ディスプレイ
　５………座席番号
　６………撮影装置
　１０………動画データ
　２０………マップデータ
　３０………色相音声変換データ
　４０………輝度音量変換データ
　５０………出力データ
　６０………識別情報発光変換データ
　７０………入力情報発光変換データ

Claims

　表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、
　前記端末と通信可能なサーバを備え、
　前記端末が、前記コンテンツの全画素の表示情報を含む動画データを記憶するステップと、
　前記端末が、座席番号の入力を受け付けるステップと、
　前記端末が、前記座席番号と前記擬似ディスプレイ内の画素位置との対応付けを示すマップデータに基づいて、自らが担当する画素の前記画素位置を特定するステップと、
　前記端末が、前記動画データの中から、特定される前記画素位置に関する前記表示情報を抽出するステップと、
を含む事前準備処理と、
　前記端末が、前記サーバからの命令に従い、前記表示情報を表示するステップ、
を含む表示処理と、
を実行することを特徴とする連携表示システム。
　前記事前準備処理は、更に、
　前記端末が、抽出される前記表示情報を時系列順に即時に読み出し可能な状態とするステップ、
を含むことを特徴とする請求項１に記載の連携表示システム。
　前記事前準備処理は、更に、
　前記端末が、前記表示情報の中から得られる情報に基づいて音声チャンネル及び音量を特定するステップと、
　前記端末が、特定される前記音声チャンネル及び前記音量に基づく音情報を時系列順に即時に読み出し可能な状態とするステップと、
を含むことを特徴とする請求項２に記載の連携表示システム。
　前記表示処理は、更に、
　前記サーバが、前記動画データの先頭フレームの表示開始命令を前記端末に送信するステップと、
　前記端末が、前記表示開始命令を受信すると、前記先頭フレームから時系列順に前記表示情報を表示するステップと、
　前記サーバが、所定の間隔で表示同期命令を前記端末に送信するステップと、
　前記端末が、前記表示同期命令を受信する前に所定フレーム数分の前記表示情報を表示した場合、前記表示同期命令を受信した後に所定フレーム数分の次フレームに関する前記表示情報を表示し、前記所定フレーム数分の前記表示情報を表示する前に前記表示同期命令を受信した場合、即時に前記所定フレーム数分の次フレームに関する前記表示情報を表示するステップと、
を含むことを特徴とする請求項１乃至請求項３のいずれかに記載の連携表示システム。
　前記表示処理において、前記端末が、前記表示情報を表示することに同期して、前記音情報を出力することを特徴とする請求項３に記載の連携表示システム。
　表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、
　前記端末と通信可能なサーバと、前記擬似ディスプレイ内の領域を撮影する撮影装置とを備え、
　前記端末が、前記端末の識別情報を色又は発光パターンを用いて前記サーバに伝達する機能を提供するためのプログラムを記憶するステップと、
　前記端末が、前記端末の前記識別情報と前記色又は前記発光パターンの対応付けを示す識別情報発光変換データに基づいて、自らの前記識別情報を前記色又は前記発光パターンに変換するステップと、
　前記端末が、変換される前記色又は前記発光パターンを表示するステップと、
　前記撮影装置が、前記擬似ディスプレイ内に含まれる前記端末の前記表示部を撮影するステップと、
　前記サーバが、前記撮影装置による撮影結果を解析し、前記端末ごとに前記色又は前記発光パターンを抽出するステップと、
　前記サーバが、抽出される前記色又は前記発光パターンの位置に基づいて、前記擬似ディスプレイ内の画素位置を特定するステップと、
　前記サーバが、前記識別情報発光変換データを参照し、抽出される前記色又は前記発光パターンに基づいて前記識別情報を特定するステップと、
　前記サーバが、前記識別情報と対応付けられる前記画素位置を前記端末に送信するステップと、
　前記端末が、前記識別情報と対応付けられる前記画素位置を受信し、前記コンテンツの中から、自らの前記識別情報と対応付けられる前記画素位置に関する表示情報を抽出するステップと、
を含む事前準備処理と、
　前記端末が、前記サーバからの命令に従い、前記表示情報を表示するステップ、
を含む表示処理と、
を実行することを特徴とする連携表示システム。
　表示部を有する複数の端末が連携して単一の擬似ディスプレイを構成し、動画像のコンテンツを表示する連携表示システムであって、
　前記端末と通信可能なサーバと、前記擬似ディスプレイ内の領域を撮影する撮影装置とを備え、
　前記端末が、ユーザによる入力情報を入力するステップと、
　前記端末が、前記入力情報と色又は発光パターンの対応付けを示す入力情報発光変換データに基づいて、入力される前記入力情報を前記色又は前記発光パターンに変換するステップと、
　前記端末が、変換される前記色又は前記発光パターンを表示するステップと、
　前記撮影装置が、前記擬似ディスプレイ内に含まれる前記端末の前記表示部を撮影するステップと、
　前記サーバが、前記撮影装置による撮影結果を解析し、前記端末ごとに前記色又は前記発光パターンを抽出するステップと、
　前記サーバが、前記入力情報発光変換データを参照し、抽出される前記色又は前記発光パターンに基づいて前記入力情報を特定するステップと、
を含む情報収集処理を実行することを特徴とする連携表示システム。